解码“黑匣子”机器学习算法所使用的决策过程的新方法通过找到仍将产生正确答案的最小输入来工作。在这个例子中，研究人员首先提出了一个带有向日葵照片的算法，并询问“这朵花的颜色是什么?”这导致了正确的答案，“黄色”。研究人员发现，通过向算法提出一个单词问题：'花?'，他们可以获得相同的正确答案，同样具有高度的自信心。
图片来源：石峰/马里兰大学
人工智能 - 特别是机器学习 - 是计算机和智能手机用户日常生活的一部分。从自动校正拼写错误到推荐新音乐，机器学习算法可以帮助简化生活。他们也可能犯错误。
对于计算机科学家来说，弄清楚在这种情况下出了什么问题可能具有挑战性。这是因为许多机器学习算法从信息中学习，并在虚拟的“黑匣子”中进行预测，为研究人员留下了一些线索。
马里兰大学的一组计算机科学家开发了一种有前途的新方法来解释机器学习算法。与以前的努力不同，UMAD小组通常试图通过从输入中删除关键词来“破解”算法以产生错误的答案，而是将输入减少到产生正确答案所需的最低限度。平均而言，研究人员得到了正确答案，输入少于三个字。
在某些情况下，研究人员的模型算法基于单个单词提供了正确的答案。通常，输入的单词或短语似乎与答案没有明显的联系，揭示了一些算法如何对特定语言做出反应的重要见解。因为许多算法被编程为无论如何都给出答案 - 即使是在无意义的输入提示的情况下 - 结果可以帮助计算机科学家构建更有效的算法来识别他们自己的局限性。
研究人员将于2018年11月4日在2018年自然语言处理经验方法会议上展示他们的工作。
研究的高级作者乔丹·博伊德·格拉伯说：“黑盒模型似乎比简单的模型更好，比如决策树，但即使编写初始代码的人也无法确切知道发生了什么。”和UMD的计算机科学副教授。“当这些模型返回错误或无意义的答案时，很难找出原因。相反，我们试图找到能产生正确结果的最小输入。平均输入大约是三个字，但我们可以把它归结为在某些情况下单词。“
在一个例子中，研究人员输入了一张向日葵的照片和基于文字的问题，“花是什么颜色的?”作为模型算法的输入。这些输入产生了“黄色”的正确答案。在将问题重新划分为几个不同的短语组合之后，研究人员发现他们可以用“花”得到相同的答案。作为算法的唯一文本输入。
在另一个更复杂的例子中，研究人员使用了这个提示，“1899年，John Jacob Astor IV为特斯拉投入了10万美元，用于进一步开发和生产新的照明系统。相反，特斯拉利用这笔资金为科罗拉多斯普林斯的实验提供资金。”
然后他们问算法，“特斯拉花了什么钱给阿斯特的钱?”并得到了正确的答案，“科罗拉多斯普林斯实验”。将此输入减少为单词“did”产生了相同的正确答案。
这项工作揭示了机器学习算法适用于解决问题的规则的重要见解。当对人类有意义的输入导致无意义的答案时，会产生许多算法的现实问题。通过表明相反的情况也是可能的 - 无意义的输入也可以产生正确，明智的答案--Boyd-Graber和他的同事证明了需要能够识别何时高度自信地回答无意义问题的算法。
“最重要的是，所有这些花哨的机器学习实际上都是非常愚蠢的，”Boyd-Graber说道，他还在马里兰大学高级计算机研究所(UMIACS)以及UMD信息学院共同任命。研究与语言科学中心。“当计算机科学家训练这些模型时，我们通常只会向他们展示真实的问题或真实的句子。我们不会向他们展示荒谬的短语或单个单词。模型并不知道他们应该被这些例子搞糊涂。”
根据Boyd-Graber的说法，大多数算法都会强迫自己提供答案，即使数据不足或相互矛盾。这可能是机器学习算法生成的一些不正确或无意义输出的核心 - 用于研究的模型算法，以及通过标记垃圾邮件或提供备用驾驶路线来帮助我们的真实算法。更多地了解这些错误可以帮助计算机科学家找到解决方案并构建更可靠的算法
“我们证明模型可以训练成知道它们应该混淆，”Boyd-Graber说。“然后他们就可以出来说'你向我展示了一些我无法理解的东西。'”
除了Boyd-Graber之外，参与这项工作的UMD附属研究人员还包括本科研究员Eric Wallace;研究生石峰和佩德罗罗德里格斯;和前研究生Mohit Iyyer(MS '14，Ph.D。'17，计算机科学)。
研究报告“神经模型的病理学解释困难”，石峰，Eric Wallace，Alvin Grissom II，Pedro Rodriguez，Mohit Iyyer和Jordan Boyd-Graber将在2018年自然语言处理经验方法会议上发表在2018年11月4日。
这项工作得到了国防高级研究计划局(奖项编号HR0011-15-C-011)和国家科学基金会(奖项编号IIS1652666)的支持。本文的内容不一定反映这些组织的观点。
标签： 机器学习算法
免责声明：本文由用户上传，如有侵权请联系删除！