Allen Institute的Aristo AI系统终于通过了八年级的科学测试

 
不是吗?这个特别的系列探讨了人与机器之间不断发展的关系，研究机器人，人工智能和自动化对我们工作和生活的影响。
在已故的西雅图亿万富翁保罗艾伦挑战研究人员提出一项智能足以通过八年级科学测试的人工智能计划五年之后，这项壮举已经宣布完成 – 由家乡团队完成。
艾伦人工智能研究所(AI2)今天宣布其Aristo软件在针对八年级学生的多项选择测试中的得分高于90%，而对于高中毕业生的测试则高于80%。
当然有一些警告：该考试基于纽约摄政学院的能力测试，排除了依赖于解释图片或图表的问题。这些问题需要尚未编入Aristo的视觉解释技能。需要直接回答的问题(即论文问题)也被排除在外。而对于它的价值，Aristo在训练它的科学领域之外是无用的。
尽管如此，这次演习还是说明了自2016年以来人工智能已经走了多远，当时所有参加8万美元艾伦AI科学挑战赛的计划都不及格。
“这是一个突破，因为它在标准化测试问题上取得了显着成果，需要一定程度的自然语言理解，推理，甚至是常识，”AI2首席执行官Oren Etzioni在一封电子邮件中告诉GeekWire。 “这与标准研究基准和Go等棋盘游戏非常不同。就在一年前，没有人会预料到8年级和12年级科学问题的这种快速进展!“
AI2科学测验：与Aristo相匹敌，大约2016年
这项工作建立在一系列语言解释，问答人工智能代理的基础之上，包括AI2的ELMo程序和在西雅图的Google研究机构开发的BERT程序。 Aristo利用了八种类型的问题解决代理 – 从仅在数据库中查找答案的代理到检查相关概念列表的代理(称为元组)，到执行定性推理的代理。
每个问题解决者都会为首选的多项选择答案产生分数，而Aristo会对不同的分数进行加权以选择最可能的选择。该计划通过多轮培训和校准优化其绩效。
例如，有一个问题是：“当块体熔化时，铁块中的颗粒是如何受到影响的? (A)颗粒增加质量。 (B)颗粒含有较少的能量。 (C)粒子移动得更快。 (D)颗粒体积增加。“
为了回答这个问题，Aristo得知粒子的热量随着粒子的热量增加而移动的知识，将术语“融化”与“热量”联系起来，将术语“更快”与“更快”联系起来，并将C评分为正确选择。
结合不同的解决问题的方法为Aristo将测试分数从2016年的大约60%提高到八年级测试的91.6%扫清了道路。在12年级考试中，该计划得分率为83.5%。
在一份关于该项目的研究论文中，Etzioni和其他AI2研究人员 – 包括项目Aristo的高级经理Peter Clark表示，该计划的通过等级“只是迈向一台对科学有深刻理解并实现的机器的漫长道路上的一步。保罗艾伦最初的数字亚里士多德梦想。“
研究人员的目标是将Aristo的技能扩展到包含基于图表的问题和论文问题。最终，该技术应该在提供自然语言答案时提升现有技术水平，这些问题会对成年人和八年级学生的大脑产生负担。
这可能会导致数字助理比亚马逊的Alexa，微软的Cortana和Apple的Siri当前的迭代更聪明 – 以及全新的AI应用程序和初创公司。
在另外的电子邮件中，Etzioni和Clark都向保罗·艾伦表示敬意，他去年10月去世，享年65岁。他们都说他想要更多。
“保罗会很高兴，但不会让我们满足于现状，”Etzioni告诉GeekWire。 “他会问：你理解语言的下一步是什么?”
克拉克同意：“我会想象他说”恭喜!下一步是什么?” ”
更新时间为下午1:25 PT 9月4日：我通过电子邮件向克拉克发送了一些后续问题，这里有一些答案可以扩展研究的重要性。 Q&A的编辑简洁明了(尤其是Q版)：
GeekWire：这种方法与IBM的Watson有何不同?如果Aristo要与Watson竞争，谁会赢?
克拉克：“这两个系统是针对不同类型的问题而设计的。 Watson专注于百科全书式的“factoid”问题，答案明确写在文本的某个地方，通常很多次。相比之下，Aristo回答科学问题，答案并不总是写在某处，可能涉及对场景的推理，例如：
“奥托把一辆玩具车推到了地板上。汽车在木头上快速行驶，但它在地毯上停了下来。哪个最好地解释了汽车到达地毯时发生了什么? (A)摩擦增加(B)摩擦减少……“
“城市管理者可以通过以下方式鼓励节能：(1)降低停车费(2)建造更大的停车场(3)降低汽油成本(4)降低公交车和地铁票价。”
“开箱即用，沃森可能会在科学问题上挣扎，而亚里士多则会采用’危险’问题的神秘方式。他们各自都失败了。
“在引擎盖下，它们也完全不同。特别是，Watson没有使用深度学习(它是在深度学习技术之前创建的)，而Aristo则大量使用深度学习。 Watson有很多模块尝试了不同的方法来寻找答案。 Aristo有几个(8个)模块可以尝试各种方法来回答问题，包括查找，几种推理方法和语言建模。“
问：请传递通常的警告。例如，没有使用带图片的问题，因为他们需要计算机视觉。还有其他警告吗?
答：“除非在一些特殊情况下，否则Aristo无法很好地处理图表问题。例如，Aristo可以回答关于食物链的问题，但它无法回答那些需要阅读地图或研究条形图的问题。它也难以处理假设情况。例如，Aristo挣扎着提出以下问题：“如果你将树叶从植物上拉下来，结果会是什么?”一个好的答案就是植物将不再能够自己制作食物。但是，阿里斯托正在努力解决这个问题，因为它要求系统创造一个虚构的世界，并想象在那个世界会发生什么。最后，我们的基准是多项选择测试，另一个限制。“
问：你能否谈谈潜在的应用?您是否看到像Watson这样的“问答”程序，或者您是否看到了更多新颖的应用程序?
答：“Aristo的长期目标不仅仅是通过科学测试，还包括创建一个对科学有更深入理解的系统，以及许多潜在的应用。特别是有三个领域看起来很有希望。第一个是教育和个性化教育领域，Aristo可以通过提供个人辅导帮助孩子理解科学。第二是帮助科学家。我可以想象Aristo向实验室的科学家提供有关科学概念和先前工作的背景信息。最后，从长远来看，Aristo可能有助于科学发现本身，将人们过去无法实现的点，医学或工程学等领域联系起来。当然，Aristo目前还有很长的路要走这些目标，但在Regents Science考试中表现如此之好是一个巨大的进步。“