借助Google的Meena，人工智能助手会变得更加聪明吗?

 
去年，我们看到了OpenAI的GPT-2模型生成的连贯的多段文字。本周，来自谷歌AI的一篇新论文表明，基于巨型神经网络和大量数据的聊天机器人可以保持连贯的对话，在多个回合中保持上下文相关，并且可以就任何主题进行对话。该聊天机器人称为Meena，甚至可以发明笑话(见图片)。
作为在这一领域工作的人，我印象深刻。 (我是Rasa的联合创始人，Rasa是一家提供Meena可能会与之竞争的开源对话式AI框架的公司。)但这对AI助手的未来意味着什么?
已知的想法，执行得很好
更多数据，更多计算机功能，更好的模型，对吗?我们一直都在听到这个消息，但是将这个想法实际进行测试很有趣。您可以将其推多远，收益在哪里平坦?这是OpenAI的GPT-2模型及其冠军Dota系统之类的多条引人注目的结果背后的一个问题。结合一些已知运作良好的神经体系结构和算法，并查看对数十或数百倍数据进行训练后它们可以实现的目标。 Meena是基于变压器体系结构的序列到序列模型。这些都是广泛使用的工具，但这是任何人第一次大规模培训这种模型。
本文的“最新”部分是一种用于评估聊天机器人质量的建议方法。 Meena是一个开放域系统，这意味着它可以谈论用户想要的任何事情。评估这类模型非常困难，而提出良好的指标本身就是整个领域。本文的解决方案非常简单：向人们展示聊天机器人的回答，然后先问他们，这种回答有意义吗?其次，此响应具体吗?以前的序列到序列模型的一个问题是倾向于安全使用它并提出诸如“我不知道”或“确定”之类的通用响应。
去年的GPT-2模型接受了一项非常简单的任务训练：仔细阅读一堆文本，然后根据您已经看到的单词预测下一个单词。从概念上讲，Meena的培训方式没有什么不同。网络只需要预测下一个响应即可。
谨慎的理由
首先要提到的是，这项工作是预印本，尚未经过同行评审。作者提出了一些有力的主张，这些主张必须经专家审查。最明显的问题是，使用26亿个参数，作者将不得不令人信服地表明，Meena并没有(大约)记住对我们可以说的任何内容的适当响应。无论如何，我们已经可以看到Meena有一些明显的局限性。
大型神经网络通常看起来很聪明，但是却有很多缺点。想一下那些欺骗性的修补程序，它们欺骗了对象检测算法，但却永远不会丢掉人类。类似地，GPT-2模型可以生成令人印象深刻的连贯文本，但在逻辑上不一致。
许多看起来像自然语言理解问题的事物实际上是关于理解现实世界的。我很感谢Meena的作者提供了一些脚本，这些脚本记录了该机器人严重失败的情况。我喜欢Meena关于亚利桑那州沿海地区的幻想轶事：“是的。我住在亚利桑那州南部，所以这里有很多冲浪活动。”这应该提醒我们，这些模特并没有真正理解。就是说，它们是功能强大的工具，可以很好地(或不好!)使用。
人工智能是公共关系的风险
看着本文中的示例对话，我渴望有机会与Meena交谈。我很好奇，我想尝试很多事情。那么为什么没有可用的演示?
Google在随附的博客文章中告诉我们，这与安全性有关。在本文中，作者对他们的训练数据来源不满意。我认为这是Reddit，因为他们谈论的是“ …在评论树结构中的公共领域社交媒体对话”。您还能从哪里获得341 GB的类似对话的文字?
值得注意的是Google尚未公开发布此内容。即使在研究阶段，作者也使用了额外的过滤器来消除“敏感或毒性反应”。这不容易做到。根据上下文的不同，即使是无害的回答(例如“是”和“否”)也会造成严重的问题。
去年，微软发布了有关名为DialoGPT的模型的相关工作。 DialoGPT的作者发布了他们的模型，但没有发布允许任何人轻松使用它的解码器。谷歌表示，他们可能会在未来发布Meena的模型，但显然他们不希望在Google域上进行在线演示，也不想以任何方式与Google品牌建立关联。
在对现实世界的聊天机器人产生任何影响之前需要发生什么
要使此结果对现实世界的聊天和语音助手产生任何影响，需要进行很多事情。首先，作者需要发布模型和训练数据，以便其他人可以基于此研究。根据博客文章，谷歌“可能选择在未来几个月内提供它。”
如果模型已发布，我们将在接下来的几个月中看到数十篇基于此工作的论文，分析该模型并以论文中的思想为基础。还记得2018年的BERT模型吗?分析其行为的工作量很大，因此该子字段有其自己的名称：BERT-ology。
我们如何利用这项研究来改善聊天机器人?最大的障碍是像Meena这样的模型是端到端的：您输入一条消息并获得响应。没有系统的方法来控制模型要讨论的内容。我们能做的最好的事情就是对很多候选人进行抽样调查，并希望其中之一接近我们想要的。 Meena能够在多个回合中传递上下文的能力令人印象深刻(只需重新阅读页面顶部的笑话即可)，但该机制对我们而言是隐藏的。开发人员不能只是“勾搭”并将这种功能带入其AI助手中。
假设我们正在构建一个聊天机器人，并且想将Meena集成在一起只是为了开个好玩笑。每当用户说“给我讲个笑话”时，聊天机器人就会移交给Meena。这很简单，应该可以正常工作。但是考虑到Meena模型的大小和参数的数量，如果您能在5秒钟内在典型的硬件上得到响应，我会感到惊讶。我真的希望可以提供培训数据和模型，以便研究人员和工程师可以将这些想法付诸实践。压缩大型模型以使其精简和快速是我工作的Rasa的活跃研究领域。
更不用说，如果Google对发布如此谨慎，那么在解决公认的风险之前，很少有人会放任Meena放任用户使用。根据Google的说法：“解决模型中的安全性和偏差是我们关注的重点领域，鉴于与此相关的挑战，我们目前尚未发布外部研究演示。”
那么，AI助手会变得更聪明吗?是的，但这不会在一夜之间发生。要获得这些结果并将其转化为现实的AI助手的实际改进，将需要大量的创造力。当然，尽管我有偏见，但我坚信开放源代码框架将以最快的速度创新。
Alan Nichol是Rasa的联合创始人兼CTO，Rasa是一家提供开源对话式AI框架的公司。