Apple研究人员开发了AI框架，该框架利用用户的意图自动标记数据

 
苹果公司的Siri等私人助理可以通过自然语言命令来完成任务。但是，它们的基础组件通常依赖于监督的机器学习算法，这些算法需要大量的手工注释训练数据。为了减少收集数据的时间和精力，Apple的研究人员开发了一个框架，该框架利用用户参与信号自动创建数据增强标签。他们报告说，当使用诸如多任务学习和外部知识库验证之类的策略进行合并时，带注释的数据将大大提高生产深度学习系统的准确性。
“我们相信这是首次使用用户参与信号来帮助大规模生成序列标记任务的训练数据，并且可以在实际设置中应用，以在几乎没有人工注释数据的情况下加快新功能的部署，”研究人员在预印本上写道。 “此外…用户参与信号可以通过从自身的错误中学习来帮助我们确定数字助理需要改进的地方。”
研究人员使用了一系列启发式方法来识别表明积极参与或消极参与的行为。其中一些功能包括轻按内容以使其进一步参与(肯定响应)，长时间听歌(另一个肯定响应)或打断智能助手提供的内容并手动选择其他内容(否定响应)。这些信号以“保留隐私的方式”被有选择地收集，以自动产生地面真相注释，随后将它们与人类注释者提供的粗粒度标签组合在一起。
为了将粗粒度标签和推断的细粒度标签合并到AI模型中，论文的共同作者设计了一个多任务学习框架，该框架将粗粒度和细粒度实体标签视为两个任务。此外，他们并入了一个由实体及其关系组成的外部知识库验证器。给定“某事”作为音乐标题，并将“甲壳虫”作为音乐艺术家，对查询“由披头士演奏某事”进行查询，验证器将查找顶部标签替代项并将其发送到一个组件，该组件将对预测进行排名，并返回最佳选择。
研究人员进行了两个单独的测试集，以评估由多任务模型执行的任务，他们通过从生产系统中随机抽样并使用地面真实标签进行手动注释来对其进行编译。他们说，在21个模型运行中，与所有人类注释数据量的基线相比，“一致地”添加了260,000个训练示例“一致地”降低了预测任务的粗粒度实体错误率。此外，他们报告说，当人工注释的数据量相对较小时(5,000个示例)，添加弱监督的细粒度数据会产生更大的影响。最后，他们报告说，在任何顶级模型假设通过知识库验证器的示例中，细粒度实体错误率下降了约50%。
在另一个实验中，该团队试图确定用户意图的更精细表示是否会增加系统选择正确动作的可能性。他们采样了大约5,000个“播放音乐”命令，这些命令包含对多个乐队，艺术家和歌曲的引用，并通过包含其框架的系统发送给他们，此后，他们要求注释者将系统返回的响应分级为“满意”或“不满意”。研究人员报告说，增强型系统产生的结果使相对任务错误率降低了24.64%。
他们留待以后的工作，探索如何利用个人用户的参与行为来改善个性化。
共同作者写道：“我们观察到，我们的模型改善了面向用户的结果，尤其是对于包含困难或异常语言模式的请求而言。” “例如，增强型系统正确处理了诸如“您能否从Miley Cyrus的新专辑中播放Malibu”和“通过我的音乐Kendrick Lamar播放Humble”之类的查询。此外，增强型模型还可以识别用户更可能在其中引用的实体真正的语言歧义的案例。例如，在“由Metallica播放一个”中，“一个”可以是非实体令牌(意味着播放Metallica的任何歌曲)，也可以专门指“ Metallica”称为“ One”的歌曲。因为大多数用户每当他们说“由Metallica演奏”时，只要听听“ Metallica”的歌曲“ One”，我们的模型就可以在参与度注释数据的基础上进行训练，从而可以预测“ one”作为[音乐名称]，从而更好地捕捉趋势和偏好在我们的用户群中。”
这项工作紧随描述苹果公司Overton的论文之后，Overton是一种AI开发工具，其模型已经处理了“数十亿”次查询。另外，Cupertino公司最近还研究了用户是否喜欢与“更有趣”的AI助手进行对话。