Apple详细介绍了Overton AI开发工具，其模型处理了“数十亿”的查询

 
无论在何种情况下，建造，监控和改进机器学习系统都不会在公园内散步。数据科学家和工程师必须监控复杂的应用程序中的细粒度质量和诊断错误，更不用说现场矛盾或不完整的语料库。为了有所缓解开发负担，Apple开发了Overton，这是一个旨在通过提供一系列新颖的高级抽象来自动化AI系统生命周期的框架。例如，鉴于“美国总统有多高”的问题，Overton生成了一个能够提供答案的模型。 (它目前仅支持文本处理，但Apple正在对图像，视频和多模式应用进行原型设计。)
苹果研究人员表示，Overton已被用于生产，以支持近实时和后台处理中的“多个应用程序”，在那个时候，基于Overton的应用程序以多种语言回答了“数十亿”的查询并处理了“数万亿”的记录。 “[愿景]是将开发人员转移到……更高级别的任务而不是更低级别的机器学习任务。 [E]工程师可以在不编写任何代码的情况下构建基于深度学习的应用程序，“一篇描述Overton的研究论文的共同作者写道。 “Overton [可以]自动化许多传统的建模选择，包括深度学习架构…… [它允许工程师] ……通过操纵数据文件来构建，维护和监控他们的应用程序。”
Overton将包含两个元素的模式作为输入：数据有效负载描述用于训练新的或现有AI模型的输入数据，模型任务描述模型需要完成的任务。此外，模式定义了目标机器学习模型的输入，输出和粗粒度数据流，不是说明模型计算的内容，而是有效地计算模型的计算方式。
Overton将模式编译为许多版本的AI开发框架，如Google的TensorFlow，Apple的CoreML或Facebook的PyTorch，然后搜索适当的架构和超参数(可调变量直接影响模型的训练)。在监控方面，Overton允许工程师提供与各个数据点相关的标签，指出哪些应用于培训，测试和开发。
Overton采用其他有用的技术，如模型切片，使用户可以识别对产品至关重要的输入数据子集，并将其用作增加表示和减少偏差的指南。另外，它本身支持多任务学习，使得Overton同时预测所有模型的任务(例如，词性标注或打字)。
苹果研究人员表示，在定性测试中，与生产系统相比，Overton将错误减少了1.7至2.9倍。
“总的来说，Overton代表了一种首创的机器学习生命周期管理系统，专注于监控和提高应用程序质量，”该论文的coathors写道。 “一个关键的想法是将模型和数据分开，这是通过无代码的深度学习方法实现的。 Overton重新利用数据库社区和机器学习社区的想法，帮助工程师支持机器学习工具包的生命周期。“
在许多方面，Overton只是另一种选择 – 虽然是一个高度可扩展的 – 在Uber，Facebook和其他公司发布的大量“auto ML”工具上。 Databricks上个月推出了一个用于模型构建和部署的工具包，可以自动执行超参数调整，批量预测和模型搜索等操作。 IBM的Watson Studio AutoAI(6月份首次亮相)承诺实现企业AI模型开发的自动化，微软最近增强的Azure机器学习云服务和Google的AutoML套件也是如此。
但对于一家公司的内部运作却很少见，因为该公司一直不愿意在人工智能和机器学习研究方面拉开帷幕。运气好的话，Overton报纸和上周的Siri披露信号标志着大量出版物的开始。