微软开源ONNX运行时模型以加速Google的BERT

 
微软研究院AI今天表示，它计划开源Google流行的BERT自然语言模型的优化版本，该模型旨在与ONNX运行时推理引擎配合使用。在为Bing搜索引擎提供语言表示功能时，Microsoft使用相同的模型来降低BERT的延迟。去年秋天的一篇文章中详细介绍了该模型，该模型“为Bing用户带来了最大的搜索体验改善”。
公司发言人在一封电子邮件中对VentureBeat表示，这意味着开发人员可以使用ONNX Runtime和Nvidia V100 GPU大规模部署BERT，而延迟只有1.7毫秒，这以前只适用于大型科技公司。
微软于2017年加入Facebook，创建了ONNX，以推动跨AI硬件(如半导体)和软件(如机器学习框架)之间的互操作性。经过BERT优化的工具加入了许多ONNX运行时加速器，例如Nvidia TensorRT和英特尔的OpenVINO之一。使用ONNX标准意味着优化的模型可以与PyTorch，TensorFlow和其他流行的机器学习模型一起运行。
这项工作是Azure AI与Microsoft AI and Research之间合作的结果。
“由于BERT模型主要由堆叠的变压器单元组成，因此我们通过将多个基本运算符的关键子图融合到CPU和GPU的单个内核(包括自我注意，LayerNormalization和Gelu层)中来优化每个单元。微软高级程序经理艾玛·宁(Emma Ning)今天在博客中说。
对于微软来说，这是自然语言方面的最新飞跃，但这并不是其使Google的BERT更好的首次尝试。大约一年前，Microsoft AI研究人员还发布了MT-DNN，这是一种基于Transformer的模型，为GLUE语言模型性能基准设定了新的高性能标准。
与VentureBeat谈过2020年机器学习趋势的机器学习顶尖人士称，通过使用基于BERT和MT-DNN等基于Transformer的模型生成文本等任务，自然语言模型取得了进步，这是2019年AI最重要的故事之一。
在Microsoft的其他自然语言开发中，上个月在温哥华的NeurIPS上，Microsoft和浙江大学共享了FastSpeech，该模型旨在提高与人对话的文本到语音模型的性能和速度。在2019年夏季，微软推出了Icecaps，这是一个工具包，可帮助创建具有多个角色的对话式AI助手。