研究人员提出描述符以防止AI系统组件不匹配

 
人工智能至少在理论上为公共部门带来了巨大的希望。但是实际上，将AI组件集成到公共部门应用程序中受到了这些组件的脆弱性以及它们之间的不匹配的限制。例如，如果使用与操作环境中的数据不同的数据训练机器学习模型，则组件的性能将大大降低。
这个难题促使卡内基·梅隆大学的研究人员研究了AI系统集成中的配置类别，并确定了不同领域的从业者(包括数据科学家，软件工程师和运营人员)所做的假设。他们的目的是寻找新的方法来明确地传达适当的信息，同时开发减轻不匹配影响的方法。
合著者指出，在工作和应用中部署AI模型仍然是一项艰巨的挑战。合著者详细介绍了该研究的论文已在今年的政府和公共部门诉讼会议上接受。这是因为模型的开发和操作通常涉及三个不同的角度：数据科学家，软件工程师和操作人员。第一种构建模型并对其进行训练，然后再针对一组通用指标对其进行测试，而第二种将训练后的模型集成到一个更大的系统中，而第三种则部署，操作和监视整个系统。
研究人员说，这三种观点是分开运作的，并使用不同的术语，导致假设之间不匹配。结果，模型测试期间使用的计算资源与运营期间使用的计算资源并没有什么不同，从而导致性能下降。更糟糕的是，通常没有设置监视工具来检测模型准确性下降或系统故障。
团队的解决方案就是他们所说的机器可读的ML-Enabled系统元素描述符，一种在AI系统中启用不匹配检测和预防的机制。描述符将属性编码，以从所有上述角度做出明确的假设。也就是说，它们可以以手动，有监督的方式用于信息和评估目的，或者可以通知开发在设计时和运行时运行的自动失配检测器。
研究人员提出了一种由三个阶段组成的描述符构建方法。他们首先通过与机器学习从业人员的访谈得出不匹配及其后果的示例，然后他们将从GitHub描述和文献中识别用于描述系统元素的属性。在随后的映射阶段，他们将为每个不匹配项确定一组属性，以用于检测它们，并针对未映射到任何属性的表面不匹配项进行差距和可行性分析。
然后，团队将从第一阶段开始与从业者重新接触，以验证他们的工作，以期达成90%的共识。他们还将开发自动不匹配检测的演示，并创建可以检测不匹配的脚本-理想的示例是验证不匹配和属性之间的映射以及从该映射创建的描述符集的示例。
“我们的工作愿景是，社区开始开发用于自动检测不匹配的工具，而组织开始在其工具链中包括不匹配检测，以开发支持ML的系统”，共同作者写道。 “为了使[AI]组件能够以有意义的方式部署，我们将需要了解存在的不匹配，并开发减轻这些不匹配影响的方法。”