人工智能系统中“改造人类”的陷阱

 
斯坦尼斯拉夫·彼得罗夫(Stanislav Petrov)在计算机科学领域并不像Ada Lovelace或Grace Hopper那样出名，但他的故事对AI系统开发人员来说是至关重要的一课。彼得罗夫于2017年5月19日去世，是苏联防空部队的中校。 1983年9月26日，一则警报宣布美国已发射了五枚核武装洲际弹道导弹(ICBM)。作为技术探测系统中的人，他的工作是升格为领导，以报复发射苏联导弹，以确保相互确保销毁。
当警笛声刺耳时，他花了片刻停顿并认真思考。美国为什么只发送五枚导弹?他们必须发送什么目的?全球政治事件中没有迹象表明这种严厉措施即将到来。他选择不遵循协议，经过一番痛苦的几分钟，他意识到自己做出了正确的决定。没有导弹袭击;这是一个错误的警报。领导层正式谴责他拯救世界的决定。
在我们的社会技术算法系统中，没有考虑基于特定于上下文的人类推论采取行动的能力。我们围绕AI系统使用的语言将技术拟人化，从而使人摆脱了叙述。从语言上讲，我们对技术的描述结构如下：“人工智能可以在四秒钟内诊断出心脏病，研究表明机器现在已经像医生一样“好”。这种思维方式减少了人类医生死记硬背的行为并提出了建议。 “ AI医生”的想法，就好像它具有物理形式并且能够采取任意行动。当我们想象这样的AI时，它不是作为代码或算法，而是通过拟人化来实现，例如从终结者或比约克的音乐录影带“所有人都充满爱”中提取的拟人化。在这些情况下，人类不再是一个有能力的人演员，而是被动的结果接收者。
现实情况是，这些系统并非一无所知，不能完美地泛化，而且在实践中常常存在缺陷。算法系统的设计者和实践者有两种失败方式。首先，他们对AI交付针对人类受试者的特定于环境的解决方案的能力过于自信。其次，它们没有为人类参与者提供一种有效地挑战或纠正系统建议的方法。由梅雷迪思·布劳萨德(Meredith Broussard)创造的“技术改造主义”的扩展，“改造人类”是一种使人类适应AI系统的局限性而不是为了人类服务而进行的技术改造的现象。随着算法开始影响我们的日常生活，这种后果越来越明显。
刑事司法系统中风险评估算法的使用已成为讨论的热门话题，首先是ProPublica对Northpointe的COMPAS假释算法的分析引起了公众的关注。 Northpointe声称其软件可以预测累犯率。但是，ProPublica的Jeff Larson和Julia Angwin的数据科学家团队进行了分析，并确定COMPAS对白人和黑人的评分不均。他们的工作不仅暴露了在有影响的情况下算法的开发和构造中的偏见和歧视问题，而且他们与Northpointe进行的统计辩论证明了算法输出的概率性，因此不确定性。
根据设计，在很多情况下，算法无法做出最终决定;但是我们必须让循环中的人真正影响变化。正如任何重要的设计学者都会告诉您的那样，仅仅将人作为事后想法是远远不够的，特别是当面对“全知”的AI系统的叙述时。了解用户交互和电源动态特性对于创建设计良好的人在环系统至关重要。
一些研究表明，由于数据和AI的客观性，人们比其他人更信任算法。在他们的研究中，Poornima Madhavan和Douglas Weigman对人与AI决策的可靠性和可信赖性进行了测试。他们注意到，在行李分拣活动中，自动化的“新手”被认为比人类的“新手”更可靠和值得信赖，但是人类的“专家”被认为比自动化的“专家”更值得信赖。当我们调查可靠性时，总体上，人们认为算法解决方案比人们更可靠。
换句话说，即使在低技能的任务中，如果人们被认为是在没有授权的角色中，我们也会看到对算法的尊重。即使存在算法上的潜在缺陷，人们也必须证明其卓越的能力，并且将默认的电源位置分配给AI系统。
考虑到算法的奥秘，人们很难理解如何将这些输入整合到他们的决策中。 Ben Green和Chen Yiling发现，在传统的“人在循环中”算法系统(在这种情况下，是审前风险评估方案)，参与者无法确定评估(或模型)的准确性如何，也无法调整对评估的依赖程度。系统根据模型的执行情况进行评估，并且在决策中仍然显示出种族偏见。
在实验室外，当我们调查由AI告知的高技能演员时，人机动力将如何变化?梅根·史蒂文森(Megan T.Stevenson)发现，获得审前风险评估结果来确定保释的法官在决策上几乎没有改变，而且随着时间的推移，任何改变都回归到他们自己的偏见上。与上述Green和Chen的实验相似，如果没有给法官提供批判性询问或质疑算法的信息，并且不对法官拒绝系统设计中算法输出的决定负责，则他们可能会选择忽略它。
但史蒂文森(Stevenson)的发现表明，有缺陷的设计如何导致带有内在偏见的结果，这些偏见会对能力较弱的人产生不利影响，在这种情况下，就是正在对其进行保释评估的个人。算法的使用使最终决定对于未经训练的观察者来说似乎更为客观，即使它不会影响做出决定的法官。
这使得这些人为算法系统的治理和法官保释决定的可竞争性变得更加困难。这也导致了一个令人困惑的问题：如果我们建立算法咨询系统是因为我们认为人类存在偏见，然后认为算法偏见需要人类监督，那么这个周期在哪里结束?同样，我们如何与技术革新主义作斗争并创建系统，使人们有能力挑战结果而不是像彼得罗夫那样因不遵守规则而受到惩罚?
我们关于算法偏差的讨论需要考虑人类既是生态系统的接受者又是行动者。彼得罗夫(Petrov)的案例与使用AI无关，但它警告说设计技术系统的危险性使用户无法行使独立思想。当我们未能在算法输出和人类之间设计出真正有意义的交互作用时，就会出现一种改造人类系统的陷阱，即人类受技术限制而无权影响结果的陷阱。