ProBeat：“算法就像凸面镜子一样，可以折射人的偏见”

 
昨天在多伦多举行的Movethedial全球峰会上，我专心地听了一个主题为“没有礼貌的小说：人工智能揭示了人类的内容。”北欧化工AI产品总监Kathryn Hume列举了一系列AI和算法故障-我们已经看到了很多。但这正是休described(Hume)描述算法的真正方法。
休ume说：“算法就像凸面镜一样，可以折射人的偏见，但要做到直率。” “他们不允许像我们经常以此来维持社会生活的有礼貌的小说。”
我真的很喜欢这个比喻。这可能是我到目前为止所听到的最好的，因为它并没有就此结束。休ume(Hume)在稍后的演讲中，讨论了一种偏向于黑人的算法，该算法用于预测美国的未来犯罪分子。
休ume说：“这些系统不允许有礼貌的小说。” “实际上，它们是一面镜子，可以使我们直接观察社会上可能存在的问题，以便我们进行修复。但是我们需要小心，因为如果我们不能很好地设计这些系统，那么它们要做的就是对数据中的内容进行编码，并可能放大当今社会中存在的偏见。”
反射与折射
如果算法设计不当，或者-如今几乎AI中的所有人都会告诉您-如果您的数据天生就有偏差，那么结果也将是错误的。您很有可能经常听到这个消息，它已经被敲响了。
凸镜比喻告诉您的不仅仅是获取更好的数据。关于镜子的事情是你可以看一下它。您会看到反射。凸镜会变形：当物体靠近时，反射的图像会变大。镜子反射的主要部分占据了镜子的大部分。
请看本周流行的推文风暴：
@AppleCard真是个该死的性别歧视计划。我和我的妻子提交了联合纳税申报表，居住在社区财产州，并且已经结婚很长时间了。然而，苹果公司的黑匣子算法认为我应得的信用额度是她的20倍。没有上诉的工作。
— DHH(@dhh)2019年11月7日
是的，数据，算法和应用程序似乎有缺陷。苹果和高盛的代表不知道为什么。
因此，没有人理解算法。没有人有权检查或检查算法。但是，我们与Apple和GS进行交流的每个人都确信，该算法没有任何偏见和歧视。那就是认知失调的A级管理。
— DHH(@dhh)2019年11月8日
显然正在发生什么。苹果和高盛正在调查中。纽约州金融服务部也是如此。
无论最终有什么偏差，我认为我们都可以同意，一个合伙人的信用额度是另一个合伙人的20倍是可笑的。也许他们会修复算法。但是，一旦调查完成，我们还需要提出更大的问题。人类会分配较小的倍数吗?会被保证吗?为什么?
因此，您已经设计了一种算法，并且您所在的社区，您的业务和数据集都存在某种问题。您可能会意识到您的算法给您带来有问题的结果。但是，如果缩小，则会发现算法不是问题。它正在反映和解决这个问题。从那里，不仅需要确定数据集和算法，还需要确定您的业务和社区。
ProBeat是专栏，其中Emil对那周遇到的任何事情都rant之以鼻。