法院下令暂停使用黑匣子AI，以在人权问题中发现福利欺诈

 
荷兰海牙地方法院昨日命令荷兰政府停止使用旨在预测福利欺诈的黑匣子人工智能系统。该裁决是针对隐私问题而发布的，被维权人士和隐私倡导组织宣布为民权胜利。
特定程序“系统风险指示(SyRI)”使用政府数据来预测福利接受者是否“可能”从事福利欺诈。在使用了多年之后，荷兰政府断言它不会对公民隐私构成不当威胁。
但是，在包括联合国在内的众多隐私权倡导组织表示关注对特定低收入社区中的福利接收者进行自动刑事调查意味着什么之后，法院拒绝看清该州的情况。
根据海牙地方法院的新闻稿(通过Google翻译翻译)：
法院的结论是，当前形式的SyRI立法未通过ECHR第8条第2款的测试。法院将SyRI立法的目标进行了比较，即为了经济利益而预防和打击欺诈行为，同时又违反了立法所规定的私人生活。
根据法院的说法，该立法不符合ECHR要求的“合理平衡”，以便能够说出充分正当的侵犯私人生活的理由。关于SyRI的部署，法律不够清晰和可验证。该立法是非法的，因为它违反了更高的法律，因此没有约束力。
重要的是，法院没有使用GDPR法规得出结论。相反，它是从《欧洲人权公约》得出结论的，该公约要求使用任何可能用来描写人们形象的技术，在隐私和必要性之间取得合理的平衡。
荷兰政府认为，公民对社会保障体系的信任对国家的福祉至关重要，因此，美国，英国和其他许多国家的政府都以同样的方式捍卫了对剖析软件的使用：人在循环中”的漏洞。
通过宣称“圈内有人”，政府避免被指控使用完全自主的系统来调查和起诉人民。正如Tech Crunch的Natasha Lomas所说：
GDPR第22条规定，个人有权不受制于可能产生重大法律效力的完全自动化的个人决策。但是，如果有人在循环中某个地方，这是否适用，可能会引起一些模糊性，例如审查有关异议的决定。
海牙地方法院通过驳回这一概念并将这种侵犯隐私声明为侵犯人权行为，开创了可以最终规避这一漏洞的先例。
荷兰政府拒绝向法庭透露SyRI是如何工作的，从何处获取数据或如何确定风险，理由是担心犯罪分子会学习如何利用该系统来泄露此类信息。
隐私权倡导者说，这意味着政府将每个公民都视为“不是无辜的”，并先发制人地进行刑事调查，而没有透露调查的可能原因或证据。更令人担忧的是，荷兰政府仅在少数低收入社区中使用了SyRI，其中许多社区被认为是贫困移民的避风港。
人权观察今天在一份声明中宣布该裁决是一项全球性的胜利：
通过停止SyRI，法院为保护自动化时代的穷人的权利树立了重要的先例。依靠数据分析来警察获取社会保障的政府(例如美国，英国和澳大利亚的政府)应留意法院的警告，指出将社会保障受益人当作永久犯罪嫌疑人所涉及的人权风险。