Facebook的新AI系统如何停用数十亿个虚假帐户

 
Facebook的假账户存在一个大问题-该公司知道这一点。在短短三个月内，Facebook可能会删除几乎与该网站上真实账户一样多的假账户。
该社交网络今天揭示了其最新发现的伪造品的方法：一种称为深度实体分类(DEC)的新机器学习模型。 Facebook表示，该系统已经检测到数亿个违规帐户。
DEC旨在克服传统的检测伪造帐户方法的局限性，该方法通常侧重于用户个人资料。当帐户显示高度可疑的行为(例如发布数百张Rayban太阳镜的图片)时，这可以很好地工作。但是，老练的攻击者可以通过巧妙地调整其行为来欺骗这些类型的系统，例如调整其朋友数量和保持帐户活动的时间。
新系统通过查看更深层次的功能来解决此问题。它通过将可疑帐户连接到与之交互的所有朋友，组和页面来找到这些内容。
然后它将调查所有这些连接的实体。朋友将根据他们的年龄，加入的团体以及他们拥有的朋友数量发出信号。可以根据他们吸引的成员和他们拥有的管理员来评估组。页面可以通过其管理员人数进行评估。
它通过查看数以万计的功能来识别虚假帐户
通过分析所有这些实体的行为和属性，该模型对帐户是否为伪造有了一个很强的认识。
但是，如果确实使他们错了，则帐户会进入上诉程序，使被告有机会在被禁止之前做出回应。
Facebook社区诚信产品经理Brad Shuttleworth说：“这是纵深防御。” “正是这两套系统紧密协作，弥补了彼此的弱点。”
假朋友
监管Facebook可能是一项艰巨的任务。单凭人类分析人员就无法管理如此庞大的规模，而机器将在虚假账户和真实账户的行为细微处挣扎。
并非所有看起来伪造的帐户都有恶意意图。
Facebook“社区诚信”部门的数据科学经理Bochra Gharbaoui说：“人们说假话时，通常是可疑的。”
“他们不确定帐户的意图，也可能是他们在Facebook上看到的行为与他们期望人们在平台上的行为不一致。”
这些期望可以反映出文化差异。例如，在世界某些地方，“朋友”仅在您遇到的人中很普遍，而在其他地区，用户经常添加从未见过的朋友。
为避免歧视不同文化，Facebook的社区标准团队仅关注普遍价值观。
另一个问题是，假帐户并不总是恶意的。它们可能只是企业，组织或“非人类实体”，例如宠物猫，扮演亚伯拉罕·林肯的人物或外星人，大概被错误地分类为帐户而不是页面。
他们要禁用的违规帐户是那些打算造成损害的帐户。这些通常是由骗子和垃圾邮件发送者试图获取现金而创建的。有时他们会在一个季度中找到数十亿美元。

 
Facebook最新的社区标准执行报告表明，他们的方法正在奏效。在过去的两年中，在用户举报之前发现了他们采取行动的违规帐户中超过99.5%。
不过，仍然很难知道他们可能遗漏了多少个假帐户。 Facebook估计大约有5%的每月活跃帐户是伪造的，但承认无法确定数字。
尽管如此，Facebook有信心其新系统运行良好，并热衷于向批评家保证，人类仍然处于循环之中。
沙特尔沃思说：“在这里，我们看到机器学习和人工审查永远协同工作。”
该系统还难以确定政治动机。 Facebook成立了专门的团队来调查这些类型的攻击者，例如专注于民族国家行为者的信息运营部门。但是DEC的教训可以支持他们的分析。
他们很快就对这项工作的进展进行了重大考验：美国总统大选距离我们只有九个月的时间。