AI威胁论兴起？Nature欲发表“罪犯识别”研究，遭1700名科学家联名抵制

作者 | 青 暮

编辑 | 蒋宝尚

今日，一份长长的公开信在reddit机器学习版块火了起来，信的内容涉及1700名科学家联名抵制一项人工智能研究发表在Springer Nature上。

这1700名科学家，不少是来自MIT、NYU、哈佛等著名学府以及Google、DeepMind、微软等知名企业的学者。例如《算法霸权》一书的作者凯西·奥尼尔、Responsible AI 的全球领导者Rumman Chowdhury 博士等等。

联合抵制的研究是名为《A Deep Neural Network Model to Predict Criminality Using Image Processing》的论文。

论文的作者是来自美国哈里斯堡大学的研究人员，在论文中作者声称开发了能够预测某人是否可能成为犯罪分子的自动计算机面部识别软件。并且该软件具有80％的准确性，可以仅基于其面部图片来预测某人是否为罪犯。 另外作者还强调了论文中的算法模型没有种族偏见。

对于这篇论文具体所讲述的"故事"，其中一个作者Sadeghian表示："我们已经知道，机器学习技术在与面部识别和情感检测有关的各种任务上可以胜过人类。" "这项研究表明，这些工具可以从图像中提取出高度可预测犯罪的微小特征，从而说明这些工具的功能多么强大。"

1

事件爆发来源于对AI威胁论的担忧

其实，这次"1700名科学家联名抵制"事件爆发其实是： 人们对AI技术中存在的公平性问题或者是AI威胁论长期担忧的结果。比如人脸生成或人脸翻译模型经常因为生成结果偏向白人而备受吐槽。Yann LeCun也于6月23日在twitter上批评道：

当数据有偏差时，ML系统也会有偏差。这个脸部上采样系统使每个人看起来都是白人，因为该网络已在FlickFaceHQ上进行了预训练，该数据集主要包含白人照片。

如下图所示，我们能轻易认出左边打码人脸是奥巴马，但算法却将其转换成了一张白人男性的脸。

尽管作者声称"仅根据他们的面部表情来预测某人是否为罪犯"、准确性为" 80％、没有种族偏见。"问题是，通过使用"无种族偏见"一词，他们将算法偏见与社会偏见混为一谈。这句话很好地说明了社会偏见问题：

由于"犯罪"类别本身是带有种族偏见的，因此无法开发一种系统来预测或识别没有种族偏见的"犯罪"。

在Reddit上网友也对此事件评论写道：

这就是为什么电影《少数派报道》如此受欢迎的原因，因为"犯罪前预测"并没有道理。即使是预测的指示/建议也根本不是一个好的预测。否则，我们将已经使用算法对股票市场进行了博弈。我们不会逮捕21岁以上的成年人饮酒，而是逮捕他们的酒后驾驶。即使21岁饮酒可能是他们可能会酒后驾车的强烈迹象。

模型可能不会存在相对于训练数据的"偏见"，但是训练数据中本身就存在固有的偏差。基于当前数据的算法只会延续目前存在的不公平偏见链。

在美国，我们的《第五修正案》规定："除非有大陪审团的陈述或起诉，否则任何人不得被要求为死刑或其他以臭名昭著的罪行负责"。这项研究的糟糕程度超出了数据偏见的范畴，侵犯了我们的自由。"

也许作为一个机器学习社区需要先解决一个术语问题，以便我们可以更好地传达算法偏见（取决于期望的结果可能是不期望的）与偏见的社会观念之间的区别。

2

请愿书概括

尽管篇幅很长，但这篇请愿书清楚地阐明了围绕ML公平性所讨论的许多问题。

请愿书地址：https://medium.com/@
CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

我们来简单概览一下这封请愿书：

亲爱的Springer Nature编辑委员会：

我们写信给您，代表了各个技术、科学和人文领域（包括统计、机器学习和人工智能、法律、社会学、历史、传播研究和人类学）的专家研究人员和从业人员。我们共同对即将出版的研究论文"A Deep Neural Network Model to Predict Criminality Using Image Processing"深表关注。根据最近的消息，本文将在您的期刊"Springer Nature - Research Book Series: Transactions on Computational Science and Computational Intelligence"中发表。

我们敦促：

审核委员会将公开撤销该特定研究的发表，并解释用于评估的标准。

Springer Nature发表声明，谴责使用刑事司法统计数据预测犯罪行为的做法，并承认其过去在激励有害学术方面的作用。

所有出版商今后都不要发表类似的研究。

社区组织者和黑人学者一直处于执法部门对使用AI技术的抵制的最前沿，尤其侧重于面部识别。然而， 即使业界和研究院投入大量资源来建立用于机器学习和AI的"公平、负责和透明"的实践，这些声音仍被边缘化。

机器学习的吸引力之一是它具有很高的延展性，可以使用任何可能的因果机制来合理化对预测或检测有用的相关性。

然而，这些研究最终被表示和解释的方式在很大程度上取决于数据科学的政治经济学及其使用环境。机器学习应用不是中立的。机器学习技术和它们使用的数据集通常会继承关于世界的主流文化信仰。这些技术反映了处于开发机器学习模型的特权位置的人们的动机和观点，以及他们所依赖的数据。

对默认假设的不加批判的接受不可避免地导致算法系统中的歧视性设计，重现使社会等级制度规范化并合法化针对边缘化群体的暴力行为的观念。

此类研究不需要研究人员故意的恶意或种族偏见。相反，它是任何领域的预期副产品，几乎都是在"预测性能"的基础上评估其研究质量的。

看起来请愿书的效果立竿见影。Springer Nature已经在twitter上声明不会发表该论文，不过还不清楚其会如何回应请愿书的具体要求。

不同于中国人脸识别技术普及的"润物细无声"，在种族主义的背景下，人脸识别在美国一直处于尴尬的境地。

2018 年的一个调查显示，人脸识别针对黑人女性的错误率高达 21%-35%，而针对白人男性的错误率则低于 1%--这在美国可以说是非常政治不正确的。

IBM更是于今年6月8日宣布不再提供任何人脸识别和人脸分析软件。

美国公民自由联盟（American Civil Liberties Union，ACLU）称人脸识别为 "可能是有史以来最危险的监视技术"，并多次上书美国政府：要求亚马逊停止向警方提供其旗下的"Rekognition"人脸识别技术。

在美国，黑人群体本身犯罪率更高。 即使技术本身自称无偏见，也不可能消除群体差异导致的社会偏见。如果"罪犯识别"技术在实际应用中发现黑人比白人更可能被识别为罪犯，难免会像近期的George Floyd死亡事件那样再次触发美国种族冲突的敏感神经。

其次，在算法准确率上也存在争议。据报道，亚马逊的图像识别 AI 系统 "Rekognition" 曾将 28 名美国国会议员识别成了罪犯。而尽管这项"罪犯识别"研究声称有80%的准确率，但是谁也不希望成为那20%，毕竟被误识别为罪犯是非常严重的冒犯。

最后，"罪犯识别"并没有成为系统的科学，人脸可能仅仅是非常片面的线索，在小样本数据集上获得再高的准确率，也不能保证其在实践应用中的可靠性。

参考资料：

https://www.reddit.com/r/MachineLearning/comments/heiyqq/dr_a_letter_urging_springer_nature_not_to_publish/

https://twitter.com/SpringerNature/status/1275477365196566528

https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

https://web.archive.org/web/20200506013352/https://harrisburgu.edu/hu-facial-recognition-software-identifies-potential-criminals/

https://www.toutiao.com/i6841885989133091342/