本文由公众号EAWorld翻译发表，转载需注明出处。

作者：Nicole Kwan

译者：白小白

原题：The Hidden Dangers in Algorithmic Decision Making

全文6117字，阅读约需要10分钟

“有人的地方，就有偏见，数据亦然。”

在《Futurama》这部漫画里，机器人法官风趣而勇敢，但是现实中，COMPAS算法却很难让人笑得出来。

译注：

COMPAS全称是Correctional Offender Management Profiling for Alternative Sanctions，以“替代性制裁为目标的惩教犯管理画像”。简单理解，就是对嫌疑人进行人工智能画像，以量刑或者判断是否假释。类似于2002年上映的电影《少数派报告》，将犯罪的萌芽消灭于襁褓之中。但此处提出COMPAS是因为这一算法因数据集或者其他问题，会产生对有色人种或特殊族裔的偏见。

和我们看过的大多数科幻电影不同，人工智能给现代生活带来的革命是润物无声的；拥有自主意识的机器人统治人类的场景还没有出现，但人工智已经渗透到我们的生活之中，稳步地侵入了以前人类独有的决策领域。正因如此，你甚至可能没有注意到你的生活中已经有太多方面受到算法的影响。

清晨醒来，你伸手拿起手机，翻翻微博或者抖音，此时，一个由算法创建的内容提要正在为你服务。然后你检查了你的电子邮件，收件箱中只有重要的信息，因为所有可以忽略的内容都已经自动丢弃到垃圾邮件或促销文件夹中。你戴上耳机，收听网易云音乐上的一个新的播放列表，这是算法根据你以前所感兴趣的音乐为你挑选的。继续着上午的例行工作，你进入汽车，并使用百度地图，看看今天路上堵不堵。

在半个小时的时间里，你所消费的内容、收听的音乐以及你上班的路程都依赖于算法的预测建模，而不是你自己的大脑。

机器学习来了。人工智能来了。我们正处在信息革命的进程之中，在感叹生逢其时的同时，必须警惕随之而来的影响。让机器告诉你通勤的时间、你应该听的音乐以及你可能感兴趣的内容，这些都是相对无害的例子。但是当你浏览你的微博新闻时，某个地方的一个算法正在决定某人的医疗诊断、假释资格或者职业前景。

从表面上看，机器学习算法看起来是一种很有前景的解决方案，可以消弭人类的偏见，这一人性的弱点可能对数百万人的生活产生负面影响。人们的初衷是，人工智能中的算法能够在公平和高效等方面超越人类既有的水平。世界各地的公司、政府、组织和个人都在使用机器决策，支持这样做的理由有很多：更可靠、更容易、更便宜、更节省时间等。然而，仍有一些问题需要注意。

偏见的一般定义

图片来源：Getty Images

偏见可以被定义为在被认为不公平的情况下比其他人更受青睐的某些事物、人或群体。它通常是对某些理性决定或规范的偏离，可以从统计学、法律、道德的或实用主义的角度来理解。我们在日常生活中以及在人类社会尺度上都可以看到偏见的影子。通常情况下，偏见之间会相互强化。

例如，在回家的路上，你可能会选择走一条不那么“阴暗”的街区，为何会这样？也许是因为这个地区是那些社会经济地位较低的人的家园。虽然不是说这类人群一定更有可能参与犯罪活动，但你的偏见，无论是显性的还是隐性的，都促使你选择一条不同的路线。从更宏观的视角看，警方也可能由于偏见从而加强对这些地区的巡逻，而这反过来又可能导致比富裕的社区更高的逮捕率，从而产生一种高犯罪率的假象，而无关那里实际发生的犯罪率有多大。这种恶性循环似乎只会加剧我们最初的偏见。