摘自Bolukbasi等人的论文，2016年

然而，词嵌入的一个问题是，它有可能扩展现有的性别联系。波士顿大学的Bolukbasi等学者对谷歌翻译服务中使用的词嵌入技术进行了研究。在训练中很少涉及人类工程师的介入，代之以自然语言内容的文章、新闻、书籍等词库为基础进行训练。Bolukbasi考察了土耳其语与英语翻译的关系，因为土耳其语使用性别中性代词而不是明确的“（男）他”或“（女）她”。在将土耳其语翻译到英语的过程中，谷歌将被迫选择一个性别代词。这项研究发现了谷歌的性别歧视偏见，因为它将“o bir doktor”翻译为“他是一名医生”，而将“o bir hemsire”翻译为“她是一名护士”。

“知情”算法与“不知情”算法

从表面上看，消除偏见、解决公平问题的最简单方法是，隐藏造成偏见的信息：例如，在审查简历的算法中，排除简历中的姓名和性别，理论上听起来可能会防止性别偏见的发生。毕竟如果没有关于性别的信息，那么机器就不可能对男人和女人有不同的对待，对吧？

但现实比这更加复杂。上述方法被称为“不知情”的算法构建方法。如果要删除性别这一属性，前提是在工作能力方面，性别将是一个可以忽略不计的因素。然而，由于算法是经由训练来识别统计数据中的模式的，所以无论我们怎么做，数据集中都会不可避免的体现社会中的相关性、刻板印象和不平等，这些因素既然存在于现实中，也就存在于我们训练算法的数据集中。即使没有明确说明，机器学习也将能够获得与性别相联系的可见特征。例如，用于雇佣的分类算法可能会将权重放在兵役年限上，并将其与能力或忠诚联系起来，而在以色列，男性通常服务3年，而女性则服务2年。这就使得服役年限成了一个与性别密切相关的属性，删除了这一基本信息，就删除了做出客观决策所必需的上下文。正因为如此，一个“不知情”算法有时会比“知情算法”有更大的偏差。

另一方面，“知情算法”使用性别信息，可以将妇女服役时间较短的趋势纳入考虑的范畴。弥合准确性与公平性之间的鸿沟往往需要权衡：毕竟鱼和熊掌不可兼得。“不知情算法”是一个更公平的过程：在训练阶段不考虑敏感属性。然而，这可能导致有偏见的结果。“知情算法”使用了一个更不公平的过程：将敏感的分类和信息纳入考量，但最终可能产生更客观的结果。

反馈循环/自我延续

机器学习很容易陷入反馈循环，这最终会导致偏见的延续。例如，当机器预测用于刑事风险评估时，黑人比白人更有可能被评为高风险。这纯粹是由于黑人和白人之间在犯罪记录上的悬殊差异造成的，不幸的是，这反映了人类在种族方面的偏见。而且，随着机器不断的给黑人贴上高风险标签，数据集的数据逐渐的累加，从而使对黑人被告的偏见雪上加霜。在这种情况下，系统不仅反映了从人类偏见中学到的模式，而且还加强了自己的学习过程。

替代目标

除了训练数据中存在的问题外，偏见还可以通过多种方式进入算法的过程。我们的下一项研究是关于传播算法度量的构造有效性：你的度量方法是否达成了既定的目标？当它不能准确度量时，会产生什么后果呢？

社交媒体算法不再基于时间序显示帖子，而是通过机器学习算法过滤所有你曾经参与过的事情。目标是根据你以前的兴趣来衡量你的参与度，然后它会向你展示它认为你可能会参与的更多的内容。对一段内容的参与率越高，算法就越有可能将该内容推荐到新闻提要上：理想情况下，这是有意义的。因为，理论上，受欢迎的帖子应该是更好的内容，否则，为什么会有这么多人喜欢？

不幸的是，人类并不拥有足够的智慧，让这个算法可以恰如其分地工作。一直以来，表现最好的内容往往是由虚假新闻、名人八卦、政治诽谤和许多其他对改善世界毫无意义的东西组成的。但是对此算法是无法理解的，所以恶性循环仍在继续。

译注：

替代目标所讲，就是对于无法直接达成的目标采用的替代做法。如我们无法准确的获知人们对于内容的喜好所表达的方式是什么，因此只能生硬的选择点赞、评论、转发等指标作为替代目标来进行评估。而人们喜欢或者不喜欢一个内容，或者一个内容是否足够优秀，其真正的成因往往是十分复杂的。