追求技术的竞赛:照亮新吉姆代码

我们的算法有多偏颇?

我童年的一段时间和奶奶住在一起,就在洛杉矶克伦肖大道附近。我的学校和我们家在同一条街上,但我还是花了很多天时间,试图哄我们街区的孩子们和我一起在奶奶铺着人造草坪的巨大混凝土门廊上“玩学校”。对于几个愿意来的人,我会分发小纸条,在一块小黑板上写下数学题,直到有人坚持让我们去玩捉人游戏或捉迷藏。不用说,我没有那么多朋友!但我仍然有美好的回忆,我在克伦肖长大,周围的人都真正关心彼此的幸福,直到今天,我还能感觉到他们在为我加油,让我继续在学校玩。

我成长过程中一些最生动的记忆也与警察有关。当我们经过操场围栏时,从汽车后座的窗户向外望去,男孩们排着队等待警察搜身;或者听到头顶上警察直升机不停的轰鸣声,离得那么近,屋顶都在摇晃,而我们都试图忽略它。一切如常。后来,作为一名年轻的母亲,每当我回去看望他们时,我都会回忆起在直升机的声音和光线穿透薄玻璃时试图让孩子们睡觉的挫败感。和所有生活在戒备森严的社区的人一样,我从小就有一种被监视的强烈感觉。家人、朋友和邻居——我们所有人都被困在一个禁锢的网络中,其他人的安全和自由都建立在我们的禁锢之上。

现在,在大数据时代,我们中的许多人继续被监视和测量,但我们无法听到直升机的轰鸣声。这并不意味着我们不再觉得成为一个问题是什么感觉。我们所做的。这本书是我试图从另一个方向照亮光明的尝试,试图解码这种微妙但同样充满敌意的系统性偏见,即“新吉姆密码”。

工程不平等:机器人是种族主义者吗?

欢迎参加首届国际选美比赛,评委是人工智能

“人工智能选美大赛”是由总部位于澳大利亚和香港的组织“青年实验室”(Youth Laboratories)与多家公司联合开发的,这些公司联手举办了有史以来第一次由机器人评判的选美比赛。这次冒险包括几个看似简单的步骤:

  1. 参赛者下载美容AI应用程序。
  2. 选手们自拍。
  3. 机器人陪审团检查所有照片。
  4. 机器人陪审团选出国王和王后。
  5. 消息传遍世界。

至于规则,参与者不允许化妆、戴眼镜或留胡子。机器人评委被编程来根据皱纹、面部对称性、肤色、性别、年龄组、种族和“许多其他参数”来评估选手。来自大约100个国家的6000多份意见书纷呈而来。会出什么问题呢?

2016年8月2日,Beauty AI的创造者对“机器人不喜欢黑皮肤的人”这一事实表示失望。不同年龄段的44位获奖者中,除了6位是白人,其余都是白人,而且“只有一位入围者的皮肤明显较黑”。这场比赛使用了当时被认为是最先进的机器学习技术技术可用。这款软件被称为“深度学习”,它被训练使用预先标记的图像来编码美,然后根据算法嵌入的偏好来判断选手的图像。简而言之,美存在于算法训练有素的眼中。

正如一份关于这场比赛的报告所言,“对于有偏见的算法,最简单的解释是,创造它们的人类有自己根深蒂固的偏见。这意味着,尽管人们认为算法在某种程度上是中立和独特客观的,但它们往往会复制和放大现有的偏见。”哥伦比亚大学教授伯纳德·哈考特评论说:“你能提出一个文化中立、种族中立的美的概念,这种想法简直令人难以置信。”哈考特指出,人工智能美容提醒人们,真正在思考的是人类,即使“我们认为这是中立和科学的”。不仅仅是人类程序员对白人的偏好被编码了,所有人类的数据都被机器研究了,因为机器在学习判断美丽和健康时研究了这些数据。

除了扭曲的种族结果之外,将Beauty AI定位为一种预防性公共卫生举措也大大增加了风险。与Beauty AI合作的生物老年学家和数据科学家团队解释说,“只需处理他们的照片”就可以收集到关于人们健康的有价值的信息,最终希望是“找到有效的方法来延缓衰老,帮助人们看起来健康美丽。”鉴于获奖者绝大多数是白人,再加上社会对美丽和健康的偏见观念,黑人被含蓄地定义为不健康和不健康——这是科学种族主义和优生意识形态和政策的核心假设。

深度学习是机器学习的一个子领域,其中的“深度”指的是计算机程序所做的抽象层,通过从更简单的概念构建更复杂的概念来学习更复杂的概念。Beauty AI将深度学习应用于图像识别;但它也被用于语音识别、自然语言处理、视频游戏和棋盘游戏程序,甚至是医疗诊断。社交媒体过滤是深度学习在工作中最常见的例子,比如Facebook会自动给你的照片加上朋友的名字,或者应用程序会决定向你展示哪些新闻和广告,以增加你点击的几率。在机器学习中,“监督学习”和“无监督学习”是有区别的。美容AI是有监督的,因为用作训练数据的图像是预先标记的,而无监督深度学习使用标签很少的数据。马克·扎克伯格将深度学习称为“心智理论”。我们如何在机器中建模——人类用户对什么感兴趣,会做什么?”但我们的问题是,是否只有一种心灵理论,它是以谁的心灵为模型的?

鲁哈·本杰明(Ruha Benjamin)的《科技后的比赛》(Race After Technology)封面

鲁哈·本杰明,社会科学学院成员(2016-17),普林斯顿大学非裔美国人研究系副教授,主要研究科学bob真人是哪里的、技术和医学、种族和公民身份、知识和权力的社会维度。2016-17年,她在IAS进行了“机器人是种族主义者吗?”,本杰明在她的书中描述为“一个十分钟的挑衅,变成了一个两年的项目。”本文节选自本雅明的著作追求技术(政治,2019)。https://bit.ly/2Nxppjl