在部分情况下，只需在人眼不可见的静态噪声中添加一些可选的笔触或图层，就可以“愚弄”AI图像识别系统，这有时甚至会造成致命的后果。

例如，曾有研究人员将打印的涂鸦贴在路牌上导致AI自动驾驶系统将限速标志识别为禁行，腾讯科恩实验室也曾发布报告称路面上难以注意到的小贴纸就能误导特斯拉错误判断并驶入反向车道。

这些误导标志被称为“对抗补丁”，研究人员现在正忙于开发保护人工智能系统不受这些例子影响的方法。

但在去年的一篇论文中，Google Brain和普林斯顿大学的一组研究人员，包括该领域最早的研究人员之一Ian Goodfellow，认为这些新研究过于理论化，没有抓住重点。

他们说，虽然大部分研究的重点是保护系统免受特别设计的标志的干扰，但黑客可能会选择一种更直接的方法:使用一张完全不同的照片，而不是在现有照片上叠加噪音图案。这也可能导致系统误判断。这一批评促使加州大学伯克利分校的博士生Dan Hendrycks编写了一个新的图像数据集。

这个数据集中包括一些容易被误判的图像，比如松鼠(它们通常会被误认为是海狮)或蜻蜓(它们会被误认为是井盖)。他表示:“这些例子似乎更难防范。”

人工合成的对抗标志需要知道所有的人工智能系统是如何防范误判的。但相比之下，即使人工智能系统各自的防范措施不同，这些自然的例子也能很好地发挥作用。

Hendrycks上周在国际机器学习会议上发布了该数据集的早期版本，包含大约6000幅图像。他计划在几周内发布最终版本，其中包括近8000个图像。他打算让研究团体使用该数据集作为基准。

换句话说，与其直接在图像上训练图像识别系统，不如将其保留下来只用于测试。他说:“如果人们只是用这些数据集训练系统，那么系统仅仅只是记住了这些例子。这样虽然系统已经解决了误判这些图像的问题，但它们对新图像的误判程度并没有得到改善。”

破解这些令人困惑的误判背后的逻辑，可能会让系统的适应性更广。“为什么系统会把蜻蜓和鳄梨色拉酱搞混?”Hendrycks开玩笑道，“根本不清楚为什么会犯这样的错误。”

为什么人工智能会误判?

有些人工智能系统的底层计算机制是已知的，有些则不是，这被称为“黑箱”，即该系统的开发者可能都无法完全了解系统如何做出决策。

对于图像识别技术来说，有时原因是因为给定的训练数据集出了问题。比如近日Facebook人工智能实验室的一项新研究就表明，科技巨头销售的物体识别算法在识别来自低收入国家的物品时表现得更差。

据报道，研究人员测试了五种流行的现成对象识别算法——微软Azure、Clarifai、谷歌Cloud Vision、亚马逊Rekognition和IBM Watson。而测试的图像包括来自全球不同阶级的家庭的家中用品的图像。这些图像可能来自非洲布隆迪的一个月收入27美元的家庭，也可能来自乌克兰一个月收入1090美元的家庭。

研究人员发现，与月收入超过3500美元的家庭相比，当被要求识别月收入50美元的家庭的物品时，物体识别算法的出错率要高出10%左右。

而且在识别来自美国的照片时，算法的准确性也比识别来自索马里或布基纳法索的照片要高出15%至20%。

研究人员称，在一系列用于图像识别的商业云服务中，这些发现具有一致性。

人工智能算法的这种“偏见”还有很多别的例子，其中一种常见的推测原因是用于培训的数据有了偏颇——它们往往反映了相关工程师的生活和背景。由于这些人通常是来自高收入国家的白人男性，他们训练的算法所要识别的世界也是如此。

研究人员称，视觉算法的训练数据主要来自欧洲和北美，“在人口众多的地理区域，特别是非洲、印度、中国和东南亚，对视觉场景的采样严重不足”。

由于美国科技公司在人工智能领域处于世界领先地位，这可能会影响到从照片存储服务、图像搜索功能到更重要的AI安全摄像头、自动驾驶汽车等系统的方方面面。

“评估人工智能系统并不一定容易，因为没有执行这类评估的标准基准。”帮助开展这项研究的Facebook人工智能研究科学家劳伦斯·范德马顿(Laurens van der Maaten)在接受采访时表示。

“对抗这种偏见最重要的一步是，在培训AI系统之前的数据收集环节就要谨慎得多。”

值得注意的是，科技公司们经常把自家人工智能产品宣传为“人人平等、人人可得”，但实际上，它们可能只是在按照自己的形象来评估、定义和塑造世界。