破解数据被操纵之谜

　　当前，我们正目睹一场数据被滥用的大剧。限制数据滥用并且努力解决偏见数据和问题数据，成为解决科技对社会基石产生影响的重要条件。

　　简而言之，我认为大家应该重新考虑，安全、公平到底意味着什么。本文从三个方向告诉我们，在数据驱动的世界中，我们的数据有可能被如何操纵。

　　操纵数据的原罪者-谷歌

　　1998年，两个斯坦福毕业生决心着手解决主流搜索引擎存在的问题。

　　Sergey Brin 和 Larry Page合作撰写了一篇论文，描述他们的网页排序算法是怎样解决搜索结果中垃圾网页过多的问题。他们的想法意义非凡，如今被人们认为是Google公司创立的基石。但是这一想法并未阻止人们不断扰乱自己的网络系统。事实上，谷歌的崛起不过增加了搜索引擎进一步优化的难度。

　　媒体炒作并不新颖。正如许多人所知，宣传和社交媒体营销的界线通常是模糊的。除此以外，那些通过点赞、评论和订阅量等公共信号宣传产品特点的公司都熟知，任何被创造的系统都将成为娱乐、利益、政治、意识形态和权力游戏的舞台。甚至连国会现在都在为此斗争。例如，自Rick Astley的歌曲《Never Gonna Give You Up》推出时隔20年后，有这么一群人决定帮他再登歌曲排行榜首。这样做的目的并不是帮Rick Astley赚钱（尽管有此效果）。正如4chan等其他网站创造出的表情包，仅仅是为了娱乐。但通过这样的方式，大量观众学会了如何让某些信息被病毒式传播或者其他的干扰网络系统的方法。换句话说，他们学会了如何获得注意力。通过这些行为，他们开发出了一套能够造成严重后果的炒作策略。

　　像“披萨门”这类的事件并非偶然，这是一群网络村民寻找愚弄信息系统的产物。（编者注，披萨门是美国大选期间发生的阴谋论，怀疑希拉里竞选被曝出的电子邮件中包含利用一系列餐厅进行人贩子生意的暗语。这个阴谋论已经数次被反驳和攻破，包括警察部门。）他们创造了许多被称做“马甲”的跨平台网络虚假账户，这些账户巧妙地影响媒体和其他势力团体，引发他们对精心设定的问题、博文和网络视频的关注。这种事件的编造并不是为了让媒体信以为真，而是让这些媒体傻傻地通过大量自有宣传渠道否定它。这样就产生了“反向效应”，如此那些不相信媒体的人认定这其中必有一些阴谋论，从而鼓励一些人自发调查。

　　接着就有铺天盖地的评论要求“打开窗口”——或者说增加公共讨论话题的尺度。媒体们被骗去散播问题事件。更有甚者，推荐引擎会被用于向问题事件的被动接受者推送更多相关内容。举个例子， 研究员Joan Donovan主要研究白人至上主义，工作之余，她打开Amazon，Netflix或是YouTube，没有一个网站不向她推荐相关的音乐、视频和其他周边内容。一些激进分子也知道如何变本加厉制造问题。不用触犯Twitter的任何保护机制，那些人可以想方设法利用公司广告内容放大白人优越主义思想，引发关注社会公平群体的愤怒。

　　总体来说，这些伎俩是对算法系统的手动攻击，但我们都知道，攻击的方法一直在变化，不再仅仅是手动。而现在，一切即将再次改变。

　　脆弱的训练集

　　训练机器学习系统需要数据，而且是海量数据。尽管目前已经建成了一批标准化语料库，计算机科研人员、初创企业和大公司对于新的、差异化的数据的需求依然有增无减。

　　首当其冲的问题就是所有数据都带有偏见。从总体上看，人和社会的偏见反映得最为明显。以当下很红的数据集ImageNet为例，人类根据形状进行分类的速度高于根据颜色进行分类；受此影响，数据集最终会包含一些奇形怪状的人造体。

　　在应对社会偏见时，局面会变得更加混乱无章。Latanya Sweeney在谷歌上搜索自己的姓名时惊讶地发现，有广告邀请她查询自己是否有犯罪记录。作为一名好奇宝宝式的计算机科学家，她决定在系统上跑一批常见的白人名字和黑人名字，看看哪些名字会招来广告。不出所料，招来这种刑事类产品的都是黑人名字。这并不是因为谷歌知道怎样看名字下菜碟，而是因为搜索用户在搜索黑人姓名时，点击刑事类广告的几率更高。谷歌学到了美国人的种族歧视，并“发扬光大”，最终影响了全部用户。

　　不论是对人进行分类的数据还是由人进行分类的数据，只要想以此为基础建立系统，其中那些虚虚实实明明暗暗的文化偏见都将成为巨大的挑战。不过还有一项新的挑战正在日渐成型：散布在不同网络中的人群和国家行为者。他们在社交网络上兴风作浪，搜索引擎对于相应数据的关注度却与日俱增，而各家公司正是用这些数据来训练、改进各自系统的。

　　举个例子，假设用Reddit和Twitter的数据来做训练。这些公司在API上表现得非常大方，计算机科学家们长期以来也从这里抓取了大量数据来训练各种模型，试图理解自然语言、围绕链接开发源语言，以及追踪社会模式。他们训练各种模型来检测抑郁症，为新闻排序、并参与到会话当中。忽略了这些数据从一开始就不具有代表性这一个重要的点，绝大多数用这些API的工程师都相信他们可以清洁抓到的数据、并去除所有的问题内容。但我向你保证，没门儿。

　　不论删除多少特定的subreddits、推文种类，抑或是忽略包含问题词语的内容，这些都不会让你在那些诚心找茬的人面前占据先机。

　　我眼睁睁地看着无数人或者组织用尽各种方式想要混淆公共数据，大公司的系统也在他们的目标范围之列。他们试图通过低空飞行避开雷达监管。如果你没有准备好相应的系统，从战略层面去应对这些早有准备绕开你精心制定的计划的人，你简直不堪一击。这与意外或自然内容无关，甚至也牵扯不到带有文化偏见的数据。这是那些试图揣测你意图的人故意施展的手段，将特意炮制的内容注入到系统当中。

　　打造技术抗体

　　数十年来，众多公司都没把这些安全漏洞当回事，直到系统被突破的消息一次又一次地登上头条。在应对这个新问题上，我们还要重蹈覆辙吗？如果你正在构建数据驱动式的系统，你从现在就要开始考虑数据会以怎样的方式、被谁污染，以实现何种目的。

　　测试文化在这个技术行业中已经失去了生存的土壤。这个“锅”社交媒体是逃不开的。15年前，灵光乍现之下，我们一头扎向了“永久公开测试”的文化。我们邀请公众成为我们的质保工程师。但是内部QA远比找BUG要复杂，它需要将对抗思维融入到设计和研发过程中。当搞破坏的人就隐藏在公众之中时，请大家为系统找漏洞的效果就不尽如人意了。进一步来说，当前不论是谁在一没动机、二没渠道的情况下，都没法在私下里告知我们问题所在。有些记者会找到瞒天过海的方法，把系统变成新纳粹主义的广告，借此来嘲笑我们；也只有此时我们才会注意到问题所在。然而尽管如此，更多包藏祸心的行动者开始和我们的数据玩儿起来放长线钓大鱼的游戏。

　　以生成性对抗网络（GANs）为例。那些对此不太熟悉的人可以这样理解：你手上有两个无人监督的机器学习算法，前者负责为具有评估功能的后者生成内容。前者试图骗后者接受“错误”信息。这样操作旨在找到模型和数据隐空间之间的界限。我们需要更多这样的研发项目，随着真正的对抗思维直接融入到模型搭建过程中，测试文化在研究领域也走到了尽头。但这些研究的作用非常有限。我们需要积极主动、目标明确地构建相应文化，开展对抗测试、评估，并将之融入研发过程。我们需要构建分析方法，评估我们使用的数据集中的偏见。我们还需要开发相应的工具来监督系统的运转情况，这方面需要的精力毫不逊于模型最初的搭建阶段。我的同事Matt Goerzen认为除此之外，我们还需要有策略地邀请白帽子中的牛人介入到我们的系统之中，帮助我们查漏补缺。

　　作者：danah boyd 编译：糖竹子、白丁、Aileen

关注读览天下微信， 100万篇深度好文， 等你来看……