大数据“近因偏差”删除遗忘更重要

　　全世界90%的数据都是最近几年生成的，人们对这个结论可能已经耳熟能详。尽管能找到的这个说法的最早出处是在2013年5月，但是这种趋势却始终未曾发生变化。事实上，过去30年间，每隔两年，全球总数据量就会增长大约10倍——这让计算机行业的摩尔定律相形见绌。

　　信息量大到不可思议问题频发

　　信息爆炸所带来的问题之一在于即便和不久之前相比，当前的信息量规模都会大到不可思议的程度。假如有一本信息影集代表了你从婴儿到成年的前18年人生，并且照片数量的增长速度和全球数据量保持一致，如果头两年只有两张照片，那么从6岁到8岁的两年间就会有两千张照片，从10岁到12岁有20万张，从16岁到18岁则有惊人的2亿张，这意味着在16-18岁期间每秒钟就会拍3张照片。当回头去以更长远的眼光来看待事物时，就会发现会有太多太多近期的事件，而较早的数据和事件是那么的稀少，当然，全球数据不能这样简单类比。全球数据增长的主要原因在于更多的人口产生了更多信息源，以及更大量的和更复杂、详细的信息结构。

　　然而，如果试图回顾或分析与上文所述影集类似的历史记录，就会发现一个相同点，越遥远的历史所留下的信息和记录就会越稀少。怎么会发生这种事情呢？这就是目前大数据采集分析中存在的一项弊端。无论在哪一个时间点开始回顾历史，都会遇到同一个麻烦：近期数据的数量远远超过远期历史数据，由此，这个分析系统会过度重视短期趋势而忽略长期趋势，从而受到短视的困扰。

　　为了理解这个问题的重要性，需要考虑社会科学中有关“近因偏差”（recency bias，又称近因效应）的研究发现。近因偏差是指：人们在判断事物发展趋势时，会认为未来事件将会和近期体验高度类似。这可以说是某种“可利用性法则”（availability heuristic）——不恰当地以最容易认知的信息来作为思考的基础，这还是一种普遍的心理学特征。举例来说，如果在居住的地方，过去几年的夏季气温都很低，那么就可能认为夏季气候正在变得更冷——或者说当地的气候正在变冷。但是，不应该只根据少量数据分析长期趋势，需要有一个长远视角，才能认识真正有意义的气候趋势。短时期内，最好不进行任何猜测。不过，我们中间又有谁能真正做到这点呢？短期分析不仅不扎实、毫无益处，还会产生误导。

　　首先保存哪种数据很重要

　　现实生活中大部分复杂事物的现象正是如此：股票市场、经济发展、企业的成功与失败、战争与和平、国家关系、帝国的崛起和衰落等。短期分析不仅不扎实、毫无益处，还会产生误导。回头看看，就在2008年全球金融危机袭来的时候，还有那么多经济学家信誓旦旦地宣称这一事件不会发生。认为根据那种短期时间尺度的数据就能做出扎实的预测，这种想法本身就有很大的问题。我们还应当记住，在决定哪些数据该保存还是删除的时候，新颖性往往会成为主要的考虑因素。旧的淘汰，新的进来，在这个搜索算法本质上偏向于新鲜事物的数字世界中，这是一个明显的趋势。从最高法院的裁决，到所有社交媒体服务平台，我们到处都可以看到已经失效的网址。我们身边的几乎所有技术都偏向于当前信息，人也一样：大多数人已经习惯了用四到五年的时间就把原本光鲜亮丽的设备们都丢掉。

　　该怎么办？这个问题已经不仅仅在于如何更好保存旧数据的范畴——尽管这并不是个坏主意，更重要的是，这个问题关系到确定哪些东西值得优先保存，以及如何在知识的名义下，选择哪些信息最有意义。或许我们需要的是我所称之为的“智能性遗忘”：应该让我们的工具更多地放弃最近的信息，从而在长远视角上保持更高水平的连续性。这有点像是以数学方法重新整理一本影集。什么时候200万张照片的价值比2000张照片更低？什么时候较大的样本量覆盖范围反而较小？哪些问题的重要性较低？哪个细节水平能提供有用的质疑证据，而不是过分虚假的信心？

　　许多数据集是无法缩减的，只有在完整的情况下才最宝贵，例如基因序列、人口统计学数据、地理和物理学的原始观测数据等。数据的科学性越弱，数据规模与数据的质量就越可能呈现负相关，此时时间本身就成为更加重要的过滤工具。我们如果不仔细选择过去保存下来的有价值、有意义的事物，它们就会被迅速膨胀的信息洪流悄无声息地吞没掉，能否考察长期历史遗留下来的数据取决于考察者是否有足够的时间和注意力。今天的企业、个人和政府机构都能够获得比以往大许多数量级的数据，但是决策者却没有足够时间和注意力来应对这些数据。

　　今天的决策者们有越来越高效的工具帮助他们就所持有的数据提出问题，在一个数据量越来越大的时代，如何选择主动放弃哪些事情，与选择做什么事情一样重要。

　　（文章转自199IT互联网数据中心）

　　■佚名

关注读览天下微信， 100万篇深度好文， 等你来看……