描述
开 本: 16开纸 张: 胶版纸包 装: 精装是否套装: 否国际标准书号ISBN: 9787508641140
从海量的大数据中筛选出真正的信号，“黑天鹅”事件也可提前预知！
统计学或预测是让很多人望而却步的话题，而本书就是关于这个话题的一本有趣的普及读物，棒球比赛、职业扑克牌手、政治选举等例子足以勾起读者的好奇心，甚至会让他们废寝忘食地阅读，而且其中潜藏着帮你做出正确预测的能量。
在大数据时代作预测可能跟你想象的完全不同。这本观点新鲜且原创的书，为我们区分关于未来的预测中哪些是主观现实、哪些是客观现实，哪些是干扰预测的噪声、哪些是有价值的信号，提供了意想不到的启发性视角。作者还指出，只要我们明智地从糟糕的预测中吸取教训，那我们一定会在科学、技术和政治的预测方面取得进步。
这本书与畅销书《黑天鹅》的观点有异曲同工之妙。西尔弗认为，人类对自己的预测能力往往过度自信，以至于他们排斥用概率的方法思考问题，也不允许自己的预测模型中存在不确定性。
本书将带给我们一场睿智的、优雅的、科学与艺术交叉的预测之旅，它将是未来10年*重要的书籍之一。对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。
《信号与噪声》中涉及如下有趣又值得研究的问题：天气预报说降水概率为60%，你出门会带伞吗？被雷电击中的概率到底有多大？地震发生之前，我们真的无法预测吗？中情局为什么会忽略“9.11”恐怖袭击发生的信号？禽流感为何会突然爆发，又突然消失？为什么大数据时代的预测更容易失败？“信号”是我们想要和需要的事实，比如能帮助我 们侦破早期鞋子炸弹案的信号。“噪声”则是另一回事，通常是不相干的信息，它阻碍或误导我们搜索信号。
人类每时每刻都需要对未来进行预测并制定相应的策略，如此国家、企业乃至个体才能持续发展，因此我们对于“下一刻会发生什么”倍加关注。
在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。
作者最为美国*影响力的预测专家之一，检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，旨在回答一个问题：如何才能从繁杂的海量数据中筛选出真正的信号，摒弃噪声的干扰，从而做出接近真相的预测。
真正优秀的预测者会用概率的方法思考问题，他们谦虚而且勤恳，他们能清楚地区分什么是不可预测的、什么是可预测的，他们注重能带领他们接近真相的成千上百个小细节，他们能辨识出什么是噪声、什么是信号。
从全球经济的健康到战胜恐怖主义，都依靠预测的质量。《信号与噪声》可以给你想要的答案。
引 言 XIII
第一章 预测失败的灾难性后果
一场错误预测引发的悲剧
他们只是不想让“音乐”停下来罢了
评级机构为什么会犯下致命的错误？
第一幕：房地产泡沫
第二幕：负债经营
幕间休息：从贪婪到恐惧
第三幕：这次还是犯了同样的错误
失败的预测都是非样本预测
失败预测的公式——非样本，无思考
前事不忘，后事之师
第二章 政治选举预测：狐狸和刺猬，谁更聪明？
政治学家是名副其实还是徒有虚名?
狐狸型专家：善于变通，更善于做出准确的预测
刺猬型专家更适合做电视节目嘉宾
政治预测为什么常常失败？
狐狸型预测方法
原则一：用概率的方法思考问题
原则二：今天的预测是你以后人生的第一个预测
原则三：寻求共识
定性信息与定量信息同等重要
做出客观的预测并非易事
第三章 棒球比赛预测：球探和数据怪才，谁更胜一筹？
构建棒球比赛的预测系统
全世界最丰富的统计数据库
老化曲线与相似分数
球探与数据怪才的矛盾冲突
系统与球探的对决：球探赢了
球探和数据怪才的偏见
生理指标与心理指标
信息是决定预测成败的关键
并不是信息越多，预测就越成功
《点球成金》的真正意义
第四章 天气预测：蝴蝶扇动翅膀，有可能引起龙卷风
我们真能准确地预测天气吗？
气象预报简史
用矩阵来预测天气
混沌理论与蝴蝶效应
视觉化预测与抽象化预测
被雷电击中的概率越来越小了
什么样的预测才算是好预测？
商业竞争如何使预测变得更糟糕？
天气预报说降水概率为%，你出门会带伞吗？
尽可能地做出准确预测
第五章 地震预测：一个困惑了人类 年的难题
地震可以预测吗？
“圣杯”根本就不存在
我们对于地震的了解
究竟是信号还是噪声？
那些以失败收场的地震预测
过度拟合模型：将噪声误认为信号
年日本大地震引发的思考
地震震级的上限是多少？
被审判的预测科学
第六章 经济预测： 经济学家为什么没有预测到 年经济危机？
不可忽视预测中的不确定性
经济学家都是理性的吗？
相关的两个经济变量未必互为因果
变化莫测的经济
经济数据中充满噪声
经济是一个动态系统，不是一个方程式
经济预测中不可避免地会存在偏见
克服预测偏见的两种选择
第七章 传染性疾病预测：禽流感为何会突然爆发，又突然消失？
人们又一次高估了HN 的致命率
外推法的危害——艾滋病感染人数被低估了一半
为什么 年的流感预测会失败？
自我实现预测与自我否定预测
预测模型越简单越好，还是越复杂越好？
所有的预测都失败了
预测是为了让损失最小化
第八章 贝叶斯定理：只有正确的预测才能让我们更接近真相
成功的赌客是如何思考问题的？
贝叶斯留下的宝贵遗产
概率、预测与科学进步
简单的运算推导出重大的预测
为什么大数据时代的预测更容易失败？
当统计数据偏离了贝叶斯定理
成功践行贝叶斯定理的体育赌客
通往真理的贝叶斯之路
第九章 国际象棋大战：计算机与人类的智能博弈
国际象棋的人机大战
国际象棋比赛预测和启发法
开局阶段：独立思考能力更重要
中局阶段：宽度与深度的两难选择
残局阶段：计算机能力方面的较量
计算机战胜了人类
国际象棋大师为何败给了“深蓝”计算机？
计算机擅长做什么？
用试错法提高计算机的预测能力
克服人类的技术盲点
第十章 扑克牌游戏：如何从 种组合中猜出对手的底牌？
是心理游戏，也是数学游戏
出色的扑克牌玩家如何读出对手的牌？
是弃牌还是跟注，如何选择？
虚张声势，让对手猜不出你的底牌
学习曲线与二八原则亦适用于预测领域
扑克牌经济的繁荣
扑克牌经济泡沫的破灭
既靠运气也拼技能
我们对于扑克牌游戏的妄想
以过程而不是结果为导向
第十一章 股票市场：非理性交易者的存在让价格泡沫不可避免
贝叶斯定理世界中的价码牌
预测市场中的“无形的手”
群体预测往往优于个体预测
有效市场假说理论的缘起
过去的表现不代表未来的结果
技术分析法并不能预测股市
有效市场假说的 种形式
追涨杀跌的股市投资策略真能获利吗？
当有效市场假说遇到非理性繁荣
羊群效应催生股市泡沫
过度自信的投资者逃不开“赢家的诅咒”
股市泡沫需要很长时间才能被挤出
有时，价格的确是错误的！
金融市场中的噪声
直觉判断让投资者深陷“高买低卖”的误区
有没有可能预测到市场泡沫的出现？
第十二章 温室效应：未来 年，全球气温会上升还是下降？
温室效应真会导致全球气温变暖吗？
温室效应假说的 种怀疑论
对“全球气温会持续升高”预测的批判
达成共识的预测结果
不能把所有鸡蛋都放在一个篮子里
气候科学不是“火箭科学”
模型越复杂，预测越糟糕
气候预测中的 类不确定性
评判气候预测准确性的时刻到了
“全球变冷”事件的教训
正确的预测绝对离不开科学的方法
气温变化趋势的真相
政治与科学的针锋相对
第十三章 恐怖主义： 比“?”更严重的恐怖袭击事件会发生吗？
信号无处不在
你不知道的不代表不会发生
“?”恐怖袭击事件是“已知的未知”？
用数学的方法研究恐怖主义
用统计学的方法测量恐怖主义
级恐怖袭击很可能会发生
为什么恐怖分子不去炸购物中心？
如何辨识恐怖袭击的信号？
结束语
致 谢
本书的内容涵盖了信息技术和科学进步，也包括了自由市场、商业竞争以及观念革新。本书罗列了许多事物，这些事物使得人类比计算机更聪明，书中同样列举了人类所犯的错误。本书还描述了我们如何一步一步地学习认识客观世界，也解释了为什么有时会出现历史倒退的情况。
这是一本有关预测学方面的书，这一学科是涉及上述所有内容的交叉学科，旨在研究为什么有些预测很准确，而另外一些预测却失败了。我真诚地希望这本书能使你在规划未来时更有远见，而避免目光短浅。
信息越多，问题越多
人类最初的信息技术革命并非始于微型芯片的发明，而是以印刷机的诞生为开端的。1440 年，约翰内斯?古腾堡发明了印刷机，这项发明使普通民众能方便地了解信息，由此产生的思想洪流带来了前所未有的结果和影响。印刷机的发明点燃了1775年的工业革命之火，也促成了人类文明的迅猛发展——由从前那种科学和经济几乎止步不前的状态迅速跨越到呈指数型增长的状态，还带来了我们今天所熟悉的变化。除此之外，这一发明促成了一些历史事件，这些事件开启了欧洲启蒙运动，也加速了美利坚合众国的建立。
但是，印刷机发明之初并没有引发上述各种巨变，倒是可能催生了另外的事件，如持续了几百年的“圣战”。当人类开始相信他们可以预知和选择自己的命运时，人类历史上最血腥的时代也就开始了。
早在古腾堡发明印刷机之前，书籍就已经存在了，但当时书的数量和读书的人都很少，书籍只是贵族阶层的奢侈品。因为抄写员每次只能抄写一份副本，复制一份原稿的费用大约是每5页1 弗洛林（一种金币，1 弗洛林约合200 美元），因此像你现在读的这本书，在当时可能要花费20 000美元才能得到。而且，经过无数次的抄写，书中难免有大量的抄写错误，这些错误代代相传，成倍增加，甚至还会演变成与原意相反的错误。
这就使得知识的积累变得极其困难。要想阻止以文字记录的知识的不断减少，就需要付出巨大的努力，因为书籍腐烂的速度远远大于其生成的速度。只有几个版本的《圣经》和少量的哲学论述——比如柏拉图和亚里士多德的文章——被保留了下来，其他那些数不清的智慧，由于缺乏记载动机，都遗失在那个年代了。
过去，也许人们觉得对于知识的追求即使不全是无用功，似乎也没什么实际价值。如今世事瞬息万变，我们总会有一种“世事无常”的感觉，而对于我们的前辈来说，这种“无常的世事”则更受关注。《圣经?传道书》中有一句唯美的诗句：“日光之下无新事”，可事实却并非如此，之所以说“无新事”，并不是因为每件事都已经被发掘出来了，而是因为所有事情都将被遗忘。
印刷机永久而深刻地改变了这一状况。几乎是一夜之间，一本书的成本就骤降近300 倍，书的售价从相当于今天20 000美元的价格剧降至70 美元。印刷机迅速在欧洲普及，到1470年，印刷机已从德国传播到罗马、西班牙塞维利亚、法国巴黎和瑞士巴塞尔，随后的10年里，几乎所有的欧洲主要城市里都有了印刷机的影子。印刷机问世的第一个世纪里，书籍的生产规模呈指数型增长，数量增长了近30倍。人类知识旋即进入快速积累期。
然而，正如万维网建立初期那样，印刷机使用之初的信息质量也是参差不齐的。
当时，人们只顾追逐眼前利益，印刷机几乎都用来印制那些质量较高的地图了，异端的宗教文章和一些伪科学文章也很快就占据了畅销书单的主要位置。印刷错误大量出现，那本被叫作《邪恶圣经》的书便是如此，这本书犯了史上最严重的印刷错误——《十诫》中的“不可奸淫”误印成“应当奸淫”。与此同时，人们一下子接触到大量的新思想，这难免会产生诸多混淆。信息的增长速度远远超过了人们处理信息和分辨信息的速度。共享信息的不断增长反而加速了民族和宗教的孤立进程，其速度之快不禁让人瞠目结舌。面对“过量的信息”时，我们会本能地进行筛选，选出喜欢的，忽略其他的，与同道中人为友，与意见相左之人为敌。
印刷机的早期使用者中，最狂热的要数那些传播福音的人了。马丁?路德的《九十五条论纲》还不是那么激进，而对其中类似情绪的争论已然不绝于耳了。正如《现代欧洲早期印刷革命》一书的作者伊丽莎白?爱森斯坦所写的那样，马丁?路德这些论纲的革命之处就在于，它们“没有一直钉在教堂的门上”。而是被古腾堡的印刷机
复印了30 多万次，即使按照今天的标准来看，这个印刷量也可算作巨大的成功了。
路德的新教改革所导致的教会分裂，很快使欧洲陷入了战争。1524~1648年间，欧洲爆发了德国农民战争、施马尔卡尔登战争、八十年战争、三十年战争、法国宗教战争、爱尔兰南联邦战争、苏格兰内战和英国内战，其中许多战争几乎是同时爆发的。当然，1480年出现的西班牙宗教法庭和1508~1516年出现的康布雷同盟也值得一提，尽管两者与新教思想的传播关系不大。单单一个三十年战争，德国人口就减少了1/3，即使是与20世纪早期的第一次世界大战相比，17 世纪也称得上是史上最血腥的时代。
但就是在这样一个充满战乱的时代，印刷机却悄然推动着科学与文学的进步，所以人们才得以分享伽利略的科学思想，品味莎士比亚的舞台剧。莎士比亚舞台剧的主题通常关乎人的命运，这一点与戏剧如出一辙。剧中人物的理想和命运之间的差距增添了这些舞台剧的悲剧色彩。莎士比亚时期，掌控自身命运看似已成为人们思想意识的一部分，但要做到这一点却很难，所以那些挑战命运的人总是遍体鳞伤，直至死去。
这一主题在莎士比亚的著名悲剧《朱利叶斯?恺撒》中得到了最生动的诠释。在这部戏的前半部分，恺撒接收到各种各样明显的警示，他称之为预言（比如“留心3 月15日”），这些预言预示了他的加冕礼可能会演变为一场屠杀。恺撒当然不会在意那些预言，他始终自信地认为，这些预言只是预示着别人的死亡，否则，他当时就会留意。结果，恺撒遇刺了。
莎士比亚借西塞罗的话警示我们，“( 可是) 人们照着自己的意思解释一切事物的原因，实际上却和这些事物本身的目的完全相反”。这句话对于所有正在对自己新发现的大量信息进行选择的人，都不失为一条好的建议。人们很难从干扰他们的噪声中分辨出有用的信号。数据展示给我们的通常都是我们想要的结果，而且我们通常也能确保这些数据令我们皆大欢喜。
然而，如果说《朱利叶斯?恺撒》这部戏剧中含有的宿命论、占卜术和迷信思想，是古代预言思想的开端，它同时也介绍了一种较为现代且较为激进的思想：我们可以对这些迹象进行解释，从中获益。在戏中，卡修斯说，“有时，人们可以掌控自己的命运”，他希望能劝服勃鲁托斯参与谋害恺撒的阴谋中。
于是，“人们可以掌控自己的命运”这一思想便广泛传播开来。“预言”和“预测”这两个词在今天大多数的情况下可以互换使用，然而在莎士比亚时代，它们却有着不同的含义。“预言”是指占卜者告诉你的话，而“预测”则更像是卡修斯的想法。
“预测”一词源于日耳曼语，而“预言”一词源自拉丁语。“预测”反映的是新教世俗思想，而不是神圣罗马帝国的理想世界。“预测”是指在不确定的条件下进行计划，这一行为需要谨慎、智慧和勤奋，更像我们今天所说的“预见”一词。
预言思想的神学含义是十分复杂的，但对于凡尘俗世中那些追逐利益的人来说，这些含义就不那么复杂了。预言思想的这些特质与那些新教徒的职业道德是密不可分的，马克斯?韦伯认为，资本主义的诞生和工业革命的开始与预言思想不无关联。
“预测”与“进步”两个概念紧密相关。所有相关书籍中的所有信息都应有助于我们规划生活，都应成功地预见整个世界的发展历程。
几个世纪以来，引领“圣战”的新教徒们都在学习如何用自身积累的知识改变社会。工业革命主要始于新教国家，而且多半发生在那些言论自由的国家，因为在这些国家，宗教思想和科学思想可以自由传播，人们也不必对审查制度心存顾虑。
工业革命的重大意义难以尽数。纵观人类社会的历史进程，经济增长的速度曾经为年均0.1%，这个增速足以匹配当时人口数量平缓增长的状况，但人均生活水平却没有得到任何显著提高。然后，经济形势突然出现了前所未有的进展，经济增速急剧超越了人口数量增长的速度，尽管偶尔也会出现全球金融危机，但这种高速增长的态势时至今日仍未改变。
历史证明，印刷机引发的信息大爆炸为我们创造了一个好的世界，因为它仅用了330年的时间就为我们带来了不可尽数的好处，而与此同时有几百万人在欧洲战场上丧命。
生产力悖论
一旦信息增长的速度过快，而我们处理信息的能力尚且不足，情况就很危险。过去40年的人类历史表明，把信息转变为有用的知识可能还需要很长时间，一不小心，我们就有可能倒退回去。
“信息时代”并不是特别新的术语，自20 世纪70年代后期开始，这个术语便得到越来越广泛的使用。而与之相关的术语“计算机时代”使用得还要早一些，1970年就有人用了。也就是在那个时候，计算机虽然没有在家庭中普及，但在许多实验室和学术机构中却越来越普及了。这一次，没有经过300年的时间，信息技术的增长就已经开始为人类社会创造实实在在的利益了，但是人们也等了15~20 年才享受到这些利益。
正如美国经济学家、诺贝尔经济学奖得主保罗? 克鲁格曼曾经对我讲的那样，20 世纪70年代是典型的“大量理论堆积如山，验证数据少得可怜”的时期。当时，人们已经开始用计算机制作地球模型，但是一段时间以后，人们发现这些模型太过粗劣，而且与实际不符，计算机可达到的精确度根本无法替代预测的准确度。这一时期，人们作过很多大胆的预测，涉及范围从经济学到流行病等各个领域，但是这些预测通常都不准确。比如，1971年，人们声称可以预测出未来10 年内的地震次数，而实际上，这在40 年后的今天仍实现不了。
20世纪七八十年代的计算机热非但未能推动经济和科学的发展，反而造成了两个领域生产力水平的短暂下降。经济学家将这种现象称为“生产力悖论”。罗伯特?索洛曾经在1987 年写道：“计算机无处不在，可生产统计中却不见其身影。”1969~1982 年，美国经历了4 次经济大衰退，直到20世纪80 年代后期，美国经济才开始好转，而世界其他国家的经济状况则鲜有起色。
科学发展比经济发展更难判定，但科技进步有一大标志，即专利的数量，尤其是与研发投资相关的专利数量。如果一项发明的成本降低了，这就表明我们善于利用信息，并将其转变为知识。而如果发明的成本增加了，那就说明我们正在噪声中寻找信号，这无疑是在错误的方向上浪费时间。
20 世纪60 年代，美国在每个发明者的每项专利上的耗资都接近150万美元（通货膨胀因素考虑在内）。这一数字在信息时代初期有增无减，1986 年更是成倍增长，最高达到300 万美元。
因为越来越注重新技术带给我们的实惠，20 世纪90年代我们又一次提升了科学研究的生产力。各项研究不再硬钻“牛角尖”，计算机开始被用于改善人们的日常生活，促进经济发展。通常情况下，许多预言从长远角度看算作进步，而从短期角度看则成了倒退；而许多从长远来看似乎可以预知的事情，同时也会妨碍我们进行完美的计划。
“大数据”的承诺与陷阱
时下最流行的术语要数“大数据”了。根据国际商业机器公司（IBM）估计的数据来看，现在我们每天生成的数据高达250兆亿个字节，超过过去两年里生成的数据总量的90%。
信息的指数型增长有时被人们视为万灵药，就好比20 世纪70 年代出现的计算机一样。《连线》杂志的前主编克里斯?安德森曾经在2008年的一篇文章中说：“数量庞大的数据会使人们不再需要理论，甚至不再需要科学的方法。”
本书着重介绍了前沿科学和高端技术，我认为其内容是积极乐观的，却被严重曲解了。虽然那些数字不能为自己辩护，但我们却可以作为数字的发言人，赋予它们意义。这就好比对恺撒密码解码一样，我们可能会以对自己有利的方式对这些数据进行分析和解释，而这些方式很可能与这些数据（所代表）的客观现实不相吻合。数据驱动预测机制可能会成功，也可能会失败。一旦我们否认数据处理过程中存在着主观因素，失败的概率就会增加。要提高数据分析的质量，首先要对我们自身提出更高的要求。如果对我的情况不甚了解，你可能就会对前面的提法颇感意外。我在数据和统计学领域还算小有建树，曾经据此做出不少成功的预测。2003年，由于厌倦了咨询工作，我设计了一个名为“PECOTA”的系统，主要用来预测美国职业棒球联盟球员的各项数据。这个系统有很多创新点——其预测是概率性的，比方说其中为每位球员都列出了一系列可能出现的结果——当我们将这些预测结果与比赛系统给出的结果进行比较时，发现这套系统的性能更加优越。2008年，我建立了“FiveThirtyEight”（538 网站，因538张选举人总票数得名）网站，试图对即将举行的美国总统大选进行预测。该网站对两位美国总统候选人在美国50个州中的竞选结果进行了预测，结果命中49 次竞选，只有1 次失手。另外，我的网站还预测出美国参议院选举的35 个席位归属。
美国总统大选过后，很多出版商找到我，希望我能为《点球成金》和《魔鬼经济学》这类关于小人物征服大世界的书籍估个价。本书涵盖很多行业和领域，从金融领域，到国家安全，对这些行业和领域中的数据驱动预测机制进行了调查。
在4 年时间里，我曾与十几个领域中的100多位专家交流过，读过数百篇期刊文章和论文，为了实地调查，我跑遍了从拉斯韦加斯到哥本哈根的许多地方，却发现“大数据”时代的预测活动发展得并不顺利。我的成功也只是因为我在某种程度上比较幸运，一是尽管出现了本书中提到的一些错误，但还是取得了成功；二是选对了调查案例。
本书提到了几个值得研究的例子，集人类判断与计算机功能为一体的天气预报就是其中之一。虽然气象学家的名声不好，可是他们也取得过显著的进步，比如他们预测飓风着陆位置的准确度比25年前提高了3 倍。与此同时，我还拜访过一些在赌城拉斯韦加斯轰动一时的扑克牌玩家和（体育赛事）赌徒。
但是，这些预测成功的案例必然是建立在一系列失败案例的基础之上的。
如果让我们用一个特点来定义美国人——一个令其与众不同的特质——那就是美国人对卡修斯精神的信仰：我们的命运由我们自己主宰。一些宗教叛逆者迎着工业革命的曙光建立了美国，他们认为自由流动的思想不仅有助于传播其宗教信仰，也有助于传播科学和商业贸易，“作为一个民族，我们的智慧、我们的勤劳、我们的傲慢和急躁、我们所有的强项和弱项，都源自我们那不可动摇的信念，那就是我们要为自己做主”。
新千年给美国人带来的是噩梦般的开始。我们没有预测到“9?11”恐怖袭击事件，而这一惨剧的出现并非因为我们的信息匮乏。正如60年前的“珍珠港事件”一样，其实所有的信号都在那里，只是我们没能将它们联系起来。因为对恐怖分子可能会有的举动不够了解，所以我们对那些数据视而不见，不知道大难将至。
近期，对全球金融危机的预测也总是失败。我们天真地相信各种（预测）模式，却没有认识到这些模式在我们进行假设选择时根本不堪一击，因此总会带来惨痛的后果。在日常生活中，我发现尽管人们也在努力尝试，却仍然无法提早预测出经济衰退。幸好在控制通胀方面，我们已经取得长足进步，否则那些经济决策者就只能“盲目飞行”了。
与20 世纪70年代一样，近来人们十分热衷于对地震进行预测，其中大部分高度依赖数学方法和数据处理技术。但是，这些预测只是假想一些从未发生过的地震，对真正发生的那些地震却没有预测到。福岛核反应堆的设计可以抵抗8.6级地震，因为一些地震学家称不可能发生更高级别的地震。但是，2011 年3 月日本却发生了9.1 级的特大地震。
错误地预测整个学科的发展常会危及整个社会。以生物医药学的研究为例。2005年，一位土生土长的雅典人，医学研究者约翰?P?埃尼迪斯，发表了一篇颇具争议性的论文，题为“为什么大多数发表的研究成果都是骗人的”。该文对那些行业期刊中刊载的积极的研究成果进行了研究（这些成果认为那些在实验室实验中得到验证的医学假设堪称成功预测），认为大多数成果在实际生活中很可能是毫无用处的。德国拜耳制药公司最近证实了埃尼迪斯的这个推断，他们通过实验亲自对那些医学期刊中提到的积极研究成果进行验证，但发现其中近2/3的医学假设根本不能成立。
这些大数据终将推动社会进步，至于这种进步的速度有多快，或者进步的同时是否还会倒退，这些都取决于我们自己。
为何未来使我们震惊？
人类并没有多少天生的防御能力，人类的速度没有多么快，身体也没有多么强壮；人类没有利爪和尖牙，也没有护身的硬壳；人类不能喷出毒液，不能伪装自己，也不能飞翔。我们之所以能生存下来，是因为我们运用了智慧。我们的思维很敏捷，我们能够敏锐地感知事物的模式，对机遇与威胁迅速地做出反应。
“人类比其他动物更需要发现模式”，麻省理工学院的神经系统学家托马索?波吉奥对我说，他的研究领域是人脑对信息的处理模式。“在复杂情境中识别物体的能力是一种概括能力。一个新生儿就能识别人脸的基本模式，这种能力是进化而来的，是人类生来就有的，并非后天习得的。”
但波吉奥认为，问题在于这些进化来的本能有时会让我们去寻找原本不存在的模式，“人们一直都在努力从随机噪声（即无规律的状况）中发现模式”。
人脑能力非凡，其信息存储量或高达3 千兆字节。然而，据IBM公司称，人脑的存储量不过是全球每天所产生信息量的百万分之一而已。因此，我们对自己记忆的信息一定要精心挑选才行。
在1970 年出版的《未来的冲击》一书中，未来学大师阿尔文?托夫勒对他所说的“信息超负荷”的一些后果进行了预测。他认为，尽管世界本身正走向分化，变得更加复杂，但人类仍会以坚持自身看法的方式使这个世界变得简单，这便是我们的防御机制。
我们的生物本能有时会对这个信息丰富的世界难以适从。所以，我们需要积极努力，坚持自己所持有的看法，这样才有可能将重返信息负荷状态的可能性降到最低，甚至消除这种可能性。
印刷机诞生后，信息超负荷催生了更深层的宗教主义。现在，那些不同的宗教思想可以通过更多的信息、信念和“证据”得到证明，而且更难以容忍反对意见。同样的情况似乎到今天都一直存在。在托夫勒刚刚开始写《未来的冲击》这本书时，美国的党派政见分歧开始加剧，这种分歧也许会随着互联网的出现愈演愈烈。不同的党派政见颠覆了“信息越多，就越靠近真相”这一信条。《自然》杂志上最近刊登的一项研究发现，几大政党对全球变暖的问题了解得越多，他们之间达成共识的可能性就越小。
同时，如果信息的数量以每天250兆亿字节的速度增长，其中有用的信息肯定接近于零。大部分信息都只是噪声而已，而且噪声的增长速度要比信号快得多。有太多假设需要验证，有太多数据需要发掘，但客观事实的数量却是个相对恒量。印刷机改变了我们犯错误的方式，从前经常出现的抄写错误越来越少。然而一旦出现错误，这个错误就会被多次复制，《邪恶圣经》里出现的错误就是这种情况。
像万维网这类复杂的系统有这样一个特点，它们不像那些相对简单的系统那么容易出错，但一旦出错，必定是要命的大错。在信息宣传方面，资本主义和互联网都非常高效，这就使得好坏两种消息的广泛传播成为可能，而且坏消息也许会造成更大的影响。金融危机爆发之前，这一体系正处于高度负债经营的状态，那些信誉评级机构的预测模式一旦做出错误的假设，哪怕只是一个错误的假设，都极有可能摧毁全球的金融系统。
制定规章制度是解决这些问题的途径之一，但是我怀疑这种制度会成为我们逃避自身问题的借口。我们要停止对事物进行预测的做法，并且承认我们的预言有问题。我们喜欢对事物做出预测，而我们的预言却总是出错。
预测与贝叶斯定理
如果说预测是本书的中心问题，那么它同时也是这一问题的解决方案。
预测在我们的生活中必不可少。每次我们选择工作方法、决定是否要与对方展开恋情或是未雨绸缪地将钱存起来，都是在对未来将要发生的事情进行预测，也是在对我们计划的成功概率进行预测。
不是所有的日常问题都需要费心思量，我们作每个决定的时间是极为有限的。尽管如此，我们每天还是要进行许多预测，只是有时没有意识到而已。
正是出于这个原因，本书将预测视为人们共同的事业，而不仅仅是一些顶级专家或相关从业者的职责。取笑那些专家的预测失误总是乐趣无穷，而在幸灾乐祸的同时，我们自己也要多加小心。如果说我们的预测不会比那些专家更糟，只不过是欲贬先颂罢了。
然而不可否认，预测在科学领域中的确扮演着重要角色。你们中有些人也许对我此前提到的一个前提感觉不舒服，现在我来澄清一下这个前提：我们永远都不可能做出完全客观的预测，因为这些预测总会带有主观色彩。
但是，本书对“根本不存在客观真理”这一虚无缥缈的说法完全不赞同。相反的，本书认为要做出准确的预测，首要的前提就是坚信客观真理的存在，并且执着地追寻它。而预测者的另一个承诺，就是要认识到他无法穷尽对客观真理的认知。
预测之所以重要，是因为它连接着主观世界与客观现实。科学哲学大师卡尔?波普尔早就意识到了这一点。对他来说，假设并不科学，可证伪的假设才是科学的。这就意味着在真实世界里，假设可以通过预测得到检验。
令我们裹足不前的是，经过验证的那些为数不多的想法的实际作用并不大，而且许多想法未经过检验，或者根本就无法检验。在经济领域中，验证失业率预测的准确性要比验证刺激消费政策的效果的论断容易得多。
我不会像波普尔那样，断言这样的理论不够科学或者没有价值。事实是，少数几个可以检验的理论得出的结果很糟糕，这就表明我们没有检验的那些想法中有很大一部分是大错特错的。毫无疑问，我们生活在幻想中却不自知。
但解决方法还是有的，这种方法不依靠不成熟的政策—尤其是当我意识到出现这个问题在很大程度上是因为美国的政体有问题时—它需要的是态度上的转变。
这一态度会通过贝叶斯定理得到体现，我在第八章中会讲到这一定理。贝叶斯定理名义上是一个数学公式，但其内涵却远远超出公式的范畴。这一定理表明，我们必须从不同角度去思考我们的想法，以不同的方式检验我们的想法。我们要坦然面对各种可能性和不确定性，更加周详地考虑我们对一个问题的假设和看法。
本书可以粗略地分为两部分。前7 章的内容分析预测的问题，后6 章的内容对贝叶斯定理进行了探讨和应用。
每一章都围绕着一个特定的主题展开，并且对其进行深入分析。不可否认，这是一本复杂详尽的书，一方面因为细节通常可以揭示关键问题；另一方面，在我看来，专注于某一问题的研究总会得到比概括研究更深刻、更独到的见解。
我选择的话题通常是公众共享的信息，预测的案例很少依据私人信息选择（公司利用客户记录预测新产品的需求量）。我更倾向于那些大家可以一起挖掘真相的话题，你不需要只听我的一面之词。
本书的阅读路径
本书涵盖了自然科学、社会科学以及体育运动等各个领域的诸多实例。书中将许多相对通俗易懂的案例改造成需要稍微加以巧妙处理的案例。这些案例对成功的预测与失败的预测进行了清楚的划分。
第一章至第三章讨论了近期出现的金融危机大背景下的失败的预测，预测中有的很准确，有的则很离谱。预测会让你想到关于预测的最基本的问题：在应用数据时，我们怎样才能做出客观的判断呢？关于市场竞争，什么时候可以做出更准确的预测呢？当我们意识到未来与过去不一样时，又如何在两者之间进行协调呢？
第四章至第七章重点讲述动态系统：地球大气层的动态会带来天气的变化，构造板块的运动会引发地震，复杂的人类活动会影响美国经济，还有传染病的传播、扩散。最优秀的科学家正在研究这一系列的因果关系，然而各类动态系统使得预测变得更加困难，这些领域的预测活动总是不尽如人意。
第八章至第十章主要探讨解决方案。首先介绍了一个体育赌徒，他在运用贝叶斯定理时比许多经济学家或科学家还专业，之后讲到扑克牌。体育和游戏都遵守规则，这一点是检验预测技巧的实验所必需的。这几章帮助我们更好地理解什么是不可测性和不确定性，让我们深刻理解如何把信息转变为知识。
然而，贝叶斯定理也可以被用来解决更多现存的问题。第十一章至第十三章讲到了3 个问题：金融市场泡沫、全球变暖和恐怖主义。这3个问题对那些预言家和美国社会而言，都很棘手，但如果接受挑战，我们就能使我们的国家、我们的经济和我们的星球更加安全。
自从有了印刷机，我们的世界已经经历了太多。信息不再那么稀有，我们拥有的信息太多，甚至多到无从下手，但有用的信息却寥寥无几。我们主观地、有选择地看待信息，但对信息的曲解却关注不够。我们以为自己需要信息，但其实我们真正需要的是知识。
信号是真相，噪声却使我们离真相越来越远。本书为你呈现的就是信号和噪声的故事。
如果说信息稀缺制约着预测，西尔弗的《信号与噪声》则告诉我们，信息大爆炸时代，过多的信息同样也干扰正确的预测。
在金融行业流行的一句与预测相关的名言是：重要的不仅是预测下雨，还要建造诺亚方舟，从这个意义上说，本书提供了面对海量数据预测时建造用于预测的“诺亚方舟”的一些思路和方法，值得推荐。
——巴曙松，国务院发展研究中心金融研究所研究员及副所长、博士生导师、中国银行业协会首席经济学家
本书是大数据时代的敲门砖，专业而有趣的统计学家去除噪声，获得有价值的信息。
中国需要借鉴类似经验，当理论压力预测与实际市场反应常常天差地别，我们得知道为什么，才能知道怎么办。
——叶檀，财经评论家
人们喜爱统计学，但统计学并不总能回馈给人们同样的爱。西尔弗的这本书带给我们一场睿智的、优雅的、科学与艺术交叉的预测之旅，从中我们可以领略到当大数据遇到人类本性时将会发生什么。在棒球比赛、天气预报、地震预测、经济预测和竞选投票等领域，西尔弗发现，糟糕的预测往往源自偏见、既定的利益和过度自信。在今天这样一个指标泛滥的世界，这本书给了我们一记及时的提醒：只有正确运用统计学工具的人，才能做出好的预测。
——亚马逊网站
这本书对大众的精神启迪意义不亚于像约翰?肯尼斯?加尔布雷斯（曾引发对经济政策的讨论）这样的公共知识分子和像沃尔特?克朗凯特（曾改变对越南战争的看法）这样的社会名人，它将会成为未来十年内最重要的书籍之一。
——《纽约时报》书评版
西尔弗轻松随性的语言风格让哪怕是最艰涩的统计资料都变得简单易懂。更重要的是，他的论据和案例都来自于费尽苦心的研究。
——《华尔街日报》
西尔弗是统计学界的科特?柯本（美国已故著名摇滚歌手），他写作的这本新书既是一本实践指南，也是一部哲学宣言，通过一系列案例研究——从飓风到职业扑克牌手到恐怖主义，集中论述了一个主题：预测。对于那些想对未来做出更好预测的人和想验证他人预测正确与否的人来说，这本书都极具价值。
——《波士顿环球报》
西尔弗以令人难以置信的轻松语言，写了一本关于如何做预测的入门读物，每个人都应该读一读。
——《华盛顿邮报》
这本书就像一座宝库，里面有数不尽的宝藏：贝叶斯定理与概率论，运气和性格，扑克牌手对生活的看法，等等。然而最重要的是，它是帮助我们区分繁杂数据中哪些是噪声、哪些是信号的“测试仪”，是我们当下最需要的基本工具；它有时还能帮助我们正确评估那些我们不熟悉却必须了解的信息的价值。
——《时尚先生》
统计学或预测是让很多人望而却步的话题，而本书就是关于这个话题的一本有趣的普及读物，棒球比赛、职业扑克牌手、政治选举等例子足以勾起读者的好奇心，甚至会让他们废寝忘食地阅读，而且其中潜藏着帮你做出正确预测的能量。
——《石板》杂志
这本书与畅销书《黑天鹅》的观点有异曲同工之妙。西尔弗认为，人类对自己的预测能力往往过度自信，以至于他们排斥用概率的方法思考问题，也不允许自己的预测模型中存在不确定性。
——《经济学人》
西尔弗剖析了我们对股市、风暴、体育等并非一成不变的事物所做的预测。
——《连线》杂志
对于身处大数据时代的每一个企业、每一场运动赛事和每一个政策制定者来说，这本书都不可不读。
——《福布斯》
非常棒的一本书，而且充满阅读的乐趣。西尔弗用这本书给我们制造了一个愉悦的信号。
——蒂姆·哈福德，《金融时报》专栏作家
预测很难，特别是对于未来的预测。在这本重要的著作中，西尔弗解释了为什么专家的预测有时正确，有时却一无是处；也分析了为什么我们必须未雨绸缪。对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。
——理查德·泰勒，《助推》作者
在大数据时代做预测可能跟你想象的完全不同。这本观点新鲜且原创的书，为我们区分关于未来的预测中哪些是主观现实、哪些是客观现实，提供了意想不到的启发性视角。作者还指出，只要我们明智地从糟糕的预测中吸取教训，那我们一定会在科学、技术和政治的预测方面取得进步。
——洪博培，前美国驻华大使
在你读完这本书后，你一定会更了解为什么有些预测模型有效，而有些毫无用处。你也会更加注意接下来一周的天气预报，而对一周以后的天气预报则毫不在意。西尔弗将一个复杂的、艰涩的话题变成了有趣的、轻松的和亲切的。
——皮特·奥斯扎格，前美国国家管理及预算办公室主任
西尔弗并没有提出一个如何做出好预测的综合性理论，但他的这本著作的确有利于帮助人们在诡谲多变的商业世界中做出正确的预测。
——克里斯·威尔逊，谷歌公司开发大使
经济预测中不可避免地会存在偏见
如果你想进行经济预测，最好的选择就是查看平均预测或群体预测，而不是求助于某个经济学家。我对“调查”的研究显示，群体预测总是比个体预测更准确，在预测GDP增长、失业率和通货膨胀这三个方面，群体预测比个体预测的准确率分别高出20%、10%和30%。通过研究许多领域的预测结果，人们发现几乎所有的群体预测都优于个体预测。
然而，虽说群体预测优于个体预测这一观念已成为重要的经验性规律，可是当预测与事实有很大的出入时，这一观念有时就会成为蹩脚的借口。群体预测是由个体预测组成的，如果个体预测的质量提高了，群体预测的质量也会提高。另外，在现实生活中，经济群体预测的质量也很差劲儿，所以还有很大的提升空间。
大多数经济学家作预测时，会在一定程度上依赖自己的判断，而不是依据统计模型输出的信息进行预测。考虑到数据是那么杂乱，这种做法或许是有益的。波士顿联储前副总裁斯蒂芬?K?麦克内斯曾经进行过一项研究，他发现根据统计学预测方法对人为的判断进行调整会使预测的准确率提高约15%。20世纪七八十年代计算机开始广泛使用时，人们普遍认为统计模型能够“解决”经济预测问题。但是，改进的技术无法掩盖对经济领域理论认识的缺乏，只会让经济学家更加快速、更加煞费苦心地将噪声误认为是信号。看似前景不错的预测模型在某些方面一败涂地，最后惨遭淘汰。在其他领域，比如那一时期的地震预测，也会遭遇这样的状况。
援引某个人为判断也会带来潜在的偏见。人们在进行预测时，会倾向于使预测满足自己的经济动机或政治信仰。人们或许太过自负，即使事实和环境要求他做出改变，他也不愿对自己的预测进行修正。哈祖斯告诉我：“我认为人们绝对有这样的倾向，急切地希望事情能按照自己希望的方式发展下去。”
是否有经济学家更擅长把握这种权衡的度？预测出上一次经济衰退的经济学家是不是也可以预测出下一次经济衰退？这个问题有一个非常有趣的答案。
用于评判预测技能的统计测试，在应用于“调查”时给出了否定的结果。也就是说，从这份调查中，人们似乎找不到证据证明某些经济学家总是比其他同行出色。然而，对另一个小组——“蓝筹经济调查报告”——的研究却总能给出肯定的结果。经济预测中显然少不了运气的成分，暴躁或是顽固的经济学家偶尔也会做出正确预测。但是对“蓝筹经济调查报告”的多项研究发现，长期来看，某些经济学家似乎确实要比其他同行略胜一筹。
这两份调查有什么不同呢？“专业预测人员情况调查”是匿名操作的：每位经济学家随机分配一个身份标识号码，他们在不同的调查中会一直使用这个号码，但是不会暴露自己的身份和职业。而在“蓝筹预测调查报告”中，每个人的预测都标有其姓名和曾经获得的荣誉。
当预测结果标有自己的名字时，你的动机就会发生改变。比如，如果你在一家名不见经传的小公司工作，你的那些大胆预测就会备受重视，不管这个预测是准确的还是离谱的，你都会受人关注，这是合情合理的。而像高盛这样的大公司，为了能达成一致意见，预测反而会比较保守。
事实上，在“蓝筹经济调查报告”中，已经发现了这个特点：名气越小，作预测时就越不怕冒险。一项研究把这一现象称为“合理偏见”。即使知道这个预测十分冒险，你还是会为“大比分”放手一搏，这样做是可以理解的。反过来，如果你已经声名鹊起，即便自己手头的数据要求你做出大胆的预测，你可能也不愿意做出过于大胆的预测。
这两种对声誉的关注都有可能使你远离做出最诚实、最准确的预测这一目标，甚至还会使群体预测更加糟糕。整体来看，在对GDP增长率和失业率的预测上，“专业预测人员情况调查”的匿名参与者略优于参与“蓝筹经济调查”的那些名誉至上的受访者。
2011 年日本大地震引发的思考
将噪声误认为信号的倾向，有时会给现实世界带来极可怕的后果。在日本，尽管地震活动极其频繁，但2011年那次灾难性的地震还是让这个国家措手不及。福岛核反应堆是按照可抵御8.6 级地震的标准设计的，无法承受震级高达9.1级的地震。考古资料表明，2011 年由地震引发的约40米高的海浪在历史上曾经引发过多次海啸，但这次人们明显忘记了或者根本无视这些惨痛的案例。
9.1 级地震在全世界都很少见，没人能确切地预测到这样的地震会发生在哪个10年里，更不用说具体的日期了。而在日本，一些科学家和中央计划员却排除了近期发生地震的可能性。这一点就反映了日本的地震预测模型是过度拟合模型。
在图5–6A中，我画出了2011 年日本福岛地震震中附近发生地震的历史频率。这些数据中的地震级别逐渐加大，却没有达到3 月11日的9.1 级。通过看图你会发现，数据几乎遵循着古登堡– 里克特法则的那种直线预测模型，然而，在7.5级处出现了一个拐点，而且，该地区自从1964 年发生了一场震级达8.0级的地震后，再没有发生过震级更大的地震，于是，这条线似乎开始向下弯曲了。
究竟该如何连接这些数据点呢？如果严格依据古登堡–里克特法则，就要忽略图像中的拐点，沿直线将数据点连接起来，如图5–6B所示。若是按地震学家口中的“特性拟合”法（见图5–6C），即描述这一地区地震发生的历史频率，那么，就会把那个拐点当成是真实情况，十分肯定这一地区发生7.6级以上地震的可能性不大。
看似无害的决定，却会导致大相径庭的结果，从日本福岛的例子来看，不同的选择会关系到是否认为这一地区会发生9.1级大地震。特性拟合模型暗示9.1 级地震需要约13 000年才可能发生一次，这样看来，这一地区几乎就不可能发生这样大级别的地震。另外，古登堡– 里克特法则却预测，9.1 级地震平均每300年才可以预见一次，确实不常见，但也不是绝无可能，风险还是存在的，而像日本这样富有的国家，是能够为此作好准备的。
最近，特性拟合模型和日本东北部地区的地震记录拟合得更加紧密了。但是正如我们所知，完全吻合未必就是一件好事，很有可能会变成过度拟合模型，而且，在匹配真实关系时，这种模型会表现得更糟。
在这种情况下，过度拟合的模型会严重低估这一地区发生灾难性大地震的可能性。特性拟合的问题就在于它依靠的是十分微弱的信号。之前提到，日本福岛地震发生前的45年内，日本东北部地区从未发生过8 级及以上的地震。然而，这些都还只是以稀有事件为开端的事例：古登堡–里克特法则预测日本东北部地区约30 年才会发生一次稀有事件，而30 年一遇的事件拖到45年的时候发生也没什么稀奇，就算没有发生，也不奇怪。就好比一个击球率达0.300 的击球手，某天状态不好，输赢比达到了5 ∶0，这也不足为奇。另外，日本东北部地区发生过好几次中等级别达到7.0级的地震，当世界其他地区出现类似情况时，常预示着会有更大级别的地震发生，那又有什么理由认为日本东北部地区会是个特例呢？
实际上，日本以及其他地区的地震学家为此做出了合理解释。比如，他们表明该区域的海底构造特殊、年代久远、温度相对较低且密度较大，能够阻止这样的大地震形成。另一些地震学家则观察到2004年以前，这种类型的海底从来没有发生过9 级地震。
这类结论有点儿像认定了某个来自宾夕法尼亚的家伙不可能会中彩票的头等奖，因为过去的3 周无人获此大奖。9级地震就像彩票头奖，中奖人数少，时间间隔长。实际上，2004 年之前，全世界有记载的9 级地震总共才发生3 次。9级地震究竟在何种情形下才会发生，关于这个问题，没有足够的数据来支撑高度具体的结论。日本不是这一模型失败的首例，苏门答腊岛也遇到过相似的问题。有一段时间，苏门答腊岛发生了一系列震级达到7级的地震，随后却并没有发生更大级别的地震。但在2004 年12 月，一场震级达9.2 级的特大地震袭击了苏门答腊岛。
古登堡–里克特法则并不能预测地震的具体时间，无论是苏门答腊岛地震还日本福岛地震都是这样，但是这一法则考虑到了发生地震的概率。目前，许多更精细的地震预测活动都失败了，古登堡–里克特法则的表现都还不错。
评论
还没有评论。