计算机时代的统计推断：算法、演化和数据科学

本书以丰富的案例介绍了计算机时代下的统计推断的发展脉络，从理论的角度剖析统计推断的各类算法、证据等，揭示统计推断如何推动当今大数据、数据科学、机器学习等领域的快速发展并引领数据分析的变革，*后展望了统计学和数据科学的未来方向。

Bradley Efron是斯坦福大学 Max H. Stein 教授，统计学教授和生物医学数据科学教授。他曾在哈佛大学，加州大学伯克利分校和伦敦帝国理工学院担任过访问教师。Efron在统计推断理论方面进行了广泛的研究，并且是自举采样技术的发明者。他于 2005 年获得了国家科学奖章，并于
2014 年获得了皇家统计学会的金奖。

Trevor Hastie 是斯坦福大学的 John A. Overdeck教授，统计学教授和生物医学数据科学教授。他是统计学习要素的合著者，这是现代数据分析领域的重要著作。他还因其在广义加性模型和主曲线方面的工作以及他对 R 计算环境的贡献而闻名。Hastie
在 2014 年获得了 Emmanuel 和 Carol Parzen的统计创新奖。

统计推断是一门内容极其广泛的学科，实际上，它位于数学、经验科学和哲学三门学科的交叉点上。从贝叶斯准则的发表算起，这门学科可以追溯到1763年（贝叶斯准则代表了这一学科的哲学层面，该准则的早期倡导者认为它是上帝存在的论据）。从20世纪50年代到现在，我们书名所指的“计算机时代”是指这250年历史中的最近四分之一。在这个时代，统计应用的传统瓶颈——计算，发展得愈发迅速。

本书是对过去60年统计如何演变的一个综述，但是对于这样一门内容广泛的学科，我们只不过是从一架小型飞机的高度进行俯瞰，而不是从喷气式飞机或卫星的高度来观察。各个章节分别介绍了一系列有影响力的论题，包括广义线性模型、生存分析、刀切法与自助法、错误发现率、经验贝叶斯、马尔可夫链蒙特卡罗方法、神经网络等。与此同时，我们将对每个论题关键的方法论发展及其推断依据进行描述。

不用多说，计算将是我们故事的核心话题，但是这并不意味着每一项进展都与计算机有关。正如一座桥已连通到一个新的大陆，但并不是所有人都渴望通过这座桥。诸如经验贝叶斯和James-Stein估计的话题已经在力学计算的约束下出现。其他话题，例如自助法和比例风险，才是计算机时代下新生的事物。在21世纪的统计学中，几乎所有的论题都依赖于计算机，但是要进入新千年的话题，我们这架小型飞机仍需飞一段时间。

统计推断在字典里的定义倾向于将其与整个学科等同起来。但在庞大的基于计算机处理算法所引导的“大数据”时代，这一定义已经变得不那么令人满意了。在此，我们将尝试把统计学的两个方面分开，即使这种划分方式并非总是一致的：针对特定问题领域的算法发展，例如使用随机森林进行预测，与其支持的推理论据，这两者截然不同。

从广义上讲，算法是统计学家所做的，而推断则说明他们为什么要这样做。数据科学作为统计事业的一个特别有活力的品牌，在新世纪中蓬勃发展，它强调算法思维而不是推断理由。本书后面的章节将对提升算法和深度学习等大规模预测算法进行研究，并阐述数据科学的观点（有关统计学和数据科学的联系，请参阅本书后记）。

生物推断、天文推断或地质推断这样的论题是不存在的。那为什么我们需要“统计推断”呢？答案很简单：自然科学有着判断想法准确性的天性。统计学比自然科学晚一步，它大多数时候是在解释自然科学家的观察结果。如果没有“大自然”作为无私的裁判，我们就需要一个用于指导和纠正的数学逻辑体系。统计推断就是这样一个从两个半世纪的数据分析经验中提炼出来的系统。

本书按照历史进程分为三个部分：第一部分回顾了经典推断、贝叶斯理论、频率理论和Fisher理论，它们都是在电子计算时代之前产生的，现代实践在不改变基本理论框架的情况下大大扩展了它们的应用范围（可以与古典和现代文学类比）；第二部分关注从20世纪50年代到90年代早期的计算机时代的发展，作为一个过渡时期，这是在理论和实践中最容易看到快速计算对统计方法学进展有无影响的时期；第三部分，也就是“21世纪的话题”，把这个故事带到当下，我们所处的是一个算法蓬勃发展的时代（“机器学习”是令人不安的流行用语），解释算法的原理是现代统计推断的持续任务。

本书既不是目录，也不是百科全书，书中各个话题的选取是为计算方法和推断理论之间的相互作用提供恰当的例证。一些不包含在本书中的话题，譬如时间序列、一般估计方程、因果推断、图模型和实验设计，自然也有着自己的意义。无论如何，并不是本书中提出的主题才是唯一值得讨论的。

同样没有充分解释的还有渐近和决策理论，它们是这个领域的“数学统计”方面。我们的目的是将本书保持在一个适合硕士级别统计学者或一年级博士生的技术水平。不可避免地，部分内容将涉及更困难的领域，这些困难更多的来自统计思想的本质，而不是数学。读者如果发现我们的小飞机在某个话题上盘旋太久，应该毫不犹豫地继续向后阅读。在大多数情况下，章节彼此独立（尽管有一个连贯的整体主题）。这特别适用于那些因为对某个特定主题感兴趣而选择了本书的非统计学家，如仅对生存分析或提升算法感兴趣的读者。

如果要求一个有用的学科满足各种用户的需求，则会有失去核心的风险。尽管外部需求不断上升，统计学在大部分的内容上仍然保持着其哲学凝聚力。实际上，这个领域的核心在过去60年中已从基于数学和逻辑的传统焦点转向了一个更为计算化的焦点。本书将在各个话题上研究这一转变，除了在本书后记中讨论数据科学时略微给出一些讨论之外，这里不会尝试给出“在未来会发生什么？”这个有趣问题的答案。

致　　谢

　　我们感谢Cindy Kirby在筹备本书时所做的娴熟工作，以及GalitShmueli对早期草案的有益评论。非常感谢剑桥大学出版社出色的文案编辑Steven Holt，感谢Clare Dennison在制作阶段始终指导我们，以及本书的编辑Diana Gillooly不懈地支持我们。

Bradley Efron

Trevor Hastie

2016年5月于斯坦福大学统计系

计算统计如何以及为何会统治全世界？在这本严肃且充满阅读乐趣的综述中，Efron和Hastie （两位整合参数和非参数统计思想的先驱）通过一系列明晰的、具有历史意义的例子，给出他们对统计学和机器学习的神奇之处的看法。

——Andrew
Gelman, 哥伦比亚大学

本书既有趣又有启发性，专门为那些想要听到重要思想并看到通过定义统计分析的基本数学来实例化它们的人编写。本书是对传统研究生课程的一个很好的补充。

—— Rob Kass卡内基·梅隆大学

这是一本很棒的书。它为计算机时代推动统计学发展的理论和方法之间的相互作用提供了清晰、易懂和有趣的说明。作者成功地在已建立的统计理论框架内找到了用于“大数据”分析的当代算法方法。

——Alastair
Young帝国理工学院

本书是一本现代统计学导引，强调了20世纪的概念和计算进展。本书由该领域的两位大师撰写，提供了恰当的数学分析和富有洞察力的解说。

——Hal Varian, 谷歌

本书提供了现代统计学的一个全新视图。算法与直觉、属性和它们背后的抽象参数处于同等地位。所涵盖的方法对于在当今的大数据和大型计算领域中实践统计分析师是必不可少的

——Robert
Gramacy，芝加哥大学布斯商学院

在这本书中，两位现代统计学大师对交织在一起的统计和计算世界进行了深入的探讨。通

过一系列重要主题，Efron和Hastie阐述了预测和理解数据的现代方法如何植根于统计和计算思维。他们展示了计算能力的提升如何改变传统的方法和问题，以及如何指引我们思考统计学的新方法。

——David Blei，哥伦比亚大学

*精彩。这本书汇集了许多重要的统计思想，包括作者自己的思想。任何从事统计和数据科学的人都必须反复阅读。Efron和Hastie展示了过去、现在和未来统计推理的不断增长的力量。

——Carl Morris，哈佛大学