描述
开 本: 16开纸 张: 胶版纸包 装: 平装是否套装: 否国际标准书号ISBN: 9787210085256
统计学入门*读本，科学松鼠会强力推荐！
这是一本经典的入门级读物，每介绍一个新的概念，都会进行大量的背景介绍，再辅以相关奇闻异事。就算是对于一个门外汉来说，也能读懂一个特定概念是做什么用的。
像小说一样的科普书，堪称统计学领域的《苏菲的世界》
在作者笔下，固执的皮尔逊、低调的戈塞特、天才的费舍尔，一如武林高手一样，在统计学的思想领域激烈交锋。他们和后续各个时代代表性的天才，共同演绎了二十世纪这场绚丽多彩又跌宕起伏的统计学革命。有读者评论，本书之于统计学，一如《苏菲的世界》之于哲学。
了解统计学的人，运气都不会太差。大数据时代，你需要懂点统计学思想。
统计学从不猜想，而是测量未来！从买乐透到大数据，全都需要统计学，不懂统计学，你就等着被骗吧！
统计学之所以被滥用、误用，其实是因为它太有用，在某种程度上,可以说改变了世界上处理问题的方式。
这是一部统计学的史诗。一百多年来，统计学从无到有，以至于蔚为壮观。一部统计学的发展史，就是一部不断革新现有科学体系的历史。本书深入浅出地描绘了这一历程，为读者奉献了一场思想的饕餮盛宴。
这是一部关于叱咤风云的统计学学霸的传奇故事书。回望那段波澜壮阔的时代,一张张脸孔水一样掠过。在英国剑桥的某个午后，有位女士声称，把茶加到牛奶里，和把牛奶加到茶里，两种方法调出来的下午茶喝起来味道不同。在座的科学家都对她的说法嗤之以鼻，但有位来访的瘦小绅士，R. A. 费希尔，提议要用科学的方法，来检验这位女士的假设……本书以这位喝下午茶的英国女士为起点，带领读者一一回顾“统计”这门应用范围最广的科学，了解若干重要理论的发展过程与应用，亲近那些隐身幕后的统计学家，看看统计究竟为今天这个世界，带来了什么样的改变。
这是一部大数据时代不容错过的实用之书。大数据时代，一切以数据说话，如何解读数据便与每个人的日常生活息息相关。统计学的本质就在于解读数据，读懂了本书，你就是大数据时代的明白人。
简目
自 序
第 1 章 品茶的女士
第 2 章 偏斜分布
第 3 章 亲爱的戈塞特先生
第 4 章 堆积如山的记事本
第 5 章 《收成变动研究》
第 6 章 “百年一遇的洪水”
第 7 章 费希尔的胜利
第 8 章 致死剂量
第 9 章 钟形曲线
第 10 章 拟合优度检验
第 11 章 假设检验
第 12 章 信任的骗局
第 13 章 贝叶斯的“异端邪说”
第 14 章 数学界的莫扎特
第 15 章 小人物的视角
第 16 章 摆脱参数
第 17 章 部分优于整体
第 18 章 吸烟会致癌吗？
第 19 章 如果你想得到最佳人选……
第 20 章 单纯的得州农家孩子
第 21 章 家族中的天才
第 22 章 统计领域的毕加索
第 23 章 污染处理
第 24 章 工业的重新缔造者
第 25 章 黑衣女子的建议
第 26 章 鞅的发展历程
第 27 章 意向性治疗
第 28 章 将自己提起来的计算机
第 29 章 建立在沙土上的摩天大厦
后 记
大事年表
出版后记
目录
自 序
第 1 章 品茶的女士
科学的合作本质
实验设计
第 2 章 偏斜分布
高尔顿的生物统计实验室
相关与回归
分布与参数
《生物统计》的计划
第 3 章 亲爱的戈塞特先生
“学生”的诞生
“学生”的 t 检验
第 4 章 堆积如山的记事本
费希尔与卡尔·皮尔逊的对立
“法西斯主义者”费希尔
《研究工作者的统计方法》
洛桑与农业实验
第 5 章 《收成变动研究》
《收成变动研究一》
高尔顿均值回归的推广
随机对照实验
费希尔的方差分析
自由度
《收成变动研究三》
第 6 章 “百年一遇的洪水”
极值分布
标志性作品
第 7 章 费希尔的胜利
费希尔和皮尔逊的统计观点
费希尔的最大似然方法
迭代算法
第 8 章 致死剂量
概率单位分析
布利斯的后期工作
第 9 章 钟形曲线
什么是中心极限定理？
“死亡万岁！”
从林德伯格 – 列维到 U 型统计量
霍夫丁在柏林
运筹学
第 10 章 拟合优度检验
混沌理论与拟合优度
第 11 章 假设检验
概率是什么？
概率与频数学派
第 12 章 信任的骗局
内曼的解决方法
概率与置信水平
第 13 章 贝叶斯的“异端邪说”
“逆概率”的问题
贝叶斯层次模型
个人概率
第 14 章 数学界的莫扎特
柯尔莫哥洛夫的个人经历
柯尔莫哥洛夫在数理统计方面的工作
概率在现实生活中意味着什么？
第 15 章 小人物的视角
为卡尔·皮尔逊工作
战争工作
第 16 章 摆脱参数
还会进一步发展
悬而未决的问题
第 17 章 部分优于整体
罗斯福新政与取样
杰罗姆·康菲尔德
经济指数
第 18 章 吸烟会致癌吗？
原因和结果真的存在吗？
实质蕴涵
康菲尔德的解决方案
从吸烟与癌症到橙色除草剂
发表性偏倚
费希尔的解决方法
第 19 章 如果你想得到最佳人选……
妇女的贡献
如何选择经济指标
统计理论中的女性
第 20 章 单纯的得州农家孩子
普林斯顿的统计学
统计学与战争工作
抽象统计学
第 21 章 家族中的天才
I. J. 古德
佩尔西·戴康尼斯
第 22 章 统计领域的毕加索
全面的数学家
第 23 章 污染处理
博克斯成了统计学家
博克斯在美国
博克斯和考克斯
第 24 章 工业的重新缔造者
戴明向高管传达的信息
质量控制的本质
戴明与假设检验
第 25 章 黑衣女子的建议
吉尼斯的统计学
预料之外的变化
抽象数学与应用统计学
第 26 章 鞅的发展历程
早期理论工作
鞅与充血性心力衰竭
第 27 章 意向性治疗
考克斯的观点
博克斯的方法
戴明的看法
科克伦的观察性研究
鲁宾的模型
第 28 章 将自己提起来的计算机
格里文科 – 坎泰利引理
埃弗龙的“靴襻”
重复采样及其他计算机密集型方法
统计模型的胜利
第 29 章 建立在沙土上的摩天大厦
统计革命脱离了统计学家的控制
统计革命是否已经走到尽头？
统计模型可以用于制定决策吗？
在现实生活中，概率意味着什么？
人们真的理解概率吗？
概率真的有存在的必要吗？
21 世纪将会发生什么？
后 记
大事年表
出版后记
科学进入 19 世纪，形成了一种坚定的哲学观念，这种观念被人们称为“按时钟前进的宇宙”。科学家相信，他们可以用少量数学公式（如牛顿运动定律和波义耳气体定律）描述现实，预测未来事件。这种预测只需要一组完整的公式和一组精度足够高的相关测量数据。普通民众花了 40 年时间才理解了这种科学观念。
这种文化差距的一个典型例子就是19世纪早期拿破仑皇帝（EmperorNapol on）与皮埃尔·西蒙·拉普拉斯（Pierre Simon
Laplace）之间的对话。拉普拉斯曾写就一部权威著作，描述了如何根据地球上的少量观测数据计算行星和彗星未来的位置。据说，拿破仑对拉普拉斯说：“我发现您在著作中没有提到上帝，拉普拉斯先生。”“我不需要这个假设。”拉普拉斯回答道。
对于并不存在上帝、没有神圣力量推动、按照时钟永远运行下去、一切未来事件由过去事件所决定的观念，许多人感到恐惧。在某种程度上，19 世纪的浪漫主义运动就是对这种冷酷精准推理的回应。不过，19世纪 40 年代，这种新兴的科学理念获得了一个证据，令普通民众惊讶万分。科学家用牛顿数学定律预测了海王星的存在，而且人们在预测的位置发现了这颗行星。几乎所有反对“宇宙按时钟前进”的声音都消失了，这种哲学观念成了大众文化一个不可分割的组成部分。
不过，虽然拉普拉斯在公式中无须提到上帝，但他却需要所谓的“误差函数”。从地球上观测到的行星和彗星的数据与它们的预测位置并不完全吻合，拉普拉斯和同时代的科学家将其归结为观测误差。这种误差有时是由地球的大气扰动引起的，有时是由人为差错引起的。拉普拉斯把所有这些误差放在一个附加项里（误差函数），加入到他的数学公式中。
这种误差函数吸收了所有误差成分，让拉普拉斯得到了预测天体真实位置的准确运动定律。人们相信，随着测量精度的提高，误差函数最终会消失。有了用于解释观测值和预测值之间微小偏差的误差函数，决定论哲学掌控了 19 世纪早期的科学，人们相信一切事情的发生都是由宇宙初始条件和描述宇宙运动的数学公式事先决定的。
到了 19 世纪末，这种误差不但没有消失，反而变大了。随着测量精度的提高，人们发现了越来越多的误差。“按时钟前进的宇宙”开始松动。人们试图发现生物学定律和社会学定律的努力失败了。在更加成熟的科学领域如物理学和化学中，人们发现，牛顿和拉普拉斯使用过的定律只是一种粗略的估计。科学逐渐开始使用一种新的模式，即现实的统计模型。到了 20 世纪末，几乎所有学科都已经转移到了使用统计模型的阵营。
大众文化没有跟上这种科学革命的脚步。有些模糊的概念和表述（如“相关性”、“概率”和“风险”）成为了大众词汇，大多数人也知道了一些科学领域（如医学和经济学）上的不确定性，不过大多数普通人并没有意识到哲学观念已发生了深刻转变。这些统计模型到底是什么？它们是如何出现的？它们在现实生活中意味着什么？它们是对现实的准确描述吗？本书将尝试回答这些问题。同时，我们还会介绍与这场革命有关的一些重要人物。
在探讨这些问题时，我们必须区分三个数学概念：随机性、概率和统计。对大多数人来说，随机性只是不可预测性的同义词。《塔木德》中的一句格言可以体现这种流行观念：“不要寻找埋在地下的宝藏，因为宝藏埋藏的位置是随机的，从道理上说，我们无法寻找某种随机出现的东西。”不过，对现代科学家来说，随机性有许多不同的种类。概率分布的概念（本书第 2 章将会介绍）可以让我们对这种随机性加以限制，让我们获得预测未来随机事件的有限能力。因此，对现代科学家来说，随机事件并不是没有规律、出乎意料、无法预测的，它们拥有一个可以进行数学描述的结构。
概率是一个现代词汇，但它表达的概念非常古老。亚里士多德（Aristotle）曾说：“概率使那些不太可能发生的事情得以发生。”最初，这个词语表达了人们对可能发生的事件的感受。17、18 世纪，包括伯努利家族（the Bernoullis）两代人、费马（Fermat）、棣莫弗（deMoivre）、帕斯卡（Pascal）在内的一批数学家共同建立了概率的数学理论，这个过程始于概率游戏。他们提出了一些非常复杂的方法，用于计算等概率事件。棣莫弗成功地将微积分方法应用到了这些计算中，伯努利家族则发现了一些非常基本的定律，叫做“大数定律”。到了 19 世纪末，概率数学主要由复杂的技巧组成，但是缺乏坚实的理论基础。
虽然概率理论并不完善，但它对统计分布概念的提出居功至伟。在我们考虑一个具体科学问题时，往往需要用到统计分布。例如，1971 年，哈佛大学公共卫生学院在知名医学期刊《柳叶刀》上发布了一份研究报告，研究喝咖啡与下尿道癌是否存在相关性。该报告研究了一些病人，其中有些人患有下尿道癌，有些人患有其他疾病。报告作者还收集了这些病人的其他数据，如年龄、性别、家族患癌史。不是每个喝咖啡的人都得了尿道癌，也并非每个尿道癌患者都喝咖啡，所以有一些事件与他们的假设相矛盾。不过，25% 的尿道癌患者经常每天至少喝四杯咖啡，而只有 10% 的非尿道癌患者喝咖啡达到这样的数量。看起来，似乎存在支持这种假设的某种证据。
报告作者收集的数据形成了一种统计分布。利用概率数学工具，他们为这种分布构造了一个理论公式，叫做“概率分布函数”，简称分布函数，用于研究这个问题。这个函数类似于拉普拉斯的误差函数，不过更为复杂。分布函数理论的构造用到了概率理论，他们用该函数描述从同一人群随机获取的未来数据的期望值。
本书并不是一本介绍概率和概率理论这些抽象数学概念的书。本书介绍的是一些概率定律在科学问题、统计分布领域及分布函数方面的应用。概率理论本身不足以描述统计方法，有时科学上的统计方法还会违反某些概率定律。读者将会发现，概率这个概念在本书各个章节中时隐时现，在需要的时候会提及，不需要的时候则会忽略。
现实的统计模型属于数学模型，只有通过数学公式和数学符号才能让人充分理解。我不想把这本书写得特别复杂，我只是通过 20 世纪科学统计革命中的一些相关人物（许多人仍然健在）来描述这场革命。我只是介绍了他们的工作，以便让读者感受到他们的个人发现是如何融入整个革命进程中的。
本书无法让读者学到足够多、可用于科学数据分析的统计方法。这需要数年研究生课程的学习。不过，我希望读者阅读本书之后能够对科学统计思想体现出的哲学基础的深刻转变获得一些理解。那么，对于一个对数学知之甚少的人来说，从哪里开始了解这场科学革命呢？我觉得品茶的女士是一个不错的选择……
第一章
女士品茶
20 世纪 20 年代末一个夏日的午后，在英国剑桥，一群大学教员、他们的妻子以及一些客人围坐在室外的一张桌子周围喝下午茶。一位女士坚持认为，将茶倒进牛奶里和将牛奶倒进茶里的味道是不同的。在座的科学家都觉得这种观点很可笑，没有任何意义。这能有什么区别呢？他们觉得两种液体的混合物在化学成分上不可能有任何区别。此时，一个又瘦又矮、戴着厚厚的眼镜、留着尖髯的男子表情变得严肃起来，这个问题让他陷入了沉思。
“让我们检验这个命题吧。”他激动地说。他开始规划一个实验，让声称两种茶存在区别的女士按顺序品尝若干杯饮品，其中有些是加了茶的牛奶，有些是加了牛奶的茶。
有些读者会说：这绝对是吃饱了撑的！他们会问：“不管这位女士能否分辨两种饮品，这件事有什么意义呢？”“这个问题一点儿也不重要，对科学也没有益处，”他们嘲笑道，“这些聪明人应该把他们的头脑用在能够造福人类的事情上。”
不幸的是，不管普通大众如何看待科学及其影响，根据我的经验，大多数科学家之所以投入到研究当中，是因为他们对结果感兴趣，并能从工作中获得知识性的乐趣。优秀的科学家很少会考虑他们的工作是否具有重要意义。回到剑桥那个阳光明媚的夏日午后。女士有可能猜中饮品的混合方式，也有可能猜错。这件事的乐趣在于找出一种方法判断她的说法是否正确。在尖髯男子的指导下，他们开始讨论如何验证这种判断。
许多人充满热情地加入到设计实验的工作中。几分钟之后，他们开始在那位女士看不到的地方以不同的方式泡茶。最后，决定性的时刻到了，尖髯男子把第一杯茶递给了女士。她品了一分钟，宣布这杯茶是将牛奶倒在茶里制作出来的。尖髯男子将她的回答记录下来，没有发表任何评论，然后把第二杯茶递给她……
科学的合作本质
20世纪60年代末，我从一个当天下午在场的人那里听到了这个故事。他叫休·史密斯（Hugh Smith），不过他的科学论文都是以 H. 费尔菲尔德·史密斯（H. Fairfield Smith）的名字发表的。我认识他的时候，他是斯托尔斯的康涅狄格大学的统计学教授。两年之前，我在康涅狄格大学获得了统计学博士学位。在宾夕法尼亚大学任教之后，我加入了大型制药公司辉瑞公司的临床研究部。该研究部位于康涅狄格州格罗顿市，距离斯托尔斯大约一个小时车程。我在辉瑞需要处理许多棘手的数学问题。当时我是那里唯一的统计学家，我需要与大家讨论这些问题和我的“解决方案”。
通过在辉瑞的工作，我发现科学研究几乎无法依靠一个人独自完成，通常需要多人合作。这是因为人们很容易犯错误。当我提出用于解决某个问题的数学模型，这个模型有时是不恰当的，或者我对当时的情况引入了一条错误的假设，或者我发现的“解决方案”来自等式的一个错误分支，就连我的验算也可能出错。
每当我去斯托尔斯的大学与史密斯教授讨论，或是去找辉瑞公司的化学家和药理学家讨论问题，他们通常都对我提出的问题表示欢迎。他们会带着热情和兴趣和我讨论。大多数科学家对工作的兴趣通常来自解决问题的激情。他们期待着研究问题、理解问题时与他人的交流。
实验设计
回到那个夏日午后的剑桥。留着尖髯的男子叫罗纳德·艾尔默·费希尔（Ronald Aylmer Fisher），当时不到四十岁。他后来被封为罗纳德·费希尔爵士。1935 年，他写了一本名为《实验设计》的书，在第 2章描述了女士品茶的实验。在书中，费希尔将这位女士和她的观点作为假设问题进行了讨论。他考虑了各种实验设计方法，以确定这位女士是否能判断出两种茶的区别。设计这项实验的问题在于，如果给她一杯茶，那么即使她无法判断出区别，她也有 50% 的机会猜对茶的种类。如果给她两杯茶，她仍然可能猜对。实际上，如果她知道两杯茶的制作方式不同，那么她对两杯茶的猜测可能都是对的（或者都是错的）。
类似地，即使她能判断出区别，仍然存在问题。她可能犯错误：某杯茶可能混合得不够好，混合的时候茶的温度可能不够高。面对 10 杯茶，她也可能只答对 9 杯。
在书中，费希尔讨论了这种实验的各种可能结果，描述了如何确定应当测试多少杯茶、测试的顺序以及应向女士透露多少顺序信息。他计算出了在女士拥有或没有辨别能力时出现不同结果的概率。在讨论中，他并没有暗示这种实验曾经发生过，也没有描述实验的真正结果。
费希尔这本关于实验设计的书是 20 世纪上半叶横扫所有科学领域的一场统计革命的重要组成部分。在费希尔登场前，科学实验已经进行了几百年。16 世纪下半叶，英国物理学家威廉·哈维（William Harvey）曾用动物做实验，通过阻断不同静脉和动脉的血流，发现血液是循环流动的，从心脏流到肺，回到心脏，再流向身体各个部分，最后流回心脏。
费希尔并没有将实验作为获取新知识的方式。在费希尔以前，实验是每个科学家的个人作品。优秀的科学家通过构造实验获取新的知识。平庸的科学家往往会通过“实验”得到许多数据，但是无法获得新的知识，如 19 世纪晚期诸多试图测量光速的科学家毫无结果的努力。直到美国物理学家阿尔伯特·迈克尔逊（Albert Michelson）用光和镜子构造了一系列非常复杂的实验，人们才得到了第一组良好的光速估计值。
19世纪，科学家很少发布实验结果，他们会宣布他们已发表的数据“证明了”他们所得结论的正确性。格雷戈尔·孟德尔（Gregor Mendel）没有公布所有豌豆育种实验的数据。他描述了实验顺序，然后写道：“两组实验的前 10 个结果可以用于说明……”（20 世纪 40 年代，费希尔检查了孟德尔用于“说明”的数据，发现它们的精确程度过高，没有表现出应当具有的随机性，不可能是真实的。）
尽管科学的发展来自仔细的思考、观察和实验，但从来没有人能说清应当如何做实验，而且人们通常不会把完整的实验结果告诉读者。19 世纪末 20 世纪初的农业研究尤其如此。20 世纪早期费希尔工作过的洛桑农业实验站在费希尔到来之前对不同肥料成分（叫做“人造肥料”）进行了将近 90 年的实验。在每次实验中，工人通常会在整个一块田地上播撒磷酸盐和氮盐的混合物，然后种植谷物，并对收获的粮食以及当年夏季的降水量进行统计。他们用一些详细的公式“修正”一年中一块田地的产出，以便与另一块田地或同一块田地其他年份的产出进行比较。它们被称为“肥料指数”。每个农业实验站都有自己的肥料指数，人们都认为自己的指数比别人的指数准确。
实验站 90 年实验的结果是一堆混乱的结论和大量没有发表的、毫无用处的数据。看起来，某些小麦品种比其他品种更适合某种肥料，前提是当年要有足够多的雨水。另一些实验似乎表明，头一年使用硫酸钾，第二年使用硫酸钠，可以让某些马铃薯品种增收，但对其他品种没有效果。
对于这些人造肥料，人们能得出的最好结论是，有些肥料有时也许可能有效。作为一名出色的数学家，费希尔查看了洛桑的农业科学家用于修正实验结果中不同年份天气差异因素的肥料指数。他研究了与之竞争的其他农业实验站使用的指数。他发现，在基本的代数层面上，它们属于同一公式的不同表现形式。换句话说，相互之间激烈竞争的两组指数实际上做的是同样的修正。1921 年，他在顶级农业期刊《应用生物学年报》发表了一篇论文，指出使用不同指数的效果是相同的。这篇论文还指出，所有这些修正都不足以纠正不同田地肥料的差异。这篇出色的论文结束了 20 年的科学争论。
接着，费希尔研究了过去 90 年的降水量和作物产量数据，指出不同年份天气因素的影响比不同肥料的影响大得多。根据费希尔后来在实验设计理论中的说法，不同年份的天气差异和不同年份的人造肥料差异是“混合的”。这意味着我们无法将二者从这些实验数据中分离开。这表明，90 年的实验和超过 20 年的科学争论几乎完全是在浪费时间。
这让费希尔开始思考实验和实验设计。他的结论是，科学家在实验之前需要为实验结果建立数学模型。所谓数学模型，指的是一组等式，其中一些符号代表实验中收集的数据，另一些符号代表实验的总体结果。
科学家需要根据实验中得到的数据，计算出相应科学问题的合理结果。考虑一位老师与某个学生的简单例子。老师想用某种方法衡量学生对知识的掌握程度。为此，老师通过对学生进行一组测试来“实验”。
每个测试的评分为 0 到 100 分。任何一次测试对学生学习程度的估计并不准确。学生可能不知道测试上的那些问题，但是知道许多测试上没有提到的知识；学生可能在参加某次测试的当天头疼；学生可能在参加某次测试的早上与父母吵了一架。出于很多原因，一次测试无法对学生掌握的知识做出良好的估计。所以，老师布置了一组测试，将所有这些测试的平均分作为对学生学习程度的参考。学生对知识的掌握程度是结果。
每次测试的分数是数据。
老师如何组织这些测试呢？每次测试应当只涉及过去几天讲授的内容吗？每次测试应当包含之前讲授过的所有内容吗？这些测试应当每月进行一次，每天进行一次，还是每个单元结束后进行一次呢？所有这些都是实验设计需要考虑的问题。
如果农业科学家想知道某种人造肥料对小麦生长的影响，他需要构造一个实验，得出对这种影响进行估计的数据。费希尔指出，这种实验设计的第一步是建立一组描述实验测量数据与估计结果之间关系的数学等式。接着，为了实现目的，这个实验必须能够让人们对这些结果进行估计。实验必须是具体的，能让科学家确定源自天气的结果差异与源自不同肥料的结果差异的比值。此外，必须将同一实验中比较的所有处理因素包含进来，这些因素后来被称为“对照因素”。
在《实验设计》中，费希尔提供了几个优秀的实验设计例子，总结出了良好实验设计的一般原则。不过，他的方法涉及的数学非常复杂，大多数科学家都无法独自构造实验设计，只能使用费希尔在书中提到的某个设计模型。
农业科学家们认识到了费希尔在实验设计上所做工作的巨大价值，费氏方法很快在大多数英语国家的农学院占据了统治地位。费希尔最初的工作引出了一大批描述不同实验设计的科学文献，这些设计应用到了农学以外的其他领域，包括医学、化学、工业质量控制。许多领域涉及的数学都非常深奥复杂。不过目前，我们只需要知道，科学家无法随心所欲地“实验”。这需要长期仔细的思考，通常还涉及大量深奥的数学知识。
至于那位品茶的女士，她后来怎样了呢？费希尔没有描述那个阳光明媚的夏日午后发生在剑桥的那场实验最终的结果如何。不过史密斯教授告诉我，那位女士正确判断出了每一杯茶的制作方式。
评论
还没有评论。