物理学中的数学方法——从热力学熵到香农熵

本书打开数学和物理学一些特定领域的知识窗口，涉及热力学第二定律，相对论，概率论，信息论的基本内容，反映数学与物理学发展进程中的密切关系，又表现它们不同的特色。重视对入门基本概念进行比教科书更细致或深入的剖析，如概率，概率空间，条件概率，热力学熵，香农熵等等；也在有限的篇幅内以精炼的语言，揭示学科中重要基础概念形成的逻辑链条，增进对学科概貌的认识。本书参考了较多相关的专业著作或新近的大学教材，以及科普名著，作者*的期望是在专业性与科普性之间保持某种平衡，使不同水平的读者都能有所收益，对现代科学一些重要但”艰涩”的概念和成果有进一步的认识。

吴新瞻，退休高工，编审，从事概率与统计应用模型及模式识别信息论方法研究的专家。1963年毕业于北京大学，1967年中科院计算所研究生毕业。1980 年底公派参加联合国教科文组织主办、罗马尼亚布加勒斯特大学承办的”信息科学与应用数学”研究进修一年，以各科及论文成绩全优名列前茅。曾在全国计算机展览会上首批展示汉字手写实时识别系统开发成果。主持完成国家自然科学基金支持项目印章自动图像处理与鉴别实验系统。曾在中科院研究生院开设《随机模型与计算机模拟》课程。曾担任《中国大百科全书》（电子学与计算机卷）版特约编辑与撰稿。曾任中国人工智能学会第三届理事会理事、第四届理事会常务理事。在《应用数学学报》、《科学通报》及其英文版、《中文信息学报》等刊物上发表多篇论文。出版专著《随机模型与计算机模拟》（与吴新垣合著）等著作（该书在多年后仍被理工类期刊作者列入参考书目）。翻译出版通信与计算机软件方面的书籍数种。吴新瞻始终坚持不懈地读书和钻研，年逾古稀而不辍。系国家图书馆（白石桥）多年的忠实读者，馆内外语新书阅览室的常客，甚至还是南馆重新开放日的位入馆读者呢。遇到关注的学科内容习惯于把有关的新书都浏览摘录。

第 1 章 热力学熵与信息熵殊途同归Ⅰ：综述 …………………………………………. 001
1.1 熵概念的来龙去脉 ……………………………………………………………………….. 001
1.2 热力学熵与热力学第二定律 …………………………………………………………. 003
1.2.1 卡诺热机与克劳修斯热力学熵 ……………………………………………. 003
1.2.2 热力学第二定律 …………………………………………………………………. 006
1.3 从不同角度扩展对熵的认识和研究 ………………………………………………. 009
1.3.1 宇宙的演化 ………………………………………………………………………… 010
1.3.2 黑洞与熵 ……………………………………………………………………………. 013
1.3.3 生命与熵 ……………………………………………………………………………. 013
1.3.4 液晶的形成过程与熵 ………………………………………………………….. 014
第 2 章 热力学熵与信息熵殊途同归Ⅱ：信息熵概念初探 ………………………. 016
2.1 问题 1 ………………………………………………………………………………………….. 016
2.2 问题 2 ………………………………………………………………………………………….. 018
2.3 问题 3 ………………………………………………………………………………………….. 019
第 3 章 热力学熵与热力学第二定律的数学论述 ……………………………………… 023
3.1 卡诺热机与克劳修斯热力学熵 ……………………………………………………… 023
3.1.1 热力学基本知识 …………………………………………………………………. 023
3.1.2 热力学系统的状态参量——熵 ……………………………………………. 027
3.1.3 一些特殊热力学过程的具体分析 ………………………………………… 029
3.1.4 卡诺热机理想模型揭开热机效率之谜 …………………………………. 032
3.2 热力学第二定律 …………………………………………………………………………… 040
3.3 从经典统计热力学认识熵 …………………………………………………………….. 045
3.3.1 跨进统计热力学之门 ………………………………………………………….. 045
3.3.2 玻尔兹曼概然（概率）分布与熵 ……………………………… 047
3.3.3 理想气体的自由膨胀及其熵变例子 …………………………………….. 051
3.4 从量子统计热力学进一步认识熵 ………………………………………………….. 054
3.4.1 一些必要知识的概述 ………………………………………………………….. 054
3.4.2 熵在体系间热相互作用中的意义 ………………………………………… 056
3.4.3 熵在体系间一般热力学相互作用中的意义 ………………………….. 061
第 4 章 重温物理学科普典范《物理学的进化》 ……………………………………… 069
4.1 狭义相对论的由来 ……………………………………………………………………….. 070
4.2 广义相对论的由来 ……………………………………………………………………….. 071
4.3 科学永不止步 ………………………………………………………………………………. 073
4.4 数学的意义 ………………………………………………………………………………….. 075
4.5 自然哲学的启示 …………………………………………………………………………… 077
第 5 章 读爱因斯坦篇相对论论文的笔记 …………………………………………. 079
5.1 前言 …………………………………………………………………………………………….. 079
5.2 领略爱因斯坦精微的论证 …………………………………………………………….. 080
5.2.1 两个依据（出发点） ………………………………………………………….. 080
5.2.2 关于时间的辨析 …………………………………………………………………. 081
5.2.3 长度和时间的相对性 ………………………………………………………….. 083
5.2.4 从静系到另一相对匀速移动的坐标系的坐标与时间的 变换理论 ……………………………………………………………………………. 084
5.3 耶鲁大学《基础物理》讲授狭义相对论 ……………………………………….. 089
5.4 狭义相对论对人们日常认识的冲击 ………………………………………………. 091
5.4.1 运动方向上的杆会收缩 ………………………………………………………. 092
5.4.2 运动的时钟会走得慢，如果达到光速，钟会停下来 ……………. 093
5.4.3 双生子佯谬 ………………………………………………………………………… 094
第 6 章 从自然数开始 ……………………………………………………………………………… 096
6.1 引言 …………………………………………………………………………………………….. 096
6.2 关于自然数的皮亚诺公理 …………………………………………………………….. 098
6.3 从自然数到整数——种途径 ………………………………………………….. 101
6.4 从自然数到整数——第二种途径 ………………………………………………….. 103
6.5 从整数到有理数 …………………………………………………………………………… 110
6.6 从有理数到实数（引子） …………………………………………………………….. 112
6.7 数学的逻辑基础 …………………………………………………………………………… 113
第 7 章 概率论基础概念（要义） ……………………………………………………………. 115
7.1 引言 …………………………………………………………………………………………….. 115
7.2 样本空间与事件 …………………………………………………………………………… 117
7.3 概率空间 ……………………………………………………………………………………… 118
7.4 随机变量与概率分布函数 …………………………………………………………….. 119
7.4.1 几个有趣的实例 …………………………………………………………………. 120
7.4.2 随机变量及其概率分布的定义 ……………………………………………. 123
7.5 随机过程 ……………………………………………………………………………………… 125
7.5.1 从随机变量扩展到随机向量和随机过程 ……………………………… 125
7.5.2 柯尔莫哥洛夫存在性定理 …………………………………………………… 129
7.5.3 小结 …………………………………………………………………………………… 129
7.5.4 随机过程的等价与可分随机过程 ………………………………………… 130
7.6 独立随机变量序列 ……………………………………………………………………….. 132
7.7 可加随机过程（独立增量过程） ………………………………………………….. 134
7.7.1 可加随机过程的定义 ………………………………………………………….. 134
7.7.2 可加随机过程实例 ……………………………………………………………… 134
7.7.3 可加随机过程概论（Poisson 过程和广义维纳过程） …………… 138
第 8 章 随机事件与随机事件之相互关联（1）——条件概率 ………………… 144
8.1 条件概率的概念与定义 ………………………………………………………………… 144
8.2 条件概率计算实例 …………………………..

读书与传承 
读书无疑是获得知识和信息、提高人们素质的重要途径，其重要性不亚于 甚至超过课堂上的学习。学校教育为学生打下或宽泛或狭窄的基础，更多重要 的和有价值的知识需要在生命的旅途中通过读书获得。 
我还记得当年数学家华罗庚先生谈到读书时的名言，大意是读书要经过 从厚到薄，又从薄到厚的两个过程。这是出自他亲身体验的精湛总结，是衡量 读书深入程度的标尺。从厚到薄的过程意味着不仅要读懂，还要理解透彻，掌 握精髓，把一本厚厚的书用自己的表达方式化作薄薄的大纲笔记。从薄到厚的 过程意味着更高的层次，在消化吸收的基础上“旁征博引”，丰富补充，更上 一层楼，为创新做好准备。 与华先生在 1948 年同时当选研究院院士、在概率论与数理统计领域具有 国际影响力的我国数学家许宝騄教授，在专业上曾经对我言传身教，使我受益 匪浅，终生难忘。 
许先生体弱，不能走进教室给学生讲课，只在自己居室小客厅为教师开设 讨论班。非常幸运的是，北京大学 1957 级概率论统计专门化小班由许先生亲 自指导毕业论文，使我有机会近距离体验有特色的数学家做学问的风范与境 界。虽历经 60 余载岁月，许先生在讨论班讲课的音容举止仍历历在目，他以 独特简明的语言讲述，常有画龙点睛之妙；对指定参考书的内容全面归纳和提 升，提出统一解决同类型问题的强劲新方法。翻开当时的听讲笔记，我依然能 回忆出听课笔记中清晰的思路。我由衷地说，国内外任何一本已出版的概率统 计专业书，有关次序统计量极限分布的相关内容，都没有达到许先生讨论班讲 课时深入、完整和精致的程度。许先生读书极其认真，但从不迷信书本，他在 讨论班多次用形象的话语告诫我们：“不要趴在书本下面，要站在书的上面。” 
物理学中的数学方法——从热力学熵到香农熵 
1963 年毕业离校后，我进入中国科学院计算技术研究所工作。有一天许 先生让我参加在他家中进行的一个马氏过程势论讨论班。在讨论班上，还有幸 聆听到许先生专门系统讲授点集拓扑的课程。许先生的讲课内容总是非常精 致和完美，他从不拿讲稿，徐徐道出讲授内容，连布置的习题在内，整个讲课 内容的内在逻辑严密且完整。 
在课程中，许先生不仅传授了有价值的专业知识，而且为我们树立了真正 掌握一门知识的标杆。许先生是我们一生可以效仿的典范。 数学与物理学殊途同归 
数学与物理学关系密切，始终在相互支撑中发展，犹如一对相伴长大的 兄弟。 
算术、几何和代数与日常生活及物理的关系就不必说了。牛顿在研究物体 和天体的运动规律时，提出无穷小量运算的全新方法，并在同时代其他数学家 的大力推动下，建立了微积分学。 
近代物理学与数学相互促进的例子更是不胜枚举。例如，爱因斯坦应用当 时物理学家尚不熟悉的数学方法（微分几何与黎曼几何）创立了广义相对论， 杨振宁和米尔斯在数学上立足于现代微分几何中的纤维丛理论建立统一电磁 力、弱力、强力的规范场论，等等。 
著名物理学家杨振宁对于数学和物理学的关系有着深刻的论述。他指出， “在基本概念的水平上，它们令人惊异地共同使用某些概念。”但是杨振宁强 调物理学家和数学家达成这样的“共识”或思想融合所经历的是殊途同归的 过程。 
数学与物理学有相同或相似的部分，如微分方程、偏微分方程、希尔伯特 空间、黎曼几何和纤维丛等。当然，数学与物理学研究的宗旨、目标及方法论 各不相同，存在明显的区别。数学是逻辑和推理的世界，物理学追求理论与客 观世界的真相保持高度一致，它必须得到实验的验证。 
杨振宁认为数学与物理学在早的、原始的部分同脉同源，但是因为二
者有不同目标和价值取向，在其后的发展过程中，呈现出不同的发展态势。 
杨振宁与著名数学家陈省身交流时谈到，物理学中的规范场恰是纤维丛 上的联络，而纤维丛是数学家在不涉及物理世界的情况下发展起来的。“这既 令人震惊，也令人迷惑不解，因为你们数学家凭空梦想出了这些概念。”陈省 身马上提出异议：“不，不，这些概念不是梦想出来的。它们是自然的，也是 实在的。” 
陈省身认为，“数学正走向两个不同的方向。一是一般的理论，例如每个 人都必须学习点集拓扑学，学习一些代数学，由此打下一般的基础，那几乎覆 盖整个数学的基本理论。然而也有一些课题是特殊的，而它们在应用数学上却 起着重要的作用。”陈省身在谈到自己得到高斯-博内公式个证明时表示， “通常来说，好的数学研究工作，是把一些理论与一些非常特殊的问题结合 起来，特殊的问题促使一般理论得以发展。我就是应用联络的思想给出了高 斯-博内公式的个证明。我想这是我好的工作之一，因为它解决了一个 重要而基本的经典问题，并且思想十分新颖”。 
他还谈到数学中方法（很多情况下表现为技巧）的重要性，“为了让你的 思想付诸实践，你需要是技术上的天才。这不是轻而易举的，也不是只要你有 想法就可以实行的，这是微妙的”。 读书与心得笔记 随着工作和环境的变化，我的专业方向大体上涉及过概率统计计算、火箭 及卫星轨道测量数据实时滤波、软件编程与计算机应用开发、汉字手写识别、 图像处理与分析等不同领域。我甚至还参加过大百科全书《电子学与计算机》 卷的编辑与撰稿，以及电子书刊的编辑工作。面对许多以前不熟悉的知识领域， 我只有通过读书来弥补自己的不足，阅读成为伴随我终生的爱好和习惯。 从离开工作岗位到70 岁前后这段时间也许是人生值得珍惜的阅读时光， 虽然精力减退是不可避免的自然规律，但思维能力还可保持在一定的高度， 而且还有较充裕的闲暇时间。重读历年有价值的专业书和笔记，让知识在头 脑中经过长年的积累融合，往往能有一些新的理解或发现不同部分之间的关联，偶尔也会找出笔记或书本上出现的疏漏。当年难点还在，但已不再生疏， 可以从容应对。发现新出版的好书，如果有探索的兴趣，不妨量力而行，进行 有效的阅读，也能取得很好的效果。 
本书是我多年来一部分读书心得的汇集。从一个专业学者的独特视角，我 选取了数学和物理学中几个重要的基础概念作为主题，在吸取相关专著内容 的基础上，进行了全面和深入的探讨。本书具有跨学科和跨层次的特点，然而 对于求知者来说，学科和层次并非固定的壁垒。 
全书涉及数学与物理各自发展进程中三个“相得益彰”的实例。 
个实例是热力学熵与数学中信息熵在各自发展过程中不期而遇，殊 途同归。 
第二个实例是爱因斯坦在推导狭义相对论时，创造性地应用微分方程求 解的过程。 
第三个实例是爱因斯坦首次提出微小粒子的布朗运动模型，应用概率论 随机过程对布朗运动的深入研究与此一脉相承。 第 1 章～第 5 章的内容基本上属于物理学的范畴。 第 1 章～第 3 章解读熵的概念。“熵”这个术语初在热力学中作为一个 状态量出现，在量子统计理论中才得到了比较完整的论证。香农信息熵作为信 息不确定性的度量而定义，采用了为热力学熵专门打造的新词 Entropy，这似 乎是一种巧合。然而，二者的确是相通的：玻尔兹曼熵公式给出的熵等于均匀 分布的信息熵，一般体系的熵在量子统计中论证的结果与信息熵一致。然而， 香农信息熵是一个纯数学的对象，并不依赖任何物理背景的假设。 第 4 章是我从大学毕业伊始，多次反复阅读《物理学的进化》（此书近年 已重新出版）一书的收获。它是一本非常“地道”的物理科普书，可以让读者 对物理学的进展树立正确的观念。希望这份简短笔记使读者（也包括我自己） 能把握和记住一些要点。 
第 5 章是阅读爱因斯坦篇相对论论文的详细笔记。我认为这篇论文 已经把狭义相对论论述得非常透彻（虽然几十年后才被学界广泛认识和接受）。 狭义相对论已进入耶鲁大学公开教程基础物理中，2017 年《基础物理》这本 教材在我国国内引进出版。 第 6 章～第 10 章的内容属于数学的范畴。 
数学有超长的逻辑链条。自古至今一步一步搭建起巍峨的数学大厦，乃人 类心智创造的奇迹。它保持始终如一的一致性和相容性，从出发点往前延伸。 这是数学珍贵的品格。这种特征也是数学比较难于学习、难于着手进行研究的 原因。 
一本好的数学教科书（或一本表达清晰的数学论著），其内容必须形成清 晰的逻辑链，这是起码的也是严苛的要求。 
学习每一门数学课程，我们必须从头出发，按照逻辑链条顺序向前走，去 理解，去思考，才能对内容有充分的把握。 
数学研究的对象不是具体的事物，而是抽象出来的概念，通过定义而严格 界定。因此，数学的结论不依赖于具体的事物，能应用于各种事物。各个概念 之间有逻辑上的联结，形成特有的形式体系。在这个形式系统内所有的结论都 是通过严格的逻辑推理得出的。而且，形式系统内衍生出许多运算法则和技巧， 需要反复运用才能掌握。简要地说，抽象、严格的逻辑推理、运算法则与技巧， 是学习数学时必须认识的三大特点。因此，掌握每门数学课程中的基本概念， 以及概念之间的联系非常重要，人们只能依靠概念进行数学思维。 第 6 章的内容是“从自然数开始”。因为自然数是数学的起点，数学大厦 的基础是否稳固得从自然数开始考察。对自然数规律的研究至今还是数学中 的一个前沿课题。 
自然数可以用皮亚诺公理来定义，自然数加法和乘法运算的结果和法则 都可以推导（证明）出来。运算进一步发展就需要增加新的定义，这些内容可 以作为建立数学思维方式的一种训练。 
物理学中的数学方法——从热力学熵到香农熵 
第 7 章～第 10 章的内容都属于概率论的范围，我们打算梳理其中一些重 要的基础概念。 第 7 章介绍概率论的总体脉络，从入门开始，给出一个极简明但连贯的描 述。概率论有两个理论层次，建立在测度论和柯尔莫哥洛夫存在性定理基础上 的内容属于更高的层次，理解上有点困难，我们的态度是点明而不是回避。无 论如何，概率空间的概念必须掌握。读者可根据自己的需要，选择其中适合的 内容阅读。 第 8 章和第9 章具体和详细地讨论了条件概率与条件期望的概念与性质。
 第 10 章对香农熵概念进行了细致和完整的讲述