信息论与编码

　　本书系统阐述了经典信息论和编码的基本原理及应用，主要内容包括：绪论、信源描述及信息的度量、离散信源的信源编码、离散信道的信道容量、有扰离散信道的编码定理、连续信源和连续信道、信息率失真理论及其应用、网络信息理论基础、差错控制基础、线性分组码、卷积码、纠突发错误码、保密通信基础和信息论的应用等。本书语言描述通俗易懂，原理阐述深入浅出，逻辑推理严谨简洁，并配合丰富的应用实例，力图将经典理论的研究成果与现代通信的实际应用相结合。

第1章  绪论
1.1  通信与信息的基本概念
1.1.1  消息和信号
1.1.2  信息
1.2  信息论及信息科学
1.2.1  信息科学的创立
1.2.2  信息科学与信息产业的发展
1.3  信息论的研究范畴
1.3.1  香农信息论（狭义信息论）
1.3.2  一般信息论
1.3.3  广义信息论
本章小结
习题

第2章　信源描述及信息的度量
2.1  信源的数学模型及分类
2.1.1  离散信源
2.1.2  连续信源
2.1.3  平稳信源
2.1.4  自然语信源
2.2  信息的度量
2.2.1  度量信息的基本思路
2.2.2  自信息量与不确定度的关系
2.3  离散信源的信息熵
2.3.1  信源的信息熵
2.3.2  条件自信息量和条件熵
2.4  互信息量
2.4.1  互信息量
2.4.2  条件互信息量
2.4.3  平均互信息量
2.4.4  疑义度和噪声熵
2.5  数据处理中的信息变化
2.5.1  n维随机变量的熵
2.5.2  n维随机变量的信息传递
2.5.3  数据处理中的信息变化
2.6  离散平稳信源
2.7  离散信源的熵和时间熵
2.7.1  离散信源的熵
2.7.2  离散信源的时间熵
本章小结
习题

第3章　离散信源的信源编码
3.1  信源的冗余度
3.2  信源符号序列分组定理
3.3  信源编码模型及编码
3.3.1  信源编码模型
3.3.2  编码
3.4  变长码的信源编码
3.4.1  可译码与即时码
3.4.2  Kraft不等式
3.4.3  平均码长界定定理
3.5  等长码的信源编码定理
3.6  无失真信源编码
3.6.1  香农定理
3.6.2  香农编码
3.6.3  费诺编码
3.6.4  霍夫曼编码
3.6.5  算术编码
3.6.6  游程编码
3.6.7  Lempel-Ziv编码
3.7  信源编码的错误扩散
本章小结
习题

第4章  离散信道的信道容量
4.1  信道的分类及数学模型
4.1.1  信道的分类
4.1.2  离散信道的数学模型
4.2  单符号离散信道的数学模型
4.2.1  二进制对称信道
4.2.2  二进制删除信道
4.3  单符号离散信道的信道容量
4.3.1  信息传输速率和信道容量
4.3.2  几种特殊离散信道的信道容量
4.3.3  独立并联信道的信道容量
4.3.4  串联信道的信道容量
4.4  多符号离散信道的信道容量
4.4.1  多符号离散对称信道的信道容量
4.4.2  离散无记忆扩展信道的信道容量
本章小结
习题

第5章  有扰离散信道编码定理
5.1  译码准则
5.1.1  小错误概率准则
5.1.2  似然译码准则
5.2  费诺不等式
5.3  汉明距离
5.3.1  错误概率与编码方法
5.3.2  汉明距离
5.4  有扰离散信道的信道编码定理
本章小结
习题

第6章  连续信源和连续信道
6.1  连续消息的信息度量
6.1.1  连续信源的相对熵
6.1.2  几种典型连续信源的相对熵
6.1.3  连续消息的条件熵
6.1.4  连续消息的平均互信息量
6.2  相对熵定理
6.2.1  相对熵的性质
6.2.2  相对熵定理
6.3  熵功率
6.3.1  连续信源熵的变换
6.3.2  熵功率
6.3.3  熵功率不等式
6.3.4  噪声
6.4  香农信道容量公式
6.4.1  连续信道的信道容量
6.4.2  香农信道容量公式
6.5  连续信源编码
6.5.1  标量量化与理想接收机
6.5.2  矢量量化编码
6.5.3  预测编码
本章小结
习题

第7章  信息率失真理论及其应用
7.1  失真度和平均失真度
7.1.1  失真度
7.1.2  平均失真度
7.2  信息率失真函数
7.2.1  保真度准则及D0失真许可的试验信道
7.2.2  信息率失真函数
7.2.3  信息率失真函数的性质
7.3  信息率失真函数的计算
7.3.1  误码失真条件下离散信源的信息率失真函数
7.3.2  离散信源的R(D)参量表示
7.3.3  连续信源的信息率失真函数
7.4  保真度准则下的信源编码定理
7.5  信息价值
本章小结
习题

第8章  网络信息理论基础
8.1  多用户信息传输系统模型
8.2  多址接入信道及其信道容量
8.2.1  基本概念
8.2.2  二进制接入信道
8.2.3  N进制接入信道
8.2.4  高斯加性多址信道
8.2.5  广播信道的信道容量
8.3  相关信源的基本理论
8.3.1  离散无记忆相关信源的编码定理
8.3.2  相关信源通过接入信道的传输定理
8.3.3  相关信源的边信息与公信息
本章小结
习题

第9章  差错控制基础
9.1  差错控制的途径和基本方式
9.1.1  插入冗余度
9.1.2  差错随机化
9.1.3  参量权衡
9.2  纠错编码的基本概念
9.2.1  纠错编码的分类
9.2.2　纠错编码的基本概念
9.3  纠错编码的检、纠错能力
9.4  近世代数基础
9.4.1  整数
9.4.2  群
9.4.3  环
9.4.4  域
9.4.5  多项式环和域
9.4.6  GF(2)的扩域GF(2m)
9.4.7  矢量空间
本章小结
习题

第10章  线性分组码
10.1  线性分组码的基本概念
10.1.1  线性分组码的描述
10.1.2  生成矩阵和校验矩阵
10.1.3  系统码
10.2  线性分组码的编译码
10.2.1  线性分组码的编码
10.2.2 线性分组码的译码
10.3  线性分组码的纠、检错性能
10.3.1  线性分组码的距离与重量的关系
10.3.2  极大小距离码（MDC）
10.3.3  伴随式译码的性能
10.4  汉明码和格雷码
10.4.1  完备码
10.4.2  汉明码
10.4.3  格雷码
10.5  循环码
10.5.1  循环码的定义与描述
10.5.2  循环码的生成矩阵和校验矩阵
10.5.3  循环码的编码
10.5.4  循环码的译码
10.5.5  循环码的缩短与扩展
10.6  BCH码
10.6.1  BCH码的编码
10.6.2  BCH码的译码
10.7  R-S码
本章小结
习题

第11章  卷积码
11.1  基本概念
11.2  卷积码的编码
11.2.1  生成矩阵描述
11.2.2  多项式描述
11.2.3  状态图描述
11.2.4  树图描述
11.3  卷积码的译码
11.3.1  网格图
11.3.2  维特比译码
11.3.3  序列译码
11.4  卷积码的特性
11.4.1  卷积码的码率
11.4.2  卷积码的距离特性
11.4.3  恶性卷积码及译码的错误扩展
本章小结
习题

第12章  纠突发错误码
12.1  纠突发错误码的基本概念
12.2  纠突发错误循环码
12.2.1  法尔码
12.2.2  交织码
12.2.3  伯顿码
12.3  纠突发错误循环码的译码
12.4  纠突发错误卷积码
12.4.1  纠突发错误卷积码的基本概念
12.4.2  卷积交织
12.5  纠突发和随机错误码
12.5.1  循环乘积码
12.5.2  级联码
12.5.3  Turbo码
本章小结
习题

第13章  保密通信基础
13.1  保密通信的技术体制及数学模型
13.1.1  加密和解密过程的模型
13.1.2  密码系统安全性
13.1.3  常规密码
13.2  信息保密技术的基础知识
13.2.1  基本度量
13.2.2  理想保密性
13.2.3  单一性距离
13.3  数据加密标准DES

信息论是信息科学的基础理论，其中香农定理已成为衡量信息与通信系统传输容量的标准；而编码理论则是信息论的核心内容，它对信息传输与处理技术的研究和具体实现起着指引性的作用，对新兴的研究方向如网络编码、深空通信等同样具有重要的指导意义。信息论与编码作为通信、电子、信息等学科的重要的专业理论基础课程，已成为国内外众多大学高年级本科生或研究生的核心课程或必修课程。在这些开设信息论与编码的院校中，由于基础不同、侧重不同、办学层次和培养目标不同，对课程学习的要求也各不相同。作者曾在多所大学教授本科生和研究生的“信息论与编码”课程，本教材就是在多年的教学实践和学生意见反馈的基础上，编写修改而成的。教材适用于“985工程”、“211工程”高校或其他普通高校通信及相关专业高年级本科生，同时也可以作为普通高校信息与通信工程学科研究生的专业基础理论课程的主要参考教材，建议课时约60学时左右。课程有完善的多媒体课件可提供。

本教材共14章。第1章概括介绍信息的基本概念和经典信息论的基本内容，以及信息科学的发展历程。第2～6章阐述无失真信源编码和信道编码定理，第7章介绍限失真信源编码定理，这6章是香农信息论的基本内容，包括信息的度量、离散信源编码、离散信道编码定理、连续信源和连续信道、信息率失真理论等。在这一部分重点论述了各种熵和各种信息量的概念及相互之间的关系，香农的3个定理，以及信道容量公式等。第8章介绍网络信息理论，它是经典信息论的发展，目前还处于不断的研究和发展中，主要涉及多用户理论、边信息和公信息等概念，目的是为今后研究网络编码打好理论基础。第9～12章讨论了目前常用的各种信道纠错编码方法，其理论基础是香农第2定理和近世代数。这一部分内容实质上是香农信息论的应用技术，包括线性分组码、卷积码、纠突发错误码等。第13章介绍保密通信的理论基础，包括保密通信的技术体制及数学模型、信息保密技术等，在这一章中给出了几种常用或重要的密码体制。第14章简单介绍了信息理论的广泛应用。