信息论与编码基础（第2版）

　　工信部”十二五”规划教材
　　面向工程应用,工程创新型教材
 

本书以香农信息论为基础，系统地介绍了通信系统中两大编码理论。重点阐述了香农信息论的基本理论、信源压缩编码及信道编码的原理与具体方法，力图将信息理论及编码理论与实际应用紧密结合。
全书共分8章，其中包括：信息的概念与测度，离散信源、离散信道，信源压缩编码基础，信道编码基本理论，线性分组码，常用纠错码及其应用及纠错编码新技术。
本书文字通俗，概念清晰，重点突出，在内容上既有必要的数学分析，又强调物理概念的理解及直观图示。本书可作为通信工程及信息类专业的高年级本科生教材，也可作为其他专业学生及通信科技工作者的参考书。

唐朝京，国防科技大学获信息与通信工程学院 教授,博士。主要从事通信工程及信息安全方面的教学与研究工作。中国通信学会理事、会士，湖南省通信学会副理事长，学校通信工程及信息安全领域的学术带头人。承担了本科生《信息论与编码基础》、《通信原理》，研究生《信息论基础》、《纠错编码》、《保密通信》及《电子信息技术导论》等课程的主讲任务。

第1章   绪论   
   1.1    信息概念   
     1.1.1   信息的概念及其内涵   
     1.1.2   香农信息定义   
   1.2   信息论研究的基本问题和主要内容   
     1.2.1   信息论研究的基本问题   
     1.2.2   信息论研究的主要内容   
   1.3   信息理论的发展及其在通信系统中的作用  
     1.3.1   信息理论的形成及与其他学科的交叉发展   
     1.3.2   编码技术的发展及其在通信系统中的作用   
   相关小知识——香农生平   
第2章   离散信源   
   2.1   离散信源的信息熵  
     2.1.1   信源模型   
     2.1.2   自信息  
     2.1.3   信息熵  
     2.1.4   联合熵与条件熵  
   2.2   熵的基本性质  
   2.3   信源的剩余度   
   本章小结  
   习题二  
   综合拓展题  
   相关小知识——熵的由来   
第3章   离散信道   
   3.1   信道疑义度与平均互信息 
     3.1.1   信道模型  
     3.1.2   信道疑义度  
     3.1.3   平均互信息及其性质   
   3.2   信道容量  
     3.2.1   信道容量的定义
     3.2.2   简单离散信道的信道容量   
     3.2.3   对称离散信道的信道容量   
     3.2.4   扩展信道与并联信道的信道容量   
     3.2.5   香农公式   
     3.2.6   保密容量与物理层安全   
   3.3   有噪信道编码定理   
     3.3.1   有噪信道编码定理   
     3.3.2   编码定理的指导意义   
   本章小结   
   习题三   
   综合拓展题 
第4章   信源压缩编码基础   
   4.1   无失真可变长信源编码定理 
     4.1.1   信源编码器  
     4.1.2   无失真可变长信源编码定理 
   4.2   保真度准则下的信源编码定理  
     4.2.1   失真度与信息率失真函数 
     4.2.2   保真度准则下的信源编码定理  
   4.3   预测编码  
     4.3.1   预测编码的基本原理及预测模型   
     4.3.2   信源的线性预测编码  
     4.3.3   语音的线性预测编码   
   4.4   变换编码  
     4.4.1   变换编码的基本原理  
     4.4.2   典型的变换编码方法   
     4.4.3   DCT压缩的特征   
   4.5   统计编码  
     4.5.1   统计编码的概念  
     4.5.2   统计编码常用方法   
     4.5.3   MH编码   
   4.6   压缩编码应用综述   
     4.6.1   声音压缩标准  
     4.6.2   静止图像压缩标准   
     4.6.3   视频压缩标准   
   本章小结  
   习题四   
   综合拓展题   
   相关小知识——霍夫曼生平  
第5章   信道编码基本原理   
   5.1   概述   
     5.1.1   数字通信系统模型  
     5.1.2   差错控制系统分类  
     5.1.3   纠错编码分类   
   5.2   信道编码的基本概念   
     5.2.1   信道编码的一般方法  
     5.2.2   信道编码的基本参数   
     5.2.3   最大似然译码   
   5.3   常用检错码  
     5.3.1   奇偶校验码  
     5.3.2   水平一致校验码   
     5.3.3   水平垂直一致校验码  
     5.3.4   群计数码  
     5.3.5   等比码 
   本章小结   
   习题五   
   综合拓展题   
第6章   线性分组码 
   6.1   线性分组码的基本原理   
      6.1.1   基本概念   
      6.1.2   生成矩阵和一致校验矩阵   
      6.1.3   线性分组码的译码及纠错能力   
      6.1.4   汉明码简介   
   6.2   循环码的基本原理   
      6.2.1   基本概念   
      6.2.2   循环码的编码   
      6.2.3   循环码的一般译码方法   
      6.2.4   循环汉明码及其派生码   
   本章小结   
   习题六   
   综合拓展题   
   相关小知识——汉明生平   
第7章   常用纠错码及其应用   
   7.1   CRC码的应用及性能   
      7.1.1   基本概念   
      7.1.2   CRC码在数据链路协议中的应用   
      7.1.3   CRC码在DECT标准中的应用   
      7.1.4   CRC码在ATM中的应用   
   7.2   BCH码及RS码的应用及性能   
      7.2.1   基本概念   
      7.2.2   CCSDS TC协议中的BCH编码   
      7.2.3   DVBH标准中的前向纠错方案   
      7.2.4   RS码在存储系统中的应用   
   7.3   卷积码的应用及性能  
      7.3.1   卷积码的概念与描述方法   
      7.3.2   卷积码在移动通信中的应用   
      7.3.3   级联卷积编码系统在NASA系统中的应用   
      7.3.4   宽带无线接入中的纠错编码  
   7.4   交织技术   
      7.4.1   基本概念   
      7.4.2   移动通信中的交织   
      7.4.3   CCSDS标准中的交织纠错方案  
   7.5   编码调制技术   
      7.5.1   TCM技术   
      7.5.2   BCM技术   
      7.5.3   BICMID技术  
   本章小结 
   习题七  
   综合拓展题   
   相关小知识——维特比简介   
第8章   纠错编码新技术   
   8.1   迭代译码及消息传递机制  
      8.1.1   迭代译码器的建模   
      8.1.2   迭代译码器消息传递机制   
      8.1.3   迭代译码器EXIT收敛性分析 
   8.2   Turbo 码   
      8.2.1   MAP译码算法   
      8.2.2   SOVA算法   
      8.2.3   Turbo码的性能与应用   
      8.2.4   双二进制Turbo码  
   8.3   TPC码   
      8.3.1   TPC码的构造  
      8.3.2   TPC迭代译码算法   
      8.3.3   TPC码的性能分析  
   8.4   LDPC码   
      8.4.1   LDPC码的概念及图模型   
      8.4.2   基于消息传递机制的LDPC码迭代译码算法   
      8.4.3   IEEE 802.16e中的LDPC码   
      8.4.4   DVBS2中的LDPC码  
   8.5   喷泉码
      8.5.1   LT编码   
      8.5.2   Raptor码   
      8.5.3   标准中的Raptor码   
   8.6   网络编码   

　……

参考文献

英文编写名词对照表

   

　　第2版前言
　　我们正处于一个通信与信息技术飞速发展的时代，对于通信工作者来说，这是个极好的机遇。经过一百多年的不断创新和进步，通信技术已取得了极其辉煌的成就，建立在宽带通信网络基础上的综合有线－无线多媒体通信系统及各种信息应用系统将构成未来信息社会的基本内涵，将为国民经济及社会生活全面信息化提供最重要的保证。
　　通信技术的发展得益于通信理论的正确指导和通信关键技术的不断突破。信息论在提高现代通信系统的可靠性、有效性和保密性等方面提供了理论基础，是推动现代通信技术发展的动力与源泉。自从美国科学家C.E.Shannon于1948年创立信息论以来，经过众多通信科技工作者的努力，在信息的度量、信息传输特性、纠错编码与压缩编码性能极限等理论问题及各种纠错编码和信源压缩编码方法、信息安全传输等研究方面取得了重大突破，有力地促进了通信科技的不断发展。信息论指出了通信工程的一般性规律和理论极限，它对实际通信系统的设计产生了深刻的影响，通信工程人员在信息论方面的基础将对其事业的发展发挥重要作用。
　　本书是作者多年教学与科研经验的总结，先后由国防科技大学出版社、电子工业出版社出版和多次重印，历时十多年。为适应信息技术发展的新形势，应广大师生的要求，作者结合这些年本书在教学中的使用情况，重新改编了本书。在教材内容上充实了信息论与编码技术发展的新成果和应用,如物理层安全、编码调制技术、喷泉编码及网络编码等。书中包括香农信息论的基本内容及主要结论；压缩编码的基本原理；纠错原理、方法及其在现代通信系统中的应用等章节。内容涵盖了通信中有关信息处理的基本原理和方法。在编写过程中我们强调基本原理的理解，取材注意循序渐进、难度适中，并注重理论对实际应用的指导作用，在写法上力求条理清楚，逻辑性强，每章的习题包括基础部分和综合扩展部分。因此，本书适宜于作为通信工程及信息类专业的高年级本科生教材，也可作为其他专业学生及通信科技人员的参考书。
　　全书共分8章，前4章由唐朝京编写，后4章由雷菁编写。本书在编写过程中得到了黄英、李二保以及信息论课程组老师的帮助，还有多名研究生参与了文字校对工作。在出版过程中得到了电子工业出版社的大力支持，在此一并表示衷心的感谢！
　　限于作者视野及学术水平，书中谬误疏漏之处实所难免，恳请读者批评指正。
　　编者
　　2014年11月于长沙
　　前言
　　我们正处于一个通信与信息技术飞速发展的时代，对于通信工作者来说，这是个极好的机遇。经过一百多年的不断创新和进步，通信技术已取得了极其辉煌的成就，建立在宽带通信网络基础上的综合有线、无线多媒体通信系统及各种信息应用系统将构成未来信息社会的基本内涵，将为国民经济及社会生活全面信息化提供最重要的保证。
　　通信技术的发展得益于通信理论的正确指导和通信关键工程技术的不断突破。从理论的角度来看，通信的两大基本问题是信息传输的可靠性和有效性。自从美国科学家C.E.Shannon于1948年创立信息论以来，经过众多通信科技工作者的努力，信息论和编码理论的研究取得了丰硕的成果。在信息的度量、信息传输特性、纠错编码与压缩编码性能极限等理论问题及各种纠错编码和信源压缩编码方法、信息传输容量的研究方面，都取得了重大突破，有力地促进了通信科技的不断发展。Shannon信息论为人们指出了实现有效而可靠通信的基本方向和理论极限，它对实际通信系统的设计产生了深刻的影响，通信工程人员在信息论方面的基础将对其事业的发展发挥着重要作用。
　　距离作者在国防科技大学出版社出版《信息论与编码基础》一书已有6年，这期间本书被多次重印。为适应信息技术发展的新形势，应广大师生的要求，作者结合这些年本书在教学中的使用情况和科研体会，重新编写了本书。在教材内容上充实了信息理论特别是编码技术发展的新成果和应用。书中包括香农信息论的基本内容及主要结论；压缩编码的基本原理；纠错原理、方法及其在现代通信系统中的应用等章节。内容涵盖了通信中有关信息处理的基本原理和方法。在编写过程中我们强调基本原理的理解，取材注意循序渐进、难度适中，并注重理论对实际应用的指导作用，在写法上力求条理清楚，逻辑性强，每章的习题包括基础部分和综合扩展部分。因此，本书适宜于作为通信工程及信息类专业的高年级本科生教材，也可作为其他专业学生及通信科技人员的参考书。
　　全书共分7章，前4章由唐朝京编写，后3章由雷菁编写，她还参与了第4章的增补工作。本书在编写过程中得到了湖南大学易波副教授、国防科技大学黄英、陈明霜以及信息论课程组老师的帮助，还有多名研究生参与了文字校对工作。在出版过程中得到了电子工业出版社的大力支持，在此一并表示衷心的感谢！
　　限于作者视野及学术水平，书中谬误疏漏之处实所难免，恳请读者批评指正。
　　编者
　　2009年10月于长沙