语音信号处理（第3版）

语音交互是实现人工智能的基石！全面论述语音信号的生成、处理、压缩、传输、合成、识别与理解！清华、中科院、中国计算机学会、百度人工智能专家联袂推荐！本书适合作为丛书语音信号处理、音频处理等方向的工程技术人员，高校师生阅读，参考！ 

本书系统地介绍语音信号处理的基础、概念、原理、方法与应用。全书共分9章。第1章介绍语音信号处理及其发展过程； 第2章介绍语音信号的产生与人类听觉的机理，传统的线性语音产生模型，以及非线性语音产生模型； 第3章从语音信号的时域特征入手，引入时频分析的思想，并进一步阐述时频分析中短时傅里叶变换和小波变换在语音信号特征分析中的应用，*后对广泛使用的倒谱特征以及同态解卷积进行介绍； 第4章介绍语音信号的线性预测原理、解法、几种推演方法以及线谱对分析法； 第5章介绍语音编码的相关知识，包括语音的波形编码、极低速率语音编码技术，以及相关编码器的性能指标和评测方法； 第6章介绍语音识别的基本内容，从基于矢量量化的识别技术到动态时间归正的识别技术，从隐马尔可夫模型技术到基于深度学习的语音识别技术，从孤立词识别到连接词识别及连续语音识别技术，再到关键词检出技术，*后还介绍新兴起的语音识别应用技术，以及用于HMM系统构建的HTK工具和用于深度学习系统构建的Kaldi工具等； 第7章介绍说话人识别的基本内容，从基于GMMUBM的识别技术到基于支持向量机的识别技术，从基于联合因子分析的识别技术到基于ivector的识别技术，以及近年来受到关注的基于深度学习的识别技术等； 第8章介绍顽健语音识别技术，从影响语音识别性能的环境变化因素分析开始，介绍噪声环境下顽健语音识别技术，以及变异语音识别的技术； 第9章介绍语音合成的基本原理、线性预测合成、共振峰合成以及汉语按规则合成，以及基于HMM的合成技术等内容。
本书可作为高等院校计算机应用、信号与信息处理、通信与电子系统等专业及学科的高年级本科生、研究生教材，也可供该领域的科研及工程技术人员参考。

韩纪庆  现任哈尔滨工业大学计算机科学与技术学院二级教授、学校长聘岗教授、博士生导师。兼任中国中文信息学会理事及语音处理专委会副主任、全国人机语音通讯学术会议常设机构委员会副主席、《中文信息学报》编委、《数据采集与处理》杂志编委。长期从事语音信号处理、音频信息处理等领域的教学与科研工作。作为项目负责人，正在主持和已经完成“国家自然科学基金重点项目”2项、“面上项目”5项、“国家973计划”课题1项、*“跨世纪优秀人才培养计划”基金1项及其他科研项目10余项。获省部级科技二等奖3项、三等奖2项。获国家发明专利7项。已在国内外刊物和会议上发表论文200余篇，并出版图书5部。

目录

第1章绪论

1.1语音信号处理的发展

1.2语音信号处理的应用

1.3语音信号处理的总体结构

参考文献

第2章语音信号的声学基础及产生模型

2.1语音信号的产生

2.1.1语音的发音器官

2.1.2语音的声学特征

2.1.3语音信号在时域和频域的表示

2.1.4汉语中语音的分类

2.1.5汉语语音的韵律特性

2.2语音信号的感知

2.2.1听觉系统

2.2.2听觉特性

2.2.3掩蔽效应

2.3语音信号的线性产生模型

2.3.1激励模型

2.3.2声道模型

2.3.3辐射模型

2.4语音信号的非线性产生模型

2.4.1调频调幅模型的基本原理

2.4.2Teager能量算子

2.4.3能量分离算法

2.4.4调频调幅模型的应用

参考文献

第3章语音信号的特征分析

3.1语音信号数字化

3.1.1语音信号的采样和量化

3.1.2短时加窗处理

3.2语音信号的时域分析

3.2.1短时能量分析

3.2.2短时平均过零率

3.2.3短时自相关函数和短时平均幅度差函数

3.2.4端点检测和语音分割

3.3语音信号的频域分析

3.3.1滤波器组方法

3.3.2傅里叶频谱分析

3.4传统傅里叶变换缺点及时频分析的思想

3.4.1信号的时频表示

3.4.2不确定原理

3.5Gabor变换

3.6小波变换在语音信号分析中的应用

3.6.1小波的数学表示及意义

3.6.2小波分析特点

3.6.3小波变换的多分辨分析

3.6.4小波变换在语音处理中的应用

3.7语音信号的同态解卷积

3.7.1同态信号处理的基本原理

3.7.2语音信号的复倒谱

3.7.3避免相位卷绕的算法

3.7.4基于听觉特性的Mel频率倒谱系数

3.8语音信号特征应用

3.8.1基音周期估计

3.8.2共振峰的估计

参考文献

第4章语音信号的线性预测分析

4.1线性预测的基本原理

4.2线性预测方程组的解法

4.2.1自相关法

4.2.2协方差法

4.2.3格型法

4.2.4几种求解线性预测方法的比较

4.3线性预测的几种推演参数

4.3.1归一化自相关函数

4.3.2反射系数

4.3.3预测器多项式的根

4.3.4LPC倒谱

4.3.5全极点系统的冲激响应及其自相关函数

4.3.6预测误差滤波器的冲激响应及其自相关函数

4.3.7对数面积比系数

4.4线谱对分析法

4.4.1线谱对分析的原理

4.4.2线谱对参数的求解

4.5感知线性预测PLP系数

参考文献

第5章语音编码

5.1波形编码

5.1.1均匀量化PCM

5.1.2非均匀量化 PCM

5.1.3自适应量化PCM

5.1.4差分脉冲编码

5.1.5自适应差分脉冲编码

5.1.6增量调制和自适应增量调制

5.1.7子带编码

5.1.8自适应变换域编码

5.2参数编码和混合编码

5.2.1参数编码

5.2.2基于全极点语音产生模型的混合编码

5.2.3基于正弦模型的混合编码

5.3极低速率语音编码技术

5.3.1400bps~1.2Kbps的声码器

5.3.2识别合成型声码器

5.4语音编码器的性能指标和质量评测方法

5.4.1编码速率

5.4.2顽健性

5.4.3时延

5.4.4计算复杂度和算法的可扩展性

5.4.5语音质量及其评价方法

5.5语音编码国际标准

5.6感知音频编码

5.6.1感知编码的一般框架

5.6.2心理声学模型

5.6.3常用的感知编码标准

参考文献

第6章语音识别

6.1概述

6.2基于矢量量化的识别技术

6.2.1Kmeans矢量量化算法

6.2.2LBG算法

6.3动态时间归正的识别技术

6.3.1DTW基本原理

6.3.2模板训练算法

6.4隐马尔可夫模型技术

6.4.1HMM基本思想

6.4.2HMM基本算法

6.4.3HMM算法实现中的问题

6.4.4关于HMM训练的几点考虑

6.5连接词语音识别技术

6.5.1连接词识别问题的一般描述

6.5.2二阶动态规划算法

6.5.3分层构筑方法

6.6大词表连续语音识别中的声学模型和语言学模型

6.6.1声学模型

6.6.2统计语言学模型

6.6.3统计语言学模型平滑技术

6.6.4语言学模型自适应技术

6.7大词表连续语音识别中的解码技术

6.7.1图的基本搜索算法

6.7.2面向语音识别的搜索算法

6.8大词表连续语音识别后处理技术

6.8.1语音识别中间结果的表示形式

6.8.2错误处理

6.8.3小字错误率解码方法

6.9基于HMM的自适应技术

6.9.1基于Bayesian理论的自适应方法

6.9.2基于变换的自适应方法

6．10基于深度学习的语音识别技术

6．10．1基于DNNHMM的语音识别技术

6．10．2基于RNN的语音识别技术

6．10．3端到端的语音识别技术

6.11关键词检出技术

6.11.1问题描述

6.11.2关键词检出系统的组成

6.11.3垃圾模型建模方法

6.11.4语音解码器的设计

6.11.5关键词确认过程

6.11.6关键词检出系统性能优化

6.12语音识别的应用技术

6.12.1语音信息检索

6.12.2发音学习技术

6.12.3基于语音的情感处理

6.12.4网络环境下的语音识别

6.12.5嵌入式语音识别技术

6.13HTK工具介绍

6.13.1数据准备阶段

6.13.2模型训练阶段

6.13.3识别阶段

6．14Kaldi工具介绍

6．14．1Kaldi工具简介

6．14．2Kaldi工具安装

6．14．3数据准备

6．14．4特征提取

6．14．5模型训练

6．14．6性能评测

参考文献

第7章说话人识别

7．1概述

7．2基于GMM与GMMUBM说话人识别

7．2．1GMM的说话人识别

7．2．2GMMUBM的说话人识别

7．3基于SVM的说话人识别

7．3．1SVM说话人识别

7．3．2基于GMM均值超矢量的SVM说话人识别

7．3．3基于GMM得分的SVM说话人识别

7．4复杂信道下的说话人识别

7．4．1特征映射

7.4.2说话人模型合成

7．4．3扰动属性投影

7．4．4联合因子分析

7．5基于ivector的说话人识别

7．5．1基于GMMUBM的ivector说话人识别

7．5．2基于DNN的ivector说话人识别

7．6得分规整

7．6．1零规整

7．6．2测试规整

7．6．3说话人自适应的测试规整

7．6．4TZnorm

7．6．5Hnorm

7．6．6Cnorm

参考文献

第8章顽健语音识别技术

8.1概述

8.2影响语音识别性能的环境变化因素

8.3噪声环境下的顽健语音识别技术

8.3.1基于语音增强的方法

8.3.2通道畸变的抑制方法

8.3.3基于模型的补偿方法

8.4变异语音识别方法

8.4.1变异语音的分析

8.4.2变异语音的分类

8.4.3变异语音的识别

参考文献

第9章语音合成

9.1语音合成的基本原理

9.2参数合成方法

9.2.1线性预测合成方法

9.2.2共振峰合成方法

9.3波形拼接合成技术

9.3.1TDPSOLA算法

9.3.2FDPSOLA算法

9.4汉语按规则合成

9.4.1韵律规则

9.4.2多音节协同发音规则合成

9.4.3轻声音节规则合成

9.4.4儿化音节的规则合成

9.5基于HMM的参数化语音合成技术

9.5.1基于HMM参数语音合成系统的训练

9.5.2基于HMM参数语音合成系统的合成阶段

参考文献

前言
语音信号处理以语音为研究对象，涉及心理学、生理学、语言学、数字信号处理、模式识别、人工智能、机器学习等诸多研究领域，甚至还涉及人说话时的表情、手势等体态语言信息。由于语音是人们日常生活中的主要交流手段，因此语音信号处理在现代信息社会中占有重要地位。
语音信号处理的研究工作早可以追溯到19世纪70年代，在20世纪得到了长足的发展，并在20世纪90年代，随着IBM、Microsoft、Apple、AT&T、NTT等著名公司为语音识别的实用化开发投以巨资，掀起了语音信号处理技术的应用热潮。进入21世纪，伴随着以深度神经网络为代表的深度学习理论的全面突破、以通用图形处理器(GPU)为代表的硬件技术的迅猛发展，语音识别的性能得到显著提高，从而迎来了语音信号处理技术的蓬勃发展。
目前在语音信号处理领域中不断有新的技术涌现。本书再版的目的就是将这些新的技术融合到已有的相关理论与技术中。全书以语音信号处理过程的总体框架为线索，全面阐述语音信号的前端处理技术、语音编码技术、语音识别和说话人识别技术，以及语音合成技术。相对于上一版，本书补充了基于深度学习的语音识别、基于ivector的说话人识别等本领域的前沿理论和技术，以利于读者充分了解的学术发展动态，并能在学术思想上受到启发。同时，书中也介绍了当前深度学习方法中广泛采用的Kaldi工具的使用技巧，以帮助读者掌握相关的实践手段。
本书涉及作者承担的多项国家自然科学基金项目的部分研究成果，在内容上既注重基本理论的系统性，又兼顾实用性和可读性，可作为高等院校计算机应用、信号与信息处理、通信与电子系统等专业及学科的高年级本科生、研究生教材，也可供该领域的科研及工程技术人员参考。
本书的第1、2、4章由韩纪庆编写，第3、6、9章由张磊编写，第5、7、8章由郑铁然编写。韩纪庆负责全书的总体安排和审定。在新版增加的内容中，郑铁然在基于深度学习的语音识别部分、陈晨在说话人识别部分、史秋莹在Kaldi工具部分的撰写上作出了重要贡献。郑贵滨为书稿的完善做了大量工作，在此表示感谢！
本书虽然是作者从事语音信号处理工作30年的理论与实践的结晶，但因作者水平有限、时间仓促，缺点和错误在所难免，敬请读者批评指正，提出宝贵意见。
作者于哈尔滨工业大学2019年1月

第3章
CHAPTER 3

语音信号的特征分析

前面讨论了语言学、汉语语音学和信号模型等基础知识。语音信号处理虽然包括语音通信、语音合成、语音识别等，但其前提是对语音信号的分析。只有将语音信号分析表示成其本质特性的参数，才有可能利用这些参数进行高效的语音通信，才能建立用于语音合成的语音库，也才可能建立用于识别的模板或知识库。而且，语音合成的音质好坏、语音识别率的高低，都取决于对语音信号分析的准确性和精度。例如，利用线性预测分析来进行语音合成，其先决条件是要先用线性预测方法分析语音库，如果线性预测分析获得的语音参数较好，则用此参数合成的语音音质就好。又如，利用带通滤波器组法来进行语音识别，其先决条件是要弄清楚语音共振峰的幅值、个数、频率变化范围及其分布情况。因此，应先对语音信号进行特征分析，得到提高语音识别率的有用数据，并据此来设计语音识别系统的硬件和软件。
国内外的经验说明，语音分析的工作必须先于其他的语音信号处理工作。例如，20世纪40年代，贝尔实验室的研究人员就对语音信号分析做了大量的、卓有成效的工作，这些成果推动了语音信号处理的发展。
根据所分析的参数不同，语音信号分析可分为时域、频域、倒谱域等方法。进行语音信号分析时，先接触到的、直观的是它的时域波形。语音信号本身就是时域信号，因而时域分析是早使用且应用范围广的一种方法。时域分析具有简单直观、清晰易懂、运算量小、物理意义明确等优点，但更为有效的分析多是围绕频域进行的，因为语音中重要的感知特性反映在其功率谱中，而相位变化只起着很小的作用。
常用的频域分析方法有带通滤波器组方法、傅里叶变换法和线性预测分析法等，其中线性预测方法将在第4章中具体介绍。频谱分析具有如下优点： 时域波形较易随外界环境变化，但语音信号的频谱对外界环境变化具有一定的顽健性。另外，语音信号的频谱具有非常明显的声学特性，利用频域分析获得的语音特征具有实际的物理意义，如共振峰参数、基音周期参数等。
倒谱域是将对数功率谱进行反傅里叶变换后得到的，它可以将声道特性和激励特性有效地分开，因此可以更好地揭示语音信号的本质特征。
按照语音学的观点，可将语音信号分析分为模型分析法和非模型分析法两种。模型分析法是指依据语音信号产生的数学模型，来分析和提取表征这些模型的特征参数； 共振峰模型分析及线性预测分析即属于这种方法。凡不进行模型化分析的其他方法都属于非模型分析法，包括上面提到的时域分析法、频域分析法及同态分析法等。
贯穿于语音信号分析全过程的是“短时分析技术”。根据对语音信号的研究，其特性是随时间而变化的，所以它是一个非稳态过程。但从另一方面看，虽然语音信号具有时变特性，但不同的语音是由人的口腔肌肉运动构成声道的某种形状而产生的响应，而这种肌肉运动频率相对于语音频率来说是缓慢的，因而在一个短时间范围内，其特性基本保持不变，即相对稳定，所以可以将其看作是一个准稳态过程。基于这样的考虑，对语音信号的分析和处理必须建立在“短时”的基础上，即进行“短时分析”。将语音信号分为一段一段来分析，其中每一段称为一“帧”（frame）。由于语音信号通常在10~30ms之内是保持相对平稳的，因而帧长一般取10~30ms。
本章首先介绍语音信号的数字化处理，接着介绍语音信号的时域处理技术及频域和倒谱域的相应处理。此外，还将介绍常见的倒谱特征、基音周期和共振峰参数的提取等。
3.1语音信号数字化
语音信号数字化之前，必须先进行防混叠滤波及防工频干扰滤波。其中防混叠滤波指滤除高于1/2采样频率的信号成分或噪声，使信号带宽限制在某个范围内； 否则，如果采样率不满足采样定理，则会产生频谱混叠，此时信号中的高频成分将产生失真； 而工频干扰指50Hz的电源干扰。由于防混叠和工频干扰滤波器在一个集成块中，实现起来很简便，在这里不再赘述。
3.1.1语音信号的采样和量化
语音信号是时间和幅度都连续变化的一维模拟信号，要想在计算机中对它进行处理，就要先进行采样和量化，将它变成时间和幅度都离散的数字信号。
在语音信号处理中，需要将信号表示成可以处理的函数的形式。对于模拟信号xa(t)，它表示函数值随着连续时间变量t的变化趋势。如果以一定的时间间隔T对这样的连续信号取值，则连续信号xa(t)即变成离散信号x(n)=xa(nT)，这个过程称为采样，其中两个取样点之间的间隔T称为采样周期，它的倒数Fs称为采样频率。
根据采样定理，当采样频率大于信号频率的两倍时，在采样过程中就不会丢失信息，并且可以用采样后的信号重构原始信号。实际的信号常有一些低能量的频谱分量超过采样频率的一半，如浊音的频谱超过4kHz的分量比其峰值至少要低40dB； 而对于清音，即使超过8kHz，频率分量也没有显著下降，因此语音信号所占的频率范围可以达到10kHz以上。虽然这样，但对语音清晰度有明显影响部分的频率为5.7kHz左右。CCITT（国际电报电话咨询委员会）提出的G.711标准建议采样频率为8kHz，但一般情况下这只适合电话语音的情况，因为电话语音的频率为60~3400Hz。在实际的语音信号处理中，采样频率一般为8~10kHz。有一些系统为了实现更高质量的语音合成，或者使语音识别系统得到更高的识别率，将可处理的语音信号扩展到7~9kHz，这时的采样频率一般为15~20kHz。 表31给出了采样率对语音识别系统性能的影响。

表31不同采样率对误识率降低程度的影响

采样率
相对误识率的降低程度采样率
相对误识率的降低程度

8kHz基线系统16kHz 10%
11kHz 10%22kHz
0%

在表31中，将8kHz采样率时的系统作为基线系统，当采样率为11kHz时，系统的误识率有10%的降低； 继续升高采样率到16kHz时，系统的误识率与11kHz相比有10%的降低； 当采样率继续增加时，误识率几乎没有降低。因此在一般的识别系统中，采样率选择在16kHz。
图31的下半部分为一段模拟信号，其上半部分为对应的离散信号。可以看出，采样后的信号在时间域上是离散的形式，但在幅度上还保持着连续的特点，所以要进行量化。量化的目的是将信号波形的幅度值离散化。一个量化器就是将整个信号的幅度值分成若干个有限的区间，并且把落入同一个区间的样本点都用同一个幅度值表示，这个幅度值称为量化值。量化方式有3种： 零记忆量化、分组量化和序列量化。零记忆量化是每次量化一个模拟采样值，并对所有采样点都使用相同的量化器特性。分组量化是从可能输出组的离散集合中，选出一组输出值，代表一组输入的模拟采样值。序列量化是在分组或非分组的基础上，用一些邻近采样点的信息对采样序列进行量化。