多媒体技术教程（原书第2版）

本书由多媒体领域三位学者联袂编写，内容取自课堂上讲述的实际素材，适合作为计算机科学和工程专业学生的教材。本书从多媒体数据表现、多媒体数据压缩、多媒体通信和联网、多媒体信息分享和检索四个层面对多媒体涉及的基本概念、基本原理和基本技术进行了详细介绍。作者用一种实用的方式来讲述基本概念，使学生能够运用享有的技术来解决现实多媒体世界中的问题。

励泽年（Ze-Nian Li）现为加拿大西蒙弗雷泽大学计算机科学学院教授。研究方向为：计算机视觉、多媒体和人工智能。长期讲授多媒体系统、计算机视觉和机器视觉课程；负责设置本科生和研究生在视觉和多媒体方向的教学课程；开发了与浙江大学合作的双学位课程。李泽年教授本科毕业于中国科学技术大学电子工程专业，随后分别于1981年和1986年获得美国威斯康星大学麦迪逊分校计算机科学硕士和博士学位。

马克·S• 德鲁（Mark S. Drew）现为加拿大西蒙弗雷泽大学计算机科学学院教授。研究方向为：图像处理、计算机视觉、计算机图形学、多媒体和可视化。讲授课程包括：多媒体系统、图像和视频中的光照。

刘江川（Jiangchuan LIU ） 现为加拿大西蒙弗雷泽大学计算机科学学院教授，江行智能CEO&董事长。他是IEEE Fellow，并于2015年获得加拿大国家自然科学与工程研究理事会（NSERC）授予杰出青年教授的*高奖项E.W.R. Steacie纪念奖。他还是清华大学EMC讲席教授，清华大学深圳研究生院兼职教授、博导，微软学者，香港科技大学博士，清华大学计算机系学士。研究方向为：网络和多媒体；尤其是多媒体内容处理和通信、无线移动网络、RFID、云和大数据计算、在线游戏和社交网络以及点对点网络。

出版者的话
译者序
前言
第一部分　多媒体概述和数据表现
第1章　多媒体导论2
　1.1　什么是多媒体2
　　1.1.1　多媒体的组成部分2
　1.2　多媒体：历史和现状3
　　1.2.1　多媒体的早期历史3
　　1.2.2　超媒体、万维网和Internet6
　　1.2.3　新世纪的多媒体8
　1.3　多媒体软件工具概述10
　　1.3.1　编曲和谱曲10
　　1.3.2　数字音频11
　　1.3.3　图形和图像编辑11
　　1.3.4　视频编辑11
　　1.3.5　动画12
　　1.3.6　多媒体编著12
　1.4　未来的多媒体13
　1.5　练习14
　参考文献15
第2章　走进多媒体16
　2.1　多媒体任务和关注点16
　2.2　多媒体展示16
　2.3　数据压缩20
　2.4　多媒体制作22
　2.5　多媒体共享和分发23
　2.6　多媒体编辑和编著工具25
　　2.6.1　Adobe Premiere25
　　2.6.2　Adobe Director28
　　2.6.3　Adobe Flash31
　2.7　练习34
　参考文献36
第3章　图形和图像的数据表现37
　3.1　图形/图像的数据类型37
　　3.1.1　1位图像37
　　3.1.2　8位灰度图像38
　　3.1.3　图像数据类型40
　　3.1.4　24位彩色图像40
　　3.1.5　高位深度图像40
　　3.1.6　8位彩色图像41
　　3.1.7　颜色查找表42
　3.2　常见的文件格式45
　　3.2.1　GIF45
　　3.2.2　JPEG47
　　3.2.3　PNG48
　　3.2.4　TIFF48
　　3.2.5　Windows BMP49
　　3.2.6　Windows WMF49
　　3.2.7　Netpbm Format49
　　3.2.8　EXIF49
　　3.2.9　PS和PDF49
　　3.2.10　PTM50
　3.3　练习51
　参考文献52
第4章　图像和视频中的颜色53
　4.1　颜色科学53
　　4.1.1　光和光谱53
　　4.1.2　人的视觉54
　　4.1.3　眼睛的光谱灵敏度54
　　4.1.4　图像的形成55
　　4.1.5　相机系统55
　　4.1.6　伽马校正55
　　4.1.7　颜色匹配函数57
　　4.1.8　CIE色度图58
　　4.1.9　彩色显示器规格60
　　4.1.10　超色域的颜色61
　　4.1.11　白点校正61
　　4.1.12　XYZ到RGB的转换62
　　4.1.13　带伽马校正的转换62
　　4.1.14　L*a*b*(CIELAB)颜色模型63
　　4.1.15　其他颜色坐标系统64
　　4.1.16　蒙赛尔颜色命名系统64
　4.2　图像中的颜色模型64
　　4.2.1　显示器的颜色模型64
　　4.2.2　多传感器相机65
　　4.2.3　相机相关的颜色65
　　4.2.4　减色法：CMY颜色模型66
　　4.2.5　从RGB到CMY的转换67
　　4.2.6　消除不足颜色：CMYK系统67
　　4.2.7　打印机色域67
　　4.2.8　多墨水打印机68
　4.3　视频中的颜色模型68
　　4.3.1　视频颜色转换68
　　4.3.2　YUV颜色模型69
　　4.3.3　YIQ颜色模型70
　　4.3.4　YCbCr颜色模型71
　4.4　练习72
　参考文献74
第5章　视频中的基本概念75
　5.1　模拟视频75
　　5.1.1　NTSC视频77
　　5.1.2　PAL视频79
　　5.1.3　SECAM视频79
　5.2　数字视频79
　　5.2.1　色度的二次采样80
　　5.2.2　数字视频的CCIR和ITU-R标准80
　　5.2.3　高清电视81
　　5.2.4　超高清电视82
　5.3　视频显示接口82
　　5.3.1　模拟显示接口82
　　5.3.2　数字显示接口84
　5.4　3D视频和电视85
　　5.4.1　3D感知线索85
　　5.4.2　3D相机模型86
　　5.4.3　基于立体视觉的3D电影和电视87
　　5.4.4　视觉辐辏调节冲突87
　　5.4.5　自由立体（无眼镜）显示设备88
　　5.4.6　3D内容创建过程中的视差处理89
　5.5　练习90
　参考文献90
第6章　数字音频基础92
　6.1　声音数字化92
　　6.1.1　什么是声音92
　　6.1.2　数字化93
　　6.1.3　奈奎斯特理论94
　　6.1.4　信噪比95
　　6.1.5　信号量化噪声比96
　　6.1.6　线性量化和非线性量化97
　　6.1.7　音频滤波100
　　6.1.8　音频质量与数据率100
　　6.1.9　合成的声音101
　6.2　乐器数字接口102
　　6.2.1　MIDI概述103
　　6.2.2　MIDI硬件105
　　6.2.3　MIDI消息的结构106
　　6.2.4　通用MIDI109
　　6.2.5　MIDI到WAV的转换109
　6.3　音频的量化和传输109
　　6.3.1　音频的编码109
　　6.3.2　脉冲编码调制110
　　6.3.3　音频的差分编码111
　　6.3.4　无损预测编码112
　　6.3.5　DPCM114
　　6.3.6　DM116
　　6.3.7　ADPCM117
　6.4　练习118
　参考文献120
第二部分　多媒体数据压缩
第7章　无损压缩算法122
　7.1　简介122
　7.2　信息论基础123
　7.3　游程编码125
　7.4　变长编码125
　　7.4.1　香农凡诺算法125
　　7.4.2　赫夫曼编码127
　　7.4.3　自适应赫夫曼编码130
　7.5　基于字典的编码133
　7.6　算术编码137
　　7.6.1　基本的算术编码算法137
　　7.6.2　缩放和增量编码140
　　7.6.3　算术编码的整数实现143
　　7.6.4　二进制算术编码143
　　7.6.5　自适应算术编码144
　7.7　无损图像压缩146
　　7.7.1　图像的差分编码146
　　7.7.2　无损JPEG147
　7.8　练习148
　参考文献150
第8章　有损压缩算法151
　8.1　简介151
　8.2　失真度量151
　8.3　比率失真理论152
　8.4　量化152
　　8.4.1　均匀标量量化152
　　8.4.2　非均匀标量量化154
　　8.4.3　向量量化155
　8.5　变换编码156
　　8.5.1　离散余弦变换157
　　*8.5.2　Karhunen-Loève变换167
　8.6　小波编码169
　　8.6.1　简介169
　　*8.6.2　连续小波变换172
　　*8.6.3　离散小波变换173
　8.7　小波包181
　8.8　小波系数的嵌入式零树181
　　8.8.1　零树数据结构182
　　8.8.2　逐次逼近量化183
　　8.8.3　EZW示例183
　8.9　层次树的集合划分185
　8.10　练习186
　参考文献188
第9章　图像压缩标准189
　9.1　JPEG标准189
　　9.1.1　JPEG图像压缩的主要步骤189
　　9.1.2　JPEG模式195
　　9.1.3　JPEG位流概述197
　9.2　JPEG2000标准198
　　*9.2.1　JPEG2000图像压缩的主要步骤199
　　9.2.2　使EBCOT适合JPEG2000204
　　9.2.3　感兴趣区域编码205
　　9.2.4　JPEG和JPEG2000的性能比较205
　9.3　JPEG-LS标准207
　　9.3.1　预测208
　　9.3.2　确定上下文208
　　9.3.3　残差编码208
　　9.3.4　近似无损模式208
　9.4　二值图像压缩标准209
　　9.4.1　JBIG标准209
　　9.4.2　JBIG2标准209
　9.5　练习211
　参考文献213
第10章　视频压缩技术基础214
　10.1　视频压缩简介214
　10.2　基于运动补偿的视频压缩214
　10.3　搜索运动向量215
　　10.3.1　顺序搜索216
　　10.3.2　2D对数搜索217
　　10.3.3　分层搜索218
　10.4　H.261220
　　10.4.1　I帧编码220
　　10.4.2　P帧编码221
　　10.4.3　H.261中的量化221
　　10.4.4　H.261的编码器和解码器222
　　10.4.5　H.261视频位流语法概述223
　10.5　H.263225
　　10.5.1　H.263的运动补偿226
　　10.5.2　H.263可选的编码模式226
　　10.5.3　H.263 和H.263 228
　10.6　练习228
　参考文献230
第11章　MPEG视频编码：MPEG-1、MPEG-2、MPEG-4和MPEG-7231
　11.1　概述231
　11.2　MPEG-1231
　　11.2.1　MPEG-1的运动补偿231
　　11.2.2　与H.261的其他主要区别233
　　11.2.3　MPEG-1视频位流235
　11.3　MPEG-2236
　　11.3.1　支持隔行扫描视频237
　　11.3.2　MPEG-2的可伸缩性239
　　11.3.3　与MPEG-1的其他主要区别243
　11.4　MPEG-4243
　　11.4.1　MPEG-4概述243
　　11.4.2　MPEG-4的基于对象的视觉编码245
　　11.4.3　MPEG-4的合成对象编码254
　　11.4.4　MPEG-4部分、规范和层次260
　11.5　MPEG-7260
　　11.5.1　描述子261
　　11.5.2　描述方案263
　　11.5.3　描述定义语言265
　11.6　练习265
　参考文献266
第12章　新视频编码标准：H.264和H.265269
　12.1　H.264269
　　12.1.1　运动补偿270
　　12.1.2　整数变换272
　　12.1.3　量化和缩放274
　　12.1.4　H.264整数变换和量化示例275
　　12.1.5　帧内编码277
　　12.1.6　环路去块滤波278
　　12.1.7　熵编码279
　　12.1.8　上下文自适应可变长度编码280
　　12.1.9　上下文自适应二进制算术编码282
　　12.1.10　H.264配置文件283
　　12.1.11　H.264可伸缩视频编码285
　　12.1.12　H.264多视点视频编码285
　12.2　H.265286
　　12.2.1　运动补偿286
　　12.2.2　整数变换290
　　12.2.3　量化和缩放290
　　12.2.4　帧内编码291
　　12.2.5　离散正弦变换291
　　12.2.6　环路滤波292
　　12.2.7　熵编码293
　　12.2.8　特殊编码模式293
　　12.2.9　H.265配置文件294
　12.3　视频编码效率的比较294
　　12.3.1　客观评估294
　　12.3.2　主观评估295
　12.4　练习295
　参考文献296
第13章　音频压缩技术基础298
　13.1　语音编码中的ADPCM298
　　13.1.1　ADPCM298
　13.2　G.726 ADPCM,G727-9299
　13.3　声音合成器300
　　13.3.1　相位不敏感性300
　　13.3.2　通道声音合成器301
　　13.3.3　共振峰声音合成器302
　　13.3.4　线性预测编码302
　　13.3.5　码激励线性预测304
　　*13.3.6　混合激励声音合成器309
　13.4　练习311
　参考文献312
第14章　MPEG音频压缩313
　14.1　心理声学简介313
　　14.1.1　等响度关系313
　　14.1.2　频率掩蔽314
　　14.1.3　时间掩蔽318
　14.2　MPEG音频319
　　14.2.1　MPEG的层319
　　14.2.2　MPEG音频策略319
　　14.2.3　MPEG音频压缩算法320
　　14.2.4　MPEG-2高级音频编码325
　　14.2.5　MPEG-4音频326
　14.3　其他音频编解码器326
　　14.3.1　Ogg Vorbis326
　14.4　MPEG-7音频及其他328
　14.5　进一步探索328
　14.6　练习328
　参考文献329
第三部分　多媒体通信和网络
第15章　多媒体通信的网络服务及协议332
　15.1　计算机通信网络的协议层332
　15.2　局域网和接入网333
　　15.2.1　局域网标准333
　　15.2.2　以太网技术334
　　15.2.3　接入网技术335
　15.3　互联网技术和协议338
　　15.3.1　网络层：IP338
　　15.3.2　传输层：传输控制协议和用户数据报协议340
　　15.3.3　网络地址转换和防火墙343
　15.4　组播延伸344
　　15.4.1　基于路由

多媒体课程在短短几年内便成为计算机科学和计算机工程学科的必修课程之一，尤其是现在，多媒体涉及计算机科学的众多领域。多媒体最初被认为是一个纵向应用领域，也就是说，它有一套独有的方法。然而，类似于普适计算，多媒体现在已经成为一个横向的应用领域，并且是许多学科的重要研究内容，如算法、计算机图形学、计算机网络、图像处理、计算机视觉、数据库、实时系统、操作系统、信息检索等。多媒体成为我们进行工作、思考的技术环境的重要组成部分。本书面向大学多媒体教学的需求，介绍计算机科学发展历程中与多媒体相关的部分。此版本对第1版进行了全面修订，增加了一些近几年产生的话题，如3D电视、社交网络、高效视频压缩和视频会议、无线移动网络及其相关技术。本书已全面更新，不仅介绍了本领域的最新进展，还在网络部分进行了更为深入的讲解。为此，刘江川博士加入了作者团队。虽然本书的第1版是由Prentice-Hall出版社出版的，但是对于这一版，我们选择了著名的Springer出版社，因为该社更加专注于计算机科学教科书丛书的出版，积累了丰富的经验，拥有众多出色的成果。目前，本书已被纳入其计算机科学教科书丛书。
如今，多媒体与计算机科学和工程中的许多问题紧密相关，我们正致力于解决这些问题。本书不是介绍简单的设计问题和工具，而是面向更高阶的读者；本书也不是一本参考书，而更像是一本传统意义上的教材。虽然我们要在书中讨论多媒体工具，但其实更多的是在讲述这些工具的工作原理。读者在学完本书之后，能够真正掌握多媒体领域内最基本的原理。
本书内容丰富，能够帮助学生利用这些知识在多媒体领域内开展有趣而奇妙的实践项目和交互式项目，甚至向他人传授相关概念。
读者对象
本书介绍多媒体领域的基本知识，定位于对多媒体技术应用感兴趣的读者，如计算机科学和工程专业的学生。本书适合本科高年级的学生，也可用于更高年级的课程。实际上，许多课程体系将本书第1版用于本科生教学，或作为对该领域感兴趣的研究生的入门教材。同时，任何想了解多媒体技术的人（包括业内人士）都能从本书中获益。
本书重点介绍概念，而不是应用。在多媒体课上，教师将教授概念、测试学生掌握的情况，同时也允许学生用已有的编程技巧来解决多媒体问题。本书的配套网站给出了一些多媒体应用程序代码、学生在学习此课程中开发的一些项目以及其他实用的电子资料。
本书介绍的概念相应地会体现在课程设计中。我们假设读者具备编程能力而且乐于学习和使用新的编程工具。本书的重点不在于工具讲解，而是强调学生不能只会用工具。应用本书所介绍的方法和思想，学生通过自学可以学到更多的知识。利用本书学习多媒体课程的学生，能够在本科四年级甚至更早的时候开始从事多媒体相关的工作，这并不稀奇。
本书包含了一些读者在实际应用中会遇到的问题。有的内容比较简单但比较新；有的内容比较复杂，但对于这个蓬勃发展的领域来说是不可避免的。
教学建议
从1996年开始，我们开始教授本科三年级的多媒体系统课程，我们使用的介绍性材料正是本书的前身。在一个学期的时间里，不可能讲完本书的所有内容，通常我们会从第三、四部分挑选一些内容，以主题的形式教授相关内容。
同时，我们用本书和相关资料上过为期一学期的研究生课程，并以此作为更高阶知识的介绍课程。本科四年级和研究生课程可以考虑教授前三部分内容，然后选取最后一部分的某些内容进行讲解，同时还可以使用本书提及的一些研究文献和相关会议内容作为拓展知识。
我们试图满足本科生和研究生的需求，主要是针对本科生，但也涵盖一些更高阶的内容。标有星号的章节在初次阅读时可以跳过。
内容概览
第一部分介绍多媒体技术相关的概念、发展历史和现状。特别要说明的是，因为要使用软件工具完成多媒体作业，所以该部分除了会对多媒体工具进行概述之外，还会讲述许多多媒体创作过程中的细节问题。数据表现对于多媒体十分重要，所以我们将重点研究用于多媒体应用的数据表现，详细讨论图形图像数据、视频数据和音频数据。由于颜色对于多媒体项目是至关重要的，所以我们还将介绍颜色对多媒体的影响和作用。
第二部分介绍如何在屏幕和扬声器中播放多媒体数据。数据压缩是使多媒体广泛应用的重要技术，因此该部分将介绍无损压缩技术和有损压缩技术的基本概念。在有损压缩技术中，JPEG静态图像压缩标准（包括JPEG2000）是最重要的压缩技术，我们将对其进行重点介绍。视频比图像的数据量更大，所以在视频压缩中，我们将介绍MPEG系列标准MPEG-1、MPEG-2、MPEG-4、MPEG-7以及新的视频压缩标准H.264和H.265。另外，我们还将介绍基本的音频压缩技术，简要介绍MPEG音频，包括MP3和AAC。
第三部分介绍多媒体技术对网络和系统的种种需求。接着，介绍使交互式多媒体成为可能的网络技术和协议。考虑到当前多媒体内容的分发机制，该部分将介绍移动网络的基本概念，以及此网络下的多媒体通信中存在的问题和对应的解决方案。
第四部分介绍一些构成Web 2.0范例的核心技术，如用户与Web页面的交互，包括用户创作内容而不是简单地获取和使用内容。云计算改变了服务的提供方式，许多计算密集型的多媒体处理任务（包括游戏机上的一些任务）都被移交给了远程服务器。该部分探讨Web 2.0时代下新一代的多媒体信息共享和检索服务，讨论社交媒体共享的特征及其影响，包括云辅助多媒体计算和内容共享。大量的多媒体内容对多媒体感知搜索机制带来了挑战，因此我们也会讨论多媒体内容检索的机制和面临的问题。
本书网站
本书配套的网站是http://www.cs.sfu.ca/mmbook。在这里，读者可以找到本书所涉及的图片、勘误表、一些帮助读者理解概念的演示程序以及一些章节中的“进一步探索”部分提到的动态链接。由于这些URL链接经常更新，所以将它们放在网站上比放在课本里更为合适。
教辅资源
　关于本书教辅资源，需要的教师可与施普林格亚洲有限公司北京代表处联系，电话010-82670211-895，电子邮件[email protected]。——编辑注
访问本书网站中的内容不需要账号和密码，但是学生项目示例需要账号和密码才能访问，教师可以自行决定。对于教师，使用账号和密码登录本网站，可以获取丰富的教辅资源，包括在线幻灯片、练习及其答案、作业及其答案、考试题目（包括附加考题）及其答案。
致谢
我们对审阅本书的同事表示衷心的感谢。他们是Shu-Ching Chen、Edward Chang、Qianping Gu、Rachelle S. Heller、Gongzhu Hu、S. N. Jayaram、Tiko Kameda、Joonwhoan Lee、Xiaobo Li、Jie Liang、Siwei Lu和Jacques Vaisey。
在编写本书的过程中，我们现在和过去的很多同事和学生都给出了很好的建议。我们对Mohamed Athiq、James Au、Chad Ciavarro、Hossein Hajimirsadeghi、Hao Jiang、Mehran Khodabandeh、Steven Kilthau、Michael King、Tian Lan、Haitao Li、Cheng Lu、Xiaoqiang Ma、Hamidreza Mirzaei、Peng Peng、Haoyu Ren、Ryan Shea、Wenqi Song、Yi Sun、Dominic Szopa、Zinovi Tauber、Malte von Ruden、Jian Wang、Jie Wei、Edward Yan、Osmar Zaane、Cong Zhang、Wenbiao Zhang、Yuan Zhao、Ziyang Zhao和William Zhong表示感谢。Ye Lu先生对本书的第8～9章做出了重要的贡献，我们对他表示特别感谢。对于为完善本书而努力调试课程设计项目的学生们，我们同样致以深深的谢意。