描述
开 本: 16开纸 张: 胶版纸包 装: 平装是否套装: 否国际标准书号ISBN: 9787030340573丛书名: 普通高等教育电子通信类国家级特色专业系列规划教材
编辑推荐
荆涛、卢燕飞、霍炎编写的《多媒体通信》本书内容全面，结构清晰，语言流畅，从多媒体通信的基础理论出发，结合实际工程应用与典型实例，对其中的重要概念与理论进行分析与举证。本书不仅可用于相关专业本、专科教学教材，还可作为相关研究人员的参考书。
内容简介
《多媒体通信》旨在使读者掌握多媒体通信领域的基础知识，以及多媒体通信应用系统和多媒体通信技术研发的基本知识。《多媒体通信》主要内容分为两大部分，一部分是多媒体通信技术基础，包括多媒体通信绪论、数据压缩的基本技术、音频处理技术与压缩编码、图像处理技术基础、图像与视频压缩编码标准、多媒体通信的流量控制与差错恢复；另一部分是多媒体通信的应用及研发知识介绍，包括ITU-T定义的多媒体通信系统、流媒体及QoS技术、多媒体技术软件开发平台。
《多媒体通信》可作为高等院校电子信息与通信类相关专业的高年级本科生和研究生教材，也可供相关专业的技术人员参考。
《多媒体通信》可作为高等院校电子信息与通信类相关专业的高年级本科生和研究生教材，也可供相关专业的技术人员参考。
目 录
前言
第1章 多媒体通信绪论
1.1 相关概念和定义
1.2 多媒体通信的特征
1.3 多媒体通信业务
1.4 多媒体通信的发展
习题
第2章 数据压缩的基本技术
2.1 概述
2.1.1 信息熵
2.1.2 离散平稳信源
2.1.3 信源的冗余度
2.1.4 数据压缩
2.2 预测编码
2.2.1 脉冲编码调制
2.2.2 差分脉冲编码调制
2.2.3 自适应差分脉冲编码调制
2.2.4 增量调制
2.3 变换编码
2.3.1 离散傅里叶变换
2.3.2 离散余弦变换
2.4 熵编码
2.4.1 变长编码
2.4.2 哈夫曼编码
2.4.3 算术编码
2.4.4 游程编码
2.4.5 字典编码
2.5 子带编码
2.6 小波变换
2.6.1 连续小波变换
2.6.2 离散小波变换
2.6.3 小波重构
2.7 分形编码
2.7.1 分形理论
2.7.2 局部迭代函数系统
2.7.3 分形图像编码
2.8 基于模型的编码
2.8.1 基于语义编码
2.8.2 基于物体编码
2.8.3 基于内容编码
本章小结
习题
第3章 音频处理技术与压缩编码
3.1 概述
3.2 数字音频基本知识
3.2.1 音频信号的特征
3.2.2 音频信号的技术指标
3.2.3 数字音频的原理
3.2.4 数字音频的技术指标
3.3 常用的音频编解码方法
3.3.1 波形编译码
3.3.2 音源编译码
3.3.3 混合编译码
3.4 音频信息压缩编码标准
3.5 数字音频技术
3.5.1 数字音频技术的应用
3.5.2 数字音频的文件格式
3.5.3 数字音频技术在通信中的应用
本章小结
习题
第4章 图像处理技术基础
4.1 图像的基础知识
4.1.1 颜色科学与颜色模型
4.1.2 图像的数据类型
4.1.3 常见的图像文件格式
4.2 人类的视觉特性
4.2.1 亮度与颜色感觉的视觉特征
4.2.2 图像对比度与对比灵敏度特性
4.2.3 人类视觉的空间特性
4.2.4 人类视觉的时间特性
4.3 图像信号的数字化
4.3.1 图像信号的表征
4.3.2 采样定理
4.3.3 量化编码
4.3.4 采样量化对图像质量的影响
4.4 视频基础
4.4.1 视频信号类型
4.4.2 模拟视频信号
4.4.3 数字视频信号
本章小结
习题
第5章 图像与视频压缩编码标准
5.1 视频压缩编码标准简述
5.1.1 主要的视频压缩编码发展历程概述
5.1.2 超高清晰度成像建议
5.1.3 我国的AVS标准
5.2 静态图像压缩编码标准
5.2.1 JPEG
5.2.2 JPEG 2000
5.2.3 JPEG-LS
5.2.4 JPEG-XR
5.3 视频压缩编码标准
5.3.1 H.261标准
5.3.2 MPEG-1标准
5.3.3 MPEG-2标准
5.3.4 H.263系列
5.3.5 MPEG-4标准
5.3.6 H.264标准
5.3.7 AVS标准
5.4 图像与视频编码的展望
本章小结
习题
第6章 多媒体通信的流量控制与差错恢复
6.1 概述
6.2 视频的率失真理论概要与分析
6.3 压缩视频通信的流量控制
6.3.1 网络流量控制概述
6.3.2 恒定速率编码与变比特率编码
6.3.3 调整编码参数的速率控制
6.3.4 可变量化参数的速率控制
6.3.5 基于感兴趣区域编码的速率控制
6.3.6 基于优先级信息丢弃的速率控制
6.3.7 基于编码反馈的速率控制
6.3.8 多层编码的速率控制
6.4 压缩视频通信的差错恢复
6.4.1 误码的影响与差错控制概述
6.4.2 可逆变长编码与双向解码
6.4.3 差错弹性的熵编码
6.4.4 自适应INTRA帧更新技术
6.4.5 前向纠错技术
6.4.6 差错隐蔽技术
6.4.7 基于参考图像选择的弹性机制
6.4.8 联合信源信道编码技术
6.4.9 组合差错弹性机制
本章小结
习题
第7章 ITU-T定义的多媒体通信系统
7.1 概述
7.2 H.320多媒体通信系统
7.2.1 H.320多媒体通信系统简介
7.2.2 H.320系统的相关协议及知识
7.2.3 H.320系统组网
7.3 H.324可视电话
7.3.1 H.324多媒体通信系统简介
7.3.2 移动通信系统的可视电话
7.4 H.323多媒体通信系统
7.4.1 H.323系统组成
7.4.2 H.323系统的主要应用特点
7.5 IP电话
7.5.1 IP电话的基本特点
7.5.2 构建IP电话系统
本章小结
习题
第8章 流媒体及QoS技术
8.1 流媒体系统的关键技术
8.1.1 流媒体系统
8.1.2 流媒体数据的传输方式
8.1.3 流媒体的应用模式
8.1.4 流媒体应用的相关协议
8.2 QoS技术
8.2.1 QoS的主要技术指标
8.2.2 QoS的服务模型
8.2.3 QoS的主要技术
8.3 流媒体的应用
8.3.1 流媒体的主流产品
8.3.2 Windows Media流媒体系统
本章小结
习题
第9章 多媒体技术软件开发平台
9.1 多媒体技术基础研究工具
9.1.1 MATLAB的多媒体信息处理
9.1.2 多媒体信息处理类库
9.2 多媒体应用开发软件平台开发的基础
9.2.1 多媒体应用开发的基础
9.2.2 基于Windows的DirectShow多媒体开发平台
9.2.3 基于Java的JMF多媒体开发平台
本章小结
习题
参考文献
第1章 多媒体通信绪论
1.1 相关概念和定义
1.2 多媒体通信的特征
1.3 多媒体通信业务
1.4 多媒体通信的发展
习题
第2章 数据压缩的基本技术
2.1 概述
2.1.1 信息熵
2.1.2 离散平稳信源
2.1.3 信源的冗余度
2.1.4 数据压缩
2.2 预测编码
2.2.1 脉冲编码调制
2.2.2 差分脉冲编码调制
2.2.3 自适应差分脉冲编码调制
2.2.4 增量调制
2.3 变换编码
2.3.1 离散傅里叶变换
2.3.2 离散余弦变换
2.4 熵编码
2.4.1 变长编码
2.4.2 哈夫曼编码
2.4.3 算术编码
2.4.4 游程编码
2.4.5 字典编码
2.5 子带编码
2.6 小波变换
2.6.1 连续小波变换
2.6.2 离散小波变换
2.6.3 小波重构
2.7 分形编码
2.7.1 分形理论
2.7.2 局部迭代函数系统
2.7.3 分形图像编码
2.8 基于模型的编码
2.8.1 基于语义编码
2.8.2 基于物体编码
2.8.3 基于内容编码
本章小结
习题
第3章 音频处理技术与压缩编码
3.1 概述
3.2 数字音频基本知识
3.2.1 音频信号的特征
3.2.2 音频信号的技术指标
3.2.3 数字音频的原理
3.2.4 数字音频的技术指标
3.3 常用的音频编解码方法
3.3.1 波形编译码
3.3.2 音源编译码
3.3.3 混合编译码
3.4 音频信息压缩编码标准
3.5 数字音频技术
3.5.1 数字音频技术的应用
3.5.2 数字音频的文件格式
3.5.3 数字音频技术在通信中的应用
本章小结
习题
第4章 图像处理技术基础
4.1 图像的基础知识
4.1.1 颜色科学与颜色模型
4.1.2 图像的数据类型
4.1.3 常见的图像文件格式
4.2 人类的视觉特性
4.2.1 亮度与颜色感觉的视觉特征
4.2.2 图像对比度与对比灵敏度特性
4.2.3 人类视觉的空间特性
4.2.4 人类视觉的时间特性
4.3 图像信号的数字化
4.3.1 图像信号的表征
4.3.2 采样定理
4.3.3 量化编码
4.3.4 采样量化对图像质量的影响
4.4 视频基础
4.4.1 视频信号类型
4.4.2 模拟视频信号
4.4.3 数字视频信号
本章小结
习题
第5章 图像与视频压缩编码标准
5.1 视频压缩编码标准简述
5.1.1 主要的视频压缩编码发展历程概述
5.1.2 超高清晰度成像建议
5.1.3 我国的AVS标准
5.2 静态图像压缩编码标准
5.2.1 JPEG
5.2.2 JPEG 2000
5.2.3 JPEG-LS
5.2.4 JPEG-XR
5.3 视频压缩编码标准
5.3.1 H.261标准
5.3.2 MPEG-1标准
5.3.3 MPEG-2标准
5.3.4 H.263系列
5.3.5 MPEG-4标准
5.3.6 H.264标准
5.3.7 AVS标准
5.4 图像与视频编码的展望
本章小结
习题
第6章 多媒体通信的流量控制与差错恢复
6.1 概述
6.2 视频的率失真理论概要与分析
6.3 压缩视频通信的流量控制
6.3.1 网络流量控制概述
6.3.2 恒定速率编码与变比特率编码
6.3.3 调整编码参数的速率控制
6.3.4 可变量化参数的速率控制
6.3.5 基于感兴趣区域编码的速率控制
6.3.6 基于优先级信息丢弃的速率控制
6.3.7 基于编码反馈的速率控制
6.3.8 多层编码的速率控制
6.4 压缩视频通信的差错恢复
6.4.1 误码的影响与差错控制概述
6.4.2 可逆变长编码与双向解码
6.4.3 差错弹性的熵编码
6.4.4 自适应INTRA帧更新技术
6.4.5 前向纠错技术
6.4.6 差错隐蔽技术
6.4.7 基于参考图像选择的弹性机制
6.4.8 联合信源信道编码技术
6.4.9 组合差错弹性机制
本章小结
习题
第7章 ITU-T定义的多媒体通信系统
7.1 概述
7.2 H.320多媒体通信系统
7.2.1 H.320多媒体通信系统简介
7.2.2 H.320系统的相关协议及知识
7.2.3 H.320系统组网
7.3 H.324可视电话
7.3.1 H.324多媒体通信系统简介
7.3.2 移动通信系统的可视电话
7.4 H.323多媒体通信系统
7.4.1 H.323系统组成
7.4.2 H.323系统的主要应用特点
7.5 IP电话
7.5.1 IP电话的基本特点
7.5.2 构建IP电话系统
本章小结
习题
第8章 流媒体及QoS技术
8.1 流媒体系统的关键技术
8.1.1 流媒体系统
8.1.2 流媒体数据的传输方式
8.1.3 流媒体的应用模式
8.1.4 流媒体应用的相关协议
8.2 QoS技术
8.2.1 QoS的主要技术指标
8.2.2 QoS的服务模型
8.2.3 QoS的主要技术
8.3 流媒体的应用
8.3.1 流媒体的主流产品
8.3.2 Windows Media流媒体系统
本章小结
习题
第9章 多媒体技术软件开发平台
9.1 多媒体技术基础研究工具
9.1.1 MATLAB的多媒体信息处理
9.1.2 多媒体信息处理类库
9.2 多媒体应用开发软件平台开发的基础
9.2.1 多媒体应用开发的基础
9.2.2 基于Windows的DirectShow多媒体开发平台
9.2.3 基于Java的JMF多媒体开发平台
本章小结
习题
参考文献
在线试读
第1 章 多媒体通信绪论
多媒体通信主要涉及多媒体信息处理技术和多媒体信息传输技术。目前计算机界和通信界都在研究这门新技术，由于着眼点不同和研究方法不同，因而论述的内容也不完全相同。为了对多媒体通信技术进行深入研究，首先必须明确其主要的概念和定义。本章主要从通信的角度出发，介绍多媒体通信中的一些基本概念和特点。
1.1 相关概念和定义
1.媒体
根据国际电联（ITU-T）的定义，媒体共有5 类，它们是：
● 感觉媒体（Preception Medium） ：感觉媒体指的是由人类的感官直接能感知的一类媒体，这类媒体有声音、乐音、动画、运动图像、图形和噪音等。
● 表示媒体（Representation Medium） ：表示媒体指的是用于数据交换的编码，这类媒体有图像编码（JPEG 、JBIG 、H .261 、MPEG 等） ，文本编码（ ASCII 码、GB2312）和声音编码等。
● 显示媒体（Presentation Medium） ：显示媒体指的是进行信息输入和输出的媒体，这类媒体有显示器、打印机、喇叭等输出媒体和键盘、鼠标器、麦克、扫描仪、触摸屏等输入媒体。
● 存储媒体（Storage Medium） ：存储媒体指的是进行信息存储的媒体，这类媒体有硬盘、软盘、光盘、磁带、ROM 、RAM 等。
● 传输媒体（ Transmission Medium） ：传输媒体指的是用于承载信息，将信息进行传输的媒体，这类媒体有同轴电缆、双绞线、光纤和无线链路等。
那么什么是多媒体通信？ 多媒体通信中的媒体究竟是指什么？ 根据国际电联的定义，多媒体通信中的媒体特指表示媒体，也就是多媒体通信系统中要有存储、传输、处理、显示多种表示媒体信息（即多种编码的信息）的功能。
2.多媒体和超媒体
多媒体通信技术是一项新技术，这里对多媒体技术中最常用的两个名词进行解释。
1） 多媒体（ Multimedia）
多媒体本身不是一个名词，而是一个形容词，因此从语法上讲它单独说是没有意义的。只有将它与名词相联系，如多媒体终端（ Multimedia Terminal）和多媒体系统（ Multimedia Sys-tem）才是正确的说法。ITU-T 对多媒体服务的定义，是特指能处理多种表示媒体的服务。
多媒体系统和多种媒体系统是不同的，多媒体系统中的媒体相互之间是有关联的，它们之间存在某种时间或空间同步关系；而对于多种媒体系统，其中的媒体与媒体之间可以是毫无关系的。因而，两者的重要区别就在于媒体间的同步性。
2） 超媒体（ Hyper Media）
在多媒体通信系统中，另一个经常出现的词是超媒体。要了解超媒体的概念，首先要了解什么是超链接（ Hyperlink） ，一般我们都认为超链接是在互联网上出现的一个技术名词，其实不然，它是一个很古老的概念。在出版物中经常出现“注” ，通过“注”可以找到与之相关的一段文字或者相关的一篇文章，这种把不同的文字或文章关联到一起“注”实际就是一种超链接。
而在多媒体通信中就可以利用超链接把不同的媒体关联到一起，这些媒体的集合就称为超媒体。
从上面可以看到超链接技术是一个很古老的概念，但是在超媒体中使用的超链接与传统的“注”在媒体组织形式上有许多不同，超媒体技术中采用的关联技术，适宜于计算机进行处理，因此超媒体技术获得广泛应用。
如果通过超链接关联在一起的媒体都是文本信息，就称为超文本，如图1.1-1 所示。超媒体除了关联文本信息外，还关联使用图形、图像、声音、动画或影视片段等多种媒体来表示信息，建立的链接关系是文本、图形、图像、声音、动画和影视片段等媒体之间的链接关系，如图1.1-2所示。本质上超媒体是多媒体应用的一种，这时媒体之间的同步关系是通过超链接来实现的。
1.2 多媒体通信的特征
随着通信及网络技术的发展，多媒体通信技术已经成为了多媒体应用中常用的技术，它综合了多媒体信息处理技术、计算机技术、通信及网络技术。从本质上讲，多媒体通信就是把多媒体信息数字化以后，在通信网络上通过数据传输技术进行传输，然后再实现多媒体信息远程应用的过程。在这个过程中，需要维持多媒体信息的一些特点，因此多媒体通信并不是多媒体信息加上数据通信技术的简单结合。
要了解多媒体通信的主要特征，首先需要了解多媒体信息传输的需求与目前通信网能够提供的传输能力之间的差异。
多媒体信息主要有哪些特点呢？ 根据前面对多媒体相关概念的介绍，多媒体信息的主要特点包括：
● 信息的多样性和数据的海量性：信息种类多种多样包含有视、音频等多种信息，它们数字化后的数据量较大。
● 信息的同步性：多媒体信息之间有相互关联的同步关系，它们在应用过程中需要保持同步并进行合理的控制。这些同步关系有的是逻辑上的，如超链接；有的是时间上的，如实时性。
● 多媒体信息的应用特性：多媒体应用过程中需要提供更多的交互，满足各种应用的需求。
而目前的数据传输技术又有哪些特点呢？ 根据多媒体信息的特点可以把目前数据传输技术总结为两个方面：一是传输能力受限，二是存储空间受限。
多媒体通信的任务就是要在目前的通信条件下，实现多媒体信息的合理传输，保证用户在远端收到的多媒体信息还能保持多媒体信息的特点。目前多媒体信息和通信网络之间存在一定的不匹配，因此在多媒体通信的过程中就是要去解决和适应这些不匹配，如图1.2-1 所示。
比如多媒体信息的海量性就和网络的传输能力受限存在冲突，为了解决这个问题，从信息处理的角度我们可以进一步地压缩数字媒体减少数据量，从网络的角度就可以提高网络的传输能力和效率，这些就是多媒体通信所关注的内容。
根据多媒体信息的特点，一个多媒体通信系统应该具备以下3 个方面的特征。
1.集成性
多媒体通信系统中的集成性可以从两个方面来理解：一是从用户的角度来理解，二是从系统设计者的角度来理解。
从用户的角度讲，一个多媒体通信系统中应该包含有多种媒体信息，而且这些媒体信息还应该是具有某种同步关系。
从系统设计者的角度讲，为了保证能在应用中为用户提供多媒体信息，在整个多媒体通信系统中除包含了基本的多媒体内容数据以外，还包括：
● 表示媒体间链接关系的多媒体链接信息：它的作用主要是反映多媒体通信系统中内容数据的同步特性。
● 脚本（Script）信息：它是一组特定的用语意关系联系起来的结构化的多媒体和超媒体信息，其实它的作用也是为内容数据提供进一步的同步关系保证。
● 特定的应用信息：它提供一些多媒体通信的应用特性的信息，比如在视频点播过程中，这种应用信息可以让用户随意地拖动到想看的视频片段，这些信息可以保证多媒体应用中的交互性。
综合地讲，在多媒体通信过程中集成性不仅包括多媒体信息的多样性，也包括维护多媒体应用所需要的各种控制信息（同步信息、应用信息等） 。
2.交互性
交互性指的是在通信系统中人与系统之间的相互控制能力。很显然，交互性是多媒体通信系统必备的一个特性，但并非其独有的特性，目前许多通信系统也有着程度不等的交互性。
如信息检索系统，它一般都提供菜单及一些对话框作为用户与系统的交互界面，用户可以通过单击菜单或填写表单，将用户的要求告诉系统，系统根据用户的要求，将满足条件的信息送给用户，用户与系统通过这一简单的交互过程就完成了通信过程。
在多媒体通信系统中，交互性有两方面的内容：一是人机接口，也就是人在使用多媒体系统的终端时，用户终端向用户提供的操作界面；二是用户终端与系统之间的应用层通信协议。
人机接口（Man-Machine Interface）是系统向用户提供的操作界面，目前最好的能用于多媒体通信系统的人机接口，都是图形化的窗口界面，可以通过一些简单的鼠标单击或者触摸来实现操作。图形化的窗口界面可以提供菜单、按钮、选择框、列表项、输入域、对话框、敏感区、敏感字段等多种复杂的人机接口，以满足多媒体通信系统复杂的交互操作需要。
除了人机接口之外，多媒体通信系统中交互性的另一个方面是用户终端与系统之间的应用层通信协议。在多媒体通信系统中将要存储、传输、处理、显示多种表示媒体，而这些表示媒体之间又存在复杂的同步关系，不同的表示媒体可以以不同的方式传送给用户，为了保证它们的同步性就需要采用一些特殊的通信协议进行控制。为此在多媒体通信过程中，经常会开辟出来一条辅助信道来传输这些控制信息。
多媒体通信终端的用户对通信的全过程有完备的交互控制能力，这是多媒体通信系统的一个主要特征，也是区别多媒体通信系统与非多媒体通信系统的一个主要准则。例如：目前的普通模拟电视传输技术，也能处理多种表示媒体信息，但是用户对于系统的交互性除了选择频道以外，其他几乎没有，因此普通电视系统不是多媒体通信系统。而目前的一些数字电视技术，在交互性上就有了很大的进步，因此就是一种多媒体通信系统。
3.同步性
同步性是多媒体信息的一个固有特性，在多媒体通信中同步性指的是在通信过程中可以维持视频图像、声音和文字之间的同步性。例如：用户要检索一个重要历史事件的片段，该事件的运动图像（或静止图像）存放在图像数据库中，其文字叙述和语言说明则放在其他数据库中。多媒体通信终端通过不同传输途径将所需要的信息从不同的数据库中提取出来，并将这些声音、图像、文字同步起来，构成一个整体的信息呈现在用户面前，使声音、图像、文字实现同步，并将同步的信息送给用户。
多媒体通信系统中的同步性是多媒体通信系统中最主要的特征之一，可以这样说信息的同步与否，决定了多媒体通信的成败。同步性也是在多媒体通信系统中最为困难的技术问题之一。
一般而言，多媒体通信系统是一个资源受限的系统，所谓资源受限，指的是两种情况：通信速率受限和终端存储空间受限。如果这两个方面没有限制，同步的实现就不会有很大的困难。
譬如说信道通信速率不受限，那么只要发送端完全按照媒体间的同步关系发送多媒体信息，在接收端就能及时地收到各种所需的信息（网络传输不会破坏原有的同步关系） ，从而可以很简单地维持原有的同步关系，显然在信道的通信速率受限的情况下，接收端的信息同步实现起来就要困难得多。另外，如果接收端的存储器容量是无限的，可以将所有的信息全部接收下来，然后再同步播出，这样同步问题也很容易解决。实际上如果通信系统不是一个资源受限的系统，人们会发现多媒体通信系统与本地的多媒体系统的应用就完全一样了，当然同步也就容易解决。
图1.2-2 所示是为了维持视音频数据同步关系，而采用不同的分组方案进行数据传输的案例，它们具有不同的通信性能。图中有一组视频流数据和一组音频流数据需要进行同步传输，它们之间在时间上有同步对应，也就是视频分组v1 和音频分组1 和2 对应，其他对应关系依次（图中同色部分为具有同步约束的分组） 。在传输时有两种分组传输方案，一种是把所有的视频分组传完后，再传音频分组；另一种方案是把视频分组v1 和音频分组1 、2 传输，然后依次按照同步约束关系把视音频分组交织传输。
对比这两种传输方案，方案2 比方案1 在接收端接收到较少数据时就可以进行同步回放，因而所需等待的时间更短，所需的缓存也更小，有利于维持多媒体应用中的实时性，但是控制措施相对复杂。对于这两种方案如果在一个资源不受限的通信系统上应用，很容易知道它们的效果是一样的。通过这个例子很容易理解多媒体通信中同步技术的一些特点。
在实际的多媒体通信系统中，同步可以在多个层面上实现，常用实现层面包括：
● 链路层同步：它通过信息帧结构的合理设计来实现。
● 表示层同步：它通过在客体（或文件）复合过程中引入同步机制或者在超媒体的关联过程中引入同步机制来实现。
● 应用层同步：它通过脚本的设计实现。
1） 链路层同步在实时多媒体通信系统中，特别是引入运动图像的多媒体通信系统中，链路层级同步是十分重要的，链路层同步是通过信息流帧结构的特殊设计来实现的。信息流帧结构按照不同的应用场合分为两类：第一类是用于会话型（会议型）点对点的实时多媒体通信，为满足会话的要求，应尽量减少延迟，因而采用比特交织的帧结构；第二类是用于存储读出系统的，其应用场合有视频点播、运动图像检索等，这种应用场合允许一个较大的固有时延而不会造成信息质量的明显下降，因而采用块交织的帧结构。
对于比特交织技术，在H .320 会议电视系统中ITU-T 的H .221 规定了其帧格式，这种帧结构就是一种典型的比特交织结构。在MPEG-1 的帧结构中采用的是块交织的方式，这种方式相对前者较简单，但是会引入较大的固有时延，这种特点正好可以满足存储读出系统的要求。
2） 表示层同步在多媒体通信系统中，客体（或文件）是可以处理的最小信息单元。一段文字可以是一个客体、一段语音或音乐，也可以是一个客体，同样一幅画面或一段视频片段也是一个客体。没有复杂结构的客体称为简单客体；另一类客体是复合客体，在多媒体通信系统中也可以当作一个信息单元来处理，但它是有结构的，是由若干客体按某种规律组合而成的。在将不同表示媒体的简单客体复合成一个复合客体的过程中需要引入同步机制，构成多媒体复合客体，这个过程在表示层完成，故称表示层同步。
表示层同步有多种类型，主要包括以下5 种。
● 绝对时间同步：在复合客体的复合过程中，确定各客体间的同步关系是以初始客体的时间为基准，如图1.2-3 所示。
● 相对时间同步：在复合客体的复合过程中，确定各客体间的时间同步关系是以相对于前一个客体的时间为基准，如图1.2-4 所示。
● 链式同步：在复合客体的复合过程中，多个客体构成一个链，客体一个接一个出现。
● 循环同步：在复合客体的复合过程中，按照一定的条件，某一个客体可以重复出现。
● 条件同步：在复合客体的复合过程中，只有当某一个条件满足后才能引发一个客体的出现，这种同步方式称为条件同步。
3） 应用层同步多媒体通信系统中，最高一级的同步是应用层级的同步。应用层同步采用的技术为脚本同步技术。一般来说，采用了复合客体后，简单的多媒体通信已能进行，但要实现复杂的功能齐全的多媒体通信还远远不够，还必须引入应用层同步―― 脚本技术。脚本（Script）是一种特殊的文本，它用语意关系将多媒体的运作过程和外部处理模块联系起来构成脚本信息，它能完善多媒体通信。当然，这样讲还太抽象，举一个例子来说就清楚了。以电影为例，在一部电影里有许多演员，每个演员有许多不同的台词片段和各种各样的场景镜头，如果这些东西零零星星地放着，显然什么也不是。要把它们变成一部电影，还要有一个电影脚本将它们有序地联系起来。在多媒体通信系统中，情况就非常类似，电影中的演员、台词、片段和场景镜头，在多媒体通信系统中就像是一个一个客体（包括复合客体和简单客体） ，要将一个一个客体组成完整的有声有色的多媒体信息，就要用脚本将它们联系起来。在多媒体通信系统中，脚本同步是最高一层的同步，也是十分重要的一级同步。
下面是一段应用层的多媒体脚本，它定义了一段视频m1 .mov 和一段音频sound1 之间的
多媒体通信主要涉及多媒体信息处理技术和多媒体信息传输技术。目前计算机界和通信界都在研究这门新技术，由于着眼点不同和研究方法不同，因而论述的内容也不完全相同。为了对多媒体通信技术进行深入研究，首先必须明确其主要的概念和定义。本章主要从通信的角度出发，介绍多媒体通信中的一些基本概念和特点。
1.1 相关概念和定义
1.媒体
根据国际电联（ITU-T）的定义，媒体共有5 类，它们是：
● 感觉媒体（Preception Medium） ：感觉媒体指的是由人类的感官直接能感知的一类媒体，这类媒体有声音、乐音、动画、运动图像、图形和噪音等。
● 表示媒体（Representation Medium） ：表示媒体指的是用于数据交换的编码，这类媒体有图像编码（JPEG 、JBIG 、H .261 、MPEG 等） ，文本编码（ ASCII 码、GB2312）和声音编码等。
● 显示媒体（Presentation Medium） ：显示媒体指的是进行信息输入和输出的媒体，这类媒体有显示器、打印机、喇叭等输出媒体和键盘、鼠标器、麦克、扫描仪、触摸屏等输入媒体。
● 存储媒体（Storage Medium） ：存储媒体指的是进行信息存储的媒体，这类媒体有硬盘、软盘、光盘、磁带、ROM 、RAM 等。
● 传输媒体（ Transmission Medium） ：传输媒体指的是用于承载信息，将信息进行传输的媒体，这类媒体有同轴电缆、双绞线、光纤和无线链路等。
那么什么是多媒体通信？ 多媒体通信中的媒体究竟是指什么？ 根据国际电联的定义，多媒体通信中的媒体特指表示媒体，也就是多媒体通信系统中要有存储、传输、处理、显示多种表示媒体信息（即多种编码的信息）的功能。
2.多媒体和超媒体
多媒体通信技术是一项新技术，这里对多媒体技术中最常用的两个名词进行解释。
1） 多媒体（ Multimedia）
多媒体本身不是一个名词，而是一个形容词，因此从语法上讲它单独说是没有意义的。只有将它与名词相联系，如多媒体终端（ Multimedia Terminal）和多媒体系统（ Multimedia Sys-tem）才是正确的说法。ITU-T 对多媒体服务的定义，是特指能处理多种表示媒体的服务。
多媒体系统和多种媒体系统是不同的，多媒体系统中的媒体相互之间是有关联的，它们之间存在某种时间或空间同步关系；而对于多种媒体系统，其中的媒体与媒体之间可以是毫无关系的。因而，两者的重要区别就在于媒体间的同步性。
2） 超媒体（ Hyper Media）
在多媒体通信系统中，另一个经常出现的词是超媒体。要了解超媒体的概念，首先要了解什么是超链接（ Hyperlink） ，一般我们都认为超链接是在互联网上出现的一个技术名词，其实不然，它是一个很古老的概念。在出版物中经常出现“注” ，通过“注”可以找到与之相关的一段文字或者相关的一篇文章，这种把不同的文字或文章关联到一起“注”实际就是一种超链接。
而在多媒体通信中就可以利用超链接把不同的媒体关联到一起，这些媒体的集合就称为超媒体。
从上面可以看到超链接技术是一个很古老的概念，但是在超媒体中使用的超链接与传统的“注”在媒体组织形式上有许多不同，超媒体技术中采用的关联技术，适宜于计算机进行处理，因此超媒体技术获得广泛应用。
如果通过超链接关联在一起的媒体都是文本信息，就称为超文本，如图1.1-1 所示。超媒体除了关联文本信息外，还关联使用图形、图像、声音、动画或影视片段等多种媒体来表示信息，建立的链接关系是文本、图形、图像、声音、动画和影视片段等媒体之间的链接关系，如图1.1-2所示。本质上超媒体是多媒体应用的一种，这时媒体之间的同步关系是通过超链接来实现的。
1.2 多媒体通信的特征
随着通信及网络技术的发展，多媒体通信技术已经成为了多媒体应用中常用的技术，它综合了多媒体信息处理技术、计算机技术、通信及网络技术。从本质上讲，多媒体通信就是把多媒体信息数字化以后，在通信网络上通过数据传输技术进行传输，然后再实现多媒体信息远程应用的过程。在这个过程中，需要维持多媒体信息的一些特点，因此多媒体通信并不是多媒体信息加上数据通信技术的简单结合。
要了解多媒体通信的主要特征，首先需要了解多媒体信息传输的需求与目前通信网能够提供的传输能力之间的差异。
多媒体信息主要有哪些特点呢？ 根据前面对多媒体相关概念的介绍，多媒体信息的主要特点包括：
● 信息的多样性和数据的海量性：信息种类多种多样包含有视、音频等多种信息，它们数字化后的数据量较大。
● 信息的同步性：多媒体信息之间有相互关联的同步关系，它们在应用过程中需要保持同步并进行合理的控制。这些同步关系有的是逻辑上的，如超链接；有的是时间上的，如实时性。
● 多媒体信息的应用特性：多媒体应用过程中需要提供更多的交互，满足各种应用的需求。
而目前的数据传输技术又有哪些特点呢？ 根据多媒体信息的特点可以把目前数据传输技术总结为两个方面：一是传输能力受限，二是存储空间受限。
多媒体通信的任务就是要在目前的通信条件下，实现多媒体信息的合理传输，保证用户在远端收到的多媒体信息还能保持多媒体信息的特点。目前多媒体信息和通信网络之间存在一定的不匹配，因此在多媒体通信的过程中就是要去解决和适应这些不匹配，如图1.2-1 所示。
比如多媒体信息的海量性就和网络的传输能力受限存在冲突，为了解决这个问题，从信息处理的角度我们可以进一步地压缩数字媒体减少数据量，从网络的角度就可以提高网络的传输能力和效率，这些就是多媒体通信所关注的内容。
根据多媒体信息的特点，一个多媒体通信系统应该具备以下3 个方面的特征。
1.集成性
多媒体通信系统中的集成性可以从两个方面来理解：一是从用户的角度来理解，二是从系统设计者的角度来理解。
从用户的角度讲，一个多媒体通信系统中应该包含有多种媒体信息，而且这些媒体信息还应该是具有某种同步关系。
从系统设计者的角度讲，为了保证能在应用中为用户提供多媒体信息，在整个多媒体通信系统中除包含了基本的多媒体内容数据以外，还包括：
● 表示媒体间链接关系的多媒体链接信息：它的作用主要是反映多媒体通信系统中内容数据的同步特性。
● 脚本（Script）信息：它是一组特定的用语意关系联系起来的结构化的多媒体和超媒体信息，其实它的作用也是为内容数据提供进一步的同步关系保证。
● 特定的应用信息：它提供一些多媒体通信的应用特性的信息，比如在视频点播过程中，这种应用信息可以让用户随意地拖动到想看的视频片段，这些信息可以保证多媒体应用中的交互性。
综合地讲，在多媒体通信过程中集成性不仅包括多媒体信息的多样性，也包括维护多媒体应用所需要的各种控制信息（同步信息、应用信息等） 。
2.交互性
交互性指的是在通信系统中人与系统之间的相互控制能力。很显然，交互性是多媒体通信系统必备的一个特性，但并非其独有的特性，目前许多通信系统也有着程度不等的交互性。
如信息检索系统，它一般都提供菜单及一些对话框作为用户与系统的交互界面，用户可以通过单击菜单或填写表单，将用户的要求告诉系统，系统根据用户的要求，将满足条件的信息送给用户，用户与系统通过这一简单的交互过程就完成了通信过程。
在多媒体通信系统中，交互性有两方面的内容：一是人机接口，也就是人在使用多媒体系统的终端时，用户终端向用户提供的操作界面；二是用户终端与系统之间的应用层通信协议。
人机接口（Man-Machine Interface）是系统向用户提供的操作界面，目前最好的能用于多媒体通信系统的人机接口，都是图形化的窗口界面，可以通过一些简单的鼠标单击或者触摸来实现操作。图形化的窗口界面可以提供菜单、按钮、选择框、列表项、输入域、对话框、敏感区、敏感字段等多种复杂的人机接口，以满足多媒体通信系统复杂的交互操作需要。
除了人机接口之外，多媒体通信系统中交互性的另一个方面是用户终端与系统之间的应用层通信协议。在多媒体通信系统中将要存储、传输、处理、显示多种表示媒体，而这些表示媒体之间又存在复杂的同步关系，不同的表示媒体可以以不同的方式传送给用户，为了保证它们的同步性就需要采用一些特殊的通信协议进行控制。为此在多媒体通信过程中，经常会开辟出来一条辅助信道来传输这些控制信息。
多媒体通信终端的用户对通信的全过程有完备的交互控制能力，这是多媒体通信系统的一个主要特征，也是区别多媒体通信系统与非多媒体通信系统的一个主要准则。例如：目前的普通模拟电视传输技术，也能处理多种表示媒体信息，但是用户对于系统的交互性除了选择频道以外，其他几乎没有，因此普通电视系统不是多媒体通信系统。而目前的一些数字电视技术，在交互性上就有了很大的进步，因此就是一种多媒体通信系统。
3.同步性
同步性是多媒体信息的一个固有特性，在多媒体通信中同步性指的是在通信过程中可以维持视频图像、声音和文字之间的同步性。例如：用户要检索一个重要历史事件的片段，该事件的运动图像（或静止图像）存放在图像数据库中，其文字叙述和语言说明则放在其他数据库中。多媒体通信终端通过不同传输途径将所需要的信息从不同的数据库中提取出来，并将这些声音、图像、文字同步起来，构成一个整体的信息呈现在用户面前，使声音、图像、文字实现同步，并将同步的信息送给用户。
多媒体通信系统中的同步性是多媒体通信系统中最主要的特征之一，可以这样说信息的同步与否，决定了多媒体通信的成败。同步性也是在多媒体通信系统中最为困难的技术问题之一。
一般而言，多媒体通信系统是一个资源受限的系统，所谓资源受限，指的是两种情况：通信速率受限和终端存储空间受限。如果这两个方面没有限制，同步的实现就不会有很大的困难。
譬如说信道通信速率不受限，那么只要发送端完全按照媒体间的同步关系发送多媒体信息，在接收端就能及时地收到各种所需的信息（网络传输不会破坏原有的同步关系） ，从而可以很简单地维持原有的同步关系，显然在信道的通信速率受限的情况下，接收端的信息同步实现起来就要困难得多。另外，如果接收端的存储器容量是无限的，可以将所有的信息全部接收下来，然后再同步播出，这样同步问题也很容易解决。实际上如果通信系统不是一个资源受限的系统，人们会发现多媒体通信系统与本地的多媒体系统的应用就完全一样了，当然同步也就容易解决。
图1.2-2 所示是为了维持视音频数据同步关系，而采用不同的分组方案进行数据传输的案例，它们具有不同的通信性能。图中有一组视频流数据和一组音频流数据需要进行同步传输，它们之间在时间上有同步对应，也就是视频分组v1 和音频分组1 和2 对应，其他对应关系依次（图中同色部分为具有同步约束的分组） 。在传输时有两种分组传输方案，一种是把所有的视频分组传完后，再传音频分组；另一种方案是把视频分组v1 和音频分组1 、2 传输，然后依次按照同步约束关系把视音频分组交织传输。
对比这两种传输方案，方案2 比方案1 在接收端接收到较少数据时就可以进行同步回放，因而所需等待的时间更短，所需的缓存也更小，有利于维持多媒体应用中的实时性，但是控制措施相对复杂。对于这两种方案如果在一个资源不受限的通信系统上应用，很容易知道它们的效果是一样的。通过这个例子很容易理解多媒体通信中同步技术的一些特点。
在实际的多媒体通信系统中，同步可以在多个层面上实现，常用实现层面包括：
● 链路层同步：它通过信息帧结构的合理设计来实现。
● 表示层同步：它通过在客体（或文件）复合过程中引入同步机制或者在超媒体的关联过程中引入同步机制来实现。
● 应用层同步：它通过脚本的设计实现。
1） 链路层同步在实时多媒体通信系统中，特别是引入运动图像的多媒体通信系统中，链路层级同步是十分重要的，链路层同步是通过信息流帧结构的特殊设计来实现的。信息流帧结构按照不同的应用场合分为两类：第一类是用于会话型（会议型）点对点的实时多媒体通信，为满足会话的要求，应尽量减少延迟，因而采用比特交织的帧结构；第二类是用于存储读出系统的，其应用场合有视频点播、运动图像检索等，这种应用场合允许一个较大的固有时延而不会造成信息质量的明显下降，因而采用块交织的帧结构。
对于比特交织技术，在H .320 会议电视系统中ITU-T 的H .221 规定了其帧格式，这种帧结构就是一种典型的比特交织结构。在MPEG-1 的帧结构中采用的是块交织的方式，这种方式相对前者较简单，但是会引入较大的固有时延，这种特点正好可以满足存储读出系统的要求。
2） 表示层同步在多媒体通信系统中，客体（或文件）是可以处理的最小信息单元。一段文字可以是一个客体、一段语音或音乐，也可以是一个客体，同样一幅画面或一段视频片段也是一个客体。没有复杂结构的客体称为简单客体；另一类客体是复合客体，在多媒体通信系统中也可以当作一个信息单元来处理，但它是有结构的，是由若干客体按某种规律组合而成的。在将不同表示媒体的简单客体复合成一个复合客体的过程中需要引入同步机制，构成多媒体复合客体，这个过程在表示层完成，故称表示层同步。
表示层同步有多种类型，主要包括以下5 种。
● 绝对时间同步：在复合客体的复合过程中，确定各客体间的同步关系是以初始客体的时间为基准，如图1.2-3 所示。
● 相对时间同步：在复合客体的复合过程中，确定各客体间的时间同步关系是以相对于前一个客体的时间为基准，如图1.2-4 所示。
● 链式同步：在复合客体的复合过程中，多个客体构成一个链，客体一个接一个出现。
● 循环同步：在复合客体的复合过程中，按照一定的条件，某一个客体可以重复出现。
● 条件同步：在复合客体的复合过程中，只有当某一个条件满足后才能引发一个客体的出现，这种同步方式称为条件同步。
3） 应用层同步多媒体通信系统中，最高一级的同步是应用层级的同步。应用层同步采用的技术为脚本同步技术。一般来说，采用了复合客体后，简单的多媒体通信已能进行，但要实现复杂的功能齐全的多媒体通信还远远不够，还必须引入应用层同步―― 脚本技术。脚本（Script）是一种特殊的文本，它用语意关系将多媒体的运作过程和外部处理模块联系起来构成脚本信息，它能完善多媒体通信。当然，这样讲还太抽象，举一个例子来说就清楚了。以电影为例，在一部电影里有许多演员，每个演员有许多不同的台词片段和各种各样的场景镜头，如果这些东西零零星星地放着，显然什么也不是。要把它们变成一部电影，还要有一个电影脚本将它们有序地联系起来。在多媒体通信系统中，情况就非常类似，电影中的演员、台词、片段和场景镜头，在多媒体通信系统中就像是一个一个客体（包括复合客体和简单客体） ，要将一个一个客体组成完整的有声有色的多媒体信息，就要用脚本将它们联系起来。在多媒体通信系统中，脚本同步是最高一层的同步，也是十分重要的一级同步。
下面是一段应用层的多媒体脚本，它定义了一段视频m1 .mov 和一段音频sound1 之间的
评论
还没有评论。