描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787111585824
本书是积作者多年经验结晶的*实践，首本从基础概念到实践项目再到性能优化的音视频开发书籍。
书中首先通过介绍音视频的物理现象与基础概念，帮助读者建立模拟信号到数字信号转化的过程，然后重点介绍了如何在移动端开发音视频项目，其中包括开发中所需要了解的各种知识，如音视频的解码与渲染，采集与编码，音视频的处理与性能优化等；在此基础上*后综合当下*流行的直播场景，介绍如何将书中的已有项目改造、适配成为一个直播产品，进一步帮助读者自由、有效的开发出功能丰富、性能一流的音视频App。
本书采用从零开始，逐级深入的方式写作，以项目实战为阶段性目标，外加实际生产环境下的特殊案例作为优化方案，让读者可以全方位掌握移动平台下音视频开发的大部分内容。首先介绍实现视频播放器和录制需要的基础知识，然后通过案例讲解如何实现视频播放器和一个视频录制的应用。但是一款录制的应用，要想上线，其实还要进行给音频视频美化，所以在提高篇，介绍了相应的内容，并给出了一个实际生产环境中的案例，之后，指导读者进阶，把前面学到的基础内容应用到直播中。后，给出排错方法和工具，和大家分享如何更有效率地开发应用程序。
Contents?目 录
推荐序一
推荐序二
前言
第1章 音视频基础概念 1
1.1 声音的物理性质 1
1.1.1 声音是波 1
1.1.2 声波的三要素 2
1.1.3 声音的传播介质 3
1.1.4 回声 3
1.1.5 共鸣 4
1.2 数字音频 4
1.3 音频编码 6
1.4 图像的物理现象 7
1.5 图像的数值表示 8
1.5.1 RGB表示方式 8
1.5.2 YUV表示方式 9
1.5.3 YUV和RGB的转化 10
1.6 视频的编码方式 10
1.6.1 视频编码 10
1.6.2 编码概念 11
1.7 本章小结 13
第2章 移动端环境搭建 14
2.1 在iOS上如何搭建一个基础项目 14
2.2 在Android上如何搭建一个基础项目 21
2.3 交叉编译的原理与实践 26
2.3.1 交叉编译的原理 26
2.3.2 iOS平台交叉编译的实践 27
2.3.3 Android平台交叉编译的实践 33
2.3.4 使用LAME编码MP3文件 38
2.4 本章小结 42
第3章 FFmpeg的介绍与使用 43
3.1 FFmpeg的编译与命令行工具的使用 43
3.1.1 FFmpeg的编译 43
3.1.2 FFmpeg命令行工具的使用 51
3.2 FFmpeg API的介绍与使用 60
3.3 FFmpeg源码结构 68
3.3.1 libavformat与libavcodec介绍 68
3.3.2 FFmpeg通用API分析 69
3.3.3 调用FFmpeg解码时用到的函数分析 70
3.3.4 调用FFmpeg编码时用到的函数分析 71
3.3.5 面向对象的C语言设计 72
3.4 本章小结 74
第4章 移动平台下的音视频渲染 75
4.1 AudioUnit介绍与实践 75
4.2 Android平台的音频渲染 84
4.2.1 AudioTrack的使用 85
4.2.2 OpenSL ES的使用 87
4.3 视频渲染 90
4.3.1 OpenGL ES介绍 90
4.3.2 OpenGL ES的实践 91
4.3.3 上下文环境搭建 98
4.3.4 OpenGL ES中的纹理 104
4.4 本章小结 109
第5章 实现一款视频播放器 110
5.1 架构设计 110
5.2 解码模块的实现 115
5.3 音频播放模块的实现 118
5.3.1 Android平台的音频渲染 118
5.3.2 iOS平台的音频渲染 119
5.4 画面播放模块的实现 121
5.4.1 Android平台的视频渲染 121
5.4.2 iOS平台的视频渲染 122
5.5 AVSync模块的实现 124
5.5.1 维护解码线程 124
5.5.2 音视频同步 125
5.6 中控系统串联起各个模块 127
5.6.1 初始化阶段 127
5.6.2 运行阶段 128
5.6.3 销毁阶段 129
5.7 本章小结 130
第6章 音视频的采集与编码 131
6.1 音频的采集 131
6.1.1 Android平台的音频采集 131
6.1.2 iOS平台的音频采集 134
6.2 视频画面的采集 137
6.2.1 Android平台的视频画面采集 137
6.2.2 iOS平台的视频画面采集 146
6.3 音频的编码 156
6.3.1 libfdk_aac编码AAC 156
6.3.2 Android平台的硬件编码器MediaCodec 158
6.3.3 iOS平台的硬件编码器AudioToolbox 161
6.4 视频画面的编码 166
6.4.1 libx264编码H264 166
6.4.2 Android平台的硬件编码器MediaCodec 172
6.4.3 iOS平台的硬件编码器 175
6.5 本章小结 184
第7章 实现一款视频录制应用 185
7.1 视频录制的架构设计 185
7.2 音频模块的实现 188
7.2.1 音频队列的实现 189
7.2.2 Android平台的实现 191
7.2.3 iOS平台的实现 194
7.3 音频编码模块的实现 198
7.3.1 改造编码器 198
7.3.2 编码器适配器 199
7.4 画面采集与编码模块的实现 202
7.4.1 视频队列的实现 202
7.4.2 Android平台画面编码后入队 203
7.4.3 iOS平台画面编码后入队 204
7.5 Mux模块 205
7.5.1 初始化 206
7.5.2 封装和输出 208
7.5.3 销毁资源 212
7.6 中控系统串联起各个模块 213
7.7 本章小结 214
第8章 音频效果器的介绍与实践 215
8.1 数字音频基础 215
8.1.1 波形图 215
8.1.2 频谱图 217
8.1.3 语谱图 219
8.1.4 深入理解时域与频域 219
8.2 数字音频处理：快速傅里叶变换 222
8.3 基本乐理知识 229
8.3.1 乐谱 229
8.3.2 音符的音高与十二平均律 231
8.3.3 音符的时值 233
8.3.4 节拍 233
8.3.5 MIDI格式 234
8.4 混音效果器 235
8.4.1 均衡效果器 236
8.4.2 压缩效果器 239
8.4.3 混响效果器 240
8.5 效果器实现 243
8.5.1 Android平台实现效果器 243
8.5.2 iOS平台实现效果器 252
8.6 本章小结 255
第9章 视频效果器的介绍与实践 256
9.1 图像处理的基本原理 256
9.1.1 亮度调节 257
9.1.2 对比度调节 258
9.1.3 饱和度调节 259
9.2 图像处理进阶 259
9.2.1 图像的卷积过程 260
9.2.2 锐化效果器 260
9.2.3 高斯模糊算法 262
9.2.4 双边滤波算法 263
9.2.5 图层混合介绍 264
9.3 使用FFmpeg内部的视频滤镜 266
9.3.1 FFmpeg视频滤镜介绍 266
9.3.2 滤镜图的构建 267
9.3.3 使用与销毁滤镜图 269
9.3.4 常用滤镜介绍 270
9.4 使用OpenGL ES实现视频滤镜 272
9.4.1 加水印 273
9.4.2 添
为什么要写这本书
整个音视频领域的架构以及开发已经演进了很长时间，从开始的广电领域，到PC端的音视频领域，再到本书所介绍的移动端的音视频领域。尤其在这几年中，移动端音视频领域架构的变化是巨大的。在移动互联网的发展热潮中，我有幸从事了音视频领域的设计与开发，并且就职于时尚的手机KTV——唱吧，这使得我开发出来的东西能够服务于几亿用户。对于音视频的移动端的应用，不论是开发还是使用，在近两年都达到了一个高峰，而作为一名工程师，如何高效地开发出一个音视频App，是一件非常困难的事情，特别是对于不太了解音视频概念的工程师。我从事软件开发已有7年多的时间，接触音视频领域也已经有5年多，在整个开发过程中，不同的时间段会遇到不同的挑战，尤其是在开始涉足音视频领域的时候，真可谓举步维艰。首先，对于音视频的基础概念不是特别清楚，再者在工作中边学边做，很难对整个音视频领域有一个全面的了解，并且市面上没有相关成熟的资料从更高的层次来介绍音视频领域在移动端的演进与发展。这几年的设计实战与开发经验，以及带新人入门的众多感触，让我有了写这本书的动力，同时也形成了这本书的核心内容，我希望通过本书可以帮助更多想要在移动端音视频领域实现自己想法的工程师，让大家可以顺利地建立起自己的音视频App。我非常希望能为刚入门的读者或者遇到困难的读者提供帮助，希望大家可以享受整个开发的过程，享受自己开发的产品为人们的生活带来便利的成就感。另外，从整个音视频开发领域来讲，我也十分希望能够通过本书贡献出自己的绵薄之力。
读者对象
产品经理，这部分读者可以从中了解在移动端进行音视频开发会遇到的很多问题以及对应的优化策略，例如：如何通过音视频的统计数据为产品提供更加流畅的策略（视频观看的秒开、直播推流的流畅度、视频上传的成功率等）。
项目经理，这部分读者可以了解很多时下流行的名词与概念，不再会因为几个专业名词就让自己不知所措，并且有助于更好地评估音视频项目开发中的风险与进度。
测试人员，这部分读者可以学习在音视频App中由于处理过程不同而导致的瓶颈问题，书中也提到了一些自动化测试相关的命令以及工具，可以对CPU的负载情况、内存的占用情况、内存泄漏问题等进行分析。
架构师与工程师，这部分读者只需要一点移动开发经验就可以阅读本书了。当然如果你已经是一个高级移动开发工程师或者架构师，那么读起本书来将更加游刃有余。再进一步，如果你已经是移动领域的音视频开发工程师了，那么恭喜你，我们之间将会有一场关于技术领域内部的对话。
开设相关课程的高等院校。
如何阅读本书
为了避免说教式的讲解带来枯燥乏味的阅读体验，本书给出了大量的实例及生产环境下的案例。本书可分为四个部分：部分是入门，从理论基础开始讲解，终会产生两个实践项目；第二部分是提高，基于部分的项目添加特效，形成一个完整的多媒体项目；第三部分是扩展，结合当下比较流行的直播场景进行实际案例分析；第四部分是工具，介绍当下大部分可以提高开发以及测试效率的工具。下面是各个章节的基本介绍。
第1章，介绍音视频的基础概念，其中包括音视频的基础数据格式、编码后的数据格式以及不同格式之间的相互转换等。
第2章，从零开始讲解如何搭建一个iOS项目和一个Android项目，并且添加C 支持，因为在音视频领域的开发中，有相当一部分的代码需要用C 来编写，这样就可以做到两个平台（Android和iOS平台）共用一套代码仓库，以提升开发效率。然后讲解交叉编译，因为在音视频开发过程中会用到很多第三方开源库，如果将这些库编译到我们的项目中，势必要进行交叉编译，因此本章会重点讲解这些内容。
第3章，探讨FFmpeg开源库。对于音视频开发来讲，FFmpeg开源库是众所周知也是普遍使用的。本章首先从编译开始，接着是命令行使用，再到源码结构，后是API调用，以层层递进的方式对FFmpeg开源库展开介绍。
第4章，讲解如何利用各自平台的API进行声音与画面的渲染以及解码，对于画面的渲染，推荐使用OpenGL ES，两个平台可以使用同一个代码仓库。
第5章，实现一款视频播放器。有了前四章的基础，我们已经完全可以构建起一个视频播放器了。本书的特点就是经过几章基础知识的学习立即开始一个项目的实践，通过本章的视频播放器项目，我们将会熟悉播放器是如何工作的。
第6章，重点介绍音视频的采集与编码器。特别是硬件编解码器在各个平台上的使用，使得应用能够更高效（耗电更少、发热更少、界面更流畅）地运行在用户的手机上。
第7章，继续开发一个视频录制的新项目，该项目可以使我们更加熟悉音视频应用在各个平台下的实现。
第8章，讲解如何处理音频流。毕竟让别人听采集出来的干声是很不礼貌的，本章将利用各种特效来美化采集的声音。
第9章，讲解如何处理视频流，使视频中的颜值变得更高，毕竟爱美之心人皆有之。
第10章，在第7章的项目基础之上，增加第8章的音频特效和第9章的视频特效，从而构建一个实际生产过程中的多媒体应用。
第11章，继续以项目作为驱动，详细讲解如何基于之前学习的内容构建一个直播的应用，重点介绍推流以及拉流端，同时还涉及礼物特效、聊天以及第三方云服务的内容。
第12章，由于直播应用很难用一章的篇幅讲完，所以本章针对一些核心的处理进行讲解。
第13章，介绍常用的工具和排错方法，说明在日常开发中如何更有效率地解决问题，本章内容并不仅限于音视频的开发领域。
4G的普及带来了移动互联网多媒体内容的繁荣，基本上每个大的App都会涉及视频和直播。但是真正要把音视频处理好，让用户仅仅依赖小小的手机处理器就能实现完美的音视频录制、特效处理以及高效的直播互动，并不是件容易的事情。本书是展晓凯基于音视频实践中积累的大量经验教训整理而成，是一本从入门到精通，教人如何在手机里处理音视频的技术书籍，希望能够对行业的整体技术水平有所帮助。
──唱吧CEO◎陈华
强烈推荐此书给音视频领域的新人，晓凯结合自身丰富实战经验，深入浅出地将音视频开发的诀窍娓娓道来，让音视频开发无难事。
──金山云合伙人，视频生态部总经理◎林松
晓凯专注于音视频领域多年，跳过各种坑、踩过各种雷，积累的理论和实际经验都相当丰富，相信他的这本书能传授他在音视频领域的经验，并帮助到有需要的移动开发者。
──iOS逆向专家◎吴航
这是一本能把我们引入音视频开发领域，并向更深层次翱翔的指南性图书。它不仅将长期以来看似遥不可及的技术拉到我们面前，还全方位、多角度地展示了这种技术在移动互联网市场中的运用。而*重要的是，这本书的作者具有多年音视频底层开发经验，并且开发了当今*火的手机KTV软件《唱吧》。我相信这本书所传递出来的知识和经验，会成为助我们成功的火种。所以，建议每一位想要从事相关工作的工程师或经理都来阅读这本书。
──Unity金牌讲师，灿黎网络CEO◎吕剑锋
评论
还没有评论。