计算广告：互联网商业变现的市场与技术

用计算的力量改变世界是每一个程序员的梦想，而本书的主题正是用计算将数据和流量变成财富。这样的后向变现使得许多对用户有价值但直接利润微薄的信息产品，在互联网时代找到了爆发式成长的机会。从这个角度来看，我们希望本书能够成为一本启示录，帮助每一个互联网人真正理解后向变现对于互联网生产力的巨大解放，真正理解数据资产的巨大价值。
对于已经开启商业化进程的企业，洞悉广告市场复杂的交易结构和产品特点，并选择合理高效的产品方案和技术架构，是商业化必须面对的一步。从这个意义上说，我们还希望本书成为一本操作指南，辅助商业化团队更顺利地认知和践行技术驱动的营销与变现。
由于需要综合用到计算机科学、经济学、心理学等多学科的知识，并需要相当的工业实践基础，因此计算广告的人才相当稀缺。从这个目的出发，本书还希望成为一本特殊的教科书，帮助那些具备扎实基础知识的学生形成从问题出发的思考方法和分析能力，迅速成长为工业界的中流砥柱。
本书适合以下读者阅读：
互联网公司商业化部门的产品技术人员
对个性化系统、大数据变现或交易有兴趣的产品技术人员
传统企业互联网化进程的决策者
传统广告业务的从业者
互联网创业者
在线计算机相关专业研究生。

计算广告是一项新兴的研究课题，它涉及大规模搜索和文本分析、信息获取、统计模型、机器学习、分类、优化以及微观经济学等诸多领域的知识。本书从实践出发，系统地介绍计算广告的产品、问题、系统和算法，并且从工业界的视角对这一领域具体技术的深入剖析。
《计算广告 互联网商业变现的市场与技术》立足于广告市场的根本问题，从计算广告各个阶段所遇到的市场挑战出发，以广告系统业务形态的需求和变化为主线，依次介绍**广告系统、竞价广告系统、程序化交易市场等重要课题，并对计算广告涉及的关键技术和算法做深入的探讨。
无论是互联网公司商业化部门的产品技术人员，还是对个性化系统、大数据变现或交易有兴趣的产品技术人员，传统企业互联网化进程的决策者，传统广告业务的从业者，互联网创业者，计算机相关专业研究生， 都会从阅读《计算广告 互联网商业变现的市场与技术》中受益匪浅。

刘鹏（@北冥乘海生），现任奇虎360高级总监、商业产品首席架构师，负责360的变现产品及工程。刘鹏在清华大学获得博士学位后，加入微软亚洲研究院，从事人工智能领域的研究，后曾参与创建雅虎北京研究院，出任高级科学家。刘鹏还曾经担任MediaV首席科学家等职。
刘鹏一直致力于计算广告和数据变现产品技术的普及工作，他讲授的《计算广告学》在网易云课堂和师徒网共有12000多名学生参与，已经成为业界相关公司进行相关培训的基础教程之一。此课还作为北京大学计算机系、北京航空航天软件学院的研究生课程和清华大学公开课讲授。
王超（@德川），于北京大学获得硕士学位后，曾就职于百度、微博、搜狐集团的广告变现部门，现任汽车之家广告算法经理。王超多年来专注于计算广告中机器学习算法的研究和实践，曾参加Criteo举办的广告CTR预估比赛，在718个参赛队中排名第7，同时是开源模型xgboost的代码贡献者。

目录
**部分在线广告市场与背景
第1 章在线广告综述 3
1.1 大数据与广告的关系 4
1.2 广告的定义与目的 5
1.3 在线广告创意类型 8
1.4 在线广告简史. 11
1.5 泛广告商业产品. 16
1.6 延伸思考 18
第2 章计算广告基础. 19
2.1 广告有效性原理. 20
2.2 互联网广告的技术特点 22
2.3 计算广告的核心问题. 23
2.3.1 广告收入的分解 24
2.3.2 结算方式与eCPM估计的关系. 25
2.4 在线广告相关行业协会 27
2.4.1 交互广告局. 28
2.4.2 美国广告代理协会 28
2.4.3 美国国家广告商协会. 29
2.5 延伸思考 29
第二部分在线广告产品逻辑
第3 章在线广告产品概览 33
3.1 商业产品的设计原则. 34
3.2 需求方层级组织与接口 35
3.3 供给方管理接口. 38
3.4 延伸思考 39
第4 章**广告. 41
4.1 广告位** 42
4.2 受众定向 43
4.2.1 受众定向方法概览 43
4.2.2 受众定向标签体系 46
4.3 展示量** 47
4.3.1 流量预测. 48
4.3.2 流量塑形. 48
4.3.3 在线分配. 49
4.3.4 产品案例. 50
4.4 延伸思考 51
第5 章搜索与竞价广告. 53
5.1 搜索广告 54
5.1.1 搜索广告产品形态 55
5.1.2 搜索广告产品新形式. 57
5.1.3 搜索广告产品策略 59
5.1.4 产品案例. 61
5.2 位置拍卖与机制设计. 64
5.2.1 定价问题. 64
5.2.2 市场保留价. 67
5.2.3 价格挤压. 68
5.2.4 定价结果示例 68
5.3 广告网络 69
5.3.1 广告网络产品形态 69
5.3.2 广告网络产品策略 71
5.3.3 产品案例. 72
5.4 竞价广告需求方产品. 73
5.4.1 搜索引擎营销 73
5.4.2 媒体购买平台 74
5.4.3 产品案例. 74
5.5 竞价广告与**广告的比较 76
5.6 延伸思考 77
第6 章程序化交易广告. 79
6.1 实时竞价 80
6.2 其他程序化交易方式. 83
6.2.1 优选. 83
6.2.2 私有市场. 84
6.2.3 广告交易方式谱系 85
6.3 广告交易平台. 86
6.4 需求方平台 88
6.4.1 需求方平台产品策略. 89
6.4.2 出价策略. 89
6.4.3 重定向. 90
6.4.4 新客推荐. 92
6.4.5 产品案例. 93
6.5 供给方平台 95
6.5.1 供给方平台产品策略. 95
6.5.2 产品案例. 96
6.6 数据加工与交易. 97
6.6.1 有价值的数据来源 98
6.6.2 三方数据划分. 100
6.6.3 数据管理平台. 100
6.6.4 数据交易平台. 101
6.6.5 产品案例 101
6.7 在线广告产品交互关系. 104
6.8 延伸思考. 106
第7 章移动互联与原生广告. 107
7.1 原生广告相关产品 108
7.1.1 信息流广告. 108
7.1.2 搜索广告 109
7.1.3 软文广告 109
7.1.4 联盟 109
7.2 移动广告的现状与挑战. 110
7.2.1 移动广告的特点. 110
7.2.2 移动广告的创意形式 111
7.2.3 移动广告的挑战. 112
7.3 原生广告平台 114
7.3.1 表现原生与意图原生 114
7.3.2 植入式原生广告. 115
7.3.3 产品案例 117
7.4 原生广告与程序化交易. 119
7.5 延伸思考. 119
第8 章在线广告产品实践. 121
8.1 媒体实战. 121
8.1.1 变现方式和产品决策 122
8.1.2 数据支持方案决策. 123
8.2 广告主实战 124
8.3 数据提供方实战 126
8.4 延伸思考. 127
第三部分计算广告关键技术
第9 章计算广告技术概览. 131
9.1 个性化系统框架 132
9.2 各类广告系统优化目标. 133
9.3 计算广告系统架构 134
9.3.1 广告投放引擎. 134
9.3.2 数据高速公路. 136
9.3.3 离线数据处理. 137
9.3.4 在线数据处理. 138
9.4 计算广告系统主要技术. 138
9.5 用开源工具搭建计算广告系统 140
9.5.1Web服务器Nginx 140
9.5.2分布式配置和集群管理工具ZooKeeper 142
9.5.3全文检索引擎Lucene. 142
9.5.4跨语言通信接口Thrift 143
9.5.5数据高速公路Flume 144
9.5.6分布式数据处理平台Hadoop 144
9.5.7特征在线缓存Redis. 145
9.5.8流计算平台Storm. 146
9.5.9高效的迭代计算框架Spark 146
9.6 延伸思考. 147
第10章基础知识准备 149
10.1 信息检索 149
10.1.1 倒排索引 150
10.1.2 向量空间模型. 152
10.2 **化方法. 153
10.2.1 拉格朗日法与凸优化 154
10.2.2 下降单纯形法. 155
10.2.3 梯度下降法. 155
10.2.4 拟牛顿法 156
10.2.5 Trust-Region 法. 160
10.3 统计机器学习. 162
10.3.1 **熵与指数族分布 162
10.3.2混合模型和EM算法 164
10.3.3 贝叶斯学习. 165
10.4 统计模型分布式优化框架 169
第11章**广告核心技术 171
11.1 广告排期系统. 171
11.2 担保式投送系统. 173
11.2.1 流量预测 175
11.2.2 频次控制 176
11.3 在线分配 178
11.3.1 在线分配问题. 178
11.3.2 在线分配问题举例. 181
11.3.3 极限性能研究. 182
11.3.4 实用优化算法. 183
11.4 延伸思考 192
第12章受众定向核心技术 193
12.1 受众定向技术分类. 194
12.2 上下文定向. 195
12.2.1 半在线抓取系统. 196
12.2.2 文本主题挖掘. 197
12.3 行为定向 201
12.3.1 行为定向建模问题. 201
12.3.2 行为定向特征生成. 202
12.3.3 行为定向决策过程. 206
12.3.4 行为定向的评测. 206
12.4 人口属性预测. 209
12.5 数据管理平台. 210
12.6 延伸思考 210
第13章竞价广告核心技术 213
13.1 竞价广告计价算法. 214
13.2 搜索广告系统. 216
13.2.1 查询扩展 216
13.2.2 广告放置 219
13.3 广告网络 220
13.4 广告检索 223
13.4.1 布尔表达式的检索. 223
13.4.2 相关性检索. 227
13.5 点击率预测. 231
13.5.1 点击率预测模型. 232
13.5.2 优化算法 233
13.5.3 点击率模型的校正. 244
13.5.4 点击率模型的特征. 244
13.5.5 点击率模型评测. 249
13.5.6 智能频次控制. 251
13.6 探索与利用. 251
13.6.1 UCB 方法. 252
13.6.2考虑上下文的bandit 253
13.7 延伸思考 254
第14章程序化交易核心技术 255
14.1 广告交易平台. 255
14.1.1cookie映射. 256
14.1.2 询价优化 259
14.2 需求方平台. 261
14.2.1 定制化用户标签. 263
14.2.2 DSP 中的点击率预测 264
14.2.3 点击价值估计. 266
14.2.4 出价策略 267
14.3 供给方平台. 267
14.4 延伸思考 268
第15章其他广告相关技术 269
15.1 创意优化 270
15.1.1 程序化创意. 270
15.1.2 点击热力图. 271
15.2 实验框架 272
15.3 流量保护和效果监测 273
15.3.1 反作弊 273
15.3.2 广告监测 276
15.3.3 广告安全 277
15.4 隐私保护和数据安全 278
15.4.1 隐私保护问题. 278
15.4.2 程序化交易中的数据安全 280
15.5 延伸思考 282
第四部分附录
附录A主要术语及缩写索引. 285
参考文献 291

对本书的点评
以下点评分领域以点评人的形势笔画为序排列。
互联网公司管理层
在线广告市场是比较复杂的体系，它贯穿了互联网生态链的各种角色。刘鹏的著作既从商业角度介绍了在线广告，也深入到了广告的技术和算法层面，还包括对于一个大规模竞价市场在市场设计方面的相关原理和优化机会。这本书不仅是了解在线广告市场的途径，也是了解互联网商业和盈利模式设计的窗口，同时对于互联网产品设计会有很好的参考作用。
–王华（@超凡Derek），****副总裁，阿里妈妈负责人
这是一本非常系统、全面地介绍计算广告的书，一本在线广告专业人员的书，一本值得强烈推荐给想利用互联网力量的企业主和决策制定者和对大数据价值感兴趣的研究人员和工程师的书。虽然我亦曾亲眼目睹广告业在20世纪90年代开始的革命，一直积极参与在线广告的演变，但阅读完这本书，我对计算广告整个图景以及很多细微之处有了更多更深刻的理解。
–毛建昌，微软Distinguished Engineer和Bing广告工程负责人，
前雅虎实验室广告科学副总裁
十多年的实践证明，互联网有效的商业模式莫过于可以把流量直接变现的在线广告模式。从起初铺天盖地的横幅广告起步，到人群及兴趣精准定向的搜索广告与推荐引擎，直到与内容环境融为一体的原生广告，用户需求与口味的不断变迁促使着广告产品与技术持续不断地升级与发酵。本书一大的亮点在于，作者从中国互联网广告发展全过程亲历者的视角，极为系统地讲述了计算广告的产品设计思维与技术理论基础，涵盖从广告呈现到计价策略乃至算法实现并直接运用于互联网流量变现课题的方方面面。无论是产品经理还是工程师，如若准备投身于这一互联网重大的金矿领域，此书是手边必须常备的工具书与教材。
–刘子正（@刘子正），微博常务副总经理
本书内容全面且与时俱进，对核心技术的介绍深入浅出，是计算广告领域一本难得的好书。本书视野宽阔，涵盖了在线广告市场及核心技术的各个方面，除了主流技术以外，对一些其他著作很少涉及的方面，如广告创意优化、反欺诈、隐私保护等也进行了介绍。本书内容新颖，把近年涌现出的一些新的广告形式和技术，如实时竞价的广告交易、原生广告等，都囊括其中。另外，本书行文流畅、逻辑清晰，对核心技术的介绍深入到位，包含了重要的算法细节以及理论探讨，对计算广告的从业者而言，是一本非常实用的参考书。
–刘铁岩（@刘铁岩），微软亚洲研究院首席研究员
在互联网深入改造传统行业的进