推荐系统 字节跳动推荐技术团队 推荐系统 算法设计

深入浅出解码推荐算法本质
构筑推荐算法落地的全景能力

 

作为人工智能和机器学习的应用方向之一，推荐系统不仅在学术界积累了众多文献著作，在互联网业界也有着广泛的落地实践，已服务过数亿用户，其算法和系统设计相当复杂。本书结合互联网大规模应用场景的实践需求，回顾了推荐系统的发展历史，解析了核心算法、系统架构、评估方法等诸多推荐系统涉及的方向，具备很强的实用性。内容包括推荐系统介绍、推荐系统原理、推荐系统经典链路、推荐系统进阶、推荐系统内容审核与冷启动、推荐系统架构、推荐系统评估。

本书适合有机器学习基础的学生、算法工程师，以及互联网行业从业人员阅读，也适合想了解推荐系统的跨行业人员阅读。

蔡壮　毕业于天津大学。2019年加入字节跳动，先后在今日头条、西瓜视频、番茄小说、TikTok等业务的推荐团队工作，现负责TikTok直播推荐生态与新业务方向。

陈敬伍　硕士毕业于中国科学院计算技术研究所。2019年加入字节跳动，先后在今日头条、西瓜视频、番茄小说、抖音、Flow等业务线负责重要产品和模块。现负责Flow AI产品（豆包/cici/星绘/抖音AI）与抖音双列的推荐业务。

笪庆　硕士毕业于南京大学机器学习与数据挖掘研究所（LAMDA），曾多次获得国内外数据挖掘/人工智能类竞赛冠军，发表和出版了多篇领域顶会论文与书籍。曾任阿里巴巴资深算法专家，主要从事搜索算法相关工作，后加入字节跳动负责内容电商推荐业务，目前负责Tiktok电商搜索算法和Tiktok电商欧洲区整体算法工作。

李龙一佳　毕业于北京理工大学。2018年加入字节跳动，负责AML团队，推动大规模深度学习的训练调度框架发展，支持全产品线的推荐广告搜索相关业务。

李丕勋　毕业于浙江大学软件工程专业，曾在百度担任算法工程师，从事搜索排序和知识问答研究方向。2018年加入字节跳动，先后在内涵段子、今日头条推荐团队工作，目前负责今日头条推荐算法业务。

李亦锬　毕业于中国科学技术大学。2016年加入字节跳动，先后在AI-Lab、抖音推荐算法团队担任算法工程师，目前负责抖音投稿和音乐推荐算法。

刘峰　新加坡南洋理工大学博士，曾在百度参与搜索、地图和Feed流推荐业务，两次获得百度最高奖。2020年加入字节跳动，先后在今日头条和TikTok电商推荐团队工作，目前负责TikTok内容电商混排方向。

刘小可　伦敦大学学院统计学博士，抖音推荐数据科学团队负责人。

闵启阳　毕业于南京大学，曾在百度担任算法工程师，从事 PaddlePaddle 深度学习框架的开发。2019年加入字节跳动，先后在AML、Seed团队工作，主要负责推荐算法、图学习算法的迭代，目前在豆包基座模型团队。

彭成伦　毕业于东南大学模式学习与挖掘实验室，曾在AI领域顶会与期刊发表论文，并在美团担任算法工程师。2021年加入字节跳动，先后从事电商算法优化与抖音新一代推荐架构的重构，现负责抖音电商视频的模型链路优化。

寿锡阳　2016年加入字节跳动，负责算法团队项目管理工作。

王丛超　硕士毕业于东南大学，曾在美团点评担任算法工程师。2020年加入字节跳动，深度参与抖音社交业务推荐算法的优化工作。

徐烨晟　毕业于北京理工大学，曾在百度担任算法工程师。2020年加入字节跳动，先后在今日头条和番茄小说推荐团队工作，目前负责番茄畅听音乐业务。

杨大威　毕业于北京航空航天大学，曾在百度担任算法工程师，后入职字节跳动担任算法工程师，目前负责今日头条内容理解、热点资讯业务。

杨顺欣　毕业于哥伦比亚大学，曾任滴滴实验中台数据科学家。2022年加入字节跳动，先后在抖音、TikTok电商团队担任数据科学家，负责观测性因果推断、AB实验方向研究与应用。

杨武魁　毕业于清华大学。2021年加入字节跳动，先后在抖音内容电商、TT搜索增长工作，现负责TT搜索推荐词业务。

袁彬　毕业于北京邮电大学，曾在百度担任算法工程师。2021年加入字节跳动，先后在番茄小说、TikTok等业务的推荐团队工作，现负责TikTok直播基础模型。

赵致辰　毕业于清华大学，曾从事人脸解锁、广告创意、推荐算法的开发等工作。在推荐领域提出或参与的代表工作包括POSO、Trinity、streaming VQ等，著有《现代推荐算法》。2022年加入抖音字节跳动，目前负责召回、多样性、多意图等方向。

周宇航　毕业于南京大学机器学习与数据挖掘研究所（LAMDA），在数据挖掘、人工智能领域的国际顶级会议和期刊发表多篇论文。先后在阿里巴巴达摩院、AliExpress担任算法工程师。2022年加入字节跳动，目前负责抖音营销大混排方向。

丛书序

推荐序

前言

 

第1章　　推荐系统介绍001

1.1　推荐系统崛起002

1.2　现代化的推荐系统产品005

1.3　推荐系统的未来006

第2章　　推荐系统原理009

2.1　推荐系统链路概览010

2.1.1　监督学习010

2.1.2　推荐系统与监督学习的区别010

2.1.3　多阶段推荐系统设计011

2.1.4　推荐系统的离/在线流程013

2.1.5　推荐系统的实时离/在线联动015

2.1.6　端到端的推荐系统017

2.2　推荐方法018

2.2.1　模型结构与特征设计020

2.2.2　目标设计022

2.3　推荐效果评估025

2.3.1　离线评估025

2.3.2　在线评估028

第3章　　推荐系统经典链路031

3.1　召回阶段032

3.1.1　召回阶段的作用及特殊性033

3.1.2　召回阶段的建模方法035

3.1.3　召回建模的分类035

3.1.4　u2i召回035

3.1.5　i2i召回042

3.1.6　u2u2i召回044

3.1.7　召回的特定问题与解法045

3.2　粗排阶段050

3.2.1　粗排阶段的定位050

3.2.2　粗排阶段的建模思路050

3.2.3　粗排模型的结构052

3.2.4　粗排效果的评估056

3.3　精排阶段056

3.3.1　经典精排模型057

3.3.2　特征交叉增强061

3.3.3　序列建模063

3.4　重排阶段070

3.4.1　重排阶段的框架071

3.4.2　一阶段式重排072

3.4.3　二阶段式重排075

3.4.4　多体裁混排078

3.4.5　对重排范式的思考084

第4章　　推荐系统进阶088

4.1　推荐系统的多样性089

4.1.1　问题设定090

4.1.2　相似度度量092

4.1.3　约束规则095

4.1.4　最大边际相关096

4.1.5　行列式点过程098

4.1.6　相关拓展104

4.2　List?wise建模107

4.2.1　LTR方法107

4.2.2　评估式生成方法116

4.2.3　生成式建模方法124

4.3　多种用户行为建模126

4.3.1　用户行为126

4.3.2　常见的建模方法129

4.3.3　多目标融合140

4.4　消偏141

4.4.1　关于偏差的例子141

4.4.2　常见偏差和消偏方法142

4.5　图模型153

4.5.1　图模型介绍153

4.5.2　图模型在推荐系统中的经典实践156

4.5.3　图模型的挑战和未来169

4.6　探索与利用170

4.6.1　问题与算法171

4.6.2　业务应用179

4.6.3　E&E平台183

4.7　动态权重/门控类模型185

4.7.1　动态权重/门控类模型介绍187

4.7.2　动态权重/门控类模型的建模方式188

4.7.3　动态权重/门控类模型的性能197

第5章　　推荐系统内容审核与冷启动202

5.1　内容审核203

5.1.1　审核系统的目标204

5.1.2　审核流程设计205

5.1.3　审核策略设计205

5.1.4　审核模型设计206

5.1.5　抄袭和洗稿识别209

5.1.6　谣言识别213

5.2　冷启动215

5.2.1　冷启动的问题和挑战215

5.2.2　通用技术手段——元学习218

5.2.3　用户冷启动实践224

5.2.4　物料冷启动实践229

第6章　　推荐系统架构233

6.1　推荐系统整体架构234

6.2　数据流样本拼接237

6.2.1　实时样本拼接237

6.2.2　大数据架构结合推荐系统239

6.3　分布式训练239

6.3.1　数据并行和模型并行240

6.3.2　参数服务器异步训练架构243

6.4　推理优化246

6.4.1　什么是推理优化246

6.4.2　推理优化实用技巧246

第7章　　推荐系统评估250

7.1　A/B实验简介251

7.1.1　A/B实验的基本假设251

7.1.2　A/B实验的分流252

7.1.3　A/B实验的基本流程254

7.1.4　假设检验255

7.2　A/B实验的指标建设257

7.2.1　业务规模类指标的检验257

7.2.2　效率类指标的检验258

7.3　A/B实验指标的灵敏度提升259

7.3.1　CUPED方法260

7.3.2　协变量调整261

7.3.3　极值截断261

7.4　A/B实验的注意事项262

参考文献263

为什么写作本书

推荐系统作为人工智能和机器学习的应用领域，不仅在学术界积累了众多文献著作，在互联网工业界也有着广泛的落地实践。近十年来，众多互联网公司都在应用推荐技术为用户提供服务。在移动互联网时代，字节跳动成为应用推荐系统的先驱之一，孵化了抖音、今日头条和番茄小说等应用，同时也培养了一批具备一线实战经验的推荐算法工程师。本书的写作团队正是由这群来自字节跳动的资深推荐算法工程师组成的。

推荐系统作为人工智能领域的一个独特分支，由于用户隐私保护、数据规模庞大等原因，相比计算机视觉、自然语言处理等领域呈现出更强的数据闭源特性。这使得尽管市面上涌现出大量推荐算法的相关研究，却因普遍缺乏真实用户数据集来实现公平的算法对比。由此产生的信息不对称问题，给众多对推荐系统感兴趣的互联网从业者和相关专业方向的学生提高了信息筛选的门槛，增加了学习的难度。本书将立足于业界成熟的推荐系统技术，并结合字节跳动一线工程师的经验，以抽丝剥茧、由浅入深的方式呈现推荐系统的核心内容，为广大读者提供一条学习推荐系统的路径、打开一座推荐系统的“黄金屋”。

读者对象

本书主要面向有机器学习基础的学生、在互联网行业从业的算法工程师等，同时也适合无相关知识或行业背景的读者学习。对于没有机器学习基础，但仍对推荐系统感兴趣的读者，可以根据本书的参考文献查阅相关的信息。

全书结构

工业界的推荐系统服务数亿用户，其算法和系统设计是相当复杂的。经过多轮讨论和缜密考虑，我们决定既要让本书覆盖推荐系统的绝大部分方向，也要让本书方便初学者阅读。因此，我们将本书划分为7章，内容由浅入深。

第1章讲解推荐系统的历史背景、产品形态、未来演化路径。第2章介绍整个推荐系统的基础知识，以最简单的推荐系统技术方案为例，介绍现代化推荐系统如何建模用户行为以及如何评估，该章将会呈现一个简易推荐系统的完整闭环。第3章介绍推荐系统的召回、粗排、精排和重排这四个阶段，让读者深入地学习推荐系统的经典链路。第4章深入研究推荐系统的各个技术模块，讲解各个模块的实现细节，该章节数较多，不分先后，读者可以挑选感兴趣的技术小节深入学习。推荐系统不仅仅是算法问题，更是业务和产品问题。第5章讲解推荐系统内容审核的机制与冷启动对于平台的重大意义。第6章介绍推荐系统的工程架构。第7章深入介绍推荐系统的策略评估方法。另外，李亦锬、刘峰、寿锡阳、赵致辰负责本书的整理、校稿和绘图等工作，寿锡阳负责组织。

勘误和支持

本书的作者团队虽然已经在推荐领域研究多年，但随着推荐系统的研究和应用越来越丰富，大家对很多问题的理解也会更加深刻和全面。限于时间和精力，本书错谬之处难以完全避免，广大读者如有发现，也希望及时告知，非常感谢。

致谢

感谢字节跳动研究院负责人李航作为丛书的编委推动了本书的出版。感谢字节跳动诸多同事给出的宝贵意见。感谢互联网工业界和学术界对推荐系统发展所做的贡献，给本书的广泛取材提供了空间。

字节跳动推荐技术团队