描述
1. 深入算法工程本质,手把手实操项目代码
2. 达观数据真实行业案例,呈现 B 端高频规则和策略
3. 大模型时代下的推荐系统,洞悉推荐系统未来发展趋势
互联网上信息庞杂,信息生产者很难将合适的信息传送至合适的用户,同时用户也很难从海量信息中获取其感兴趣的内容。推荐系统能够将信息生产者和用户链接起来,帮助平台解决需求和资源匹配的难题。本书覆盖推荐系统在行业应用中涉及的召回算法、排序算法的原理和实现思路,以及特征工程、冷启动、效果评估、A/B测试、Web服务等核心工程知识,并包含金融、零售等行业的实施案例,另外也与时俱进地介绍了大模型及其在推荐系统中的应用。
前言
第 1章 推荐系统基础 2
1.1 推荐系统的定义 3
1.2 推荐系统解决的问题 4
1.3 推荐系统的应用领域 5
1.4 常用的推荐算法 5
1.4.1 基于内容的推荐算法 5
1.4.2 协同过滤算法 6
1.5 构建推荐系统的挑战 8
1.5.1 数据维度 8
1.5.2 模型维度 9
1.5.3 服务维度 9
1.5.4 场景维度 9
1.5.5 价值维度 10
1.6 推荐系统的价值 10
1.7 小结 11
第 2章 推荐系统的产品与运营 12
2.1 推荐系统产品 13
2.2 推荐系统产品形态 13
2.2.1 热门推荐/榜单推荐 13
2.2.2 个性化推荐 15
2.2.3 信息流推荐 16
2.2.4 物品关联推荐 18
2.3 推荐系统运营 19
2.4 小结 20
第3章 推荐系统的业务流程与架构 22
3.1 推荐算法的业务流程 22
3.1.1 数据收集 23
3.1.2 ETL与特征工程 23
3.1.3 模型构建 24
3.1.4 模型预测 25
3.1.5 Web服务 26
3.1.6 离线评估与在线评估 27
3.1.7 其他支撑模块 28
3.2 推荐服务的pipeline架构 28
3.3 推荐系统的工程架构设计原则 31
3.4 小结 34
第4章 推荐系统的数据源与数据预处理 35
4.1 推荐系统的数据源 35
4.1.1 根据产品功能来划分 35
4.1.2 根据数据载体来划分 38
4.1.3 根据数据组织形式来划分 40
4.2 数据预处理 42
4.2.1 抽取 43
4.2.2 转换 44
4.2.3 加载 44
4.3 小结 45
第5章 推荐系统的特征工程 46
5.1 推荐系统架构下的特征工程 47
5.2 推荐系统的5类特征 49
5.2.1 用户画像特征 49
5.2.2 物品画像特征 49
5.2.3 用户行为特征 50
5.2.4 场景特征 50
5.2.5 交叉特征 50
5.3 推荐算法与特征工程 51
5.3.1 个性化推荐下的样本与特征 51
5.3.2 物品关联推荐下的样本与特征 52
5.4 推荐系统特征工程面临的挑战 54
5.4.1 异构数据 54
5.4.2 实时推荐 54
5.4.3 复杂场景下的推荐 54
5.4.4 用户隐私与信息安全 55
5.5 小结 56
第6章 推荐系统的召回算法 58
6.1 什么是召回算法 58
6.2 常用的召回算法介绍 59
6.2.1 基于算法复杂度分类 59
6.2.2 基于数据维度分类 61
6.2.3 基于算法是否个性化分类 63
6.3 关于召回算法的使用说明 64
6.3.1 别使用太复杂的召回算法 64
6.3.2 使用多维度的召回算法 65
6.3.3 基于业务策略进行召回 65
6.4 小结 65
第7章 基于规则和策略的召回算法 66
7.1 热门召回 66
7.2 基于物品标签的召回 67
7.2.1 物品关联召回 68
7.2.2 个性化召回 70
7.3 基于用户画像的召回 72
7.3.1 基于用户自然属性的召回 72
7.3.2 基于用户社会属性的召回 72
7.3.3 基于用户业务属性的召回 73
7.3.4 基于用户设备属性的召回 73
7.4 基于地域的召回 74
7.5 基于时间的召回 74
7.6 小结 75
第8章 基础召回算法 76
8.1 关联规则召回算法 76
8.2 聚类召回算法 78
8.2.1 基于用户聚类的召回 79
8.2.2 基于物品聚类的召回 79
8.3 朴素贝叶斯召回算法 80
8.4 协同过滤召回算法 83
8.4.1 基于用户的协同过滤 84
8.4.2 基于物品的协同过滤 85
8.5 矩阵分解召回算法 85
8.5.1 矩阵分解召回算法的核心思想 86
8.5.2 矩阵分解召回算法的实现原理 87
8.5.3 矩阵分解召回算法的求解方法 88
8.6 小结 89
第9章 高阶召回算法 91
9.1 嵌入方法召回 91
9.1.1 word2vec原理介绍 91
9.1.2 item2vec原理介绍 94
9.1.3 item2vec在召回中的应用 95
9.2 深度学习召回 97
9.2.1 YouTube深度学习召回算法原理 97
9.2.2 优化召回算法的线上服务策略 99
9.3 小结 101
第 10章 推荐系统的排序算法 104
10.1 什么是排序算法 104
10.2 常用的排序算法 106
10.2.1 基于规则和策略的排序算法 106
10.2.2 基础排序算法 106
10.2.3 高阶排序算法 107
10.3 关于排序算法的3点说明 107
10.3.1 是否一定要用排序算法 107
10.3.2 粗排和精排 108
10.3.3 排序后的业务调控 108
10.4 小结 108
第 11章 基于规则和策略的排序算法 110
11.1 多种召回随机打散 110
11.2 按照某种顺序排列 112
11.3 召回得分归一化排序 114
11.4 匹配用户画像排序 115
11.5 利用代理算法排序 117
11.6 几种策略的融合使用 118
11.7 小结 119
第 12章 基础排序算法 120
12.1 logistic回归排序算法 120
12.1.1 logistic回归的算法原理 121
12.1.2 logistic回归的特点 123
12.1.3 logistic回归的工程实现 123
12.1.4 logistic回归在业界的应用 124
12.2 FM排序算法 124
12.2.1 FM的算法原理 125
12.2.2 FM的参数估计 127
12.2.3 FM的计算复杂度 127
12.2.4 FM模型求解 128
12.2.5 FM用于推荐排序 128
12.3 GBDT排序算法 129
12.3.1 GBDT的算法原理 129
12.3.2 GBDT用于推荐排序 131
12.4 小结 132
第 13章 高阶排序算法 134
13.1 Wide & Deep排序算法 134
13.1.1 模型特性 134
13.1.2 模型架构 135
13.1.3 Wide & Deep的工程实现 138
13.2 YouTube深度学习排序算法 139
13.2.1 模型架构 139
13.2.2 加权logistic回归解释 140
13.2.3 预测播放时长 141
13.3 小结 142
第 14章 推荐系统的冷启动 146
14.1 冷启动的定义 146
14.2 冷启动面临的挑战 146
14.3 解决冷启动问题为何如此重要 147
14.4 解决冷启动问题的方法和策略 148
14.4.1 用户冷启动 149
14.4.2 物品冷启动 152
14.5 小结 154
第 15章 推荐系统的效果评估 155
15.1 推荐系统评估的目的 155
15.2 推荐系统评估方法的分类 156
15.3 常用评估方法 157
15.3.1 离线评估 157
15.3.2 在线评估 162
15.4 小结 165
第 16章 推荐系统的A/B测试 166
16.1 什么是A/B测试 166
16.2 A/B测试的价值 167
16.2.1 为评估产品优化效果提供科学的证据 168
16.2.2 增强决策的说服力 168
16.2.3 提升用户体验 168
16.2.4 提升公司变现能力 168
16.3 推荐系统的A/B测试实现方案 169
16.3.1 A/B测试的核心模块 170
16.3.2 A/B测试的业务流程 172
16.4 小结 176
第 17章 推荐系统的Web服务 177
17.1 推荐系统Web服务的构成 177
17.2 推荐系统API服务 180
17.3 推荐系统推断服务 182
17.3.1 推断服务的两种实现方式 182
17.3.2 事先计算型推断服务 183
17.3.3 实时装配型推断服务 184
17.3.4 两种推断服务的优劣对比 186
17.4 小结 187
第 18章 Netflix Prize推荐算法代码实战案例 190
18.1 Netflix Prize竞赛简介 191
18.2 Netflix Prize竞赛数据集简介 191
18.3 数据预处理 193
18.4 推荐系统算法实现 193
18.4.1 召回算法 193
18.4.2 排序算法 206
18.5 小结 210
第 19章 H&M推荐算法代码实战案例 211
19.1 H&M数据集简介 211
19.2 数据预处理与特征工程 214
19.2.1 基于物品信息构建物品特征矩阵 214
19.2.2 基于标签构建用户兴趣画像 215
19.2.3 构建推荐算法的特征矩阵 220
19.3 推荐系统算法实现 223
19.3.1 召回算法 223
19.3.2 排序算法 230
19.4 小结 244
第 20章 推荐系统在金融行业的应用 246
20.1 达观数据推荐系统简介 247
20.2 项目背景 249
20.3 核心功能模块 250
20.3.1 增长洞察 250
20.3.2 数字画像 251
20.3.3 推荐引擎 251
20.3.4 智能监控 251
20.3.5 应用交流 251
20.3.6 平台管理 252
20.4 技术实现方案 252
20.4.1 系统总体架构 252
20.4.2 系统数据流 253
20.4.3 模型特征加工流程 254
20.4.4 模型训练和预测流程 255
20.4.5 项目主要成果 256
20.5 小结 258
第 21章 推荐系统在零售行业的应用 259
21.1 零售电商推荐需求背景 259
21.2 零售推荐场景的价值 260
21.3 达观智能推荐在零售行业的应用案例 261
21.3.1 某知名运动品牌智能推荐案例 261
21.3.2 某知名日用品牌智能推荐案例 265
21.4 小结 268
第 22章 ChatGPT与大模型 270
22.1 语言模型发展史 271
22.1.1 统计语言模型 271
22.1.2 神经网络语言模型 271
22.1.3 预训练语言模型 272
22.1.4 大语言模型 272
22.2 全球大模型简介 274
22.2.1 OpenAI大模型发展历程 274
22.2.2 全球大模型发展历程 274
22.3 大模型核心技术简介 276
22.3.1 预训练技术 276
22.3.2 微调技术 276
22.3.3 应用 282
22.4 大模型的应用场景 285
22.4.1 内容生成 286
22.4.2 问题解答 288
22.4.3 互动式对话 288
22.4.4 生产力工具/企业服务 289
22.4.5 特定硬件终端上的应用 289
22.4.6 搜索推荐 290
22.5 小结 291
第 23章 ChatGPT、大模型在推荐系统中的应用 294
23.1 大模型为什么能应用于推荐系统 295
23.2 大模型在推荐系统中的应用方法 296
23.2.1 大模型用于数据处理与特征工程 296
23.2.2 大模型用于召回与排序 298
23.2.3 大模型用于交互控制 315
23.2.4 大模型用于冷启动 321
23.2.5 大模型用于推荐解释 324
23.2.6 大模型用于跨领域推荐 325
23.3 大模型应用于推荐系统的问题及挑战 326
23.3.1 大模型进行信息交互的形式限制 327
23.3.2 大模型输入的token数量限制 327
23.3.3 位置偏差 328
23.3.4 流行度偏差 328
23.3.5 输出结果的随机性 328
23.4 大模型推荐系统的发展趋势与行业应用 329
23.4.1 大模型和传统推荐系统互为补充 329
23.4.2 融合多模态信息是大模型推荐系统的发展方向 330
23.4.3 基于增量学习的大模型推荐系统一定会出现 330
23.4.4 对话式推荐系统会成为重要的产品形态 330
23.4.5 借助大模型,推荐和搜索有可能合二为一 331
23.5 小结 331
第 24章 推荐系统的未来发展 336
24.1 政策及技术发展对推荐系统行业的影响 337
24.1.1 政策层面的影响 337
24.1.2 技术层面的影响 338
24.2 推荐系统行业的就业环境变化 338
24.2.1 推荐算法商业策略师是新的职业方向 339
24.2.2 在特定领域和场景下出现新的推荐形态 339
24.2.3 推荐系统行业从业者需要更加关注业务价值产出 339
24.3 推荐系统的应用场景及交互方式 340
24.3.1 家庭场景 340
24.3.2 车载场景 341
24.3.3 VR/AR/MR场景 342
24.3.4 传统行业的精细化、个性化运营场景 342
24.4 推荐算法与工程架构的发展 343
24.4.1 推荐算法的新范式 343
24.4.2 推荐系统工程层面的发展变化 345
24.5 人与推荐系统的有效协同 347
24.6 推荐系统多维价值体现 348
24.7 小结 348
附录A 推荐系统预备知识 350
评论
还没有评论。