实用推荐系统

要构建一个实用的“智能”推荐系统，不仅需要有好的算法，还需要了解接收推荐的用户。本书分为两部分，部分侧重于基础架构，主要介绍推荐系统的工作原理，展示如何创建推荐系统，以及给应用程序增加推荐系统时，应该如何收集和应用数据 ；第二部分侧重于算法，介绍推荐系统算法，以及如何使用系统收集的数据来计算向用户推荐什么内容。作者还教授了如何使用流行的推荐算法，并剖析它们在 Amazon 和 Netflix 等网站上的实际应用。

Kim Falk 是一位数据科学家，他在构建数据驱动的应用程序方面有着丰富的经验。他对推荐系统和机器学习很感兴趣。他所训练的推荐系统，为用户推荐合适的电影，为人们推送广告，甚至帮助律师找到判例法的内容。自 2010 年以来，他一直从事大数据解决方案和机器学习方面的工作。Kim 经常参与有关推荐系统的演讲和写作。当 Kim 不工作的时候，他就是一个居家男人，一位父亲，会带着他的德国短毛指示犬越野跑。
李源，曾在华为技术有限公司从事开发、系统架构、项目管理等多个岗位的工作，后在途牛旅游网担任研发中心总经理一职，目前在中国旅游集团旅行服务事业群担任研发总经理，有丰富的研发、架构设计及管理经验，负责过多个大型项目的规划和落地，曾翻译《Java性能调优指南》、《Serverless架构》等书籍。朱罡罡，2012年西安电子科技大学本科毕业，曾担任知名上市OTA企业系统架构师、研发总监等职位，目前就职于TOP50央企信息技术部，担任研发经理岗位，拥有发明专利1个。技术研究领域涵盖互联网系统技术架构设计、大数据、推荐系统算法等，对在线旅游系统的基于用户推荐和基于内容推荐有过一定的研究。温睿，互联网行业从业9年，资深系统架构师，从事过大型高并发Web网站开发、手机APP开发、IM服务开发、微服务系统架构等工作，熟练掌握各种常用前后端开发语言、脚本语言和框架。

第1部分　推荐系统的准备工作

第1章　什么是推荐 ……………………………………………………………………….3

1.1　现实生活中的推荐 ………………………………………………………………….3

1.1.1　推荐系统在互联网上大显身手 ……………………………………………….5

1.1.2　长尾 ………………………………………………………………………………….5

1.1.3 Netflix 的推荐系统 …………………………………………………………………6

1.1.4　推荐系统的定义 …………………………………………………………………..13

1.2　推荐系统的分类 ………………………………………………………………………15

1.2.1　域 ………………………………………………………………………………………..16

1.2.2　目的 …………………………………………………………………………………….16

1.2.3　上下文 …………………………………………………………………………………17

1.2.4　个性化级别 ………………………………………………………………………….17

1.2.5　专家意见 ……………………………………………………………………………..19

1.2.6　隐私与可信度 ………………………………………………………………………19

1.2.7　接口 …………………………………………………………………………………….20

1.2.8　算法 …………………………………………………………………………………….23

1.3　机器学习与Netflix Prize …………………………………………………………………..24

1.4 MovieGEEKs网站 ……………………………………………………………………………25

1.4.1　设计与规范 ………………………………………………………………………….27

1.4.2　架构 …………………………………………………………………………………….27

1.5　构建一个推荐系统 ………………………………………………………………………….29

小结 ……………………………………………………………………………………………………….31

第2章　用户行为以及如何收集用户行为数据 …………………………………………..32

2.1　在浏览网站时Netflix如何收集证据 ………………………………………………….33

2.1.1 Netflix 收集的证据 ……………………………………………………………….35

2.2　寻找有用的用户行为 ………………………………………………………………………37

2.2.1　捕获访客印象 ………………………………………………………………………38

2.2.2　可以从浏览者身上学到什么 …………………………………………………38

2.2.3　购买行为 ……………………………………………………………………………..43

2.2.4　消费商品 ……………………………………………………………………………..44

2.2.5　访客评分 ……………………………………………………………………………..45

2.2.6　以（旧的）Netflix 方式了解你的用户 …………………………………..48

2.3　识别用户 ………………………………………………………………………………………..49

2.4　从其他途径获取访客数据 ……………………………………………………………….50

2.5　收集器 ……………………………………………………………………………………………50

2.5.1　构建项目文件 ………………………………………………………………………52

2.5.2　数据模型 ……………………………………………………………………………..52

2.5.3　告密者（snitch）：客户端证据收集器 ……………………………………53

2.5.4　将收集器集成到 MovieGEEKs 中 ………………………………………….54

2.6　系统中的用户是谁以及如何对其进行建模 ………………………………………57

小结 ……………………………………………………………………………………………………….60

第3章　监控系统……………………………………………………………………………..61

3.1　为什么添加仪表盘是个好主意 ………………………………………………………..62

3.1.1　回答“我们做得怎么样？” …………………………………………………..62

3.2　执行分析 ………………………………………………………………………………………..64

3.2.1　网站分析 ……………………………………………………………………………..64

3.2.2　基本统计数据 ………………………………………………………………………64

3.2.3　转化 …………………………………………………………………………………….65

3.2.4　分析转化路径 ………………………………………………………………………69

3.2.5　转化路径 ……………………………………………………………………………..70

3.3　角色 ……………………………………………………………………………………………….73

3.4 MovieGEEKs仪表盘 ………………………………………………………………………..76

3.4.1　自动生成日志数据 ……………………………………………………………….76

3.4.2　分析仪表盘的规范和设计 …………………………………………………….77

3.4.3　分析仪表盘示意图 ……………………………………………………………….77

3.4.4　架构 …………………………………………………………………………………….78

小结 ……………………………………………………………………………………………………….81

第4章　评分及其计算方法………………………………………………………………….82

4.1　用户-商品喜好 ……………………………………………………………………………….83

4.1.1　什么是评分 ………………………………………………………………………….83

4.1.2　用户 – 商品矩阵 …………………………………………………………………..84

4.2　显式评分和隐式评分 ………………………………………………………………………86

4.2.1　如何选择可靠的推荐来源 …………………………………………………….87

4.3　重温显式评分 …………………………………………………………………………………88

4.4　什么是隐式评分 ……………………………………………………………………………..88

4.4.1　与人相关的推荐 …………………………………………………………………..90

4.4.2　关于计算评分的思考 ……………………………………………………………90

4.5　计算隐式评分 …………………………………………………………………………………93

4.5.1　看看行为数据 ………………………………………………………………………94

4.5.2　一个有关机器学习的问题 …………………………………………………….98

4.6　如何计算隐式评分 ………………………………………………………………………….99

4.6.1　添加时间因素 …………………………………………………………………….102

4.7　低频商品更有价值 ………………………………………………………………………..105

小结 ………………………………………………………