描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787121417603
内容简介
强化学习是实现决策智能的主要途径之一。经历数十年的发展，强化学习领域已经枝繁叶茂，技术内容纷繁复杂，这也为初学者快速入门造成障碍。 本书是一本深度强化学习领域的入门读物。全书分为四部分。部分主要阐述强化学习领域的基本理论知识；第二部分讲解深度强化学习常用算法的原理、各算法之间的继承与发展，以及各自的算法流程；第三部分总结深度强化学习算法在游戏、推荐系统等领域的应用；第四部分探讨了该领域存在的问题和发展前景。 本书适合对强化学习感兴趣的读者阅读。
目 录
第I 部分基础理论篇 1
第1 章马尔可夫决策过程 3
1.1 马尔可夫性 3
1.2 一些基本定义 4
1.3 值函数 5
1.4 基于策略的值函数 5
1.5 贝尔曼方程 6
1.6 策略迭代与值迭代 7
第2 章无模型的强化学习 9
2.1 蒙特卡洛方法 10
2.1.1 蒙特卡洛方法预测状态V 值 10
2.1.2 蒙特卡洛方法预测Q 值 11
2.1.3 蒙特卡洛策略优化算法 11
2.1.4 探索和利用 12
2.1.5 异策略蒙特卡洛方法 13
2.2 时间差分方法 16
2.2.1 基本思想 16
2.2.2 Sarsa 算法 17
2.2.3 Q-Learning 算法 20
2.3 值函数估计和策略搜索 23
深度强化学习核心算法与应用
2.3.1 值函数估计 23
2.3.2 策略搜索 24
第3 章有模型的强化学习 27
3.1 什么是模型 27
3.2 基本思路 28
3.3 有模型方法和无模型方法的区别 29
3.4 典型算法 31
第II 部分常用算法篇 33
第4 章DQN 算法 35
4.1 算法介绍 35
4.1.1 背景 36
4.1.2 核心技术 37
4.1.3 算法流程 39
4.2 相关改进 40
4.2.1 Double Q-Learning 40
4.2.2 优先级回放 41
4.2.3 Dueling Networks 41
4.3 实验效果与小结 43
第5 章A3C 算法 45
5.1 Actor-Critic 方法 45
5.2 基线减法与优势函数 47
5.3 博采众长的A3C 算法 48
5.4 实验效果与小结 50
第6 章确定性策略梯度方法 53
6.1 随机性策略梯度与确定性策略梯度 53
iv
目录
6.2 异策略的确定性策略梯度 54
6.3 深度确定性策略梯度 56
6.4 D4PG 算法 57
6.4.1 分布式 57
6.4.2 值函数分布 58
6.4.3 N-step TD 误差和优先级的经验回放 59
6.5 实验效果与小结 59
第7 章PPO 算法 61
7.1 PPO 算法的核心 61
7.2 TRPO 算法 62
7.3 PPO 算法 65
7.4 实验效果与小结 67
7.4.1 替代函数的对比 67
7.4.2 在连续空间中与其他算法的对比 68
7.4.3 小结 69
第8 章IMPALA 算法 71
8.1 算法架构 71
8.2 V-trace 算法 73
8.3 V-trace Actor-Critic 算法 75
8.4 实验效果与小结 76
8.4.1 计算性能 76
8.4.2 单任务训练性能 76
8.4.3 多任务训练性能 78
8.4.4 小结 79
v
深度强化学习核心算法与应用
第III 部分应用实践篇 81
第9 章深度强化学习在棋牌游戏中的应用 83
9.1 棋盘类游戏 84
9.1.1 AlphaGo: 战胜人类围棋冠军 84
9.1.2 AlphaGo Zero: 不使用人类数据，从头学习 87
9.1.3 AlphaZero: 从围棋到更多 90
9.2 牌类游戏 93
9.2.1 Suphx 的五个模型 93
9.2.2 Suphx 的训练过程和算法优化 94
9.2.3 Suphx 的线上实战表现 94
第10 章深度强化学习在电子游戏中的应用 97
10.1 研发游戏中的机器人 97
10.1.1 单机游戏 97
10.1.2 对战游戏 99
10.1.3 小结 104
10.2 制作游戏动画 105
10.3 其他应用 106
第11 章深度强化学习在推荐系统中的应用 109
11.1 适用的场景 110
11.1.1 动态变化 110
11.1.2 考虑长期利益 110
11.2 淘宝锦囊推荐中的应用 111
11.2.1 淘宝锦囊推荐介绍 111
11.2.2 问题建模与推荐框架 112
11.2.3 算法设计与实验 114
vi
目录
第12 章深度强化学习在其他领域中的应用 119
12.1 在无人驾驶中的应用 119
12.2 在金融交易中的应用 121
12.3 在信息安全中的应用 122
12.4 在自动调参中的应用 123
12.5 在交通控制中的应用 124
第IV 部分总结与展望篇 127
第13 章问题与挑战 129
13.1 样本利用率低 129
13.2 奖励函数难以设计 131
13.3 实验效果难复现 132
13.4 行为不完全可控 134
第14 章深度强化学习往何处去 135
14.1 未来发展和研究方向 136
14.1.1 有模型的方法潜力巨大 136
14.1.2 模仿学习 137
14.1.3 迁移学习的引入 138
14.1.4 分层强化学习 140
14.2 审慎乐观，大有可为 141
参考资料 143
第1 章马尔可夫决策过程 3
1.1 马尔可夫性 3
1.2 一些基本定义 4
1.3 值函数 5
1.4 基于策略的值函数 5
1.5 贝尔曼方程 6
1.6 策略迭代与值迭代 7
第2 章无模型的强化学习 9
2.1 蒙特卡洛方法 10
2.1.1 蒙特卡洛方法预测状态V 值 10
2.1.2 蒙特卡洛方法预测Q 值 11
2.1.3 蒙特卡洛策略优化算法 11
2.1.4 探索和利用 12
2.1.5 异策略蒙特卡洛方法 13
2.2 时间差分方法 16
2.2.1 基本思想 16
2.2.2 Sarsa 算法 17
2.2.3 Q-Learning 算法 20
2.3 值函数估计和策略搜索 23
深度强化学习核心算法与应用
2.3.1 值函数估计 23
2.3.2 策略搜索 24
第3 章有模型的强化学习 27
3.1 什么是模型 27
3.2 基本思路 28
3.3 有模型方法和无模型方法的区别 29
3.4 典型算法 31
第II 部分常用算法篇 33
第4 章DQN 算法 35
4.1 算法介绍 35
4.1.1 背景 36
4.1.2 核心技术 37
4.1.3 算法流程 39
4.2 相关改进 40
4.2.1 Double Q-Learning 40
4.2.2 优先级回放 41
4.2.3 Dueling Networks 41
4.3 实验效果与小结 43
第5 章A3C 算法 45
5.1 Actor-Critic 方法 45
5.2 基线减法与优势函数 47
5.3 博采众长的A3C 算法 48
5.4 实验效果与小结 50
第6 章确定性策略梯度方法 53
6.1 随机性策略梯度与确定性策略梯度 53
iv
目录
6.2 异策略的确定性策略梯度 54
6.3 深度确定性策略梯度 56
6.4 D4PG 算法 57
6.4.1 分布式 57
6.4.2 值函数分布 58
6.4.3 N-step TD 误差和优先级的经验回放 59
6.5 实验效果与小结 59
第7 章PPO 算法 61
7.1 PPO 算法的核心 61
7.2 TRPO 算法 62
7.3 PPO 算法 65
7.4 实验效果与小结 67
7.4.1 替代函数的对比 67
7.4.2 在连续空间中与其他算法的对比 68
7.4.3 小结 69
第8 章IMPALA 算法 71
8.1 算法架构 71
8.2 V-trace 算法 73
8.3 V-trace Actor-Critic 算法 75
8.4 实验效果与小结 76
8.4.1 计算性能 76
8.4.2 单任务训练性能 76
8.4.3 多任务训练性能 78
8.4.4 小结 79
v
深度强化学习核心算法与应用
第III 部分应用实践篇 81
第9 章深度强化学习在棋牌游戏中的应用 83
9.1 棋盘类游戏 84
9.1.1 AlphaGo: 战胜人类围棋冠军 84
9.1.2 AlphaGo Zero: 不使用人类数据，从头学习 87
9.1.3 AlphaZero: 从围棋到更多 90
9.2 牌类游戏 93
9.2.1 Suphx 的五个模型 93
9.2.2 Suphx 的训练过程和算法优化 94
9.2.3 Suphx 的线上实战表现 94
第10 章深度强化学习在电子游戏中的应用 97
10.1 研发游戏中的机器人 97
10.1.1 单机游戏 97
10.1.2 对战游戏 99
10.1.3 小结 104
10.2 制作游戏动画 105
10.3 其他应用 106
第11 章深度强化学习在推荐系统中的应用 109
11.1 适用的场景 110
11.1.1 动态变化 110
11.1.2 考虑长期利益 110
11.2 淘宝锦囊推荐中的应用 111
11.2.1 淘宝锦囊推荐介绍 111
11.2.2 问题建模与推荐框架 112
11.2.3 算法设计与实验 114
vi
目录
第12 章深度强化学习在其他领域中的应用 119
12.1 在无人驾驶中的应用 119
12.2 在金融交易中的应用 121
12.3 在信息安全中的应用 122
12.4 在自动调参中的应用 123
12.5 在交通控制中的应用 124
第IV 部分总结与展望篇 127
第13 章问题与挑战 129
13.1 样本利用率低 129
13.2 奖励函数难以设计 131
13.3 实验效果难复现 132
13.4 行为不完全可控 134
第14 章深度强化学习往何处去 135
14.1 未来发展和研究方向 136
14.1.1 有模型的方法潜力巨大 136
14.1.2 模仿学习 137
14.1.3 迁移学习的引入 138
14.1.4 分层强化学习 140
14.2 审慎乐观，大有可为 141
参考资料 143
评论
还没有评论。