强化学习实战：强化学习在阿里的技术演进和业务创新

作者: 笪庆曾安祥

出版社: 电子工业出版社

出版时间: 2018-10

版次: 1

ISBN: 9787121338984

定价: 89.00

装帧: 其他

开本: 16开

纸张: 胶版纸

分类: 计算机与互联网

3 张插图图片

22人买过

本书汇集了阿里巴巴一线算法工程师在强化学习应用方面的经验和心得，覆盖了搜索事业部、阿里妈妈事业部、计算平台事业部以及智能服务事业部等多条业务线，工业界首次系统地披露了强化学习在互联网级别的应用上使用的技术细节，其中更包含了阿里巴巴的算法工程师对强化学习的深入理解、思考和创新。??本书主要面向算法工程师，强化学习方向的研究人员以及所有机器学习爱好者。作为算法工程师，你将了解强化学习在实际应用中的建模方法，常见的问题以及对应的解决思路，提高建模和解决业务问题的能力；作为强化学习方向的研究人员，你将了解到在游戏之外更多实际的强化学习问题以及对应的解决方案，扩宽研究视野；作为机器学习爱好者，你将了解到阿里巴巴的一线机器学习算法工程师是如何发现问题，定义问题和解决问题的，激发研究兴趣以及提升专业素养。笪庆，男，2010年本科毕业于南京大学计算机科学与技术系，同年免试保送至南京大学软件新技术国家重点实验室机器学习与数据挖掘研究所，从事机器学习，尤其是强化学习方向的工作和研究。2015年加入阿里巴巴搜索事业部算法团队，从事无线基础排序方向的工作。第1章  强化学习基础1

1.1  引言2

1.2  起源和发展3

1.3  问题建模5

1.4  常见强化学习算法8

1.4.1  基于值函数的方法9

1.4.2  基于直接策略搜索的方法12

1.5  总结14

第2章  基于强化学习的实时搜索排序策略调控15

2.1  研究背景16

2.2  问题建模17

2.2.1  状态定义17

2.2.2  奖赏函数设计18

2.3  算法设计19

2.3.1  策略函数19

2.3.2  策略梯度20

2.3.3  值函数的学习21

2.4  奖赏塑形22

2.5  实验效果25

2.6  DDPG与梯度融合27

2.7  总结与展望28

第3章  延迟奖赏在搜索排序场景中的作用分析30

3.1  研究背景31

3.2  搜索交互建模31

3.3  数据统计分析33

3.4  搜索排序问题形式化36

3.4.1  搜索排序问题建模36

3.4.2  搜索会话马尔可夫决策过程38

3.4.3  奖赏函数39

3.5  理论分析40

3.5.1  马尔可夫性质40

3.5.2  折扣率41

3.6  算法设计44

3.7  实验与分析48

3.7.1  模拟实验48

3.7.2  搜索排序应用51

第4章  基于多智能体强化学习的多场景联合优化54

4.1  研究背景55

4.2  问题建模57

4.2.1  相关背景简介57

4.2.2  建模方法58

4.3  算法应用65

4.3.1  搜索与电商平台65

4.3.2  多排序场景协同优化66

4.4  实验与分析69

4.4.1  实验设置69

4.4.2  对比基准70

4.4.3  实验结果70

4.4.4  在线示例73

4.5  总结与展望75

第5章  虚拟淘宝76

5.1  研究背景77

5.2  问题描述79

5.3  虚拟化淘宝80

5.3.1  用户生成策略81

5.3.2  用户模仿策略83

5.4  实验与分析85

5.4.1  实验设置85

5.4.2  虚拟淘宝与真实淘宝对比85

5.4.3  虚拟淘宝中的强化学习87

5.5  总结与展望90

第6章  组合优化视角下基于强化学习的精准定向

广告OCPC业务优化92

6.1  研究背景93

6.2  问题建模94

6.2.1  奖赏设计94

6.2.2  动作定义94

6.2.3  状态定义95

6.3  模型选择100

6.4  探索学习102

6.5  业务实战103

6.5.1  系统设计103

6.5.2  奖赏设计105

6.5.3  实验效果106

6.6  总结与展望106

第7章  策略优化方法在搜索广告排序和竞价机制中的应用108

7.1  研究背景109

7.2  数学模型和优化方法110

7.3  排序公式设计112

7.4  系统简介113

7.4.1  离线仿真模块114

7.4.2  离线训练初始化114

7.5  在线策略优化117

7.6  实验与分析118

7.7  总结与展望120

第8章  TaskBot——阿里小蜜的任务型问答技术121

8.1  研究背景122

8.2  模型设计123

8.2.1  意图网络123

8.2.2  信念跟踪124

8.2.3  策略网络124

8.3  业务应用126

8.4  总结与展望127

第9章  DRL导购——阿里小蜜的多轮标签推荐技术128

9.1  研究背景129

9.2  算法框架130

9.3  深度强化学习模型133

9.3.1  强化学习模块133

9.3.2  模型融合134

9.4  业务应用135

9.5  总结与展望136

第10章  Robust DQN在淘宝锦囊推荐系统中的应用137

10.1  研究背景138

10.2  Robust DQN算法140

10.2.1  分层采样方法140

10.2.2  基于分层采样的经验池141

10.2.3  近似遗憾奖赏142

10.2.4  Robust DQN算法143

10.3  Robust DQN算法在淘宝锦囊上的应用144

10.3.1  系统架构144

10.3.2  问题建模145

10.4  实验与分析147

10.4.1  实验设置148

10.4.2  实验结果148

10.5  总结与展望152

第11章  基于上下文因子选择的商业搜索引擎性能优化153

11.1  研究背景154

11.2  排序因子和排序函数156

11.3  相关工作157

11.4  排序中基于上下文的因子选择158

11.5  RankCFS：一种强化学习方法162

11.5.1  CFS问题的?MDP建模162

11.5.2  状态与奖赏的设计163

11.5.3  策略的学习165

11.6  实验与分析166

11.6.1  离线对比167

11.6.2  在线运行环境的评价170

11.6.3  双11评价171

11.7  总结与展望172

第12章  基于深度强化学习求解一类新型三维装箱问题173

12.1  研究背景174

12.2  问题建模175

12.3  深度强化学习方法177

12.3.1  网络结构178

12.3.2  基于策略的强化学习方法179

12.3.3  基准值的更新180

12.3.4  随机采样与集束搜索180

12.4  实验与分析181

12.5  小结182

第13章  基于强化学习的分层流量调控183

13.1  研究背景184

13.2  基于动态动作区间的DDPG算法186

13.3  实验效果189

13.4  总结与展望189

第14章  风险商品流量调控190

14.1  研究背景191

14.2  基于强化学习的问题建模192

14.2.1  状态空间的定义192

14.2.2  动作空间的定义193

14.2.3  奖赏函数的定义193

14.2.4  模型选择194

14.2.5  奖赏函数归一化196

14.3  流量调控系统架构196

14.4  实验效果197

14.5  总结与展望197

参考文献199
内容简介:
本书汇集了阿里巴巴一线算法工程师在强化学习应用方面的经验和心得，覆盖了搜索事业部、阿里妈妈事业部、计算平台事业部以及智能服务事业部等多条业务线，工业界首次系统地披露了强化学习在互联网级别的应用上使用的技术细节，其中更包含了阿里巴巴的算法工程师对强化学习的深入理解、思考和创新。??本书主要面向算法工程师，强化学习方向的研究人员以及所有机器学习爱好者。作为算法工程师，你将了解强化学习在实际应用中的建模方法，常见的问题以及对应的解决思路，提高建模和解决业务问题的能力；作为强化学习方向的研究人员，你将了解到在游戏之外更多实际的强化学习问题以及对应的解决方案，扩宽研究视野；作为机器学习爱好者，你将了解到阿里巴巴的一线机器学习算法工程师是如何发现问题，定义问题和解决问题的，激发研究兴趣以及提升专业素养。
作者简介:
笪庆，男，2010年本科毕业于南京大学计算机科学与技术系，同年免试保送至南京大学软件新技术国家重点实验室机器学习与数据挖掘研究所，从事机器学习，尤其是强化学习方向的工作和研究。2015年加入阿里巴巴搜索事业部算法团队，从事无线基础排序方向的工作。
目录:
第1章  强化学习基础1

1.1  引言2

1.2  起源和发展3

1.3  问题建模5

1.4  常见强化学习算法8

1.4.1  基于值函数的方法9

1.4.2  基于直接策略搜索的方法12

1.5  总结14

第2章  基于强化学习的实时搜索排序策略调控15

2.1  研究背景16

2.2  问题建模17

2.2.1  状态定义17

2.2.2  奖赏函数设计18

2.3  算法设计19

2.3.1  策略函数19

2.3.2  策略梯度20

2.3.3  值函数的学习21

2.4  奖赏塑形22

2.5  实验效果25

2.6  DDPG与梯度融合27

2.7  总结与展望28

第3章  延迟奖赏在搜索排序场景中的作用分析30

3.1  研究背景31

3.2  搜索交互建模31

3.3  数据统计分析33

3.4  搜索排序问题形式化36

3.4.1  搜索排序问题建模36

3.4.2  搜索会话马尔可夫决策过程38

3.4.3  奖赏函数39

3.5  理论分析40

3.5.1  马尔可夫性质40

3.5.2  折扣率41

3.6  算法设计44

3.7  实验与分析48

3.7.1  模拟实验48

3.7.2  搜索排序应用51

第4章  基于多智能体强化学习的多场景联合优化54

4.1  研究背景55

4.2  问题建模57

4.2.1  相关背景简介57

4.2.2  建模方法58

4.3  算法应用65

4.3.1  搜索与电商平台65

4.3.2  多排序场景协同优化66

4.4  实验与分析69

4.4.1  实验设置69

4.4.2  对比基准70

4.4.3  实验结果70

4.4.4  在线示例73

4.5  总结与展望75

第5章  虚拟淘宝76

5.1  研究背景77

5.2  问题描述79

5.3  虚拟化淘宝80

5.3.1  用户生成策略81

5.3.2  用户模仿策略83

5.4  实验与分析85

5.4.1  实验设置85

5.4.2  虚拟淘宝与真实淘宝对比85

5.4.3  虚拟淘宝中的强化学习87

5.5  总结与展望90

第6章  组合优化视角下基于强化学习的精准定向

广告OCPC业务优化92

6.1  研究背景93

6.2  问题建模94

6.2.1  奖赏设计94

6.2.2  动作定义94

6.2.3  状态定义95

6.3  模型选择100

6.4  探索学习102

6.5  业务实战103

6.5.1  系统设计103

6.5.2  奖赏设计105

6.5.3  实验效果106

6.6  总结与展望106

第7章  策略优化方法在搜索广告排序和竞价机制中的应用108

7.1  研究背景109

7.2  数学模型和优化方法110

7.3  排序公式设计112

7.4  系统简介113

7.4.1  离线仿真模块114

7.4.2  离线训练初始化114

7.5  在线策略优化117

7.6  实验与分析118

7.7  总结与展望120

第8章  TaskBot——阿里小蜜的任务型问答技术121

8.1  研究背景122

8.2  模型设计123

8.2.1  意图网络123

8.2.2  信念跟踪124

8.2.3  策略网络124

8.3  业务应用126

8.4  总结与展望127

第9章  DRL导购——阿里小蜜的多轮标签推荐技术128

9.1  研究背景129

9.2  算法框架130

9.3  深度强化学习模型133

9.3.1  强化学习模块133

9.3.2  模型融合134

9.4  业务应用135

9.5  总结与展望136

第10章  Robust DQN在淘宝锦囊推荐系统中的应用137

10.1  研究背景138

10.2  Robust DQN算法140

10.2.1  分层采样方法140

10.2.2  基于分层采样的经验池141

10.2.3  近似遗憾奖赏142

10.2.4  Robust DQN算法143

10.3  Robust DQN算法在淘宝锦囊上的应用144

10.3.1  系统架构144

10.3.2  问题建模145

10.4  实验与分析147

10.4.1  实验设置148

10.4.2  实验结果148

10.5  总结与展望152

第11章  基于上下文因子选择的商业搜索引擎性能优化153

11.1  研究背景154

11.2  排序因子和排序函数156

11.3  相关工作157

11.4  排序中基于上下文的因子选择158

11.5  RankCFS：一种强化学习方法162

11.5.1  CFS问题的?MDP建模162

11.5.2  状态与奖赏的设计163

11.5.3  策略的学习165

11.6  实验与分析166

11.6.1  离线对比167

11.6.2  在线运行环境的评价170

11.6.3  双11评价171

11.7  总结与展望172

第12章  基于深度强化学习求解一类新型三维装箱问题173

12.1  研究背景174

12.2  问题建模175

12.3  深度强化学习方法177

12.3.1  网络结构178

12.3.2  基于策略的强化学习方法179

12.3.3  基准值的更新180

12.3.4  随机采样与集束搜索180

12.4  实验与分析181

12.5  小结182

第13章  基于强化学习的分层流量调控183

13.1  研究背景184

13.2  基于动态动作区间的DDPG算法186

13.3  实验效果189

13.4  总结与展望189

第14章  风险商品流量调控190

14.1  研究背景191

14.2  基于强化学习的问题建模192

14.2.1  状态空间的定义192

14.2.2  动作空间的定义193

14.2.3  奖赏函数的定义193

14.2.4  模型选择194

14.2.5  奖赏函数归一化196

14.3  流量调控系统架构196

14.4  实验效果197

14.5  总结与展望197

参考文献199