Python强化学习实战：使用OpenAIGym、TensorFlow和Keras pdf下载

Taweh Beysolow II是一位数据科学家和作家，目前居住在美国。他拥有美国圣约翰大学的经济学学士学位和福特汉姆大学的应用统计学理学硕士学位。在成功退出与他人共同创立的初创公司后，他现在担任总部位于旧金山的私人股本公司Industry Capital的董事，在那里领导加密货币和区块链平台。

目 录

第1章 强化学习导论 1

1.1 强化学习的发展史 2

1.2 MDP及其与强化学习的关系 3

1.3 强化学习算法和强化学习框架 5

1.4 Q学习 8

1.5 强化学习的应用 9

1.5.1 经典控制问题 9

1.5.2 《超级马里奥兄弟》游戏 10

1.5.3 《毁灭战士》游戏 11

1.5.4 基于强化学习的做市策略 12

1.5.5 《刺猬索尼克》游戏 12

1.6 本章小结 13

第2章 强化学习算法 15

2.1 OpenAI Gym 15

2.2 基于策略的学习 16

2.3 策略梯度的数学解释 17

2.4 基于梯度上升的策略优化 19

2.5 使用普通策略梯度法求解车杆问题 20

2.6 什么是折扣奖励，为什么要使用它们 23

2.7 策略梯度的不足 28

2.8 近端策略优化(PPO)和Actor-Critic模型 29

2.9 实现PPO并求解《超级马里奥兄弟》 30

2.9.1 《超级马里奥兄弟》概述 30

2.9.2 安装环境软件包 31

2.9.3 资源库中的代码结构 32

2.9.4 模型架构 32

2.10 应对难度更大的强化学习挑战 37

2.11 容器化强化学习实验 39

2.12 实验结果 41

2.13 本章小结 41

第3章 强化学习算法：Q学习及其变种 43

3.1 Q学习 43

3.2 时序差分(TD)学习 45

3.3 epsilon-greedy算法 46

3.4 利用Q学习求解冰湖问题 47

3.5 深度Q学习 50

3.6 利用深度Q学习玩《毁灭战士》游戏 51

3.7 训练与性能 56

3.8 深度Q学习的局限性 57

3.9 双Q学习和双深度Q网络 58

3.10 本章小结 59

第4章 基于强化学习的做市策略 61

4.1 什么是做市 61

4.2 Trading Gym 63

4.3 为什么强化学习适用于做市 64

4.4 使用Trading Gym合成订单簿数据 66

4.5 使用Trading Gym生成订单簿数据 67

4.6 实验设计 68

4.6.1 强化学习方法1：策略梯度 71

4.6.2 强化学习方法2：深度Q网络 71

4.7 结果和讨论 73

4.8 本章小结 74

第5章 自定义OpenAI强化学习环境 75

5.1 《刺猬索尼克》游戏概述 75

5.2 下载该游戏 76

5.3 编写该环境的代码 78

5.4 A3C Actor-Critic 82

5.5 本章小结 88

附录A 源代码 91

前 言

很荣幸第三次在Apress出版社出书！《Python强化学习实战 使用OpenAI Gym、Tensorrflow和Keras》是我撰写过的最复杂书籍，但对于每一位数据科学家和工程师来说都物有所值。在过去的几年中，强化学习领域经历了重大变革，热爱人工智能的每个人都值得全身心投入。

作为人工智能研究的前沿，《Python强化学习实战 使用OpenAI Gym、Tensorrflow和Keras》将是熟悉该领域状况以及最常用技术的绝佳起点。基于这一点，我希望读者能够从中汲取力量，从而继续自己的研究并在各自的领域进行创新。