【学习笔记】Lesson2-基于表格型方法求解RL（强化学习7日打卡营-世界冠军带你从零实践）

2.1 MDP、状态价值&Q表格

2.1.1 MDP(马尔可夫决策过程)四元组<S,A,P,R>

2.1.2 Q表格：状态动作价值

Q表格就像是一本生活经验手册，上面记录着不同情况（State）下，不同行动（Action）所带来的价值（Reward）。往往同一个行动在不同情况下会产生不同的价值，生活中也是如此。

为了实现最大效益，我们往往不能只看眼前效益，很多时候我们需要关注一系列行动所带来的未来总收益，但只关注未来总收益未必合理，因此，引入了衰减因子γ（伽马），让模型更贴近实际情况。

2.2 背景知识：Q表格、强化概念、状态价值、TD单步更新&Agent介绍

2.2.1 悬崖问题

Tip: G_t表示从t时刻开始往后的所有收益总和

2.2.2 Q表格指导每一步动作

在最开始，因为我们还不知道每个state(位置)的action(行动，上下左右)带来的reward(收益)是多少，因此，需要新建一张数值全部为零的空表格。可通过下面的代码新建一个空的Q表格。

self.Q = np.zeros((obs_n, act_n)) # obs_n为状态数量，act_n为动作数量

2.2.3 强化概念

从条件反射这一生理现象中，我们可以发现强化学习背后的原理：在不断重复试验之后，下一个状态的价值可以不断强化影响上一个状态的价值。

2.2.4 状态价值迭代

https://cs.stanford.edu/people/karpathy/reinforcejs/gridworld_td.html

在这个例子中，灰色是“墙壁”，标注了R值的格子表示小球到达该格子所能得到的reward值(-1/1)。

小球在刚开始探索时是没有明确方向的，在经过多轮探索之后，小球发现了几条通往高价值格子的路径(R=1.0的格子)，R=1.0格子附近格子的价值也因此提升。最终，在小球不断往持续更新的高价值格子的移动过程中，小球发现一条通往R=1.0格子的最优路径。

2.2.5 Temporal Difference时序差分（TD单步更新）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nT1WAVpM-1593056949853)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson2/image-20200622144645386.png)]

特点：

1. 用下一步的Q值来更新这一步的Q值
2. 更新方式为软更新
3. 需要的信息：当前的状态，当前的行动，下一状态的收获，下一状态，下一状态的行动。

2.2.6 Agent——与环境交互的智能体

agent的主要工作：

1. 根据Q表格选取动作
2. 更新Q表格

2.3 Sarsa

2.3.1 Sarsa训练每一个episode的主要工作&流程

2.3.2 Sarsa Agent

2.3.2.1 ε-greedy方法的Exploration(探索)&Exploitation(利用)

Funct