【强化学习】重要度采样（Importance Sampling）

知识准备

假设随机变量X的取值：$x_1,x_2,...,x_n$，它对应的概率$P$是：$p_1,p_2,...,p_n$，则关于$X_i$的数学期望是：
$$E(X)=\sum _{k=1}^{\infty }{x}_i{p}_k$$
如果$h(x_i)$是关于随机变量$X$的事件，则它发生的概率跟随机变量$X$一样，所以$h$的数学期望是：
$$E(h)=\sum _{k=1}^{\infty }h(x_k)p_k$$
如果随机变量$X$是连续的，它的概率密度函数为$f(x)$，则$X$的数学期望是：
$$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$$
同理关于连续随机变量$X$的事件$h(x)$的数学期望是：
$$E(X)={\int }_{-\infty }^{\infty }h(x)f(x)dx$$
在实际应用中，我们一般通过对$X$进行采样，来近似上面的积分。但是有时候在样本点中有很大一部分会使得函数 h