【RL数学基础】微积分的基本概念：导数、偏导数、方向导数、梯度

1.导数

导数定义： 反应的是函数 $y=f(x)$ 在某一点处沿着自变量 $x$ 的正方向（即: $x$ 轴正方向）的变化率。

导数公式：

函数 $y=f(x)$ 在 $x_0$ 点的导数记作$f^{\prime }(x_0)$，则 $f^{\prime }(x_0)$为：
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

几何意义： 函数 $y=f(x)$ 在 $x_0$ 点的导数 $f^{\prime }(x_0)$ 表示函数曲线在点 $P_0(x_0,f(x_0))$ 处的切线的斜率【导数的几何意义是该函数曲线在这一点 $P_0(x_0,f(x_0))$ 上的切线斜率】。

2.偏导数

偏导数定义： 以二元函数为例，反应的是函数 $z=f(x,y)$ 在某一点处沿着某个坐标轴正方向（即：沿着 $x$ 轴正方向或者沿着 $y$ 轴正方向）的变化率。

偏导数公式：

以二元函数 $z=f(x,y)$ 为例：
函数 $z=f(x,y)$ 在 $(x_0,y_0)$ 点处对 $x$ 的偏导数记作 $\frac{\partial z}{\partial x}$（又可记作： $\frac{\partial f}{\partial x}$ , $z_x$ 或 $f_x(x,y)$），则 $\frac{\partial z}{\partial x}$ 为：

$$\frac{\partial z}{\partial x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$$

函数 $z=f(x,y)$ 在 $(x_0,y_0)$ 点处对 $y$ 的偏导数记作 $\frac{\partial z}{\partial y}$（又可记作： $\frac{\partial f}{\partial y}$ , $z_y$ 或 $f_y(x,y)$），则 $\frac{\partial z}{\partial y}$ 为：

$$\frac{\partial z}{\partial y}=\underset{\Delta y\to 0}{\lim }\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\Delta y}$$

注： 导数与偏导数本质是⼀致的，都是当⾃变量的变化趋于0时，函数值的变化与⾃变量的变化，它们两者之间⽐值的极限。

3.方向导数

在前⾯导数和偏导数的定义中，均是沿坐标轴正⽅向讨论函数的变化率。那么当我们讨论函数沿任意⽅向的变化率时，也就引出了⽅向导数的定义。

方向导数： 反应的是函数 $y$ 在某一点 $x_0$ 处沿着特定方向（不一定是 $x$ 轴正方向了）的变化率。

4.梯度

梯度的提出只为了回答一个问题：函数在变量空间的某一点处，沿着哪个方向有最大的变化率？
梯度的定义如下：函数在某一点的梯度是这样的一个向量，它的方向与最大方向导数的方向一致，而它的大小为方向导数的最大值。

注意：
1）梯度是一个向量，即有方向有大小；
2）梯度的方向就是最大方向导数的方向，即：函数增长最快的方向。
3）梯度的值，就是最大方向导数的值。

区别： 偏导数只能对坐标轴某一方向求导数，方向倒数可以对自变量定义域内任意方向求导，而梯度是方向方向导数值取最大的一个特殊情况。