三、多元线性回归模型（计量经济学学习笔记）

①多元线性回归模型及古典假定

1.1多元线性回归模式

多元线性回归模型是指对各个回归参数而言是线性的，而对于变量既可以是线性的，也可以不是线性的。
一般地，由n个单位构成的总体，包含被解释变量Y和k-1个解释变量$X_2,X_3,...,X_k$的多元总体线性回归函数的形式为：

• $Y_i={\beta }_1+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+...+{\beta }_k{X}_{ki}+u_i$
  在$E(u_i|X_{2i},X_{3i},...,X_{ki})=0$的条件下，多元总体线性回归函数的条件均值形式为：
  $E(Y|X_{2i},X_{3i},...,X_{ki})=={\beta }_1+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+...+{\beta }_k{X}_{ki}$

在总体线性回归函数中，各个回归系数是未知的，只能利用样本观测值对之进行估计。如果将被解释变量的样本条件均值$\widehat{Y_i}$表示为各个解释变量的线性函数，即得多元样本线性回归函数：

• $\widehat{Y_i}=\widehat{{\beta }_1}+\widehat{{\beta }_2}{X}_{2i}+\widehat{{\beta }_3}{X}_{3i}+...+\widehat{{\beta }_k}{X}_{ki}$

$\widehat{{\beta }_j}(j=1,2,...,k)$是对总体回归参数${\beta }_j$的估计。

多元样本线性回归函数也可以表示为：

• $Y_i=\widehat{Y_i}+e_i$
  如果有n次样本观测值，则：
• $Y_i=\widehat{{\beta }_1}+\widehat{{\beta }_2}{X}_{2i}+\widehat{{\beta }_3}{X}_{3i}+...+\widehat{{\beta }_k}{X}_{ki}+e_i$

1.2多元线性回归模型的矩阵形式

对被解释变量Y和多个解释变量做n次观测，所得的n次观测值可写为方程组形式：
$Y_1={\beta }_1+{\beta }_2{X}_{21}+{\beta }_3{X}_{31}+...+{\beta }_k{X}_{k1}+u_1$
$Y_2={\beta }_1+{\beta }_2{X}_{22}+{\beta }_3{X}_{32}+...+{\beta }_k{X}_{k2}+u_2$
…
$Y_n={\beta }_1+{\beta }_2{X}_{2n}+{\beta }_3{X}_{3n}+...+{\beta }_k{X}_{kn}+u_n$

该方程组也可表示为矩阵形式：
$$\begin{array}{c}\left[\begin{array}{c}{Y}_1\\ Y_2\\ ...\\ Y_n\end{array}\right]=\left[\begin{array}{ccccc}1& X_{21}& X_{31}& ...& X_{k1}\\ 1& X_{22}& X_{32}& ...& X_{k2}\\ ...& ...& ...& ...& ...\\ 1& X_{2n}& X_n& ...& X_{kn}\end{array}\right]\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ...\\ {\beta }_k\end{array}\right]+\left[\begin{array}{c}{u}_1\\ u_2\\ ...\\ u_n\end{array}\right]\end{array}$$
记
$$\begin{array}{c}Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ...\\ Y_n\end{array}\right]\beta =\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ...\\ {\beta }_k\end{array}\right]U=\left[\begin{array}{c}{u}_1\\ u_2\\ ...\\ u_n\end{array}\right]\end{array}$$

$$X=\begin{array}{c}\left[\begin{array}{ccccc}1& X_{21}& X_{31}& ...& X_{k1}\\ 1& X_{22}& X_{32}& ...& X_{k2}\\ ...& ...& ...& ...& ...\\ 1& X_{2n}& X_n& ...& X_{kn}\end{array}\right]\end{array}$$
这里的X是由解释变量$X_{ij}$的数据构成的矩阵，其中截距项可视为解释变量总是取值为1。X一般是由非随机变量构成，有时也称为X的数据矩阵或设计矩阵。

这样多元总体线性回归函数的矩阵形式可表示为

• $Y=X\beta +U$
  $E(Y)=X\beta$

类似的，多元样本线性回归函数的矩阵表示为：

• $Y=X\hat{\beta }+e$ 或 $\hat{Y}=X\hat{\beta }$

式中，
$$\begin{array}{c}\hat{Y}=\left[\begin{array}{c}\widehat{Y_1}\\ \widehat{Y_2}\\ ...\\ \widehat{Y_n}\end{array}\right]\hat{\beta }=\left[\begin{array}{c}\widehat{{\beta }_1}\\ \widehat{{\beta }_2}\\ ...\\ \widehat{{\beta }_k}\end{array}\right]e=\left[\begin{array}{c}{e}_1\\ e_2\\ ...\\ e_n\end{array}\right]\end{array}$$
分别为y的样本估计值向量，回归系数估计值向量，残差向量。

1.3多元线性回归模型的古典假定

多元线性回归模型基本假定如下：

• 1. 零均值假定
     假定随机扰动项的期望或均值为0，即
     $E(u_i)=0(i=1,2,...,n)$
     用矩阵可表示为
     $$\begin{array}{c}E(U)=E\left[\begin{array}{c}{u}_1\\ u_2\\ ...\\ u_n\end{array}\right]=\left[\begin{array}{c}E(u_1)\\ E(u_2)\\ ...\\ E(u_n)\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ ...\\ 0\end{array}\right]\end{array}$$
• 2. 同方差和无自协相关假定
     随机扰动项互不相关且方差相同。
• 3. 随机扰动项与解释变量不相关假定
     $Cov(X_{ji},u_i)=0$       $(j=2,3,...,k;i=1,2,...,n)$
• 4. 无多重共线性假定
• 5. 正态性假定
     随机扰动项$u_i$服从正态分布
     $u_i$~$N(0,{\sigma }^2)$

②多元线性回归模型的估计

2.1 多元线性回归模型参数的最小二乘估计

按最小二乘原则，采用使估计的剩余平方和最小的原则去确定样本回归函数:
$\sum e_i=Y_i-(\widehat{{\beta }_1}+\widehat{{\beta }_2}{X}_{2i}+\widehat{{\beta }_3}{X}_{3i}+...+\widehat{{\beta }_k}{X}_{ki})$
使残差平方和$\sum e_i^2$最小，其必要条件是
偏导$\frac{\partial (\sum e_i^2)}{\partial \widehat{{\beta }_j}}=0(j=1,2,...,k)$
即

$$\begin{array}{c}\left[\begin{array}{c}\sum e_i\\ \sum X_{2i}{e}_i\\ ...\\ \sum X_{ki}{e}_i\end{array}\right]=\left[\begin{array}{cccc}1& 1& ...& 1\\ X_{21}& X_{22}& ...& X_{2n}\\ ...& ...& & ...\\ X_{k1}& X_{k2}& ...& X_{kn}\end{array}\right]\left[\begin{array}{c}{e}_i\\ e_i\\ ...\\ e_n\end{array}\right]=X^{\prime }e=\left[\begin{array}{c}0\\ 0\\ ...\\ 0\end{array}\right]\end{array}$$
其中$X^{\prime }$为样本观测矩阵X的转置矩阵。
对样本回归函数式$Y=X\hat{\beta }+e$两边同乘样本观测矩阵X的转置矩阵$X^{\prime }$，有

$X^{\prime }Y=X^{\prime }X\hat{\beta }+X^{\prime }e$

由极值条件式，故有：

$X^{\prime }Y=X^{\prime }X\hat{\beta }$

由古典假定条件中的无多重共线性假定，可知$(X^{\prime }X{)}^{-1}$存在，用$(X^{\prime }X{)}^{-1}$左乘上述方程两端，可得多元线性回归模型参数向量β最小二乘估计式的矩阵表达式为：

$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }Y$
由该式可以看出，参数估计量是样本观测值的函数。

2.2参数最小二乘估计的性质

①线性
最小二乘估计的参数估计量是被解释变量观测值$Y_i$的线性组合。即$\widehat{{\beta }_j}(j=1,2,...,k)$为$Y_i$的线性函数。
②无偏性
$\hat{\beta }$是$\beta$的无偏估计。
③最小方差性
参数向量$\beta$的最小二乘估计量$\hat{\beta }$是$\beta$的所有线性无偏估计量中方差最小的估计量。

2.3OLS估计的分布性质

在古典假定下，$\widehat{{\beta }_j}(j=1,2,...,k)$服从正态分布，即：
$\widehat{{\beta }_j}$~$N[{\beta }_j,{\sigma }^2{c}_{jj}]$
$c_{j}j$是矩阵$(X^{\prime }X{)}^{-1}$中第j行第j列位置的元素。

2.4 随机扰动项的方差估计

${\hat{\sigma }}^2=\frac{\sum e_i^2}{n-k}$是随机扰动项方差${\sigma }^2$的无偏估计。

则 $Var({\hat{\beta }}_2)={\hat{\sigma }}^2{c}_{jj}=(\frac{\sum e_i^2}{n-k})c_{jj}$

③多元线性回归模型的假设检验和区间估计

3.1 拟合优度检验

多重可决系数
多重可决系数可表示为

$R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}=1-\frac{\sum e_i^2}{\sum (Y_i-\overline{Y}{)}^2}$

多重可决系数是介于0和1之间的一个数。$R^2$越接近1，模型对数据的拟合程度就越好。

也可以用矩阵表示

$TSS=\sum (Y_i-\overline{Y}{)}^2=\sum Y_i^2-n{\overline{Y}}^2=Y^{\prime }Y-n{\overline{Y}}^2$

$ESS=\widehat{{\beta }^{\prime }{X}^{\prime }Y-n{\overline{Y}}^2}$

$R^2=\frac{ESS}{TSS}=\frac{\widehat{{\beta }^{\prime }{X}^{\prime }Y-n{\overline{Y}}^2}}{\sum (Y_i-\overline{Y}{)}^2=\sum Y_i^2-n{\overline{Y}}^2=Y^{\prime }Y-n{\overline{Y}}^2}$

修正可决系数
样本容量不变时，随着模型中解释变量的增加，总离差平方和TSS不会改变，而解释平方和ESS可能增大，多重可决系数$R^2$会变大。当被解释变量相同而解释变量个数不同时，这给运用多重可决系数去比较两个模型的拟合程度带来缺陷。
此时用自由度去纠正变差，可以纠正该困难。

修正可决系数${\overline{R}}^2=1-\frac{\sum e_i^2/(n-k)}{\sum (Y_i-\overline{Y}{)}^2/(n-1)}=1-\frac{n-1}{n-k}\frac{\sum e_i^2}{\sum (Y_i-\overline{Y}{)}^2}$

修正可决系数与未修正可决系数的关系：

$\overline{R^2}=1-(1-R^2)\frac{n-1}{n-k}$

可以看出，$k>1$时，${\overline{R}}^2＜R^2$，这意味着随解释变量的增加，${\overline{R}}^2$将小于$R^2$。
可决系数$R^2$必定非负；修正可决系数$\overline{R^2}$可能为负值时，规定$\overline{R^2}=0$。

3.2回归方程的显著性检验(F-检验)

对回归模型整体显著性的检验，检验假设的形式为：
$H_0:{\beta }_2={\beta }_3=...={\beta }_k=0$
$H_1：{\beta }_j(j=2,3,...,k)不全为零$
在$H0$成立的条件下，统计量F服从自由度为k-1和n-k的F分布

$F=\frac{ESS/(k-1)}{RSS/(n-k)}$~$F(k-1,n-k)$
给定显著性水平，在F分布表中查自由度为k-1和n-k的临界值$F_{\alpha }(k-1,n-k)$。
将样本观测值代入上式中计算F值，并将F值与临界值$F_{\alpha }(k-1,n-k)$比较。若$F>F_{\alpha }(k-1,n-k)$，
则拒绝原假设$H_0$，说明各个解释变量联合起来对被解释变量影响显著。
反之若$F<F_{\alpha }(k-1,n-k)$，则不能拒绝原假设，说明影响不显著。

F统计量与可决系数有如下关系：

$F=\frac{n-k}{k-1}\frac{R^2}{1-R^2}$
即伴随可决系数$R^2$和修正kejuexish$\overline{R^2}$的增加，F统计量的值将不断增加。
当$R^2=0$时，F=0。$R^2$越大时，F值也越大；$R^2=1$时，$F\to \infty$。
即对$H_0:{\beta }_2={\beta }_3=...={\beta }_k=0$的检验，等价于对$R^2=0$的检验。即对$R^2$的显著性检验。

3.3回归参数的显著性检验(t检验)

多元线性回归不仅仅要获得较高拟合优度的模型，也不仅是要寻找方程整体的显著性，也要对各个整体回归参数作出有意义的估计。因此还必须分别对每个解释变量进行显著性检验。

回归系数估计量服从如下正态分布：
$\widehat{{\beta }_j}=N[{\beta }_j,Var(\widehat{{\beta }_j})]$
其标准化随机变量服从标准正态分布$Z=\frac{\widehat{{\beta }_j}-{\beta }_j}{\sqrt{Var(\widehat{{\beta }_j})}}$~$N(0,1)$
由前边可知，
$Var(\widehat{{\beta }_j})={\sigma }^2{c}_{jj}$，因为${\sigma }^2$未知，故$Var(\widehat{{\beta }_j})$也未知。用${\hat{\sigma }}^2$代替${\sigma }^2$作标准化变换，所构造的统计量服从自由度为n-k的t分布。
即$t=\frac{\widehat{{\beta }_j}-{\beta }_j}{\sqrt{\widehat{{\sigma }^2{c}_{jj}}}}=\frac{\widehat{{\beta }_j}-{\beta }_j}{\hat{\sigma }\sqrt{c_{jj}}}$~$t(n-k)$

用t统计量对各个回归参数作显著性检验，
具体过程如下：
①提出检验假设
$H_0：{\beta }_j=0$ $(j=1,2,...,k)$
$H_1：{\beta }_j\ne 0$ $(j=1,2,...,k)$
②计算统计量
在$H_0$成立的条件下，$t=\frac{\widehat{{\beta }_j}-0}{\overline{\sigma }\sqrt{c_{jj}}}=\frac{\widehat{{\beta }_j}}{\hat{\sigma }\sqrt{c_{jj}}}$~$t(n-k)$
根据样本观测值计算t统计量的值：
$t\ast =\frac{\widehat{{\beta }_j}}{\hat{\sigma }\sqrt{c_{jj}}}$
③检验
给定显著性水平$\alpha$，查看自由度为n-k的t分布表。得临界值$t_{\alpha /2}(n-k)$。
若$|t^{\ast }|\ge t_{\alpha /2}(n-k)$，即$t^{\ast }\le -t_{\alpha /2}(n-k)$或$t^{\ast }\ge t_{\alpha /2}(n-k)$，就拒绝$H_0$，不拒绝$H_1$，说明其他解释变量不变的情况下，解释变量X_j对被解释变量Y的影响是显著的。
若$|t^{\ast }|＜t_{\alpha /2}(n-k)$，即$-t_{\alpha /2}(n-k)＜t^{\ast }＜t_{\alpha /2}(n-k)$，就不能拒绝$H_0$，说明其他解释变量不变的情况下，解释变量X_j对被解释变量Y的影响不显著的。

3.4 多元线性回归模型参数的区间估计

给定α，查t分布的自由度为n-k的临界值$t_{\alpha /2}(n-k)$，则有

$P[-t_{\alpha /2}(n-k)\le t^{\ast }=\frac{\widehat{{\beta }_j}-{\beta }_j}{\widehat{SE}(\widehat{{\beta }_j})}\le t_{\alpha /2}(n-k)]=1-\alpha$

即
$P[\hat{\beta }-t_{\alpha /2}\widehat{SE}(\widehat{{\beta }_j})\le {\beta }_j\le \hat{\beta }+t_{\alpha /2}\widehat{SE}(\widehat{{\beta }_j})]=1-\alpha$

或
$P[\hat{\beta }-t_{\alpha /2}\hat{\sigma }\sqrt{c_{jj}}\le {\beta }_j\le \hat{\beta }+t_{\alpha /2}\hat{\sigma }\sqrt{c_{jj}}=1-\alpha$
此即多元线性回归模型参数的置信度为$1-\alpha$的置信区间。

④多元线性回归模型的预测

4.1点预测

设多元线性回归模型为
$Y=X\beta +U$
若根据观测样本已经观测出参数的估计量$\hat{\beta }$，且通过模型检验，即得到样本回归方程：
$\hat{Y}=X\hat{\beta }$
把样本以外各个解释变量的值表示为行向量X_f=(1,X_{2f},X_{3f},…,X_{4f})，直接代入所估计的多元样本回归函数，即可得到解释变量的点预测值：
$\hat{Y}=X_f\hat{\beta }=\widehat{{\beta }_1}+\widehat{{\beta }_2}{X}_{2f}+\widehat{{\beta }_3}{X}_{3f}+...+\widehat{{\beta }_k}{X}_{kf}$
两边取期望得：
$E(\hat{Y})=E(\widehat{{\beta }_1}+\widehat{{\beta }_2}{X}_{2f}+\widehat{{\beta }_3}{X}_{3f}+...+\widehat{{\beta }_k}{X}_{kf})={\beta }_1+{\beta }_2{X}_{2f}+{\beta }_3{X}_{3f}+...+{\beta }_k{X}_{kf}=E(Y_f)$
说明KaTeX parse error: Expected group after '^' at position 2: Y^̲是$E(Y_f)$的无偏估计，可以用$\widehat{Y_f}$作为$E(Y_f)$和$Y_f$的点预测值。

4.2平均值$E(Y_f)$的区间预测

$Y_f$平均值$E(Y_f)$的置信度为$1-\alpha$的预测区间为：
$\widehat{Y_f}-t_{\alpha /2}\hat{\sigma }\sqrt{X_f(X^{\prime }X{)}^{-1}{X}_f^{\prime }}\le E(Y_f)\le \widehat{Y_f}+t_{\alpha /2}\hat{\sigma }\sqrt{X_f(X^{\prime }X{)}^{-1}{X}_f^{\prime }}$

4.3个别值$Y_f$的区间预测

$\widehat{Y_f}-t_{\alpha /2}\hat{\sigma }\sqrt{1+X_f(X^{\prime }X{)}^{-1}{X}_f^{\prime }}\le E(Y_f)\le \widehat{Y_f}+t_{\alpha /2}\hat{\sigma }\sqrt{1+X_f(X^{\prime }X{)}^{-1}{X}_f^{\prime }}$