标准方程法之岭回归

用标准方程法实现岭回归

import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt

# 导入数据
data = np.genfromtxt("C:\\ML\\chapter-1\\longley.csv",delimiter=",") # 这种方法只能读取数字，不能读取字符，字符会变成nan
print(data)

# 切分数据
x_data = data[1:,2:]
y_data = data[1:,1,np.newaxis]
print(x_data)
print(y_data)

print(np.mat(x_data).shape)
print(np.mat(y_data).shape)
# 给样本添加偏置项
X_data = np.concatenate((np.ones((16,1)),x_data),axis=1)
print(X_data.shape)

print(X_data[:3])

# 标准方程法求解回归参数
def weights(xArr,yArr,lam=0.2): # lam 岭系数
    xMat = np.mat(xArr) # 转换成矩阵格式
    yMat = np.mat(yArr)
    xTx = xMat.T * xMat # 矩阵乘法
    rxTx = xTx + np.eye(xMat.shape[1]) * lam # eye生成单位矩阵
    # 计算矩阵的值，如果为0，说明该矩阵没有逆矩阵
    if np.linalg.det(rxTx) == 0.0:
        print('This matrix cannot do inverse')
        return
    # xTx.I为xTx的逆矩阵
    ws = rxTx.I * xMat.T * yMat
    return ws

ws = weights(X_data,y_data)
print(ws)

# 计算预测值
np.mat(X_data) * np.mat(ws)
print(np.mat(X_data) * np.mat(ws))