机器学习基础——标准方程法

标准方程法

J(x) = ax² + bx + c
优点：
不需要学习率；
不需要迭代；
可以得到全局最优解；
缺点：
需要计算(XTX)-1，-1指的是逆；
时间复杂度大约是O（n³）；
n是特征数量；

考虑是分子布局还是分母布局
分子布局：分子为列向量或者分母为行向量；
分母布局：分子为行向量或者分母为列向量；

import numpy as np 
import matplotlib.pyplot as plt
from numpy import genfromtxt

# 导入数据
data = np.genfromtxt("C:\\ML\\chapter-1\\data.csv",delimiter=",")
x_data = data[:,0,np.newaxis]
y_data = data[:,1,np.newaxis]
plt.scatter(x_data,y_data)
plt.show()

print(np.mat(x_data).shape)
print(np.mat(y_data).shape)
# 给样本添加偏置项
X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)
print(X_data.shape)
print(X_data[:3])

# 标准方程法求解回归参数
def weights(xArr,yArr):
    xMat = np.mat(xArr) # 转换成矩阵格式
    yMat = np.mat(yArr)
    xTx = xMat.T*xMat # 矩阵乘法
    # 计算矩阵的值，如果为0，说明该矩阵没有逆矩阵
    if np.linalg.det(xTx) == 0.0:
        print('This matrix cannot do inverse')
        return
    # xTx.I为xTx的逆矩阵
    ws = xTx.I * xMat.T * yMat
    return ws

ws = weights(X_data,y_data)
print(ws)

# 画图
x_test = np.array([[20],[80]])
y_test = ws[0] + x_test*ws[1]
plt.plot(x_data,y_data,'b.')
plt.plot(x_test,y_test,'r')
plt.show()