逻辑回归(Logistic)

算法介绍

Logistic回归是一种广义线性回归（generalizedlinear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w`x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w`x+b作为因变量，即y =w`x+b，而logistic回归则通过函数L将w`x+b对应一个隐状态p，p =L(w`x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。本系统的L函数采用的是梯度上升法，梯度上升法的模型图如下：

它的公式如下：

算法的关键点就聚焦在 这个参数的设置上。

通过优化，本系统采用的是随机梯度上升算法：

流程图如下：

基本步骤说明：

1、   每次迭代都需要调整， 修改的目的是环节模型的高频波动，本系统的 计算方法是：  ，使得每次迭代的 值会变小，但是不会缩小为0；

2、  通过随机选取样本来更新回归参数，这种方式避免了顺序数据的周期性波动。

3、  Sigmod函数就是一个类阶跃函数 ，作用是把数据进行归一化

Python代码实现如下：

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = shape(dataMatrix)
    weights = ones(n)   #初始化权重值
    index = 1;
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
#aplha值每次随机调整大小通过i和j
            alpha = 4/(1.0+j+i)+0.0001   
#随机选择数据
            randIndex = int(random.uniform(0,len(dataIndex)))
#依据数据向量和权重内乘预测标签值
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
#依据预测标签值和现有标签值计算delta值
            delta = classLabels[randIndex] – h
#更新权重
            weights = weights + alpha * delta * dataMatrix[randIndex]
            del(dataIndex[randIndex])
return weights

优点

1、计算代价不高，易于理解和实现

缺点

1、容易产生欠和过拟合。

2、分类精度不高。