【机器学习】逻辑回归模型

一、逻辑回归模型

• 要说逻辑回归，我们得追溯到线性回归模型，线性回归是对于多维空间中的样本点，用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示：
  
• 线性回归用来对连续值结果进行预测，现在我们需要处理的是分类问题，这里主要讨论二分类问题，可以推广导多分类问题中去。
• 将线性回归推广到分类问题最直接的想法是：
  • 线性回归预测出连续值结果，那么如果我们在线性回归的基础上设定一个阈值，将线性回归输出结果大于这个阈值的归为正例，反正为反例。
  • 下面我们使用用Andrew Ng老师的课件中的例子来说明一下这种情况，下图中$X$为数据点肿瘤的大小，$Y$为观测结果是否是恶性肿瘤。$h_{\theta }(x)$为构建的线性回归模型，并且设定一个阈值=0.5，预测$h_{\theta }(x)\ge 0.5$的这些点为恶性肿瘤，而$h_{\theta }(x)<0.5$为良性肿瘤。
    
  • 但如果是下面样本的情况：
    
    现在再设定0.5，于是我们需要调整相应的阈值才能获得较好的结果，
  • 而现实生活的分类问题中，会比例子中这个更为复杂，而这个时候我们借助于线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器。
• 逻辑回归 将线性回归推广到分类问题想法：
  • 上面的分析可以看出线性回归+阈值对于复制情况下是不适用的，于是我们就可以换个思路：我们将线性回归模型不再想象为一个拟合样本的直线或超平面，而是现象成为一个分割样本点的直线或超平面。如下图所示：
    
    我们将学习到的线性回归模型h_θ (x)称为分离超平面，将平面以上的样本归为正例($h_{\theta }(x)>0$)，以下的样本归为负例($h_{\theta }(x)<0$)。这样就不需要对阈值进行选择了。
  • 以上思路的模型可以表示为：$$f(x)=sign(h_{\theta }(x))$$
  • 其中$sign$为符号函数：
    
  • 因为sign函数值不连续，无法进行一些相关求导，所以不方便后面的优化计算，于是我们找来替补函数Sigmoid函数：$$g(x)=\frac{1}{1+e^{-z}}$$
  • 图像如下：
    
  • 于是我们得到逻辑回归的模型：$$f(x)=g(h_{\theta }(x))=\frac{1}{1+e^{-h_{\theta }(x)}}=\frac{1}{1+e^{-W^{T}x}}$$
• 注意：
  • 上面说在逻辑回归中其中的线性回归模型为分离直线或者分离超平面，其实只是不一定的，线性模型可以是曲线或者曲面，主要取决于使用的特征：
  • 下图是直线或平面的例子：
    
    这幅图中逻辑回归使用的线性回归模型为：$h_{\theta }(x)=w_1{x}_1+w_2{x}_2+w_0$
  • 下图是曲线或曲面的例子：
    
    这幅图中逻辑回归使用的线性回归模型为：$h_{\theta }$