逻辑回归：从回归到分类的数学演变

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）、《解密程序员的思维密码——沟通、演讲、思考的实践》作者、清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。

📙不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

🌟 逻辑回归：从线性回归到分类决策的演化

🍊 一、问题起源：线性回归为何不能直接用于分类？

🎉 1.1 回归 vs 分类的本质差异

线性回归是一种统计方法，主要用于预测连续值，它通过拟合一条直线来最小化误差。例如，在预测房价时，线性回归会输出一个连续的数值，如50万元。

然而，分类任务则旨在将数据点分配到不同的类别中。例如，在红/绿点分类任务中，我们需要找到一个决策边界来区分红色点和绿色点。这种本质差异导致了线性回归在分类任务中的局限性。

🎉 1.2 直接使用线性回归的缺陷

如果我们尝试直接使用线性回归进行分类，并设定一个阈值（如y>0.5判为正类），会存在以下问题：

• 输出值无概率意义，可能超出[0,1]范围。
• 分段函数不可导，无法通过梯度下降优化参数。

🍊 二、核心突破：Sigmoid函数如何连接回归与分类？

🎉 2.1 Sigmoid函数的数学魔力

Sigmoid函数（σ(z) = 1 / (1 + e^(-z)））可以将任意实数z映射到(0,1)区间，输出可解释为概率。这使得Sigmoid函数成为连接回归与分类的关键。

• 值域压缩：将任意实数z映射到(0,1)区间，输出可解释为概率。
• 可导性：导数σ'(z) = σ(z)(1 - σ(z))，便于梯度下降优化。
• 决策规则：y^ = {1 if σ(z) ≥ 0.5, 0 otherwise}。

🎉 2.2 为何不用分段函数？

分段函数不可导，无法通过梯度下降求解参数θ。Sigmoid函数提供平滑近似，保留可导性且逼近阶跃函数。

🍊 三、数学推导：从概率建模到参数优化

🎉 3.1 概率建模

• 正类概率：P(y=1|x) = σ(θ^T x) = 1 / (1 + e^(-θ^T x))。
• 负类概率：P(y=0|x) = 1 - P(y=1|x)。

🎉 3.2 损失函数：交叉熵（Cross-Entropy）

• 通过极大似然估计推导：
  • L(θ) = ∏(i=1)^n P(y_i|x_i;θ) = ∏(i=1)^n y_i^(1-y_i)^(1-y_i)。
• 取负对数似然得损失函数：
  • J(θ) = -1/n ∑(i=1)^n [y_i ln(y^i) + (1 - y_i) ln(1 - y^i)]。

🎉 3.3 梯度下降优化

• 梯度计算：∇θJ = 1/n X^T(σ(Xθ) - y)。
• 参数更新：θ = θ - α∇θJ（α为学习率）。

🍊 四、决策边界：线性与非线性拓展

🎉 4.1 线性决策边界

• 当σ(z) = 0.5时，z = 0，即θ^T x = 0为分类超平面。
• 例：二维空间中为直线，三维为平面。

🎉 4.2 非线性边界拓展

• 通过特征工程引入多项式项（如x1^2, x1x2）。
• 核函数（Kernel Trick）映射高维空间（需配合正则化防过拟合）。

🍊 五、代码实现：Python实战示例

import numpy as np

class LogisticRegression:
    def __init__(self, lr=0.01, n_iters=1000):
        self.lr = lr
        self.n_iters = n_iters
        self.weights = None
        self.bias = None

    def _sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)
        self.bias = 0

        for _ in range(self.n_iters):
            z = np.dot(X, self.weights) + self.bias
            y_pred = self._sigmoid(z)

            dw = (1 / n_samples) * np.dot(X.T, (y_pred - y))
            db = (1 / n_samples) * np.sum(y_pred - y)

            self.weights -= self.lr * dw
            self.bias -= self.lr * db

    def predict(self, X, threshold=0.5):
        z = np.dot(X, self.weights) + self.bias
        y_prob = self._sigmoid(z)
        return (y_prob >= threshold).astype(int)

🍊 六、工业应用与局限

🎉 6.1 场景

• 金融风控：用户违约概率预测。
• 医疗诊断：疾病阳性概率判断。
• 推荐系统：用户点击/购买行为预测。

🎉 6.2 逻辑回归优势

• 可解释性强（权重代表特征影响）。
• 计算高效（适合实时系统）。
• 对稀疏特征鲁棒性好。

🎉 6.3 局限性

• 仅适合线性可分数据（需特征工程或高阶拓展）。
• 对异常值敏感（需数据清洗或正则化）。
• 多分类需扩展（如OvR, Softmax）。

🍊 七、结语：为什么逻辑回归是分类基石？

• 数学简洁性：线性组合 + 概率映射，奠定广义线性模型基础。
• 工程实用性：梯度下降高效求解，适合大规模数据。
• 可解释性：权重系数直接反映特征重要性（优于黑盒模型）。

“逻辑回归的智慧在于：用连续的数学工具解决离散的决策问题，这正是机器学习的艺术。” —— 算法设计者视角

🍊 技术描述补充

逻辑回归是一种广泛应用于分类问题的机器学习算法。它通过拟合一个逻辑函数来预测样本属于某个类别的概率。以下是逻辑回归的一些技术特点和应用：

🎉 特点

• 线性模型：逻辑回归的决策边界是线性的，这意味着它假设特征之间的交互是线性的。
• 概率预测：逻辑回归输出的是概率值，而不是直接的类别标签。
• 可解释性：逻辑回归的权重可以解释为特征对预测结果的影响程度。
• 高效性：逻辑回归的计算效率较高，适合大规模数据集。

🎉 应用

• 二分类问题：如垃圾邮件检测、信用评分等。
• 多分类问题：如文本分类、图像分类等。
• 回归问题：虽然逻辑回归主要用于分类，但它也可以用于回归问题，如预测房价。

博主分享

📥博主的人生感悟和目标

📙经过多年在CSDN创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。

• 《Java项目实战—深入理解大型互联网企业通用技术》基础篇的购书链接：https://item.jd.com/14152451.html
• 《Java项目实战—深入理解大型互联网企业通用技术》基础篇繁体字的购书链接：http://product.dangdang.com/11821397208.html
• 《Java项目实战—深入理解大型互联网企业通用技术》进阶篇的购书链接：https://item.jd.com/14616418.html
• 《Java项目实战—深入理解大型互联网企业通用技术》架构篇待上架
• 《解密程序员的思维密码--沟通、演讲、思考的实践》购书链接：https://item.jd.com/15096040.html

面试备战资料

八股文备战

理论知识专题（图文并茂，字数过万）

集群部署（图文并茂，字数过万）

开源项目分享

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案：https://download.csdn.net/download/java_wxid/91148718

希望各位读者朋友能够多多支持！

现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

• 💂 博客主页： Java程序员廖志伟
• 👉 开源项目：Java程序员廖志伟
• 🌥 哔哩哔哩：Java程序员廖志伟
• 🎏 个人社区：Java程序员廖志伟
• 🔖 个人微信号： SeniorRD

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~