逻辑回归是机器学习和统计学中最经典、最常用的模型之一，尽管名字中带有“回归”，但它实际上是一种用于解决二分类问题的分类算法。

核心思想：从线性回归到分类

线性回归的局限：

• 线性回归的公式是 y = wX + b，其输出 y是一个连续的实数值。对于分类问题（比如判断邮件是“垃圾邮件”或“非垃圾邮件”），我们希望输出一个类别标签（如 0 或 1）或一个概率。
• 如果直接将线性回归的输出作为类别（例如 y > 0.5 为1，否则为0），会面临很多问题，比如输出值可能远大于1或小于0，没有概率意义，且对异常值敏感。

逻辑回归的解决方案：

• 逻辑回归在线性回归的基础上，增加了一个“激活函数”，将线性回归的连续输出映射到 (0, 1) 区间内。
• 这个激活函数就是 Sigmoid 函数（也叫 Logistic 函数）。

Sigmoid 函数

Sigmoid 函数的公式为：σ(z) = 1 / (1 + e^(-z))

其中，z就是线性回归的输出 z = wX + b。

这个函数有什么特点？

• 输出范围： 无论 z取任何实数值，σ(z)的输出都会被压缩到 (0, 1) 之间。
• 几何图形： 是一条光滑的 S 形曲线。
• 概率解释： 我们可以将 σ(z)的输出解释为样本属于正类（标签为 1）的概率。
• P(y=1 | X) = σ(z) = 1 / (1 + e^(-(wX + b)))
• 那么，属于负类（标签为 0）的概率就是 P(y=0 | X) = 1 - P(y=1 | X)。

决策边界

我们得到了概率，如何最终做出分类决策呢？我们需要一个阈值，通常设为 0.5。

• 如果 P(y=1 | X) > 0.5，则预测为类别 1。
• 如果 P(y=1 | X) < 0.5，则预测为类别 0。

从 Sigmoid 函数的图像可以看出，P(y=1 | X) = 0.5正好对应着 z = wX + b = 0。

• 所以，决策边界实际上就是一条直线（在二维特征空间）或一个超平面（高维空间），其方程就是 wX + b = 0。
• 虽然决策边界是线性的，但逻辑回归通过 Sigmoid 函数引入了非线性的概率解释，这与单纯的线性分类器（如感知机）不同。