本文共 2477 字，大约阅读时间需要 8 分钟。

逻辑回归（Logistic Regression）

判别模型：我们只需要学习P(y|x)。

让步比（odds ratio）：

假设一个特征有0.9的概率属于类别1，P(y=1)=0.9。那让步比为：P(y=1)/P(y=0) = 0.9/0.1 = 9。让步比范围0到正无穷。取对数后将所有0到1之间的概率映射到负无穷到正无穷，更高的概率对应于更高的让步比对数。

线性等式：

$$y_i=w_0+w_1x_i$$

等式替换（用p替换y）：

$$log(\frac{p(y=1|x)}{p(y=0|x)})=log(\frac{p_i}{1-p_i})=w_0+w_1x_i$$

求解pi：

$$p_i=\frac{1}{1+e^{-(w_0+w_1x_i)}}$$

Binary case:

$$p(y=1|x)=\frac{e^{w_0+\sum_i{w_ix_i}}}{1+e^{w_0+\sum_i{w_ix_i}}}$$

$$p(y=0|x)=\frac{1}{1+e^{w_0+\sum_i{w_ix_i}}}$$

sigmoid函数：

$$y=\frac{1}{1+e^{-z}}$$

损失函数：

$$L(w) = \sum_{i=1}^N[y_ilog(p(y=1|x)) + (1-y_i)log(p(y=0|x))]$$

优化算法

梯度下降算法：

$$w := w - \alpha \nabla_w f(w)$$

$$b := b - \alpha \nabla_b f(b)$$

特征：

对于逻辑回归，我们可以通过已经掌握的系数（clf.coef_）直接就能获知这个特征的影响力。一个特征的系数越高，就在模型预测过程中的作用越大；负值系数告诉我们对负类的贡献度。

多项逻辑斯蒂回归

将LR泛化到多分类。

Multinomial case:

$$p(y=k|x)=\frac{e^{(w_0+w_kx)}}{1+\sum_{k=1}^{K-1}{e^{-(w_0+w_kx)}}}, k=1,2,...,K-1$$

$$p(y=K|x)=\frac{1}{1+\sum_{k=1}^{K-1}{e^{-(w_0+w_kx)}}}$$

损失函数：

$${min}_{w,c}\frac{1}{2}w^Tw+C\sum_{i=1}^{n}{log(exp(-y_i(X_i^Tw+b))+1)}$$

$${min}_{w,c}{||w||}_1+C\sum_{i=1}^{n}log\left(exp\left(-y_i\left(X_i^Tw+b\right)\right)+1\right)$$

应用

from sklearn.linear_model import LogisticRegressionclf = LogisticRegression()clf.fit(X, y)

重要参数：

• C：Inverse of regularization strength; must be a positive float. Like in support vector machines, smaller values specify stronger regularization.
• penalty : str, ‘l1’ or ‘l2’, default: ‘l2’

小结

Given this model formulation, we want to learn parametes {c_i} that maximise the conditional likehood of the data according to the model.

Due to the softmax function we only construct a classifier, but learn probablity distributions over classifications.

These are many ways to chose weights {c_i}:

• Percptron: Find misclassified examples and move weights in the direction of their correct class
• Margin-Based: Methods such as Support Vector Machines can be used for learning weights
• Logistic Regression: Directly maximise the conditional log-likelihood via gradient descent.

---

《Building Machine Learning Systems with Python》

scikit-learn.org/stable/modules/linear_model.html#logistic-regression

《统计学习方法》

转载地址：http://kioji.baihongyu.com/