1.模型概念

        逻辑回归模型是一种分类模型，它可以处理二院分类以及多分类的任务。我们知道，线性回归的模型是求出目标变量Y和样本矩阵X之间的线性关系，满足。此时Y是连续变量，所以是回归模型。若Y是离散的，我们可以对上面回归公式得到的数值再次进行转换，逻辑回归回归模型就是这样转换得到的，转换后就是一个二元分类模型。
        对输入的样本矩阵X线性回归得到，我们使用函数再次进行转换得到逻辑回归(Logistic Regression Model,LR)模型，函数的形式如下：

        函数有一个性质：当趋于正无穷时，趋于1，当趋于负无穷时，趋于0。另外，它的导数性质是：
        令，可得到逻辑回归模型的一般形式：，其中为样本输入，为所求模型参数，其输出可理解为某一类的该概率，如果，即，则为1,如果，即，则为0,如果，即，则无法正确分类。值越小，样本所属0类的概率越高，反之，所属1类的概率越大。
将模型写为矩阵形式，其中，为模型输出m1的维度，为样本矩阵，维度为mn，为模型参数，维度为n*1。

2.损失函数

        模型输出值的范围为[0,1]，可以认为是样本属于1类的概率:


两个公式合并为:

使用似然函数最大化求解模型参数，似然函数的公式为:

其中m为样本的个数。
　　　　对似然函数对数化取反的表达式，即损失函数表达式为：

3.正则化

        对于线性回归模型，使用L1正则化的模型成为Lasso回归，可以用于特征选择；使用L2正则化的模型称为Ridge回归，可以防止过拟合。

4.优点与缺点

优点：
1）预测结果是介于0和1之间的概率；
2）可以适用于连续性和类别性自变量；
3）容易使用和解释。
缺点：
1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符合预期，符号被扭转。需要利用因子分析或者变量聚类分析等手段来选择代表性的自变量，以减少候选变量之间的相关性；
2）预测结果呈“S”型，因此从log(odds)向概率转化的过程是非线性的，在两端随着log(odds)值的变化，概率变化很小，边际值太小，slope太小，而中间概率的变化很大，很敏感。 导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值。

参考链接：