逻辑回归算法推到

① 逻辑回归、决策树、支持向量机算法三巨头

逻辑回归、决策树、支持向量机算法三巨头
1 逻辑回归
首先逻辑回归是线性回归衍生过来的，假设在二维空间上，本质上还是一条线，那么在三维空间，他就是一个平面。把数据分成两边，就是直的不能再直的一条线或者一个平面。那么假设现在我们有两个变量，就是图中这两个变量，为什么假设y=1是坏客户的话，根据图中可以看到，单个变量的划分并不可以把两种类型的客户分的很好，要两个变量相互作用，假设x1为查询次数，x2为在还贷款笔数，那可以看到当x1小以及x2比较小的时候，那么客户肯定在左下角的地方，那么当他其中一项比较高的时候就会趋于右上角，x1 x2都高的时候，就是越过分割线，落于分割线的上方了。这里我们可以看到，x1 x2是两个有趋势性的变量才可以达到这种这么好的一个分类效果。

那么现在假设数据是以下这种：

可以看到变量的趋势跟y的分类没有什么关系的时候，这时候逻辑回归就显得很鸡肋，分的效果一点都不好。
2 决策树
决策树。刚才说的是逻辑回归是一条直到不能再直的直线或者平面，那么决策树就是一条会拐弯，但是不能有角度的，永远直行或者90度拐的直线或者面，看下图，你可以理解为决策树就是一条贪吃蛇，他的目标就是把好坏客户分的很清晰明了，要是贪吃蛇过分的贪吃就会造成过拟合，那么过拟合是啥，就是你问你喜欢的妹纸，妹纸你喜欢什么样的男生，妹纸说，我喜欢长的好看的，帅气，温柔体贴，会做饭的，巴拉巴拉一大堆，足足100多条，然后你实在太喜欢妹纸，所以按照她的要求，到头来你真的跟妹纸在一起了，妹纸说，其实我只要你长得好看就可以了，其他的100多条都是无所谓的。拉回来决策树，决策树适应的数据假设像逻辑回归那种数据的话，其实按照决策树的这种贪吃蛇的方式其实还是很难分的，所以决策树适用的数据是变量与因变量呈现一个u型分布的数据，就是两头是一类，单峰聚集了另外一类数据。你在变量特征分析的，看到变量都是呈现这种趋势的，你就要暗喜了，老子要用决策树立功了！！！

3 支持向量机
支持向量机，要是没有数学基础的人看支持向量机的把低维的数据转化成高维可以在高维空间分类的算法这句话时候估计是一脸懵逼，我以前也是很懵逼，这到底是啥，我们以只有两个变量的举个例子，譬如你现在相区分一群客户的好坏，这时候就给出这群人的两个变量，查询次数和贷款次数，然后这时候你通过某些什么开方啊，幂次数，取对数的方式啊，你刚好拟合除了三元方程，这条方程你把身高体重的数据输进去，算出来的第三个未知数在这条方程里面的，就是男的，在这方程里面就算女的，这样子可能你不是很清楚，请看下图

刚才我们把数据丢进入，支持向量机帮我们这份数据拟合了这个圆，把这两类数据分的像图中的这样子很好，那么这时候我们需要这条圆的方程，产生变量的运用口径，这条方程是：
25=(x-5)2+(y-5)2那么这时候当贷款次数和查询次数分别减5再2次幂的时候如果数小于25那么就是好客户，假设大于25就是坏客户。支持向量机是在除了变量所有的维度之外又给了他一个维度之后，把拟合的方程再投放在原来的维度空间。支持向量机可以适用的数据那么就是在你用决策树和逻辑回归走投无路的时候就可以用支持向量机了，但是就像我们刚才得出这道方程一样，出来的变量口径是没有逻辑的，他可能要变量开方，取对数，假设你这模型要跟业务去解释的时候，我就不知道你要想多少套路了。

② 逻辑回归算法原理是什么

逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，测试验证这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。

Logistic回归模型的适用条件

1、因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但是需要注意，重复计数现象指标不适用于Logistic回归。

2、残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。

3、自变量和Logistic概率是线性关系。

以上内容参考：网络-logistic回归

③ 回归算法有哪些

回归算法有：
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
用一个方程式来表示它，即Y=a+b*X + e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。
逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。这里，Y的值从0到1，它可以方程表示。

④ 逻辑回归原理

逻辑回归原理基本概念
1. 什么是逻辑回归
逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）

回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率

2. 逻辑回归的优缺点
优点：
1）速度快，适合二分类问题
2）简单易于理解，直接看到各个特征的权重
3）能容易地更新模型吸收新的数据
缺点：
对数据和场景的适应能力有局限性，不如决策树算法适应性那么强

3. 逻辑回归和多重线性回归的区别
Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。
这一家族中的模型形式基本上都差不多，不同的就是因变量不同。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。

如果是连续的，就是多重线性回归
如果是二项分布，就是Logistic回归
如果是Poisson分布，就是Poisson回归
如果是负二项分布，就是负二项回归
4. 逻辑回归用途
寻找危险因素：寻找某一疾病的危险因素等；
预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；
判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。
5. Regression 常规步骤
寻找h函数（即预测函数）
构造J函数（损失函数）
想办法使得J函数最小并求得回归参数（θ）
6. 构造预测函数h(x)
1) Logistic函数（或称为Sigmoid函数），函数形式为：



对于线性边界的情况，边界形式如下：


其中，训练数据为向量

最佳参数


构造预测函数为：


函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：
P(y=1│x;θ)=h_θ (x)
P(y=0│x;θ)=1-h_θ (x)

7.构造损失函数J（m个样本，每个样本具有n个特征）
Cost函数和J函数如下，它们是基于最大似然估计推导得到的。


8. 损失函数详细推导过程
1） 求代价函数
概率综合起来写成：

取似然函数为：

对数似然函数为：


最大似然估计就是求使l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。

在Andrew Ng的课程中将J(θ)取为下式，即：


2) 梯度下降法求解最小值


θ更新过程可以写成：


9. 向量化
ectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。
向量化过程：
约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：

g(A)的参数A为一列向量，所以实现g函数时要支持列向量作为参数，并返回列向量。
θ更新过程可以改为：


综上所述，Vectorization后θ更新的步骤如下：

求 A=x*θ
求 E=g(A)-y
求
10.正则化
（1） 过拟合问题
过拟合即是过分拟合了训练数据，使得模型的复杂度提高，繁华能力较差（对未知数据的预测能力）
下面左图即为欠拟合，中图为合适的拟合，右图为过拟合。


（2）过拟合主要原因
过拟合问题往往源自过多的特征
解决方法
1）减少特征数量（减少特征会失去一些信息，即使特征选的很好）
• 可用人工选择要保留的特征；
• 模型选择算法；
2）正则化（特征较多时比较有效）
• 保留所有特征，但减少θ的大小

（3）正则化方法
正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

正则项可以取不同的形式，在回归问题中取平方损失，就是参数的L2范数，也可以取L1范数。取平方损失时，模型的损失函数变为：

lambda是正则项系数：
• 如果它的值很大，说明对模型的复杂度惩罚大，对拟合数据的损失惩罚小，这样它就不会过分拟合数据，在训练数据上的偏差较大，在未知数据上的方差较小，但是可能出现欠拟合的现象；
• 如果它的值很小，说明比较注重对训练数据的拟合，在训练数据上的偏差会小，但是可能会导致过拟合。

⑤ 完成一个逻辑回归的算法.其中data.npz是数据，读取数据的方法为:

逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。 注意，这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和，而非直接相乘。

Sigmoid 函数

Sigmoid函数是一个常见的S型数学函数，在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。在逻辑回归、人工神经网络中有着广泛的应用。Sigmoid函数的数学形式是：

对x求导可以推出如下结论：

⑥ 机器学习故事汇-逻辑回归算法

机器学习故事汇-逻辑回归算法
今天我们要来讨论的一个分类算法-逻辑回归（你有没有搞错，这不还是回归吗，虽然名字带上了回归其实它是一个非常实用的分类算法）。，适合对数学很头疼的同学们，小板凳走起！

先来吹一吹逻辑回归的应用，基本上所有的机器学习分类问题都可以使用逻辑回归来求解，当前拿到一份数据想做一个分类任务的时候第一手准备一定要拿逻辑回归来尝试（虽然有很多复杂的模型比如神经网络，支持向量机的名气更大，但是逻辑回归却更接地气，用的最多的还是它）！在机器学习中无论是算法的推导还是实际的应用一直有这样的一种思想，如果一个问题能用简单的算法去解决那么绝对没必要去套用复杂的模型。

在逻辑回归中最核心的概念就是Sigmoid函数了，首先我们先来观察一下它的自变量取值范围以及值域，自变量可以是任何实数（这没啥特别的！）但是我们观察值域的范围是[0,1]也就是任意的一个输入都会映射到[0,1]的区间上，我们来想一想这个区间有什么特别的含义吗？在我们做分类任务的时候一般我都都会认为一个数据来了它要么是0要么是1（只考虑二分类问题），我们其实可以更细致一点得出来它是0或者1的可能性有多大，由此我们就得出了一个输入属于某一个类别的概率值，这个[0,1]不就恰好是这个概率吗！

在这里我们的预测函数还是跟线性回归没有多大差别，只不过我们将结果又输入到Sigmoid函数中，这样得到了数据属于类别的概率值。在推导过程中，我们假定分类是两个类别的（逻辑回归是经典的而分类器）。设定y（标签）要么取0要么取1，这样就可以把两个类别进行整合，得到一个更直观的表达。

对于逻辑回归的求解，已然沿用我们上次跟大家讨论的梯度下降算法。给出似然函数，转换对数似然（跟线性回归一致），但是我们现在的优化目标却跟之前不太一样了，线性回归的时候我们要求解的是最小值（最小二乘法），但是现在我们想得到的却是使得该事件发生得最大值，为了沿用梯度下降来求解，可以做一个简单的转换添加一个负号以及一个常数很简单的两步就可以把原始问题依然转换成梯度下降可以求解的问题。

此处求导过程看起来有些长，但也都是非常非常基本的运算了，感兴趣拿起一支笔来实际算算吧！

最终就是参数更新了，迭代更新是机器学习的常规套路了。但是我们来简单想一想另外的一个问题，现在我们说的逻辑回归是一个二分类算法，那如果我的实际问题是一个多分类该怎么办呢？这个时候就需要Softmax啦，引入了归一化机制，来将得分值映射成概率值。
最后一句话总结一下吧，任何时候（没错就是这么狠）当我们一个实际任务来了，第一个算法就是逻辑回归啦，可以把它当成我们的基础模型，然后不断改进对比！