[W3]逻辑回归以及正则化

布尔分类

在这样的分类种，只有两种情况，0或者1，类似于计算机中常用的布尔变量

逻辑回归

前面已经提到过线性回归，那么什么是逻辑回归呢，其实是一个关于自然底数e的函数，其定义和图像如下图

决策边界

有了上面两个部分的介绍，我们可以引出一个新的概念——决策边界 当一个数大于我们的决策边界的时候，其结果就是1，否则为0，具体可以参看下图

在这里我们取决策边界为0.5

逻辑回归的代价函数

那么，对于逻辑回归问题，它的代价函数又是怎样的呢？我们需要分两种情况讨论 y = 1 以及 y = 0 具体见下图

上面的两种情况我们可以合并为同一个公式，如下

逻辑回归的梯度下降公式

有了逻辑回归的公式和其代价函数的表达式，我们现在就可以得到其梯度下降的方法了，如下

当然要记住，我们依旧要同步更新所有的参数

高级寻找最佳参数的方法

除了梯度下降之外，我们还可以用另外的方法来寻找最佳的参数序列。 但是这些方法的实现都非常非常复杂，不过已经有人帮我们实现了，我们只需要调用库里面的方法就可以了，下面大概介绍一下有哪些 1."Conjugate gradient" 2."BFGS" 3."L-BFGS"

一对多预测

到目前为止，我们的结果只有一个数，0或者1，那么我想一次预测多个结果呢？ 我们可以使用一对多的向量化方法来实现，见下图

正则化

对代价函数的正则化

正则化可以防止我们的问题解决方案过度的拟合测试数据，让其对未来需要预测的数据具有更加的预测效果 对逻辑回归代价函数的正则化如下图，注意，不正则化第一个参数θ0

我们可以看到，我们的公式多了一个尾巴,这就是我们的正则化了，非常的简单 增大λ会让我们的公式拟合度变低，普适性增加 减小λ则会让我们的公式更加的拟合现有数据

梯度下降中的正则化

在梯度下降中，我们也用同样的方式来进行正则化，如下图,同样记住，不正则化第一个参数θ0