[W5]神经网络的学习

代价函数

首先需要定义几个变量 L = 这个神经网络的总层数 sl= 第L层的单元数量 K = 输出层的单元数量 在神经网络中，我们的输出节点不止一个，我们用hΘ(x)k 来表示第k个输出 还记得逻辑回归的代价函数吗？

对于神经网络来说，代价函数更加复杂一些

反向传播算法

反向传播算法是一种用于最小化代价函数的算法，正如我们在逻辑回归问题中使用的梯度下降算法一样。 引入一个新概念，error，

代表了第l层第j个节点的误差值。 对于输出节点来说，我们可以通过下面公式计算error 对于输出层之外的节点误差，我们可以用下面公式来计算 关于公式里的.和g，意义如下 1..用于矩阵运算，将对应位置的每个元素相称，两个矩阵必须同样的大小 2.g也可以被写成 所以，误差计算公式也可以表达如下

算法流程

有了上面的背景知识，我们就可以看看这个算法到底是怎样的流程了，如下图