关于BP算法

之前学BP算法的时候忘记做记录,今天复习到,顺便做个笔记。

BP算法,全称Backpropagation算法,是一种与最优化方法结合使用的,用来训练人工神经网络的算法。其作用就是在求梯度的时候大大减少了时间复杂度。本文基于简单的前馈神经网络介绍BP算法,在其他网络中有一些变形,如RNN中使用BPTT算法。

继续阅读关于BP算法

线性回归使用最小二乘法的概率解释

在线性回归中,我们一般使用最小二乘法进行模型求解,即使用基于均方误差(式1)最小化进行求解。而逻辑回归中使用交叉熵作为代价函数(至于为什么使用交叉熵,在本人另一篇博文中有写)。

\sum_{i=1}^{n} (y^i-w^Tx^i)^2 \quad (1)

继续阅读线性回归使用最小二乘法的概率解释