深度学习的数学-卷积神经网络的误差反向传播 本篇博客主要记录反向传播法在卷积神经网络中的应用,如何像全连接的隐藏层那样,通过输出层的神经单元误差反向推算出所有层的神经单元误差,最终得到梯度。 2020年3月12日 at 下午6:38 Jie read more
深度学习的数学-卷积神经网络的结构和变量关系 主要介绍了过滤器、卷积层和池化层中间的关系和工作原理,以及在卷积神经网络中各个层的变量参数定义,以及各个层之间的数学关系,最后得到了代价函数。 2020年3月11日 at 上午11:20 Jie read more
深度学习的数学-神经单元误差和反向传播 本篇博客主要讲神经单元误差的定义及其含义,以及比较重要的误差反向传播法,也就是大名鼎鼎的BP算法 2020年3月9日 at 上午11:49 Jie read more
深度学习的数学-神经网络关系式、代价函数最优化 本篇主要记录神经网络的参数表示法,每个层每个神经单元的关系式,正解和代价函数,以及代价函数最小化、参数和训练数据规模等 2020年3月3日 at 下午6:03 Jie read more
深度学习的数学-梯度下降 主要介绍了什么是梯度,如何通过让一个函数通过每一点的梯度向量和学习率η趋近于极值,还通过二变量下的梯度下降法推广到适用于神经网络的多变量下的梯度下降法 2020年3月1日 at 下午1:18 Jie read more
深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式 前文中对导数、偏导数已经有了概念并能进行简单计算,本篇主要介绍单变量和多变量的复杂函数 2020年2月28日 at 下午2:06 Jie read more
深度学习的数学-导数和偏导数 本篇主要介绍了导数和偏导数的特点和求解,以及导数与函数增减性和极值的联系,像延展出来的多变量函数的极值求解问题以及拉格朗日乘数法,在日后神经网络的计算中均会得到体现。 2020年2月27日 at 下午5:01 Jie read more
深度学习的数学-向量与矩阵 本篇主要学习下线代中向量与矩阵相关的知识,包括多维向量内积与机器学习中递推的关系,矩阵的基础概念和计算等;在书中也只提到与机器学习有关联的基础知识点,整体难度不算高; 2020年2月26日 at 下午9:44 Jie read more
深度学习的数学-数列递推和Σ 本篇博客主要复习下高中数学中的数列,包括数列的三种表示形式,一种是通项公式,另一种是递推关系式,另一种是联立递推关系式 神经单元的输入计算就涉及到这种递推式;另外还介绍了Σ运算的规则及常用形式。 2020年2月26日 at 上午11:26 Jie read more
深度学习的数学-需要了解的函数 本篇博客主要介绍深度学习中需要掌握的函数,包括一次函数、二次函数、单位阶跃函数、指数函数、sigmoid函数等概念 2020年2月25日 at 上午9:46 Jie read more