-
逻辑回归基本造型
查看全部 -
网络结构,激励函数,损失函数,梯度下降
查看全部 -
密集型矩阵,稀疏型矩阵
查看全部 -
SGD Trainer
查看全部 -
左侧为正向传播过程,右侧为调校参数过程
查看全部 -
网络梯度下降反向传播,每一层都要求,一直到倒数第二层,最后一层输入的x不需要求。
查看全部 -
大型神经网络
查看全部 -
加入矩阵维度
查看全部 -
输入->隐含->输出->结果值
查看全部 -
:=的意思是同步更新
阿尔法是学习速率
查看全部 -
什么是梯度下降?
通过一种渐近式的方式,来调整整个函数的形态
在这里决定函数样子的就是w和b,当然已经确定了激励函数的情况下
找到一个适合的w和b值:先正向计算一个y值,此时w和b是初始值,此y值和真实的y值会有差异,差异通过损失函数反馈出来,然后通过损失函数对w和b进行求导,可以得出损失函数的极小值,在求极小值的过程中调校w和b,在取得的损失函数极小值时的y值就和真实的y值差异最小。
查看全部 -
全部训练损失:单次训练的加和平均化
查看全部 -
学习值与原始值之间的差异性
y^是学习值,y是原始的标准值
查看全部 -
激励函数的作用是提供规模化的非线性化能力。
三种激励函数:
Sigmoid。优点,整个区间内可导,缺点,非中心对称,在值非常大或者非常小时,变化不明显。
tanh。缺点,在值非常大或者非常小时,变化不明显。
ReLU。广泛使用的。
查看全部 -
逻辑回归是一种最简化的网络结构
查看全部
举报
0/150
提交
取消