-
激励函数：
作用：提供规模化的非线性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函数适用于结果为判断是非的场合，但由于其对称中心在(0, 0.5)，还需要进行数据中心化，由此提出了其改进函数tanh
Sigmiod和tanh的缺点是当数值很大或很小时，结果变化比较平缓，由此提出了ReLU函数，ReLU是最常用默认的一种激活函数
查看全部 -
这个太简单了，大家看完了还是一脸懵逼，我给大家指条路参考： 第一步：复习线性代数。http://open.163.com/special/opencourse/daishu.html。 第二步：入门机器学习算法。http://open.163.com/special/opencourse/machinelearning.html。 第三步：尝试用代码实现算法。https://www.coursera.org/learn/machine-learning。 还有这个也是不错的https://www.coursera.org/learn/neural-networks。查看全部
-
分类识别（图片就是一个像素的矩阵）：图像是稀疏型矩阵、语音和文本是密集型矩阵，图像和语音中的点大部分为非零值，而文本可能是零值居多，所以文本还有一些预处理要做。
每一个节点（神经元）的处理包括：
（1）将输入x进行线性组合；
（2）将线性组合的结果通过激活函数g(z)转化为非线性的结果，以处理非线性问题
网络结构
激励函数
损失函数
梯度下降
查看全部 -
损失函数判断学习产生的函数值和训练集给出的函数值之间的差异性。
不使用欧几里得距离（预测值与真实值做差）而使用log函数是因为，通过激励函数学习出的平面并不是凸函数平面，在后期做梯度下降（与是否是凸函数有关）时有多个局部极小值时，学习结果不准确。
-->使用log变成凸函数。
查看全部 -
激励函数的作用是提供规模化的非线性化能力，模拟神经元被激发后非线性状态的变化。
Sigmoid：区间[0,1]
优点：整个区间段可导。
缺点：不是原点中心对称，对称点(0,0.5)-->数据中心化(0,0)
tanh：区间[-1,1]
优点：sigmoid函数平移后得到，中心对称。
缺点：趋向于较大或较小时，导数为0，函数变化平缓，神经网络学习效率受影响，学习周期变长。
ReLU（较为普遍）：
缺点：小于0时，导数为0，出现问题-->可改为斜率较小的斜线
查看全部 -
逻辑回归：
逻辑回归是一种最简化的神经结构，输入单个节点的处理也可以有一个预测输出，通过选定损失函数对预测结果进行评估，并进行反向学习进一步修改线性组合的参数W和b
查看全部 -
一次正向运算就可以得到一个y(预测值),根据这个预测y与真实y之间的差异得到损失函数，每一个损失函数都可表示成一个面，那么这个面上有最大值也有最小值，这是根据地图下降得到这个面上的最小值（这个点就是预测y与实际y之间的差异最小），根据这个点来调整W，b，这是一次计算加调整，神经网络就是经过多次计算与调整，最终的W，b，趋于稳定，这时就得到了一个最优的逻辑回归方程（最接近实际问题的），也即得到了这个神经网络训练出来的最优模型。查看全部
-
结构性的顺序
结点和层的概念
解决的是非线性问题，这个体现在每个神经元的设计上。包括隐含层和输出层。
神经元的操作：把输入进来的东西进行组合，然后进行一个非线性的处理
查看全部 -
结构性顺序
从输入到隐含层到输出再到最后得到预测结果
深度（层）比宽度（节点），一层一层分析，从色彩到线到形状
神经网络解决的问题是非线性的（体现在隐含层和输出层）
神经元两部分：线性组合和非线性的处理
查看全部 -
正向传播-->网络向量化
反向传播-->网络梯度下降
对a^n求导，输出dW^n、db^n、dz^n，得到da^n-1
y-->a^n-->a^n-1-->……-->a（x层不需要调教）
训练过程：正向传播计算损失-->反向传播更新参数-->反复以上步骤
注意：传播按层进行，中间没有交叉，所有层全部算好后再一次性更新参数
查看全部 -
损失函数：
反映预测值与真实值直接的差异
单次损失函数：（见截图）
其中y^代表预测值，y代表真实值
注：这里不直接将预测值与真实值做差（欧几里得距离）而使用log函数是因为使用激活函数后，数据集学习得到的函数平面不是一个凸函数平面，在做梯度下降的时候（与是否凸函数有关系）如果有多个局部极小值的情况下，学习出来的结果会不准确
查看全部 -
神经网络分类 图像 语音 文本
查看全部 -
：=
同步更新 W 和b
查看全部 -
Sigmoid函数：f(x)=1/[1+e^(-x)] //在进行1或0的判断时使用，在整个区间段都是可导的；
tanh函数：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)] // 在标注不好的情况下可尝试使用；
ReLU函数：f(x)=max(0,x) // 默认函数
查看全部 -
每一个节点（神经元）的处理包括：
（1）将输入x进行线性组合；
（2）将线性组合的结果通过激活函数g(z)转化为非线性的结果，以处理非线性问题
查看全部
举报