对bp神经网络的多轮单个样本更新权重和阈值的迭代代码实现，参考吴恩达机器学习
  def loss(self,x,y,lamba=0.01):        
      n_train,n_features=x.shape       
       #前向传播        
      mulIToH=sigmoid(np.dot(x,self.weightIToH_)+self.b1)#隐藏层输出结果n_train*self.wHN_       
      mulHToO=sigmoid(np.dot(mulIToH,self.weightHToO_)+self.b2)#输出层输出结果n_train*self.oN_       
      loss=-np.sum(y*np.log(mulHToO)+(1-y)*np.log(1-mulHToO))/n_train     
      loss+=0.5*lamba*(np.sum(self.weightIToH_*self.weightIToH_)+np.sum(self.weightHToO_*self.weightHToO_))/n_train      
      #backward后向传播过程      
      errorOut=mulHToO-y#n_train*self.oN_     
      dWeightHToO=np.dot(mulIToH.T,errorOut)+lamba*self.weightHToO_        
      db2=np.sum(errorOut,axis=0)        
      for temp in range(mulIToH.shape[1]):            
          mulIToH.T[temp]=derivativeOfSigmoid(mulIToH.T[temp])        
      errorHidden=np.dot(errorOut,self.weightHToO_.T)*mulIToH.T        
      dWeightIToH=np.dot(x.T,errorHidden)+lamba*self.weightIToH_        
      db1=np.sum(errorHidden,axis=0)       
      dWeightHToO/=n_train       
      dWeightIToH/=n_train     
      db2/=n_train      
      db1/=n_train   
     return loss,dWeightIToH,dWeightHToO,db1,db2

神经网络兴起的原因：①环境：2进制创新；②能力：软硬件；③需求：人的性价比。

神经网络

起源：20世纪中叶，实际上是一种仿生学产品。目标是像人脑一样思考。

兴起：

1. 环境：二进制创新

2. 能力：软硬件

3. 需求：人的性价比
   

1.神经网络主要功能：分类识别，通过函数

2.图像，语音，文本

2.1图像和语音是密集型矩阵（非零值），文本是稀疏性矩阵（零值居多，预处理工作）

2.2基础应用：

图像-》自动驾驶，语音-》语音助手，文本-》新闻推送

神经元

线性组合

非线性处理

梯度下降同步更新神经元线性部分的参数W和b，J(W,b)为损失函数

梯度下降是通过一种渐进性的方式来调整函数的形态（W，b），使学习结果与实际结果一致。

通过正向运算得到y^，此时W、b是初始值，y^与真实y值有差异，通过损失函数反向调整参数W、b。用损失函数分别对W、b求导，同步更新W、b，使在损失函数变化方向上渐进减小直到Global Minimum（全局最小值），此时W、b趋向于稳定。如果损失函数趋近于全局最小值，则预测y值与真实y值差异最小。

参数W与b的更新：

“:=”表示参数W与b需要同步更新，等号右边的W与b是上一次W与b的值，通过对损失函数J(w,b)求导（梯度），α代表学习率，学习率越高下降速度越快，但也有可能会越过最小值

通过不断找到损失函数的下一个最小值，以找到更优预测值来反向更新W与b的值，直到当前最小值趋于稳定，得出最优的W与b的值

梯度下降：

在得到线性组合参数W和b的初始值后，通过建立预测值y^与真实值y的损失函数来反向调整参数W和b，每一个损失函数都可表示成一个曲面，在这个曲面上有最大值也有最小值，第一个点（第一次输出的预测值与真实值的损失函数的值）顺着凸面向下不断找寻下一个更优更小的点（梯度下降），最终得到这个面上的最小值（这个点就是预测值y^与真实值y之间的差异最小值）该过程不断进行直到参数W和b稳定，这时就得到了一个最优（最接近实际问题）的逻辑回归方程，也即得到了这个神经网络训练出来的最优模型。

每一个节点（神经元）的处理包括：

（1）将输入x进行线性组合；

（2）将线性组合的结果通过激活函数g(z)转化为非线性的结果，以处理非线性问题

就是神经网络图形化设计转化为向量表示的公式化

训练过程的两部分