神经网络中的损失函数

 最简单的损失函数：|真实值-预测值|

 mean absolute loss L1

 mean squared loss MSE

 cross entropy loss 交叉熵

 KL divegence ，KL散度

 损失函数的用途：用于计算梯度、反向传递、更新网络权重、

判断模型是否训练好了，判断过度拟合、欠拟合

神经网络的训练过程：

  定义神经网络

  迭代输入数据

  神经网络计算输出

  计算损失

  反向传递梯度回到网络的参数

  更新网络的权重

Autograd包是pytorch所有神经网络的核心

为tensors上的所有操作提供了自动区分

在autograd下，反向传递backprop代码自动定义

  requires_grad

    -在tensor上设定.requires_grad = true后，autograd会自动追踪与该tensor有关的所有运算

   backward()

     -所有运算完成后，执行 .backward()，autograd会自动计算梯度并执行反向传递

   .grad

       用来访问梯度

  with torch.no_grad()

       自动忽略梯度

BP：back propogate 误差反向传播

使用梯度下降法向前传递误差，使用传递误差来更新权值

每一个神经元包括：输入、输出、以及两个运算

-x表示输入

- w表示权值      -w与相对应的x相乘

-  Sigma求和

-  a是求和和的值

-  f是激活函数，把a的值转换到一个固定范围内

在 PyTorch中

     初始化 x,y,z 

                 x = torch.tensor(torch.rand(N,d),requires_grad = True)

                 y = torch.tensor(torch.rand(N,d),requires_grad = True)

                 z = torch.tensor(torch.rand(N,d),requires_grad = True)

    进行运算 

                 a = x*y

                 b = a+ z 

                  c = torch.sum(b)

PyTorch和TensorFlow的区别

                                   PyTorch                 TensorFlow

    计算图分类             动态计算图                静态计算图

    计算图定义        计算图在运行时定义    计算图需要提前定义

   调试                 简单 ，可以使用任何py   复杂，只能用专为                                            thon开发工具               TensorFlow开发工具

                                                                 如 tfdbg

 可视化                支持Tensorboard          支持Tensorboard

 数据并行          简单，只需一行代码          复杂，需要手动配置

 支持硬件             CPU、GPU                    CPU、GPU

 支持语言           python、C ++                Python,C++

开发公司                Facebook                   Google

         开启会话

                with tf.Session() as sess:

         注入数据

               value = {

                        x:  np.random.randn(N,D)

                        y: np.random.randn(N,D)

                        z: np.random.randn(N,d)

                        }           

         进行运算

                     out = sess.run([c,grad_x,grad_y,grad_z],feed_dict = values)  

                    c_value,grad_x_val,grad_y_val,grad_z_val = out

PyTorch与TensorFlow的区别：

PyTorch更像python的原生代码，TensorFlow把计算和运算图分开处理，

首先要画出运算图，然后才能进行计算。如:

定义计算图

        定义占位符

                   x= tf.placeholder(tf.float23)

                   y = tf.placeholder(tf.float23)

                   z = tf.placeholder(tf.float23)

       定义运算

                   a = x*y

                    b = a+z

                     c = tf.redunce_sum(b)

          定义梯度(在返乡传递中用到)

                  grad_x,grad_y,grad_z = tf.gradients(c,[x,y,z])

PyTorch是一个python机器学习库，底层基于C++，最初由facebook开发

还有 TensorFlow,Keras ,Caffe2,theano

storage and retrieval of PyTorch models

loss functions in neural networks

PyTorch vs TensorFlow

机器学习中，根据神经网络计算出的结果及其误差不断地进行反向传递，得出每一项地最优权值。

加载数据集应该保持文件结构

公共数据集torchvison.dataser.数据集名称加载

私人数据集torchvision.dataset.ImageFolder 和 torch.utils.data.DataLoader加载

trochvision.transforms 数据归一化