2.深度学习之pytorch基础 2.深度学习之pytorch基础

2.1 PyTorch介绍

Pytorch是一个深度学习框架(类似于TensorFlow)，由Facebook的人工智能研究小组开发。与Keras一样，它也抽象出了深层网络编程的许多混乱部分。
就高级和低级代码风格而言，Pytorch介于Keras和TensorFlow之间。比起Keras具有更大的灵活性和控制能力，但同时又不必进行任何复杂的声明式编程(declarative programming)。
- 考虑方面
- 定义模型的类与函数
- 继承来自Torch库的torch.nn.Module的类
- 张量和计算图模型与标准数组的比较
- 只需要知道每个层的输入和输出大小
- 训练模型

2.2 环境配置 2.2.1 Anaconda

Anaconda是Python的一个开源发行版本，主要面向科学计算。
- Anaconda预装了很多我们用的到或用不到的第三方库的Python
- 而且相比于大家熟悉的pip install命令，Anaconda中增加了conda install命令。
操作
- 根据操作系统下载并安装Anaconda
- Anaconda安装成功之后，建议修改其包管理镜像为国内源
- 比如，https://pypi.tuna.tsinghua.edu.cn/simple

2.2.2 Jupyter

打开notebook
- 在浏览器打开 http://localhost:8888 （通常会自动打开）位于当前目录的jupyter 服务
使用notebook，可以直接在代码旁写出叙述性文档，而不是另外编写单独的文档。

文章图片

2.2.3 PyTorch

课程需要用到PyTorch框架
- pip install torch==1.5.0
直接去PyTorch官网找到自己的软硬件对应的安装命令即可。
- https://pytorch.org/

2.3 数据操作

在深度学习中，通常会频繁地对数据进行操作。
在PyTorch中，torch.Tensor是存储和变换数据的主要工具。
- 如果之前用过NumPy，会发现Tensor和NumPy的多维数组非常类似。
- 然而，Tensor提供GPU计算和自动求梯度等更多功能，这些使Tensor更加适合深度学习。
"tensor"这个单词一般可译作“张量”，张量可以看作是一个多维数组。
标量可以看作是0维张量，向量可以看作1维张量，矩阵可以看作是二维张量。
下列这些创建方法都可以在创建的时候指定数据类型dtype和存放device(cpu/gpu)

文章图片
索引
- 还可以使用类似NumPy的索引操作来访问Tensor的一部分。
- 需要注意的是：索引出来的结果与原数据共享内存，也即修改一个，另一个会跟着修改。
改变形状
- 用view()来改变Tensor的形状：
  - 注意view()返回的新Tensor与源Tensor虽然可能有不同的size，但是是共享data的，也即更改其中的一个，另外一个也会跟着改变。
    - view仅仅是改变了对这个张量的观察角度，内部数据并未改变
- 所以如果想返回一个真正新的副本（即不共享data内存）该怎么办呢？
  - Pytorch还提供了一个reshape()可以改变形状，但是此函数并不能保证返回的是其拷贝，所以不推荐使用。
  - 推荐先用clone创造一个副本然后再使用view。
    - 使用clone还有一个好处是会被记录在计算图中，即梯度回传到副本时也会传到源Tensor。
  - 另外一个常用的函数就是item(), 它可以将一个标量Tensor转换成一个Python number
线性代数
- PyTorch还支持一些线性函数
  
  文章图片
  - PyTorch中的Tensor支持超过一百种操作，包括转置、索引、切片、数学运算、线性代数、随机数等等。
广播机制
- 前面看到如何对两个形状相同的Tensor做按元素运算。
- 当对两个形状不同的Tensor按元素运算时，可能会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。
运算的内存开销
- 索引操作是不会开辟新内存的，而像y = x + y这样的运算是会新开内存的，然后将y指向新内存。
  - 如果想指定结果到原来的y的内存，可以使用前面介绍的索引来进行替换操作。
- 还可以使用运算符全名函数中的out参数或者自加运算符+=(也即add_())达到上述效果。
  - 注：虽然view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），二者id（内存地址）并不一致。
Tensor和NumPy相互转换
- 用numpy()和from_numpy()将Tensor和NumPy中的数组相互转换。
  - 但是需要注意的一点是：这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存
- 所有在CPU上的Tensor（除了CharTensor）都支持与NumPy数组相互转换。
- 还有一个常用的将NumPy中的array转换成Tensor的方法就是torch.tensor()。
  - 需要注意的是，此方法总是会进行数据拷贝（就会消耗更多的时间和空间），所以返回的Tensor和原来的数据不再共享内存。
Tensor on GPU
- 用方法to()可以将Tensor在CPU和GPU（需要硬件支持）之间相互移动。

2.4 梯度下降

梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用：
- 在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法（Gradient Descent）和最小二乘法。
- 在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。
- 如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。
- 梯度下降法主要有随机梯度下降法和批量梯度下降法。
  
  文章图片

2.4.1 梯度下降核心思想

初始化参数，随机选取取值范围内的任意数；
迭代操作：
- 计算当前梯度；
  
  文章图片
- 修改新的变量；
  
  文章图片
- 计算朝最陡的下坡方向走一步；
- 判断是否需要终止，如否，返回a
得到全局最优解或者接近全局最优解

2.4.2 随机梯度和批量梯度

文章图片

小批量梯度下降

文章图片

2.4.3 自动求梯度概念

Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作。
- 完成计算后，可以调用.backward()来完成所有梯度计算。
- 此Tensor的梯度将累积到.grad属性中。
  - 注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。
如果不想要被继续追踪，可以调用.detach()将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。
- 还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来
Function是另外一个很重要的类。
- Tensor和Function互相结合就可以构建一个记录有整个计算过程的有向无环图（DAG）。
- 每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。

2.4.4 梯度

数学上，如果有一个函数值和自变量都为向量的函数那么关于的梯度就是一个雅可比矩阵（Jacobian matrix）:

文章图片
而torch.autograd这个包就是用来计算一些雅克比矩阵的乘积的。
- 【2.深度学习之pytorch基础】例如，如果 v 是一个标量函数的梯度：
  
  文章图片
  
  文章图片
  
  文章图片