锐客网

  1. 首页 > it技术 > >

Notes|Notes on PyTorch Internals I

原版英文链接：Edward Z. Yang's PyTorch internals : Inside 245-5D
Tensor 张量(Tensor)是PyTorch中最核心的数据结构，包含了相关元数据的描述，包括张量的大小(size)、所存储单元数据的类型(dtype)、存储位置(device)、步幅(stride)、以及布局(layout)。
Stride 张量是一种数学概念，实际应用中需要存储到计算机物理存储空间中，为了提升访问效率，需要在物理空间上连续存储(通常按行(row)来展开)。为了在连续存储的同时保留张量的大小维度信息，需要使用步幅作为额外信息描述。每个维度上的步幅描述了在此维度上两个逻辑位置相邻的元素在实际物理存储位置上的间隔，从而实现了从逻辑地址到物理存储地址的映射。
例如：
对于张量a=Tensor([ [1, 2], [3, 4] ])，其维度大小为[2, 2]，对应在各维度的步幅为[2, 1]，分别表示在零维(row)的步幅为2，第一维(column)的步幅为1。对于张量b=a[1, 0]，其在张量a中的逻辑位置为(1, 0)，对应的物理存储位置则为：1*2+0*1=2，即各维度上的逻辑索引与步幅的乘积之和。
对于同一个张量，如果希望获取某一行的张量数据，例如c=a[1, :]，此时需记录offset=1*2=2，而在另外一个纬度上则继承了张量a的步幅，因此对于张量c，其size为[2]，步幅则为[1], offset为2。需要注意的是，张量c和张量a是共享同一块物理存储，即任何一个修改，都会影响到另外一个。
View本质上是提供了对同一片存储数据的不同看待方式，针对每种看待方式可以提供一个用户更友好的命名(例如a, c)，但实际并不影响底层数据的存储。对任何张量，在PyTorch中永远存在一对Tensor-Storage的概念。其中Tensor描述的就是张量，包含逻辑大小、步幅以及offset，而Storage则描述的是物理存储，包含了物理存储大小、单元数据类型(dtype)等。
Tensor Operations 在最抽象的层面上，任何的张量操作，都会涉及到两次调度(dispatches)：
第一次调度源于设备类型(device type)和张量布局(tensor layout)。对于不同设备存储类型(CPU or CUDA)以及不同布局类型(strided or sparse)的张量，其操作(加减乘除等)的底层实现方式完全不同，并且底层计算分别位于不同的动态库中(e.g. libcaffe2.so or libcaffe2_gpu.so)。因此第一次调度是动态调度，需要通过虚函数方式调用。
第二次调度源于元素的数据类型。即使在同一个设备类型上，不同类型数据(float or int)的实现方式也不相同。通过简单的switch-statement的方式实现不同类型的支持。
Tensor Extensions PyTorch中的张量由如下三位一体的独立属性描述：
设别类型：描述了张量实际的物理存储位置，例如GPU、NVIDIA GPU(cuda)、AMD GPU(hip)，或者TPU(xla)。之所以将设备类型作为一个显著的特性，是因为不同设备上的内存分配方式可能完全不同；
布局类型：描述了如何从逻辑上解释物理存储方式，包括了最常用的strided布局、以及其它类型，比如稀疏布局(需要通过一对索引-数据描述)，以及更为复杂的MKL-DNN张量布局等。
数据类型：描述了数据单元的实际类型，可以是float、int、以及量化整数等。
对于任何需要自定义的张量，均可以通过扩展如上三个独立属性来实现。另外一种更为便捷的方法是通过wrapper的方式封装PyTorch已经定义的张量，实现自定义张量。采用何种方式取决于自定义的张量是否会参与自动梯度的反向计算。例如，对于稀疏张量显然是需要通过独立扩展实现，因为在任何涉及embedding的网络中，embedding的梯度也需要是稀疏的。
为了提高属性访问效率，所有类型张量都具备的属性按照固定的布局定义在张量结构体的起始位置，包括size、dtype、type_id等。此外与最常用的strided布局的张量相关的属性，包括strides、storage等也包含在固定的布局中，而其它与特定类型张量相关的属性则定义在自定义域中。核心属性的固定布局设计避免了使用类似于虚函数访问的开销。
Notes on PyTorch Internals系列文章 Notes on PyTorch Internals I
Notes on PyTorch Internals II
【Notes|Notes on PyTorch Internals I】Notes on PyTorch Internals III

    推荐阅读


    上一篇：夜天堂

    下一篇：年糕，年年高