pytorch中的广播语义 pytorch中的广播语义

1、什么是广播语义？
2、广播语义的规则
3、不符合广播语义的例子
4、符合广播语义的例子

pytorch的广播语义（broadcasting semantics），和numpy的很像，所以可以先看看numpy的文档：

1、什么是广播语义？官方文档有这样一个解释：

In short, if a PyTorch operation supports broadcast, then its Tensor arguments can be automatically expanded to be of equal sizes (without making copies of the data).

这句话的意思大概是：简单的说，如果一个pytorch操作支持广播，那么它的Tensor参数可以自动的扩展为相同的尺寸（不需要复制数据）。

按照我的理解，应该是指算法计算过程中，不同的Tensor如果size不同，但是符合一定的规则，那么可以自动的进行维度扩展，来实现Tensor的计算。在维度扩展的过程中，并不是真的把维度小的Tensor复制为和维度大的Tensor相同，因为这样太浪费内存了。

2、广播语义的规则首先来看标准的情况，两个Tensor的size相同，则可以直接计算：

x = torch.empty((4, 2, 3))y = torch.empty((4, 2, 3)) print((x+y).size())

输出：

torch.Size([4, 2, 3])

但是，如果两个Tensor的维度并不相同，pytorch也是可以根据下面的两个法则进行计算：

（1）Each tensor has at least one dimension.

（2）When iterating over the dimension sizes, starting at the trailing dimension, the dimension sizes must either be equal, one of them is 1, or one of them does not exist.

每个Tensor至少有一个维度。

迭代标注尺寸时，从后面的标注开始

第一个规则要求每个参与计算的Tensor至少有一个维度，第二个规则是指在维度迭代时，从最后一个维度开始，可以有三种情况：