锐客网

  1. 首页 > it技术 > >

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）

标量、向量、矩阵、张量之间的联系 在深度学习中，大家肯定都知道这几个词：标量（Scalar），向量（Vector），矩阵（Matrix），张量（Tensor）。但是要是让我们具体说下他们，可能一下子找不出头绪。下面介绍一下他们之间的关系：
标量（scalar)

?一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。如：a
向量（vector）
?一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：如 a.
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵（matrix）?
矩阵是一个二维数组，其中每一个元素由两个索引所确定。一个有m行，n列，每个元素都属于 RR 的矩阵记作 A∈Rm×n. 通常使用大写变量名称，如A


张量（tensor）
超过两维的数组叫做张量。
在某些情况下，我们会讨论坐标超过两维的数组，一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。我们使用字体 A 来表示张量“A”。张量A中坐标为(i,j,k) 的元素记作 Ai,j,k .

四者之间关系

标量是0阶张量，向量是一阶张量。
举例：
?标量就是知道棍子的长度，但是你不会知道棍子指向哪儿。
?向量就是不但知道棍子的长度，还知道棍子指向前面还是后面。
?张量就是不但知道棍子的长度，也知道棍子指向前面还是后面，还能知道这棍子又向上/下和左/右偏转了多少。


向量和矩阵的范数归纳

向量的范数(norm)
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片


向量的1范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

向量的2范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片


向量的负无穷范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

向量的正无穷范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

向量的p范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片


矩阵的范数
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

当向量取不同范数时, 相应得到了不同的矩阵范数。
矩阵的1范数（列范数）：
矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大）；
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵的2范数：
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵的无穷范数（行范数）：
矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）.
上述矩阵A的行范数先得到[6；16] ，再取最大的最终结果就是：16。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片


矩阵的核范数：
矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）

矩阵的L0范数：
矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏.
上述矩阵A 最终结果就是：6

矩阵的L1范数：
矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏.
上述矩阵AAA最终结果就是：22。

矩阵的F范数：
矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算.
上述矩阵A最终结果就是：10.0995。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵的 p范数:
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

其他线性代数的标量学习

行列式：（数学上定义为一个函数）
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

转置（transpose）
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

注意：
向量可以看作只有一列的矩阵， 对应地，向量的转置结果可以看作只有一行的矩阵。
标量的转置等于自身。
矩阵运算
矩阵可以进行加法、乘法计算。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵乘法（Matrix Product）
两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

向量的点积（dot Product）：（可以理解成矩阵乘积Matrix Product）
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

注意：
向量点积结果必然是一个实数，即一个一行一列的矩阵。
矩阵乘法分配律
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵乘积结合律
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

注意：矩阵乘积并不满足交换律，然而，两个向量的点积满足交换律
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

矩阵乘积的转置有着简单的形式
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

单位矩阵（identity matrix）
单位矩阵所有沿对角线的元素都是1， 而其它位置的所有元素都是0。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

任意向量和单位矩阵相乘，都不会改变。
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

逆矩阵
【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片

【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）
文章图片













endl;

【【深度学习中的线性代数理解】中的各种量理解（标量、向量、矩阵、张量）】转载于:https://www.cnblogs.com/icmzn/p/11176298.html

    推荐阅读


    上一篇：两个线程交替打印1到100

    下一篇：[Jmeter]Xpath获取元素某个属性的值，以及获取最后一个元素某个属性的值