线性代数在机器学习(ML)和深度学习(DL)中至关重要 。即使我们努力为许多理论创建准确的机器学习模型,线性代数仍然是这些研究中的重要工具 。这篇文章会跳过一些基础知识,比如什么是向量,什么是矩阵,如何做加法和乘法 。我将快速更新基本概念 , 并更深入地介绍一些重要主题 。
基本矩阵行为:
如最后一个等式所示,矩阵是不可交换的 。
调换传统上,向量x被写成列向量 。这就是向量和矩阵的换位 。
属性
如果a = a,那么矩阵是对称的 。如果a =-a,则称为反对称 。
内积内积a , b(或a b)是一个标量函数 。两个向量的内积定义为:
任何标量值的换位都等于其本身 。你可以在很多机器学习的论文里看到以下操作 。
单位向量是具有单位长度的向量 。
两个向量U和V之间的角度是
向量遵循以下不等式
属性
最后一个等式很重要 。这就是证据:
外部产品不要混淆xy和xy 。内积XY产生一个标量,但外积XY产生一个矩阵 。
两个矩阵相乘是A的第I列和b的第I行之和 。
例子
矩阵乘法的这个想法看起来很奇怪,但是在我们研究矩阵分解的时候就变得非常重要了 。
违反a的逆矩阵定义为:
属性:
注意:只有当A和B可逆时,上述才成立 。即使A是非方阵也不是这样 。(逆矩阵假设A是n × n方阵 。)求解线性方程组Ax = b,我们可以将A的逆矩阵乘以B来求解x 。
如果是不可逆的,则此方法失败 。我们需要一些其他的方法 , 比如高斯消元法来求解 。我们引入上面的逆——左边的左逆 。如果在右侧引入 , 则称为右逆 。
对于方阵来说,两者是一样的,我们只称之为逆矩阵 。
然而 , 即使逆矩阵似乎在文献中随处可见,我们也应该避免在实践中对任何矩阵求逆 。在机器学习(ML)中,我们处理许多稀疏矩阵——主要由零值元素组成的矩阵 。由于空和计算的复杂性 , 稀疏矩阵的逆是稠密的 , 不理想 。此外,逆矩阵在数值上可能是不稳定的——输入中的一个小的不准确或错误可能会触发一个大的错误 。
退化阵那么什么矩阵是不可逆的呢?奇异(退化)矩阵是没有逆矩阵的方阵 。以下等式计算3×3逆矩阵 。
对于现有的逆,行列式不能为0 。例如,下面的矩阵是奇异矩阵 。
它的行列式等于0 。因此,它没有逆 。
在行空和列空之间向量可以被分组以形成向量空 。r是包含所有n维实数向量的向量空 。可以将空房间分成子空房间 , 以便进一步学习 。比如R在3-D空之间,平面就是R的子空 。
根据定义,如果u和v在一个空室中 , 则u v和cu(其中c为常数)一定在同一个空室中 。这个定义也适用于sub 空 。这是一个非常抽象的定义 。它不限于向量 。其实很多对象,包括多项式函数,都可以形成空空间 。例如 , 任意阶的多项式函数构成空空间 。x的两个多项式函数相加仍然是多项式 。
向量的所有线性组合的集合构成子空空间,称为矩阵A的列空间或列跨度,用符号CoI(A)表示 。
如果以上所有列向量线性无关,那么列空跨越整个三维空空间 。然而 , 上述列向量是线性相关的 。第三列向量是前两列的线性组合 。
第三列向量在表示a的列空之间时我们可以删除,因此,矩阵的列空只构成一个平面 。
Ax是A列向量的线性组合这个概念是非常基本的 。所以,花几秒钟来习惯这个概念 。
这个方程也以更熟悉的形式给出 。
其中a1在张安A的列空之间..同样,行在创建行空时形成行向量 。
如果我们用C(A)表示a的列空,我们C(A?转置a和C(A)之间表示a的行空
线性相关在n维空中只能有n个线性无关的向量 。在下面左图中,绿色矢量可以用蓝色和红色矢量来表示 。两个向量在三维空间中形成一个平面空 。平面上的任何向量,就像下面黄色的向量,都是红色向量的线性组合 。
在数学中,满足下列条件的一组线性无关的向量
只有当所有线性因子c都为0时 。简而言之,没有一个向量可以表示为其他向量的线性组合 。另外,A的列是线性无关的 , 如果Ax=0的唯一解是
要得到0以外的解,A必须是单数 。也就是
否则可以求逆 , v只有一个解等于0 。
对于Ax = 0有非零解,A是奇异的,det(A)= 0 。
命令测量等级A的列/行之间的线性独立性 。就是这些列/行的空维数,决定了线性系统AX = B中解空之间的维数,矩阵的秩等于
推荐阅读
- 马友是什么鱼
- 海尔热水器保修期多长时间
- 立冬要喝什么汤
- 钱鱼和胡子鱼的区别 钱鱼和胡子鱼的区别介绍
- 附近正规培训月嫂 月嫂培训中心在哪里
- 求您淘宝回复一下消息 淘宝问大家在哪里
- 马友鱼干怎么做好吃
- 驴剩肉是什么 哪里有肉驴
- 股票怎么选股