1. 结论【人工智能在路上|ATA对称正定的证明】2. 证明
Let A∈Rn×mwithn>m,A∈Rn×mwithn>m, then matrix ATAATA is positive semidefinite, If rank(A)=m(i.e.Ahasfullrank),rank(A)=m(i.e.Ahasfullrank), then ATAATA is positive definite.
半正定的证明
根据对称正定的定义，要证明ATAATA半正定，即证明，xT(ATA)x≥0xT(ATA)x≥0
xT(ATA)x=(xTAT)(Ax)=(Ax)T(Ax)
记，Ax=uAx=u，则，xT(ATA)x=uTuxT(ATA)x=uTu，由向量点乘的性质，易知uTu>=0.uTu>=0.
即，ATAATA 半正定。
正定的证明
uTu≥0uTu≥0 等号当且仅当u=0u=0时取到。、
我们看看u=0u=0时，xx等于多少。u=Ax=0u=Ax=0，当A满秩时，根据满秩的定义和性质，易知当且仅当x=0x=0时，Ax=0Ax=0。
即证明ATAATA正定。
为什么AA满秩时，Ax=0Ax=0当且仅当x=0x=0
根据满秩的定义和性质，当A满秩是，A的各列向量线性独立，则，A的列向量的线性组合等于0，当且仅当每个系数等于0。AxAx就可以看出A的列向量的线性组合，因此，当且仅当x=0x=0时Ax=0Ax=0.
3. 总结
ATAATA is coefficient matrix of Normal Equation
