【矩阵基础与维度分析】【公式细节推导】矩阵非线性最小二乘法泰勒展开【矩阵基础与维度分析】【公

最小二乘法的一般形式
文章图片

\(f_i\)为某一时刻的误差比如预测值与预测值的差值
将残差写成向量的形式
文章图片

和上面的\(F\)相比每个\(f\)计算的还是某一时刻的误差将全部的误差求平方再求和就相当于它的转置乘以它本身即：

\[F(X) = f^T(X)f(X) \]
所以有如下等式

文章图片

则它的雅克比矩阵为：

文章图片

这里每个雅克比矩阵的维度都为\(1 \times n\)
最小二乘泰勒展开单项展开

文章图片

整体展开

文章图片

上述步骤更具体一些
第一行后面到第二行推导：

\[\frac {1}{2}f^Tf + f^TJ\Delta x + (J\Delta x)^Tf + (J\Delta x)^TJ\Delta x = \frac {1}{2}f^Tf + f^TJ\Delta x + \Delta x^T J^Tf + \Delta x^TJ^TJ\Delta x \]
这里进行一下维度分析：
f为某一时刻确定的误差值所以是标量

\[f:1 \times 1 \]
J参照上面的那个J的维度分析：

\[J: 1 \times n \]
\(\Delta x\)为增加量这里为列向量

\[\Delta x:n \times 1 \]
所以可得以下结论：