第3章：最小二乘、QR 与 SVD

过定方程与正交条件

对 m×n 矩阵 A、 $m\ge n$ ，最小二乘求 $\min_x\|Ax-b\|_2^2$ 。最优残差与 A 的列空间正交，因此

A^T(Ax-b)=0.

得到正规方程 $A^TAx=A^Tb$ 。这是一条正确的数学条件，但若 A 满列秩， $\kappa_2(A^TA)=\kappa_2(A)^2$ ，显式形成正规方程可能显著损害数值精度。

薄 QR 分解 $A=QR$ ，其中 Q 列正交，R 为上三角。利用正交变换保持二范数，将问题化为求解 $Rx=Q^Tb$ ，剩余正交补决定无法拟合的残差。

Householder 反射可稳定构造 QR。经典 Gram–Schmidt 在近线性相关列上可能丢失正交性；改进 Gram–Schmidt 或重正交可改善，但不同算法的误差性质仍应区分。

数据为 $(0,1),(1,2),(2,2)$ ，拟合 $y=a+bt$ 。矩阵列为常数 1 和 t，正规方程在精确算术中为

\begin{pmatrix}3&3\\3&5\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}5\\6\end{pmatrix}.

得到 $a=7/6,b=1/2$ 。残差 $b_{data}-Ax=(-1/6,1/3,-1/6)$ ，与常数列、t 列都正交。该小例用正规方程便于手算，不意味着大型病态问题也应这样实现。

奇异值分解 $A=U\Sigma V^T$ 描述输入方向如何被拉伸。非零奇异值的倒数构成伪逆，用于给出最小范数最小二乘解。

非常小的奇异值会把数据噪声放大。截断 SVD 或 Tikhonov 正则化有意降低这些方向的响应，改变求解目标以改善稳定性。数值秩因此需要结合尺度与噪声阈值判断，不是只问浮点数是否恰为零。