最小二乘法矩阵公式

更新日期：2026-09-18 01:34:39

标题

最小二乘法矩阵公式

内容

在数学和工程领域，最小二乘法是一种常用的优化方法，用于寻找最佳拟合数据的模型。它通过最小化实际观测值与模型预测值之间的平方误差之和，来求解未知参数。在处理线性回归问题时，使用矩阵形式表达最小二乘法可以更清晰地展示其数学结构。

一、基本原理

最小二乘法的核心思想是：给定一组数据点 $(x_i, y_i)$，我们希望找到一个函数 $y = f(x)$ 来拟合这些数据点，使得误差平方和最小。对于线性模型，通常表示为：

y = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}

其中：

- $\mathbf{X}$ 是设计矩阵；

- $\boldsymbol{\beta}$ 是待估计的参数向量；

- $\boldsymbol{\varepsilon}$ 是误差项。

为了使误差平方和最小，我们需要对 $\boldsymbol{\beta}$ 求导并令其等于零，从而得到正规方程（Normal Equation）。

二、最小二乘法的矩阵公式

根据最小二乘法的推导，最优参数 $\hat{\boldsymbol{\beta}}$ 的解为：

\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}

其中：

- $\mathbf{X}$ 是 $n \times p$ 的设计矩阵，包含所有自变量的观测值；

- $\mathbf{y}$ 是 $n \times 1$ 的因变量向量；

- $\boldsymbol{\beta}$ 是 $p \times 1$ 的参数向量；

- $\mathbf{X}^T$ 是 $\mathbf{X}$ 的转置矩阵；

- $(\mathbf{X}^T \mathbf{X})^{-1}$ 是矩阵的逆。

三、关键公式总结

公式名称	数学表达式	说明
最小二乘目标函数	$\min_{\boldsymbol{\beta}} \	\mathbf{y} - \mathbf{X}\boldsymbol{\beta} \	^2$	误差平方和最小
正规方程	$\mathbf{X}^T \mathbf{X} \hat{\boldsymbol{\beta}} = \mathbf{X}^T \mathbf{y}$	参数估计的基础方程
参数估计公式	$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}$	矩阵形式下的最小二乘解

四、应用示例

假设我们有以下数据：

x	y
1	2
2	4
3	6

构建设计矩阵 $\mathbf{X}$ 和因变量向量 $\mathbf{y}$：

\mathbf{X} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \quad \mathbf{y} = \begin{bmatrix} 2 \\ 4 \\ 6 \end{bmatrix}

计算 $\mathbf{X}^T \mathbf{X}$ 和 $\mathbf{X}^T \mathbf{y}$：

\mathbf{X}^T \mathbf{X} = \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix}, \quad \mathbf{X}^T \mathbf{y} = \begin{bmatrix} 12 \\ 28 \end{bmatrix}

求逆后得到：

(\mathbf{X}^T \mathbf{X})^{-1} = \frac{1}{(3)(14) - (6)^2} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix}

最终计算：

\hat{\boldsymbol{\beta}} = \frac{1}{6} \begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} \begin{bmatrix} 12 \\ 28 \end{bmatrix} = \begin{bmatrix} 2 \\ 0 \end{bmatrix}

因此，拟合模型为：$y = 2 + 0 \cdot x = 2$，即常数模型，这表明数据点呈线性关系。

五、注意事项

1. 矩阵可逆性：$\mathbf{X}^T \mathbf{X}$ 必须是可逆的，否则需采用其他方法（如正则化）。

2. 多重共线性：若 $\mathbf{X}$ 中存在高度相关的列，可能导致数值不稳定。

3. 计算效率：当数据量较大时，直接求逆可能效率较低，可考虑迭代算法或数值优化方法。

总结

最小二乘法的矩阵公式提供了一种系统化的参数估计方法，适用于多种线性模型问题。掌握其数学表达和应用场景，有助于在数据分析和建模中更加高效地解决问题。

随便看