假设有一个随机变量 x x x需要估计,线性最小均方误差(Linear Minimum Mean Square Error, LMMSE)估计的目标是找到一个线性估计器 x ^ = ∑ i = 0 N − 1 a i y i + b \hat{x} = \sum_{i=0}^{N-1} a_i y_i + b x^=∑i=0N−1aiyi+b,使得估计误差 e = x − x ^ e = x - \hat{x} e=x−x^的均方误差 E [ e 2 ] E[e^2] E[e2]最小。
目标函数
估计模型
首先,假设有一个随机变量 x x x,我们希望通过一组观测变量 y = [ y 0 , y 1 , … , y N − 1 ] y = [y_0, y_1, \ldots, y_{N-1}] y=[y0,y1,…,yN−1]来估计 x x x。估计模型可以表示为:
x ^ = ∑ i = 0 N − 1 a i y i + b \hat{x} = \sum_{i=0}^{N-1} a_i y_i + b x^=i=0∑N−1aiyi+b
其中 a i a_i ai和 b b b是需要确定的参数。
均方误差(MSE)
均方误差(Mean Squared Error, MSE)定义为估计值 x ^ \hat{x} x^与真实值 x x x之间的差的期望值的平方:
MSE = E [ ( x − x ^ ) 2 ] \text{MSE} = E[(x - \hat{x})^2] MSE=E[(x−x^)2]
分量形式
MSE 的具体表达
将估计模型代入 MSE 的定义中,得到:
MSE = E [ ( x − ∑ i = 0 N − 1 a i y i − b ) 2 ] \text{MSE} = E\left[\left(x - \sum_{i=0}^{N-1} a_i y_i - b\right)^2\right] MSE=E (x−i=0∑N−1aiyi−b)2
求导并最小化 MSE
为了找到使 MSE 最小的参数 a i a_i ai和 b b b,我们需要对 MSE 关于 a i a_i ai和 b b b求偏导数,并令其等于零。
对 b b b求导
∂ MSE ∂ b = − 2 E [ ( x − ∑ i = 0 N − 1 a i y i − b ) ] = 0 \frac{\partial \text{MSE}}{\partial b} = -2 E\left[\left(x - \sum_{i=0}^{N-1} a_i y_i - b\right)\right] = 0 ∂b∂MSE=−2E[(x−i=0∑N−1aiyi−b)]=0
解得:
b = E [ x ] − ∑ i = 0 N − 1 a i E [ y i ] b = E[x] - \sum_{i=0}^{N-1} a_i E[y_i] b=E[x]−i=0∑N−1aiE[yi]
对 a i a_i ai求导
∂ MSE ∂ a i = − 2 E [ y i ( x − ∑ j = 0 N − 1 a j y j − b ) ] = 0 \frac{\partial \text{MSE}}{\partial a_i} = -2 E\left[y_i \left(x - \sum_{j=0}^{N-1} a_j y_j - b\right)\right] = 0 ∂ai∂MSE=−2E[yi(x−j=0∑N−1ajyj−b)]=0
解得:
a i = E [ y i x ] − E [ y i ] E [ x ] E [ y i 2 ] − ( E [ y i ] ) 2 a_i = \frac{E[y_i x] - E[y_i] E[x]}{E[y_i^2] - (E[y_i])^2} ai=E[yi2]−(E[yi])2E[yix]−E[yi]E[x]
最终表达式
将 a i a_i ai和 b b b的表达式代入估计模型中,得到最终的 LMMSE 估计器:
x ^ = ∑ i = 0 N − 1 a i y i + b \hat{x} = \sum_{i=0}^{N-1} a_i y_i + b x^=i=0∑N−1aiyi+b
其中:
a i = Cov ( y i , x ) Var ( y i ) a_i = \frac{\text{Cov}(y_i, x)}{\text{Var}(y_i)} ai=Var(yi)Cov(yi,x)
b = E [ x ] − ∑ i = 0 N − 1 a i E [ y i ] b = E[x] - \sum_{i=0}^{N-1} a_i E[y_i] b=E[x]−i=0∑N−1aiE[yi]
向量形式
在矩阵形式下,可以将上述表达式写为:
x ^ = a T y + b \hat{x} = \mathbf{a}^T \mathbf{y} + b x^=aTy+b
其中 a = [ a 0 , a 1 , … , a N − 1 ] T \mathbf{a} = [a_0, a_1, \ldots, a_{N-1}]^T a=[a0,a1,…,aN−1]T, y = [ y 0 , y 1 , … , y N − 1 ] T \mathbf{y} = [y_0, y_1, \ldots, y_{N-1}]^T y=[y0,y1,…,yN−1]T。
对 b b b求导
E [ ( x − E [ x ] − ( y − E [ y ] ) T a ) ] = 0 E\left[\left(x - E[x] - (\mathbf{y} - E[\mathbf{y}])^T \mathbf{a}\right)\right] = 0 E[(x−E[x]−(y−E[y])Ta)]=0
解得 b b b
b = E [ x ] − a T E [ y ] b = E[x] - \mathbf{a}^T E[\mathbf{y}] b=E[x]−aTE[y]
对 a a a求导
E [ ( y − E [ y ] ) ( x − E [ x ] − ( y − E [ y ] ) T a ) ] = 0 E\left[\left(\mathbf{y} - E[\mathbf{y}]\right) \left(x - E[x] - (\mathbf{y} - E[\mathbf{y}])^T \mathbf{a}\right)\right] = 0 E[(y−E[y])(x−E[x]−(y−E[y])Ta)]=0
解得 a a a
a = R y − 1 R y x \mathbf{a} = \mathbf{R}_y^{-1} \mathbf{R}_{yx} a=Ry−1Ryx
这里 R y \mathbf{R}_y Ry是观测值 y \mathbf{y} y的协方差矩阵, R y x \mathbf{R}_{yx} Ryx是观测值 y \mathbf{y} y与随机变量 x x x的协方差向量。
最终的 LMMSE 估计器可以表示为:
x ^ = a T y + b \hat{x} = \mathbf{a}^T \mathbf{y} + b x^=aTy+b
其中:
a = R y − 1 R y x \mathbf{a} = \mathbf{R}_y^{-1} \mathbf{R}_{yx} a=Ry−1Ryx
b = E [ x ] − a T E [ y ] b = E[x] - \mathbf{a}^T E[\mathbf{y}] b=E[x]−aTE[y]