第5章(5.5.2)均方误差准则(MSE)和LMS算法

引言：均方误差准则同时考虑ISI及噪声的影响，使其最小化。

本节讨论问题： 1. 均方误差准则；

2. 无限长LMS均衡器（C(z)，Jmin）； 3. 有限长LMS均衡器（Copt，Jmin）； 4. LMS算法； 5. 均衡器的操作；

6. 递推LMS算法收敛特性的分析。

一. 均方误差准则 Tx+ch+MF+WF Ik {fn} ~ˆ I vk Ikk 判决器 {Cj} + {k}（白） k 系统模型 信息符号的估计值：Iˆk

jcv （无限长均衡器情况）

jkj其中， 接收数据样本为：vkfnIknk，k为白噪声。 {k}nˆ，包括ISI及噪声 估计误差：kIkIkkˆ的均方误差JE[2]为均衡器的性能指数。 定义：估计值Ikk《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 128 均方误差准则：使均方误差性能指数J最小（Jmin），此准则同时考虑使ISI及噪声影响最小。

获得Jmin的途径：调整cj，当JJmin时，CCopt(最佳抽头系数)

寻找Copt的方法：1)根据正交性原理（线性均方估计）：E[kvkl]0，所有l。（注：与ZF准则不同的是，这里的输入是经过两个输入滤波器的数据样本vk，这就包含了噪声）。即E[kklIˆ*]0，所有l。

2)求函数极值方法：令

*J0  Copt? Ck2013年5月3日星期五上午讲于此处，已经是第十次矣。

这两种方法是等价的，证明如下。

证明：求导置零方法与正交性原理等价。

ˆ Ik

jcvjkvjlimcKjKKjk

jlimVkTc

K假如均衡器为有限长，则

ˆVTc Ikk其中

VkvkKccKvkK1cK1c0vkvkK1vkK，以及 cK1cK。

TT2ˆ)(IIˆ)] JcE[k]E[(IkIkkk*E[k(IkVkTc)]

故

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 129 JEkVk c另一种方法：

2ˆ)(IIˆ)]JcE[k]E[(IkIkkk E{(Ikcivki)(Ikcjvkj)}ij* E[Ik]ciE[Ikvki]cjE[Ikvkj]cicjE[vkivkj]ijij2

*E[Ik]ciE[Ikvki]cjE[Ikvkj]cicjE[vkivkj]

ijij2可见，J(c)是{cj}的平方函数（二次型）。求导置零可得：

J*EIkvklcjEvklvkj0 cljJ***即， EIkcjvkjvkl0, l

clj**Ekvki0，或Ekvki0，i

JEkVk cVkvkKvkK1vkvkK1vkK

T结论：求导方法与正交性原理是等价的，满足正交条件，就可以获得最小MSE。

二、无限长LMS均衡器（Cz，Jmin性能）

1. 求Cz：从正交原理出发，

*Ekvkl0

(10-2-27)

即

E[(Ikjcvjkj*)vkl]0

即

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 130 jcEvjk-j*v*k-lEIkvkl（*） 正交条件

注: vkl是收数据样本，其中的噪声已经白化。

在（*）式左边可以得到：

***EvvEfIfInkjnkjmklmklkjklmn*** EfnfmIkjnIklmkjklnm** fnfmEIkjnIklmN0ljnm

式中利用了vkfnIknk，E[k]0。

n注：kjkj(kj)jkk,j都是Kroenecker冲激或离散冲激的不同写法。 因此我们有：

***E[vkjvkl]fnfmn,mljN0ljfmfmljN0lj

nmmffn0L*nnljxljN0lj ljLN0lj (A)

else0,注：X(z)FzF(1/z)，Fz1代表了Fz序列的共轭颠倒序列。或者说

Fz1代表了Fz的MF(零时延)。

X(z)FzF(1/z)

f0f1z1zLLL1fLzLz(ffzLL1LLLf1zL1f0zL)

ifi0izifj0LLjzLjzLfi0j0fLjzij

zfi0j0LifLjzij

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 131 fifnzni

i0n0LLlLn0fLLLlf（注：令lin） nlnz故

xlfn*fnl，其支撑为：LlL

n0

或者说，可以得到

xkfnf*nffklflflkff*l*lln0L*nnkfn*fnk

n0Lk也可以写为

fn0L*nnljL(lj)ffn0*nnljfxlj

（*）式右边：

*******E(Ikvkl)E{Ik[fnIklnkl]}fnE{IkIkln}E{Ikkl}

nnck,kln, c11，当nl式中，k,klnl,n

0，当nl由此可得

f*l , Ll0EIv (B)

0*kkl将（A）、（B）两式代入（*）式：

jc[xjljN0lj]f*l

*cfl 上式就是: clxlN0l

取Z变换： Cz[FzF(z1)N0]F(z1) (10-2-31)

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 132 F(z1)则MMSE均衡器 Cz (10-2-32) 1F(z)F(z)N0 等效MMSE均衡器： Cz11 (10-2-33)

F(z)F(z1)N0XzN0C'zykvk^WzCzIk

2. 求Jmin（最小均方误差） （1） 时域

2*ˆ*)]E[I*]E[c*v*] JE[k]E[k(IkIkkkkjkjj利用正交原理第二项为零，所以

ˆ)I*]E[I2]E[I*(cv)] JminE[(IkIkkkkjkjj*ccjE[vkjIk]ccjfj（利用(B)式）

jj令信息符号的平均功率为1，则

cE[Ik]1

Jmin12jcjfj1clfll0

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 133

（2）频域

通过z变换及令zejT，将Jmin式的Jmin~fn关系变换成

Jmin~XejTH关系

全传输系统响应：bnBz以z反变换（留数法）求：

12jBzzn-1dz

Xz (10-2-35)

XzN0bnccb012jBzz1dz12jXzzXzN0cdz (10-2-36)

令zejT，且b0

TT ，2jTXejTN01XejTjTejTejTjTd (10-2-37)

T 2TTXeXejTNd0代入 Jmin1b0，得

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 134 T Jmin2TTXeN0jTNd

0将X(ejT)以信道折叠谱表示。因为

xkx(kT)h(t)h(t)2tkT

h(t)h(t)的傅里叶变换为H()，故

12nFTx(tkT)Hk

TnTk2又

j2ftFTxk(tkT)xk(tkT)edtxkej2fkTDTFT(xk)

kkk所以

12njT XeH (10-2-18) ， TnTT所以

JminT22TTN012nHN0TnTT for ISI02d (10-2-38)

所以，当ISI=0时， JminN0， 0Jmin1 (10-2-39) 1N0ˆ，故IIˆ,E[|I|2]E|Iˆ|2，利用正交原理E[Iˆ*]0，因kIkIkkkkkkkkkl易证：

ˆ|2E||2，即E[Iˆ2]1J。 E|Ik|2E|Ikkkmin 输出SNR: ˆ2]E[IkE[k]21Jmin (10-2-40) Jmin

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 135 三、有限长LMS均衡器 (Copt,

2Jmin)

2Kˆ]EIcv 均方误差：JkE[IkIkkjkjjKJEkVk CCcKVkvkK

cK1vkK1c0vkcK1cK vkK1vkK

TTvk（2K+1）cjIk^IkIk~-+k

1、求Copt：无限长均衡器

jc[xjljN0lj]f*l

仿上面无限长均衡器的推导： 根据正交条件：

jKcxjKljN0ljf*l

令ljxljN0lj

 ljLxljN0lj，则lj （注: xl的支撑为lL。）

0,其他* Ll0fl， 令 l

其他0， 得

jKcjKljl （10-2-43）

矩阵形式：ΓC=ξ （10-2-46）

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 136 所以， CoptΓ1ξ （10-2-47）

说明：Copt, ξ为有(2K1)个元素的列向量

Γ为(2K+1)×(2K+1)的Hermitian矩阵。

***因为自相关函数xkx中元素满足k且ljjl，所以Γijji。Γ是共ij轭转置阵（Hermite）阵。

2、求均衡器的性能即求最小能达到的均方差Jmin： 前已经证明Jmin1jcjfj

将Copt代入JminK式：

Jmin(K)1jK0cjfj1ξCopt1ξΓ1ξ (10-2-48)

注：fj的支撑为0jL。

工程实用方法： 采用简单的迭代过程——最速下降法。

四. LMS算法：

内容: a)算法：Ck1CkGk (理论算法)

b)梯度： GkdJEkVk dCkˆ=CˆV c) 工程实用算法：Ck1kkk d) 均衡器结构：图11-1-2

1、算法：LMS算法是一种最陡下降法，其实质是一个迭代过程，而迭代过程是通过递推运算来进行的。 设{cj}有（2K+1）个抽头

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 137 jK，，0，K 递推运算： cjk1cjkcjk，每次迭代变化量： cjkGjk 令 cjkGjk 则 cjk1cjkGjk 或矩阵形式： Ck1CkGk，

式中为调节阶距（步长）注：可以看到

cjk1cjk1Gjk， jK，，0，K，

即强制要求抽头系数向着误差下降的方向变化。 则 cjk1cjkGjk 或矩阵形式： Ck1CkGk，

式中为调节阶距（步长step），其中第k符号时间的抽头系数列矢量（即

均衡器）为：

CkcK(k)cK1(k)c0(k)cK1(k)cK(k)

T

JGj0Gj0cjcj0cj,optcj0GjkdJk为第k次迭代时，J~cj曲线的梯度dcjk

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 138 2、梯度：

GkdJE{kVk} dCk

GkdJEkVk dCkVkvkKvkK1vkvkK1vkK

T

讨论：1)理想情况下，经过若干次迭代（kk0时），

CCopt GkE{kV}0J(k0)Jmink

2)实际情况中，计算Gk困难

GkE[kVk*] 统计平均, 不实时

ˆ取代梯度真值Gk 为克服这一困难，用估计值Gk* GkE[kVk]

ˆ} 对Gk的无偏估计有：GkE{Gk则

ˆ*V Gkkkˆ为真值Gk的无偏估计量。 Gk为梯度真值，Gk

3. 工程实用LMS算法：

ˆCˆGˆ (11-1-9) Ck1kkˆCˆV* (11-1-11) 即 Ck1kkkˆCˆ*V 或 Ck1kkk《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 139 在商用的自适应均衡器中，为简化乘法运算次数，仅取vk和（或）k的正负号进行运算，而不管大小。其优点是简单，易实现，运算次数少；缺点是收敛慢。 如：

* cjk1cjkcsgnkcsgnvkj (11-1-14)

1j Rex0，Imx0定义复符号函数：csgnx1j Rex0，Imx01j Rex0，Imx01j Rex0，Imx0

4. 均衡器结构

图11-1-2 基于MSE准则的线性自适应均衡器

(11-1-15)

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 140 五. 均衡器的操作过程 1. 方框图

图1 方框图 {Cj}ˆIk判决器－＋Ikk21Ik训练序列发生器Ik}同步与发送{ 2. 两种工作模式（状态）

ˆ （1）训练模式（training mode）: kIkIk~ˆ2（2）工作模式（run mode）: kIkI k, Pe10~在完成训练之后，进入正常的工作模式情况下，Pe105，IkIk，即使有错判，由于很小，由此引起的误调整影响很小。

3. 步长选择与收敛特性

训练时：1 1大—加速初始调整，接近Jmi n 工作时：2 2小—稳态误差小，JJmi n步长选择考虑：●稳定且收敛快

● 稳态MSE小

21 《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 141 六. 递推LMS算法收敛特性的分析

1、引言

说明三个问题：要解决什么问题；分析从何入手；分析的方法。 （1） 算法表示 理论上LMS算法： 实用的递推算法：

Ck1CkGk， （A）

ˆCˆV* （B） Ck1kkkˆV* 梯度向量有噪无偏估计值：Gkkk（2） 问题

 收敛特性与的关系？  如何选择，以确保收敛？

ˆ，即Gˆ为真值Gk的无偏估计， 因为GkEGkk所以，对收敛特性的影响，对（A）（B）两式是相同的。 为数学分析方便，我们只研究（A）式的收敛特性。

（3） 收敛特性的分析方法

采用反馈系统稳定性的分析方法：

 建立以Ck1输出的闭环系统模型，定性分析的影响；  建立系统的差分方程，定量分析的影响。

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 142 2、闭环系统模型——定性分析收敛特性

算法： Ck1CkG k （A）

式中， Gk=ΓCk-ξ(ξΓCk) （B）

Γ－接收信号自相关矩阵，由E[vkjvkl]确定。 ξ－互相关矩阵，由E[Ikvkl]确定。

分析：由（A）式可看出

（1）Ck的迭代过程可以看作：每次迭代增量(CkGk)的累积过程

—由保持器实现；

（2）第k时刻计算的增量(Gk)应在第(k+1)时刻反映出来

—由延迟(Z-1)来实现。

图3 －Gk 保持器 时延 Ck1Gk△zz1z1Ck1ξ+-GkT(z)z1Δ影影影影影影影影影影影影Ck1(A)(B)ΓCkΓz1

Γ )影影影影影影影影影影影( 结论：对闭环输出Ck1收敛特性影响因素：, Γ

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 143 3、系统的差分方程——定量分析收敛特性

由(A)式 得

Ck1CkGk=Ck(ΓCk-ξ)

Ck1(IΓ)Ckξ （A） (11-1-20)

为一阶差分方程组，即

Ck1ICk(2K1) 因为Γ不是对角矩阵，故，（2K+1）个一阶差分方程是相互耦合的，必须联解。所以，用解联立方程组来定量分析收敛特性是困难的。 解决方法：利用线性变换（酉变换）来解耦。

①Γ为Hermite（厄米特）矩阵，可用U(酉矩阵)表示为

ΓUΛU (U-1) (11-1-21)

12Λ N 式中，U(酉矩阵)由Γ的特征向量确定。

Λ(对角矩阵)的对角元素为Γ的特征值，特征值{i}为特征方程

ΓI0的根。

②再利用U矩阵的性质： UUI (U-2)

③将(U-1)式代入(A)式，两边再乘U，然后利用(U-2)式，可得 Ck1(IΛ)Ckξ (11-1-22)

Ck1UCk1式中， CkUCk

ξUξ《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 144

Ck1(IΛ)Ck 反映迭代产生的变化量(与k有关)ξ 信道特性不随迭代而变化 (与k无关)

说明：(1)因为Λ为对角矩阵，所以一阶差分方程组是线性不相关的（即解耦）。

(2) 收敛特性取决于其齐次方程组：

Ck1(IΛ)Ck (11-1-23)

即表示成（2K+1）个一阶差分方程组：

CK,(k1)1KC0,(k1)CK,(k1)CK,(k)C0,(k)

1KCK,(k)10 可见，（2K+1）个{i}与（2K+1）个{Ci}对应。 对第j个抽头系数Cj的差分方程为

Cj,(k1)jK,,0,(1j)Cj,(k)

k0,1,2,K,

其相应的闭环系统模型为： 系统函数为：

1

1(1jz)11jCj,(k)图4 Cj,(k1)z1 令1(1j)z10，得极点：z1j 要使迭代过程收敛，应使极点在单位圆内，即

1j1 (11-1-24)

11j1

即，

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 145

又因为{j}为Γ的(2K+1)个特征值；而Γ为自相关矩阵、Hermite型、正定

2。

的，因此，j0 (all j)，则 0

j又因为各抽头用统一的步长，为保证稳定收敛，以max确定。

2，

因此，若步长满足：0max则递推算法是稳定的，收敛的。

式中，max是Γ的最大特征值，其上界为

maxjKKjtrace Γ(2K1)j,j(2K1)(x0N0)

j,j0,0(2K1)(x0N0), all j

4、收敛特性的分析

（1）收敛特性～

在满足稳定递推运算条件下（即02max），

收敛速度  ＝1/10 )。 2(一般 2矛盾解决方法：分1，稳态误差

LMS算法的优点：简单，各抽头用同一个。

LMS算法每次迭代时，一个抽头做两次计算（一次乘法，一次加法），

则N个抽头（这里N=2K+1），每次迭代计算量为2N+1≈2N。

LMS算法的缺点：收敛慢。

因为按max确定，牺牲了大多数抽头乃至整个系统的收敛速度。

《数字通信》辅导材料 第5章 在有ISI及加性高斯噪声信道中的数字信号传输 146 （2）收敛特性～（max，min）

 收敛速度～maxmin

比值有关。 若maxmin若maxmin1，选择适当的Δ，可快速收敛。 1，收敛慢。 

(3) 收敛特性～信道频率响应C(f)的关系

j~Γ~x~fn~C(f)

对有深度衰减的信道，maxmin1，收敛慢。 