LVQ神经网络

LVQ神经网络分类原理 :

由Kohonen提出的LVQ神经网络是一种有监督的模式分类方法，它由三部分组成：输入层、隐含层和输出层。

学习向量量化神经网络结构

输入层隐含层输出层W1神经元W2

输入层的每一个神经元对应输入的一个特征，并行排列的r个神经元对应输入的r维特征向量。输入层通过权值与隐含层全互连，即输入层的每个神经元与隐含层的每个神经元都有连接，r维的特征向量和m个隐含层神经元决定了mr的权值矩阵W1，其每一行向量对应隐含层的一个神经元，因此，可以认为隐含层的m个神经元在r维的特征空间中形成分布，构成分类的类中心。对于输入，直接计算它与W1每一行向量的欧氏距离来找到最近的神经元而 把它归为某一类，这个最近的神经元输出为1，其他神经元输出为0。这时，可以得到m类分类结果，但这并不是最终分类，我们称之为子类。隐含层的每个神经元再通过nm的权值矩阵W2对应于表示最终分类的输出层神经元，矩阵W2的列代表子类，行

W2的每列仅有一个1，代表最终分类。其它为0，1出现的行表明这个子类的最终

分类，常常几个隐含层神经元对应同一输出层神经元，因此，m类子类重组为n类最终分类(m通常大于n)，这种子类组合成最终分类的过程使得LVQ神经网络能在有足够隐含层神经元情况下产生任意复杂的类边界。从上面可以看出，权值矩阵W1和W2就包含了对数据进行分类的规则，这种规则是在神经网络的学习过程中获得的。通过对训练样本数据的学习，神经网络不断调整连接权值，逐渐掌握蕴涵于样本数据中的难以用解析式表达的分类规则。 LVQ神经网络的学习算法如下：

步骤一 网络的初始化。主要是对权值进行设定，对于W1的行向量取较小的随机值。对于W2的初始化为：如果某个隐含层神经元权值向量对应子类属于输出层某个神经元所对应的最终分类，这两个神经元之间的连接权值设为1，否则为0，这样形成的权值矩阵就可以按照一定比例把隐含层神经元与输出层神经元对应起来，这种比例是根据训练样本中各类别数据占总数据的百分比来确定的，W2一旦定义好就不再改变。

步骤二 计算t时刻的输入P(t)与W1各行向量的欧氏距离。

rmdj(P(t)w)iiji1n2 步骤三 找出距离最近的权值行向量来确定获胜的隐含层神经元j，把隐含层的输出向 量1的第j个元素设定为1，其它为0。

步骤四 计算输出层的输出向量2的值：2W21。2中唯一的一个非零元素其序号k就表明P(t)分为第k类。 步骤五 比较网络输出类别与目标类别： 首先，若分类正确，按照下式修正

W1:Wj1(t)Wj1(t1)a(P(t)Wj1(t1)) 其次，如果分类不正确，则按下式修正

W1:Wj1(t)Wj1(t1)a(P(t)Wj1(t1))

式中Wj1(t)表示在t时刻隐含层中第j个神经元所对应的权值，a为学习速度。 步骤六 返回步骤二，重复步骤二到步骤六，进行权值调整，直到达到预设的训练次数要求或精度要求。按照上述训练算法，W1的每一行向量逐渐移向所代表子类的类中心，当训练过程结束后，固定好的网络权值就包含了对数据进行分类所需要的规则。