《广义主成分分析算法及应用》孔祥玉，冯晓伟，胡昌华著|(epub+azw3+mobi+pdf)电子书下载

图书名称：《广义主成分分析算法及应用》

【作　者】孔祥玉，冯晓伟，胡昌华著

【页 数】 222

【出版社】 北京：国防工业出版社 , 2018.07

【ISBN号】978-7-118-11600-7

【价 格】79.00

【分 类】主成分分析-算法理论

【参考文献】 孔祥玉，冯晓伟，胡昌华著. 广义主成分分析算法及应用. 北京：国防工业出版社, 2018.07.

图书封面：

图书目录：

《广义主成分分析算法及应用》内容提要：

《广义主成分分析算法及应用》主要讨论了系统信号广义主成分分析方法及应用情况。全书可分为三部分：部分包括概述和基础理论，主要介绍广义主成分分析的概念、外研究现状，以及与广义主成分分析密切相关的矩阵理论、优化理论和神经网络等理论基础；第二部分研究多种广义主成分分析方法，该部分是《广义主成分分析算法及应用》的核心内容，重点介绍广义主成分分析、成对广义主成分分析、耦合广义主成分分析、确定性离散时间系统、双目的广义主成分分析、奇异主成分分析等内容；第三部分研究广义主成分分析方法的应用，主要讨论在信号处理、图像恢复和模式识别与分类等领域的应用。《广义主成分分析算法及应用》核心内容十分新颖，均为近年来作者们发表在IEEE信号处理、神经网络与学习系统等汇刊上的长文组成编辑提炼而成，是基于神经网络和优化理论的特征信息提取领域研究和应用的新进展。《广义主成分分析算法及应用》适合于信息科学与技术（电子、通信、自动控制、计算机、系统工程、模式识别、信号处理等）各学科有关教师、研究生和科技人员教学、自学或进修之用。

《广义主成分分析算法及应用》内容试读

第1章绪

论

1.1随机系统特征提取及其意义

众所周知，现实世界中一切随时间变化的过程，往往都要受到某些不确定因素的影响。例如，在工业生产过程中，用以表征该过程运行状态的变量（如温度、压力等)除了受到一些人为调节的控制量（如燃料流量、排气阀开度等）的影响之外，同时还要受到某些不确定因素（如环境温度、外界气流等）的影响。在经济决策问题中，除了一些常规的量已知外，还存在着大量的不确定因素的作用，使得经济系统的运行往往具有很大的未知性。如果这些不确定因素又服从某种统计规律，则把这种具有统计规律的不确定因素称为“随机因素”。随机因素大量存在于工业生产过程和经济决策等问题中。

所谓随机系统，就是指用以描述这类受随机因素作用的时间过程的一类数学模型，这类数学模型一般是某些含随机过程的差分方程或微分方程。一般来说，对任何一个随机系统，它应包含用以描述系统与外部联系的输入输出对，以及用以描述随机因素作用于系统的随机干扰

随机系统理论研究哪些内容呢？随机系统理论首先要研究对各类随机系统的正确描述，可分为时域描述和频域描述，输入输出描述和状态空间描述等在各种描述的基础上，随机系统需要研究对系统在输入和随机干扰共同作用下所生产的输出响应。由于随机系统固有的不确定性，系统的状态和输出都表现为具有某种统计特性的随机过程，随机系统需要借助于数理统计中的估计理论，来研究对系统状态或输出的估计。研究随机系统的目的，在于对系统施加控制，使之按照人们预期的目标发展，随机系统需要最优控制理论。对实际过程的估计或控制，都有赖于获得对该过程正确描述的数学描述，绝大多数实际过程的作用机理却不能为人们所精确了解，这就需要通过实验数据来构造模型，这就是系统辨识和参数估计。除此之外，自适应控制、随机系统仿真、随机系统检测理论及技术、动态系统状态估计的多源信息融合、随机系统信号的特征信息提取等均是随机系统理论需要研究的内容。

我们知道模式分类广泛存在于工程实际中，一个模式分类系统的好坏，首先与所选特征能否较好地反映将要研究的问题密切相关。因此，设计和获取特

1

广义主成分分析算法及应用

征是设计模式分类系统的第一步。很多情况下，我们可能已经得到了一组特征，这些特征中可能有很多特征与要解决的问题并不密切，在后续的分类器设计中可能会影响分类器的性能。另一方面，有时很多特征都与分类问题密切，但特征过多会造成计算量大、推广能力差等问题，很多方法可能会无法计算，因此需要在保证分类效果的前提下，选择尽可能少的特征来分类。

特征提取与选择的基本任务是研究如何从众多的特征中求出那些对分类识别最有效的特征，从而实现特征空间维数的压缩。特征提取和选择方法很

多，有基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换

法、基于决策界的特征选择、基于矩阵分解的特征提取、基于神经网络的自动特征提取等方法。系统如果发生故障，必然表现在其检测数据发生异常，反映数据本质属性的特征信息必然发生变化。如何快速有效地提取系统输出信号中所包含的特征信息是系统故障诊断与预测等领域需要解决的关键技术之一。

所谓神经网络自动特征提取，就是从随机系统量测的序列数据向量中通过

一定的算法自动地获取、估计或跟踪信号子空间或噪声子空间，从而得到反映随机系统的特征信息。根据被估计空间是信号子空间还是噪声子空间，随机系统信号特征提取可分为主子空间跟踪和次子空间跟踪，或者在单维情况下称为主成分分析、次成分分析或独立成分分析。这些方法已广泛应用在信号处理系统辨识、自适应滤波、频谱分析、故障诊断等领域。

对随机系统的特征提取，不但需要深入分析系统的故障历史数据，建立其故障特征库，还需要在此基础上对系统的状态进行实时监测，因此需要算法具有在线实时跟踪的能力：由于系统状态随着时间推移、由正常状态到故障状态是一个缓慢变化的过程，而这一缓变过程可以看作是一个非平稳过程，因此需要算法具有处理非平稳信号的能力；由于系统的关键部位测试点较多，导致测试信号维数较大，因此需要算法具有快速处理高维信号的能力。显然，基于矩阵计算的随机系统信号特征信息提取方法虽然能够取得很好的效果，但它是一种批处理方法，其计算复杂度高、不能实现迭代运算与在线跟踪。神经网络方法作为一种在线算法，能够以较小的计算复杂度对信号进行实时处理，并能对高维或非平稳信号特征进行有效提取和跟踪。目前，基于神经网络的信号特征提取相关算法，已广泛应用于随机系统信号特征信息提取。尤其是1982年芬兰学者Oja提出利用单层神经模型Hebbian类学习算法进行随机系统信号特征提取以来，由于该类网络模型克服了局部极值而且算法结构简单使得该类模型和算法得到大量研究，是30年来国际特征信息提取、数据分析、神经网络等领域的一大研究热点。在此基础上，已有大量的新算法被提出，算法性能也得到了广泛研究。因此，基于神经网络的系统特征提取算法非常适用于随机系统的特征信息提取。通过研究简单、快速、高效、鲁棒的随机系统特征信息提取神经2

第1章绪论

网络算法，并最终运用到复杂工程系统的特征信息提取上，将有助于系统故障快速诊断、科学预测和延长系统使用寿命。

本书所涉及的随机系统信号特征信息提取理论与算法，在基于数据驱动的信号处理、数据分析、神经网络、优化控制、诊断与建模等方面具有相当普遍的应用，其技术的进步与突破，将促进基于数据驱动的控制、诊断和建模理论与技术的发展，对于实现复杂工程系统的预测维护、科学定寿、健康管理等具有十分重要的意义。这些成果不论是在军队的武器装备（如导弹、航空、航天、兵器、船舶、雷达等)还是在大型复杂民用设施的使用维护和健康管理中都有十分广阔的应用前景，研究具有重要的科学理论意义和广泛的应用价值。

1.2主成分分析国内外研究现状

众所周知，信号预处理一般是将一个高维信号空间映射到一个低维特征空间，而这个低维特征空间包含了尽可能多的原始信号空间的特征信息，因此这个过程称为特征提取。所谓随机系统信号特征提取，就是指从随机系统测量的序列数据向量中通过一定的算法自适应提取信号子空间或噪声子空间，从而得到反映随机系统本质属性的特征信息。这个提取的过程如果是在线的，则通常又称为子空间跟踪。包含绝大多数原始信息的低维空间通常称为子空间，它可以通过一定的算法被直接提取出来或者由提取出的相互正交的特征向量张成。由主特征向量张成的子空间称为主子空间或信号子空间，由次特征向量张成的空间称为次子空间或噪声子空间。对信号子空间或噪声子空间的跟踪算法则

分别称为主子空间跟踪(PSA)或次子空间跟踪(MSA)。单维信息提取可以认

为是子空间跟踪的特殊形式，分别称为主成分分析(PCA)和次成分分析

(MCA)。这些方法已广泛应用于如信号处理、系统辨识、自适应滤波及频谱分

析等领域，其中主子空间跟踪及主成分分析在数据及图像压缩与重构、多重信号分类、波达方向估计、故障检测等领域得到了广泛应用，次子空间跟踪或次成分分析也已经应用在了如总体最小二乘、运动目标识别、曲线与曲面匹配、模态与频域估计和故障检测等领域。前面提到过，多个相互正交的特征向量可以张成特征子空间，这表明可以通过顺序提取多个主（次）特征向量来实现主（次）特征子空间的提取。因此，许多文献都只研究了提取最大（小）特征值对应的特征向量来研究主（次）子空间跟踪问题，并且这种单个特征信息提取的特殊算法也得到了广泛应用，如自适应波束形成、信号增强2]和蜂窝移动通信3.等。

相关矩阵特征值或数据矩阵奇异值处理方法是基于数据的集中处理，本质上是一种批处理算法，无法实时应用。对于高维数据来说，其计算复杂度是相当大的，也容易出现数据不稳定的情况。这样，寻求可以实时处理、数值稳定和

3

广义主成分分析算法及应用

算法简单的随机系统特征信息提取方法就成为近20年来研究热点，许多实时处理方法也相应被提出和分析。Sanger's]、Kung6、Oja]均对实时处理方法有所研究。到目前为止，已经有许多学者提出了大量的迭代算法，如常规迭代、逆迭代、瑞利商迭代、逆Chebyshev迭代、神经网络等方法。其中，神经网络方法是

一种行之有效的迭代求取算法，尤其是求主/次成分的单层神经网络模型，由于其算法的简单性和有效性而受到人们的高度重视，并得到了迅速发展，已经成

为自适应PCA/PSA、MCA/MSA的主流算法。按照现在的观点，这种实时处理

方法从神经网络角度来看就是一个自适应的神经网络学习算法[8)。芬兰学者

Oja、华裔学者XuLo.等人在主/次成分分析的神经网络算法领域做了许多开创性的工作，被公认为该领域的先驱。到目前为止，国际上已有大批学者针对该类神经网络算法开展了深入研究，并提出许多新的算法，算法的性能也被广泛地分析。

本书主要研究了主/次成分分析、广义特征信息提取和奇异值分解的神经网络算法，现对这三类算法的研究现状详述如下。

1.2.1基于神经网络的主成分分析研究现状

作为信号处理的有效工具之一，PCA和MCA已经被广泛应用于各种信号

处理与特征提取等领域2]。PCA致力于寻找信号空间中对应于最大特征值的

特征向量-5]，目前已被广泛应用于如降维61、数据和图像压缩[7、盲源分离[8)、故障检测与诊断9,0等领域。与传统批处理方法相比，基于神经网络的

PCA、MCA算法因其具有较低计算复杂度、较好数值稳定性及实时处理性能等

优点而被广泛采用21.2)。目前，已有大量相关算法被提出来，如Chatterjee算法[23-2]、Chen算法[26-]、Luo算法[9、MCA EXIN算法0、Ouyang算法3)、Mao算法[21、Peng算法3-3]、Kong算法n,36-9]等。除此之外，还有大量文献专门针对神经网络算法的收敛性进行了详细的分析研究[34,06]。文献[47,48]等给出了关于神经网络算法的具体讨论：文献[14]给出了关于神经网络算法一些具体

应用的综述；文献[49]给出了关于基于神经网络的PCA算法的综述。尽管神

经网络方法已经被提出多年，近年来学者们仍不断致力于寻求更新更优的算法。

在神经网络算法研究史上，最早可以追溯到1966年Bradury提出的对一个极端（最大或最小）特征对（特征值和特征向量）进行迭代计算的方法0)。而最早的特征值和特征向量更新方法是由Colub 5]于1973年提出的。后来，Bunch等人[s2,s3]对Goub的更新思想加以扩展推广。推广方法的基本思想就是在每次秩1修正后更新协方差矩阵的特征值分解，然后利用交织定理(interlacingtheorem)将矩阵的特征根定位，用迭代求根方法更新特征根的位置，从而更新特

4

第1章绪论

征向量。在1979年，Thompson提出了估计与样本协方差矩阵最小特征值对应的特征向量最小均方(LMS)型自适应方法，并结合Pisarenko谱估计提供了角度/频率的自适应跟踪算法s4)。Sarkar等人[s]运用共扼梯度法，来跟踪与慢时变（非平稳）信号协方差矩阵的最小特征值对应的特征向量的变化，并证明该方法比Thompson的最小均方方法收敛快得多。Schereiber's3]☑引入了一种变换，将大部分的复数算术运算变成实数运算，并使用Karasalo方法[s6]进一步减少运算量。DeGroat与Roberts57发展了一种基于两两Gram-Schmidt正交化的数值稳定的秩1特征结构更新方法。Yu58)则将秩1特征结构更新推广到了块更新问题。这些方法只是跟踪单个极端特征值和特征向量，虽然应用有限，但是后来被推广为特征子空间的跟踪和更新方法。

在实时处理的众多方法中，能够快速、鲁棒、自适应在线提取的迭代方法，受到了学术界的高度关注。最早的自适应信号子空间跟踪方法由Owsley[s9]于1978年提出。Yang与Kaveh利用随机梯度法提出了一种最小均方型子空间跟踪算法o,推广了Owsley的方法和Thompson的方法。这种最小均方型算法具有高并行结构和低计算复杂度。Karhunen6]则通过发展一种子空间计算的随机逼近法推广了Owsley的思想。如同Yang与Kaveh推广Thompson思想以发展最小均方型子空间跟踪算法一样，Fu与Dowling62]推广Sarkar等人的想法，发展了一种基于共扼梯度的子空间跟踪算法。近20多年来，特征子空间的跟踪与更新成了一个非常活跃的研究领域。其后，许多学者开展了特征向量或特征子空间跟踪算法的研究3，更多的是跟踪信号子空间算法的研究。有的同时更新特征值和特征向量：有的是采用矩阵理论计算，如经典的特征值分解/奇异值分解的批处理方法，但这样不利于非平稳信号子空间的跟踪：有的采用优化理论来解决子空间跟踪问题。在神经网络算法中，应用最广泛的是梯度类的算法。由于子空间跟踪主要用于实时信号处理，所以要求它们应该是快速算法，但是这类算法虽然简单但收敛较慢6]。为了提高收敛速率，其他算法如幂法[64]、QR类算法[6s-6]和共轭梯度算法[62]等被提出来。然而，这类算法需要复杂的求平方根运算[6。基于最小均方误差s5,9,0或一些功率函数[1,2]，LS类算法被提出来提取主成分或主子空间，这类算法不需要求平方根运算，并且具有较快的收敛速率

在主子空间跟踪的神经网络算法研究领域，一类算法如0ja算法1.)]、对称误差修正算法[4)、对称后向传播算法36]等相继提出，这些算法都是在一些启发式推理的基础上提出来的。分析表明，这几个算法本质上是相同的，因此被统称为Oja算法。后来，学者们通过基于一定的信息准则推导出了一类算法。再后来，Xu提出了最小均方误差重构算法o(LMSER),基于该均方误差，许多

算法如投影近似子空间跟踪算法(PAST)[)、共轭梯度算法[62]、高斯-牛顿方

5

广义主成分分析算法及应用

法[5]等被提出来了。基于一个新颖的信息准则，Miao等人提出一个主子空间跟踪梯度算法和递推类算法[2]。基于带加权矩阵的新信息准则，Ouyang等人提出了快速提取多个主成分的梯度算法和递推类算法6。后来，Ouyang又提出了一种新的基于拟牛顿法的自适应算法来跟踪信号的主子空间”，8】，与传统算法不同的是，该算法不需要惩罚因子，这在处理非平稳信号时有独特优势。

在PCA算法的基础上，为了适应更为复杂的工业过程监测和特征提取，大量的

改进算法（如核主成分分析KPCA[9)、动态主成分分析DPCA[O)、多尺度主成分

分析MPCA[81)等)被提出，并不断得到改进，形成工业过程监测和特征提取领域

非常活跃的研究领域。

在次子空间跟踪的神经网络算法研究领域，学者们也作出了许多突出贡献。与主成分（子空间）跟踪算法相反，次成分（子空间）跟踪是寻找信号自相关矩阵的一个或多个最小特征值及其相应的特征向量或特征子空间[2，]。文献[84]指出，MCA与最小均方误差(Total Least Squares,TLS)标准下曲线与曲面匹配有密切的关系。目前，MCA应用在TLS84,85]、运动目标检测s6)、抗干扰[]、曲线及曲面拟合口、数字波束形成[]及频率估计[]等领域。次成分可以采用像主成分那样的方式抽取，一个简单的想法是逆转主成分分析算法的符号。这是基于一个事实，即在许多算法中主成分对应于损失函数的最大化，而次成分对应于同样的损失函数的最小化。然而，这一想法一般情况下是不成立的，这一点已经被广泛地讨论8]。之前学者认为主成分是重要的，而那些具有较小方差的次成分往往被认为是不重要的，甚至作为噪声处理。但在某些问题中，次成分与主成分同样重要[o)。例如，在信号处理中，谱估计的Pisarenko法就利用了次成分，它在理论上揭示了相关矩阵的对应于最小特征值的特征向量

的系数，即为正弦波过程的ARMA模型的AR参数[91-]。又如，文献[87]通过

估计GPS接收到的信号的噪声子空间并将信号投影到该噪声子空间中，成功实

现了干扰抵消。因此，次成分分析也是一种重要的统计方法，该方法在信号处理和数据分析中有着广泛的应用。

随机系统信号特征提取的神经网络算法的收敛性分析也是目前国内外关于随机系统特征信息提取算法的一大研究热点。对神经网络学习算法而言，算法的收敛性对算法的实际应用非常关键。对神经网络学习算法收敛性的证明已经发展了多种方法，一般认为总体上可以分为确定性连续时间系统(Deterministic Continuous-Time,DCT)、随机离散系统(Stochastic Discrete

Time,SDT)和确定性离散时间(Deterministic Discrete Time,DDT)三类。在早

期，传统的神经网络算法都是由DCT来间接分析的。在这种分析方法中一些

限制性的条件必须得到满足，其理论基础是Robbins和Monro在1951年引入的随机近似理论。文献[94]对该方法的原理进行了详细论证，目前该方法仍6

···试读结束···