《数据驱动的科学和工程 机器学习、动力系统与控制详解》（美）史蒂文·L.布伦顿（STEVEN L.BRUNTON），（美）J.内森·库茨（J.NATHAN KUTZ）著；王占山，施展，刘莺莺译|(epub+azw3+mobi+pdf)电子书下载

图书名称：《数据驱动的科学和工程 机器学习、动力系统与控制详解》

【作　者】（美）史蒂文·L.布伦顿（STEVEN L.BRUNTON），（美）J.内森·库茨（J.NATHAN KUTZ）著；王占山，施展，刘莺莺译

【丛书名】国外工业控制与智能制造丛书

【页 数】 400

【出版社】 北京：机械工业出版社 , 2021.08

【ISBN号】978-7-111-68861-7

【价 格】149.00

【分 类】数据处理-研究

【参考文献】 （美）史蒂文·L.布伦顿（STEVEN L.BRUNTON），（美）J.内森·库茨（J.NATHAN KUTZ）著；王占山，施展，刘莺莺译. 数据驱动的科学和工程 机器学习、动力系统与控制详解. 北京：机械工业出版社, 2021.08.

图书封面：

图书目录：

《数据驱动的科学和工程 机器学习、动力系统与控制详解》内容提要：

高斯奖获得者、美国三院院士StanleyOsher教授等多位专家推荐，介绍机器学习和数据挖掘在理工科的应用……

《数据驱动的科学和工程 机器学习、动力系统与控制详解》内容试读

第一部分「降维和变换

第1章奇异值分解

奇异值分解(SVD)是计算时代最为重要的矩阵分解方式之一，它为本书中几乎所有的

数据方法奠定了基础。SVD提供了一种数值稳定的矩阵分解结果，可用于多种应用目的并

保证矩阵分解的存在性。我们将用SVD来获得矩阵的低秩近似，并对非方阵求取伪逆来找

到方程组Ax=b的解。SVD的另一个重要用途是作为主成分分析(PCA)的底层算法，可将高维数据分解为最具统计意义的描述因子，即降维，用少数变量就能够反映原来众多变量

的主要信息。SVD/PCA已广泛应用于理科和工科领域解决各种问题。

在某种意义上，SVD拓展了快速傅里叶变换(FFT)的概念，FFT将是下一章的话题。

许多工程教材会先介绍FFT,因为它是许多经典解析结果和数值结果的基础。然而，FFT是

在理想设置情况下工作的，而SVD是一种更为通用的数据驱动技术。因为本书关注的是数

据，所以我们从SVD开始，SVD可被认为是针对特定数据而提供的定制的基，而FFT提供

的则是通用的基。

在许多领域，复杂系统生成的大量数据是以大型矩阵形式排列的，或更通常的是以数组形式排列的。例如，可以将来自实验或仿真的一系列时间序列数据排列成一个矩阵，矩阵中的每一列包含所有给定时间上的测量值。如果在每一时刻上的数据是多维的，就像在三维空间中对天气进行高分辨率仿真一样，可以将这些数据重塑或扁平化为高维列向量，从而形成

一个大型矩阵的多个列。类似地，可以将灰度图像中的像素值存储在矩阵中，也可以将这些图像重塑成一个矩阵中大的列向量来表示影像的画面。值得注意的是，这些系统生成的数据

通常是低秩的，这意味着存在一些主导模式可用于解释高维数据。SVD是一种从数据中提

取这些模式的数值鲁棒和有效的方法。

1.1概述

在这里，我们将介绍SVD,并通过一些启发示例来展示如何使用SVD,以此建立对

SVD的直观认识。SVD为本书中介绍的许多其他技术提供基础，包括第5章中的分类方法、

第7章中的动态模态分解(DMD)和第11章中的本征正交分解(POD)。下面几节将讨论详

细的数学性质。

3

高维是在处理复杂系统中的数据时经常遇到的挑战。这些系统可能涉及大型测量数据集，包括音频、图像或视频数据。数据也可以从物理系统生成，例如来自大脑的神经记录、

2第一部分降雏和变换

来自仿真或实验的流体速度测量值等。在许多自然发生的系统中，可以观察到数据表现出主导模式，其特征可以由低维吸引子或流形来刻画252,25。

例如，图像中包含有大量的测量值（像素），它们是高维向量空间的元素。大多数图像是高可压缩的，这意味着相关信息可以在低维的子空间中表示。本书将对图像的可压缩性进行深入讨论。复杂的流体系统，如地球的大气层或车辆后方的湍流尾流，也提供了高维状态空间下存在低维结构的例子。尽管高保真流体的仿真通常需要至少数百万或数十亿个自由度，但在流体中往往存在主导的相干结构，如车辆后方周期性的旋涡脱落或天气中的飓风。

SVD提供了一种系统的方法，可以根据主导模式确定高维数据的低维近似值。这种技

术是数据驱动的，因为模式完全是从数据中发现的，无须添加任何专家知识或直觉。SVD

在数值上是稳定的，并根据由数据内主要相关性定义的新坐标系提供数据的层次表示。此

外，与特征分解不同，SVD可以保证对于任何矩阵都是存在的。

除了降低高维数据的维数外，SVD还有许多强大的应用。它可用于计算非方阵的伪逆

为欠定或超定矩阵方程组Ax=b提供解，还可以用于数据集去噪。SVD对于刻画向量空间之间的线性映射的输入和输出几何关系同样重要。这些应用都将在本章中进行探讨，从而为矩阵和高维数据提供一个直观的认识。

SVD的定义

通常，我们感兴趣于分析大型数据集X∈Cxm:

X

X2

(1.1)

列x∈C”可能是来自仿真或实验的测量值。例如，这些列可以表示已经被重塑为具有与图像中的像素一样多的元素的列向量的图像。列向量还可以表示随时间变化的物理系统的状态，例如一组离散点处的流体速度、一组神经测量值或是具有一平方千米分辨率的天气模拟状态。

索引k是一个标签，表示第k个不同组的测量。对于本书中的许多例子，X由时间序列

4☐数据组成，并且x,=x(k△)。通常，状态维度n非常大，可达到数百万或数十亿个自由度

的数量级。列通常被称作快照，m表示X中的快照数量。对于许多系统”>m,结果可表示为一个高瘦的矩阵，相反，当《m时，则是一个矮胖的矩阵。

对于每一个复值矩阵X∈Cm,SVD存在唯一矩阵分解：

X=UΣV*

(1.2)

其中，U∈Cmx"和V∈Cmxm是带有标准正交列的酉矩阵9，∑∈Cxm是一个对角元素为非负

实数、非对角元素都为零矩阵。这里*表示的是复共轭转置。我们将在本章中发现，U和

V是酉的这个条件被广泛地使用。

当n≥m时，矩阵∑在对角线上最多有m个非零元素，并可以被写成∑

因此，

0

曰如果UU*=U*U=I,则称方阵U是酉的。

对于实值矩阵来说，这与常规转置X*=X相同。

第1章奇异值分解3

可以使用经济SVD来精确表示X:

X=UEV*

=02v

(1.3)

满秩SVD和经济SVD如图1.1所示。心-的列张成的向量空间与心张成的向量空间是正交

互补的。U的列被称为X的左奇异向量，V的列被称为X的右奇异向量。2∈Cmxm的对角

线元素被称为奇异值，它们是由大到小排序的。X的秩等于非零奇异值的个数。

满秩SVD

V

0

U

经济SVD

图1.1满秩SVD和经济SVD中的矩阵示意图

SVD的计算

SVD是计算科学和工程学的基石，并且SVD的数值实现既重要又具有数学启发性。

也就是说，大多数标准数值实现都是成熟的，并且在许多现代计算机语言中存在一个简单

的接口，允许我们抽取出SVD计算背后的细节。在大多数情况下，我们只是将SVD作为

大型计算工作的一部分，并理所当然地认为存在这种有效且稳定的数值算法。在接下来的

章节中，我们将演示如何借助各种计算语言来使用SVD,还将讨论最常见的计算策略和局

限性。关于SVD的计算有许多重要的结果212.106,21,22,23。在文献[214]中可以找到有关

计算问题的更详尽的讨论。随机数值算法越来越多地用来计算超大矩阵的SVD,这将在1.8

节讨论

在Matlab中，SVD的计算很简单：

>>X randn(5,3);Create a 5x3 random data matrix>>[U,S,V]svd(x)i singular Value Decomposition

5

对于非方阵X,经济SVD效率更高：

>>[Uhat,Shat,V]svd(X,'econ');$economy sized SVD

在Python中：

第一部分降雏和变换

>>import numpy as np

>>X np.random.rand(5,3)create random data matrix>>U,S,V np.linalg.svd(X,full_matrices=True)$full SVD>>Uhat,Shat,Vhat np.linalg.svd(X,full matrices=False)

号economy SVD

在R中：

X <-replicate(3,rnorm(5))>s <-svd(X)>U<-8$u

s <-diag(ssd)

V<-sSV

在Mathematica中：

In:X=RandomReal[(0,1),{5,3)]

In:[U,S,V=singularValueDecomposition [X]

SVD也可以在其他语言中使用，比如Fortran和C++。事实上，大多数SVD的实现

6都是基于Fortran中的LAPACK(线性代数工具包)H)。SVD操作在LAPACK中被指定为

DGESVD,它被封装在C++库Armadillo和Eigen中。

历史回顾

SVD有着悠久而丰富的历史，从早期建立基础理论的工作发展到现代的关于计算稳定

性和效率的工作。Stewart5oa对SVD发展进行了很好的历史回顾，提供了相关背景和许多重要的细节。这篇文章主要介绍了Beltrami和Jordan(1873)、Sylvester(1889)、入Schmidt(1907)和Wyl(1912)的早期理论工作。该文章还讨论了更为近期的工作，包括Golub

及其合作者的开创性计算工作22,21。此外，现代著作中也有许多关于SVD的优秀章

节524,17,316

本书用途和读者要求

SVD是降维中许多相关技术的基础。这些方法包括统计学中的主成分分析(PCA)48,6,2列

Karhunen-Loeve变换(KLT)2o.34o、气候中的经验正交函数(EOF)B4、流体力学中的本

征正交分解(POD)25)、典型相关分析(CCA)3。尽管这些方法是在不同领域独立建立

起来的，但其中有许多方法只是在如何进行数据收集和预处理等方面有所不同。Gerbrands

在文献[204]中对SVD、KLT和PCA之间的关系进行了很好的讨论。

SVD还广泛应用于系统辨识和控制理论中获得降阶模型，以此实现如下意义上的平衡：

根据测量获得的状态观测能力和执行作用获得的状态控制能力实现状态的分层有序3

对于这一章，我们假设读者熟悉线性代数，并有一定的计算和数值方面的相关经验。作

为回顾，有许多关于数值线性代数的优秀书籍，那里有关于SVD的讨论524.7,311

1.2矩阵近似

SVD最有用的定义特性可能是它为矩阵X提供了一个最优的低秩近似。事实上，SVD

提供了一个分层的低秩近似，因为保留最前面的？个奇异值和向量，并丢弃其余的项，就可以获得秩为r的矩阵近似。

第1章奇异值分解5

Schmidt(Gram-Schmidt正交化方法提出者之一)将SVD推广到函数空间，并建立了

一个近似定理，将截断SVD作为基础矩阵X的最优低秩近似7o。Schmidt的近似定理被

Eckart和Young重新发现o,有时也被称为Eckart-Young定理。

定理1(Eckart--Young!7o)最小二乘意义下X的最优秩r近似，由秩rSVD截断文给出：

argmin X-XIF =UZV*

(1.4)7☐

文，s.t.rank(X)=r

其中，0和V分别表示U和V中前”个先导列，2包含∑中的先导r×r维子块。e表示Frobenius范数。

在这里，我们建立了一种表示形式，即截断SVD基（以及得到的近似矩阵文）用文=

心V*来表示。由于∑是对角矩阵，秩rSVD近似则是由r个不同的秩1矩阵的和给出：

文=∑0u以=o1u山1v+2u2吃+…+r山

(1.5)

k=1

这就是所谓的并向量求和。对于给定的秩r,在，意义下，对于X没有比截断SVD近似文更好的近似。因此，高维数据可由矩阵0和立的列给出的几个主导模式很好地描述。

这是SVD的一个重要特性，我们将多次讨论它。有很多包含高维测量值的数据集示例，

由此产生一个大的数据矩阵X。然而，在数据中往往存在主导的低维模式，截断SVD的基

提供了从高维测量空间到低维模式空间的坐标变换。这样做的好处是减少了大型数据集的规模和维数，为可视化和分析提供了一个易于处理的基。本书考虑的许多系统是动态的（见

第7章)，SVD的基提供了用于刻画可观测吸引子的层次模式，在此基础上可以投影一个低

维动态系统来获得简化的降阶模型（见第12章）。

截断

截断SVD如图1.2所示，其中立、立和7表示截断的矩阵。如果X不是满秩的，那么

中的一些奇异值可能是零，截断SVD可能仍然是精确的。但是，对于截断值”小于非零

奇异值的数目（即X的秩），截断SVD只能如下近似X:

X≈02V

(1.6)

截断秩r有许多选择，将在17节中讨论。如果我们选择截断值来保持所有非零的奇异值，

那么X≈立V*就是精确的。

示例：图像压缩

我们用一个简单的示例来说明矩阵近似的思想：图像压缩。贯穿全书的一个主题是大数据集通常包含易于用低秩表示的基础模式。自然图像提供了一个简单又直观的例子，其具有内在可压缩性。一幅灰度图像可以被认为是一个实值矩阵X∈Rxm,其中n和m分别表示

垂直和水平方向上的像素个数©。取决于表示（像素空间、傅里叶频域、SVD变换坐标）的

基，图像可能有非常紧凑的近似。

8

日尽管将图像大小指定为垂直的而不是水平的情况并不少见（即X”∈R"),但我们坚持用水平表示替代垂

直表示，这是为了与常用矩阵表示法保持一致。

6第一部分降维和变换

满秩SVD

7*

X

U

0

截断SVD

0

图1.2截断SVD示意图。下标“rem”表示立、立和V在截断后的剩余项

考虑图1.3中雪狗Mordecai的图像，这幅图像有2000×1500像素。可以对该图像进行SVD,绘制对角线奇异值，如图1.4所示。图1.3给出了在不同截断值r下得到的近似矩阵

X。当”=100时，重构图像非常精确，奇异值几乎占图像方差的80%。SVD截断导致对原始图

像的压缩，因为只有U和V的前100列以及∑的前100个对角元素被存储在心、立和立中。

原始图像

r=5,保留0.57%

r=20,保留2.33%

r=100,保留11.67%

图l.3SVD在不同的秩r截断后得到的雪狗Mordecail的图像压缩情况（原始图像分辨率

为2000×1500)

···试读结束···