奇异值分解
奇异值分解我写过一个简短的理解，记录于 ，
这次又写一遍完全是因为《统计学习方法》的奇异值分解讲得太详细了，占了25页的篇幅，且大致翻看后面章节后发现奇异值分解的应用很多，因此决定对奇异值分解再重新学习一遍。
任意一个 矩阵，都可以表示为三个矩阵的乘积（因子分解）形式：
其中 是 阶正交矩阵、 是由降序排列的非负的对角线元素组成的 矩形对角阵、 是 阶正交矩阵。即这三个矩阵满足：
称为矩阵 的奇异值分解（singular value decomposition，SVD）。
奇异值分解基本定理 ：若 为一个 实矩阵， ，则 的奇异值分解存在。
证明：
证明是构造性的，对给定矩阵，不妨设 。
（1）确定 和 。
矩阵 是 实矩阵，则 是 阶实对称矩阵，因而 的特征值都是实数，且存在一 阶正交实矩阵 实现 的对角化，使得 ，其中 是 阶对角矩阵，其对角线元素由 的特征值组成，且 的特征值都是非负的。事实上，令 是 的一个特征值， 是对应的特征向量，则：
于是：
假设正交矩阵 的列的排列使得对应特征值形成降序排列：
计算特征值平方根（实际就是矩阵 的奇异值）：
设矩阵 的秩为 ，则矩阵 的秩也为 （通过证明 和 同解即可证明）。由于 是对称矩阵，它的秩等于正的特征值的个数（因为 和与其相似的对角矩阵 秩相等，而 对角元素是 的特征值）。所以：
从而：
令：
其中 为正特征值对应的特征向量组成的矩阵， 则为0特征值对应的特征向量组成的矩阵。从而 可以写成：
这就是矩阵 的奇异值分解中的正交矩阵 。
令：
于是 矩阵对角矩阵 可以表示为：
这就是矩阵 奇异值分解中的 。
（2）确定
令：
则有：
的列向量构成了一组标准正交基，因为：
因为 时， 和 正交。故有：
所以 的列向量构成了一组标准正交基。
若将 看成从 到 的线性变换，则 的列空间和 的值域 相同。因此 也是 的一组标准正交基。因为 （即 的零空间和 的正交补相同），故 的维数为 。
令 为 的一组标准正交基，并令：
则 构成了 的一组标准正交基。因此 就是 的奇异值分解中的 阶正交矩阵。
（3）证明
至此证明了矩阵 存在奇异值分解。
上述定理给出的奇异值分解 称为矩阵的 完全奇异值分解 。实际常用的是奇异值分解的紧凑形式和截断形式。 紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。
紧奇异值分解定义 ：
设有 实矩阵 ，其秩为 ，则称 为 的紧奇异值分解：
是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。
截断奇异值分解定义：
设有 实矩阵 ，其秩为 ，且 ，则称 为 的截断奇异值分解：
是 矩阵，由完全奇异值分解中 的前 列得到， 是 矩阵，由完全奇异值分解中 的前 列得到， 是 阶对角矩阵，由完全奇异值分解中 的前 个对角线元素得到。
注意，紧奇异值分解完全还原原矩阵，截断奇异值分解近似还原原矩阵。因此在对矩阵数据进行压缩时，紧奇异值分解对应无损压缩，截断奇异值分解对应有损压缩。
从线性变换的角度理解奇异值分解， 矩阵表示从 维空间 到 维空间 的一个线性变换：
， ， 和 分别是各自空间的向量。 线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射变换。 这就是奇异值分解的几何解释。
上图来自《统计学习方法》。我们可以很直观地看到奇异值分解的几何意义。
其实奇异值分解的计算过程已经蕴含在奇异值分解基本定理中了，对给定 矩阵 ，计算过程如下：
（1）计算 的特征值 和对应的特征值向量。
（2）将特征向量单位化，得到单位特征向量 构成 阶正交矩阵 ：
（3）计算 的奇异值：
构造 矩阵 ，主对角线元素为奇异值，其余元素为 。
（4）对 前 个正奇异值，令：
得到：
求 零空间的一组标准正交基 ，令：
则：
这部分内容是我没有接触过的，我以前只知道SVD和PCA类似，都可以做降维（其实PCA是SVD的特殊情形），但并没有从矩阵近似和压缩的角度看待过SVD。这一部分内容证明了一个结论： 奇异值分解是在平方损失意义下对矩阵的***近似。
首先定义 矩阵的平方损失函数 （也称为弗罗贝尼乌斯范数）：
设矩阵 ， ，定义矩阵 的平方损失函数为：
下面证明一个结论：
证明：
一般地，若 是 阶正交矩阵，则：
这是因为：
同理，若 是 阶正交矩阵，则：
因此：
即：
有了上述结论，我们接下来证明 奇异值分解是在平方损失意义下对矩阵的***近似。
定理1 设矩阵 ， ，设 为 中所有秩不超过 的矩阵集合， ，则存在一个秩为 的矩阵 ，使得：
称矩阵 为矩阵 在平方误差下的***近似。
定理2 设矩阵 ， ，有奇异值分解 ，并设 为 中所有秩不超过 的矩阵的集合， ，若秩为 的矩阵 满足：
则：
特别地，若 ，其中：
则：
定理2的具体证明过程见《统计学习方法》。
奇异值分解(SVD)
奇异值分解(SVD)是一种矩阵因子分解方法。任意一个m*n的矩阵，都可以表示为三个矩阵的乘积(因子分解)的形式，分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的m*n矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作出矩阵数据压缩的一种方法。即用因子分解的方式近似地表示原始矩阵，这种矩阵在平方损失意义下的***近似。
矩阵的奇异值分解是指，将一个非零的m*n实矩阵 ，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解
其中U是m阶正交矩阵，V是n阶正交矩阵， 是由降序排列的非负的对角元素组成的 的矩形对角矩阵
称为矩阵的奇异值分解， 称为矩阵A的奇异值, 的列向量称为左奇异向量， 的列向量成为右奇异向量
紧凑奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵降低秩的奇异值分解。在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。奇异值分解是在平方损失意义下对矩阵的***近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩
设有 实矩阵A，其秩为rank(A) = r, ，则称 为A的紧奇异值分解，即
其中 是 矩阵， 是 矩阵， 是r阶对角矩阵，矩阵 由完全奇异分解中的前r列，矩阵 由V的前r列，矩阵 由 的前r个对角线元素得到，紧奇分解的对角矩阵 的秩与原始矩阵A的秩相等
在矩阵的奇异值分解中，只取***的k个奇异值(k r,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。实际应用中提到的矩阵的奇异值分解，通常指截断奇异值分解
设A为 实矩阵，其秩rank(A)=r,且， ，则称 为矩阵A的截断奇异值分解
其中 是 矩阵， 是n*k矩阵， 是k阶对角矩阵；矩阵 由完全奇异分解U的前k列，矩阵 由V的前k列，矩阵 由 的前k个对角线元素得到。对角矩阵 的秩比原始矩阵A的秩低。
从线性变换的角度理解奇异值分解， 矩阵A表示从n维空间 到m空间 的一个线性变换，
x和Ax分别表示各自空间的向量。线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射。
对矩阵A进行奇异值分解，得到 ,V和U都是正交矩阵，所以V的列向量 构成空间的一组标准正交基，表示 中的正交坐标系的旋转或反射；U的列向量 构成 空间的一组标准正交基，表示 中正交坐标系的旋转或反射； 的对角元素 是一组非负实数，表示 中原始正坐标系坐标轴的 倍的缩放变换。
任意一个向量 ，经过基于 的线性变换，等价于经过坐标系的旋转或反射变换 ，坐标轴的缩放变换 ，以及坐标轴的旋转或反射变换U,得到相框
矩阵A是 的正交实矩阵，则矩阵 是n阶实对称矩阵，因而 的特征值都是实数，并且存在一个n阶正实矩阵V实现 的对角化，使得 成立，其中 是n阶对角矩阵，其对角元素由 的特征值组成。
而且， 的特征值都是非负的。事实上，令 是 的一个特征值，x是对应的特征向量，则
于是
可以假设正交矩阵V的列排列使得对应的特征值形成降序排列。
计算特征值的平方根(实际上解释矩阵A的奇异值)
设矩阵A的秩是r,rank(A)=r,则矩阵 的秩也是r。由于 是对称矩阵，它的秩等于正的特征值的个数。
对应的
令
其中 为 的特征值对应的特征向量， 为0特征值对应的特征向量。
则
这就是矩阵A的奇异值分解中的n阶正交矩阵V
令
则 是个一个r阶对角矩阵，其对角线元素为按降序排列的正的 ，于是 矩形对角矩阵 可以表示为
这就是矩阵A的奇异值分解中的 矩阵对角矩阵
接着构造m阶正交实矩阵U
令
则有
的列向量构成正交基是因为
对 的非零空间的一组标准正交基 ，令
并令
什么是矩阵的奇异值分解?
奇异值 奇异值矩阵 奇异值矩阵分解
奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。
定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。
记为。
(A)，则HA)^(1/2)。
定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得:
A = U*S*V’
其中S=diag(σi,σ2,……,σr)，σi0 (i=1,…,r)，r=rank(A)。
推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得
A = U*S*V’
其中S=diag(σi,σ2,……,σr)，σi0 (i=1,…,r)，r=rank(A)。
说明：
1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。
U和V中分别是A的奇异向量，而S是A的奇异值。
AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。
因此，奇异值分解和特征值问题紧密联系。
2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。
关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A'A特征值的说明. (对复矩阵类似可得)
从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B'=B-1, 即B'B=I), S为对角阵.
A'A=V'S'U'USV=V'S'SV=V-1S2V
上式中, 一方面因为S是对角阵, S'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A'A是相似与S2的, 因此与S2有相同特征值.
注：下面的符号和上面的有差异，注意区分
SVD步骤：
1、求AHA或AAH
2、求AHA或AAH的特征值及特征向量x1,x2,...xr， r个特征值组成
3、 U=(x1,x2,...xr)地
4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2)
则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵.
一个简单的充分必要判别准则是 方阵U的转置共扼距阵乘以U 等于单位阵,则U是U距阵
正交向量组的性质
定义1 Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组．
若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组．
设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．
什么是奇异值分解
矩阵的迹
trace 方阵对角元素之和
Singular value decompostion
奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V
U和V中分别是A的奇异向量，而B中是A的奇异值。AA'的特征向量组成U，特征值组成B'B，A'A的特征向量组成V，特征值（与AA'相同）组成BB'。因此，奇异值分解和特征值问题紧密联系。
如果A是复矩阵，B中的奇异值仍然是实数。
SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。
在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。
将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置， 因此矩阵的特征值分解。。。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广， 表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制。。倾斜转弯导弹》
昨天看了一个网页，，知道了奇异值分解就是把矩阵A分解成hanger，stretcher，aligner的三重积。从几何意义上讲矩阵A乘以几何图形（用数值序列x，y代表），相当于对几何图形先扭转，再拉伸，再扭转。从这里也知道，“正交”的概念特别有用。一对最简单的正交基（orthogonal basis,perpframe）是p1 = [cos(s) sin(s)]，p2 = [-sin(s) cos(s)]，它可以用于几何变换。
奇异值分解的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、奇异值分解的信息别忘了在本站进行查找喔。