K-L变换

K-L变换（Karhunen-Loéve）

离散K-L展开式的矩阵表示

设非周期随机过程x(t)，在采样区间[a, b]作均匀采样，采样样本表示为向量

?x(t1)??x(t)?x??2?（理解为每个样本向量有D个特征）

?????x(t)?D?其相关函数E[xxT]为D维方阵，有D个线性无关的特征向量。

【假如有N个采样样本，xD?N?x11?x??21????xD1x12x22?xD2x1N??x2N??， ?????xDN??相关函数E[xx]＝

T1TxD?NxD?N】 N则采样序列x的展开式仅含有D项x?向量），cj为对应的展开式系数。

?c?jj?1Dj，式中，?j为第j个正交基函数（也叫基

【对于“K-L展开式满足正交变换，且是最小均方误差的”证明如下：】

假设向量集合{xi}(i?1,2,?)中的x可以用完备正交归一向量系或者称为变换基向量

ui(j?1,2,?,?)来展开，则有x??cjuj

j?1?基向量满足正交性uiTuj???1,j?i

0,j?i???在离散情况下使用有限基向量集合来表示，即x??cujj?1Tjdj

??)(x?x?)]?E[(其均方误差为??E[(x?xTTj?d?1?cu)(?cu)]?E[?cjjjj?d?1j?d?1?2j]

将展开式系数cj?ujx（理解为x在基坐标上的投影，而展开式系数就是坐标值）代入均方误差表达式，有

??E[?uxxuj]?TjTj?d?1?j?d?1?u?TjE(xx)uj?Tj?d?1?uψuTj?j

T（理解上式中cj?uTjx?xuj，因为是行向量和列向量）

ψ?E(xxT)为自相关矩阵（这是一个对称矩阵，因为(xxT)T?xxT）

由拉格朗日条件极值法求均方误差的极限，相应的拉格朗日函数为

L(uj)?j?d?1?u?Tjψuj?j?d?1??[uu?1]

jTjj?令

dL(uj)?0（理解j从的d＋1取到无穷，总共就有这么多方程） duj则2ψuj?2?juj?0

得(ψ??jE)uj?0，j?d?1,?,? 【 这是矩阵的导数问题！相关概念知识如下： 令A是一个与列向量x无关的矩阵，则

?xTA?xTAx?Ax?ATx?(A?AT)x ?A，

?x?x?xTAx?2Ax 特别地，若A为对称矩阵，则有

?x证明：

前半部分：

????x(x1a11?x2a21)T?xA?1假设??x????x(x1a11?x2a21)?2后半部分：

nn??(x1a12?x2a22)??x1a11a12?????A ??a??a(x1a12?x2a22)??2122??x2?xAx???Aijxixj— 一个多项式

Ti?1j?1?xTAx梯度（是一个列向量）的第k个分量为

?x?xTAx?[]k??x?xk??Axx??Ax??Axijijikikji?1j?1i?1j?1nnnnj

?xTAx?ATx?Ax?(A?AT)x】 ?x其解就是使均方误差为极小的基向量uj，同时求得的uj为矩阵ψ的特征向量，其对应的特征值为?j，则截断均方误差为??式中?j为矩阵ψ的特征值。

K-L变换坐标系的特点

1、使用K-L变换坐标系与使用其他正交变换坐标系相比，只有K-L展开式对于x的展开是均方误差最小的。

2、如果能够取矩阵ψ的d个最大特征值?j,(j?1,?,d)所对应的特征向量uj(j?1,?,d)来构成K-L变换坐标系，在均方误差最小的意义下，便可以实现D维空间到d(d?D)维空间的压缩映射。

3、矩阵ψ?E(xxT)是依赖于样本空间中的样本的，所以K-L变换可以实现基于样本空间的压缩变换，K-L展开式可以有效地展示样本空间中的信息量属性。

K-L变换的精髓理解

K-L坐标系的生成是依据样本空间中的原始数据的，因此可以准确地刻画样本空间中的特征用于分类。这不同于其他固定基向量的线性变换。

K-L变换矩阵的生成（用于生成K-L坐标系）

【方法1样本类别未知条件下】使用自相关矩阵ψ?E(xx) 【方法2样本类别未知条件下】使用样本的协方差矩阵

Tj?d?1???j（此处用矩阵对角化的概念理解uT，jψuj??j）

??E[(x?μ)(x?μ)?P??ii?1ciT]

注意：如果样本所属类别未知，在没有类别标签时，均值向量μ是无意义的。 【方法3样本类别已知条件下】使用总类内离散度矩阵Sw?式中?i?E[(x?μi)(x?μi)]为协方差矩阵。 使用条件：

1、 样本集合有类别标签?i(i?1,2,?,c)。 2、 各类的先验概率已知为Pi。 3、 可计算的类均值向量μi。

T

4、 协方差矩阵为?i?E[(x?μi)(x?μi)T]。

【方法4样本类别已知条件下】如果只考虑同类样本的信息表征，可以单独使用一个类别样本集合的?i来建立各自的K-L坐标系。

K-L变换应用于人脸图像的识别

使用是基于人脸结构的相似性以及人脸特征的非颗粒性 以人脸灰度图像为例，具体实现步骤如下： 1、 获得数据图像XN?N，比如取N=128。

2、 将数据作标准化处理。应用图像处理技术有旋转、比例、缩放、分割、裁剪、灰度、光

照等。处理后的图像为标准图像。

3、 构建图像数据库。使用标准化处理后的图像数据库建立相应规模的样本数据库。将N×

N维图像数据的各列顺序相接构成N维向量数据xi，xi为第i个图像数据向量。

2XN?N?x11?x1N??

????????xN1?xNN??xi?[x11x21?xN1x12x22?xN2?xNN]T

4、K-L变换。以样本集合的总体离散度矩阵（理解为协方差矩阵，表达各分量间的相关程

度）作K-L变换，产生矩阵

1 ??E[(x?μ)(x?μ)]?MTM?1i?0?(xi?μ)(xi?μ)T?1XXT M 式中，M为训练样本数目，μ为训练样本集合的平均图像向量。

X?[x0?μ,x1?μ,?,xM?1?μ]（理解为将M个样本向量并列组合）是N2?M维

的矩阵。?是N?N维的矩阵（理解为不同像素点间的相关度）。对于如此高维数的矩阵直接计算?的特征值和正交归一特征向量其计算量非常大，因此可以使用矩阵理论中的奇异值分解算法将矩阵?作奇异值空间与非奇异值空间分离，降低定义空间的维数。

5、根据奇异值分解算法结果，构造矩阵R?XX是M×M维的，特征空间的维数大大降低，很容易计算出矩阵R的特征值?i(i?0,1,?,M?1)与正交归一化特征向量

T22vi(i?0,1,?,M?1)，XN2?M????UN2?N2?????T?0??0?0???????VTM?M。因为XTX?M?1????0??N2?M0?的正交单位特征向量组成V，XX（理解即为?）的正交单位特征向量组成U。所以相应原矩阵?的正交归一特征向量为ui?1?iXvi,i?0,1,?,M?1。

???， ?M?1????0??N2?M0?【证明：因为，XN2?MVM?M????UN2?N2??????0??0?00?????????u0,u1,?,uM?1,????????0??0?0????????X?v0,v1,?,vM?1?， ?M?1????0??N2?M??u,00?1u1,?,?M?1uM?1?X?v0,v1,?,vM?1?，

1?所以

?iui?Xvi,(i?1,2,?,M?1)，即ui??iXvi,(i?1,2,?,M?1)】

6、构造“特征脸”。将特征值排序?0??1????r?1，其对应的特征向量ui构成的子空间为?u0,u1,?,ur?1?。该子空间中的特征向量重构的图像（将特征向量还原为图像大小的矩阵）极似人脸，又是基于提取的特征构造的，因此又称为“特征脸”。

矩阵的正交对角分解

1、若A是n阶实对称矩阵，则存在正交矩阵Q，使得QAQ?diag{?1,?2,?,?n}，其中而Q的n个列向量组成A的一个完备的标准正交特征?i(i?1,2,?,n)为矩阵A的特征值，向量系。

2、对于实的非对称矩阵A，不再有像上式中的分解。但却存在两个正交矩阵P和Q，使PAQTT

为对角矩阵，即有下面的正交对角定理。

奇异值的定义

几个重要结论：

1、 设A?Crm?n(r?0)（理解为A为m×n矩阵，A的秩为r，C表示复空间），则AA是Hermite矩阵（定义为B?B），且其特征值均是非负实数。 2、 rankA=rank(AA)=rank(AA)。（理解为AH?(AT)*?(A*)T）

3、 正交矩阵、酉矩阵（定义为AA?AA?E）、对角矩阵、实对称矩阵、Hermite

矩阵都满足AA?AA，即它们都是正规矩阵。 4、 设A?Cm?n，则A=0的充要条件是AA?0。

定义：设A?Crm?n，AA的n个特征值的非负平方根叫作A的奇异值，记为?i(A).记

HHHHHHHHHHAHA的特征值为?i(AHA)，则?i(A)??i(AHA).不妨设

?1??2????r??r?1????n?0，易见，矩阵A的奇异值的个数等于A的列数，A的

非零奇异值的个数等于rankA。当A为零矩阵时，它的奇异值都是0。

（注：矩阵右上标小H代表什么意思？那是Hermilte的简写，表示把原矩阵中每个元素求共轭再转置。Hermite矩阵又称自共轭矩阵，Hermite阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。）

矩阵的奇异值分解

设A?Crm?n（r>0），则存在m阶酉矩阵U和n阶酉矩阵V，使得UHAV????0?，??00?即Am?n?Σ0?其中??diag(?1,?2,?,?r)，而?i(i?1,2,?,)r为矩阵?Um?m?VnH?n。?00??m?nHA的全部非零奇异值。AA的正交单位特征向量组成V，AA的正交单位特征向量组成U。

H?Σ0?因为矩阵A的秩为r，从A?Um?m?可以得到A奇异值分VnH?n中除去A的零奇异值，?00??m?n解的精简形式：A???μvii?1rHii（理解1：如果A为数字图像，A可以看成是r个秩为1的子图

μiviH叠加的结果，而奇异值?i为权系数。理解2：对于矩阵的零奇异值它并没有携带矩阵

重构时所需要的信息，在重构矩阵时可以将其忽略，只利用携带其信息的非零奇异值进行重构即可, 那么既然零奇异值没有携带矩阵重构所需要的信息，可以想象那些接近零的奇异值

???μvH，也只含有少量矩阵重构信息, 所以在近似重构矩阵时也可将其忽略，即A?iiii?1v?是A的最佳逼近）。式中，μi，vi分别是U，v(v?r)表示重构A时所需要的奇异值数目，AV的第i个列向量。 小结论：可以得出在对一个矩阵奇异值分解后，以选取一定数目的奇异值重构矩阵来近似原矩阵。比如在数字处理领域中, 有些数据所构成矩阵本身具有低秩特性, 只是由于干扰噪声的存在才形成了满秩矩阵，那么通过对其进行奇异值分解，去除由于噪声引起的奇异值得到矩阵的有效秩，然后重构矩阵，就可以去除噪声。

矩阵奇异值分解的图像理解

矩阵的奇异值矢量(?1,?2,?,?r)是唯一的, 它刻画了矩阵数据的分布特征。直观上,可以这样理解矩阵的奇异值分解: 将矩阵Am?n看成是一个线形变换, 它将m维空间的点映射到n 维空间, Am?n经过奇异值分解后, 这种变换被分割成3 个部分, 分别为U、S和V, 其中U和V都是标准正交矩阵,它们对应的线形变换就相当于对m 维和n维坐标系中坐标轴的旋转变换.而S在线形变换中, 相当于对各个坐标轴进行伸缩变换.

类均值向量mi?1Ni?x,（i表示类序数，Nx?xii为类内样本数）

类内离散度矩阵Si??(x?m)(x?m)iix?xiT

总类内离散度矩阵Sw??Sii 对于分类该项越小越好

类间离散度矩阵Sb?(m1?m2)(m1?m2)T（两类的情况）对于分类该项越大越好

clear all

%%%%%%参数初始化%%%%%%

numTrain=str2double(inputdlg('输入训练的样本数量','初始化参数numTrain',1,{'10'}));%设置受训样本数

%inputdlg函数输出为cell array,所以使用str2double函数进行转换 allSamples=[];%结构重建的图像样本矩阵 %%%%%%读取图像%%%%%% for i=1:numTrain

order=sprintf('%1.0f.jpg',i);%转换成字符的函数

I=double(imread(order));

II=I(:);%将图像矩阵按列拉成一个列向量 allSamples=[allSamples II]; end

%%%%%%每幅图像拉成的行向量减去均值向量%%%%%% sampleMean=(mean(allSamples'))';%求样本均值，为一列向量 temp=[];

for i=1:numTrain

temp=[temp sampleMean]; end

allSamples=allSamples-temp;%减去均值 clear temp %%%

[U,S,V]=svd(allSamples,0); sigma=allSamples'*allSamples; [a b]=eig(sigma); b=sqrt(b);

%显示算出的特征向量ui－即为特征脸 %eigface=zeros(size(I)); %eigface(:)=U(:,1); %imshow(eigface,[])

一个重要结论：对于n阶Hermite矩阵A，PHAP???diag(?1,?2,?,?n)

存在n阶酉矩阵P，使得

本文来源：https://www.bwwdw.com/article/pa1p.html