近红外光谱预处理方法

Matlab预处理近红外光谱

1. 微分处理光谱 一阶微分公式：

????,1????

二阶微分公式：

????,2????

????+????+???2????= 2???????????+??

= ??式中，????是谱图数据中i波数下的透过率，g为窗口宽度 一阶导数MATLAB代码：

X1st=diff(X,1);%X 为输入光谱矩阵，X1st 为输出一阶导数光谱矩阵 二阶导数MATLAB代码：

X2st=diff(X,2); %X 为输入光谱矩阵，X2st 为输出二阶导数光谱矩阵 2. 多元散射校正处理谱图 （1）计算平均光谱：

?? ??,??

（2）一元线性回归：

+???? ????=??????

（3）多元散射校正：

???? ??????

(?????????)

=

???? ????=1????,??=

??公式中X表示n×p维定标光谱数据矩阵，n为样品数，p为波点数。

表示所有样品的原始近红外光谱在各个波长点处求平均值所得到??

的平均光谱矢量，????是1×p维矩阵，表示单个样品光谱矢量，????和????分别表示各样品近红外光谱????与平均光谱X进行一元线性回归后得到的相对偏移系数和平移变量。I代表第i个样本，j代表第j个波数

最常见的近红外光谱的预处理技术的综述

smund Rinnan， Frans van den Berg， S?ren Balling Engelsen

摘要：预处理在近红外(NIR)光谱数据处理化学计量学建模中已经成为不可分割的一部分。预处理的目的是消除光谱中物理现象在为了提高后续多元回归、分类模型或探索性分析。最广泛使用的预处理技术可以分为两类：散射校正方法和光谱间隔方法。综述和比较了算法的基础理论和当前的预处理方法以及定性和定量的后果的应用程序。其目的是提供更好的NIR最终模型的建立，在此我们通过对光谱的预处理基本知识进行梳理。 关键词：乘法散射校正；近红外光谱法；标准化；诺里斯威廉姆斯推导；预处理；Savitzky-Golay平滑；散射校正；光谱导数;标准正态变量；综述 1. 引言

目前为止，没有能够优化数据来进行代替，但是经过适当的数据收集和处理将会起到优化效果，对光谱数据进行预处理是最重要的一步(例如最优化之前叠层建模)，常用的方法有主成分分析(PCA)和偏最小二乘法(PLS)。在大量的文献中，多变量光谱应用食品、饲料和医药分析，比较不同的预处理的结果研究模型的预测结果是不可分割的组成部分。近红外反射/透射率(NIR / NIT)光

.

一、数据预处理

（1）中心化变换

（2）归一化处理

（3）正规化处理

（4）标准正态变量校正（标准化处理）（Standard Normal Variate,SNV）（5）数字平滑与滤波（Smooth）

（6）导数处理（Derivative）

（7）多元散射校正（Multiplicative Scatter Correction,MSC）

（8）正交信号校正（OSC）

二、特征的提取与压缩

（1）主成分分析（PCA）

（2）马氏距离

三、模式识别（定性分类）

（1）基于fisher意义下的线性判别分析（LDA）

（2）K-最邻近法（KNN）

（3）模型分类方法（SIMCA）

（4）支持向量机（SVM）

（5）自适应boosting方法（Adaboost）

四、回归分析（定量分析）

（1）主成分回归（PCR）

（2）偏最小二乘法回归（PLS）

（3）支持向量机回归（SVR）

'.

.

'. 一、数据预处理

（1） 中心化变换

中心化变换的目的是在于改变数据相对于坐标轴的位置。一般都是希望数据集的均值与坐标轴的原点重合。若x ik 表示第i 个样本的第k 个测量数据，很明显这个数据处在数据矩阵中的第i 行第k 列。中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列的均值的运算：

u

　　收稿:2003年5月,收修改稿:2003年7月　3通讯联系人　e 2mail :cxlyuli @1bfa14a3e009581b6ad9eb02

近红外分析中光谱预处理及波长选择

方法进展与应用

褚小立3

　袁洪福　陆婉珍

(石油化工科学研究院　北京100083)

摘　要　光谱预处理和波长选取方法在近红外光谱分析技术中相当重要。本文综述了常用的NIR 预处

理和波长选取方法及这一领域的最新进展,详细介绍正交信号校正(OSC )、净分析信号(NAS )和小波变换(WT )等新光谱预处理方法以及无信息变量消除(UVE )和遗传算法(G A )等波长选取方法,并给出了这些方法的具体算法和一些应用实例。

关键词　近红外光谱　化学计量学　光谱预处理　正交信号校正　净分析信号　小波变换　遗传算法　无信息变量消除

中图分类号:O657133　文献标识码:A 　文章编号:10052281X (2004)0420528215

Progress and Application of Spectral Data Pretreatment and W avelength

Selection Methods in NIR Analytical Technique

Chu Xiaoli

【红外光谱图分析方法】

（1）首先依据谱图推出化合物碳架类型：根据分子式计算不饱和度，公式：

不饱和度＝F+1+(T-O)/2 其中：

F：化合价为4价的原子个数（主要是C原子）， T：化合价为3价的原子个数（主要是N原子）， O：化合价为1价的原子个数（主要是H原子），

（2）分析3300~2800cm-1区域C-H伸缩振动吸收；以3000 cm-1为界：高于3000cm-1为不饱和碳C-H伸缩振动吸收，有可能为烯，炔，芳香化合物，而低于3000cm-1一般为饱和C-H伸缩振动吸收；

（3）若在稍高于3000cm-1有吸收,则应在 2250~1450cm-1频区，分析不饱和碳碳键的伸缩振动吸收特征峰，其中： 炔 2200~2100 cm-1 烯 1680~1640 cm-1

芳环 1600,1580,1500,1450 cm-1 若已确定为烯或芳香化合物，则应进一步解析指纹区，即1000~650cm-1的频区，以确定取代基个数和位置（顺反，邻、间、对）；

（4）碳骨架类型确定后,再依据其他官能团，如 C=O, O-H, C-N 等特征吸收来判定化合物的官能团；

（5）解析时应注意把描述各官能团的相关峰联系起来，以准确判定官能团的存在,如

3

64 JournalofChineseMedicinalMaterials　　第33卷第3期2010年3月

[2]石钺,石任兵,陆蕴如1我国药用金银花资源、化学成分

尽可能明确提取物中所含成分的归属,除去模糊无

效成分。本研究中所选的6个共有峰面积占总峰面积99%以上。本研究为金银花注射液原料提供质量控制方法,为金银花注射液安全性提供保证。

参

考

文

献

及药理研究进展[J]1中国药学杂志,1999,34(11):

72427251

[3]刘长河1金银花指纹图谱研究现状[J]1辽宁中医药大

学学报,2008,10(4):16821701

[4]周玉新,雷海明,徐永红,等1中药指纹图谱研究技术

[M]1北京:化学工业出版社,2002:1311

[1]国家药典委员会1中华人民共和国药典[S]1一部1北

京:化学工业出版社,2005:15221531

张延莹,张金巍,刘　岩

(天津天士力现代中药资源有限公司,天津300410)

　　摘要　目的:应用近红外光谱技术结合化学计量学方法鉴别三七及其伪品。方法:收集3个主产地三七及3种常见三七伪品共289批样品,采集近红外光谱图,采用判别分析法对其进行定性鉴别。结果:建立的模型鉴别准确率达到100%。结论:近红外光谱技术可快速、准确鉴别

红外光谱分析法及其应用简介

一：红外光谱简介和特点

材料研究方法有许多种，主要包括有成份谱分析法，衍射分析法，显微术分析法等

红外光谱分析，是成份谱分析法中的一种方法。它的通过将一束不同波长的红外射线照射到物质的分子上，其中某些特定波长的红外射线被吸收，形成这一分子的红外吸收光谱。每种分子都有由其组成和结构决定的独有的红外吸收光谱，据此可以对分子进行结构分析和鉴定。

与其他成份谱分析法相比，红外光谱分析具有以下优点： 1 应用范围广。红外光谱分析能测得所有有机化合物，而且还可以用于研究某些无机物。因此在定性、定量及结构分析方面都有广泛的应用。

2 特征性强。每个官能团都有几种振动形式，产生的红外光谱比较复杂，特征性强。除了及个别情况外，有机化合物都有其独特的红外光谱，因此红外光谱具有极好的鉴别意义。 3 提供的信息多。红外光谱能提供较多的结构信息，如化合物含有的官能团、化合物的类别、化合物的立体结构、取代基的位置及数目等。

4 不受样品物态的限制。红外光谱分析可以测定气体、液体及固体，不受样品物态的限制，扩大了分析范围。

5 不破坏样品。红外光谱分析时样品不被破坏。

通常

近红外

第28卷,第4期　　　　　　　　　　　　光谱学与光谱分析2008年4月　　　　　　　　　　　　SpectroscopyandSpectralAnalysisVol128,No14,pp8292833

April,2008　

一种简便的近红外光谱标准化方法

包　鑫,戴连奎3

浙江大学工业控制技术国家重点实验室,浙江杭州　310027

摘　要　,化方法,并构造了一种新的光谱标准化误差指标(spectraSSE)。SSE为J2和J1的比值,这里,J2,J1本相对中心谱线的平均距离。基线,。为使SSE达到最小,。经过上述处理后的标准化谱图可用于光谱建模分析。,。针对一批汽SSE从11418下降至01167,谱图标准化效果令人满意。关键词　近红外光谱;光谱标准化误差指标;预处理;模型传递;波长选择;汽油辛烷值中图分类号:O65713　　文献标识码:A　　　文章编号:100020593(2008)0420829205

样本测量过程的准确性。在通常情况下,收集到大量样本,

选择具有代表性的样本并且测得这些样本在源机和目标机上的谱图难度较大。因此这些方法的使用具有一定的局限性。

本文采用一种简便的光谱标准化方法,通过对不同光谱仪所测得的相差较大的谱图的归一化处理,并且

红外光谱样品测试及图谱解析技巧

一、样品制取

1、固体粉末样品制备

（1）卤化物压片法：基质有氯化钠、溴化钾、氯化银、碘化铯，最常用的是溴化钾，压成直径13mm，厚度0.5mm的薄片，溴化钾与样品的比例为100：1（样品约1－2mg） 注意：溴化钾必须干燥 溴化钾研磨很细 控制溴化钾与样品的比例

适用：可以研细的样品，但对于不稳定的化合物，如发生分解、异构化、升华等变化的化合物不宜使用压片法。 注意样品的干燥，不能吸水.

（2）糊剂法: 取2mg样品与 1滴石蜡油研磨后，涂在溴化钾窗片上测量。

适用：对于吸水性很强、有可能与溴化钾发生反应的样品 注意：要扣除石蜡油的吸收峰

2、橡胶、油漆、聚合物的制样

一般采用薄膜法，膜的厚度为10-30μm,且厚薄均匀。

常用的成膜法有3种：

（1）熔融成膜 ：适用熔点低、熔融时不分解、不产生化学变化的样品

（2）热压成膜 ：适用热塑性聚合物，将样品放在膜具中加热至软化点以上压成薄膜

（3）溶液成膜 ：适用可溶性聚合物，将样品溶于适当的溶剂中，滴在玻璃板上使溶

1

剂挥发得到薄膜 3、液体样品的制备

（1）沸点较高，粘度较大的液体样品，取2mg或一滴样品直接涂在KBr窗片上进行测试 （2）沸

红外光谱样品测试及图谱解析技巧

一、样品制取

1、固体粉末样品制备

（1）卤化物压片法：基质有氯化钠、溴化钾、氯化银、碘化铯，最常用的是溴化钾，压成直径13mm，厚度0.5mm的薄片，溴化钾与样品的比例为100：1（样品约1－2mg） 注意：溴化钾必须干燥 溴化钾研磨很细 控制溴化钾与样品的比例

适用：可以研细的样品，但对于不稳定的化合物，如发生分解、异构化、升华等变化的化合物不宜使用压片法。 注意样品的干燥，不能吸水.

（2）糊剂法: 取2mg样品与 1滴石蜡油研磨后，涂在溴化钾窗片上测量。

适用：对于吸水性很强、有可能与溴化钾发生反应的样品 注意：要扣除石蜡油的吸收峰

2、橡胶、油漆、聚合物的制样

一般采用薄膜法，膜的厚度为10-30μm,且厚薄均匀。

常用的成膜法有3种：

（1）熔融成膜 ：适用熔点低、熔融时不分解、不产生化学变化的样品

（2）热压成膜 ：适用热塑性聚合物，将样品放在膜具中加热至软化点以上压成薄膜

（3）溶液成膜 ：适用可溶性聚合物，将样品溶于适当的溶剂中，滴在玻璃板上使溶

1

剂挥发得到薄膜 3、液体样品的制备

（1）沸点较高，粘度较大的液体样品，取2mg或一滴样品直接涂在KBr窗片上进行测试 （2）沸