一种简便的近红外光谱标准化方法

近红外

第28卷,第4期　　　　　　　　　　　　光谱学与光谱分析2008年4月　　　　　　　　　　　　SpectroscopyandSpectralAnalysisVol128,No14,pp8292833

April,2008　

一种简便的近红外光谱标准化方法

包　鑫,戴连奎3

浙江大学工业控制技术国家重点实验室,浙江杭州　310027

摘　要　,化方法,并构造了一种新的光谱标准化误差指标(spectraSSE)。SSE为J2和J1的比值,这里,J2,J1本相对中心谱线的平均距离。基线,。为使SSE达到最小,。经过上述处理后的标准化谱图可用于光谱建模分析。,。针对一批汽SSE从11418下降至01167,谱图标准化效果令人满意。关键词　近红外光谱;光谱标准化误差指标;预处理;模型传递;波长选择;汽油辛烷值中图分类号:O65713　　文献标识码:A　　　文章编号:100020593(2008)0420829205

样本测量过程的准确性。在通常情况下,收集到大量样本,

选择具有代表性的样本并且测得这些样本在源机和目标机上的谱图难度较大。因此这些方法的使用具有一定的局限性。

本文采用一种简便的光谱标准化方法,通过对不同光谱仪所测得的相差较大的谱图的归一化处理,并且进行波长范围的优化,达到由不同型号的光谱仪所测得的标准样本之间模型传递的目的。本方法不需要预先获得大量样本,也不需要将同一样本在不同光谱仪上测的谱图进行比较,因此更加简便和通用。

引　言

多元校正技术是化学计量学中一种极其重要的方法,通过提取信号中的化学组成信息,可以定性或定量分析物质组成。近红外光谱结合多元校正技术已成功应用在石化、农

[1]

业、医药等行业。但是在近红外光谱的实际应用中,在某一光谱仪(称源机,Master)上建立的校正模型,在另一台与源机相同功能的光谱仪(称目标机,Slave)上使用时,因各仪器测量的光谱有差异,模型不再适用,计算的结果偏差很大或根本无法使用。解决这类问题的过程称之为模型传递(Modeltransfer),也称仪器的标准化[2](Standardizationofspectrometricinstruments)。模型传递的本质是克服样品在不同仪器上的量测信号(即光谱)间的不一致性。

目前通常采用的途径是通过建立源机和目标机所测信号或预测结果之间的函数关系,变换目标机所测信号或预测结果来实现模型传递[3],主要包括直接校正[4](directstandard2lization,DS)、分段直接校正[4](piecewisedirectstandardliza2

tion,PDS)、Shenk’s算法[5]、普鲁克分析[6](Procrustesa2nalysis)、相关分析法[7](Correlationanalysis)等。这些方法

1　标准化处理方法

111　标准化处理的原理与算法

已经得到广泛的验证和应用[1,8211]。然而这些方法都需要从大量样本中选择具有代表性的样本,并且利用这些样本在源机和目标机都测得光谱,以获得相互关系矩阵,而且要保证　收稿日期:2006211218,修订日期:2007202219

在光谱的获取和放大过程中,各种噪声均会混入光谱信

号中,需要对光谱信号进行标准化处理。这里首先对原始光谱的吸光度曲线进行去基线处理,然后对去除基线的谱线进行标准归一化[12](Standardnormalvariate)。对于不同的光谱仪,光谱测量范围和测量点有较大差别,本文采用二项式插值处理的办法获得相同测量点的光强信号,而光谱波长范围取两台光谱仪测量范围的交集。设两台光谱仪的测量范围分别为[a1,a2]和[A1,A2],若[a1,a2]<[A1,A2],取光谱波长范围为[a,b],

其中[a,b]<[a1,a2],在[a,b]范围内对光谱作插值处理,以取得相同波长点的光强信号。

　基金项目:国家“863”计划项目(2006AA04Z169)和浙江省科技计划项目(2005C311042)资助

　作者简介:包　鑫,1983年生,浙江大学控制系硕士研究生　　3通讯联系人　　e2mail:lkdai@iipc1zju1edu1cn

近红外

830光谱学与光谱分析　　　　　　　　　　　　　　　　　　　第28卷

其中第(3)步和第(5)步所用的多项式卷积平滑算法是相同的,只是所取的窗口半宽不同。第(6)步所用到的中心线是由训练样本谱线所求得的,与待测样本的分布无关。

经过上述各步处理后的不同光谱仪的谱图将会有相近的模型输入曲线。因此,对于训练样本光谱收集时,无论测量范围和测量点是否相同,只要有完整的光谱曲线,经过以上处理,均可作为标准化的训练样本,用于各种场合。112　实验验证

实验数据来自某炼油厂提供的五个未知牌号的汽油样本进行。源机采用美国海洋光学公司(OpticsInc1)的USB2000型近红外光谱仪,仪,有2

个点,1

;目标机测得的每

光谱数据标准化处理的详细步骤如下。

(1)对于从光谱仪读取的光谱数据,采用插值的方法,获得原始光谱和参考光谱曲线。

(2)利用原始光谱和参考光谱计算原始传输率和吸光度。(3)采用大窗口多项式卷积平滑算法,获取吸光度光谱的基线;将吸收光谱减去其基线(即基线校正),获取基线校正光谱。

(4)对基线校正后的光谱进行标准归一化处理以克服光程影响。

(5)采用小窗口多项式卷积平滑算法进行光谱滤波,滤除光谱曲线中的高频噪声。

(6)将上述谱线减去由训练样本得到的中心线得到差分谱线,作为模型所需的输入。

近红外

第4期　　　　　　　　　　　　　　　　　　　　光谱学与光谱分析条谱线也有2048个点,但波长范围为775101～999148nm。　　从图1看出,源机和目标机测得的原始谱图相差很大,这里先取交集[a,b]=[77512,999]<[775101,999148]nm之间的谱图,采用上述标准化算法进行光谱预处理,处理结果如图2所示。这里对原始吸光度光谱采用二项式插值法,每隔012nm取值,大窗口多项式卷积平滑窗口半宽取260(52nm),小窗口多项式卷积平滑窗口半宽取30(6nm)。　　从图2可以看出,经标准化处理后,目标机与源机光谱趋于一致。下面进一步讨论波长范围和滤波窗口半宽的优化问题。

950]nm。

831

下面考察窗口半宽w对评价指标的影响(见图5)。由于a和b之间只有601个点,因此窗口半宽必须在300(60nm)以内。从图5看出,在w取160(32nm)时,

SSE最小。因此,在下面预测中,取[830,950]nm之间取值进行预处理,取大窗口平滑的窗口半宽为160(32nm)。

2　波长范围优化方法

211　评价标准

对于不同光谱仪之间的模型传递,理后,小,k(spectrastandard)为

=

J1

(1)

式中J2表示同一样本在不同仪器上测得的谱线的距离,J1表示目标机的k个样本相对中心谱线的距离之和,这里中心谱线指k个样本求和后取得的平均值。

SSE表示了同一样本在不同样机上的差别与不同样本之

间区分度的比值,因而波长范围优化的目标应使SSE达到最小。

设源机和目标机的原始光谱用Fi(j)和fi(j)表示,其中i表示第个i样本,j表示光谱的波长点,其中1≤i≤k,a≤j≤b,目标机的光谱均值为

f(j)=

而

k

b

i

k

k

i=1

∑f

i

(j)(2)

J1=J2=

i=1j=ak

b

[f∑∑

(j)- f(j)]2,

i

i=1j=a

[F(j)∑∑

- f(j)]2(3)

212　波长范围的优化试验

由(3)式可知SSE成为a和b的函数。又由于光谱经大

窗口平滑滤波和基线校正,因此SSE也是其窗口半宽w的函数。由于图2中的两个吸收峰反映了样本的特征信息,所以要求a<883nm,b>913nm。这里k=5,下面讨论参数a,b和w的优化问题。图2中,a取77512,b取999,w取260,此时SSE为11418。

先固定b和w,对a进行优化,这里b取为960,w取300(60nm),以消除基线影响。光谱标准化误差指标随a的变化如图3所示。　　选定a=830,w仍取300(60nm),参数b对光谱标准化误差指标的影响如图4所示。由图4看出,在970nm以前,各点对SSE影响不大,这里b取=950,波长范围为[830,

经过对a,b和w的优化选择,使SSE达到01167

,这表示同一样本在不同光谱仪上测得的光谱之间的相对距离与不同样本在同一台光谱仪上相对中心距离比值为01167,在这种情况下,不同样本之间有着较好的区分度,因此这些参数的选择结果是有意义的。

近红外

832光谱学与光谱分析　　　　　　　　　　　　　　　　　　　第28卷

足实际应用的需要。

3　光谱归一化的结果分析

Table1　Comparisonofpredictionofthesamples

近年来采用近红外光谱分析汽油品质方法得到了广泛的应用[13218]。它利用汽油在近红外光谱区(700～2500nm)的吸收光谱所提供的丰富信息,建立汽油属性与特征光谱之间的校正模型,并利用该模型对未知样本进行分析预测。近红外光谱分析仪具有不损耗试样、测量周期短、测定参数多以及日常维护方便等优点。

这里以汽油辛烷值为例讨论上述标准化方法的应用。训练样本为利用源机在多个炼油厂收集的250个标准样本。测试样本为某炼油厂提供的8个未知牌号的成品汽油,分别用源机和目标机测取各个样本的光谱,并且采用同一训练样本集进行预测,所用到的源机和目标机的中心线分别为前文中的5条谱线所测得的中心线。Matlab615语言编写,在Pentium4微机XP下运行,预测结果如表1所示。偏最小二乘算法,,准化处理后,,可满

参

考

测试次数

12345678源机预测值9119792141921429216291168921099419195184目标机预测值

921049212592118921409116892132951差值-01070116-012401220100-0±23-01250102

4　,可以实现不同光谱仪测得的光,并且不需要得到大量样本,对于原始光谱的收集有很大便利之处,并且其结果也令人满意,在实际应用中不失为一种有效的方法。

文献

[1]　SHIYu2zhen,CHENZhi2chun,LINXian2fu(施玉珍,陈志春,林贤福).ChineseJournalofAnalyticalChemistry(分析化学),2005,33

(2):272.

[2]　BergmanEL,BrageH,JosefsonM,etal.JournalofPharmaceuticalandBiomedicalAnalysis,2006,41(1):89.

[3]　CHUXiao2li,YUANHong2fu,LUWan2zhen(褚小立,袁洪福,陆婉珍).SpectroscopyandSpectralAnalysis(光谱学与光谱分析),

2001,21(6):881.

[4]　WangYD,VeltkampDJ,KowalskiBR.AnalyticalChemistry,1991,63:1991.[5]　NoordmOE.ChemometricsandIntelligentLaboratorySystems,1994,25:85.

[6]　CHUXiao2li,YUANHong2fu,LUWan2zhen(褚小立,袁洪福,陆婉珍).ChineseJournalofAnalyticalChemistry(分析化学),2002,30

(1):114.

[7]　WUZhong2chen,XUXiao2xuan,YANGRen2jie,etal(武中臣,徐晓轩,杨仁杰,等).SpectroscopyandSpectralAnalysis(光谱学与光

谱分析),2005,25(12):1975.

[8]　ParkKS,KoYH,LeeH,etal.ChemometricsandIntelligentLaboratorySystems,2001,55(13):53.

[9]　SjoblomJ,SvenssonO,JosefsonM,etal.ChemometricsandIntelligentLaboratorySystems,1998,44(14):229.

[10]　ZHANGLin,ZHANGLi2ming,LIYan,etal(张　琳,张黎明,李　燕,等).ChineseJournalofAnalyticalChemistry(分析化学),

2005,33(12):1709.

[11]　BlankTB,SumST,BrownSD.AnalyticalChemistry,1996,68:2987.

[12]　BouveresseE,MassartDL.ChemometricsandIntelligentLaboratorySystems,1996,32(2):201.

[13]　LUWan2zhen,YUANHong2fu,XUGuang2tong,etal(陆婉珍,袁洪福,徐广通,等).ModernAnalyticalTechniquesinNear2Infrared

Spectroscopy(现代近红外光谱分析技术).Beijing:ChinaPetrochemicalPress(北京:中国石化出版社),2000.193.

[14]　CHUXiao2li,YUANHong2fu,LUWan2zhen(褚小立,袁洪福,陆婉珍).SpectroscopyandSpectralAnalysis(光谱学与光谱分析),

2005,25(6):886.

[15]　KellyJJ,Barlow

CH,JingujiTM,etal.AnalyticalChemistry,1989,61:313.

[16]　WUYan2ping,LIGuo2liang,LUWan2zhen,etal(吴艳萍,李国梁,陆婉珍,等).PetroleumProcessingandPetrochemicals(石油炼制与

化工),2002,33(5):57.

[17]　ZHANGQi2ke,DAILian2kui(张其可,戴连奎).JournalofTransductionTechnology(传感技术学报),2006,19(4):1190.

[18]　TIANGao2you,YUANHong2fu,CHUXiao2li,etal(田高友,袁洪福,褚小立,等).SpectroscopyandSpectralAnalysis(光谱学与光谱

分析),2005,25(4):516.

近红外

第4期　　　　　　　　　　　　　　　　　　　　

光谱学与光谱分析833

ASimpleandConvenientStandardizationAlgorithmofNIRSpectra

BAOXin,DAILian2kui3

NationalKeyLabofIndustrialControlTechnology,ZhejiangUniversity,Hangzhou　310027,China

Abstract　DuetothelimitationofcurrentalgorithmsforNIRspectralanalysismodeltransfer,asimpleandconvenientalgorithmtostandardizethespectrawasproposed,andanewperformanceindexcalledspectrastandarderror(SSE)wasalsoconstructedtoevaluatethevalidityofmodeltransferalgorithms.SSEexpressestheratioofJ2toJ1,whereJ2describesthedistancesbe2tweenthespectraofthesamesampleusingdifferentinstruments,andJ2describestheaveragedistancebetweenthespectraofdifferentsamplesusingtheoriginalinstrumentfortheircentralspectrum.InthepresentpaperusedSavitzky2Golaysmoothingtorealizebaselinecorrectionfordifferentspectra,andthenappliedtostandardizespectraandpolynomialfilteringtoavoidnoise.Besides,weoptimizedwidthinSavitzky2GolaysmoothinginordertominimizetheSSE.Afterthese,beappliedtospectralanalysismodeling.Bythenewalgorithm,neithercollectingaofmeasuringallspectraoftrainingsamplesusingdifferentinstrumentsareneeded.ofcanbereducedfrom1.418to0.167viathenewstandardizationalgorithmandKeywords　NIRerror;Preprocessing;Modeltransfer;Wavelengthselection;Gasolineoctanenumber

(ReceivedNov.18,2006;acceptedFeb.19,2007)　　

3Correspondingauthor

本文来源：https://www.bwwdw.com/article/fqsm.html