红外图像处理算法研究及其FPGA实现

做FPGA方面很好的论文

武汉理工大学

硕士学位论文

红外图像处理算法研究及其FPGA实现

姓名：刘恒辉

申请学位级别：硕士

专业：通信与信息系统

指导教师：尹勇

20081101

做FPGA方面很好的论文

武汉理工大学硕士学位论文

摘要

随着焦平面阵列的发展和图像处理技术的不断成熟，红外热成像系统的应

用越来越广泛，针对目前红外图像中噪声较大，对比度较低，视觉效果不好，分辨图像细节能力比较差等缺点，以提高红外图像的质量和增强系统处理的实时性为出发点，结合已有的红外图像实时处理算法，本文设计和完成了基于ＦＰＧＡ的红外热图像实时处理系统，通过处理消除了红外图像的非均匀性，对红外图像进行了增强，取得了良好的效果。主要工作如下：

本文首先阐述了红外图像的产生机理，分析了红外图像的特点，介绍了红

外图像与可见光图像的区别，讨论了红外图像中需要处理和增强的几个方面；由于红外探测器本身的缺陷，图像的产生过程中存在着非均匀性，本文采用了非线性的校正方法，实现了对红外图像的非均匀性校正；接着对红外图像中存在的噪声进行了分析，采用中值滤波的方式去除了红外图像的低频噪声，对图像进行了平滑处理，并对中值滤波的算法进行了相应的优化，减少了计算的复杂度；由于红外探测的数据的灰度值比较集中，而且Ａ／Ｄ采样得到的红外数据是１２位的灰度图像，本文采用直方图均衡的方式对红外图像的灰度进行了变换，增强了红外图像的对比度；红外图像表征的是物体的辐射强度，为了直观的从图像上分辨物体的温度，采用伪彩色变化的方式对灰度图像进行了增强，提高了人眼的分辨力；在完成了软件分析及优化的基础上，分析了ＦＰＧＡ进行图像处理的优势，针对ＦＰＧＡ的特点，采用了模块化结构设计，实现了红外图像的非均匀性校正和图像增强，充分体现了实时处理的要求；最后分析了系统的硬件需求，讨论了核心芯片的选型，系统介绍了各个模块电路的原理，结构，设计要求等，完成了ＦＰＧＡ实时图像处理的硬件系统的设计，并从布局布线方面对高速电路的设计进行了相应的研究。关键词：红外图像；ＦＰＧＡ；图像处理；算法改进

做FPGA方面很好的论文

武汉理工大学硕士学位论文

Ａｂｓｔｒａｃｔ

Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔ

ｍａｔｕｒｉｔｙｏｆｔｈｅｏｆｕｎｃｏｏｌｅｄｆｏｃａｌｐｌａｎｅａｒｒａｙ（ＵＦＰＡ）ａｎｄｇｒａｄｕａｌｔｅｃｈｎｏｌｏｇｙ，ｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅｉｎｆｒａｒｅｄｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ

ｔｈｅｒｍｏｇｒａｐｈｓｙｓｔｅｍｂｅｃｏｍｅｓｗｉｄｅｒ

ｌｏｗ－ｃｏｎｔｒａｓｔ，ｂｌｕｒ，ｂａｄｖｉｓｉｏｎｅｆｆｅｃｔａｎｄｗｉｄｅｒ．Ａｉｍｉｎｇａｔｄｉｓａｄｖａｎｔａｇｅｏｆｈｉｇｈ—ｎｏｉｓｅ，ａｎｄｐｏｏｒｒｅｓｏｌｖｉｎｇｐｏｗｅｒｉｎｔｈｅｉｎｆｒａｒｅｄｉｍａｇｅａｔ

ａｎｄｐｒｅｓｅｎｔ，ｔｈｅｐａｐｅｒｄｅｓｉｇｎｓａｎｄｆｉｎｉｓｈｅｓｔｈｅｒｅａｌ－ｔｉｍｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｏｆｔｈｅｉｎｆｒａｒｅｄｔｈｅｒｍｏｇｒａｐｈｉｍａｇｅｂａｓｅｄ

ｅｎｈａｎｃｅｔｈｅｒｅａｌ－ｔｉｍｅｏｎＦＰＧＡｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｑｕａｌｉｔｙｏｆｉｍａｇｅｃｈａｒａｃｔｅｒｉｔｉｃｓ，ｃｏｍｂｉｎｉｎｇ丽ｍ

ｗｉｌｌｅｘｉｓｔｅｄｐｒｏｃｅｓｓｉｎｇａｒｉｔｈｍｅｔｉｃ．Ｎｏｔｏｎｌｙｔｈｅｉｎｆｌｕｅｎｃｅｏｆｔｈｅｎｏｎｕｎｉｆｏｒｍｉｔｙｉｓｅｌｉｍｉｎａｔｅｄ，ｂｕｔａｌｓｏｉｎｆｒａｒｅｄｉｍａｇｅｈａｓｂｅｅｎｅｎｈａｎｃｅｄ

Ｆｉｒｓｔｌｙ，ｉｔａｎｄｇｅｔｓｇｏｏｄｒｅｓｕｌｔ．Ｔｈｉｓｐａｐｅｒｂｅｆｏｃｕｓｏｎｔｈｅｆｏｌｌｏｗｓ：ｄｉｓｃｕｓｓｅｓｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｉｎｆｒａｒｅｄｉｍａｇｅａｎｄｏｐｔｉｃａｌｉｍａｇｅａｎｄ

ｔｏｂｅｐｒｏｃｅｓｓｅｄａｎｄｓｔｒｅｎｇｔｈｅｎｅｄｓｏｍｅａｓｐｅｃｔｓｔｈａｔｎｅｅｄ

ｇｉｖｉｎｇｉｎｔｈｅｉｎｆｒａｒｅｄｉｍａｇｅ，ａｆｔｅｒｏｕｔｔｈｅｃａｕｓｅａｎｄａｎａｌｙｚｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｉｎｆｒａｒｅｄｉｍａｇｅ．ｎｏｎ－ｕｎｉｆｏｒｍｉｔｙｃｏｒｒｅｃｔｉｏｎｏｆｉｎｆｒａｒｅｄｉｍａｇｅｈａｓｂｅｅｎｉｍｐｌｅｍｅｎｔｅｄｂｙｕｓｉｎｇｎｏｎ—ｌｉｎｅａｒｃｏｒｒｅｃｔｉｏｎｍｅｔｈｏｄ，ｔｈｅｎｏｉｓｅｉｎｔｈｅｉｎｆｒａｒｅｄｉｍａｇｅｈａｓｂｅｅｎａｎａｌｙｚｅｄ

ｈａｓｂｅｅｎｅｌｉｍｉｎａｔｅｄｂｙｕｓｉｎｇａｎｄｌｏｗｆｒｅｑｕｅｎｃｙｎｏｉｓｅｍｅｄｉａｎｆｉｌｔｅｒｗｈｉｃｈｍａｋｉｎｇｉｍａｇｅＳｍｏｏｔｈｉｎｇ．ＤｕｅｔｏｔｈｅｃｏｎｃｅｎｔｒｉｃｉｔｙｏｆｄｅｔｅｃｔｅｄＧｒａｙｖａｌｕｅａｎｄｉｎｆｒａｒｅｄｄａｔａｏｆ１２ｂｉｔｓ掣ａｙｉｍａｇｅｇｏＲｅｎｂｙＡ／Ｄｓａｍｐｌｉｎｇ，ｈｉｓｔｏｇｒａｍｅｑｕａｌｉｚａｔｉｏｎｈａｓ

ｏｒｄｅｒｔｏｍａｋｅ

ｏｒｄｅｒｔｏｂｅｅｎａｄｏｐｔｅｄｉｎｔｈｅｐａｐｅｒｉｎＧｒａｙ—ｓｃａｌｅ

ｈａｓｂｅｅｎｔｒａｎｓｆｏｒｍａｔｉｏｎａｎｄｅｎｈａｎｃｅｃｏｎｔｒａｓｔｏｆｉｎｆｒａｒｅｄｉｍａｇｅｓ．Ｉｎｉｎｃｒｅａｓｅｍａｋｅｏｕｔｔｈｅｔｅｍｐｅｒａｔｕｒｅｏｆｔｈｅｏｂｊｅｃｔｓｉｎｔｕｉｔｉｖｅｌｙｆｒｏｍｉｍａｇｅｓ，ｐｓｅｕｄｏｃｏｌｏｒｉｍａｇｅｔｏ

ｏｎｔｒａｎｓｆｏｒｍａｔｉｏｎｕｓｅｄｏｎｔｈｅｅｎｈａｎｃｅｍｅｎｔｏｆｇｒａｙＲｅｓｏｌｖｉｎｇｐｏｗｅｒｏｆｈｕｍａｎｅｙｅｓ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅａｄｖａｎｔａｇｅｏｆＦＰＧＡｔｈｅｉｍａｇｅ

ｐｒｏｃｅｓｓｉｎｇ，ｈａｒｄｗａｒｅｒｅｑｕｉｒｅｍｅｎｔｓｉｎｔｈｅｓｙｓｔｅｍ，ｔｈｅｈｅａｒｔｏｆＣＭＯＳｔｙｐｅ，ｔｈｅｐｒｉｎｃｉｐｌｅ，ｓｔｒｕｃｔｕｒｅａｎｄｄｅｓｉｇｎｒｅｑｕｉｒｅｍｅｎｔｓｏｆｍｏｄｕｌａｒｃｉｒｃｕｉｔｓｈａｖｅ

ｏｆｈａｒｄｗａｒｅｓｙｓｔｅｍｓｂａｓｅｄ

ｏｎｏｎｂｅｅｎａｎａｌｙｚｅｄ，ｗｈｉｃｈｆｉｎｉｓｈｉｎｇｔｈｅｄｅｓｉｇｎｔｈｅＦＰＧＡｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｉｎｒｅａｌ—ｔｉｍｅａｎｄｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｒｅｓｅａｒｃｈｈｉｇｈ－ｓｐｅｅｄｃｉｒｃｕｉｔｄｅｓｉｇｎｆｒｏｍｔｈｅ

ａｓｐｅｃｔｓｏｆｌａｙｏｕｔａｎｄｗｉｒｉｎｇ．

Ｋｅｙｗｏｒｄｓ：Ｉｎｆｒａｒｅｄｉｍａｇｅ；ＦＰＧＡ；Ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ；ａｒｉｔｈｍｅｔｉｃｉｍｐｒｏｖｅⅡ

做FPGA方面很好的论文

独创性声明

本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。

签名：盍悼鼙日期：迹址业

关于论文使用授权的说明

本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。

（保密的论文在解密后应遵守此规定）

签名：导师签名：日期：矾！！兰．乡

做FPGA方面很好的论文

第１章绪论

随着焦平面技术的发展和图像处理技术的不断成熟，红外热成像系统也不

断得到改善，在军事、科研、工农业生产、医疗卫生等领域的应用越来越广泛，特别是非制冷红外热成像技术的发展使红外热成像技术拓展了更广阔的应用领域。

１．１课题研究的背景和意义

１８００年，英国物理学家威廉．赫歇耳（ＷｉｌｌｈｅｌｍＨｅｒｓｅｈｅｌ）发现了红外线，从

此开辟了人类应用红外技术的广阔道路【ｌ】。红外技术主要研究红外辐射的发射、传输和接收的规律及其应用原理。红外热像仪是一种二维热图像成像装置，它利用目标与环境之间由于温度辐射与发射率的差异所产生的热对比度不同，把红外辐射能量密度分布探测并显示出来，成为“热像”，由于人眼对红外光不敏感，所以，红外热像仪必须具有把红外光变成可见光的功能，将红外图像变为可见图像【２】。在红外热像仪中，红外热辐射通过光学系统，由红外探测器把红外热辐射投射到探测器上，变为电信号，该信号反映出红外辐射的强弱，然后经过电子学处理，将反映目标红外辐射分布的电子视频信号在监视器上显示出来，实现从电到光的转换，得到反映目标热像的可见图像。

由于目前红外器件发展的限制，红外热像仪的成像效果还不够理想，主要表

现为红外图像中噪声较大，对比度较低，视觉效果不好，分辨图像细节能力比较差等缺点，影响了红外热像仪在实际应用中的应用效果【３Ｊ。解决以上所有问题的一个最经济有效的手段就是在热像仪的电子处理部分加入实时图像处理功能。因此，在开展红外热像仪整机系统研究的同时，也要极力进行红外图像实时处理技术的研究，其核心任务是研制模块化红外图像实时处理系统，从而有效地提高红外热成像系统的动态范围、抑制图像噪声、消除非均匀性、改善图像质量。

红外图像处理系统的研究，在当代军用（红外警戒、跟踪瞄准以及制导等）

和民用领域（电力系统、消防、医疗诊断、森林火灾预警、夜间安全监视等）都具有很大的理论意义和实用价值，特别是在军用领域更具有特殊的重要意义。

做FPGA方面很好的论文

利用红外热成像技术实现温度监控和检测有着精度高（可分辨Ｏ．１０Ｃ的温度

差）、非接触、测温范围宽、形象直观等优点，因此在建筑、电力工业、石油化工、航天航空、质量检测及冶金等许多工业部门有着越来越广泛的作用。尤其是在材料缺陷的检测与评价、建筑节能评价、设备状态热诊断、生产过程监控、自动测试、减灾防灾等诸多方面获得了应用，并显示出越来越强大的生命力。

目前，热像仪是夜视的重要工具，与光学望远镜、微光热像仪、雷达等成

像观察设备相比，具有诸多优点。它可以全天候的工作，不受昼夜限制；作用距离远，红外辐射比可见光具有更强的透过雾、雨、雪和烟尘的能力；能识别伪装，探测隐蔽的军事目标和强光干扰下的目标；被动式和非接触式工作，具有较好的隐蔽性；比雷达更适宜于高精度观察，不受电磁干扰；生动的图像观察方式。因此，热像仪在军事上得到广泛应用。陆军可用于夜间侦察、瞄准、火炮及导弹火控系统、靶场跟踪测量系统；海军可用于舰载火控、夜间导航及防空报警系统；空军可用于飞机夜间导航、侦察、机载火控系统。卫星载热成像系统可用于侦察地面、海上目标和导弹预警等。热像仪的使用大大提高了军队的夜战能力。２０世纪７０年代中期以后，热像仪已成为现代化军队的重要装备。开展实时红外图像处理对我国国防建设十分重要，我国在这方面的工作才刚刚起步，距离欧美等一些发达国家的技术水平差距还非常大，因此应积极开展这方面的研究工作，使我国国防技术水平跻身于世界强国之列。可见，开展红外图像实时处理系统技术研究具有重大的现实意义。

１．２红外成像技术的发展及现状

红外热成像系统分为制冷型和非制冷型。目前用的最多的为制冷型焦平面

阵列，但价格昂贵，主要是由于必须有一套完整的制冷设备。常用的制冷器结构复杂，容易发生故障，占据的空间很大，功耗约为非制冷型传感器的１０倍【４】。同时，利用长波ＨｇＣｄＴｅ材料仍不能做出高质量、高产出的ＨｇＣｄＴｅ探测器，严重限制了长波ＨｇＣｄＴｅ的使用范围。非制冷凝视型的热像仪整机工作寿命、可靠性、体积、质量、可操作性等都优于制冷型ＦＰＡ热像仪；能随时提供８＂－－１４ｐｒｏ窗口的快速热图像。非制冷热像仪低成本的优势，使其在民用和军用市场上均有广泛的应用。

从技术角度看，非制冷红外探测器主要有电阻型热探测器、铁电型和热释

电型探测器。电阻型热探测器的敏感元是热敏电阻，材料主要为氧化钒和非晶

做FPGA方面很好的论文

硅。铁电型焦平面探测器的材料主要有锆钛酸铅（ＰＺＴ），钛酸锶钡（ＢＳＴ）为热释电型探测器的主要材料，性价比最高的非制冷系统使用的是混合式铁电探测阵列。

非制冷红外探测器的研究居世界领先水平的国家主要有美国、法国、英国

和日本【５】。世界上第一个非制冷红外热成像系统就是由美国的ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ研制成功的，１９８３年美国Ｈｏｎｅｙｗｅｌｌ开始研制室温下的热探测器，使用了硅微型机械加工技术。１９９０＂－＂１９９４年，美国很多公司从ＨｏｎｅｙＷｅｌｌ公司得到技术转让，使以氧化钒为探测材料的非制冷探测器得到了快速、广泛的发展。英国从事非制冷红外探测器研究的公司主要是ＢＡＥ公司，发展成熟的探测器为ＰＳＴ和ＰＺＴ混合结构的热释电陶瓷探测器，ＰＳＴ与ＰＺＴ单片式结构探测器正处在研制中。日本从事非制冷红外探测器研制的公司主要有三菱公司和日本电气公司。

日本电气公司主要从事以氧化钒为材料的电阻型探测器的研究，其第一个原理型探测器的ＮＥＴＤ为１５０ｍＫ（２５６ｘ２５６，５０ｐｒｏ像素尺寸）。最新报道的３２０ｘ２４０焦平面阵列像素尺寸为３７Ｉ＿ｔｍ，热响应时间为１２ｍｓ，填充因子为７２％。装备热成像系统后的ＮＥＴＤ为１００ｍＫ（ｆ／１，６０Ｈｚ）。据国际光学学会（ＳＰＩＥ）预测，

目前红外热成像产品的世界市场规模每年合计４０亿美元，美国产品占５０％以上。

由此看出，在红外热成像技术上，美国处于世界领先地位。

我国在非制冷焦平面阵列技术上起步较晚，在红外热成像方面的研究主要

集中在部分高等院校和研究院所１６Ｊ。这些研究单位主要进行探测器阵列及其工艺的研究。而经营非制冷红外热像仪的公司大部分只停留在制作一些外围设备和开发软件的业务上，最核心的机芯部分都是从国外进口。从八十年代中期开始进行红外图像的实时处理技术的研究工作，红外图像由于其自身的特点，处理的方式与处理可见光图像的方式不完全相同，其基本的处理内容为图像畸变的校正、函数变换、直流恢复、非均匀性校正、对比度与亮度调节、查询处理以及图像平滑、图像增强（线间积累、帧间积累、中值滤波、直方图处理、像素倍增）等处理功能【７】。红外图像处理功能对处理速度要求比较高，新型高性能的处理实现比较困难。

近年来，随着微电子技术的发展以及大规模可编程器件的出现，采用ＡＳＣＩ

结构的信号处理系统显示出了其优越性，正逐步得到重视。与通用集成电路相比，ＡＳＣＩ芯片具有体积小、重量轻、功耗低、可靠性高等几个方面的优势，而且在大批量应用时，可降低成本。

做FPGA方面很好的论文

武汉理１＝入学硕十。。＃忡论文

１．３ＦＰＧＡ用于图像处理的优势

实时图像处理系统必须具有快速处理巨大数据量的能力，以一幅分辨率为

３２０ｘ２４０的１６位灰度图像为例，其帧蚓像包含的数据量为１５３６Ｋ个字节，ｌ矧此要想保证系统处理的实时性，系统的快速处理能力和大数据量的吞吐能力是其先决条什。其次，对系统的体积、功耗、稳定性等也有较严格的要求，因为最终相当部分的热成像系统耍鹿用于≈ｊ事，较小的体积、较低的功耗和良好的稳定性是其摹本要求。

近年来，随着大规模可编程逻辑器件的发腱和嵌入式技术的不断进步，采

用ＡＳＩＣ结构的信号处理系统｛ｉ矗不出ｒ其巨人的优越性，正在迓步得到重视。与通用囊成电路芯Ｊ｝相比，ＡＳＩＣ芯片具有性能好、体积小、重量轻、功耗低、可靠性高等几个力而的优势，而日在大批量席用叫，可降低成本。现场可编程门阵列（ＦＰＧＡ）足存专川ＡＳＩＣ的幕础上发展出来的，它克服了ＡＳＩＣ不够灵活，开发周期长的缺点，与其他中小规模集成电路相比，其优点主要往于它有很强的灵活性，即其内部的具体逻辑功能可以根据需要配置，对电路的修改和维护非常方便。甘前ＦＰＧＡ的容量已经跨过了百万ｆｊ级，使其成为解决系统级设讣的重要选择方案之～。

目前在图像处理方面主要采用ＤＳＰ或者ＦＰＧＡ实现，对于普通的ＤＳＰ，里

而包括一个高性能的单元可以运行到几个ＧＨｚ的速度，但是它仅仅是一个单元，当进行比较复杂的运算时可能循环几百次爿能完成，闪此它的速度并不很快【８ｌ。

够学摧

睢舭●

警通ＤｓＰ处理器一串苻

图１—１同种运算ＦＰＧＡ和ＤＳＰ对比图雾习

做FPGA方面很好的论文

武汉理工大学硕士学位论文

图１—１所示为ＦＰＧＡ和ＤＳＰ进行同一个复杂运算时的对比。ＦＰＧＡ是并行

处理结构，可同时进行不同性质的运算，例如ＸｉｌｉｎｘＶｉｒｔｅｘ－５ＳＸＴ是５５０ＭＨｚ，但可以在一个单兀之内迅速把这个复杂的运算次完成，而ＤＳＰ虽然是基丁流水线的形式，但实际上指令的执行和存取还是串行的，尤其是在进行多种不同性质的运算的时流水线的优势几乎发挥不出来，所以ＦＰＧＡ的性能实际上是远远高于传统的ＤＳＰ。ＦＰＧＡ和ＤＳＰ的性能对比如图１—２所示。

一§Ⅱ…图１－２ＦＰＧＡ和ＤＳＰ的性能对比

１．４论文主要工作及内容安排

本文首先讨论了红外图像的产生机理，分析了红外图像的特点，在此基础

上研究了红外蹦像处理技术，以提高红外图像的质量和增强系统处理的实时性为出发点，结合已有的红外图像实时处理算法，设计和完成了基于ＦＰＧＡ的红外热图像实时处理系统，取得了良好的效果。围绕课题设计本论文主要做了如下的研究工作：

（１）研究红外图像的成像机理，总结红外图像的特点：

（２）研究红外图像的非均匀性校正的算法；

（３）研究红外图像滤波等去除噪声的算法；

（４）研究常用的红外图像的灰度变换算法；

（５）研究红外图像的伪彩色变换的算法；

（６）研究以上算法在ＦＰＧＡ中的实现：

（７）研究硬件平台的搭建，高速电路的布局布线。

做FPGA方面很好的论文

武汉理工大学硕士学位论文

第２章红外图像处理算法研究及改进

２．１红外图像的产生机理及特点

所有不处于绝对零度的物体，均会发出不同波长的电磁辐射，物体的温度

越高，分子或原子的热运动越剧烈，红外辐射越强，且辐射的频谱分布和波长与物体的性质和温度有关。在大气中存在若干个弱吸收的光谱区，被称之为大气窗口。根据自然界热源辐射热量的不同，红外大气窗口一般分为三类：红外长波窗口、红外中波窗口和红外短波窗口。对于红外波段来说，由于大部分热源（包括自然界的和人造的）自身温度并不高，因此，８ｐ，ｍ＂－＂１４９ｒｎ（红外长波）与３１ｘｒｎ＂５１ａｍ（红外中波）两个波段成为红外热成像所常用的两个主要窗１３［９１。热成像仪可以利用光学器件将场景中的物体发出的红外能量聚焦在红外探测仪上，然后来自于每个探测仪组件的红外数据将被转换成标准的视频格式，在视频监视器上显示出来，即可得到红外图像。其产生过程如图２．１所示。

光红

外

——■电子——◆＞学成探

测处理。ｌ圆胯履呆７Ｉ一”一。’Ｉｌ像

图２．１红外图像产生过程

从图２．１中可以看出：目标和背景的红外辐射需经过大气传输、光学成像、

光电转换和电子处理等过程，才被转换成为红外图像。由于红外图像感受和反映的是目标与背景物自身向外红外辐射能量的差异。而可见光图像感受和反映的是目标及背景反射来自太阳或其它物体光线强弱的差异。前者属于被动成像而后者属于主动成像，并且都与构成目标及背景物的材料、颜色及表面光亮度有关。因此，红外成像和可见光成像存在着本质上的差异。红外热图像具有以

做FPGA方面很好的论文

武汉理工大学硕士学位论文

下的特点１１２】：

（１）红外图像空间相关性强、对比度低、视觉效果模糊

在对比度上，由于红外热像仪是利用目标与背景间的温差成像，而大多数

情况下，景物和环境的温差比较小，再加上经过大气传输、热像仪中光学部分和电子处理部分过程中损失的灰度级，所以红外图像的对比度比较低，不利于人眼的观察。

（２）红外热图像是灰度图像，故对人眼而言，分辨率低、分辨潜力差

在分辨率方面，红外成像系统由于探测器阵列数目有限及探测单元尺寸的

限制，空间采样频率无法满足采样定理，图像空间分辨率低，混频现象有时很严重。按照傅立叶光学的观点，光学成像系统是一个低通滤波器，由于受到光学衍射的影响，其传递函数在由衍射极限分辨率所决定的某个截止频率以上，其权值均为０。而大多数自然景物空间频率较丰富，包括各种高频信息，红外成像系统由于光学衍射和有限的探测器尺寸，成像过程中，图像信号的高频部分（细节）会有所丢失，造成图像的模糊和变形。所以目前的红外热像仪输出的红外图像分辨率较低Ｉｌｏｌ。

（３）红外图像的清晰度低于可见光图像，信噪比比普通电视图像低

红外图像噪声情况非常复杂，不论是外界环境的随机干扰，还是内部物理

量的随机变化均可产生图像噪声。仅红外探测器输出的基本噪声就有热噪声、散粒噪声、产生复合噪声、１／ｆ噪声、光子电子涨落噪声等。噪声来源多样，类型繁多，这些都造成红外热图像上噪声的不可预测的分布复杂性。

（４）红外图像具有非均匀性，体现为图像的固定图案噪声、串扰、畸变等

由于红外焦平面阵列成像技术放弃了放大器与探测器单元一一对应的工作

模式，对探测器的空间均匀性提出了更高的要求。由于许多无法控制的因素和工艺水平的限制，每个光敏元的响应率不可能完全一致，其直流偏置也不同，这种响应和偏置的非均匀性，使成像系统即使在均匀背景照射下输出的图像亮度也不一致，出现许多亮斑或条纹，即红外焦平面探测器中各探测单元辐射响应随空间位置发生变化，称为红外焦平面阵列的非均匀性（ＮＵ），也称为空间噪声、固定图像噪声【ｌ¨。

以上的四个方面是影响红外图像显示的几个特点，有系统本身的缺点，如

工艺等，也有红外图像自身的特点造成的影响，要想得到适合人们观察的图像，必须对其进行相应的处理。

做FPGA方面很好的论文

武汉理工大学硕士学位论文

２．２红外图像处理算法研究及改进

红外图像存在着图像分辨率低、图像对比度不高、有噪声、具有非均匀性

以及图像是黑白图像（对人眼而言，分辨潜力差）等缺陷，要想得到适宜人们观测的图像必须经过相应的处理。因此，红外图像实时处理的算法也主要集中在图像增强、去噪、非均匀性校正和伪彩色变换等方面。现今己经有很多有关图像处理的成熟算法，但大多过于复杂，计算量大，不利于将其实时化和模块化，因此只有在对图像效果影响不大的基础上对现有的算法进行改进，使之在硬件上易于实现，才是目前红外图像实时处理的关键所在。对红外图像的处理的一般流程为图２．２所示。

噪声

去除

ｌ－＿■灰度变换＿－◆伪彩色变换Ｉ图像显示ＩｌＩ＿………羔燮塑季簦………．：

图２－２红外图像处理流程图Ｉ

从图上可以看出，首先对红外探头进来的图像进行非均匀性校正，为了便

于后面的处理，接着要对图像进行去噪处理，本文主要对红外图像进行了平滑滤波，然后针对图像对比度不高的问题，对图像进行了灰度变换，增强了图像的对比度，最后，为了便于观察，进行了伪彩色变换，经过这四步的处理，红外图像得到了增强，可直接送显示电路显示。

２．２．１非均匀性校正

红外焦平面阵列的图像信号输出非均匀性是光敏元、读出电路、放大电路

及半导体特性等各种因素综合的结果。由于红外信号的特点是高背景、低反差，红外目标图像的对比度很低，这样ＩＲＦＰＡ的非均匀性产生的影响就不可忽视，

它严重影响了目标图像的清晰度，甚至有可能将目标完全淹没【１３１。为了能够从红外图像中正确地识别出目标并且在终端显示，必须在红外图像进行非均匀校正后再对其进行增强处理。

目前红外非均匀性校正有很多方法，主要有两大类：基于参考辐射源的和

基于场景的非均匀性校正。基于场景的非均匀性校正具有自适应性，但计算量

做FPGA方面很好的论文

武汉理工大学硕士学位论文

比较大，不利于实时实现，所以工程上一般不常用。基于参考辐射源的非均匀性校正实时性比较好，工程上一般采用这种方法。基于参考辐射源的方法主要有两点校正法、多点校正法、非线性拟合校正法和低次插值校正法等。两点校正以及多点校正法都是基于探测器光敏单元是线性定常的假设之上进行的【１４１，故无法避免光敏单元的非线性对校正效果的影响，造成了较大的剩余非均匀性的存在。由于非线性拟合校正法和低次插值校正法考虑到了红外焦平面阵列的非线性，所以精度较前两种高。本文采用非线性拟合校正法进行探讨。

据文献【１５】表明：一般探测元的响应近似为二次曲线。假设探测元的响应是

二次曲线，并且具有时间上的稳定性，这样ＩＲＦＰＡ的单元响应就可以表示为：

＆（咖＝ａｉｆｐ２＋６ｆ缈＋Ｄ（２．１）

其中：Ｓｉ（Ｑ）为探测元的响应输出，对于不同的探测元，ａｉ、ｂｉ和Ｃｉ是不同

的，也就是说对于同一入射辐射通量，其输出Ｓｉ（Ｑ）是不同的。

Ｓｉ（９）Ｓｉ（叩）

（ａ）非均匀校正前的输出响应（ｂ）非均匀校正后的输出响应

图２．３非线性拟合校正算法示意图

从图２．３可以看出，不同探测元响应曲线的不同，体现了探测元的非均匀性。

非线性拟合校正的基本思想是【１６】：在ＩＲＦＰＡ视场中放一个温度可调的均匀辐射的黑体，测得一组不同温度下的图像，利用各光敏单元在不同温度下的响应计算出校正系数，从而实现非均匀性校正。具体操作如下：

第～步：根据场景温度变化范围，在光路中插入一均匀辐射黑体，分别采

集均匀间隔从９ｌ到甲口这Ｐ个辐照度定标点的Ｎ帧图像，求得其平均灰度值：

ｓ（伊）＝∑：ｌ＆（伽）／Ⅳ（２－２）

第二步：将算得的平均响应代入到模型方程中，得到一个超定方程组：

做FPGA方面很好的论文

武汉理工大学硕士学位论文

｛ｓ（缈２）＝口＆２（缈２）＋６蕊（缈２）把（２．３）

ｌ…

令Ｒ令。＝［耋＝ｌ：三：：）翥三，１］…，Ｃ＝［三ｂｉ］，Ｓ１Ｉ，＝ＩＩ，

Ｉ＆２（伽）６圆（伽）ＩＩａＩ＝［三三］。＝ｌ…ｌ。Ｉｓ（纠Ｉ

幂！Ｊ用ｘ＝ｍｉｎ（∑２ｌ【口＆２（缈ｊ）＋６＆（伊ｊ）＋ｃｊ—ｓ（妒ｊ）】‘）（２—４）

２．２．２噪声去除及算法改进

通过红外探头得到的红外图像一般都因受到某种干扰而含有噪声，噪声恶

化了图像的质量，使图像模糊，甚至淹没特征，如果不对噪声进行及时处理，

就会对后续的处理过程乃至输出结果产生影响，甚至可能得到错误的结论。因此，图像噪声滤除成为红外图像预处理中的重要组成部分。

图像基本上包括光谱、空间、时间等三类基本信息，对于灰度图像，其光谱

信息是以像素的灰度值来体现的，其光谱信息的增强可以通过改变像素的灰度值实现【１７】。对图像的空间纹理信息的提取则可以通过空间域滤波技术或频率域滤波技术来实现。研究表明，物体的边缘轮廓由于灰度值变化剧烈一般呈现高频率特征，而一个比较平滑的物体内部由于灰度值比较均一则呈现低频率特征。因此，根据需要可以分别增强图像的高频和低频特征。对图像的高频增强称为高通滤波，它可以突出物体的边缘轮廓，起到锐化图像的作用，因此也可以称为锐化滤波器。从频率域的角度讲，它能减弱甚至消除图像的低频分量，保留

做FPGA方面很好的论文

武汉理工大学硕士学位论文

高频分量【１８】。相应地，低通滤波（即平滑滤波器）则是指对图像的低频部分进行增强，它可以对图像进行平滑处理，一般用于图像的噪声消除。从频率域的角度讲，它可以减弱甚至消除图像的高频分量，而保留低频分量。

均值滤波器等线性滤波器会模糊边缘和结构，这些缺点促进了非线性滤波器

的发展。统计排序滤波器是一种非线性的空域滤波器，它的响应基于图像滤波器包围的图像区域中像素的排序，然后由统计排序结果决定的值代替中心像素的值。中值滤波器作为最早提出的非线性滤波器，由于运算简单，易于实现，而且可以抑制噪声的同时较好地保护边界，因而广泛应用于图像处理中。

中值滤波是由Ｔｕｋｅｙ发明的一种非线性信号处理技术，早期用于一维信号

处理，后来被用Ｎ－维数字图像平滑中，它能有效抑制图像噪声，提高图像信噪Ｌｔ，ｔ１９１。它是一种邻域运算，是把邻域中的像素按灰度等级进行排序，然后选择该组的中间值作为输出像素值。它能减弱或消除傅里叶空间的高频分量，但不影响低频分量。因为高频分量对应图像中的区域边缘和灰度值具有较大较快变化的部分，因此该滤波可将这些分量滤除，使图像平滑。

中值滤波的主要原理是１２０Ｊ：首先确定一个以某个像素为中心点的邻域，一

般为方形邻域：然后将邻域中的各个像素的灰度值进行排序，取其中间值作为中心点像素灰度的新值，这里的邻域通常被称为窗口；当窗口在图像中上下左右进行移动后，利用中值滤波算法可以很好地对图像进行平滑处理。

以３ｘ３窗为例，该窗沿着图像数据的行方向逐像素滑动，在每一次滑动期

间内，方形窗中的所有像素按照灰度值被排序，这组数据中的中值作为输出，替代原来窗函数的中心位置像素的灰度值。中值滤波实现过程如图２．４所示。

８６２

４３０１２１０

１０１９１７求中值

Ｊ

（ａ）取３×３窗口（ｂ）对窗口的像素进行排序（ｃ）中值取代中间位置像素值图２－４中值滤波实现过程

做FPGA方面很好的论文

武汉理工大学硕士学位论文

从图上可以得出中值滤波的具体步骤如下：

（１）将模板在图像中移动，并将模板中心与图像中心某个像素的位置重合；

（２）读取模板下各对应像素的灰度值；

（３）将这些灰度值从ｄ＇Ｎ大排列成一列；

（４）找出排在中间的一个值；一

（５）将这个中间值赋给对应模板中心位置的像素。

中值滤波可以在一维窗口和二维窗口中进行，二维窗口的形状可以是方形或

十字形窗口，窗口的大小也可以不同。设有一个一维序列ｆｉ，ｆ２，…厶。取窗口长度为ｍ（ｍ为奇数），对此序列进行中值滤波，也就是从输入序列中抽出ｍ个数，“…毛．１ｆｉｆｉ＋１．．．ｆｉ＋ｄ，其中ｆ；为窗口的中心值，ｄ＝（ｍ－１）／２，再将这ｍ个点按其数值大小排列，取序号为正中间的那个数作为滤波输出。用公式可以表示为：

Ｋ＝Ｍｅｄ｛ｆｌ以乒－彤“∥埘眦ｄ＝字

是二维的。二维数据的中值滤波可以表示为：（２－６）对数字图像进行中值滤波，实质是对二维序列｛Ｘｉｊ）的中值滤波，滤波窗口也

场＝∑Ｍｅｄ｛Ｘ，ｊ｝

ＡＡ为窗口（２—７）

传统的中值滤波算法要对每个窗口内的所有像素进行排序求中值【２ｌ】。要进行

排序，就必须对序列中的数据像素做比较和交换，比较次数是影响排序速度的一个重要因素。传统的排序算法大部分是串行实现的，时间复杂度为Ｏ（Ｄ２）。这种串行的排序方法在并行的处理器上实现起来完全没有优势，为进一步改进中值滤波方法的实现速度，针对３ｘ３中值滤波，采用一种快速中值滤波方法，

通过巧妙设计，避免大量的比较操作，每一窗口排序需要ｏ（Ｄ）时间，整个计算需要Ｏ（Ｎ２Ｄ）时间，这样易于在硬件处理器上实现并行处理。

为便于说明，将３ｘ３窗口内各像素分别定义为Ｐｏ，Ｐｌ，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，

Ｐ７，Ｐ８，像素排列如表２．１所示。

表２．１３ｘ３窗口内各像素的排列

第Ｏ列

第Ｏ行

第１行

第２行ＰｏＰ３Ｐ６第１列ＰｌＰ４Ｐ７第２列Ｐ２Ｐ５Ｐ８

做FPGA方面很好的论文

武汉理工大学硕士学位论文

首先对窗口内的每－－Ｎ分别计算最大值，中值和最小值，这样就得到３组数

据，分别为最大值组，中值组和最小值组，计算过程如下：

最大值组：Ｍａｘｏ＝ｍａｘ［Ｐｏ，Ｐｓ，Ｐ６１，Ｍａｘｌ＝ｍａｘ［Ｐ！，Ｐ４，ｅｄ，Ｍａｘｚ＝ｍａｘ［Ｐ２，Ｐｓ，Ｐｓ】

中值组：Ｍｅｄｏ＝ｍｅｄ［Ｐｏ，Ｐ３，，０６１，Ｍｅｄｌ＝ｍｅｄ［Ｐ１，Ｐ４，ｎ】，Ｍｅｄ２＝ｒｅｅｄ［Ｐ２，Ｐｓ，Ｐｓ】

最小值组：Ｍｉｎｏ＝ｍｉｎ［Ｐｏ，Ｐｓ，Ｐ６］，Ｍｉｎｉ＝ｍｉｎ［Ｐ１，Ｐ４，ＰＴ］，Ｍｉｒａ＝ｍｉｎ［Ｐ２，Ｐ５，Ｐｓ】

其中ｍａｘ表示取最大值，ｍｅｄ表示取中值操作，ｍｉｎ表示取最小值操作。

由此可以看出，最大值组中的最大值与最小值组中的最小值一定是９个像素

中的最大值和最小值，除此，中值组中的最大值至少大于５个像素：本列中的最小值和其他两列中的中值和最小值；中值组中的最小值至少小于５个像素：

本列中的最大值和其他两列中的最大值和中值，同样，最大组中的中值至少大于５个像素，最小值组的中值至少小于５个像素，即最大组中的最小值为ｍａｘｍｉｎ，中值组中的中值为ｍｅｄｍｅｄ，最小值组中的最大值ｍｉｎｍａｘ，则滤波结果的输出像素值Ｗｉｎｍｅｄ应该为三者的中值，这一计算过程表示如下：

Ｍａｘｍｉｎ＝ｍｉｎ［Ｍａｘｏ，Ｍａｘｌ，Ｍａｘ２】

Ｍｅｄｍｅｄ＝ｍｅｄ［Ｍｅｄｏ，Ｍｅｄｉ，Ｍｅｄ２】

Ｍｉｎｍａｘ＝ｍａｘ［Ｍｉｎｏ，Ｍｉｒａ，Ｍｉｒａ】

Ｗｉｎｍｅｄ＝ｍｅｄ［Ｍａｘｍｉｎ，Ｍｅｄｍｅｄ，Ｍｉｎｍａｘ］

采用该方法，中值的计算仅需做１９次比较，此外，由于常规的滤波算法使

窗１：３每移动一次，就要进行一次排序，这种做法实际上包含了大量重复比较的过程。若－－￥，Ｊ图像的大小为ＮｘＮ，则整个计算过程需要Ｏ（ＮＥＤ２）时间，当窗口尺寸增大时，计算量将按平方增大，这主要是传统算法未能充分利用相邻窗口间的相关信息。因此本文提出一种类似于滑动窗的改进的中值滤波算法，如图２．５所示，该算法能够充分利用前一窗口中已排序部分的信息。实验表明，该算法可以有效地降低图像处理的复杂度，加快图像处理速度。

８

４

１０６３０１９２１２１７７２３１５１４～．＼卜’’：４８１０６１９３０２１２１７７２３。１５ｈ嘣≥

乙／．／

（ａ）取３ｘ３窗（ｂ）对３ｘ３窗进行列排序

图２．５利用滑动窗排序示意图

做FPGA方面很好的论文

武汉理工大学硕士学位论文

算法的步骤如下：

（１）首先对图２．５（ａ）中黑色方框部分的内容按列进行排序，设排序后的

第１行为最小值行Ａ，中间行为Ｂ，最大值行为Ｃ，得到图２．５（ｂ）的结果；

（２）对Ａ行取最大值，对Ｂ行取中值，对Ｃ行取最小值，并分别标记Ａ

中最大值的位置和Ｃ中最小值的位置；

（３）取Ａ中最大值、Ｂ中中值、Ｃ中最小值这三个值的中值；

（４）将窗口在图像中滑动，新的窗口的如上图阴影部分所示：

（５）将新添加的一列进行大小排序；

（６）根据（２）中标记的结果对阴影部分的Ａ取最大值，Ｂ取中值，Ｃ取最

小值，并分别标记Ａ中最大值的位置和Ｃ中最小值的位置；

（７）回到（３），直到此行的结束。

通常窗口移动时其中心位置按先变列下标再变行下标的顺序遍历图像中各

像素，其左边少一列像素，右边将添加一列像素，可以看出，这一部分的前两列元素已经经过了排序，利用该排序的结果，只需要对最后一列的元素排序即可，排序完后，可以根据上一窗口中标记的位置取相应的值和最后一列的比较，如果Ａ中的最大值或Ｃ中的最小值在阴影部分中，则和第三列进行一次比较即可取出最后一次比较所需的值。这样的运算量比每次排序的运算量少６￣８次。若一帧图像为ＮｘＮ，总的运算量将少６（Ｎ．１）２次。

经过这样的优化，计算的复杂度就减少了很多，在硬件实现的过程中，可以

充分利用硬件并行处理的优势，将输入的像素进行并行比较，一次处理９个像素，这样的经过３次并行计算就可以实现中值的替换，将比较的第一步的结果放在存储器中，可以作为下一组数据比较的输入，而且在比较的过程中可以采用流水线的形式进行操作，即比较完第一步就可以进行下一组第一步的比较，这样流水线加并行处理的方式可以使其达到很快的速度。

此外，中值滤波的效果依赖于滤波窗口的大小，太大会使边缘模糊，太小了

则去噪效果不好【２２Ｊ。考虑到噪声点和边缘点同样是灰度变化较为剧烈的像素，普通中值滤波在改变噪声点灰度值的时候，会一定程度地改变边缘像素灰度值。但是根据图像的特点可以看出，噪声点几乎都是领域像素的极值，而边缘不是，因此可以利用这个特性来限制中值滤波。当处理该像素的时候，看该像素是否是滤波窗口所覆盖下邻域像素的极大或者极小值，如果是，则用正常的中值滤波处理该像素。如果不是，则不处理。图２．６为一幅红外图像加入噪声后的图像经过４种不同形式的中值滤波后实验对比。

做FPGA方面很好的论文

武议理工大学硕上学位论文

一一■一■一（ａ）红外原图像（ｂ）加入密度为００２的椒盐噪声（ｃ）３ｘ３模板中值滤波（ｄ）加入极值判断的３×３滤波（ｅ）５×５模板中值滤波（Ｄ加入极值判断的５ｘ５滤波

图２－６红外图像椒燕噪声的中值滤波实验对比从图２－６可以看出，加入极值判断的图像（图２－６（ｄ），图２－６（ｆ））整体比没加入极值削断的图像（图２－６（ｃ），罔２－６（ｅ））滤波效果要好，尤其是边缘的信息较好的得到了保护，其巾３×３模板加入极值判断后的效果最好，因此在厉面的ＦＰＧＡ实现叶Ｊ我们采用３ｘ３模板进行计算。２．２．３灰度变换

在对红外图像的预处理过程中，为了保证红外传感器具有足够的动态范围，通常其Ａ／Ｄ转换器的精度为１４～１６位，最终输出一般为１２位，相麻的厌度图像所对应的灰度等级为０－４０９５，但目前通常显示器所能显示的灰度等级为２５６级，因此，耍将红外图像在目前的显１‘器卜显示必须先进行灰度变换（即将４０９６级灰度压缩到２５６缎）。

为了分析图像狄度压缩的可行性，关键要了解红外图像的灰度值分向，茸先在ＭＡＴＬＡＢ中分别对相『可像素（１４０×１４０），２５６级灰度的可见光和红外图像进行执度概率统计，得到相应的直方图．其中横轴为扶度值，范围为０—２５６，纵轴为扶皮的概率分布。可见光图像及其对应的直方图如图２—７所示，红外图像及其对应的直方圈如图２—８所示。

本文来源：https://www.bwwdw.com/article/fvhm.html