基于FPGA的帧间差分算法实现调研报告

基于FPGA的帧间差分算法调研报告

一、背景与重要意义：

帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

帧间差分法的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。Altera公司推出的FPGA内部含有可以编程的输入 /输出单元、可编程逻辑单元、嵌入式块RAM、丰富的布线资源、底层嵌入式功能单元 和内嵌专用内核,利用这些资源可以方便的搭建系统,所以本设计采用FPGA作为主控芯片。随着FPGA技术的不断创新和发展,其必定会在计算机视觉领域发挥越来越重要的作用。

二、国内外研究现状(2009~2014)： 课题相关国内论文调研：

期刊论文： 1肖丽君

肖丽君（1969-），女，副教授，硕士，主要从事人工智能、计算机视觉研究. [1]肖丽君.基于背景减与帧间差分结合的视频运动目标分割[J].北华大学报（自然科学版），2010,05:1009-4822

2郑锵

郑铿(1988-)，男，硕士研究生。研究方向：图像处理，机器视觉.

[1]郑铿，李榕.基于FPGA的视频跟踪系统设计与实现[J]，激光杂志，2014,3:0523-2743

3李金屏

李金屏( 1968－)，男，教授，博士，硕士生导师．研究方向: 人工智能模式识别和图像处理 [1]李金屏,王磊,张中方. 利用FPGA实现视频移动目标的有效检测[J]. 计算机工程与应用,2010,26:162-165.

[2]王磊,张中方,李金屏. 基于FPGA的静态背景下移动目标检测[J]. 济南大学学报(自然科学版),2009,04:342-346.

硕士生毕业论文： 4姜宇

姜宇，男，工学硕士，研究方向：电子科学与技术

[1]姜宇. 基于FPGA的运动目标检测系统的研究[D].大连海事大学，2012.

5廖马腾

廖马腾，男，工学硕士，研究方向：图像识别

[1]廖马腾. 基于基于FPGA的运动车辆检测算法研究[D].五邑大学,2013

6黄宇

黄宇，男，工学硕士，研究方向：电路与系统

[1]黄宇.基于FPGA的运动目标检测系统设计与实现[D].河北工业大学，2011 课题相关国外论文调研：

1 Ping Hu

[1]Ping Hu, Jin Hua Polytechnic.An Area Invasion Algorithm Based on Background Difference and Frame Difference[C]//Information Theory and Information Security(ICITIS),2011 Conference on IEEE International, 2011.

2 Quan Tang

[1]Quan Tang,Shu Guang Dai, Jie Yang.Object Tracking Algorithm Based on Camshift Combining Background Subtraction with Three Frame Difference [C]//Applied Mechanics and Materials,2013:373-375.

3 Jun Yang

[1]Jun Yang,Tusheng Lin,Bi Li.Dual frame differences based background extraction algorithm [C]// Computational Problem-Solving (ICCP), 2011 International Conference on ,2011.

4 Tomasz Kryjak

[1] Kryjak T, Komorkiewicz M, Gorgon M. FPGA implementation of real-time

head-shoulder detection using local binary patterns, SVM and foreground object detection[C]//Design and Architectures for Signal and Image Processing (DASIP), 2012 Conference on. IEEE, 2012: 1-8.

[2] Kryjak T, Komorkiewicz M, Gorgon M. Real-time moving object detection for video surveillance system in FPGA[C]//Design and Architectures for Signal and Image Processing (DASIP), 2011 Conference on. IEEE, 2011: 1-8.

基于FPGA运动帧间差分算法的研究现状总结

帧间差分法

运动目标检测算法就目前的发展，相对于静态图像中的目标检测而言，运动目标检测是指在视频图像序列中判断是否有前景目标的运动，如果有则对目标进行初始定位的检测过程。静态背景下主要有：帧间差分法、背景差分法和光流法。在认真研究和比较了上述算法的原理及优缺点的基础上，用帧间差分算法来实现运动目标检测，计算量较小，适合在硬件上实现实时处理。

本文通过对帧间差分算法的分析，在FPGA开发平台上实现实时视频目标检测。采用FPGA实现系统设计，可提高系统的处理速度，同时具有良好的灵活性和适应性。

运动目标检测算法实现平台

（1）基于PC机实现

通过软件实现，用高级语言编写代码，使用常用的图像库，来对图像或者视频进行处理。但是CPU占用率大，资源空间浪费，处理速度较慢，效果中等。

（2）数字信号处理

数字信号处理器，它是集成专用计算机的一种芯片，是一种特别适合于进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法，用数字方法对信号进行分析、变换、滤波、检测、调制、解调以及快速算法。但是，DSP 只是对某些固定的运算提供硬件优化，其体系仍是串行指令执行系统，并且这些固定优化运算并不能够满足众多算法的需要。 （3）可编程逻辑器件

即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。本课题就是基于FPGA:DE2平台的设计。

三、课题的实现方案 硬件方案：

根据调研，本课题选择友晶公司的DE2-115开发板，用于设计运动目标检测系统的硬件平台。选择TRDB-D5M数字摄像机作为图像采集模块与DE2-115配套使用。选择VGA显示器作为终端显示。

算法方案：

间差分法是检测相邻帧图像之间变化的最简单方法，它是直接比较了图像序列中连续的两帧或三帧图像中对应像素点在灰度值上的差异，然后通过设定阈值来提取序列图像中的运动区域。基于帧间差分的运动目标检测算法的具体步骤如下： （1）在第k 帧图像与第k ? 1帧图像之间计算差分图像Dk ，

（2）对差分图像进行二值化处理后得到黑白二值图像 Rk

其中，T为分割阈值，T可以事先给定或采用自适应的方法进行控制。

系统总体结构：

图像流程：图像信息由数据采集模块采集进来，对每个像素所在行和所在列的位置进行计数，由帧计数信号oFrame_Cont来计算每帧图像。每一帧的图像由由于采集的数据格式为Bayer格式，所以将其通过RAM2RGB模块，对其线性补偿，转换成30位的RGB格式。然后，将转换后的数据缓存到SDRAW中，因为其为30位数据，则为其开辟了2个FIFO的读/写缓冲。连续读取图像数据，经过中值滤波后，将一帧图像存储到SRAM中，等到下一帧图像传来，则将两帧相同像素点进行减操作，相减结果与设置的阈值T比较，当大于T时，灰度级为0，当小于T时，灰度级为255,即得到二值图像。最后通过VGA接口模块在CRT显示器上显示出来。

参考文献：

[1]肖丽君.基于背景减与帧间差分结合的视频运动目标分割[J].北华大学报（自然科学版），2010,05:1009-4822

[2]郑铿，李榕.基于FPGA的视频跟踪系统设计与实现[J]，激光杂志，2014,3:0523-2743 [3]李金屏,王磊,张中方. 利用FPGA实现视频移动目标的有效检测[J]. 计算机工程与应用,2010,26:162-165.

[4]王磊,张中方,李金屏. 基于FPGA的静态背景下移动目标检测[J]. 济南大学学报(自然科学版),2009,04:342-346.

[5]向厚振,张志杰,王鹏. 基于FPGA视频和图像处理系统的FIFO缓存技术[J]. 电视技术,2012,09:41-43.

[6]姜宇. 基于FPGA的运动目标检测系统的研究[D].大连海事大学，2012. [7]廖马腾. 基于基于FPGA的运动车辆检测算法研究[D].五邑大学,2013 [8]黄宇.基于FPGA的运动目标检测系统设计与实现[D].河北工业大

[9]Ping Hu, Jin Hua Polytechnic.An Area Invasion Algorithm Based on Background Difference and Frame Difference[C]//Information Theory and Information Security(ICITIS),2011 Conference on IEEE International, 2011.

[10] Kryjak T, Komorkiewicz M, Gorgon M. FPGA implementation of real-time

head-shoulder detection using local binary patterns, SVM and foreground object detection[C]//Design and Architectures for Signal and Image Processing (DASIP), 2012 Conference on. IEEE, 2012: 1-8. [11] Kryjak T, Komorkiewicz M, Gorgon M. Real-time moving object detection for video surveillance system in FPGA[C]//Design and Architectures for Signal and Image Processing (DASIP), 2011 Conference on. IEEE, 2011: 1-8.

[12]Jun Yang,Tusheng Lin,Bi Li.Dual frame differences based background extraction algorithm [C]// Computational Problem-Solving (ICCP), 2011 International Conference on ,2011.

[13]Quan Tang,Shu Guang Dai, Jie Yang.Object Tracking Algorithm Based on Camshift Combining Background Subtraction with Three Frame Difference [C]//Applied Mechanics and Materials,2013:373-375.

本文来源：https://www.bwwdw.com/article/44qt.html