基于电视节目内容的监控系统关键技术分析

基于电视节目内容的监控系统关键技术分析

“代朋－ｐＪ．［：＝］

文章编号：１００２—８６９２（２００９）０５－００９５－０３

基于电视节目内容的

监控系统关键技术分析

黄河浪

（深圳广电集团，广东深圳５１８０２６）

技术分析

【摘要】对基于电视节目内容的监控系统中关键技术进行了分析，提出了视频、音频、文本分类处理的方法。字幕文本信息利用位置和背景特征来提高识别速度和准确度，增强了实时性．非法频道台标使用大跨度的采样并进行异或求反再相与的方法来识别。【关键词】分类；场景；关键帧；识别；台标【中图分类号】ＴＮ９４８．１２；ＴＮ９４９．６＂９１

【文献标识码】Ｂ

１

引言

目前的电视节目监控系统基本上只能对黑场、静

电视节日流

帧、彩条等简单情况进行监测报警，基于内容的监控技术研究已成为迫切需要．虽然基于内容的视频分析研究

已渐成为前沿学科中的热点，但在智能电视节目监控方面的研究还处于刚刚起步阶段。

Ｈ竺兰竺竺

由于电视节目中包含有大量的视频信息和音频信息以及被视频化了的文本信息．单纯从某一方面监控电

视节目内容，难以做到判断准确、识别快速。本文针对目

鼎

兰凳未攀羔

．

。。。’。’。。。。。。’。－。。。一

ｔ

ｌ活囊最标Ｉ－—－－ －－－－－－－－一生

匕稿一台删～一

标

避

Ｕ分离

匹

一处一一理一

—丽耳

前电视播出的现状。提出了一种分别从视频、音频以及文本３方面，多角度、分层次进行判断的方法来进行内容监控，提高了准确性和实时性。２

特析提取斤量化处珲扁的敏感税骊ｆ占息库

系统总体结构及流程

计算处理方面，鉴于敏感电视信息的实时性会对服

图ｌ

再舭』匡陌忑Ｔ上黧耻吾肄工摊

电视播出监控报警系统示意图

务器的处理能力提出很高的要求，因此．这里考虑将电

的分割．再在分割出的场景中提取出关键帧，用此关键帧来代表这一场景，然后将此关键帧与视频库中敏感片

段提取出的关键帧进行比较。如果发现有相同或相似的

视节目信息进行分类后，再交由不同功能的专项处理服

务器（如文本处理服务器、音频处理服务器、视频处理服务器等集群化处理方式）进行处理来提高速度。

考虑到电视信号一般分为模拟信号和数字信号：对

关键帧就进行报警。

１）场景分割方法

于模拟信号．因其本身就分为视频模拟和音频模拟，所以在处理之前需要分别将模拟的视音频信号转化为数字信号；数字信号一般是ＳＤＩ带嵌入音频信号或ＡＳ！码流的格式在电视网中传输．利用其数据流帧结构可分离出数字音频和视频。具体分类及处理流程如图１所示。

由于电视节目的连续性，需要首先使用场景划分方法。首先使用颜色来代表图像信息，将图像数字化为颜色直方图。然后以时域为基础．对每帧数据，计算其颜色直方图。并与相邻上一帧的颜色直方图进行比较，如果

连续两帧的颜色直方图之间的欧几里德平均距离＞Ａ（如

３具体算法分类描述

如图１所示，算法主要先分为视频和音频部分，其中视频部分又按字幕、画面、台标进行分类，画面部分又进一步分划出含文本信息的视频画面和不含文本信息

的纯视频画面。

式１），它是将像素直方图的平方差异进行相加，Ａ为预

定的阈值比较参数．则认为场景发生了变化，然后继续

计算下一相邻连续两帧之间的欧几里德平均距离，直到

再次发现连续两提取帧之间的颜色直方图的欧几里德

平均距离＞Ａ（如式２）。则认为从ｉ到ｉ＋ｎ帧为一个场景。

３．１视频监控部分

先从电视节目流中依据节目相似性进行不同场景

￡昕。知）＝乞‰－而枉ｘｌ讥＞Ａ

占

（１）

万方数据　

而丽丽弱面荪雨蕊叭塑塑燮９５

基于电视节目内容的监控系统关键技术分析

口墅趔

…

＾

￡‰如。）＝∑吮。而圳｝２／ｋ＞Ａ

（２）

ｊ＝Ｉ

取采样帧ｆｉ＋ｉ＋ｎ］／２作为关键帧．通过此关键帧的提取，能够将此关键帧作为场景的代表帧，这样就大大缩减了信息量。根据此关键帧的颜色直方图，与视频库

中预先处理好的敏感视频关键帧的颜色直方图进行比

较，比较方法同样是采用欧几里德平均距离，但判断相似性的阈值不同于前两个公式，改为ｐ，距离公式可表示为

占

Ｌ（ｓ，ｄ）＝乞｛ｓｒ．－ｄ，｝２／ｋ＜ｑ，

（３）

Ｉ＝ｌ

式中：ｓ表示源图像；ｄ表示目标图像。由式（３）计算出的具有最小值的图像则可确定为属于同一类别。如果两帧之间的相似度小于阈值妒，则认为两帧近似，给出报警提示信息，由人工进行进一步识别。

２）活动目标提取

在电视节目监控中．有时会需要对不同背景相同前景的活动目标情况进行识别监控，这就需要先进行活动目标的提取，再对活动目标加以识别。由于电视节目的顺序帧中，背景内容一般为静止的，要想提取出除背景

区域之外的特定活动内容来．可以采用将连续５帧的图

像按像素进行两两差分．并进一步对差分得到的４幅图像进行二值处理后再相与，来精确活动目标的提取，同

时也缩小了被处理数据量，为保证视频图像的实时处理

提供了有效途径。但总体而言，不同背景的相同活动目

标的识别，相对难度较大。识别准确率还有待进一步提高，业内也正处于积极研究探索阶段。３．２台标识别

同时考虑到非法电视频道往往会挂有其特定的电

视台标，而且这些台标一般都容易出现在左上角或右上

角的特定位置．它们绝大多数情况下是静止的．对这些

台标的监控．为防范敏感信息的非法播出提供了一条快捷、准确的途径。

考虑到台标的相对固定性．而不同场景的背景图像信息一般是变化的。互不相同，可采用对多个时域上大跨度的采样视频帧进行异或求反处理的方法。来过滤掉

背景信息．再在相邻采样帧之间按像素进行相与处理，来得到台标。

睁ｏ．２９９ｒ＋０．５８７９＋０．１１４６

Ｉｌｉｉ＝ｔ１＋ｉＡｔ；ｉ＝０，１，２，…，ｎ

抓ｔ㈨ｔ２）＝ａｂｓ（－ｘｏｒ抓鼻，ｙ，ｔ１）以戈，ｙ，ｔ２））

机ｔ２，ｔ３）＝ａｂｓ（－ｘｏｒ（ｆ（ｘ，Ｙ，ｔ２）以龙，ｙ，ｔ３））（４）

帆ｔ３，ｔ４）＝ａｂｓ（－ｘｏｒ（ｆ（ｘ，Ｙ，ｔ３）以戈，，，，ｔ４））

∽ｆ４，ｔ５）＝ａｂｓ（－ｘｏｒ（ｆ（ｘ，Ｙ，ｔ４）以菇，Ｙ，ｆ５））【ｆ＝ｆ（ｔＩ，ｔ２）ａｎｄ八￡２，ｔ３）ａｎｄ以￡３，ｔ４）ａｎｄ八￡４

１塑堕堂正面磊ｉ鬲甬而孬丽磊丽万　

方数据式中；厂表示视频帧；ｆ表示时间；＆表示一定时间间隔单

位，可视视频监控的时间精度要求进行调节：ａｂｓ表示取绝对值；ｘｏｒ表示异或运算：ａｎｄ表示与运算。

３．３文本监控部分

电视节目中的敏感文本信息能够给监控者提供重要而准确的信息。是确定图像内容的重要参考．对于敏感文本的识别，在确定节目内容是否非法方面，要比视

频面面识别能够提供更快的速度和更高的准确率．为满

足电视节目监控的实时性要求提供了强而有力的参考

信息。电视节目中的文本一般分为电视图像画面中的文

本和电视下方的字幕信息文本。

１）字幕信息文字识别

根据字幕文本信息出现时会在电视画面下方出现蓝色、黑色或黄色等同质颜色的背景条这一特点。以及

字幕文字一般都是规范化的印刷文字形式这又一特点。

对特定位置、相同背景特征信息的字幕条．通过去噪、二值化、平滑、正规化、线性或非线性变换等预处理动作，得到规范化的二值点阵信息。按照识别方法的要求，基于边缘特征，抽取代表该字的特征．将识别出来的字幕文本信息依次排列入已识别字幕信息缓存数组中，作为目标比较数组，将敏感特征词库中的信息作为源特征数

组，反向进行比较；一旦有相似或相近匹配，立即转入重

点信息库中，再进行进一步的确认处理。采用反向比较处理的原因：敏感特征词库的数据一般就是特定的一小部分，而目标字幕信息一般是不太确定的．相对容量较

大．由于汉字或英文的语义组合千变万化．而实际监控

中．只对特定的少数语义信息敏感。因此本文根据电视文字信息监控的实际需要．提出采用反向搜索的方法。大大减少了工作量．同时又提高了识别速度和准确度，即将已分离出的字幕和视频文字信息按屏幕坐标位置自左至右建立动态时域有效性数据库。用已知的敏感信息词条内容作为一个个目标．将这些目标词组逐条和每

一个时间段内分离出来的文字信息顺序集进行相似性

匹配比较。一旦发现有敏感词条就报警。这一时间段文字信息顺序集使用完毕后就将其标记为过期，不再理

会．以防止重复处理。用它作为目标可以减少比较量，提高识别速度。

２）画面文字信息识别

电视画面中的文本识别因其背景复杂、色彩明暗多变．形状位置不确定而有相当的难度，作者在对电视画

面中的文本信息进行大量细致的研究后，得出：但凡画面中的文本信息，往往都是背景同定或至少是局部背景固定的，而且电视画面中的文字背景块一般都是联通的．同一行中的文字大小一般都是相同的。比如说在一张纸上或一块板、一块布上。或全屏幕都是颜色一致的

９６

基于电视节目内容的监控系统关键技术分析

ｎ’ｅｅｎｉｅｒ

背景，这样的统计特征。依据这一特征。先对图像进行边

缘检测，如果发现某一块大尺寸图像连通区域的背景颜

一．．．．．—．．．．．．．．．，．．．．．．．．．．．．．．．．．．．．．．．．．．－．．．．．．－—．．．．．．．．．－．．．．－－．．．—．—．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．，．．．．．：：：：；－ｌ－Ｉ＿●‘；：？。

ｌ！二］

和自动记谱技术的日益成熟，已为基于内容的音频监控研究提供了必要的技术准备。笔者建议先将音频流按频

率进行分类和分割成语音和音乐。对于乐音因为其在敏

色均一致，且在此背景上含有多个颜色与背景不同的连

通子块，这些子块的边界尺寸均接近或相同，则初步确

感声音监控中的作用较小。在此系统中分离出去后，就不再继续处理，仅对敏感语音进行识别报警。语音识别

方面．鉴于以ＩＢＭ的ＶｉａＶｏｉｃｅ为代表的语音识别技术

定这是一块文字区域。

利用这一特性．对背景区域进行色彩聚类。然后在依据算法确定含有文字的背景区域。粗略分割出可能的文字背景区域。有效避免了复杂纹理特征的计算，同时由于文字与背景的对比度较强。在灰度分量ｌ，上检测文

字边缘．但同时由于文字背景未必完全一致，及图像噪

已日趋成熟．笔者考虑音频处理方面就挂接ＩＢＭ的ＶｉａＶｏｉｃｅ系统进行识别，细节不再赘述。４

小结

本文对基于电视节目内容的监控系统中关键技术

声的影响．还会同时检测出很多非文字边缘，考虑到文字，特别是汉字都有一定的长宽比例、大小限制，每个文字块一般尺寸比例都相同。采用数学统计求均值的方法对每一个连通文字的水平和垂直方向进行边界长度统计．将统计中边界长度最接近且数目又占最大多数的统计值作为文字尺寸框定值，超出此值外的连通区域将被

认为是非文字边缘，不予考虑。

作了较为全面的分析．对于电视画面文字信息识别分别就字幕信息和画面文字信息各自提出了有针对性的算法，与传统文字识别算法相比，它巧妙地利用了电视播出画面的文字信息特性．避开了传统算法中的纹理识别等复杂费时的计算，有效提高了识别速度，增强了实时性。对于非法频道台标的识别，提出了大跨度的采样并进行异或求反再相与的处理方法，该方法能够过滤掉不断变化的背景信息。快速、准确地分离出台标。

本文创新点：１）提出了视频、音频、文本分类处理的

ｗｉｄｔｈ＝ｍｏｄｅ｛ｗｉｄｔｈｌ，ｗｉｄｔｈ２，…，ｗｉｄｔｈｉ】

ｗｉｄｔｈ＞ｔｏｌ

（５）

ｈｉｇｈ＝ｍｏｄｅ｛ｈｉｇｈｌ，ｈｉｇｈ２，…，ｈｉｇｈｉ）

＾ｉ咖＞∞２

（６）

方法，有利于提高处理速度。２）提出了使用欧几里德平均距离来划分场景的方法。３）对于非法频道台标的识别，提出了大跨度的采样并进行异或求反再相与的处理方法。４）画面文字识别方面．提出采用数学统计求均值的方法来确定文字尺寸框定值。

◇

作者简介：

黄河浪。工程师。技术中心播控部高级主管。责任编辑：张家蠹

收稿日期：２００９－０２－２０

式中：ｍｏｄｅ为求集合中的众数（一定区域出现次数最多的那个数）。太小的值不要，可能是噪点或其他非文字信息；ｗｉｄｔｈ为一个区域块水平方向的长度，可理解为宽度；ｈｉｇｈ为一个区域块垂直方向的长度，可理解为高度；∞。为对应宽度ｗｉｄｔｈ根据众数求得的值；吐为对应高度蚴咖根据众数求得的值。

３．３音频监控部分

基于目前音频信号数字处理、语音识别、乐音识别

（上接第９１页）

只有统一了时间．才可以保证工作站之间的工作步调一致。播出控制使用热备方式，主备两台工作完全同步，一

旦主机发生故障，备机可以自动实时进行接管。主机恢

５

优势分析

由于采用了新设备、新设计．新完成的自动化播出

复正常后，系统可以倒换回主机进行控制。

４）扩展性。软件具备广阔的扩展空间，以后无论是连接全台网还是频道扩容都能平滑过渡。

５）模块性。播出系统软件是由众多独立的子系统组

系统较以前模拟系统有了很大提高．在国内同类型设计横向比较中也有相当优势：１）播出节目质量明显提高，而且新的系统对信噪比要求也比较低；２）播出效率大大提升，人力利用率更高。以前需要多名工作人员配合才能进行的值机Ｔ作．现在只需要每频道１名人员就可以完成；３）由于采用先进的进口设备，全系统使用ＳＤＩ信号，技术维护稳定性更好，故障率也较低；４）开放的软件接１３，使得本台的全台网改造更加方便。向“全台无带化”迈进了一大步。

责任编辑：张家豪

◇

成的．各子系统采取模块化设计，各模块承担不同的功能。在保证协作完成播出任务的基础上，出现故障也不

会对系统有大的影响。

６）易操作性。系统中的软件要容易操作上手，这样可以让本台工作人员迅速熟悉软件，形成战斗力。

经过与索贝公司的认真交流沟通，最终使用的软件完全符合本台的要求。

收稿日期：２伽螂一１５

Ｎ—ｏ．０—５Ｖｏ—１．３３—２００—９（Ｓ—ｕｍ—Ｎｏ．３—２８）＼ＶＩＤＥＯ

．９７

万方数据　

基于电视节目内容的监控系统关键技术分析

基于电视节目内容的监控系统关键技术分析

作者：作者单位：刊名：英文刊名：年，卷(期)：

黄河浪

深圳广电集团,广东,深圳,518026电视技术

VIDEO ENGINEERING2009,33(5)

本文读者也读过(10条)

1. 张重德.张崇巍.ZHANG Zhong-de.ZHANG Chong-wei 电视信号台标检测原理与实现[期刊论文]-合肥工业大学学报（自然科学版）2009,32(12)

2. 王正国 IPTV关键技术及其应用分析[期刊论文]-有线电视技术2006,13(6)

3. 马英杰 基于视频内容的局部检索技术在电视监测中的应用[期刊论文]-广播与电视技术2008,35(8)4. 汤晻.唐晓波.于俊清.周洞汝 基于内容的新闻视频的层次化分析[期刊论文]-计算机系统应用2003(5)5. 韩东 基于视频信息的新闻结构分析和口播镜头检测[学位论文]2006

6. 沈宇键.何昕.郝志航 基于时域递归低通滤波的实时背景预测系统的设计[期刊论文]-微电子学2001,31(1)7. 旷虚波.施周渊 MPEG-7及其在互动电视系统中的应用[期刊论文]-中国有线电视2003(9)8. 邓日洪 一种不解扰实现数字电视节目插播的方法[期刊论文]-有线电视技术2009,16(9)9. 黄超越 DVB1710数字插播系统的开发应用[期刊论文]-有线电视技术2008,15(7)10. 舒杰磊 电视透明台标的图像识别算法研究[期刊论文]-数字通信世界2009(8)

本文链接：/Periodical_dsjs200905033.aspx

本文来源：https://www.bwwdw.com/article/idz4.html