智能化电视广告监管研究
智能化电视广告监管研究 1电视广告节目播放特点 每个电视频道播出的广告节目一般来说都具有以下几个特点。（1）每条 电视广告一般都具有重复性，这种重复性有两种情况：一种情况是一条广告一天 内会重复播放几次；另一种情况是一条广告每天只播一次，但在一定周期天数内 还是会再次播放；
（2）每个电视频道每天具有相对固定的广告时段，在广告时 段内将连续播放一条以上的广告节目；
（3）考虑到商业利益和广告宣传的因素， 电视台制作的广告节目只播一次不会再次重复播放的情况很少。
2技术思路 本文研究的智能化广告监管系统，主要基于视频识别比对技术来实现，因 此，首先需要对系统采集到的所有视频进行视频特征提取处理。根据上述电视广 告播放具有重复性和相对固定播出时段的特点，本文提出以下主要技术思路：首 先，在系统的建立初期，先由人工创建初始化的视频广告样本库，通过采用基于 色彩特征和纹理特征的视频比对检索技术，将电视频道全天视频源节目的视频特 征与广告样本视频特征进行比对，比对后全天视频源将被自动划分出已知广告时 段视频片段和疑似广告时段视频片段，识别出的已知广告会进行自动定位并拆条 编目形成广告节目串播单；
接着，针对疑似广告时段视频片段，采用基于递归比 对算法的视频广告识别发现技术，将重复出现次数达到预设阀值的视频片段定义 为疑似新广告；
然后，通过基于特征索引的切割技术自动生成疑似广告片段样本 视频文件，提供给工作人员审核。最后，监管人员通过系统生成的疑似广告片段 的视频摘要关键帧图和GIF动态图，即可快速判断确认目标广告。确认后的广告 视频片段将自动被拆分并形成编目，完善之前生成的广告节目串播单，同时该视 频片段也自动变成新的广告样本添加进广告样本库。每个电视频道的广告样本除 一开始建立初始样本库时需要人工制作一遍外，往后均由系统自动发现和制作生 成。这样一来，整个电视广告节目的比对、识别、发现、拆分等过程基本都是由 系统自动完成，监管人员只需进行少量的确认和审核工作即可完成广告监管的日 常工作，大大降低了人工参与的工作量，由此大幅提升工作效率，并提高了广告 监管系统的智能化水平。系统总体技术思路框图如图1所示。
3主要关键技术 3.1基于色彩和纹理特征相融合的视频片断比对检索技术。要对监管的视频源进行视频特征提取，系统需要设计一个视频检索子模块对图像数据进行特征 提取和索引，提取的特征包括视觉色彩和纹理，提取后进行相应索引。色彩特征 和纹理特征是反映一副图像基本信息的典型特征。但是单一的色彩特征或纹理特 征只能反映某一方面的信息。如果只用色彩特征做为区别两幅图像的依据则会因 为不同场景具有相同的色彩分布而出现大量的错误匹配结果；
同样单一的纹理特 征匹配也会出现大量的错误匹配结果；
如果将这两种特征通过加权的方式同时作 为图像判断依据则会大大减少错误匹配概率。因此，通过这两种特征融合的方式 和合理利用视频片段的时间比较,本文提出一种有效的视频片断比对检索方法， 利用视频比对的方式对视频片段进行比对识别，视频主要利用视频帧的方式进行 匹配，该方法原理的具体步骤如下。（1）对视频进行抽去色彩特征和纹理特征 并且划分镜头的预处理，把每一帧的特征、时间和镜头编号写入特征文件；
（2） 输入视频片断寻找其对应的特征文件,并且读入媒体库的特征数据；
（3）在媒体 库中查找与视频片段开始帧匹配的帧；
（4）如果某一帧和输入视频片段的开始 帧匹配,则让媒体库的下一个镜头开始帧和输入视频片段的下个镜头的开始帧进 行匹配，依次逐镜头进行匹配直到出现不匹配的镜头；
（5）判断匹配上的视频 片段和媒体库中的视频片段的时间长度差，如果时间差在合理范围内则判断两个 视频片段为匹配视频片段。基于色彩和纹理特征相融合的视频片段比对检测技术 是广告监管系统实现基于视频比对识别的关键，该技术的识别效率和准确率直接 影响着系统的性能指标，通过实验和实际应用证明，该技术已具有较高的查全率 和查准率，并且具有较高的效率。3.2基于递归比对算法的视频广告识别发现技 术。本文根据电视广告播放具有重复性和广告时段相对固定的特点，采用递归比 对算法，识别出疑似新广告片段，通过人工核定，即可方便快速地识别定位。此 技术首先通过基于色彩特征和纹理特征的视频比对技术进行广告视频时段划分， 再利用递归比对算法进行新广告发现，主要分为四部分：第一部分为广告样本匹 配，第二部分为划分疑似广告时段，第三部分为递归比对，第四部分为新广告发 现，具体步骤如下。（1）广告样本匹配：利用初始建立的视频广告样本库中的 各广告视频样本识别出已知广告节目片段及已知广告时段。（2）划分疑似广告 时段：根据广告样本库匹配上的广告按时间顺序排列，在已匹配上的广告视频片 段或连续广告时段的前后各设定一个可预设时间，把这两个前后视频片段作为疑 似新广告时段划分出来，再对所述疑似广告时段进行定长切割为各视频片段，并 对其进行特征提取，这些视频片段通过每天的积累将形成一个广告时段特征库用 来进行递归比对。（3）递归比对：将广告时段特征库中各视频片段按时间顺序 排序，从第一个视频片段开始比对，将第一个视频比对上，则用第一个视频片段 和第三个视频片段进行匹配，直至最后一个片段；
再利用第二个视频片段和第三个视频片段进行匹配，如果比对上记录下匹配上的时间位置信息，如果没有比对 上，则用第二个视频片段和第四个视频片段进行匹配，直至到最后一个片段；
以 此类推；
最后将所有相似片段进行记录并对近邻片段按匹配时间进行重组切割， 得到固定阀值下的重复相似片段；
（4）发现新广告：由于递归比对得到的大量 重复的视频片段中，可能含有一些同样会重复播放的节目片头片尾等非广告片段， 因此再利用预先建立的一个非广告样本库将非广告片段进行匹配过滤，最后通过 人工审核结果，确定新广告视频。基于递归比对算法的视频广告识别流程图具体 流程如图2所示。这里需要指出的是由于广告时段特征库每天都在不断的积累， 所以基本上保证了在特征库中进行重复性比对时，那些在一天内或一定天数内重 复播放的广告都可以被发现识别出来，而只播放一次再无重播的广告由于不是特 别多，再加上在系统建立时还要考虑设计生成频道视频摘要关键帧和全天视频片 段GIF动态图作为人工审核辅助手段，监管人员在每天审核完系统自动生成的疑 似广告片段后，再通过关键帧和动态图快速浏览，也可发现和补充系统未自动发 现和生成的新广告节目，因此，整个系统还是能够保持较高的新广告发现能力。
3.3基于特征索引的视频片段切割技术。由于采集的每个视频文件，都对应含有 一个索引文件，文件格式主要为二进制形式，包含的信息主要是视频播放的时间 信息，文件大小等，系统根据此索引文件可以便捷地对视频文件进行IO流的切割、 合并等操作。利用此特征索引文件可以通过对基于递归比对算法得到的目标广告 样本进行快速切割，并自动归类，分级存储在系统中。具体流程如下：（1）系 统根据视频片段特征自动识别出样本片段，并提取样本片段的开始和结束时间；
（2）系统根据非广告样本片段自动过滤已识别出的样本片段；
（3）系统根据视 频索引文件利用IO流自动将已过滤的样本片段进行切割合并，并自动分类，并将 关键信息入库。基于特征索引的视频片段切割流程图如图3所示。
4系统技术特点 采用上述基于视频特征的关键技术构建的电视广告监管系统，与其他广告 监管系统相比，应具备以下创新的技术特点。（1）通过基于色彩和纹理特征融 合的算法，提取视频片断的特征，进行有效的广告视频片段比对检索。（2）自 动划分广告时段与疑似广告时段视频片段，对已识别出的广告能自动编目，生成 广告节目串播单。（3）通过递归比对算法对相邻视频片段进行重组切割，得到 预定阀值下的匹配时长相似片段，从中发现新广告节目。（4）采用视频特征索 引切割技术，系统自动切割广告样本片段，智能化创建样本库，取代传统依靠人 工制作广告模板的工作方式。（5）广告样本比对性能不受样本库大小的制约， 且进行样本比对后能从视频源中自动拆分出广告节目。5结语 广告监管系统中使用到的广告识别一般都基于广告样本片段进行，因此， 对广告样本库的维护要求很高，且实时性也较强。本文提出基于视频特征进行广 告检索识别，且只需要进行最初的广告样本初始后采用基于递归比对算法的视频 广告识别技术即可自动发现新广告，再根据视频特征索引对广告样本进行自动切 割，这些过程全部先由系统自行完成，几乎无人工参与，从而形成了广告自动发 现识别、广告片段自动切割的技术方法，有助于推动广告监管技术进一步向自动 化、智能化方向的发展。经过研究开发和对实际应用表明，利用这些技术方法构 建的广告监管系统具有较高的性能：通过应用系统同时对40套电视频道节目进行 监管处理，系统对广告节目的识别查全率和比对识别正确率以及广告样本匹配准 确率都能达到90%以上；
系统对单个电视频道全天24小时视频片段的检索速度在 6分钟以内；
每个监管人员通过系统巡检审核一个电视频道所有广告节目的处理 时间约为0.5小时/天。系统的高效智能化大幅降低了监管人员的工作强度和难度， 在提高监管工作效率的同时进一步扩大了监管范围，有效实现了广告监管工作的 智能化水平。