CN103200419B

CN103200419B - 一种高速识别视频内容变化程度的方法

Info

Publication number: CN103200419B
Application number: CN201310068909.6A
Authority: CN
Inventors: 张大陆; 祝嘉麒; 李柏言; 金翔
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2013-03-05
Filing date: 2013-03-05
Publication date: 2015-04-08
Anticipated expiration: 2033-03-05
Also published as: CN103200419A

Abstract

本发明提供一种高速识别视频内容变化程度的方法，所述方法包括：根据应用场景为待评测视频建立缓冲区，所述应用场景包括离线场景和在线场景，初始化局部变量；从为待评测视频建立缓冲区首部读出下一帧，并判断该帧的类型，如果是关键帧，则执行下一步，否则执行该步骤；计算该帧的字节数，并累加至总字节数中；从为待评测视频建立缓冲区首部读出下一帧，继续判断该帧的类型，如果是预测帧，则执行上一步，如果不是，则执行下一步；通过该帧的字节数和总字节数计算视频内容变化程度度量值。本发明所述方法能以较低的计算复杂度和空间开销，高速评估视频的内容特性，能够满足对视频内容进行简单而快速分类的需要。

Description

一种高速识别视频内容变化程度的方法

技术领域

本发明属于多媒体通信技术领域，涉及一种识别视频内容变化的方法，特别是涉及一种高速识别视频内容变化程度的方法。

背景技术

随着互联网的发展，音视频媒体流逐渐占据了网络的主要流量。然而，互联网是一种尽力而为的传输(Best-effort)网络，在流媒体的传输过程中的带宽、丢包、抖动、时延等情况时有发生，它们会对视频质量产生不利的影响。以往对网络服务质量QoS(Quality of Service)的研究是以提高网络性能和整体资源利用率为目的，而现在的ISP和ICP则更关注签约客户的实际使用感受，而QoS无法满足这一需要。因此引入用户体验质量QoE(Quality of Experience)来描述多媒体用户的观看质量。

目前，ITU、VQEG等多个研究组织提出了各自的视频质量评估模型，比较著名的有G.1070、E-Model、Evalvid等。而这些模型主要考虑了QoS参数对QoE的影响，但忽略了视频内容对QoE的影响。而现有实验表明，不同视频内容对QoE的影响存在很明显的不同。内容变化剧烈的视频(如足球赛等)受丢包、抖动的影响远大于内容变化平缓的视频(如新闻播报等),如图1所示。这种差异导致QoE评估模型的准确度比较低。

现有的基于模式识别的视频内容识别技术能够对视频图像信息进行分析并获得内容信息。然而，该方法存在识别速度慢、资源开销大、需要前期大量数据的训练等问题，并且其识别的信息远多于QoE评估模型的需要，存在资源冗余和浪费。因此，在QoE的实时监测中很难将其引入。此外，国内外还有相关研究通过分析视频中每张图像的像素点的信息、或者分析编码后预测帧运动向量中DCT系数的信息，来估计视频的内容信息。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高速识别视频内容变化程度的方法，用于解决现有技术中存在识别速度慢、资源开销大、需要前期大量数据的训练，并且识别的信息远多于QoE评估模型的需要，存在资源冗余和浪费的问题。

为实现上述目的及其他相关目的，本发明提供一种高速识别视频内容变化程度的方法。所述方法包括：

S1，将视频帧中的关键帧字节数和总字节数置为0，根据应用场景为待评测视频建立缓冲区，所述应用场景包括离线场景和在线场景，初始化局部变量；当应用场景为在线评测时，为待评测视频建立网络缓冲区，网络缓存区中元素为服务端向客户端顺序发送的数据包队列，并且将为待评测视频建立的网络缓冲区指向媒体流服务器端的网络数据包队列；当应用场景为离线测评时，为待评测视频建立文件缓冲区，所述文件缓冲区中的元素为待测视频的连续帧；

S2，从为待评测视频建立缓冲区首部读出下一帧，当应用场景为离线评测时，文件缓存区中的元素是为帧，直接从缓存区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景为在线评测时，为待评测视频建立的网络缓存区中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议的媒体流，为了确保需要读取的数据包的个数，采用清空临时帧数据缓冲数据，从为待评测视频建立的缓冲区中读出队首数据包，查看数据包中RTP协议域是否有标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包；

S3，判断从为待评测视频建立缓冲区首部读出的帧是否为关键帧，若是，则执行下一步；若否，则返回步骤S2，重新执行步骤S2；

S4，计算所述临时帧数据缓冲所占字节数，并累加至总字节数；

S5，从为待评测视频建立缓冲区首部读出下一帧存入所述临时帧数据缓冲中，该步骤和步骤S2一致；

S6，判断从为待评测视频建立缓冲区首部读出的帧是否为预测帧，若是，则返回步骤S4；若否，则执行下一步；

S7，计算视频内容变化程度度量值。

优选地，当应用场景为在线评测时，表示待评测视频已经存在；当应用场景为离线评测时，表示待评测视频是实时生成；在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。

优选地，所述步骤S2还包括：从为待评测视频建立缓冲区首部读取下一帧在不同应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。

优选地，在所述步骤S4中，如果所述临时帧数据缓冲是关键帧，那么关键帧字节数为所述临时帧数据缓冲所占字节数。

优选地，所述视频内容变化程度度量值MDVC是一个区间为[0,1)的小数，MDVC表示视频内容变化的剧烈程度。

如上所述，本发明所述的高速识别视频内容变化程度的方法，具有以下有益效果：

1、本发明计算复杂度低，空间开销小，收敛速度快的特点，能很好的解决视频内容分类问题；

2、本发明可以快速分析视频的内容特性；

3、本发明可用于识别MPEG4、H.264等编码的视频(但不仅限于这两种编码)，并且拥有较高的准确度。

附图说明

图1显示为本发明的高速识别视频内容变化程度的方法的方法流程图。

图2(a)显示为足球赛视频QoE模型的差异的示意图。

图2(b)显示为新闻播报视频QoE模型的差异的示意图。

图3显示为本发明的高速识别视频内容变化程度的方法中不同编码参数下视频内容与MDVC的关系示意图。

图4显示为本发明的高速识别视频内容变化程度的方法中不同内容的视频受丢包率影响后的不同MOS曲线示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合实施例和附图对本发明进行详细说明。

目前主流编码，例如，H.264、MPEG4等，将视频帧分为关键帧(I帧)，和预测帧(P帧、B帧)两类。其中，所述关键帧用于存放完整的图像信息，而所述预测帧用于存放大量运动向量和少量图像信息。在相同编码条件下，所述编码条件包括分辨率、码率、GOP(GROUPOF PICTURE，简称画面群)样式等编码参数，运动向量包含的信息越大，那么视频前后帧变化越快，因此视频运动程度越剧烈。通过对预测帧字节数的统计，可以估计视频的运动程度，并且本发明所述的高速识别视频内容变化程度的方法识别速度快，临时数据量小，可以应用于实时监测中。

本实施例提供一种高速识别视频内容变化程度的方法，所述方法如图1所示，具体包括：

S1，初始化步骤，将视频帧中的关键帧字节数(KeySize)和总字节数(TotalSize)置为0，根据应用场景Task(离线或在线)为待评测视频建立缓冲区(pFrameBuffer)，所述应用场景包括离线场景和在线场景，初始化局部变量；当应用场景Task为在线评测时，为待评测视频建立网络缓冲区，网络缓存区中元素为服务端向客户端顺序发送的数据包队列，并且将为待评测视频建立的网络缓冲区(pFrameBuffer)指向媒体流服务器端的网络数据包队列；当应用场景(Task)为离线测评时，为待评测视频建立文件缓冲区，所述文件缓冲区中的元素为待测视频的连续帧；其中，当应用场景Task为在线评测时，也就是表示待评测视频已经存在，例如，VoD等视频点播服务；当应用场景Task为离线评测时，表示待评测视频是实时生成的，例如，视频会议、实况转播服务。为待评测视频建立缓冲区(pFrameBuffer)可以是一段视频流中的部分帧，也可以是整个视频的所有帧。在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。

S2，从为待评测视频建立缓冲区(pFrameBuffer)首部读出下一帧，当应用场景Task为离线评测时，文件缓存区(pFrameBuffer)中的元素是为帧，直接从缓冲区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景Task为在线评测时，为待评测视频建立的网络缓存区(pFrameBuffer)中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议(Real-timeTransport Protocol，简称实时传送协议)的媒体流，为了确保需要读取的数据包的个数，采用清空临时帧数据缓冲数据，从为待评测视频建立的缓冲区(pFrameBuffer)中读出队首数据包，查看数据包中RTP协议域是否有Mark标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包；需注意的是，从为待评测视频建立缓冲区(pFrameBuffer)首部读取下一帧在不同应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。

S3，判断从为待评测视频建立缓冲区(pFrameBuffer)首部读出的帧是否为关键帧，若是，则执行下一步；若否，则返回步骤S2，重新执行步骤S2；

S4，计算所述临时帧数据缓冲所占字节数(Size)，并累加至总字节数(TotalSize)。如果所述临时帧数据缓冲是关键帧，那么关键帧字节数(KeySize)为所述临时帧数据缓冲所占字节数(Size)；

S5，从为待评测视频建立缓冲区(pFrameBuffer)首部读出下一帧存入所述临时帧数据缓冲中，该步骤和步骤S2一致；当应用场景Task为离线评测时，文件缓存区(pFrameBuffer)中的元素是为帧，直接从缓冲区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景Task为在线评测时，为待评测视频建立的网络缓存区(pFrameBuffer)中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议(Real-time Transport Protocol，简称实时传送协议)的媒体流，为了确保需要读取的数据包的个数，采用清空临时帧数据缓冲数据，从为待评测视频建立的缓冲区(pFrameBuffer)中读出队首数据包，查看数据包中RTP协议域是否有Mark标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包。需注意的是，从为待评测视频建立缓冲区(pFrameBuffer)首部读取下一帧在不同应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。

S6，判断从为待评测视频建立缓冲区(pFrameBuffer)首部读出的帧是否为预测帧，若是，则返回步骤S4；若否，则执行下一步；

S7，计算视频内容变化程度度量值MDVC，即所述视频内容变化程度度量值MDVC是一个区间为[0,1)的小数，MDVC表示视频内容变化的剧烈程度。定性地，MDVC越大，说明视频内容特征越活跃。

在实际应用中，本实施例所述的高速识别视频内容变化程度的方法可以较快校准地解决视频内容估计的问题，为视频QoE评估模型提供定量的数据，使得模型实现内容自适应，如图2所示不同视频内容下QoE模型的差异，图2(a)为足球赛视频QoE模型，图2(b)为新闻播报视频QoE模型。本发明可用以下实验证明其的可行性。实验中，将12个不同内容的视频片段分为两组，一组为高速移动(Fast-Moving Video)视频，一组为慢速移动(Slow-MovingVideo)视频。将所有的视频按照不同的编码参数，如表1所示，进行编码并计算各自的MDVC值。

表1：测试参数取值

参数	取值
		帧率fps_v	24,25,30,48,60
码率bitrate_v	386k,512k,1024k,2400k,5000k
		分辨率res_v	320x240,352x288,640x480,960x720
GOP大小λ	12,30,60,120
		P帧间的B帧出现频率β	0,1,2,3,4
编码类型	H.264,MPEG4

图3显示了不同编码参数下视频内容与MDVC的关系，图中’○’和’◇’表示H.264和MPEG4编码的慢速移动视频的MDVC值，’+’和’*’表示H.264和MPEG4编码的高速移动视频的MDVC值。从图中结果可以看到，高速移动视频的MDVC取值在所有的编码条件下都高于慢速移动视频，证明了该方法的正确性。

利用MDVC的计算，可以为视频QoE评估模型提供内容相关参数。图4显示了不同内容的视频受丢包率影响后的不同MOS曲线。可以看到，MDVC越大(高速运动视频)，MOS值下降越快，说明视频QoE损伤越剧烈。在QoE评估模型中引入该视频内容度量方法，可以是QoE评估实现内容自适应，从而提高测量准确度。

本发明所述的高速识别视频内容变化程度的方法能够以较低的计算复杂度和空间开销，高速评估视频的内容特性，能够满足对视频内容进行简单而快速分类的需要。本发明即可用于VoD等视频点播服务，又可用于视频会议等实时流媒体服务。

本发明的特点是使用较少的空间和时间开销，快速分析视频的内容特性，相对于基于模式识别的视频内容分析方法，该算法具备计算复杂度低，空间开销小，收敛速度快的特点，能很好的解决视频内容分类问题。实践表明，该算法可用于识别MPEG4、H.264等编码的视频(但不仅限于这两种编码)，并且拥有较高的准确度。

本发明能够在O(1)计算复杂度下快速评估视频内容变化程度，并且适用于在线和离线两种常见的视频播放场景，为视频和视音频混合的用户体验质量(QoE)评估模型提供内容度量参数，提高模型的评估准确度。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种高速识别视频内容变化程度的方法，其特征在于，所述方法包括：

S7，计算视频内容变化程度度量值。

2.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于：当应用场景为在线评测时，表示待评测视频已经存在；当应用场景为离线评测时，表示待评测视频是实时生成；在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。

3.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于：在所述步骤S4中，如果所述临时帧数据缓冲是关键帧，那么关键帧字节数为所述临时帧数据缓冲所占字节数。

4.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于：所述视频内容变化程度度量值MDVC是一个区间为[0,1)的小数，MDVC表示视频内容变化的剧烈程度。