WO2015062149A1 - 运动感知的双目立体视频舒适度获取方法 - Google Patents

Abstract

本发明公开了一种运动感知的双目立体视频舒适度获取方法，输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度vz；S2、根据所述像素点的参数（d，vxy，vz），计算相应的舒适度值c；S3、根据每个像素点计算出的舒适度值，计算整帧舒适度值；S4、根据每帧的舒适度值，计算整个视频的舒适度值。按照本发明的步骤来计算双目立体视频的舒适度，能够很好的考虑正负深度范围和物体运动对舒适度造成的影响，获得更准确的舒适度估计。

Description

运动感知的双目立体视频舒适度获取方法 技术领域 本发明涉及数字图像处理技术领域， 特别涉及一种运动感知的双目立体 视频舒适度获取方法。 背景技术

在计算机图形学领域中， 双目立体图像和视频是被广泛研究和使用的立 体媒体格式。 双目立体技术通过在屏幕上向左右眼展示不同的图像来实现立 体成像。 由于成像技术中视角-聚焦的不匹配， 导致人们在观看双目立体视频 时， 会产生不同程度的不舒适感。 这种不舒适感是当前双目立体技术中存在 的一个重要问题， 因此， 为了避免人们在观看双目立体视频时产生严重的不 舒适感， 甚至无法进行双目立体融合， 如何能够对双目立体视频进行舒适度 衡量具有重要的研究和实际意义。

传统的双目立体成像原理研究通过实验方式揭示了导致人眼产生不舒适 感和影响双目立体成像的一些因素。 相关研究表明， 双目立体视差、 物体运 动速度对不舒适程度有较大影响， 而且双目立体视差越大， 物体运动速度越 大， 不舒适程度越大， 但现有双目视觉领域相关工作主要关注在这些因素的 定性关系描述， 缺乏定量关系分析， 因此无法在实际工程中直接应用。 2012 年 Jung 等人通过实验提出了一种根据基于双目视差和运动速度计算不舒适 度的方法， 但该方法在实验时对双目视差和不同方向的运动速度进行独立的 实验分析， 没有考虑这些因素之间的相互关系， 而且该计算方法没有对正负 双目视差进行区分。 我们通过对双目视差和物体三维运动速度整体参数空间 建模， 获得更为准确和普适的计算方法。 发明内容

(一） 要解决的技术问题

本发明所要解决的技术问题是： 如何提供一种能够根据双目立体视频中 物体的运动的速度和视差的变化， 计算观测该双目立体视频时不舒适程度的 方法。

(二）技术方案

为解决上述问题， 本发明提供一种运动感知的双目立体视频舒适度获取 方法， 包括以下步骤： Sl、 对输入的双目视频进行双目视差和运动速度分析， 计算视频中每个像素点的双目视差 d, 视平面方向的运动速度 vxy和深度方 向的运动速度 vz; S2、 根据所述像素点的参数 (d, vxy, vz), 计算相应的舒适 度值 c; S3、 根据每个像素点计算出的舒适度值， 计算整帧舒适度值； S4、 根据每帧的舒适度值， 计算整个视频的舒适度值。

优选地， 所述步骤 S1包括： 首先根据双目视频通过双目匹配来计算每个 像素点处的双目视差值， 然后使用光流计算每个像素点出视平面方向的运动 速度 vxy和深度方向的运动速度 vz。

优选地， 所述步骤 S2包括： 根据步骤 S1中计算得到的参数 (c, vxy, vz), 根据通过实验拟合的舒适度计算公式， 计算该像素点处的舒适度值 c:

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6 932*d+4.6567 (d>=0),

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2 303*d +4.6567 (d<0)。

优选地， 所述步骤 S3中， 使用保守的估计策略， 用每一帧中舒适度值最 低的像素对应的舒适度值， 作为该帧的舒适度值。

优选地， 所述步骤 S4中， 对于视频中的一个序列帧， 使用所有帧舒适度 值的中位数作为整个视频的舒适度值。

(三）有益效果

按照本发明的步骤来计算双目立体视频的舒适度， 能够很好的考虑正负 深度范围和物体运动对舒适度造成的影响， 获得更准确的舒适度估计。 附图说明

图 1为依照本发明实施例的运动感知的双目立体视频舒适度获取方法的 流程示意图。 具体实施方式

下面结合附图和实施例， 对本发明的具体实施方式作进一步详细描述。 以下实施例用于说明本发明， 但不用来限制本发明的范围。

参照附图 1 , 为本发明的方法流程图。 输入数据为双目立体视频， 输出 为该双目立体视频的舒适度估计值。 图中所表示的步骤为：

S1. 计算视频中像素点的参数： 通过分析输入的左、 右双目视频， 首先 通过双目匹配算法计算每个像素点处的双目视差 d， 然后对连续帧使用光流 算法， 计算该像素点处的视平面方向的运动速度 vxy和深度方向的运动速度 vz;

S2. 使用公式计算该像素点处的舒适度值： 将上述计算参数带入如下公 式计算该像素点处的舒适度值 C:

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6932* d+4.6567 (d>=0)

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2303* d +4.6567 (d<0);

53. 图像帧的舒适度计算： 本步骤根据上步骤中计算出来的每像素点处 的舒适度值， 使用保守策略， 釆用该帧里面舒适度值最低的像素点的舒适度 值， 作为该图像帧的舒适度值；

54. 整段视频的舒适度计算： 本步骤根据上步骤中计算出来的每个图像 帧的舒适度值， 使用所有数值中的中位数， 作为整段视频的舒适度值。

通过结合附图对本发明具体实施例的描述， 本发明的其它方面及特征对 本领域的技术人员而言是显而易见的。

以上所述仅是本发明的优选实施方式， 应当指出， 对于本技术领域的普 通技术人员来说， 在不脱离本发明技术原理的前提下， 还可以做出若干改进 和替换， 这些改进和替换也应视为本发明的保护范围。

工业实用性

本发明提供的运动感知的双目立体视频舒适度获取方法， 可有效计算双 目立体视频的舒适度， 能够很好的考虑正负深度范围和物体运动对舒适度造 成的影响， 获得更准确的舒适度估计

Claims

权 利 要 求

1、 一种运动感知的双目立体视频舒适度获取方法， 其特征在于， 包括 以下步骤：

Sl、 对输入的双目视频进行双目视差和运动速度分析， 计算视频中每个 像素点的双目视差 d,视平面方向的运动速度 vxy和深度方向的运动速度 vz;

52、 根据所述像素点的参数 (d, _VXy, _VZ)， 计算相应的舒适度值 c;

53、 根据每个像素点计算出的舒适度值， 计算整帧舒适度值；

54、 根据每帧的舒适度值， 计算整个视频的舒适度值。

2、 如权利要求 1所述的方法， 其特征在于， 所述步骤 S1包括： 首先根 据双目视频通过双目匹配来计算每个像素点处的双目视差值， 然后使用光流 计算每个像素点出视平面方向的运动速度 vxy和深度方向的运动速度 vz。

3、 如权利要求 1或 2所述的方法， 其特征在于， 所述步骤 S2包括： 根 据步骤 S1中计算得到的参数 (c, vxy, vz), 根据通过实验拟合的舒适度计算公 式， 计算该像素点处的舒适度值 C:

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6 932*d+4.6567 (d>=0),

c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2 303*d +4.6567 (d<0)。

4、 如权利要求 3所述的方法， 其特征在于， 所述步骤 S3中， 使用保守 的估计策略， 用每一帧中舒适度值最低的像素对应的舒适度值， 作为该帧的 舒适度值。

5、 如权利要求 4所述的方法， 其特征在于， 所述步骤 S4中， 对于视频 中的一个序列帧， 使用所有帧舒适度值的中位数作为整个视频的舒适度值。