CN109729263B - 基于融合运动模型的视频除抖方法 - Google Patents

基于融合运动模型的视频除抖方法 Download PDF

Info

Publication number
CN109729263B
CN109729263B CN201811491384.6A CN201811491384A CN109729263B CN 109729263 B CN109729263 B CN 109729263B CN 201811491384 A CN201811491384 A CN 201811491384A CN 109729263 B CN109729263 B CN 109729263B
Authority
CN
China
Prior art keywords
motion
dimensional
model
video
motion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811491384.6A
Other languages
English (en)
Other versions
CN109729263A (zh
Inventor
李兆歆
穆乐文
王兆其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongke Guangshi Culture Technology Co ltd
Original Assignee
Suzhou Zhongke Guangshi Culture Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhongke Guangshi Culture Technology Co ltd filed Critical Suzhou Zhongke Guangshi Culture Technology Co ltd
Priority to CN201811491384.6A priority Critical patent/CN109729263B/zh
Publication of CN109729263A publication Critical patent/CN109729263A/zh
Application granted granted Critical
Publication of CN109729263B publication Critical patent/CN109729263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于融合运动模型的视频除抖方法，该方法包括以下步骤：(1)在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；(2)根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；(3)由光流建立基于网格的二维运动模型，描述两帧之间的变形关系；(4)平滑三维运动模型运动估计，求解网格模型的运动补偿；(5)平滑基于网格模型运动轨迹，求解运动补偿；(6)根据求得的运动补偿绘制稳定的图像帧。本方法融合了三维运动模型和二维运动模型，提升了视频除抖算法的视觉效果和鲁棒性，使用优化方法平滑运动轨迹，求解运动补偿，稳定视频内容，优化观看体验。

Description

基于融合运动模型的视频除抖方法
技术领域
本发明涉及数字图像处理与计算机视觉领域，具体是一种通过平滑运动轨迹求解对图像帧的运动补偿，重绘制视频帧得到稳定平滑的视觉效果的一种基于融合运动模型的视频除抖方法。
背景技术
随着互联网和消费电子产品的发展，视频已经成为记录和分享信息的主要载体，使用移动设备随时随地拍摄的视频内容数量激增，而手持设备拍摄的视频通常无法像专业设备拍摄效果一样有平滑的镜头轨迹，这导致观看体验下降。所以如何解决视频抖动问题成为了研究热点。
数字防抖方案通过算法处理视频内容，由视频运动估计和运动平滑两部分组成。运动估计得到视频内容的运动轨迹，运动平滑将抖动的运动轨迹处理为理想的平滑运动轨迹。其中运动估计部分主要分为二维运动模型估计方法和三维运动估计方法。二维运动模型通过特征点匹配、光流法等二维运动估计方法建立运动模型，描述相邻帧之间的几何变形如仿射变换、单应性变换或基于网格的变形。估计过程速度快，效果鲁棒，但是存在场景景深描述能力不强的问题，所估计的运动误差较大。三维运动模型通过运动恢复结构等三维重建方法对视频内容进行三维结构重建，恢复相机位姿和场景深度，对场景和相机运动描述较为准确全面。但三维运动模型估计依赖的三维重建方法存在重建失败的情况，会导致视频除抖方法运行失败。
发明内容
发明目的：为了解决现有技术的不足，本发明所述的一种基于融合运动模型的视频除抖方法，该方法结合二维运动模型方法和三维运动模型方法，解决三维重建可能失败时，基于三维运动模型方法的视频稳定算法运动失败的问题，同时利用了三维信息改善了只参考二维运动的视频稳定方法的稳定效果。
技术方案：为了实现上述目的，本发明所述的一种基于融合运动模型的视频除抖方法，该方法包括以下步骤：
一、在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；
二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；
三、由光流建立基于网格的二维运动模型，描述两帧之间变形关系，得到视频内容运动轨迹；
四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿，初步稳定步骤三中得到的运动轨迹：
五、平滑二维运动模型运动轨迹，求解运动补偿，对步骤四中所述的运动轨迹进行补充稳定：
六、根据求得的运动补偿绘制稳定的图像帧。
作为本发明的进一步优选，所述的步骤一中，所述的计算光流是通过对视频的相邻帧提取异构的匹配结果来估计场景运动。
作为本发明的进一步优选，所述的步骤二中，特征点匹配用于建立三维运动模型，估计相机在三维空间中的位姿变化。
作为本发明的进一步优选，所述的步骤三中，光流用于建立二维运动模型，估计视频相邻帧之间基于网格的变形。
作为本发明的进一步优选，所述的步骤四中，所述的平滑三维运动模型运动轨迹通过使用线性规划方法平滑相机位姿的各运动分量，求解相机位姿的运动补偿变换，根据变换与点云深度可以求解成像平面上的二维运动，根据此运动视为光流重复步骤三建立基于网格的二维运动模型，作为运动补偿稳定步骤三建立的二维运动模型运动轨迹。
作为本发明的进一步优选，所述的步骤五中，所述的平滑二维运动模型运动轨迹是在对基于网格的运动模型进行平滑时，对网格顶点的运动进行子空间分解，分解为基向量运动轨迹，使用线性规划方法平滑各基向量运动轨迹，求得对步骤四的补充运动补偿；
作为本发明的进一步优选，所述的步骤六中，最终用于绘制稳定视频帧的运动补偿，由步骤四平滑三维运动模型轨迹求解的运动补偿和由步骤五平滑二维运动模型轨迹求解的运动补偿相加得到。
作为本发明的进一步优选，该方法融合了三维运动模型和二维运动模型的运动补偿进行视频除抖。
有益效果：本发明所述的一种基于融合运动模型的视频除抖方法，使用三维运动模型和二维运动模型融合的方法建立参数化模型稳定视频相邻帧之中场景的运动，其中使用线性规划优化方法平滑运动轨迹，求解稳定视频内容需要的运动补偿，使原本抖动的视频变为稳定的视频，优化观看体验。
附图说明
图1为使用线性规划方法平滑运动分量轨迹示意图；
图2为网格运动模型示意图；
图3为网格顶点之间角度保护的几何关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步的详细说明，但并不局限于此，凡是对本发明技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
实施例
基于融合运动模型的视频除抖方法，按以下步骤实现：
一、获取相邻视频帧之间的特征点匹配和光流：
将图像转为灰度图像，提取SIFT特征点，使用k近邻方法为每个特征点在相邻帧中寻找在描述子欧式空间上最相近的两个特征点。计算这两个特征点与原图特征点描述子距离的差异，如果大于某阈值则认为是正确的匹配，保留匹配结果。
使用Lucas-Kanade光流算法估计每个像素在视频相邻帧之间的运动情况m＝(u，v)，u为图像x轴坐标的移动，v为图像y轴坐标的移动。
二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；
使用已有的由运动恢复结构的算法根据特征点的匹配结果求解相机位姿和场景的稀疏点云。相机位姿为相机外参矩阵
Figure BDA0001895760090000031
任一稀疏点云的三维空间齐次坐标为
Figure BDA0001895760090000032
每个稀疏点云在像平面上投影的坐标为
Figure BDA0001895760090000033
相机内参矩阵为
Figure BDA0001895760090000034
根据相机模型得到C＝K[R|t]P，根据此关系构造最小二乘优化问题最小化三维空间点云投影到像平面的投影误差，
Figure BDA0001895760090000035
其中K[R|t]P取非齐次部分。最终求解稀疏点云和相机位姿。
三、根据光流建立基于网格的二维运动模型，描述两帧之间的变形关系：
将每个图像帧用同样尺寸的网格等分，每个网格都存在四个顶点，对步骤一中估计的光流进行等间隔采样，采样到的光流mk所在的网格的四个顶点的位置为Vk，为了约束光流mk的图像坐标Pk与网格顶点坐标Vk的关系最小化
Figure BDA0001895760090000041
Figure BDA0001895760090000042
根据Pk在网格中的位置对四个网格顶点进行坐标的加权，此约束保证网格模型的运动拟合图像内容的运动，除此之外，网格模型还要保护本身的拓扑结构不变，对任意三个相邻的网格顶点之间建立保角几何约束，设V1V2V3为任意三个相邻的网格顶点，其坐标符合V1＝V2+u(V3-V2)+vR90(V3-V2)几何关系，最小化Es(V1)＝ws｜|V1-(V2+u(V3-V2)+vR90(V3-V2))｜|2保护任意三个相邻网格顶点的夹角关系，网格的形状就得到了保护。使用最小二乘法求解arg min∑iEd(Vi)+Es(Vi)，求得网格顶点的运动。
四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿：
线性规划平滑相机位姿轨迹的各运动分量，x、y、z轴的旋转、平移。设某运动分量的数据为T＝[t1，......，设线性规划稳定的目标为最小化，
Figure BDA0001895760090000043
为各阶残差的权重，e为代表各阶残差的优化变量。设一阶残差rn＝tn-，Rn(pn-1，pn)＝rn+pn-1由此建立问题约束：
Figure BDA0001895760090000044
Figure BDA0001895760090000045
Figure BDA0001895760090000046
Figure BDA0001895760090000047
|pn|＜h
最终求解每个运动分量的运动补偿P＝(p1，......，pn)
任意一帧的各运动分量的运动补偿可以计算相机位姿的变换矩阵[R|t]，将在此帧可视范围内的点云P带入K[R|t]P计算，取非齐次部分得到一组稀疏的二维运动。将其视作光流使用与步骤三相同的方法计算每一帧基于网格的运动补偿。与步骤三求得的基于网格的运动相加，得到由三维运动模型初步稳定的基于网格的运动模型轨迹。
五、平滑基于网格模型运动轨迹，求解运动补偿：
三维运动模型方法可能会出现失败，还有部分网格运动没有被稳定过。在二维的基于网格的模型上再做第二次运动补偿，提升方法的鲁棒性。基于网格的运动模型在时间维度上需要优化每个顶点的运动轨迹，在空间维度上需要保护顶点之间的结构不变不出现扭曲。这样导致随着视频帧数量的增加，优化项迅速增加，使优化变得困难。本发明使用矩阵分解，首先建立基于网格的运动模型的运动轨迹矩阵。
Figure BDA0001895760090000051
矩阵描述了n个网格顶点的x轴y轴的运动分量，通过SVD分解。分解为M2n×t＝C2n× rEr×t，其中Er×t为运动在子空间的分解轨迹，其中r为9，将Er×t中每行视作运动分量轨迹用步骤四中方法平滑。得到
Figure BDA0001895760090000052
和平滑后的网格顶点运动轨迹
Figure BDA0001895760090000053
求得第二次运动补偿结果
Figure BDA0001895760090000054
与三维运动模型方法求解的运动补偿相加，得到总的运动补偿。
六、根据求得的运动补偿绘制稳定的图像帧；
根据初始的网格顶点坐标和运动补偿可以求得新的网格顶点坐标，对网格顶点坐标加权可得到网格内每个像素的新坐标
Figure BDA0001895760090000055
将像素值复制到新的坐标即完成稳定帧的绘制。

Claims (6)

1.一种基于融合运动模型的视频除抖方法，其特征在于：该方法包括以下步骤：
一、在视频的相邻帧之间计算光流，提取特征点并计算匹配结果；
二、根据特征点的匹配结果进行三维重建，恢复相机的三维相机位姿和场景的三维点云；
三、由光流建立基于网格的二维运动模型，描述两帧之间变形关系，得到视频内容运动轨迹；
四、平滑三维运动模型运动轨迹，求解基于网格模型的运动补偿，初步稳定步骤三中得到的运动轨迹，所述的平滑三维运动模型运动轨迹通过使用线性规划方法平滑相机位姿的各运动分量，求解相机位姿的运动补偿变换，根据变换与点云深度求解成像平面上的二维运动，根据此运动视为光流重复步骤三建立基于网格的二维运动模型，作为运动补偿稳定步骤三建立的二维运动模型运动轨迹；
五、平滑二维运动模型运动轨迹，求解运动补偿，对步骤四中所述的运动轨迹进行补充稳定；
六、根据求得的运动补偿绘制稳定的图像帧。
2.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于步骤一中，所述的计算光流是通过对视频的相邻帧提取异构的匹配结果来估计场景运动。
3.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于步骤二中，特征点匹配用于建立三维运动模型，估计相机在三维空间中的位姿变化。
4.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于步骤三中，光流用于建立二维运动模型，估计视频相邻帧之间基于网格的变形。
5.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于步骤五中，所述的平滑二维运动模型运动轨迹是在对基于网格的运动模型进行平滑时，对网格顶点的运动进行子空间分解，分解为基向量运动轨迹，使用线性规划方法平滑各基向量运动轨迹，求得对步骤四的补充运动补偿。
6.根据权利要求1所述的基于融合运动模型的视频除抖方法，其特征在于步骤六中，最终用于绘制稳定视频帧的运动补偿，由步骤四平滑三维运动模型轨迹求解的运动补偿和由步骤五平滑二维运动模型轨迹求解的运动补偿相加得到。
CN201811491384.6A 2018-12-07 2018-12-07 基于融合运动模型的视频除抖方法 Active CN109729263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811491384.6A CN109729263B (zh) 2018-12-07 2018-12-07 基于融合运动模型的视频除抖方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811491384.6A CN109729263B (zh) 2018-12-07 2018-12-07 基于融合运动模型的视频除抖方法

Publications (2)

Publication Number Publication Date
CN109729263A CN109729263A (zh) 2019-05-07
CN109729263B true CN109729263B (zh) 2021-02-23

Family

ID=66294844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811491384.6A Active CN109729263B (zh) 2018-12-07 2018-12-07 基于融合运动模型的视频除抖方法

Country Status (1)

Country Link
CN (1) CN109729263B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110086973B (zh) * 2019-05-10 2020-11-27 中国计量大学 一种基于光流相机的云台稳像系统
CN113674194A (zh) * 2021-09-10 2021-11-19 哈尔滨理工大学 一种全液晶仪表虚拟指针消除抖动技术
CN114219835B (zh) * 2021-12-09 2025-01-03 超级视线科技有限公司 基于视频监控设备的高性能稳像方法及装置
CN115174817A (zh) * 2022-09-05 2022-10-11 深圳深知未来智能有限公司 一种基于深度学习的混合防抖方法及系统
CN116582751B (zh) * 2023-03-03 2026-03-31 上海砹芯科技有限公司 视频稳像方法、装置及电子设备
CN116433725A (zh) * 2023-03-31 2023-07-14 深圳市正浩创新科技股份有限公司 运动追踪方法、装置与自移动设备
CN120912922B (zh) * 2025-10-09 2026-02-06 余姚耀达电子科技有限公司 一种镜头塑料件正反面视觉识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN102256061A (zh) * 2011-07-29 2011-11-23 武汉大学 一种二维三维混合的视频稳定方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN104159120A (zh) * 2014-08-21 2014-11-19 北京奇艺世纪科技有限公司 一种视频稳像方法、装置及系统
CN105335718A (zh) * 2015-10-29 2016-02-17 宁波大学 基于运动视觉的工业加工系统
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN107750451A (zh) * 2015-07-27 2018-03-02 三星电子株式会社 用于稳定视频的方法和电子装置
CN108564554A (zh) * 2018-05-09 2018-09-21 上海大学 一种基于运动轨迹优化的视频稳定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2407724B (en) * 2003-10-31 2005-10-12 Hewlett Packard Development Co Image stabilization
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
US8648919B2 (en) * 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN102256061A (zh) * 2011-07-29 2011-11-23 武汉大学 一种二维三维混合的视频稳定方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN104159120A (zh) * 2014-08-21 2014-11-19 北京奇艺世纪科技有限公司 一种视频稳像方法、装置及系统
CN107750451A (zh) * 2015-07-27 2018-03-02 三星电子株式会社 用于稳定视频的方法和电子装置
CN105335718A (zh) * 2015-10-29 2016-02-17 宁波大学 基于运动视觉的工业加工系统
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN108564554A (zh) * 2018-05-09 2018-09-21 上海大学 一种基于运动轨迹优化的视频稳定方法

Also Published As

Publication number Publication date
CN109729263A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109729263B (zh) 基于融合运动模型的视频除抖方法
US8134603B2 (en) Method and system for digital image stabilization
JP6736362B2 (ja) 画像処理装置、画像処理方法、プログラム
Ryu et al. Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation
JP2015521419A (ja) コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム
CN108399643A (zh) 一种激光雷达和相机间的外参标定系统和方法
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
CN108830925B (zh) 一种基于球幕视频流的三维数字化建模方法
CN112270736A (zh) 增强现实处理方法及装置、存储介质和电子设备
EP2446612A1 (en) Real time video stabilization
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
JP2002163647A (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN121509749A (zh) 视频处理方法、装置、计算机可读存储介质和计算机程序产品
JP6505501B2 (ja) ローリングシャッタ回転歪み補正と映像安定化処理方法
Shi et al. A review and comparison on video stabilization alorithms
WO2017154045A1 (en) 3d motion estimation device, 3d motion estimation method, and program
CN111915741A (zh) 一种基于三维重建的vr生成器
Xu et al. Optical flow-based video completion in spherical image sequences
Yuan et al. Scenefactory: A workflow-centric and unified framework for incremental scene modeling
Balachandran et al. A review of video stabilization algorithms
US12505636B2 (en) Method for editing three-dimensional volumetric data
US12518416B1 (en) Systems and methods for LiDAR-based sensor fusion for a tracking system of a target device at a target frequency
Azzarelli et al. Exploring dynamic novel view synthesis technologies for cinematography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant