WO2019174640A1 - 一种全景视频防抖方法及便携式终端 - Google Patents

一种全景视频防抖方法及便携式终端 Download PDF

Info

Publication number
WO2019174640A1
WO2019174640A1 PCT/CN2019/078329 CN2019078329W WO2019174640A1 WO 2019174640 A1 WO2019174640 A1 WO 2019174640A1 CN 2019078329 W CN2019078329 W CN 2019078329W WO 2019174640 A1 WO2019174640 A1 WO 2019174640A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
pixel
video frame
coordinate system
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/078329
Other languages
English (en)
French (fr)
Inventor
陈聪
刘靖康
姜文杰
郭奕滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Arashi Vision Co Ltd
Original Assignee
Shenzhen Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Arashi Vision Co Ltd filed Critical Shenzhen Arashi Vision Co Ltd
Priority to EP19768097.8A priority Critical patent/EP3767945A4/en
Priority to US16/981,688 priority patent/US11388339B2/en
Priority to JP2020548718A priority patent/JP7016965B2/ja
Publication of WO2019174640A1 publication Critical patent/WO2019174640A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the invention belongs to the field of video processing, and in particular relates to a panoramic video anti-shake method and a portable terminal.
  • CMOS and CCD sensors are currently widely used in two types of image sensors, both of which use photodiodes for photoelectric conversion to convert images into digital data, the main difference being the way digital data is transmitted.
  • the charge data of each pixel in each row of the CCD sensor is sequentially transferred to the next pixel, outputted by the bottommost portion, and amplified by the amplifier at the edge of the sensor; in the CMOS sensor, each pixel is adjacent to one pixel.
  • the amplifier and the A/D conversion circuit output data in a manner similar to a memory circuit.
  • a typical CMOS camera is a fisheye image obtained by progressive exposure using a rolling shutter mode.
  • CMOS chips share workloads through many parallel A/Ds, but the entire sensor array must be converted one row at a time, which results in a small time delay between each line of reading.
  • Each individual line is usually capable of starting the next frame of exposure when the previous frame is read.
  • the time delay between each line of reading translates into a delay between the start of each line of exposure, They no longer occur at the same time, with the result that each row in the frame will be exposed for the same amount of time, but exposure begins at different points in time, allowing for two frames of overlapping exposure, and the final frame rate depends on the speed at which the scroll readout process can be completed.
  • This exposure mode results in a time difference between different lines of the same frame image. If a panoramic camera is used for shooting, when moving at high speed, the jelly effect is produced due to the characteristics of the CMOS camera progressive exposure. The jelly effect is a problem that has not been solved very well, especially for VR panoramic video, so the anti-shake effect of the video is poor.
  • the problem to be solved by the present invention is to provide a panoramic video anti-shake method, a computer readable storage medium and a portable terminal, aiming at solving the jelly effect caused by the jitter of the picture caused by the CMOS chip rolling shutter mode, and the camera anti-shake Poor effect.
  • the present invention provides a panoramic video anti-shake method, the method comprising:
  • the fisheye image is rendered in forward rendering to produce a smooth video.
  • the present invention provides a method for panoramic video anti-shake, the method comprising:
  • S201 acquiring, in real time, a fisheye image corresponding to the output video frame and the output video frame, a timestamp of the pixel in the video frame, and a corresponding camera gyroscope timestamp;
  • the present invention provides a computer readable storage medium storing a computer program that, when executed by a processor, implements the steps of the method of panoramic video image stabilization as described above.
  • the present invention provides a portable terminal, including:
  • One or more processors are One or more processors;
  • One or more computer programs wherein the one or more computer programs are stored in the memory and configured to be executed by the one or more processors, the processor implementing the computer program The steps of the method of panoramic video anti-shake as described above.
  • the fisheye image is converted into a smooth motion trajectory coordinate system by using the rotation matrix of the camera motion under the time stamp of the current video frame pixel in real time, and then the output is corrected, thereby correcting Rolling shutter distortion of a panoramic video sequence.
  • the invention can correct the image distortion caused by the CMOS rolling shutter, and eliminate the jelly effect, thereby achieving better anti-shake effect of the video image;
  • the output video frame pixel is projected onto the corresponding spherical surface.
  • the model grid point is rotated by the approximate rotation matrix to the grid point in the sensor coordinate system; the fisheye image distortion correction method is used to establish the pixel in the sensor coordinate system and the pixel in the fisheye image
  • the relationship is obtained by approximating the inverse mapping pixel, calculating the camera gyroscope time stamp of the approximate reverse mapping pixel in the fisheye image, obtaining the accurate rotation matrix of the camera when the current pixel is acquired, and using the accurate rotation matrix to again the corresponding spherical model network
  • the grid point is rotated to obtain the second grid point in the sensor coordinate system.
  • the fisheye image distortion correction method is used to establish the relationship between the second grid point in the sensor coordinate system and the pixel in the fisheye image, and the accurate pixel in the fisheye image is obtained.
  • the mapping relationship between the output video frame pixels and the accurate pixels in the fisheye image is adopted for the fisheye image. Rendering the rendering mode, the steadily generated video. Thereby the rolling shutter distortion of the panoramic video sequence is corrected.
  • the invention can correct the image distortion caused by the CMOS rolling shutter and eliminate the jelly effect, thereby achieving better anti-shake effect of the video image.
  • FIG. 1 is a flowchart of a panoramic video anti-shake method according to Embodiment 1 of the present invention.
  • FIG. 2 is a timing diagram of a scan line sequence of a CMOS camera according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic diagram of a mapping process of a forward mapping rendering method in a panoramic video anti-shake method according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart of a panoramic video anti-shake method according to Embodiment 2 of the present invention.
  • FIG. 5 is a schematic diagram of a mapping process of a backward mapping rendering method in a panoramic video anti-shake method according to Embodiment 2 of the present invention.
  • FIG. 6 is a schematic structural diagram of a portable terminal according to Embodiment 4 of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a method for panoramic video anti-shake provided by Embodiment 1 of the present invention includes the following steps:
  • S101 may specifically include the following steps:
  • S1011 Acquire an image of a fisheye corresponding to an output video frame and an output video frame
  • S1012 Obtain a timestamp of the pixel p(x, y) in the kth video frame of the time frame of the video frame collection system.
  • k is a natural number
  • S102 Synchronize the timestamp of the pixel in the video frame with the camera gyro timestamp, and calculate a rotation matrix of the camera motion under the camera gyroscope timestamp;
  • S102 may specifically include the following steps:
  • Timestamp of pixel p(x, y) in S1021, kth video frame The calculation formula is formula (1):
  • S103 may specifically include the following steps:
  • P s represents the 3D coordinates in the camera coordinate system
  • the formula for converting between the 3D coordinate P t s of the camera coordinate system at t time and the 3D coordinate P t w in the world coordinate system is:
  • R w2s (t) is a matrix of the camera coordinate system relative to the world coordinate system at time t, Is the amount of translation of the two frames of video before and after the camera;
  • S104 may specifically be:
  • u and v are the abscissa and ordinate of the panoramic development map in the camera coordinate system, respectively;
  • the point (x c , y c ) is the projection center of the sensor, and x and y are the 2D coordinates of the projection position of the camera sensor, respectively.
  • S105 The fisheye image is rendered in a forward rendering manner to generate a smooth video.
  • S105 may specifically include the following steps:
  • the corresponding relationship between the fisheye image and the spherical point of the camera coordinate system spherical model is established by using the fisheye image distortion correction method
  • a smooth motion trajectory coordinate system spherical model grid point panorama is expanded to generate a smooth video.
  • the color information can be input by interpolation, and the projection or the asteroid image can be generated by projection.
  • a 1 corresponds to A 2 , where A 1 is the coordinate in the fisheye image, A 2 is the coordinate of the spherical coordinate system grid point corresponding to A 1 , and A 3 is the rendered smooth generated corresponding to A 2
  • the coordinates of the motion trajectory coordinate system are the coordinates of the spherical point of the spherical model, and A 4 is the coordinate point generated by the panoramic expansion projection of A 3 ;
  • B 1 and B 2 correspond, where B 1 is the coordinate in the fisheye image, B 2 is the coordinate of the spherical coordinate system grid point corresponding to B 1 , and B 3 is the rendered corresponding to B 2
  • the generated smooth motion trajectory coordinates are the coordinates of the spherical model grid points, and B 4 is the coordinate point generated by B 3 through the panoramic expansion projection.
  • the fisheye image is converted into a smooth motion trajectory coordinate system by using the rotation matrix of the camera motion at the time stamp of the current video frame pixel in real time, and then the output is rendered. , thereby correcting the rolling shutter distortion of the panoramic video sequence.
  • the invention can correct the image distortion caused by the CMOS rolling shutter and eliminate the jelly effect, thereby achieving better anti-shake effect of the video image.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • a method for panoramic video anti-shake provided by Embodiment 2 of the present invention includes the following steps:
  • S201 acquiring, in real time, a fisheye image corresponding to the output video frame and the output video frame, a timestamp of the pixel in the video frame, and a corresponding camera gyroscope timestamp;
  • S201 may specifically include the following steps:
  • S202 may specifically include the following steps:
  • S203 may specifically be:
  • the camera gyro time stamp of the inversely mapped pixel in the fisheye image is calculated, and the accurate rotation matrix of the camera when acquiring the current pixel is specifically:
  • ⁇ t is the sampling time interval of the progressive scan of the video frame, and H is the number of lines of the image;
  • the output video frame pixel B 4 is projected to the corresponding spherical model grid point B 3 , and the B 3 is rotated by the approximate rotation matrix to obtain B 2 in the sensor coordinate system, and the fisheye image distortion correction method is used to project B 2 to fish-eye image obtained pixels B 1, using the exact rotation matrix B 1 rotation to give the sensor coordinate system B '2, then using the fish-eye image distortion correction method B' 2 is projected onto the fish-eye image to obtain an accurate pixel B '1; Using the mapping relationship between the output video frame pixel B 4 and the accurate pixel B' 1 in the fisheye image, the reverse mapping is performed;
  • the output video frame pixel is projected to correspond to Spherical model grid points, using the approximate rotation matrix to rotate the corresponding spherical model grid points to the grid points in the sensor coordinate system; using the fisheye image distortion correction method to establish the grid points and fisheye images in the sensor coordinate system
  • the relationship between the pixels is obtained, the approximate reverse mapping pixel is obtained, the camera gyro time stamp of the approximate reverse mapped pixel in the fisheye image is calculated, the accurate rotation matrix of the camera when the current pixel is acquired is acquired, and the corresponding spherical model is again adopted by the accurate rotation matrix.
  • the grid point is rotated to obtain the second grid point in the sensor coordinate system; the fisheye image distortion correction method is used to establish the relationship between the second grid point in the sensor coordinate system and the pixel in the fisheye image, and the accurate pixel in the fisheye image is obtained.
  • the fisheye image is taken Render in reverse rendering to produce a smooth video. Thereby the rolling shutter distortion of the panoramic video sequence is corrected.
  • the invention can correct the image distortion caused by the CMOS rolling shutter and eliminate the jelly effect, thereby achieving better anti-shake effect of the video image.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • the third embodiment of the present invention provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the panoramic video protection provided by the first or second embodiment of the present invention is implemented.
  • Embodiment 4 is a diagrammatic representation of Embodiment 4:
  • a portable terminal 100 includes: one or more processors 101, a memory 102, and one or more computer programs, wherein the processor 101 and the memory 102 are connected by a bus, the one or more computer programs being stored in the memory 102 and configured to be executed by the one or more processors 101, the processor 101 executing The steps of the method for panoramic video anti-shake provided by the first or second embodiment of the present invention are implemented when the computer program is described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明提供了一种全景视频防抖方法及便携式终端。所述方法包括：实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；将视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，解算相机陀螺仪时间戳下相机运动的旋转矩阵；对相机运动作平滑处理，建立平滑运动轨迹的坐标系；对鱼眼图像畸变校正；对鱼眼图像采用前向渲染方式进行渲染，生成平稳的视频。本发明能校正全景视频序列的卷帘快门畸变，能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果。

Description

一种全景视频防抖方法及便携式终端 技术领域
本发明属于视频处理领域，尤其涉及一种全景视频防抖方法及便携式终端。
背景技术
CMOS与CCD传感器是当前被普遍采用的两种图像传感器，两者都是利用感光二极管(photodiode)进行光电转换，将图像转换为数字数据，而其主要差异是数字数据传送的方式不同。
CCD传感器中每一行中每一个像素的电荷数据都会依次传送到下一个像素中，由最底端部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个像素都会邻接一个放大器及A/D转换电路，用类似内存电路的方式将数据输出。
一般的CMOS相机都是使用卷帘快门(rolling shutter)模式通过逐行曝光，获取的鱼眼图像。
CMOS芯片通过许多并行A/D共享工作负载，但整个传感器阵列必须一次转换一行，这会导致每行读数之间的时间延迟很小。每个单独的行通常能够在完成前一帧的读出时开始下一帧的曝光，虽然速度很快，但每行读数之间的时间延迟会转化为每行曝光开始之间的延迟，使它们不再同时发生，结果是帧中的每一行将暴露相同的时间量，但是在不同的时间点开始曝光，允许两帧重叠曝光，最终帧速率取决于滚动读出过程可以完成的速度。
该曝光模式导致同一帧图像的不同行之间存在时差，如果使用手持式的全景相机拍摄，当高速运动时，由于CMOS相机逐行曝光的特性就会产生果冻效应。果冻效应是一个一直未能很好解决的问题，特别是VR全景视频，因此视频的防抖效果较差。
发明内容
本发明解决的问题是提出一种全景视频防抖的方法、计算机可读存储介质及便携式终端，旨在解决由于CMOS芯片卷帘快门模式所造成画面的抖动而产生的果冻效应，相机的防抖效果较差的问题。
第一方面，本发明提供了一种全景视频防抖方法，所述方法包括：
实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
将视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，解算相机陀螺仪时间戳下相机运动的旋转矩阵；
对相机运动作平滑处理，建立平滑运动轨迹的坐标系；
对鱼眼图像畸变校正；
对鱼眼图像采用前向渲染方式进行渲染，生成平稳的视频。
第二方面，本发明提供了一种全景视频防抖的方法，所述方法包括：
S201、实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
S202、将视频帧中像素的时间戳同步到相机陀螺仪采集系统，解算当前视频帧像素的时间戳下相机运动的旋转矩阵，作为采集当前像素时相机的近似旋转矩阵；
S203、对输出视频帧像素投影到对应球面模型网格点，采用近似旋转矩阵将所述对应球面模型网格点旋转到传感器坐标系中网格点；采用鱼眼图像畸变校正方法，建立传感器坐标系中网格点与鱼眼图像中像素的关系，获得近似反向映射像素；
S204、计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵，采用准确旋转矩阵再次将所述对应球面模型网格点旋转，得到传感器坐标系中第二网格点；
S205、采用鱼眼图像畸变校正方法建立传感器坐标系中第二网格点与鱼眼图像中像素的关系，获得鱼眼图像中准确像素，利用输出视频帧像素与鱼眼图 像中准确像素的映射关系，对鱼眼图像采用反向渲染方式进行渲染，生成平稳的视频。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频防抖的方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景视频防抖的方法的步骤。
在本发明中，由于根据视频帧像素的时间戳，实时将鱼眼图像逐像素采用当前视频帧像素的时间戳下相机运动的旋转矩阵转换到平滑运动轨迹坐标系中，再渲染输出，从而校正全景视频序列的卷帘快门畸变。该发明能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果；
另外，在本发明中，由于根据视频帧像素的时间戳解算当前视频帧像素的时间戳下相机运动的旋转矩阵作为采集当前像素时相机的近似旋转矩阵，对输出视频帧像素投影到对应球面模型网格点，采用近似旋转矩阵将所述对应球面模型网格点旋转到传感器坐标系中网格点；采用鱼眼图像畸变校正方法，建立传感器坐标系中网格点与鱼眼图像中像素的关系，获得近似反向映射像素，计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵，采用准确旋转矩阵再次将所述对应球面模型网格点旋转，得到传感器坐标系中第二网格点；采用鱼眼图像畸变校正方法建立传感器坐标系中第二网格点与鱼眼图像中像素的关系，获得鱼眼图像中准确像素，利用输出视频帧像素与鱼眼图像中准确像素的映射关系，对鱼眼图像采用反向渲染方 式进行渲染，生成平稳的视频。从而校正全景视频序列的卷帘快门畸变。该发明能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果。
附图说明
图1是本发明实施例一提供的全景视频防抖方法的流程图。
图2是本发明实施例一提供的CMOS相机的扫描行序列的时间戳示意图。
图3是本发明实施例一提供的全景视频防抖方法中前向映射渲染方法映射过程图。
图4是本发明实施例二提供的全景视频防抖方法的流程图。
图5是本发明实施例二提供的全景视频防抖方法中后向映射渲染方法映射过程图。
图6是本发明实施例四提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频防抖的方法包括以下步骤：
S101、实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
在本发明实施例一中，S101具体可以包括以下步骤：
S1011、获取输出视频帧和输出视频帧对应的鱼眼图像；
S1012、获取视频帧采集系统时间轴的第k视频帧中像素p(x,y)的时间戳
Figure PCTCN2019078329-appb-000001
k是自然数；
S1013、获取对应相机陀螺仪采集系统时间轴的陀螺仪时间戳
Figure PCTCN2019078329-appb-000002
S102、将视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，解算相机陀螺仪时间戳下相机运动的旋转矩阵；
请参阅图2，在本发明实施例一中，S102具体可以包括以下步骤：
S1021、第k视频帧中像素p(x,y)的时间戳
Figure PCTCN2019078329-appb-000003
计算公式为公式(1)：
Figure PCTCN2019078329-appb-000004
公式(1)中，
Figure PCTCN2019078329-appb-000005
为第k视频帧开始时的时间戳，Δt为视频帧的逐行扫描的采样时间间隔，H为图像的行数；
S1022、将第k视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，两者之间的转换关系如公式(2)所示：
Figure PCTCN2019078329-appb-000006
公式(2)中，
Figure PCTCN2019078329-appb-000007
为第k视频帧开始时相机陀螺仪时间戳；
S1023、在
Figure PCTCN2019078329-appb-000008
时刻，通过公式(3)计算相机陀螺仪时间戳下相机运动的旋转矩阵：
Figure PCTCN2019078329-appb-000009
公式(3)中，
Figure PCTCN2019078329-appb-000010
为在
Figure PCTCN2019078329-appb-000011
时刻陀螺仪传感器测量的旋转矩阵；
Figure PCTCN2019078329-appb-000012
为标定的陀螺仪坐标系到相机的旋转矩阵，
Figure PCTCN2019078329-appb-000013
为3*3形式的矩阵。
S103、对相机运动作平滑处理，建立平滑运动轨迹的坐标系；
在本发明实施例一中，S103具体可以包括以下步骤：
S1031、P s表示相机坐标系中的3D坐标，令
Figure PCTCN2019078329-appb-000014
t时刻相机坐标系的3D坐标P t s与世界坐标系下的3D坐标P t w之间转换的公式为：
Figure PCTCN2019078329-appb-000015
公式(4)中，R w2s(t)为t时刻相机坐标系相对于世界坐标系的矩阵，
Figure PCTCN2019078329-appb-000016
是相机前后两帧视频的平移量；
S1032、对相机运动作平滑处理，设置
Figure PCTCN2019078329-appb-000017
可得
Figure PCTCN2019078329-appb-000018
S1033、建立平滑运动轨迹的坐标系为P t′，通过OpenGl渲染公式P t gl＝K·R mvp·P t′来对相机平滑运动轨迹的坐标系P t′进行3D网格渲染处理；其中，K是透视矩阵，R mvp是手动控制的运动方向的矩阵，P t gl是平滑运动轨迹坐标系中经过OpenGl渲染的3D坐标；
S1034、在平滑运动轨迹的坐标系中，由公式
Figure PCTCN2019078329-appb-000019
获取P t′中任一像素点在前后两帧的最小平方差，其中，P t′和P t+1′分别为前后两帧平滑运动轨迹的坐标系，设置P t′＝P t+1′＝P t w，得到渲染公式如公式(5)所示：
Figure PCTCN2019078329-appb-000020
通过公式(5)计算相机渲染到平滑运动轨迹坐标系的3D坐标。
S104、对鱼眼图像畸变校正；
在本发明实施例一中，S104具体可以为：
令
Figure PCTCN2019078329-appb-000021
相机坐标系下Ps的全景展开图为
Figure PCTCN2019078329-appb-000022
公式(6)中，u,v分别为相机坐标系下全景展开图的横坐标和纵坐标；
鱼眼的畸变模型为ρ＝f(θ)＝θ(1+k 0θ 2+k 1θ 4+k 2θ 6+k 3θ 8)，其中θ为光线的入射角度，k 0、k 1、k 2、k 3相机标定的系数，鱼眼图像校正的坐标(x,y)为：
Figure PCTCN2019078329-appb-000023
公式(7)中，
Figure PCTCN2019078329-appb-000024
点(x c,y c)为传感器的投影中心，x和y分别为相机传感器投影位置的2D坐标。
S105、对鱼眼图像采用前向渲染方式进行渲染，生成平稳的视频。
在本发明实施例一中，S105具体可以包括以下步骤：
利用鱼眼图像畸变矫正方法建立鱼眼图像与相机坐标系球面模型网格点的对应关系；
经过渲染生成平滑运动轨迹坐标系球面模型网格点；
将平滑运动轨迹坐标系球面模型网格点全景展开，生成平稳的视频。具体可以采用插值方式输入色彩信息，投影生成透视图或者小行星图像。
请参阅图3，在本发明实施例一中：
A 1和A 2对应，其中A 1为鱼眼图像中的坐标，A 2为与A 1对应的相机坐标系球面模型网格点的坐标，A 3为与A 2对应的经过渲染生成的平滑运动轨迹坐标系球面模型网格点的坐标，A 4为A 3经过全景展开投影生成的坐标点；
同理，B 1和B 2对应，其中B 1为鱼眼图像中的坐标，B 2为与B 1对应的相机坐标系球面模型网格点的坐标，B 3为与B 2对应的经过渲染生成的平滑运动轨迹坐标系球面模型网格点的坐标，B 4为B 3经过全景展开投影生成的坐标点。
在本发明实施例一中，由于根据视频帧像素的时间戳，实时将鱼眼图像逐像素采用当前视频帧像素的时间戳下相机运动的旋转矩阵转换到平滑运动轨迹坐标系中，再渲染输出，从而校正全景视频序列的卷帘快门畸变。该发明能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果。
实施例二：
请参阅图4，本发明实施例二提供的全景视频防抖的方法包括以下步骤：
S201、实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
在本发明实施例二中，S201具体可以包括以下步骤：
S2011、获取输出视频帧和输出视频帧对应的鱼眼图像；
S2012、获取视频帧采集系统时间轴的第k视频帧中像素p(x,y)的时间戳
Figure PCTCN2019078329-appb-000025
k是自然数；
S2013、获取对应相机陀螺仪采集系统时间轴的陀螺仪时间戳
Figure PCTCN2019078329-appb-000026
S202、将视频帧中像素的时间戳同步到相机陀螺仪采集系统，解算当前视频帧像素的时间戳下相机运动的旋转矩阵，作为采集当前像素时相机的近似旋转矩阵；
在本发明实施例二中，S202具体可以包括以下步骤：
S2021、将视频帧像素的时间戳同步到相机陀螺仪采集系统，两者之间的转换关系如公式(8)所示：
Figure PCTCN2019078329-appb-000027
公式(8)中，
Figure PCTCN2019078329-appb-000028
为第k视频帧开始时相机陀螺仪时间戳，
Figure PCTCN2019078329-appb-000029
为第k视频帧开始时的时间戳；
S2022、在
Figure PCTCN2019078329-appb-000030
时刻，通过公式(9)计算当前视频帧像素的时间戳下相机运动的旋转矩阵：
Figure PCTCN2019078329-appb-000031
公式(9)中，
Figure PCTCN2019078329-appb-000032
为在
Figure PCTCN2019078329-appb-000033
时刻陀螺仪传感器测量的旋转矩阵，
Figure PCTCN2019078329-appb-000034
为3*3形式的矩阵；
Figure PCTCN2019078329-appb-000035
为标定的陀螺仪坐标系到相机的旋转矩阵。
S203、对输出视频帧像素投影到对应球面模型网格点，采用近似旋转矩阵将所述对应球面模型网格点旋转到传感器坐标系中网格点；采用鱼眼图像畸变校正方法，建立传感器坐标系中网格点与鱼眼图像中像素的关系，获得近似反向映射像素；
在本发明实施例二中，S203具体可以为：
令
Figure PCTCN2019078329-appb-000036
相机坐标系下P s的全景展开图为
Figure PCTCN2019078329-appb-000037
其中，u,v分别为相机坐标系下全景展开图的横坐标和纵坐标；
鱼眼的畸变模型为ρ＝f(θ)＝θ(1+k 0θ 2+k 1θ 4+k 2θ 6+k 3θ 8)，其中θ为光线的入射角度，k 0、k 1、k 2、k 3相机标定的系数；鱼眼图像校正的坐标(x,y)为
Figure PCTCN2019078329-appb-000038
其中，
Figure PCTCN2019078329-appb-000039
点(x c,y c)为传感器的投影中心，x和y分别为相机传感器投影位置的2D坐标。
S204、计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵，采用准确旋转矩阵再次将所述对应球面模型网格点旋转，得到传感器坐标系中第二网格点；
在本发明实施例二中，所述计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵具体为：
利用鱼眼图像中近似反向映射像素，计算该像素的相机陀螺仪时间戳，采用公式：
Figure PCTCN2019078329-appb-000040
公式(10)中，Δt为视频帧的逐行扫描的采样时间间隔，H为图像的行数；
进而解算相机陀螺仪时间戳下相机运动的精确旋转矩阵
Figure PCTCN2019078329-appb-000041
计算公 式为：
Figure PCTCN2019078329-appb-000042
S205、采用鱼眼图像畸变校正方法建立传感器坐标系中第二网格点与鱼眼图像中像素的关系，获得鱼眼图像中准确像素，利用输出视频帧像素与鱼眼图像中准确像素的映射关系，对鱼眼图像采用反向渲染方式进行渲染，生成平稳的视频。
请参阅图5，在本发明实施例二中：
输出视频帧像素A 4，投影到对应球面模型网格点A 3，利用近似旋转矩阵将A 3旋转得到传感器坐标系中的A 2，采用鱼眼图像畸变校正方法将A 2投影到鱼眼图像得到像素A 1，采用精确旋转矩阵将A 1旋转得到传感器坐标系中的A' 2，再采用鱼眼图像畸变校正方法将A' 2投影到鱼眼图像得到准确像素A' 1；利用输出视频帧像素A 4与鱼眼图像中准确像素A' 1的映射关系，反向映射进行渲染；
同理，输出视频帧像素B 4，投影到对应球面模型网格点B 3，利用近似旋转矩阵将B 3旋转得到传感器坐标系中的B 2，采用鱼眼图像畸变校正方法将B 2投影到鱼眼图像得到像素B 1，采用精确旋转矩阵将B 1旋转得到传感器坐标系中的B' 2，再采用鱼眼图像畸变校正方法将B' 2投影到鱼眼图像得到准确像素B' 1；利用输出视频帧像素B 4与鱼眼图像中准确像素B' 1的映射关系，反向映射进行渲染；
还需要说明的是，投影生成的透视图或者小行星图像的色彩信息采用插值方式输入，最终可以生成平稳的视频。
在本发明实施例二中，由于根据视频帧像素的时间戳解算当前视频帧像素的时间戳下相机运动的旋转矩阵作为采集当前像素时相机的近似旋转矩阵，对输出视频帧像素投影到对应球面模型网格点，采用近似旋转矩阵将所述对应球面模型网格点旋转到传感器坐标系中网格点；采用鱼眼图像畸变校正方法，建立传感器坐标系中网格点与鱼眼图像中像素的关系，获得近似反向映射像素，计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时 相机的准确旋转矩阵，采用准确旋转矩阵再次将所述对应球面模型网格点旋转，得到传感器坐标系中第二网格点；采用鱼眼图像畸变校正方法建立传感器坐标系中第二网格点与鱼眼图像中像素的关系，获得鱼眼图像中准确像素，利用输出视频帧像素与鱼眼图像中准确像素的映射关系，对鱼眼图像采用反向渲染方式进行渲染，生成平稳的视频。从而校正全景视频序列的卷帘快门畸变。该发明能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一或二提供的全景视频防抖的方法的步骤。
实施例四：
图6示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一或二提供的全景视频防抖的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (16)

  1. 一种全景视频防抖方法，其特征在于，所述方法包括：
    实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
    将视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，解算相机陀螺仪时间戳下相机运动的旋转矩阵；
    对相机运动作平滑处理，建立平滑运动轨迹的坐标系；
    对鱼眼图像畸变校正；
    对鱼眼图像采用前向渲染方式进行渲染，生成平稳的视频。
  2. 如权利要求1所述的方法，其特征在于，所述实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳具体包括：
    获取输出视频帧和输出视频帧对应的鱼眼图像；
    获取视频帧采集系统时间轴的第k视频帧中像素p(x,y)的时间戳
    Figure PCTCN2019078329-appb-100001
    k是自然数；
    获取对应相机陀螺仪采集系统时间轴的陀螺仪时间戳
    Figure PCTCN2019078329-appb-100002
  3. 如权利要求2所述的方法，其特征在于，所述将视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，解算相机陀螺仪时间戳下相机运动的旋转矩阵具体包括：
    第k视频帧中像素p(x,y)的时间戳
    Figure PCTCN2019078329-appb-100003
    计算公式为公式(1)：
    Figure PCTCN2019078329-appb-100004
    公式(1)中，
    Figure PCTCN2019078329-appb-100005
    为第k视频帧开始时的时间戳，Δt为视频帧的逐行扫描的采样时间间隔，H为图像的行数；
    将第k视频帧中像素的时间戳与相机陀螺仪时间戳保持同步，两者之间的转换关系如公式(2)所示：
    Figure PCTCN2019078329-appb-100006
    公式(2)中，
    Figure PCTCN2019078329-appb-100007
    为第k视频帧开始时相机陀螺仪时间戳；
    在
    Figure PCTCN2019078329-appb-100008
    时刻，通过公式(3)计算相机陀螺仪时间戳下相机运动的旋转矩阵：
    Figure PCTCN2019078329-appb-100009
    公式(3)中，
    Figure PCTCN2019078329-appb-100010
    为在
    Figure PCTCN2019078329-appb-100011
    时刻陀螺仪传感器测量的旋转矩阵；
    Figure PCTCN2019078329-appb-100012
    为标定的陀螺仪坐标系到相机的旋转矩阵。
  4. 如权利要求3所述的方法，其特征在于，所述对相机运动作平滑处理，建立平滑运动轨迹的坐标系具体包括：
    P s表示相机坐标系中的3D坐标，令
    Figure PCTCN2019078329-appb-100013
    t时刻相机坐标系的3D坐标
    Figure PCTCN2019078329-appb-100014
    与世界坐标系下的3D坐标
    Figure PCTCN2019078329-appb-100015
    之间转换的公式为：
    Figure PCTCN2019078329-appb-100016
    公式(4)中，R w2s(t)为t时刻相机坐标系相对于世界坐标系的矩阵，
    Figure PCTCN2019078329-appb-100017
    是相机前后两帧视频的平移量；
    对相机运动作平滑处理，设置
    Figure PCTCN2019078329-appb-100018
    可得
    Figure PCTCN2019078329-appb-100019
    建立平滑运动轨迹的坐标系为P t′，通过渲染公式P t gl＝K·R mvp·P t'来对相机平滑运动轨迹的坐标系P t′进行3D网格渲染处理；其中，K是透视矩阵，R mvp是手动控制的运动方向的矩阵，P t gl是平滑运动轨迹坐标系中经过渲染的3D坐标；
    在平滑运动轨迹的坐标系中，由公式min(P t+1′-P t′) 2+(P t′-P t w) 2获取P t′中任一像素点在前后两帧的最小平方差，其中，P t′和P t+1′分别为前后两帧平滑运动轨迹的坐标系，设置P t′＝P t+1′＝P t w，得到渲染公式如公式(5)所示：
    Figure PCTCN2019078329-appb-100020
    通过公式(5)计算相机渲染到平滑运动轨迹坐标系的3D坐标。
  5. 如权利要求4所述的方法，其特征在于，所述对鱼眼图像畸变校正具体为：令
    Figure PCTCN2019078329-appb-100021
    相机坐标系下P s的全景展开图为
    Figure PCTCN2019078329-appb-100022
    公式(6)中，u,v分别为相机坐标系下全景展开图的横坐标和纵坐标；
    鱼眼的畸变模型为ρ＝f(θ)＝θ(1+k 0θ 2+k 1θ 4+k 2θ 6+k 3θ 8)，其中θ为光线的入射角度，k 0、k 1、k 2、k 3相机标定的系数，鱼眼图像校正的坐标(x,y)为：
    Figure PCTCN2019078329-appb-100023
    公式(7)中，
    Figure PCTCN2019078329-appb-100024
    点(x c，y c)为传感器的投影中心，x和y分别为相机传感器投影位置的2D坐标。
  6. 如权利要求5所述的方法，其特征在于，所述对鱼眼图像采用前向渲染方式进行渲染，生成平稳的视频具体包括：
    利用鱼眼图像畸变矫正方法建立鱼眼图像与相机坐标系球面模型网格点的对应关系；
    经过渲染生成平滑运动轨迹坐标系球面模型网格点；
    将平滑运动轨迹坐标系球面模型网格点全景展开，生成平稳的视频。
  7. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的全景视频防抖的方法的步骤。
  8. 一种便携式终端，包括：
    一个或多个处理器；
    存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的全景视 频防抖的方法的步骤。
  9. 一种全景视频防抖的方法，其特征在于，所述方法包括：
    S201、实时获取输出视频帧和输出视频帧对应的鱼眼图像、视频帧中像素的时间戳及对应相机陀螺仪时间戳；
    S202、将视频帧中像素的时间戳同步到相机陀螺仪采集系统，解算当前视频帧像素的时间戳下相机运动的旋转矩阵，作为采集当前像素时相机的近似旋转矩阵；
    S203、对输出视频帧像素投影到对应球面模型网格点，采用近似旋转矩阵将所述对应球面模型网格点旋转到传感器坐标系中网格点；采用鱼眼图像畸变校正方法，建立传感器坐标系中网格点与鱼眼图像中像素的关系，获得近似反向映射像素；
    S204、计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵，采用准确旋转矩阵再次将所述对应球面模型网格点旋转，得到传感器坐标系中第二网格点；
    S205、采用鱼眼图像畸变校正方法建立传感器坐标系中第二网格点与鱼眼图像中像素的关系，获得鱼眼图像中准确像素，利用输出视频帧像素与鱼眼图像中准确像素的映射关系，对鱼眼图像采用反向渲染方式进行渲染，生成平稳的视频。
  10. 如权利要求9所述的方法，其特征在于，S201具体包括：
    获取输出视频帧和输出视频帧对应的鱼眼图像；
    获取视频帧采集系统时间轴的第k视频帧中像素p(x,y)的时间戳
    Figure PCTCN2019078329-appb-100025
    k是自然数；
    获取对应相机陀螺仪采集系统时间轴的陀螺仪时间戳
    Figure PCTCN2019078329-appb-100026
  11. 如权利要求10所述的方法，其特征在于，S202具体包括：
    将视频帧像素的时间戳同步到相机陀螺仪采集系统，两者之间的转换关系如公 式(8)所示：
    Figure PCTCN2019078329-appb-100027
    公式(8)中，
    Figure PCTCN2019078329-appb-100028
    为第k视频帧开始时相机陀螺仪时间戳，
    Figure PCTCN2019078329-appb-100029
    为第k视频帧开始时的时间戳；
    在
    Figure PCTCN2019078329-appb-100030
    时刻，通过公式(9)计算当前视频帧像素的时间戳下相机运动的旋转矩阵：
    Figure PCTCN2019078329-appb-100031
    公式(9)中，
    Figure PCTCN2019078329-appb-100032
    为在
    Figure PCTCN2019078329-appb-100033
    时刻陀螺仪传感器测量的旋转矩阵，
    Figure PCTCN2019078329-appb-100034
    为标定的陀螺仪坐标系到相机的旋转矩阵。
  12. 如权利要求11所述的方法，其特征在于，S203具体为：
    令
    Figure PCTCN2019078329-appb-100035
    相机坐标系下P s的全景展开图为
    Figure PCTCN2019078329-appb-100036
    其中，u,v分别为相机坐标系下全景展开图的横坐标和纵坐标；
    鱼眼的畸变模型为ρ＝f(θ)＝θ(1+k 0θ 2+k 1θ 4+k 2θ 6+k 3θ 8)，其中θ为光线的入射角度，k 0、k 1、k 2、k 3相机标定的系数；鱼眼图像校正的坐标(x,y)为
    Figure PCTCN2019078329-appb-100037
    其中，
    Figure PCTCN2019078329-appb-100038
    点(x c,y c)为传感器的投影中心，x和y分别为相机传感器投影位置的2D坐标。
  13. 如权利要求12所述的方法，其特征在于，所述计算鱼眼图像中近似反向映射像素的相机陀螺仪时间戳，获取采集当前像素时相机的准确旋转矩阵具体为：
    利用鱼眼图像中近似反向映射像素，计算该像素的相机陀螺仪时间戳，采用公 式：
    Figure PCTCN2019078329-appb-100039
    公式(10)中，Δt为视频帧的逐行扫描的采样时间间隔，H为图像的行数；
    进而解算相机陀螺仪时间戳下相机运动的精确旋转矩阵
    Figure PCTCN2019078329-appb-100040
    计算公式为：
    Figure PCTCN2019078329-appb-100041
  14. 如权利要求13所述的方法，其特征在于，S205具体为：
    输出视频帧像素A 4，投影到对应球面模型网格点A 3，利用近似旋转矩阵将A 3旋转得到传感器坐标系中的A 2，采用鱼眼图像畸变校正方法将A 2投影到鱼眼图像得到像素A 1，采用精确旋转矩阵将A 1旋转得到传感器坐标系中的A' 2，再采用鱼眼图像畸变校正方法将A' 2投影到鱼眼图像得到准确像素A′ 1；利用输出视频帧像素A 4与鱼眼图像中准确像素A′ 1的映射关系，反向映射进行渲染；
    同理，输出视频帧像素B 4，投影到对应球面模型网格点B 3，利用近似旋转矩阵将B 3旋转得到传感器坐标系中的B 2，采用鱼眼图像畸变校正方法将B 2投影到鱼眼图像得到像素B 1，采用精确旋转矩阵将B 1旋转得到传感器坐标系中的B' 2，再采用鱼眼图像畸变校正方法将B' 2投影到鱼眼图像得到准确像素B′ 1；利用输出视频帧像素B 4与鱼眼图像中准确像素B′ 1的映射关系，反向映射进行渲染，生成平稳的视频。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求11至14任一项所述的全景视频防抖的方法的步骤。
  16. 一种便携式终端，包括：
    一个或多个处理器；
    存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于， 所述处理器执行所述计算机程序时实现如权利要求11至14任一项所述的全景视频防抖的方法的步骤。
PCT/CN2019/078329 2018-03-16 2019-03-15 一种全景视频防抖方法及便携式终端 Ceased WO2019174640A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19768097.8A EP3767945A4 (en) 2018-03-16 2019-03-15 ANTI-SHAKE METHOD AND FOR PANORAMIC VIDEO AND PORTABLE DEVICE
US16/981,688 US11388339B2 (en) 2018-03-16 2019-03-15 Anti-shake method for panoramic video, and portable terminal
JP2020548718A JP7016965B2 (ja) 2018-03-16 2019-03-15 パノラマ映像の手ぶれ補正方法及び携帯端末

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810217087.6A CN108462838B (zh) 2018-03-16 2018-03-16 一种全景视频防抖方法、装置及便携式终端
CN201810217087.6 2018-03-16

Publications (1)

Publication Number Publication Date
WO2019174640A1 true WO2019174640A1 (zh) 2019-09-19

Family

ID=63236739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/078329 Ceased WO2019174640A1 (zh) 2018-03-16 2019-03-15 一种全景视频防抖方法及便携式终端

Country Status (5)

Country Link
US (1) US11388339B2 (zh)
EP (1) EP3767945A4 (zh)
JP (1) JP7016965B2 (zh)
CN (1) CN108462838B (zh)
WO (1) WO2019174640A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951180A (zh) * 2020-07-09 2020-11-17 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备和存储介质
CN117939296A (zh) * 2023-12-13 2024-04-26 荣耀终端有限公司 数据处理方法和相关装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109688327B (zh) * 2018-12-18 2020-08-07 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109561253B (zh) * 2018-12-18 2020-07-10 影石创新科技股份有限公司 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN109561254B (zh) 2018-12-18 2020-11-03 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109379536B (zh) * 2018-12-29 2020-07-31 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
CN109600556B (zh) * 2019-02-18 2020-11-06 武汉大学 一种基于单反相机的高质量精密全景成像系统及方法
US12081873B2 (en) * 2019-06-13 2024-09-03 Nec Corporation Image processing device, image processing method, and non-transitory storage medium
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN112308783B (zh) * 2019-07-24 2024-06-28 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN113112412B (zh) * 2020-01-13 2024-03-19 株式会社理光 垂直校正矩阵的生成方法、装置及计算机可读存储介质
CN112819710B (zh) * 2021-01-19 2022-08-09 郑州凯闻电子科技有限公司 基于人工智能的无人机果冻效应自适应补偿方法及系统
CN112991216B (zh) * 2021-03-18 2022-05-13 支付宝(杭州)信息技术有限公司 鱼眼图像的矫正方法、系统、智能货架以及图像处理方法
CN115345929B (zh) * 2021-05-12 2025-06-13 圆周率科技(常州)有限公司 全景图像处理方法和全景相机
CN113436113B (zh) * 2021-07-22 2023-04-18 黑芝麻智能科技有限公司 防抖动的图像处理方法、装置、电子设备和存储介质
GB202117102D0 (en) * 2021-11-26 2022-01-12 Ocado Innovation Ltd Calibrating a camera for mapping image pixels to grid points in a storage system
CN115396644B (zh) * 2022-07-21 2023-09-15 贝壳找房(北京)科技有限公司 基于多段外参数据的视频融合方法及装置
CN115242981B (zh) * 2022-07-25 2024-06-25 维沃移动通信有限公司 视频播放方法、视频播放装置和电子设备
CN118037623A (zh) * 2022-11-07 2024-05-14 Oppo广东移动通信有限公司 电子图像防抖评估方法、电子图像防抖评估装置、终端及存储介质
CN119851234A (zh) * 2024-12-18 2025-04-18 中国煤炭科工集团太原研究院有限公司 一种融合imu和视觉特征的掘进机危险区域预警方法及系统
CN119653238B (zh) * 2024-12-23 2025-11-11 中国科学院上海微系统与信息技术研究所 一种双目相机增稳方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
US20170230631A1 (en) * 2016-02-04 2017-08-10 Christopher C. Chang Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
CN107801014A (zh) * 2017-10-25 2018-03-13 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382399B1 (en) * 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
WO2002023726A1 (en) * 2000-09-12 2002-03-21 Transchip Inc Single chip cmos image sensor system with video compression
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
EP2582127B1 (en) * 2010-06-11 2018-04-18 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8648919B2 (en) * 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
CN104954631B (zh) * 2014-03-25 2018-02-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置和系统
JP6452528B2 (ja) 2015-04-08 2019-01-16 キヤノン株式会社 監視カメラ
WO2017112800A1 (en) * 2015-12-22 2017-06-29 Mobile Video Corporation Macro image stabilization method, system and devices
CN106204595B (zh) * 2016-07-13 2019-05-10 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
WO2018027340A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Systems and methods for mobile platform imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
US20170230631A1 (en) * 2016-02-04 2017-08-10 Christopher C. Chang Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
CN107801014A (zh) * 2017-10-25 2018-03-13 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3767945A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951180A (zh) * 2020-07-09 2020-11-17 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备和存储介质
CN111951180B (zh) * 2020-07-09 2024-05-14 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备和存储介质
CN117939296A (zh) * 2023-12-13 2024-04-26 荣耀终端有限公司 数据处理方法和相关装置

Also Published As

Publication number Publication date
CN108462838A (zh) 2018-08-28
EP3767945A1 (en) 2021-01-20
JP7016965B2 (ja) 2022-02-07
EP3767945A4 (en) 2022-03-16
CN108462838B (zh) 2020-10-02
US20210006718A1 (en) 2021-01-07
US11388339B2 (en) 2022-07-12
JP2021517405A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
CN108462838B (zh) 一种全景视频防抖方法、装置及便携式终端
US12483664B2 (en) Image stitching with electronic rolling shutter correction
US10728474B2 (en) Image signal processor for local motion estimation and video codec
US11330208B2 (en) Image signal processing for reducing lens flare
CN107852462B (zh) 相机模块、固体摄像元件、电子设备和摄像方法
TWI503786B (zh) 用於生成全景視頻的移動設備和系統
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
CN110022439B (zh) 全景视频图像稳定装置、编码方法及播放方法和评估方法
WO2015081563A1 (zh) 一种生成图片的方法及一种双镜头设备
CN107466473A (zh) 多阵列相机成像系统及其方法
EP3417606A1 (en) A method of stabilizing a sequence of images
US10893201B2 (en) Video stabilization method with non-linear frame motion correction in three axes
CN106327478A (zh) 一种鱼眼全景图像合成处理方法及装置
JP7031280B2 (ja) 画像処理装置、画像処理システムおよびプログラム
CN110602377B (zh) 一种视频稳像方法及装置
JP7206797B2 (ja) 撮像装置、情報処理装置、補正値計算方法およびプログラム
CN115345929B (zh) 全景图像处理方法和全景相机
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置
JP2020086651A (ja) 画像処理装置および画像処理方法
CN118736015B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
US12501158B2 (en) Method of image stabilization and electronic device performing the same
JP2002058046A (ja) 撮像システムおよび３次元カメラ
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JPH11177888A (ja) スミア補正方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19768097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548718

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019768097

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2019768097

Country of ref document: EP