CN111954792B - 信号处理设备、信号处理方法和图像捕获设备 - Google Patents

信号处理设备、信号处理方法和图像捕获设备 Download PDF

Info

Publication number
CN111954792B
CN111954792B CN201980025072.2A CN201980025072A CN111954792B CN 111954792 B CN111954792 B CN 111954792B CN 201980025072 A CN201980025072 A CN 201980025072A CN 111954792 B CN111954792 B CN 111954792B
Authority
CN
China
Prior art keywords
depth
unit
camera
motion
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980025072.2A
Other languages
English (en)
Other versions
CN111954792A (zh
Inventor
西智裕
市桥英之
竺逸雯
横川昌俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111954792A publication Critical patent/CN111954792A/zh
Application granted granted Critical
Publication of CN111954792B publication Critical patent/CN111954792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

提供了信号处理设备、信号处理方法和图像捕获设备，利用该信号处理设备、信号处理方法和图像捕获设备，可以根据多个摄像装置的视频信号来高准确度地估计深度。该信号处理设备设置有：检测单元，其用于根据来自多个摄像装置的视频来检测深度；估计单元，其检测摄像装置位置以估计摄像装置运动；预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及组合单元，其基于由摄像装置捕获的图像中生成的模糊量的估计结果来对由检测单元检测到的深度和由估计单元估计的深度进行组合。可以使用摄像装置运动和先前的深度信息或快门时间来估计模糊量。

Description

信号处理设备、信号处理方法和图像捕获设备
技术领域
本文公开的技术涉及用于处理摄像装置的视频信号的信号处理设备、信号处理方法和成像设备。
背景技术
用于使用多镜头摄像装置等估计被摄体深度信息的技术已经广为人知。例如，已经提出了一种立体图像处理设备，其中，基于过去的视差数据和成像单元对的移动速度来预测当前的视差数据，并且基于针对每个视差获得的相似度和视差的预测值来针对同一对象计算视差(例如，参见专利文献1)。
当摄像装置由于摄像装置抖动等而移动时，会出现模糊。难以在模糊的帧之间找到对应点，并且因此深度估计的准确度劣化，这是一个问题。
引用列表
专利文献
专利文献1：日本专利申请特开第2014-85120号
发明内容
本发明要解决的问题
本文公开的技术的目的是提供用于根据多个摄像装置的视频信号以高准确度估计深度的信号处理设备、信号处理方法和成像设备。
问题的解决方案
考虑到上面所描述的问题而做出了本文公开的技术，并且本文公开的技术的第一方面是一种信号处理设备，其包括：
检测单元，其根据由多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计由摄像装置捕获的每个图像中出现的模糊量的结果，对由检测单元检测到的深度和由预测单元预测的深度进行合成。
估计单元可以估计多个摄像装置在基线方向上的运动，并且合成单元可以基于估计在垂直于基线的方向上出现的模糊量的结果来执行合成。
估计单元可以从三个或更多个摄像装置中选择具有较少运动模糊的摄像装置或具有相似运动模糊的摄像装置，并且检测单元可以使用由估计单元选择的摄像装置捕获的图像来检测深度。
此外，本文公开的技术的第二方面是一种信号处理方法，其包括：
检测步骤，其根据由多个摄像装置捕获的视频来检测深度；
估计步骤，其通过检测摄像装置位置来估计摄像装置运动；
预测步骤，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成步骤，其基于根据摄像装置运动而估计由摄像装置捕获的每个图像中出现的模糊量的结果，对在检测步骤中检测到的深度和由预测单元预测的深度进行合成。
此外，本文公开的技术的第三方面是一种成像设备，其包括：
多个摄像装置；
检测单元，其根据由多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计由摄像装置捕获的每个图像中出现的模糊量的结果，对由检测单元检测到的深度和由预测单元预测的深度进行合成。
本发明的效果
根据本文公开的技术，可以提供下述的信号处理设备、信号处理方法和成像设备：甚至当摄像装置由于摄像装置抖动等而移动时，其也能够根据多个摄像装置的视频信号以高准确度估计深度。
注意，本文描述的效果仅是示例，并且本发明的效果不限于此。此外，除了上面所描述的效果以外，本发明还可以发挥附加效果。
根据基于稍后要描述的实施例和附图的更详细描述，本文公开的技术的其他目的、特征和优点将变得明显。
附图说明
图1是示出信号处理设备100的示例配置的图。
图2是示出用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程的流程图。
图3是用于说明摄像装置之间的视差的图。
图4是例示当摄像装置移动以与基线方向垂直地相交时的捕获图像的图。
图5是例示当摄像装置在与基线方向相同的方向上移动时的捕获图像的图。
图6是示出用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程的流程图(第二示例)。
图7是用于说明从三个或更多个摄像装置中选择具有较少运动模糊的两个摄像装置的方法的图。
图8是用于说明从三个或更多个摄像装置中选择具有较少运动模糊的两个摄像装置的方法的图。
图9是用于说明从三个或更多个摄像装置中选择具有较少运动模糊的两个摄像装置的方法的图。
图10是示出信号处理设备1000的示例配置的图。
图11是示出用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程的流程图(第三示例)。
具体实施方式
在下文中，将参照附图详细地描述本文公开的技术的实施例。
示例1
图1示意性地示出了应用本文公开的技术的信号处理设备100的示例配置。所示出的信号处理设备100包括深度检测单元101、摄像装置运动估计单元102、深度预测单元103、深度合成单元104和延迟单元105。
深度检测单元101根据由多个摄像装置(多镜头摄像装置)捕获的视频来检测深度。此外，摄像装置运动估计单元102通过检测摄像装置位置来估计摄像装置运动。
深度预测单元103基于由摄像装置运动估计单元102估计的摄像装置运动和先前(例如，在前一帧中)获得的深度来预测当前时间点处的深度。具体地，先前获得的深度是在前一帧中从信号处理设备100输出的深度。因此，延迟单元105暂时存储从信号处理设备100输出的深度，并且在后一帧中将深度输出至深度预测单元103。
合成单元104将由深度检测单元101根据由多个摄像装置捕获的视频检测的当前时间点处的深度和由深度预测单元103根据摄像装置运动获得的深度以及先前获得的深度进行合成，并且输出更准确的深度。例如，当摄像装置由于摄像装置抖动等而移动时，在由摄像装置捕获的图像中出现模糊，并且因此由深度检测单元101检测的当前时间点处的深度的可靠度降低。因此，合成单元104根据由摄像装置运动估计单元102估计的摄像装置运动来估计在由摄像装置捕获的每个图像中出现的模糊量，并且对由深度检测单元101检测的当前时间点处的深度和根据由深度预测单元103获得的深度而获得的深度进行合成。
注意，合成单元104可以获得在获得视差的摄像装置之间的基线方向上的模糊量，作为在由摄像装置捕获的图像中出现的模糊量(稍后描述)。此外，当信号处理设备100根据由三个或更多个摄像装置捕获的视频来检测深度时，可以通过基于由摄像装置运动估计单元102估计的每个摄像装置的运动而选择具有较少模糊量的摄像装置或彼此相似地移动的摄像装置来获得深度(稍后描述)。
此处，摄像装置运动估计单元102可以使用任何方法来估计摄像装置运动。例如，可以使用惯性测量设备(IMU)估计摄像装置运动。IMU可以利用三轴陀螺仪和三向加速度计测量三维角速度和加速度。一些IMU上还安装了地磁传感器或全球定位系统(GPS)。对从IMU输出的三维角速度和加速度的积分使得可以获取关于位置和方位的信息，并且可以基于其时间差来估计摄像装置运动。可替选地，摄像装置运动估计单元102可以使用诸如视觉同时定位和地图绘制(SLAM)的技术根据由目标摄像装置捕获的视频来估计摄像装置的位置，以基于其时间差来估计摄像装置运动。
此外，深度检测单元101可以使用任何方法来检测深度。例如，深度检测单元101通过执行下述的块匹配来检测对应点：该块匹配用于检测与被设置到立体图像中的一个立体图像的参考块具有高度相似度的区域，该区域的检测是在被设置到立体图像中的另一立体图像的搜索范围中执行的；并且深度检测单元101可以基于三角测量的原理来根据对应点之间的视差而生成包括从每个摄像装置到对象的距离的位置信息。
此外，深度预测单元103可以使用任何方法来预测深度。在图1所示出的示例中，深度预测单元103根据前一帧的深度的信息、前一帧的摄像装置的位置和方位的信息、以及当前帧的摄像装置的位置和方位的信息来重构与当前帧的摄像装置的位置和方位相关联的深度信息。例如，深度预测单元103可以对先前深度(前一帧的深度)执行观看转换，以从新的摄像装置位置创建深度图像。
此外，合成单元104根据摄像装置运动来估计在由摄像装置捕获的每个图像中出现的模糊量，并且获得由深度检测单元101根据由摄像装置在当前时间点处捕获的图像而检测到的深度的可靠度。此处，可以通过使用摄像装置运动、先前的深度信息以及诸如快门时间的信息来估计实际包括在每个捕获图像中的模糊量。从摄像装置到对象的距离越短，由于摄像装置抖动等引起的模糊量越大。因此，合成单元104可以基于从摄像装置运动估计单元102输入的摄像装置运动和由深度检测单元101检测到的深度来估计模糊量。可替选地，因为随着快门时间越长越可能出现模糊，所以合成单元104可以从摄像装置获取曝光条件例如快门时间以估计模糊量。
然后，合成单元104取决于基于模糊量等而估计的可靠度来确定要用于对由深度检测单元101检测到的深度和由深度预测单元103预测的深度进行合成的比率α，并且输出其合成产生的深度。当模糊量等小并且由深度检测单元101检测到的深度的可靠度高时，减小用于合成由深度预测单元103预测的深度的比率α的值。相反，当模糊量等大并且由深度检测单元101检测到的深度的可靠度低时，增大α的值以确保准确度。
注意，合成单元104可以替选地仅输出可靠度较高的一个深度，而不是如上面所描述的那样对两个深度进行合成。此外，可以基于像素、基于区域或基于被摄体而不是基于帧来选择深度。
图2以流程图的形式示出了在图1所示出的信号处理设备100中的用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程。
深度检测单元101获取由多个摄像装置捕获的捕获多视点图像(步骤S201)，并且根据捕获多视点图像来计算深度(步骤S202)。
此外，摄像装置运动估计单元102基于例如从IMU获取的三维角速度和加速度来估计摄像装置运动(步骤S203)。然后，深度预测单元103基于由摄像装置运动估计单元102估计的摄像装置运动和先前(例如，在前一帧中)获得的深度来预测当前时间点处的深度(步骤S204)。
此外，合成单元104根据由摄像装置运动估计单元102估计的摄像装置运动来估计在由摄像装置捕获的每个图像中出现的模糊量(步骤S205)。在步骤S205中，可以通过进一步考虑先前的深度信息和诸如快门时间的信息来估计模糊量。
然后，合成单元104检查所估计的模糊量是否小(或者小于或等于预定阈值)(步骤S206)。
此处，如果模糊量小(在步骤S206中为是)，则合成单元104选择先前步骤S202中由深度检测单元101检测到的当前深度的信息(步骤S207)。可替选地，在步骤S207中，合成单元104可以增加当前深度信息的比率以对当前深度信息和预测深度信息进行合成。
此外，如果模糊量大(在步骤S206中为否)，则合成单元104选择在先前步骤S204中由深度预测单元103基于由摄像装置运动估计单元102估计的摄像装置运动和先前获得的深度来预测的深度的信息(步骤S208)。可替选地，在步骤S208中，合成单元104可以增加由深度预测单元103预测的深度的信息的比率，以对预测深度信息和当前深度信息进行合成。
然后，如果对于由多镜头摄像装置捕获的所有帧已经完成了上面所描述的深度估计处理(在步骤S209中为是)，则处理结束。
示例2
在第二示例中，图1所示出的信号处理设备100考虑到在两个或更多个摄像装置(多镜头摄像装置)之间的基线方向上的运动来执行深度估计处理。
连接两个摄像装置的光轴的线被称为“基线”。如图3所示出的，当摄像装置301和摄像装置302并排布置时的基线303在水平方向上延伸，并且视差在摄像装置的基线方向上存在。此外，在该图中，附图标记311和312分别表示由摄像装置301和302捕获的图像。为了获得捕获图像311与捕获图像312之间的水平方向(即，基线方向)上的视差，垂直方向(即，垂直于基线的方向)上的边缘的信息是重要的。如果捕获图像311和312的垂直方向上的边缘模糊，则变得难以计算视差即深度。
图4例示了当摄像装置移动以与基线方向垂直地相交时分别由摄像装置301和302捕获的捕获图像401和402。当摄像装置垂直于基线方向移动时，存储垂直方向(即，垂直于基线的方向)上的边缘的信息，使得容易获得摄像装置之间的视差，并且深度计算的准确度不降低。
此外，图5例示了当摄像装置在与基线方向相同的方向上移动时分别由摄像装置301和302捕获的捕获图像501和502。当摄像装置在与基线方向相同的方向上移动时，存储水平方向上的边缘的信息，而不存储垂直方向(即，垂直于基线的方向)上的边缘的信息，并且因此，变得难以获得摄像装置之间的视差，并且深度计算的准确度降低。
因此，在第二示例中，摄像装置运动估计单元102估计摄像装置相对于摄像装置之间的基线方向如何移动，并且合成单元104基于相对于摄像装置之间的基线方向的摄像装置运动，确定用于对由深度检测单元101检测到的当前深度的信息和由深度预测单元103根据先前的深度信息预测的深度的信息进行合成的比率，或者确定要选择哪个深度信息。在图4所示出的捕获图像的情况下，仅需要选择由深度检测单元101检测到的当前深度的信息。另一方面，在图5所示出的捕获图像的情况下，优选的是选择由深度预测单元103根据先前的深度信息预测的深度的信息。
图6以流程图的形式示出了在第二示例中由信号处理设备100执行的用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程。
深度检测单元101获取由多个摄像装置捕获的捕获多视点图像(步骤S601)，并且根据捕获多视点图像来计算深度(步骤S602)。
此外，摄像装置运动估计单元102基于例如从IMU获取的三维角速度和加速度来估计摄像装置运动(步骤S603)。然后，深度预测单元103基于由摄像装置运动估计单元102估计的摄像装置运动和先前(例如，在前一帧中)获得的深度来预测当前时间点处的深度(步骤S604)。
此外，合成单元104基于由摄像装置运动估计单元102估计的摄像装置运动是否在与摄像装置的基线方向相同的方向上(或者基于在所估计的摄像装置运动与摄像装置的基线方向之间形成的角度)，估计在由摄像装置捕获的图像中在垂直于摄像装置之间的基线的方向上出现的模糊量(步骤S605)。在步骤S605中，可以通过进一步考虑先前的深度信息和诸如快门时间的信息来估计模糊量。
然后，合成单元104检查在垂直于摄像装置之间的基线的方向上的模糊量是否小(或者小于或等于预定阈值)(步骤S606)。
此处，如果在垂直于摄像装置之间的基线的方向上的模糊量小(在步骤S606中为是)，则合成单元104选择在先前步骤S602中由深度检测单元101检测到的当前深度的信息(步骤S607)。可替选地，在步骤S607中，合成单元104可以增加当前深度信息的比率以对当前深度信息和预测深度信息进行合成。
此外，如果在垂直于摄像装置之间的基线的方向上的模糊量大(在步骤S606中为否)，则合成单元104选择在先前步骤S604中由深度预测单元103基于由摄像装置运动估计单元102估计的摄像装置运动和先前获得的深度来预测的深度的信息(步骤S608)。可替选地，在步骤S207中，合成单元104可以增加由深度预测单元103预测的深度的信息的比率，以对预测深度信息和当前深度信息进行合成。
然后，如果对于由多镜头摄像装置捕获的所有帧已经完成了上面所描述的深度估计处理(在步骤S609中为是)，则处理结束。
示例3
在第三示例中，当对由三个或更多个摄像装置捕获的图像执行深度估计处理时，选择具有较少运动模糊的两个摄像装置以执行深度估计处理。可替选地，从三个或更多个摄像装置中选择具有相似运动模糊的两个摄像装置以执行深度估计处理。
例如，如图7所示出的，当在要使用的各个摄像装置701至705上安装有IMU时，对各个摄像装置701至705的IMU之一各自测量的摄像装置运动彼此进行比较，并且选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置以执行深度估计处理。
此外，当如图8所示出的那样，在一个信息终端800(例如，智能电话等)上安装有多个摄像装置801至804和一个IMU 805时，通过一个IMU 805估计各个摄像装置801至804的运动，并且选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置以执行深度估计处理。
例如，在图8所示出的示例配置中，当信息终端800绕如图9所示出的连接摄像装置801的光轴和摄像装置803的光轴的偏航轴900旋转时，摄像装置801和摄像装置803具有在相同的偏航方向上的运动模糊，而其他摄像装置802和804除了偏航方向以外还具有在平移方向上的运动模糊。因此，可以说，优选的是选择摄像装置801和摄像装置803以执行深度估计处理。
此外，当在每个摄像装置上安装有在光学系统中执行模糊校正处理的光学图像稳定器(OIS)时，可以估计由此校正的残余，并且可以选择具有相似校正残余的摄像装置以执行深度估计处理。注意，在OIS中，例如振动传感器感测捕获期间的振动以校正镜头的位置或调整成像元件(图像传感器)的位置，从而抑制摄像装置抖动的影响。
图10示意性地示出了根据第二示例的信号处理设备1000的示例配置。所示出的信号处理设备1000包括深度检测单元1001、摄像装置运动估计单元1002、深度预测单元1003、深度合成单元1004和延迟单元1005。
摄像装置运动估计单元1002通过检测摄像装置位置来估计摄像装置运动。此外，摄像装置运动估计单元1002从三个或更多个摄像装置中选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置，作为要用于深度检测的摄像装置。
例如，当在要使用的各个摄像装置上安装有IMU时(参见图7)，摄像装置运动估计单元1002对各个摄像装置的IMU之一各自测量的摄像装置运动进行比较，并且选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置作为要用于深度检测的摄像装置。此外，当在一个信息终端上安装有多个摄像装置和一个IMU时(参见图8)，摄像装置运动估计单元1002根据由一个IMU执行的测量结果来估计各个摄像装置的运动，并且选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置作为要用于深度检测的摄像装置。
此外，当在每个摄像装置上安装有OIS时，摄像装置运动估计单元1002可以估计每个摄像装置的校正残余，并且可以选择具有相似校正残余的摄像装置作为要用于深度检测的摄像装置。
然后，深度检测单元1001使用由摄像装置运动估计单元1002从多个(三个或更多个)摄像装置中选择的摄像装置来检测深度。
深度预测单元1003基于由摄像装置运动估计单元1002估计的摄像装置运动和延迟单元1005中存储的先前深度(例如，前一帧的深度)来预测当前时间点处的深度。
合成单元1004根据由摄像装置运动估计单元1002估计的摄像装置运动来估计在由摄像装置捕获的每个图像中出现的模糊量，并且以基于模糊量的比率，对由深度检测单元1001检测到的当前时间点处的深度和根据由深度预测单元1003获得的深度而获得的深度进行合成。可替选地，合成单元1004基于模糊量来选择并输出由深度检测单元1001检测到的当前时间点处的深度或根据由深度预测单元1003获得的深度而获得的深度。
图11以流程图的形式示出了在图10所示出的信号处理设备1000中的用于根据由多镜头摄像装置捕获的图像来估计深度的处理过程。
摄像装置运动估计单元1002基于例如从IMU获取的三维角速度和加速度来估计摄像装置运动(步骤S1103)。然后，深度预测单元1003基于由摄像装置运动估计单元1002估计的摄像装置运动和先前(例如，在前一帧中)获得的深度来预测当前时间点处的深度(步骤S1104)。
此外，摄像装置运动估计单元1002从三个或更多个摄像装置中选择具有较少运动模糊的两个摄像装置或具有相似运动模糊的两个摄像装置，作为要用于深度检测的摄像装置(步骤S1105)。
另一方面，当深度检测单元1001获取由多个摄像装置捕获的捕获多视点图像时(步骤S1101)，深度检测单元1001根据由摄像装置运动估计单元1002选择的各个摄像装置捕获的图像来计算深度(步骤S1102)。
接下来，合成单元1004根据在步骤S1105中由摄像装置运动估计单元1002选择的各个摄像装置的运动来估计在由摄像装置捕获的每个图像中出现的模糊量(步骤S1106)。在步骤S1106中，可以通过进一步考虑先前的深度信息和诸如快门时间的信息来估计模糊量。
然后，合成单元1004检查所估计的模糊量是否小(或者小于或等于预定阈值)(步骤S1107)。
此处，如果模糊量小(在步骤S1107中为是)，则合成单元1004选择在先前步骤S1102中由深度检测单元1001检测到的当前深度的信息(步骤S1108)。可替选地，在步骤S1108中，合成单元1004可以增加当前深度信息的比率以对当前深度信息和预测深度信息进行合成。
此外，如果模糊量大(在步骤S1107中为否)，则合成单元1004选择在先前步骤S1104中由深度预测单元1003基于由摄像装置运动估计单元1002估计的摄像装置运动和先前获得的深度来预测的深度的信息(步骤S1109)。可替选地，在步骤S1109中，合成单元1004可以增加由深度预测单元1003预测的深度的信息的比率，以对预测深度信息和当前深度信息进行合成。
然后，如果对于由多镜头摄像装置捕获的所有帧已经完成了上面所描述的深度估计处理(在步骤S1110中为是)，则处理结束。
工业适用性
在上文中，已经参照具体实施例详细地描述了本文公开的技术。然而，明显的是本领域技术人员可以在不脱离本文公开的技术的要旨的情况下对实施例进行修改和替换。
本文公开的技术可以应用于处理多镜头摄像装置的视频信号的信号处理设备以及包括安装在其上的多个摄像装置的各种类型的信息终端。
简而言之，已经以示例的形式描述了本文公开的技术，并且本描述的内容不应当被限制性地解释。为了判断本文公开的技术的要旨，应当考虑权利要求。
注意，本文公开的技术可以具有以下配置。
(1)一种信号处理设备，包括：
检测单元，其根据由多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对由所述检测单元检测到的深度和由所述预测单元预测的深度进行合成。
(2)根据上述(1)所述的信号处理设备，
其中，当所述模糊量小时，所述合成单元增加由所述检测单元检测到的深度的比率以执行合成或选择，并且当所述模糊量大时，所述合成单元增加当前由所述预测单元预测的深度的比率以执行合成或选择。
(3)根据上述(1)或(2)所述的信号处理设备，
其中，所述估计单元基于惯性测量设备的测量结果来估计摄像装置运动。
(4)根据上述(1)或(2)所述的信号处理设备，
其中，所述估计单元基于视觉SLAM(同时定位和地图绘制)技术来根据由摄像装置捕获的视频估计摄像装置运动。
(5)根据上述(1)至(4)中任一项所述的信号处理设备，
其中，所述检测单元通过由各个摄像装置捕获的图像之间的块匹配来检测深度。
(6)根据上述(1)至(5)中任一项所述的信号处理设备，
其中，所述预测单元对先前从所述合成单元输出的深度执行观看转换，并且根据由所述估计单元估计的当前的摄像装置位置来预测当前深度。
(7)根据上述(1)至(6)中任一项所述的信号处理设备，
其中，所述估计单元估计所述多个摄像装置在基线方向上的运动，并且
所述合成单元基于估计在垂直于基线的方向上出现的模糊量的结果来执行所述合成。
(8)根据上述(1)至(7)中任一项所述的信号处理设备，
其中，所述估计单元从三个或更多个摄像装置中选择具有较少运动模糊的摄像装置或具有相似运动模糊的摄像装置，并且
所述检测单元使用由所述估计单元选择的摄像装置捕获的图像来检测深度。
(9)根据上述(8)所述的信号处理设备，
其中，所述估计单元基于安装在每个摄像装置上的惯性测量设备的测量结果来选择具有较少运动模糊的摄像装置或具有相似运动模糊的摄像装置。
(10)根据上述(8)所述的信号处理设备，
其中，所述估计单元基于根据安装在信息终端上的惯性测量设备的测量结果而估计的每个摄像装置的运动来选择要用于深度检测的摄像装置，其中，所述信息终端包括安装在所述信息终端上的所述多个摄像装置。
(11)根据上述(1)至(7)中任一项所述的信号处理设备，
其中，所述估计单元估计OIS(光学图像稳定器)的校正残余，并且选择具有相似校正残余的摄像装置。
(12)一种信号处理方法，包括：
检测步骤，其根据由多个摄像装置捕获的视频来检测深度；
估计步骤，其通过检测摄像装置位置来估计摄像装置运动；
预测步骤，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成步骤，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对在所述检测步骤中检测到的深度和由所述预测单元预测的深度进行合成。
(13)一种成像设备，包括：
多个摄像装置；
检测单元，其根据由所述多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对由所述检测单元检测到的深度和由所述预测单元预测的深度进行合成。
附图标记列表
100 信号处理设备
101 深度检测单元
102 摄像装置运动估计单元
103 深度预测单元
104 深度合成单元
105 延迟单元
1000 信号处理设备
1001 深度检测单元
1002 摄像装置运动估计单元
1003 深度预测单元
1004 深度合成单元
1005 延迟单元

Claims (13)

1.一种信号处理设备，包括：
检测单元，其根据由多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对由所述检测单元检测到的深度和由所述预测单元预测的深度进行合成。
2.根据权利要求1所述的信号处理设备，
其中，当所述模糊量小时，所述合成单元增加由所述检测单元检测到的深度的比率以执行合成或选择，并且当所述模糊量大时，所述合成单元增加当前由所述预测单元预测的深度的比率以执行合成或选择。
3.根据权利要求1所述的信号处理设备，
其中，所述估计单元基于惯性测量设备的测量结果来估计摄像装置运动。
4.根据权利要求1所述的信号处理设备，
其中，所述估计单元基于视觉同时定位和地图绘制技术来根据由摄像装置捕获的视频估计摄像装置运动。
5.根据权利要求1所述的信号处理设备，
其中，所述检测单元通过由各个摄像装置捕获的图像之间的块匹配来检测深度。
6.根据权利要求1所述的信号处理设备，
其中，所述预测单元对先前从所述合成单元输出的深度执行观看转换，并且根据由所述估计单元估计的当前的摄像装置位置来预测当前深度。
7.根据权利要求1所述的信号处理设备，
其中，所述多个摄像装置为两个摄像装置，并且所述估计单元估计所述两个摄像装置在作为连接所述两个摄像装置的光轴的线的基线的方向上的运动，并且
所述合成单元基于估计在垂直于所述基线的方向上出现的模糊量的结果来执行所述合成。
8.根据权利要求1所述的信号处理设备，
其中，所述估计单元从三个或更多个摄像装置中选择具有较少运动模糊的摄像装置或具有相似运动模糊的摄像装置，并且
所述检测单元使用由所述估计单元选择的摄像装置捕获的图像来检测深度。
9.根据权利要求8所述的信号处理设备，
其中，所述估计单元基于安装在每个摄像装置上的惯性测量设备的测量结果来选择具有较少运动模糊的摄像装置或具有相似运动模糊的摄像装置。
10.根据权利要求8所述的信号处理设备，
其中，所述估计单元基于根据安装在信息终端上的惯性测量设备的测量结果而估计的每个摄像装置的运动来选择要用于深度检测的摄像装置，其中，所述信息终端包括安装在所述信息终端上的所述多个摄像装置。
11.根据权利要求1所述的信号处理设备，
其中，所述估计单元估计光学图像稳定器的校正残余，并且选择具有相似校正残余的摄像装置。
12.一种信号处理方法，包括：
检测步骤，其根据由多个摄像装置捕获的视频来检测深度；
估计步骤，其通过检测摄像装置位置来估计摄像装置运动；
预测步骤，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成步骤，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对在所述检测步骤中检测到的深度和在所述预测步骤中预测的深度进行合成。
13.一种成像设备，包括：
多个摄像装置；
检测单元，其根据由所述多个摄像装置捕获的视频来检测深度；
估计单元，其通过检测摄像装置位置来估计摄像装置运动；
预测单元，其根据摄像装置运动和先前获得的深度来预测当前深度；以及
合成单元，其基于根据摄像装置运动而估计在由摄像装置捕获的每个图像中出现的模糊量的结果，对由所述检测单元检测到的深度和由所述预测单元预测的深度进行合成。
CN201980025072.2A 2018-04-17 2019-01-30 信号处理设备、信号处理方法和图像捕获设备 Active CN111954792B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018079399 2018-04-17
JP2018-079399 2018-04-17
PCT/JP2019/003155 WO2019202809A1 (ja) 2018-04-17 2019-01-30 信号処理装置及び信号処理方法、並びに撮像装置

Publications (2)

Publication Number Publication Date
CN111954792A CN111954792A (zh) 2020-11-17
CN111954792B true CN111954792B (zh) 2022-12-20

Family

ID=68239233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025072.2A Active CN111954792B (zh) 2018-04-17 2019-01-30 信号处理设备、信号处理方法和图像捕获设备

Country Status (4)

Country Link
US (1) US11282223B2 (zh)
JP (1) JP7211417B2 (zh)
CN (1) CN111954792B (zh)
WO (1) WO2019202809A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706585B (zh) * 2021-03-03 2025-05-23 腾讯科技（深圳）有限公司 图像深度信息的获取方法、装置、介质及电子设备
JP7680722B2 (ja) * 2021-03-31 2025-05-21 Ｊｏｈｎａｎ株式会社 姿勢推定システム
WO2023127353A1 (ja) * 2021-12-28 2023-07-06 株式会社クボタ 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001520781A (ja) * 1998-02-06 2001-10-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き又はデプス推定
CA2729106A1 (en) * 2008-06-24 2009-12-30 Thomson Licensing System and method for depth extraction of images with motion compensation
WO2011158515A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
JP2012242563A (ja) * 2011-05-18 2012-12-10 Pentax Ricoh Imaging Co Ltd 手ブレ補正装置およびデジタルカメラ
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
KR101983156B1 (ko) * 2013-11-08 2019-05-28 삼성전기주식회사 촬영 장치의 이미지 보정 장치 및 방법
JP2014238409A (ja) 2014-07-23 2014-12-18 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
US9914222B2 (en) * 2015-02-05 2018-03-13 Canon Kabushiki Kaisha Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image
JP6626338B2 (ja) 2015-02-05 2019-12-25 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6138861B2 (ja) 2015-06-25 2017-05-31 日立オートモティブシステムズ株式会社 距離算出装置

Also Published As

Publication number Publication date
JP7211417B2 (ja) 2023-01-24
JPWO2019202809A1 (ja) 2021-05-13
US20210174527A1 (en) 2021-06-10
WO2019202809A1 (ja) 2019-10-24
CN111954792A (zh) 2020-11-17
US11282223B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
CN106062821B (zh) 用于不受限制的slam的基于传感器的相机运动检测
CN110163909B (zh) 用于获得设备位姿的方法、装置和存储介质
US9025859B2 (en) Inertial sensor aided instant autofocus
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US8818097B2 (en) Portable electronic and method of processing a series of frames
US8159541B2 (en) Image stabilization method and apparatus
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
CN107121132B (zh) 求取车辆环境图像的方法和设备及识别环境中对象的方法
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
US9131155B1 (en) Digital video stabilization for multi-view systems
CN111954792B (zh) 信号处理设备、信号处理方法和图像捕获设备
CN108260360A (zh) 场景深度计算方法、装置及终端
CN110121023B (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体
JP4394487B2 (ja) ステレオ画像処理装置
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
JP2020181059A (ja) 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体
JP2007104516A (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
CN114902646A (zh) 电子设备、控制电子设备的方法以及计算机可读存储介质
JP5531726B2 (ja) 撮影機および画像処理方法
JPH11248447A (ja) 画像処理装置及び画像処理方法、並びに提供媒体
JP4825260B2 (ja) 三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラム
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH01220586A (ja) 動きベクトル検出方法およびその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant