CN111093006A - 摄像装置、信息处理装置、补偿量设定方法 - Google Patents
摄像装置、信息处理装置、补偿量设定方法 Download PDFInfo
- Publication number
- CN111093006A CN111093006A CN201911004606.1A CN201911004606A CN111093006A CN 111093006 A CN111093006 A CN 111093006A CN 201911004606 A CN201911004606 A CN 201911004606A CN 111093006 A CN111093006 A CN 111093006A
- Authority
- CN
- China
- Prior art keywords
- compensation
- tilt
- image
- celestial sphere
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000010365 information processing Effects 0.000 title claims abstract description 20
- 238000004590 computer program Methods 0.000 title description 2
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 230000006870 function Effects 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 8
- 238000001454 recorded image Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 53
- 238000012545 processing Methods 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及涉具有对拍摄的图像进行补偿功能的摄像装置、信息处理装置、补偿量设定方法、计算机装置以及存储介质,其公开的拍摄图像的摄像装置(110)具备用于检测该摄像装置的倾斜的姿势角传感器(136)、用于根据所述倾斜传感器(136)检测到的倾斜对所述图像实施倾斜补偿的天顶/旋转补偿部(220)、以及用于把对多个图像实施所述倾斜补偿的补偿量设为固定的补偿量设定部(222)。
Description
技术领域
本发明涉及摄像装置、信息处理装置、补偿量设定方法、计算机装置以及存储介质,具体涉及具有对拍摄的图像进行补偿功能的摄像装置、信息处理装置、补偿量设定方法、计算机装置以及存储介质。
背景技术
所谓的天顶补偿功能,通常是指对拍摄了的全天球图像,根据加速度传感器的输出,求出以垂直方向为基准的斜率来补偿图像的倾斜度,使得图像顶点方向与垂直方向保持一致。
但是,现有技术的装置在间隔摄影等固定摄像装置(视点)状态连续拍摄的情况下,有时会给阅览者带来不协调感。也就是说,由于对每个图像从加速度传感器求出倾斜进行补偿,因此,尽管摄像装置固定,但依然会有传感器的噪声等造成的倾斜补偿量的微小变化。这样,在鉴赏经过校正后的连续图像时,微小倾斜会发生变化,从而造成阅览者不协调感觉。
关于间隔摄影,特开2015-139029号公报(专利文献1)广为人知。专利文献1以抑制间隔摄影时各图像曝光值的偏差为目的,公开了用自动曝光模式和固定曝光模式作为间隔拍摄曝光值模式,当拍摄开始时获得的测光值与一定时间内得到的测光值的最大值及最小值之间的差值为阈值以上时,用自动曝光模式进行拍摄,而在阈值以内时,用固定曝光模式进行拍摄。
作为现有技术的专利文献1,其能够一定程度地抑制间隔摄影中各图像的曝光值偏差。但是,在摄像装置固定状态下连续拍摄的情况下,由于传感器的噪音等导致倾斜补偿量发生微小变化,因此在观看经过补偿的连续图像时无法消除给阅览者带来的不协调感。
发明内容
鉴于上述问题,本发明的目的是提供一种摄像装置,其能够减轻施加了倾斜补偿的多个图像在阅览时的不协调感。
本发明为了解决上述课题,提供一种具有以下特征的图像摄像装置。本摄像装置具备一种摄像装置,其中具备:倾斜传感器,用于检测该摄像装置的倾斜;倾斜补偿部,用于根据所述倾斜传感器检测到的倾斜,对所述图像实施倾斜补偿;以及,补偿量设定部,用于把对多个图像实施所述倾斜补偿的补偿量设为固定。
本发明的效果在于,减轻施加了倾斜补偿的多个图像在阅览时的不协调感。
附图说明
图1是构成本实施方式的全天球图像处理系统的全天球照相机的剖视图。
图2A和图2B是第一实施方式的全天球图像处理系统的硬件结构图。
图3是第一实施方式的全天球图像处理系统上实现的全天球图像补偿功能的主要功能结构模块图。
图4A是全天球图像生成的图像数据流程图,图4B是用平面表示的全天球图像数据结构的示意图,图4C是用球面表示的全天球图像数据结构的示意图。
图5是用来说明第一实施方式的全天球图像的天顶补偿及旋转补偿的示意图。
图6A和图6B是用来说明利用第一实施方式的全天球图像的天顶补偿以及旋转补偿得到的全天球图像的示意图。
图7是第一实施方式的全天球照相机执行的、基于摄像时模式设定的全天球图像补偿处理的流程图。
图8是第一实施方式的全天球照相机执行的、基于阅览时模式设定的全天球图像补偿处理的流程图。
图9是第一实施方式的全天球照相机执行的、基于摄像时状态判断的全天球图像补偿处理的流程图。
图10是第二实施方式的全天球照相机执行的、基于阅览时状态判断的全天球图像补偿处理的流程图。
图11是第二实施方式的全天球图像处理系统上实现的全天球图像补偿功能的主要功能结构模块图。
图12是第三实施方式的全天球图像处理系统上实现的全天球图像补偿功能的主要功能结构模块图。
具体实施方式
以下说明本发明的实施方式,但本发明的实施方式并不受以下说明的限制。
〈第一实施方式〉
首先,在以下的第一实施方式中,用全天球照相机作为摄像装置及信息处理装置的一个例子来进行说明。
以下参考图1和图2,说明第一实施方式的全天球图像处理系统的整体构成。
图1是构成本实施方式的全天球图像处理系统的全天球照相机110的剖面图。图1所示的全天球照相机110具有摄像体12、保持上述摄像体12和控制器以及蓄电池等部件的箱体14、设置在上述箱体14上的快门按钮18。
图1所示的摄像体12包括两个成像光学系统20A,20B、以及两个CCD(ChargeCoupled Device)传感器或CMOS(Complementary Metal Oxide Semiconductor)传感器等摄像元件22A、22B。成像光学系统20分别由例如作为额6组7片的鱼眼镜头构成。在图1所示的实施方式中,上述鱼眼镜头具有大于180度(=360度/n;光学系数n=2)的全视角,优选具有185度以上的视角,更优选具有190度以上的视角。用这样的广角成像光学系统20和摄像元件22各一个组成的摄像光学系统作为广角摄像光学系统。
两个成像光学系统20A、20B的光学元件(透镜、棱镜、滤波器及光圈)相对于摄像元件22A、22B的位置关系是确定的。具体而言,成像光学系统20A、20B被定位成,其光学元件的光轴垂直于对应的摄像元件22的受光区域中心部位,且受光区域成为对应的鱼眼镜头的成像面。
在图1所示的实施方式中,成像光学系统20A、20B规格相同,双方的光轴保持一致,相互反向组合。摄像元件22A、22B将受光的光分布变换为图像信号,依次向控制器上的图像处理单元输出图像帧。摄像元件22A、22B各自拍摄的图像经过合成处理,生成立体角4π球面度的图像(以下称为"全天球图像"),对此将在后文中进一步详述。全天球图像是在从摄影地点所能看到的所有方向上拍摄的图像。可以用全天球图像的多个时间点的连续帧构成全天球动画。本实施方式虽然说明的是生成全天球图像及全天球动画的方法,但也可以是全天周像及全天周视频、以及只拍摄水平面的360度,即所谓的全景图像及全景动画。
图2A显示构成本实施方式的全天球图像处理系统的全天球照相机110的硬件构成。全天球照相机110对应于将要说明的实施方式中的摄像装置及信息处理装置。
全天球照相机110包括CPU(Central Processing Unit)112、ROM(Read OnlyMemory)114、图像处理模块116、视频压缩模块118、通过DRAM(Dynamic Random AccessMemory)接口120连接的DRAM132、以及通过外部传感器接口124连接的姿势角传感器136。
CPU112控制全天球照相机110的各个部件的动作及整体动作。ROM114存储CPU112可解读的代码所记述的控制程序和各种参数。除ROM114外,还可配备用于存储控制程序的SSD等存储装置。图像处理模块116与两个摄像元件130A、130B(第一摄像元件130A、第二摄像元件130B,即图1中的摄像元件22A、22B)连接,其中输入各自拍摄的图像的图像信号。图像处理模块116由ISP(Image Signal Processor)等构成,对从摄像元件130输入的图像信号,进行阴影补偿、拜耳插值、白平衡补偿、伽玛补偿等。
视频压缩模块118为进行MPEG-4AVC/H.264等视频压缩及解压缩的编解码模块。DRAM132提供进行各种信号处理及图像处理时暂时保存数据的存储领域。
姿势角传感器136是检测3轴加速度成分及3轴角速度成分的传感器。检测出的加速度成分及角速度成分,如以下将要描述的,被用于全天球图像的重力方向(基准方向)的天顶补偿及围绕重力方向的旋转补偿的两种补偿的其中之一或双方。姿势角传感器136还可以配备用于计算方位角等的地磁传感器等其他传感器。姿势角传感器136构成本实施方式中的倾斜传感器。
全天球照相机110还包括外部存储接口122、USB(Universal Serial Bus)接口126和串行模块128。外部存储接口122连接外部寄存器134。外部存储接口122对插入存储卡插槽的存储卡等外部存储134的读写进行控制。USB接口126连接USB连接器138。USB接口126通过USB连接器138控制与连接的智能手机等外部设备的USB通信。串行模块128控制与智能手机等外部设备的串行通信,并连接无线NIC(Network Interface Card)140。
当电源开关的操作使电源处于接通状态时,控制程序被载入主存储器。CPU112根据被读取到主存储器中的程序,控制装置各部的动作,同时将控制把所需的数据暂时保存在存储器中。由此,实现后述的全天球照相机110的各功能部及处理。控制程序可以包括固件、操作系统(OS)和插件应用程序等。
图2B显示本实施方式的全天球图像处理系统的信息终端150的硬件构成。
图2B所示的信息终端150包括CPU152、RAM154、内部寄存器156、输入装置158、外部寄存器160、显示器162、无线NIC164、USB连接器166等构成。
CPU152控制信息终端150的各部的动作及整体动作。RAM154提供CPU152的工作空间。内部寄存器156存储用CPU152可解读的代码记述的OS、由本实施方式的信息终端150方面负责处理的应用程序等的控制程序。
输入装置158是触摸屏等输入装置,提供用户接口。输入装置158接受全天球图像的补偿等操作员的各种指示。外部寄存器160是安装在存储卡插槽等中的可拆卸记录介质,记录影像格式的图像数据和静止图像数据等各种数据。显示器162在画面上显示答复用户操作经过补偿的全天球图像。无线NIC164建立与全天球照相机110等外部设备的无线通信连接。USB连接器166用于全天球照相机110等的与外部设备的USB连接。
当信息终端150电源接通,电源处于ON状态时,控制程序被从内部存储156读取,并上载到RAM154中。CPU152根据读到RAM154上的控制程序,控制装置各部的动作,同时把进行控制所需的数据暂时保存在存储器中。由此,实现信息终端150的后述各项功能部及处理。
以下参考图3~图6,说明本实施方式的全天球图像处理系统具备的全天球图像补偿功能。
图3显示有关本实施方式的全天球图像处理系统实现的全天球图像补偿功能的主要功能模块200。其中,全天球照相机110的功能模块210如图3所示,包括全天球摄像部212、存储部214、天顶/旋转补偿部220、图像输出部232。
全天球摄像部212用两个摄像元件130A、130B依次拍摄帧,输出全天球帧数据。全天球摄像部212在摄像过程中,使用姿势角传感器136测量3轴方向的加速度成分和3轴方向的角速度成分,将包含这些测量结果的倾斜数据作为元数据输出。输出的全天球帧数据及倾斜数据直接或者经过实施后述的倾斜补偿(天顶补偿及旋转补偿的双方或其中一方)之后,作为全天球图像数据240,保存到存储部214中。
存储部214存储全天球摄像部212拍摄的1个或多个全天球图像数据240。图2所示的外部寄存器134及其他寄存器等的存储区域的一部分被分配给存储部214。全天球图像数据240如图3所示,包括全天球照相机110拍摄的全天球帧数据242、和摄影中的全天球照相机110基准方向的倾斜角以及围绕基准方向的旋转角度的倾斜数据244。
全天球图像数据240如果是静止图像,则在全天球帧数据242中包含一个图像帧数据。但是,全天球图像数据240如果是动画,则全天球帧数据242包含分别从拍摄开始到结束为止构成全天球动画的多个帧。另外,全天球图像数据240尽管可以是单一的静止图像、规定比率(30fps、33fps、60fps)的所谓视频动画,但在以下的实施方式中,将以用规定的时间间隔(与视频动画的速度相比通常间隔较长)拍摄的间隔摄影图像(作为连续的静止图像记录)或以此为动画形式的延时(timelapse)动画为中心进行说明。
以下参考图4A和图4B,说明全天球图像的生成及生成的全天球图像进行。
图4A显示在全天球图像生成中各图像的数据结构及图像的数据流。首先,摄影元件130各自直接拍摄的图像大致是将全天球的半球纳入视野的图像。入射到成像光学系统的光按照规定的投影方式在摄像元件130的受光区域上成像。在此拍摄的图像是由受光区域形成平面区域的二维摄像元件拍摄的图像,是用平面坐标系表示的图像数据。典型的所得到的图像构成为如图4A中的"鱼眼图像A"和"鱼眼图像B"所示,包括各摄影范围所投影的整个图像圈的鱼眼图像。
用该多个摄影元件130拍摄的各帧多个鱼眼图像,经过变形补偿以及合成处理,形成为与各帧对应的全天球图像。在合成处理中,首先从以平面图像构成的各幅鱼眼图像,生成包含彼此互补的半球部分的各幅全天球图像。然后,根据重复区域的匹配,把两个包含各半球部分的全天球图像位置对齐,合成图像,生成包含整个全天球的全天球图像。
图4B是用平面表示来说明在本实施方式中使用的全天球图像的图像数据的数据结构的示意图。图4C是用球面表示来说明全天球图像图像数据的数据结构的示意图。如图4B所示,全天球图像的图像数据被表示为,以相对于规定轴的垂直角度φ、和与围绕规定轴的旋转角度相对应的水平角度θ为坐标的像素值排列。垂直角度φ的范围为0度~180度(或者-90度~+90度),水平角度θ的范围为0度~360度(或者-180度~+180度)。
如图4C所示,将全天球格式的各个坐标值(θ,φ)与表示以摄影地点为中心的全方位的球面上的各点相对应,全方位与全天球图像相对应。用鱼眼镜头拍摄的鱼眼图像的平面坐标和全天球图像的球面上的坐标,可以用规定的变换表来对应。变换表是根据各个透镜光学系统的设计数据等,按照规定的投影模型,预先在制造厂家等中制作的数据,是将鱼眼图像转换为全天球图像的数据。
在此,将全天球帧数据242作为构成全天球图像的数据进行说明,但并不一定要用如图4A、4B所示的经过合成的全天球图像的格式来记录各帧。只要能够在播放时构成全天球图像,全天球帧数据24任意方式记录。
例如,以阅览时从鱼眼图像进行变形补偿及合成来生成全天球图像为前提,可以记录用摄像元件130A、130B直接拍摄的两个鱼眼图像的静止图像数据或动画数据(与图4A所示的鱼眼图像A及鱼眼图像B分别对应的静止图像数据或动画数据),或者记录连接两个鱼眼图像的连接图像的静止图像数据或动画数据(将鱼眼图像A和鱼眼图像B结合形成一个图像时的静止图像数据或动画数据)。以下为了便于说明,将全天球帧数据242作为经过变形补偿及合成处理且以全天球图像的格式来保持的图像数据。
静态图像只要能够播放静止图像,可以用任意形式记录。例如有JPEG(JointPhotographic Experts Group)、PNG(Portable Network Graphics)、BMP(Bit Map)格式等。动画(包括视频动画及延时动画)只要能播放视频,也可以用任意形式记录。例如用H.264/MPEG-4AVC(Advanced Video Coding)、H.265/HEVC(High Efficiency VideoCoding)等指定的编解码器,将多个帧经过压缩后的动画数据来记录。此外,Motion JPEG(Joint Photographic Experts Group)是以连续的静止图像来表现动画的形式,诸如此类,也可以作为多帧静止图像的连续系列来记录动画数据。进而,间隔摄影图像既可以作为多个静止图像文件的集合来记录,也可以作为包含多个静止图像的单一文件来记录。
在此返回图3。当倾斜数据244是静止图像的场合下,其是与全天球图像相关联地记录下来的、相对于拍摄时全天球照相机110的基准方向的倾斜角的数据。而在动画的情况下,倾斜数据244则是与全天球动画的各个帧相关联地记录下来的、相对于从拍摄开始到结束为止全天球照相机110的基准方向的倾斜角的时间系列数据。在此,典型的基准方向是重力加速度起作用的重力方向。相对于重力方向的倾斜角是基于用姿势角传感器136中包含的加速度传感器所测量的信号而生成的。加速度传感器不区分重力和惯性力,因此优选基于用包含在姿势角传感器136中的角速度传感器所测量的信号,补偿从加速度传感器得到的倾斜角。另外,除了相对于基准方向的倾斜角以外,也可以包含围绕基准方向的旋转角的信息。旋转角的信息既可以是基于用姿势角传感器136的角速度传感器所测量的、从摄像开始到结束为止围绕全天球照相机110(内的角速度传感器)的3轴所产生的角速度,也可以是基于地磁传感器的方位角的角速度。倾斜数据244例如作为文件的元数据来保存。
在以下说明的实施方式中,为了方便起见,倾斜角的信息以及旋转角的信息与帧之间一一对应,在静止图像的场合下,相对于图像记录一个倾斜角或旋转角,在动画的情况下,同步记录帧和倾斜角或旋转角。但是,记录下来的倾斜角或旋转角不必与帧速率保持一致。在与帧速率不一致的情况下,可以通过用帧速率进行重采样等,得到与帧一一对应的倾斜角或旋转角。另外,不需要以一定的间隔进行记录,在这种情况下,可以在此之后,以时间戳记为线索,求出与各帧之间的对应关系。进而,不需要以同一个采样周期取得和保存倾斜角或旋转角,也不排除分别作为独立的不同时间序列数据来构成。
天顶/旋转补偿部220根据倾斜数据中各个帧所对应的倾斜信息(相对于基准方向的倾斜角及围绕基准方向的旋转角),对全天球帧数据的各帧图像实施倾斜补偿(天顶补偿及旋转补偿),输出经过补偿的全天球图像数据。天顶/旋转补偿部220的倾斜补偿,既可以根据从拍摄之后暂时保存在存储部214中读取的的全天球图像数据240进行,也可以根据摄影期间从全天球摄像部212输出的全天球帧数据及倾斜数据进行。经过天顶/旋转补偿部220补偿的全天球图像数据既可以记录在存储部214中,也可以发送到信息终端150的显示部252进行画面显示。
在此参考图5及图6,说明天顶补偿及旋转补偿。图5是用来说明本实施方式中的全天球图像的天顶补偿以及旋转补偿的示意图。图6A和图6B是用来说明本实施方式通过全天球图像的天顶补偿及旋转补偿得到的全天球图像的示意图。图6A是天顶补偿前的图像帧,图6B是天顶补偿后的图像帧。
如上所述,全天球图像格式的图像数据被表示为以相对于规定轴z0所形成的垂直角度φ、以及围绕所述规定轴z0的旋转角所对应的水平角度θ为坐标的像素值的排列。此处的规定轴是在不进行任何补偿的情况下,以全天球照相机110为基准所定义的轴。例如,可以以图1所示的全天球照相机的摄像体12一方作为头部,以摄像体12的相反一方作为底部,并以从底部通过箱体中心到头部的中心轴作为定义水平角度θ以及垂直角度φ的规定轴z0,来定义全天球图像。又如,可以把全天球图像的水平角度θ定义成,两个成像光学系统20A、20B中的一个光学元件的光轴方向为水平角度θ的中心位置。
所谓天顶补偿,是指如图5的左图所示,把实际上是在相对于基准方向(重力方向)的中心轴z0倾斜状态下拍摄的全天球图像(图6A),如同图5的右图所示,中心轴z0与基准方向Z一致的状态下拍摄的那样,对全天球图像(图6B)进行补偿处理(Rol l、Pitch方向的补偿)。另一方面,所谓旋转补偿,是指经过天顶补偿中心轴z0与基准方向保持一致的全天球图像中,进一步降低围绕基准方向Z的变动(图6的水平角度θ方向的变动)的补偿(Yaw方向的补偿)。关于Yaw方向的补偿方法,有配合初期姿势的方法,以及固定规定方位(例如北)的方法。
另外,当帧数据中各帧图像为经过合成的全天球格式图像时,天顶/旋转补偿部220根据设定的补偿量,对各帧全天球图像进行旋转坐标变换。另一方面,当帧数据中各帧是多个合成之前的鱼眼图像时,天顶/旋转补偿部220根据设定的补偿量,对各帧实施天顶补偿及旋转补偿,同时统一进行从多个鱼眼图像到全天球图像的变换。
在以下说明的实施方式中,根据相对于基准方向的倾斜角进行天顶补偿,同时还根据围绕基准方向的旋转角进行旋转补偿,以同时实施天顶补偿及旋转补偿双方作为倾斜补偿。但是,本发明并不受此限制,在其他的实施方式中也可以只保持其中一方的信息,只进行其中一方的倾斜补偿。
以下进一步参考图3,详细说明关于天顶/旋转补偿部220的倾斜补偿动作。本实施方式的全天球照相机110的功能模块210如图3所示,进一步包括补偿量设定部222、模式设定部224、状态判断部226。
补偿量设定部222设定上述天顶/旋转补偿部220实施的倾斜补偿(倾斜角及旋转角)的补偿量。具体而言,补偿量设定部222与后述的模式设定部224及状态判断部226的其中一方或双方合作,使倾斜补偿(倾斜角及旋转角)的补偿量相对于多个帧的图像(包括间隔摄影中记录的多个静止图像帧或延时动画内多帧图像)固定。固定是指补偿的量相同,而补偿的量相同是指,即便补偿的量并不完全相同,只要补偿量之间的差异不会对图像产生影响,便可视其为固定。在此,固定使用的补偿量是基于连续拍摄的多个图像中的最初、最后以及中间的图像中至少一个图像时姿势角传感器136所检测到的至少一个倾斜的补偿量。虽然不特别限定,但在特定的实施方式中,可以对之后的帧使用基于最初帧的倾斜的补偿量。在其他的实施方式中,可以将基于多个倾斜平均值的补偿量适用于多个帧的图像。补偿量设定部222构成本实施方式的补偿量设定部。
补偿量设定部222在设定倾斜补偿的补偿量时使用模式设定部224。模式设定部224在连续拍摄间隔摄影等多个图像的模式下,设定固定补偿量的固定补偿模式或不固定补偿量的追随补偿模式等。
在此,固定补偿模式由于是以固定视点(摄像头)进行连续摄影为前提,因而是将补偿量固定来实施倾斜补偿的模式的总称,但并不一定存在这种名称的固有模式,也有可能是将多个模式分类为固定补偿模式。例如,间隔摄影通常可以认为是以视点固定进行,所以在设定了间隔摄影模式的情况下,可以一律设定为固定补偿模式。或者,考虑到即使是相同的间隔摄影,在三脚固定的情况下,由于视点固定,所以优选固定补偿量,而在手持情况下,通常由于视点发生抖动,所以优选追随该抖动的普通倾斜补偿,基于这样的考虑,可以具备多种模式,如间隔摄影(固定补偿)模式和间隔摄影(追随补偿)模式。在这种情况下,在选择了明确补偿量固定的间隔摄影(固定补偿)模式时,可以设定为固定补偿模式。然后,被选择的具体模式可以通过与全天球照相机110连接的信息终端150中的应用程序,或者根据本全天球照相机110所具备的按钮的操作,由用户适当设定。
模式设定部224构成本实施方式中的模式设定手段。在特定的实施方式中,当模式设定部224设定了固定补偿模式时,补偿量设定部222对多个帧的图像将补偿量固定。
状态判断部226监视姿势角传感器136的倾斜输出,根据倾斜的变化,判断摄影中的视点是否处于固定状态。例如,在根据姿势角传感器136检测出的倾斜度变化足够小的情况下(相比于初始值或平均值的变动幅度在阈值以下),尽管传感器输出发生微小变化,依然可以判断视点固定。状态判断部226构成本实施方式的状态判定手段。在特定的实施方式中,当状态判断部226判断为视点固定的状态时,补偿量设定部222可以固定多个帧的图像的补正量。
用户可以事先设定,补偿量设定部222是基于模式设定部224的模式设定补偿量,还是基于状态判断部226的状态判断结果设定补偿量。例如,对于上述同样的间隔摄影,除了间隔摄影(固定补偿)模式及间隔摄影(追踪补正)模式以外,还可以具备间隔摄影(自动判断)模式。然后,在选择间隔摄影(固定补偿)模式的情况下,根据模式设定部224的模式设定来判断。而在选择间隔摄影(自动判断)模式的情况下,可以根据状态判断部226的状态判断结果进行判断。
在以下将要说明的实施方式中,全天球照相机110同时安装了模式设定部224以及状态判断部226,根据用户的选择适当切换,但是,对此并不特别限制。在其他实施方式中,也可以只安装模式设定部224和状态判断部226的其中一个,并且只进行与安装一方的判断相对应的应对。
以下参考图3,说明信息终端150的功能模块250。如图3所示,信息终端150的功能模块250构成为包括显示部252。显示部252在浏览全天球图像数据时使用。
全天球照相机110从信息终端150接收各种要求,当从信息终端150收到全天球图像的补偿要求(如在阅览时取得经过补偿的全天球图像的要求)时,该要求被传送到天顶/旋转补偿部220。天顶/旋转补偿部220响应全天球图像的补偿要求,开始指定的全天球图像数据240的天顶补偿及旋转补偿、以及经过补偿的图像数据的输出。图像输出部232将经过天顶/旋转补偿部220的天顶补偿及旋转补偿的全天球图像输出到提出要求的信息终端150。
信息终端150是安装了用于与全天球照相机110通信,并浏览播放全天球图像的应用程序的智能手机、平板计算机、个人电脑等终端设备。信息终端150通过应用程序接收来自操作者的各种指示,对全天球摄像机110发出各种要求,例如答复收到的操作者指定的全天球图像的补偿指示(例如,一边进行补偿一边阅览间隔摄影图像的指示),向全天球照相机110发送取得经过补偿的全天球图像的图像数据的要求。信息终端150的显示部252根据从全天球照相机110输出的图像数据,在信息终端150配备的显示器162等显示装置上显示全天球图像。
在信息终端150一方,根据经过补偿的图像数据,显示什么样的图像是任意的。例如,既可以将全天球图像直接显示在显示装置上,也可以将全天球图像贴到球体对象上,用具有规定视角的照相机从规定位置观察球体对象时的图像作为帧来显示。
在以下将要说明的实施方式中用信息终端150的显示器162来显示全天球图像的画面,但本发明的实施方式并不限于此。在另行具备显示装置的实施方式中,可以在全天球照相机110配备的显示装置上显示全天球图像的画面,而在具备通过Miracast(注册商标)等无线视频通信协议或HDMI(注册商标)等有线视频通信协议与全天球照相机110连接的显示装置的实施方式中,则可以在连接全天球照相机110的显示装置上显示全天球图像。
关于补偿的时机,只要是在阅览之前,可以在任意时间点进行补偿。在特定的实施方式中,可以在拍摄时根据姿势角传感器136检测到的倾斜,对拍摄的各帧图像进行倾斜补偿,而后将经过补偿的图像作为全天球图像数据240保存。或者如上所述,还可以在拍摄时不进行补偿保存,而是在收到用户的阅览要求(例如同时进行补偿的阅览的指示)时,读取所记录的全天球图像数据240,根据记录了的倾斜对图像进行倾斜补偿。当拍摄时不补偿而直接保存数据,并在阅览前补偿的情况下,并不一定要考虑摄影时的摄像模式如何,只要在事后指定作为补偿模式的固定补偿模式即可。
在以上说明的实施方式中,全天球照相机110是安装了上述天顶/旋转补偿部220、补偿量设定部222、模式设定部224以及状态判断部226的装置。通过利用全天球照相机110一方而不是信息终端150一方的资源,进行天顶补偿及旋转补偿的实体处理,向信息终端150输出并显示补偿结果的构成,无论信息终端150所具备的处理性能如何,均可以稳定地进行同时施加天顶补偿及旋转补偿的视频播放。但是,在其他实施方式中,也可以把与这些补偿相关的处理中至少一部分作为信息终端150一方的处理。另外,也可以把所有与这些补偿相关的处理作为安装在为信息处理装置的信息终端150而不是全天球照相机110中的功能,放置在信息终端150一方。
下面参考图7~图10所示的流程图,对本实施方式的全天球照相机实行的全天球图像补偿处理进行详细说明。图7和图8分别表示的是基于模式设定的摄影时和阅览时的补偿处理,图9和图10分别表示基于状态判断的摄影时以及阅览时的补偿处理。
图7是本实施方式的全天球照相机110执行的、基于摄影时模式设定的全天球图像补偿处理的流程图。图7所示的处理在应答用户的拍摄要求后从步骤S100开始。
在步骤S101中,全天球照相机110通过模式设定部224取得当前选择的摄影模式。在步骤S102中,全天球照相机110通过模式设定部224设定固定补偿模式或追踪补偿模式作为选定的摄影模式。例如,在只有一个间隔摄影模式时设定了间隔摄影模式的情况下,和在存在多个间隔摄影模式时选择了明确表示补偿量固定的间隔摄影(固定补偿)模式的情况下,设定为固定补偿模式。在步骤S102中,如果没有设定固定补偿模式(否),则前往步骤109,进行与所选择的摄影模式相对应的处理(例如,动态设定补偿量的普通间隔摄影),在步骤S110中结束本处理。另一方面,在步骤S102中,如果设定固定补偿模式(是),前往步骤S103的处理。全天球照相机110在步骤S103开始连续拍摄,在步骤S104拍摄图像帧。在步骤S105,由补偿量设定部222判断是否是第一张。在步骤S105中,如果补偿量设定部222判断为第一张(是),则前往步骤S106的处理。在步骤S106中,全天球照相机110通过补偿量设定部222,根据姿势角传感器136的输出,设定倾斜补偿的补偿量(使得被检测到的倾斜取消的补偿量),前往步骤S107。
另一方面,在步骤S105中,当补偿量设定部222判断为不是第一张的情况下(否),处理前往步骤S107。此时,补偿量设定部222将前一次使用的补偿量(第一次时求出的补偿量)设定为对该拍摄图像进行补偿量的补偿量。
在步骤S107中,全天球照相机110通过天顶/旋转补偿部220,根据当前的倾斜补偿量,对拍摄的图像帧实施倾斜补偿。在间隔摄影图像的情况下,可以将经过补偿后的图像帧作为静止图像保存。在延时动画的情况下,将多个经过补偿的图像帧统一加密,作为动画保存。
在步骤S108中,全天球照相机110决定是否继续拍摄。在步骤S108中,如果判断为继续拍摄(是),则处理重回步骤S104,前往下一个帧的拍摄。另一方面,例如事先设定页数的拍摄完毕,在步骤S108中判断为不需要继续拍摄的情况下(NO),前往步骤S110的处理,结束本处理。
图8是本实施方式的全天球照相机110执行的、基于阅览时摄影模式的全天球图像补偿处理的流程图。图8所示的处理在响应用户的阅览要求后从步骤S200开始。
在步骤S201中,全天球照相机110读取全天球图像数据240。在间隔摄影图像的情况下,指定作为一组的静止图像的全天球图像数据240。而在延时动画的情况下,指定作为动画的全天球图像数据240。另外,在步骤S201中,也可以通过模式设定部224从例如全天球图像数据240的元数据中获取拍摄时选择的拍摄模式。或者也可以在阅览要求中指定补偿模式。在步骤S202中,全天球照相机110通过模式设定部224设定作为拍摄时所选择的拍摄模式或所要求的补偿模式的固定补偿模式或追踪修正模式等。如果在步骤S202中判断为没有设定固定补偿模式(否),则在步骤S209中进行与所选择的模式相应的处理(例如动态设定补偿量的常用补偿),在步骤S210中结束本处理。
另一方面,当步骤S202中判断为设定了固定补偿模式时(是),处理前往步骤S203。全天球照相机110在步骤S203开始倾斜补偿,在步骤S204中取得图像帧。在步骤S205中由补偿量设定部222判断是否是第一帧。如果在步骤S205中补偿量设定部222判断为是第一帧时(是),处理前往步骤S206。在步骤S206中,全天球照相机110通过补偿量设定部222,根据与该图像帧相关联地记录了的传感器输出值,设定倾斜补偿的补偿量,而后前往步骤S207处理。
另一方面,当步骤S205中由补偿量设定部222判断为不是第一帧时(否),直接前往步骤S207的处理。此时,作为对应图像帧的补偿量,尽管有与该图像帧相关联地记录下来的传感器输出值,补偿量决定部222还是设定前一次使用的补偿量(第一帧时求出的补偿量)。
在步骤S207中,全天球照相机110通过天顶/旋转补偿部220根据当前的倾斜补偿量,对该图像帧实施倾斜补偿。
在步骤S208中,全天球照相机110判定是否有后续帧。在步骤S208中,如果判断有后续帧(是),则处理返回步骤S204,进行下一个图像帧的处理。另一方面,在步骤S208中,如果判断没有后续帧(否),则处理前往步骤S210,结束本处理。
图9是本实施方式的全天球照相机110执行的、基于摄像时传感器输出的全天球图像补偿处理的流程图。图9所示的处理是在应答来自用户的拍摄要求后从步骤S300开始。
全天球照相机110在步骤S301开始连续拍摄,在步骤S302拍摄图像帧。在步骤S303中,由补偿量设定部222判断是否是第一张。在步骤S303中,如果补偿量设定部222判断是第一张(是),则处理前往步骤S304。在步骤S304中,全天球照相机110通过补偿量设定部222,根据姿势角传感器136的输出,设定倾斜补偿的补偿量,前往步骤S306的处理。
另一方面,在步骤S303中如果补偿量设定部222判断不是第一张(否),则处理前往步骤S305。在这种情况下,在步骤S305中,由状态判断部226根据姿势角传感器136的输出,判断是否为视点固定状态。对于判断是否为视点固定状态的方法,没有特别的限制,例如,可以用姿势角传感器136,当从上次拍摄到本次拍摄为止的传感器输出始终在一定值以下时,判断为固定状态。
在步骤S305中,如果状态判断部226判断不是视点固定状态(否),则处理前往步骤S304。这种情况下,全天球照相机110的姿势有可能发生变动,全天球照相机110在步进S304中,通过补偿量决定部222,根据姿势角传感器136的输出,重新计算倾斜补偿的补偿量,设定补偿量后,前往步骤S306的处理。另一方面,在步骤S305中,如果状态判断部226判断为视点固定状态(是),则处理直接前往步骤S306。此时,补偿量设定部222将从上次开始使用的补偿量(在第一帧时求出的补偿量或者状态变化时计算的补偿量)设定作为相对于该图像帧的补偿量。
在步骤S306中,全天球照相机110通过天顶/旋转补偿部220根据当前的倾斜补偿量,对拍摄的图像帧实施倾斜补偿。
在步骤S307中,全天球照相机110判断是否继续拍摄。在步骤S307中,如果判断为继续拍摄(是),则返回步骤S302的处理,进行下一个帧拍摄。另一方面,在步骤S307中,如果判断为不需要继续拍摄(否),则处理前往步骤S308,结束本处理。
图10是本实施方式的全天球照相机110执行的、基于阅览时传感器输出的全天球图像补偿处理的流程图。图10所示的处理在应答用户的阅览要求后,从步骤S400开始。
在步骤S401中,全天球照相机110读取全天球图像数据240。在步骤S402中全天球照相机110开始倾斜补偿,在步骤S403中取得图像帧。在步骤S404中,补偿量设定部222判断是否是第一帧。在步骤S404中,如果补偿量设定部222判断为第一帧(是),则前往步骤S405。在步骤S405中,全天球照相机110通过补偿量设定部222,根据与该图像帧相关联地记录了的传感器输出值,设定倾斜补偿的补偿量,前往步骤S407的处理。
另一方面,在步骤S404中,如果补偿量设定部222判断为不是第一帧(否),则处理前往步骤S406。在这种情况下,在步骤S406中,状态判断部226根据姿势角传感器136的输出判断是否为视点固定状态。在步骤S406中,如果状态判断部226判断不是视点固定状态(否),则处理前往步骤S405。此时,全天球照相机110在步骤S405中,通过补偿量设定部222,根据姿势角传感器136的输出,重新次计算并设定倾斜补偿的补偿量,而后前往步骤S407的处理。
另一方面,在步骤S406中,如果状态判断部226判断为视点固定状态(是),则处理直接前往步骤S407。此时,补偿量设定部222把上一次使用的补偿量(在第一帧时求出的补偿量或者状态的变化时计算的补偿量)定为相对于该图像帧的补偿量。
在步骤S407中,全天球照相机110通过天顶/旋转补偿部220,根据当前的斜率补偿量对该图像帧进行倾斜补偿。
在步骤S408中,全天球照相机110判断是否有后续帧。在步骤S408中,如果判断为有后续帧(是),则处理返回步骤S403,进而进行下一个图像帧的处理。另一方面,在步骤S408中,判断为没有后续帧(否),则处理前往步骤S409,结束本处理。
在上述说明中,将倾斜补偿功能当作作为摄像装置及信息处理装置的全天球照相机110所具备的功能,但本发明并不特别受此限制。在其他的实施方式中,倾斜补偿功能也可以是作为信息处理装置与全天球照相机110连接的信息终端150所具备的功能,或者信息终端150承担补偿量设定部222、模式设定部224以及状态判断部226等功能、而倾斜补偿功能则由作为该情报终端150的外部摄像装置的全天球照相机110来提供。
〈第二实施方式〉
以下参考图11,说明其他的实施方式进行。
图11显示关于在其他实施方式的全天球图像处理系统上实现的全天球图像补偿功能的主要功能模块300。图11所示的第二实施方式对应于作为连接到全天球照相机110的信息处理装置的信息终端150具备倾斜补偿、补偿量设定、状态判断以及模式设定所涉及的功能的构成。
在图11所示的实施方式中,全天球照相机110的功能模块310构成为包括全天球摄像部312。全天球摄像部312向信息终端150输出全天球帧数据,同时将摄像期间用姿势角传感器136检测到的倾斜数据作为元数据输出。此时,也可以根据需要,将全天球帧数据和倾斜数据暂时保存在自己的存储部中。在图11所示的实施方式中,全球摄像头110只具有将拍摄的帧数据以及检测到的倾斜数据输出到信息终端150的功能。
与此相对,信息终端150与参考图3说明的实施方式一样,是与全天球照相机110通信,并安装了用于阅览播放全天球图像的应用程序的终端装置。另一方面,在图11所示的实施方式中,信息终端150的功能模块350例如作为上述应用程序的组件,具有存储部330、天顶/旋转补偿部320、补偿量设定部322、模式设定部324、状态判断部326、显示部352。从全球摄像头110输出的全天球帧数据及倾斜数据在信息终端150中,经过补偿(天顶补偿及旋转补偿的一方或二者)后,或者直接作为全天球图像数据340存储在存储部330中。
存储部330存储由全天球照相机110的全天球摄像部312拍摄、输出的1个或多个全天球图像数据340。作为图2B所示的外部寄存器160、硬盘156或SSD(Sol idStateDrive)等的一部分存储领域被赋予存储部330。全球图像数据340同样构成为包括全天球帧数据342和倾斜数据344。天顶/旋转补偿部320、补偿量设定部322、状态判断部326以及模式设定部324均具有与参考图3说明的实施方式相同的功能,在此省略详述。
浏览全天球图像数据时被使用显示部352。显示部352根据经过由天顶/旋转补偿部320补偿后的全天球图像数据、或经过天顶/旋转补偿部320补偿后存储在存储部330中的全天球图像数据,在信息终端150具备的显示器162等显示装置上显示全天球图像。
信息终端150通过应用程序接受来自操作员的各种指示。例如,接受来自操作者的指定的全天球图像的补偿指示(例如,阅览间隔摄影图像同时进行补偿的指示)。从操作者接受各种指示后,信息终端150将指示转送到天顶/旋转补偿部320。天顶/旋转补偿部320响应受理的指示,开始所指定的全天球图像数据340的天顶补偿及旋转补偿、以及显示经过补偿的图像数据。图像显示部352将经过天顶/旋转补偿部320施加天顶补偿及旋转补偿的全天球图像,输出并显示到信息终端150的显示器等上。
在图11所示的实施方式中,图7~图10所示的处理除了摄影的实体处理外,均由信息终端150执行。在此,摄影的实体处理可以包括图7和图9所示的拍摄时的全天球图像补偿处理中的步骤S103以及步骤S104,S301和步骤S302的处理。
〈第三实施方式〉
以下参考图12,进一步说明其他实施方式。图12显示其在他实施方式的全天球图像处理系统上实现的有关于全天球图像补偿功能的主要功能模块400。图12所示的第三实施方式对应由信息终端150承担上述图3中的补偿量设定部222、模式设定部224及状态判断部226的功能,而作为与信息终端150连接的外部摄像装置的全天球照相机110,则具备倾斜补偿功能的构成。
在图12所示的实施方式中,全天球照相机110的功能模块410包括全天球摄像部412、存储部414、天顶/旋转补偿部420、图像输出部432构成。全天球摄像部412在存储部414中存储全天球帧数据,同时在摄像中将以姿势角传感器136检测到的倾斜数据作为元数据保存。全球帧数据及倾斜数据在实施倾斜补偿(天顶补偿及旋转补偿的两者中之一或双方)之前,作为全天球图像数据440,暂时记录到存储部414中。全球图像数据440同样包括全天球帧数据442和倾斜数据444,构成了全天球图像数据。
在图12所示的实施方式中,信息终端150的功能模块450构成为包括补偿量设定部462、模式设定部464、状态判断部466、显示部452。
状态判断部466及模式设定部464,与参考图3所说明的实施方式具有相同的功能,在此省略详述。补偿量设定部462与上述实施方式一样,与模式设定部464及状态判断部466的一方或双方合作,将对多个帧的图像实施的倾斜补偿(倾斜角及旋转角)的补偿量设为固定,并将设定的补偿量输出到全天球照相机110。
全球摄像头110的天顶/旋转补偿部420根据信息终端150输出的由补偿量设定部462设定的倾斜补偿(倾斜角及旋转角)的补偿量,对全球帧数据的各帧图像施加倾斜补偿(天顶补偿及旋转补偿的两者之中的一方或双方)。图像输出部432将经过天顶/旋转补偿部420的天顶补偿及旋转补偿的全天球图像输出到提出补偿要求的信息终端150。
信息终端150通过应用程序接受来自操作者的各种指示。例如,接受来自操作者指定的全天球图像补偿指示(例如,同时进行补偿的间隔摄影图像的阅览指示)。信息终端150响应收到的来自操作者指定的全天球图像补偿指示(例如,同时进行补偿的间隔摄影图像的阅览指示),向全天球照相机110发行取得与操作者指定的全天球图像对应的倾斜数据的要求。补偿量设定部462从全天球照相机110获取对应的倾斜数据后,设定倾斜补偿的补偿量,将补偿量转交给全天球照相机110,发行求出全天球图像的经过补偿的图像数据的要求。
全天球照相机110收到来自信息终端150的全天球图像的补偿要求(例如根据规定的补偿量求出补偿后的全天球图像的要求)后,向天顶/旋转补偿部420传送要求。天顶/旋转补偿部420响应全天球图像的补偿要求,开始指定的全天球图像数据440的天顶补偿及旋转补偿,以及经过补偿的图像数据的生成。图像输出部432将经过天顶/旋转补偿部420的天顶补偿及旋转补偿的全天球图像输出到提出要求的信息终端150。显示部452基于从全天球照相机110输出的图像数据,在信息终端150配备的显示器162等显示装置上显示全天球图像。
在图12所示的实施方式中,图8和图10所示的处理除了倾斜补偿的实体处理外,其他由信息终端150执行。在这里,倾斜补偿的实体处理可以包括图8和图10所示的阅览时全天球图像补偿处理中的步骤S207以及步骤S407的处理。
图12所示的实施方式是将负荷较重的天顶补偿及旋转补偿的实体处理由全天球照相机110一方担任,而后将补偿结果传送到信息终端150显示。这样,无论信息终端150所具备的处理性能如何,均能够用通常全天球照相机110所具备的模块,在高效且高速地进行天顶补偿及旋转补偿的同时,稳定地进行动画播放。
如上所述,至此为止的实施方式提供能够在多个图像中施加倾斜补偿的情况下减轻阅览时的不协调感的摄像装置、信息处理装置、计算机装置以及存储介质。
优选在间隔摄影等连续摄影中,设置由用户固定倾斜补偿的补偿量的模式,当选择了该模式时,可以对被拍摄的所有图像使用任意的固定倾斜补偿值。由此,能够提供符合用户期待的高画质图像。或者,在基于姿势角传感器输出判断是以视点(照相机)固定状态进行连续拍摄的情况下,用任意的固定倾斜补偿值对所拍摄的所有图像进行倾斜补偿。由此可以提供符合拍摄状态的高画质图像。
在上述实施方式中,将用具有大于180度的视角的透镜光学系统拍摄的两个部分图像重叠合成,但并不限定于此。在其他实施方式中,也可以适用于由一个或多个透镜光学系统拍摄的三个以上的部分图像的叠加合成。另外,在上述的实施方式中,以使用鱼眼镜头的摄像系统为例进行了说明,但也可以应用于使用了超广角镜头的全天球动画摄像系统。进而,作为倾斜补偿,不限于对全天球图像的天顶补偿及旋转补偿,还可以扩大到其他图像的一般的倾斜补偿。
上述功能部可通过汇编程序、C、C++、C#、Java(注册商标)等传统编程语言或面向对象编程语言等来实现,可存储在ROM、EEPROM、EPROM、闪存、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、CD-RW、SD卡、MO-RAM、DVD-RW、蓝光光盘、SD卡、MO-RAM、DVD-RW、蓝光光盘、SD卡、MO-RAM等计算机可读的记录介质中,或通过电信线路进行发布。另外,上述功能部的一部分或全部可以安装在例如现场可编程门阵列(FPGA)等可编程装置(PD)上,或者可以作为ASIC(特定用途集成)实现、为了在PD上实现上述功能部而下载到PD上的电路构成数据(比特流数据)、用于生成电路构成数据的HDL(Hardware Description Language)、用于生成VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等叙述的数据,通过记录介质分发。
至此阐述了本发明的实施方式,但是,本发明的实施方式不限于上述实施方式,可以有其他实施方式,也可以在本技术领域的人员的常识所及范围内对上述实施方式实行增删、更改等,但是,无论何种方式,只要达到本发明的作用和效果,均应该属于本发明范畴。
12…摄像体,14…箱体,18…快门按钮,20…成像光学系统,22、130…摄像元件,110…全天球照相机,112、152…CPU,114…ROM,116…图像处理模块,118…视频处理模块,120、126…接口,122…外部寄存器接口,124…外部传感器接口,126……USB接口,128…串行模块,132…DRAM,134、160…外部寄存器,136…姿势角传感器,138、166…USB连接器,150…信息终端,154…RAM,156…内部寄存器,158…输入装置,162…显示器,164…无线NIC,210、250…功能模块,212…全天球摄像部,214…存储部,220…天顶/旋转补偿部,222…补偿量设定部,224…模态设定部,226…状态判断部,232…图像输出部,240…全天球图像数据,242…全天球帧数据,244…倾斜数据。
Claims (12)
1.一种拍摄图像的摄像装置,其中具备:
倾斜传感器,用于检测该摄像装置的倾斜;
倾斜补偿部,用于根据所述倾斜传感器检测到的倾斜,对所述图像实施倾斜补偿;以及,
补偿量设定部,用于把对多个图像实施所述倾斜补偿的补偿量设为固定。
2.根据权利要求1所述的摄像装置,其中,
进一步包括模式设定部,用于设定对所述多个图像所述实施倾斜补偿的补偿量固定的固定补偿模式,
当设定了所述固定补偿模式时,所述补偿量设定部将对所述多个图像实施所述倾斜补偿的补偿量设为固定。
3.根据权利要求1或2所述的摄像装置,其中,
进一步包括状态判断部,用于根据所述倾斜传感器检测到的倾斜的变化,判断摄影期间的视点是否固定,
当判断摄影期间的视点为固定时,所述补偿量设定部将对所述多个图像进行所述倾斜补偿的补偿量设为固定。
4.根据权利要求1至3中任意一项所述的摄像装置,其中,固定的所述补偿量是,基于在拍摄连续拍摄的多个图像中的最初、最后以及中间之中至少一个图像之际,所述倾斜传感器所检测到的至少一个倾斜的补偿量。
5.根据权利要求1至4中任意一项所述的摄像装置,其中,所述倾斜补偿部在摄影时,基于所述倾斜传感器检测到的倾斜对拍摄的图像进行所述倾斜补偿,或者在阅览时,基于记录了的倾斜,对所记录的图像进行所述倾斜补偿。
6.根据权利要求1至5中任意一项所述的摄像装置,其中,
所述摄像装置是全天球照相机,
所述图像是全天球图像,
所述倾斜传感器检测到的倾斜包括相对于基准方向的倾斜角以及围绕所述基准方向的旋转角的两者的双方或其中之一,
所述倾斜补偿是天顶补偿和旋转补偿的两者的双方或其中之一。
7.一种信息处理装置,其设定对多个图像进行补偿的补偿量,其中包括,
取得部,用于取得摄像装置在拍摄所述多个图像时的倾斜;
补偿量设定部,用于将有关于基于所述摄像装置的倾斜对所述多个图像进行所述倾斜补偿的倾斜补偿功能的补偿倾斜的补偿量设为固定。
8.根据权利要求7所述的信息处理装置,其中,
进一步包括模式设定部,用于对所述多个图像,设定补偿量固定的固定补偿模式,
在设定了所述固定补偿模式的情况下,所述补偿量设定部将对所述多个图像进行所述倾斜补偿的补偿量设为固定。
9.根据权利要求7或8所述的信息处理装置,其中,所述倾斜补偿功能由同时也是所述摄像装置的所述信息处理装置、与所述摄像装置连接的所述信息处理装置、所述信息处理装置的外部的所述摄像装置的三者的其中之一中的功能部提供。
10.一种补偿量设定方法,用于设定图像补偿的补偿量,其中包括,
取得步骤,取得摄像装置在拍摄多个图像时的倾斜;
补偿量设定步骤,将有关于基于所述摄像装置的倾斜对所述多个图像进行倾斜补偿的倾斜补偿功能的补偿倾斜的补偿量设为固定。
11.一种计算机装置,其中包括存储器和处理器,所述存储器中保存用于实现设定图像补偿的补偿量的信息处理装置的程序,所述计算机装置通过所述处理器执行所述程序,实现以下功能部,
取得部,用于取得摄像装置在拍摄所述多个图像时的倾斜;
补偿量设定部,用于将有关于基于所述摄像装置的倾斜对所述多个图像进行倾斜补偿的倾斜补偿功能的补偿倾斜的补偿量设为固定。
12.一种计算机可读的存储介质,其中保存用于实现设定图像补偿的补偿量的信息处理装置的程序,该程序通过所述处理器执行,实现以下功能部,
取得部,用于取得摄像装置在拍摄所述多个图像时的倾斜;
补偿量设定部,用于将有关于基于所述摄像装置的倾斜对所述多个图像进行倾斜补偿的倾斜补偿功能的补偿倾斜的补偿量设为固定。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018198650 | 2018-10-22 | ||
| JP2018-198650 | 2018-10-22 | ||
| JP2019189440A JP2020078065A (ja) | 2018-10-22 | 2019-10-16 | 撮像装置、情報処理装置、補正量設定方法およびプログラム |
| JP2019-189440 | 2019-10-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111093006A true CN111093006A (zh) | 2020-05-01 |
| CN111093006B CN111093006B (zh) | 2022-11-22 |
Family
ID=68296206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911004606.1A Active CN111093006B (zh) | 2018-10-22 | 2019-10-22 | 摄像装置、信息处理装置、补偿量设定方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11102403B2 (zh) |
| EP (1) | EP3644600B1 (zh) |
| CN (1) | CN111093006B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7350510B2 (ja) * | 2019-05-14 | 2023-09-26 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
| US11825230B2 (en) * | 2020-02-14 | 2023-11-21 | Canon Kabushiki Kaisha | Imaging apparatus and storage medium |
| US11726636B1 (en) | 2022-06-29 | 2023-08-15 | Atlassian Pty Ltd. | System for generating a graphical user interface on a mobile device for an issue tracking system event feed |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102300038A (zh) * | 2010-06-28 | 2011-12-28 | 株式会社尼康 | 摄像装置 |
| CN103037164A (zh) * | 2007-08-10 | 2013-04-10 | 奥林巴斯映像株式会社 | 摄像装置以及摄像方法 |
| US20150130963A1 (en) * | 2012-09-03 | 2015-05-14 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
| US20160205308A1 (en) * | 2015-01-09 | 2016-07-14 | Canon Kabushiki Kaisha | Display apparatus, image capturing apparatus, image capturing system, control method for display apparatus, control method for image capturing apparatus, and storage medium |
| WO2018168902A1 (en) * | 2017-03-14 | 2018-09-20 | Ricoh Company, Ltd. | Sound recording apparatus, sound system, sound recording method, and carrier means |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
| JP6056366B2 (ja) | 2012-10-17 | 2017-01-11 | リコーイメージング株式会社 | 手ブレ補正装置およびカメラ |
| JP6558891B2 (ja) * | 2013-12-19 | 2019-08-14 | キヤノン株式会社 | 像振れ補正装置および撮像装置 |
| JP2015139029A (ja) | 2014-01-21 | 2015-07-30 | キヤノン株式会社 | 撮像装置 |
-
2019
- 2019-10-21 EP EP19204245.5A patent/EP3644600B1/en active Active
- 2019-10-22 CN CN201911004606.1A patent/CN111093006B/zh active Active
- 2019-10-22 US US16/659,955 patent/US11102403B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103037164A (zh) * | 2007-08-10 | 2013-04-10 | 奥林巴斯映像株式会社 | 摄像装置以及摄像方法 |
| CN102300038A (zh) * | 2010-06-28 | 2011-12-28 | 株式会社尼康 | 摄像装置 |
| US20150130963A1 (en) * | 2012-09-03 | 2015-05-14 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
| US20160205308A1 (en) * | 2015-01-09 | 2016-07-14 | Canon Kabushiki Kaisha | Display apparatus, image capturing apparatus, image capturing system, control method for display apparatus, control method for image capturing apparatus, and storage medium |
| WO2018168902A1 (en) * | 2017-03-14 | 2018-09-20 | Ricoh Company, Ltd. | Sound recording apparatus, sound system, sound recording method, and carrier means |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111093006B (zh) | 2022-11-22 |
| US20200128179A1 (en) | 2020-04-23 |
| EP3644600B1 (en) | 2022-06-15 |
| US11102403B2 (en) | 2021-08-24 |
| EP3644600A1 (en) | 2020-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7226484B2 (ja) | 撮像システム、撮像装置、動画表示装置、画像処理装置、方法およびプログラム。 | |
| CN105979123B (zh) | 图像处理系统、图像处理方法 | |
| CN106464804B (zh) | 成像系统、成像装置、计算机程序和系统 | |
| US11128814B2 (en) | Image processing apparatus, image capturing apparatus, video reproducing system, method and program | |
| JP7383911B2 (ja) | 撮像システム、画像処理装置、撮像装置およびプログラム | |
| CN111093006B (zh) | 摄像装置、信息处理装置、补偿量设定方法 | |
| KR20200098790A (ko) | 이미지 센서 및 이를 포함하는 전자 기기 | |
| JP7031280B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
| JP7379884B2 (ja) | 撮像装置、画像処理システム、方法およびプログラム | |
| JP6256513B2 (ja) | 撮像システム、撮像装置、方法およびプログラム | |
| JP7206797B2 (ja) | 撮像装置、情報処理装置、補正値計算方法およびプログラム | |
| JP7451888B2 (ja) | 撮像装置、撮像システム、方法およびプログラム | |
| JP2013192088A (ja) | 撮像装置、制御方法および制御プログラム | |
| JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム | |
| JP2020088419A (ja) | 撮像装置、画像補正方法、プログラム | |
| CN110024368B (zh) | 存储卡及动态图像播放装置 | |
| JP2020136850A (ja) | 撮像装置、撮像方法、プログラムおよび撮像システム | |
| JP2020113974A (ja) | 撮像装置、方法およびプログラム | |
| JP2009200792A (ja) | 電子カメラ | |
| JP2018011172A (ja) | 撮像装置、撮像システムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |