JP7027064B2 - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Description

本発明は、撮影時のユーザの手振れや被写体振れ等による画像、映像への影響を低減可能な画像処理装置および画像処理方法、撮像装置、プログラムに関する。

撮像装置では、画像の幾何変形を行う電子的な振れ補正と、光学的な振れ補正がある。後者には、結像光学系内の一部のレンズを駆動するレンズ内振れ補正と、撮像素子を移動させるイメージャ振れ補正がある。これらの振れ補正はいずれも、撮像装置の位置の移動による像振れのうち視点移動による視差の差分の変動を打ち消すことができない。
他方、光線空間撮像機能や瞳分割撮像機能等を有し、複数の視点画像を撮影可能な撮像装置は測距演算が可能である。測距演算により取得された距離を用いて、撮像装置の回転振れに加えて位置振れまでも含む撮像装置の軌跡を正確に計測可能である（非特許文献１）。
特許文献１には、視差画像間での混合率の制御によって仮想視点画像を生成する技術が開示されている。特許文献２には、視点移動による視差の差分の変動を打ち消して振れ補正を行う技術が開示されている。

特開２０１２－１９１３５１号公報 特開２０１６－４２６６２号公報 特許第５１９２０９６号公報

N. Engelhard et al.,"Real-time 3D visual SLAM with a hand-held RGB-D camera", European Robotics Forum,(2011) B. Wilburn,et.al., "High Performance Imaging Using Large Camera Arrays", p.p.765-776,SIGGRAPH 2005 Ren.Ng,et.al.，"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02 D.Titterton,"Strapdown Inertial Navigation Technology ",Peter Peregrinus Ltd S.Madgwick,"An effcient orientation filter for inertial and inertial/magnetic sensor arrays", Technical report,Department of Mechanical Engineering, University of Bristol, Apr. 2010. http://www.x-io.co.uk/gait-tracking-with-x-imu/," Gait tracking with x-IMU" Seitz, S. M., & Dyer, C. R. (1996). "View Morphing", In Siggraph 1996 Conference Proceedings, Annual Conference Series, pp. 21-30.

しかしながら、視差画像間の混合率を制御し、画像の視点移動を用いた振れ補正を行う方法だけでは、振れ補正が可能な撮像手段および被写体の振れ方が限られ、またブラーと呼ばれる像振れによるボケを補正することができない。また混合率の制御による画像合成と、従来の振れ補正とを単純に組み合わせる方法では過剰補正となり、却って余計な像振れが加わる可能性がある。
本発明の目的は、撮像手段の位置変化等に応じた画像の像振れ補正において、手振れ等による振動や画像合成時に副次的に付加される像の動きが補正された画像を取得することである。

本発明の一実施形態の画像処理装置は、視点の異なる複数の視点画像のデータを取得する第１の取得手段と、前記複数の視点画像のデータを生成した撮像手段の位置の変化量を取得する第２の取得手段と、前記複数の視点画像のデータを用いて、前記複数の視点画像とは視点が異なる画像のデータを生成する生成手段と、前記視点画像または前記生成手段により生成される画像の振れを補正する振れ補正手段と、前記第２の取得手段により取得される前記変化量を用いて、前記振れ補正手段の補正量、および、前記生成手段が前記画像を生成する際に用いる混合率を算出する計算手段と、を備え、前記計算手段は、前記混合率の変化により生じる視点位置の変化量が減算された前記補正量を算出して前記振れ補正手段に出力し、前記振れ補正手段は、前記視点画像または前記生成手段により生成される画像に対して、画像処理によって振れ補正を行う。

本発明の画像処理装置によれば、撮像手段の位置変化等に応じた画像の像振れ補正において、手振れ等による振動や画像合成時に副次的に付加される像の動きが補正された画像を取得することができる。

第１実施例における撮像装置の概略図である。 瞳分割撮像系や光線空間撮像系での視差画像取得部を説明する図である。 複数の視点画像例を示す模式図である。 奥行き方向の位置の違いによる視差量の違いを示す図である。 第１実施例における振れ補正処理のフローチャートである。 撮像装置の位置および姿勢に応じた補正による制振を説明する図である。 電子的な振れ補正による制振を説明する図である。 電子的な振れ補正による制振時の、視差の差分の残留を説明する図である。 混合率の制御による仮想視点画像の生成を説明する図である。 端処理を説明する図である。 仮想視点画像生成で副次的に生じる像の変化を説明する図である。 複数の視点画像間の基線長の変動を説明する図である。 本実施形態による振れ補正効果を説明する図である。 第２実施例における撮像装置の概略図である。 第２実施例における振れ補正処理のフローチャートである。 像面シフト補正を説明する図である。 第３実施例における撮像装置の概略図である。 第３実施例における振れ補正処理のフローチャートである。

以下、本発明の実施形態について各実施例にしたがい、図面を参照して詳細に説明する。本明細書では、特定の視点で取得される画像を視点画像といい、視点の異なる複数の視点画像を視差画像という。

［第１実施例］
図１は、本実施例の撮像装置１００の主要な構成を示すブロック図である。視差画像取得部１０１は、被写体をそれぞれ異なる位置や方向から撮影した視差画像を取得する。視差画像を取得するための構成には、複数の撮像装置をアレイ状に配置した構成（非特許文献２）がある。あるいは、光線空間撮像系（非特許文献３）または瞳分割撮像系（特許文献３）と呼ばれる、主レンズおよび撮像素子上に配置されたマイクロレンズの組み合わせにより実現される撮像系と、撮像素子とを備えた構成がある。各マイクロレンズに対応する複数の光電変換部によって視差画像を取得することができる。取得された視差画像のデータは画像合成部１０４に出力される。

位置姿勢変化の検出部１０２は、撮像装置の位置および姿勢の変化の情報を取得する。ジャイロセンサや加速度センサ等の慣性センサの組み合わせで位置および姿勢の変化を検出する方法や、慣性計測ユニット（IMU）のアセンブリを用いて位置および姿勢の変化を検出する方法がある。また慣性センサの使用に限らず、姿勢方位基準装置（AHRS）とGPS（Global Positioning System）サービスを組み合わせた検出方法で実現してもよい。また地磁気センサ等の他のセンサを組み合わせる方法や、画像情報を利用することで位置や姿勢の変化の取得精度を高めることができる。動画像から逐次に三次元形状を復元してカメラの位置と姿勢を推定する、Visual SLAM（Simultaneous Localization and Mapping）技術を用いて検出部１０２を構成してもよい。カメラを搭載した移動体の移動範囲が室内に限定される場合には、ビーコンによる測位機構を用いることで移動体の位置変化を検出することができる。

計算部１０５は、検出部１０２が出力する情報を取得し、振れ補正量および合成混合率を計算する。計算部１０５は振れ補正量の計算において、検出部１０２により取得された撮像装置の位置または姿勢の変化を示すデータを入力として、ユーザが意図したカメラワークとは異なる振れ成分のカメラワークのデータを算出する。そして計算部１０５は振れ補正部１０３の補正可能範囲内の振れ補正量を計算する。また、計算部１０５は合成混合率の計算において、画像合成部１０４が使用する、複数の視点画像間の合成混合率を計算する。合成混合率については、振れ補正量の位置に関し、当該振れ補正量の光軸に垂直な成分の大きさおよび方向に応じて計算することができる。

振れ補正部１０３は、例えば画像処理に基づく電子的な振れ補正を行う。振れ補正部１０３は、計算部１０５が算出した振れ補正量にしたがって、画像合成部１０４からの入力画像に対し射影変換等の幾何学的な補正処理を適用して振れを抑制する。また、振れ補正部１０３は補正可能範囲を計算部１０５に通知する。

画像合成部１０４は、取得された視差画像を用いて、計算部１０５による合成混合率にしたがって画像合成処理を行う。複数の視点画像間の合成混合率を変化させて合成することにより生成される合成画像は、仮想視点画像とも呼ばれる。つまり、仮想視点画像は合成前の視点画像とは異なる視点で撮像されたと仮想される視点画像である。

図２を参照して、視差画像取得部１０１について説明する。図２（Ａ）は、被写体２００、結像光学系(撮像光学系)２０１、撮像素子２０３と演算処理部２０４を模式的に示す図である。結像光学系の光軸２０２と平行なｚ軸に対し、図２（Ａ）の紙面に垂直な方向にｙ軸を定義する。ｚ軸およびｙ軸に直交する軸をｘ軸と定義する。図２（Ｂ）は撮像素子２０３を光軸方向（ｚ軸方向）から見た場合の画素配列の一部を示す模式図である。図２（Ｂ）の紙面に垂直な方向がｚ軸方向であり、ｘ軸方向およびｙ軸方向は紙面内で互いに直交する方向である。ｘｙ平面上に多数の画素２１０R、２１０G、２１０Bが並列に配置された構成である。R、G、Bは各画素のカラーフィルタの色である赤、緑、青にそれぞれ対応する。図２（Ｃ）は、画素２１０R、２１０G、２１０Bの構造を模式的に示す断面図である。図２（Ｃ）の紙面に垂直な方向をｙ軸方向とし、紙面内で互いに直交するｘ軸とｚ軸については、ｘ軸方向を左右方向とし、ｚ軸方向を上下方向と定義する。

瞳分割撮像系または光線空間撮像系を構成する撮像素子２０３は、分割された複数の光電変換部を備える。図２（Ｄ）はｘ軸方向に２分割された光電変換部を例示する。これらの光電変換部は２つの画素（副画素ともいう）ＡおよびＢを構成している。また、図２（Ｅ）はｘ軸方向およびｙ軸方向にそれぞれ２分割された、４分割の光電変換部を例示する。これらの光電変換部は４つの副画素Ａ，Ｂ，Ｃ，Ｄを構成している。

まず図２（Ｄ）に示すように、所定の一方向について瞳分割数が２である、２視点の場合を説明する。各画素部は、図２（Ｃ）に示すように、マイクロレンズ２１１、カラーフィルタ２２２R、２２２G、２２２B、光電変換部２１０Ra、２１０Rb、２１０Ga、２１０Gb、２１０Ba、２１０Bb、導波路２１３により構成される。撮像素子２０３は画素ごとに異なる色のカラーフィルタ２２２R、２２２G、２２２Bを備え、検出する波長帯域に応じた分光特性が与えられている。カラーフィルタ２２２R、２２２G、２２２Bに応じて赤光、緑光、青光をそれぞれ取得する画素部が形成される。カラーフィルタの配色パターンは公知であるため、説明を省略する。基板２２４は、各画素部で検出される波長帯域の光で吸収性を有する材料、例えばＳｉが使用され、イオン打ち込み等で、内部の少なくとも一部の領域に光電変換部が形成される。各画素部は、図示しない配線を備えている。

カラーフィルタの色を特定する指標変数Xを導入してX=R,G,Bとし、光電変換部２１０Xa、２１０Xbを区別する。例えば、X=Rの場合、赤色フィルタに対応する光電変換部は、光電変換部２１０Raおよび２１０Rbである。“ａ”は図２（Ｄ）の副画素Ａに対応し、“b”は図２（Ｄ）の副画素Ｂに対応する。図２（Ａ）に示す射出瞳２３０の異なる領域である第１の瞳部分領域２３１aを通過した光束２３２aと、第２の瞳部分領域２３１bを通過した光束２３２bに着目する。光束２３２aは光電変換部２１０Xaに入射し、光束２３２bは光電変換部２１０Xbに入射する。光電変換部２１０Xaと２１０Xbによって、それぞれ第１の信号と第２の信号が取得される。複数の第１の信号を集めてＡ像が形成され、複数の第２の信号を集めてＢ像が形成される。以下では、Ａ像を形成するための第１の信号を取得する光電変換部を有する画素部をＡ画素と呼び、Ｂ像を形成するための第２の信号を取得する光電変換部を有する画素部をＢ画素と呼ぶ。各光電変換部で取得された信号は、図２（Ａ）の演算処理部２０４に伝送され、Ａ像およびＢ像（視差画像）を生成する処理が行われる。

図２（Ｄ）は、マイクロレンズごとの画素構造を光軸の入射方向から見た場合のＡ画素およびＢ画素を模式的に示す。つまり、Ａ画素は光電変換部２１０Ra、２１０Ga、２１０Baのいずれかに対応し、Ｂ画素は光電変換部２１０Rb、２１０Gb、２１０Bbのいずれかに対応する。これは、水平方向または垂直方向に２分割された、２視点の例である。

図２（Ｅ）は、水平方向および垂直方向にそれぞれ瞳分割された構成、つまり４分割画素（Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素）を模式的に示す。４視点の方が合成混合率の制御による仮想視点画像の生成処理において、可能な視点位置の自由度が向上する。瞳分割撮像系用の撮像素子では、各マイクロレンズ下のＡ画素からＤ画素が半導体製造プロセスで形成される。非特許文献３に示される光線空間撮像系の場合には、瞳分割を実現するためのマイクロレンズをポストプロセス以降でチップに圧着する工程が実施される。このため、マイクロレンズ径や曲率等の自由度が高く、より多くの画素を一つのマイクロレンズ下に配置することができる。よって、複数の視差画像をワンショットで撮像する構成が可能となる。

図３は、４視点の瞳分割光学系を備えた撮像装置によって取得される視差画像の例を示す。図３（Ａ）から（Ｄ）はそれぞれ、異なる視点画像Ｒ１からＲ４を示す模式図である。図３（Ｅ）は撮像時の配置を俯瞰した図であり、撮像装置１００と各被写体の位置関係を示す。撮像装置１００の位置を基準とする、３つの被写体の位置関係において、奥行き方向は撮像装置１００から離れる方向であり、異なる位置に配置された３つの被写体「□」，「○」，「△」を例示する。撮像装置１００に最も近い被写体「□」の画像がＲｃであり、その次に遠い被写体「○」の画像がＲａであり、最も遠い被写体「△」の画像がＲｂである。図３では視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。

図３（Ａ）から（Ｄ）にそれぞれ示す視点画像Ｒ１～Ｒ４は、３つの被写体のうち「○」に撮像レンズの焦点が合うように撮像された画像である。被写体「○」よりも奥側に位置する被写体「△」の画像Ｒｂと、被写体「○」よりも手前側に位置する被写体「□」の画像Ｒｃについてはデフォーカスした画像となる。このような視点画像Ｒ１～Ｒ４は、１つの撮像レンズを用いた単眼の瞳分割方式のカメラで撮像された画像であるので、焦点の合っている被写体「○」の画像Ｒａは、視点が変わってもシフトしない。他方、デフォーカス状態の被写体の画像Ｒｂ，Ｒｃについては、４視点ごとに互いに異なる位置にシフトした画像が得られる。

次に図４を参照して、２視点の例を説明する。図４は、例えば図３（Ａ）と（Ｂ）との間の被写体の位置シフト、つまり視差の付き方を説明する図である。各被写体「□」，「○」，「△」の位置関係は図３（Ｅ）と同じである。撮像装置１００の位置を基準とする被写体距離が合焦距離である被写体「○」は、視点画像Ｒ１とＲ２との間で視差が発生しない。これに対し、被写体「○」より奥側の被写体「△」と手前側の被写体「□」は、視点画像間にて互いに逆方向の視差がそれぞれ発生する。

被写体「○」よりも奥まった位置に存在する被写体「△」の視差量は、視点画像Ｒ１における画像Ｒｂ１と視点画像Ｒ２における画像Ｒｂ２との位置ずれ量Ｗｂに対応する。また、被写体「○」よりも手前側に存在する被写体「□」の視差量は、視点画像Ｒ１における画像Ｒｃ１と視点画像Ｒ２における画像Ｒｃ２との位置ずれ量Ｗｃに対応する。観察者は、位置ずれ量Ｗｂ，Ｗｃが大きい程、被写体「△」の画像をより奥まった状態で視認し、被写体「□」の画像をより飛び出した状態で視認し、位置ずれの向きは互いに逆向きとなる。

図４の画像にそれぞれ対応する、図３（Ａ）および（Ｂ）の各視点画像を順に見比べると、観察者には被写体「○」の画像Ｒａ、つまり視差変化がゼロの被写体の画像を支点位置（中心位置）として、視差による画像の変化がシーソーの動きのように見える。このような動きは、垂直方向における２つの視点画像、例えばＲ１とＲ３との間でも同様に生じる。

図５のフローチャートを参照して、本実施例の処理を説明する。Ｓ１０１の視差画像の取得ステップでは、主レンズおよびマイクロレンズにより撮像素子上に結像された光束が受光され、視差画像が取得される。

Ｓ１０２では、カメラ位置姿勢変化の情報が取得される。位置姿勢変化の検出部１０２は、撮像装置の姿勢Rと位置Tの、フレーム間の変化量ΔR、ΔTを取得する。本実施例では位置姿勢センサの検出信号を用いた撮像装置の位置姿勢変化の取得処理について説明する。位置姿勢センサには、最大３軸の撮像装置の姿勢変化を検出するジャイロセンサ等の第１のセンサと、最大３軸の撮像装置の位置変化を検出する加速度センサ等の第２のセンサが用いられる。あるいは、地磁気センサや傾斜センサ等を代替的に用いてもよい。

カメラ姿勢推定用の第１のセンサのサンプリング周波数を、

と表記する。このサンプリング周波数に対応する周期で得られる電圧値や電流値、またはデジタル値で得られるセンサ出力情報は角度の変化量に変換されて出力される。例えば、検出部１０２がデジタル出力のジャイロセンサを備える場合、座標軸の方向ごとに取り付けられたセンサの出力値である、

に対し、事前のキャリブレーションにより取得された補正ゲイン（gain_ｘと記す）が乗算される。これにより、離散時間ｉでの正確な角速度が式1によって得られる。

式１中の、下付き添え字ｘは、撮像光学系の光軸を基準として直交する各軸に取り付けられたセンサの軸方向を表す。x=Y,P,Rは、撮像装置１００のヨー方向、ピッチ方向、ロール方向をそれぞれ表す。_gは、ジャイロセンサのサンプリング周波数に基づいて得られた角速度情報であることを示す。

角速度は、ジャイロセンサのサンプリング周期である、

という微小な期間での角度変化として表現されるカメラの姿勢変化と見做せる。ただし情報量としては多すぎるため、積分を行って、よりサンプリング周波数の低い情報が取得される。例えば、画像フレーム間の姿勢変化を表現するためのサンプリング周波数、

にしたがって積分されたデータは、情報量が圧縮されて出力される。具体的には、サンプリング周波数の値は６０Ｈｚや３０Ｈｚ等である。以下、任意のサンプリング周波数を、

と表記する。下記式2に基づく積分により、それぞれの処理に合ったサンプリング期間の姿勢変化量に変換されて、情報の受け渡しが行われる。

式2にて、

は、ジャイロセンサのサンプリング期間に対する、積分後のサンプリング期間の倍率を表す。

は、軸x(ヨー,ピッチ,ロール)に対する、サンプリング目的y、時間jでの姿勢変化量を表す。

は、目的別のサンプリング間隔を表す。但し、以下では簡単化のために、

とする。

式2は、単位時間における姿勢変化を出力する演算要素と見做すことが可能である。そのため構成要素となる角速度センサ等に関し、特有の問題であるオフセットのドリフト除去を行う処理を付加的に行うことで、出力値の精度を向上させてもよい。

撮像装置１００のヨー軸、ピッチ軸、ロール軸の各方向に取り付けられた加速度センサから得られる加速度情報については、重力の影響を差引した値を積分することで、撮像装置の速度変化、更には位置変化を算出することができる。サンプリング間隔における位置変化は、上記と同様にして、

と表すことができる。

ジャイロセンサや加速度センサから構成される慣性センサを用いた慣性センサセットを装備した物体の位置姿勢または位置姿勢変化、特に姿勢を算出する技術は、ストラップダウン型のAHARSと呼ばれる一般的な技術である。姿勢信号に対する付加的な信号処理には、非特許文献４、非特許文献５に示される既存技術が用いられる。例えば、加速度センサの出力情報を利用し、姿勢変化情報の比較処理を行い、精度低下の原因となるドリフトの除去が実施されて、より高精度な姿勢変化情報が出力される構成がある。同様の理由から、姿勢センサは多軸の姿勢変化を一度に計測可能なアセンブリの統合型多軸センサであってもよい。重力方向の特定には、地磁気情報から得られる鉛直情報を用いるか、または、撮像装置の初期姿勢において、例えばヨー軸が鉛直方向と一致している等の前提事項が成立する場合に当該情報が利用される（非特許文献６）。

以上の処理を経て、姿勢変化量については行列表現もしくはクォータニオン（四元数）表現、または撮像装置もしくは空間に任意に設定された座標軸成分ごとのベクトル値の形式で値が得られる。位置変化についても同様に、撮像装置または空間に任意に設定された座標軸成分ごとのベクトル値として得ることができる。また画像処理における扱い易さを考慮し、例えば画像フレーム間のタイミングで積分した姿勢Rと位置Tの変化量ΔR、ΔTの形式でデータが取得される。

図５のＳ１０３では、電子的振れ補正量および合成混合率の計算が行われる。Ｓ１０２で取得された撮像装置１００の姿勢Rと位置Tの変化量ΔR、ΔTを積分して撮像装置１００の軌跡を求める処理が行われる。得られた撮像装置１００の軌跡に対してフィルタ処理が行われ、意図しないカメラワークを分離して、この動きを打ち消すための撮像装置１００の姿勢と位置の変化量がカメラ位置姿勢補正量として計算される。本実施例では、ユーザの意図したカメラワークと意図しないカメラワークとを、カルマンフィルタによって分離する処理を説明する。カルマンフィルタを用いることで、逐次的な状態モデル更新とフィルタリングを効率的に行うことができる。

カルマンフィルタを用いるため、下記式のように、時系列を表現する状態空間モデルを採用する。

ここで、ｘ_ｎは、直接には観測できないk次元のベクトルであり、状態と呼ばれる。

はシステムノイズであり、平均ベクトルがゼロベクトルで、分散共分散行列

に従うm次元正規白色雑音である。

は観測ノイズであり、平均ベクトルがゼロベクトルで、分散共分散行列

に従うl次元正規白色雑音である。

はそれぞれ、k×k、k×m、l×kの行列である。

定速度モデルのシステムモデルはそれぞれ、状態変数

および速度変数

により定義される。状態変数ｘは、例えばフレームタイミングでの状態変数

として定義される。

ｎフレーム目における状態変数は、次式に示すように撮像装置の姿勢Rと位置Tの変化量ΔR、ΔTを累積して演算することによって計算される。

nフレーム目の行列Ｍ_ｎは、変化量ΔR、ΔTを用いて、n－１フレーム目の行列Ｍ_ｎ－１から算出される。
ここで、回転行列の回転成分からクォータニオンに置換される。

式6中に示す、

はそれぞれ、光軸に対するカメラのロール方向、ピッチ方向、ヨー方向の回転の補正量（角度）である。

また式7に示す、

は、回転行列からクォータニオンへの変換関数である。
速度変数は、表に表れない内部パラメータである。速度変動要素を白色ガウスノイズ

として扱い、平均値が0で、分散がσの白色ガウシアンノイズを表す。

まず、ある１つの成分に対するシステムモデルは次式のように表現される。

したがって、全ての入力画像変化量成分に対する状態空間システムモデルは次式9で与えられる。なお、式9の行列および列ベクトルにて、空白部分の要素は0である。

そして、各パラメータに対する観測モデルは、下記式10により表される。

ｔ、ｑの上に付した記号「～」は観測値であることを表す。

は、ｘ成分に対する白色ガウシアン観察ノイズである。白色ガウシアン観察ノイズ成分により、意図しない動きが表現される。そして、この観測ノイズの分散、およびシステムノイズの分散を調整することにより、カメラモーションの平滑性を調節することが可能である。

上記システムモデルおよび観測モデルを状態空間モデルの行列形式で表すと、下記式11となる。

さらに、

とおくことが出来る。

これにより、モデルの逐次更新、つまり

は、

によって行われる。
そして、フィルタリング結果

は下記式により得られる。

つまり、フィルタリング値

が、カレントフレーム間に対する意図的なカメラワーク成分として得られる。そして、カレントフレームの状態変数値とフィルタリング値との差分が、振れ補正量となるべき値として得られる。

姿勢のクォータニオン成分を回転行列に逆変換し、実軌跡に対するユーザが意図したカメラワーク軌跡との差分が下記式に従って計算される。

はそれぞれ、カレントフレームにおける意図的なカメラワークをとった場合のカメラワーク軌跡の姿勢と位置に相当する。こうして、ｎフレーム目の位置、姿勢の補正量である、

が得られる。

本実施例では、意図的なカメラワークにおけるカメラの位置姿勢値を、線形カルマンフィルタによるフィルタリングで得る方法を示した。これに限らず、拡張カルマンフィルタ(EKF)、または非線形カルマンフィルタ(UKF)等による他の方法を用いてもよい。

図６を参照して、カメラの位置姿勢情報へのフィルタリングによる効果を説明する。図６（Ａ）は、カメラの姿勢の補正を説明する図である。図中に示す文字Kの向きがカメラの姿勢を表すものとする。図６（Ａ）の左側の図は、ユーザの意図しないカメラワークである振れを含んだ状態を示す。この状態では、カメラの撮影方向が高周波的に変化している。この状態からユーザの意図しないカメラワークを除去することにより、右側の図に示す状態に変化する。これは、高周波的変化が除去された滑らかなカメラ姿勢の変化を示す状態である。

また、図６（Ｂ）は、カメラの位置補正を説明する図である。左側の図に示す状態は、高周波の位置変化を含み、すなわち意図しないカメラワークである振れを含んだ状態である。高周波の位置変化を意図しないカメラワークとして、カメラの位置姿勢の情報に対しフィルタリングを行い、補正処理が実施される。これにより、右側の図に示すように、直線状の、滑らかなカメラ位置軌跡を描く状態にすることができる。

因みに、カルマンフィルタによるフィルタリング処理においては、成分ごとのカルマンフィルタ係数を調整するだけでよい。これにより、カメラ位置姿勢変化に関し、動きを全部補正する振れ補正状態から、振れ補正なしの状態まで、連続して振れ補正度合いを調整することができる。

また通常の振れ補正においては、カメラの光軸方向の移動

に関して、抑振を加えても効果が小さい。このため、システムノイズの分散を調整して補正を弱めるか、あるいはカルマンフィルタの状態変数項目から除外して補正を行わないことが多い。

さらに、図５のＳ１０３では、カメラ位置姿勢の補正量から電子的振れ補正に用いる補正量が計算され、画像合成の混合率（合成比率）が計算される。図７を参照して、カメラの位置および姿勢の補正について説明する。図７（Ａ）は、カメラの像面から距離ｄに存在する厚みのない平面被写体を例示する。平面被写体に対するカメラの３次元的な位置を、

と表記し、カメラの姿勢を、

と表記する。
厚みのない平面被写体の法線方向を、法線ベクトル

で表す。
カメラの位置および姿勢の補正による像の変化は、ホモグラフィを用いた変換により下記式のように表現される。

カメラの位置姿勢補正後の平面被写体の像

は、

で定式化される座標変換により得られる。

図７（Ｂ）にて、左側に示す図は変換前の画像を示し、右側に示す図は変換後の画像を示している。実際にカメラを、

および

で移動させて撮影した画像と幾何学的に一致する画像が得られる。

図７（Ａ）に示すような、像面から距離ｄに存在する厚みのない平面被写体の場合、得られた撮像装置の位置および姿勢に対する補正量に従い、撮影画像に対して電子的な振れ補正処理が実行される。これだけで、あたかもユーザが意図したカメラワーク視点およびカメラ姿勢で撮影したかのような、振れ補正された画像を得ることができる。

しかしながら、現実的な撮影シーンでは、被写体の奥行き方向に厚みがあり、あるいは複数の被写体から構成され、被写体の存在領域が奥行き方向に広がっている場合の方が多い。図８（Ａ）は複数の被写体「□」、「〇」、「△」が奥行き方向の距離範囲Ｖ内に存在する場合の撮影シーンを示す模式図である。このような場合、平面被写体を想定した電子的な振れ補正処理で行うだけでは、充分な補正が行われないことがある。図８（Ｂ）に示すように、被写体像間に存在する視差の差分の変動が補正後に残存してしまう可能性がある。つまり、主要被写体（主対象の被写体）である「〇」に設定した距離ｄの当該被写体の画像は静止するが、その前後の被写体の画像には視差の差分の動きが残留してしまう。この動きは、距離ｄの被写体を静止させることにより差し引かれた視差の差分に対応する動きである。図８（Ｂ）には、想定した距離ｄの被写体に対してのみ、厚みのない平面被写体の場合と同様に、あたかも実際にカメラを、

および

で移動させて撮影した画像と幾何学的に一致したような補正像が得られている様子を示している。

しかし距離ｄで、法線ベクトル

である平面上にない空間に存在する前後の被写体の画像には、視差の差分の動きが残留する。図８（Ｂ）の右側の図には、ちょうど瞳分割光学系で撮影したような視点画像間に生じる視差が残留した画像となることを示している。主対象である距離ｄの被写体が静止して支点となり、その前後で動きが逆転したシーソーのような動きが残留することとなる。この残留する視差の差分に対し複数の視点画像の混合率を制御して合成し、仮想視点画像を生成する処理が行われる。残留する視差の差分を打ち消した振れ補正画像を得る処理について、以下に説明する。混合率制御による仮想視点画像の生成処理を行うと、あたかも視点を移動させたような画像を作成することができる。このため、残留する視差の差分に対してカウンターとなる視差、すなわち差分に対抗する視差を生じさせるように仮想視点画像を生成することにより、視差の差分をも振れ補正で処理可能となる。

図５のＳ１０４に示す、混合率制御による仮想視点画像生成について説明する。僅かに異なる複数の視点で被写体を撮影することにより、複数の視点画像が取得される。取得された複数の視点画像、つまり視差画像から、任意の仮想視点での自由視点画像を生成する方法として、ビューモーフィング（View morphing）がある（非特許文献７）。この方法は、内外挿補間技術による自由視点画像生成の方法であり、仮想視点での画像生成は、ビューモーフィング技術を用いて行われる。

図９を参照して、混合率制御による仮想視点の画像生成について詳説する。図９（Ａ）は、視点を垂直方向と水平方向の２次元に展開した、４つの撮像視点Ａ～Ｄと複数の被写体との位置関係を示す。複数の被写体の位置関係は図８と同じである。図９（Ｂ）は、４視点Ａ～Ｄと複数の被写体と、仮想視点との位置関係を示す。仮想視点をＶ_０と表記する。４視点Ａ～Ｄとは異なる仮想視点Ｖ_０から、あたかも被写体を撮影したような仮想視点画像を、２以上の視点画像の混合率を制御することにより合成する例を説明する。

図５のＳ１０２のカメラ位置姿勢補正量の計算処理で算出された、カメラ位置の補正量の光軸に垂直な成分、

に基づき、仮想視点位置を定めて混合率を決定する処理が行われる。混合率は画像合成比率に相当し、この比率を用いた加重加算により仮想視点画像が生成される。

具体的には、４つの撮像視点Ａ，Ｂ，Ｃ，Ｄで撮像された視点画像をそれぞれ、視点画像Ｒ１，Ｒ２，Ｒ３，Ｒ４と表記する。４つの撮像視点Ａ，Ｂ，Ｃ，Ｄと仮想視点Ｖ_０との位置関係に応じた重みづけの係数が決定される。４つの係数をα，β，δ，εと表記する。仮想視点画像をＲｖと表記すると、下記式23を用いた合成処理によって算出される。視点画像Ｒ１，Ｒ２，Ｒ３，Ｒ４の合成比率に対応する各係数α，β，δ，εは、例えば、下記式24～式27により算出される。
Ｒｖ＝（α×Ｒ１＋β×Ｒ２＋δ×Ｒ３＋ε×Ｒ４） ………（式23）
α＝（ＬX／ＬH）×（ＬY／ＬV） ………（式24）
β＝（１－ＬX／ＬH）×（ＬY／ＬV） ………（式25）
δ＝（ＬX／ＬH）×（１－ＬY／ＬV） ………（式26）
ε＝（１－ＬX／ＬH）×（１－ＬY／ＬV） ………（式27）
α＋β＋δ＋ε＝１ ………（式28）
上式中の、ＬH，ＬV，ＬX，ＬYは、図９（Ｃ）に示すとおりである。
ＬH：撮像視点間の水平方向における距離である水平基線長。
ＬV：撮像視点間の垂直方向における距離である垂直基線長。
ＬX：仮想視点の水平方向における撮像視点からのずれ（０≦ＬX≦ＬH）。
ＬY：仮想視点の垂直方向における撮像視点からのずれ（０≦ＬY≦ＬV）。
また式28に示すように、各係数α，β，δ，εの値の合計が１となるように係数値が設定される。これにより、視点画像Ｒ１，Ｒ２，Ｒ３，Ｒ４が同等の明るさの画像である場合、仮想視点画像Ｒｖをこれらと同等の明るさの画像とすることができる。

図９（Ｄ）は、仮想視点Ｖ_０が４つの撮像視点Ａ，Ｂ，Ｃ，Ｄによって囲まれる領域の中心に位置する場合を例示する。つまり、ＬX＝ＬH／２およびＬY＝ＬV／２の場合であり、上記式23～式28において、係数α，β，δ，εの値はいずれも０．２５である。４枚の視点画像Ｒ１，Ｒ２，Ｒ３，Ｒ４が均等な比率で合成されて、仮想視点画像Ｒｖが生成される。

ここで、振れ補正前の視点位置を視差画像の視点の中心位置とする。そして、カメラ位置の補正量の光軸に垂直な成分、

から、

が決定される。また、

でカメラを光軸に垂直な位置に移動させた場合の仮想視点画像を生成する係数α，β，δ，εの値が計算される。複数の視点画像の混合率を決定することにより、振れ補正で残留した視差成分を補正することができる。つまり、被写体の奥行き方向に厚みがあるか、または複数の被写体から構成され、被写体の存在領域が奥行き方向に広がっている場合に残存する視差の差分を打ち消すことができる。

ＬXとＬYに負値を用いることにより、外挿入も表現できるが、画像の情報が存在しないオクルージョンが発生する。基線長の範囲から仮想視点の生成位置がはみ出ないように端処理が行われる。図１０に一例を示す。横軸は所望の視点移動量を表し、縦軸は実際の視点移動量を表す。図５のＳ１０３で計算された視点の移動量を入力とし、複数の視点画像の各視点位置で囲まれる基線長の範囲内に、実際に混合率制御で行う視点の移動を収める処理が行われる。つまり、入力される視点移動量が増加すると、端部で飽和する特性である。また、振れ補正におけるカメラ位置の補正量の光軸に垂直な成分と混合率制御に基づく仮想視点画像生成による視点の移動量とは必ずしも一致しなくてよい。

本実施形態では、仮想視点と撮像視点との位置関係に応じた重みづけを行いつつ、撮影された視点画像を合成することにより、仮想視点画像が生成される。画像合成部１０４は生成した仮想視点画像Ｒｖのデータを振れ補正部１０３へ出力する。

ところで、混合率制御による仮想視点画像生成を単に行った場合には、被写体像間の視差の差分のみを打ち消すことはできない。図１１を参照し、複数の視点画像を入力としてビューモーフィングによる仮想視点画像生成処理で生成される像の仮想視点の位置および視線方向について模式的に説明する。図１１は、仮想視点画像生成で副次的に生じる視点の移動と視線方向の変化を説明する図であり、水平方向における２視点の例を示す。

図１１（Ａ）は実際に撮影された２視点Ａ，Ｂでの視点画像の撮影位置を示す模式図である。これは複数の被写体を輻輳視したような状態であり、瞳分割系の場合に相当する。像面がシフトした効果が加わっている。ビューモーフィングにより仮想視点を生成する処理を、図１１（Ｂ）に示す。生成される３つの仮想視点Ｖ₀，Ｖ_１，Ｖ_-1を例示し、２視点ＡとＢとの間に位置する。混合率を変化させると視点位置、視線方向、像面シフト量が、混合率の変化に応じて実際に撮影した視点画像間で連続的に滑らかに変化する。図１１（Ｃ）に仮想視点Ｖ₀，Ｖ_１，Ｖ_-1での仮想視点画像を示す。例えば中央視点では図１１（Ｃ）の中央に示す仮想視点画像が生成される。瞳分割系において複数の視点画像の混合率制御による仮想視点画像生成では視差の差分を打ち消しているかのように見える。しかし実際には図１１（Ｂ）に示される、生成後の視点の幾何学的関係からわかるように、視差変化および視線方向の変化分の像の変化が加わる。視差変化とは、仮想視点画像生成時の仮想視点の移動に伴う撮像視点の位置変化(Lx,Ly)による全体的な視差変化であり、それを打ち消すフォーカス距離位置に収束する視線方向の変化分の像の変化が加わってしまう。つまり、視差の差分を打ち消そうとすると、振れ補正で打ち消した、

に相当する分の視点移動の像の平行移動をさらに打ち消してしまい、過剰補正が引き起こされる。その上、瞳分割撮像系、光線空間撮像系の場合には、余計な像面シフトの変動の影響も付加されてしまうことになる。

ここで瞳分割撮像系、光線空間撮像系における仮想視点の視線方向は、像面のシフト量

に対応し、マイクロレンズの焦点距離をf_mlと表記すると、

という式で像面のシフト量として計算できる。像面シフトによる視線方向の変化については、図１１（Ｃ）ではわかりにくいが、像の歪みを生じてしまうため映像としては好ましくない。そこで、仮想視点画像の生成により被写体間の視差の差分の残留を打ち消す時には、仮想視点の移動により付加的に生じる撮像視点の位置変化(Lx,Ly)を、カメラ位置の補正量の光軸に垂直な成分、

からそれぞれ差し引く処理が行われる。また同時に、付加的に生じる像面シフトの影響をキャンセルする処理が行われる。下記式で示す処理により、カメラの位置姿勢変化の補正量に基づく画像の幾何変形による振れ補正処理に基づく抑振と、複数の視点画像の混合率制御による仮想視点画像の生成を同時に行うことに起因する過剰補正を防止し、または抑制できる。

ただし、像面シフトの補正は画像座標の補正であり、仮想視点移動による付加的な撮像視点の位置変化の補正は像の補正であるため、符号が逆の関係となる。因みに、撮像手段が複数の撮像装置をアレイ状に配置した構成を有する場合（非特許文献２）を、図１１（Ｄ）に示す。図１１（Ｄ）は、水平方向の２視点Ａ，Ｂで実際に撮影される視点画像の撮影位置の模式図である。混合率を変化させて生成した視点位置、視線方向を図１１（Ｅ）に示す。仮想視点画像を図１１（Ｆ）にそれぞれ示す。仮想視点画像生成で被写体間の視差の差分の残留を打ち消そうとすると、振れ補正で打ち消すことになる補正量

に相当する分の視点移動の像の平行移動をさらに打ち消してしまい、過剰補正が生じるが、像面シフトは生じない。

また視差画像の視点間の基線長ＬH、ＬVは、撮像手段が瞳分割撮像系または光線空間撮像系の場合、カメラパラメータの値により刻々と変化する。カメラパラメータは主レンズの種類やフォーカス距離、絞り値であるFナンバー等である。ズームレンズの場合、更にズームステート等により基線長ＬH、ＬVが決まらないと、カメラ位置の補正量の光軸に垂直な成分（数６２）に対する複数の視点画像の混合率を決定できない。本実施例では、カメラパラメータを引数とするテーブルデータが事前に用意されており、撮像手段の状態に対応する基線長ＬH、ＬVを取得することができる。図１２を参照して具体例を説明する。

図１２（Ａ）はフォーカス距離が遠い場合を示し、図１２（Ｂ）はフォーカス距離が近い場合を示す。各図で基線長が異なっており、これに伴い、各視点における視線方向が異なる。このため、主レンズの種類やフォーカス距離、絞り値であるFナンバー、ズームステートの組の情報をキー情報として、対応する基線長Ｌ(ＬH,ＬV)を保持する参照テーブルが用意される。主レンズの種類、フォーカス距離、絞り値であるFナンバー、ズームステート情報から基線長を取得できる。この基線長とフォーカス距離の情報から、撮像手段が瞳分割撮像系、光線空間撮像系の場合、像面シフト量が求まる。

前述の振れ補正と、混合率制御に基づく仮想視点画像生成による視差の差分の振れ補正を、各々勝手に行うと、撮像時の視点位置変化による全体的な視差変化が過剰補正となってしまう。また撮像手段が瞳分割撮像系、光線空間撮像系の場合には、仮想視点画像生成を行うと像面シフト量の変化による像の見え方の変化という意図しない像の変化が付加される。

そこで本実施例では、振れ補正部１０３よる補正と、混合率制御を用いた仮想視点画像生成による視差の差分の振れ補正を適切に連携させる。具体的には振れ補正部１０３による補正では、仮想視点画像生成による視点位置の変化量を、カメラの位置の補正量から補正量計算において差し引く処理が行われる。また、撮像手段が瞳分割撮像系、光線空間撮像系である場合には、振れ補正処理において像面シフト量の変化による像の変化分の補正が追加で行われる。これにより、通常の電子的な振れ補正のみでは補正できない、被写体の奥行き方向に厚みがある場合、または複数の被写体から構成されて被写体の存在領域が奥行き方向に広がっている場合に振れ補正が可能となる。残存する視差の差分による像変化を、振れ補正と連携した補正である混合率制御による仮想視点画像生成処理で打ち消すことができるので、余分な像の動きが付加されてしまうという弊害を防ぐことができる。

図５のＳ１０４に示す仮想視点画像の合成ステップで画像合成部１０４は、撮像された複数の視点画像を、Ｓ１０３で計算された混合率に基づいて合成し、合成画像である仮想視点画像を生成して振れ補正部１０３に出力する。次のステップＳ１０５での電子的な像振れ補正の観点からは、前述した視差の差分が打ち消され、あたかも被写体の奥行きがフォーカス距離位置に圧縮されたような画像が得られる。

Ｓ１０５で振れ補正部１０３は、Ｓ１０３で計算された電子振れ補正量に対する補正量に基づいて幾何変形処理を行い、抑振されたフレーム画像のデータを出力する。Ｓ１０４で生成された合成画像に付加された位置変化による像変化を減算する処理と、付加された像面シフト量の変化による像の変化を幾何変形で補正する処理が実行される。これにより、仮想視点画像合成により副次的に付加される像の変化に対処することができ、ユーザにより意図されたカメラワークに対応する補正された画像を取得できる。合成画像の像面シフト量は、補正量の図９（Ｄ）の中央位置からの混合率とカメラパラメータを引数として参照テーブルから求めた基線長から得られる仮想視点位置と、フォーカス距離で求まる方位角により算出される。振れ補正部１０３は算出した像面シフト量分だけ像面座標をシフト補正する処理（像面シフト補正）を行う。

図１３は本実施例の補正効果を説明する模式図である。図１３（Ａ）は図８（Ａ）と同じである。図１３（Ｂ）は、左側に補正前の画像に示し、右側に補正後の画像を示す図である。あたかもカメラの位置姿勢を補正量分移動させた視点およびカメラ姿勢で撮影したかのような被写体像として、縦並びに配置された補正画像となる。被写体空間の奥行きにより生じる視差の差分をも幾何学的に正しく補正された画像を得ることができる。

本実施例では、撮像装置の姿勢および位置の変化による振れに加えて、視点移動に伴う視差の差分の変動による影響を同時に抑制し、または打ち消した画像を生成できる。撮像装置の位置変化や姿勢変化に応じた画像の像振れ補正において、手振れ等による振動や画像合成時に副次的に付加される像の動きを補正した画像を取得することができる。

［第２実施例］
以下、第２実施例について説明する。図１４は本実施例の撮像装置１４００の構成を示すブロック図である。本実施例にて、視差画像取得部１４０１、位置姿勢検出部１４０２、画像合成部１４０４の各機能は、図１の視差画像取得部１０１、位置姿勢検出部１０２、画像合成部１０４と同様である。よって、それらの詳細な説明を省略し、相違点を説明する。このような説明の省略については後述の実施例でも同じである。

本実施例の振れ補正部１４０３は、光学的な像振れ補正を行う。例えば、撮像光学系の一部を構成するシフトレンズ等の補正レンズを移動させることによって抑振効果を得る振れ補正がある。また、撮像素子を移動させることによって抑振効果を得るイメージャ振れ補正や、鏡筒全体を水平軸、垂直軸を中心に旋回させることによって抑振効果を得る鏡筒振れ補正等がある。光学的な像振れ補正は撮像素子での受光前の光束に適用される。各振れ補正を単独で行う方法と、適宜に組み合わせる方法がある。

振れ補正量および合成混合率の計算部１４０５は、振れ補正量の計算処理において、撮像装置１４００の位置および姿勢の変化の検出情報を入力として、ユーザの意図したカメラワークとは異なる振れ成分のカメラワークを算出する。計算部１４０５は、光学的な像振れ補正を行う振れ補正部１４０３による補正可能範囲および過去の抑振状態等に基づいて、振れ補正量を計算する。また計算部１４０５は、合成混合率の計算処理において、画像合成における視差画像の混合率を計算する。

図１５のフローチャートを参照して、本実施例の処理を説明する。Ｓ２０１の処理については、第1実施例で説明した図５のＳ１０１と同じであるため、説明を省略する。Ｓ２０２において、計算部１４０５はＳ２０１で取得された現在のフレームまでのカメラの姿勢もしくは位置またはその両方の変化量をフィルタに入力して処理する。フィルタはIIR（無限インパルス応答）フィルタまたはFIR（有限インパルス応答）フィルタである。

計算部１４０５は、ユーザの意図しないカメラワークに基づく姿勢もしくは位置またはその両方の変化を光学的振れ補正の対象として振れ補正量を決定する。例えば、撮像光学系の一部を構成する補正レンズを移動させる振れ補正の場合、カメラの回転量（回転角θ）に対する像変化量のテーラー展開の一次の項である並進成分を、補正レンズの駆動により抑振する制御が行われる。カメラの回転に関するヨー成分、ピッチ成分、および光軸に垂直なカメラの位置変化に関する成分を補正することができる。並進成分とは、光学的振れ補正の効果として得られる、映像の平行移動による座標変化量を表す物理量である。撮像光学系がズームレンズ系の場合、焦点距離が変化すると、検出されるカメラの回転量が同じであっても、映像の平行移動量が変化してしまう。このため、制御上での扱いやすさを鑑み、カメラの回転量や平行移動量、焦点距離からなる複数の制御物理量をひと組として扱うこととする。例えば、光学的振れ補正の制御情報のひとつを、それ自体に光学系の焦点距離ｆを乗算するとセンサ面上での画像の平行移動量となるようにスケーリングする値として取り決める。つまり、カメラの回転角をθとして、

という式で角度として扱うものとする。Shは補正レンズ（シフトレンズ）のシフト量であり、光学的振れ補正機構の可動部が中立位置にあるときにゼロとする。

式33を応用し、カメラの光軸に対して垂直方向および水平方向の位置変化に関する補正量を、次式のように、回転の駆動量として与えることができる。

式34において、Ｔは位置の補正量であり、ｄは補正対象とする被写体までの距離である。これにより、本実施例では、光学的振れ補正において、電子的振れ補正の場合と同様に撮影画像に対し、あたかもユーザの意図したカメラワークの視点で撮影したような補正画像を得ることができる。第１実施例で説明したように、被写体が距離ｄに存在する厚みのない平面被写体である場合、光学的振れ補正を実施するだけで画像フレームをカメラの位置に関して抑振した補正像を得ることができる。また、被写体の奥行き方向に厚みがあるか、または複数の被写体から構成され、被写体の存在領域が奥行き方向に広がっている場合、光学的振れ補正処理では被写体像間に存在する視差の差分が補正後にも残存する。残留する視差の差分については、Ｓ２０５にて視差画像の混合率制御により合成して仮想視点画像を生成することで、打ち消すことができる。振れ補正量の位置に関する補正量の光軸に垂直な成分の大きさ、および方向に応じて画像合成の混合率が算出される。

Ｓ２０３では、Ｓ２０２で計算された振れ補正量に応じた駆動量に基づき、振れ補正動作が行われ、抑振効果が得られる。次のＳ２０４では、主レンズおよびマイクロレンズにより撮像素子上に結像された光束を撮像素子が受光して光電変換を行い、視差画像が取得される。この際、瞳分割撮像系、光線空間撮像系の撮像手段の場合、視差画像には像面のシフトが生じ得る。そこで、像面をシフトさせて画像信号を読み出すことにより、像面シフトの影響を打ち消す補正処理が行われる。視差画像の取得段階で像面シフト補正を行うと、第１実施例で仮想視点画像の合成時に言及した像面シフトの問題は生じない。像面シフト補正では、第１実施例のシフト補正と同様に、主レンズの種類やフォーカス距離、Fナンバー、ズームステートの組の情報をキー情報として、対応する基線長Ｌ(ＬH,ＬV)を保持する参照テーブルが用いられる。つまり主レンズの種類、フォーカス距離、Fナンバー、ズームステートに応じて、基線長を取得できる。基線長から、各々の視点画像の像面シフト量が判るので、補正量を決定して像面シフト補正を行うことができる。図１６を参照して、像面シフト補正を説明する。

図１６（Ａ）および（Ｂ）は、撮像素子１６０１と結像光学系の像側主点位置１６０２の関係を表す図である。図１６（Ａ）にて光軸の上流側（被写体側）から見た場合、図１６（Ｃ）に示すように結像光学系の光軸と撮像素子の交点である画像中心１６０３と、撮像素子１６０１から読み出される画像の中心１６０４とが一致している。撮像素子領域内の矩形枠１６０５は画像信号の読出し領域である。他方、図１６（Ｂ）の状態に対応する図１６（Ｄ）は、像面シフトが起きた状態の撮像素子１６０１と、結像光学系の像側主点位置１６０２との関係を表す図である。図１６（Ｄ）に示すように、結像光学系の光軸と撮像素子の交点である画像中心１６０３と、撮像素子１６０１から読み出される画像の中心１６０４との位置関係にずれが生じている。このずれは、撮像素子１６０１からの画像の読出し位置を移動することで像面シフト補正が行われて除去または低減される。図１６（Ｅ）は画像信号の読出し位置を移動させ、像面シフト補正を行った状態を示す。矩形枠１６０５において画像中心１６０３と、読み出される画像の中心１６０４とが一致している。

視点画像の像面シフト補正については、別途に画像中心を表現する付帯データを追加し、また非画像領域をパディングして画像領域をα値で区別することでも実現できる。あるいは各視点画像のサイズをシフト量に従い可変するデータ形式の工夫や画像処理の追加でも実現できる。図１６（Ｆ）は、画像中心を表現する付帯データを追加せず、画像中心を出力画像の中心におく代わりに、余裕をもって非画像領域をパディングして画像を表す例である。画像中心１６０３は、実際には画像上に存在しない画像中心を示しており、出力画像の中心に位置している。画像中心に対する画像領域を出力画像内で移動させ、受光した画像領域をαマップで分かるようにデータが表現される。図１６（Ｆ）の左側に示す画像で白い領域が光束を受光した領域を表しており、黒い領域がパディング領域である。図１６（Ｆ）の右側にαマップの例を示す。画像領域１６０６に対し、画像のパディングされた領域に非画像領域の値が割り振られる。パディング領域を含んだ画像領域が複数の視点画像間で同じサイズになるようにすると扱いやすい。像面シフト補正を行った状態の光学系で取得したデータ値を得ることができるようになる。以上のように、撮像素子の読み出し過程の処理では明示的に処理せず、出力される画像のフォーマット上で像面シフト補正の内容を反映させることができる。これにより、撮影時の像面シフト処理は必要がなくなる。撮影時のカメラパラメータ等の撮影条件に基づき、参照テーブルから判明する基線長情報を用いて、視差画像の像面シフト補正を撮像後に行うことが可能となる。

図１５のＳ２０５で画像合成部１４０４は、Ｓ２０４で取得された複数の視点画像を、Ｓ２０２で計算された混合率に基づいて合成し、仮想視点画像を生成する。抑振された画像の視差の差分が打ち消され、あたかも被写体の奥行きがフォーカス距離位置に圧縮されたような画像が得られる。

本実施例では、光学的振れ補正により、光束を撮像素子が受光する前に抑振が行われる。この場合、抑振時に振れ補正量から、混合率制御による仮想視点画像の合成により副次的に生じる視点の移動分を事前に差し引いておくことで過剰な補正を防止できる。過剰な補正は、従来の装置における振れ補正と混合率制御による仮想視点画像合成との連携処理で生じるものである。実際には、光学的振れ補正による補正量から混合率制御による副次的に発生する視点の移動分をすべて差し引いてしまうと、ブラーによる像振れが生じてしまう。そこで、知覚上で気になるサブfps（frames per second）程度の中程度より低い周波数成分をオフセットとして補正量から差し引く等の処理が行われる。また複数の光学的振れ補正手段を備えた構成には、例えばレンズ装置が第１の振れ補正手段として、補正レンズおよびその駆動部を備え、カメラ本体部が第２の振れ補正手段として、撮像素子の移動による振れ補正機構を有する構成がある。このような場合、複数の振れ補正手段を組み合わせて、混合率制御による副次的な視点の移動分を差し引く必要がある。具体的にはレンズ装置内の第１の振れ補正手段は、従来通り独立して振れ補正を行う。他方、撮像素子を駆動する第２の振れ補正手段は、混合率制御により副次的に付加される像の動きに対して、中程度より低い周波数成分を差し引くように振れ補正を行う。複数の振れ補正手段に適した方法で連携して像振れ補正動作が行われる。

仮想視点画像生成での混合率制御により変化してしまう像面シフトの影響については、混合率と参照テーブルにより得られる像面シフト量から補正量を算出し、撮像素子から画像信号を読み出す処理時に補正することができる。

本実施例では、光学的振れ補正と、視差画像の混合率制御による仮想視点画像合成とを組み合わせて実施する際に、過剰補正を防止または抑制することができる。被写体空間の奥行きにより生じる視差の差分の影響が補正された、ユーザの意図したカメラワークに従った撮影画像を取得できる。

［第３実施例］
図１７および図１８を参照して第３実施例について説明する。図１７は本実施例の撮像装置１７００の構成を示すブロック図である。前記実施例との相違点は、振れ補正部１７０３が、第１実施例の電子的な振れ補正部１０３と、第２実施例の光学的な振れ補正部１４０３の両方を備えることである。つまり、本実施例では電子的振れ補正と光学的振れ補正を併用し、多様な振れ補正を行うことができる。本実施例にて、視差画像取得部１７０１、位置姿勢検出部１７０２、画像合成部１７０４、計算部１７０５の機能は、図１の視差画像取得部１０１、位置姿勢検出部１０２、画像合成部１０４、計算部１０５と同様であるので詳細な説明を省略する。

図１８のフローチャートを参照して、本実施例の処理を説明する。Ｓ３０１にてカメラ位置姿勢変化の取得後、Ｓ３０２にて合成混合率、光学的振れ補正量、および電子的振れ補正量が計算される。Ｓ３０３で光学的振れ補正が行われ、Ｓ３０４での視差画像の取得後、Ｓ３０５にて仮想視点画像が合成され、Ｓ３０６で電子的振れ補正が行われる。

Ｓ３０６にて振れ補正部１７０３は、Ｓ３０３の光学的振れ補正では補正できない面内回転やあおりのような成分を幾何変形処理により補正する。ローリングシャッタ機能をもつ撮像素子の場合には、ローリングシャッタ歪補正が行われる。また、視差画像に像面シフト補正が行われない場合には、視差画像から混合率制御により仮想視点画像を合成する際に像面シフト補正が適用される。撮像素子での処理の制約のために、像面シフトの影響を十分に補正しきれていない場合には、電子的な補正（画像処理）によって、像面シフトの影響を消し去ることができる。さらに振れ補正部１７０３は、Ｓ３０３の光学的振れ補正における振れの残留分、つまり補正しきれずに残った振れを消去または低減する補正を行う。

本実施例では、光学的振れ補正と、電子的振れ補正と、視差画像の混合率制御による仮想視点画像合成とを組み合わせて実施する。被写体空間の奥行きにより生じる視差の差分の影響が補正された、ユーザの意図したカメラワークに従った撮影画像を、より高品質で取得できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・撮像装置
１０１・・視差画像取得部
１０２・・位置姿勢変化の検出部
１０３・・振れ補正部
１０４・・振れ補正量および合成混合率の計算部
１０５・・画像合成部

Claims (19)

1. 視点の異なる複数の視点画像のデータを取得する第１の取得手段と、
   前記複数の視点画像のデータを生成した撮像手段の位置の変化量を取得する第２の取得手段と、
   前記複数の視点画像のデータを用いて、前記複数の視点画像とは視点が異なる画像のデータを生成する生成手段と、
   前記視点画像または前記生成手段により生成される画像の振れを補正する振れ補正手段と、
   前記第２の取得手段により取得される前記変化量を用いて、前記振れ補正手段の補正量、および、前記生成手段が前記画像を生成する際に用いる混合率を算出する計算手段と、を備え、
   前記計算手段は、前記混合率の変化により生じる視点位置の変化量が減算された前記補正量を算出して前記振れ補正手段に出力し、
   前記振れ補正手段は、前記視点画像または前記生成手段により生成される画像に対して、画像処理によって振れ補正を行う
   ことを特徴とする画像処理装置。
2. 前記第２の取得手段は、前記撮像手段の姿勢の変化量をさらに取得し、
   前記計算手段は、前記第２の取得手段により取得される前記位置および姿勢の変化量に対応する前記補正量および混合率を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の取得手段は、前記複数の視点画像のデータを用いて検出された前記撮像手段の位置または姿勢の変化量を取得する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記計算手段は、前記複数の視点画像の視点と、新たに設定された視点との位置関係に対応する重みづけの係数を、前記複数の視点画像ごとに算出することにより、前記混合率を算出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記計算手段は、結像光学系の種類、絞り値、ズームステート、およびフォーカス距離のいずれか１つ以上によって特定した視点間の基線長情報に基づく前記混合率を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の視点画像に対する像面シフト補正を行う補正手段を備える
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記計算手段から取得した前記基線長情報を用いて、前記複数の視点画像に対する像面シフト補正を行う補正手段を備える
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記補正手段は、前記生成手段によって画像のデータが生成される際に、当該画像の像面シフト補正を行う
   ことを特徴とする請求項７に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   前記撮像手段と、を備える撮像装置。
10. 請求項２に記載の画像処理装置と、
    前記撮像手段と、
    前記撮像手段の位置および姿勢の変化量を検出する検出手段を備え、
    前記第２の取得手段は前記検出手段である
    ことを特徴とする撮像装置。
11. 前記撮像手段は、結像光学系の異なる瞳部分領域をそれぞれ通過した光束を受光して前記複数の視点画像の信号を出力する
    ことを特徴とする請求項９または請求項１０に記載の撮像装置。
12. 前記撮像手段は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、前記複数の光電変換部から前記複数の視点画像の信号を出力する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 撮像手段と、
    視点の異なる複数の視点画像のデータを取得する第１の取得手段と、
    前記複数の視点画像のデータを生成した前記撮像手段の位置の変化量を取得する第２の取得手段と、
    前記複数の視点画像のデータを用いて、前記複数の視点画像とは視点が異なる画像のデータを生成する生成手段と、
    前記視点画像または前記生成手段により生成される画像の振れを補正する振れ補正手段と、
    前記第２の取得手段により取得される前記変化量を用いて、前記振れ補正手段の補正量、および、前記生成手段が前記画像を生成する際に用いる混合率を算出する計算手段と、を備え、
    前記振れ補正手段は、結像光学系により結像される光束に対して振れを補正する光学的な振れ補正手段であり、前記生成手段が画像を生成する際に用いる前記混合率の変化により生じる視点位置の変化量が減算された前記補正量にしたがって振れ補正を行う
    ことを特徴とする撮像装置。
14. 撮像手段と、
    視点の異なる複数の視点画像のデータを取得する第１の取得手段と、
    前記複数の視点画像のデータを生成した前記撮像手段の位置および姿勢の変化量を取得する第２の取得手段と、
    前記複数の視点画像のデータを用いて、前記複数の視点画像とは視点が異なる画像のデータを生成する生成手段と、
    前記視点画像または前記生成手段により生成される画像の振れを補正する振れ補正手段と、
    前記第２の取得手段により取得される前記変化量を用いて、前記振れ補正手段の補正量、および、前記生成手段が前記画像を生成する際に用いる混合率を算出する計算手段と、を備えるとともに、
    前記振れ補正手段として、結像光学系により結像される光束に対して振れを補正する光学的な振れ補正手段、および前記視点画像または前記生成手段により生成される画像に対して画像処理によって振れ補正を行う電子的な振れ補正手段を備え、
    前記光学的な振れ補正手段は、前記撮像手段の位置または姿勢の変化量から前記計算手段が計算した第１の振れ補正量に基づく振れ補正を行い、
    前記電子的な振れ補正手段は、前記撮像手段の位置または姿勢の変化量から前記計算手段が計算した第２の振れ補正量に基づく振れ補正を行い、
    前記計算手段は、前記生成手段が前記画像を生成する際に用いる混合率の変化により生じる視点位置の変化量が減算された前記第１の振れ補正量を算出する
    ことを特徴とする撮像装置。
15. 前記複数の視点画像に対する像面シフト補正を行う補正手段を備え、
    前記補正手段は、前記撮像手段にて前記複数の視点画像のデータを取得する際に画像信号の読出し領域をシフトさせることで像面シフト補正を行う
    ことを特徴とする請求項１３または請求項１４に記載の撮像装置。
16. 視点の異なる複数の視点画像を処理して画像の振れ補正を行う画像処理装置にて実行される画像処理方法であって、
    前記複数の視点画像のデータを取得する第１の取得工程と、
    前記複数の視点画像のデータを生成した撮像手段の位置の変化量を取得する第２の取得工程と、
    前記第２の取得工程で取得された前記変化量を用いて、前記振れ補正の補正量、および、前記複数の視点画像のデータを用いた画像の生成に用いる混合率を算出する計算工程と、
    前記混合率を用いて、前記複数の視点画像とは視点が異なる画像のデータを前記複数の視点画像のデータから生成する生成工程と、
    前記補正量にしたがって、前記視点画像または前記生成工程で生成された画像の振れを補正する振れ補正工程と、を有し、
    前記計算工程では、前記混合率の変化により生じる視点位置の変化量が減算された前記補正量を算出して前記振れ補正手段に出力する処理が行われ、
    前記振れ補正工程では、前記視点画像または前記生成工程により生成される画像に対して、画像処理によって振れ補正が行われる
    ことを特徴とする画像処理方法。
17. 視点の異なる複数の視点画像を処理して画像の振れ補正を行う撮像装置にて実行される画像処理方法であって、
    視点の異なる複数の視点画像のデータを取得する第１の取得工程と、
    前記複数の視点画像のデータを生成した撮像手段の位置の変化量を取得する第２の取得工程と、
    前記第２の取得工程で取得された前記変化量を用いて、前記振れ補正の補正量、および、前記複数の視点画像のデータを用いた画像の生成に用いる混合率を算出する計算工程と、
    前記混合率を用いて、前記複数の視点画像とは視点が異なる画像のデータを前記複数の視点画像のデータから生成する生成工程と、
    前記補正量にしたがって、前記視点画像または前記生成工程で生成される画像の振れを振れ補正手段が補正する振れ補正工程と、を有し、
    前記振れ補正手段は、結像光学系により結像される光束に対して振れを補正する光学的な振れ補正手段であり、前記振れ補正工程では前記生成工程にて画像を生成する際に用いる前記混合率の変化により生じる視点位置の変化量が減算された前記補正量にしたがって振れ補正が行われる
    ことを特徴とする画像処理方法。
18. 視点の異なる複数の視点画像を処理して画像の振れ補正を行う撮像装置にて実行される画像処理方法であって、
    視点の異なる複数の視点画像のデータを取得する第１の取得工程と、
    前記複数の視点画像のデータを生成した撮像手段の位置および姿勢の変化量を取得する第２の取得工程と、
    前記第２の取得工程で取得された前記変化量を用いて、前記振れ補正の補正量、および、前記複数の視点画像のデータを用いた画像の生成に用いる混合率を算出する計算工程と、
    前記混合率を用いて、前記複数の視点画像とは視点が異なる画像のデータを前記複数の視点画像のデータから生成する生成工程と、
    前記補正量にしたがって、前記視点画像または前記生成工程で生成される画像の振れを振れ補正手段が補正する振れ補正工程と、を有し、
    前記振れ補正手段は、結像光学系により結像される光束に対して振れを補正する光学的な振れ補正手段、および前記視点画像または前記生成工程で生成される画像に対して画像処理によって振れ補正を行う電子的な振れ補正手段であり、
    前記振れ補正工程にて、
    前記光学的な振れ補正手段は、前記撮像手段の位置または姿勢の変化量から前記計算工程で計算された第１の振れ補正量に基づく振れ補正を行い、
    前記電子的な振れ補正手段は、前記撮像手段の位置または姿勢の変化量から前記計算工程で計算された第２の振れ補正量に基づく振れ補正を行い、
    前記計算工程では、前記生成工程にて前記画像を生成する際に用いる混合率の変化により生じる視点位置の変化量が減算された前記第１の振れ補正量が算出される
    ことを特徴とする画像処理方法。
19. 請求項１６から１８のいずれか１項に記載の各工程をコンピュータに実行させるためのプログラム。
    

Images