JP2015201722A

JP2015201722A - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Info

Publication number: JP2015201722A
Application number: JP2014078693A
Authority: JP
Inventors: 法人日浅; Norito Hiasa; 弘至畠山; Hiroyuki Hatakeyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-04-07
Filing date: 2014-04-07
Publication date: 2015-11-12
Anticipated expiration: 2034-04-07
Also published as: JP6418770B2; US20150287208A1

Abstract

【課題】複数の視差画像を合成した際の画像のノイズを低減すること。
【解決手段】被写体空間を異なる視点から撮像した視差画像を含む入力画像に対し再構成処理を行い再構成画像を生成する画像処理装置（１０５）であって、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出手段（１０５ｃ）と、前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出手段（１０５ｄ）と、前記画素群の少なくとも一つの画素の信号値を前記平均信号値で置換する置換手段（１０５ｂ）と、前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成手段（１０５ｅ）と、を有する。
【選択図】図１

Description

本発明は、被写体空間を異なる視点から撮像した複数の視差画像に対する画像処理装置に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１では「ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。光の２次元強度分布と光線の角度情報は、ライトフィールドと呼ばれる。ライトフィールドは視差画像に対応するため、これを取得することで被写体空間の３次元的な情報を取得できる。視差画像（ライトフィールド）は再構成処理を行うことで、リフォーカスと呼ばれる撮影後のピント制御や、被写界深度の制御、撮影視点の変更などが可能となる。特許文献１では、リフォーカスするピント位置に応じて、視差画像を合成する際の重み付け係数を決定し、リフォーカス画像を得る手法が開示されている。

一方で、表示デバイスの進歩に伴い、撮像装置の更なる高画質化も要求されている。高画質化のためには画像のノイズを低減することが重要となる。特許文献２では、複数の撮像系で取得した画像を合成することで、ノイズを低減する手法が開示されている。

特許第４８２６１５２号特開平６−８６３３２号公報

ＲｅｎＮｇ，ｅｔａｌ．，"ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙｗｉｔｈａＨａｎｄ−ｈｅｌｄＰｌｅｎｏｐｔｉｃＣａｍｅｒａ"，２００５ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＣＴＳＲ

しかしながら、複数の視差画像の再構成から被写界深度の制御や撮影視点の変更を行うと、ノイズが増大してしまう場合があった。これは、再構成に使用される視差画像が一部に限定される（視差画像の枚数が減る）、或いは各視差画像が不均一性の高い重みで合成されることに起因する。この現象に関する詳細な説明は、後述する。

特許文献１では、各視差画像を合成する重みが不均一になった際に生じるノイズの低減に関しては、言及されていない。また、特許文献２に開示された手法は、単に複数の視差画像を合成してノイズ低減を行うものである。故に、前述のように合成する視差画像の枚数が減ったり、各視差画像の重みが不均一になったりする場合には、ノイズが増大してしまう。

そこで、本発明の目的は、複数の視差画像を合成した際の画像のノイズを低減することである。

本発明の一側面としての画像処理装置は、被写体空間を異なる視点から撮像した視差画像を含む入力画像に対し再構成処理を行い再構成画像を生成する画像処理装置であって、前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出手段と、前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出手段と、前記画素群の少なくとも一つの画素の信号値を前記平均信号値で置換する置換手段と、前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の視差画像を合成した際の画像のノイズを低減することができる。

実施例１及び３における撮像装置のブロック図である。実施例１における撮像光学系の概略構成図である。実施例２における撮像光学系の概略構成図である。実施例２の変形例における撮像光学系の概略構成図である。実施例３における撮像光学系の概略構成図である。実施例１における撮像光学系の詳細な断面図である。生成された視差画像の例とその合成に関する説明図である。実施例１における撮像素子とレンズアレイの関係を示した図である。実施例１における画像合成の重みと再現される瞳の関係を示した図である。実施例１における撮像領域と被写体空間の関係を示した図である。実施例１及び２において２画素が同一領域の情報を取得する像面を示した図である。実施例１乃至３における処理フローの説明図である。実施例２における画像処理システムのブロック図である。実施例２における画像処理システムの外観図である。実施例２における撮像光学系の詳細な断面図である。実施例３における撮像光学系の概略構成図である。実施例３における撮像光学系の一部の詳細な断面図である。実施例３において２画素が同一領域の情報を取得する物体面を示した図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本発明の画像処理に用いる入力画像は、被写体空間を異なる視点から撮像した視差画像である。この入力画像を取得する撮像装置の例として、図２乃至４に示した結像光学系の像側にレンズアレイを配置した構成や、図５に示した複数の結像光学系を配列した構成などが挙げられる。また、その他に視差画像を取得する例として、結像光学系と撮像素子を有する撮像装置の位置を変化させながら、複数回撮影を行う方法が考えられる。ただし、この場合、視差画像は互いに異なる時間における被写体空間を撮像している。故に、被写体空間に移動物体が存在する場合、正しい視差情報を得ることができない。よって、視差画像を取得する撮像装置は図２乃至５に示したような、同時に複数の視差画像を得られる構成が望ましい。

ここで、図２乃至５の被写体面上には、人物や物体が必ずしも存在していなくてよい。これはリフォーカスによって、被写体面より奥、或いは手前に存在する人物や物体に、撮影後でもピント位置を制御することができるためである。

さらに、以下の実施例の説明は、簡単のために１次元系を用いて行う場合があるが、２次元系に関しても同様の議論が成り立つ。

本発明の画像処理方法を撮像装置に適用した場合の第１の実施例について述べる。図１及び図２を用いて、本発明の画像処理方法を適用した撮像装置の基本構成を説明する。

図１において、不図示の被写体空間から、撮像光学系１００へ光線が入射する。撮像光学系１００は、図２に示されるように、被写体側から結像光学系１０１、レンズアレイ１０２、複数の画素が配列された撮像素子１０３を備える。撮像光学系１００は、被写体空間を異なる視点から撮像した視差画像を含む入力画像を生成することができ、撮像手段として機能する。撮像素子１０３は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。結像光学系１０１及びレンズアレイ１０２を通過した光線のエネルギーは、撮像素子１０３でアナログの電気信号に変換される。該アナログ信号はＡ／Ｄコンバータ１０４で、さらにデジタル信号へと変換される。該デジタル信号は、画像処理部１０５にて所定の処理を施され、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、状態検知部１０８から得られた撮像装置の撮影条件情報も保存される。撮影条件情報とは、撮像光学系１００の構成、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を得てもよいし、撮像光学系１００に関する情報については制御部１０７から得ることもできる。

画像記録媒体１１０に保存された画像を表示部１０６に表示する際は、画像処理部１０５で本実施例の特徴であるノイズ低減処理と表示画像（再構成画像）を生成するための再構成処理が行われる。このように、本実施例の画像処理部１０５は、例えば、画像記録媒体１１０から得られる入力画像に対し再構成処理を行い再構成画像を生成する画像処理装置として機能する。画像処理部１０５は、該入力画像からノイズ低減に関わる画素群を抽出する抽出部１０５ｃと、抽出された画素群の各信号値に基づいて平均信号値を算出する算出部１０５ｄとを有する。また、画素群の少なくとも一つの画素の信号値を該平均信号値で置換する信号値置換部１０５ｂを有する。さらに、該平均信号値で置換された画素を含む入力画像から再構成画像を生成する生成部１０５ｅを有する。また、画像処理部１０５は、画像記録媒体１１０に保存された、上記入力画像を撮像した際の撮影条件情報を取得する撮影条件情報取得部１０５ｆと、被写体空間の距離情報を取得する距離情報取得部１０５ａとを有する。抽出部１０５ｃ（抽出手段）は、撮影条件情報取得部１０５ｆ（撮影条件情報取得手段）で取得された撮影条件情報と距離情報取得部１０５ａ（距離情報取得手段）で取得された被写体空間の距離情報を用いて、入力画像からノイズ低減に関わる画素群を抽出する。算出部１０５ｄ（算出手段）は、抽出された画素群の各信号値に基づいて平均信号値を算出し、信号値置換部１０５ｂ（置換手段）は、該平均信号値で画素群の少なくとも一つの信号値を置換し、ノイズ低減を行う。これらの処理に関しては、後で詳細に説明する。ノイズ低減された画像は、生成部１０５ｅ（生成手段）により所望の設定（画像の視点、ピント位置、被写界深度など）で再構成され、再構成された再構成画像は、表示部１０６に表示される。また高速化のため、所望の設定を予め記憶部１０９に記憶し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。同様に高速化のため、撮影後、画像記録媒体１１０に撮影画像を記録する際、上記ノイズ低減処理を行っておいてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。

以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系１００の機械的な駆動はシステムコントローラ１１１の指示によって制御部１０７で行われる。

次に、実施例１における撮像光学系１００の構成に関して説明する。撮像光学系１００の概略構成図は、図２で示される。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。さらに、レンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３が、概ね共役関係となるように構成されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、該光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、視差画像（ライトフィールド）が取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１０３では、被写体面２０１上の同一の領域を複数の視点から撮影した画素の集まりが配列された画像が取得される。

本実施例における撮像光学系１００の詳細な断面図は、図６で示される。図６の結像光学系１０１は、ズームレンズである。正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６によって構成されている。ＳＰは絞りである。変倍時に各レンズ群の間隔が変化し、第２レンズ群Ｌ２を光軸方向に駆動させることで合焦を行う。レンズアレイ１０２は、本実施例では固体の単レンズによって構成されているが、複数枚からなっていてもよいし、液体レンズ、液晶レンズ、回折光学素子などを使用してもよい。また、実施例１においてレンズアレイ１０２を構成する小レンズは、両側が凸形状となっているが、収差の観点から像側の面は凸形状、物体側の面は平面又は凸形状であることが望ましい。像側の面を凸形状にすることで、非点収差を抑えられ良好な画像を取得できる。収差の影響が強いと、再構成画像が鮮鋭に形成されなくなってしまう。また、物体側の面を平面又は凸形状にすることでも、収差が抑制されて像の鮮鋭さを増すことができる。

ではここから、リフォーカスや被写界深度制御、撮影視点変更に関する再構成処理について説明する。各再構成処理に関しては、非特許文献１で説明されているので、ここでは簡単に述べる。

まず、リフォーカスに関して説明する。リフォーカスの基本的な原理は、図２乃至５のいずれの構成でも共通である。ここでは図２の構成を例にとって説明する。図２では、結像光学系の瞳が２次元で２５分割（１次元で５分割）されているため、２５視点の画像が取得されていることとなる。ここで、ある分割された瞳領域に対応する画像を単視点画像と呼ぶこととする。２５視点の単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。図７（ａ）及び（ｂ）は、単視点画像の例である。被写体距離が、円柱、立方体、人の顔の順で大きくなるような撮影シーンとなっているため、視差によって被写体の相対位置が変化している。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって、異なる被写体距離に位置する被写体がぼける。図７（ｃ）は、人の顔が重なるように視差画像を重ね合わせた例である。図面を分かりやすくするため、各単視点画像を実線、破線、一点鎖線で示し、重ねる画像は１次元に限定した。この際に生じるボケは、合成に使用した単視点画像に対応した瞳で決まり、２５視点全ての画像を合成すると結像光学系１０１で撮影した画像のボケを再現することができる。単視点画像の合成時に重ね合わせる被写体は任意なので、これにより結像光学系１０１で任意の被写体に合焦して撮影した画像を再現することができる。これが撮影後のピント制御、つまりリフォーカスの原理である。

ここで、実施例１における単視点画像の生成方法を説明しておく。図８は、図２のレンズアレイ１０２と撮像素子１０３の関係を描いた図である。破線の円は、１つの小レンズを通過した光線が入射する画素の領域を表したもので、結像光学系１０１の瞳と対応している。実際のレンズでは、高い像高でヴィネッティングが存在するが、ここでは簡単のためその影響を無視して描画した。また、図８は小レンズが格子配列された場合に対応しているが、小レンズの配置はこれに限定されない。例えば、六回対称性を持った配列をしていてもよいし、規則的な配列から各小レンズを微小にずらしてもよい。図８の斜線は、結像光学系１０１の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線の画素を抽出することで、結像光学系１０１の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線で表された各円に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。

では次に、撮影後の被写界深度制御と撮影視点の変更について述べる。各単視点画像は、結像光学系１０１の瞳を分割した画像になっている。故に、全視差画像を合成すれば結像光学系１０１の瞳を完全に再現でき、一部の視差画像のみを合成すれば結像光学系１０１の部分的な瞳、つまり絞りを絞った状態を再現できる。図９は、図８において１つの小レンズに対応する画素領域を抽出した図である。破線の円は、結像光学系１０１の瞳に対応し、各画素が分割した瞳領域に対応する。ここで、分割された瞳の各領域に、ある重みをかけて合成することを考える。図９は、その重みを明暗で示している。黒が重みゼロで、明るくなるほど重みが大きくなる。図９（ａ）のように全ての瞳領域を均等な重みで合成すれば、破線の円で表される結像光学系１０１の瞳が再現できる。図９（ｂ）のように瞳の周辺部における重みをゼロにすると、部分的な瞳の状態、つまり絞りを絞った状態の結像光学系１０１を再現できる。図９（ａ）の条件で再構成した画像が、例えば図７（ｃ）であり、図９（ｂ）の条件で再構成した画像が図７（ｄ）である。ただし、図面を分かりやすくするため、図７では重ねる画像を１次元に限定した。図９（ｂ）は、図９（ａ）より瞳が小さいのでＦ値が大きくなり、再構成画像の被写界深度が図７（ｄ）のように深くなる。また、図９（ｂ）では各瞳領域の重みを２種類の値に限定したが、図９（ｃ）のように領域に応じて複数の値（３以上の値）をとってもよい。さらに、瞳の周辺部の重みはゼロでなくてもよく、中心領域に対して充分に小さい値としてもよい。ただし、再構成処理の高速化のため、合成する画像の枚数は少ない方が望ましい。故に、結像光学系１０１の瞳を部分的に再現した画像を生成する際は、対応する瞳領域以外の重みはゼロとし、視差画像を部分的に用いることが望ましい。

以上のように、視差画像合成時における各瞳領域の重みを変化させることで、被写界深度の制御を行うことができる。これは、撮影視点の変更に関しても同様である。図９（ｄ）のように、合成する瞳領域の重心を瞳中心からシフトさせれば、再構成画像の撮影視点を変更することができる。

ではここから、本実施例の特徴であるノイズ低減処理に関して説明する。ここでノイズは、ショットノイズが支配的だとする。また説明を簡単にするため、撮像素子１０３のゲインはリニアであるとする。まず、従来の問題について述べる。例として、図２の構成で図７に示した画像を取得した場合を考える。結像光学系１０１の瞳を完全に再現するには、２５視点の全視差画像をほぼ均一な重みで合成すればよい。Ｍ（＞１）個の画素が合成されると、平均化によってノイズはＭ^−０．５倍に低減される。これはショットノイズがポワソン分布に従うため、検出する光子数がＭ倍になった時、Ｓ／Ｎ比がＭ^０．５倍になるからである。故に、２５視点の重ね合わせによって、再構成画像のノイズは１／５倍程度まで低減されることとなる。しかし、被写界深度の制御や撮影視点の変更を行う場合、各単視点画像の重みは図９（ｂ）又は（ｄ）のようになり、合成する視差画像の枚数が低下してしまう。図９（ｂ）の条件なら９視点の合成となり、ノイズ低減効果は１／３倍に減少してしまう。図９（ｂ）では、瞳の周辺部の重みをゼロとしたが、有限の非常に小さな値としても、ゼロの際とほぼ同等の被写界深度を持つ画像が生成できる。しかしこの場合も、各瞳領域を合成する重みが非常に不均一となっているため、平均化によるノイズ低減の効果は１／３倍程度からほとんど変わらない。

ここまでの議論をまとめると、以下のようになる。被写界深度を深くした場合や、視点を結像光学系１０１の瞳中心から移動した場合には、各瞳領域を合成する重みの不均一性が増す。不均一性が増せば、平均化によるノイズ低減の効果が減る。故に、被写界深度制御や撮影視点の変更の際に、ノイズ低減効果が弱くなってしまうことが分かる。

次に、本実施例の特徴であるノイズ低減処理について述べる。今、被写体空間に存在する物体の表面は均等拡散面であるとする。図２の構成において、被写体面２０１は、全ての単視点画像間で視差がない。つまり、被写体面２０１にある物体を撮像している画素は、どの視点においても同一の領域を撮像しているため、ノイズを除けば同じ信号値を持つ。故に、それらの画素群における平均信号値を求め、元の信号値を該平均信号値で置換する。これにより、置換された画素は、再構成時の合成枚数や重みに関係なく、全視差画像を合成した際と同等のノイズ低減効果を得ることができる。

該処理に関し、式を用いて説明する。同一領域の情報を取得した画素群の中で、ｊ番目の視点における画素の信号値をＳ_ｊとする。Ｓ_ｊはノイズ成分ｎ_ｊと本来の信号値ｓ_ｊで、Ｓ_ｊ＝ｓ_ｊ＋ｎ_ｊと表される。画素群内に含まれる視点の数がＭの時、各視点の画素の平均信号値Ｓ_ｍは以下の式（１）で表される。

ここで、ｗ_ｊは重みを表す係数であり、以下の式（２）を満たす。

ノイズｎ_ｊを除いた信号値ｓ_ｊが同じ値ｓと置けるならば、式（１）は以下の式（３）のように書き換えられる。

平均信号値Ｓ_ｍで、画素群の各信号値Ｓ_ｊを置換する。Ｓ_ｍは平均化によって、Ｓ_ｊよりノイズが低減された信号となっている。例えば重みｗ_ｊを全てのｊに対して１／Ｍと置いた場合、Ｓ_ｍのＳ／Ｎ比はＳ_ｊに対してＭ^０．５倍になる。ここで、平均信号値は各信号値を同じ重みで平均した値でもよいし、異なる重みで算出した値でもよい。後者の場合、まず均等な重みで平均信号値を算出し、置換前の信号値の中で平均信号値に近い画素の重みを大きくする、等の手法が考えられる。

望ましくは、各画素の重みを該画素へ入射した光の光量に応じて決定するとよい。図９（ａ）のように結像光学系１０１の瞳が等面積に分割されていない場合や、結像光学系１０１のヴィネッティングの影響などにより、各単視点画像には光量の差が発生する。光量が少ない画素は、ノイズの影響が大きくなるので、これらの画素は重みを小さくすることが望ましい。

被写界深度制御や撮影視点の変更では、先に述べたように視差画像の合成枚数低下、或いは合成する重みの不均一性から、ノイズ低減効果が減少してしまう。しかし、上記置換を行ってから再構成をすることで、画像の一部の領域（被写体面２０１を撮像した領域）で高いノイズ低減効果を得ることができる。

さて、ここまでの説明では簡単のため、平均信号値に置換する画素は被写体面２０１を撮像している画素に限定した。しかし、被写体空間の同一領域の情報を取得している画素ならば、被写体面２０１を撮像している画素以外でも構わない。図１０は、画素１０３ａ乃至１０３ｄを、レンズアレイ１０２及び結像光学系１０１を介して被写体空間へ投影した図である。図１０から、物体距離２０４ａでは画素１０３ａと画素１０３ｄが同じ領域（同一領域）の情報を取得していることが分かる。また、同様に物体距離２０４ｂでは、画素１０３ｂと画素１０３ｃが同一領域の情報を取得している。このような物体距離に存在する被写体の情報が撮像素子１０３で取得されている場合、その被写体に関する画素はノイズを除いて概ね同じ信号値である。よって、平均信号値を算出して置換することで、前述と同様のノイズ低減効果が得られる。２つの視点における２つの画素が、どの物体距離で同一領域の情報を取得しているかは、図１１に示す関係で求められる。図１１は、異なる任意の２画素を示したもので、楕円はレンズアレイ１０２の任意の小レンズ、長方形は該任意の小レンズに対応する任意の画素、一点鎖線は小レンズの主点と画素の中心を通る光線を表している。ここで、（ｘ_ｍｌ，ｙ_ｍｌｉ）は小レンズの主点の座標、（ｘ_ｐ，ｙ_ｐｉ）は画素の中心の座標である。ｉ＝１，２であり、２画素は異なる画素なので、ｙ_ｍｌ１＝ｙ_ｍｌ２でもよいが、ｙ_ｐ１≠ｙ_ｐ２である。また、同一視点内において同一領域の情報を取得する画素は存在しないので、ｙ_ｍｌ１−ｙ_ｐ１≠ｙ_ｍｌ２−ｙ_ｐ２である。２本の光線の交わる面２０３の座標ｘ-_２０３は、以下の式（４）で記述される。

結像光学系１０１を介して面２０３と共役な面が、２画素が同一領域の情報を取得する物体距離である。その関係は、図１０の面２０３と物体距離２０４ｂに示した。ここで、簡単のために座標系を２次元系とし、かつ小レンズの主平面間隔を無視して考えた。実際の系では、式（４）を３次元座標に拡張して同様に考えればよい。また、主平面間隔も考慮して、面２０３と共役な物体距離を算出することが望ましい。各画素がどの物体距離の情報を取得しているかは、被写体空間の距離情報を得ることで分かる。該距離情報は、視差画像から算出してもよいし、赤外線などを用いた測距計を用いて取得してもよい。

ここで注意しなければならないのは、図２の構成の場合、被写体面２０１で常に同一の領域を撮像している画素が存在したが、図３乃至図５の構成では必ずしも存在しないことである。しかし、図３乃至図５の構成でも同様に、画素を被写体空間へ投影することで、同一領域の情報を取得している画素とその物体距離を求めることができる。

また、平均信号値で置換する画素は、必ずしも完全に同一の領域を撮像している必要はない。被写体空間の光強度分布は、被写体のエッジ部を除けば連続的に分布している。つまり、画素に対応している領域が、エッジ部を除いておおよそ一致していれば、それらの信号値はノイズを除いてほぼ同じとみなせる。例えば、被写体空間へ投影した２つの画素が、該投影された画素の面積の半分以上重なり合っていれば、ほぼ同一領域の情報を取得した画素と考えてもよい。本発明では、このようなほぼ同一領域の情報を取得した画素群を抽出した場合も、被写体空間の同一領域の情報を取得した画素群を抽出するという。よって、上記の２つの画素が被写体のエッジ部を撮像していない場合、平均信号値を算出して信号値を置換してもよい。

では最後に、実施例１の入力画像から出力画像（再構成画像）を生成する画像処理の流れについて、図１２に示したフローチャートを用いて説明する。ここで、ステップＳ１０１が撮影条件情報取得工程と出力画像選択工程に、ステップＳ１０３が距離情報取得工程に、ステップＳ１０４乃至ステップＳ１０６が置換工程に、ステップＳ１０８が出力画像生成工程にあたる。なお、図１２に示したフローチャートの動作は、画像処理部１０５で行う。

ステップＳ１０１では、画像処理部１０５に入力画像が取得されるとともに、撮影条件情報取得部１０５ｆにより撮影条件情報が取得され、さらに出力画像の被写界深度を選択する。入力画像は、図６に示した撮像光学系１００により撮影された画像であり、撮影条件情報は該入力画像を撮影した際の撮像光学系１００の構成や光学パラメタを指す。また、入力画像は、画像記録媒体１１０に保存された同様の撮像光学系で撮影された画像でもよい。出力画像の被写界深度は自動的に選択されてもよいし、ユーザーが選択できるようにしてもよい。また、被写界深度を直接選択するのではなく、Ｆ値などを選択して被写界深度を決定するようにしてもよい。このように、画像処理部１０５は、出力画像の被写界深度（第２被写界深度）を選択（設定）する選択部１０５ｇ（選択手段、設定手段）を有する。

ステップＳ１０２では、選択された出力画像の被写界深度によって、その後の処理を分岐させる。先の述べたように、本発明は各瞳領域を合成する重みの不均一性が高い場合に効果を発揮する。被写界深度の制御や撮影視点の変更を行うために、重みを不均一化させた場合、出力画像の被写界深度が深くなるため、この被写界深度を用いて分岐を判断する。比較対象は、入力画像に含まれる全視差画像をほぼ均一な重みで合成した画像の被写界深度である。該画像より出力画像の被写界深度が深い場合には、本発明の画像処理方法を適用する。それ以外の場合は、ステップＳ１０７へ進む。このように、画像処理部１０５は、入力画像に含まれる全ての視差画像を合成した合成画像の第１被写界深度よりも、出力画像を生成するために設定された第２被写界深度のほうが深いか否かを判定する判定部１０５ｈ（判定手段）を有する。

ステップＳ１０３では、距離情報取得部１０５ａから被写体空間の距離情報を取得する。本実施例では、入力画像に含まれる視差情報から距離情報を算出する。ただし、その他の手法を用いて距離情報を取得してもよい。

ステップＳ１０４では、抽出部１０５ｃにより入力画像内から被写体空間において同一領域の情報を取得している画素群を抽出する。視差がゼロとなる物体距離や、式（４）を用いた手法などから複数の画素が同一領域の情報を取得する物体距離を取得し、前ステップで取得した距離情報から該画素群を抽出する。この他に、各単視点画像を生成し、ブロックマッチング法などを用いて各画像の対応点を求め、対応する画素の信号値の差が所定のしきい値以下であれば、同一領域の情報を得ているものとして、その画素を抽出する等の方法を用いてもよい。

ステップＳ１０５では、算出部１０５ｄにより抽出された画素群の平均信号値を算出する。均等な重みで算出してもよいし、適当な重みを付けて算出してもよい。先に述べた通り、望ましくは、各画素に入射した光量に応じて重みを決定するとよい。

ステップＳ１０６では、信号値置換部１０５ｂにより抽出された画素群の各信号値を算出された平均信号値で置換する。この際、該画素群に含まれる画素を全て置換してもよいし、置換するのは出力画像の生成に使用する画素のみでもよい。

ステップＳ１０７では、同一領域の情報を取得した画素群を全て処理し終えたかで分岐を行う。該画素群がまだ残っている場合はステップＳ１０４へ、全て処理し終えた場合はステップＳ１０８へ進む。ただし、出力画像を生成する前に必ずしも全ての画素群を処理しなくてもよい。例えば、置換工程を行う領域は被写体面２０１上の被写体を撮像した画素のみに制限し、その他の物体距離に対応した画素群は対象外としてもよい。

ステップＳ１０８では、生成部１０５ｅにより置換された画素群を含む入力画像から出力画像（再構成画像）を生成する。

また、必要に応じて、他のノイズ低減処理を併用してもよい。その例として、隣接する画素の信号値の変化量が微小な場合に、その微小量をノイズとして除去するコアリング処理や、バイラテラルフィルタ、メディアンフィルタなどの使用が考えられる。これらのノイズ低減処理は各視点の画像に対して行ってもよいし、合成後の出力画像に対して行ってもよい。

さらに、被写界深度制御や撮影視点の変更と同時に、リフォーカス処理を行ってもよい。

以上の構成によって、視差画像の合成から被写界深度の制御や撮影視点の変更をした画像に存在するノイズを低減する画像処理方法を用いた撮像装置を提供することができる。

本発明の画像処理方法を画像処理装置に適用した場合の第２の実施例について説明する。本発明の画像処理方法を適用した画像処理システムの基本構成を図１３に、該画像処理システムの外観図を図１４に示す。図１３及び図１４のように、画像処理システムは撮像装置３０２を備えている。撮像装置３０２は、図３に示した構成の撮像光学系を有する。画像処理装置３０１は、本発明の画像処理方法を行うコンピュータ機器である。撮像装置３０２で取得された画像は、画像処理装置３０１にてノイズ低減処理と所定の再構成処理が行われ、記憶媒体３０３、表示装置３０４、出力装置３０５のいずれか又は複数に出力される。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。表示装置３０４は、例えば液晶ディスプレイやプロジェクタなどである。出力装置３０５は、プリンタなどである。画像処理装置３０１には表示装置３０４が接続され、再構成された画像が表示装置３０４に入力される。ユーザーは、表示装置３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理装置３０１は、前述のノイズ低減処理と再構成処理の他に、必要に応じて現像処理やその他の画像処理を行う機能を有する。画像処理装置３０１において、抽出部３０１ｃは、距離情報取得部３０１ａで取得された被写体空間の距離情報と、撮影条件情報取得部３０１ｆで取得された撮像装置３０２の撮影条件情報から、同一領域を撮像した画素群を抽出する。また、算出部３０１ｄは、抽出された画素群の各信号値に基づいて平均信号値を算出し、信号値置換部３０１ｂがその平均信号値で該画素群の各信号値を置換し、ノイズ低減処理を行う。ノイズ低減された画像は、生成部３０１ｅにより所望の設定で再構成され再構成画像が生成される。また、画像処理装置３０１は、実施例１で説明した選択部１０５ｇ、判定部１０５ｈに対応する、選択部３０１ｇ、判定部３０１ｈを有する。これらの詳細な説明は、実施例１で既に説明しているため省略する。

実施例２の撮像装置３０２を構成する撮像光学系は、図３に示したような配置をしており、その詳細な断面図は図１５で示される。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。ＳＰは絞りである。変倍時に第１レンズ群Ｌ１と第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、及び、第４レンズ群Ｌ４が光軸上を移動する。合焦は、第２レンズ群Ｌ２で行う。図３においてレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置され、像側共役面２０２と撮像素子１０３とが、レンズアレイ１０２を介して共役関係になるように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、該光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、視差画像（ライトフィールド）が取得される。図３及び図４の構成では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が撮像素子１０３で取得される。図４の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、図３に示した構成と同様である。図３の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図３と図４に示した構成は、どちらも結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。よって、以下の議論は図４の構成に関しても同様に成り立つ。

リフォーカスや被写界深度の制御、又は撮影視点の変更は、図３及び図４の構成においても図２の構成と定性的に同様である。故に、ここでは説明を省略する。同一領域の情報を取得している画素の抽出も、実施例１と同様に式（４）と距離情報から行うことができる。

実施例２の入力画像から出力画像を生成する画像処理の流れは、図１２のフローチャートで示され、実施例１と同様なので説明は省略する。ここで、図１２に示したフローチャートの動作は、画像処理装置３０１で行う。

以上の構成によって、視差画像の合成から被写界深度の制御や撮影視点の変更をした画像に存在するノイズを低減する画像処理方法を用いた画像処理装置を提供できる。

本発明の画像処理方法を撮像装置に適用した場合の第３の実施例について説明する。図１は本発明の画像処理方法を適用した撮像装置の基本構成を示している。実施例１と説明の重複する部材は、省略する。

実施例３における撮像光学系１００は、図５に示したような構成をしている。結像光学系１０１ａ乃至１０１ｇは、物体側から観察すると図１６のように２次元的に配列されている。実施例３の各結像光学系は、結像光学系１０１ｂの光軸を回転軸として、六回対称性を有した構成をしている。しかし、各結像光学系の構成はこれに限定されず、光学系の個数や配列は変更可能である。結像光学系１０１ａ乃至１０１ｇの像側には、それぞれ撮像素子１０３ａ乃至１０３ｇが配列されている。ただし、撮像素子は複数でなくてもよく、結像光学系１０１ａ乃至１０１ｇによって形成される像を受光できるならば単数でもよい。図５は、実施例３の撮像光学系を結像光学系１０１ａ乃至１０１ｃの光軸を含む断面で見た概略図である。結像光学系１０１ａ乃至１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ乃至１０３ｃで受光される。撮像素子１０３ａ乃至１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像（ライトフィールド）となっている。実施例３では、この複数の視差画像が入力画像となる。

実施例３における結像光学系１０１ａと撮像素子１０３ａの詳細な断面図は図１７で示される。ＳＰは絞りである。他の結像光学系１０１ｂ乃至１０１ｇ及び、撮像素子１０３ｂ乃至１０３ｇも同様である。ただし、各結像光学系の構成はそれぞれ異なっていてもよい。図１７に示された結像光学系１０１ａは、単焦点レンズである。全体繰り出しによって合焦を行う。

リフォーカスや被写界深度の制御、又は撮影視点の変更は、図５の構成においても図２の構成と定性的に同様であるため、説明は省く。図２との違いは、再構成時に再現される瞳が結像光学系のものでなく、各結像光学系の瞳を合成した合成瞳になることである。

また、同一領域の情報を取得している画素の抽出も、図１８の関係を用いることで同様に求められる。図１８は、異なる任意の２画素を示したもので、楕円は任意の結像光学系、長方形は該任意の結像光学系に対応する任意の画素、一点鎖線は結像光学系の主点と画素の中心を通る光線を表している。ここで、（ｘ_ｌ，ｙ_ｌｉ）は結像光学系の主点の座標、（ｘ_ｐ，ｙ_ｐｉ）は画素の中心の座標である。ｉ＝１，２であり、２画素は異なる視点、かつ異なる画素なので、ｙ_ｌ１≠ｙ_ｌ２とｙ_ｐ１≠ｙ_ｐ２が成り立つ。２本の光線の交わる面２０５の座標ｘ_２０５は、以下の式（５）で記述される。

面２０５は、注目した２画素が同一領域の情報を取得する物体距離を表す。ここで、簡単のために座標系を２次元系とし、かつ結像光学系の主平面間隔を無視して考えた。実際の系では、式（５）を３次元座標に拡張して同様に考えればよい。また、結像光学系の主平面間隔も考慮して、面２０５を算出することが望ましい。各画素がどの物体距離の被写体に対応しているかは、実施例１と同様に被写体空間の距離情報を取得することで分かる。

実施例３の入力画像から出力画像（再構成画像）を生成する画像処理の流れは、図１２のフローチャートで示され、実施例１と同様なので説明は省略する。ここで、図１２に示したフローチャートの動作は、画像処理部１０５で行う。

以上の構成によって、視差画像の合成から被写界深度の制御や撮影視点の変更をした画像に存在するノイズを低減する画像処理方法を用いた撮像装置を提供できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

また、上述の実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムを、記憶媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給する場合も本発明に含む。また、そのプログラムを該コンピュータに実行させる場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０５画像処理部

Claims

被写体空間を異なる視点から撮像した視差画像を含む入力画像に対し再構成処理を行い再構成画像を生成する画像処理装置であって、
前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出手段と、
前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出手段と、
前記画素群の少なくとも一つの画素の信号値を前記平均信号値で置換する置換手段と、
前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
前記入力画像に含まれる全ての視差画像を均一な重みで合成した合成画像の第１被写界深度よりも、前記再構成画像を生成するために設定された第２被写界深度のほうが深いか否かを判定する判定手段を有し、
前記抽出手段は、前記第１被写界深度よりも前記第２被写界深度が深い場合に、前記画素群を抽出することを特徴とする請求項１に記載の画像処理装置。
前記画素群のうち、前記再構成画像の生成に用いられる画素の信号値の全てを前記平均信号値で置換することを特徴とする請求項１又は２に記載の画像処理装置。
前記平均信号値は、前記各信号値と重みから算出され、
前記重みは、前記画素群の各画素における光量に応じて決定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記重みは、前記画素群のうち光量が少ない画素ほど、小さくなることを特徴とする請求項４に記載の画像処理装置。
前記入力画像を撮像した際の撮影条件情報を取得する撮影条件情報取得手段と、
前記被写体空間の距離情報を取得する距離情報取得手段と、を有し、
前記抽出手段は、前記撮影条件情報と前記距離情報から、前記画素群を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記距離情報は、前記入力画像の視差情報から算出されることを特徴とする請求項６に記載の画像処理装置。
前記再構成画像は、前記入力画像に含まれる視差画像を部分的に用いて生成されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第２被写界深度を設定する設定手段を有することを特徴とする請求項２に記載の画像処理装置。
前記第２被写界深度は、Ｆ値を選択することで設定されることを特徴とする請求項９に記載の画像処理装置。
被写体空間を異なる視点から撮像した視差画像を含む入力画像を生成する撮像手段と、
前記入力画像に対し再構成処理を行い再構成画像を生成する請求項１乃至１０のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
前記撮像手段は、被写体側から、
被写体面からの光線を像側共役面へ結像する結像光学系と、
前記像側共役面に位置するレンズアレイと、
複数の画素を有する撮像素子と、を有し、
前記レンズアレイは、前記結像光学系の瞳の異なる領域を通過した光線が、前記撮像素子の異なる画素へ入射するように構成されていることを特徴とする請求項１１に記載の撮像装置。
前記撮像手段は、被写体側から、
被写体面からの光線を像側共役面へ結像する結像光学系と、
レンズアレイと、
複数の画素を有する撮像素子と、を有し、
前記レンズアレイは、前記像側共役面と前記撮像素子が共役関係になるように配置され、前記結像光学系の瞳の異なる領域を通過した光線が、前記撮像素子の異なる画素へ入射するように構成されていることを特徴とする請求項１１に記載の撮像装置。
前記撮像手段は、被写体側から、
被写体面からの光線を像側共役面に結像する複数の結像光学系と、
複数の画素を有する撮像素子と、を有し、
前記複数の結像光学系は、２次元的に配列されていることを特徴とする請求項１１に記載の撮像装置。
被写体空間を異なる視点から撮像した視差画像を含む入力画像に対し再構成処理を行い再構成画像を生成する画像処理方法であって、
前記被写体空間の同一領域の情報を取得した前記入力画像の画素群を抽出する抽出工程と、
前記抽出された画素群の各信号値に基づいて平均信号値を算出する算出工程と、
前記画素群の少なくとも１つの画素の信号値を前記平均信号値で置換する置換工程と、
前記平均信号値で置換された画素を含む前記入力画像から前記再構成画像を生成する生成工程と、
を有することを特徴とする画像処理方法。
請求項１５に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項１５に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。