JP2017130106A - データ処理装置、撮像装置、およびデータ処理方法 - Google Patents

Abstract

【課題】第一の画像データと第二の画像データに基づいて第二の画像データを精度良く補正する。【解決手段】第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、前記第一の画像データに基づいて、前記第二の画像データの補正対象画素の補正に利用する画素群を選択する選択手段と、前記選択された画素に対応する前記第二の画像データの値を用いて、前記第二の画像データの前記補正対象画素の値を補正する補正手段と、を備え、第一の画素の所定の近傍領域内に第二の画素が存在する場合に、第一の画素と第二の画素が連結していると定義したときに、前記選択手段は、前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が第一の閾値以上の画素であって、連結している一連の画素の集合を、前記画素群として選択する。【選択図】図２

Description

本発明は、データ処理装置、撮像装置、およびデータ処理方法に関する。

撮影画像とその撮影画像に対応した距離情報や動き情報の分布を表す距離画像や動き画像を取得または算出する手法が提案されている。取得された情報は測距原理と被写体との関係に応じたエラー含んでいる場合が多い。例えば、距離情報や動き情報を算出する際にテンプレートマッチングによって取得する手法がある。その場合、画像中のオブジェクトの境界で大きなエラーが発生する。このようなエラーは一つのテンプレート内で異なる距離や動きなどの情報を含んでいる場合に発生し、異なる状態の中間状態を示す間違った情報となる。エラーの広がりの範囲や量はテンプレートのサイズに依存する。もちろんテンプレートマッチング技術以外の手法でも似たようなエラーが発生することは起こり得る。そのために画像の各画素の情報を補正する手法が提案されている。

既存の提案手法は、距離画像に対応する輝度画像またはカラー画像（ＲＧＢ画像）の情報に基づいて、画像特性が補正対象画素と類似する画素を求め、このような画素の距離値を用いて補正対象画素を補正する。

特許文献１では、補正対象画素の演算範囲内の複数の画素の画素値及び距離値を用いて、クラスタリングを行う。さらに、各クラスの画素値統計量（平均値等）に基づいて１つのクラスタを選択し、当該クラスタの代表距離値（クラスタ内の距離値の平均値など）を補正対象画素の距離値とする。

特許文献２では画像全体をＳｕｐｅｒｐｉｘｅｌ（類似オブジェクトであると想定される複数の画素の集合）によりクラスタリングし、各クラスタ内は同一距離として、距離画像を補正している。

非特許文献１では距離情報・撮影画像の輝度情報及びそれらから導出される信頼度の情報を用いて、重み付きクロスバイラテラルフィルタにより、距離画像を補正している。

特許第５１５０６９８号公報 米国特許第２０１５／００３７２５号明細書

松尾琢也、外２名、「重み付きクロスバイラテラルフィルタによる奥行き推定精度の向上」、映像情報メディア学会誌 Ｖｏｌ．６６，Ｎｏ．１１，ｐｐ．Ｊ４３４〜Ｊ４４３（２０１２）

しかしながら上記のような手法では、異なる距離を持った互いに近接するオブジェクトが類似した輝度または色を有する場合には、補正処理により異なる距離を持った異なるオブジェクトの影響を受け、エラーが発生してしまうという課題があった。

特許文献１では近い画素値を持つクラスまたは近いデプス値を持つクラスを作り、それ
らクラスの画素値統計量（平均値等）を用いて、クラスを選択し、クラスの代表デプス値（クラス内のデプス値の平均値等）により、デプス値の補正を行っている。しかし、異なる距離を持った近傍のオブジェクトが類似した輝度または色を含む場合には、異なるオブジェクトを同一クラスとしてしまう可能性があり、エラーが補正しきれないケースが発生する。

特許文献２では輝度または色の情報を基にあらかじめＳｕｐｅｒｐｉｘｅｌと呼ばれる画素の集合としてクラスタリングしている。そのため異なる距離を持った近傍のオブジェクトを分離することができるが、1つのＳｕｐｅｒｐｉｘｅｌ内では同一の距離となって
しまうため、画素毎に適切な距離が得られないという問題が発生する。

非特許文献１では補正対象の距離値との距離差が大きい周辺の画素は信頼できないとして、補正処理に使用しないとしている。この場合、輝度や色が類似した異なる距離を持ったオブジェクトが近傍にある場合に、補正前距離にエラーがあり本来異なる距離であるべき異なるオブジェクト間で同じ距離になってしまった場合にはエラーとなってしまう。距離差の閾値を小さく設定することでそうしたエラーを解決できる可能性は向上するが、その場合距離差以内と判定される画素が減り、補正精度が下がる。特に補正対象画素がエラーである場合に正しく補正されなくなる可能性が高くなる。そのためその距離差の閾値設定に大きく性能が依存してしまうことに加え、補正しきれないケースが発生するという課題があった。

このような問題は、距離画像に特有ではなく、互いに対応する２つの画像データのうち、一方の画像データの類似性に基づいて補正に利用する画素を選択して、他方の画像データを補正する場合に生じうる。

本発明の目的は、対応する２つの画像データ（例えば、輝度画像またはカラー画像と距離画像）のうち、一方の画素値の類似性に基づいて他方の画像データを精度良く補正する可能なデータ処理装置を提供することである。

本発明の第一の態様は、第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
前記第一の画像データに基づいて、前記第二の画像データの補正対象画素の補正に利用する画素群を選択する選択手段と、
前記選択された画素に対応する前記第二の画像データの値を用いて、前記第二の画像データの前記補正対象画素の値を補正する補正手段と、を備え、
第一の画素の所定の近傍領域内に第二の画素が存在する場合に、第一の画素と第二の画素が連結していると定義したときに、
前記選択手段は、前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が第一の閾値以上の画素であって、連結している一連の画素の集合を、前記画素群として選択する、ことを特徴とする。

本発明の第二の態様は、コンピュータによって実行される、第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
前記第一の画像データに基づいて、前記第二の画像データの補正対象画素の補正に利用する画素群を選択する選択ステップと、
前記選択された画素に対応する前記第二の画像データの値を用いて、前記第二の画像データの前記補正対象画素の値を補正する補正ステップと、を含み、
第一の画素の所定の近傍領域内に第二の画素が存在する場合に、第一の画素と第二の画素が連結していると定義したときに、
前記選択ステップでは、前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が第一の閾値以上の画素であって、連結している一連の画素の集合を、前記画素群として選択する、ことを特徴とする。

本発明によれば、対応する２つの画像データ（例えば、輝度画像またはカラー画像と距離画像）のうち、一方の画素値の類似性に基づいて他方の画像データを精度良く補正できる。

実施形態に係るデータ処理装置を含む撮像装置の構成例を示す図。 第１の実施形態に係るデータ処理方法のフローチャートの一例。 撮影画像データと距離画像データの例を示す図。 撮影画像データの類似性に基づく候補画素選択処理を説明する図。 距離画像データの距離値信頼度に基づく候補画素選択処理を説明する図。 ２つの候補画素の統合処理を説明する図。 連結領域への分割処理および連結領域の選択処理を説明する図。 第２の実施形態における補正利用画素選択処理を説明する図。 第４の実施形態における補正利用画素選択処理を説明する図。

本発明における距離情報には、２画像のフォーカス位置の中間位置から被写体までの相対的な距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対的な距離、撮影時の撮像装置から被写体までの絶対距離が含まれる。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量や視差量等、換算できる量で表されていてもよい。

本発明のいくつかの実施形態を以下で図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を適宜組み合わせ本発明を実施してもよい。

（第１の実施形態）
＜装置構成＞
図１（Ａ）、図１（Ｂ）は、本発明のデータ処理装置を撮像装置に適用した場合の構成を模式的に示す図である。図１（Ａ）に示すように、撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、データ処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、１枚または複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

データ処理装置１３は、信号処理部１３０、メモリ１３１、距離画像データ生成部１３２、距離画像データ補正部１３３を有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能部である。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離画像データの生成などに使用される。なお、距離画像データとは、距離情報の分布を表すものである。

距離画像データ生成部１３２は、処理部１３０から出力される信号から撮影画像データを取得し、その撮影画像データから被写体の距離情報、距離画像データを取得する機能部である。被写体の距離情報を取得する方法は、撮影条件を変えて撮影したぼけ方の異なる撮影画像データを用いる方法（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法：ＤＦＤ法）や、視差のある撮影画像データを用いる方法（ステレオ法）が挙げられる。ステレオ法には複数の撮像装置を用いる方法や撮像素子の画素を工夫することで光学系の瞳を分割したような視差の異なる撮影画像データを得る方法等がある。その他にもＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ法やＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓの方法が挙げられる。距離画像データ生成部１３２で生成された距離画像データは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。また距離画像データはその取得方法に応じた補正処理が行われていてもよい。

距離画像データ補正部１３３は、取得された撮影画像データと距離画像データ生成部１３２で生成された距離画像データとを用いて、距離画像データの各画素の距離情報を補正する機能を有する。距離画像データ補正部１３３は、候補画素選択部１３４、領域分割部１３５、利用画素決定部１３６、および補正部１３７を備える。各機能部の詳細および補正の方法は後述する。

記憶部１４は、撮影画像データ、距離画像データ、その他中間データ等、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。

入力部１５はユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

撮像装置１中の制御部１２やデータ処理装置１３は、ＡＳＩＣ（Application Specific
Integrated Circuit）やＤＳＰ（Digital Signal Processor）のような論理回路を用い
て構成することができる。また、制御部１２やデータ処理装置１３は、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。また、制御部１２やデータ処理装置１３は、論理回路と、中央演算処理装置および演算処理プログラムとの組み合わせによって構成することもできる。

＜全体処理＞
次に図２（Ａ）のフローチャートを用いて、本実施形態の撮影開始から距離画像データの生成（補正）完了までの処理の流れを説明する。まず、ステップＳ２０では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、同時にシャッタ速度、Ｆナンバなど撮影条件を設定し、フォーカス調整を行う。これらの条件の全てまたは一部は、撮像装置１が自動的に決定してもよい。

次にＳ２１で、不図示の撮影開始ボタンが押下されると、撮影画像データおよび距離画像データが取得される。距離画像データは、距離画像データ生成部１３２が上述した方法で生成する。撮影画像データは距離画像算出方法に合わせて撮影された画像である。

ステップＳ２２からステップＳ２３のループ処理Ｌ１において、データ処理装置１３が距離画像データを補正する。データ処理装置１３は、補正対象画素ごとに、補正に利用する画素を選択し（ステップＳ２２）、選択された画素を用いて補正対象画素を補正する（ステップＳ２３）。これらの処理の詳細は後述する。

ステップＳ２４で、撮影画像データや補正された距離画像データを用いたアプリケーションに合わせた処理が行われる。例えば、撮影画像データに距離情報に応じたぼけを付加するぼかし処理や距離情報に合わせて、光量を調整するリライティング処理等が挙げられる。

ステップＳ２５において、アプリケーション処理の結果を表示部１６に表示したり、これらの結果や、撮影画像データ、距離画像データ、補正された距離画像データなどの情報が記憶部１４に記録されたりする。

＜距離画像データ補正処理＞
以下、本実施形態における距離画像データの補正処理の詳細について説明する。本実施形態では、輝度または色が類似しているが、異なるオブジェクトが近接して存在する領域においてもエラーを精度良く補正可能な画像処理方法を採用する。

距離画像データ補正部１３３は、撮影画像データ３１（図３（Ａ））、距離画像データ３２（図３（Ｂ））を取得する。距離画像データ補正部１３３は、撮影画像データ３１および距離画像データ３２に基づいて補正に利用する画素群を決定し、距離画像データ３２中の選択された画素の画素値（距離値）を用いて、補正対象画素の距離値を補正する。

距離画像データ３２は、撮影画像データ３１に基づいて生成される。距離画像データ３２は、必ずしも正しい距離が得られているわけではない。ここで、撮影画像データ３１は、人物からなる前景と、空および雲からなる背景を含む。したがって、人物と空または雲の境界付近では、上述したような距離値の誤算出が生じうる。図３（Ａ）に示す撮影画像データ３１は空の風景を背景にしたポートレートシーンを表しているが、誤算出の発生はこのようなシーンに限定されるものではなく、どのようなシーンにおいても起こり得る。

距離画像データ補正部１３３は、補正対象画素ごとにステップＳ２２およびＳ２３の処理を行い、距離画像データ３２の補正を行う。補正対象画素は距離画像データ３２の全画素とすることが好ましいが、必ずしも全画素を対象としなくてもよい。

まず、ステップＳ２２において、距離画像データ補正部１３３は、補正対象画素の補正に利用する画素（以下、補正利用画素とも称する）を選択する。補正利用画素の選択には様々な情報が用いられ、総合的に判断することが好ましい。本実施形態においては、撮影画像データ３１の画素値（輝度または色）と、距離画像データ３２の距離値の信頼度を用いて、補正利用画素を選択する。補正利用画素の選択処理について、図２（Ｂ）のフローチャートを参照して、以下でより具体的に説明する。

ステップＳ２２１において、候補画素選択部１３４は、撮影画像データ３１の輝度または色に基づいて、補正利用画素の候補を選択する。候補画素選択部１３４は、補正対象画素の周囲（補正利用画素の選択範囲）の画素のうち、補正対象画素に対応する撮影画像デ
ータの画素の輝度値または色情報（またはそれらから変換可能な情報）との類似性が高い画素を、候補として選択する。補正利用画素の選択範囲（形状や大きさ）は距離画像データのエラー量などに基づいて任意に決定して構わない。

撮影画像データ３１がモノクロの輝度画像データであれば、類似度は輝度値に基づいて以下のように計算される。

ここで、ｐは補正対象画素、Ｓ（ｑ）は画素ｑの類似度、Ｉは輝度値を表す。類似度Ｓ（ｑ）は値が小さいほど類似性が高いことを表す。

撮影画像データ３１がカラー画像データであれば、類似度は色情報に基づいて以下のようにユークリッド距離を用いて計算される。

Ｒ，Ｇ，Ｂはそれぞれ赤、緑、青のカラーチャンネルを表す。この場合、類似度Ｓ（ｑ）の値が小さいほど類似性が高いことを表す。

類似度算出手法は上記記載した距離計算だけでなく、マンハッタン距離等、どのような手法を用いても構わない。また、カラー画像からＣＩＥＬａｂ色空間やＹＵＶ色空間など、他の色空間に変換し、上記類似度計算を行ってもよい。

候補画素選択部１３４は、類似度に従って補正利用画素の候補を選択する。候補画素選択部１３４は、具体的には、類似度Ｓと所定の閾値Ｕを比較して、類似度Ｓが閾値Ｕ以下（類似性が閾値Ｕ以上）の画素を補正利用画素の候補として選択する。すなわち、候補画素情報Ｗは次のように決定される。

ここで、Ｗ（ｑ）＝１は画素ｑが候補画素であることを示し、Ｗ（ｑ）＝０は画素ｑが候補画素ではないことを示す。

補正利用候補画素の決定方法は必ずしも上記方法である必要はない。

図４（Ａ）〜図４（Ｃ）は、撮影画像データを用いた補正利用候補画素の決定処理の一例を説明する図である。図４（Ａ）は撮影画像データ３１を表している。図４（Ａ）中のの点線の枠は、補正対象画素４２を中心とする、補正利用画素の選択範囲４１を表す。

図４（Ｂ）は選択範囲４１を拡大した図である。本実施形態では、選択範囲４１は、補正対象画素４２を中心とする１３画素×１３画素の正方形とするが、その形状や大きさは特に限定されない。図４（Ｂ）中の各画素の色は、撮影画像データ３１の輝度を表す。

図４（Ｃ）は、ステップＳ２２１における補正利用画素の候補の選択結果４４を表す図である。図４（Ｃ）において、白い画素は候補画素として選択されている（Ｗ＝１）こと
を表し、黒い画素は候補画素として選択されていない（Ｗ＝０）を表す。補正対象画素４２を含む右側領域（人の顔の領域）は、補正対象画素４２と輝度が類似しているため、候補画素として選択されており、左上部領域（雲の領域）もまた補正対象画素４２と輝度が類似しているため、候補画素として選択されている。またそれ以外の領域（空の領域）は補正対象画素４２とは異なる輝度であるため、候補画素として選択されていない。このように、補正利用画素の候補は、補正対象画素４２毎に選択される。

ステップＳ２２２において、候補画素選択部１３４は、距離画像データ３２の距離値の信頼度に基づいて、補正利用画素の候補を選択する。候補画素選択部１３４は、補正対象画素の周囲（補正利用画素の選択範囲）の画素のうち、距離値の信頼度が高い画素を、候補として選択する。

距離値の信頼度は距離画像データ生成部１３２における距離算出処理時に各距離情報の尤もらしさとして得られる場合がある。その場合には、候補画素選択部１３４は、距離画像データ生成部１３２から距離画像データとともに信頼度データも取得すればよい。また、撮影画像データ３１から距離値の信頼度を求めることができる。距離算出方法によっても異なるが、例えば、暗いところ（黒つぶれ）、明るいところ（白とび）しているところ、テクスチャがないところ、被写体が動いているところ等は、距離値の信頼度が低い。したがって、候補画素選択部１３４は、撮影画像データ３１を解析して距離値の信頼度を生成することもできる。また、距離画像データから距離値の信頼度を求めることもできる。例えば、近傍の画素群に対して、著しく距離値が異なる画素や距離の境界部分などはエラーである可能性が高い。したがって、候補画素選択部１３４は、距離画像データ３２を解析して距離値の信頼度を生成することもできる。また、上記の複数の信頼度を統合して、距離値の信頼度としてもよい。

候補画素選択部１３４は、このようにして得られた信頼度を用いて、候補画素の選択を行う。取得した距離画像データの内、信頼できない距離情報は補正に利用しないことが好ましい。候補画素選択部１３４は、前述した輝度画像の類似度の閾値処理と同様に、信頼度に対して閾値処理を施して、信頼度が閾値以上の画素を候補画素として選択し、信頼度が閾値未満の画素は候補画素として選択しない。

図５（Ａ）〜図５（Ｄ）は、距離値の信頼度を用いた補正利用候補画素の決定方法の一例を説明する図である。図５（Ａ）は距離画像データ３２を表している。図４（Ａ）と同様に図５（Ａ）中の点線の枠は、補正対象画素５２を中心とする、補正利用画素の選択範囲５１を表す。

図５（Ｂ）は距離画像データ３２の選択範囲５１を拡大した図である。図５（Ｂ）において、白く表された画素ほど距離値が小さく、黒く表された画素ほど距離値が大きい。

図５（Ｃ）は、選択範囲５１の各画素の距離値の信頼度５３を表す。図５（Ｃ）において、白く表された画素ほど距離値の信頼度が高く、黒く表された画素ほど距離値の信頼度が低い。ここでは、距離の境界部や各オブジェクト内にエラーが発生していることが分かる。

図５（Ｄ）は、ステップＳ２２２における補正利用画素の候補の選択結果５４を表す図である。図５（Ｄ）において、白い画素は候補画素として選択されていることを表し、黒い画素は候補画素として選択されていないを表す。以上のように、補正対象画素５２を基準に設定された選択範囲５１において、算出された距離の信頼度を用いて補正対象画素５２毎に補正利用画素の候補が選択される。

ステップＳ２２３において、候補画素選択部１３４は、ステップＳ２２１およびＳ２２２で求めた２つの候補画素の選択結果を統合して、最終的な候補画素を決定する。具体的には、図６に示すように、色または輝度に基づく候補画素の選択結果４４と、距離値の信頼度に基づく候補画素の選択結果５４の、画素ごとの論理積（ＡＮＤ演算）が最終的な候補画素の選択結果６１となる。すなわち、色または輝度に基づいて候補画素として選択されており、かつ、距離値の信頼度に基づいて候補画素として選択されている画素が、最終的な候補画素として決定される。

ここでは撮影画像データと距離値の信頼度を用いた画素選択方法について説明したが、これら以外の方法で画素選択されても構わない。例えば、補正対象画素とその周囲の画素の間の距離情報の差分を利用して画素選択を利用する等の方法もある。また今回は撮影画像データによる画素選択と距離情報の信頼度を用いた画素選択を個別に行い、それらの結果を統合しているがが、それぞれ類似度と信頼度または他の情報を用いて、統合的に画素選択のルールを決めても良い。

次にステップＳ２２４において、領域分割部１３５が、ステップＳ２２３で得られた候補画素を連結領域に分割する。連結領域とは、互いに連結している一連の画素の集合である。本明細書では、画素Ａの所定の近傍領域内に画素Ｂが存在する場合に、画素Ａと画素Ｂは連結していると定義する。画素Ａの所定の近傍領域は、例えば、画素Ａの４近傍画素（上下左右の画素）、８近傍画素（画素Ａを中心とする３×３画素（画素Ａを除く））、２４近傍画素（画素Ａを中心とする５×５画素（画素Ａを除く））とすることができるが、これに限られない。連結領域内の任意の２つの画素は、直接的に連結しているか、他の１つまたは複数の画素を介して間接的に連結している。連結領域は、閉領域と称することもできる。

連結処理への分割は、ラベリング処理などの既存の任意の手法によって実行可能である。図７（Ａ）は、図６の候補画素の選択結果６１を連結領域へ分割した結果を示す。ここでは、２つの連結領域７１，７２が生成されている。なお、上記の所定の領域は４近傍画素としている。連結領域を構成する画素は、点線の枠で囲まれる画素のうち、候補画素として選択された画素（白で示される画素）である。候補画素として選択されていない画素（黒で示される画素）は連結領域に含まれない。

ステップＳ２２５において、利用画素決定部１３６は、ステップＳ２２３において得られた複数の連結領域の中から、１つの連結領域を選択して、選択された連結領域に含まれる候補画素を、補正に利用する画素として決定する。

選択される連結領域は、補正対象画素と同じオブジェクト（被写体）である確率が高いものであることが好ましい。このような基準を満たす選択方法として、例えば、補正対象画素６２に最も近い連結領域を選択することができる。補正対象画素と連結領域の距離は、最短距離によって定義されてもよいし、補正対象画素と連結領域の中心または重心との間の距離として定義されてもよい。

また、連結領域内の輝度または色の代表値が、補正対象画素６２の輝度または画素と最も近い連結領域を選択することもできる。連結領域内の輝度または色の代表値は、連結領域内の各画素の輝度または色の平均値、最頻値、中間値などを採用することができる。また、連結領域内の距離値の代表値が、補正対象画素の距離値と最も近い連結領域を選択することもできる。

以上の処理により、補正に利用する画素の選択処理Ｓ２２が終了する。なお、上述のようにして選択される補正利用画素には補正対象画素自身が含まれないが、補正対象画素自
身を補正利用画素に含めても構わない。

ステップＳ２３において、補正部１３７は、ステップＳ２２で選択された画素を用いて補正対象画素の距離値を補正する。補正部１３７は、補正利用画素として選択された画素全体の距離値の単純平均値あるいは中央値を、補正対象画素の補正後の値（補正値）とすることができる。あるいは、補正値は、補正利用画素として選択された画素から、距離値が大きい値や小さい値の画素を除外し、残った画素の単純平均値や中央値を採用することもできる。また、補正値は、距離値の信頼度を重み係数とする加重平均値や、補正対象画素からの距離（画素間距離）を重み係数とする加重平均値を、採用することもできる。補正距離値の算出方法は、ここで挙げた方法に限定されず、選択された画素に関する情報を用いて算出する方法であればどのような方法であっても構わない。

＜本実施形態の有利な効果＞
本実施形態では、輝度や色の類似性などに基づいて選択される候補画素から、連結領域を構成する画素集合を補正に利用する画素として選択している。これにより、補正対象画素の近傍に輝度または色が類似したオブジェクトが存在する場合でも、補正対象画素の距離値を高精度に補正できる。補正利用する画素を、連結領域を構成する画素集合に限定しない場合には、図６に示す選択結果６１（白で示される画素）の全てが補正に利用されることになる。図５（Ｂ）と照らし合わせてみると、補正対象画素と異なる距離を持つオブジェクトの距離値も補正処理に利用されてしまい、精度のよい補正が行えないことが分かる。例えば、人の顔の距離値を補正する際に雲の距離値も利用され、顔と雲の中間的な距離が補正値として算出されてしまう。本実施形態では、補正に利用する画素を、連結領域を構成する画素集合に限定することで、このような誤補正を抑制し、高精度な距離画像データの補正が行える。

＜変形例＞
上記の説明では、撮影画像データの輝度または色の類似性と、距離値信頼度に基づいて補正に利用する画素を決定している。しかしながら、さらに他の要素を考慮して補正利用画素を決定することもできる。例えば、補正対象画素との距離値の類似性を考慮して、補正対象画素の距離値との距離差が大きい画素は補正に利用しないように決定することもできる。また、距離値信頼度を利用せずに、輝度または色の類似性のみに基づいて補正利用画素を決定してもよいし、輝度または色の類似性および距離値の類似性に基づいて補正利用画素を決定してもよい。

（第２の実施形態）
本発明の第２の実施形態の基本的な構成および処理内容は、第１の実施形態と同様である。第１の実施形態との相違点は、補正利用画素の選択処理（図２（Ａ）のステップＳ２２）の内容である。具体的には、本実施形態では、輝度または色に基づく候補画素に対して連結領域の選択を行ってから、距離値信頼度に基づく候補画素を統合して、補正利用画素を決定する。

図８（Ａ）〜８（Ｄ）を参照して、本実施形態における補正利用画素の選択処理Ｓ２２の内容を説明する。ステップＳ２２１における撮影画像データ３１の輝度または色に基づく候補画素の選択処理は第１の実施形態と同様である。

ステップＳ２２４における候補画素を連結領域に分割する処理は、処理対象のデータがステップＳ２２１の選択結果４４である点を除けば第１の実施形態と同様である。図８（Ｂ）は、輝度または色に基づく候補画素の選択結果４４を、２つの連結領域８１，８２に分割した結果を示す。

ステップＳ２２５における連結領域を選択する処理も第１の実施形態と同様である。図８（Ｃ）は、連結領域の選択結果を示す。ここでは、２つの連結領域８１，８２のうち、連結領域８１が選択されている。

ステップＳ２２２における距離画像データ３２の距離値の信頼度に基づく候補画素の選択処理は、第１の実施形態と同様である。ステップＳ２２７では、ステップＳ２２５における選択結果と、ステップＳ２２７における選択結果を統合して、最終的な候補画素を決定する。図８（Ｄ）は、図８（Ｃ）に示す選択結果８３と図５（Ｄ）に示す選択結果５４を統合した結果を示す。

本実施形態によって得られる補正利用画素の結果は、第１の実施形態の結果（図７（Ｂ））と同様となる。したがって、本実施形態に示す手法によっても、第１の実施形態と同様の効果が得られる。

（第３の実施形態）
本発明の第３の実施形態の基本的な構成および処理内容は、第１および第２の実施形態と同様である。第１および第２の実施形態では、１つの連結領域を選択して補正利用画素を決定しているが、本実施形態では状況に応じて、複数の連結領域を選択する。

本実施形態では、１つの連結領域を選択して得られる補正利用画素の数が、所定の閾値Ｔｐ以下である場合に、別の連結領域も選択して補正利用画素を決定する。この際の連結領域の選択基準は第１の実施形態と同様とでき、選択されていない連結領域の中から、補正対象画素に最も近い連結領域や、輝度または色の代表値が補正対象画素の輝度や色と最も近い連結領域を選択すればよい。あるいは、既に選択されている連結領域に最も近い連結領域を選択するようにしてもよい。

別の連結領域を選択しても補正利用画素の数が、閾値Ｔｐ以下となる場合には、さらに別の連結領域を選択するとよい。この処理は、補正利用画素の数が、閾値Ｔｐを超えるまで繰り返すことができる。全ての連結領域を選択しても補正利用画素の数が閾値Ｔｐを超えない場合には、補正対象画素に対する補正処理を行わなくてもよいし、得られた補正利用画素を用いて補正対象画素の補正を行ってもよい。

また、輝度や色の類似度に基づいて連結領域を選択する場合には、類似度が所定値以下の連結領域は選択しないようにすることもできる。言い換えると、輝度や色の類似度が最も高い連結領域が所定値以下となった場合には、上記の繰り返し処理を中断することもできる。この場合、補正対象画素に対する補正処理を行わなくてもよいし、それまでに得られた補正利用画素を用いて補正対象画素の補正を行ってもよい。

補正に利用する画素の数が少ない場合には精度のよい補正が行えないことが想定されるので、本実施形態では補正に利用する画素の数を増やして精度のよい補正を実現している。

本実施形態では、１つの連結領域に基づく補正利用画素の数が所定の閾値Ｔｐ以下の場合に別の連結領域を選択して補正利用画素を決定しているが、別の実施形態として、このような場合に補正対象画素に対する補正を行わないようにしてもよい。あるいは、連結領域に分割する際の、画素の連結性を判定するための近傍領域の広さを拡張して同じ処理を再度行ってもよい。例えば、近傍領域として４近傍を利用して得られる補正利用画素の数が閾値以下であれば、近傍領域を８近傍に変更して同様に補正利用画素を決定してもよい。

（第４の実施形態）
上述の実施形態では、まず補正利用画素の候補を選択してから、候補画素を連結領域に分割している。本実施形態では、連結領域となる補正利用画素を探索しながら選択することで、補正利用画素を決定する。

本実施形態に係るデータ処理装置の構成および処理は、第１の実施形態と基本的に同様である。第１の実施形態との相違点は、補正利用画素の選択処理（図２（Ａ）のステップＳ２２）の内容である。以下、図９（Ａ）〜９（Ｇ）を参照して、本実施形態における補正利用画素の選択処理について説明する。

ステップＳ２２８において、距離画像データ補正部１３３は、補正対象画素を含み、輝度または色が類似する画素からなる連結領域を探索により決定する。具体的には、補正対象画素の近傍領域内にあり、かつ補正対象画素との輝度または色の類似度が閾値以上の画素を、候補画素として選択する。図９（Ｂ）は、補正対象画素９１を示す。図９（Ｃ）では、補正対象画素９１の近傍領域（ここでは４近傍）から、輝度または色の類似性に基づいて、３つの画素９２，９３，９４が補正利用画素として選択されている。

次に、新たに候補画素として選択された画素９２，９３，９４のそれぞれについて、当該画素の近傍領域内にあり、かつ補正対象画素との輝度または色の類似性が閾値以上の画素を、新たな候補画素として選択する。図９（Ｄ）は、図９（Ｃ）に示す画素９２，９３，９４の近傍領域から新たに候補画素として選択された画素を示す。同様に、図９（Ｅ）は、図９（Ｄ）において新たに選択された候補画素の近傍領域から、さらに新たな候補画素として選択された画素を示す。この際、既に候補画素でないと決定されている画素は、補正対象画素との類似性が閾値未満であるので、類似性の判定を行うことなく候補画素ではないと決定できる。

距離画像データ補正部１３３は、このように新たに選択された候補画素としての近傍領域からさらに新たな候補画素を選択する処理を繰り返す。この繰り返しは、新たな選択画素が選択されなくなるまで行われる。このようにすることで、補正対象画素を含み、かつ、輝度または色が類似する画素からなる連結領域を決定できる。図９（Ｆ）は、最終的に選択される候補画素の集合を示す。

ステップＳ２２２において、距離画像データ補正部１３３は、距離値の信頼度に基づいて補正に利用する画素の候補を選択する。この処理は第１の実施形態と同様であり、図５（Ｄ）に示す結果が得られる。

ステップＳ２２７において、距離画像データ補正部１３３は、ステップＳ２２８で得られた画素群とステップＳ２２２で得られた画素群とを、論理積（ＡＮＤ演算）を用いて統合して、補正に利用する画素を決定する。図９（Ｇ）は、ステップＳ２２８で得られた候補画素群（図９（Ｆ））と、ステップＳ２２２で得られた候補画素群（図５（Ｄ））を統合した結果を示す。補正処理Ｓ２３では、図９（Ｇ）に示す画素を用いて補正対象画素の補正が行われる。

本実施形態によって得られる補正利用画素の結果は、第１の実施形態の結果（図７（Ｂ））と同様となる。したがって、本実施形態に示す手法によっても、第１の実施形態と同様の効果が得られる。これに加えて、本実施形態によれば、補正に利用できる画素であるかどうかの判定回数を減らすことができ、より効率良く連結領域となる補正利用画素を選択することができる。

なお、ステップＳ２２８における探索処理は、上記で説明した手法には限られない。最
終的に、補正対象画素を含み、輝度または色が類似する画素からなる連結領域を取得できれば、具体的な手法は問わない。例えば、画素ごとに近傍画素を調べる代わりに、ある画素から特定方向に類似性を調べていってもよい。具体的には、補正対象画素からスタートして、左側へ補正利用可能な画素（補正対象画素との輝度または色の類似性が閾値以上の画素）が続く限り探索し選択することができる。つまり、補正利用できない画素が現れたら、そこでその方向への探索を終了する。次に右側へ同様に繰り返す。その後、その選択された画素一列を起点に上下方向を同様に探索し、選択する。さらに上下方向の選択画素を起点に左右方向へ探索する。これらを収束するまで計算することで、周辺上下左右の画素を用いて探索し、選択された閉領域となる補正利用画素と同等の結果を得ることができる。このような手法はＳｅｅｄ Ｆｉｌｌ Ａｌｇｏｒｉｔｈｍと呼ばれる。

（第５の実施形態）
上記の実施形態では、撮影画像データと距離画像データを用いて、距離画像データの補正を行っている。しかしながら、撮影画像データと距離画像データ以外に対しても、同様の補正処理が行える。本実施形態では、第一の画像データと第二の画像データを用いて、第二の画像データの補正を行う。なお、上記の実施形態では、撮影画像データが第一の画像データに相当し、距離画像データが第二の画像データに相当する。

第一の画像データは、例えば、輝度画像データ、補正前の距離画像データ、補正後の距離画像データ。赤外光画像データ、偏光画像データである。またそれらを同時に利用しても構わない。いずれにしても補正対象画素の補正に利用することが適切な画素を判断できる情報であればどのような形でも良い。例えば、第一の画像データの画素値（例えば輝度や色）が異なれば、第二の画像データの画素値（例えば距離）が異なると判断できるのであれば、第一の画像データは第二の画像データの補正に利用する画素を決定するために適切な情報といえる。

第二の画像データは、第一の画像データに対応する画像データであり、補正する必要のあるデータであれば何でもよい。第二の画像データは、例えば、距離画像データ、近赤外光画像データ、赤外光画像データ、偏光画像データである。また、第二の画像データとして、動きデータ（Ｏｐｔｉｃａｌ Ｆｌｏｗ）も挙げられる。動きデータは被写体（時にはカメラの動きも含む）の動きを表すデータであり、横方向（ｘ方向）と縦方向（ｙ方向）の速度を各画素でデータとして保持している。動きデータ作成の一般的な手法は、ある時間間隔で輝度画像を二枚撮影するステップと、その二枚の画像のテンプレートマッチングによって尤もらしい位置を計算するステップを含む。第二の画像データはデータ処理装置とは異なる装置から入力してもよいし、第一の画像データを含めたその他情報から算出されてもよい。

以上のように、第二の画像データが補正が必要なデータであり、第一の画像データが第二の画像データに対して補正利用画素を選択するか否かを判断するのに有用な情報であれば、実施形態１〜４と同様の処理が適用可能である。データに依っては、補正対象データが複数になることはあるがそれぞれ基本的な処理は変わらない。例えば、動きデータの場合には横方向の動きデータの補正処理と縦方向のデータの補正処理は独立に同様の手法を用いて行われる。

本実施形態によれば、第一の画像データおよび第二の画像データに基づいて第二の画像データを精度良く補正できる。例えば、第一の画像データの画素値の類似性だけに基づいて補正利用画素を決定すると、第二の画像データの画素値が異なる可能性が高い画素も補正利用画素となってしまう場合に、精度のよい補正を実現可能である。

（第６の実施形態）
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

本発明は、マイクロプロセッサやＣＰＵ（中央演算装置）などの汎用プロセッサと、メモリに格納されたプログラムを備えたコンピュータにより構成し、汎用プロセッサが上記プログラムを実行することにより実現することができる。また、本発明は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）やＤＳＰ（Digital Signal Processor）のような専用プロセッサによって実現することができる。専用プロセッサおよびプログラムを実行する汎用プロセッサは、いずれも特定の機能を提供するように構成されたプロセッサといえる。また、本発明の一部の機能は汎用プロセッサ（およびプログラム）により提供され、他の機能は専用プロセッサによって実現されてもよい。また、本発明のある一つの機能が、汎用プロセッサ（およびプログラム）と専用プロセッサの両方によって実現されても構わない。

本発明は、汎用プロセッサによって実行されたときに当該汎用プロセッサに上記処理を実行させるプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。

１３３ 距離画像データ補正部
１３６ 利用画素決定部
１３７ 補正部

Claims (17)

1. 第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理装置であって、
   前記第一の画像データに基づいて、前記第二の画像データの補正対象画素の補正に利用する画素群を選択する選択手段と、
   前記選択された画素に対応する前記第二の画像データの値を用いて、前記第二の画像データの前記補正対象画素の値を補正する補正手段と、
   を備え、
   第一の画素の所定の近傍領域内に第二の画素が存在する場合に、第一の画素と第二の画素が連結していると定義したときに、
   前記選択手段は、前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が第一の閾値以上の画素であって、連結している一連の画素の集合を、前記画素群として選択する、
   データ処理装置。
2. 前記選択手段は、前記第二の画像データの画素値の信頼性も考慮して、前記画素群を選択する、
   請求項１に記載のデータ処理装置。
3. 前記選択手段は、
   前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が前記第一の閾値以上であり、かつ、前記第二の画像データの画素値の信頼性が第二の閾値以上の画素を、候補画素として選択する候補画素選択手段と、
   前記候補画素を、連結している一連の画素からなる領域に分割する分割手段と、
   分割された領域のいずれかを選択し、選択された領域に含まれる画素を前記画素群として選択する画素選択手段と、
   を備える、請求項２に記載のデータ処理装置。
4. 前記選択手段は、
   前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が前記第一の閾値以上の画素を、候補画素として選択する候補画素選択手段と、
   前記候補画素を、連結している一連の画素の領域に分割する分割手段と、
   分割された領域のいずれかを選択し、選択された領域に含まれ、かつ、前記第二の画像データの画素値の信頼性が第二の閾値以上の画素を前記画素群として選択する画素選択手段と、
   を備える、請求項２に記載のデータ処理装置。
5. 前記画素選択手段は、分割された領域のうち、前記補正対象画素に最も近い領域を選択する、
   請求項３または４に記載のデータ処理装置。
6. 前記画素選択手段は、分割された領域のうち、領域に含まれる画素の前記第一の画像データまたは前記第二の画像データの代表値が、前記補正対象画素の前記第一の画像データまたは前記第二の画像データの値に最も近い領域を選択する、
   請求項３または４に記載のデータ処理装置。
7. 前記画素選択手段によって選択された画素の数が第三の閾値以下である場合には、前記補正手段は前記補正対象画素の補正を行わない、
   請求項３から６のいずれか１項に記載のデータ処理装置。
8. 前記画素選択手段は、選択された領域に含まれる画素の数が第三の閾値以下である場合には、さらに別の領域も選択する、
   請求項３から６のいずれか１項に記載のデータ処理装置。
9. 前記選択手段は、前記画素選択手段によって選択された領域に含まれる画素の数が第三の閾値以下である場合には、前記近傍領域を拡張して前記画素群の選択を再度行う、
   請求項３から６のいずれか１項に記載のデータ処理装置。
10. 前記選択手段は、
    前記補正対象画素の前記所定の近傍領域内にあり、かつ、前記補正対象画素との前記第一の画像データの類似性が前記第一の閾値以上の画素を候補画素として選択し、
    新たに候補画素として選択された画素の前記所定の近傍領域内にあり、かつ、前記補正対象画素との前記第一の画像データの類似性が前記第一の閾値以上の画素をさらに候補画素として選択する処理を繰り返すことにより、候補画素を選択し、
    選択された候補画素のうち、前記第二の画像データの画素値の信頼性が第二の閾値以上の画素を前記画素群として選択する、
    請求項２に記載のデータ処理装置。
11. 前記補正手段は、前記選択手段によって選択された画素群の、前記第二の画像データの信頼性に応じた前記第二の画像データの加重平均値を、前記補正対象画素の補正値とする、
    請求項１から１０のいずれか１項に記載のデータ処理装置。
12. 前記補正手段は、前記選択手段によって選択された画素群の前記第二の画像データの単純平均値または中央値を、前記補正対象画素の補正値とする、
    請求項１から１０のいずれか１項に記載のデータ処理装置。
13. 前記所定の近傍領域は、４近傍、８近傍、または２４近傍の画素からなる領域である、
    請求項１から１２のいずれか１項に記載のデータ処理装置。
14. 前記第一の画像データが輝度画像データまたはカラー画像データであり、
    前記第二の画像データが距離画像データである、
    請求項１から１３のいずれか１項に記載のデータ処理装置。
15. 撮像素子と、
    前記撮像素子によって撮影されたデータに基づく第一の画像データから第二の画像データを生成する生成手段と、
    請求項１から１４のいずれか１項に記載のデータ処理装置と、
    を備える、撮像装置。
16. コンピュータによって実行される、第一の画像データと第二の画像データを用いて、第二の画像データを補正するデータ処理方法であって、
    前記第一の画像データに基づいて、前記第二の画像データの補正対象画素の補正に利用する画素群を選択する選択ステップと、
    前記選択された画素に対応する前記第二の画像データの値を用いて、前記第二の画像データの前記補正対象画素の値を補正する補正ステップと、
    を含み、
    第一の画素の所定の近傍領域内に第二の画素が存在する場合に、第一の画素と第二の画素が連結していると定義したときに、
    前記選択ステップでは、前記補正対象画素の周囲の画素のうち、前記補正対象画素との前記第一の画像データの類似性が第一の閾値以上の画素であって、連結している一連の画素の集合を、前記画素群として選択する、
    データ処理方法。
17. 請求項１６に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images