JP6729583B2 - 画像処理装置および方法 - Google Patents

Description

本開示は、画像処理装置および方法に関し、特に、オートフォーカスの際に、主要被写体領域を正しく求めることができるようにした画像処理装置および方法に関する。

カメラのフォーカスを自動で合わせる（オートフォーカス(AF)機能）技術について、合焦評価値に基づいてフォーカスブラケット撮影を行う技術がある（特許文献１参照）。

特開２００９−８６０３０号公報

しかしながら、より多様な撮像条件においても、撮影者の意図する被写体に正しくフォーカスを合わせる技術が望まれている。

本開示は、このような状況に鑑みてなされたものであり、より正しく、オートフォーカスができるようにするものである。

本開示の一側面の画像処理装置は、画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する制御を行う制御部を備え、前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置を、前記複数の被写体のうちの主要被写体の領域に修正する。

前記複数の被写体は、主要被写体と背景を含むことができる。

前記複数の被写体は、少なくとも類似する２つ以上の被写体を含むことができる。

前記画像処理部は、前記合焦に関する処理として、背景の領域を推定する処理を行うことができる。

前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置を特定することができる。

前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置の領域を囲む被写体枠を生成させることができる。

色の境界に基づいて、入力画像を複数の被写体についての領域に分割する領域分割部をさらに備えることができる。

前記被写体領域情報は、色の境界で分割された前記画像内の複数の被写体についての領域を示す情報である。

前記合焦指定位置情報は、前記画像内において選択された局所フォーカスエリアに含まれる点の位置を示す情報である。

本開示の一側面の画像処理方法は、画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する制御を行い、前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置を、前記複数の被写体のうちの主要被写体の領域に修正する。

本開示の一側面においては、画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する制御が行われる。そして、前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置が、前記複数の被写体のうちの主要被写体の領域に修正される。

本開示の一側面によれば、特に、オートフォーカスの際に、主要被写体領域を正しく求めることができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術を適用した撮像装置の構成例を示すブロック図である。 画像処理部により実行される機能ブロックの構成例を示すブロック図である。 被写体枠生成部の構成例を示すブロック図である。 SuperPixel生成部の処理について説明する図である。 被写体枠生成部の処理について説明する図である。 開始指示点の修正について説明する図である。 修正先の被写体信頼度について説明する図である。 本技術を適用した撮像装置の撮像処理について説明するフローチャートである。 １番目のフレームに対する処理について説明するフローチャートである。 被写体枠生成処理について説明するフローチャートである。 ２番目以降のフレームに対する処理について説明するフローチャートである。 本技術の効果を示す図である。 本技術の効果を説明するための従来の方法で生成された被写体枠画像を示す図である。 本技術の効果を示す図である。 本技術の効果を説明するための従来の方法で生成された被写体枠画像を示す図である。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

[本技術の撮像装置]
図１は、本技術を適用した撮像装置の構成例を示すブロック図である。

図１の撮像装置１０は、レンズユニット１００、撮像素子１０１、画像処理部１０２、制御部１０３、表示部１０４、メモリ１０５、記録デバイス１０６、操作部１０７、センサ部１０８、およびバス１０９を含むように構成されている。

レンズユニット１００は、被写体の光画像を集光する。レンズユニット１００は、制御部１０３からの指示に従い、適切な画像を得られるように、フォーカスレンズ、絞りなどを調整する機構を有する。

撮像素子１０１は、レンズユニット１００で集光された光画像を光電変換して電気信号に変換する。具体的には、撮像素子１０１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより実現される。

画像処理部１０２、制御部１０３、表示部１０４、メモリ１０５、記録デバイス１０６、操作部１０７、およびセンサ部１０８は、バス１０９を介して相互に接続されている。

画像処理部１０２は、撮像素子１０１からの電気信号をサンプリングするサンプリング回路、アナログ信号をデジタル信号に変換するA/D変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。画像処理部１０２は、専用のハードウェア回路のみではなく、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を備え、柔軟な画像処理に対応するためにソフトウェア処理を行うことができる。

特に、画像処理部１０２は、画像を領域分割し、制御部１０３からの局所フォーカスエリアの情報に基づいて、合焦に関する処理（背景推定、開始指示点修正、領域結合、被写体枠生成などの処理）を行う。なお、画像処理部１０２により実行される処理の詳細については後述する。

制御部１０３は、CPU(Central Processing Unit)及び制御プログラムからなり画像処理装置の各部の制御を行う。制御プログラム自体は実際にはメモリ１０５に格納され、CPUによって実行される。特に、制御部１０３は、撮像された画像情報から局所フォーカスエリアを選択し、選択した局所フォーカスエリアにおけるフォーカス対象位置（奥行き）と、レンズユニット１００の合焦位置（奥行き）に基づいて、レンズユニット１００のフォーカスレンズを駆動する。また、制御部１０３は、選択した局所フォーカスエリアを示す情報である合焦指定位置情報を画像処理部１０２に供給する。

表示部１０４は、画像処理部１０２によって処理された、メモリ１０５に格納されている画像信号をアナログ化するD/A変換回路と、アナログ化された画像信号を後段の表示装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とから構成される。表示装置は、例えば、LCD（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

メモリ１０５は、DRAM(Dynamic Random Access Memory)などの半導体メモリから構成され、画像処理部１０２で処理された画像データ、制御部１０３における制御プログラム及び各種データなどが一時記録される。

記録デバイス１０６は、FLASHメモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどで構成される。撮影時には画像処理部１０２でJPEG形式にエンコードされ、メモリ１０５に格納されたJPEG画像データを記録メディアに記録する。再生時には、記録メディアに保存されたJPEG画像データをメモリ１０５に読み込み、画像処理部１０２でデコード処理を行う。

操作部１０７は、シャッタボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスで構成され、撮影者の入力操作を検出し、制御部１０３の制御によって画像処理装置の動作が決定される。

センサ部１０８は、ジャイロセンサ、加速度センサ、地磁気センサ、GPS(Global Positioning System)センサなどで構成され、各種情報の検出を行う。これらの情報は、撮影された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。

図２は、画像処理部１０２により実行される機能ブロックの構成例を示すブロック図である。

図２に示される機能ブロックは、SuperPixel生成部１２１および被写体枠生成部１２２を含むように構成されている。図２の例における指と星のアイコンは、制御部１０３からの局所フォーカスエリアを示す合焦指定位置情報として入力される、局所フォーカスエリアに含まれる初期点（開始指示点）Ｓを表している。初期点とは、例えば、局所フォーカスエリアの略中心の点などからなる。なお、局所フォーカスエリアは、フォーカスポイントであってもよい。したがって、合焦指定位置情報は、局所フォーカスエリアの位置情報であってもよいし、その初期点の位置情報であってもよい。

SuperPixel生成部１２１には、撮像素子１０１からの入力画像１３１が入力される。SuperPixel生成部１２１は、SuperPixel生成処理を行う。すなわち、SuperPixel生成部１２１は、SuperPixel生成技術を利用して、入力される入力画像１３１を色の境界で明示的に領域を分割し、領域分割された中間処理画像（SuperPixel画像）１３２を生成する。SuperPixel生成部１２１は、生成された中間処理画像１３２を被写体枠生成部１２２に出力する。

ここで、一般的に、被写体の境界では、色が異なることが多い。したがって、色で画素（ピクセル）をグルーピングするSuperPixel生成処理により生成された中間処理画像１３２において、主要被写体についての色の領域は、主要被写体についての色の類似色の領域とは、異なる被写体の領域とすることができる。すなわち、中間処理画像１３２は、SuperPixel生成処理により複数の被写体についての領域に分割されており、複数の被写体についての領域を示す被写体領域情報を有しているといえる。

被写体枠生成部１２２には、制御部１０３から、局所フォーカスエリアに含まれる初期点（開始指示点）Ｓを示す合焦指定位置情報が入力される。被写体枠生成部１２２は、被写体領域情報を有する中間処理画像１３２を入力し、開始指示点Ｓを示す合焦指定位置情報と被写体領域情報に基づいて、合焦に関する処理（背景推定、開始指示点修正、領域結合、被写体枠生成などの処理）を行い、被写体枠Ｆが示される画像（被写体枠画像と称する）１３３を、例えば、表示部１０４に出力する。これに対応して、表示部１０４は、被写体枠Ｆが示される画像１３３を表示する。

また、被写体枠生成部１２２は、修正された開始指示点の情報、あるいは、修正が必要なかった開始指示点の情報を、合焦指定位置情報として、制御部１０３に供給するようにしてもよい。その際、制御部１０３は、被写体枠生成部１２２からの合焦指定位置情報に基づくフォーカス対象位置（奥行き）により、レンズユニット１００のフォーカスレンズを駆動する。

図３は、被写体枠生成部の構成例を示すブロック図である。

図３の例において、被写体枠生成部１２２は、背景推定部１４１、開始指示点修正部１４２、SuperPixel結合部１４３、および候補枠生成部１４４により構成される。

上述したように、背景推定画像１５１においては、複数の被写体の領域に分割されている。複数の被写体は、類似する２つ以上の被写体を含んでいる場合がある。また、複数の被写体は、フォーカス対象の被写体である主要被写体と背景を含む。背景推定部１４１は、中間処理画像１３２の複数の被写体の領域から、背景領域を推定し、背景領域が推定された画像である背景推定画像１５１（チェックのハッチ部分が背景部分）を、開始指示点修正部１４２に供給する。

開始点指示修正部１４２は、背景推定画像１５１において、開始指示点Ｓが位置する領域を特定し、特定した領域が背景領域であるならば、その開始指示点Ｓの位置を被写体信頼度において、主要被写体上に修正する。開始点指示修正部１４２は、開始指示点修正の終了した画像である開始指示点修正画像１５２を、Superpixel結合部１４３に供給する。

SuperPixel結合部１４３は、色距離や空間距離の近いSuperPixel同士を結合させ、SuperPixelが結合された画像を、候補枠生成部１４４に供給する。候補枠生成部１４４は、開始指示点Ｓが位置する、すなわち、主要被写体のSuperPixelが含まれる領域を囲む候補枠を生成し、被写体枠Ｆとして出力する。

図４は、SuperPixel生成部の処理について説明する図である。

SuperPixel生成部１２１は、入力画像１３１に対して、閾値を用いて、似たような色をグルーピングすることで、SuperPixel(画素群)を生成し、複数のSuperPixelが生成された画像、すなわち、領域分割された中間処理画像１３２を被写体生成部１２２に出力する。

図５は、被写体枠生成部の処理について説明する図である。

背景推定部１４１は、中間処理画像１３２において、SuperPixelの画像端画素数をチェックし、SuperPixelのサイズ・形状をチェックすることで、複数の被写体領域から、背景領域を推定し、背景が推定された画像である背景推定画像１５１を開始指示点修正部１４２に出力する。

開始指示点修正部１４２は、背景推定画像１５１において開始指示点Ｓが位置する領域が背景である場合、SuperPixel毎に、被写体である信頼度の高さを表す被写体信頼度を求め、求めた被写体信頼度に応じて開始指示点Ｓの修正を行う。

SuperPixel結合部１４３は、必要に応じて開始指示点Ｓの修正が行われた背景推定画像１５１において、色距離や空間距離の近いSuperPixel同士を結合させ、SuperPixelが結合された画像を、候補枠生成部１４４に供給する。

図６は、開始指示点の修正について説明する図である。

図６に示されるように、開始指示点修正部１４２は、開始指示点Ｓ（図中星マーク）が背景と推定されたSuperPixelにあるとき、背景以外のSuperPixelに開始指示点Ｓをジャンプさせて修正する。

例えば、背景推定画像１５１Ａにおいては、背景（チェックのハッチ）と推定されたSuperPixelに開始指示点Ｓが存在するため、背景推定画像１５１Ｂ乃至１５１Ｄに示されるように、背景以外のSuperPixel（１，２，３）に移動させる。この移動は、次に説明される被写体信頼度に応じてなされる。

図７は、修正先の被写体信頼度について説明する図である。図７の例においては、Ｓが開始指示点を示し、修正先が被写体枠Ｆで示されている。なお、図７のＡにおいては、中央の犬とお墓以外は、背景領域とされている。図７のＢにおいては、中央の犬と犬の上にある窓の柵以外は、背景領域とされている。図７のＣにおいては、犬と車以外は、背景領域とされている。図７のＤにおいては、犬以外は背景領域とされている。

開始指示点が背景領域のSuperPixel内部のときに、開始指示点修正部１４２は、修正先のSuperPixelを以下の観点から選択する。
Ａ：図７のＡに示されるように、開始指示点からの空間距離が近いSuperPixelを主要被写体信頼度が高いとみなす。
Ｂ：図７のＢに示されるように、フォーカスエリア中央（ここでは画像中央）からの空間距離が近いSuperPixelを主要被写体信頼度が高いとみなす。
Ｃ：図７のＣに示されるように、背景から色距離が離れたSuperPixelがよい。
Ｃ−１：開始指示点の存在するSuperPixel（背景とみなされた）から色距離が離れたSuper-pixelを主要被写体信頼度が高いとみなす。
Ｃ−２：背景領域の中で最大サイズのSuperPixelから色距離が離れたSuperPixelを主要被写体信頼度が高いとみなす。
Ｄ：図７のＤに示されるように、大きな面積のSuper-pixelを主要被写体信頼度が高いとみなす。

以上のうちの少なくともいずれか１つを基に、あるいは、それらの組み合わせを基に、修正先のSuperPixelが選択される。

次に、図８のフローチャートを参照して、図１の撮像装置１０の撮像処理について説明する。

撮像装置１０の制御部１０３は、ステップＳ１１において、操作部１０７を構成するシャッタボタンが半押しされるまで待機しており、シャッタボタンが半押しされたと判定した場合、処理は、ステップＳ１２に進む。

ステップＳ１２において、画像処理部１０２および制御部１０３は、１番目のフレームに対する処理を行う。この処理は、局所フォーカスエリアに応じて被写体を捕捉する処理であり、図９を参照して後述される。

ステップＳ１３において、画像処理部１０２および制御部１０３は、２番目以降のフレームに対する処理を行う。この処理は、被写体を追尾する処理であり、図１１を参照して後述される。

ステップＳ１２およびＳ１３の処理により、被写体枠Ｆが表示され、シャッタボタンが深押しされるので、制御部１０３は、ステップＳ１４において、撮像素子１０１を制御し、写真を撮像させる。撮像素子１０１は、レンズユニット１００で集光された光画像を光電変換して電気信号に変換する。画像処理部１０２は、撮像素子１０１からの電気信号をサンプリングし、デジタルの画像データに変換し、所定の画像処理を行う。

ステップＳ１５において、画像処理部１０２は、画像データを、メモリ１０５に保存する。

次に、図９のフローチャートを参照して、図８のステップＳ１２の１番目のフレームに対する処理について説明する。なお、図９の例においては、被写体の捕捉処理が行われる。

図８のステップＳ１１において、シャッタボタンが半押しされた際、その情報が、操作部１０７から、制御部１０３と画像処理部１０２に入力される。また、撮像素子１０１より、そのときの入力画像１３１が制御部１０３と画像処理部１０２に入力される。

ステップＳ３１において、制御部１０３は、入力画像１３１から局所フォーカスエリアを選択する。選択された局所フォーカスエリアを示す合焦指定位置情報は、被写体枠生成部１２２に供給される。

ステップＳ３２において、制御部１０３は、合焦指定位置情報に基づいて、局所フォーカスエリアにおけるフォーカス対象位置（奥行き）とレンズ合焦位置（奥行き）のズレを計算する。ステップＳ３３において、制御部１０３は、ステップＳ３２により計算されたズレに基づいて、レンズユニット１００のフォーカスレンズを駆動する。

一方、ステップＳ３４において、SuperPixel生成部１２１は、入力画像１３１から、SuperPixel生成技術を利用して、入力される入力画像１３１を色の境界で明示的に領域を分割し、（複数の被写体について）領域分割された中間処理画像（SuperPixel画像）１３２を生成する。SuperPixel生成部１２１は、生成された中間処理画像１３２を被写体枠生成部１２２に出力する。

ステップＳ３５において、被写体枠生成部１２２は、SuperPixel生成部１２１からの被写体領域情報を有する中間処理画像１３２と制御部１０３からの局所フォーカスエリア（開始指示点）Ｓの合焦指定位置情報に基づいて、被写体枠Ｆを生成する。この被写体枠生成処理は、図１０を参照して後述される。ステップＳ３５により生成された被写体枠画像１３３が、表示部１０４に表示される。

ステップＳ３６において、画像処理部１０２の特徴量取得部（図示せぬ）は、被写体の特徴量を取得する。ここで、取得された被写体の特徴量や開始指示点の合焦指定位置情報は、２番目以降フレームに対する処理において使用される。

以上により、局所フォーカスエリアに応じて被写体が捕捉されて、被写体枠が生成され、生成された被写体枠が表示部１０４に表示される。

次に、図１０のフローチャートを参照して、図９のステップＳ３５の被写体枠生成処理について説明する。

ステップＳ７１において、背景推定部１４１は、中間処理画像１３２の複数の被写体の領域から、背景領域を推定し、背景領域が推定された画像である背景推定画像１５１（チェックのハッチ部分が背景部分）を、開始指示点修正部１４２に供給する。

ステップＳ７２において、開始指示点修正部１４２は、合焦指定位置情報に基づいて、開始指示点Ｓが位置する領域を特定し、背景推定画像１５１において、開始指示点Ｓが位置する領域が背景であるか否かを判定する。ステップＳ７２において、開始指示点Ｓが位置する領域が背景であると判定された場合、処理は、ステップＳ７３に進む。

ステップＳ７３において、開始点指示修正部１４２は、開始指示点Ｓを、図７を参照して上述した主要被写体信頼度において修正する。開始点指示修正部１４２は、開始指示点修正の終了した画像である開始指示点修正画像１５２を、Superpixel結合部１４３に供給する。なお、被写体枠生成部１２２は、修正された開始指示点の情報、あるいは、修正が必要なかった開始指示点の情報を、合焦指定位置情報として、制御部１０３に供給するようにしてもよい。その際、制御部１０３は、被写体枠生成部１２２からの合焦指定位置情報に基づくフォーカス対象位置（奥行き）により、レンズユニット１００のフォーカスレンズを駆動する。その後、処理は、ステップＳ７４に進む。

また、ステップＳ７２において、開始指示点Ｓが位置する領域が背景ではないと判定された場合、ステップＳ７３の処理はスキップされ、ステップＳ７４に進む。

ステップＳ７４において、SuperPixel結合部１４３は、色距離や空間距離の近いSuperPixel同士を結合させ、SuperPixelが結合された画像を、候補枠生成部１４４に供給する。

ステップＳ７５において、候補枠生成部１４４は、開始指示点Ｓが位置する、すなわち、主要被写体のSuperPixelが含まれる領域を囲む候補枠を生成し、生成した候補枠を、被写体枠Ｆとして出力する。

以上のように、SuperPixel（領域分割）を用いて色の境界で領域を分離するようにしたので、類似色の物体でも別物としてみることができ、これにより、被写体枠を正しく求めることができる。また、領域毎に背景であるか否かの判定が行われるので、局所フォーカスエリアの修正を行うことができる。

次に、図１１のフローチャートを参照して、図８のステップＳ１３の２番目以降のフレームに対する処理について説明する。なお、図１１の例においては、被写体の追尾処理が行われる。

ステップＳ９１において、画像処理部１０２の移動位置推定部（図示せず）は、被写体の移動位置を推定する。

ステップＳ９２において、制御部１０３は、ステップＳ９１により推定された被写体の移動位置に基づいて、局所フォーカスエリアを選択する。ステップＳ９３において、制御部１０３は、局所フォーカスエリアを示す合焦指定位置情報に基づいて、局所フォーカスエリアにおけるフォーカス対象位置（奥行き）とレンズ合焦位置（奥行き）のズレを計算する。ステップＳ９４において、制御部１０３は、ステップＳ９３により計算されたズレに基づいて、レンズユニット１００のフォーカスレンズを駆動する。

ステップＳ９５において、制御部１０３は、シャッタボタンが深押しされたか否かを判定する。ユーザがシャッタボタンを深押しすると、操作部１０７は、その情報を制御部１０３に供給する。制御部１０３は、ステップＳ９５において、シャッタボタンが深押しされたと判定して、２番目以降のフレームに対する処理を終了する。

一方、ステップＳ９５において、シャッタボタンが深押しされていないと判定された場合、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。

[本技術の効果]
次に、図１２乃至図１５を参照して、本技術の効果について説明する。

本技術においては、領域分割技術（SuperPixel生成）を用いて、色の境界（被写体の境界）で明示的に領域を分離できるようにしたので、類似色の物体でも、別物と扱うことが可能となり、被写体を正しく求めることができる。

図１２に示されるように、図中上の鳥だけにフォーカスエリア（開始指示点）Ｓを指示すると、領域分割技術により生成される中間処理画像１３２において領域が複数の被写体に分離されるので、被写体枠画像１３３に示されるように、図中上の鳥だけを囲むように被写体枠Ｆを表示させることができる。したがって、例えば、図１３ の例のように、図中上の鳥だけにフォーカスエリア（開始指示点）Ｓを指示したとしても、その結果、被写体枠画像１３３に示されるように、２匹の鳥を囲むように被写体枠Ｆが表示されてしまうことを抑制する事ができる。

また、領域毎に背景であるか否かの判定を行い、局所フォーカスエリア選択において開始指示点Ｓが背景になってしまう場合、フォーカスエリアが修正されるので、フォーカスエリアが誤って背景にずれたとしても、撮影者のねらう被写体をとらえることができる。

図１４に示されるように、入力画像１３１において、背景に開始指示点Ｓが設定されてしまったとしても、背景推定画像１５１のように背景が示され、開始指示点修正画像１５２のように、開始指示点Ｓが修正される。したがって、被写体枠画像１３３においては、撮影者のねらった犬を囲むように被写体枠Ｆを表示させることができる。例えば、図１５に示されるように、背景に開始指示点Ｓが設定されても、背景に被写体枠Ｆが出てしまうことを抑制することができる。

以上のように、本技術によれば、SuperPixel（領域分割）を用いて色の境界で領域を分離するようにしたので、類似色の物体でも別物としてみることができ、これにより、撮影者が狙った被写体にフォーカスが合うようになる。また、被写体枠を正しく求めることができる。

また、手ブレ・被写体動きによって、撮影者が狙った被写体と合焦指示ポイントがずれても、狙った被写体にフォーカスが合うようになる。

なお、上記説明においては、撮像された画像情報から局所フォーカスエリアの初期点（開始指示点）を決定するオートフォーカスの場合について説明したが、ユーザが表示部１０４に表示されるライブビュー画像の所望の点または領域に対してボタン操作やタッチパネル操作をすることにより合焦位置を指定することで、開始指示点を決定する場合についても本技術は適用することができる。

また、ユーザの操作に関しては、ボタン操作やタッチパネル操作だけに限らず、例えば、通信部を介して、他の外部操作機器（例えば、多機能ポータブル端末や多機能携帯電話機）などから操作を受けるようにしてもよい。

なお、上記説明においては、被写体枠の生成までを説明したが、被写体枠の生成には限定されない。被写体枠は表示されない場合にも本技術を適用することができる。例えば、監視カメラなどにおいて、後から主要被写体を特定するための領域を取り出すときなどにも、本技術を適用することができる。

また、本発明は、画像処理装置、撮像装置、監視カメラ、車載用カメラなどや、それらを含む映像システムなどに適用することが可能である。

［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。

図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する処理を行う画像処理部
を備える画像処理装置。
（２） 前記複数の被写体は、主要被写体と背景を含む
前記（１）に記載の画像処理装置。
（３） 前記複数の被写体は、少なくとも類似する２つ以上の被写体を含む
前記（１）に記載の画像処理装置。
（４） 前記画像処理部は、前記合焦に関する処理として、背景の領域を推定する処理を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置を特定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置を、前記複数の被写体のうちの主要被写体の領域に修正する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置の領域を囲む被写体枠を生成させる
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 色の境界に基づいて、入力画像を複数の被写体についての領域に分割する領域分割部を
さらに備える前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記被写体領域情報は、色の境界で分割された前記画像内の複数の被写体についての領域を示す情報である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記合焦指定位置情報は、前記画像内において選択された局所フォーカスエリアに含まれる点の位置を示す情報である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 画像処理装置が、
画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する処理を行う
画像処理方法。

１０ 撮像装置， １００ レンズユニット， １０１ 撮像素子， １０２ 画像処理部， １０３ 制御部， １０４ 表示部， １０６ 記録デバイス， １０７ 操作部， １２１ SuperPixel生成部， １２２ 被写体枠生成部， １３１ 入力画像， １３２ 中間処理画像， １３３ 被写体枠画像， １４１ 背景推定部， １４２ 開始指示点修正部， １４３ SuperPixel結合部， １４４ 候補枠生成部， １５１ 背景推定画像， １５２ 開始指示点修正画像

Claims (10)

1. 画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する処理を行う画像処理部
   を備え、
   前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置を、前記複数の被写体のうちの主要被写体の領域に修正する
   画像処理装置。
2. 前記複数の被写体は、主要被写体と背景を含む
   請求項１に記載の画像処理装置。
3. 前記複数の被写体は、少なくとも類似する２つ以上の被写体を含む
   請求項１に記載の画像処理装置。
4. 前記画像処理部は、前記合焦に関する処理として、背景の領域を推定する処理を行う
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置を特定する
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記画像処理部は、前記合焦に関する処理として、前記合焦指定位置の領域を囲む被写体枠を生成させる
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 色の境界に基づいて、入力画像を複数の被写体についての領域に分割する領域分割部を
   さらに備える請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記被写体領域情報は、色の境界で分割された前記画像内の複数の被写体についての領域を示す情報である
   請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記合焦指定位置情報は、前記画像内において選択された局所フォーカスエリアに含まれる点の位置を示す情報である
   請求項１乃至８のいずれかに記載の画像処理装置。
10. 画像処理装置が、
    画像内の複数の被写体についての領域を示す被写体領域情報と前記画像内の合焦指定位置を示す合焦指定位置情報に基づいて、合焦に関する処理を行い、
    前記合焦に関する処理として、前記合焦指定位置が背景の領域であった場合、前記合焦指定位置を、前記複数の被写体のうちの主要被写体の領域に修正する
    画像処理方法。

Images