JP2017201818A - 領域抽出装置 - Google Patents

Abstract

【課題】主要被写体の領域に合焦させるための処理時間を短くすることができる領域抽出装置を提供する。【解決手段】領域抽出装置は、撮像された画像から、特徴量に基づいて被写体領域を抽出する領域抽出部と、領域抽出部により抽出された前記被写体領域の位置関係に基づいて、被写体領域を選択する領域処理部と、を備える。【選択図】図１

Description

本発明は、画像から領域を抽出する領域抽出装置に関する。

画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。

特開平４−１００７９号公報

しかしながら、特許文献１に開示された画像処理装置は、主要被写体の領域に合焦させるための処理時間が長いという問題がある。

本発明は、前記の点に鑑みてなされたものであり、主要被写体の領域に合焦させるための処理時間が短い領域抽出装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、撮像された画像から、特徴量に基づいて被写体領域を抽出する領域抽出部と、前記領域抽出部により抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する領域処理部と、を備える領域抽出装置である。

本発明によれば、領域抽出装置は、主要被写体の領域に合焦させるための処理時間を短くすることができる。

本発明の第１実施形態における、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成を表すブロック図である。 本発明の第１実施形態における、被写体領域を統合する方法を説明するための図である。 本発明の第１実施形態における、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する方法を説明するための図である。 本発明の第１実施形態における、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する方法を説明するための図である。 本発明の第１実施形態における、被写体領域を統合及び分割する方法を説明するための図である。 本発明の第１実施形態における、被写体領域を統合及び分割する手順を表すフローチャートである。 本発明の第１実施形態における、領域に合焦させるまでの処理の手順を表すフローチャートである。 本発明の第２実施形態における、統合により残った被写体領域を優先的に選択する処理の例を説明するための図である。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、静止画形式又は動画形式の画像を、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。

レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、領域抽出装置１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。

また、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１３０及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をＣＰＵ１９０に出力する。

領域抽出装置１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に一時的に記憶されている画像を画像処理する。画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。また、領域抽出装置１４０は、バッファメモリ部１３０に一時的に記憶されている画像から、画像の特徴量により定まる領域を抽出する。また、領域抽出装置１４０は、抽出した領域を示す情報を記憶部１６０などに記憶させる。ここで、領域を示す情報とは、例えば、領域の分布を表す情報、及び領域の特徴量を表す情報などである。また、領域抽出装置１４０は、バッファメモリ部１３０に一時的に記憶されている画像から抽出した被写体領域に、被写体領域に合焦させるための優先度を設定する。

表示部１５０は、撮像部１１０によって得られた画像、及び操作画面等を表示する。表示部１５０は、例えば、液晶ディスプレイである。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、領域を示す情報等とを記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば、絞り値、露出値）に従って、撮像部１１０を制御する。また、ＣＰＵ１９０は、領域を示す情報を、領域抽出装置１４０から取得する。また、ＣＰＵ１９０（焦点調節部）は、領域を示す情報に基づいてレンズ鏡筒１１１の鏡筒制御部１１８に駆動制御信号を出力することで、画像から抽出された領域のうち、領域抽出装置１４０が設定した優先度が高い領域に合焦させるよう焦点を調節する。

また、ＣＰＵ１９０は、領域を示す情報に基づいて、画像処理のプレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。また、ＣＰＵ１９０は、領域を示す情報に基づいて、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、領域を示す情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、領域抽出装置１４０に画像処理させる。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、領域を示す情報など）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、領域を示す情報など）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、領域抽出装置１４０の詳細について説明する。
領域抽出装置１４０は、特徴量算出部１４１と、領域抽出部１４２と、領域処理部１４３と、優先度設定部１４４とを備える。

特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、特徴量算出部１４１は、バッファメモリ部１３０から取得した画像における複数の特徴（例えば、色相、彩度、明度、テクスチャ、エッジ）毎に、その特徴量（例えば、輝度情報に基づく特徴量、色情報に基づく特徴量）を算出し、算出した特徴量を領域抽出部１４２に出力する。

領域抽出部１４２は、特徴量算出部１４１が算出した特徴量を取得する。また、領域抽出部１４２は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、領域抽出部１４２は、取得した画像に含まれる領域であって特徴量毎に定まる被写体領域を、画像から抽出する。ここで、領域抽出部１４２が抽出する被写体領域は、例えば、撮像部１１０が撮像した画像に含まれる被写体像の領域である。

領域抽出部１４２は、取得した特徴量（例えば、輝度（Ｙ）、色情報（Ｃｒ，Ｃｂ、ＲＧＢ））に基づいて、被写体領域を画像から抽出する。例えば、領域抽出部１４２は、一定範囲内の画像特徴量と、その範囲外の画像特徴量とに２値化された画像から、被写体領域を抽出する。また、領域抽出部１４２は、被写体領域にラベルを割り当てる（ラベリング）。

また、領域抽出部１４２は、第１の画像特徴量に基づく被写体領域に外接する第１矩形領域と、第２の画像特徴量に基づく被写体領域に外接する矩形領域とを生成する。以下では、第１の画像特徴量は、色情報に応じた特徴量であるとする。また、色差に基づく被写体領域に外接する矩形領域を、以下、「色差領域」という。また、第２の画像特徴量は、輝度に応じた特徴量であるとする。また、輝度に基づく被写体領域に外接する矩形領域を、以下、「輝度矩形領域」という。なお、被写体領域に外接する領域（外接領域）の形状は、矩形に限らなくてもよい。

領域処理部１４３は、予め定められた条件を被写体領域が満たすか否かを判定する。例えば、領域処理部１４３は、ノイズと推定される領域（例えば、所定閾値よりも面積が小さい領域）が画像にある場合、それらの領域を画像から除去（足きり）する。また、例えば、領域処理部１４３は、背景と推定される領域（例えば、所定閾値よりも面積が大きい領域）が画像にある場合、その領域を画像から除去する。領域処理部１４３は、除去されずに残っている被写体領域の分布を表す情報を、記憶部１６０に記憶させる。

領域処理部１４３は、領域抽出部１４２により抽出された被写体領域の位置関係に基づいて、被写体領域を選択し、選択した被写体領域を統合又は分割する。すなわち、領域処理部１４３は、位置が近い被写体領域を選択し、選択した被写体領域を統合又は分割する。また、領域処理部１４３は、被写体領域の形状に基づいて、被写体領域を選択し、選択した被写体領域を統合又は分割する。すなわち、領域処理部１４３は、形状が近似する被写体領域を選択し、選択した被写体領域を統合又は分割する。

領域処理部１４３は、輝度に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する輝度矩形領域の面積を分母とする面積比（充填率）を、輝度矩形領域毎に算出する。また、領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び輝度矩形領域を、分割又は統合する対象から除外する。同様に、領域処理部１４３は、色差に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する色差矩形領域の面積を分母とする面積比（充填率）を、色差矩形領域毎に算出する。また、領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び色差矩形領域を、分割又は統合する対象から除外する。

領域処理部１４３は、色差矩形領域の隅の座標に基づいて、色差に基づく被写体領域を統合する。また、領域処理部１４３は、輝度矩形領域の隅の座標に基づいて、輝度に基づく被写体領域を統合する。図２には、被写体領域を統合する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。

図２（Ａ）では、色差矩形領域６１０が色差矩形領域６００に包含されており、且つ、色差矩形領域６００及び色差矩形領域６１０の隅の座標差が、予め定められた画素数Ｍ（Ｍは、１以上の整数）以下であるとする。この場合、領域処理部１４３は、面積が大きい色差矩形領域６００に色差矩形領域６１０を統合する。同様に、領域処理部１４３は、輝度に基づいて画像から抽出した被写体領域（不図示）を統合する。

なお、領域処理部１４３は、色差矩形領域６００及び色差矩形領域６１０を統合する場合、色差矩形領域６００及び色差矩形領域６１０において最も長い縦横の辺を有するように領域を統合してもよい。輝度矩形領域についても同様である。

図２（Ｂ）では、色差矩形領域７１０及び色差矩形領域７１０の一部が重複し、且つ、色差矩形領域７００及び色差矩形領域７１０の隅の座標差が、予め定められた画素数Ｍ以下であるとする。この場合、領域処理部１４３は、面積が大きい色差矩形領域７００に色差矩形領域７１０を統合する。同様に、領域処理部１４３は、輝度に基づいて画像から抽出した被写体領域（不図示）を統合する。

領域処理部１４３は、色差矩形領域の隅の座標と、輝度矩形領域の隅の座標とに基づいて、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する。例えば、領域処理部１４３は、色差矩形領域の隅の座標と、輝度矩形領域の隅の座標との差が、Ｎ（Ｎは、１以上の整数）画素以内である場合、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する。

また、図３には、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。領域処理部１４３は、色差矩形領域４００に輝度矩形領域４１０が包含されており、且つ、色差矩形領域４００及び輝度矩形領域４１０の隅の座標差が、予め定められた画素数Ｌ（Ｌは、１以上の整数）以上であるか否かを判定する。

図３では、色差矩形領域４００に輝度矩形領域４１０が包含されており、且つ、色差矩形領域４００及び輝度矩形領域４１０の隅の座標差が、予め定められた画素数Ｌ以上であるとする。この場合、領域処理部１４３は、色差矩形領域４００に輝度矩形領域４１０を統合する。同様に、領域処理部１４３は、輝度に基づいて画像から抽出した被写体領域（不図示）を統合する。同様に、領域処理部１４３は、輝度矩形領域４１０に内接する被写体領域（不図示）を、色差矩形領域４００に内接する被写体領域（不図示）に統合する。

領域処理部１４３は、輝度矩形領域に色差矩形領域が包含されており、且つ、輝度矩形領域及び色差矩形領域の隅の座標差が、予め定められた画素数Ｌ以上である場合、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する。

図４には、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。

領域処理部１４３は、輝度に基づく被写体領域（不図示）に外接する輝度矩形領域５００に、色差に基づく被写体領域（不図示）に外接する色差矩形領域５１０が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標の差が、予め定められた画素数Ｌ以上であるか否かを判定する。

領域処理部１４３は、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する。これにより、領域処理部１４３は、輝度矩形領域５００から色差矩形領域５１０を分割し、輝度矩形領域５００を輝度矩形領域５００−１に変形させる。輝度矩形領域５００−２〜輝度矩形領域５００−４についても同様である。ここで、領域処理部１４３は、その処理能力に応じて、輝度矩形領域５００から色差矩形領域５４０を中抜きする処理を実行してもよい。

図１に戻り、領域抽出装置１４０の説明を続ける。優先度設定部１４４は、予め定められた条件を満たす被写体領域に、画像における「領域の優先度」を定める。この「領域の優先度」とは、人がより注目しているであろう領域の優先度である。優先度設定部１４４は、設定した「領域の優先度」を、領域を示す情報として、記憶部１４５、記憶部１６０及び記憶媒体２００に、領域毎に記憶させる。

領域の優先度は、次のように定められてもよい。以下では、優先度を示す数字が小さいほど、領域の優先度が高いものとする。また、以下に示す優先度は、一例である。

優先度１．
動いている領域（動いている領域が画像に複数ある場合、画角からはみ出していない領域、又は画角の中央に分布する領域）。また、パンニングしたことにより、動いている領域が画像に広く分布している場合は、動いていない領域。
これらの領域は、優先度「１」に設定される。
人は、動いている領域及びパンニングした際に変化量の少ない領域に注目するためである。

優先度２．
画角（構図）、奥行（パースペクト）、被写体距離（デプス、深度）に関する領域。画角の中央付近に分布する領域。画像に奥行がある場合、至近側に分布する領域のうち、画角からはみ出していない領域であって、面積が所定の範囲内である（極端に大きくない）領域。
これらの領域は、優先度「２」に設定される。
主要な被写体像の領域が、至近から無限までの広い範囲に存在する可能性があるためである。

優先度３．
人の顔検出、動物（ペット）の顔検出、顔が検出された領域における肌色検出、動物の毛並みのテクスチャ（模様）、又は植物のテクスチャに基づいて抽出された領域。
これらの領域は、優先度「３」に設定される。
人または動物が撮像されている場合、人は、その顔に注目するためである。

優先度４．
特異である特徴量（例えば、色相環において不連続である色相）がある領域。背景の領域とそれ以外の領域とに分割された領域。彩度が高い領域。周囲と比較して明度が著しく異なる領域。周囲と比較して色相（色合い）が著しく異なる領域。テクスチャ（模様）が周囲と異なる領域。周囲と比較して空間周波数（画像周波数）が高い領域。ある特徴量において不連続な分布が一定量あり、その特徴量に基づいてラベリングされた結果、領域が形成された場合に、画像において違和感がある領域。
これらの領域は、優先度「４」に設定される。

優先度５．
特定の色相又は彩度に基づいて抽出された領域。ここで、特定の色相とは、例えば、黄色、紫色、赤色及び肌色など、彩度の高い色である。
これらの領域は、優先度「５」に設定される。
人は、赤色、黄色、肌色の領域に注目するためである。

優先度６．
明度（明暗）に基づいて抽出された領域。
これらの領域は、優先度「６」に設定される。

優先度７．
テクスチャ（模様）に基づいて抽出された領域。
これらの領域は、優先度「７」に設定される。

優先度８．
空間周波数（画像周波数）に基づいて抽出された領域。
これらの領域は、優先度「８」に設定される。

優先度９．
縦又は横に延びたエッジで囲まれた領域であって、一定以上の太さがある領域。
これらの領域は、優先度「９」に設定される。

次に、領域抽出装置の処理の手順を説明する。
図５には、被写体領域を統合及び分割する方法を説明するための図が表されている。また、図６は、被写体領域を統合及び分割する手順を表すフローチャートである。

領域抽出部１４２は、撮像された画像がリサイズされたクロップ画像（２値化画像）３００Ｙ、クロップ画像３００Ｃｒ、及びクロップ画像３００Ｃｂを、バッファメモリ部１３０を介して画像特徴量毎に読み込む。

領域抽出部１４２は、色差（Ｃｒ）に基づく複数の被写体領域を画像３００Ｃｒから抽出し、抽出した被写体領域に外接する色差矩形領域を画像に生成する。また、領域処理部１４３は、色差矩形領域の面積と、この色差矩形領域に包含されている被写体領域の面積との比を、色差矩形領域毎に算出する。色差（Ｃｂ）についても同様である。

また、領域抽出部１４２は、輝度（Ｙ）に基づく被写体領域を画像３００Ｙから抽出し、抽出した被写体領域に外接する輝度矩形領域を生成する。また、領域処理部１４３は、輝度矩形領域の面積と、この輝度矩形領域に包含されている被写体領域の面積との比を、輝度矩形領域毎に算出する。

領域抽出部１４２は、輝度の階調範囲における一定範囲毎に、クロップ画像を生成する。図５では、１番目に高い輝度の階調範囲から成る２値化画像３００Ｙ−１が、クロップ画像３００Ｙから生成されたとする。また、２番目に高い輝度の階調範囲から成る２値化画像３００Ｙ−２が、クロップ画像３００Ｙから生成されたとする。また、３番目に高い輝度の階調範囲から成る２値化画像３００Ｙ−３が、クロップ画像３００Ｙから生成されたとする。また、４番目に高い輝度の階調範囲から成る２値化画像３００Ｙ−４が、クロップ画像３００Ｙから生成されたとする。

ここで、輝度に基づく被写体領域３１０が、２値化画像３００Ｙ−１から抽出されたとする。また、輝度に基づく被写体領域３２０が、２値化画像３００Ｙ−２から抽出されたとする。領域抽出部１４２は、被写体領域３１０に外接する輝度矩形領域を、２値化画像３００Ｙ−１に生成する。また、領域抽出部１４２は、被写体領域３２０に外接する輝度矩形領域を、２値化画像３００Ｙ−２に生成する。

色差（Ｃｒ）についても同様に、図５では、２値化画像３００Ｃｒ−１〜３００Ｃｒ−４が、クロップ画像３００Ｃｒから生成されたとする。ここで、色差（Ｃｒ）に基づく被写体領域３３０が、２値化画像３００Ｃｒ−２から抽出されたとする。また、色差（Ｃｒ）に基づく被写体領域３４０が、２値化画像３００Ｃｒ−３から抽出されたとする。領域抽出部１４２は、被写体領域３３０に外接する色差矩形領域を、２値化画像３００Ｃｒ−２に生成する。また、領域抽出部１４２は、被写体領域３４０に外接する色差矩形領域を、２値化画像３００Ｃｒ−３に生成する。

色差（Ｃｂ）についても同様に、図５では、２値化画像３００Ｃｂ−１〜３００Ｃｂ−４が、クロップ画像３００Ｃｂから生成されたとする。ここで、色差（Ｃｂ）に基づく被写体領域３５０が、２値化画像３００Ｃｂ−１から抽出されたとする。領域抽出部１４２は、被写体領域３５０に外接する色差矩形領域を、２値化画像３００Ｃｂ−１に生成する

領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び輝度矩形領域を、分割又は統合する対象から除外するため、除外する対象を示す情報を記憶する。同様に、領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び色差矩形領域を、分割又は統合する対象から除外するため、除外する対象を示す情報を記憶する（ステップＳ１）。

領域処理部１４３は、被写体領域３４０に外接する色差矩形領域の隅の座標と、被写体領域３５０に外接する色差矩形領域の隅の座標とに基づいて（図２を参照）、被写体領域３４０及び被写体領域３５０を統合した被写体領域３７０を、２値化画像３００Ｃｒ−３及び２値化画像３００Ｃｂ−１から抽出する（ステップＳ２）。

領域処理部１４３は、被写体領域に外接する輝度矩形領域の隅の座標と、他の被写体領域に外接する輝度矩形領域の隅の座標とに基づいて（図２を参照）、被写体領域及び被写体領域を統合した被写体領域３１０を、２値化画像３００Ｙ−１から抽出する（ステップＳ３）。

領域処理部１４３は、色差（図５では、Ｃｒ）に基づく被写体領域３３０に外接する色差矩形領域の隅の座標と、輝度（Ｙ）に基づく被写体領域３２０に外接する輝度矩形領域の隅の座標とに基づいて、輝度に基づく被写体領域３２０を、色差に基づく被写体領域３３０に統合し、２値化画像３００Ｙ−２及び２値化画像３００Ｃｒ−２から被写体領域３６０を抽出する（ステップＳ４）。

領域処理部１４３は、色差に基づく被写体領域に外接する色差矩形領域に、輝度に基づく被写体領域に外接する輝度矩形領域が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標差が、予め定められた画素数以上であるか否かを、被写体領域毎に判定する（ステップＳ５）。

ステップＳ５において判定条件が成立しない場合（ステップＳ５−Ｎｏ）、領域処理部１４３は、輝度に基づく被写体領域３１０に外接する輝度矩形領域に、色差に基づく被写体領域３７０に外接する色差矩形領域が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標の差が、予め定められた画素数以上であるか否かを、被写体領域毎に判定する（ステップＳ６）。

一方、ステップＳ５において判定条件が成立した場合（ステップＳ５−Ｙｅｓ）、領域処理部１４３は、輝度に基づく被写体領域のうち、隅の座標差が予め定められた画素数以上である輝度矩形領域に内接する被写体領域を、色差に基づく被写体領域に統合する（図３を参照）（ステップＳ７）。

ステップＳ６において判定条件が成立した場合（ステップＳ６−Ｙｅｓ）、領域処理部１４３は、輝度に基づく被写体領域３１０と色差に基づく被写体領域３７０とが重複する部分を、輝度に基づく被写体領域３１０から分割する（ステップＳ８）。

ここで、領域処理部１４３は、被写体領域３１０及び被写体領域３７０のうち、例えば、画角中心に分布する被写体領域３７０を主要被写体の領域と定める。

図７は、領域に合焦させるまでの処理の手順を表すフローチャートである。特徴量算出部１４１は、撮像された画像（スルー画像、又はスルー画像列）を、バッファメモリ部１３０から取り込み（ステップＳａ１）、取り込んだ画像に対して、基本的な画像処理を実行する（ステップＳａ２）。

領域抽出部１４２は、撮像された画像がリサイズされたクロップ画像（６４×４０画素）を、バッファメモリ部１３０を介して色差毎に読み込む（ステップＳａ３）。領域抽出部１４２は、クロップ画像における複数の画像特徴量に基づいて、２値化画像を生成する（ステップＳａ４）。また、領域抽出部１４２は、２値化画像から被写体領域を抽出し、抽出した領域にラベルを割り当てる（ステップＳａ５）。

領域処理部１４３は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する（ステップＳａ６）。また、領域処理部１４３は、背景と推定される領域が画像にある場合、その領域を画像から除去する（ステップＳａ７）。

優先度設定部１４４は、画像における「領域の優先度」を被写体領域毎に定める。また、優先度設定部１４４は、予め定められた条件に基づいて、被写体領域を分割する（ステップＳａ８）。また、優先度設定部１４４は、予め定められた条件に基づいて、被写体領域を統合する（ステップＳａ９）。また、領域抽出部１４２は、優先度設定部１４４が優先度を定めた被写体領域を、ＡＦ評価領域に合うよう矩形に整形する（ステップＳａ１０）。ＣＰＵ１９０は、ＡＦ評価領域のコントラスト値に基づいて、コントラスト・スキャン（焦点調整処理）を実行する（ステップＳａ１１）。また、ＣＰＵ１９０は、コントラスト・スキャンの結果に基づいて、至近に在る被写体が撮像されている被写体領域を優先し、その被写体領域に合焦させる（ステップＳａ１２）。

以上のように、領域抽出装置１４０は、撮像された画像から、特徴量（例えば、色情報（色差、色相）、輝度）に基づいて被写体領域（例えば、被写体領域３１０〜被写体領域３５０）を抽出する領域抽出部１４２と、領域抽出部１４２により抽出された前記被写体領域の位置関係（例えば、図２〜図４を参照）に基づいて、前記被写体領域を選択する（例えば、図５を参照）領域処理部１４３と、を備える。
この構成により、領域抽出装置１４０は、領域抽出部１４２により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理時間を短くすることができる。なお、選択された被写体領域、又は、その位置を示す枠は、例えば、表示部１５０に表示されてもよい。

また、領域処理部１４３は、選択した前記被写体領域を、前記位置関係（例えば、図２〜図４を参照）に基づいて統合又は分割する（例えば、図５を参照）。
この構成により、領域抽出装置１４０は、領域抽出部１４２により抽出された被写体領域の位置関係に基づいて、被写体領域を統合又は分割する。これにより、領域抽出装置１４０は、主要被写体の領域を特定して、主要被写体の領域に合焦させるための処理時間を短くすることができる。

また、領域処理部１４３は、前記被写体領域の形状に基づいて、前記被写体領域を統合又は分割する（例えば、図５を参照）。
この構成により、領域抽出装置１４０は、被写体領域の形状に基づいて、被写体領域を統合又は分割する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理時間を短くすることができる。

また、領域抽出部１４２は、前記被写体領域に外接する領域である外接領域を生成し、領域処理部１４３は、前記外接領域の隅の座標に基づいて、前記被写体領域を統合又は分割する（例えば、図２〜図５を参照）。
この構成により、領域処理部１４３は、前記外接領域の隅の座標に基づいて、前記被写体領域を統合又は分割する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理時間を短くすることができる。

また、領域処理部１４３は、前記外接領域の隅の座標差が予め定められた画素数Ｍ以下である場合、前記被写体領域を統合する（例えば、図２を参照）。
この構成により、領域処理部１４３は、前記外接領域の隅の座標差が予め定められた画素数以下である場合、前記被写体領域を統合する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理時間を短くすることができる。

また、領域処理部１４３は、第１特徴量（例えば、色情報（色差、色相））に基づいて抽出された前記被写体領域に外接する第１外接領域（例えば、色差矩形領域４００）の隅の座標と、第２特徴量（例えば、輝度）に基づいて抽出された前記被写体領域に外接する第２外接領域（例えば、輝度矩形領域４１０）の隅の座標とに基づいて、前記第２特徴量に基づいて抽出された前記被写体領域を、前記第１特徴量に基づいて抽出された前記被写体領域に統合する（例えば、図３を参照）。
この構成により、領域処理部１４３は、第１外接領域の隅の座標と、第２外接領域の隅の座標とに基づいて、前記第２特徴量に基づいて抽出された前記被写体領域を、前記第１特徴量に基づいて抽出された前記被写体領域に統合する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理にかかる時間を短くすることができる。

また、領域処理部１４３は、前記第１外接領域（例えば、色差矩形領域４００）に前記第２外接領域（例えば、輝度矩形領域４１０）が包含されており、且つ、前記第１外接領域及び前記第２外接領域の隅の座標差が、予め定められた画素数Ｌ以上である場合、前記第２特徴量に基づいて抽出された被写体領域のうち、前記隅の座標差が予め定められた画素数Ｌ以上である前記第２外接領域に内接する前記第２特徴量に基づいて抽出された被写体領域を、前記第１外接領域に内接する前記第１特徴量に基づいて抽出された被写体領域に統合する（例えば、図３を参照）。
この構成により、領域処理部１４３は、前記第１外接領域に前記第２外接領域が包含されており、且つ、前記第１外接領域及び前記第２外接領域の隅の座標差が、予め定められた画素数Ｌ以上である場合、被写体領域を統合する。これにより、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理にかかる時間を短くすることができる。

また、領域処理部１４３は、前記第２外接領域（例えば、輝度矩形領域５００）に前記第１外接領域（例えば、色差矩形領域５１０、色差矩形領域５２０、色差矩形領域５３０、色差矩形領域５４０）が包含されており、且つ、前記第２外接領域及び前記第１外接領域の隅の座標差が、予め定められた画素数Ｌ以上である場合、前記第２特徴量に基づいて抽出された被写体領域（例えば、被写体領域３１０）と前記第１特徴量に基づいて抽出された被写体領域（例えば、被写体領域３７０）とが重複する部分を、前記第２特徴量に基づいて抽出された被写体領域から分割する（例えば、図４及び図５を参照）。
この構成により、領域抽出装置１４０は、前記第２外接領域に前記第１外接領域が包含されており、且つ、前記第２外接領域及び前記第１外接領域の隅の座標差が、予め定められた画素数Ｌ以上である場合、被写体領域を分割する。これにより、領域抽出装置１４０は、主要被写体の領域を画像から抽出し、主要被写体の領域に合焦させるための処理時間を短くすることができる。

また、撮像装置１００は、領域抽出装置１４０と、前記領域抽出装置により抽出された被写体領域のうち、優先度が高い領域に合焦させるよう焦点を調節するＣＰＵ１９０と、前記優先度が高い領域に合焦した状態の前記画像を撮像する撮像部１１０と、を備える。
この構成により、領域抽出装置１４０は、主要被写体の領域に合焦させるための処理時間を短くする。これにより、撮像装置１００は、領域抽出装置１４０が短時間で合焦させた主要被写体の領域を撮像することができる。

［第２実施形態］
第２実施形態では、統合により残った被写体領域が主要被写体の領域の候補として優先的に選択される点が、第１実施形態と相違する。以下では、第１実施形態との相違点についてのみ説明する。

異なる特徴量に基づいて抽出された被写体領域同士が統合される（例えば、図７のステップＳａ９を参照）ということは、それら統合された被写体領域同士が、同様の位置及び形状（例えば、図２を参照）になっているということである。したがって、統合により残った被写体領域は、主要被写体の領域である可能性が高い。一方、他の被写体領域と統合されない被写体領域は、主要被写体以外の領域である可能性が高い。したがって、他の被写体領域と統合されない被写体領域を、主要被写体の領域の候補とすることは、主要被写体以外の領域に合焦させてしまう可能性を高くしてしまうことになる。

以下、主要被写体の領域の候補数Ｎｒｄは、一例として、値３に予め定められているものとして説明を続ける。なお、主要被写体の領域の候補数Ｎｒｄを示す情報は、例えば、記憶部１６０（図１を参照）に予め記憶されていてもよい。

領域処理部１４３は、抽出された被写体領域を統合した場合、主要被写体の領域の候補数Ｎｒｄを、他の被写体領域に統合された被写体領域の数Ｎに応じて削減する。例えば、領域処理部１４３は、主要被写体の領域の候補数Ｎｒｄを、他の被写体領域に統合された被写体領域の数Ｎに応じて、値「Ｎｒｄ−(Ｎ−１）」まで削減する。具体的な例については、図８を用いて後述する。なお、「Ｎｒｄ−(Ｎ−１）」は、主要被写体の領域の候補数Ｎｒｄの削減を示す式の一例である。

領域抽出部１４２は、領域処理部１４３が選択した、優先度が上位Ｎｒｄ個の被写体領域を、ＡＦ評価領域に合うよう矩形に整形する（例えば、図７のステップＳａ１０を参照）。主要被写体の領域の候補数Ｎｒｄが削減されているので、領域抽出部１４２は、優先度が上位Ｎｒｄ個の被写体領域を、短時間で整形することができる。また、主要被写体の領域の候補数Ｎｒｄが削減されているので、ＣＰＵ１９０は、削減されたＮｒｄ個の被写体領域のうち、至近に在る被写体が撮像されている被写体領域を優先して、その被写体領域に短時間に合焦させることができる（例えば、図７のステップＳａ１２を参照）。

また、領域処理部１４３は、統合して残った被写体領域の優先度（順位）を、その残った被写体領域に統合された他の被写体領域の数Ｎに応じて上げてもよい。ここで、領域処理部１４３は、統合して残った被写体領域の優先度の評価点に、その残った被写体領域に統合された他の被写体領域の数Ｎに応じた点数を加点する。統合して残った被写体領域は、その優先度の評価点に加点されることにより、例えば、優先度４から優先度３に優先度が上げられるので、他の被写体領域と比較して、優先度が上位の被写体領域となることもある。

図８は、統合により残った被写体領域を優先的に選択する処理の例を説明するための図である。図８では、輝度に基づいて、一例として、被写体領域３１０が２値化画像３００Ｙ−１から抽出され、被写体領域３２０が２値化画像３００Ｙ−２から抽出され、被写体領域３８３が２値化画像３００Ｙ−３から抽出されたとする。

また、図８では、色差（Ｃｒ）に基づいて、一例として、被写体領域３８１が２値化画像３００Ｃｒ−１から抽出され、被写体領域３４０が２値化画像３００Ｃｒ−３から抽出されたとする。また、図８では、色差（Ｃｂ）に基づいて、一例として、被写体領域３８２が２値化画像３００Ｃｒ−１から抽出されたとする。

以下、各被写体領域が抽出された初期状態では、一例として、被写体領域３４０は優先度１（順位１）、被写体領域３１０は優先度２（順位２）、被写体領域３８１は優先度３（順位３）、被写体領域３８２は優先度４（順位４）、被写体領域３２０は優先度５（順位５）、被写体領域３８３は優先度６（順位６）であるものとして説明を続ける。

また、領域処理部１４３は、抽出された被写体領域のうち、一例として、被写体領域３８１及び被写体領域３８２を、被写体領域３１０に統合したとする。以下、被写体領域３８１及び被写体領域３８２を統合して残った被写体領域３１０を、「被写体領域３１０ａ」という。ここで、被写体領域３１０ａの優先度は、被写体領域３１０の優先度２のままでもよい。

領域処理部１４３は、予め定められた個数（例えば、３個）以上の被写体領域が統合された被写体領域を、優先度にかかわらず選択する。図８では、領域処理部１４３は、統合して残った被写体領域３１０ａを、優先度にかかわらず選択する。

また、領域処理部１４３は、主要被写体の領域の候補数Ｎｒｄ＝３を、被写体領域３１０ａに統合された被写体領域の数Ｎ＝２に応じて、値２（＝Ｎｒｄ−(Ｎ−１））まで削減する。領域処理部１４３は、被写体領域３１０ａを含めて合計数がＮｒｄ＝２個となるまで、他の被写体領域を、優先度の上位順に選択する。図８では、領域処理部１４３は、優先度にかかわらず選択した被写体領域３１０ａと、優先度に応じて選択した被写体領域３４０（優先度１）との合計２個の被写体領域を選択する。このようにして、領域処理部１４３は、領域抽出部１４２により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。

なお、領域処理部１４３は、全ての被写体領域を対象に、被写体領域の合計数がＮｒｄ＝２個となるまで、優先度の上位順に被写体領域を選択してもよい。また、領域処理部１４３は、統合して残った被写体領域３１０ａ（優先度２）のみを、主要被写体の領域の候補として選択してもよい。

また、領域処理部１４３は、統合して残った被写体領域３１０ａの優先度を、被写体領域３１０ａに統合された被写体領域（図８では、被写体領域３８１及び被写体領域３８２）の数に応じて上げてもよい。領域処理部１４３は、被写体領域３１０ａの優先度の評価点に、被写体領域３１０ａに統合された被写体領域の数（＝２）に応じた点数、例えば、２点を加点する。

領域処理部１４３は、被写体領域３１０ａの優先度の評価点に、２点を加点したことにより、被写体領域３１０ａの優先度２を、優先度１に上げる。これに伴い、領域処理部１４３は、被写体領域３４０の優先度１を、例えば、優先度２に下げる。また、領域処理部１４３は、他の被写体領域についても同様に優先度を下げてもよい。

領域処理部１４３は、優先度が変更された被写体領域を、優先度の上位順にＮｒｄ＝２個まで選択する。図８では、領域処理部１４３は、被写体領域３１０ａ（新たな優先度１）と、被写体領域３４０（新たな優先度２）とを選択する。このようにして、領域処理部１４３は、領域抽出部１４２により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。

以上のように、領域処理部１４３は、前記被写体領域を統合した場合、予め定められた数（例えば、３個）以上の被写体領域が統合された前記被写体領域（例えば、被写体領域３１０ａ）を、主要被写体の領域の候補として選択する。これにより、領域抽出装置１４０は、主要被写体の領域を確実に選択して、その主要被写体の領域に合焦させるための処理時間を短くすることができる。

領域処理部１４３は、前記被写体領域を統合した場合、主要被写体の領域の候補数Ｎｒｄを、他の被写体領域に統合された前記被写体領域の数Ｎに応じて削減する。これにより、領域抽出装置１４０は、ＡＦ評価領域に合うよう矩形に整形する（図７のステップＳａ１０を参照）被写体領域の数を少なくして、主要被写体の領域に合焦させるための処理時間を短くすることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、上記に説明した領域抽出装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…領域抽出装置、１４１…特徴量算出部、１４２…領域抽出部、１４３…領域処理部、１４４…優先度設定部

Claims (1)

1. 撮像された画像から、特徴量に基づいて被写体領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する領域処理部と、
   を備える領域抽出装置。

Images