JP6672085B2

JP6672085B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP6672085B2
Application number: JP2016120794A
Authority: JP
Inventors: 保彦岩本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-17
Filing date: 2016-06-17
Publication date: 2020-03-25
Anticipated expiration: 2036-06-17
Also published as: US20170366738A1; JP2017225071A; US10237469B2

Description

本発明は、撮像された画像から被写体の画像領域を決定する情報処理装置、情報処理方法、撮像装置、及びプログラムに関する。

従来、画像上において被写体等の位置が何らかの方法で指定された場合に、その指定位置付近の画像信号に基づいて、被写体の画像領域（以下、被写体領域と表記する。）を決定する方法が種々提案されている。例えば、特許文献１には、入力映像から、ターゲット領域を抽出し、更にターゲット領域の大きさを考慮して背景領域を抽出し、それらターゲット領域と背景領域のヒストグラムに基づいてターゲット（被写体領域）を決定する技術が開示されている。

特開２０１２−３３１４３号公報

しかしながら、上述の特許文献１に記載の技術の場合、被写体領域（ターゲット）と背景領域の画像信号が似ている条件下では、被写体領域を正しくターゲットとして決定できないことがある。これは、特許文献１の技術が、ターゲット領域と背景領域のヒストグラムが異なることを前提としているからであると考えられる。つまり、被写体領域と背景領域の画像信号が似ている場合、それらのヒストグラムの差が小さくなるため、ターゲット領域が正しく被写体領域を捉えていたとしても、そのターゲット領域がターゲット（被写体領域）であるかどうかを判断できないからである。このため、被写体領域と背景領域の画像信号が似ている条件を含む様々な条件下であっても、高い精度で被写体領域を決定可能にすることが望まれている。

そこで、本発明は、高い精度で被写体領域を決定可能にすることを目的とする。

本発明は、撮影画像から被写体領域を決定する情報処理装置であって、前記撮影画像の中の各位置におけるデフォーカス値と、前記撮影画像のなかで被写体として指定された位置を取得する取得手段と、前記各位置におけるデフォーカス値と前記指定された位置におけるデフォーカス値との差分に基づいて、前記撮影画像のなかで指定された被写体の推定領域を決定する推定手段と、前記指定された位置に対して設定される複数の評価領域の各々から算出された評価値に基づいて、前記撮影画像から被写体領域を決定する決定手段と、を有し、前記決定手段は、前記推定領域に内包される評価領域の評価値に対して、前記推定領域に内包されない評価領域の評価値よりも優先されるように重み付けを行うことを特徴とする。

本発明によれば、高い精度で被写体領域を決定可能となる。

本実施形態の撮像装置の概略構成を示す図である。本実施形態の撮像素子の概略構造を示す図である。本実施形態の被写体決定処理の全体の流れのフローチャートである。第１の実施形態の被写体推定処理の詳細なフローチャートである。評価画素と推定領域の説明に用いる図である。本実施形態の評価値算出処理の詳細なフローチャートである。評価領域の説明に用いる図である。背景領域の説明に用いる図である。第１の実施形態の被写体領域決定処理の詳細なフローチャートである。評価領域と推定領域の内包関係の説明に用いる図である。第２の実施形態の被写体推定処理のフローチャートである。第２の実施形態の被写体領域決定処理の詳細なフローチャートである。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態の撮像装置の概略構成＞
図１を参照して、第１の実施形態の情報処理装置が適用される撮像装置１００の概略構成について説明する。本実施形態の撮像装置１００は、被写体等を撮影して、動画や静止画のデータを磁気テープや固体メモリ、光ディスクや磁気ディスクなどの各種記録メディアに記録可能なデジタルスチルカメラやビデオカメラなどに適用可能である。その他、本実施形態の撮像装置は、スマートフォンやタブレット端末などの各種携帯端末に搭載されているカメラ、工業用カメラ、車載カメラ、医療用カメラなどにも適用可能である。

詳細は後述するが、本実施形態の撮像装置１００は、時系列的に逐次供給される画像から特定の被写体等の画像領域（被写体領域）を抽出して、その被写体領域を追跡する被写体追跡機能を備えている。また、詳細は後述するが、本実施形態の撮像装置１００は、特定の被写体領域を追跡する際には、視差画像より算出可能なデフォーカス情報を、被写体領域推定処理に用いる。

本実施形態の撮像装置１００内の各ユニットは、バス１６０を介して接続されている。各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。撮像装置１００のレンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、及び、フォーカスレンズ１３１を有して構成されている。絞り制御部１０５は、ＣＰＵ１５１からの指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定し、その駆動量により、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動して、焦点調節を行う。このように、フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づき、フォーカスモータ１３２を介してフォーカスレンズ１３１の移動制御を行うことにより、ＡＦ（オートフォーカス）制御を行う。フォーカスレンズ１３１は、焦点調節用レンズであり、図１では単レンズとして簡略的に描かれているが、通常複数のレンズにより構成されている。このような構成のレンズユニット１０１により、撮像素子１４１の撮像面上には被写体や背景等の光学像が結像される。

撮像素子１４１は、撮像面に結像された被写体や背景等の光学像を、光電変換により電気信号に変換する。撮像素子１４１における撮像動作は、撮像制御部１４３により制御される。詳細については後述するが、撮像素子１４１は、一つのマイクロレンズを共有するようになされた二つの光電変換素子（本実施形態では第１、第２の二つの光電変換素子）により視差画像を生成可能な画素が、複数配列された構成となされている。具体的には、撮像素子１４１は、横方向がｍ個で縦方向がｎ個に配列された各画素のそれぞれに、第１、第２の二つの光電変換素子（受光領域）が配置されている。撮像素子１４１の撮像面に結像されて光電変換された画像信号は、撮像信号処理部１４２に送られる。

撮像信号処理部１４２は、画素ごとに第１、第２の二つの光電変換素子の出力を加算することで、撮像面に結像されている光学像に対応した画像信号（撮影画像データ）を取得する。また、撮像信号処理部１４２は、各画素の第１、第２の二つの光電変換素子の出力を各々扱うことにより視差の異なる２つの画像（視差画像）の信号を取得する。本実施形態の説明では、画素ごとに第１、第２の二つの光電変換素子の出力を加算することで得られる画像を「Ａ＋Ｂ像」、各画素における二つの光電変換素子の出力を各々別に扱うことで各々得られる視差画像を「Ａ像」、「Ｂ像」と呼称する。本実施形態の撮像素子１４１は、第１、第２の光電変換素子が横方向（水平方向）に並ぶように配されており、このためＡ像とＢ像は水平方向に視差が生じた画像となっている。撮像信号処理部１４２から出力されるＡ＋Ｂ像の撮影画像データと、Ａ像及びＢ像の視差画像データは、撮像制御部１４３を介して、ＲＡＭ１５４（ランダム・アクセス・メモリ）に送られて一時的に蓄積される。ここで、例えば撮像装置１００において動画撮影や一定時間間隔ごとの継続的な静止画撮影がなされている場合、撮像信号処理部１４２からは、Ａ＋Ｂ像の撮影画像データ、及び、Ａ像とＢ像の視差画像データが、逐次出力されてＲＡＭ１５４に蓄積される。

ＲＡＭ１５４に蓄積された画像データのうち、Ａ＋Ｂ像の撮影画像データは、画像処理部１５２に送られる。画像処理部１５２は、ＲＡＭ１５４から読み出された撮影画像データに対するガンマ補正やホワイトバランス処理などの各種画像処理を行う。また、画像処理部１５２は、画像処理後の画像データに対し、例えばモニタディスプレイ１５０に表示する際などに最適なサイズへの縮小・拡大処理をも行う。最適なサイズへの縮小・拡大処理がなされた画像データは、モニタディスプレイ１５０に送られてプレビュー画像やスルー画像として表示される。撮像装置１００の操作者（以下、ユーザと表記する。）は、モニタディスプレイ１５０の表示画像を見ることにより、リアルタイムに撮影画像を観察することができる。なお、本実施形態の撮像装置１００の設定が、画像の撮影直後にモニタディスプレイ１５０の画面上に所定時間だけ撮影画像を表示させる設定となされている場合、ユーザは、画像の撮影がなされた後直ちに、その撮影画像を確認することができる。また、ＲＡＭ１５４に蓄積されたＡ＋Ｂ像の撮影画像データは、画像圧縮解凍部１５３にも送られる。画像圧縮解凍部１５３は、ＲＡＭ１５４から読み出された撮影画像データを圧縮した後、記録メディアである画像記録媒体１５７に送る。画像記録媒体１５７は、圧縮された画像データを記録する。

また、撮像制御部１４３は、本実施形態における生成手段として、Ａ像とＢ像の視差画像データからデフォーカス情報を生成し、そのデフォーカス情報をフォーカス制御部１３３に送る。フォーカス制御部１３３は、デフォーカス情報に基づき、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動させることでＡＦ制御を行う。ここで、デフォーカス情報は、例えば被写体等に対して焦点が合っている状態に対する光軸方向のズレ量を表す情報であるため、フォーカス制御部１３３は、その光軸方向のズレを無くすようにＡＦ制御を行う。なお、詳細は後述するが、本実施形態の撮像装置１００では、撮像制御部１４３により算出されるデフォーカス情報は、ＲＡＭ１５４に一時的に蓄積され、被写体領域決定部１６２で行われる被写体領域推定処理にも使用される。

操作スイッチ１５６は、タッチパネル、各種ボタンやスイッチなどを含む入力インターフェイスであり、ボタンやスイッチは撮像装置１００の筐体等に設けられ、タッチパネルはモニタディスプレイ１５０の表示面上に配置されている。本実施形態の撮像装置１００は、モニタディスプレイ１５０の画面上に種々の機能アイコンを表示可能となされており、タッチパネルを介して、それら種々の機能アイコンがユーザにより選択操作される。操作スイッチ１５６を介してユーザから入力された操作情報は、バス１６０を介してＣＰＵ１５１に送られる。

ＣＰＵ１５１は、操作スイッチ１５６を介してユーザから操作情報が入力された場合、その操作情報に基づいて各ユニットを制御する。また、ＣＰＵ１５１は、撮像素子１４１による撮像が行われる際には、撮像素子１４１の電荷の蓄積時間や、撮像素子１４１から画像データを撮像信号処理部１４２へ出力する際のゲインの設定値等を決定する。具体的には、ＣＰＵ１５１は、操作スイッチ１５６を介してユーザから入力された操作情報による指示、或いは一時的にＲＡＭ１５４に蓄積されている画像データの画素値の大きさに基づいて、撮像素子１４１の蓄積時間や出力ゲインの設定値等を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、それらの指示に応じて撮像素子１４１を制御する。

バッテリ１５９は、電源管理部１５８により適切に管理されており、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。ユーザの操作により撮像装置１００が起動すると（電源オフ状態から電源オン状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。これにより、ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

ここで、本実施形態の撮像装置１００では、ユーザは、モニタディスプレイ１５０に表示された例えばスルー画像を見ながら、その表示画面上をタッチ操作、或いはボタン操作等を行うことにより、所望の被写体位置の指定等を行うことができる。本実施形態における指定手段は、モニタディスプレイ１５０の表示画面上でユーザが所望の被写体位置を指定する際に行われるタッチ操作或いはボタン操作が行われる操作スイッチ１５６に相当する。そして、撮像装置１００においてユーザからの位置指定操作により、モニタディスプレイ１５０の画像平面上で被写体位置の指定がなされた場合、ＣＰＵ１５１は、その画像平面上の指定位置の座標情報を、被写体領域決定部１６２と被写体追跡部１６１に送る。またこのとき、ＣＰＵ１５１は、ＲＡＭ１５４に蓄積されたＡ＋Ｂ像の撮影画像データとデフォーカス情報とを被写体領域決定部１６２に送り、また、Ａ＋Ｂ像の撮影画像データを被写体追跡部１６１に送る。以下の説明では、被写体領域決定部１６２と被写体追跡部１６１に入力されるＡ＋Ｂ像の撮影画像データを、入力画像データと表記する。

被写体領域決定部１６２は、本実施形態における情報処理装置に相当し、指定位置の座標情報と、Ａ＋Ｂ像の入力画像データと、デフォーカス情報とを基に、Ａ＋Ｂ像の入力画像内で被写体像が存在している領域（被写体領域）を決定する。詳細については後述するが、先ず、被写体領域決定部１６２は、Ａ＋Ｂ像の入力画像データとデフォーカス情報と指定位置の座標情報とを基に、撮影画像のなかで被写体領域であると推定される領域（以下、推定領域と表記する。）を求める。さらに、被写体領域決定部１６２は、複数の評価領域を設定して、それら各評価領域に対する評価値（以下、領域評価値と表記する。）を算出し、推定領域と各評価領域の領域評価値とに基づいて、被写体領域を決定する。被写体領域決定部１６２により決定された被写体領域の情報は、バス１６０を介して、被写体追跡部１６１、ＣＰＵ１５１、フォーカス制御部１３３、絞り制御部１０５、画像処理部１５２等に送られる。

なお、被写体領域決定部１６２は、例えばユーザが表示画面上の別の位置をタッチ等することで指定位置を変更した場合には、その変更された指定位置に基づいて、決定する被写体領域を更新することも可能である。また、被写体領域決定部１６２は、後述する被写体追跡部１６１によりＡ＋Ｂ像の各入力画像から逐次追跡されている追跡被写体領域の位置を、前述の指定位置として扱うことで、次に決定する被写体領域を更新することも可能となされている。追跡被写体領域の位置は、一例として追跡被写体領域の中心位置や重心位置等を用いることができる。

被写体追跡部１６１は、前述した指定位置を基に被写体領域決定部１６２にて決定された被写体領域をテンプレート画像として登録する。被写体追跡部１６１は、テンプレート画像と、ＲＡＭ１５４から逐次供給されるＡ＋Ｂ像の入力画像の各部分領域とのマッチング処理を行ってマッチング評価値を求める。具体的には、被写体追跡部１６１は、Ａ＋Ｂ像の入力画像内において部分領域を例えばラスタ処理により順次設定し、それら順に設定される各部分領域とテンプレート画像とのマッチング処理を行って、各部分領域に対応した複数のマッチング評価値を求める。そして、被写体追跡部１６１は、それら複数のマッチング評価値のなかで上位の複数のマッチング評価値に対応した複数の部分領域を追跡候補とし、それら追跡候補の中でマッチング評価値が最も高い部分領域を、追跡被写体領域とする。なお、マッチング処理の方式としては多種多様の方式が存在しているが、本実施形態では、一例として、画素パターンの相違度に基づくテンプレートマッチング処理の手法を用いている。この場合のマッチング評価値は、相違度が小さいほど高い値となされる。被写体追跡部１６１は、ＲＡＭ１５４から読み出されて時系列的に逐次供給されるＡ＋Ｂ像の入力画像から、前述したようにして追跡している追跡被写体領域を示す情報を出力する。被写体追跡部１６１から出力された追跡被写体領域の情報は、バス１６０を介して、ＣＰＵ１５１、フォーカス制御部１３３、絞り制御部１０５、画像処理部１５２に送られる。

フォーカス制御部１３３は、被写体追跡部１６１からの追跡被写体領域に対応した被写体をＡＦ制御対象とした撮像条件で、その被写体にピントを合わせるようにＡＦ制御を行う。また、絞り制御部１０５は、追跡被写体領域の輝度値を用い、その領域の明るさが適正となるような撮影条件で露出制御を行う。また、画像処理部１５２は、追跡被写体領域に対して最適なガンマ補正やホワイトバランス処理がなされるような画像処理を行う。また、ＣＰＵ１５１は、追跡被写体領域を例えば囲うような矩形画像を、モニタディスプレイ１５０の画面に表示されている撮影画像に重畳表示させるような表示制御を行う。

＜撮像素子の構造＞
以下、図２（ａ）、図２（ｂ）を参照して、本実施形態の撮像装置１００の撮像素子１４１の概略的な画素構造について説明する。図２（ａ）は、撮像素子１４１の概略的な画素配列の説明に用いる図であり、図２（ｂ）は、撮像素子１４１のなかの一つの画素２１０ＧのＺ−Ｘ平面による概略的な断面図である。

図２（ａ）は、例えば２次元ＣＭＯＳセンサである撮像素子１４１の概略的な画素配列を示しており、図の例では４行×４列の画素範囲のみを示している。図２（ａ）に示すように撮像素子１４１は、いわゆるベイヤー配列に対応した画素配列構造を有しており、それぞれ隣接した一つの画素２１０Ｒと二つの画素２１０Ｇと一つの画素２１０Ｂの四つ一組で一つの画素２１０の色と輝度が決められる。四つで一組からなる画素２１０のうち、対角方向に配列された二つの画素２１０ＧはＧ（緑）の分光感度に対応した画素となされ、また、画素２１０ＲはＲ（赤）の分光感度に対応した画素、画素２１０ＢはＢ（青）の分光感度に対応した画素となされている。また、各画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれが、瞳分割用の二つの副画素２０１ａ、２０１ｂを有している。副画素２０１ａは、撮像光学系（レンズユニット１０１）の第１瞳領域を通過した光束を受光する第１の光電変換素子であり、副画素２０１ｂは、撮像光学系の第２瞳領域を通過した光束を受光する第２の光電変換素子である。これら二つの副画素２０１ａ、２０１ｂからそれぞれ得られる信号は前述したＡ像とＢ像の視差画像における一つの画素の信号であり、焦点検出に用いられる視差画素の信号として使用可能である。また、これら二つの副画素２０１ａ、２０１ｂの信号を加算した信号は、前述したＡ＋Ｂ像の入力画像における一つの画素の信号であり、撮像用画素の信号として使用される。

ここで、図２（ａ）では、図の横方向を座標軸のＸ軸とし、縦方向をＹ軸とし、それらＸ軸とＹ軸は紙面に対してそれぞれ並行な軸であり、これらＸ軸とＹ軸を含む二次元のＸ−Ｙ平面は紙面に対して並行な面であるとする。また、図２（ａ）において、座標軸のＺ軸は、紙面に対して垂直方向の軸であるとする。この例において、副画素２０１ａ、２０１ｂは、Ｘ軸方向に並べて配置されているとする。

また、図２（ａ）に示した各画素２１０Ｒ、２１０Ｇ、２１０Ｂのうち、一例として、画素２１０ＧのＺ−Ｘ平面による断面図は、図２（ｂ）に示すような概略構成となされている。なお、画素２１０Ｒ、２１０Ｂは、画素２１０Ｇと同じ構成であるため、それらの図示は省略する。図２（ｂ）では、図の横方向がＸ軸方向、縦方向がＺ軸方向であり、Ｚ軸とＸ軸は紙面に対してそれぞれ並行な軸であり、それらＺ軸とＸ軸を含む二次元のＺ−Ｘ平面は紙面に対して並行な面であるとする。また、図２（ｂ）において、Ｙ軸は、紙面に対して垂直方向の軸であるとする。

画素２１０Ｇは、ｎ型半導体層（副画素２０１ａ、２０１ｂ）とｐ型半導体層２００とで構成されるフォトダイオードを有する。また、副画素２０１ａ、２０１ｂの受光面２０４からＺ軸方向に所定距離だけ離れた位置にはマイクロレンズ２０２が配されている。そのマイクロレンズ２０２は、カラーフィルタ２０３の上に形成されている。図２（ｂ）の画素２１０Ｇの場合、カラーフィルタ２０３は、Ｇ（緑）の分光特性を有するフィルタとなされている。なお、画素２１０Ｒの場合にはカラーフィルタ２０３はＲ（赤）の分光特性を有するフィルタとなされ、画素２１０Ｂの場合にはカラーフィルタ２０３はＢ（青）の分光特性を有するフィルタとなされる。

図２（ａ）、図２（ｂ）に示したように、撮像素子１４１の全ての画素２１０Ｒ、２１０Ｇ、２１０Ｂには瞳分割用の副画素２０１ａ、２０１ｂが設けられており、副画素２０１ａ、２０１ｂは、焦点検出用と撮像用の双方の画素として使用可能となされている。ただし、本実施形態はこれに限定されるものではなく、瞳分割可能な焦点検出用画素が全画素のうちの一部の画素にのみ設けられている構成であってもよい。

＜被写体決定処理＞
図３を参照して、本実施形態の撮像装置１００における被写体決定処理全体の流れについて説明する。なお、図３のフローチャートの各処理は、本実施形態に係るプログラムを例えばＣＰＵ等が実行することにより実現されてもよい。以下の説明では、図３の各処理のステップＳ３０１〜ステップＳ３０５を、Ｓ３０１〜Ｓ３０５と略記し、このことは他のフローチャートの説明の際にも同様とする。図３のフローチャートの処理は、例えば撮像装置１００において撮像が行われている状態で、例えば操作スイッチ１５６を介してユーザから被写体追跡の開始を指示する操作が行われたときにスタートする。

ＣＰＵ１５１は、被写体追跡開始の指示がユーザから入力されると、先ず、Ｓ３０１として、ＲＡＭ１５４に記憶されているＡ＋Ｂ像の入力画像データとデフォーカス情報とを、被写体領域決定部１６２に取得させる。Ｓ３０１の後、ＣＰＵ１５１は、Ｓ３０２に処理を進める。

Ｓ３０２では、ＣＰＵ１５１は、モニタディスプレイ１５０の例えばスルー画像に対し、操作スイッチ１５６を介してユーザから所望の被写体の位置を指定する操作がなされたとき、その指定された被写体の指定位置の情報を取得する。なお、本実施形態において、ユーザによる位置指定操作は、例えばモニタディスプレイ１５０の画面上に表示されている画像上でユーザが所望の被写体の位置をタッチ等するような位置指定操作であるとする。ＣＰＵ１５１は、ユーザの位置指定操作により入力された指定位置の情報を、被写体領域決定部１６２に送る。Ｓ３０２の後、撮像装置１００の処理は、被写体領域決定部１６２により行われるＳ３０３の処理に移行する。

Ｓ３０３では、被写体領域決定部１６２は、Ａ＋Ｂ像の入力画像データとデフォーカス情報と指定位置情報を基に、Ａ＋Ｂ像の入力画像から、被写体領域と推定される領域（推定領域）を求める。Ｓ３０３の処理の詳細は後述する。Ｓ３０３の後、被写体領域決定部１６２は、Ｓ３０４に処理を進める。

Ｓ３０４では、被写体領域決定部１６２は、Ａ＋Ｂ像の入力画像データに対して、それぞれ中心位置とサイズが異なる複数の評価領域を設定し、それら各評価領域から各々の領域評価値を算出する。Ｓ３０４の処理の詳細は後述する。Ｓ３０４の後、被写体領域決定部１６２は、Ｓ３０５に処理を進める。

Ｓ３０５では、被写体領域決定部１６２は、Ｓ３０３で求めた推定領域と、Ｓ３０４で算出した各評価領域及び各領域評価値とを用いて、Ａ＋Ｂ像の入力画像から被写体領域を決定する。Ｓ３０５の処理の詳細は後述する。Ｓ３０５により被写体領域が決定されると、ＣＰＵ１５１は、図３のフローチャートの処理を終了させる。

＜被写体領域の推定処理＞
図４及び図５を参照して、図３のＳ３０３における被写体領域の推定処理について説明する。図４は、図３のＳ３０３の被写体領域推定処理の詳細なフローチャートである。図５（ａ）は、前述したＡ＋Ｂ像の入力画像データ（入力画像５０１）を示した図である。図５（ｂ）は図中格子状の小四角形で表される各画素（以下、評価画素と表記する。）に対応した、各評価値（以下、画素評価値と表記する。）の一例を示す図である。本実施形態では、各評価画素に対する画素評価値として、その評価画素の位置におけるデフォーカス情報を用いる。

図４のフローチャートのＳ４０１において、被写体領域決定部１６２は、図３のＳ３０２で取得した指定位置に対応する画素のデフォーカス情報（デフォーカス値）を参照する。図５（ａ）の例では、画素５０２が指定位置の画素であるとする。Ｓ４０１の後、被写体領域決定部１６２は、Ｓ４０２に処理を進める。

Ｓ４０２では、被写体領域決定部１６２は、Ａ＋Ｂ像の入力画像から評価画素を決定する。具体的には、被写体領域決定部１６２は、図５（ａ）に示したＡ＋Ｂ像の入力画像５０１の全画素から、図中の矢印で示すようないわゆるラスタ処理で順次選択した各画素を、評価画素５０３として決定する。Ｓ４０２の後、被写体領域決定部１６２は、Ｓ４０３に処理を進める。

Ｓ４０３では、被写体領域決定部１６２は、指定位置の画素５０２に対応したデフォーカス値と、評価画素（例えば画素５０３）に対応したデフォーカス値とを比較して、それらデフォーカス値の差分が小さいか否かを判定する。本実施形態では、デフォーカス値の差分が小さいか否かは例えば予め決めておいた所定の閾値範囲内か否かにより判定する。このときのデフォーカス値の差分に対する閾値範囲としては例えば±１Ｆδを用いる。なお、Ｆδは焦点深度であり、Ｆは絞り値、δは許容錯乱円の直径である。より具体的に説明すると、被写体領域決定部１６２は、被写体指定された位置におけるデフォーカス値を基準値０Ｆδとし、その基準値（０Ｆδ）に対して、評価画素のデフォーカス値が＋１Ｆδ〜−１Ｆδの範囲内（±１Ｆδ）か否かを判定する。「＋」は被写体指定された位置よりカメラ側に近く、「−」は被写体指定された位置より遠いことを表している。図５（ｂ）の例では、デフォーカス値の差分が閾値範囲内（±１Ｆδ内）の画素を図中の白色で表しており、デフォーカス値の差分が閾値範囲より大きい画素をグレー色（細かいドット模様）で表している。Ｓ４０３の後、被写体領域決定部１６２は、Ｓ４０４に処理を進める。

Ｓ４０４では、被写体領域決定部１６２は、未評価の評価画素があるか否か判定する。被写体領域決定部１６２は、未評価の評価画素がある場合にはＳ４０２に処理を戻して前述のＳ４０２〜Ｓ４０４の一連の処理を繰り返し、未評価の評価画素がない場合にはＳ４０５に処理を進める。

Ｓ４０５では、被写体領域決定部１６２は、Ｓ４０３において指定位置の画素５０２のデフォーカス値と評価画素のデフォーカス値との差分が閾値範囲内と判定された画素を内包する領域を、被写体領域と推定される領域（推定領域）として決定する。図５（ｂ）の例では、デフォーカス値の差分が閾値範囲内となっている各評価画素を含む矩形の領域５０４が推定領域である。ここで、被写体領域内では、指定位置の画素のデフォーカス値と評価画素のデフォーカス値との差分は小さいと考えられる。このため、本実施形態では、デフォーカス値の差分が小さい（閾値範囲内）場合に、そのときの指定位置の画素と評価画素とを内包する矩形領域を、推定領域として決定している。Ｓ４０５の後、被写体領域決定部１６２は、図４のフローチャートの処理を終了させる。

＜評価値算出処理＞
図６、図７（ａ）〜図７（ｏ）及び図８を参照して、図３のＳ３０４における画像信号による評価領域に対する領域評価値算出処理について説明する。図６は、図３のＳ３０４の領域評価値算出処理の詳細なフローチャートである。図７（ａ）〜図７（ｏ）は、それぞれ入力画像７０１のなかの指定位置７０２と評価領域候補７０３の例を示す図である。なお、図７（ａ）〜図７（ｏ）では、図示を簡略にするため、入力画像の参照符号（７０１）、指定位置の参照符号（７０２）、評価領域候補の参照符号（７０３）については、図７（ａ）と図７（ｏ）にのみ付与し、図７（ｂ）〜図７（ｎ）では省略している。図８は、入力画像８０１における指定位置８０２、評価領域８０３、背景領域８０４の一例を示す図である。

先ず、図６のフローチャートのＳ６０１において、被写体領域決定部１６２は、複数の各評価領域候補のなかから、画像信号に基づく評価を行うための評価領域を決定する。Ｓ６０１〜Ｓ６０４の処理は、複数の各評価領域候補について行われる。

ここで、複数の評価領域候補７０３は、例えば図７（ａ）〜図７（ｏ）に示すように、各々の中心位置又はサイズが異なった領域となされる。複数の各評価領域候補７０３のサイズは、予め決められた所定のサイズ値をｎ倍した値として算出され、一例として１６画素、３２画素、６４画素のような画素数で表される。例えばサイズが１６画素である場合、評価領域候補７０３は、１６×１６画素の領域となされる。各評価領域候補７０３の中心位置は、指定位置７０２を基準として、画像の上下左右何れかの方向に所定値だけずらした位置として決定される。基準の指定位置７０２からのずらし量は、各評価領域候補７０３のサイズに対する割合で決定され、例えば評価領域候補７０３のサイズの１／４に相当する量となされる。したがって、各評価領域候補７０３の中心位置は、基準の指定位置７０２から、評価領域候補７０３のサイズの１／４に相当する量だけずらされた位置として決定される。ただし、評価領域候補７０３の中心位置が入力画像７０１からはみ出す場合には、被写体領域決定部１６２は、その評価領域候補７０３を評価領域として決定しない。

このように、被写体領域決定部１６２は、図７（ａ）〜図７（ｏ）に示した、それぞれ中心位置又はサイズが異なり、且つその中心位置が入力画像７０１からはみ出さない複数の評価領域候補７０３を、それぞれ評価領域として決定する。なお、被写体領域決定部１６２は、中心位置については入力画像７０１からはみ出さないが、決定した評価領域の一部が入力画像７０１からはみ出す場合には、その評価領域が入力画像７０１に収まるようにクリップ処理を行う。Ｓ６０１の後、被写体領域決定部１６２は、Ｓ６０２に処理を進める。

Ｓ６０２では、被写体領域決定部１６２は、Ｓ６０１で決定した複数の評価領域に対して、それぞれ背景領域を決定する。図８の例では、背景領域８０４は中心位置が評価領域８０３と同一の位置であるとする。図８の例の背景領域８０４は、その外径サイズが評価領域８０３のサイズに所定値を加算したサイズとなされ、評価領域８０３を除いたドーナツ状の領域となされる。評価領域８０３のサイズに加算される所定値は、入力画像８０１のサイズに応じた割合の値として決定され、本実施形態では、例えば入力画像８０１の水平サイズ（水平方向の画素数）の１０％に相当する値とする。なお、被写体領域決定部１６２は、背景領域８０４の一部が入力画像８０１からはみ出す場合には、入力画像８０１内に収まるようにクリップ処理を行う。Ｓ６０２の後、被写体領域決定部１６２は、Ｓ６０３に処理を進める。

Ｓ６０３では、被写体領域決定部１６２は、Ｓ６０１で決定した評価領域に対応した画像信号と、Ｓ６０２で決定した背景領域に対応した画像信号との間の相違度を、その評価領域に対する領域評価値として算出する。本実施形態では、評価領域と背景領域の画像信号における、色相情報の相違度と、彩度情報の相違度と、輝度情報の相違度とを求め、それら各相違度を加算することで、評価領域に対する相違度（領域評価値）を求める。評価領域に対する相違度Ｄは、下記式（１）により算出される。

式（１）において、ｄ_Hは評価領域の色相情報と背景領域の色相情報とから算出される相違度であり、ｐ_Hiは評価領域のなかで色相情報がｉの画素数を表し、ｑ_Hiは背景領域のなかで色相情報がｉの画素数を表す。ｄ_Sは評価領域の彩度情報と背景領域の彩度情報とから算出される相違度であり、ｐ_Siは評価領域のなかで彩度情報がｉの画素数を表し、ｑ_Siは背景領域のなかで彩度情報がｉの画素数を表す。ｄ_Vは評価領域の輝度情報と背景領域の輝度情報とから算出される相違度であり、ｐ_Viは評価領域のなかで輝度情報がｉの画素数を表し、ｑ_Viは背景領域のなかで輝度情報がｉの画素数を表す。また、ｍは色相情報、彩度情報、輝度情報が取り得る最大値である。

ここで、被写体領域と背景領域とでは画像信号の相違度が大きい（高くなる）と考えられ、評価領域と背景領域の相違度が大きければ、その評価領域は被写体領域である可能性が高くなると考えられる。このため、本実施形態では、前述したように、評価領域と背景領域の相違度を、その評価領域が被写体領域であるかどうかを判断する際の領域評価値として求めるようにしている。Ｓ６０３の後、被写体領域決定部１６２は、Ｓ６０４に処理を進める。

Ｓ６０４では、被写体領域決定部１６２は、前述した複数の評価領域候補の内、未処理の評価領域候補があるか否か判定を行う。被写体領域決定部１６２は、未処理の評価領域候補がある場合にはＳ６０１に処理を戻して、Ｓ６０１〜Ｓ６０４までの一連の処理を繰り返し、未処理の評価領域候補がない場合には図６のフローチャートの処理を終了する。

＜被写体領域決定処理＞
図９及び図１０（ａ）〜図１０（ｃ）を参照して、図３のＳ３０５における被写体領域決定処理の詳細について説明する。図９は、図３のＳ３０５の被写体領域決定処理の詳細なフローチャートである。図１０（ａ）〜図１０（ｃ）は、それぞれ入力画像１００１、推定領域１００２、評価領域１００３の一例を示す図である。

図９のフローチャートのＳ９０１において、被写体領域決定部１６２は、図６のフローチャートで求めた複数の評価領域の各々が、図４のフローチャートで求めた推定領域に内包されているか否かの判定を行う。図１０（ａ）の例の場合、評価領域１００３の全画素が推定領域１００２に収まっているため、被写体領域決定部１６２は、評価領域１００３は推定領域１００２に内包されていると判定する。図１０（ｂ）の例の場合、評価領域１００３の一部の画素が推定領域１００２からはみ出しているため、被写体領域決定部１６２は、評価領域１００３は推定領域１００２に内包されていないと判定する。同様に、図１０（ｃ）の例の場合、評価領域１００３の全画素が推定領域１００２からはみ出しているため、被写体領域決定部１６２は、評価領域１００３は推定領域１００２に内包されていないと判定する。Ｓ９０１の後、被写体領域決定部１６２は、Ｓ９０２に処理を進める。

Ｓ９０２では、被写体領域決定部１６２は、Ｓ９０１において未判定の評価領域があるか否かを判定する。被写体領域決定部１６２は、未判定の評価領域があると判定した場合にはＳ９０１に処理を戻し、Ｓ９０１とＳ９０２の一連の処理を繰り返し、未判定の評価領域がないと判定した場合にはＳ９０３に処理を進める。

Ｓ９０３では、被写体領域決定部１６２は、Ｓ９０１で推定領域に内包されていると判定された評価領域のなかで、図６のＳ６０３で求めた領域評価値を基に、被写体らしさが最も高い評価領域を選択して、その評価領域を被写体領域として決定する。具体的には、被写体領域決定部１６２は、前述した相違度である領域評価値を用いて、被写体らしさが最も高い評価領域を求める。すなわち、被写体領域決定部１６２は、推定領域に内包されていると判定された評価領域のなかで、相違度が最も高い評価領域、つまり評価領域と背景領域の相違度が最も大きくなっている評価領域を、被写体領域として決定する。なお、Ｓ９０１で推定領域に内包されていると判定される評価領域が一つも無い場合には、図６のフローチャートで求めた複数の評価領域の中で、評価領域と背景領域の相違度が最も大きくなっている評価領域を被写体領域として決定してもよい。Ｓ９０３の後、被写体領域決定部１６２は、図９のフローチャートの処理を終了する。

以上説明したようにして、第１の実施形態の撮像装置１００は、指定位置とその周辺の画素のデフォーカス値に基づいて推定領域を決定し、また、複数の評価領域の各々から指定位置周辺の画像信号に基づく領域評価値を求めている。そして、撮像装置１００は、複数の評価領域のなかで推定領域に内包されている評価領域を優先的に用い、それら優先使用される評価領域のなかで相違度（領域評価値）が最も高い評価領域を、被写体領域決定として決定している。これにより、第１の実施形態の撮像装置１００によれば、被写体領域と背景領域の画像信号が似ている場合であっても、指定位置付近に存在している被写体領域を高い精度で決定することが可能となる。

＜第２の実施形態＞
以下、第２の実施形態の撮像装置１００について説明する。第２の実施形態の撮像装置１００の構成は前述した図１と同じであるため、その説明は省略する。以下、第２の実施形態の被写体領域決定処理について、第１の実施形態の被写体領域決定処理とは異なる処理についてのみ説明する。第２の実施形態の場合、図３のＳ３０３のデフォーカス情報（デフォーカス値）による被写体推定処理と、図３のＳ３０５における被写体領域決定処理とが、前述の第１の実施形態の例とは異なる。

＜第２の実施形態の場合のデフォーカス情報による被写体推定処理＞
図１１は、第２の実施形態の場合の、図３のＳ３０３におけるデフォーカス値（デフォーカス情報）を用いた被写体推定処理の流れを示すフローチャートである。
図１１のフローチャートにおいて、Ｓ１１０１では、被写体領域決定部１６２は、前述の図７（ａ）〜図７（ｏ）で示したような複数の評価領域候補のなかから、デフォーカス値を領域評価値として用いて評価を行う評価領域を決定する。なお、複数の評価領域候補のなかから優先的に用いる評価領域を決定する処理は、前述の図６のＳ６０１の処理と同様であるため、その説明は省略する。Ｓ１１０１の後、被写体領域決定部１６２は、Ｓ１１０２に処理を進める。

Ｓ１１０２では、被写体領域決定部１６２は、図６のＳ６０２と同様の処理により、各評価領域に対してそれぞれ背景領域を決定する。Ｓ１１０２の後、被写体領域決定部１６２は、Ｓ１１０３に処理を進める。

Ｓ１１０３では、被写体領域決定部１６２は、評価領域の各画素に対応したデフォーカス値と、背景領域の各画素に対応したデフォーカス値との間の相違度を、評価領域に対する領域評価値として算出する。すなわち、前述の第１の実施形態では、評価領域と背景領域の画像信号の相違度を領域評価値としたが、第２の実施形態では、評価領域と背景領域のデフォーカス値の相違度を領域評価値としている。第２の実施形態の場合、被写体領域決定部１６２は、デフォーカス値を用いた領域評価値ｄ_Dを下記式（２）により算出する。

式（２）において、ｐ_Diは評価領域の各画素のうちデフォーカス値がｉの画素数を表し、ｑ_Diは背景領域の各画素のうちデフォーカス値がｉの画素数を表す。また、Ｄ_maxはデフォーカス値が採り得る最大値、Ｄ_minはデフォーカス値が採り得る最小値である。Ｓ１１０３の後、被写体領域決定部１６２は、Ｓ１１０４に処理を進める。Ｓ１１０４の処理は、図６のＳ６０４と同様の処理である。Ｓ１１０４において未処理の評価領域候補がないと判定した場合、被写体領域決定部１６２は、Ｓ１１５に処理を進める。

Ｓ１１０５では、被写体領域決定部１６２は、Ｓ１１０１で決定した評価領域のなかから、Ｓ１１０３で求めた領域評価値を基に被写体らしさが最も高い評価領域を推定領域として決定する。第２の実施形態の場合、デフォーカス値の相違度が領域評価値となされているため、被写体領域決定部１６２は、そのデフォーカス値の相違度が最も大きい（高い）評価領域を推定領域として決定する。Ｓ１１０５の後、被写体領域決定部１６２は、図１１のフローチャートの処理を終了する。

＜第２の実施形態の被写体領域決定処理＞
前述した図１０（ａ）〜図１０（ｃ）と図１２を参照して、第２の実施形態における被写体領域決定の詳細な流れについて説明する。図１２は、第２の実施形態の場合の図３のＳ３０５における被写体領域決定処理の詳細なフローチャートである。

図１２のフローチャートのＳ１２０１において、被写体領域決定部１６２は、第２の実施形態における複数の評価領域ごとに重み値を算出する。被写体領域決定部１６２は、下記式（３）により重み値Ｗを算出する。
Ｗ＝Ｎ_P0／Ｎ_P1 ・・・式（３）
式（３）において、Ｎ_P0は推定領域に内包される評価領域の画素数であり、Ｎ_P1は全ての評価領域の画素数である。

第２の実施形態において、前述の図１０（ａ）の例では、評価領域１００３の全画素が推定領域１００２に収まっているため、式（３）により重み値Ｍとしては１．０の値が算出される。図１０（ｂ）の例の場合、評価領域１００３の例えば５０％の画素が推定領域１００２に入っているため、式（３）により重み値Ｍとしては０．５の値が算出される。図１０（ｃ）の例の場合、評価領域１００３の全画素が推定領域１００２に入っていないため、式（３）により重み値Ｍとしては０の値が算出される。Ｓ１２０１の後、被写体領域決定部１６２は、Ｓ１２０２に処理を進める。

Ｓ１２０２では、被写体領域決定部１６２は、前述の図３のＳ３０４で求めた領域評価値に対し、Ｓ１２０１で求めた重み値を乗算することにより、重み付け評価値を算出する。Ｓ１２０２の後、被写体領域決定部１６２は、Ｓ１２０３に処理を進める。

Ｓ１２０３では、被写体領域決定部１６２は、未処理の評価領域があるか否か判定を行う。被写体領域決定部１６２は、未処理の評価領域がある場合にはＳ１２０１に処理を戻して、Ｓ１２０１〜Ｓ１２０３までの一連の処理を繰り返し、未処理の評価領域がない場合にはＳ１２０４に処理を進める。

Ｓ１２０４では、被写体領域決定部１６２は、Ｓ１２０２で算出した重み付け評価値を用い、前述した図９のＳ９０３と同様の処理により、被写体らしさが最も高い評価領域を被写体領域として決定する。Ｓ１２０４の後、被写体領域決定部１６２は、図１２のフローチャートの処理を終了する。

以上説明したようにして、第２の実施形態の撮像装置１００は、推定領域に内包される評価領域の画素数に応じて領域評価値に重み付けを行っている。すなわち、第２の実施形態の場合、複数の評価領域のなかで優先的に判定に用いられる評価領域に対して、重みが変更されていることになる。このように、第２の実施形態によれば、複数の評価領域のなかで優先的に判定に用いられる評価領域に対しても、さらに、評価領域の画素が推定領域に内包される数に応じて優先的な判定を行っている。第２の実施形態の撮像装置１００によれば、被写体領域と背景領域の画像信号が似ている場合であっても、指定位置付近に存在する被写体領域を高い精度で決定することが可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００撮像装置、１０１レンズユニット、１０５絞り制御部、１１３ズーム制御部、１３３フォーカス制御部、１４１撮像素子、１４２撮像信号処理部、１４３撮像制御部、１５０モニタディスプレイ、１５１ＣＰＵ、１５２画像処理部、１５４ＲＡＭ、１５５フラッシュメモリ、１５６操作スイッチ、１６１被写体追跡部、１６２被写体領域決定部

Claims

撮影画像から被写体領域を決定する情報処理装置であって、
前記撮影画像の中の各位置におけるデフォーカス値と、前記撮影画像のなかで被写体として指定された位置を取得する取得手段と、
前記各位置におけるデフォーカス値と前記指定された位置におけるデフォーカス値との差分に基づいて、前記撮影画像のなかで指定された被写体の推定領域を決定する推定手段と、
前記指定された位置に対して設定される複数の評価領域の各々から算出された評価値に基づいて、前記撮影画像から被写体領域を決定する決定手段と、を有し、
前記決定手段は、前記推定領域に内包される評価領域の評価値に対して、前記推定領域に内包されない評価領域の評価値よりも優先されるように重み付けを行うことを特徴とする情報処理装置。
前記決定手段は、前記推定領域に内包される評価領域のなかから、前記評価値に基づいて選択した評価領域を、前記被写体領域として決定することを特徴とする請求項１に記載の情報処理装置。
前記決定手段は、前記指定された位置に応じて、少なくとも中心位置又はサイズが異なる一つ以上の評価領域を設定することを特徴とする請求項１または２に記載の情報処理装置。
前記決定手段は、前記評価領域のサイズに基づき、前記評価領域ごとに中心位置のずらし量を決定することを特徴とする請求項３に記載の情報処理装置。
前記決定手段は、前記評価領域ごとに、前記評価領域の画像信号と前記評価領域の周辺の画像信号との間の相違度を、前記評価領域の評価値として算出し、前記推定領域と一つ以上の評価領域及び前記評価領域ごとの評価値とを用いて、前記被写体領域を決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記決定手段は、前記相違度が大きいほど、前記評価値を高くすることを特徴とする請求項５に記載の情報処理装置。
前記相違度は、色相、彩度、および、輝度の少なくともいずれかの相違度であることを特徴とする請求項５または６に記載の情報処理装置。
前記推定手段は、一つ以上の第２の評価領域を設定し、前記第２の評価領域ごとに各画素の評価値を算出し、前記各画素の評価値に基づいて、前記一つ以上の第２の評価領域のなかから前記推定領域を決定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記推定手段は、前記指定された位置に応じて、少なくとも位置又はサイズが異なる、一つ以上の第２の評価領域を設定することを特徴とする請求項８に記載の情報処理装置。
前記推定手段は、前記第２の評価領域ごとに、前記第２の評価領域の各画素のデフォーカス情報と前記第２の評価領域の周辺の各画素のデフォーカス情報との間の相違度を、前記各画素の評価値として算出することを特徴とする請求項８または９に記載の情報処理装置。
前記指定された位置は、ユーザによる操作によって指定された位置であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
前記決定手段によって決定された前記被写体領域を用いてマッチング処理を行うことで、前記被写体領域の追跡を行う追跡手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
撮影画像の画像信号を生成する撮像手段と、
前記撮影画像の中の各画素の位置におけるデフォーカス情報を生成する生成手段と、
前記撮影画像のなかで被写体の位置を指定する指定手段と、
請求項１乃至１２のいずれか１項に記載の情報処理装置と、
を有することを特徴とする撮像装置。
前記撮像手段は、第１の画像信号と、前記第１の画像信号に対して視差を有する第２の画像信号を生成するための画像信号を生成し、
前記生成手段は、前記第１の画像信号と前記第２の画像信号を用いて、前記デフォーカス情報を生成することを特徴とする請求項１３に記載の撮像装置。
撮影画像から被写体領域を決定する情報処理装置の情報処理方法であって、
前記撮影画像の中の各位置におけるデフォーカス値と、前記撮影画像のなかで被写体として指定された位置を取得する取得ステップと、
前記各位置におけるデフォーカス値と前記指定された位置におけるデフォーカス値との差分に基づいて、前記撮影画像のなかで指定された被写体の推定領域を決定する推定ステップと、
前記指定された位置に対して設定される複数の評価領域の各々から算出された評価値に基づいて、前記撮影画像から被写体領域を決定する決定ステップと、を含み、
前記決定ステップでは、前記推定領域に内包される評価領域の評価値に対して、前記推定領域に内包されない評価領域の評価値よりも優先されるように重み付けを行うことを特徴とする情報処理装置の情報処理方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。