JP2013254151A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮影後にフォーカスを合わせる被写体を指定することが可能なカメラにおいて、記録された複数の画像の中から、観賞画像を選択し、表示する場合、その都度、フォーカスを合わせる被写体を選択する必要がある。
【手段】複数の視点位置から撮像して得られた多視点画像データに関連付けられた、特定の対象に合焦した合成画像を表示するための推奨情報に基づいて、合成画像を表示する。
【選択図】図２

Description

本発明は、撮影後にフォーカスを変更可能な画像処理システムにおける画像処理方法に関するものである。

デジテルカメラの高度化に伴い、その操作も複雑化している。複雑すぎる操作体系は、ユーザーが機能を使いこなせないという問題を生じさせる。つまり、デジタルカメラに新しい機能を追加する場合には、同時に、操作の容易性が求められている。

従来のデジタルカメラは、フォーカス位置を確定してから、シャッターを押し、その瞬間のシーンを撮影・記録するシンプルな操作体系であった。一方、特許文献１や非特許文献１などに代表される多視点画像データから任意の被写体にフォーカスを合わせる処理（リフォーカス処理）を組み込んだカメラが存在する。このカメラでは、ユーザーは記録された画像に対して、フォーカス位置を指定することが可能となり、従来とは異なるより複雑な操作体系が必要となる。

特開２０１１−２２７９６号公報

Ｒ． Ｎｇ， Ｍ． Ｌｅｖｏｙ， Ｍ．Ｂｒeｄｉｆ， Ｇ． Ｄｕｖａｌ， Ｍ． Ｈｏｒｏｗｉｔｚ， Ｐ． Ｈａｎｒａｈａｎ： "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（２００５）

撮影後にフォーカスを合わせる被写体を指定することが可能なカメラにおいて、記録された複数の画像の中から、観賞画像を選択し、表示する場合、その都度、フォーカスを合わせる被写体を選択する必要があった。

本発明に係る画像処理装置は、複数の視点位置から撮像して得られた多視点画像データに関連付けられた、特定の対象に合焦した合成画像を表示するための推奨情報に基づいて、前記合成画像を表示手段に表示させる制御手段を備えることを特徴とする。

ユーザーが、同一の画像を再度観賞する場合、フォーカスを合わせる被写体を再指定することなく、特定の被写体にフォーカスを合わせた画像を観賞することができる。

本発明の実施例１に係る多眼カメラ全体のハードウェア構成の一例を示すブロック図である。 本発明の実施例１に係る再生時のリフォーカス処理の一例を示すフローチャートである。 本発明の実施例１に係るパラメータ選択処理の一例を示すフローチャートである。 本発明の実施例１に係るリフォーカス演算領域の予測方法の一例を示すフローチャートである。 本発明の実施例１に係る過去の人物に関するリフォーカス履歴の一例を示す図である。 本発明の実施例１に係るリフォーカス画像の表示の一例を示す図である。 本発明の第１の実施例に係るリフォーカス画像データを保存する一時画像フォーマットの一例を示す図である。 本発明の実施例１に係る多視点画像を保存する画像データフォーマットの一例を示す図である。 本発明の実施例２の実施例に係る多視点画像を保存する画像データフォーマットの一例を示す図である。 本発明の実施例２に係る再生時のリフォーカス処理の一例を示すフローチャートである。 本発明のその他の実施例に係るハードウェア構成の一例を示すブロック図。

以下、図面を用いて本発明の実施例について詳細に説明する。

図１は、本発明による実施例１の画像処理装置のハードウェア構成の一例を示すブロック図である。以下、図１について詳細に説明する。多眼カメラ撮像部１０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部１０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。

ＲＡＭ１０２は、多眼カメラ撮像部１０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ１０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ１０９は、ＳＤカードなどの外部メモリである。また、外部メモリ１０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ１０９には、多眼カメラ撮像部１０１で撮像した多視点画像データが、例えば図８に示される画像データフォーマットに従って画像ファイルとして保存される。画像データフォーマットの詳細は後述する。また外部メモリ１０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。

メモリ制御部１１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９の各メモリに対するデータの読み書きを制御する。

ユーザーＩ／Ｆ（インターフェース）１０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ１０５上に設置されるタッチパネルや、シャッターボタン、操作ダイアルなどユーザーｉ／Ｆに対応する。

全体制御部（ＣＰＵ）１０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ１０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部１０３へ指示するなどの演算制御を行う。

リフォーカス演算部１０３は、全体制御部１０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、特定の対象に合焦した合成画像データであるリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、ＲＡＭ１０２や、外部メモリ１０９などへ格納される。詳細は後述する。

グラフィックプロセッサ１０４は、リフォーカス演算部１０３で生成されたリフォーカス画像データをディスプレイ１０５に表示する機能を具備している。ネットワークＩ／Ｆ１１１０は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。

画像解析部１１２は、画像データ中の被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部１１２は、検出した被写体の領域情報と識別コードとをＲＡＭ１０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部１１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果は例えば、ＲＡＭ１０２や外部メモリ１０９のような不揮発メモリに記憶される。したがって、本実施例の説明に於いては、これら被写体の領域情報と識別コードとが既に記憶されていることを前提とする。

多眼カメラ撮像部１０１が撮像した多視点画像データは、図８の画像データフォーマットに従って、画像ファイルとして、外部メモリ１０９に記録される。

図８は、本実施例に於ける多視点画像データを画像ファイルとして保存する際に用いる画像データフォーマットを説明する図である。図８に示す画像ファイルは、画像幅を示す情報８０１、画像高さを示す情報８０２、リフォーカス位置情報８０３、多視点画像ヘッダ情報８１０、多視点画像データ８０４を含む。

リフォーカス位置情報８０３は、位置情報存在フラグ８０５を含む。位置情報存在フラグ８０５は、リフォーカス位置情報が存在するか否かを示す情報である。この位置情報存在フラグは、例えば初期状態（履歴が無い状態）では０（偽）である。１（真）である場合に後続の位置情報８０６〜８０９の値を有効とすることができる。すなわち、位置情報存在フラグが真である場合、リフォーカスされた位置を示す情報が含まれていることになる。Top_left_x８０６は、リフォーカス領域の左上のＸ座標を示す情報である。Top_left_y８０７は、リフォーカス領域の左上のＹ座標を示す情報である。Bottom_right_x８０８は、リフォーカス領域の右下のＸ座標を示す情報である。Bottom_right_y８０９は、リフォーカス領域の右下のＹ座標を示す情報である。

なお、位置情報存在フラグ８０５は、画像ファイルの付加の真偽を示す一ビットの情報で十分であるが、かならずしも、１ビットに限定されない。リフォーカス位置情報フォーマットの形式を示す多値をとってもよい。例えば、次のような構成をとることも可能である。位置情報存在フラグ８０５が０の場合は、位置情報が存在しない。位置情報存在フラグ８０５が１の場合は、位置情報は、上述のように矩形情報として表現される。位置情報存在フラグ８０５が２の場合は、位置情報は、フォーカス対象を示す円の中心座標と半径を位置情報として表現される。

多視点画像ヘッダ情報８１０には、リフォーカス処理を行うために必要な情報や補助的な撮像情報が含まれる。例えば、カメラ機種名、レンズ構成、撮像日、シャッタースピード、および、露出プログラムなどである。また、多視点画像ヘッダ情報８１０には、リフォーカス処理に用いられる多視点画像データの中の各画像データの位置情報が含まれる。本実施例では、位置情報存在フラグの真偽に関わらず、位置情報８０６〜８０９が存在する構成例を示している。しかしながら、それに限定されず、位置情報存在フラグが偽の場合は、位置情報８０６〜８０９エントリーそのものを画像データに含めない構成とすることも可能である。また、リフォーカス位置情報は、任意の形状を示すように構成することも可能であり、本実施例で説明する矩形領域に限定するものではない。

なお、多視点画像データ８０４は、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部１０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。

図２は、再生モードに移行してから、１枚目のリフォーカス画像を表示するまでのフローチャートである。再生モードは、外部メモリ１０９に保存された画像ファイルをディスプレイ１０５で表示する制御を行う動作モードである。図２のフローは、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより実行される。

全体制御部１０８が、図２に示す制御を実行する為のプログラムは、例えば、ＦｌａｓｈＲＯＭ１０７等に記憶されている。また、上述したリフォーカスのためのプログラムも同様に記憶されている。図２に示すフローに於ける画像ファイルは、多眼カメラ撮像部１０１により撮像された多視点画像データが、図８で示すようにヘッダ情報と共に外部メモリ１０９に既に記録されていることを前提としている。

ステップＳ２０１では、全体制御部１０８は、動作モードを再生モードに移行する。ステップＳ２０１の処理に移る場合として、以下の３パターンが考えられる。
１．再生モード以外で起動中であり、その後再生モードに切り換え
２．起動時に既に再生モード
３．再生モードで別の画像を指定された時

ステップＳ２０２では、全体制御部１０８が画像ファイルを外部メモリ１０９から取得する。ステップＳ２０３では、全体制御部１０８が再生リフォーカスモードと履歴情報とを取得して、処理をＳ２０４へ移行する。再生リフォーカスモードとは、リフォーカス演算済みの画像データ（以下、リフォーカス画像データと称する）を表示する際に、例えば、人モード、風景モード、動物モードなどを選択するモードである。履歴情報とは、過去にユーザーが選択した画像データの種別及び位置や、操作に関する履歴を累積した情報である。履歴情報の詳細については後述する。ステップＳ２０４では、全体制御部１０８が読み込んだ画像ファイルのヘッダ情報を解析する。ヘッダ情報は、図８の８０１から８０３に該当する。本実施例では、リフォーカス位置情報８０３を特に解析する。

ステップＳ２０５では、全体制御部１０８が、ステップＳ２０４で解析したヘッダ情報に推奨パラメータが存在するか否かを判定する。推奨パラメータとは、画像ファイルをリフォーカスする際に推奨される画像や表示方法などを示すパラメータである。推奨パラメータが存在する場合には処理がステップＳ２０６に移行し、存在しない場合にはステップＳ２０７に移行する。本実施例では、図８に示される位置情報存在フラグ８０５を１ビットのフラグとして扱い、フラグの値が１の場合には、全体制御部１０８は、推奨パラメータが存在すると判定してステップＳ２０６に遷移する。フラグの値が０の場合は、全体制御部１０８は推奨パラメータが存在しないと判定してステップＳ２０７に移行する。

ステップＳ２０６では、全体制御部１０８は、ステップＳ２０２で読み込んだ画像ファイルのリフォーカス位置情報８０３を解析して得られた推奨パラメータを利用してリフォーカス演算部１０３を制御し、リフォーカス画像データを生成する。

具体的には、リフォーカス演算部１０３は、再生ファイルに含まれる多視点画像データ８０４から、位置情報８０６と８０８との平均をＸ座標、位置情報８０７と８０９との平均をＹ座標とする位置にフォーカスが合った画像データを生成する。リフォーカス演算部１０３で生成されたリフォーカス画像データは、グラフィックプロセッサ１０４を介して、ディスプレイ１０５に表示される。また生成されたリフォーカス画像データは、図７に示される一時画像ファイルフォーマットに従って一時画像ファイルとして、外部メモリ１０９又はＲＡＭ１０２に保存される。図７は、リフォーカス演算部１０３で生成されたリフォーカス画像データを含む画像ファイルの一時画像ファイルフォーマットの一例を示す図である。一時画像ファイルフォーマットに従う画像ファイルは、リフォーカス位置情報７０２と、リフォーカス画像データ７０５とを含む。リフォーカス位置情報７０２には、リフォーカス画像データ７０５のリフォーカス処理を行った際にフォーカスを合わせた位置を示す情報が含まれる。位置情報７０６〜７０９は、図８の位置情報８０６〜８０９と同じ情報とすることができる。なお、図７に示す一時画像ファイルは、例えばリフォーカスの画像データ毎に生成される。このように、推奨パラメータが含まれている場合、多視点画像データから所定の対象に焦点を合わせたリフォーカス画像を生成可能となる。

ステップＳ２０６に処理が進んでいるということは、推奨パラメータが存在していることになる。従って、その推奨パラメータに含まれる情報を図７の７０２で示すリフォーカス位置情報に含めた一時画像ファイルを記憶する。なお、一時画像ファイルの記憶場所は、外部メモリ１０９、ＲＡＭ１０２に限定されるものではなく、ネットワークＩ/Ｆ１１１を介して、クラウド上に存在する任意の記憶装置に記憶しても良い。
次に、ステップＳ２０５にて、ヘッダ情報に推奨パラメータが存在しない場合の処理を説明する。ステップＳ２０７の処理は、ステップＳ２０２でメモリから読み出した画像ファイルに推奨パラメータが無い場合、即ち再生モードでの表示が初めての画像ファイルである場合の処理である。本実施例では、履歴情報に基づいてリフォーカス画像データを生成し、一時画像ファイルとして記憶する。また、履歴情報の更新を実施する。履歴情報に基づいてリフォーカス画像データを生成する処理、および履歴情報を更新する処理については、図３に関連して説明するため、ここで説明を省略する。

ステップＳ２０８は、グラフィックプロセッサ１０４がステップＳ２０７で生成したリフォーカス済み画像をディスプレイ１０５に表示する。図６は、ステップＳ２０６又はステップＳ２０７で生成されたリフォーカス画像データを表示した際の一例を示す図である。図６の（ａ）は、風景（樹木）にフォーカスの合った画像の例を示してある。

ステップＳ２０９では、グラフィックプロセッサ１０４がパラメータ選択ＵＩ画面を追加でディスプレイ１０５に表示する。パラメータ選択ＵＩ画面を追加した例を図６（ｂ）に示す。図６（ｂ）の例に於いては、タッチパネルでユーザーがフォーカスを合わせたいポイントを指定することを想定している。すなわち、グラフィックプロセッサ１０４は、フォーカスを合わる位置（パラメータ）をユーザーに入力させるためのＵＩ画面を表示する。なお、パラメータは、画像中の２次元の位置情報を表してもよいし、多視点画像の中の空間的な距離（奥行き）を表してもよい。

ステップＳ２１０では、全体制御部１０８は、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報８０３の更新を実施する。すなわち、ヘッダ情報に推奨パラメータが存在していない場合、ステップＳ２０７でリフォーカス位置が決定された領域の位置情報でリフォーカス位置情報８０３を更新する。なお、ヘッダ情報に推奨パラメータが存在している場合、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報８０３の更新は行わなくてよい。すなわち、ステップＳ２１０は、画像ファイルのリフォーカス位置情報に第１の推奨情報が含まれていない場合、現在表示しているリフォーカス画像のリフォーカス位置情報を第１の推奨情報として記憶する処理といえる。また、画像ファイルのリフォーカス位置情報に第１の推奨情報が含まれており、かつ第１の推奨情報が現在表示しているリフォーカス画像のリフォーカス位置情報と異なる場合には次の処理をする。すなわち、その現在表示しているリフォーカス画像のリフォーカス位置情報を第２の推奨情報として用いて、画像ファイルに記憶されている第１の推奨情報を第２の推奨情報で更新する。以上が、再生モードを起動した場合の動作、すなわち、ある画像ファイルを読み取った場合の最初に表示されるリフォーカス画像に関する処理である。

続いて、１枚目のリフォーカス画像データを表示した後の動作（２枚目以降のリフォーカス画像データの表示、動作の終了等）について、図３を用いて説明する。すなわち、図２のフローで説明した画像ファイルを読み取った場合に最初に表示されるリフォーカス画像を表示した後の処理を図３を用いて説明する。図３に示すフロー全体が、図２のフローと同様に、全体制御部１０８により制御されている。

図２のステップＳ２０９で、図６（ｂ）に示すパラメータ選択ＵＩが表示されると、ユーザーは、表示されたＵＩを利用して、パラメータの選択を行う事が可能になる。ステップＳ３０１では、全体制御部１０８は、ＵＩを使用して、ユーザーがパラメータを選択した時は、処理をステップＳ３０４へ移行する。本実施例では、ユーザーが画面上の１点を指定することによって、パラメータを選択することとする。次に、ステップＳ３０４では、ステップＳ３０１でユーザーによって選択されたパラメータを取得する。ステップＳ３０４では、全体制御部１０８は、図７の形式で記憶されている一時画像ファイル群の中から、ステップＳ３０１にてユーザーが指定（選択）したパラメータを含むリフォーカス画像データが存在するか否かを判定する。すなわち、ユーザーが指定したパラメータを含むリフォーカス位置情報７０２を含む一時画像ファイルが存在するか否かを判定する。ステップＳ３０４でユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在する場合、全体制御部１０８は、処理をステップＳ３０９へ移行する。ステップＳ３０９では、前記リフォーカス画像データを含む一時画像ファイルの情報（位置、表示履歴情報）を更新し、処理をステップＳ３０６へ移行する。詳細は後述する。

ステップＳ３０６では、グラフィックプロセッサ１０４が、前記ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像を所定のディスプレイ１０５に表示する。

一方、ステップＳ３０４で、ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在しなかった場合は、全体制御部１０８は、処理をステップＳ３０５へ移行する。ステップＳ３０５では、ステップＳ３０１でユーザーが指定したパラメータに基づいて、リフォーカス演算部１０３が、当該パラメータが示す領域にフォーカスが合ったリフォーカス画像データを生成する。ステップＳ３０５では、生成したリフォーカス画像データを例えば、ＲＡＭ１０２等に図７に示す一時画像ファイルとして記憶する。

ステップＳ３０５の処理が完了したら、全体処理部１０８は、処理をステップＳ３０９へ移行する。

ステップＳ３０９では、ステップＳ３０５にて、ユーザーが、ステップＳ３０１で指定したパラメータに従って生成したリフォーカス画像に関する情報（位置および表示履歴情報）の更新を実施し、処理をステップＳ３０６へ移行する。詳細は後述する。

ステップＳ３０６では、例えば、ＲＡＭ１０２等から、ステップＳ３０１で指定されたパラメータに従って生成または選択されたリフォーカス画像データを読み出して、ディスプレイ１０５へ表示する。

ここで、ステップＳ３０９に於ける情報更新について、詳しく説明する。

先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＦｌａｓｈＲＯＭ１０７や、外部メモリ１０９のような不揮発メモリに記憶されている。ここでは、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれている場合、その領域情報を位置情報として更新する。すなわち、被写体として分類され、その被写体の位置が特定されている領域情報を、一時画像ファイルのリフォーカス位置情報７０２として更新する。一方、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれていない場合、指定パラメータを一時画像ファイルのリフォーカス位置情報７０２として更新する。

次に、履歴情報について、図５を用いて説明する。図５に於いて、識別コードは、画像解析部１１２で識別された識別コードである。頻度は、再生モードに於いて、識別コード（人、風景等）で示される各領域に対して、ユーザーがフォーカスを合わせた画像の表示を指示した頻度のことである。この頻度は、ある画像ファイルごとの頻度であってもよいし、画像ファイルを問わずに、画像処理装置におけてあるユーザーが指示した頻度であってもよい。図５（ａ）は、５０１が識別コード＝風景、５０２が識別コード＝人、５０３が識別コード＝動物の例を示している。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：風景（５０１）
２位：人（５０２）
３位：動物（５０３）

図５（ｂ）は、識別コード＝人に関して、識別コードを更に細分化した例を示したものである。なお、娘、息子、父の区別は、例えばそれぞれの顔画像の特徴ベクトルを算出しておき、人物と判定された領域の特徴ベクトルと比較することによって判定することができる。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：ユーザーの娘（５０５）
２位：ユーザーの息子（５０６）
３位：ユーザーの父（５０７）
４位：登録外の人物（５０８）
本実施例に於いて、履歴情報は、各識別コードの頻度情報のことを指す。

次に履歴情報の更新について述べる。先に説明したように、領域情報の中に指定されたパラメータが含まれていた場合、その領域に関連付けられた識別コードの頻度情報をインクリメントする。一方、領域情報の中に指定されたパラメータが含まれていない場合、有用な情報は、座標情報のみなので、履歴情報は更新しない。

次にステップＳ３０１で、ユーザーが、パラメータを選択しなかった場合の処理について説明する。すでに表示されている画像を継続して表示した状態で、処理をステップＳ３０２へ移行する。

ステップＳ３０２では、画像解析部１１２で抽出した全ての領域情報に対して、全体制御部１０８は、各領域情報にフォーカスを合わせたリフォーカス画像データを生成したか否かを判定する。具体的には、全ての領域情報に対して、各領域情報を含むリフォーカス位置情報７０２を有する一時画像ファイルが存在するか否かを判定する。

ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、処理をＳ３０３へ移行する。一方、ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像の生成が完了していると判定された場合は、処理をＳ３０７へ移行する。

全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、ステップＳ３０３で、履歴情報に基づいて、リフォーカス画像データを生成する。詳細は後述する。次に生成したリフォーカス画像をＳ３０６で表示した後、ステップＳ３０７へ移行する。

Ｓ３０７では、全体制御部１０８は、再生モードを終了するか、継続するかを判定する。Ｓ３０７に於ける再生モードの終了条件は、例えば以下の３つである。
１．再生モードを除くモードに切り換えた時
２．電源をＯＦＦした時
３．再生モードで別の画像を指定された時
Ｓ３０７で再生モード終了と判定された場合は、処理をＳ３０８へ移行し、再生モードの終了に必要な各種処理が実行され、再生モードを終了する。一方、ステップＳ３０７で再生モード継続と判定された場合は、処理をステップＳ３０１へ戻し、ステップＳ３０１からの操作を繰り返す。

なお、パラメータ選択は、ユーザーが画面上の１点を指すことで行うこととしたが、閉領域として指定することも可能である。例えば、ユーザが指定した点を含む画像および指定された閉領域に含まれる画像をＦｌａｓｈＲＯＭ（履歴記憶部）１０７の履歴と比較することにより、履歴情報の有無を判定することができる。

次に、図２のＳ２０７と図３のＳ３０３に於ける処理詳細について、図４のフローチャートを用いて説明する。図４のフローチャートに示す処理は、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより、実行される。

先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＲＡＭ１０２や、外部メモリ１０９のような不揮発メモリに記憶されている。また、履歴情報は、図５に示す頻度情報のこととする。即ち、過去の履歴（頻度）は、風景画像が頻度１位、人の画像が２位、動物の画像が３位であると仮定する。更に、人の画像は、頻度１位が娘、２位が息子、３位が父、４位が登録外人物と仮定する。

ステップＳ４０１では、全体制御部１０８は、リフォーカス画像データを未生成の領域を特定する。まず、全体制御部１０８は、対象画像データ（すなわち、Ｓ２０２で読み込んだ画像ファイルの多視点画像データが示す画像データ）に関する画像解析結果の識別コード及び領域情報のペアの全てを取得する。また、全ての一時画像ファイルに含まれるリフォーカス画像データの位置情報を取得する。次に、取得した情報の中から、一時画像ファイルに含まれるリフォーカス位置情報７０２と、領域情報とを比較する。そして、位置情報が領域情報に含まれるものは省いて、対応する位置情報が存在しない領域情報を抽出する。この領域情報は、即ち、リフォーカス画像データを生成していない領域に対応する。

次に、全体制御部１０８は、ステップＳ４０２で、ステップＳ４０１で抽出した領域情報に関連付けられた識別コードの中で、履歴情報の頻度が最も高い識別コードに一致するものを選択する。選択の結果、風景に該当する識別コードの頻度が、最上位であった場合、ステップＳ４０３へ移行する。ステップＳ４０３では、風景画像に対応する領域が、Ｓ４０１で抽出した領域情報にあるか否かを判定する。風景画像がある場合、ステップＳ４０４へ移行する。

ステップＳ４０４では、識別コードが風景である領域情報を抽出して、それが１つである場合は、その領域を次にリフォーカス画像データを生成する領域として決定する。また風景に該当する識別コードを持つ領域が複数存在する場合、例えば、領域情報の左上のＸ座標とＹ座標をもって、順位を決定することができる。具体的には、Ｘ座標の値が小さい順にリフォーカス演算順位を決定することができる。また、同一のＸ座標が複数存在する場合は、Ｙ座標の小さい順でリフォーカス演算順位を決定することができる。ここでは、最も順位の高い領域情報を次にリフォーカス画像を生成する領域として決定する。

次に処理をステップＳ４０５へ移行する。ステップＳ４０５では、リフォーカス演算部１０３が、ステップＳ４０４で決定された順位に基づいて当該順位の領域情報にフォーカスを合わせたリフォーカス画像データを生成する。具体的には、多視点画像データから、左上と右下の座標の平均を取った結果をＸ座標、Ｙ座標とする位置にフォーカスが合った画像データを生成する。

次に、処理をステップＳ４０６へ移行する。ステップＳ４０６では、ステップＳ４０５で生成したリフォーカス画像データと共に、そのフォーカスを合わせた領域情報をリフォーカス位置情報とした一時画像ファイルを図７に示す一時画像ファイルフォーマットで記憶する。

次に処理をステップＳ４０７へ移行する。ステップＳ４０７では、履歴情報を更新する。具体的には、選択された識別コードに該当する頻度をインクリメントする。そして処理を終了する。

次に、ステップＳ４０２に戻って、選択の結果、人に該当する識別コードの頻度が、最上位であった場合、ステップＳ４０９へ移行する。ステップＳ４０９では、人の画像があるか否かを判定する。人の画像がない場合、ステップＳ４０２に戻る。人の画像がある場合、ステップＳ４１０に移行する。ステップＳ４１０では、図５（ｂ）で示すような登録者の識別コードがあるか否かを判定する。登録者の識別コードがあった場合、処理をステップＳ４１１へ移行する。ステップＳ４１１では、履歴情報の中に、ステップＳ４１０で存在が確認された登録者がいるか否かを判定する。履歴情報の中に登録者がいた場合、処理をステップＳ４１２へ移行する。ステップＳ４１２では、履歴情報の頻度に従って、リフォーカス画像生成の順位を決定する。図５（ｂ）では、順位１位が娘、２位が息子、３位が父というようになっているので、例えば、識別コードの中に娘が存在すれば、娘を最上位とする。

ステップＳ４１１で、履歴情報の中に登録者がいない場合、処理をステップＳ４１３へ移行する。また、ステップＳ４１０で、登録者の識別コードが無かった場合、処理をステップＳ４１４へ移行する。なお、ステップＳ４１３及びＳ４１４は、Ｓ４０４と同様の処理を行う。

次に、ステップＳ４０２に戻って、選択の結果、動物に該当する識別コードの頻度が、最上位であった場合、ステップＳ４１５へ移行する。ステップＳ４１５で動物の画像があると判定した場合、ステップＳ４１６へ移行する。なお、ステップＳ４１６の処理については、Ｓ４０４と同様の処理を行うことができる。

以上、説明したように構成することによって、過去の履歴を利用することで、リフォーカス画像データの生成をユーザーに指示される前に、実施することが可能となる。すなわち、多視点画像データを含む画像ファイルを最初に読み出した際に、そのファイルのヘッダ情報に推奨パラメータが含まれていない場合、履歴情報を用いてリフォーカス画像データをユーザーの指示なしに生成することができる。また、履歴情報を用いることで、そのユーザーが過去にフォーカスを合わせた被写体の頻度に応じてリフォーカス画像データを生成することができる。ユーザーの指示なしに予めリフォーカス画像データを生成しておくことによって、ユーザーが希望するフォーカス領域を指定した時、リフォーカス演算時間を待つことなく、ユーザーが希望するリフォーカス画像を表示することが可能となる効果がある。

また、本実施例では、多視点画像データが含まれる画像ファイルに、ユーザーが最後に指定したフォーカス位置を特定するパラメータ情報を埋め込んでいる。これにより、次回、画像ファイルを読み込んで、表示する際、ユーザーが最後に表示していた画像を、パラメータの再設定なしに表示することができる。これにより、ユーザーによるパラメータ設定の手間を省くことができ、本技術を組み込んだ装置の操作性が向上することにつながる。

なお、本実施例では、説明を簡単にする為、図４の例では３種類（人、風景、動物）の選択肢を例に挙げて説明したが、識別可能なものは選択肢に加えて構わない。更に、人の画像に関しても本実施例では、娘、息子、父、登録外人物というように、３人の登録者と登録外人物として説明したが、登録者を例えば、４人以上としても構わない。また、登録人物についても家族としたが、それに限定されるものではない。

実施例２はリフォーカスされた推奨画像データを多視点画像データに関連付けて画像ファイルとして記憶する形態について図９と図１０を使って説明する。実施例１では、画像ファイルに推奨情報として推奨パラメータが含まれる例について説明した。本実施例では、画像ファイルに推奨情報として推奨画像データが含まれる例について説明する。なお、本実施例で示されるフローチャートは、図１の全体制御部１０８で実行され、全体制御部１０８が、図１上の各モジュールを操作することにより実現するものとして説明する。

図９は、リフォーカス画像データを推奨画像データとして格納可能な画像ファイルの画像フォーマットを説明する図である。以下、図９について、詳細に説明する。ただし、とくに記述がない場合、その説明は、図８と同一であるとする。推奨画像存在フラグ９２０は、リフォーカスされた画像データが推奨画像データとして画像ファイルに付加されている否かを示すフラグである。推奨画像データ９３０は、その推奨画像データ９３０に関連付けられている多視点画像データ９０４から生成された、所定の対象に合焦するリフォーカス画像データである。推奨画像データ９３０は、実施例１で説明した履歴情報に基づいて最初に表示された画像を示すリフォーカス画像データであってもよいし、ユーザーが選択したパラメータを用いてリフォーカスされたリフォーカス画像データであってもよい。推奨画像データ９３０は、推奨画像存在フラグ９２０が真を示す場合にのみ付加される画像データである。本実施例では、推奨画像データは、グラフィックプロセッサがフォーマット変換なしに直接ディスプレイに出力できる非圧縮のＲＧＢデータであるものとする。しかし、画像フォーマットに限定はなく、ＪＰＥＧなどの圧縮フォーマットを用いてもよい。また、図９の画像フォーマットには、図８で示す画像フォーマットの中のリフォーカス位置情報８０３が含まれていない例を記載しているが、図９の画像フォーマットにリフォーカス位置情報８０３が含まれていてもよい。

図１０は、図２に対し、ステップＳ２０５，ステップＳ２０６，ステップＳ２１０がそれぞれ、ステップＳ１００１，ステップＳ１００２，ステップＳ１００３に置き換わっている。その他の処理は図２と同等の処理とすることができるので説明を省略する。以下、図１０のフローと図２の差分について詳細に説明する。

ステップＳ１００１では、全体制御部１０８は、ステップＳ２０２で読み込んだ画像ファイルの推奨画像存在フラグ９２０を参照して、画像ファイルに推奨画像データ９３０が付加されている否かを判定する。画像ファイルに推奨画像データ９３０が付加されている場合には、ステップＳ１００２が実行される。付加されていない場合には、ステップＳ２０７が実行される。

ステップＳ１００２では、全体制御部１０８は、ステップＳ２０２で読み込んだ画像ファイルから推奨画像データ９３０を抽出して、グラフィックプロセッサ１０４を介して、ディスプレイ１０５に表示する。なお、本実施例において、推奨画像データを外部メモリ１０９からＲＡＭ１０２に転送する動作は、ステップＳ２０２で行われているものとし、本工程では、ＲＡＭ１０２上のデータを表示するものとして説明する。

ステップＳ１００３では、全体制御部１０８は、最後に表示していた画像を推奨画像としてその画像データを外部メモリ上の画像ファイルに付加し、同画像ファイルの推奨画像存在フラグ９２０を真に設定する。また、推奨画像データ９３０が既に付加されている場合には、それを更新する。

本実施例によれば、最後にユーザーがパラメータを選択し、表示していた画像データを推奨画像データとして、多視点画像データが含まれる画像ファイルに付加する形で記録している。これにより、次回画像ファイルを表示するとき、ユーザーが最後に表示していた画像データを、パラメータの再設定、および、リフォーカス処理の再計算なしに表示することができる。このように、画像ファイルに推奨画像データが含まれている場合には、その推奨画像データを用いて、該推奨画像データが示すリフォーカス画像を生成可能である。

なお、本実施例によれば、画像ファイルに、推奨画像データを添付するという形態をとったが、それに限定されず、画像ファイルと推奨画像ファイルは、分離された形態で記録される形態をとっても良い。すなわち、多視点画像データと推奨画像データの関連付けがされていればよく、例えば推奨画像データがクラウドサーバーのように別個の装置に記憶されていてもよい。

本実施例では、ステップＳ２０２で推奨画像データが読み込まれているものとして説明したが、これに限定されず、ステップＳ１００２で処理を始めて、外部メモリ１０９上の画像ファイルから推奨画像データを、部分的に読み込む構成をとっても良い。

また、ステップＳ２０７では、履歴情報に基づいてリフォーカス演算処理を行う構成を例示しているが、本実施例では、履歴情報に基づいてリフォーカス演算処理を行う構成でなくてよい。すなわち、ステップＳ２０７を実施せず、ステップＳ２０８にて、例えば、全ての領域にフォーカスがあった画像を表示する構成をとっても良い。

＜その他の実施例＞
本実施例では、図１の全体制御部１０８が図１上の各モジュールを操作するものとして説明したが、実行されるハードウェア構成に制限はない。例えば、撮像部、リフォーカス演算部、画像解析部を持たないパーソナルコンピュータで実行することも可能である。図１１は、パーソナルコンピュータのハードウェア構成ブロック図を示している。特別な記述がない場合、その構成および動作は図１で示されるハードウェアと同等の動作をするものとする。なお、通常のパーソナルコンピュータは、リフォーカス演算処理部、画像解析処理部を持たない。そのため、リフォーカス演算処理、画像解析処理は、全体制御部１０８で実行されることになる。また、画像ファイルや履歴情報は、外部メモリや履歴記憶部の代わりにＨＤＤ１１０１に記録されることになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 複数の視点位置から撮像して得られた多視点画像データに関連付けられた、特定の対象に合焦した合成画像を表示するための推奨情報に基づいて、前記合成画像を表示手段に表示させる制御手段を
   備えることを特徴とする画像処理装置。
2. 複数の視点位置から撮像して得られた多視点画像データに、特定の対象に合焦した合成画像を表示するための推奨情報が関連付けられているかを判定する判定手段と、
   前記判定手段で推奨情報が関連付けられていると判定した場合、前記推奨情報に基づいて前記合成画像を表示手段に表示させる制御手段と
   備えることを特徴とする画像処理装置。
3. 複数の視点位置から撮像して得られた多視点画像データを取得する取得手段と、
   前記取得手段で取得した前記多視点画像データに、特定の対象に合焦した合成画像を表示するための推奨情報が関連付けられているかを判定する判定手段と、
   前記判定手段で関連付けられていると判定した場合、前記推奨情報に基づいて前記合成画像を表示手段に表示させる制御手段と
   備えることを特徴とする画像処理装置。
4. 前記推奨情報は、表示手段に最後に表示された合成画像の合焦している対象を含む領域を表す領域情報であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記推奨情報は、ユーザーに最後に選択された合成画像の合焦している対象を含む領域を表す領域情報であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
6. 前記領域情報を用いて前記多視点画像データから前記合成画像を示す合成画像データを生成する生成手段をさらに備え、
   前記制御手段は前記生成手段で生成された合成画像データが示す合成画像を前記表示手段に表示させることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記推奨情報は、表示手段に最後に表示された合成画像を示す合成画像データであり、
   前記制御手段は、前記合成画像データが示す合成画像を前記表示手段に表示させることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
8. 前記推奨情報は、ユーザーに最後に選択された合成画像を示す合成画像データであり、
   前記制御手段は、前記合成画像データが示す合成画像を前記表示手段に表示させることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
9. 前記推奨情報を、前記合成画像に対応する多視点画像データに関連付けて記憶する記憶手段をさらに備えることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記表示手段に最後に表示された合成画像を表示するための第２の推奨情報で前記記憶手段に記憶されている推奨情報を更新する更新手段をさらに備えることを特徴とする請求項９に記載の画像処理装置。
11. 特定の対象に合焦した合成画像を表示するための推奨情報を、複数の視点位置から撮像して得られた該合成画像を生成可能な多視点画像データに関連付けて記憶する記憶手段を備えることを特徴とする画像処理装置。
12. 複数の視点位置から撮像して得られた多視点画像データと、特定の対象に合焦した合成画像を表示するための推奨情報と含む画像ファイルを取得した場合、前記推奨情報に基づいて、ユーザーからの指示なしで前記合成画像を表示する表示手段を備えることを特徴とする画像処理装置。
13. 複数の視点位置から撮像して得られた多視点画像データに関連付けられた、特定の対象に合焦した合成画像を表示するための推奨情報に基づいて、前記合成画像を表示手段に表示させる制御ステップを
    備えることを特徴とする画像処理方法。
14. 特定の対象に合焦した合成画像を表示するための推奨情報を、複数の視点位置から撮像して得られた該合成画像を生成可能な多視点画像データに関連付けて記憶手段に書き込むするステップを備えることを特徴とする画像処理方法。
15. 複数の視点位置から撮像して得られた多視点画像データと、特定の対象に合焦した合成画像を表示するための推奨情報と含む画像ファイルを取得した場合、前記推奨情報に基づいて、ユーザーからの指示なしで前記合成画像を表示する表示ステップを備えることを特徴とする画像処理方法。
16. コンピュータを請求項１から１２に記載の画像処理装置として機能させるためのプログラム。

Images