JP2014016785A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 所望のオブジェクトが適切に配置されたレイアウト画像を出力することができる画像処理方法、画像処理装置、及びそのプログラムを提供することを課題とする。
【解決手段】 レイアウト画像を生成する際の主オブジェクトを特定する主オブジェクト情報を取得し、主オブジェクトと相関のあるオブジェクトを特定するオブジェクト相関情報を取得し、主オブジェクト取得手段により取得した主オブジェクト情報及びオブジェクト相関情報取得手段により取得したオブジェクト相関情報に基づいて、複数の画像の中から主オブジェクトを含む画像及び主オブジェクトと相関のあるオブジェクトを含む画像を少なくとも抽出する。
【選択図】 図２

Description

本発明は、所定のオブジェクトを含むレイアウト画像を出力するための画像処理装置、画像処理方法、及びプログラムに関する。

従来、デジタルカメラで撮影した写真を活用し、アルバムなどの様々な成果物を作成する方法が知られている。特許文献１では、テンプレート及びターゲットとなる人物の画像を選択し、画像データベース内からターゲットとなる人物を抽出して、テンプレートのエリア毎の属性に応じて自動的に配置する画像配置方法が提案されている。

特開２００８−２１７４７９号公報

しかしながら、特許文献１に記載の画像配置方法では、ターゲットとなる人物を中心としたレイアウト画像しか作成することができない。したがって、作成できるレイアウト画像のバリエーションが乏しくなってしまうという問題があった。また、特許文献１に記載の画像配置方法では、ターゲットとなる人物と他の人物との関係を考慮した作成することができない。

本発明は上記課題を解決するためになされたものであり、所望のオブジェクトが適切に配置されたレイアウト画像を出力することができる画像処理方法、画像処理装置、及びそのプログラムを提供することを目的する。

上記の課題を解決するための本発明の画像処理装置は、レイアウト画像を生成する際の主オブジェクトを特定する主オブジェクト情報を取得する主オブジェクト取得手段と、前記主オブジェクトと相関のあるオブジェクトを特定するオブジェクト相関情報を取得するオブジェクト相関情報取得手段と、前記主オブジェクト取得手段により取得した主オブジェクト情報及び前記オブジェクト相関情報取得手段により取得したオブジェクト相関情報に基づいて、複数の画像の中から主オブジェクトを含む画像及び主オブジェクトと相関のあるオブジェクトを含む画像を少なくとも抽出する画像抽出手段と、を備えることを特徴とする。

本発明によれば、所望のオブジェクトが適切に配置されたレイアウト画像を容易に出力することができる。本発明では、ユーザの目的に応じたレイアウト画像を出力することができるため、満足度の高い好適なレイアウト画像を得ることができる。

実施形態１に係る画像処理装置のハードウェア構成図である。 実施形態１に係る画像処理装置のソフトウェアブロック図である。 実施形態１に係る画像処理のフローチャートである。 人物ごとの画像グループの表示例を示す図である。 主オブジェクトおよびオブジェクト相関情報設定のためのＵＩの一例を示す図である。 レイアウトテンプレートの一例を示す図である。 レイアウト生成結果の表示例を示す図である。 オブジェクト相関情報の例を示す図である。 オブジェクト相関情報の例を示す図である。 画像解析結果の保存形式の例を示す図である。

以下、本発明の実施の形態について詳細に説明する。なお、本明細書では、「主オブジェクト」、「主人公」、「主ターゲット」は同一の意味とする。なお、以下の実施形態は、特許請求の範囲に係る本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施形態１）
図１は実施形態１の画像処理装置のハードウェア構成例を示すブロック図である。

図１において、情報処理装置１１５は、ＣＰＵ１００と、ＲＯＭ１０１と、ＲＡＭ１０２と、２次記憶装置１０３と、表示装置１０４と、入力装置１０５と、ＩＦ１０７と、ＩＦ１０８と、無線ＬＡＮ１０９を備えている。さらに、内部撮像デバイス１０６を備えている。これらは、制御バス／データバス１１０により相互に接続されている。本実施形態の情報処理装置１１５は、画像処理装置として機能する。

情報処理装置１１５は、例えば、コンピュータである。ＣＰＵ１００（中央演算装置）は、実施形態１で説明する情報処理をプログラムに従って実行する。ＲＯＭ１０１は、ＣＰＵ１００により実行される以下に示すアプリケーションやＯＳなどを含むプログラムが記憶されている。ＲＡＭ１０２は、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。２次記憶装置１０３は、ハードディスク等であり、画像ファイルや画像解析結果を保存するデータベース等を保存するための記憶媒体である。表示装置１０４は、例えば、ディスプレイであり、実施形態１の処理結果をユーザに提示する装置である。表示装置１０４は、タッチパネル機能を備えても良い。入力装置１０５は、ユーザが画像補正の処理の指示等を入力するためのマウスやキーボード等である。

また、内部撮像デバイス１０６で撮像された画像は、所定の画像処理を経た後、２次記憶装置１０３に記憶される。また、情報処理装置１１５は、インターフェース（ＩＦ１０８）を介して接続された外部撮像デバイス１１１から画像データを読み込むこともできる。さらに、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０８はインターネット１１３に接続されている。情報処理装置１１５は、インターネット１１３に接続された外部サーバー１１４より画像データを取得することもできる。

画像等を出力するためのプリンタ１１２は、ＩＦ１０７を介して情報処理装置１１５に接続されている。尚、プリンタ１１２はさらにインターネット上に接続されており、無線ＬＡＮ１０９経由でプリントデータのやり取りをすることもできる。

図２は本実施形態におけるアプリケーションを含むソフトウェア構成のブロック図である。

まず、情報処理装置１１５が取得した画像データは、通常、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の圧縮形式で圧縮されている。そのため、画像コーデック部２００は、その圧縮形式に基づいて、画像データを解凍して、いわゆる、ＲＧＢ点順次のビットマップデータ形式の画像データ（ビットマップデータ）に変換する。変換されたビットマップデータは、表示・ＵＩ制御部２０１に伝達され、ディスプレイ等の表示装置１０４上に表示される。

ビットマップデータは、さらに、画像センシング部２０３（アプリケーション）に入力され、画像センシング部２０３において、詳細は後述するが画像の様々な解析処理が行われる。解析処理の結果、得られた画像の様々な属性情報は、所定の形式に従ってデータベース部２０２（アプリケーション）において、上述した２次記憶装置１０３に記憶される。本実施形態では、画像の属性情報として、主オブジェクト情報と、オブジェクト相関情報と、を含む。尚、以降においては、画像解析処理とセンシング処理は同義で扱う。

オブジェクト相関情報取得部２０９（アプリケーション）は、データベース部２０２において記憶されているオブジェクト相関情報を取得する。また、主オブジェクト情報取得部２０８（アプリケーション）は、データベース部２０２において記憶されている主オブジェクト情報を取得する。

画像抽出部２１０（アプリケーション）では、主オブジェクト情報と、オブジェクト相関情報に基づいて、データベース部２０２から画像を抽出する。

レイアウト生成部２０５（アプリケーション）では、画像抽出部２１０で抽出された画像を用いて、画像データを配置するためのレイアウトを自動で生成する処理を行う。

生成したレイアウトは、レンダリング部２０６で表示用のビットマップデータにレンダリングされ、そのレンダリング結果であるビットマップデータは表示・ＵＩ制御部２０１に送信され、その内容が表示装置１０４に表示される。一方で、レンダリング結果は、プリントデータ生成部２０７にも送信されて、プリントデータ生成部２０７でプリンタ用コマンドデータに変換され、プリンタ１１２に送信される。

図３を用いて、画像処理の流れを詳細に説明する。図３は、図２のソフトウェア構成における処理のフローチャートである。

まず、ステップ１で情報処理装置１１５が画像データを取得する。

ステップ２では、取得した画像データのデコード処理を行う。まず、画像センシング部２０３が、新規で保存され未だセンシング処理が行われていない画像データをサーチする。そして、抽出された各画像について、画像コーデック部２００が画像データ（圧縮画像データ）からビットマップデータに変換する（デコードする）。なお、変換されたビットマップデータは、表示・ＵＩ制御部２０１に伝達され、ディスプレイ等の表示装置１０４上に表示される。

ステップ３では、画像センシング及びデータベース登録を行う。具体的には、上記ビットマップデータが、画像センシング部２０３に入力され、同部において、様々な解析処理を行う。上記解析処理の結果得られた画像の様々な属性情報は、所定の形式に従ってデータベース部２０２において、上述した２次記憶装置１０３に保存される。

次に、ステップ４において、画像グルーピング処理を行う。具体的には、入力された画像を、画像解析により認識した個人ごとに分類する。

次に、ステップ５では、主オブジェクト情報の取得処理を行う。具体的には、主オブジェクト情報取得部２０８が、レイアウト画像を生成する際に主オブジェクトをどの人物とするかをデータベース部２０２から取得する。

次に、ステップ６では、オブジェクト相関情報取得部２０９は、設定した人物の主人公に対する相関情報をデータベース部２０２から取得する。

次に、ステップ７では、画像抽出部２１０は取得した主オブジェクト情報と、オブジェクト相関情報、すなわち、設定した人物の主人公との相関情報に基づいて、データベース部２０２から適切な画像を抽出する。具体的には、指定された主人公の画像を中心に、オブジェクト相関情報で設定された人物の画像を抽出する。抽出した画像は、表示・ＵＩ制御部２０１により制御して、表示装置１０４に表示させる。

ステップ８では、レイアウト生成部２０５において自動でレイアウトを生成する処理を行う。

ステップ９では、レンダリングを行う。具体的には、生成したレイアウトを、レンダリング部２０６で表示用のビットマップデータとする。

ステップ１０では、レンダリング結果に基づいて、レイアウト画像の表示や印刷を行う。具体的には、ステップ９で得られたビットマップデータは表示・ＵＩ制御部２０１に送られ、結果がディスプレイに表示される。また、ビットマップデータはさらにプリントデータ生成部２０７に送られ、同部でプリンタ用コマンドデータに変換され、プリンタに送出される。

以下に各処理について詳細に説明する。

ステップ１の画像データ群の取得は、例えば、ユーザが、撮影画像が格納された撮像装置やメモリカードを情報処理装置１１５に接続し、これらから撮像画像を読み込むことにより行われる。また、内部撮像装置で撮影されて２次記憶装置に保存されていた画像を読み込むことにより、画像データ群を取得してもよい。あるいは、画像は無線ＬＡＮを介して、インターネット上に接続された外部サーバー１１４等、情報処理装置１１５以外の装置から取得をしてもよい。

次に、ステップ３のセンシング処理（画像解析処理）の説明をする。アプリケーションは、取得した画像データ群それぞれについて、各種の解析処理および解析結果のデータベース登録を行う。

ここでいうセンシング処理には、表１に示すような様々な処理が含まれる。本実施形態では、センシング処理の例として、顔検出、画像基本特徴量解析、シーン解析を挙げており、それぞれ表１に示すようなデータ型の結果を算出する。

以下、それぞれのセンシング処理について説明する。

画像の基本的な特徴量である全体の平均輝度、平均彩度は、例えば、公知の方法で求めればよいため、詳細な説明は省略する。平均輝度は、画像の各画素について、ＲＧＢ成分を公知の輝度色差成分（例えばＹＣｂＣｒ成分）に変換し（変換式省略）、Ｙ成分の平均値を求めればよい。また、平均彩度については、上記ＣｂＣｒ成分について画素毎に以下を算出し、下記Ｓの平均値を求めればよい。

また、画像内の平均色相（ＡｖｅＨ）は、画像の色合いを評価するための特徴量である。画素毎の色相は、公知のＨＩＳ変換式を用いて求めることができ、それらを画像全体で平均化することにより、ＡｖｅＨを求めることができる。

また、これらの特徴量は、画像全体で算出してもよいし、例えば、画像を所定サイズの領域に分割し、領域毎に算出してもよい。

次に、人物の顔検出処理について説明する。本実施形態で使用する人物の顔検出手法としては、様々な知の方法を用いることができる。

特開平８−６３５９７号に記載された方法の場合、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。そのマッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することができる。

特開２０００−１０５８２９号に記載された方法の場合、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出ができる。

その他の人物の顔検出手法としては、特開平８−７７３３４号、特開２００１−２１６５１５号、特開平５−１９７７９３号、特開平１１−５３５２５号、特開２０００−１３２６８８号、特開２０００−２３５６４８号、特開平１１−２５０２６７などに挙げられるような顔及び器官位置を検出する方法がある。また、特許第２５４１６８８号に記載された方法でもよく、人物の顔検出手法は、特に限定されるものではない。

人物の顔検出処理により、顔領域の特徴量を解析することができる。例えば、各入力画像について、人物顔の個数と顔毎の座標位置を取得することができる。また、画像中の顔座標位置が分かることにより、該顔領域毎に顔領域内に含まれる画素値の平均ＹＣｂＣｒ値を求めることにより、各顔領域の平均輝度及び平均色差を得ることができる。

また、画像の特徴量を用いてシーン解析処理を行うことができる。シーン解析処理は、例えば、出願人が開示している特開２０１０−２５１９９９号や特開２０１０−２７３１４４号等で開示されている方法により行うことができる。上記シーン解析の結果、風景（Ｌａｎｄｓｃａｐｅ）、夜景（Ｎｉｇｈｔｓｃａｐｅ）、人物（Ｐｏｒｔｒａｉｔ）、露出不足（Ｕｎｄｅｒｅｘｐｏｓｕｒｅ）、その他（Ｏｔｈｅｒｓ）、という撮影シーンを区別するためのＩＤを取得することができる。

なお、本実施形態では、上記のセンシング処理によりセンシング情報を取得したが、これに限定されるものではなく、その他のセンシング情報を利用したとしてもよい。

上記のようにして取得したセンシング情報は、データベース部２０２に保存する。データベースへの保存形式は、特に限定されないが、例えば、汎用的なフォーマット（例えば、ＸＭＬ：ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述し、格納すればよい。

以下、画像毎の属性情報を、図１０に示すような３つのカテゴリに分けて記述する例を示す。

１番目のＢａｓｅＩｎｆｏタグは、画像サイズや撮影時情報として、あらかじめ取得した画像ファイルに付加されている情報を格納するためのタグである。ここには、画像毎の識別子ＩＤ、画像ファイルが格納されている保存場所、画像サイズなどのほかに、画像を撮影した場所、時間、ピント位置、フラッシュの有無など、画像撮影の際に取得された情報が含まれる。

２番目のＳｅｎｓＩｎｆｏタグは、上述した画像解析処理の結果を格納するためのタグである。画像全体の平均輝度、平均彩度、平均色相、シーン解析結果などが格納され、さらに、画像中に存在する人物情報や顔位置、顔大きさ、顔個数、顔色に関する情報が格納される。

３番目のＵｓｅｒＩｎｆｏタグは、ユーザが画像毎に入力したお気に入り度を示す情報、アプリケーションを介してプリントした回数や表示した回数、ネットで送信された回数など、画像を使用した履歴情報などを格納するためのタグである。

なお、画像属性情報のデータベース格納方法については、上記に限定されるものではなく、その他どのような形式で格納してもよい。

次に、ステップ４の画像グルーピング処理の説明をする。ステップ４では、検出された顔情報を用いて、同一人物であるか否かを認識し、人物毎の画像グループを生成する処理を行う。

ここでの人物認識は、実行する方法は特に限定されず、例えば、公知の個人認識方法を用いて実行すればよい。個人認識処理は、主に、顔の中に存在する眼や口といった器官の特徴量抽出と、それらの関係性の類似度を比較することにより実行される。個人認識処理の具体的な方法は、例えば、特許第３４６９０３１号等に開示されているので、詳細な説明は省略する。

ここで、図３に戻って、ステップ４の画像グルーピング処理について説明する。

画像グルーピング処理では、画像中に含まれる顔の特徴量を算出し、類似している特徴量を持つ画像を同じ人物の顔画像としてグループ化し、同一の人物識別子（ＩＤ）とする。ここでいう顔特徴量とは、眼、口、鼻といった器官の位置や大きさ、顔の輪郭などを含む。ＩＤが決まった顔画像は、画像のＰｅｒｓｏｎタグに記載される。

上記の処理によって得られた各人物の画像グループは、表示装置１０４に表示される。本実施形態では、図４に示すようなＵＩ１５０１に、画像グループが表示される。図４において、１５０２は、当該人物における画像グループの代表顔画像を表しており、その横の領域１５０３には、該人物の名前が表示される（この場合は”ｆａｔｈｅｒ”）。また、領域１５０４は、画像グループに含まれる画像の顔画像のサムネイルが表示される。すなわち、領域１５０４には、その人物が含まれると認識された複数の顔画像が表示されている。

また、”ｆａｔｈｅｒ”とは別の人物（”ｓｏｎ”）が認識された場合、上記と同様に、ｓｏｎが含まれている顔画像グループが表示される。

各人物に関する情報は、ＵＩ１５０１上の入力部において入力することができ、例えば、第１入力部１５０５では誕生日を、第２入力部１５０６では続柄情報を入力することができる。

次に、ステップ５の主オブジェクト情報取得処理及びステップ６のオブジェクト相関関係取得処理について説明する。ステップ５の主オブジェクト情報取得処理では、画像抽出の際に最も重視すべき人物が誰であるかの情報（主人公情報）を取得する。一方、ステップ６のオブジェクト相関情報取得処理は、ステップ５で決定された主オブジェクト情報に対して、どのオブジェクトが主人公と関連性が高いかの情報を取得する。このオブジェクト相関情報は、画像抽出の際に主人公に次いで重視する人物を示す。

ここで、図５を用いて主オブジェクト情報及びオブジェクト相関情報の決定方法について説明する。図５は、主オブジェクト情報及びオブジェクト相関情報を決定するためのユーザインターフェースを示す図である。このユーザインターフェースは、例えば、表示装置１０４に表示される。

図５において、ワークエリア３４０１は、アプリケーションを実行する際に各種の情報を表示したり、ユーザに選択を促したり、プレビューしたりする際の表示エリアである。ワークエリア３４０２は、認識された人物を表示するエリアである。ワークエリア３４０３は、各種操作のためのボタンを表示するためのエリアである。

ワークエリア３４０２には、ステップ３及び４で個人認識された人物の代表画像が表示される。例えば、”ｆａｔｈｅｒ”及び”ｓｏｎ”及び”ｆｒｉｅｎｄ”が、個人認識されたとする。この場合、図５に示すように、ワークエリア３４０２の３４０３には、”ｆａｔｈｅｒ”の代表画像、３４０５には”ｓｏｎ”の代表画像、３４０６には”ｆｒｉｅｎｄ”の代表画像が表示される。また、ワークエリア３４０２には、各人物毎にそれぞれ、主オブジェクトおよびオブジェクト相関情報を設定するためのメニューボタン３４０７、３４０８、３４０９が付いている。

ユーザはメニューボタンを操作し、主オブジェクト及びオブジェクト相関情報を設定することができる。例えば、”ｓｏｎ”を最も重視する人物として、”ｍａｉｎ”とし、”ｆａｔｈｅｒ”を主オブジェクトの次に重視すべき人物であるとし、”ｓｕｂ”とする。このように設定すると、主オブジェクト情報として、”ｓｏｎ”が設定され、オブジェクト相関情報として”ｆａｔｈｅｒ”が設定される。なお、”ｆａｔｈｅｒ”の代わりに”ｆｒｉｅｎｄ”を”ｓｕｂ”とした場合は、主人公に次いで重視すべき人物として”ｆｒｉｅｎｄ”が設定される。

本実施形態では、”ｍａｉｎ”オブジェクトと”ｓｕｂ”オブジェクトをそれぞれ１つ設定できるようにしたが、これに限定されず、それぞれ複数設定できるようにしてもよい。

また、主オブジェクト情報及びオブジェクト相関情報の設定方法は、上述した方法に限定されるものではない。例えば、記憶装置に予め記録されている主オブジェクト情報やオブジェクト相関情報に基づいて設定してもよい。また、オブジェクト相関情報は、人物ＩＤごとに、他の人物ＩＤとの相関度（親しい順）の情報であってもよいし「家族」、「学校」、「会社」などのグループ分け情報でもよい。

ステップ７では、取得した主オブジェクト情報と、オブジェクト相関情報に基づいて、適切な画像が抽出される。具体的には、指定された主人公の画像を中心に、主人公と関連が深いとされる人物の画像を抽出し、主人公との関連が浅いとされる人物の画像は抽出しない。抽出した画像は、表示・ＵＩ制御部２０１により、表示装置１０４に表示される。

次に、ステップ８のレイアウト生成処理について説明する。本実施形態では、予め用意した様々なレイアウトテンプレートを用いてレイアウト生成処理を行う。レイアウトテンプレートとは、レイアウト画像上に、複数の画像配置枠が設けられたものである。本実施形態で用いるレイアウトテンプレートは、図６に示すように、レイアウトする用紙サイズ上に、複数の画像配置枠１７０２、１７０３、１７０４が設けられたものとした。以下、この画像配置枠は、スロットともいう。

各レイアウトテンプレートには、基本情報として、ページサイズ（例えば、“Ａ４”）やページの解像度（例えば、“３００ｄｐｉ”）等が設定されている。また、各スロットには、位置情報、形情報（例えば、“矩形”）が設定される。レイアウトテンプレートは、例えば、本実施形態を実行するためのソフトウェアが情報処理装置１１５にインストールされた時点で予め２次記憶装置１０３に保存されたものを取得すればよい。また、ＩＦ１０７や無線ＬＡＮ１０９を介して接続されたインターネット上に存在する外部サーバー１１４から、テンプレート群を取得してもよい。

レイアウトの作成には、作成するレイアウトのテーマ及びテンプレートの決定情報、主人公情報、主人公との相関情報、レイアウト生成に用いる画像群の選定情報の組み合わせなどが使われる。レイアウトのテーマとは、レイアウトの概要を決定するものであり、成長記録、結婚式、旅行、卒業式などが挙げられる。なお、本実施形態では、レイアウトのテーマに応じて、適切なレイアウトテンプレートが１以上用意されている。これらの情報を基に、画像データ群から使用する画像データを選定し、配置してレイアウトを作成する。

レイアウトの作成方法は、特に限定されないが、例えば、スロットごとにどのような画像特性の画像を配置するかをあらかじめ決めておき、決められた画像特性に合致する画像を選択して配置する方法が挙げられる。ここで、画像特性とは、例えば、写っている特定人物、人物数、画像の明るさなど前述の解析処理で得られた情報や、撮影時間などの撮影情報、プリント頻度などの利用情報などである。

例えば、スロット１７０２には、「主人公画像で、画像が明るく、中心に顔のあるもの」と指定し、スロット１７０３には、「主人公と主人公に関連の高い人物の画像」と指定し、スロット１７０４には「風景」と指定する。そして、主人公を”ｓｏｎ”と設定し、主人公に関連の高い人物を”ｆａｔｈｅｒ”と設定する。これにより、レイアウト生成処理では、各スロットに条件に合致する画像を選択して配置する。具体的には、スロット１７０２には”ｓｏｎ”の画像、スロット１７０３には”ｓｏｎ”および”ｆａｔｈｅｒ”が一緒に写っている画像、スロット１７０４には”ｓｏｎ”も”ｆａｔｈｅｒ”も登場しない風景画像が配置される。

また、レイアウトの作成方法はこれに限定されず、例えば、抽出した画像を配置したたくさんのレイアウトを作成し、それを一定の関数に従って評価し、上位から決定する方法が挙げられる。評価は、例えば、画像特性の他に、スロットとの形状の合致度、配置のバランス、テーマに沿っているか等の複数の尺度で総合評価すればよい。

レイアウトの作成や評価の際には、主人公の属性情報を使うと更に良好である。主人公の属性情報を用いることにより、主人公の顔をアップとするようにトリミングしたり、主人公の顔が適正な明るさの画像を選んだりすることができる。また、主人公および関連の高い人物が同時に写っている画像を要求された時には、撮影情報を参照し、ピント位置が両者の位置に合致している画像を選択するなど、様々な情報の組み合わせでより良いレイアウトが作成できる。

作成したレイアウトは、情報処理装置１１５上で動作するＯＳの描画関数を用いてレンダリングし、ＵＩに表示する。本実施形態では、図７の２９０２のように表示する。図７には、作成したレイアウトを表示する領域２９０２と、各種実行ボタンであるＰｒｅｖｉｏｕｓボタン２９０３、Ｎｅｘｔボタン２９０４、Ｐｒｉｎｔボタン２９０５を備えている。

ユーザがＮｅｘｔボタン２９０４を押下することにより、別のレイアウトを提示することができる。すなわち、Ｎｅｘｔボタン２９０４を押下することにより、ユーザは様々なバリエーションのレイアウトを閲覧することができる。また、Ｐｒｅｖｉｏｕｓボタン２９０３を押下することにより、前に表示したレイアウトを再表示することもできる。さらに、表示されたレイアウトが気に入った場合には、Ｐｒｉｎｔボタン２９０５を押下することで、情報処理装置１１５に接続されたプリンタ１１２からレイアウト結果をプリントアウトすることができる。

本実施形態では、上述したように、主オブジェクト情報及びオブジェクト相関情報に基づいて、画像を抽出することにより、主人公だけでなく、主人公に関連する他の１以上の人物を中心とした画像を配置したレイアウト画像を得ることができる。

すなわち、ターゲットとする人物（主人公）だけでなく、ターゲットとする人物と関係のある人物も選択して、所望のレイアウト画像を作成することができる。この画像処理方法は、例えば、テーマの主人公に関係のある人物にプレゼントするレイアウト画像を得たい場合などに、特に有効である。

ここで、本実施形態の効果について、結婚式を例に挙げて簡単に説明する。結婚式など多数の画像を取得するシーンでは、主役である新郎新婦の他に、親族や来客など、多数の人物が登場する。このとき、意図して写さなくても、神父や会場の係員などあまり関係ない人物が一緒に写ってしまう場合も多い。しかしながら、画像の顔認識処理を行うと、会場係員など小さく写っている人物でも登場人物としてピックアップされる。

このような結婚式のレイアウト画像を得る際に、通常のレイアウト画像の生成方法によりレイアウト画像を生成すると、意図しない人物がレイアウト画像に配置される虞がある。一方、特許文献１に記載された方法において、ターゲットとなる人物（主人公）として、「新婦」を選択し、画像を抽出すると、新婦を中心としたレイアウト画像しか生成することができない。

これに対し、本実施形態では、例えば、新婦の友人や新郎の親族にプレゼントするといった目的別のレイアウト画像等を容易に得ることができる。例えば、主人公として「新婦」を選択し、主人公と関係のある人物として「友人」を選択すれば、新婦と新婦の友人を中心としたレイアウト画像を容易に作成することができる。なお、このとき、友人として２以上の人物を設定することができる。また、主人公を「新郎」とし、主人公と関係のある人物として「祖母」を選択した場合は、新郎とその祖母を中心としたレイアウト画像を容易に作成することができる。同一の画像群から、主人公、作成目的、閲覧者が違う等の別々のレイアウトを作成するときには、ステップ５の主オブジェクト情報取得処理から処理を繰り返すようにすればよい。これにより、ユーザは主人公や関連ある人物を決定するのみで、適切なレイアウトを得ることができる。

（実施形態２）
本実施形態では、オブジェクト相関情報の設定方法が異なる以外は、実施形態１と同様であるので、重複する説明は省略する。本実施形態では、あらかじめ登録された人物ごとの関連性の情報を、オブジェクト相関情報とする。

図８は、オブジェクト相関情報を説明する図である。図８（ａ）は、本実施形態の結婚式で撮影した複数の写真から検出・認識された人物を示す図である。図８（ａ）では、複数の写真から１２人の人物が検出・認識されている。そして、１２人の人物には、人物ＩＤ（１，２，・・・１２）…が振られ、名称（Ａ，Ｂ，Ｃ・・・）と、続柄（新婦、新郎、Ａ母…）が入力されている。さらに、これらの人物には、関連ある人物同士をグルーピングするためのファミリ情報が付加されている。ＩＤ＝１のＡさんは、Ａ家族３５０１、Ａ学校３５０２、ＡＢ会社３５０３に所属していると設定されている。そして、ＩＤ＝２のＢさんは、Ｂ家族３５０４、ＡＢ会社３５０３に所属としていると設定されている。そして、ＩＤ＝３のＣさんは、Ａ家族３５０１に所属等のように、全人物について設定されている。なお、この場合、ＫさんやＬさんのように、所属ファミリ＝なしもある。

上述した１２人を関連ある人物同士でグルーピングすると、図８（ｂ）に示すように、いくつかのファミリ（３５０１〜３５０４）ができる。

ファミリ情報は、続柄や名称、人物プロファイルなどユーザが入力する情報から自動的に決定することができる。また、ユーザがグループ分けし、手動で設定することもできる。ファミリ情報の設定方法は、上述した方法に限定されず、例えば、画像の解析情報、撮影情報、利用情報等のユーザが意図的に入力しない画像の属性情報から決定するようにしてもよい。

画像の解析情報としては、例えば、画像の輝度、彩度、色相などの画像基本特徴量解析結果、画像中に存在する人物情報、顔の個数、位置、顔大きさ、顔色などの顔解析結果、シーン解析結果が挙げられる。

撮影情報とは、画像を撮影した場所、時間、画像サイズ、ピント位置、フラッシュの有無など、画像撮影の際に取得できる情報である。

利用情報とは、画像をプリントした回数、画像を表示した回数、ネットで送信された回数など、画像を使用した履歴情報である。

これらの情報から、一緒に写っている／一緒に写っていない、同一焦点／別焦点、近い時間、同じカメラ、同一イベント、一緒にプリントされた等の各種の基準に基づいて、ファミリに分類することができる。例えば、頻繁に一緒に写っていれば同一ファミリとし、一緒に写っていなければ、別ファミリと分類する。さらに、一緒に写っていても、別焦点である場合には、たまたま同じフレームに写り込んだだけと解釈し、別ファミリと分類する。また、例えば、長期間に及ぶ画像データの蓄積があれば、近い時間に登場する人物同士は同一ファミリであると決定する。また、上述した様々な情報の組み合わせに基づいて、ファミリを決定するようにしてもよい。

ここで、Ａさんの祖父母のためのレイアウトと、Ｂさんの祖父母のためのレイアウトをそれぞれ作成する場合を例に挙げて、本実施形態のオブジェクト相関情報の決定方法について、説明する。

図８に示す関係の場合、Ａさん祖父母のためのレイアウトを作成する際には、主オブジェクト情報としてＡさんである「人物ＩＤ＝１」を設定する。この主オブジェクトの決定に伴い、その主オブジェクトのファミリ情報からオブジェクト相関情報として、Ａさんの所属するファミリである「Ａ家族、Ａ学校、ＡＢ会社」を決定する。一方、Ｂさん祖父母のためのレイアウトを作成する際には、主オブジェクト情報としてＢさんである「人物ＩＤ＝２」を設定する。この場合も同様に、その主オブジェクトのファミリ情報からオブジェクト相関情報として、Ｂさんの所属するファミリである「Ｂ家族、ＡＢ会社」が決定する。

本実施形態のように、オブジェクトの相関情報が予め決定されていると、主オブジェクト情報を切り替えるだけで、その主オブジェクトと関連のあるオブジェクト相関情報を決定することができる。したがって、ユーザがＵＩ上でオブジェクト相関情報を決定することなく、オブジェクト相関情報を決定することができる。これにより、画像抽出部２１０において画像抽出を行う際にユーザごとの目的に合致する適切な画像が抽出できる。

オブジェクト相関情報は、上記例のように、人物を分類したファミリを持つ方式から決定されるものに限定されるものではない。例えば、各人物が、それぞれどの人物と相関があるかがわかるようにしたものに基づいて決定してもよい。具体的には、図９（ａ）及び図９（ｂ）に示すように、それぞれのＩＤを持つ個別の人物が、どの人物と相関があるかという情報に基づいて決定してもよい。図９（ａ）では、ＩＤ＝１のＡさんは、ＩＤ＝２，３，４，５，６，９の人物と相関があり、ＩＤ＝２のＢさんは、ＩＤ＝１，７，８，１０の人物と相関があり、ＩＤ＝３のＣさんはＩＤ＝１，４，５の人物と相関があり…と全人物について決まる。この場合、ＫさんやＬさんのように、どの人物とも相関のない人物もいる。オブジェクト相関情報は、人物ＩＤごとに設定される相関ＩＤに基づいて決定する。

オブジェクト相関情報をユーザの入力情報から自動的に決定してもよいし、ユーザが手動で決定してもよいし、画像の解析情報、撮影情報、利用情報等のユーザが意図的に入力しない情報から自動的に決定してもよいのは、図８で説明した例と同様である。

図９に示すオブジェクト相関情報を持つ場合のレイアウト作成を例に挙げて、オブジェクト相関情報の決定方法について説明する。

Ａさん祖父母のためのレイアウトには、主オブジェクト情報としてＡさんである「人物ＩＤ＝１」を設定した場合、オブジェクト相関情報は、Ａさんの相関ＩＤである「２，３，４，５，６，９」と決定すればよい。一方、Ｂさん祖父母のためのレイアウトには、主オブジェクト情報としてＢさんである「人物ＩＤ＝２」を設定した場合、オブジェクト相関情報は、Ｂさんの相関ＩＤである「１，７，８，１０」と決定すればよい。

本実施形態では、登録された人物ごとの関連性の情報を予め保持し、それに基づいて、主オブジェクトと相関のあるオブジェクト相関情報を決定するものとした。これにより、主オブジェクト情報を切り替える度に、すなわち、主オブジェクトを変更する度に、オブジェクト相関情報を容易に決定することができる。これにより、容易に関連のある画像を得ることができる。

また、本実施形態では、オブジェクト相関情報として、主オブジェクトの所属するファミリすべてを選択したり、主オブジェクトと相関があるとされた人物をすべて選択したりことができるものとした。これにより、容易に相関がある人物を全て抽出することができる。

なお、人物毎に画像を振り分けるのは大変な手間がかかるが、本実施形態のように、主オブジェクト情報とオブジェクト相関情報に基づいて人物を分類するのは手間がかからず、簡単に行える。したがって、オブジェクト相関情報を設定することにより、容易に所望の画像を抽出することができる。

（実施形態３）
本実施形態では、オブジェクト相関情報の設定方法が異なる以外は、実施形態１と同様であるので、重複する説明は省略する。なお、本実施形態では、オブジェクト相関情報の設定について、実施形態２と比較して、主人公と相関のある人物を更に限定したものである。図８に示す関係の場合を例に挙げて説明する。

図８（ａ）に示すように、Ａさんは、ファミリとしては、Ａ家族、Ａ学校、ＡＢ会社に属している。レイアウト作成の際に、主人公をＡさん（主オブジェクト情報：ＩＤ＝１）と決めたとしても、レイアウト作成目的や閲覧者によっては、適切な画像は異なる。例えば、Ａさんの祖母用にレイアウト画像を作成する場合は、オブジェクト相関情報として、「Ａ家族ファミリ３５０１」が適していると考えられる。したがって、オブジェクト相関情報は、「Ａ家族ファミリ３５０１」を設定する。これに対し、Ａさんの会社の社内報用のレイアウト画像を作成する場合は、社外の人物が写っている写真を使うのは好ましくなく、オブジェクト相関情報として、「ＡＢ会社３５０３」が適していると考えられる。したがって、オブジェクト相関情報は「ＡＢ会社３５０３」と設定する。

上記説明のようにオブジェクト相関情報が設定されると、Ａさんの祖母用レイアウト画像を作成する場合には、主人公Ａさん（ＩＤ＝１）の他に、Ａ家族のメンバーであるＩＤ＝３，４，５の人物の画像が抽出される。一方、Ａさんの会社の社内報用のレイアウト画像を作成する場合には、主人公Ａさん（ＩＤ＝１）の他に、ＡＢ会社のメンバーであるＩＤ＝２，９，１０の人物の写真が抽出される。

上記例のように、主オブジェクトが所属する複数のファミリの中から、使用するファミリを限定することにより、より好適な画像抽出を行うことができる。

ここで、どのファミリをオブジェクト相関情報とするかはユーザが設定することができる。図９に示す関係の場合でも、相関する人物からいずれかを選択することにより、より好適な画像抽出が行える。例えば、Ａさん祖母用にレイアウト画像を作成する場合には、オブジェクト相関情報として、「ＩＤ＝２，３，４，５」が適していると考えられるので、これらを設定する。Ａさん会社社内報用にレイアウト画像を作成する場合には、オブジェクト相関情報として、「ＩＤ＝２，９」が適していると考えられるので、これらを設定する。オブジェクト相関情報として、どの人物を選択するかはユーザが設定することができる。

本実施形態では、実施形態２と比較して、ターゲットとなる人物（主人公）と相関のある人物として、より適切な人物を選択し、オブジェクト相関情報とすることができる。

（他の実施形態）
以上、本発明の各実施形態を説明したが、本発明の基本的構成は上述したものに限定されるものではない。以上説明した実施形態は、本発明の効果を得るための一実施形態であり、類似の別手法を用いたり、異なるパラメータを用いたとしても、本発明と同等の効果が得られる場合は、本発明の範疇に含まれる。

上述した実施形態では、主オブジェクト情報は、上記例ではユーザが意図的に決定したが、画像の解析情報、撮影情報、利用情報等のユーザが意図的に入力しない情報から自動で決定してもよい。これらの情報から、写っている画像数が最も多い、写っている総面積が最も多い、顔のアップの数が多い、撮影時間の分散が大きい（まんべんなく登場している）、登録されたイベントに含まれる画像に登場する、たくさんプリントされた等を基準として、主オブジェクト情報を決定してよい。

また、レイアウト作成の際に使う主オブジェクト情報及びオブジェクト相関情報は、レイアウトの情報により決定してもよい。レイアウトの情報とは、例えば、レイアウトのテーマ、レイアウト作成タイミング、レイアウト対象の期間である。レイアウト対象の期間とは、旅行やイベントなど、抽出する画像の撮影タイミングを限定するものである。例えば、アプリケーションが、ユーザの子供の１歳の誕生日が近付いてきたと判断し、成長記録をテーマとしてレイアウト作成をユーザに提案する場合には、主オブジェクト情報として「子供」、オブジェクト相関情報として、「家族」と設定すればよい。あるいは、テーマが「結婚式」と設定された場合、人物中で「新郎」や「新婦」、「花嫁」、「花婿」などの名称がつけられた人物を主オブジェクトと設定することができる。

なお、上述の例では、主オブジェクト情報及びオブジェクト相関情報に基づいてレイアウトを作成する例を示したが、主オブジェクト情報及びオブジェクト相関情報を図４の人物表示画面に反映させてもよい。主オブジェクト情報及びオブジェクト相関情報を表示画面に反映させることにより、主人公や主人公と関連の深い人物のみが表示されるため、ユーザがその関係をより見やすく、人物ごとに分類された画像の確認が容易となる。

なお、主オブジェクトは単一であるとは限らず、新郎（ＩＤ＝２）と新婦（ＩＤ＝１）が共に主人公であってよい。

本実施形態では、各ファミリは並列に扱うものとしたが、複数のファミリで、より主人公に近い順に優先順位を付けてもよい。また、各ファミリに属する人物を並列に扱うものとしたが、ファミリ内で人物ごとにも優先順位を付けてもよい。例えば、Ａ家族の優先順位は、Ａ父（ＩＤ＝４）及びＡ母（ＩＤ＝３）の優先順位を高くし、Ａおば（ＩＤ＝５）の優先順位を下げるようにしてもよい。また、ファミリや人物に優先順位を付ける場合は、優先順位に応じて重みづけをしてもよい。上述したように、優先順位や重みづけを行った場合は、画像抽出やレイアウトの際にこれらを考慮するようにすればよい。例えば、画像抽出の際に優先順位が高い人物や重みづけの高い人物の画像を多く抽出したり、レイアウトの際に優先順位が高い人物や重みづけの高い人物の画像を中央付近や大きくて目立つスロットに配置したりするとよい。

また、上述した実施形態では、オブジェクトとして人物を例に挙げて説明したが、オブジェクトは人物とは限らない。犬や猫などのペットの認識処理を行ってこれらを認識することにより、オブジェクトとしてペットを設定することができる。また、エッジ検出などの形を認識処理によれば、建物や小物なども認識できるため、オブジェクトとして、建物や小物などを設定することができる。オブジェクトに登録できれば、オブジェクト相関情報も設定することができる。例えば、オブジェクト相関情報として、主人公のペットである犬を設定すれば、主人公がペットの犬と写っている画像を抽出することができる。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、一部または全部をハードウェアによって実現するようにしてもよい。

２０８ 主オブジェクト情報取得部
２０９ オブジェクト相関情報取得部
２１０ 画像抽出部

Claims (6)

1. レイアウト画像を生成する際の主オブジェクトを特定する主オブジェクト情報を取得する主オブジェクト取得手段と、
   前記主オブジェクトと相関のあるオブジェクトを特定するオブジェクト相関情報を取得するオブジェクト相関情報取得手段と、
   前記主オブジェクト取得手段により取得した主オブジェクト情報及び前記オブジェクト相関情報取得手段により取得したオブジェクト相関情報に基づいて、複数の画像の中から主オブジェクトを含む画像及び主オブジェクトと相関のあるオブジェクトを含む画像を少なくとも抽出する画像抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記オブジェクト相関情報は、入力手段を介して入力された情報に基づいて設定されたものであることを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクト相関情報は、画像の属性情報に基づいて設定されたものであることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像抽出手段により抽出された画像を配置してレイアウト画像を生成するレイアウト画像生成手段をさらに備えることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. レイアウト画像を生成する際の主オブジェクトを特定する主オブジェクト情報を取得し、
   前記主オブジェクトと相関のあるオブジェクトを特定するオブジェクト相関情報を取得し、
   前記主オブジェクト取得手段により取得した主オブジェクト情報及び前記オブジェクト相関情報取得手段により取得したオブジェクト相関情報に基づいて、複数の画像の中から主オブジェクトを含む画像及び主オブジェクトと相関のあるオブジェクトを含む画像を少なくとも抽出することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータにより実行することを特徴とするプログラム。
   

Images