JP5953285B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像の中から、合成画像の作成に使用する画像を決定する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

フォトブック、シャッフルプリント、ポストカード等の合成画像を作成する従来の画像処理装置では、例えば、デジタルカメラで撮影された元画像（オリジナルの非加工画像）を使用して合成画像を作成することが想定されている。
これに対し、近年では、例えば、ＳＮＳ（ソーシャルネットワークシステム）上にアップロードされた画像等を使用して合成画像を作成することが行われている。

ところが、ＳＮＳ上にアップロードされた画像の中には、元画像の他に、元画像が加工処理された加工画像が含まれている場合が多い。

ここで、加工画像には、図６（Ａ）に示すように、図５に示す元画像にフレーム等の装飾が合成されたもの、図６（Ｂ）に示すように、図５に示す元画像を含む複数の元画像が合成されたもの、図６（Ｃ）に示すように、図５に示す元画像がセピアやモノクロ等に色補正されたもの等、ユーザの意思により、元画像に対して様々な加工処理が施されたもの（ユーザ加工画像）が含まれる。
また、加工画像には、ＳＮＳ上に画像をアップロードした時に、ＳＮＳ側で画像のサイズが縮小されたもの、Ｅｘｉｆ（Exchangeable Image File Format）情報等の付帯情報（メタ情報）が削除されたもの等も含まれる。

なお、ＳＮＳ上にアップロードされた画像に限らず、通常のプリント注文においても、加工画像や付帯情報がない画像が使用されることはある。

加工画像は、前述のように、元画像に対して様々な加工処理が施されたものであるため、例えば、加工画像をフォトブックに使用した場合、フォトブックのデザインと合わずに商品の価値が損なわれる場合がある。
また、画像の付帯情報が欠落している場合、付帯情報に基づいて、撮影日時の順序で画像を分類することなどができないため、ユーザの望むページやページ内の所望の位置に画像を自動レイアウトすることができず、フォトブックの価値が損なわれる場合がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１および２がある。

特許文献１には、複数の画像に対する評価を入力し、入力された評価に基づいて複数の画像の中から所定数の画像を抽出し、抽出された画像をフォトアルバムの各ページに配置することによりフォトアルバムを作成する画像抽出方法が記載されている。
特許文献２には、選別キーとして、選別者の「お気に入り度」を画像ごとに付加しておき、「お気に入り度」に基づいて、所定の枚数の画像を抽出して配置して、フォトアルバムを作成する画像処理方法が記載されている。

特開２００４−２４６８６８号公報 特開２００６−１２００７６号公報

本発明の目的は、前記従来技術の問題点を解消し、合成画像の作成に適していない加工画像を極力使用することなく、合成画像の作成に使用する画像を決定することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、合成画像の作成に使用する候補画像を取得する候補画像取得部と、
候補画像が、加工処理されていない元画像なのか、元画像を加工処理して作成された加工画像なのかを判定する加工画像判定部と、
加工画像判定部による判定結果に基づいて、候補画像に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かを判定する画像枚数判定部と、
元画像の枚数が閾値以上であると判定された場合に、元画像のみを合成画像の作成に使用する画像に決定し、元画像の枚数が閾値未満であると判定された場合に、元画像および加工画像を合成画像の作成に使用する画像に決定する、もしくは、合成画像の作成を中止することに決定する使用画像決定部と、
加工画像における付帯情報の有無、候補画像内の元画像における登場回数が他の人物よりも多い人物を重要人物として、加工画像における重要人物の有無、加工画像を再加工処理して作成された再加工画像の有無、および、加工画像が加工処理される前の元画像の有無の少なくとも１つに応じて、候補画像の優先順位を決定する優先順位決定部と、
使用画像決定部により決定された画像を使用して合成画像を作成する合成画像作成部とを備え、
合成画像作成部は、優先順位が高い順に、元画像および加工画像を使用して合成画像を作成するものである画像処理装置を提供するものである。

また、優先順位決定部は、付帯情報がある加工画像の優先順位が、付帯情報がない加工画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、候補画像に含まれる人物の顔認証を行って人物を特定する顔認証部を備え、
優先順位決定部は、顔認証部による人物の特定に基づいて、複数の元画像に含まれている同一人物を含む加工画像の優先順位が、複数の元画像に含まれている同一人物を含んでいない加工画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、候補画像に含まれる人物の顔認証を行って人物を特定する顔認証部を備え、
優先順位決定部は、顔認証部による人物の特定に基づいて、ユーザにより加工処理された加工画像に含まれる人物を含む元画像の優先順位が、ユーザにより加工処理された加工画像に含まれる人物を含まない元画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、優先順位決定部は、ユーザにより加工処理された複数の加工画像に含まれる同一人物を含む元画像の優先順位が、ユーザにより加工処理された複数の加工画像に含まれる同一人物を含んでいない元画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、加工画像の加工度を算出する加工度算出部を備え、
優先順位決定部は、さらに、加工度が低くなるに従って、加工画像の優先順位が高くなるように決定するものであることが好ましい。

また、加工画像に対して再加工処理を行って、元画像の領域のみを含む再加工画像を作成する再加工処理部を備え、
優先順位決定部は、再加工画像の優先順位が、加工画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、候補画像の中に、ユーザにより加工処理された加工画像が加工処理される前の元画像があるか否かを判定する元画像判定部を備え、
優先順位決定部は、元画像判定部による判定結果に基づいて、ユーザにより加工処理された加工画像に含まれる元画像の優先順位が、ユーザにより加工処理された加工画像に含まれていない元画像の優先順位よりも高くなるように決定するものであることが好ましい。

また、優先順位決定部は、複数の加工画像に含まれる元画像の優先順位が、複数の加工画像に含まれていない元画像の優先順位よりも高くなるように決定するものであることが好ましい。
また、本発明は、合成画像の作成に使用する候補画像を取得する候補画像取得部と、
候補画像の付帯情報の有無、候補画像における画像の境界、または、候補画像の彩度の値に応じて、候補画像が、加工処理されていない元画像なのか、元画像を加工処理して作成された加工画像なのかを判定する加工画像判定部と、
加工画像判定部による判定結果に基づいて、候補画像に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かを判定する画像枚数判定部と、
元画像の枚数が閾値以上であると判定された場合に、元画像のみを合成画像の作成に使用する画像に決定し、元画像の枚数が閾値未満であると判定された場合に、元画像および加工画像を合成画像の作成に使用する画像に決定する、もしくは、合成画像の作成を中止することに決定する使用画像決定部とを備える画像処理装置を提供する。

また、加工画像判定部は、候補画像の付帯情報の有無を確認し、付帯情報がない候補画像を加工画像であると判定するものであることが好ましい。

また、加工画像判定部は、候補画像における画像の境界を検出し、周辺部に沿って画像の境界がある候補画像を、元画像にフレームが合成された加工画像であると判定するものであることが好ましい。

また、加工画像判定部は、候補画像における画像の境界を検出し、周辺部から中央部へ向かう画像の境界がある、および、同一人物の顔が２以上存在する、の少なくとも一方に該当する候補画像を、複数の元画像が合成された加工画像であると判定するものであることが好ましい。

また、加工画像判定部は、候補画像の彩度の値を検出し、色補正されていない標準画像と比べて彩度の値が偏っている候補画像を、元画像が色補正された加工画像であると判定するものであることが好ましい。

また、合成画像作成部は、加工画像を、元画像よりも小さいサイズに縮小して使用して合成画像を作成するものであることが好ましい。

また、合成画像は、フォトブックであり、
合成画像作成部は、付帯情報がない候補画像を、フォトブックの同じページにまとめて配置するものであることが好ましい。

また、合成画像は、フォトブックであり、
合成画像作成部は、１枚の加工画像を、フォトブックの、画像が１枚だけ配置されるページに配置するものであることが好ましい。

また、候補画像に含まれる人物の顔領域を検出する顔領域検出部を備え、
再加工処理部は、顔領域検出部による顔領域の検出結果に基づいて、再加工画像として、元画像にフレームが合成された加工画像、もしくは、複数の元画像が合成された加工画像に含まれる人物の顔を含む領域の画像を切り出すものであり、
合成画像作成部は、加工画像から切り出された人物の顔を含む領域の再加工画像を使用して合成画像を作成するものであることが好ましい。

また、再加工処理部は、再加工画像として、元画像にフレームが合成された加工画像から、フレーム以外の領域の画像を切り出すものであり、
合成画像作成部は、加工画像から切り出されたフレーム以外の領域の再加工画像を使用して合成画像を作成するものであることが好ましい。

また、再加工処理部は、再加工画像として、複数の元画像が合成された加工画像から、各々の元画像を切り出すものであり、
合成画像作成部は、加工画像から切り出された各々の元画像の再加工画像を使用して合成画像を作成するものであることが好ましい。

また、合成画像が加工画像を使用して作成される場合に、合成画像が加工画像を使用して作成されることを表す警告をユーザに発する警告発生部を備えることが好ましい。

また、警告発生部は、合成画像が加工画像を使用して作成される前に、加工画像を使用して合成画像を作成するか否かを確認するための警告をユーザに発するものであることが好ましい。

また、警告発生部は、合成画像が加工画像を使用して作成された後に、合成画像が加工画像を使用して作成されたことを表す警告をユーザに発するものであることが好ましい。
さらに、ユーザが所有する複数の画像を取得する画像取得部と、
複数の画像の中から、候補画像を選択する候補画像選択部とを備え、
候補画像取得部は、候補画像選択部により選択された候補画像を取得するものであることが好ましい。
さらに、使用画像決定部により決定された画像を表示する表示部を備えることが好ましい。

また、本発明は、候補画像取得部が、合成画像の作成に使用する候補画像を取得するステップと、
候補画像が、加工処理されていない元画像なのか、元画像を加工処理して作成された加工画像なのかを、加工画像判定部が判定するステップと、
加工画像判定部による判定結果に基づいて、候補画像に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かを、画像枚数判定部が判定するステップと、
使用画像決定部が、元画像の枚数が閾値以上であると判定された場合に、元画像のみを合成画像の作成に使用する画像に決定し、元画像の枚数が閾値未満であると判定された場合に、元画像および加工画像を合成画像の作成に使用する画像に決定する、もしくは、合成画像の作成を中止することに決定するステップと、
優先順位決定部が、加工画像における付帯情報の有無、候補画像内の元画像における登場回数が他の人物よりも多い人物を重要人物として、加工画像における重要人物の有無、加工画像を再加工処理して作成された再加工画像の有無、および、加工画像が加工処理される前の元画像の有無の少なくとも１つに応じて、候補画像の優先順位を決定するステップと、
合成画像作成部が、使用画像決定部により決定された画像を使用して合成画像を作成するステップとを含み、
合成画像作成部は、優先順位が高い順に、元画像および加工画像を使用して合成画像を作成する画像処理方法を提供する。
また、本発明は、候補画像取得部が、合成画像の作成に使用する候補画像を取得するステップと、
加工画像判定部が、候補画像の付帯情報の有無、候補画像における画像の境界、または、候補画像の彩度の値に応じて、候補画像が、加工処理されていない元画像なのか、元画像を加工処理して作成された加工画像なのかを判定するステップと、
加工画像判定部による判定結果に基づいて、候補画像に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かを、画像枚数判定部が判定するステップと、
使用画像決定部が、元画像の枚数が閾値以上であると判定された場合に、元画像のみを合成画像の作成に使用する画像に決定し、元画像の枚数が閾値未満であると判定された場合に、元画像および加工画像を合成画像の作成に使用する画像に決定する、もしくは、合成画像の作成を中止することに決定するステップとを含む画像処理方法を提供する。

ここで、さらに、画像取得部が、ユーザが所有する複数の画像を取得するステップと、
候補画像選択部が、複数の画像の中から、候補画像を選択するステップとを含み、
候補画像取得部は、候補画像選択部により選択された候補画像を取得することが好ましい。

さらに、表示部が、使用画像決定部により決定された画像を表示するステップを含むことが好ましい。

また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記のいずれかに記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、候補画像の中に含まれる元画像の枚数が、あらかじめ設定された閾値以上の場合に、元画像のみが合成画像の作成に使用される画像に決定され、元画像の枚数が閾値未満の場合に限り、元画像および加工画像の両方が合成画像の作成に使用される画像に決定される。
これにより、本発明によれば、合成画像の作成に適していない加工画像を極力使用することなく、合成画像の作成に使用する画像を決定し、決定した画像を使用して合成画像を作成することができる。
また、候補画像の優先順位を決定することにより、優先順位が高い順に、合成画像の作成に適した候補画像を使用して合成画像を作成することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 （Ａ）は、ユーザ加工画像が加工処理される前の元画像、（Ｂ）は、元画像に含まれる一人の人物の顔領域の画像を表す一例の概念図である。 （Ａ）は、３枚の元画像を合成して作成されたユーザ加工画像、（Ｂ）は、ユーザ加工画像に含まれる５人の人物の顔領域の画像を表す一例の概念図である。 元画像を表す一例の概念図である。 （Ａ），（Ｂ）および（Ｃ）は、図５に示す元画像を加工処理して作成されたユーザ加工画像の一例を表す概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、複数の画像を使用して、フォトブック、シャッフルプリント、ポストカード等の合成画像を作成するものであり、画像取得部１２と、指示取得部１４と、候補画像選択部１６と、加工画像判定部１８と、画像枚数判定部２０と、合成画像作成部２２と、優先順位決定部２４と、顔認証部２６と、加工度算出部２８と、再加工処理部３０と、元画像判定部３２と、顔領域検出部３４と、警告発生部３６とを備えている。

画像取得部１２は、例えば、インターネットを経由して、あるいは、メモリカード等から、ユーザが所有する複数の画像を取得するものである。
画像処理装置１０は、画像取得部１２により取得された複数の画像を記憶する画像記憶部を備えていてもよい。

指示取得部１４は、ユーザが入力した各種の指示を取得するものである。
ユーザの指示は、例えば、画像処理装置１０が備える、図示していない指示入力部を介して、あるいは、ユーザが所有するＰＣ（パーソナルコンピュータ）、タブレット、携帯端末等の端末装置が備える、キーボード、マウス、タッチパネル等の指示入力部を介して入力され、指示取得部１４により取得される。

候補画像選択部１６は、画像取得部１２により取得された複数の画像の中から、合成画像の作成に使用する候補画像を選択するものである。
本実施形態のように、ユーザが、自分が所有する複数の画像の中から、合成画像の作成に使用する画像群を指定する指示を入力した場合、候補画像選択部１６は、指示取得部１４により取得された指示に従って、複数の画像の中から、ユーザが指定した画像群を候補画像として選択する。
あるいは、候補画像選択部１６は、例えば、ユーザがＳＮＳ上にアップロードした画像群から、あらかじめ設定された基準（アルバム内の画像、一定期間内の画像等）に基づいて、候補画像を自動的に決定することもできる。

なお、画像取得部１２および候補画像選択部１６を備えることは必須ではなく、例えば、画像取得部１２および候補画像選択部１６の代わりに、合成画像の作成に使用する候補画像を取得する候補画像取得部を備える構成としてもよい。候補画像取得部は、画像処理装置１０の外部から入力される候補画像、例えば、ユーザにより指定された候補画像、画像取得部１２により取得された複数の画像の中から、候補画像選択部により選択された候補画像等を取得する。

加工画像判定部１８は、候補画像選択部１６により選択された候補画像が、加工処理されていない元画像なのか、元画像を加工処理して作成された加工画像なのかを判定するものである。

本実施形態の加工画像判定部１８は、例えば、以下の（１）〜（４）により、候補画像が元画像なのか加工画像なのかを判定する。
（１）候補画像の付帯情報の有無を確認し、付帯情報がない候補画像を、付帯情報なし画像（元画像の付帯情報が削除された加工画像）であると判定する。
（２）候補画像における画像の境界を検出し、周辺部に沿って画像の境界がある候補画像を、フレーム合成画像（元画像にフレームが合成された加工画像）であると判定する。
（３）候補画像における画像の境界を検出し、周辺部から中央部へ向かう画像の境界がある、および、１枚の候補画像の中に同一人物の顔が２以上存在する、の少なくとも一方に該当する候補画像を、複数合成画像（複数の元画像が合成された加工画像）であると判定する。
（４）候補画像の彩度（色調）の値を検出し、色補正されていない標準画像と比べて彩度の値が偏っている候補画像を、セピアまたはモノクロへ等への色補正を含む各種の色補正が行われた色補正画像（元画像が色補正された加工画像）であると判定する。

なお、加工画像判定部１８が候補画像の中から加工画像を検出する方法は、上記例だけに限定されず、各種の方法を利用することができる。

続いて、画像枚数判定部２０は、加工画像判定部１８による判定結果に基づいて、候補画像に含まれる元画像（非加工画像）の枚数が、あらかじめ設定された閾値以上なのか否かを判定するものである。
ここで、閾値は、画像処理装置１０が作成する合成画像の仕様に応じて決定される。例えば、合成画像としてフォトブックを作成する場合、閾値は、フォトブックの仕様、つまり、フォトブックのページ数、ページ構成（カバー、表紙、中ページ、裏表紙等の有無）、ページレイアウト（ページ内に含まれる画像数等）等に応じて決定される。合成画像として、シャッフルプリント、ポストカード等を作成する場合も同様である。

合成画像作成部２２は、候補画像選択部１６により選択された候補画像を使用して合成画像を作成するものである。
ここで、画像枚数判定部２０により、元画像の枚数が閾値以上であると判定された場合、合成画像作成部２２は、元画像のみを使用して合成画像を作成する。一方、元画像の枚数が閾値未満であると判定された場合、合成画像作成部２２は、元画像および加工画像を使用して合成画像を作成する、もしくは、合成画像の作成を中止することができる。

前述のように、画像処理装置１０が、画像取得部１２および候補画像選択部１６の代わりに、候補画像取得部を備える場合、合成画像作成部２２は、候補画像取得部１６により取得された候補画像を使用して合成画像を作成する。

また、合成画像作成部２２が、合成画像の作成に使用する画像を決定することは必須ではなく、例えば、候補画像の中から、合成画像の作成に使用する画像を決定する使用画像決定部を備え、合成画像作成部が、使用画像決定部により決定された画像を使用して合成画像を作成する構成としてもよい。
この場合、使用画像決定部は、元画像の枚数が閾値以上であると判定された場合に、元画像のみを合成画像の作成に使用する画像に決定する。一方、元画像の枚数が閾値未満であると判定された場合、使用画像決定部は、元画像および加工画像を合成画像の作成に使用する画像に決定する、もしくは、合成画像の作成を中止することに決定することができる。

使用画像決定部を備える構成の場合、さらに、使用画像決定部により決定された画像を表示する表示部を備えることが望ましい。これにより、ユーザは、表示部に表示された、合成画像の作成に使用される画像を事前に確認することができる。
なお、候補画像や使用することに決定した画像を表示する際、元画像なのか加工画像なのか、また選択の際の優先度等が分かる情報を併せて表示してもよい（画像枠を変える、点滅させる、アイコンやバッジを表示する等）。

続いて、警告発生部３６は、合成画像作成部２２により、合成画像が加工画像を使用して作成される場合に、合成画像が加工画像を使用して作成されることを表す警告をユーザに発するものである。
例えば、警告発生部３６は、合成画像が加工画像を使用して作成される前に、加工画像を使用して合成画像を作成するか否かを確認するための警告をユーザに発することができる。これにより、ユーザの指示に従って、合成画像の作成を中止することができる。
あるいは、警告発生部３６は、合成画像が加工画像を使用して作成された後に、合成画像が加工画像を使用して作成されたことを表す警告をユーザに発することができる。これにより、ユーザは、加工画像を使用して合成画像が作成されたことを認識することができる。
警告は、文字のメッセージを表示部に表示する警告、音声のメッセージをスピーカ等の音声再生部で再生する警告等を利用することができる。

顔領域検出部３４は、候補画像に含まれる人物の顔領域を検出するものである。

なお、顔領域検出部３４が、候補画像に含まれる人物の顔領域を検出する方法は、従来公知の方法を含む各種の方法を利用することができる。

再加工処理部３０は、加工画像に対して再加工処理を行って、元画像の領域のみを含む再加工画像を作成するものである。
ここで、加工画像がフレーム合成画像の場合、再加工処理部３０は、再加工画像として、フレーム合成画像から、フレーム以外の領域の画像を切り出す。これにより、合成画像作成部２２は、加工画像から切り出されたフレーム以外の領域の再加工画像を使用して合成画像を作成することができる。
加工画像が複数合成画像の場合、再加工処理部３０は、再加工画像として、複数合成画像から、各々の元画像を切り出す。これにより、合成画像作成部２２は、加工画像から切り出された各々の元画像の再加工画像を使用して合成画像を作成することができる。
加工画像がフレーム合成画像もしくは複数合成画像の場合、再加工処理部３０は、顔領域検出部３４による顔領域の検出結果に基づいて、再加工画像として、フレーム合成画像もしくは複数合成画像に含まれる人物の顔を含む領域の画像を切り出す。これにより、合成画像作成部２２は、加工画像から切り出された人物の顔を含む領域の再加工画像を使用して合成画像を作成することができる。

顔認証部２６は、候補画像に含まれる人物の顔認証を行って、その人物を特定するものである。

本実施形態の顔認証部２６は、以下の（１）の方法に従って、候補画像の中に、ユーザにより加工処理された加工画像（ユーザ加工画像）に含まれる人物を含む元画像（非加工画像）があるか否かを検出する。
（１）候補画像とユーザ加工画像の顔認識を行う。
顔認証部２６は、候補画像に含まれる人物の顔認証を行って人物を特定し、元画像に含まれる人物とユーザ加工画像に含まれる人物とを比較し、両者の類似度に基づいて、ユーザ加工画像に含まれる人物を含む元画像の有無を判定することができる。

なお、顔認証部２６が、候補画像の中に、ユーザ加工画像に含まれる人物を含む元画像の有無を検出する方法は、上記（１）の例に限定されず、従来公知の方法を含む各種の方法を利用することができる。

加工度算出部２８は、加工画像の加工度を算出するものである。
候補画像の中に、加工画像が加工処理される前の元画像が存在する場合、加工度算出部２８は、加工画像と、その元画像との差分を検出することにより、差分に応じて、加工画像の加工度を算出することができる。
加工画像がフレーム合成画像または複数合成画像の場合、加工度算出部２８は、加工画像判定部１８による、加工画像における画像の境界の検出、１枚の加工画像中に同一人物の顔が２以上含まれているか否かの検出等により、画像合成の度合に応じて、加工画像の加工度を算出することができる。
加工画像が色補正画像の場合、加工度算出部２８は、加工画像判定部１８による、加工画像と、色補正されていない標準画像との彩度の比較により、色補正の度合に応じて、加工画像の加工度を算出することができる。

元画像判定部３２は、候補画像の中に、ユーザ加工画像が加工処理される前の元画像があるか否かを判定するものである。

本実施形態の元画像判定部３２は、以下の（１）または（２）の方法に従って、候補画像の中に、ユーザ加工画像が加工処理される前の元画像（非加工画像）があるか否かを判定する。

（１）候補画像とユーザ加工画像の付帯情報を比較する。
元画像判定部３２は、候補画像とユーザ加工画像の付帯情報を比較することにより、両者の類似度に基づいて、ユーザ加工画像が加工処理される前の元画像の有無を判定することができる。
なお、元画像判定部３２は、DateTime（日時）タグやSoftware（加工処理に使用したソフトウェアの名称）タグ等のように、加工処理時に変更される可能性がある情報を除外して比較する。

（２）候補画像とユーザ加工画像のパターンマッチングを行う。
元画像判定部３２は、顔領域検出部３４により検出された、候補画像に含まれる人物の顔領域に基づいて、候補画像から検出された顔領域の画像とユーザ加工画像から検出された顔領域の画像とを比較することにより、両者の類似度に基づいて、ユーザ加工画像が加工処理される前の元画像の有無を判定することができる。
ここで、元画像判定部３２は、顔領域検出部３４により検出された顔領域が、加工処理により拡縮、回転されている場合には、ユーザ加工画像に含まれる人物の顔領域に合わせて拡縮、回転した後、両者を比較することが望ましい。

例えば、図３（Ａ）に示す画像が、ユーザ加工画像が加工処理される前の元画像であり、図４（Ａ）に示す画像が、３枚の元画像を合成して作成されたユーザ加工画像（複数合成画像）であるとする。
この場合、顔領域検出部３４により、図３（Ｂ）に示すように、元画像に含まれる一人の人物の顔領域が検出され、同様に、図４（Ｂ）に示すように、ユーザ加工画像の３枚の元画像に含まれる５人の人物の顔領域が検出されたとする。
元画像判定部３２は、顔領域検出部３４により検出された、元画像に含まれる一人の人物の顔領域の画像と、ユーザ加工画像に含まれる５人の人物の顔領域の画像とを比較することにより、元画像に含まれる一人の人物の顔領域の画像と、ユーザ加工画像に含まれる５人の人物のうちの、図４（Ｂ）の最も右側に示す人物の顔領域の画像との類似度が高いことから、図３（Ａ）に示す画像が、図４（Ａ）に示すユーザ加工画像が加工処理される前の元画像であると判定する。

なお、元画像判定部３２が、候補画像の中の、加工画像が加工処理される前の元画像の有無を判定する方法は、上記（１）および（２）の例に限定されず、従来公知の方法を含む各種の方法を利用することができる。

優先順位決定部２４は、候補画像の優先順位を決定するものである。
優先順位決定部２４が、合成画像の作成に使用される候補画像の優先順位を決定する場合、合成画像作成部２２は、優先順位が高い順に、元画像および加工画像を使用して合成画像を作成する。

本実施形態の優先順位決定部２４は、加工画像における付帯情報の有無、加工画像における重要人物の有無、加工画像の加工度、および、これらの組み合わせに応じて、加工画像の優先順位を決定する。
ここで、重要人物は、候補画像内の、より多くの元画像（非加工画像）に含まれている人物（元画像における登場回数が多い人物）である。より多くの元画像に含まれている人物ほど重要度が高い重要人物である。

付帯情報の有無に応じて、候補画像の優先順位を決定する場合、優先順位決定部２４は、付帯情報があれば、付帯情報に含まれる撮影日時の情報に基づいて、加工画像を撮影日時の順序で自動分類することなどができることから、付帯情報がある加工画像を優先する。つまり、優先順位決定部２４は、付帯情報がある加工画像の優先順位が、付帯情報がない加工画像の優先順位よりも高くなるように決定する。

重要人物の有無に応じて、加工画像の優先順位を決定する場合、優先順位決定部２４は、顔認証部２６による人物の特定に基づいて、重要人物が含まれている加工画像を優先する。つまり、優先順位決定部２４は、複数の元画像に含まれている同一人物を含む加工画像の優先順位が、複数の元画像に含まれている同一人物を含んでいない加工画像（他の人物を含んでいる、もしくは、人物を含んでいない加工画像を含む）の優先順位よりも高くなるように決定する。

加工度に応じて、加工画像の優先順位を決定する場合、優先順位決定部２４は、加工度算出部２８により算出された加工画像の加工度に基づいて、加工度が低い加工画像ほど、合成画像の作成に使用するのに適していることから、加工度が低い加工画像を優先する。つまり、優先順位決定部２４は、加工度が低くなるに従って、加工画像の優先順位が高くなるように決定する。

表１は、付帯情報の有無、画像加工内容として、色補正画像、フレーム合成画像、複数合成画像について、優先順位決定部２４による加工画像の優先順位付けの一例を表す。

表１において、優先順位は、一番上の１が最も高く、２，３，４，５，６の順序で下に向かうに従って低くなるように決定されている。

表１の例では、優先順位が最も高い１番目の加工画像は、付帯情報がある色補正画像である。色補正の度合にもよるが、色補正画像は元画像に近く加工度が小さいと考えられるため、フレーム合成画像や複数合成画像よりも優先順位は高くなる。
なお、色補正画像の中でも、色補正の度合に応じて優先順位を決定することができる。例えば、彩度が少しだけ補正された加工画像の優先順位が、「セピア」や「モノクロ」への色補正のように、彩度が大きく補正された加工画像の優先順位よりも高くなるように決定することができる。

優先順位が２番目の加工画像は、付帯情報があるフレーム合成画像である。フレーム合成画像は、フレームの装飾が合成されているだけで、フレーム以外の領域の画像は元画像と同様のものであり、加工度が色補正画像の次に小さいと考えられるため、色補正画像よりも優先順位は低くなり、加工度が最も大きいと考えられる複数合成画像よりも優先順位は高くなる。

優先順位が３番目の加工画像は、画像に直接的な加工処理は施されていないが、付帯情報がないものである。付帯情報がない加工画像は、付帯情報がある加工画像よりも優先順位が低くなるが、優先順位が３番目の加工画像は、画像に直接的な加工処理が施されていないため、付帯情報がなく、画像に直接的な加工処理が施されている色補正画像、フレーム合成画像、複数合成画像よりも優先順位が高くなる。

優先順位が４番目および５番目の加工画像は、優先順位が１番目および２番目の加工画像に対して、付帯情報がないものである。

表１の例の中では優先順位が最も低い６番目の加工画像は、付帯情報がない複数合成画像である。複数合成画像には、付帯情報は残されていないと考えられるため、付帯情報がある加工画像よりも優先順位が低くなる。

なお、表１の優先順位付けは一例であり、例えば、重要人物の有無や、付帯情報の有無、重要人物の有無、加工画像の加工度の組み合わせ等に応じて、加工画像の優先順位を決定することができる。

次に、加工画像を合成画像の作成に使用する場合の使用方法について説明する。

加工画像が付帯情報なし画像の場合、付帯情報に含まれる撮影日時情報を利用することができないため、合成画像作成部２２は、合成画像がフォトブックの場合、付帯情報がない候補画像を、フォトブックの同じページにまとめて配置することができる。
例えば、付帯情報がある候補画像を、フォトブックの先頭のページから時系列順に配置し、付帯情報がない加工画像を、付帯情報がある候補画像を配置した後のページから、加工画像のファイルタイムスタンプ順に配置する。

続いて、加工画像がフレーム合成画像の場合、合成画像作成部２２は、再加工処理部３０により、フレーム合成画像から切り出されたフレーム以外の領域の再加工画像を使用して合成画像を作成することができる。
このように、フレーム合成画像からフレーム以外の領域の再加工画像を切り出すことにより、再加工画像を元画像と同様に使用して合成画像を作成することができる。

続いて、加工画像が複数合成画像の場合、合成画像作成部２２は、再加工処理部３０により、複数合成画像から切り出された各々の元画像の再加工画像を使用して合成画像を作成することができる。

加工画像がフレーム合成画像もしくは複数合成画像の場合には、合成画像作成部２２は、顔領域検出部３４により検出された、候補画像に含まれる人物の顔領域に基づいて、再加工処理部３０により、フレーム合成画像もしくは複数合成画像から切り出された人物の顔を含む領域の再加工画像を使用して合成画像を作成することができる。

また、合成画像がフォトブックの場合、合成画像作成部２２は、１枚の加工画像を、フォトブックの、画像が１枚だけ配置されるページにそのまま配置することができる。
このように、１枚の加工画像を、画像が１枚だけ配置されるページにそのまま配置することにより、他の画像と混在して配置されることがないため、違和感なく、かつ、フォトブックのデザインを損ねることなく、加工画像を使用することができる。

また、合成画像作成部２２は、加工画像を、元画像よりも小さいサイズに縮小して使用して合成画像を作成することができる。
このように、加工画像を縮小して使用して合成画像を作成することにより、加工画像をなるべく目立たないように使用することができるため、違和感なく、かつ、合成画像のデザインを損ねることなく、加工画像を使用することができる。

また、合成画像作成部２２は、加工画像を合成画像の作成に使用しないようにすることもできる。
例えば、画像が１枚だけ配置されるフォトブックのページがなく、かつ、加工画像が１枚だけしかない場合、合成画像作成部２２は、加工画像を合成画像の作成に使用しない。

なお、再加工画像は、加工画像よりも加工度が低いため、優先順位決定部２４は、再加工画像の優先順位が、加工画像の優先順位よりも高くなるように決定することができる。この場合、合成画像作成部２２は、加工画像よりも再加工画像を優先的に使用して合成画像を作成する。

表２は、付帯情報の有無、画像加工内容として、色補正画像、フレーム合成画像、複数合成画像について、優先順位決定部２４による加工画像の優先順位付けの別の例を表す。

加工画像がフレーム合成画像もしくは複数合成画像の場合に、再加工処理部３０により、加工画像から切り出された再加工画像を合成画像の作成に使用する場合、優先順位決定部２４は、彩度が加工されている色補正画像の加工画像よりも、画像に直接的な加工処理が施されていないフレーム合成画像および複数合成画像の再加工画像の優先順位を高くするように決定することができる。

表２は、表１における優先順位が４番目の加工画像、つまり、付帯情報がない色補正画像の加工画像が、最も低い６番目の優先順位となり、表１における優先順位が５番目および６番目の加工画像、つまり、付帯情報がないフレーム合成画像、および、付帯情報がない複数合成画像の再加工画像が、４番目および５番目の優先順位となるように変更されたものである。
このように、優先順位決定部２４は、再加工画像の有無に応じて、加工画像の優先順位を変更することができる。

また、優先順位決定部２４は、加工画像の有無、加工画像に含まれている人物に基づいて、加工画像が加工処理される前の元画像の優先順位を決定することもできる。

例えば、優先順位決定部２４は、元画像判定部３２による、ユーザ加工画像が加工処理される前の元画像の有無の判定結果に基づいて、ユーザ加工画像に含まれている元画像を優先することができる。つまり、優先順位決定部２４は、ユーザ加工画像に含まれる元画像の優先順位が、ユーザ加工画像に含まれていない元画像の優先順位よりも高くなるように決定する。

候補画像の中に、ユーザ加工画像が加工処理される前の元画像が見つかった場合、その元画像はユーザの思い入れが強い画像であると判断し、優先順位決定部２４は、加工画像に含まれている元画像の優先順位が高くなるように決定する。

また、同一の元画像が複数のユーザ加工画像で使用されている場合、優先順位決定部２４は、その複数のユーザ加工画像で使用されている元画像の優先順位がさらに高くなるように決定する。つまり、優先順位決定部２４は、複数の加工画像に含まれる元画像の優先順位が、複数の加工画像に含まれていない元画像の優先順位よりも高くなるように決定する。

合成画像がフォトブックである場合、フォトブックの作成に優先的に使用される元画像の使用方法としては、以下の（１）〜（４）のようなものがある。
（１）優先順位の高い元画像をページ内に大きく配置する。
（２）優先順位の高い元画像をページの中央に配置する。
（３）優先順位の高い元画像にフォトブックのテーマに合った加工処理（装飾）を施す。
（４）優先順位の高い元画像をカバーや表紙などの特別なページに配置する。

また、優先順位決定部２４は、顔認証部２６による人物の特定に基づいて、ユーザ加工画像に含まれる人物を含む元画像を優先することができる。つまり、優先順位決定部２４は、ユーザ加工画像に含まれる人物を含む元画像の優先順位が、ユーザ加工画像に含まれる人物を含まない元画像の優先順位よりも高くなるように決定する。

ユーザ加工画像に含まれている人物（顔）は重要人物と判断し、優先順位決定部２４は、その人物を含む元画像の優先順位が高くなるように決定する。

また、同一人物が複数のユーザ加工画像に含まれている場合、優先順位決定部２４は、その複数のユーザ加工画像に含まれている元画像の優先順位がさらに高くなるように決定する。つまり、優先順位決定部２４は、複数のユーザ加工画像に含まれる同一人物を含む元画像の優先順位が、複数の加工画像に含まれる同一人物を含んでいない元画像の優先順位よりも高くなるように決定する。

合成画像がフォトブックである場合、フォトブックの作成に優先的に使用される元画像の使用方法としては、以下の（１）〜（６）のようなものがある。
（１）同一人物を含む元画像をページ内に大きく配置する。
（２）同一人物を含む元画像をページの中央に配置する。
（３）同一人物を含む元画像にフォトブックのテーマに合った加工（装飾）を施す。
（４）同一人物を含む元画像をカバーや表紙などの特別なページに配置する。
（５）同一人物を含む元画像をフォトブックに多めに使用する。
（６）同一人物を含んでいない元画像をフォトブックに使用しない。

次に、図２に示すフローチャートを参照しながら、画像処理装置１０の概略動作を説明する。

画像処理装置１０では、まず、画像取得部１２により、ユーザが所有する複数の画像が取得される（ステップＳ１）。
続いて、候補画像選択部１６により、複数の画像の中から、合成画像の作成に使用する候補画像が選択される（ステップＳ２）。
続いて、加工画像判定部１８により、候補画像が、元画像なのか、加工画像なのかの判定が行われる（ステップＳ３）。
続いて、画像枚数判定部２０により、加工画像判定部１８による判定結果に基づいて、候補画像に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かの判定が行われる（ステップＳ４）。
ここで、元画像の枚数が閾値以上であると判定された場合（ステップＳ５で「ＹＥＳ」）、合成画像作成部２２により、元画像のみを使用して合成画像が作成される（ステップＳ６）。一方、元画像の枚数が閾値未満であると判定された場合（ステップＳ５で「ＮＯ」）、合成画像作成部２２により、元画像および加工画像を使用して合成画像が作成される、もしくは、合成画像の作成が中止される（ステップＳ７）。

画像処理装置１０では、候補画像の中に含まれる元画像の枚数が、あらかじめ設定された閾値以上なのか否かの判定が行われ、元画像の枚数が閾値以上の場合に、元画像のみが合成画像の作成に使用される画像に決定され、元画像の枚数が閾値未満の場合に限り、元画像および加工画像の両方が合成画像の作成に使用される画像に決定される。
これにより、画像処理装置１０では、合成画像の作成に適していない加工画像を極力使用することなく、合成画像の作成に使用する画像を決定し、決定した画像を使用して合成画像を作成することができる。
また、前述のように、候補画像の優先順位を決定することにより、優先順位が高い順に、合成画像の作成に適した候補画像を使用して合成画像を作成することができる。

なお、画像処理装置１０の各構成要素の具体的な構成は何ら限定されず、上記と同様の機能を果たす各種構成のものが利用できる。

本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 画像取得部
１４ 指示取得部
１６ 候補画像選択部
１８ 加工画像判定部
２０ 画像枚数判定部
２２ 合成画像作成部
２４ 優先順位決定部
２６ 顔認証部
２８ 加工度算出部
３０ 再加工処理部
３２ 元画像判定部
３４ 顔領域検出部
３６ 警告発生部

Claims (31)

1. 合成画像の作成に使用する候補画像を取得する候補画像取得部と、
   前記候補画像が、加工処理されていない元画像なのか、前記元画像を加工処理して作成された加工画像なのかを判定する加工画像判定部と、
   前記加工画像判定部による判定結果に基づいて、前記候補画像に含まれる前記元画像の枚数が、あらかじめ設定された閾値以上なのか否かを判定する画像枚数判定部と、
   前記元画像の枚数が前記閾値以上であると判定された場合に、前記元画像のみを前記合成画像の作成に使用する画像に決定し、前記元画像の枚数が前記閾値未満であると判定された場合に、前記元画像および前記加工画像を前記合成画像の作成に使用する画像に決定する、もしくは、前記合成画像の作成を中止することに決定する使用画像決定部と、
   前記加工画像における付帯情報の有無、前記候補画像内の元画像における登場回数が他の人物よりも多い人物を重要人物として、前記加工画像における重要人物の有無、前記加工画像を再加工処理して作成された再加工画像の有無、および、前記加工画像が加工処理される前の元画像の有無の少なくとも１つに応じて、前記候補画像の優先順位を決定する優先順位決定部と、
   前記使用画像決定部により決定された画像を使用して前記合成画像を作成する合成画像作成部とを備え、
   前記合成画像作成部は、前記優先順位が高い順に、前記元画像および前記加工画像を使用して前記合成画像を作成するものである画像処理装置。
2. 前記優先順位決定部は、付帯情報がある加工画像の優先順位が、前記付帯情報がない加工画像の優先順位よりも高くなるように決定するものである請求項１に記載の画像処理装置。
3. 前記候補画像に含まれる人物の顔認証を行って前記人物を特定する顔認証部を備え、
   前記優先順位決定部は、前記顔認証部による人物の特定に基づいて、複数の元画像に含まれている同一人物を含む加工画像の優先順位が、前記複数の元画像に含まれている同一人物を含んでいない加工画像の優先順位よりも高くなるように決定するものである請求項１または２に記載の画像処理装置。
4. 前記候補画像に含まれる人物の顔認証を行って前記人物を特定する顔認証部を備え、
   前記優先順位決定部は、前記顔認証部による人物の特定に基づいて、ユーザにより加工処理された加工画像に含まれる人物を含む元画像の優先順位が、前記ユーザにより加工処理された加工画像に含まれる人物を含まない元画像の優先順位よりも高くなるように決定するものである請求項１または２に記載の画像処理装置。
5. 前記優先順位決定部は、前記ユーザにより加工処理された複数の加工画像に含まれる同一人物を含む元画像の優先順位が、前記ユーザにより加工処理された複数の加工画像に含まれる同一人物を含んでいない元画像の優先順位よりも高くなるように決定するものである請求項４に記載の画像処理装置。
6. 前記加工画像の加工度を算出する加工度算出部を備え、
   前記優先順位決定部は、さらに、前記加工度が低くなるに従って、前記加工画像の優先順位が高くなるように決定するものである請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記加工画像に対して再加工処理を行って、前記元画像の領域のみを含む再加工画像を作成する再加工処理部を備え、
   前記優先順位決定部は、前記再加工画像の優先順位が、前記加工画像の優先順位よりも高くなるように決定するものである請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記候補画像の中に、ユーザにより加工処理された加工画像が加工処理される前の元画像があるか否かを判定する元画像判定部を備え、
   前記優先順位決定部は、前記元画像判定部による判定結果に基づいて、前記ユーザにより加工処理された加工画像に含まれる元画像の優先順位が、前記ユーザにより加工処理された加工画像に含まれていない元画像の優先順位よりも高くなるように決定するものである請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記優先順位決定部は、複数の加工画像に含まれる元画像の優先順位が、前記複数の加工画像に含まれていない元画像の優先順位よりも高くなるように決定するものである請求項８に記載の画像処理装置。
10. 合成画像の作成に使用する候補画像を取得する候補画像取得部と、
    前記候補画像の付帯情報の有無、前記候補画像における画像の境界、または、前記候補画像の彩度の値に応じて、前記候補画像が、加工処理されていない元画像なのか、前記元画像を加工処理して作成された加工画像なのかを判定する加工画像判定部と、
    前記加工画像判定部による判定結果に基づいて、前記候補画像に含まれる前記元画像の枚数が、あらかじめ設定された閾値以上なのか否かを判定する画像枚数判定部と、
    前記元画像の枚数が前記閾値以上であると判定された場合に、前記元画像のみを前記合成画像の作成に使用する画像に決定し、前記元画像の枚数が前記閾値未満であると判定された場合に、前記元画像および前記加工画像を前記合成画像の作成に使用する画像に決定する、もしくは、前記合成画像の作成を中止することに決定する使用画像決定部とを備える画像処理装置。
11. 前記加工画像判定部は、前記候補画像の付帯情報の有無を確認し、付帯情報がない前記候補画像を前記加工画像であると判定するものである請求項１または１０に記載の画像処理装置。
12. 前記加工画像判定部は、前記候補画像における画像の境界を検出し、周辺部に沿って前記画像の境界がある候補画像を、前記元画像にフレームが合成された加工画像であると判定するものである請求項１〜１０のいずれか一項に記載の画像処理装置。
13. 前記加工画像判定部は、前記候補画像における画像の境界を検出し、周辺部から中央部へ向かう前記画像の境界がある、および、同一人物の顔が２以上存在する、の少なくとも一方に該当する候補画像を、複数の元画像が合成された加工画像であると判定するものである請求項１〜１０のいずれか一項に記載の画像処理装置。
14. 前記加工画像判定部は、前記候補画像の彩度の値を検出し、色補正されていない標準画像と比べて前記彩度の値が偏っている候補画像を、前記元画像が色補正された加工画像であると判定するものである請求項１〜１０のいずれか一項に記載の画像処理装置。
15. 前記合成画像作成部は、前記加工画像を、前記元画像よりも小さいサイズに縮小して使用して前記合成画像を作成するものである請求項１〜９のいずれか一項に記載の画像処理装置。
16. 前記合成画像は、フォトブックであり、
    前記合成画像作成部は、付帯情報がない候補画像を、前記フォトブックの同じページにまとめて配置するものである請求項１〜９のいずれか一項に記載の画像処理装置。
17. 前記合成画像は、フォトブックであり、
    前記合成画像作成部は、１枚の加工画像を、前記フォトブックの、画像が１枚だけ配置されるページに配置するものである請求項１〜９のいずれか一項に記載の画像処理装置。
18. 前記候補画像に含まれる人物の顔領域を検出する顔領域検出部を備え、
    前記再加工処理部は、前記顔領域検出部による顔領域の検出結果に基づいて、前記再加工画像として、前記元画像にフレームが合成された加工画像、もしくは、複数の元画像が合成された加工画像に含まれる人物の顔を含む領域の画像を切り出すものであり、
    前記合成画像作成部は、前記加工画像から切り出された人物の顔を含む領域の再加工画像を使用して前記合成画像を作成するものである請求項７に記載の画像処理装置。
19. 前記再加工処理部は、前記再加工画像として、前記元画像にフレームが合成された加工画像から、前記フレーム以外の領域の画像を切り出すものであり、
    前記合成画像作成部は、前記加工画像から切り出されたフレーム以外の領域の再加工画像を使用して前記合成画像を作成するものである請求項７に記載の画像処理装置。
20. 前記再加工処理部は、前記再加工画像として、複数の元画像が合成された加工画像から、各々の元画像を切り出すものであり、
    前記合成画像作成部は、前記加工画像から切り出された各々の元画像の再加工画像を使用して前記合成画像を作成するものである請求項７に記載の画像処理装置。
21. 前記合成画像が前記加工画像を使用して作成される場合に、前記合成画像が前記加工画像を使用して作成されることを表す警告をユーザに発する警告発生部を備える請求項１〜２０のいずれか一項に記載の画像処理装置。
22. 前記警告発生部は、前記合成画像が前記加工画像を使用して作成される前に、前記加工画像を使用して前記合成画像を作成するか否かを確認するための警告を前記ユーザに発するものである請求項２１に記載の画像処理装置。
23. 前記警告発生部は、前記合成画像が前記加工画像を使用して作成された後に、前記合成画像が前記加工画像を使用して作成されたことを表す警告を前記ユーザに発するものである請求項２１に記載の画像処理装置。
24. さらに、ユーザが所有する複数の画像を取得する画像取得部と、
    前記複数の画像の中から、前記候補画像を選択する候補画像選択部とを備え、
    前記候補画像取得部は、前記候補画像選択部により選択された候補画像を取得するものである請求項１〜２３のいずれか一項に記載の画像処理装置。
25. さらに、前記使用画像決定部により決定された画像を表示する表示部を備える請求項１〜２４のいずれか一項に記載の画像処理装置。
26. 候補画像取得部が、合成画像の作成に使用する候補画像を取得するステップと、
    前記候補画像が、加工処理されていない元画像なのか、前記元画像を加工処理して作成された加工画像なのかを、加工画像判定部が判定するステップと、
    前記加工画像判定部による判定結果に基づいて、前記候補画像に含まれる前記元画像の枚数が、あらかじめ設定された閾値以上なのか否かを、画像枚数判定部が判定するステップと、
    使用画像決定部が、前記元画像の枚数が前記閾値以上であると判定された場合に、前記元画像のみを前記合成画像の作成に使用する画像に決定し、前記元画像の枚数が前記閾値未満であると判定された場合に、前記元画像および前記加工画像を前記合成画像の作成に使用する画像に決定する、もしくは、前記合成画像の作成を中止することに決定するステップと、
    優先順位決定部が、前記加工画像における付帯情報の有無、前記候補画像内の元画像における登場回数が他の人物よりも多い人物を重要人物として、前記加工画像における重要人物の有無、前記加工画像を再加工処理して作成された再加工画像の有無、および、前記加工画像が加工処理される前の元画像の有無の少なくとも１つに応じて、前記候補画像の優先順位を決定するステップと、
    合成画像作成部が、前記使用画像決定部により決定された画像を使用して前記合成画像を作成するステップとを含み、
    前記合成画像作成部は、前記優先順位が高い順に、前記元画像および前記加工画像を使用して前記合成画像を作成する画像処理方法。
27. 候補画像取得部が、合成画像の作成に使用する候補画像を取得するステップと、
    加工画像判定部が、前記候補画像の付帯情報の有無、前記候補画像における画像の境界、または、前記候補画像の彩度の値に応じて、前記候補画像が、加工処理されていない元画像なのか、前記元画像を加工処理して作成された加工画像なのかを判定するステップと、
    前記加工画像判定部による判定結果に基づいて、前記候補画像に含まれる前記元画像の枚数が、あらかじめ設定された閾値以上なのか否かを、画像枚数判定部が判定するステップと、
    使用画像決定部が、前記元画像の枚数が前記閾値以上であると判定された場合に、前記元画像のみを前記合成画像の作成に使用する画像に決定し、前記元画像の枚数が前記閾値未満であると判定された場合に、前記元画像および前記加工画像を前記合成画像の作成に使用する画像に決定する、もしくは、前記合成画像の作成を中止することに決定するステップとを含む画像処理方法。
28. さらに、画像取得部が、ユーザが所有する複数の画像を取得するステップと、
    候補画像選択部が、前記複数の画像の中から、前記候補画像を選択するステップとを含み、
    前記候補画像取得部は、前記候補画像選択部により選択された候補画像を取得する請求項２６または２７に記載の画像処理方法。
29. さらに、表示部が、前記使用画像決定部により決定された画像を表示するステップを含む請求項２６〜２８のいずれか一項に記載の画像処理方法。
30. 請求項２６〜２９のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
31. 請求項２６〜２９のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。