JP2009294902A - 画像処理装置、およびカメラ - Google Patents

Abstract

【課題】画像の回転要否を適切に判定すること。
【解決手段】画像処理装置１は、画像が有する所定の情報に基づいてグループ化された画像群について、所定の特徴情報に関する特徴量を画像群を構成する画像ごとに算出する特徴量算出手段１１と、特徴情報に関する特徴量に基づいて個々の画像に対する回転の要否を判定する判定手段１１とを備える。
【選択図】図１

Description

本発明は、画像処理装置、およびカメラに関する。

複数の画像の個々の撮影日時情報に基づいて、該複数の画像をグループ化する技術が知られている。たとえば、所定の撮影期間ごとに集計した撮影頻度情報に基づいて、画像を時系列に連続するグループにまとめる処理が行われる（特許文献１参照）。

特許第３９１４７４７号公報

従来技術によれば、グループ化された画像の中に上下逆さや９０度回転された画像が含まれていても、これを検出することができないという問題があった。

本発明による画像処理装置は、画像が有する所定の情報に基づいてグループ化された画像群について、所定の特徴情報に関する特徴量を画像群を構成する画像ごとに算出する特徴量算出手段と、特徴情報に関する特徴量に基づいて個々の画像に対する回転の要否を判定する判定手段とを備えることを特徴とする。
本発明によるカメラは、請求項１〜請求項８のいずれか一項に記載する画像処理装置を備えることを特徴とする。

本発明によれば、画像の回転要否を適切に判定できる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、メインＣＰＵ１１によって制御される。

撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサなどで構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像素子２２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子２２がカラーフィルタを通して被写体像を撮像するため、撮像素子２２から出力される光電変換信号は、ＲＧＢ表色系の色情報を有する。

撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。

メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、たとえばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。

画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１５は、撮像画像を液晶モニタ１６に表示させるための表示データを作成する。

バッファメモリ１４は、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体３０へ記録する前の画像ファイルを格納したり、記録媒体３０から読み出した画像ファイルを格納したりするために使用される。

記録媒体３０は、電子カメラ１に対して着脱可能なメモリカードなどで構成される。記録媒体３０には、メインＣＰＵ１１からの指示によって撮影画像のデータおよびその情報を含む画像ファイルが記録される。記録媒体３０に記録された画像ファイルは、メインＣＰＵ１１からの指示によって読み出しが可能である。

フラッシュメモリ１９は、メインＣＰＵ１１が実行するプログラムや、メインＣＰＵ１１が行う処理に必要なデータなどが格納される。フラッシュメモリ１９が格納するプログラムやデータの内容は、メインＣＰＵ１１からの指示によって追加、変更が可能に構成されている。

操作部材１７は、電子カメラ１の各種ボタンやスイッチ類を含み、レリーズボタンの押下操作、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。

ＧＰＳ装置１８は、メインＣＰＵ１１からの指示に応じてＧＰＳ衛星からの電波を受信し、受信信号をメインＣＰＵ１１へ出力する。メインＣＰＵ１１は、ＧＰＳ装置１８からの受信信号に基づいて所定の演算を行い、電子カメラ１の測位情報（緯度、経度、高度）を検出する。

電子カメラ１は、撮影時に撮像素子２２で取得された画像信号に所定の画像処理および圧縮処理を施し、圧縮処理後の画像データに、測位情報、および当該撮影画像に関する情報などを含む付加情報を付加した画像ファイルを生成するように構成されている。具体的には、JPEG形式の画像データを画像データ部に格納し、付加情報を付加情報部に格納したＥｘｉｆ形式の画像ファイルを生成する。Ｅｘｉｆ形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や付加情報データを埋め込むようにしたものである。生成した画像ファイルは、記録媒体３０に格納される。

また、電子カメラ１は撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータを記録媒体３０に画像ファイルとして保存する動作モードである。再生モードは、撮影済みの画像データを記録媒体３０から読み出すなどして、画像データによる再生画像を液晶モニタ１６に表示するモードである。

＜撮影画像のグルーピング＞
本実施形態の電子カメラ１は、撮影画像を自動的にグルーピングする機能を備える。具体的には、記録媒体３０に記録済みの画像ファイルに対してグループ分けを行い、画像ファイルをグループごとに設けたフォルダ内に格納する。電子カメラ１はさらに、各フォルダ内に含まれる画像群に基づいて、画像群の撮影対象を表す標題（たとえば、撮影シーン）を決める。そして、この標題に基づいて、各フォルダ（グループ）の画像群を代表する画像ファイルをフォルダ（グループ）ごとにそれぞれ選ぶ。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。

図２は、メインＣＰＵ１１が実行する上記グルーピング処理の流れを説明するフローチャートである。メインＣＰＵ１１は、操作部材１７からグルーピング処理の実行を指示する操作信号が入力されると、図２による処理を開始する。

図２のステップＳ１０において、メインＣＰＵ１１は、記録媒体３０に記録されている画像ファイルに対してクラスタリング手法によってグループ分けを行い、ステップＳ２０へ進む。クラスタリング処理の詳細については後述する。ステップＳ２０において、メインＣＰＵ１１は、クラスタ（グループ分け後の画像ファイルの集合）に含まれる画像ごとにイベント判定を行ってステップＳ３０へ進む。「イベント」は画像の撮影シーンを表すもので、たとえば、「運動会」、「結婚式」、「花見」、「海水浴」、「北海道旅行」などをいう。画像ごとのイベント判定処理の詳細については後述する。

ステップＳ３０において、メインＣＰＵ１１は、クラスタごとにイベント判定を行ってステップＳ７０へ進む。「イベント」が標題である点は上記ステップＳ２０の場合と共通であるが、ステップＳ２０におけるイベント判定が個々の画像を対象とするものであるのに対し、ステップＳ３０におけるイベント判定がクラスタを代表する「イベント」を判定する点において異なる。クラスタごとのイベント判定処理の詳細については後述する。

ステップＳ７０において、メインＣＰＵ１１は、必要に応じてクラスタ内の画像の向きを回転させる回転判定処理を行ってステップＳ４０へ進む。回転判定処理の詳細については後述する。

ステップＳ４０において、メインＣＰＵ１１は、必要に応じてクラスタを統合し、ステップＳ５０へ進む。クラスタの統合処理の詳細については後述する。ステップＳ５０において、メインＣＰＵ１１は、クラスタを代表する画像ファイルを決定して図２による処理を終了する。

＜クラスタリング処理＞
クラスタリング処理（Ｓ１０）の詳細について、図３に例示するフローチャートを参照して説明する。クラスタリング処理は、たとえば、撮影日時情報を用いて行う。図３のステップＳ１１において、メインＣＰＵ１１は全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影日時を示す情報を抽出してステップＳ１２へ進む。

ステップＳ１２において、メインＣＰＵ１１は、全ての画像ファイルから撮影日時を示す情報を抽出したか否かを判定する。メインＣＰＵ１１は、全画像ファイルから必要な情報を抽出済みの場合にステップＳ１２を肯定判定してステップＳ１３へ進み、必要な情報を全画像ファイルから抽出済みでない場合にはステップＳ１２を否定判定してステップＳ１１へ戻る。ステップＳ１１へ戻る場合は、上記抽出処理を繰り返す。

ステップＳ１３において、メインＣＰＵ１１は、階層的クラスタリングを用いる。その中で、たとえば最短距離法を用いてクラスタリングを行う。具体的には、１画像につき１クラスタを処理の起点として、撮影時刻が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ（撮影時刻が近い画像ファイルの集合）に分ける。メインＣＰＵ１１は、クラスタ数が所定の数まで減った場合にステップＳ１４へ進む。または、近接するクラスタ間において、一方の集合内で最も遅い撮影時刻と、他方の集合内で最も早い撮影時刻との差が所定時間（たとえば３時間）以上になった場合にステップＳ１４へ進む。なお、階層的クラスタリングの中でも最短距離法以外の手法を用いてもよい。さらに、階層的クラスタリング以外の手法（たとえば、分割最適化法）を用いてもよい。

ステップＳ１４において、メインＣＰＵ１１は、上記クラスタに対応させてフォルダを記録媒体３０内に生成してステップＳ１５へ進む。ステップＳ１５において、メインＣＰＵ１１は、生成したフォルダ内へ対応する画像ファイルを移動させて図３による処理を終了する。これにより、クラスタに対応する各フォルダの中に、各クラスタに属する画像ファイルが格納される。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。

＜画像ごとのイベント判定処理＞
画像単位のイベント判定処理（Ｓ２０）の詳細について、図４に例示するフローチャートを参照して説明する。図４のステップＳ２１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ２２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ２２において、メインＣＰＵ１１は、判定対象とするイベント（イベント候補と呼ぶ）を決定する。メインＣＰＵ１１は、図９に例示するイベント候補テーブルを参照し、クラスタを構成する画像ファイルの撮影日が属する月に対応するイベントを選ぶ。たとえば、画像ファイルが５月に撮影されたものである場合には、「花見」、「運動会」、および「結婚式」をイベント候補とする。イベント候補テーブルは、月ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生月に基づいてあらかじめ作成され、フラッシュメモリ１９内に記録されている。

図９によれば、発生月や季節との相関が強いイベントは該当月のみに含まれ、「結婚式」のように発生月との相関が弱いイベントは複数の月に含まれる。メインＣＰＵ１１は、クラスタを構成する画像ファイルの撮影日が複数の月に属する場合は、一例として、より多くの画像ファイルが属する月に対応するイベント候補を選ぶ。メインＣＰＵ１１は、以上のように判定対象とするイベントを決定したら、ステップＳ２３へ進む。

ステップＳ２３において、メインＣＰＵ１１は、特定したクラスタを構成する画像ファイルの中から画像ファイルを１つ特定してステップＳ２４へ進む。ステップＳ２４において、メインＣＰＵ１１は、特定した画像ファイルに含まれる画像データに基づいて、当該画像の特徴量を算出してステップＳ２５へ進む。

メインＣＰＵ１１は、ステップＳ２２において決定したイベント候補の判定に適した画像の特徴量を算出する。イベント候補と算出すべき特徴量との関係は、あらかじめテーブル化されてフラッシュメモリ１９内に記録されている。特徴量は、たとえば、画像の所定領域を構成する画素データに基づいて算出される色情報、鮮鋭度情報、質感情報、模様情報、および明るさ情報などである。また、画像サイズやカラーヒストグラムの情報を特徴量として扱ってもよい。特徴量算出は公知技術であるため、本説明では特徴量算出に関する詳細な説明を省略する。

ステップＳ２５−ステップＳ２７において、メインＣＰＵ１１は、ステップＳ２２において決定したイベント候補に対応した識別器をそれぞれ用いて、各イベントらしさを表す確率を算出する。識別器は、複数のサンプル画像データに基づいてＳＶＭ(Support Vector Machine)手法を用いる機械学習によって算出された特徴量情報である。たとえば、「花見」用の識別器は、複数の「花見」および「非花見」のサンプル画像に基づいて算出された特徴量情報である。「運動会」用の識別器は、複数の「運動会」および「非運動会」のサンプル画像に基づいて算出された特徴量情報である。「結婚式」用の識別器は、複数の「結婚式」および「非結婚式」のサンプル画像に基づいて算出された特徴量情報である。本実施形態では、複数のイベント候補のそれぞれに対応する識別器があらかじめ生成され、フラッシュメモリ１９内に記録されている。本稿では、イベント候補の数が３つの場合を例に説明している。メインＣＰＵ１１は、ステップＳ２３において特定した１画像ごとに、イベント候補に挙げられたイベントらしさ（確率）Ｐを算出してステップＳ２８へ進む。

イベントらしさを表す確率Ｐは、識別器によって表される特徴量空間において空間を仕切る境界（たとえば、「運動会」領域と、「非運動会」領域との境界）と、ステップＳ２４において算出された特徴量との距離に対応する。ある画像から算出した特徴量が、「運動会」用の識別器によって表される特徴量空間で「運動会」に対応する特徴量領域の奥に位置し、「非運動会」に対応する特徴量領域までの距離が長ければ、「運動会」らしさの確率が高い。一方、画像から算出した特徴量が、「運動会」に対応する特徴量領域の端に位置し、「非運動会」に対応する特徴量領域までの距離が短ければ、「運動会」らしさの確率が低い。メインＣＰＵ１１は、上記距離に応じて確率を算出する。

ステップＳ２８において、メインＣＰＵ１１は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ（確率）Ｐの算出を行った場合にステップＳ２８を肯定判定してステップＳ２９へ進む。メインＣＰＵ１１は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ（確率）Ｐの算出を行っていない場合には、ステップＳ２８を否定判定してステップＳ２３へ戻る。ステップＳ２３へ戻ったメインＣＰＵ１１は、特定したクラスタを構成する画像ファイルのうち他の１つの画像ファイルを特定してステップＳ２４へ進む。

ステップＳ２９において、メインＣＰＵ１１は、全てのクラスタに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて特徴量算出、およびイベントらしさ（確率）Ｐの算出を行った場合にステップＳ２９を肯定判定して図４による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて特徴量算出、およびイベントらしさ（確率）Ｐの算出を行っていない場合には、ステップＳ２９を否定判定してステップＳ２１へ戻る。ステップＳ２１へ戻ったメインＣＰＵ１１は、他の１つのクラスタを特定してステップＳ２２へ進む。

＜クラスタごとのイベント判定処理＞
クラスタ単位のイベント判定処理（Ｓ３０）の詳細について、図５に例示するフローチャートを参照して説明する。図５のステップＳ３１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ３２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ３２において、メインＣＰＵ１１は、イベント候補の中から判定対象とするイベントを１つ特定してステップＳ３３へ進む。ステップＳ３３において、メインＣＰＵ１１は、Ｓ３１において特定したクラスタを構成する画像ファイルの中から画像ファイルを１つ特定してステップＳ３４へ進む。ステップＳ３４において、メインＣＰＵ１１は、Ｓ３２において特定したイベントに対するイベントらしさ（確率）Ｐが所定の判定閾値Ｐth以上か否かを判定する。メインＣＰＵ１１は、イベントらしさ（確率）Ｐが判定閾値Ｐth以上の場合にステップＳ３４を肯定判定してステップＳ３５へ進む。メインＣＰＵ１１は、イベントらしさ（確率）Ｐが判定閾値Ｐth未満の場合にはステップＳ３４を否定判定し、ステップＳ３６へ進む。

ステップＳ３５において、メインＣＰＵ１１は、Psum=Psum+Ｐを算出してステップＳ３６へ進む。ステップＳ３６において、メインＣＰＵ１１は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、クラスタ内の全ての画像について処理を行った場合にステップＳ３６を肯定判定してステップＳ３７へ進む。メインＣＰＵ１１は、クラスタ内の全ての画像について処理を行っていない場合には、ステップＳ３６を否定判定してステップＳ３３へ戻る。ステップＳ３３へ戻ったメインＣＰＵ１１は、特定したクラスタを構成する画像ファイルのうち他の１つの画像ファイルを特定してステップＳ３４へ進む。

ステップＳ３７において、メインＣＰＵ１１は、上記Psumへ加算したイベントらしさ（確率）Ｐの個数がクラスタ内の全画像ファイル数のＮパーセント以上か否かを判定する。メインＣＰＵ１１は、加算したＰの個数がＮパーセント以上の場合にステップＳ３７を肯定判定してステップＳ３８へ進む。メインＣＰＵ１１は、加算したＰの個数がＮパーセント未満の場合にはステップＳ３７を否定判定し、ステップＳ４１へ進む。ステップＳ４１において、メインＣＰＵ１１は、Psum=０としてステップＳ３８へ進む。

ステップＳ３８において、メインＣＰＵ１１は、イベント候補の全てについてPsumを算出する処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのイベントについて算出処理を終了した場合にステップＳ３８を肯定判定してステップＳ３９へ進む。メインＣＰＵ１１は、全てのイベントについて算出処理を終了していない場合にはステップＳ３８を否定判定し、ステップＳ３２へ戻る。ステップＳ３２へ戻ったメインＣＰＵ１１は、イベント候補のうち判定対象とする他のイベント１つを特定してステップＳ３３へ進む。

ステップＳ３９において、メインＣＰＵ１１は、イベント候補ごとに算出したPsumのうち、その最大値に対応するイベント候補を当該クラスタの標題イベントに決定してステップＳ４２へ進む。

ステップＳ４２において、メインＣＰＵ１１は、全てのクラスタについてPsumの算出、および標題イベントを決定する処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて処理を終了した場合にステップＳ４２を肯定判定して図５による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて処理を終了していない場合にはステップＳ４２を否定判定し、ステップＳ３１へ戻る。ステップＳ３１へ戻ったメインＣＰＵ１１は、他のクラスタ１つを特定してステップＳ３２へ進む。

図９−図１１は、画像ファイルの集合（画像数＝５）を含むクラスタに対するイベント判定を例示する図である。イベント候補は、たとえば「運動会」、「結婚式」、および「花見」であり、画像１−画像５のそれぞれについて、「運動会」らしさ、「結婚式」らしさ、および「花見」らしさの確率Ｐが算出されている。本例では、判定閾値Ｐth＝４０パーセントとし、判定閾値Ｎ＝４０パーセントとする。

図９の場合、「運動会」らしさについてのPsumは、「運動会」らしさを示すＰが判定閾値Ｐth以上の画像（すなわち、画像４以外の画像１−画像３、および画像５）について、それぞれのＰを加算する（ステップＳ３５）。この場合のPsumは、85（画像１）+90（画像２）+80（画像３）+75（画像５）=330である。

図１０の場合、「結婚式」らしさを示すＰが判定閾値Ｐth以上となるのは画像４のみであるため、「結婚式」らしさについてのPsumは、画像４について算出されているＰのみを加算対象にする。これにより、Psum=45（画像４）を得る。ここで、画像４（１画像）は、画像数５のうち２０パーセントに相当するため上記Ｎ（４０パーセント）に満たない。そこでメインＣＰＵ１１は、図１０の場合のPsumを０とする（ステップＳ４１）。

図１１において、「花見」らしさについてのPsumは、「花見」らしさを示すＰが判定閾値Ｐth以上の画像（すなわち、画像３以外の画像１−画像２、および画像４−画像５）について、それぞれのＰを加算する（ステップＳ３５）。この場合のPsumは、60（画像１）+70（画像２）+65（画像４）+75（画像５）=270である。

メインＣＰＵ１１は、イベント候補（「運動会」、「結婚式」、および「花見」）のうち、最大Psumに対応する「運動会」を、当該クラスタの標題イベントとする。

＜回転判定処理＞
回転判定処理（Ｓ７０）の詳細について、図６に例示するフローチャートを参照して説明する。図６のステップＳ７１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ７２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ７２において、メインＣＰＵ１１は、Ｓ７１で特定したクラスタ用の判定閾値Ｚを算出してステップＳ７３へ進む。判定閾値Ｚは、たとえば、クラスタを構成する各画像ファイルの画像の標題イベントに対するイベントらしさの平均値とする。ここで、標題イベントは図５において判定した標題イベントである。各画像のイベントらしさは、図４の処理において求めた値を用いるとよい。

ステップＳ７３において、メインＣＰＵ１１は、Ｓ７１で特定したクラスタを構成する画像ファイルの中から画像ファイルを１つ特定してステップＳ７４へ進む。ステップＳ７４において、メインＣＰＵ１１は、特定した画像ファイルの画像の標題イベントに対するイベントらしさ（確率）が上記判定閾値Ｚより小さいか否かを判定する。メインＣＰＵ１１は、イベントらしさ＜判定閾値Ｚが成立する場合（他の画像に比べてイベントらしさが低い）にステップＳ７４を肯定判定してステップＳ７７へ進む。メインＣＰＵ１１は、イベントらしさ＜判定閾値Ｚが成立しない場合（イベントらしさが他の画像並もしくは他の画像より高い）にはステップＳ７４を否定判定し、ステップＳ７５へ進む。

ステップＳ７５において、メインＣＰＵ１１は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、クラスタ内の全ての画像ファイルについて処理を行った場合にステップＳ７５を肯定判定してステップＳ７６へ進む。メインＣＰＵ１１は、クラスタ内の全ての画像ファイルについて処理を行っていない場合には、ステップＳ７５を否定判定してステップＳ７３へ戻る。ステップＳ７３へ戻ったメインＣＰＵ１１は、特定したクラスタを構成する画像ファイルのうち他の１つの画像ファイルを特定してステップＳ７４へ進む。

ステップＳ７６において、メインＣＰＵ１１は、全てのクラスタに対して処理を終了したか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて処理を行った場合にステップＳ７６を肯定判定して図６による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて処理を行っていない場合には、ステップＳ７６を否定判定してステップＳ７１へ戻る。ステップＳ７１へ戻ったメインＣＰＵ１１は、他の１つのクラスタを特定してステップＳ７２へ進む。

ステップＳ７４を肯定判定して進むステップＳ７７において、メインＣＰＵ１１は、特定している画像ファイルの画像を回転させる。画像の回転は、たとえば、時計回りに９０度回転させる。メインＣＰＵ１１はさらに、回転後の画像について新たに特徴量を算出してステップＳ７８へ進む。特徴量は、標題イベントの判定に適したものを上記ステップＳ２４（図４）の場合と同様に算出する。

ステップＳ７８において、メインＣＰＵ１１は、標題イベントに対応した識別器を用いてイベントらしさを表す確率を新たに算出し、ステップＳ７９へ進む。その算出方法は、上記ステップＳ２５−ステップＳ２７の場合と同様である。ステップＳ７９において、メインＣＰＵ１１は、回転後の画像の標題イベントに対するイベントらしさ（確率）が上記判定閾値Ｚより小さいか否かを判定する。メインＣＰＵ１１は、イベントらしさ＜判定閾値Ｚが成立する場合（他の画像に比べてイベントらしさが低い）にステップＳ７９を肯定判定してステップＳ８１へ進む。メインＣＰＵ１１は、イベントらしさ＜判定閾値Ｚが成立しない場合（イベントらしさが他の画像並もしくは他の画像より高い）にはステップＳ７９を否定判定し、ステップＳ８０へ進む。

ステップＳ８０において、メインＣＰＵ１１は、回転後の画像を含む画像ファイルを保存してステップＳ７５へ進む。ステップＳ７９を肯定判定して進むステップＳ８１において、メインＣＰＵ１１は、予定した回転角度についての処理を終了したか否かを判定する。メインＣＰＵ１１は、上記時計回りに９０度の他、反時計回りに９０度、および１８０度の回転をそれぞれ行った場合にステップＳ８１を肯定判定してステップＳ７５へ進む。メインＣＰＵ１１は、時計回りに９０度の他、反時計回りに９０度、および１８０度の回転のうち回転していないものがある場合はステップＳ８１を否定判定してステップＳ７７へ戻る。ステップＳ７７へ戻ったメインＣＰＵ１１は、回転していない角度で画像を回転させる。

＜クラスタの統合処理＞
クラスタの統合処理（Ｓ４０）の詳細について、図７に例示するフローチャートを参照して説明する。図７のステップＳ５１において、メインＣＰＵ１１は、複数のクラスタのうち、近接するクラスタ間の時間差が判定閾値Ｔ以下か否かを判定する。メインＣＰＵ１１は、たとえば、一方のクラスタで最も遅い撮影時刻と、他方のクラスタ内で最も早い撮影時刻との差が上記Ｔ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。メインＣＰＵ１１は、時間差が上記Ｔを超える場合にはステップＳ５１を否定判定して図７による処理を終了する。ステップＳ５１を否定判定する場合は、クラスタの統合を行わない。

ステップＳ５２において、メインＣＰＵ１１は、時間差Ｔ以下で近接するクラスタ同士の標題イベントが同一か否かを判定する。メインＣＰＵ１１は、標題イベントが同一の場合にステップＳ５２を肯定判定してステップＳ５３へ進む。メインＣＰＵ１１は、標題イベントが同一でない場合にはステップＳ５２を否定判定して図７による処理を終了する。ステップＳ５２を否定判定する場合は、クラスタの統合を行わない。

ステップＳ５３において、メインＣＰＵ１１は、２つのクラスタを１つのクラスタに統合して図７による処理を終了する。メインＣＰＵ１１は、全クラスタに対してクラスタの統合処理を繰り返す。以上の処理により、クラスタ数が減少する。

＜クラスタごとの代表画像の決定処理＞
クラスタ単位の代表画像決定処理の詳細について、図８に例示するフローチャートを参照して説明する。図８のステップＳ６１において、メインＣＰＵ１１は、複数のクラスタの中からクラスタを１つ特定してステップＳ６２へ進む。特定順は、たとえば、撮影日時が古い順（最も早い撮影時刻の画像ファイルを有するクラスタを優先）とする。

ステップＳ６２において、メインＣＰＵ１１は、ステップＳ３９において決定した標題イベントに対応する選択基準情報をフラッシュメモリ１９から読み出してステップＳ６３へ進む。選択基準情報は、代表画像の決定方法をあらかじめ標題イベントごとに定め、テーブル化してフラッシュメモリ１９内に記録したものである。

ステップＳ６３において、メインＣＰＵ１１は、クラスタ内に含まれる画像ファイル群の中から、選択基準情報に基づいて代表画像を選んでステップＳ６４へ進む。ステップＳ６４において、メインＣＰＵ１１は、全てのクラスタについて代表画像を選んだか否かを判定する。メインＣＰＵ１１は、全てのクラスタについて処理を終了した場合にステップＳ６４を肯定判定して図８による処理を終了する。メインＣＰＵ１１は、全てのクラスタについて処理を終了していない場合にはステップＳ６４を否定判定し、ステップＳ６１へ戻る。ステップＳ６１へ戻ったメインＣＰＵ１１は、他のクラスタ１つを特定してステップＳ６２へ進む。

上記選択基準情報について説明する。メインＣＰＵ１１は、図１３に例示する選択基準情報テーブルを参照し、クラスタの標題イベントに対応する選択基準情報を選ぶ。選択基準情報テーブルは、あらかじめ作成されてフラッシュメモリ１９内に記録されている。たとえば、クラスタの標題イベントが「結婚式」、「初詣」、「ひな祭り」、「入学式」、「卒業式」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる顔領域の割合が所定割合に最も近いものを代表画像として選ぶ。なお、画像データに基づいて顔検出処理を行い、画像に含まれている人物の「顔」を検出する顔検出処理は、公知の技術であるため説明を省略する。

また、クラスタの標題イベントが「海水浴」、「ダイビング」、「紅葉狩」、「ゴルフ」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる所定色領域の割合が所定割合に最も近いものを代表画像として選ぶ。所定色は、たとえば、青色領域（海水浴、ダイビング）、赤色または黄色領域（紅葉狩）、緑色領域（ゴルフ）である。

また、クラスタに含まれる画像のうち、当該クラスタの標題イベントに対応するイベントらしさを示す確率Ｐが最大となる画像を代表画像として選ぶようにしてもよい。このように、あらかじめ標題イベントごとに代表画像決定条件を決めておき、その決定条件に基づいて標題イベントを代表する画像を決定する。

以上説明した実施形態によれば、以下の作用効果が得られる。
（１）クラスタ（画像ファイルの集合）に対して複数のイベント候補（運動会、結婚式、花見）を与え、各イベント候補の判定に適した特徴量をクラスタ内の画像ごとに算出し、算出した個々の画像の特徴量に基づいて当該クラスタ（画像ファイルの集合）を代表するイベントをイベント候補の中から決定するようにした。従来技術と異なり、クラスタに対してＳＶＭ手法を使わない、すなわち、クラスタに対する特徴量の算出を必要とせずに、画像ごとのイベントらしさ（確率）Ｐの和Psumを算出する単純加算、和Psumに加算した画像数のカウント、イベント候補間におけるPsumの大小比較、判定閾値Ｐthと確率Ｐとの大小比較のみでよいので、画像群に対する特徴量算出をする場合に比べて短時間で処理することができる。

（２）画像が有する所定の情報に基づいてグループ化された画像群（クラスタ）について、所定のイベント候補に関する特徴量を画像群を構成する画像ごとに算出する特徴量算出手段（メインＣＰＵ１１）と、イベント候補に関する画像ごとの特徴量に基づいて個々の画像に対する回転の要否を判定する判定手段（メインＣＰＵ１１）とを備える構成にした。これにより、画像方向を示す情報（縦位置撮影による画像か、横位置撮影による画像かを示す情報）を格納するＥｘｉｆ情報が個々の画像ファイルに記録されていない場合でも、画像の回転要否を判定できる。

（３）なお、画像ごとの特徴量に基づいてさらに、各画像が画像群の特徴情報に該当する確率情報を画像ごとに算出するように構成してもよく、この場合は画像ごとの確率情報に基づいて、個々の画像に対する回転の要否を判定してもよい。

（４）画像群の平均的な特徴量に基づいて画像群の代表イベント（標題）を決定し、決定した代表イベントに該当するイベントらしさ（確率）を画像ごとに算出し、イベントらしさ（確率）が所定値以下の場合に該画像に対して回転要を判定するようにしたので、平均的な特徴量から外れた（たとえば、確率情報が他の画像に対して離れている）画像のみに回転対象を絞ることができる。なお、画像の確率情報を用いて判定する代わりに、特徴量のヒストグラムから算出される値や、あらかじめ決められる特徴量の固定値を用いて画像に対する回転要否を判定する構成にしてもよい。

（５）回転対象にした画像を回転処理し、回転後の画像の特徴量をさらに算出し、回転後の画像の特徴量に基づく回転後の画像の確率情報が所定値以下の場合には該画像に対して回転要を再度判定するようにした。これにより、回転角が不足する場合には、当該画像をさらに回転させることが可能になる。

（６）左９０度、右９０度、および１８０度のうちいずれかの回転処理を行うようにしたので、縦位置撮影、横位置撮影、および上下逆さ撮影のいずれで撮影された画像にも対応できる。

（７）撮影日時情報または撮影位置情報に基づいてグループ化された画像群を用いるので、画像群の中に共通の場面、共通の被写体を含む画像が集まっている可能性が高い。これにより、複数の画像の特徴量が近似するので、複数の画像の平均的な特徴量と異なる特徴量を有する画像（回転対象）を判定しやすくなる。
（８）上記画像処理装置をカメラに備えたので、カメラにおいて上記処理を行わせることができる。

（変形例１）
クラスタリングの際、撮影日単位でクラスタリングを行うようにしてもよい。

（変形例２）
クラスタリングの際、撮影日時情報に応じてでなく、撮影位置情報に応じて分けるようにしてもよい。具体的には、ステップＳ１１（図３）において、メインＣＰＵ１１が全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影位置を示す測位情報を抽出する。そして、メインＣＰＵ１１は、ステップＳ１３（図３）において、１画像につき１クラスタを処理起点として、撮影位置が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ（撮影位置が近い画像ファイルの集合）に分ける。メインＣＰＵ１１は、近接するクラスタ間において、撮影位置と撮影位置との間隔（距離）が所定距離（たとえば１Ｋｍ）以上の場合にステップＳ１４へ進む。

（変形例３）
イベント候補テーブルは、ユーザ操作によって変更可能に構成してもよい。たとえば、液晶モニタ１６にイベント候補テーブルの編集画面を表示させて、ユーザが操作部材１７を操作することによってテーブル内容を変更する。変更内容は、フラッシュメモリ１９へ記録する。

（変形例４）
図４のステップＳ２２を省略する構成としてもよい。この場合には、イベント候補テーブルを参照することなく、システムが有している全てのイベント候補を選ぶ。

（変形例５）
変形例２の場合のイベント候補テーブルは、たとえば、撮影位置を含む地域ごとにイベント候補を対応させるとよい。たとえば、海の近くであれば、海水浴、すいか割り、サーフィン、ダイビングなどのイベントを選ぶ。山の近くであれば、キャンプ、ハイキングなどのイベントを選ぶ。この場合のイベント候補テーブルは、地域ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生地に基づいてあらかじめ作成し、フラッシュメモリ１９内に記録しておく。

（変形例６）
イベントらしさ（確率）Ｐが判定閾値Ｐthを超えた画像数に応じて、クラスタ（画像ファイルの集合）の標題イベントを決定してもよい。たとえば、イベント候補（「運動会」、「結婚式」、および「花見」）のうち、判定閾値Ｐthを超えた画像数が多い方に対応するイベント候補を当該クラスタの標題イベントとする。

（変形例７）
また、イベントらしさ（確率）Ｐが判定閾値Ｐthを超えた画像数が多いイベント候補を標題イベントと決定する決定方法と、最大Psumに対応するイベント候補を標題イベントと決定する決定方法とを組み合わせてもよい。この場合、いずれか一方の決定方法で優劣がつかなかった場合に、他方の決定方法を用いて判定を行う。たとえば、図１０−図１２の例では、イベント候補「運動会」および「花見」においてイベントらしさ（確率）Ｐが判定閾値Ｐthを超える画像数が同じであって優劣がつかない。そこで、最大Psumに対応するイベント候補「運動会」を当該クラスタの標題イベントとする。

（変形例８）
近接するクラスタ間の時間差が判定閾値Ｔ以下か否かを判定する場合、各クラスタの重心に対応する時間差に基づいて判定してもよい。この場合のメインＣＰＵ１１は、ステップＳ５１（図７）において、一方のクラスタに属する画像群の平均撮影時刻と、他方のクラスタに属する画像群の平均撮影時刻との差が上記Ｔ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。

（変形例９）
変形例２および変形例５の場合には、近接するクラスタ間の距離が判定閾値Ｄ以下か否かを判定する。この場合のメインＣＰＵ１１は、ステップＳ５１（図７）において、一方のクラスタに属する画像群の撮影位置と、他方のクラスタに属する画像群の撮影位置との間の距離のうち最短のものが、上記Ｄ以下の場合にステップＳ５１を肯定判定してステップＳ５２へ進む。同じイベントに対しては、同じエリア内で続けて撮影することが多いので、当該クラスタ同士の標題イベントが同一である可能性が高い場合を検出できる。

変形例９によれば、複数のクラスタのうち、近接するクラスタ間の距離差が判定閾値Ｄ以下であって、かつ当該クラスタ同士の標題イベントが同一の場合に両クラスタが１つに統合される。これにより、撮影位置のみでクラスタリングしたものより、必要以上に細かくクラスタリングされることを避けられ、画像を分類整理する時の意図に沿ったものになる。

（変形例１０）
電子カメラ１内で画像をグルーピングし、その標題を付与する例を説明したが、図２−図８による処理を行う標題付与プログラムを図１４に示すコンピュータ装置１０に実行させることにより、画像の標題付与装置を構成してもよい。標題付与プログラムをパーソナルコンピュータ１０に取込んで使用する場合には、パーソナルコンピュータ１０のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像群の標題付与装置として使用する。

パーソナルコンピュータ１０に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１０にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１０へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。標題付与プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

また、ＡＳＰ（Application Service Provider）のような形態でサーバー側で実行させるようにしてもよい。

（変形例１１）
上述した撮影日時情報、撮影位置情報、撮影条件、および特定被写体の有無に応じたイベント候補の付与について、少なくとも２つを組み合わせることにより、多次元のイベント候補テーブルを備えるように構成してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の一実施の形態による電子カメラ１の要部構成を説明するブロック図である。 メインＣＰＵが実行するグルーピング処理の流れを説明するフローチャートである。 クラスタリング処理を説明するフローチャートである。 画像ごとのイベント判定処理を説明するフローチャートである。 クラスタごとのイベント判定処理を説明するフローチャートである。 回転判定処理を説明するフローチャートである。 クラスタの統合処理を説明するフローチャートである。 代表画像を決める処理を説明するフローチャートである。 イベント候補テーブルを例示する図である。 クラスタに対するイベント判定（運動会）を例示する図である。 クラスタに対するイベント判定（結婚式）を例示する図である。 クラスタに対するイベント判定（花見）を例示する図である。 選択基準情報テーブルを例示する図である。 コンピュータ装置を例示する図である。

符号の説明

１…電子カメラ
１１…メインＣＰＵ
１４…バッファメモリ
１５…表示画像作成回路
１６…液晶モニタ
１７…操作部材
１８…ＧＰＳ装置
１９…フラッシュメモリ
３０…記録媒体

Claims (9)

1. 画像が有する所定の情報に基づいてグループ化された画像群について、所定の特徴情報に関する特徴量を前記画像群を構成する画像ごとに算出する特徴量算出手段と、
   前記特徴情報に関する特徴量に基づいて個々の画像に対する回転の要否を判定する判定手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特徴量算出手段は、前記画像群ごとに異なる特徴情報に関して前記画像ごとの特徴量を算出することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記判定手段は、前記画像群の平均的な特徴量に基づいて前記画像群の標題を決定し、決定した標題に該当する確率情報を前記画像ごとに算出し、前記確率情報が所定値以下の画像に対して回転要を判定することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   画像を回転処理する画像回転手段をさらに備え、
   前記画像回転手段は、前記判定手段によって回転要判定された画像を回転処理することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記特徴量算出手段は、前記画像回転手段による回転後の画像の特徴量をさらに算出し、
   前記判定手段は、前記回転後に算出された特徴量に基づく前記回転後の画像の確率情報が前記所定値以下の画像に対して回転要を再度判定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記画像回転手段は、前記判定手段によって回転要が再度判定された画像を再度回転処理することを特徴とする画像処理装置。
7. 請求項４に記載の画像処理装置において、
   前記画像回転手段は、前記判定手段によって回転要が判定された画像に対し、左９０度、右９０度、および１８０度のうちいずれかの回転処理を行うことを特徴とする画像処理装置。
8. 請求項２に記載の画像処理装置において、
   前記画像群は、撮影日時情報または撮影位置情報に基づいてグループ化されており、
   前記特徴量算出手段は、前記撮影日時情報または撮影位置情報に関連づけられている特徴情報に関する特徴量を算出することを特徴とする画像処理装置。
9. 請求項１〜請求項８のいずれか一項に記載する画像処理装置を備えることを特徴とするカメラ。

Images