JP2009089046A - 画像データ処理方法及び撮影装置 - Google Patents

Abstract

【課題】記録メディアに記憶された画像データと、撮影される画像データとを相互に顔領域の画像データの照合によって分類することで、分類数が制限されることなく、同一人物をグループ化して記憶することで、記憶後の特定の人物の検索作業を簡便化する。
【解決手段】画像データについて、撮影時に撮影被写体に応じてグルーピングを行うため、再生時に所望の画像を探し易くなる。また、人物を撮影する際、ユーザーが対象とする被写体人物は同一人物の場合が多い。このため、１つのデジタルカメラ１０を複数のユーザーが共有するとき、自動的に画像を振り分けて記憶することができる。
【選択図】図３

Description

本発明は、撮像した画像データを記憶媒体に記憶する画像データ処理方法及び撮影装置に関する。

近年、ＤＳＣ（デジタル・スチル・カメラ）を代表とする撮影装置では、記憶媒体（内臓メモリ又は着脱可能な記録メディア）の大容量化に伴い、撮影した画像データを含め、１枚の記録メディアに大量の画像データ（撮影単位としても大量の撮影枚数）が保存可能である。

ここで、撮影装置には撮影した画像を表示再生する表示装置が設けられているのが一般的である。前記大容量記録メディアから、所望の画像データ（所望の画像コマ）を表示装置に表示する場合、最大は記憶されている画像コマ分のコマ送りが必要となる。

また、表示装置では、サムネイル画像として、一度に複数コマ分の画像が表示可能であるものの、少なからず所望の画像を検索するのは煩雑な作業となっている。

これは、ＰＣ（パーソナル・コンピュータ）へ画像データを転送した上でサムネイル画像を表示したとしても同様に検索作業は煩雑となる。

関連技術として、特許文献１には、カメラ撮影時において、予め対象者の画像をメモリ上に登録しておき、本撮影時に、登録人物が被写体画像中に出現した場合には、撮影者に対して案内を行うことが提案されている。特許文献１は、被写体に応じた撮影画像の分類は行っているが、撮影し終え、かつ保存されている画像を対象としていない。

また、特許文献２には、登録した参照画像と撮影画像の人物相関を取ることで、画像の分類を行うことが提案されている。特許文献２は、登録した参照画像を基準とした分類のみであり、所謂分類幅が狭い。

さらに、特許文献３には、撮影画像について、ピントが合っているかどうかの判定を自動で行い、ピントが合っていない場合には、メディアへの記録のする／しないを選択できることが開示されている。特許文献３は、ピントの判定（ピントが合っているか否かの分類）を行っているのみである。
特開２００５−３４１０１７公報 特開２００５−３２３２２７公報 特開２００６−２５３７６１公報

しかしながら、特許文献１〜特許文献３は、それぞれ、被写体に応じた撮影画像の分類、登録した参照画像を基準とした分類、ピントが合っているか否かの分類、を行っているが、いずれにおいても、記録メディアに記憶されている画像データ（画像コマ）の検索のための作業の煩雑さを解消できるものではない。

本発明は上記事実を考慮し、記録メディアに記憶された画像データと、撮影される画像データとを相互に顔領域の画像データの照合によって分類することで、分類数が制限されることなく、同一人物をグループ化して記憶することで、記憶後の特定の人物の検索作業を簡便化することができる画像データ処理方法及び撮影装置を得ることが目的である。

請求項１に記載の発明は、撮像手段により被写体を撮像する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置に用いられ、前記撮像により得た前記被写体の画像データを、記憶媒体に記憶するための画像データ処理方法であって、前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出し、抽出した顔領域の画像データに基づいて、同一性を判別し、判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶すると共に、少なくとも前記同一人物単位でグループ化して、前記記憶媒体に画像データを記憶することを特徴としている。

請求項１記載の発明によれば、最初から決めるのではなく、撮影しながら相互の同一人物を検索しグループ化するため、分類数に制限がなく、記憶媒体への記憶後の特定の人物の検索が容易となる。

請求項２に記載の発明は、前記請求項１に記載の発明において、前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴としている。

請求項２記載の発明によれば、記憶媒体には、撮影装置から着脱可能な記録メディアを含んでおり、例えば、複数の記録メディアが同時に装着されている場合、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶する。この場合、既に記憶されている同一のグループ単位の画像データが、装着された２以上の記録メディアに存在する場合、装着された時点でいずれかに集約する。

請求項３に記載の発明は、撮像手段により被写体を撮像し、当該撮像により得た前記被写体の画像データを、記憶媒体に記憶する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置であって、前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出した顔領域の画像データに基づいて、同一性を判別する判別手段と、前記判別手段で判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶する記憶制御手段と、を有している。

請求項３記載の発明によれば、撮像手段によって被写体が撮像されると、この撮像された被写体の画像データは、記憶媒体に記憶される。

顔領域抽出手段では、記憶媒体に記憶する画像データの中から顔を抽出し、既に記憶されている画像データ、或いは次に撮影されて記憶される画像データとの比較により、同一性を判別する（判別手段）。

この判別手段で判別した結果、同一人物の場合は、それぞれを識別可能な状態で記憶媒体に記憶する。

このように、最初から決めるのではなく、撮影しながら相互に同一性を判別していくため、分類数に制限がなく、記憶媒体への記憶後の特定の人物の検索が容易となる。

請求項４に記載の発明は、前記請求項３に記載の発明において、前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記記憶制御手段では、少なくとも前記同一人物単位でグループ化して、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴としている。

請求項４記載の発明によれば、記憶媒体には、撮影装置から着脱可能な記録メディアを含んでおり、例えば、複数の記録メディアが同時に装着されている場合、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶する。この場合、既に記憶されている同一のグループ単位の画像データが、装着された２以上の記録メディアに存在する場合、装着された時点でいずれかに集約する。

請求項５に記載の発明は、前記請求項４に記載の発明において、前記記憶制御手段が、前記グループを指定することで、前記複数の記録メディア間での切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴としている。

請求項５に記載の発明によれば、例えば、記憶メディアに、以前に撮影、或いは別の撮影装置で撮影、或いはＰＣ等を介して保存された画像データが含まれている場合がある。このとき、当該記録メディア並びに別の記録メディアを装着し、グループを指定することで、画像データ移管処理を実行し、必要に応じて切取、複製、並びに貼付を行うことで、同一人物を単一のグループに集約することができる。

請求項６に記載の発明は、前記請求項４に記載の発明において、前記顔抽出手段による顔抽出処理が、前記撮像手段以外で撮像されて前記記録メディアに記憶された画像データを対象として実行され、前記記憶制御手段が、当該顔抽出により前記同一人物と判断された画像データを集約するように複数の記録メディア間で切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴としている。

請求項６に記載の発明によれば、例えば、撮影装置に撮像手段以外で撮像されて前記複数の記録メディアが装着された場合、自動的に顔抽出により前記同一人物と判断された画像データを集約するように複数の記録メディア間で切取又は複製、並びに貼付を含む画像データ移管処理を実行する。

請求項７に記載の発明は、請求項３に記載の発明〜請求項６のいずれか１項記載の発明において、前記記録メディアには、予め当該記録メディアを優先的に使用する人物の比較照合用の顔領域の画像データが記憶され、前記判別手段が、前記顔抽出手段で抽出された顔領域の画像データと照合することで判別することを特徴としている。

請求項７に記載の発明によれば、記録メディアを優先して使用する人物の顔領域の画像データを照合用として記憶しておくことで、この記録メディアを装着して撮影した場合、少なくとも記録メディアを優先して使用する人物を含む画像データが１つのグループに集約されて記憶されるため、検索が容易となる。

以上説明した如く本発明では、記録メディアに記憶された画像データと、撮影される画像データとを相互に顔領域の画像データの照合によって分類することで、分類数が制限されることなく、同一人物をグループ化して記憶することで、記憶後の特定の人物の検索作業を簡便化することができるという優れた効果を有する。

図１には、本実施の形態に係るデジタルカメラ１０の外観上の構成を示している。

図１（Ａ）に示すように、デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ１２と、撮影する被写体の構図を決定するために用いられるファインダ１４と、撮影時に必要に応じて被写体に照射する光を発するストロボ５４と、が備えられている。また、図１（Ｂ）に示すように、デジタルカメラ１０の上面には、撮影を実行する際に撮影者によって押圧操作されるレリーズボタン（所謂シャッター）１６Ａと、電源スイッチ１６Ｂと、が備えられている。

本実施の形態に係るレリーズボタン１６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

また、本実施の形態に係るデジタルカメラ１０では、レリーズボタン１６Ａを半押し状態にすることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、自動露出）機能が働いて露出状態（シャッタースピード、絞り状態）が設定された後、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

一方、図１（Ｃ）に示すように、デジタルカメラ１０の背面には、前述のファインダ１４の接眼部と、撮影によって得られたデジタル画像データにより示される被写体像や各種メニュー画面、メッセージ等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）１８と、撮影を行うモードである撮影モード及び撮影によって得られたデジタル画像データにより示される被写体像をＬＣＤ１８に表示（再生）するモードである再生モードの何れかのモードに設定するためにスライド操作されるモード切替スイッチ１６Ｃと、ＬＣＤ１８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キーを含んで構成された十字カーソルボタン１６Ｄと、が備えられている。

また、デジタルカメラ１０の背面には、ＬＣＤ１８にメインメニュー画面を表示する際に押圧操作されるメニューキー１６Ｅと、メニュー画面で指定された処理を実行する際に押圧操作される実行キー１６Ｆと、各種操作を中止（キャンセル）する際に押圧操作されるキャンセルキー１６Ｇと、が備えられている。

なお、後述する図２では、レリーズボタン１６Ａ、電源スイッチ１６Ｂ、モード切替スイッチ１６Ｃ、十字カーソルボタン１６Ｄ、メニューキー１６Ｅ、実行キー１６Ｆ、並びに、キャンセルキー１６Ｇを総称して、操作部１６としている。

図２には、本実施の形態に係るデジタルカメラ１０の制御系の構成を示している。

図２に示すように、デジタルカメラ１０は、前述のレンズ１２を含んで構成された光学ユニット２０と、レンズ１２の光軸後方に配設されたＣＣＤ２２と、相関二重サンプリング回路（以下、「ＣＤＳ」という。）２４と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２６と、を含んで構成されており、ＣＣＤ２２の出力端子はＣＤＳ２４の入力端子に、ＣＤＳ２４の出力端子はＡＤＣ１８の入力端子に、各々接続されている。

ここで、ＣＤＳ２４による相関二重サンプリング処理は、固体撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、固体撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理である。

一方、デジタルカメラ１０は、所定容量のラインバッファを内蔵すると共に入力されたデジタル画像データを後述する第２メモリ４４の所定領域に直接記憶させる制御を行う画像入力コントローラ２８と、デジタル画像データに対して各種画像処理を施す画像信号処理回路３０と、所定の圧縮形式でデジタル画像データに圧縮処理を施す一方、圧縮されたデジタル画像データに伸張処理を施す圧縮・伸張処理回路３２と、デジタル画像データにより示される画像やメニュー画面等をＬＣＤ１８に表示させるための信号を生成してＬＣＤ１８に供給するＬＣＤ Ｉ／Ｆ（インタフェース）３４と、を含んで構成されている。なお、画像入力コントローラ２８の入力端子はＡＤＣ２６の出力端子に接続されている。

また、デジタルカメラ１０は、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）３６と、ＡＦ機能を働かせるために必要とされる物理量を検出するＡＦ検出回路３８と、ＡＥ機能及びＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能を働かせるために必要とされる物理量を検出するＡＥ・ＡＷＢ検出回路４０と、ＣＰＵ３６による各種処理の実行時のワークエリア等として用いられるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成された第１メモリ４２と、主として撮影により得られたデジタル画像データを記憶するＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）により構成された第２メモリ４４と、撮像することで得られるデジタル画像データから人物の顔の有無を検出する顔検出回路５２と、を含んで構成されている。なお、この第１のメモリ４２、第２のメモリ４４は、基本的には、揮発性、不揮発性を問わない。

顔検出回路５２は、例えば、予め人物の肌色に対応する輝度信号及び色信号（クロマ信号）の範囲を決定しておき、ＣＣＤ２２による撮像によって得られた被写体象を示すデジタル画像データの各画素の輝度信号及び色信号がその範囲内にあるか否かを判定し、肌色を有する１まとまりの領域を肌色領域として抽出する。色相や彩度の２次元ヒストグラムからクラスターを求め、クラスターの内部構造、形状、接続する外部構造から顔領域を判定する方法などを利用しても良い。

更に、デジタルカメラ１０は、記録メディア４６Ａ、４６Ｂをデジタルカメラ１０でアクセス可能とするためのメディアコントローラ４６と、を含んで構成されている。すなわち、本実施の形態のデジタルカメラ１０は、一度に２枚の記録メディアを装着可能な構成となっている。なお、記録メディア４６Ａ、４６Ｂは不揮発性であり、このことから、前記第１のメモリ４２、第２のメモリ４４とは別に、本発明の記憶媒体に相当する。

以上の画像入力コントローラ２８、画像信号処理回路３０、圧縮・伸張処理回路３２、ＬＣＤ Ｉ／Ｆ３４、ＣＰＵ３６、ＡＦ検出回路３８、ＡＥ・ＡＷＢ検出回路４０、第１メモリ４２、第２メモリ４４及びメディアコントローラ４６、顔検出回路５２は、各々バス（ＢＵＳ）を介して相互に接続されている。

一方、デジタルカメラ１０には、主としてＣＣＤ２２を駆動させるためのタイミング信号を生成してＣＣＤ２２に供給するタイミングジェネレータ４８が設けられている。当該タイミングジェネレータ４８の入力端子はＣＰＵ３６に、出力端子はＣＣＤ２２に各々接続されており、ＣＣＤ２２の駆動は、ＣＰＵ３６によりタイミングジェネレータ４８を介して制御される。

更に、ＣＰＵ３６はモータ駆動部５０の入力端子に接続され、モータ駆動部５０の出力端子は光学ユニット２０に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータに接続されている。

本実施の形態に係る光学ユニット２０に含まれるレンズ１２は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、焦点調整モータ、ズームモータ及び絞り駆動モータは各々ＣＰＵ３６の制御下でモータ駆動部５０から供給された駆動信号によって駆動される。

ＣＰＵ３６は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット２０に含まれるレンズ１２の焦点距離を変化させる。

また、ＣＰＵ３６は、ＣＣＤ２２による撮像によって得られた画像のコントラストが最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ１０では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式を採用している。

更に、前述のレリーズボタン１６Ａ、電源スイッチ１６Ｂ、モード切替スイッチ１６Ｃ、十字カーソルボタン１６Ｄ、メニューキー１６Ｅ、実行キー１６Ｆ及びキャンセルキー１６Ｇを含む操作部１６はＣＰＵ３６に接続されており、ＣＰＵ３６は、これら操作部１６の各々に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ５４とＣＰＵ３６との間に介在されると共に、ＣＰＵ３６の制御によりストロボ５４を発光させるための電力を充電する充電部５６が備えられている。更に、ストロボ５４はＣＰＵ３６にも接続されており、ストロボ５４の発光は、ＣＰＵ３６によって制御される。

なお、光学ユニット２０、ＣＣＤ２２、ＣＤＳ２４、ＡＤＣ２６、画像入力コントローラ２８、タイミングジェネレータ４８、モータ駆動部５０を撮像部６０とする。

ここで、本実施の形態では、前記顔検出回路５２による顔検出結果を以下に示す画像データ分類のための要件として用いるようにしている。
（分類１）
撮影した画像データから顔を抽出し、当該抽出された顔における所定の特徴要素に基づいてサムネイル画像を生成し、記録メディア４６Ａ、４６Ｂに記憶する。このとき、同一人物とされるサムネイル画像の１つを辞書作成用の見出し画像として、第１のメモリ４２に展開する。
（分類２）
撮影した画像データから顔を抽出し、作成された辞書に基づき、一致するサムネイルがある方の記録メディア４６Ａ又は４６Ｂ（記録メディア４６Ａ、４６Ｂの双方に一致するサムネイルがある場合は両方の記録メディア４６Ａ及び４６Ｂ）に記憶する。

図３は、記録メディア４６Ａ、４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての帯状の画像データ領域１００は、サムネイル画像データ領域１０２と、本画像データ領域１０４とで構成されている。サムネイル画像データ領域１０２には、前述したサムネイル画像データが見出し画像として付加されている。

一方、既に撮影し記憶されている画像データを用いて、ＬＣＤ１８へ再生（表示）する場合、撮影時のサムネイル画像データの相関関係情報を基に、図４に示されるように、人物Ａ集、人物Ｂ集、人物Ｃ集、人物Ｄ集、人物Ｅ集、人物Ｆ集・・・の如く、人物見出し画面１０６を表示し、そのいずれかを選択することで、グループ化された画像データを選別されるようになっている。

なお、図４では、人物の選択後、撮影日による撮影日見出し画面１０８を経て、例えば、９コマ毎の該当するサムネイル画像による選択画面１１０が表示されるようになっている。すなわち、再生する画像を階層化された各画面からの選択で絞り込むことが可能となっている。

以下に、本実施の形態の作用を説明する。

光学ユニット２０を通して集光された撮像データがＣＣＤ２２により電気信号に変換され、アナログ→デジタル変換される。デジタル化された画像データは、画像信号処理処理回路３０で色補間され、エンコーダを通してＬＣＤ１８へ表示される。

本実施の形態のデジタルカメラ１０では、顔検出機能（顔検出回路５２）を持ち、スルー画再生中に、人物が検出されたときには、ユーザーに対して検出結果を知らせる。検出の手段としては、ハードウェア、ソフトウェアプログラム処理のいずれであってもよい。

静止画撮影を行う場合、レリーズボタン１６Ａを全押しする。このとき、信号処理された画像データは、ＪＰＥＧ形式で圧縮処理され、記録メディア４６Ａ及び／又は４６Ｂに記憶される。

ここで、本実施の形態では、複数の記録メディア４６Ａ、４６Ｂを備えており、顔検出で撮影された被写体を基に、複数の記録メディア４６Ａ、４６Ｂ内部の画像データを検索し、同一人物が写っている画像の存在する場合は、両方の記録メディア４６Ａ、４６Ｂに保存（記憶）する。

一方、記憶済の画像データから顔の画像データの相関を取る手段としては、図３に示される如く、記憶済のサムネイル画像データ、或いは顔検出機能によりトリミングした顔の画像データを第１のメモリ４２上に展開して辞書を作成する。

撮影時は、検出された顔の画像データと辞書との相関をとるおＫとで、撮影された人物がどちらの記録メディア４６Ａ及び／又は４６Ｂに存在するかを照合し判別する。同一人物と判別された場合には、参照した辞書が存在する記録メディア４６Ａ及び／又は４６Ｂに保存（記憶）する。

再生時は、記録時の相関関係を基に、人物毎にグルーピング分けを行い、図４に示すように階層的に表示することで、検索の容易にすることができる。

（撮影処理）
図５は撮影時の画像データ保存（記憶）のためのルーチンであり、ステップ１１２では、記録メディア４６Ａ又は４６Ｂを選択する。次のステップ１１４では、記録メディア４６Ａ又は４６Bへの人物自動振り分け機能が有効か（オンになっているか）否かが判断され、否定判定された場合には、ステップ１１６へ移行して通常の撮影処理を実行してこのルーチンは終了する。

前記ステップ１１４で肯定判定されると、ステップ１１８へ移行して各記録メディア４６Ａ及び４６Ｂ上の顔画像データを第１のメモリ４２へ転送する。

次のステップ１２０では、第１のメモリ４２に、各記録メディア４６Ａ、４６Ｂの辞書を作成し、次いで、ステップ１２２でスルー画像データ中の顔画像を検出し、ＬＣＤ１８に枠表示する。

次のステップ１２４では、本撮影処理を実行する。本撮影処理は、レリーズボタン１６Ａを全押しすれば撮影実行、半押しすればフォーカース等の固定、電源オフされれば上記ステップ１１２〜１２２の処理かキャンセルされる。このステップ１２４でレリーズボタン１６Ａを全押し、すなわち、本撮影処理が実行されると、ステップ１２６へ移行して顔画像を記録メディア４６Ａ、４６Ｂのデータベースとの相関比較を実行する。

次のステップ１２８では、撮影した画像データに顔画像があるか否かが判断される。このステップ１２８で肯定判定されると、ステップ１３０へ移行して、当該顔画像が記録メディア４６Ａに既に記憶されている人物と一致するか否かが判断される。また、このステップ１３２で否定判定されると、顔画像が記録メディア４６Ａに既に記憶されている人物と一致するか否かが判断される。

このステップ１３０、１３２の比較により、（Ａ）顔画像が記録メディア４６Ａに存在する（ステップ１３４へ移行）、（Ｂ）顔画像が記録メディア４６Ｂに存在する（ステップ１３６へ移行）、（Ｃ）顔画像が記録メディア４６Ａ、４６Ｂの何れにも存在しない（ステップ１３８へ移行）の３種類の結果を得ることができる。

（Ａ）ステップ１３６では、一致した顔画像のグループ属性を画像データ、又は記録メディアＡのテーブルに付加し、次いでステップ１４０へ移行して記録メディアＡに撮影画像データを保存（記憶）し、このルーチンは終了する。

（Ｂ）ステップ１３８では、一致した顔画像のグループ属性を画像データ、又は記録メディアＢのテーブルに付加し、次いでステップ１４２へ移行して記録メディアＢに撮影画像データを保存（記憶）し、このルーチンは終了する。

（Ｃ） ステップ１３８では、新規の人物画像を含んだデータとしてグループ属性を何れかの記録メディア４６Ａ及び／又は４６Ｂに登録し、次いでステップ１４４へ移行して記憶メディア４６Ａ及び／又は記録メディア４６Ｂに撮影画像を保存（記憶）し、このルーチンは終了する。

なお、前記ステップ１２８で否定判定された場合には、ステップ１４４へ移行する。

（再生処理）
次に、図６は再生時の画像データの検索のためのルーチンであり、ステップ１５０では、記録メディア４６Ａ又は４６Ｂを選択し、次いでステップ１５２へ移行して記録メディア４６Ａ又は４６Ｂに記憶されている画像データのサムネイル画像（顔画像でもよい）を第１のメモリ４２へ転送（ロード）する。

次のステップ１５４では、人物毎の表示である人物見出し画面１０６を表示し、そのいずれかを選択する（ステップ１５６）。

次のステップ１５８では、人物の選択後、撮影日による撮影日見出し画面１０８を表示し、その何れかを選択する（ステップ１６０）。

次のステップ１６２では、選択した人物、撮影日の画像を、例えば、９コマ毎の該当するサムネイル画像による選択画面１１０を表示し、その何れかを選択する（ステップ１６４）。これにより、再生する画像を階層化された各画面からの選択で絞り込むことができ、所望の画像を迅速にＬＣＤ１８に表示することができる（ステップ１６６）。

以上説明したように本実施の形態では、画像データについて、撮影時に撮影被写体に応じてグルーピングを行うため、再生時に所望の画像を探し易くなる。また、人物を撮影する際、ユーザーが対象とする被写体人物は同一人物の場合が多い。このため、１つのデジタルカメラ１０を複数のユーザーが共有するとき、自動的に画像を振り分けて記憶することができる。

以下に本実施の形態における変形例を示す。

（変形例１）
変形例１では、２個の記録メディア４６Ａ、４６Ｂ間での相互の人物の自動振分け機能を持たせている。この自動振り分け機能は、ユーザーによる選択（オン／オフ）が可能である。自動振り分け機能がオンされると、装着されている２個の記録メディア４６Ａ、４６Ｂのそれぞれから、サムネイル画像データに基づく辞書が作成され、双方の相関関係を検証し、同一人物を、一方の記録メディア４６Ａ又は４６Ｂに集結するべく、複製（又は切取）及び貼付を実行するようになっている。

図７は、記録メディア４６Ａ、４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての画像データ領域２００は、サムネイル画像データ領域２０２と、本画像データ領域２０４とで構成されている。サムネイル画像データ領域２０２には、前述したサムネイル画像データが見出し画像として付加されている。

ここで、各記録メディア４６Ａ及び４６Ｂのそれぞれのサムネイル画像を照合（相関比較）する。ここで、人物１（図７では、丸付数字）は、双方の記録メディア４６Ａ、４６Ｂに存在するものとする。

このとき、図７に示される如く、例えば、ＬＣＤ１８に表示した画像が記録メディア４６Ａの上から３列目の人物１（図７で矢印Ａで示した画像データ）である場合に、これを記録メディア４６Ｂにコピーするか否かをユーザーに委ねる表示を行う。

この変形例１における処理の流れを、図８のフローチャートに従い説明する。

ステップ２０６では記録メディア４６Ａ（図８では、「メディアＡ」とする。）の画像をＬＣＤ１８に再生表示する。次のステップ２０８では、特定のサムネイル画像（又は顔画像）を選択し、次いでステップ２１０へ移行して記録メディア４６Ｂ上に含まれる選択画像の人物を含む画像を記録メディア４６Ａにコピーアンドペースト（複製→貼付）することを決定し、ステップ２１２へ移行する。

ステップ２１２では、記録メディア４６Ｂ（図８では、「メディアＢ」とする。）のサムネイル画像（又は顔画像）を第１のメモリ４２にロード（転送）し、次いでステップ２１４では選択画像と、ロードした画像について顔の画像データを相関比較してステップ２１６へ移行する。

ステップ２１６では、同一人物と一致したか否かが判断され、肯定判定されるとステップ２１８へ移行してロード（転送）した画像のデータを記録メディア４６Ｂから記録メディア４６Ａへコピーして、ステップ２２０へ移行する。また、ステップ２１６で否定判定された場合はステップ２２０へ移行する。

ステップ２２０では、記録メディア４６Ａの全ての画像データについてチェックしたか否かが判断され、否定判定されるとステップ２１２へ戻り、上記工程を繰り返す。また、ステップ２２０で肯定判定されると、このルーチンは終了する。上記図８のフローチャートにおいて、記録メディア４６Ｂから記憶メディア４６Ａへのコピーの例を挙げたが、その逆であってもよい。

なお、同一人物を何れかの記録メディア４６Ａ又は４６Ｂに自動的に集約するようにしてもよい。この場合の処理の流れを図９のフローチャートに従い説明する。

ステップ２０６Ａでは記録メディア４６Ａの画像をＬＣＤ１８に再生表示する。次のステップ２０８Ａでは、特定のサムネイル画像（又は顔画像）を選択し、次いでステップ２１０Ａへ移行して記録メディア４６Ｂ（図９では、「メディアＢ」とする。）上に含まれる選択画像の人物を含む画像を記録メディア４６Ａ（図９では、「メディアＡ」とする。）にコピーアンドペースト（複製→貼付）することを決定し、ステップ２１２Ａへ移行する。

ステップ２１２Ａでは、記録メディア４６Ｂのサムネイル画像（又は顔画像）を第１のメモリ４２にロード（転送）し、次いでステップ２１４Ａでは選択画像と、ロードした画像について顔の画像データを相関比較してステップ２１６Ａへ移行する。

ステップ２１６Ａでは、同一人物と一致したか否かが判断され、肯定判定されるとステップ２２２へ移行して一致した記録メディア４６Ｂ上の画像と同一人物と分類される画像を全て記録メディア４６Ａにコピーして、このルーチンは終了する。

また、前記ステップ２１６Ａで否定判定されると、ステップ２２４へ移行し、第１のメモリ４２の全ての画像についてチェックしたか否かが判断され、否定判定されるとステップ２１２Ａへ戻り、上記工程を繰り返す。また、ステップ２２４で肯定判定されると、このルーチンは終了する。上記図９のフローチャートにおいて、記録メディア４６Ｂから記憶メディア４６Ａへのコピーの例を挙げたが、その逆であってもよい。

（変形例２）
同一人物であっても、顔の傾き、光源の光量差、色あい等が異なる、同一人物として判定された場合があるため、同一人物と判定された複数のサムネイル画像（例えば、図１０（Ａ）〜（Ｃ）に示すような、正面正立画像２５０、左傾斜画像２５２、右傾斜画像２５４を辞書とすることも可能である。

図１１は、記録メディア４６Ａ又は４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての画像データ領域２５６は、サムネイル画像データ領域２５８と、本画像データ領域２６０とで構成されている。サムネイル画像データ領域２５８には、前述したサムネイル画像データが見出し画像として付加されている。

画像１（図１１では、丸付数字）の画像データが既に記憶されている状態で、同一人物（例えば、図１２に示す、記録メディア４６Ａ（図１２では、メディアＡ」とする）に保存されている画像の人物Ａ）に分類される画像１２、１３（図１１では、丸付数字）の画像データを記憶するとき、すでに画像１（図１１では、丸付数字）のサムネイル画像が辞書として適用されているが、図１０（Ａ）〜（Ｃ）のような異なるポーズの場合に、複数のサムネイル画像を１つのグループの顔相関照合用に用いる。

以下、この変形例による処理の流れを、図１３及び図１４のフローチャートに従い説明する。

図１３は、顔相関用画像登録モードであり、ステップ２６２では記録メディア４６Ａ（又は４６Ｂ）を選択し、次いでステップ２６４で人物Ａ（図１２参照）を選択し、ステップ２６６へ移行して顔画像を含む被写体を作成すると、当該顔画像データが人物Ａの相関用画像として登録される（ステップ２６８）。

次のステップ２７０では、顔相関用画像撮影は終了したか否かが判断され、否定判定されると、ステップ２６６へ移行して上記工程を繰り返す。また、ステップ２７０で肯定判定されるとこのルーチンは終了する。

図１４は、記録メディア４６Ａ（図１４のフローチャートでは、「メディアＡ」とする）の人物Ａの画像を再生表示するモードの説明であり、ステップ２７９で記録メディア４６Ａに記憶されている人物Ａの画像を再生表示し、次いでステップ２８０では、記録メディア４６Ｂ（図１４のフローチャートでは、「メディアＢ」とする）上に含まれる、人物Ａの画像を含む画像データを記録メディア４６Ａにコピーすることを決定し、次いでステップ２８２へ移行して記録メディア４６Ａの人物Ａの顔相関用画像を第１のメモリ４２にロード（転送）してステップ２８４へ移行する。

ステップ２８４では、記録メディア４６Ｂの中の縮小画像又はサムネイル画像を第１のメモリ４２にロード（転送）し、ステップ２８６へ移行する。

ステップ２８６では、記録メディア４６Ａの人物Ａの相関画像全てと、記録メディア４６Ｂからロードした画像について顔の画像データを相関比較する。

次のステップ２８８では、同一人物として一致したか否かが判断され、肯定判定されると、ステップ２９０へ移行して一致した画像について記録メディア４６Ｂから記録メディア４６Ａにコピーアンドペースト（複製→貼付）し、ステップ２９２へ移行する。また、ステップ２８８で否定判定されると、ステップ２９２へ移行する。

ステップ２９２では、記録メディア４６Ｂについて全ての画像についてチェック済か否かが判断され、否定判定された場合はステップ２８４へ戻り上記工程を繰り返す。また、ステップ２９２で肯定判定された場合には、このルーチンは終了する。なお、図１４は、記録メディア４６Ａの人物Ａの画像を再生表示するモードを説明したが、他の記録メディア４６Ｂであってもよい、また、他の人物（Ａ以外）であってもよい。

本実施の形態に係り、（Ａ）はデジタルカメラの正面、（Ｂ）はデジタルカメラの上面、（Ｃ）はデジタルカメラの背面、を示す概観図である。 本実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 本実施の形態に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。 ＬＣＤ画面と、このＬＣＤへの階層的な表示形態を示す画像の正面図である。 本実施の形態に係り、撮影時の画像データ保存（記憶）のためのルーチンを示す制御フローチャートである。 本実施の形態に係り、再生時の画像データの検索のためのルールーチンを示す制御フローチャートである。 変形例１に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。 変形例１に係り、特定顔画像を含む画像データのコピーのためのルールーチンを示す制御フローチャートである。 変形例１に係り、全ての顔画像を含む画像データのコピーのためのルールーチンを示す制御フローチャートである。 変形例２に係り、同一人物の辞書候補となる顔画像の正面図である。 変形例２に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。 変形例２に係り、グルーピングの階層形態を示す概念図である。 変形例２に係り、顔相関用画像登録モードを示す制御フローチャートである。 変形例２に係り、記録メディアの特定の人物の画像を再生表示するモードを示す制御フローチャートである。

符号の説明

１０ デジタルカメラ（撮影装置）
１２ レンズ
１４ ファインダ
１６ 操作部
１８ ＬＣＤ
２０ 光学ユニット
２２ ＣＣＤ
３４ ＬＣＤ Ｉ／Ｆ
３６ ＣＰＵ（判別手段、記憶制御手段）
４２ 第１メモリ
４６Ａ 第１の記録メディア（記憶媒体）
４６Ｂ 第２の記録メディア（記憶媒体）
５２ 顔検出回路（顔抽出手段）
６０ 撮像部
１００ 画像データ領域
１０２ サムネイル画像データ領域
１０４ 本画像データ領域
１０６ 人物見出し画面
１０８ 撮影日見出し画面

Claims (7)

1. 撮像手段により被写体を撮像する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置に用いられ、前記撮像により得た前記被写体の画像データを記憶媒体に記憶するための画像データ処理方法であって、
   前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出し、
   抽出した顔領域の画像データに基づいて、同一性を判別し、
   判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶すると共に、
   少なくとも前記同一人物単位でグループ化して、前記記憶媒体に画像データを記憶することを特徴とする画像データ処理方法。
2. 前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴とする請求項１記載の撮影装置。
3. 撮像手段により被写体を撮像し、当該撮像により得た前記被写体の画像データを、記憶媒体に記憶する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置であって、
   前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段により抽出した顔領域の画像データに基づいて、同一性を判別する判別手段と、
   前記判別手段で判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶する記憶制御手段と、
   を有する撮影装置。
4. 前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記記憶制御手段では、少なくとも前記同一人物単位でグループ化して、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴とする請求項３記載の撮影装置。
5. 前記記憶制御手段が、前記グループを指定することで、前記複数の記録メディア間での切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴とする請求項４記載の撮影装置。
6. 前記顔抽出手段による顔抽出処理が、前記撮像手段以外で撮像されて前記記録メディアに記憶された画像データを対象として実行され、前記記憶制御手段が、当該顔抽出により前記同一人物と判断された画像データを集約するように複数の記録メディア間で切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴とする請求項４記載の撮影装置。
7. 前記記録メディアには、予め当該記録メディアを優先的に使用する人物の比較照合用の顔領域の画像データが記憶され、前記判別手段が、前記顔抽出手段で抽出された顔領域の画像データと照合することで判別することを特徴とする請求項３〜請求項６の何れか１項記載の撮影装置。

Images