JP2009059042A - 画像取扱装置、画像取扱方法および画像取扱のためのプログラム - Google Patents

Abstract

【課題】一緒に写っている写真を利用して、人物等が誰かを類推することが可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムを提供する。
【解決手段】画像データを記録する記録部４を有し、ここに記録された画像５１を指定すると、顔検出部５によって画像５１の人物の顔を検出し、類似検出部１１は画像５１の人物の顔と類似する顔画像のある画像データの検出を行う。これによって、画像５１の人物と一緒に写っている画像を検索でき、検索された画像５２、５３、５４は、画像５１と並べて表示部８に表示される。これによって画像５１の人間関係を類推することができる。
【選択図】 図１

Description

本発明は、撮影された人物画像を、他の画像を利用して特定するため画像取扱装置及び画像取扱方法に関し、詳しくは、撮影された人物等が誰と一緒に撮影されているかを判定することによって、人と人の関係等を類推して、被写体の人間関係よりその人を特定することの可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムに関する。

近年、デジタルカメラが扱えるメモリ容量が大きくなる傾向にあり、数年分もの画像が、カメラ内部に蓄積可能となっている。また、デジタル化された画像は、インターネットなどを介して、外部に出力することもでき、逆に、外部から画像を取得して、様々な用途に利用することも可能となっている。

こうした状況下においては、自分が扱える画像が無数にあることから、関連する画像のみを集めて楽しむことが、困難になっている。また、撮影した画像を他者に送信したりするときにも、撮影画像の関係者の特定は重要である。つまり、一緒の写真に写ったことがある人は、その人と面識があると考えられ、送信先の候補となり得る。

さらに、親戚の家で昔のアルバムなどを見ていると、誰が誰だかわからないので、自分との親戚関係を特定したい場合がある。この場合、写真が若い頃の顔だと分からないことがあり、自分との関係が分からずに親近感が持てないことが多い。しかし、写真に写っているのは、実は祖父の妹だったことが分かると、とたんに親近感を覚えることが多い。また、写真撮影を行った際に、被写体の交友関係がわからず、それを誰に見せてよいか分からない場合がある。

このように、写真に登場する人物が分からなかったり、また、関係者に画像を見せようと思っても、その関係者が分からないことが多かった。そこで、無数にある画像の中から、関連画像を特定し、その関連画像から類推することが考えられる。関連画像を判定する技術として、例えば、特許文献１には、画像信号から顔の特徴点に基づいて登録されている人物との一致度を判定する電子カメラが提案されている。
特開２００７−１５０６０４号公報

特許文献１に開示された電子カメラの場合、撮影画像と一致する登場人物を検索することは可能である。しかし、一緒に撮影されている人物等から、その写真の登場人物等が誰かを類推していくことができない。

本願発明は、このような事情を鑑みてなされたものであり、一緒に写っている写真を利用して、人物等が誰かを類推し、人と人との関係に思いを馳せることが可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像取扱装置は、第１の画像に含まれる第１の人物の顔を検出する顔検出部と、前記顔検出部によって検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する画像検索部と、前記第１の画像と前記第２の画像を並べて表示する表示部を備える。

第２の発明に係わる画像取扱装置は、上記第１の発明において、前記画像取扱装置は、前記第１の人物の顔の変化パターンを検出する顔パターン検出部をさらに備え、前記画像検索部は前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する。
また、第３の発明に係わる画像取扱装置は、上記第２の発明において、前記顔パターン検出部は、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出する。

さらに、第４の発明に係わる画像取扱装置は、上記第１の発明において、前記画像検索部によって検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信する送信部をさらに備える。
さらに、第５の発明に係わる画像取扱装置は、上記第１の発明において、前記画像検索部は、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索するものであり、前記表示部は前記第１の画像、前記第２の画像、及び前記第３の画像を表示する。

上記目的を達成するため第６の発明に係わる画像取扱方法は、第１の画像に含まれる第１の人物の顔を検出し、前記検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、前記第１の画像と前記第２の画像を表示部に並べて表示する。

上記目的を達成するため第７の発明に係わる画像取扱装置は、画像を記録する画像記録部と、第１の人物が含まれる第１の画像を指定する画像指定部と、この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、前記画像記録部に記録された前記画像の中から検索する画像検索部と、前記第１の画像および第２の画像を表示する表示部を備える。

上記目的を達成するため第８の発明に係わる画像取扱装置は、第１の人物が含まれる第１の画像を指定する画像指定部と、この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、外部の記録部に記録されている画像の中から検索するために顔特徴信号を送信し、前記第２の画像を受信する通信部と、前記第１の画像、および前記通信部を介して受信する前記第２の画像を表示する表示部を備える。

上記目的を達成するため第９の発明に係わる画像取扱装置は、画像を記録する画像記録部と、前記画像に添付されている撮影時間情報に基づいて、同一時間帯に撮影された画像を検出する検出手段と、前記検出された画像の中で、同じ衣服を着用している人物か否か判定し、この判定に基づいて、同一人物を検索する検索手段を具備し、前記検索手段によって検索された人物を含む画像に基づいて画像データベースを作成する。

上記目的を達成するため第１０の発明に係わる画像取扱のためのプログラムは、第１の画像に含まれる第１の人物の特徴を検出し、前記検出された特徴を利用して、画像記録部に記録されている画像の中から、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、前記第１の画像と前記第２の画像を表示部に表示する。

第１１の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記特徴は、第１の人物の顔である。
また、第１２の発明に係わる画像取扱のためのプログラムは、上記第１１の発明において、前記第１の人物の顔の変化パターンを検出し、前記第２の画像の検索にあたっては、前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する。
さらに、第１３の発明に係わる画像取扱のためのプログラムは、上記第１２の発明において、顔の変化パターンの検出にあたっては、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出する。

さらに、第１４の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信する。
さらに、第１５の発明に係わる画像取扱のためのプログラムは、上記第１０の発明において、前記第２の画像の検索に引き続き、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索し、前記第１の画像、前記第２の画像、及び前記第３の画像を表示する。

本発明によれば、一緒に写っている写真を利用して、人物等が誰かを類推し、人と人との関係に思いを馳せることが可能な画像取扱装置、画像取扱方法および画像取扱のためのプログラムを提供することができる。

以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態に係るデジタルカメラは、概略、レリーズ釦の操作に応じて、撮像素子で取得した被写体像の画像データを記録媒体に記録可能である。また、デジタルカメラ内には、被写体画像の顔を検出する機能があり、さらに、若い頃の画像を生成する機能も有する。そして、記録部に記録されている多数の画像データから、検出された顔（場合によって若返させた画像）に類似する画像を検索する機能を有している。なお、記録されている画像のほか、インターネット網を通じて外部のサーバーに蓄積されている画像の中から検索することも可能としている。

以下、第１実施形態に係わるデジタルカメラについて詳述する。図１（Ａ）は、本発明の第１実施形態に係わるデジタルカメラ１０のブロック図である。カメラ１０の内部には、制御部１、撮像部２、レンズ判定部３、記録部４、画像データベース４ｂ、顔検出部５、操作判定部６、年齢処理部７、表示部８、時計部９、類似検出部１１、通信部１４が設けられている。

制御部１は、ＭＰＵ（Micro Processing Unit）等によって構成され、前述の撮像部２〜通信部１４等の各部と接続されており、これら各部から信号を入力すると共に制御信号を出力し、カメラ１０全体を制御する。撮像部２は、被写体像を結像するための撮影レンズを有し、この撮影レンズによって結像された被写体像を光電変換し、画像信号を出力する。

レンズ判定部３は、撮影レンズのズーム位置（焦点距離、ズーム倍率）やピント位置（被写体距離）を判定可能であり、ここで判定されたズーム位置やピント位置の情報は、撮影画像データを記録する際に、併せて記録可能である。また、撮影レンズのピント合わせのための焦点状態の判定も行う。時計部９は、日時を計測する時計であり、記録部４に撮影画像データを記録する際に併せて、この日時情報（時刻情報）の記録が可能である。

記録部４は、撮像部２によって出力される画像信号に基づく画像データを圧縮処理して記録メディアに記録する。記録部４内の画像データベース４ｂは、記録されている人物名と顔の情報を対応付けしたデータベースである。画像データベース４ｂは、例えば、図１（Ｂ）のように、誰の顔がどの写真にあるかを、マニュアルで入力してある。図１（Ｂ）の例では、Ｘさんについては、写真Ｍ（写真の識別番号であり、数字等で表しても良い）のＡ部（例えば、左上とか右下等の位置を示す。座標で位置を示すようにしてもよい）や、写真ＮのＢ部に写っていることを表している。

また、顔検出部５は、画像の中の、人間の顔特有の陰影を抽出して、撮影画像が顔を含むか、また含むとしたら、画像のどの部分にあるかを判定する。制御部１内の類似検出部１１は、顔検出部５によって検出された顔のパターンと、記録部４内の画像データベース４ｂに記録されている顔のパターンとを比較して、その顔が誰の顔であるか、すなわち、被写体が誰であるかを判定する。

操作判定部６は、カメラ１０に設けられている、操作スイッチ、操作ダイヤル等の操作部材の状態を検出し、操作状態を判定する。カメラをユーザーが操作すると、操作判定部６は操作状態を検出し、その結果に応じた撮影や再生の制御を、制御部１が行う。また、年齢処理部７は、画像中に写っている人物に対して、年齢が若いときの表情となるように、目元や口元等に対して年齢処理を行う。

表示部８は、カメラ１０の背面に設けられており、撮像部２から出力された画像データに基づいて被写体像を動画像としてライブビュー表示し、撮影時のファインダ代わりに利用することができる。また、再生釦等の操作に応じて、記録部４の記録メディアに記録されている画像データを読出し、伸張処理した後、表示部８に表示する。さらに、表示部８は、後述するように、撮影画像に写っている人物の関係を表示する。通信部１４は、ホットスポット等において、インターネット網１５を介して、外部サーバー２２、他のユーザー２３、外部記録２１と、顔特徴信号２０や画像データ等の送受信を行う。

前述の制御部１は、上述の出力を有効利用して、画像を分類することができる。ここで、分類とは、撮影画像に誰が写っているかという分類であり、総ての人の顔データを画像データベース４ｂに持たせるわけには行かないので、本実施形態においては、どの人とどの人が、交友関係にあるかを、調べることによって、その被写体の人物を判定するようにしている。

つまり、検索対象の人物が写っている画像を指定すると（例えば、図１の画像５１）、制御部１（類似検出部１１も含む）は、その人が誰と一緒に写っているかを判定し、指定したＡさんの画像５１に対して、Ａさんが写っているが、他の人も写っている画像５２、５３、５４を、順次、検索して表示する。

この表示から、Ａさんが、どのような交友関係にあるかを一目で分かる。ユーザーは、この表示から、いろいろな人のことを思い出して、思いを馳せることが可能となる。指定した人物は（図１（Ａ）ではＡさん）、表情や顔の角度によって、別人に見えることがあるので、図１（Ａ）の画像５１のように、複数の画像を指定した方が、検出精度は上がる。

カメラ内の記録部４に記録された画像では、類似画像が検索されない場合には、カメラ外部の外部記録部２１に記録されている画像までも検索してもよい。また、外部サーバー２２に顔特徴信号２０を出力して、検索の一部またはすべてを手伝わせても良い。もちろん、表示部８に示したような検索結果を、外部ユーザー２３が閲覧できるようにし、ユーザー間で楽しむことができるようにしても良い。このようにして検索できた画像を用いて、この画像を楽しむ仲間を決めることができる。

次に、制御部１によって行われる関係者検索の表示について、図２のフローチャートを用いて説明する。まず、関係者検索を行いたい人物（例えば、Ａさん）等の画像を指定する（Ｓ１）。このステップから、人物（Ａさん）の交友関係を探す検索を行う準備を、ユーザーに行わせる。ここでの指定では、１枚の画像でもよいが、図１の画像５１のように、複数選択することにより検索精度を高めることができる。続いて、顔検索を開始する（Ｓ２）。すなわち、ステップＳ１において指定された顔の画像と類似する画像を、記録部４に記録されている画像データや、また、場合によっては外部記録部２１に記録されている画像データの中から検索する。

次に、記録部４や外部記録部２に記録されている全て顔の画像について、人物（例えば、Ａさん）の顔と類似する画像があるか否かについて検索が終了したかを判定する（Ｓ３）。判定の結果、全ての画像データについて検索が終了していない場合には、検索を続行し、同じ顔の有る画像が存在するか否かの判定を行う（Ｓ１１）。判定の結果、同じ顔のある画像が存在しない場合には、ステップＳ３に戻り、例えばＡさんのある画像の検索を続行する。

ステップＳ１１における判定の結果、同じ顔（例えば、Ａさん）のある画像が有った場合には、続いて、その画像の中に複数の人物が写っているかを判定する（Ｓ１２）。判定の結果、その人物（例えばＡさん）しか写っていない場合には、ステップＳ１４にジャンプし、一方、複数人の人物が写っている画像の場合には、検索対象の人物（例えば、Ａさん）の隣に写っている顔の画像を仮記憶する（Ｓ１３）。

隣の人物の顔を仮記憶すると、次に、この隣の人物の写っている画像（ステップＳ１２からジャンプしてきた場合には、その画像）を仮記憶する（Ｓ１４）。仮記憶が終わると、ステップＳ３に戻り、上述のステップを繰り返す。これらのステップを繰り返すことにより、ステップＳ１で指定された人物の顔が写っている画像を検索し、その画像を仮記憶するとともに、人物の隣に写っている顔を仮記憶することができる。なお、ステップＳ１３における隣の顔は、直接、隣の人物に限らず、その画像内に写っている顔も仮記憶するようにしてもよい。

ステップＳ３における判定の結果、顔の検索が終了すると、すなわち、検索対象人物（例えば、Ａさん）の写っている画像で、他の人物も写っている画像を探し終わると、次に、それらの画像から代表画像を選出する準備に入る（Ｓ４）。代表画像は、ステップＳ１４で仮記憶していた画像データから、ステップＳ１３の顔データを利用し、隣の人物が同じ人物の場合、その中から、代表画像を選ぶようにする。

代表画像判定を開始すると（Ｓ４）、まず、ステップＳ１４で仮記憶された画像ごとに、顔の大きさで重み付け（適度な大きさが高得点）を行い（Ｓ５）、続いて、画像ごとに表情で重み付け（笑顔ほど高得点）を行い（Ｓ６）、そして、対象となる顔が画面中央に近いものほど高得点になるような重み付けを行う（Ｓ７）。この後、ステップＳ５〜Ｓ７を繰り返し行い、これらのステップで付けられた得点の合計に基づいて、同じ人物が写っている中から代表画像を選択する（Ｓ８）。ここで選択された代表画像は、後述するステップＳ１０において、代表画像５２（図１参照）として表示される。

ステップＳ８において代表画像を選定すると、続いて、全ての代表画像の選定が終了したかを判定する（Ｓ９）。すなわち、ステップＳ１３において、仮記憶されている顔の中で同じ顔が他にもある場合には、次の顔について、ステップＳ４〜Ｓ８を繰り返すことにより、次の顔について代表画像を選定する。選定された代表画像は、後述するステップＳ１０において、代表画像５３（図１参照）として表示される。図１に示した例では、検索対象の人物（画像５１で表示）と関係のある人物は３人おり、代表画像５２、５３、５４として表示される。

ステップＳ９において、全代表画像の選定が終わったと判定されると、代表画像５２、５３、５４を表示部８に並べて表示する。もちろん、検索される都度、その画像を未整理で、表示していくような表示方法でもよいが、図１に示した例では、交友関係を整理して表示している。ただし、総ての検索を終了するまで表示が始まらないので、待ちきれないユーザーもいることから、検索の都度、表示を行うようにしてもよい。

このように本発明の第１実施形態においては、検索対象となる人物（図１の代表画像５１）と一緒に写っている人物の代表画像５２、５３、５４を並べて表示するようにしている。このため、検索対象となった人物の交友関係等が一目で分かる。また、仮に、検索対象の人物が面識のない人物（画像５１の人物）であっても、代表画像５２、５３、５４に表示される人物と面識があれば、これらの関係から検索対象の人物を特定することが可能となる。

次に、本発明の第２実施形態について、図３および図４を用いて説明する。第２実施形態は、第１実施形態で得た検索対象人物との交友関係を利用して、撮影画像を鑑賞するのに相応しい相手先に画像データの送信を行うものである。本実施形態に係わるデジタルカメラ１０は第１実施形態と同様であるので、その説明は省略し、その動作と表示部８における表示方法を中心に説明する。

デジタルカメラ１０がパワーオンリセットすると、通常の撮影動作を行う（Ｓ３１）。この撮影動作では、表示部８におけるライブビュー表示によって被写体のフレーミングを行い、レリーズ釦の操作状態を操作判定部６によって判定し、レリーズ釦の全押しがなされた場合には、撮像部２によって取得した画像データを記録部４に記録する。

続いて、記録部４に記録された画像データに写っている人物（例えば、Ａさん）の顔と類似の画像の検索を行う（Ｓ３２）。すなわち、Ａさんが写っている画像を検索する。次に、検索された画像について、複数の人物の顔が写っている写真か否かの判定を行う（Ｓ３３）。判定の結果、複数の顔が写っている写真ではない場合には、ステップＳ３１に戻る。

上述のステップＳ３２およびステップＳ３３は、第１実施形態における関係者検索のフロー（図２）を適用すればよい。ただし、図２に示したフローにおいては、代表画像を表示していたが、このステップは不要である。ステップＳ３３における判定の結果、Ａさんと類似の顔が存在する画像の中に複数の顔が写っている場合には、もう一人の顔の画像を抽出する（Ｓ３４）。

次に、抽出された顔について、画像データベース４ｂに登録されているか否かを判定する（Ｓ３５）。すなわち、Ａさん以外のもう一人の顔が検出され、その人物の顔画像が、図１（Ｂ）に示すデータベース（画像データベース４ｂに対応）に登録されているか否かを判定する。判定の結果、登録されていた場合には、登録されている人物（図１（Ｂ）におけるＸさんやＹさん）に、画像送信の候補として記録する（Ｓ３６）。

この後、図示されていないが、ユーザーの選択により、Ａさんの写っている画像を、送信先の候補として挙げられた相手先に送信すれば、相手先は送信者と共にＡさんの近況を楽しむことができる。このとき、画像データベース４ｂにメールアドレスも記述されていれば、わざわざ、送信先は誰と誰かを、考えなくとも、コミュニティのようなものを形成して、その輪の中で楽しむことが可能となる。

例えば、被写体１２（Ａさん）の画像を撮影した場合、Ａさんを知っている人なら、画像を見て楽しめるが、Ａさんを知らない人では、誰の写真かも分からず楽しむことができない。そこで、本実施形態においては、Ａさんの交友関係を、撮影済み画像（記録部４に記録）や、公開されている画像データベース（外部記録部２１に記録）から割り出し、これを表示部８に表示するようにしている。

つまり、Ａさん（画像５５参照）と一緒に写ったことのあるＸさん（画像５６、画像５８参照）、Ｙさん（画像５７、画像５９参照）なら、Ａさんのことを知っているはずであり、Ａさんの近況を伝えて喜ばれると考えて、本実施形態においては、その人たちにＡさんの画像を送信することを可能にしている。

次に、本発明の第３実施形態について図５乃至図８を用いて説明する。本発明の第１および第２実施形態においては、検索対象の人物と一緒に写っている人物等の検索を行っていたが、第３実施形態においては、検索対象の人物と一緒に写っている人物に限らず、写っていた人物と一緒に写っている人物等、連鎖的に関係者を検索するようにしている。また、第３実施形態においては、顔画像に対して年齢処理を行うことにより、世代を超えた検索ができるようにようしている。本実施形態に係わるデジタルカメラ１０は第１実施形態と同様であるので、その詳しい説明は省略し、その動作と表示部８における表示方法を中心に説明する。なお、図５に示すフローチャートは、制御部１（図１参照）によって実行される。

まず、ステップＳ１と同様に、関係者検索を行いたい人物（例えば、Ａさん）等の画像５１（図６参照）を指定する（Ｓ５１）。この指定画像は、１枚の画像でもよいが、複数選択することにより検索精度を高めることができる。続いて、ステップＳ２と同様に、指定画像の中の顔部を検出し、同じ顔の画像を記録部４や外部記録部２１に記録されている画像データの中から、指定画像と類似する画像を検索する（Ｓ５２）。

続いて、類似画像の画像データの中に、複数の顔画像を有するか否かを判定する（Ｓ５３）。判定の結果、複数の顔画像を有している場合には、その画像５２を指定画像５１に隣接して表示する（Ｓ５４）。続いて、ユーザーが候補を変更したか否かの判定を行う（Ｓ５５）。すなわち、複数の顔が写っている画像５２が検索されると、その画像５２がステップＳ５４において、もとの指定画像５１に隣接して表示される。この画像５２から交友関係が分かり、ユーザーが画像５２に登場する人物に興味を持つ場合には、候補の変更を操作部材によって指示する。

ステップＳ５５における判定の結果、候補の変更がなされた場合には、もとの指定画像５１から、検索の顔を画像５２に変更する（Ｓ５６）。続いて、画像５２から新しい候補の画像５３を検索し、画像５２の下に表示する（Ｓ５７）。そして、ステップＳ５２に戻り、この新しい候補（指定画像５３）について、前述と同様のステップを処理することにより、類似の顔が存在するか否かを検索し、図６に示すように、画像５４等を表示する。

このように、ステップＳ５２乃至ステップＳ５７を繰り返すことにより、指定画像５１から始まって連鎖的に関係者を順次、検索し表示することができる。この間、ステップＳ５３において、複数の顔のある写真を発見できなかった場合、またはステップＳ５５において、候補の変更を行わなかった場合には、記録部４や外部記録部２１記録されている全ての画像データについて検索が終了したか否かの判定を行う（Ｓ６１）。

ステップＳ６１における判定の結果、全ての画像データについて検索が終了した場合には、本ルーチンを終了するが、検索終了していない場合には、検索を続行する。検索を続行するにあたって、候補がなくなってしまったか否かの判定を行う（Ｓ６２）。判定の結果、候補が有る場合には、ステップＳ６４にジャンプするが、候補がない場合には、年齢処理を行う（Ｓ６３）。ここで、年齢処理を行うのうは、現在、検索している顔画像は、実は、年を取ってからのものであり、若い頃の写真であれば、候補がある場合があることから、顔の画像に年齢処理を施すようにしている。この年齢処理については、図７および図８を用いて後述する。

続いて、検索中表示を行う（Ｓ６４）。検索中表示は、本ルーチンにおいては、類似画像の検索や年齢処理等、処理に時間のかかるステップが多く、表示までに時間がかかってしまい、処理を行っていないように外見上、見える場合があるためである。処理速度が高速で、表示までに時間がかからない場合には、検索中表示を省略することができる。

図５に示すフローを実行することにより、表示部８に最初の画像５１を表示すると、その画像５１に写っている人物（Ａさん）と他の人が一緒に写った画像（写真）５２が表示され、この表示画像５２を見て、ユーザーは、Ａさんの隣に位置する人物（Ｂさん）に興味を持つことがある。この場合、操作部材等により所定の操作を行うと、画像５３に示すような、Ｂさんのほかの画像が表示され、Ａさんのときと同様、Ｂさんがどのような交友関係であったかを示す画像５４を検索し表示する。さらに、Ｂさんの隣に位置する人物（Ｃさん）に興味が移ると、Ｃさんのほかの画像を検索することが可能となっている。

このように、Ａさんの画像が、誰か分からなくとも、Ｂさん、Ｃさんと見ていくうちに、それが誰であるか、また、自分との関係の糸口を掴むことが可能となる。さらに、画像鑑賞を興味深く進めていくことができ、ＡさんやＢさん、Ｃさんの交遊に思いを馳せながら、画像表示にストーリーを感じながら楽しむことができる。

次に、ステップＳ６３における年齢処理について、図７および図８を用いて説明する。図８（ａ）に、人の顔に現れる加齢サイン（陰影の特徴）の例を示す。特に、目立つのは、目尻の皺６１のたるみ、唇の横の線６２、頬６３のたるみなどである。このサインを図８（ｂ）→図８（ｃ）と、修正（薄く）していくことによって、顔つきは若い頃のものになる。つまり、年代を遡って検索を行う場合には、年齢による顔つきの変化を考慮して、このような加齢サインを無くしていきながら、検索を行えばよい。

顔つき補正付き検索のための図７に示す顔つき補正のフローに入ると、まず、顔検出を行うが（Ｓ７１）、この顔検出にあたっては、円内６５付近の明るさを均一化、すなわち、円内６５の一番明るい部分、または、面積的に大きい部分の明るさに合わせて、明るさの均一化を行う。続いて、検出された顔の中から、眼、口、頬の部分を検出する（Ｓ７２）。

検出された眼等の部分を用いて加齢サインの判定を行うが、その前に、眼鏡をかけているか否かの判定を行う（Ｓ７３）。これは、眼鏡をかけている人に、このような操作を行うと、眼鏡の縁が不自然になるので、本実施形態においては、顔検出（Ｓ７１）および顔部分検出（Ｓ７２）を行った際に、眼の周りにコントラストの高い部分があれば眼鏡をしていると判定している。

ステップＳ７３における判定の結果、眼鏡をかけていた場合には、元のルーチンにリターンし、これらの一連の処理を行わないようにしている。これは、眼鏡をかけることによって加齢サインの表れる部分が隠れるので、あえて、こうした処理を行わなくとも、年齢による誤差は生じにくいと考えてのものである。ただし、眼鏡をかけたりかけなかったりする人は、この検索できない場合がある。これはここでは、制限条件となる。

ステップＳ７３における判定の結果、眼鏡をかけていなかった場合には、続いて、加齢サイン判定を行う（Ｓ７４）。ここではステップＳ７２において、検出された顔部分（目尻の皺６１、唇の横の線６２、頬６３のたるみ）に、加齢サインがあるか否かを判定する。このステップにおける判定の結果、加齢サインがあった場合には（Ｓ７５→Ｙｅｓ）、写真から得られた検索する年と元データの関係から、どれだけ若返らせるかを決める（Ｓ７６）。

続いて、目じり、唇の端、頬輪郭部を含む領域の明るさの均一化を行う（Ｓ７７）。すなわち、目尻、口の端、頬の輪郭部を含む領域を、回りから不自然にならないように連続的に、かつ、均一になるように明るさを、年度の差に応じて調整する。この領域を回りと同じくらいに明るくすることによって、図８（ｃ）に示すように、若い頃の顔つきに補正することができる。しかし、それほど昔の画像を検索する場合でなければ、わずかにこれを明るくするくらいの顔画像とする。このようにして得られた顔画像を検索時の顔画像に反映させる（Ｓ７８）。

ステップＳ７５における判定の結果、加齢サインがない場合には、顔画像の補正を行うことなく、元のルーチンに戻る。本実施形態においては、加齢サインがあるときのみに、この処理を行うことから、所定年代以上の人物に対して年齢処理を施すようにしている。しかし、これに限らず、例えば、データベース４ｂに年齢の情報も記録するようにしておき、２０代、３０代の人には、このような年齢処理を行わないようにしてもよい。

このように、本実施形態における年齢処理では、もっと古い時代の写真まで、検索の候補に加え、昔の写真からも交友関係が分かるようにすることができる。年齢処理を施した顔画像補正を行うことにより、世代を超えた検索が可能となり、例えば、最初に指定したＡさんの画像から、さらに他の人に思いを馳せた画像鑑賞を楽しむことができる。

このように、本発明の第３実施形態においては、単に画像がきれいであるとか、表情がすばらしいという楽しみ方ではなく、ある人物が写っている画像から、次々と登場人物を検索し、どのように人と人がつながっているかを調べ、知的な楽しみ方ができるカメラや写真鑑賞システムが可能となる。

次に、本発明の第４実施形態について、図９乃至図１１を用いて説明する。顔画像による人物画像検索では、改まった記念写真などでは有効であるが、スナップ写真のような、身近な写真では、人物の表情によっては、誤検出の虞がある。そこで、ある人物がどのような顔の変化を見せるかの一覧の顔データを得るために、本実施形態においては、人物の服装も考慮して顔データベースを作成するようにしている。つまり、パーティや会合など、所定時間内に撮影された画像では、同じ人物は、同じ服装をしていたと考えられることから、服装に着目して顔データベースを作成する。本実施形態においても、第１実施形態と同様のデジタルカメラ１０によって構成されるので、相違点を中心に説明する。

図１０に示す、同じ人物の顔データベース（ＤＢ）作成のフローに入ると、まず、ある人物画像を選び、同じ時間帯に撮影された画像を記録部４から集める（Ｓ８１）。続いて、複数の人物が写っている画像をそこから選ぶ（Ｓ８２）。そして、各顔の下の色やパターン（服）が、同じ人がいるかどうか判定する（Ｓ８３）。判定の結果、同じ服の色、パターンがない場合は、服で個人特定が可能であると想定し、同じ服の人は同じ人物に分類する（Ｓ８４）。すなわち、図９に示すように、同じＡさんかどうかを服で判断し、Ａさんが、どのような顔の変化をするかを、データ収集するようにしている。

ステップＳ８３における判定の結果、顔の下が同じ服の色で同じパターンであった場合には（Ｓ８３→有）、この時間帯に撮影された画像に登場する人物は、制服を着用していたと考えられることから、同じ人物の画像か否は、ユーザーが逐次判断することとし、同じ人物の画像をマニュアル選択する（Ｓ８９）。

同じ時間帯では同じ服を着用していても、他の機会（時間帯）は顔の画像で検索する必要がある。そこで、顔の画像としては多様なパターンをデータベースとして蓄積しておいた方が、より精度の高く確実な検索を行うことができる。本実施形態においては、図９に示すように、デジタルカメラ１０内の記録部４から抽出した画像を利用して、画像データベース４ｂに同じ人物の顔パターンを複数持つようにしている。

ステップＳ８４またはステップＳ８９において、分類が終わると、次に、表示部８に同じ人物の画像を、図９の符号４ｂと表示された部分について、一覧表示する（Ｓ８５）。この画像の一覧表示をユーザーがチェックし、間違いがなければ、ユーザーが承認操作を行うので、承認がなされたか否かの判定を行う（Ｓ８６）。判定の結果、承認がなされない場合には、ステップＳ８９に移行して、マニュアルで画像の選択を行う。一方、ステップＳ８６において、ユーザーによって承認された場合には、顔一覧を作成し、この一覧を画像データベース４ｂに記録する（Ｓ８７）。

このように、本実施形態においては、人物が着用している服装情報も併用することによって、人物の顔が変化しても、より正確に同一人物か否かを判定することができ、精度の高いデータベースを作成することができる。そして、このデータベースを利用することにより、より確実な顔の類似画像の検索が可能となる。また、ステップＳ８３において、顔の下の服が同じ色でパターンも同じか否かを判定することにより、制服のように、メンバーが同一の服を着用している場合でも、正しく認識し、正確な顔のデータベースを作成することができる。

次に、本発明の第４実施形態における複数の顔データのデータベース４ｂを利用して、指定画像の人物の顔と類似する画像を検索し、表示することのできるデジタルカメラ１０について、図１１を用いて説明する。このデジタルカメラ１０は、前述したように、図１に示すデジタルカメラ１０と同様の構成を有する。

まず、デジタルカメラ１０の制御部１は、特定された人物（ここでは、Ａさん）の画像を指定する。図１１（Ｂ）に示すフローに入ると、その人物の顔の変形を考慮して、ユーザーが、指定した画像の顔部を判定する（Ｓ９１）。そして、画像データベース４ｂから類似の顔パターンを検索する（Ｓ９２）。その顔画像が、どの人物の顔であるかを特定し（Ｓ９３）、その人の顔の変形例パターンを利用した検索を行う（Ｓ９４）。

検索を行うにあたって、まず、代表顔画像を用いて、そのパターンの顔が撮影された画像を検索する（Ｓ９５）。すなわち、複数ある顔画像の中の代表画像を用いて、類似画像を検索する。この代表画像に基づいて類似画像を検索することができたか否かを判定し（Ｓ９６）、検索できた場合には、その画像を検索結果とし表示部８に表示する。

一方、代表画像で検索することができない場合には、変形例があるか否かの判定を行う（Ｓ９７）。すなわち、同一人物について、複数の顔画像のデータがある場合には（図１１（Ａ）の例では、３種類あり）、未検索の顔画像があるか判定する（Ｓ９７）。顔画像の変形例がない場合には、元のルーチンに戻るが、有った場合には、その顔画像の変形例を用いて検索し（Ｓ９８）、検索が終わると、ステップＳ９６に戻り、前述の動作を実行する。

以上のように、本発明の第４実施形態においては、同一人物に対応する顔の画像を複数収集し、この顔の画像をデータベース化している。そして、この顔画像データベースを用いて、指定された人物が写っている画像を検索するようにしているので、第１実施形態乃至第３実施形態と同様に、人物の交友関係等を表示させることができる。第４実施形態においては、第２実施形態のように、友人に画像を送信する機能を設けていなかったが、この機能を付加しても勿論構わない。また、第４実施形態においては、第３実施形態のように、交友関係を連鎖的に表示していないが、勿論、第３実施形態と同様に表示させてもよい。さらに、第４実施形態のように、年齢を考慮した検索としてもよい。

なお、本発明の各実施形態においては、検出された類似画像は、隣接して表示するようにしていたが、この表示方法には種々変形が可能であり、また、最初に指定した画像と検索された画像を同時に表示する以外にも、検索された画像のみを表示するようにしてもよい。また、検索された画像が多数の場合には、複数ページに分けて表示してもよい。また、本発明の各実施形態においては、最初に指定する画像の顔を特徴部分として検出し、この顔をベースにして類似画像を検索していたが、特徴部分としては、顔に限らず、人物の全体でもよく、また、目鼻等、目立つ部分等でもよい。

さらに、本発明の各実施形態においては、デジタルカメラを用いて説明したが、デジタルカメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、デジタルカメラ等で撮影された画像データを記録したパーソナルコンピュータ等でも勿論構わない。さらに、デジタルカメラ等で撮影された画像データを記録した外部データベースの内部で、本発明を実施してもよい。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係わるデジタルカメラの概要を示す図であり、（Ａ）はブロック図であり、（Ｂ）は画像データベースのデータ内容である。 本発明の第１実施形態に係わるデジタルカメラにおける関係者検索を示すフローチャートである。 本発明の第２実施形態に係わるデジタルカメラにおける表示状態を示す図である。 本発明の第２実施形態に係わるデジタルカメラにおけるカメラ制御を示すフローチャートである。 本発明の第３実施形態に係わるデジタルカメラにおける関係者検索を示すフローチャートである。 本発明の第３実施形態に係わるデジタルカメラにおける表示状態を示す図である。 本発明の第３実施形態に係わるデジタルカメラにおける顔つき補正のフローチャートである。 本発明の第３実施形態に係わるデジタルカメラにおいて、加齢状態から加齢状態を修正する過程を示す図である。 本発明の第４実施形態に係わるデジタルカメラにおける表示状態を示す図である。 本発明の第４実施形態に係わるデジタルカメラにおける同じ人物顔ＤＢ作成を示すフローチャートである。 本発明の第４実施形態に係わるデジタルカメラにおける類似顔画像の表示方法を示す図であり、（Ａ）はデジタルカメラにおける表示状態を示す図であり、（Ｂ）は顔検索を示すフローチャートである。

符号の説明

１・・・制御部、２・・・撮像部、３・・・レンズ判定部、４・・・記録部、４ｂ・・・画像データベース（ＤＢ）、５・・・顔検出部、６・・・操作判定部、７・・・年齢処理部、８・・・表示部、９・・・時計部、１０・・・カメラ、１１・・・類似検出部、１４・・・通信部、１５・・・インターネット網、２１・・・外部記録部、２２・・・外部サーバー、２３・・・他のユーザー、５１・・・画像（Ａさん）、５２・・・代表画像、５３・・・代表画像、５４・・・代表画像、５５・・・画像（Ａさん）、５６・・・画像（Ｘさん）、５７・・・画像（Ｙさん）、５８・・・画像（Ｘさん）、５９・・・画像（Ｙさん）、６１・・・目尻のしわ、６２・・・唇の横の線、６３・・・頬

Claims (15)

1. 第１の画像に含まれる第１の人物の顔を検出する顔検出部と、
   前記顔検出部によって検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索する画像検索部と、
   前記第１の画像と前記第２の画像を並べて表示する表示部と、
   を備えたことを特徴とする画像取扱装置。
2. 前記画像取扱装置は、前記第１の人物の顔の変化パターンを検出する顔パターン検出部をさらに備え、前記画像検索部は前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索することを特徴とする請求項１に記載の画像取扱装置。
3. 前記顔パターン検出部は、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出することを特徴とする請求項２に記載の画像取扱装置。
4. 前記画像検索部によって検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信する送信部をさらに備えたことを特徴とする請求項１に記載の画像取扱装置。
5. 前記画像検索部は、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索するものであり、前記表示部は前記第１の画像、前記第２の画像、及び前記第３の画像を表示するものであることを特徴とする請求項１に記載の画像取扱装置。
6. 第１の画像に含まれる第１の人物の顔を検出し、
   前記検出された顔を利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、
   前記第１の画像と前記第２の画像を表示部に並べて表示する、
   ことを特徴とする画像取扱方法。
7. 画像を記録する画像記録部と、
   第１の人物が含まれる第１の画像を指定する画像指定部と、
   この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、前記画像記録部に記録された前記画像の中から検索する画像検索部と、
   前記第１の画像および第２の画像を表示する表示部と、
   を備えたことを特徴とする画像取扱装置。
8. 第１の人物が含まれる第１の画像を指定する画像指定部と、
   この画像指定部によって指定された第１の人物と類似する画像が含まれ、かつこの第１の人物以外が存在する第２の画像を、外部の記録部に記録されている画像の中から検索するために顔特徴信号を送信し、前記第２の画像を受信する通信部と、
   前記第１の画像、および前記通信部を介して受信する前記第２の画像を表示する表示部と、
   を備えたことを特徴とする画像取扱装置。
9. 画像を記録する画像記録部と、
   前記画像に添付されている撮影時間情報に基づいて、同一時間帯に撮影された画像を検出する検出手段と、
   前記検出された画像の中で、同じ衣服を着用している人物か否か判定し、この判定に基づいて、同一人物を検索する検索手段と、
   を具備し、
   前記検索手段によって検索された人物を含む画像に基づいて画像データベースを作成する画像取扱装置。
10. 第１の画像に含まれる第１の人物の特徴を検出し、
    前記検出された特徴を利用して、画像記録部に記録されている画像の中から、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索し、
    前記第１の画像と前記第２の画像を表示部に表示する、
    ことを実行させるための画像取扱のためのプログラム。
11. 前記特徴は、第１の人物の顔であることを特徴とする請求項１０に記載のプログラム。
12. 前記第１の人物の顔の変化パターンを検出し、前記第２の画像の検索にあたっては、前記顔の変化パターンを利用して、前記第１の人物と同じ人物を含み、且つ第２の人物を含む第２の画像を検索することを特徴とする請求項１１に記載のプログラム。
13. 顔の変化パターンの検出にあたっては、所定の時間帯に撮影された画像の中で同じ衣服を着用している人物から顔の変化パターンを検出することを特徴とする請求項１２に記載のプログラム。
14. 前記検索された前記第２の人物に、前記第１の画像又は前記第２の画像を送信することを特徴とする請求項１０に記載のプログラム。
15. 前記第２の画像の検索に引き続き、前記第１の画像及び前記第２の画像とは異なる、前記第２の人物を含む第３の画像を検索し、前記第１の画像、前記第２の画像、及び前記第３の画像を表示することを特徴とする請求項１０に記載のプログラム。