JP7529006B2 - プログラム、検索装置、および検索方法 - Google Patents

Description

本発明は、画像データから特定人物を検索するプログラム、検索装置、および検索方法に関する。

Ｗｅｂベースのシステムを用いて、多数の人が参加するイベントにおいて撮影された画像を販売する用途がある。そのような用途では、多人数の人物が写っている多数の画像を１枚ずつ順番にユーザが確認し、特定の人物が写っている画像（以下、目的画像と呼ぶ）を選別する作業が必要である。しかしながら、画像の数が多くなると、そのような選別作業には手間が発生する。そのため、多数の画像の中から目的画像を効率的かつ高精度に抽出する方法が求められる。

多数の画像から特定の人物が写っている画像を抽出する際に、目的の人物が写っている画像の候補（以下、候補画像と呼ぶ）を顔認識技術によって自動で抽出できれば、ユーザの手間が省ける。しかしながら、一般的な顔認識技術を用いて候補画像を抽出する際には、目的画像の抽出漏れが発生する可能性がある。例えば、顔認識技術を用いた人物検索では、正面を向いていない顔は、認識精度が低いために検索結果から漏れやすい。また、写真の明るさや影などの影響で、目的の人物を確実に検出できないこともある。そのため、画像だけではなく、画像以外の何らかの情報を用いて人物を特定する技術が求められる。

特許文献１には、画像から得られる視覚的な類似度に加えて、種々のアプリケーション（以下、アプリと呼ぶ）から得られる社会的なつながりを人物の特定のランク付けに用いる方法について開示されている。特許文献１には、通信アプリやＳＮＳ（Social Networking Service）アプリ、カレンダーアプリ、共同アプリなどから得られる社会的つながりメトリクスを人物特定のランク付けに用いる例が開示されている。

特許文献２には、人物の顔画像に加えて、生年月日や勤務先、学歴、趣味、特技、サークルなどの属性・分類を用いて人間関係の強度を推測し、コンテンツをシェアすべき人物を評価する方法が開示されている。

特許文献３には、特定対象画像に写った検索対象人物を特定する装置について開示されている。特許文献３の装置は、複数の画像の撮像時刻および撮像場所に基づいてそれらの画像に写った人物の移動パターンを推定し、画像に写った人物の移動パターンと特定対象画像の撮像時間とに基づいて当該人物が存在する蓋然性の高い場所を推定する。そして、特許文献３の装置は、当該人物が存在する蓋然性の高い場所の推定結果に基づいて、特定対象画像の撮像時刻にその撮像場所に存在した蓋然性が高い人物を推定し、撮像画像に写った人物と検索対象人物とを比較することによって検索対象人物を特定する。

特許第５５５７９１１号公報 特許第５４７７０１７号公報 特許第６１３９３６４号公報

特許文献１の方法では、ＳＮＳアプリやカレンダーアプリなどのアプリを用いて得られる社会的つながりメトリクスを利用して画像に写った人物の特定を促進するため、そのような外部システムとして構築されるアプリと連携する必要がある。そのため、特許文献１の方法には、外部システムと連携できない環境では、人物の特定を行うことができないという問題点があった。また、特許文献１の方法では、社会的つながりメトリクスといった個人情報を用いて人物を特定するため、プライバシーの観点における安全性が十分ではない。

特許文献２の方法では、人物の属性・分類に関する情報を用いて人間関係の強度を推定するため、事前に登録されている情報が誤っていたり古かったりした場合に、人間関係を精度よく検索できない可能性があるという問題点があった。

特許文献３の方法では、特定対象画像に写った検索対象人物を特定するために、その特定対象画像よりも前に撮影された画像を用いて検索対象人物の候補の人物を抽出する必要がある。そのため、特定対象画像よりも前に撮影された画像に写っている人物が横や斜めを向いていた場合、その人物の移動パターンを推定できなくなり、検索対象人物の候補を精度よく抽出できない可能性があるという問題点があった。

本発明の目的は、上述した課題を解決し、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる検索装置を提供することにある。

本発明の一態様のプログラムは、検出対象人物である第１の対象を示す第１情報または第１の対象とは異なる人物である第２の対象を示す第２情報が入力される第１の入力処理と、第１の入力処理として第１情報または第２情報が入力されると、第１情報または第２情報の候補画像を出力する処理と、候補画像の中から第１情報または第２情報を選択させるためのユーザインタフェースを表示させ、ユーザインタフェースを介して選択された候補画像を第１情報または第２情報のいずれかに指定する処理と、第１情報および第２情報が入力される第２の入力処理と、第２の入力処理として第１情報および第２情報が入力されると、画像データベースから第１の対象および第２の対象が含まれる画像データを出力する処理と、をコンピュータに実行させる。

本発明の一態様の検索装置は、検出対象人物である第１の対象を示す第１情報または第１の対象とは異なる人物である第２の対象を示す第２情報が入力される第１の入力処理を実行する入力部と、第１の入力処理として第１情報または第２情報が入力されると、第１情報または第２情報の候補画像を出力する出力部と、候補画像の中から第１情報または第２情報を選択させるためのユーザインタフェースを表示させ、ユーザインタフェースを介して選択された候補画像を第１情報または第２情報のいずれかに指定する指定部と、を備え、入力部は、第１情報および第２情報が入力される第２の入力処理を実行し、出力部は、第２の入力処理として第１情報および第２情報が入力されると、画像データベースから第１の対象および第２の対象が含まれる画像データを出力する。

本発明の一態様の検索方法は、コンピュータにより実行される検索方法であって、検出対象人物である第１の対象を示す第１情報または第１の対象とは異なる人物である第２の対象を示す第２情報が入力される第１の入力処理を実行し、第１の入力処理として第１情報または第２情報が入力されると、第１情報または第２情報の候補画像を出力し、候補画像の中から第１情報または第２情報を選択させるためのユーザインタフェースを表示させ、ユーザインタフェースを介して選択された候補画像を第１情報または第２情報のいずれかに指定し、第１情報および第２情報が入力される第２の入力処理を実行し、第２の入力処理として第１情報および第２情報が入力されると、画像データベースから第１の対象および第２の対象が含まれる画像データを出力する。

本発明によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる検索装置を提供することが可能になる。

本発明の第１の実施形態に係る検索装置の構成の一例を示すブロック図である。 本発明の第１の実施形態に係る検索装置の類似度ＤＢに格納される検索結果テーブルの一例を示すテーブルである。 本発明の第１の実施形態に係る検索装置の出力データをモニタに表示させる一例を示す概念図である。 本発明の第１の実施形態に係る検索装置の出力データをモニタに表示させる別の一例を示す概念図である。 本発明の第１の実施形態に係る検索装置の動作について説明するためのフローチャートである。 本発明の第２の実施形態に係る検索装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る検索装置が出力する候補画像をモニタに表示させる一例を示す概念図である。 本発明の第２の実施形態に係る検索装置が出力する候補画像をモニタに表示させる別の一例を示す概念図である。 本発明の第２の実施形態に係る検索装置の動作について説明するためのフローチャートである。 本発明の各実施形態に係る検索装置を実現するハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

（第１の実施形態）
まず、本発明の第１の実施形態に係る検索装置について図面を参照しながら説明する。本実施形態の検索装置は、データベース（ＤＢ：Database）に格納された画像や類似度を用いて、少なくとも一つの選択対象の画像データの中から検索対象人物が写っている画像データを検索する。

（構成）
図１は、本実施形態の検索装置１０の構成の一例を示すブロック図である。図１のように、検索装置１０は、顔認識部１１、画像ＤＢ１２、類似度計算部１３、類似度ＤＢ１４、および検索結果出力部１５を備える。検索装置１０は、入力装置１１０と出力装置１５０に接続される。

検索装置１０は、入力装置１１０から入力されるターゲット画像１１１および補助画像群１１２を用いて、画像ＤＢ１２に格納された画像データの中から検索対象人物が写っている画像データを検索する。検索装置１０は、検索した画像データを含む出力データ（検索結果とも呼ぶ）を生成し、生成した出力データの集合である出力データ群１５１を出力装置１５０に出力する。

入力装置１１０は、顔認識部１１に接続される。入力装置１１０には、ユーザによって、検索対象人物を示す画像であるターゲット画像１１１と、ターゲット画像１１１の検索を補助する少なくとも一つの補助画像の集合である補助画像群１１２とが入力される。入力装置１１０は、入力されたターゲット画像１１１および補助画像群１１２を顔認識部１１に出力する。補助画像は、検索対象人物の関連人物を示す画像である。例えば、入力装置１１０は、モニタを有する端末装置と、その端末装置に接続されるキーボードやマウス、タッチパネルなどの周辺機器とによって実現される。

顔認識部１１は、入力装置１１０に接続される。また、顔認識部１１は、画像ＤＢ１２および類似度計算部１３に接続される。顔認識部１１には、入力装置１１０からターゲット画像１１１および補助画像群１１２が入力される。

ターゲット画像１１１と補助画像群１１２が入力されると、顔認識部１１は、少なくとも一つの選択対象の画像データを画像ＤＢ１２から順次取り出す。顔認識部１１は、画像ＤＢ１２から取り出したそれぞれの画像データから顔を検出する。顔認識部１１は、画像データから検出した顔と、ターゲット画像１１１および補助画像群１１２との一致度の計算を行う。顔認識部１１は、画像データから検出した顔と、ターゲット画像１１１および補助画像群１１２との一致度の計算結果（評価結果とも呼ぶ）を類似度計算部１３に出力する。なお、顔検出や顔認識については、一般的な技術を用いればよい。

例えば、ユーザは、入力装置１１０を用いて、検索対象人物の人物画像をターゲット画像１１１として入力し、検索を補助する少なくとも一人の人物画像を補助画像として検索装置１０に入力する。例えば、学校の遠足の写真を販売するサイトを想定すると、検索装置１０には、ユーザの子供の画像がターゲット画像１１１として入力され、その子供と同じ班で行動を共にした友達の画像が補助画像として入力される。

画像ＤＢ１２（第１のデータベースとも呼ぶ）は、顔認識部１１、類似度計算部１３、および検索結果出力部１５に接続される。画像ＤＢ１２は、選択対象の画像データが格納されたデータベースである。例えば、検索装置１０が学校の遠足で撮影された写真を販売する用途に用いられる場合、その遠足で撮影された画像の画像データが選択対象の画像データとして画像ＤＢ１２に蓄積される。

例えば、画像ＤＢ１２には、選択対象の画像データと、その画像データが撮影されたときの撮影条件（メタデータ）とが関連付けられて格納される。例えば、画像ＤＢ１２には、Ｅｘｉｆ（Exchangeable image file format）の形式の画像データが格納される。例えば、選択対象の画像データのメタデータには、その画像データが撮影された撮影日時や、撮影位置の位置情報に相当するＧＰＳ（Global Positioning System）情報が含まれる。

類似度計算部１３は、顔認識部１１、画像ＤＢ１２、および類似度ＤＢ１４に接続される。類似度計算部１３は、顔認識部１１から顔認識の評価結果を取得する。類似度計算部１３は、顔認識の評価結果を取得すると、画像ＤＢ１２に格納された当該画像データのメタデータを用いて、当該画像データに検索対象人物が写っているかどうか判定する。類似度計算部１３は、類似度ＤＢ１４に判定結果を格納する。

類似度ＤＢ１４（第２のデータベースとも呼ぶ）は、類似度計算部１３および検索結果出力部１５に接続される。類似度ＤＢ１４は、類似度計算部１３による類似度の判定結果が格納されるデータベースである。

検索結果出力部１５は、画像ＤＢ１２および類似度ＤＢ１４に接続される。検索結果出力部１５は、類似度計算部１３による判定結果を類似度ＤＢ１４から取得する。検索結果出力部１５は、類似度ＤＢ１４から取得した判定結果に基づいて、画像ＤＢ１２から画像データを取得する。そして、検索結果出力部１５は、類似度ＤＢ１４から取得した判定結果に対応する画像データを画像ＤＢ１２から取得する。検索結果出力部１５は、画像ＤＢ１２から取得した画像データを用いて、出力装置１５０で処理できる形式の出力データ（検索結果とも呼ぶ）を生成する。なお、検索結果出力部１５は、判定結果に対応する画像データのメタデータを出力データに含めてもよい。検索結果出力部１５は、生成した出力データの集合である出力データ群１５１を出力装置１５０に出力する。

出力装置１５０は、検索結果出力部１５に接続される。出力装置１５０には、検索結果出力部１５から出力データ群１５１が入力される。出力装置１５０は、検索装置１０の検索結果をユーザに提示するための装置である。例えば、出力装置１５０は、ディスプレイを有する表示装置によって実現される。出力装置１５０が表示装置によって実現される場合、出力装置１５０は、検索装置１０の検索結果を自装置のモニタに表示する。また、例えば、出力装置１５０は、プリンターによって実現される。出力装置１５０がプリンターによって実現される場合、出力装置１５０は、検索装置１０の検索結果を紙に印刷する。なお、検索装置１０の検索結果の出力方法は、ユーザがその検索結果を確認できさえすれば、その形態には特に限定を加えない。

以上が、本実施形態の検索装置１０の構成についての説明である。なお、図１の検索装置１０の構成は一例であって、本実施形態の検索装置１０の構成をそのままの形態に限定するものではない。

〔判定結果〕
次に、類似度ＤＢ１４に格納される判定結果について一例を挙げて説明する。図２は、類似度ＤＢ１４に格納される判定結果の一例の判定結果テーブル１４０である。判定結果テーブル１４０には、一例として、ｎ個の選択対象の画像データ（画像１～ｎ）に関する判定結果が格納される。

判定結果テーブル１４０において、ターゲット画像１１１、補助画像群１１２（補助画像１、補助画像２、補助画像３）の各列は、ターゲット画像１１１および補助画像群１１２と、各画像データとの一致度の計算結果である。

判定結果テーブル１４０において、時刻情報の列は、選択対象の画像データのメタデータに含まれる当該画像データの撮影時刻に関する情報を示す。なお、判定結果テーブル１４０において、Ｔ１、Ｔ１’、およびＴ１’’はほぼ同じ時刻であり、その他の時刻は互いに離れているものとする。

判定結果テーブル１４０において、位置情報の各列は、選択対象の画像データのメタデータに含まれる当該画像データの撮影場所（ジオタグ等）に関する情報を示す。判定結果テーブル１４０において、Ｐ１およびＰ１’はほぼ同じ位置であり、その他の位置は互いに離れているものとする。

判定結果テーブル１４０において、類似度判定の列は、一致度やメタデータに基づいて、検索対象人物が各画像に写っているかどうかの判定結果を示す。類似度判定は、検索対象人物がその画像データに写っている確度を示す。判定結果テーブル１４０には、判定結果を「高」、「中」、「低」の３段階で判定する例を示す。

画像１については、判定結果テーブル１４０を参照すると、ターゲット画像１１１との一致度が９０％（パーセント）である。画像１に関しては、検索対象人物が写っている可能性が高いと判定され、類似度判定は「高」に設定される。

画像２については、判定結果テーブル１４０を参照すると、ターゲット画像１１１との一致度が７０％である。画像２に関しては、一致度は７０％と比較的高いが、画像１の撮影時刻Ｔ１と画像２の撮影時刻Ｔ１’がほぼ同時刻でありながら撮影場所が異なるため、検索対象人物が写っている可能性が低いと判定され、類似度判定は「低」に設定される。

画像３については、判定結果テーブル１４０を参照すると、ターゲット画像１１１との類似度が５０％である。画像３は、一致度は５０％と低いが、画像１とほぼ同時刻にほぼ同じ位置に撮像されている。また、補助画像１～３との類似度が高い人物が同時に写っている。例えば、小学生の遠足において撮影された画像の場合、検索対象である子供の班が当該時刻に当該位置で活動していれば、同じ画像に一緒に写っている可能性が高い。そのような理由により、画像３に関しては、当該画像データの類似度判定は「中」に設定されている。

画像ｎについては、判定結果テーブル１４０を参照すると、補助画像２～３との一致度が低いが、時刻と位置が共に画像１～３などとは離れていることから別の場面で撮影されたものと判断される。そのため、画像ｎに関しては、補助画像との一致度は類似度判定に影響を与えず、ターゲット画像との一致度が８０％と高いことから類似度判定は「高」に設定されている。

検索結果出力部１５は、類似度ＤＢ１４に格納された類似度判定を参照し、類似度判定が「高」と「中」の画像データを画像ＤＢ１２から取り出す。検索結果出力部１５は、画像ＤＢ１２から取り出した画像データを用いて、出力装置１５０のモニタに表示可能な出力データを生成する。検索結果出力部１５は、生成した出力データを出力装置１５０に出力する。

例えば、検索結果出力部１５は、類似度判定が「高」と「中」の画像のそれぞれのサムネイルと、そのサムネイルから原寸画像を表示することが可能となるｈｔｍｌ形式の出力データを生成する。なお、サムネイルから参照される原寸画像は、実際の原寸画像ではなく、ユーザが判断することができる拡大画像であればよい。

出力装置１５０は、検索結果出力部１５から出力データを取得する。出力装置１５０は、検索装置１０の検索結果を自装置のモニタに表示する。例えば、出力装置１５０は、類似度判定が「高」と「中」の画像とを異なる表示領域に表示する。出力装置１５０のモニタを見たユーザは、類似度判定に応じて画像を確認することができるので、選択対象となる全ての画像を確認する負担から解放される。なお、類似度判定の区分を「高」と「中」とに細分化すると、類似度判定が「高」の画像と「中」の画像とを区別することにユーザが新たな負担を感じる可能性もある。そのため、ユーザに確認させる画像の類似度判定は、「高」と「中」の２段階に設定せずに、１段階に設定してもよい。その一方で、類似度判定の区分をより詳細に細分化した方がよい場面もあり得る。その場合は、類似度判定の分類分けをより詳細に設定すればよい。すなわち、類似度判定の区分は、用途に応じて適切な分類に調整可能である。

図３および図４は、類似度判定に応じて、検索された画像データを選択させるユーザインタフェース１５５（第１のユーザインタフェースとも呼ぶ）を出力装置１５０のモニタに表示させる例である。図３および図４には、類似度判定が「高」の画像データ群と、「中」の画像データ群とに分けて、購入希望の画像データをユーザに選択させるユーザインタフェース１５５をモニタに表示させる例を示す。

図３のユーザインタフェース１５５には、一例として、類似度判定が「高」の画像データを拡大表示させる。図３においては、一例として、類似度判定が「高」の画像データが７枚選択されており、類似度判定が「中」の画像データは選択されていないものとする。画像データを１枚１００円で購入できる場合、選択されている画像の総枚数は７なので、購入金額は７００円と表示される。

図４のユーザインタフェース１５５には、一例として、類似度判定が「中」の画像データを拡大表示させる。図４においては、一例として、類似度判定が「中」の画像データが３枚選択されており、類似度判定が「高」の画像データが既に７枚選択されているものとする。画像データを１枚１００円で購入できる場合、選択されている画像の総枚数は１０枚なので、購入金額は１０００円と表示される。

以上の図２～図４には、全ての画像データに対して、「高」、「中」、「低」の３段階の類似度判定を類似度ＤＢ１４に格納する例を示した。しかし、類似度判定は、段階的な判定ではなく、パーセンテージなどによって細分化してもよい。類似度判定を細分化すれば、検索精度をより細かく設定できる。

例えば、検索装置１０は、ユーザが操作する端末装置にローカルなシステムとして構成できる。また、一例として、ターゲット画像１１１と補助画像群１１２の入力や、検索結果の表示は、ユーザが操作するパーソナルコンピュータやスマートフォンなどの端末装置で行うように構成できる。また、検索装置１０は、ユーザが操作する端末装置にインターネットを介して接続されたコンピュータ資源に構成してもよい。

（動作）
次に、本実施形態の検索装置１０の動作について図面を参照しながら説明する。図５は、検索装置１０の動作について説明するためのフローチャートである。図５のフローチャートに沿った説明においては、検索装置１０を動作の主体とする。

図５において、まず、検索装置１０は、入力装置１１０から入力されたターゲット画像１１１および補助画像群１１２を取得する（ステップＳ１１）。

次に、検索装置１０は、選択対象の画像データを画像ＤＢ１２から取り出す（ステップＳ１２）。なお、複数の画像データをまとめて処理する場合は、複数の画像データを一括して画像ＤＢ１２から取り出してもよい。

次に、検索装置１０は、画像ＤＢ１２から取り出した画像データから顔を検出する（ステップＳ１３）。なお、複数の選択対象をまとめて処理する場合は、画像ＤＢ１２から取り出した複数の画像データから一括して顔を検出するようにしてもよい。

次に、検索装置１０は、選択対象の画像データから検出した顔と、ターゲット画像１１１および補助画像群１１２との一致度を計算する（ステップＳ１４）。なお、複数の画像をまとめて処理する場合は、複数の画像データから検出した顔と、ターゲット画像１１１および補助画像群１１２との一致度を一括して計算するようにしてもよい。

次に、検索装置１０は、算出した一致度と、画像ＤＢ１２に格納された当該画像データのメタデータとを用いて、当該画像データに検索対象人物が写っているかどうか判定する（ステップＳ１５）。なお、選択対象の画像データに検索対象人物が写っているかどうかの判定において、当該画像データのメタデータを用いない場合、検索装置１０は、算出した一致度を用いて判定する。

次に、検索装置１０は、選択対象の画像データに検索対象人物が写っているかどうかの判定結果を類似度ＤＢ１４に格納する（ステップＳ１６）。

検索対象の画像データが残っている場合（ステップＳ１７でＹｅｓ）、ステップＳ１３に戻る。一方、選択対象の画像データが残っていない場合（ステップＳ１７でＮｏ）、類似度ＤＢ１４に格納された判定結果に基づいて、画像ＤＢ１２から画像データを取得する（ステップＳ１８）。そして、検索装置１０は、画像ＤＢ１２から取得した画像データを用いて出力データを生成し、生成した出力データを出力装置１５０に出力する（ステップＳ１９）。

以上が、図５のフローチャートに沿った検索装置１０の動作についての説明である。なお、図５のフローチャートに沿った検索装置１０の動作は一例であって、本実施形態の検索装置１０の動作をそのままの手順に限定するものではない。

以上のように、本実施形態の検索装置は、第１のデータベース、顔認識部、類似度計算部、第２のデータベース、および検索結果出力部を備える。

第１のデータベースには、少なくとも一つの選択対象の画像データが格納される。顔認識部は、第１のデータベースに格納された選択対象の画像データから顔を検出する。顔認識部は、検索対象人物を示すターゲット画像と、検索対象人物の検索を補助する少なくとも一つの補助画像を含む補助画像群とが指定された際に、選択対象の画像データから検出された顔がターゲット画像および補助画像群に含まれるかを評価する。類似度計算部は、顔認識部による評価結果を用いて検索対象人物が画像データに写っているかを判定する。第２のデータベースには、類似度計算部による判定結果が格納される。検索結果出力部は、第２のデータベースに格納された判定結果に基づいて、検索対象人物が写っていると判定された画像データを第１のデータベースから取得し、取得した画像データを含む出力データを生成して出力する。

本実施形態の一態様として、顔認識部には、検索対象人物の関連人物を示す画像が補助画像として入力される。

本実施形態の一態様として、顔認識部は、画像データから検出した顔と、ターゲット画像および補助画像群に含まれる人物の顔との一致度を計算する。類似度計算部は、ターゲット画像および補助画像群について算出された一致度に基づいて、検索対象人物が画像データに写っているか否かを判定する。

本実施形態の一態様として、第１のデータベースには、選択対象の画像データのメタデータが格納される。類似度計算部は、選択対象の画像データのメタデータを第１のデータベースから取得する。類似度計算部は、取得した選択対象の画像データのメタデータと、ターゲット画像および補助画像群について算出された一致度とに基づいて検索対象人物が画像データに写っているかを判定する。

本実施形態の一態様として、類似度計算部は、選択対象の画像データのメタデータと、ターゲット画像および補助画像群について算出された一致度とに基づいて、検索対象人物が写っている確度を示す類似度判定を画像データに付与する。

本実施形態の一態様として、検索結果出力部は、モニタを有する出力装置に接続される。検索結果出力部は、出力データを出力装置に出力する。出力装置は、出力データに含まれる画像データを選択させるための第１のユーザインタフェースをモニタに表示させる。

本実施形態の検索装置には、検索対象人物を示す画像であるターゲット画像と、ターゲット画像の検索を補助する少なくとも一人の人物画像である補助画像を含む補助画像群とが入力される。例えば、検索装置には、ユーザの子供の顔画像がターゲット画像として入力され、その子供の友人の顔画像が補助画像として入力される。本実施形態の検索装置は、ターゲット画像および補助画像群が入力されると、第１のデータベースに格納された検索対象の画像データに対して顔認識を実行する。本実施形態の検索装置は、顔認識の評価結果と、検索対象画像の画像データのメタデータとを用いて、その画像データに検索対象人物が写っているか否かを類似度評価に基づいて判定する。

例えば、子供の遠足写真の販売をＷｅｂベースのシステムで行うようなケースでは、検索対象人物である子供は、親しい友人や班のメンバーなどの関連人物と一緒に撮影される可能性が高い。本実施形態によれば、検索対象人物が写っているのに顔認識の一致度が低い画像データに関しても、関連人物の顔認識の一致度に基づいて、検索対象人物が写っているか否かを検証できる。

また、本実施形態によれば、画像データのメタ情報（時刻情報や位置情報）を含めて、検索対象人物がその画像データに写っているか検証することができる。例えば、同時刻に異なる場所で撮影された複数の画像データに検索対象人物が写っていることはない。そのため、同時刻に異なる場所で撮影された複数の画像データのうちいずれかを検索結果から外すことができる。

本実施形態においては、これらの各評価による判定結果を第２のデータベースに蓄積する。本実施形態によれば、第２のデータベースに蓄積された判定結果に従って、検索対象人物が写っている画像を画像データベースから選別して出力することによって、ユーザが確認する画像を選定することができる。

本実施形態の検索装置は、多数の画像データから検索対象人物が写っている画像データを抽出する際に、その検索対象人物の関連人物の存在有無を示す判定結果や、時刻情報や位置情報などのメタデータを併用する。そのため、本実施形態の検索装置によれば、検索対象人物の顔認識だけを用いる検索よりも検索精度を高めることができる。

例えば、ユーザの子供が参加した学校行事で撮影された画像を購入する際に、子供の顔が正面を向いていない画像であっても、そのユーザにとってはその画像を購入したいという親心があるものである。本実施形態では、検索対象人物の顔画像認識結果だけではなく、その検索対象人物と行動を共にしている可能性の高い関連人物の検索結果や、行動履歴（時刻情報や位置情報）を併せて参照する。そのため、本実施形態によれば、検索対象人物の写っている画像を見落とす可能性を高精度で排除し、より精度の高い検索結果を与えることが可能である。

また、プライバシー保護規制が厳しくなりつつある社会情勢から、ソーシャルネットワークサービスや共有カレンダーアプリなどの外部システムを用いる社会的人間関係図（ソーシャルグラフ）を利用して検索精度を向上させることには限界がある。本実施形態によれば、外部システムとの連携を必要とせず、閉じた環境で人間関係の検索精度を向上することができるので、プライバシー保護の観点において安全である。

すなわち、本実施形態の検索装置によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る検索装置について図面を参照しながら説明する。本実施形態は、画像ＤＢに格納された画像データの中からターゲット画像や補助画像の候補の画像（候補画像とも呼ぶ）を生成し、生成した候補画像をユーザに提案する点で第１の実施形態とは異なる。

図６は、本実施形態の検索装置２０の構成の一例を示すブロック図である。図６のように、検索装置２０は、顔認識部２１、画像ＤＢ２２、類似度計算部２３、類似度ＤＢ２４、検索結果出力部２５、および候補画像提案部２６を備える。検索装置２０は、入力装置２１０と出力装置２５０に接続される。

検索装置２０は、画像ＤＢ２２に格納された少なくとも一つの選択対象の画像データから顔を検出する。検索装置２０は、ターゲット画像や補助画像の候補画像として、検出した顔を含む画像を入力装置２１０に出力する。ユーザは、入力装置２１０に表示された候補画像の中からターゲット画像や補助画像を選択し、選択したターゲット画像や補助画像を指定する。検索装置２０は、入力装置２１０を介してユーザに指定されたターゲット画像２１１および補助画像群２１２を用いて、画像ＤＢ２２に格納された画像データの中から検索対象人物が写っている画像データを検索する。検索装置２０は、検索した画像データを含む出力データを生成し、生成した出力データの集合である出力データ群２５１を出力装置２５０に出力する。

入力装置２１０は、顔認識部２１および候補画像提案部２６に接続される。入力装置２１０には、ターゲット画像や補助画像の候補画像が候補画像提案部２６から入力される。入力装置２１０は、入力された候補画像の中からターゲット画像２１１や補助画像を選択するためのユーザインタフェースをモニタに表示させる。入力装置２１０は、ユーザインタフェースを介して選択された候補画像をターゲット画像２１１または補助画像群２１２に指定する。このとき、入力装置２１０は、いずれの候補画像がターゲット画像２１１または補助画像群２１２に指定されたのかを示す情報を検索装置２０に出力する。また、入力装置２１０が、ターゲット画像２１１および補助画像群２１２に指定された画像データを検索装置２０に出力するようにしてもよい。

図７は、入力装置２１０のモニタに候補画像をユーザに提示するためのユーザインタフェース２１５（第２のユーザインタフェースとも呼ぶ）の一例を示す概念図である。図７のユーザインタフェース２１５には、複数の候補画像が表示される。ユーザインタフェース２１５には、各候補画像に対応付けて、ターゲット画像か補助画像を選択するためのチェックボックスが表示される。

図８は、図７のユーザインタフェース２１５を確認したユーザがターゲット画像や補助画像を選択した後の状態の一例である。図８では、一例として、Ｎｏ．２の候補画像がターゲット画像２１１として選択され、Ｎｏ．１、３、７の候補画像が補助画像として選択される。入力装置２１０は、ユーザインタフェース２１５において選択された候補画像を、ターゲット画像２１１または補助画像群２１２を構成する補助画像として指定する。

候補画像提案部２６は、選択対象の画像データから検出した顔を含む画像を顔認識部２１から取得する。候補画像提案部２６は、取得した画像を用いて検索対象画像および補助画像の候補画像を生成する。候補画像提案部２６は、生成した候補画像を入力装置２１０に出力する。

顔認識部２１は、入力装置２１０に接続される。また、顔認識部２１は、画像ＤＢ２２類似度計算部２３、および候補画像提案部２６に接続される。

顔認識部２１は、画像ＤＢ２２に格納された少なくとも一つの選択対象の画像データを取得し、取得した画像データから顔を検出する。顔認識部２１は、選択対象の画像データから検出した顔を含む画像を候補画像提案部２６に出力する。顔認識部２１は、選択対象の画像データから検出した顔を含む画像を画像ＤＢ２２に格納しておいてもよいし、一旦消去してもよい。

また、顔認識部２１には、いずれの候補画像がターゲット画像２１１および補助画像群２１２に指定されたのかを示す情報が入力装置２１０から入力される。ターゲット画像２１１および補助画像群２１２の指定を受けると、顔認識部２１は、選択対象の画像データから検出された顔と、ターゲット画像２１１および補助画像群２１２との一致度の計算を行う。顔認識部２１は、選択対象の画像データから検出された顔と、ターゲット画像２１１および補助画像群２１２との一致度の計算結果（評価結果とも呼ぶ）を類似度計算部２３に出力する。

画像ＤＢ２２（第１のデータベースとも呼ぶ）は、顔認識部２１、類似度計算部２３、および検索結果出力部２５に接続される。画像ＤＢ２２は、選択対象の画像データが格納されたデータベースである。

類似度計算部２３は、顔認識部２１、画像ＤＢ２２、および類似度ＤＢ２４に接続される。類似度計算部２３は、顔認識部２１から顔認識の評価結果を取得する。類似度計算部２３は、顔認識の評価結果を取得すると、画像ＤＢ２２に格納された当該画像データのメタデータを用いて、当該画像データに検索対象人物が写っているかどうか判定する。類似度計算部２３は、類似度ＤＢ２４に判定結果を格納する。

類似度ＤＢ２４（第２のデータベースとも呼ぶ）は、類似度計算部２３および検索結果出力部２５に接続される。類似度ＤＢ２４は、類似度計算部２３による類似度の判定結果が格納されるデータベースである。

検索結果出力部２５は、画像ＤＢ２２および類似度ＤＢ２４に接続される。検索結果出力部２５は、類似度計算部２３による判定結果を類似度ＤＢ２４から取得する。検索結果出力部２５は、類似度ＤＢ２４から取得した判定結果に基づいて、画像ＤＢ２２から画像データを取得する。そして、検索結果出力部２５は、類似度ＤＢ２４から取得した判定結果に対応する画像データを画像ＤＢ２２から取得する。検索結果出力部２５は、画像ＤＢ２２から取得した画像データを用いて、出力装置２３０で処理できる形式の出力データ（検索結果とも呼ぶ）を生成する。なお、検索結果出力部２５は、判定結果に対応する画像データのメタデータを出力データに含めてもよい。検索結果出力部２５は、生成した出力データの集合である出力データ群２３１を出力装置２３０に出力する。

出力装置２３０は、検索結果出力部２５に接続される。出力装置２３０には、検索結果出力部２５から出力データ群２３１が入力される。出力装置２３０は、検索装置２０の検索結果をユーザに提示するための装置である。なお、検索装置２０の検索結果の出力方法は、ユーザがその検索結果を確認できさえすれば、その形態には特に限定を加えない。

以上が、本実施形態の検索装置２０の構成についての説明である。なお、図６の検索装置２０の構成は一例であって、本実施形態の検索装置２０の構成をそのままの形態に限定するものではない。

（動作）
次に、本実施形態の検索装置２０の動作について図面を参照しながら説明する。図９は、検索装置２０の動作について説明するためのフローチャートである。図９のフローチャートに沿った説明においては、検索装置２０を動作の主体とする。

図９において、まず、検索装置２０は、画像ＤＢ２２に格納された選択対象の画像データから候補画像を生成する（ステップＳ２１）。

次に、検索装置２０は、生成した候補画像を入力装置２１０に出力する（ステップＳ２２）。

次に、検索装置２０は、いずれの候補画像がターゲット画像２１１および補助画像群２１２に指定されたのかを示す情報を入力装置２１０から取得する（ステップＳ２３）。

次に、検索装置２０は、選択対象の画像データから検出した顔と、ターゲット画像１１１および補助画像群１１２との一致度を計算する（ステップＳ２４）。

次に、検索装置２０は、算出した一致度と、画像ＤＢ２２に格納された当該画像データのメタデータとを用いて、当該画像データに検索対象人物が写っているかどうか判定する（ステップＳ２５）。なお、選択対象の画像データに検索対象人物が写っているかどうかの判定において、当該画像データのメタデータを用いない場合、検索装置２０は、算出した一致度を用いて判定する。

次に、検索装置２０は、選択対象の画像データに検索対象人物が写っているかどうかの判定結果を類似度ＤＢ１４に格納する（ステップＳ２６）。

検索対象となる画像データが残っている場合（ステップＳ２７でＹｅｓ）、ステップＳ２４に戻る。一方、選択対象となる画像データが残っていない場合（ステップＳ２７でＮｏ）、類似度ＤＢ２４に格納された判定結果に基づいて、画像ＤＢ２２から画像データを取得する（ステップＳ２８）。そして、検索装置２０は、画像ＤＢ２２から取得した画像データを用いて出力データを生成し、生成した出力データを出力装置２３０に出力する（ステップＳ２９）。

以上が、図９のフローチャートに沿った検索装置２０の動作についての説明である。なお、図９のフローチャートに沿った検索装置２０の動作は一例であって、本実施形態の検索装置２０の動作をそのままの手順に限定するものではない。

以上のように、本実施形態の検索装置は、第１のデータベース、顔認識部、類似度計算部、第２のデータベース、および検索結果出力部に加えて、候補画像提案部を備える。

顔認識部は、第１のデータベースに格納された少なくとも一つの画像データを取得し、取得した画像データから顔を検出し、検出された顔を含む画像データを候補画像提案部に出力する。候補画像提案部は、顔認識部によって検出される顔を含む画像を用いてターゲット画像および補助画像の候補画像を生成し、生成した候補画像を出力する。

本実施形態の一形態として、候補画像提案部は、モニタを有する入力装置に接続され、候補画像を入力装置に出力する。入力装置は、候補画像の中からターゲット画像および補助画像を選択させるための第２のユーザインタフェースをモニタに表示させる。入力装置は、第２のユーザインタフェースを介して選択された候補画像のそれぞれをターゲット画像および補助画像のいずれかに指定し、指定されたターゲット画像および補助画像に関する情報を顔認識部に出力する。

一般に、ユーザの子供の画像データは手元にあるが、補助画像とするべき友達の適切な画像データが手元にないというケースは多い。本実施形態では、第１のデータベースに格納された選択対象の画像データから検出された顔画像を用いて生成された候補画像をユーザに提示し、それぞれの候補画像の中からターゲット画像と補助画像をユーザに選択させる。その結果、ユーザは、手元にない補助画像を調達する手間が省ける。

例えば、本実施形態の検索装置は、別人物と想定される複数の人物画像を第１のデータベースから取り出し、それらの人物画像のサムネイルや原寸画像をリンク形式としてｈｔｍｌ形式のデータで出力・表示する。ユーザは、モニタに表示された画像を見て、検索対象人物やその関連人物の写真をクリックやタップして選択する。この際、対象人物が多数である場合は、複数のページに分けて候補画像を表示する。例えば、類似度計算によって関係が深いと判断される人物画像を優先的に表示させれば、ユーザの操作負担を軽減することも可能である。

本発明の各実施形態の手法は、遠足、学芸会などの学校イベントで撮影された写真をＷｅｂベースシステムで販売する場合のように、比較的閉じた人間関係であるが、検索対象が多人数に及ぶ人物画像検索の際に効果的である。

例えば、目的としていない人物が写りこんだ多数の画像データを１枚ずつ参照しながら、特定人物が写っている目的画像を検索するのには大変な労力が発生する。顔認識技術を用いれば、全ての画像データを１枚ずつ参照しながら目的画像を検索するのと比較して労力を省くことができる。しかしながら、現状の顔認識技術の検出精度では、特定人物が横や斜めを向いている場合などには、目的画像を精度よく検出できない。

人間関係や行動履歴が蓄積された大人であれば、ソーシャルネットワークサービスや共有カレンダーアプリなどから抽出される人間関係や行動履歴を用いて目的画像を検索できるため、検索精度を向上させることができる。しかしながら、人間関係や行動履歴が蓄積されていない子供の画像を検索する際には、ソーシャルネットワークサービスや共有カレンダーアプリなどを用いても、目的画像の検索精度が向上するとは限らない。また、プライバシー保護規制が厳しくなる社会情勢から、ソーシャルネットワークサービスや共有カレンダーアプリなどの情報を公に利用することは難しくなりつつある。

また、本発明の各実施形態の手法によれば、ソーシャルネットワークサービスや共有カレンダーアプリなどの外部システムの情報を用いずに、検索対象人物の顔とともにその検索対象人物の関連人物の顔を用いてターゲット画像を検索することができる。

すなわち、本実施形態の検索装置によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる。

（ハードウェア）
ここで、本発明の各実施形態に係る検索装置の処理を実行するハードウェア構成について、図１０の情報処理装置９０を一例として挙げて説明する。なお、図１０の情報処理装置９０は、各実施形態の検索装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。

図１０のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図１０においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る検索装置による処理を実行する。

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。

また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。

また、情報処理装置９０には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス９９に接続される。ディスクドライブは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。

以上が、本発明の各実施形態に係る検索装置を可能とするためのハードウェア構成の一例である。なお、図１０のハードウェア構成は、各実施形態に係る検索装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る検索装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

各実施形態の検索装置の構成要素は、任意に組み合わせることができる。また、各実施形態の検索装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０、２０ 検索装置
１１、２１ 顔認識部
１２、２２ 画像ＤＢ
１３、２３ 類似度計算部
１４、２４ 類似度ＤＢ
１５、２５ 検索結果出力部
２６ 候補画像提案部
１１０、２１０ 入力装置
１５０、２５０ 出力装置

Claims (10)

1. 検出対象人物である第１の対象の関連人物である第２の対象を含む第２情報を選択させるためのユーザインタフェースを表示させる処理と、
   前記ユーザインタフェースを介して選択された候補画像を前記第２の対象を示す前記第２情報として取得する処理と、
   前記第１の対象を示す第１情報および前記第２情報に基づいて、画像データベースから前記第１の対象が含まれる画像データを出力する処理と、をコンピュータに実行させるプログラム。
2. 選択された前記候補画像に含まれる関連人物を示す画像を前記第２情報として取得する処理と、
   前記第１情報および前記第２情報に基づいて、画像データベースから前記第１の対象および前記第２の対象が含まれる画像データを出力する処理と、をコンピュータに実行させる請求項１に記載のプログラム。
3. 前記画像データから検出した顔と、前記第１情報および前記第２情報に含まれる人物の顔との一致度を計算する処理と、
   前記第１情報との一致度と、前記第２情報との一致度に基づいて、前記第１の対象が前記画像データに写っているか否かを判定する処理と、をコンピュータに実行させる請求項１または２に記載のプログラム。
4. 前記画像データからメタデータを取得する処理と、
   前記第１情報、前記第２情報、および前記メタデータに基づいて、画像データベースから前記第１の対象が含まれる前記画像データを出力する処理と、をコンピュータに実行させる請求項１乃至３のいずれか一項に記載のプログラム。
5. 前記画像データを用いて前記候補画像を出力する処理をコンピュータに実行させる請求項１乃至４のいずれか一項に記載のプログラム。
6. モニタを有する入力装置に接続され、前記候補画像を前記入力装置に出力する処理と、
   前記候補画像の中から前記第１情報および前記第２情報を選択させるための第２のユーザインタフェースを前記モニタに表示させ、前記第２のユーザインタフェースを介して選択された前記候補画像のそれぞれを前記第１情報および前記第２情報のいずれかに指定し、指定された前記第１情報および前記第２情報に関する情報を出力する処理と、をコンピュータに実行させる請求項１乃至５のいずれか一項に記載のプログラム。
7. 前記画像データと前記第１情報との類似度と、前記第１の対象の関連人物を示す前記第２情報と前記画像データとの類似度とに基づき、前記第２情報における被写体と前記第１の対象とが映る前記画像データを複数段階の優先順位に分類する処理をコンピュータに実行させる請求項１乃至６のいずれか一項に記載のプログラム。
8. 前記第１の対象と前記被写体とが映る前記画像データを前記優先順位ごとに表示するよう出力する処理をコンピュータに実行させる請求項７に記載のプログラム。
9. 検出対象人物である第１の対象の関連人物である第２の対象を含む第２情報を選択させるためのユーザインタフェースを表示させる指定手段と、
   前記ユーザインタフェースを介して選択された候補画像を前記第２の対象を示す前記第２情報として取得する入力手段と、
   前記第１の対象を示す第１情報および前記第２情報に基づいて、画像データベースから前記第１の対象が含まれる画像データを出力する出力手段と、を備える、検索装置。
10. コンピュータにより実行される検索方法であって、
    検出対象人物である第１の対象の関連人物である第２の対象を含む第２情報を選択させるためのユーザインタフェースを表示させ、
    前記ユーザインタフェースを介して選択された候補画像を前記第２の対象を示す前記第２情報として取得し、
    前記第１の対象を示す第１情報および前記第２情報に基づいて、画像データベースから前記第１の対象が含まれる画像データを出力する検索方法。

Images