以下図面について、発明を実施するための最良の形態(以下、これを実施の形態とも呼ぶ)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[1−1 デジタルスチルカメラの外観構成]
図1(A)及び(B)において、1は全体として本発明を適用したデジタルスチルカメラを示す。かかるデジタルスチルカメラ1は、片手で把持し得る程度の大きさでなる略偏平矩形状の筐体2を有している。
筐体2の前面2Aには、その上部に、撮影レンズ3、オートフォーカス(AF:Auto Focus)イルミネータ4、フラッシュ5が設けられている。因みに、オートフォーカスイルミネータ4は、セルフタイマランプも兼ねている。
また前面2Aには、レンズカバー6が上方向及び下方向にスライド可能に取り付けられている。これにより筐体2は、レンズカバー6が下方向にスライドした場合、撮影レンズ3、オートフォーカスイルミネータ4及びフラッシュ5を露出させ得るようになされている。
また筐体2は、レンズカバー6が上方向にスライドした場合、撮影レンズ3、オートフォーカスイルミネータ4及びフラッシュ5を覆い、外部から保護し得るようになされている。因みに、デジタルスチルカメラ1は、電源のオフ状態でレンズカバー6が下方向にスライドした場合、これに応じて自動的に電源をオンし得るようにもなされている。
また筐体2の背面2Bには、タッチスクリーン7が設けられている。このタッチスクリーン7は、例えば、液晶パネルの表面にタッチパネルが貼着されて構成されている。これによりタッチスクリーン7は、液晶パネルに対する指やスタイラスペン等によるタッチ操作を可能にし得る表示デバイスとして機能する。
さらに筐体2の上面2Cには、ズームレバー8、シャッタボタン9、再生ボタン10及び電源ボタン11が配置されている。因みに、再生ボタン10は、デジタルスチルカメラ1の動作モードを、写真画像を再生してタッチスクリーン7に表示する再生モードに切り替える為のハードウェアキーである。
かかる構成によりデジタルスチルカメラ1は、レンズカバー6が下方向にスライドされ、又は電源ボタン11が押下操作されると、電源をオンして、撮影モードで起動する。
デジタルスチルカメラ1は、撮影モード時、撮影レンズ3を介して被写体を、撮影範囲や構図、フォーカス等の撮影状態の確認用に連続撮影して、動画像としての撮影状態提示画像を生成しタッチスクリーン7に表示する。
またデジタルスチルカメラ1は、この際、ズームレバー8に対する傾斜操作やタッチスクリーン7に対するタッチ操作に応じてズーム(TELE/WIDE)を行う。このようにしてデジタルスチルカメラ1は、タッチスクリーン7に表示した撮影状態提示画像によって、ユーザに被写体の撮影状態を確認させることができる。
この状態でデジタルスチルカメラ1は、シャッタボタン9が押下操作されると、その時点に撮影レンズ3を介して被写体を写真撮影して写真画像を生成し記録する。
さらにデジタルスチルカメラ1は、再生ボタン10が押下操作されると、撮影モードから再生モードに移行する。この際、デジタルスチルカメラ1は、すでに記録している写真画像のうちの例えば1つを液晶パネルに表示する。そしてデジタルスチルカメラ1は、タッチスクリーン7に対するタッチ操作に応じて、これに表示する写真画像を切り替える。
このようにしてでデジタルスチルカメラ1は、被写体を写真撮影して写真画像を生成し記録し得ると共に、当該記録した写真画像を再生して表示し見せることができるようになされている。
[1−2 デジタルスチルカメラ1の回路構成]
次に図2を用いて、デジタルスチルカメラ1の回路構成について説明する。デジタルスチルカメラ1は、中央処理ユニット(CPU:Central Processing Unit)20が、ROM(Read Only Memory)21に予め記憶されている各種プログラムを読み出してRAM(Random Access Memory)22に展開する。
そして中央処理ユニット20は、RAM22上で展開した各種プログラムに従ってデジタルスチルカメラ1全体を制御する。また中央処理ユニット20は、RAM22上で展開した各種プログラムに従い、タッチスクリーン7のタッチパネル7Aからタッチ操作に応じて入力される入力信号に応じた各種処理を実行する。
さらに中央処理ユニット20は、RAM22上で展開した各種プログラムに従い、操作部23から押下操作等に応じて入力される入力信号に応じた各種処理も実行する。
実際にタッチパネル7Aは、表面の任意の位置が指等でタッチされると、その指等でタッチされている間、格段的に短い一定時間毎に、そのタッチされた位置(すなわち、タッチ位置)の座標を検知する。そしてタッチパネル7Aは、表面が指等でタッチされている間、検出したタッチ位置の座標を示す入力信号を中央処理ユニット20に送出する。
中央処理ユニット20は、タッチパネル7Aから入力信号が与えられると、当該入力信号に基づきタッチ位置の変移の有無と、タッチの継続時間(以下、これをタッチ継続時間とも呼ぶ)とを検出する。そして中央処理ユニット20は、これらタッチ位置の変移の有無、及びタッチ継続時間の検出結果に基づき、タッチ操作の種類を判別する。
その結果、中央処理ユニット20は、タッチ位置がほとんど変移せず、またタッチ継続時間が比較的短い所定時間以下であると、このときのタッチ操作が、タッチパネル7Aの表面の任意の一点に指等を接触させて直ぐに離すようなタッチ操作であると判別する。
因みに、以下の説明では、タッチパネル7Aの表面の任意の一点に指等を接触させて直ぐに離すようなタッチ操作を、特にタップ操作とも呼ぶ。なお、このタップ操作は、液晶パネル7Bに表示した画像内のボタンやアイコン等を指示して、当該ボタンやアイコン等に割り当てられている命令を入力するため等に行われる操作である。
また中央処理ユニット20は、所定時間よりも長いタッチ継続時間をかけてタッチ位置が変移すると、このときのタッチ操作が、タッチパネル7Aの表面に指等を接触させたままその指等を動かすようなタッチ操作であると判別する。
因みに、以下の説明では、タッチパネル7Aの表面に指等を接触させたままその指等を動かすようなタッチ操作を、特に摺動操作とも呼ぶ。なお、この摺動操作は、液晶パネル7Bに表示した画像内のアイコン等を移動(すなわち、ドラッグ)させるため等に行われる操作である。
さらに中央処理ユニット20は、このとき入力信号が示すタッチ位置の座標を、液晶パネル7Bに表示した画像内の座標に変換することで、液晶パネル7Bに表示した画像内のどの位置が指示されたのかを検出する。
これにより中央処理ユニット20は、このときタッチ操作としてタップ操作が行われていると、画像内での一点の指示位置を検出する。また中央処理ユニット20は、このときタッチ操作として摺動操作が行われていると、画像内での指示位置の移動軌跡を検出する。
そして中央処理ユニット20は、このようにタッチ操作の種類を判別すると共に、画像内での一点の指示位置や、指示位置の移動軌跡を検出すると、これら判別結果及び検出結果に応じて、このときタップ操作や摺動操作によって入力された命令を判別する。そして中央処理ユニット20は、このようにタップ操作や摺動操作によって入力された命令を判別すると、その判別した命令に応じた処理を実行する。
一方、操作部23は、上述のズームレバー8、シャッタボタン9、再生ボタン10及び電源ボタン11を含み、これらの押下操作等に応じた入力信号を中央処理ユニット20に送出する。
中央処理ユニット20は、操作部23から入力信号が与えられると、その入力信号に基づき、ズームレバー8、シャッタボタン9、再生ボタン10及び電源ボタン11の何れが操作されたかを判別する。
また中央処理ユニット20は、その判別結果に応じて、このとき押下操作等によって入力された命令を判別する。そして中央処理ユニット20は、このように押下操作等によって入力された命令を判別すると、その判別した命令に応じた処理を実行する。
このようにして中央処理ユニット20は、例えば、操作部23の電源ボタン11が押下されて電源をオンし、又はタッチパネル7Aに対するタップ操作により動作モードを撮影モードに切り替えるよう指示されると、撮影モードで動作する。
中央処理ユニット20は、撮影モード時、モータドライバ24を介してアクチュエータ25を駆動制御することで、上述した撮影レンズ3と共に、絞りやフォーカスレンズ等を含むレンズ部26において当該絞りの開口量やフォーカスレンズの位置等を調整する。これにより中央処理ユニット20は、撮影範囲に対する露出やフォーカスを自動調整する。
この状態で中央処理ユニット20は、被写体を含む撮影範囲から到来する撮像光を、レンズ部26を介して撮像素子27の受光面で受光する。因みに、撮像素子27は、CCD(Charge Coupled Device)イメージセンサでなる。
この際、中央処理ユニット20は、タイミングジェネレータ28を制御することにより、当該タイミングジェネレータ28から所定周期でタイミング信号を撮像素子27に送出する。
よって撮像素子27は、受光面で受光している撮像光を、タイミング信号の入力タイミングで順次光電変換して、その撮像光L1に応じたアナログの光電変換信号を生成すると共に、当該生成した光電変換信号をアナログ処理部29に送出する。
アナログ処理部29は、中央処理ユニット20の制御のもと、撮像素子27から光電変換信号が与えられる毎に、その光電変換信号に増幅処理のような所定のアナログ処理を施して撮像信号を生成する。
またアナログ処理部26は、撮像信号を生成する毎に、当該生成した撮像信号を、アナログデジタル変換部30を介してデジタルの撮像データに変換してデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20の制御のもと、アナログデジタル変換部30から撮像データが与えられる毎に、その撮像データにノイズ低減処理のような所定のデジタル処理を施す。
これによりデジタル処理部31は、アナログデジタル変換部30から順次与えられる撮像データに基づき、上述の撮影状態提示画像を構成する時間的に連続な単位画像の単位画像データを生成する。
そして中央処理ユニット20は、その単位画像データを生成する毎に、当該生成した単位画像データを順次、液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに、時間的に連続な複数の単位画像データに基づく単位画像を順次切り換えて撮影状態提示画像(すなわち、動画像)として表示する。
このようにして中央処理ユニット20は、被写体を含む撮影範囲を連続撮影して液晶パネル7Bに撮影状態提示画像を表示すると共に、ユーザに撮影状態提示画像によって被写体の撮影状態を確認させることができる。
ところで、中央処理ユニット20は、アイコンを提示するためのアイコン提示画像データを生成し、当該生成したアイコン提示画像データをデジタル処理部31に送出する。よってデジタル処理部31は、中央処理ユニット20からアイコン提示画像データが与えられると、当該アイコン提示画像データを単位画像データと合成して合成画像データを生成し液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに撮影状態提示画像を表示すると共に、その撮影状態提示画像にアイコンを重ねて表示することもできる。
中央処理ユニット20は、ユーザによりシャッタボタン9が半押操作され操作部23から被写体の撮影条件を調整する条件調整信号が入力されると、これに応じてモータドライバ24を介してアクチュエータ25を駆動制御する。
これにより中央処理ユニット20は、レンズ部26において絞りの開口量やフォーカスレンズの位置等を調整して、撮影範囲内の被写体(例えば、人物)に対する露出やフォーカスを自動調整する。
この状態で中央処理ユニット20は、ユーザにより続けてシャッタボタン9が全押操作され操作部23からレリーズ信号が入力されると、レリーズ信号の入力をデジタル処理部31に通知すると共に、レリーズ信号の入力に応じてデジタル処理部31を制御する。
この際、デジタル処理部31は、中央処理ユニット20の制御のもと、レリーズ信号の入力が通知されたときにアナログデジタル変換部30から与えられた撮像データに、ノイズ低減処理やシェーディング補正処理等の写真撮影用の所定のデジタル処理を施す。
これによりデジタル処理部31は、レリーズ信号の入力が通知されたときにアナログデジタル変換部30から与えられた撮像データをもとに、被写体(すなわち、被写体を含む撮影範囲)を写真撮影して得られる写真画像データを生成する。
またデジタル処理部31は、その写真画像データにJPEG(Joint Photographic Experts Group)方式等の所定の圧縮符号化方式で圧縮符号化処理を施して圧縮画像データを生成する。
またデジタル処理部31は、このとき、その写真画像データに画素を間引く縮小処理を施して、縮小写真画像(以下、これをサムネイルとも呼ぶ)の縮小写真画像データ(以下、サムネイルデータとも呼ぶ)も生成する。そしてデジタル処理部31は、圧縮画像データを、そのサムネイルデータと共に中央処理ユニット20に送出する。
中央処理ユニット20は、デジタル処理部31から圧縮画像データ及びサムネイルデータが与えられると、例えば、Exif(Exchangeable image file format)に準じて写真画像に関する種々の情報を格納したヘッダデータを生成する。そして中央処理ユニット20は、圧縮画像データのヘッダ部分にヘッダデータを付加して画像ファイルを生成する。
ところで中央処理ユニット20は、デジタル処理部31から圧縮画像データが与えられると、その際、その圧縮画像データをもとに生成する画像ファイルを個別に識別可能な識別情報(例えば、ファイル名である)を生成する。因みに、以下の説明では、画像ファイルを個別に識別可能な識別情報を、ファイル識別情報とも呼ぶ。
また中央処理ユニット20は、GPS(Global Positioning System)受信機32を介してGPS用の人工衛星と通信して、デジタルスチルカメラ1の位置(緯度及び経度で表される位置)を検出し得るようになされている。因みに、以下の説明では、GPSを利用して検出するデジタルスチルカメラ1の位置を、カメラ位置とも呼ぶ。
そして中央処理ユニット20は、撮影モード時、レリーズ信号が入力されると、その入力時点にGPSを利用して現在のカメラ位置を、特に被写体を写真撮影したときの撮影位置として検出する。
さらに中央処理ユニット20は、内部のタイマにより現在日時を計時している。そして中央処理ユニット20は、レリーズ信号が入力されると、その入力時点の日時を検出し、当該検出した日時を、被写体を写真撮影した撮影日時とする。
よって中央処理ユニット20は、画像ファイルを生成する際、圧縮画像データのヘッダ部分のヘッダデータに、写真画像に関する種々の情報として、ファイル識別情報、撮影位置を示す撮影位置情報、撮影日時を示す撮影日時情報等を格納している。
中央処理ユニット20は、このように画像ファイルを生成すると、当該生成した画像ファイルをサムネイルデータと共に記録デバイス33に送出して、当該記録デバイス33に画像ファイルとサムネイルデータとを対応付けて記録する。このようにして中央処理ユニット20は、ユーザに被写体を写真撮影させて、その結果得られた写真画像データを画像ファイルとして記録することができる。
因みに、記録デバイス33は、例えば数ギガバイト〜数十ギガバイト程度の不揮発メモリであり、デジタルスチルカメラ1に予め内蔵され、又はメモリカードのようにデジタルスチルカメラ1に着脱可能に設けられている。
また中央処理ユニット20には、記録デバイス33とは別に、EEPROM(Electrically Erasable Programmable Read Only Memory)又はMRAM(Magnetoresistive Random Access Memory)等の不揮発メモリ34が接続されている。
そして中央処理ユニット20は、この不揮発メモリ34に、種々の設定項目についてユーザにより設定された設定内容を示す各種情報や、電源のオフ後も保持する必要がある情報等を記憶させている。
一方、中央処理ユニット20は、例えば、操作部23の再生ボタン10が押下操作され、又はタッチパネル7Aに対するタップ操作により動作モードを再生モードに切り替えるよう指示されると、再生モードで動作する。
中央処理ユニット20は、再生モード時、例えば、記録デバイス33から、これに記録している画像ファイルのうち撮影日時が最も新しい画像ファイルを読み出す。そして中央処理ユニット20は、その画像ファイルから圧縮画像データを取り出してデジタル処理部31に送出する。
デジタル処理部31は、この際、中央処理ユニット20の制御のもと、当該中央処理ユニット20から与えられた圧縮画像データに伸長復号処理を施して元の写真画像データを生成する。そしてデジタル処理部31は、その写真画像データを液晶パネル7Bに送出することにより、当該液晶パネル7Bに写真画像データに基づく写真画像を表示する。
このようにして中央処理ユニット20は、被写体を写真撮影して生成していた写真画像を液晶パネル7Bに表示してユーザに見せることができる。
因みに、中央処理ユニット20は、この際、ボタンやアイコン等を提示するための提示画像データを生成し、当該生成した提示画像データをデジタル処理部31に送出する。よってデジタル処理部31は、中央処理ユニット20から提示画像データが与えられると、その提示画像データを写真画像データと合成して合成画像データを生成し液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに写真画像を表示すると共に、当該写真画像にボタンやアイコン等を重ねて表示することもできる。
また中央処理ユニット20は、再生モード時、例えば、タッチパネル7Aに対するタップ操作により写真画像の表示の切り替えが指示されると、記録デバイス33から、現在表示させている写真画像よりも撮影日時が過去の写真画像の画像ファイルを読み出す。そして中央処理ユニット20は、その画像ファイルから圧縮画像データを取り出してデジタル処理部31に送出する。
デジタル処理部31は、この際、中央処理ユニット20の制御のもと、上述と同様に圧縮画像データに伸長復号処理を施して元の写真画像データを生成し、当該生成した写真画像データを液晶パネル7Bに送出する。
これによりデジタル処理部31は、液晶パネル7Bに表示する写真画像を切り換える。このようにして中央処理ユニット20は、液晶パネル7Bに表示する写真画像を適宜切り換えてユーザに見せることができる。
[1−3 検索用データベースへの画像関連情報登録処理]
次いで、写真画像の検索に用いる検索用データベースに写真画像に関する画像関連情報を登録する画像関連情報登録処理について説明する。
デジタル処理部31は、撮影モード時、写真画像データを生成すると、上述のように当該写真画像データに基づき圧縮画像データやサムネイルデータを生成する。そしてデジタル処理部31は、その写真画像データに基づいて生成した圧縮画像データ及びサムネイルデータを中央処理ユニット20に送出する。
ただし、デジタル処理部31は、予め多数の顔の画像が解析され、その解析結果をもとに学習して得られた、検出基準用の顔の特徴(顔の形や色、目、鼻、口、眉毛等の形等)を示す顔特徴情報を保持している。因みに、以下の説明では、検出基準用の顔の特徴を、基準顔特徴とも呼び、当該基準顔特徴を示す顔特徴情報を、基準顔特徴情報とも呼ぶ。
よってデジタル処理部31は、写真画像データを生成すると、その写真画像データに基づく圧縮画像データやサムネイルデータの生成に引き続き、基準顔特徴情報を用いて当該写真画像データに基づく写真画像に対する顔検出処理も実行する。
その結果、デジタル処理部31は、その写真画像データに基づく写真画像内で1又は複数の人物の顔を検出すると、その写真画像内で検出した1又は複数の顔の部分(以下、これを顔部分とも呼ぶ)の大きさ及び位置も検出する。そしてデジタル処理部31は、その写真画像データ、及び1又は複数の顔部分の大きさ及び位置を示す顔検出情報も中央処理ユニット20に送出する。
中央処理ユニット20は、デジタル処理部31から圧縮画像データ及びサムネイルデータが与えられると、上述のように、その圧縮画像データに基づき画像ファイルを生成する。そして中央処理ユニット20は、その画像ファイルとサムネイルデータとを対応付けて記録デバイス33に記録する。
また中央処理ユニット20は、引き続きデジタル処理部31から写真画像データ及び顔検出情報が与えられると、その顔検出情報に基づき、写真画像データに基づく写真画像内で1又は複数の顔部分を特定し、当該特定した顔部分を解析する。
これにより中央処理ユニット20は、写真画像に写り込んでいる1又は複数の顔の特徴(顔の形や色、目、鼻、口、眉毛等の形等)を、検出用データベースへの登録用に検出する。
因みに、以下の説明では、写真画像に写り込んでいる顔から、検索用データベースへの登録用に検出された特徴を、登録顔特徴とも呼び、当該登録顔特徴を示す顔特徴情報を、登録顔特徴情報とも呼ぶ。
図3に示すように、中央処理ユニット20は、例えば、記録デバイス33内に、画像関連情報として登録顔特徴情報等を登録し、写真画像の検索に用いる検索用データベースDBを構築している。
よって中央処理ユニット20は、1又は複数の登録顔特徴を検出すると、その検出した登録顔特徴を示す登録顔特徴情報を、検索用データベースDBに登録済みの登録顔特徴情報と比較する。
その結果、中央処理ユニット20は、このとき検出した登録顔特徴を示す登録顔特徴情報を、検索用データベースDBには未だ登録していないと、その顔の人物を個別に識別可能な人物識別情報を生成する。
因みに、人物識別情報は、名前のように人物が誰であるのかを特定するものではなく、単にその人物を他の人物と区別するために、例えば個々の人物に順番に付された番号として生成されている。
また中央処理ユニット20は、写真画像から、その人物の顔部分を、円形のような所定形状の顔画像として切り出す。さらに中央処理ユニット20は、顔画像に例えば画素を間引く縮小処理を施して、その人物の顔を示すアイコン(以下、これを顔アイコンとも呼ぶ)を生成する。
そして中央処理ユニット20は、人物識別情報を記録デバイス33に記録するようにして、当該人物識別情報を検索用データベースDBに登録する。また中央処理ユニット20は、登録顔特徴情報と共に、顔アイコン、ファイル識別情報、撮影日時情報、撮影位置情報を記録デバイス33に記録するようにして、これらを人物識別情報に対応付けて検索用データベースDBに登録する。
このようにして中央処理ユニット20は、新たな人物を写真撮影する毎に、検索用データベースDBに人物識別情報として、その写真撮影した新たな人物を登録する。また中央処理ユニット20は、新たな人物を写真撮影する毎に、その人物の人物識別情報に、当該人物の登録顔特徴を示す登録顔特徴情報、及びその顔を示す顔アイコンを対応付けて検索用データベースDBに登録する。
さらに中央処理ユニット20は、新たな人物を写真撮影する毎に、その写真撮影で生成した画像ファイルのファイル識別情報、当該人物の撮影日時及び撮影場所を示す撮影日時情報及び撮影位置情報も人物識別情報に対応付けて検索用データベースDBに登録する。因みに、中央処理ユニット20は、この際、検索用データベースDBにおいて、1組のファイル識別情報、撮影日時情報、撮影位置情報を互いに対応付けている。
一方、中央処理ユニット20は、このとき検出した登録顔特徴を登録顔特徴情報として、すでに検索用データベースDBに登録していると、検索用データベースDBには、当該登録顔特徴に対応する人物識別情報もすでに登録している。
また中央処理ユニット20は、このとき検出した登録顔特徴を登録顔特徴情報として、すでに検索用データベースDBに登録していると、検索用データベースDBには、当該登録顔特徴に対応する顔アイコンもすでに登録している。
このため中央処理ユニット20は、顔の検出に応じて生成した登録顔特徴情報を、すでに検索用データベースDBに登録していると、このときには、その顔の人物の人物識別情報を特には生成しない。また中央処理ユニット20は、この際、その人物の顔を示す顔アイコンも特には生成しない。
よって中央処理ユニット20は、今回、その人物を写真撮影して生成した画像ファイルのファイル識別情報を記録デバイス33に記録するようにして、当該人物の人物識別情報に、そのファイル識別情報を追加で対応付けて検索用データベースDBに登録する。
また中央処理ユニット20は、今回、その人物を写真撮影した撮影日時を示す撮影日時情報及も記録デバイス33に記録するようにして、当該人物の人物識別情報に、その撮影日時情報も追加で対応付けて検索用データベースDBに登録する。
さらに中央処理ユニット20は、今回、その人物を写真撮影した撮影場所を示す撮影位置情報も記録デバイス33に記録するようにして、当該人物の人物識別情報に、その撮影位置情報も追加で対応付けて検索用データベースDBに登録する。
このように中央処理ユニット20は、同一人物を2回以上写真撮影すると、その都度、画像ファイルのファイル識別情報、撮影日時及び撮影場所を示す撮影日時情報及び撮影位置情報を、登録済の人物識別情報に対応付けて検索用データベースDBに登録する。
因みに、中央処理ユニット20は、同一人物を何度も写真撮影すると、写真撮影毎に、検索用データベースDBにおいて、これに登録する1組のファイル識別情報、撮影日時情報、撮影位置情報を互いに対応付けている。
また中央処理ユニット20は、1枚の写真画像に複数の人物の顔が写り込んでいると、検索用データベースDBにおいて、これら複数の人物の人物識別情報に、それぞれ同一のファイル識別情報、撮影日時情報、撮影位置情報を対応付けて登録している。
ところで、中央処理ユニット20は、写真画像に複数の人物の顔が写り込んでいる場合には、顔検出情報、及び顔部分の解析結果に基づき、互いの顔の距離や、互いの顔の向き、笑顔であるか否か等を検出する。そして中央処理ユニット20は、その検出結果に基づき、写真画像に写り込んでいる複数の人物同士の親密度を検出する。
実際に中央処理ユニット20は、写真画像に写り込んでいる人物同士の顔の距離が近いほど、その人物同士の親密度は高く、距離が離れるほど、その人物同士の親密度は低くなる。
また中央処理ユニット20は、写真画像に写り込んでいる人物同士の顔が互いに相手の顔に向いていて、双方が笑顔であると、その人物同士の親密度は高くなる。これに対し中央処理ユニット20は、人物同士の顔が互いに相手の顔に向いていても、一方の人物のみが笑顔であり、他方の人物が笑顔ではないと、その人物同士の親密度は低くなり、双方が共に笑顔ではないと、親密度はさらに低くなる。
さらに中央処理ユニット20は、写真画像に写り込んでいる人物同士の一方が顔を相手の顔に向けていても、他方が顔を相手とは異なる他の方向に向けていると、その人物同士の親密度は低くなる。また中央処理ユニット20は、写真画像に写り込んでいる人物同士が互いに顔を相手とは異なる方向に向けていると、その人物同士の親密度はさらに低くなる。
中央処理ユニット20は、このような複数の検出基準をもとに、写真画像に写り込んでいる複数の人物同士の親密度を検出すると、その親密度を所定の閾値と比較する。また中央処理ユニット20は、その比較結果に基づき、閾値以上の親密度を有する人物同士を関連付ける親密関連付情報を生成する。因みに、中央処理ユニット20は、人物毎に、その人物と親密度の高い相手を、当該相手の人物識別情報で示す親密関連付情報を生成する。
そして中央処理ユニット20は、人物毎の親密関連付情報を記録デバイス33に記録するようにして、当該親密関連付情報を、その人物の人物識別情報に対応付けて検索用データベースDBに登録する。
このようにして中央処理ユニット20は、写真撮影する毎に、その写真画像に複数の人物の顔が写り込んでいるか否かを判別する。そして中央処理ユニット20は、写真画像に複数の人物の顔が写り込んでいるときには、その人物同士の親密度を検出するようにして、検索用データベースDB上で、親密度の高い人物同士を関連付けている。
ところで、デジタル処理部31は、写真画像データに基づく写真画像に人物の顔が写り込んではいないと、その写真画像データに基づいて生成した圧縮画像データ及びサムネイルデータのみを中央処理ユニット20に送出する。
よって中央処理ユニット20は、デジタル処理部31から圧縮画像データ及びサムネイルデータのみが与えられると、上述のように画像ファイルを生成して、その画像ファイルとサムネイルデータとを対応付けて記録デバイス33に記録する。
また中央処理ユニット20は、このとき、今回の写真撮影で生成した画像ファイルのファイル識別情報を、今回の写真撮影の撮影日時及び撮影場所を示す撮影日時情報及び撮影位置情報と共に登録用として記録デバイス33に記録する。これにより中央処理ユニット20は、今回の写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報を互いに対応付けて検索用データベースDBに登録する。
このようにして中央処理ユニット20は、人物ではない被写体が写真撮影されたときには、検索用データベースDBに人物に関する人物識別情報や登録顔特徴情報等を登録せずに、今回の写真撮影で得たファイル識別情報、撮影日時情報、撮影位置情報を登録する。
これに加えて、中央処理ユニット20は、初めて写真撮影したときには、その写真撮影が、被写体にかかわらず(人物や風景等にかかわらず)に、何らかのイベントで行われたものとして、当該イベントを個別に識別可能なイベント識別情報を生成する。
因みに、イベント識別情報は、イベントの名称のように、そのイベントが何であるのかを特定するものではなく、単にそのイベントを他のイベントと区別するために、例えば個々のイベントに順番に付された番号として生成されている。
そして中央処理ユニット20は、そのイベント識別情報を記録デバイス33に記録するようにして、当該イベント識別情報を、このときの写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。
また中央処理ユニット20は、検索用データベースDBへのイベント識別情報の登録が完了すると、このとき得た撮影日時情報及び撮影位置情報とイベント識別情報とを、登録用とは別にイベント判別用情報として例えば、記録デバイス33に記録する。
この状態で中央処理ユニット20は、2回目の写真撮影を行うと、記録デバイス33からイベント判別用情報(前回、すなわち、初回の写真撮影で得た撮影日時情報、撮影位置情報、イベント識別情報)を読み出す。
そして中央処理ユニット20は、今回の写真撮影の撮影場所と、前回の写真撮影の撮影場所とに基づき、前回の撮影位置を中心とし、予め選定された所定の第1の距離を半径とする円形エリア内に今回の撮影位置が入っているか否かを判別する。
また中央処理ユニット20は、今回の写真撮影の撮影日時と、前回の写真撮影の撮影日時とに基づき、前回の撮影日時から今回の撮影日時までの経過時間が、予め選定された所定の第1の時間以内であるか否かも判別する。
因みに、以下の説明では、前回の撮影位置を中心とし、予め選定された第1の距離を半径とする円形エリアを、前回撮影エリアとも呼ぶ。また、以下の説明では、前回の撮影日時から今回の撮影日時までの経過時間を、撮影休止経過時間とも呼ぶ。そして、上述の第1の時間は、例えば、数分から数十分までの間で任意に選定されている。
ところで、中央処理ユニット20は、屋外の川原やグランド等のように周囲にGPS用の人工衛星との通信を阻害するようなものがほとんど存在しないと、カメラ位置や撮影位置を高精度に検出することができる。
ただし中央処理ユニット20は、屋内や高いビルの谷間等のように周囲にGPS用の人工衛星との通信を阻害するようなものが存在すると、カメラ位置や撮影位置の検出精度が低下して、そのカメラ位置や撮影位置に大幅な誤差が生じる場合がある。
このため、前回撮影エリアを規定する上述した第1の距離については、上述の第1の時間内でデジタルスチルカメラ1を例えば、徒歩で移動させ得る数[m]から十数[km]までの間で任意に選定されている。
すなわち第1の距離は、第1の時間との組み合わせにより、第1の時間でデジタルスチルカメラ1を決して移動させ得ない距離だけカメラ位置や撮影位置が変位して当該カメラ位置や撮影位置に大幅な誤差が生じている場合に、これを判別可能なように選定されている。
中央処理ユニット20は、前回撮影エリア内に今回の撮影位置が入っており、かつ撮影休止経過時間も第1の時間以内であると、今回の写真撮影が前回の写真撮影と同一のイベントで行われたと判断する。
また中央処理ユニット20は、前回撮影エリアから今回の撮影位置が外れていても、撮影休止経過時間が第1の時間以内であると、この場合は撮影位置に誤差が生じているものとして、今回の写真撮影が前回の写真撮影と同一のイベントで行われたと判断する。
これに対して中央処理ユニット20は、前回撮影エリアから今回の撮影位置が外れており、かつ撮影休止経過時間が第1の時間よりも長いと、今回の写真撮影が前回の写真撮影とは異なるイベントで行われたと判断する。
さらに中央処理ユニット20は、前回撮影エリア内に今回の撮影位置が入っていても、撮影休止経過時間が第1の時間よりも長いと、このときも今回の写真撮影が前回の写真撮影とは異なるイベントで行われたと判断する。
中央処理ユニット20は、今回の写真撮影が前回の写真撮影と同一のイベントで行われたと判断すると、前回の写真撮影のときと同一のイベント識別情報(今回、記録デバイス33から読み出したイベント識別情報)を登録用として記録デバイス33に記録する。
これにより中央処理ユニット20は、前回の写真撮影のときと同一のイベント識別情報を、今回の写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。
中央処理ユニット20は、検索用データベースDBへのイベント識別情報の登録が完了すると、このときには今回の撮影日時及び撮影場所を示す撮影日時情報及び撮影位置情報と、今回のイベント識別情報とを新たなイベント判別用情報とする。
そして中央処理ユニット20は、イベント判別用情報(今回の撮影日時情報、撮影位置情報、イベント識別情報)を記録デバイス33に送出して、前回、記録していたイベント判別用情報に上書きして記録する。
これに対して中央処理ユニット20は、今回の写真撮影が前回の写真撮影とは異なる新たなイベントで行われたと判断すると、その新たなイベントを個別に識別可能なイベント識別情報を生成する。
そして中央処理ユニット20は、新たに生成したイベント識別情報を記録デバイス33に記録するようにして当該イベント識別情報を、今回の写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。
また中央処理ユニット20は、検索用データベースDBへのイベント識別情報の登録が完了すると、今回の撮影日時及び撮影場所を示す撮影日時情報及び撮影位置情報と、新たに生成したイベント識別情報とを新たなイベント判別用情報とする。
そして中央処理ユニット20は、イベント判別用情報(今回の撮影日時情報、撮影位置情報、新たに生成したイベント識別情報)を記録デバイス33に送出して、前回、記録していたイベント判別用情報に上書きして記録する。
中央処理ユニット20は、2回目の写真撮影の後に、さらに写真撮影を行ったときには、その都度、2回目の写真撮影時と同様に、記録デバイス33から前回、記録していたイベント判別用情報(撮影日時情報、撮影位置情報、イベント識別情報)を読み出す。
そして中央処理ユニット20は、今回の写真撮影の撮影場所及び撮影日時と、前回の写真撮影の撮影場所及び撮影日時とに基づき、今回の写真撮影が前回の写真撮影と同一のイベントで行われたか否かを判断する。
その結果、中央処理ユニット20は、今回の写真撮影が前回と同じイベントで行われていると、前回のイベント識別情報を今回のものとする。そして中央処理ユニット20は、今回のイベント識別情報(実際には前回のイベント識別情報)を、今回の写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。
また中央処理ユニット20は、今回の撮影日時情報及び撮影位置情報と、今回のイベント識別情報とを新たなイベント判別用情報として、記録デバイス33に記録して、前回、記録していたイベント判別用情報を更新する。
一方、中央処理ユニット20は、今回の写真撮影が前回とは異なる新たなイベントで行われていると、新たなイベント識別情報を生成する。そして中央処理ユニット20は、その新たに生成したイベント識別情報を、今回の写真撮影で得た1組のファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。
また中央処理ユニット20は、今回の撮影日時情報及び撮影位置情報と、新たなイベント識別情報とを新たなイベント判別用情報として、記録デバイス33に記録して、前回、記録していたイベント判別用情報を更新する。
中央処理ユニット20は、このように写真撮影しながら、検索用データベースDB上で、これにファイル識別情報として登録した写真画像を、写真撮影が行われたパーティーや運動会、近所の散歩等のイベントで分類し得るようになされている。
ところで中央処理ユニット20は、撮影モードから他のモードへの移行後、再び撮影モードに戻り写真撮影すると、そのときには記録デバイス33から前回(他のモードへの移行前の撮影モードでの最後の写真撮影で)記録していたイベント判別用情報を読み出す。因みに、他のモードとは、再生モードや撮影条件を設定するための設定モード等である。
また中央処理ユニット20は、撮影モードから電源のオフを経て、再び電源をオンして撮影モードに移行し写真撮影すると、そのときにも記録デバイス33から前回(電源のオフ前の撮影モードでの最後の写真撮影で)記録していたイベント判別用情報を読み出す。
そして中央処理ユニット20は、他のモードや電源のオンにより撮影モードに移行して写真撮影すると、上述と同様に、そのイベント判別用情報を用いてイベントを判別して、検索用データベースDBにイベント識別情報を追加で登録する。
中央処理ユニット20は、このように撮影モードを一旦は終了させても、その終了前後の写真撮影が同一のイベントで行われたときには、そのイベントを的確に判別して、当該終了前後の写真撮影で得た写真画像を、同一のイベントに分類することができる。
このようにして中央処理ユニット20は、写真撮影が行われる毎に、検索用データベースDBに画像関連情報として人物識別情報や登録顔特徴情報、顔アイコン、親密関連付情報を適宜登録して、検索用データベースDBの内容を更新する。
また中央処理ユニット20は、写真撮影が行われる毎に、検索用データベースDBに画像関連情報としてファイル識別情報、撮影日時情報、撮影位置情報、イベント識別情報も登録して、当該検索用データベースDBの内容を更新する。
[1−4 撮影モード時の検索キー提示処理]
次いで、撮影モード時に、撮影状況に応じて写真画像検索用の検索キーを提示する検索キー提示機能を実現するための検索キー提示処理について説明する。中央処理ユニット20は、以下に詳述するが、撮影モード時、撮影状態提示画像に写り込んだ人物の顔や、カメラ位置に応じて写真画像検索用の検索キーを提示し得るようになされている。
実際に中央処理ユニット20は、このような検索キーとして、人物の顔を示す顔アイコンと、地図上でカメラ位置を示すカメラ位置アイコンとを利用するようになされている。ただし、中央処理ユニット20は、例えば、ユーザに所定の設定画面上で撮影モード時に検索キー提示処理を実行するか否かを選択させて設定している。
また中央処理ユニット20は、撮影モード時に検索キー提示処理を実行するように選択された場合、ユーザに設定画面上で、顔アイコンとカメラ位置アイコンとの少なくとも一方を実際に提示する検索キーとして選択させて設定している。
よって、以下には、まず撮影モード時に、顔アイコンとカメラ位置アイコンとの両方を提示する第1の設定内容で検索キー提示機能を実現するように設定した状態で実行する検索キー提示処理について説明する。
次いで、撮影モード時に、カメラ位置アイコンは提示せずに顔アイコンのみを提示する第2の設定内容で検索キー提示機能を実現するように設定した状態で実行する検索キー提示処理について説明する。
続いて、撮影モード時に、顔アイコンを提示せずにカメラ位置アイコンのみを提示する第3の設定内容で検索キー提示機能を実現するように設定した状態で実行する検索キー提示処理について説明する。
まず、中央処理ユニット20は、第1の設定内容で検索キー提示機能を実現するように設定した状態で撮影モードに移行すると、撮影モードの間、その第1の設定内容に応じてデジタル処理部31を制御する。
また中央処理ユニット20は、撮影モードへの移行時点にGPSを利用してカメラ位置を検出する1回目のカメラ位置検出処理を実行する。さらに中央処理ユニット20は、撮影モードの間、1回目のカメラ位置検出処理に引き続き、定期的にも(例えば、レリーズ信号の入力タイミングにかかわらずに5分間隔で)カメラ位置検出処理を実行する。
実際に中央処理ユニット20は、カメラ位置検出処理を実行した場合、GPS受信機32を介してGPS用の人工衛星と通信して短時間で、予め選定された所定回数だけ連続的にカメラ位置を検出する。そして中央処理ユニット20は、例えば、複数回検出したカメラ位置間の距離を総当たりで検出する。
その結果、中央処理ユニット20は、複数のカメラ位置がほぼ一致している(すなわち、複数のカメラ位置間の距離が何れも、予め選定された所定の第2の距離以下である)と、このときにはカメラ位置を精度良く検出し得ていると判断する。この場合、中央処理ユニット20は、これら複数のカメラ位置の中間位置を、デジタルスチルカメラ1の現在のカメラ位置として検出する。
ただし中央処理ユニット20は、複数のカメラ位置がばらついている(すなわち、複数のカメラ位置間の距離の少なくとも1つが第2の距離よりも長い)と、このときにはカメラ位置の検出精度が低下して、カメラ位置を正確には検出し得ないと判断する。この場合、中央処理ユニット20は、カメラ位置検出処理(すなわち、現在のカメラ位置の検出)を中断する。
このようにして中央処理ユニット20は、撮影モードの間、定期的にカメラ位置検出処理を実行するものの、カメラ位置の検出精度が高いときにのみ、現在のカメラ位置を検出する。
中央処理ユニット20は、現在のカメラ位置を検出すると、その都度、地図上でカメラ位置を示すためのカメラ位置アイコンを生成するアイコン生成処理を実行する。この場合、中央処理ユニット20は、未だカメラ位置アイコンを生成してはいないと、例えば、このとき検出した現在のカメラ位置を中心として、予め選定された所定の広さの四角形の探索エリアを設定する。
因みに、探索エリアは、例えば、現在のカメラ位置を通る対角線の長さが数[km]から百[km]程度までの間で任意に選定され、その対角線の長さを基準として広さが決定されている。
そして中央処理ユニット20は、その探索エリアを、検索用データベースDBに登録している撮影位置情報と比較する。その結果、中央処理ユニット20は、検索用データベースDBに登録している撮影位置情報の中から、探索エリア内の撮影位置を示す撮影位置情報を検出すると、当該探索エリアを、現在のカメラ位置に応じて写真画像を検索可能な検索エリアに設定する。
すなわち、中央処理ユニット20は、探索エリア内の撮影位置を検出し得ると、検索用データベースDBに探索エリア内で写真撮影して得た写真画像をすでに登録しており、当該探索エリアで写真画像を検索可能なため、当該探索エリアを検索エリアに設定する。
ここで、例えば、記録デバイス33には、予め地図画像の地図画像データが記憶されている。よって中央処理ユニット20は、検索エリアを設定すると、記録デバイス33から地図画像データ内で検索エリアに相当する部分をエリア地図画像データとして読み出す。
そして中央処理ユニット20は、そのエリア地図画像データに基づく検索エリア地図画像から、例えば、現在のカメラ位置を中心とする円形の部分地図画像を切り出す。また中央処理ユニット20は、部分地図画像に現在のカメラ位置を示す所定のマークの画像を合成したうえで、例えば画素を間引く縮小処理を施す。これにより中央処理ユニット20は、その部分地図画像上で現在のカメラ位置を示し、写真画像検索用の検索キーとして利用可能なカメラ位置アイコンを生成する。
また中央処理ユニット20は、カメラ位置アイコンを生成したときには、例えば、RAM22に、そのカメラ位置アイコンと、検索エリアを示すエリア情報と、エリア地図画像データと、現在のカメラ位置を示すカメラ位置情報とを対応付けて記録する。
ただし、中央処理ユニット20は、探索エリア内の撮影位置を検出し得ない(すなわち、検索用データベースDBに探索エリア内の撮影位置を示す撮影位置情報を登録してはいない)と、その時点でアイコン生成処理を中断する。
このように中央処理ユニット20は、未だカメラ位置アイコンを生成してはいない状態でアイコン生成処理を実行したときには、探索エリア内の撮影位置の検出に応じて検索エリアを設定すると共に、カメラ位置アイコンを生成する。
ところで、中央処理ユニット20は、すでにカメラ位置アイコンを生成した状態でアイコン生成処理を実行したときには、RAM22からカメラ位置アイコン等と共に記録していたカメラ位置情報(以下、これを過去カメラ位置情報とも呼ぶ)を読み出す。
そして中央処理ユニット20は、このとき検出した現在のカメラ位置と、過去カメラ位置情報の示すカメラ位置(以下、これを過去カメラ位置とも呼ぶ)との間のカメラ移動距離を検出し、当該検出したカメラ移動距離を、予め選定された第3の距離と比較する。因みに、第3の距離は、例えば、数[km]から十数[km]程度までの間で任意に選定されている。
その結果、中央処理ユニット20は、カメラ移動距離が第3の距離以下であり、現在のカメラ位置が過去カメラ位置からさほど離れてはいないと、アイコン生成処理を中断する。
これに対し中央処理ユニット20は、カメラ移動距離が第3の距離よりも長く、現在のカメラ位置が過去カメラ位置から比較的離れていると、上述と同様に現在のカメラ位置を中心として探索エリアを設定する。
そして中央処理ユニット20は、その探索エリアを、検索用データベースDBに登録している撮影位置情報と比較する。その結果、中央処理ユニット20は、検索用データベースDBに登録している撮影位置情報の中から、探索エリア内の撮影位置を示す撮影位置情報を検出すると、当該探索エリアを、新たな検索エリアに設定する。
また中央処理ユニット20は、上述と同様に記録デバイス33から地図画像データにおいて新たな検索エリアに相当する部分を新たなエリア地図画像データとして読み出す。そして中央処理ユニット20は、上述と同様に、その新たなエリア地図画像データに基づき、地図上で現在のカメラ位置を示すカメラ位置アイコンを生成し直す。
また中央処理ユニット20は、カメラ位置アイコンを生成し直すと、RAM22に、当該カメラ位置アイコンを、今回得たエリア情報、エリア地図画像データ及びカメラ位置情報と共に記録する。このようにして中央処理ユニット20は、RAM22に記録するカメラ位置アイコン、エリア情報、エリア地図画像データ及びカメラ位置情報を最新のものに更新する。
ただし、中央処理ユニット20は、この場合も新たな探索エリア内の撮影位置を検出し得ない(すなわち、検索用データベースDBに探索エリア内の撮影位置を示す撮影位置情報を登録してはいない)と、その時点でアイコン生成処理を中断する。
このように中央処理ユニット20は、すでにカメラ位置アイコンを生成した状態でアイコン生成処理を実行したときには、新たな探索エリア内の撮影位置の検出に応じて検索エリア及びカメラ位置アイコンを更新する。
一方、デジタル処理部31は、撮影モードに移行すると、中央処理ユニット20の制御のもと、単位画像データを生成する毎に、基準顔特徴情報を用いて当該単位画像データに対する顔検出処理も実行する。
デジタル処理部31は、顔検出処理を実行した結果、単位画像データに基づく単位画像内で1又は複数の人物の顔を検出すると、その単位画像内で検出した1又は複数の顔部分の大きさ及び位置も検出する。
そしてデジタル処理部31は、単位画像データに基づく単位画像内で1又は複数の人物の顔部分の大きさ及び位置を検出すると、当該1又は複数の顔部分の大きさ及び位置を示す顔検出情報と共に、その単位画像データを中央処理ユニット20に送出する。
中央処理ユニット20は、デジタル処理部31の顔検出処理に応じて、顔アイコンを検出するアイコン検出処理を実行する。これにより中央処理ユニット20は、デジタル処理部31から顔検出情報及び単位画像データが与えられる毎に、当該顔検出情報に基づき、単位画像データに基づく単位画像内で1又は複数の顔部分を特定し、当該特定した顔部分を解析する。
これにより中央処理ユニット20は、単位画像に写り込んでいる1又は複数の顔の特徴(顔の形や色、目、鼻、口、眉毛等の形等)を検出する。また中央処理ユニット20は、デジタル処理部31から顔検出情報及び単位画像データが与えられる毎に検出した1又は複数の人物の顔の特徴を順次比較する。
その結果、中央処理ユニット20は、予め選定された所定の第2の時間連続する所定個数の単位画像から同一人物の顔の特徴を連続して検出すると、その検出した顔の特徴を、検索用データベースDB内の登録顔特徴(すなわち登録顔特徴情報)との比較用とする。
因みに、第2の時間は、例えば、十数秒から数十秒までの間で任意に選定されている。また、以下の説明では、予め選定された第2の時間連続する所定個数の単位画像から、連続して検出された同一人物の顔の特徴(すなわち、登録顔特徴との比較用にした顔の特徴)を、比較顔特徴とも呼ぶ。
すなわち、連続して検出された顔の人物については、例えば、家族や知人であり、構図等を決めるために撮影状態提示画像に長く写り込んでおり写真撮影される可能性が高い。また連続して検出された顔の人物については、このように今回、写真撮影される可能性が高いと、過去にも写真撮影されている可能性が高い。
このため中央処理ユニット20は、撮影範囲を横切る等により撮影状態提示画像に瞬間的に写り込んだ人物の顔は除外し、当該撮影状態提示画像に比較的長く写り込んでいる人物の顔の比較顔特徴を、登録顔特徴との比較用にする。
中央処理ユニット20は、アイコン検出処理において1つ目の比較顔特徴を得ると、当該比較顔特徴を、検索用データベースDB内の登録顔特徴と比較する。その結果、中央処理ユニット20は、検索用データベースDB内の登録顔特徴の中から、比較顔特徴と一致する登録顔特徴を検出すると、比較顔特徴を、写真画像を検索可能な検索用顔特徴に設定する。
すなわち、中央処理ユニット20は、比較顔特徴と一致する登録顔特徴を検出し得ると、検索用データベースDBに比較顔特徴を有する顔の人物を写真撮影して得た写真画像をすでに登録しており、比較顔特徴で写真画像を検索することができる。よって中央処理ユニット20は、比較顔特徴を、写真画像の検索用の検索用顔特徴に設定する。
中央処理ユニット20は、比較顔特徴を検索用顔特徴に設定すると、検索用データベースDB内で検索用顔特徴と一致する登録顔特徴に対応する人物識別情報及び顔アイコンを検出する。また中央処理ユニット20は、検索用データベースDB(記録デバイス33)から、その検出した顔アイコンを、写真画像検索用の検索キーとして読み出す。
すなわち、中央処理ユニット20は、このとき表示中の撮影状態提示画像に比較的長く写り込んでいる人物の顔を示す顔アイコンを、写真画像検索用の検索キーとして検索用データベースDB(記録デバイス33)から読み出す。
また中央処理ユニット20は、このとき検索用データベースDB(記録デバイス33)から、顔アイコンと共に検出した人物識別情報も読み出す。そして中央処理ユニット20は、例えば、RAM22に、検索用顔特徴を示す検索用顔特徴情報と、顔アイコンと、人物識別情報とを対応付けて記録する。
ただし中央処理ユニット20は、比較顔特徴を得ても、その比較顔特徴と一致する登録顔特徴が存在しない(検索用データベースDBに比較顔特徴と一致する登録顔特徴を示す登録顔特徴情報を登録していない)と、当該比較顔特徴を検索用顔特徴には設定しない。そして中央処理ユニット20は、その比較顔特徴を検索用顔特徴として用いるはずの以後の処理も実行しない。
また中央処理ユニット20は、アイコン検出処理において2つ目の比較顔特徴を検出すると、当該2つ目の比較顔特徴を、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と比較する。
その結果、中央処理ユニット20は、2つ目の比較顔特徴が、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と異なると、以後は、上述した1つ目の比較顔特徴を検出した場合と同様の処理を実行する。
これに対し中央処理ユニット20は、2つ目の比較顔特徴が、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と一致すると、当該2つ目の比較顔特徴を検索用顔特徴には設定しない。そして中央処理ユニット20は、その2つ目の比較顔特徴を検索用顔特徴として用いるはずの以後の処理も実行しない。
さらに中央処理ユニット20は、2つ目の比較顔特徴の検出後、さらに幾つかの比較顔特徴を検出したときには、その都度、当該検出した比較顔特徴を、その時点までにRAM22に記録していた全ての検索用顔特徴情報の示す検索用顔特徴と比較する。
その結果、中央処理ユニット20は、2つ目の比較顔特徴の検出後にさらに検出した比較顔特徴が、RAM22に記録していた何れの検索用顔特徴情報の示す検索用顔特徴とも異なると、以後は上述した1つ目の比較顔特徴を検出した場合と同様の処理を実行する。
これに対し中央処理ユニット20は、2つ目の比較顔特徴の検出後にさらに検出した比較顔特徴が、RAM22に記録していた何れかの検索用顔特徴情報の示す検索用顔特徴と一致すると、当該さらに検出した比較顔特徴を検索用顔特徴には設定しない。そして中央処理ユニット20は、2つ目の比較顔特徴の検出後にさらに検出した比較顔特徴を検索用顔特徴として用いるはずの以後の処理も実行しない。
このようにして中央処理ユニット20は、撮影状態提示画像に比較的長く写り込んでいる人物の顔の比較顔特徴の検出に応じて適宜、当該比較顔特徴を検索用顔特徴に設定すると共に、写真画像検索用の検索キーとして、その顔を示す顔アイコンを検出する。
ところで、不揮発メモリ34には、顔アイコンと共にカメラ位置アイコンを提示するためのアイコン提示画像データの元になり、当該顔アイコンと共にカメラ位置アイコンを配置可能なアイコン配置画像のアイコン配置画像データが予め記録されている。
よって中央処理ユニット20は、撮影モードに移行すると、上述したように検索キーとしてのカメラ位置アイコンや顔アイコンを得るまでの間は、不揮発メモリ34からアイコン配置画像データを読み出す。そして中央処理ユニット20は、そのアイコン配置画像データをデジタル処理部31に送出する。
デジタル処理部31は、撮影モードに移行して中央処理ユニット20からアイコン配置画像データが与えられると、撮影データに基づき単位画像データを生成する毎に、当該生成した単位画像データにアイコン配置画像データを合成して合成画像データを生成する。
そしてデジタル処理部31は、合成画像データを順次液晶パネル7Bに送出する。これにより図4に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40において例えば画像水平方向の右端部に、画像垂直方向に長い帯状のアイコン配置画像41を重ねて表示する。
ところで、アイコン配置画像41は、例えば、白やグレーのような単色で描かれた目の粗い網目模様又は水玉模様のように、下地となる撮影状態提示画像40の右端部が透けて見えるように生成されている。
よって中央処理ユニット20は、撮影状態提示画像40にアイコン配置画像41を重ねて表示させても、当該撮影状態提示画像40においてアイコン配置画像41の重なる部分を極力見せるようにして、撮影状態が確認し得なくなることを回避している。
中央処理ユニット20は、撮影状態提示画像40上にアイコン配置画像41のみを表示した状態で、例えば、検索キーとしてのカメラ位置アイコンを生成すると、カメラ位置アイコンをアイコン配置画像データと合成してアイコン提示画像データを生成する。そして中央処理ユニット20は、アイコン提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20からアイコン提示画像データが与えられると、その後は単位画像データを生成する毎に、当該単位画像データに、アイコン配置画像データに替えてアイコン提示画像データを合成して合成画像データを生成する。そしてデジタル処理部31は、その合成画像データを順次液晶パネル7Bに送出する。
これにより図5に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40にアイコン提示画像42を重ねて表示する。
この場合、アイコン提示画像42は、撮影状態提示画像40の右端部に重ねて表示されたアイコン配置画像41を有し、当該アイコン配置画像41上に、写真画像検索用の検索キーとしてのカメラ位置アイコン43が配置されて表示されている。
また中央処理ユニット20は、新たなカメラ位置アイコンを生成すると、その新たなカメラ位置アイコンをアイコン配置画像データと合成してアイコン提示画像データを生成し直す。
このようにして中央処理ユニット20は、アイコン提示画像データの内容を更新すると、当該内容を更新したアイコン提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20から内容の更新されたアイコン提示画像データが与えられると、合成画像データの生成に用いるアイコン提示画像データを更新前のものから、更新後のものに切り換える。
すなわちデジタル処理部31は、アイコン提示画像データが更新されると、その後は単位画像データを生成する毎に、当該単位画像データに、更新前のアイコン提示画像データに替えて更新後のアイコン提示画像データを合成して新たな合成画像データを生成する。そしてデジタル処理部31は、その新たな合成画像データを順次液晶パネル7Bに送出する。
これによりデジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40に重ねたアイコン提示画像42において、アイコン配置画像41上のカメラ位置アイコン43を新たなカメラ位置アイコンに変更する。
このようにして中央処理ユニット20は、新たなカメラ位置アイコンを生成する毎に、アイコン提示画像42においてアイコン配置画像41上に配置するカメラ位置アイコン43を、新たなものに更新する。
そして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40と共にカメラ位置アイコン43を表示した場合、当該カメラ位置アイコン43を写真画像検索用の検索キーとして、ユーザにタップ操作で指示させることができるようになされている。
また中央処理ユニット20は、例えば、カメラ位置アイコンを生成した後、検索キーとしての1つ目の顔アイコンを検出すると、当該1つ目の顔アイコンと共にカメラ位置アイコンをアイコン配置画像データと合成してアイコン提示画像データを生成し直す。
このようにして中央処理ユニット20は、顔アイコンの検出に応じてアイコン提示画像データの内容を更新すると、当該内容を更新したアイコン提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20から顔アイコンの検出に応じて内容の更新されたアイコン提示画像データが与えられると、合成画像データの生成に用いるアイコン提示画像データを更新前のものから、更新後のものに切り換える。
よってデジタル処理部31は、アイコン提示画像データの更新後は、単位画像データを生成する毎に、当該単位画像データに、更新前のアイコン提示画像データに替えて更新後のアイコン提示画像データを合成して新たな合成画像データを生成する。そしてデジタル処理部31は、その新たな合成画像データを順次液晶パネル7Bに送出する。
これにより図6に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、これに重ねたアイコン提示画像42においてアイコン配置画像41上に写真画像検索用の検索キーとしてのカメラ位置アイコン43を表示する。またデジタル処理部31は、この際、アイコン提示画像42においてアイコン配置画像41上に写真画像検索用の検索キーとしての顔アイコン44も配置して表示する。
さらに中央処理ユニット20は、2つ目の顔アイコンを検出すると、カメラ位置アイコンと共に、1つ目及び2つ目の顔アイコンをアイコン配置画像データと合成してアイコン提示画像データを生成する。
このようにして中央処理ユニット20は、2つ目の顔アイコンの検出に応じて再びアイコン提示画像データの内容を更新し、当該内容を更新したアイコン提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20から、さらに内容の更新されたアイコン提示画像データが与えられると、合成画像データの生成に用いるアイコン提示画像データを再び更新前のものから、更新後の最新のものに切り換える。
よってデジタル処理部31は、アイコン提示画像データの更新後は、単位画像データを生成する毎に、当該単位画像データに、更新前のアイコン提示画像データに替えて更新後のアイコン提示画像データを合成して新たな合成画像データを生成する。そしてデジタル処理部31は、その新たな合成画像データを順次液晶パネル7Bに送出する。
これにより図7に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、アイコン提示画像42においてアイコン配置画像41上に2つ目の顔アイコン45を追加して表示する。
このようにして中央処理ユニット20は、撮影状態提示画像40に連続的に写り込んだ人物の顔を示す顔アイコン44及び45を検出する毎に、アイコン配置画像41上に当該検出した顔アイコン44及び45を順次追加して表示する。
そして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40と共に顔アイコン44及び45を表示した場合、当該顔アイコン44及び45を写真画像検索用の検索キーとして、ユーザにタップ操作で指示させることができるようになされている。
因みに、デジタル処理部31は、上述のように単位画像データを生成する毎に顔検出処理を実行した結果、人物の顔と共に顔部分の大きさ及び位置も検出すると、その顔部分の大きさに応じて当該顔部分を囲む例えば、四角形の枠画像の枠画像データを生成する。
このときデジタル処理部31は、単位画像データに、顔部分の位置に応じて枠画像データも合成すると共に、上述のようにアイコン配置画像データやアイコン提示画像データも合成して合成画像データを生成する。そしてデジタル処理部31は、その合成画像データを液晶パネル7Bに送出する。
これにより図4乃至図7に示すように、デジタル処理部31は、液晶パネル7Bに表示した撮影状態提示画像40に、人物の顔(単位画像内で検出した顔)を囲むように枠画像46を重ねて表示する。
ところで、撮影状態提示画像40で重ねて表示される枠画像46は、例えば、緑色のような所定の初期設定色で描かれており、ユーザに人物の顔の検出を通知し、また写真撮影の際、当該顔にフォーカスを合せるため等に利用されている。
ただし中央処理ユニット20は、上述のように比較顔特徴を検索用顔特徴に設定すると、後述するように、撮影状態提示画像40に写り込んでいる検索用顔特徴の顔を、当該撮影状態提示画像40に写り込んでいる状態で写真画像検索用の検索キーとして利用する。因みに、以下の説明では、検索用顔特徴の顔を、検索利用顔とも呼ぶ。
このため、中央処理ユニット20は、比較顔特徴を検索用顔特徴に設定すると、これに応じてデジタル処理部31を制御して、撮影状態提示画像40に重ねて表示した、検索利用顔を囲む枠画像46を例えば、初期設定色とは異なる色に変更する。
また中央処理ユニット20は、比較顔特徴を検索用顔特徴に設定した後も、単位画像から顔の特徴を検出する毎に、当該検出した顔の特徴を、RAM22に記録している検索用顔特徴情報と比較する。
これにより中央処理ユニット20は、撮影状態提示画像40に検索利用顔が写り込んでいるか否かを検出し、その検索利用顔が写り込んでいるときには、当該検索利用顔を囲む枠画像46の色を変更する。
よって中央処理ユニット20は、撮影状態提示画像40に検索利用顔が写り込んでいる間は、当該検索利用顔を囲む枠画像46の色により、その検索利用顔が検索キーとして利用可能なことをユーザに通知することができる。
因みに、中央処理ユニット20は、上述のように撮影モードに移行すると、直ちに1回目のカメラ位置検出処理を実行し、以後は定期的にカメラ位置検出処理を実行している。そして中央処理ユニット20は、カメラ位置検出処理を実行して現在のカメラ位置を検出すると、引き続きアイコン生成処理を実行している。
また中央処理ユニット20は、撮影モードに移行すると、デジタル処理部31に直ちに顔検出処理を開始させ、同一人物の顔の特徴を連続的に検出したうえで、アイコン検出処理を実行している。
このため中央処理ユニット20は、1回目のカメラ位置検出処理で現在のカメラ位置を検出し、引き続き実行したアイコン生成処理でカメラ位置アイコンを生成し得ると、図4乃至図7について上述した場合と同様にまず、カメラ位置アイコン43を表示する。そして中央処理ユニット20は、そのカメラ位置アイコン43の表示に次いで、顔アイコン44及び45を追加で表示する。
しかしながら中央処理ユニット20は、例えば、1回目のカメラ位置検出処理で現在のカメラ位置を検出し得ないと、カメラ位置アイコン43を生成するよりも先に、顔アイコン44及び45を生成する場合もある。
すなわち、中央処理ユニット20は、例えば、カメラ位置検出処理の実行状況によっては、図4乃至図7について上述した場合とは異なり、まず顔アイコン44及び45を表示し、その後、カメラ位置アイコン43を追加で表示する場合もある。
よって、以下の説明では、顔アイコン44及び45、及びカメラ位置アイコン43を特には区別する必要のない場合、これら顔アイコン44及び45、及びカメラ位置アイコン43をまとめて検索キーアイコンとも呼ぶ。
実際に中央処理ユニット20は、カメラ位置アイコン43を生成すると、図5乃至図7に示すように、アイコン配置画像41において、例えば、画像垂直方向の下端部にカメラ位置アイコン43を配置して表示する。
また中央処理ユニット20は、顔アイコン44及び45を検出すると、アイコン配置画像41において画像垂直方向の上端部に最新の顔アイコン44及び45を配置して表示する。
これに伴い中央処理ユニット20は、すでにアイコン配置画像41上に配置して表示していた顔アイコン44及び45やカメラ位置アイコン43については、配置位置を画像垂直方向の下端部側に順次一段ずつ下げて表示する。
このようにして図8(A)及び(B)に示すように、中央処理ユニット20は、液晶パネル7Bにアイコン提示画像42としてアイコン配置画像41と共に、例えば、最多で3個の検索キーアイコン47乃至49を縦一列に配置して一括表示する。
また中央処理ユニット20は、一括表示可能な個数を超えて検索キーアイコン50を得ると、アイコン配置画像41を画像垂直方向に伸ばすようにして当該アイコン配置画像41上に検索キーアイコン50を追加する。
ただし、中央処理ユニット20は、この際、液晶パネル7Bから、アイコン配置画像41の下端部側と共に、当該下端部側に配置した検索キーアイコン47を消去する。すなわち、中央処理ユニット20は、この際、アイコン配置画像41を画像垂直方向に伸ばして下端部側と共に、当該下端部側に配置した検索キーアイコン47を、あたかも撮影状態提示画像40の外側に退出させるようにして消去する。
そして中央処理ユニット20は、このように全ての検索キーアイコン47乃至50を一括して表示しきれないと、アイコン配置画像41を、元の色とは異なる色(例えば、淡い青)に変更する。これにより中央処理ユニット20は、全ての検索キーアイコン47乃至50を一括して表示しきれないと、アイコン配置画像41の色の変化で、表示し得ない検索キーアイコン47が存在することを知らせることができる。
また図9(A)及び(B)に示すように、中央処理ユニット20は、ユーザによりアイコン配置画像41上で画像垂直方向に摺動操作されると、これに応じてアイコン配置画像41と共に検索キーアイコン51乃至56を画像垂直方向へスクロールさせる。
よって中央処理ユニット20は、アイコン配置画像41のすでに表示していた部分と共に、すでに表示していた検索キーアイコン51乃至56を撮影状態提示画像40の外側へ移動させる。
これに伴い中央処理ユニット20は、アイコン配置画像41のそれまで表示しきれなかった部分と共に、それまで表示していなかった検索キーアイコン51乃至56を撮影状態提示画像40内に移動させる。
このように中央処理ユニット20は、検索キーアイコン51乃至56の個数が一括表示可能な個数より多くても、アイコン配置画像41と共に検索キーアイコン51乃至56を見せて、適宜、タップ操作で検索用に指示させることができる。
ところで中央処理ユニット20は、顔アイコン検出処理を実行してRAM22に検索用顔特徴情報と共に記録した顔アイコン57乃至60(図10)により、アイコン配置画像41上に配置する当該顔アイコン57乃至60の並び順を管理している。
例えば、中央処理ユニット20は、顔アイコン57乃至60の並び順において先頭をアイコン配置画像41の上端部とし後尾を下端部とするように、当該顔アイコン57乃至60にアイコン配置画像41の上端部から下端部にかけて順番に並び順を割り当てている。
実際に中央処理ユニット20は、顔アイコン検出処理においてRAM22に1つ目の顔アイコン57乃至60を記録すると、当該1つ目の顔アイコン57乃至60を先頭にする(すなわち、アイコン配置画像41の上端部に配置する)。
また中央処理ユニット20は、顔アイコン検出処理においてRAM22に2つ目の顔アイコン57乃至60を記録すると、当該2つ目の顔アイコン57乃至60を先頭にする。これに伴い中央処理ユニット20は、RAM22に先に記録した1つ目の顔アイコン57乃至60の並び順を1つ(後尾でもある)繰り下げる。
このように中央処理ユニット20は、RAM22に顔アイコン57乃至60を記録する毎に、最新の顔アイコン57乃至60を先頭にし、先に記録した顔アイコン57乃至60の並び順を順次1つ繰り下げる。
ただし中央処理ユニット20は、顔アイコン検出処理において、検出した比較顔特徴が、RAM22にすでに記録していた検索用顔特徴情報の示す検索用顔特徴と一致すると、当該一致した検索用顔特徴に対応する顔アイコン60を特定する。
そして中央処理ユニット20は、特定した顔アイコン60の並び順を検出する。その結果、中央処理ユニット20は、特定した顔アイコン60の並び順が先頭であると、当該顔アイコン60の並び順を変更しない。
これに対し中央処理ユニット20は、特定した顔アイコン57乃至59の並び順が先頭よりも後尾側であると、当該顔アイコン57乃至59の並び順を先頭に変更する。また中央処理ユニット20は、特定した顔アイコン57乃至59の並び順よりも先頭側であった他の顔アイコン58乃至60の並び順を、後尾側に順次1つ繰り下げて変更する。
そして中央処理ユニット20は、顔アイコン57乃至59の並び順を変更すると、これに応じてデジタル処理部31を制御して、当該並び順の変更に合せるように、アイコン配置画像41上での顔アイコン57乃至60の表示位置を変更する。
図10に示すように、実際に中央処理ユニット20は、顔アイコン57乃至59の並び順を変更したときにアイコン配置画像41の上端部が表示されていると、アイコン配置画像41の表示部分は変更せずに、顔アイコン57乃至60の表示位置のみを変更する。
また図11に示すように、中央処理ユニット20は、顔アイコン57乃至59の並び順を変更したときにアイコン配置画像41の上端部を表示してはいないと、アイコン配置画像41を自動的にスクロールさせる。
これにより中央処理ユニット20は、アイコン配置画像41の表示部分を、上端部を表示するように変更する。そのうえで中央処理ユニット20は、顔アイコン57乃至60の表示位置も変更する。
このように中央処理ユニット20は、撮影状態提示画像40に連続的に写り込んでいる人物の顔を比較顔特徴として検出する毎に、当該人物の顔を示す顔アイコン57乃至60をアイコン配置画像41の上端部と共に表示する。
よって中央処理ユニット20は、撮影状態提示画像40に連続的に写り込んでいる人物の顔を示す顔アイコン57乃至60を、写真画像検索用の検索キーとして指示させ易くすることができる。
また中央処理ユニット20は、第2の設定内容で検索キー提示機能を実現するように設定した状態で撮影モードに移行すると、撮影モードの間、その第2の設定内容に応じてデジタル処理部31を制御する。
この場合、デジタル処理部31は、上述と同様に単位画像データを生成する毎に、基準顔特徴情報を用いて単位画像データに対する顔検出処理を実行する。そしてデジタル処理部31は、単位画像データに基づく単位画像内で1又は複数の人物の顔と共に当該顔部分の大きさ及び位置を検出すると、液晶パネル7Bに表示した撮影状態提示画像40に人物の顔を囲むように枠画像46を重ねて表示する。
またデジタル処理部31は、単位画像データに基づく単位画像内で1又は複数の人物の顔部分の大きさ及び位置を検出すると、当該1又は複数の顔部分の大きさ及び位置を示す顔検出情報と共に、その単位画像データを中央処理ユニット20に送出する。
中央処理ユニット20は、上述と同様に顔アイコン検出処理を実行する。これにより中央処理ユニット20は、デジタル処理部31から顔検出情報及び単位画像データが与えられる毎に顔の特徴を検出するようにして顔アイコンを検出する。
そして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、アイコン提示画像42として上述と同様構成のアイコン配置画像41と共に顔アイコンを表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40と共に表示したアイコン提示画像42により、当該撮影状態提示画像40に連続的に写り込んでいる人物の顔を示す顔アイコンを、写真画像検索用の検索キーとして提示する。
因みに、中央処理ユニット20は、この場合も顔アイコン検出処理で比較顔特徴を検索用顔特徴に設定すると、上述と同様に検索用顔特徴の検索利用顔を囲む枠画像46の色を変更する。
よって中央処理ユニット20は、撮影状態提示画像40に検索利用顔が写り込んでいる間は、当該検索利用顔を囲む枠画像46の色により、その検索利用顔が検索キーとして利用可能なことをユーザに通知する。
さらに中央処理ユニット20は、第3の設定内容で検索キー提示機能を実現するように設定した状態で撮影モードに移行すると、撮影モードの間、その第3の設定内容に応じてデジタル処理部31を制御する。
また中央処理ユニット20は、撮影モードの間、上述と同様に定期的にカメラ位置検出処理を実行すると共に、その実行結果に応じてアイコン生成処理も実行して、適宜、カメラ位置アイコンを生成する。
ところで、不揮発メモリ34には、上述したアイコン配置画像データの他に、カメラ位置アイコンのみを配置するためのアイコン配置画像データも保持している。
よって中央処理ユニット20は、撮影モードに移行すると、不揮発メモリ34からカメラ位置アイコン用のアイコン配置画像データを読み出す。そして中央処理ユニット20は、上述したように検索キーとしてのカメラ位置アイコンを得るまでの間は、そのアイコン配置画像データをそのままデジタル処理部31に送出する。
デジタル処理部31は、撮影モードに移行して中央処理ユニット20からアイコン配置画像データが与えられると、撮影データに基づき単位画像データを生成する毎に、当該生成した単位画像データにアイコン配置画像データを合成して合成画像データを生成する。
そしてデジタル処理部31は、合成画像データを順次液晶パネル7Bに送出する。これにより図12に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40において例えば画像水平方向の右下隅部に、正方形のアイコン配置画像61を重ねて表示する。
ところで、アイコン配置画像61は、上述のアイコン配置画像41と同様に、白やグレーのような単色で描かれた目の粗い網目模様又は水玉模様のように、下地となる撮影状態提示画像40の右下隅部が透けて見えるように生成されている。
よって中央処理ユニット20は、撮影状態提示画像40にアイコン配置画像61を重ねて表示しても、当該撮影状態提示画像40においてアイコン配置画像61が重なる部分を極力見せるようにして、撮影状態が確認し得なくなることを回避している。
また中央処理ユニット20は、撮影状態提示画像40にアイコン配置画像61を重ねて表示した状態で、カメラ位置アイコンを生成すると、そのカメラ位置アイコンをアイコン配置画像データと合成してアイコン提示画像データを生成する。そして中央処理ユニット20は、そのアイコン提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20からは、アイコン提示画像データが与えられると、その後は単位画像データを生成する毎に、当該単位画像データに、アイコン配置画像データに替えてアイコン提示画像データを合成して合成画像データを生成する。そしてデジタル処理部31は、その合成画像データを順次液晶パネル7Bに送出する。
これにより図13に示すように、デジタル処理部31は、液晶パネル7Bに撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40にアイコン提示画像62を重ねて表示する。
この場合、アイコン提示画像62は、撮影状態提示画像40の右下隅部に重ねて表示されたアイコン配置画像61を有し、当該アイコン配置画像61上に、写真画像検索用の検索キーとしてのカメラ位置アイコン63が配置されて表示されている。
また中央処理ユニット20は、新たなカメラ位置アイコンを生成すると、その都度、アイコン提示画像データの内容を更新してデジタル処理部31に送出する。そしてデジタル処理部31は、中央処理ユニット20から内容の更新されたアイコン提示画像データが与えられると、その都度、上述と同様に合成画像データの生成に用いるアイコン提示画像データを更新前のものから更新後のものに切り替える。
これにより中央処理ユニット20は、液晶パネル7Bに表示するアイコン提示画像62においてアイコン配置画像61上に表示するカメラ位置アイコン63を、新たなものに更新する。
このようにして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40と共に表示したアイコン提示画像62により、カメラ位置アイコン63を、写真画像検索用の検索キーとして提示する。
ところで、デジタル処理部31は、この際にも、上述と同様に単位画像データを生成する毎に、基準顔特徴情報を用いて単位画像データに対する顔検出処理を実行する。そしてデジタル処理部31は、単位画像データに基づく単位画像内で1又は複数の人物の顔と共に当該顔部分の大きさ及び位置を検出すると、液晶パネル7Bに表示した撮影状態提示画像40に人物の顔を囲むように枠画像46を重ねて表示する。
またデジタル処理部31は、単位画像データに基づく単位画像内で1又は複数の人物の顔部分の大きさ及び位置を検出すると、当該1又は複数の顔部分の大きさ及び位置を示す顔検出情報と共に、その単位画像データを中央処理ユニット20に送出する。
中央処理ユニット20は、上述のアイコン検出処理と同様に、デジタル処理部31から顔検出情報及び単位画像データが与えられる毎に、当該顔検出情報に基づき単位画像内で1又は複数の顔部分を特定して解析する。これにより中央処理ユニット20は、単位画像に写り込んでいる1又は複数の顔の特徴を検出する。
また中央処理ユニット20は、上述のアイコン検出処理と同様に、デジタル処理部31から顔検出情報及び単位画像データが与えられる毎に単位画像から検出した1又は複数の人物の顔の特徴を順次比較する。そして中央処理ユニット20は、第2の時間連続する所定個数の単位画像から同一人物の顔の特徴を連続して検出すると、その検出した顔の特徴を比較顔特徴とする。
このようにして中央処理ユニット20は、1つ目の比較顔特徴を得ると、当該比較顔特徴を、検索用データベースDB内の登録顔特徴と比較する。その結果、中央処理ユニット20は、検索用データベースDB内の登録顔特徴の中から、比較顔特徴と一致する登録顔特徴を検出すると、比較顔特徴を検索用顔特徴に設定する。
また中央処理ユニット20は、検索用データベースDB(記録デバイス33)から、その検索用顔特徴と一致する登録顔特徴に対応付けている人物識別情報を読み出す。そして中央処理ユニット20は、例えば、RAM22に、検索用顔特徴を示す検索用顔特徴情報と、人物識別情報とを対応付けて記録する。
ただし中央処理ユニット20は、比較顔特徴を得ても、その比較顔特徴と一致する登録顔特徴が存在しない(検索用データベースDBに比較顔特徴と一致する登録顔特徴を示す登録顔特徴情報を登録していない)と、当該比較顔特徴を検索用顔特徴には設定しない。そして中央処理ユニット20は、その比較顔特徴を検索用顔特徴として用いるはずの以後の処理も実行しない。
また中央処理ユニット20は、2つ目の比較顔特徴を検出すると、当該2つ目の比較顔特徴を、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と比較する。その結果、中央処理ユニット20は、2つ目の比較顔特徴が、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と異なると、以後は、上述した1つ目の比較顔特徴を検出した場合と同様の処理を実行する。
これに対し中央処理ユニット20は、2つ目の比較顔特徴が、RAM22に記録していた検索用顔特徴情報の示す検索用顔特徴と一致すると、当該2つ目の比較顔特徴を検索用顔特徴には設定しない。そして中央処理ユニット20は、その2つ目の比較顔特徴を検索用顔特徴として用いるはずの以後の処理も実行しない。
さらに中央処理ユニット20は、2つ目の比較顔特徴の検出後、さらに幾つかの比較顔特徴を検出したときには、その都度、当該検出した比較顔特徴を、その時点までにRAM22に記録していた全ての検索用顔特徴情報の示す検索用顔特徴と比較する。
その結果、中央処理ユニット20は、2つ目の比較顔特徴の検出後にさらに検出した比較顔特徴が、RAM22に記録していた何れの検索用顔特徴情報の示す検索用顔特徴とも異なると、以後は上述した1つ目の比較顔特徴を検出した場合と同様の処理を実行する。
このようにして中央処理ユニット20は、撮影状態提示画像40に比較的長く写り込んでいる人物の顔の比較顔特徴の検出に応じて適宜、当該比較顔特徴を検索用顔特徴に設定する。
また中央処理ユニット20は、このように比較顔特徴を検索用顔特徴に設定すると、上述と同様にデジタル処理部31を制御して、検索利用顔を囲む枠画像46の色を変更する。よって中央処理ユニット20は、撮影状態提示画像40に検索利用顔が写り込んでいる間は、当該検索利用顔を囲む枠画像46の色により、その検索利用顔が検索キーとして利用可能なことをユーザに通知する。
なお、図14(A)及び(B)に示すように、中央処理ユニット20は、第1の設定内容や第2の設定内容で検索キー提示機能を実現するように設定していると、上述のように液晶パネル7Bに撮影状態提示画像40と共に、アイコン提示画像42を表示する。
ただし、アイコン提示画像42に含まれる検索キーアイコン(顔アイコンやカメラ位置アイコン)は、その絵柄が撮影状態提示画像40の絵柄と明確に区別可能なように、当該撮影状態提示画像40が透けては見えないように生成されている。
このため中央処理ユニット20は、シャッタボタン9が半押操作され条件調整信号が入力されると、これに応じてデジタル処理部31を制御して液晶パネル7Bからアイコン提示画像42を消去する。
また中央処理ユニット20は、シャッタボタン9が全押操作されレリーズ信号が入力されても、これに応じてデジタル処理部31を制御して液晶パネル7Bからアイコン提示画像42を消去する。
因みに、中央処理ユニット20は、図4について上述したように液晶パネル7Bに撮影状態提示画像40と共にアイコン配置画像41を表示した状態でシャッタボタン9が半押操作されても、液晶パネル7Bから当該アイコン配置画像41を消去する。
また中央処理ユニット20は、図4について上述したように液晶パネル7Bに撮影状態提示画像40と共にアイコン配置画像41を表示した状態でシャッタボタン9が全押操作されても、液晶パネル7Bから当該アイコン配置画像41を消去する。
このようにして中央処理ユニット20は、シャッタボタン9が半押操作されている間や全押操作されている間は、デジタル処理部31を制御して液晶パネル7Bに撮影状態提示画像40のみを表示する。
これにより中央処理ユニット20は、写真撮影用にシャッタボタン9が半押操作されている間や全押操作されている間は、撮影状態提示画像40全体を見せて、被写体の撮影状態を的確に確認させることができる。
また、図15(A)及び(B)に示すように、中央処理ユニット20は、第3の設定内容に設定している場合も、同様にシャッタボタン9が半押操作されている間や全押操作されている間は、液晶パネル7Bに撮影状態提示画像40のみを表示する。
よって中央処理ユニット20は、第3の設定内容に設定している場合も、写真撮影用にシャッタボタン9が半押操作されている間や全押操作されている間は、撮影状態提示画像40全体を見せて、被写体の撮影状態を的確に確認させることができる。
[1−5 撮影モード時の写真画像の画像検索処理]
次いで、撮影モード時に、検索キーアイコンの指示に応じて写真画像を検索する画像検索処理について説明する。ただし、以下には、まず撮影モード時に液晶パネル7Bに表示した検索キーとしてのカメラ位置アイコンが指示されたとき、これに応じて実行する画像検索処理について説明する。
次いで、撮影モード時に液晶パネル7Bに表示した検索キーとしての顔アイコンが指示されたとき、これに応じて実行する画像検索処理について説明する。続いて、撮影モード時に液晶パネルに表示した撮影状態提示画像40内の枠画像46と共に顔部分が指示されたとき、これに応じて実行する画像検索処理について説明する。
中央処理ユニット20は、液晶パネル7Bにアイコン提示画像42、62としてカメラ位置アイコンを表示した状態で、ユーザによりタップ操作で当該カメラ位置アイコンが指示されると、RAM22からエリア情報及びエリア地図画像データを読み出す。
また中央処理ユニット20は、エリア情報が示す検索エリアを、検索用データベースDBに登録している撮影位置情報と比較して、当該撮影位置情報の中から検索エリア内の撮影位置を示す撮影位置情報を検索する。
因みに、以下の説明では、検索エリアに基づいて検索した撮影位置情報(すなわち、検索エリア内の撮影位置を示す撮影位置情報)を、検索撮影位置情報とも呼び、当該検索撮影位置情報が示す撮影位置を、検索撮影位置とも呼ぶ。
さらに中央処理ユニット20は、検索用データベースDB内で検索撮影位置情報に対応付けていたイベント識別情報に基づいて、当該検索撮影位置情報を写真撮影のイベントで分類する。
さらに中央処理ユニット20は、検索撮影位置情報を分類したイベント毎に、例えば、検索用データベースDB内で検索撮影位置情報に対応付けていた撮影日時情報の中から、当該イベントで最初に写真撮影した撮影日時を示す撮影日時情報を検出する。
因みに、以下の説明では、検索撮影位置情報を分類したイベント毎に検出した、当該イベントで最初に写真撮影した撮影日時を、初回撮影日時とも呼び、当該初回撮影日時を示す撮影日時情報を初回撮影日時情報とも呼ぶ。
そして中央処理ユニット20は、検索撮影位置情報を分類したイベント毎に、その検索撮影位置情報の中から、初回撮影日時の検索撮影位置を示す検索撮影位置情報を、写真撮影の行われた当該イベントのイベント位置を示すイベント位置情報として検出する。
また中央処理ユニット20は、検索撮影位置情報を分類したイベント毎に、初回撮影日時に基づき、当該イベントでの写真撮影が今日と、過去(すなわち、今日よりも前)との何れで行われたのかを判別する。
そして中央処理ユニット20は、その判別結果に基づき、エリア地図画像データに、今日や過去に写真撮影が行われたイベントと共に、そのイベント位置を示し、かつ当該イベントで写真画像を検索するための検索キーとしてのイベント位置アイコンを合成する。
これにより中央処理ユニット20は、エリア地図画像データをもとに、エリア地図画像上にイベント位置アイコンを配置して写真画像の検索に利用する検索用地図画像の検索用地図画像データを生成する。
因みに、今日、写真撮影が行われたイベントと共に、そのイベント位置を示すイベント位置アイコンは、過去に写真撮影が行われたイベントと共に、そのイベント位置を示すイベント位置アイコンと形状や大きさ等が異なるように生成されている。
ただし、以下の説明では、今日のイベントのイベント位置アイコンと過去のイベントのイベント位置アイコンとを特には区別する必要のない場合、これらもまとめて検索キーアイコンとも呼ぶ。
ところで、中央処理ユニット20は、上述したように撮影モード時にカメラ位置アイコンを生成すると、これに応じてRAM22に当該カメラ位置アイコンと、そのカメラ位置を示すカメラ位置情報とを対応付けて記録している。
ただし中央処理ユニット20は、このようなRAM22へのカメラ位置情報の記録とは別に、撮影モードへの移行時点からカメラ位置アイコンの指示時点までに検出した全てのカメラ位置を、その検出履歴を示す位置検出履歴情報としてRAM22に記録している。
よって中央処理ユニット20は、この際、RAM22に記録した位置検出履歴情報に基づき、検索用地図画像上での、撮影モードへの移行時点からカメラ位置アイコンの指示時点までのカメラ位置の変位を検出する。
中央処理ユニット20は、検索用地図画像に描かれた道路に沿ってカメラ位置が変位していると、当該カメラ位置の変位を辿るような道路において変位の始点及び終点間に相当する区間を、他の部分とは異なる色に変更するように検索用地図画像データを加工する。また中央処理ユニット20は、検索用地図画像上でカメラ位置がほぼ一点に止まっていると、この際には検索用地図画像データに何ら加工は施さないようにする。
このようにして中央処理ユニット20は、検索用地図画像データを生成すると、当該生成した検索用地図画像データをデジタル処理部31に送出する。また中央処理ユニット20は、この際、RAM22に、検索撮影位置情報を分類したイベントを示すイベント識別情報と、当該イベントのイベント位置を示すイベント位置情報と、検索キーアイコンとを対応付けて記録する。
デジタル処理部31は、中央処理ユニット20から検索用地図画像データが与えられると、当該中央処理ユニット20の制御のもと、その時点から単位画像データに替えて検索用地図画像データを液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに検索用地図画像データに基づき、例えば、図16に示すような検索用地図画像65を表示する。
この検索用地図画像65は、もとのエリア地図画像66のイベント位置に写真画像検索用の検索キーとしての今日のイベントのイベント位置アイコン67や過去のイベントのイベント位置アイコン68が配置されている。また検索用地図画像65は、カメラ位置の変位を辿るような道路69において当該変位の始点及び終点間に相当する区間69Aが他の部分とは異なる色に着色されている。
これにより中央処理ユニット20は、ユーザに提示した検索用地図画像65上で、今日や過去に写真撮影の行われたイベントと共に、そのイベント位置をイベント位置アイコン67及び68によって確認させることができる。
また中央処理ユニット20は、今日は適宜移動して異なるイベントで写真撮影していると、その移動ルートを道路69の部分的な色の違いで確認させることもできる。すなわち、中央処理ユニット20は、ユーザに今日はどのような移動ルートを通って移動しながら、どこで写真撮影したかを確認させることができる。
中央処理ユニット20は、液晶パネル7Bに検索用地図画像65を表示した状態で、ユーザによりタップ操作で検索キーアイコンが指示されると、RAM22内で、当該指示された検索キーアイコンの示すイベント位置情報を検出する。また中央処理ユニット20は、RAM22から、その検出したイベント位置情報に対応するイベント識別情報及び検索キーアイコンを読み出す。
さらに中央処理ユニット20は、そのRAM22から読み出したイベント識別情報に基づき、検索用データベースDB(すなわち、記録デバイス33)から当該イベント識別情報に対応付けていたファイル識別情報を全て検索して読み出す。
さらに中央処理ユニット20は、記録デバイス33から、その検索したファイル識別情報に対応するサムネイルデータを読み出す。そして中央処理ユニット20は、サムネイルデータ及び検索キーアイコンに基づき、ユーザの指示した検索キーアイコンに応じて当該検索キーアイコンの示すイベント位置のイベントで検索した写真画像を提示するためのイベント検索写真画像データを生成する。また中央処理ユニット20は、そのイベント検索写真画像データをデジタル処理部31に送出する。
よってデジタル処理部31は、中央処理ユニット20からイベント検索写真画像データが与えられると、検索用地図画像データに替えて当該イベント検索写真画像データを液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bにイベント検索写真画像データに基づき、図17に示すようなイベント検索写真画像70を表示する。
このイベント検索写真画像70には、全体を画像垂直方向に2分するようにアイコン表示領域70Aとサムネイル表示領域70Bとが設けられている。そしてイベント検索写真画像70のアイコン表示領域70Aには、ユーザにより指示された検索キーアイコン(すなわち、イベント位置アイコン67、68)が配置されている。
またイベント検索写真画像70のサムネイル表示領域70Bには、ユーザにより指示された検索キーアイコンの示すイベント位置のイベントで、写真撮影して生成した写真画像のサムネイル71がマトリクス状に配置されている。さらにサムネイル表示領域70Bには、画像水平方向の右端部に、画像垂直方向にスライドするスクロールバー72が設けられている。
よって中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像70を表示すると、当該イベント検索写真画像70を介して、ユーザにより指示されたイベント位置のイベントで検索した写真画像を、サムネイル71として見せることができる。
また中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像70を表示した状態で、ユーザによりスクロールバー72を画像垂直方向に移動させるように摺動操作されると、これに応じてスクロール表示用にデジタル処理部31を制御する。
これにより中央処理ユニット20は、イベント検索写真画像70のサムネイル表示領域70B内で、サムネイル71を画像垂直方向へスクロールさせる。よって中央処理ユニット20は、イベント検索写真画像70のサムネイル表示領域70B内に、イベントで検索した写真画像のサムネイル71を一括して配置し得ない場合でも、当該サムネイル71を適宜切り換えて配置して見せることができる。
さらに中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像70を表示した状態で、ユーザによりタップ操作でサムネイル71が指示されると、当該指示されたサムネイル71に対応するファイル識別情報を判別する。
そして中央処理ユニット20は、その判別したファイル識別情報に基づき、記録デバイス33から、当該ファイル識別情報で識別される画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルから圧縮画像データを取り出してデジタル処理部31に送出する。
よってデジタル処理部31は、中央処理ユニット20から圧縮画像データが与えられると、その圧縮画像データに伸長復号処理を施して元の写真画像データを生成する。そしてデジタル処理部31は、イベント検索写真画像データに替えて、その写真画像データを液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bの全面にわたり、イベント検索写真画像70に替えて写真画像データに基づく写真画像を表示する。
このようにして中央処理ユニット20は、ユーザによりイベント検索写真画像70上でサムネイル71が指示されたときには、当該指示されたサムネイル71の元となる写真画像を液晶パネル7Bに単独で表示して見せることができる。
ところで中央処理ユニット20は、液晶パネル7Bに写真画像を表示した状態で、ユーザによりタッチパネル7Aのどの位置ででも例えば、2回連続してタップ操作されると、これに応じて液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
これによりデジタル処理部31は、写真画像データに替えてイベント検索写真画像データを液晶パネル7Bに送出して当該液晶パネル7Bに、写真画像に替え再びイベント検索写真画像70を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに写真画像を表示しても、簡易な操作で当該写真画像の表示をイベント検索写真画像70の表示に戻すことができる。そして中央処理ユニット20は、写真画像の表示をイベント検索写真画像70の表示に戻すと、ユーザに再び所望の写真画像の表示用にサムネイル71を指示させることができる。
また中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像70を表示した状態で、ユーザによりタップ操作で検索キーアイコンが指示されると、これに応じて液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
これによりデジタル処理部31は、イベント検索写真画像データに替えて検索用地図画像データを液晶パネル7Bに送出して当該液晶パネル7Bに、イベント検索写真画像70に替えて検索用地図画像65を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像70を表示した場合も、簡易な操作で当該イベント検索写真画像70の表示を検索用地図画像65の表示に戻すことができる。
そして中央処理ユニット20は、イベント検索写真画像70の表示を検索用地図画像65の表示に戻すと、ユーザに再び写真画像の検索用に、所望のイベント位置を示す検索キーアイコンを指示させることができる。
さらに中央処理ユニット20は、検索用地図画像65を表示した状態で、ユーザによりタッチパネル7Aにおいて検索キーアイコンと対向する部分以外が2回連続してタップ操作されると、液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
この際、デジタル処理部31は、検索用地図画像データに替えて、再び単位画像データをもとに合成画像データを生成して液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに、検索用地図画像65に替え、再び撮影状態提示画像40と共にアイコン提示画像42、62を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに検索用地図画像65を表示しても、簡易な操作で当該検索用地図画像65の表示を撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すことができる。
そして中央処理ユニット20は、検索用地図画像65の表示を、撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すと、ユーザに再び被写体を写真撮影させ、またカメラ位置が変位した後で再びカメラ位置アイコンを指示させることができる。
なお、この実施の形態の場合、中央処理ユニット20は、検索用地図画像65の表示を、撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すと、検索用地図画像65の表示前に実行していた処理を再び実行する。
これにより中央処理ユニット20は、再びカメラ位置検出処理を定期的に実行すると共に、その実行結果に応じて適宜、アイコン生成処理を実行して、アイコン提示画像42及び62として表示するカメラ位置アイコンを更新する。
一方、中央処理ユニット20は、液晶パネル7Bにアイコン提示画像42として顔アイコンを表示した状態で、ユーザによりタップ操作で当該顔アイコンが指示されると、RAM22から、その顔アイコンと、これに対応する人物識別情報とを読み出す。
また中央処理ユニット20は、RAM22から読み出した人物識別情報に基づき、検索用データベースDB(すなわち、記録デバイス33)から当該人物識別情報に対応付けていたファイル識別情報を全て検索して読み出す。
さらに中央処理ユニット20は、記録デバイス33から、その検索したファイル識別情報に対応するサムネイルデータを読み出す。そして中央処理ユニット20は、サムネイルデータ及び顔アイコンに基づき、ユーザの指示した顔アイコンで検索した写真画像を提示するための顔検索写真画像データを生成する。また中央処理ユニット20は、その顔検索写真画像データをデジタル処理部31に送出する。
よってデジタル処理部31は、中央処理ユニット20から顔検索写真画像データが与えられると、合成画像データに替えて当該顔検索写真画像データを液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに顔検索写真画像データに基づき、図18に示すような顔検索写真画像75を表示する。
この顔検索写真画像75には、全体を画像垂直方向に2分するようにアイコン表示領域75Aとサムネイル表示領域75Bとが設けられている。そして顔検索写真画像75のアイコン表示領域75Aには、ユーザにより指示された顔アイコン76が配置されている。
また顔検索写真画像75のサムネイル表示領域75Bには、ユーザにより指示された顔アイコン76で検索した写真画像(すなわち、顔アイコン76が示す顔の人物が写り込んだ写真画像)のサムネイル77がマトリクス状に配置されている。さらにサムネイル表示領域75Bには、画像水平方向の右端部に、画像垂直方向にスライドするスクロールバー77が設けられている。
よって中央処理ユニット20は、液晶パネル7Bに顔検索写真画像75を表示すると、当該顔検索写真画像75を介して、ユーザにより指示された顔アイコン76で検索した写真画像を、サムネイル77として見せることができる。
また中央処理ユニット20は、液晶パネル7Bに顔検索写真画像75を表示した状態で、ユーザによりスクロールバー72を画像垂直方向に移動させるように摺動操作されると、これに応じてスクロール表示用にデジタル処理部31を制御する。
これにより中央処理ユニット20は、顔検索写真画像75のサムネイル表示領域75B内で、サムネイル77を画像垂直方向へスクロールさせる。よって中央処理ユニット20は、顔検索写真画像75のサムネイル表示領域75B内に、顔アイコン76で検索した写真画像のサムネイル77を一括して配置し得ない場合でも、当該サムネイル77を適宜切り換えて配置して見せることができる。
さらに中央処理ユニット20は、液晶パネル7Bに顔検索写真画像75を表示した状態で、ユーザによりタップ操作でサムネイル77が指示されると、当該指示されたサムネイル77に対応するファイル識別情報を判別する。
そして中央処理ユニット20は、その判別したファイル識別情報に基づき、記録デバイス33から、当該ファイル識別情報で識別される画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルから圧縮画像データを取り出してデジタル処理部31に送出する。
よってデジタル処理部31は、中央処理ユニット20から圧縮画像データが与えられると、その圧縮画像データに伸長復号処理を施して元の写真画像データを生成する。そしてデジタル処理部31は、顔検索写真画像データに替えて、その写真画像データを液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bの全面にわたり、顔検索写真画像75に替えて写真画像データに基づく写真画像を表示する。
このようにして中央処理ユニット20は、ユーザにより顔検索写真画像75上でサムネイル77が指示されたときには、当該指示されたサムネイル77の元となる写真画像を液晶パネル7Bに単独で表示して見せることができる。
ところで中央処理ユニット20は、液晶パネル7Bに写真画像を表示した状態では、上述と同様にユーザにより2回連続してタップ操作されると、これに応じて液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
これによりデジタル処理部31は、写真画像データに替えて顔検索写真画像データを液晶パネル7Bに送出して当該液晶パネル7Bに、写真画像に替え再び顔検索写真画像75を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに写真画像を表示しても、簡易な操作で当該写真画像の表示を顔検索写真画像75の表示に戻す。そして中央処理ユニット20は、写真画像の表示を顔検索写真画像75の表示に戻すと、ユーザに再び所望の写真画像の表示用にサムネイル77を指示させることができる。
また中央処理ユニット20は、液晶パネル7Bに顔検索写真画像75を表示した状態で、ユーザによりタップ操作で顔アイコン76が指示されると、これに応じて液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
これによりデジタル処理部31は、顔検索写真画像データに替えて、再び単位画像データをもとに合成画像データを生成して液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに、顔検索写真画像75に替え、再び撮影状態提示画像40と共にアイコン提示画像42を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに顔検索写真画像75を表示しても、簡易な操作で当該顔検索写真画像75の表示を撮影状態提示画像40及びアイコン提示画像42の表示に戻すことができる。
そして中央処理ユニット20は、顔検索写真画像75の表示を、撮影状態提示画像40及びアイコン提示画像42の表示に戻すと、ユーザに再び被写体を写真撮影させ、また再び顔アイコンを指示させることができる。
これに加えて図19に示すように、中央処理ユニット20は、液晶パネル7Bに顔アイコン44及び45を表示した状態で、ユーザにより当該顔アイコン44を起点として画像左側へ摺動操作されると、人物の検索が要求されたと認識する。
この際、中央処理ユニット20は、RAM22から、ユーザにより摺動操作の起点として指示された顔アイコン44に対応する人物識別情報(以下、これを特に基準人物識別情報とも呼ぶ)を読み出す。
また中央処理ユニット20は、検索用データベースDB内で、その基準人物識別情報に親密関連付情報を対応付けているか否かを判別する。その結果、中央処理ユニット20は、基準人物識別情報に親密関連付情報を対応付けていると、検索用データベースDB(すなわち、記録デバイス33)から当該親密関連付情報で特定される1又は複数の人物の人物識別情報を読み出す。また中央処理ユニット20は、検索用データベースDBから、その人物識別情報に対応付けている顔アイコンも読み出す。
すなわち中央処理ユニット20は、ユーザにより摺動操作の起点として指示された顔アイコン44が示す人物と親密度の高い1又は複数の人物を検索する。そして中央処理ユニット20は、検索用データベースDB(すなわち、記録デバイス33)から、その検索した人物を識別可能な人物識別情報と、当該検索した人物の顔を示す顔アイコンとを読み出す。
因みに、以下の説明では、ユーザにより摺動操作の起点として指示された顔アイコンが示す人物を、基準人物とも呼び、当該基準人物をもとに検索した、その基準人物と親密な人物を、検索人物とも呼ぶ。
ところで、上述したように人物同士の親密度は、一緒に写真撮影されて生成された写真画像をもとに検出されている。よって中央処理ユニット20は、検索人物を検索すると、検索用データベースDBにおいて基準人物及び検索人物に対応する撮影日時情報及び撮影位置情報に基づき、基準人物と検索人物とが一緒に写真撮影された撮影日時及び撮影位置を検出する。
また中央処理ユニット20は、例えば、その検出した撮影日時に基づき、同様に検出した撮影位置の中で、現在に最も近い撮影日時に写真撮影された撮影位置を検出する。さらに中央処理ユニット20は、撮影位置を検出すると、記録デバイス33から地図画像データ内で当該撮影位置を中心とする円形の所定エリアに相当する部分を部分地図画像データとして読み出す。
さらに中央処理ユニット20は、部分地図画像データに、その撮影位置を示す所定のマークの画像を合成したうえで、例えば画素を間引く縮小処理を施す。
これにより中央処理ユニット20は、その部分地図画像データをもとに、地図上で、その撮影位置を示し、写真画像検索用の検索キーとして利用可能な撮影位置アイコンを生成する。このようにして中央処理ユニット20は、基準人物と1又は複数の検索人物とが一緒に写真撮影された撮影位置を示す1又は複数の撮影位置アイコンを生成する。
また中央処理ユニット20は、複数(2以上)の検索人物を検索していると、検索用データベースDBにおいて当該複数の検索人物の人物識別情報に対応付けている親密関連付情報に基づき、複数の検索人物の中に親密なもの同士が存在するか否かも検出する。
さらに中央処理ユニット20は、親密な検索人物同士が存在すると、この場合も、上述と同様に当該検索人物同士が一緒に写真撮影された撮影日時に基づき、当該一緒に写真撮影した撮影位置の中で、現在に最も近い撮影日時に写真撮影された撮影位置を検出する。
さらにまた中央処理ユニット20は、撮影位置を検出すると、上述と同様に、地図上で、その撮影位置を示し、写真画像検索用の検索キーとして利用可能な撮影位置アイコンを生成する。このようにして中央処理ユニット20は、検索人物同士が一緒に写真撮影された撮影位置を示す1又は複数の撮影位置アイコンも生成する。
そして中央処理ユニット20は、RAM22に、その人物識別情報と顔アイコンとを対応付けて記録する。また中央処理ユニット20は、RAM22に、撮影位置アイコンと、当該撮影位置アイコンの生成用に検出した撮影位置を示す撮影位置情報も対応付けて記録する。
さらに中央処理ユニット20は、基準人物及び検索人物の顔を示す複数の顔アイコンと、撮影位置アイコンと、基準人物及び検索人物の関係(親密な者同士)を示す情報とに基づき、基準人物と親密な検索人物を提示するための人物提示画像データを生成する。そして中央処理ユニット20は、その人物提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20から人物提示画像データが与えられると、単位画像データを生成する毎に、当該単位画像データに人物提示画像データを合成して合成画像データを生成する。
そしてデジタル処理部31は、合成画像データを順次液晶パネル7Bに送出する。これにより図20に示すように、デジタル処理部31は、撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40上に人物提示画像80を表示する。
この人物提示画像80は、撮影状態提示画像40全体を覆うアイコン配置画像81を有している。そしてアイコン配置画像81上には、基準人物の顔を示す顔アイコン44と、検索人物の顔を示す顔アイコン82乃至84が互いに離されて配置されている。またアイコン配置画像81上には、撮影位置アイコン85乃至87が、互いに離され、また各顔アイコン44及び82乃至84からも離されて配置されている。
さらにアイコン配置画像81上には、親密な人物(基準人物と検索人物や、検索人物同士)同士の顔アイコン44及び82乃至84を結ぶ連結線画像88も配置されている。さらにまたアイコン配置画像81上には、一緒に写真撮影された人物(基準人物と検索人物や、検索人物同士)の顔アイコン44及び82乃至84と、その写真撮影の撮影位置を示す撮影位置アイコン85乃至87とを結ぶ連結線画像89も配置されている。
この場合、アイコン配置画像81は、例えば、グレーのような単色で描かれた目の細かい網目模様又は水玉模様のように、下地となる撮影状態提示画像40全体が僅かに透けて見えるように生成されている。
よって中央処理ユニット20は、アイコン配置画像81により撮影状態提示画像40全体をある程度を見せながら、顔アイコン44及び82乃至84や撮影位置アイコン85乃至87等を撮影状態提示画像40とは明確に区別させて見せることができる。
また顔アイコン44及び82乃至84を結ぶ連結線画像88は、当該顔アイコン44及び82乃至84と撮影位置アイコン85乃至87とを結ぶ連結線画像89とは、線種や色等が異なるように生成されている。
よって中央処理ユニット20は、連結線画像88及び89により、親密な人物同士や、一緒に写真撮影された人物同士を、これらを明確に区別して的確に認識させ得るようになされている。
このようにして中央処理ユニット20は、液晶パネル7Bに人物提示画像80を表示することで、ユーザにより顔アイコン44として指示された人物(基準人物)と、親密な人物(検索人物)を、当該人物の顔(顔アイコン)で教えることができる。
また中央処理ユニット20は、その人物提示画像80により、一緒に写真撮影された人物(基準人物や検索人物)同士を、その写真撮影の撮影位置(撮影位置アイコン)と共に教えることができる。
そして中央処理ユニット20は、液晶パネル7Bに人物提示画像80を表示した場合、人物提示画像80内の顔アイコン44及び82乃至84や撮影位置アイコン85乃至87を、写真画像検索用の検索キーとしてタップ操作で指示させ得るようになされている。
また図21に示すように、中央処理ユニット20は、液晶パネル7Bに人物提示画像80を表示した状態で、ユーザにより検索人物の顔を示す顔アイコン84を起点として摺動操作されると、再び人物の検索が要求されたと認識する。
この際、中央処理ユニット20は、RAM22からユーザにより摺動操作の起点として指示された顔アイコン84に対応する人物識別情報を読み出す。また中央処理ユニット20は、RAM22から、基準人物識別情報と、他の検索人物の人物識別情報も読み出す。
因みに、以下の説明では、ユーザにより摺動操作の起点として指示された顔アイコン84に対応する人物識別情報を、特に指示人物識別情報とも呼び、当該指示された顔アイコン84が示す顔の検索人物を、特に指示人物とも呼ぶ。また、以下の説明では、指示人物以外の検索人物を、特に他検索人物とも呼び、当該他検索人物の人物識別情報を、特に他人物識別情報とも呼ぶ。
そして中央処理ユニット20は、検索用データベースDB内で、その指示人物識別情報に、基準人物識別情報及び他人物識別情報以外を示す親密関連付情報を対応付けているか否かを判別する。
中央処理ユニット20は、指示人物識別情報に基準人物識別情報及び他人物識別情報以外を示す親密関連付情報を対応付けていると、検索用データベースDBから基準人物及び他検索人物を除き親密関連付情報で特定される新たな検索人物の人物識別情報を読み出す。また中央処理ユニット20は、検索用データベースDBから、その新たな検索人物の人物識別情報に対応付けている顔アイコンも読み出す。
すなわち、中央処理ユニット20は、この際、ユーザにより摺動操作の起点として指示された顔アイコン84が示す指示人物と、親密度の高い1又は複数の検索人物をさらに検索する。
また中央処理ユニット20は、検索用データベースDBにおいて基準人物と、この時点までに検索した全ての検索人物(指示人物及び他検索人物を含む)に対応する撮影日時情報及び撮影位置情報に基づき、上述と同様に撮影位置アイコンを生成する。
さらに中央処理ユニット20は、検索用データベースDBにおいて、この時点までに検索した全ての検索人物(指示人物及び他検索人物を含む)の中に親密なもの同士が存在するか否かも検出する。
さらにまた中央処理ユニット20は、この時点までに検索した全ての検索人物(指示人物及び他検索人物を含む)の中に親密な検索人物同士が存在すると、撮影位置アイコンも生成する。
そして中央処理ユニット20は、RAM22に、新たな検索人物の人物識別情報と顔アイコンとを対応付けて記録する。また中央処理ユニット20は、RAM22に、新たに生成した撮影位置アイコンと、当該撮影位置アイコンの生成用に検出した撮影位置を示す撮影位置情報も対応付けて追加で記録する。
そのうえで中央処理ユニット20は、新たな検索人物の顔アイコンと、新たに生成した撮影位置アイコンと、基準人物及び検索人物(指示人物及び他検索人物を含む)の関係を追加するように人物提示画像データを生成し直す。そして中央処理ユニット20は、このように内容を更新した人物提示画像データをデジタル処理部31に送出する。
デジタル処理部31は、中央処理ユニット20から内容の更新された人物提示画像データが与えられると、単位画像データを生成する毎に、当該単位画像データに更新前のものに替えて更新後の人物提示画像データを合成して合成画像データを生成する。
そしてデジタル処理部31は、その合成画像データを順次液晶パネル7Bに送出する。これにより図20との対応部分に同一符号を付した図22に示すように、デジタル処理部31は、撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40上に人物提示画像90を表示する。
この人物提示画像90は、上述した人物提示画像80と基本的に同一の構成を有しているものの、新たな顔アイコン91及び92と、撮影位置アイコン93が追加されている。
このように中央処理ユニット20は、液晶パネル7Bに表示した人物提示画像80上で検索人物が指示され、人物の検索が要求されたときには、これに応じて、その指示された検索人物をもとに、さらに人物を検索して提示することができる。
そして中央処理ユニット20は、液晶パネル7Bに人物提示画像90を表示した場合、当該人物提示画像90内の新たな顔アイコン91及び92や撮影位置アイコン93も、写真画像検索用の検索キーとしてタップ操作で指示させ得るようになされている。
実際に中央処理ユニット20は、液晶パネル7Bに人物提示画像80、90を表示した状態で、ユーザによりタップ操作で顔アイコン44、82乃至84、91、92が指示されると、上述と同様に顔検索写真画像を生成して液晶パネル7Bに表示する。
また中央処理ユニット20は、液晶パネル7Bに顔検索写真画像を表示すると、上述と同様にタップ操作に応じて写真画像に表示を切り替え、また写真画像から顔検索写真画像に表示を戻すことができる。
さらに中央処理ユニット20は、液晶パネル7Bに顔検索写真画像を表示しても、上述と同様にタップ操作で顔アイコンが指示されると、液晶パネル7Bに顔検索写真画像に替え、再び撮影状態提示画像40と共に人物提示画像80、90を表示する。
このようにして中央処理ユニット20は、適宜、基準人物を顔アイコン44として指示させて、当該指示された基準人物の写真画像を見せることができる。また中央処理ユニット20は、基準人物をもとに検索した検索人物についても適宜、顔アイコン82乃至84、91、92として指示させて、当該指示された検索人物の写真画像を見せることができる。
一方、中央処理ユニット20は、ユーザによりタップ操作で、人物提示画像80、90内の撮影位置アイコン85乃至87、93が指示されると、RAM22から、当該指示された撮影位置アイコン85乃至87、93に対応する撮影位置情報を読み出す。
この際、中央処理ユニット20は、その撮影位置情報が示す撮影位置を中心として、上述の検索エリアと同様な検索エリアを設定する。また中央処理ユニット20は、上述と同様に、その検索エリア内の撮影位置を示す撮影位置情報を検索撮影位置情報として検索すると共に、当該検索した検索撮影位置情報をイベントで分類する。さらに中央処理ユニット20は、検索撮影位置情報を分類したイベント毎にイベント位置を検出する。
さらにまた中央処理ユニット20は、記録デバイス33から地図画像データ内で検索エリアに相当する部分をエリア地図画像データとして読み出す。そして中央処理ユニット20は、上述と同様に、そのエリア地図画像データにイベント位置アイコンを合成するようにして検索用地図画像データを生成しデジタル処理部31に送出する。
これにより中央処理ユニット20は、デジタル処理部31を介して液晶パネル7Bに、図16について上述した検索用地図画像65と同様構成の検索用地図画像を表示する。因みに、中央処理ユニット20は、この際、RAM22に、検索撮影位置情報を分類したイベントを示すイベント識別情報と、当該イベントのイベント位置を示すイベント位置情報と、検索キーアイコンとを対応付けて記録する。
中央処理ユニット20は、液晶パネル7Bに検索用地図画像を表示すると、上述と同様にタップ操作に応じてイベント検索写真画像に表示を切り替え、またイベント検索写真画像から検索用地図画像に表示を戻すことができる。
また中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像を表示すると、上述と同様にタップ操作に応じて写真画像に表示を切り替え、また写真画像からイベント検索写真画像に表示を戻すことができる。
さらに中央処理ユニット20は、液晶パネル7Bにイベント検索写真画像を表示しても、上述と同様にタップ操作で検索キーアイコンが指示されると、イベント検索写真画像に替えて、再び撮影状態提示画像40と共に人物提示画像80、90を表示する。
このようにして中央処理ユニット20は、適宜、撮影位置を検索キーアイコンとして指示させて、当該指示された撮影位置で一緒に写真撮影された基準人物と検索人物同士や、検索人物同士の写真画像を見せることができる。
また中央処理ユニット20は、一緒に写真撮影された基準人物と検索人物同士や、検索人物同士の写真画像のみならず、その写真撮影が行われたイベントで他にも写真撮影されて生成された写真画像についても、適宜見せることができる。
因みに中央処理ユニット20は、人物提示画像80、90を表示した状態で、ユーザによりタッチパネル7Aにおいて検索キーアイコンと対向する部分以外が2回連続してタップ操作されると、液晶パネル7Bの表示を戻すようにデジタル処理部31を制御する。
デジタル処理部31は、中央処理ユニット20の制御のもと、単位画像データを生成する毎に、当該単位画像データに人物提示画像データに替えてアイコン提示画像データを合成して合成画像データを生成し液晶パネル7Bに送出する。これによりデジタル処理部31は、液晶パネル7Bに、撮影状態提示画像40及び人物提示画像80、90に替え、再び撮影状態提示画像40と共にアイコン提示画像42、62を表示する。
このようにして中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40及び人物提示画像80、90を表示しても、簡易な操作で撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すことができる。
因みに、中央処理ユニット20は、上述のように基準人物識別情報に親密関連付情報を対応付けているか否かを判別した結果、当該基準人物識別情報に親密関連付情報を対応付けてはいないと、人物提示画像80を生成しない。
また中央処理ユニット20は、人物提示画像80を生成しても、指示人物識別情報に基準人物識別情報及び他人物識別情報以外を示す親密関連付情報を対応付けてはいないと、当該人物提示画像80の内容を更新しない。
なお、この実施の形態の場合、中央処理ユニット20は、撮影状態提示画像40及び人物提示画像80、90の表示を、撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すと、アイコン生成処理やアイコン検出処理等を再び実行する。
さらに中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40をアイコン提示画像42、62等と共に表示した状態で、ユーザにより検索利用顔を起点として摺動操作されると、このときにも人物の検索が要求されたと認識する。
この際、中央処理ユニット20は、RAM22から、ユーザにより摺動操作の起点として指示された検索利用顔に対応する人物識別情報を、基準人物識別情報として読み出す。そして中央処理ユニット20は、その検索利用顔の人物を基準人物として、上述と同様に基準人物識別情報に基づき、当該基準人物と親密度の高い1又は複数の人物を検索する。
また中央処理ユニット20は、基準人物と検索人物とが一緒に写真撮影された撮影位置や、検索人物同士が一緒に写真撮影された撮影位置を検出するようにして撮影位置アイコンを生成する。
そして中央処理ユニット20は、基準人物及び検索人物の顔を示す複数の顔アイコンと、撮影位置アイコンと、基準人物及び検索人物の関係(親密な者同士)を示す情報とに基づき上述と同様構成の人物提示画像データを生成しデジタル処理部31に送出する。
これにより中央処理ユニット20は、液晶パネル7Bに、図20について上述した場合と同様に撮影状態提示画像40を表示すると共に、当該撮影状態提示画像40上に人物提示画像を表示する。
そして中央処理ユニット20は、液晶パネル7Bに人物提示画像を表示すると、上述と同様に適宜、その人物提示画像を更新し、また顔検索写真画像や検索用地図画像、写真画像に表示を切り替える。
なお、この実施の形態の場合、中央処理ユニット20は、撮影状態提示画像40及び人物提示画像の表示を、撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すと、アイコン生成処理やアイコン検出処理等を再び実行する。
[1−6 画像関連情報登録処理手順]
次いで、図23及び図24を用いて、中央処理ユニット20が、被写体を写真撮影する毎に、画像関連情報登録プログラムに従って実行する画像関連情報登録処理手順RT1について説明する。
中央処理ユニット20は、被写体の写真撮影に応じて生成した画像ファイルを記録デバイス33に記録すると、ROM21に予め記憶された画像関連情報登録プログラムに従い、図23及び図24に示す画像関連情報登録処理手順RT1を開始する。
中央処理ユニット20は、画像関連情報登録処理手順RT1を開始すると、ステップSP1において、このとき被写体を写真撮影して生成された写真画像データに基づく写真画像内で人物の顔が検出されたか否かを判別する。
このステップSP1において肯定結果が得られると、このことは、今回、被写体として1又は複数の人物が写真撮影され、デジタル処理部31から写真画像データと共に顔検出情報が与えられたことを表している。中央処理ユニット20は、ステップSP1において、かかる肯定結果を得ると、次のステップSP2に移る。
ステップSP2において中央処理ユニット20は、顔検出情報に基づき写真画像内で顔部分を特定して解析することにより、その顔の特徴を検索用データベースDBへの登録用の登録顔特徴として検出して、次のステップSP3に移る。
ステップSP3において中央処理ユニット20は、検索用データベースDBに、このとき検出した登録顔特徴が未登録であるか否かを判別する。このステップSP3において肯定結果が得られると、このことは、このとき検出した登録顔特徴を有する顔の人物がデジタルスチルカメラ1では始めて写真撮影されたため、検索用データベースDBに未だ登録顔特徴を登録してはいなかったことを表している。中央処理ユニット20は、ステップSP3において、かかる肯定結果を得ると、次のステップSP4に移る。
ステップSP4において中央処理ユニット20は、このとき検出した登録顔特徴を有する顔の人物の人物識別情報を生成して、次のステップSP5に移る。ステップSP5において中央処理ユニット20は、写真画像から、その人物の顔部分を顔画像として切り出し、当該顔画像に基づいて顔アイコンを生成して、次のステップSP6に移る。
そしてステップSP6において中央処理ユニット20は、検索用データベースDBに人物識別情報を登録して、次のステップSP7に移る。またステップSP7において中央処理ユニット20は、登録顔特徴情報、顔アイコン、ファイル識別情報、撮影日時情報、撮影位置情報を、人物識別情報に対応付けて検索用データベースDBに登録して、次のステップSP8に移る。
ステップSP8において中央処理ユニット20は、写真画像内で検出された全ての顔の登録顔特徴を検出したか否かを判別する。その結果、中央処理ユニット20は、このとき写真画像内で検出された全ての顔の登録顔特徴を検出し終えてはいないために否定結果を得ると、ステップSP2に戻る。
また上述のステップSP3において否定結果が得られると、このことは、このとき検出した登録顔特徴を有する顔の人物がデジタルスチルカメラ1では写真撮影されたことがあり、検索用データベースDBに登録顔特徴をすでに登録していることを表している。中央処理ユニット20は、ステップSP3において、かかる否定結果を得ると、ステップSP9に移る。
ステップSP9において中央処理ユニット20は、検索用データベースDB内で、このとき検出した登録顔特徴に対応する人物識別情報を特定して、次のステップSP10に移る。
よってステップSP10において中央処理ユニット20は、ファイル識別情報、撮影日時情報、撮影位置情報を、その特定した人物識別情報に対応付けて検索用データベースDBに登録して、ステップSP8に移る。
中央処理ユニット20は、写真画像内で検出された顔が1つであると、ステップSP2乃至ステップSP8の処理と、ステップSP2、ステップSP3、ステップSP9、ステップSP10、ステップSP8の処理との何れか一方を実行する。
また中央処理ユニット20は、写真画像内で検出された顔が2つ以上であると、ステップSP2乃至ステップSP8の処理と、ステップSP2、ステップSP3、ステップSP9、ステップSP10、ステップSP8の処理とを適宜、顔の個数分繰り返し実行する。
このようにして中央処理ユニット20は、写真画像内で検出された顔毎に、検索用データベースDBに人物識別情報、登録顔特徴情報、顔アイコン、ファイル識別情報、撮影日時情報、撮影位置情報や、ファイル識別情報、撮影日時情報、撮影位置情報を登録する。
ステップSP8において中央処理ユニット20は、写真画像内で検出された全ての顔の登録顔特徴を検出し、これに伴い検索用データベースDBへのファイル識別情報や撮影日時情報、撮影位置情報等の登録が終了して肯定結果を得ると、ステップSP11に移る。
ステップSP11において中央処理ユニット20は、写真撮影内で検出された顔が2つ以上であるか否かを判別する。このステップSP11において肯定結果が得られると、このことは今回、複数の人物が一緒に写真撮影されたことを表している。中央処理ユニット20は、ステップSP11において、かかる肯定結果を得ると、次のステップSP12に移る。
ステップSP12において中央処理ユニット20は、写真画像内で検出された複数の顔に関する顔検出情報、及び顔部分の解析結果に基づき、今回一緒に写真撮影された人物同士の親密度を検出して、次のステップSP13に移る。
ステップSP13において中央処理ユニット20は、今回一緒に写真撮影された複数の人物の中に、親密度の高い人物同士が存在するか否かを判別する。このステップSP13において肯定結果が得られると、このことは、今回、仲の良い人物同士が、一緒に写真撮影されていることを表している。中央処理ユニット20は、ステップSP13において、かかる肯定結果を得ると、次にステップSP14に移る。
ステップSP14において中央処理ユニット20は、親密度の高い人物同士を互いに関連付けるための親密関連付情報を、当該親密度の高い人物の人物識別情報に対応付けて検索用データベースDBに登録して次のステップSP15に移る。
ところで、上述のステップSP1において否定結果が得られると、このことは、今回、被写体として人物以外の風景や建築物、動物等が写真撮影されたことを表している。中央処理ユニット20は、ステップSP1において、かかる否定結果を得ると、ステップSP16に移る。
そしてステップSP16において中央処理ユニット20は、ファイル識別情報、撮影日時情報、撮影位置情報を互いに対応付けて検索用データベースDBに登録して、ステップSP15に移る。
ステップSP15において中央処理ユニット20は、前回及び今回の写真撮影の撮影日時及び撮影位置に基づき、今回の写真撮影が行われたイベントを判別して、次のステップSP17に移る。
ステップSP17において中央処理ユニット20は、判別したイベントのイベント識別情報を、今回登録したファイル識別情報、撮影日時情報、撮影位置情報に対応付けて検索用データベースDBに登録する。そして中央処理ユニット20は、その登録が完了すると、次のステップSP18に移って、画像関連情報登録処理手順RT1を終了する。
[1−7 検索キー提示処理手順]
次いで、図25及び図26を用いて、中央処理ユニット20が撮影モードにおいて、例えば、画像検索プログラムの一部である検索キー提示プログラムに従って実行する検索キー提示処理手順RT2について説明する。
中央処理ユニット20は、検索キー提示処理機能を実現するように設定した状態で撮影モードに移行すると、ROM21に予め記憶された検索キー提示プログラムに従い、図25及び図26に示す検索キー提示処理手順RT2を開始する。
中央処理ユニット20は、検索キー提示処理手順RT2を開始すると、ステップSP21において、検索キーを提示するための設定内容に基づき、ユーザに提示する検索キーの種類を判別して、次のステップSP22に移る。
ステップSP22において中央処理ユニット20は、判別した検索キーの種類に応じて上述の2種類のアイコン配置画像41及び61の一方を、液晶パネル7Bに表示した撮影状態提示画像40に重ねて表示する。
そして中央処理ユニット20は、検索キーとしてカメラ位置アイコン及び顔アイコンの両方を提示するように設定していると、カメラ位置アイコンの提示用にステップSP23から始まる処理と、顔アイコンの提示用にステップSP31から始まる処理とを実行する。
また中央処理ユニット20は、検索キーとしてカメラ位置アイコンのみを提示するように設定していると、カメラ位置アイコンの提示用にステップSP23から始まる処理を実行する。さらに中央処理ユニット20は、検索キーとして顔アイコンのみを提示するように設定していると、顔アイコンの提示用にステップSP31から始まる処理を実行する。
カメラ位置アイコンを提示する場合、ステップSP23において中央処理ユニット20は、GPSを利用してカメラ位置を連続して複数回検出して、次のステップSP24に移る。
ステップSP24において中央処理ユニット20は、カメラ位置を精度良く検出し得たか否かを判別する。このステップSP24において肯定結果が得られると、このことは連続して複数回検出したカメラ位置のばらつきが少ないため、カメラ位置を精度良く検出し得たことを表している。
中央処理ユニット20は、ステップSP24において、かかる肯定結果を得ると、その連続して複数回検出したカメラ位置の中間位置を、デジタルスチルカメラ1の現在のカメラ位置として、次のステップSP25に移る。
ステップSP25において中央処理ユニット20は、現在のカメラ位置を撮影位置の検索に利用するか否かを判別する。このステップSP25において肯定結果が得られると、このことは、現在のカメラ位置が、この撮影モードで撮影位置の検索用に初めて検出されたものであることを表している。
また、かかる肯定結果は、前回、撮影位置の検索用に決定したカメラ位置では、現在のカメラ位置から比較的離れており、現在のカメラ位置を撮影位置の検索に反映させるには前回決定したカメラ位置を現在のカメラ位置に変更する必要があることも表している。よって中央処理ユニット20は、ステップSP25において、かかる肯定結果を得ると、次のステップSP26に移る。
ステップSP26において中央処理ユニット20は、検索用データベースDBに、現在のカメラ位置を中心とした探索エリア内の撮影位置をすでに登録しているか否かを判別する。
このステップSP26において肯定結果が得られると、このことは、検索用データベースDBに登録している撮影位置の中から、現在のカメラ位置を中心とした探索エリアで撮影位置を検索し得ることを表している。
よって中央処理ユニット20は、ステップSP26において、かかる肯定結果を得ると、その探索エリアを撮影位置と共に写真画像を検索可能な検索エリアに設定して、次のステップSP27に移る。
ステップSP27において中央処理ユニット20は、検索エリアに相当するエリア地図画像から現在のカメラ位置を中心とする所定部分を部分地図画像として切り出し、当該部分地図画像に基づいてカメラ位置アイコンを生成して、次のステップSP28に移る。
ステップSP28において中央処理ユニット20は、このとき生成したカメラ位置アイコンが、アイコン配置画像42、62上に最初に配置するカメラ位置アイコンであるか否かを判別する。
このステップSP28において肯定結果が得られると、このことは、このとき生成したカメラ位置アイコンが、この撮影モードで最初に生成したものであることを表している。中央処理ユニット20は、ステップSP28において、かかる肯定結果を得ると、次のステップSP29に移る。よってステップSP29において中央処理ユニット20は、撮影状態提示画像40と共に表示していたアイコン配置画像42、62上にカメラ位置アイコンを配置して、ステップSP23に戻る。
またステップSP28において否定結果が得られると、このことは、すでにカメラ位置アイコンを生成して表示している状態で、このとき、さらにカメラ位置アイコンを生成したことを表している。中央処理ユニット20は、ステップSP28において、かかる否定結果を得ると、ステップSP30に移る。
ステップSP30において中央処理ユニット20は、撮影状態提示画像40と共に表示していたアイコン配置画像42、62上にすでに配置していたカメラ位置アイコンを、このとき生成したカメラ位置アイコンに更新して、ステップSP23に戻る。
ところで、上述のステップSP24において否定結果が得られると、このことは連続して複数回検出したカメラ位置のばらつきが大きく、カメラ位置の検出精度が低下していることを表している。中央処理ユニット20は、ステップSP24において、かかる否定結果を得ると、このとき連続して複数回検出したカメラ位置を破棄して、ステップSP23に戻る。
また上述のステップSP25において否定結果が得られると、このことは現在のカメラ位置が前回決定したカメラ位置からほとんど離れていないため、前回決定したカメラ位置を利用しても、現在のカメラ位置とほぼ同様の検索結果が得られることを表している。よって中央処理ユニット20は、ステップSP25において、かかる否定結果を得ると、このとき検出した現在のカメラ位置の利用を取りやめて、ステップSP23に戻る。
さらに上述のステップSP26において否定結果が得られると、このことは、検索用データベースDBに登録している撮影位置の中には、現在のカメラ位置を中心とした探索エリア内の撮影位置が登録されてはいないことを表している。よって中央処理ユニット20は、ステップSP26において、かかる否定結果を得ると、このとき検出した現在のカメラ位置の利用を取りやめて、ステップSP23に戻る。
このようにして中央処理ユニット20は、撮影モードの間、ステップSP23乃至ステップSP30の処理を繰り返し実行して、カメラ位置を定期的に検出しながら、アイコン配置画像42、62上のカメラ位置アイコンを適宜更新する。また中央処理ユニット20は、撮影モードが終了したときには、その時点にステップSP23乃至ステップSP30の処理も終了する。
顔アイコンを提示する場合、ステップSP31において中央処理ユニット20は、デジタル処理部31により、単位画像に写り込んだ人物の顔が検出されることを待ち受ける。そして中央処理ユニット20は、単位画像内の1又は複数の顔が検出され、デジタル処理部31から単位画像データと共に顔検出情報が与えられると、次のステップSP32に移る。
ステップSP32において中央処理ユニット20は、顔検出情報に基づき単位画像内で1又は複数の顔部分を特定して解析することにより、1又は複数の顔の特徴を検出して、次のステップSP33に移る。
ステップSP33において中央処理ユニット20は、このとき検出した顔の特徴に、すでに写真画像の検索に利用可能なように設定された検索用顔特徴と一致するものが含まれているか否かを判別する。
このステップSP33において肯定結果が得られると、このことは、すでに写真画像の検索に利用可能なように設定された検索用顔特徴の顔が、その設定以後も引き続き撮影され、又は改めて撮影されて単位画像に写り込んだことを表している。中央処理ユニット20は、ステップSP33において、かかる肯定結果を得ると、次のステップSP34に移る。
ステップSP34において中央処理ユニット20は、撮影状態提示画像40において、検索用顔特徴の顔を囲んでいる枠画像46の色を、元の色とは異なるように変更して、次のステップSP35に移る。
ところで、ステップSP33において否定結果が得られると、このことは、このとき検索用顔特徴の顔の人物とは異なる人物が撮影されていたことを表している。中央処理ユニット20は、ステップSP33において、かかる否定結果を得ると、ステップSP34の処理は実行せずに、ステップSP35に移る。
ステップSP35において中央処理ユニット20は、一定時間連続して同じ特徴を検出したか否かを判別する。このステップSP35において肯定結果が得られると、このことは同一人物の顔が一定時間連続して撮影されていたことを表している。中央処理ユニット20は、ステップSP35において、かかる肯定結果を得ると、次のステップSP36に移る。
ステップSP36において中央処理ユニット20は、一定時間連続して検出した特徴を、すでに検索用データベースDBに登録顔特徴として登録しているか否かを判別する。このステップSP36において肯定結果が得られると、このことは、一定時間連続して検出した特徴は、以前に写真撮影されたことのある人物の顔の特徴でもあり、写真画像の検索に利用可能であることを表している。中央処理ユニット20は、ステップSP36において、かかる肯定結果を得ると、次のステップSP37に移る。
ステップSP37において中央処理ユニット20は、アイコン配置画像42上に、一定時間連続して検出した特徴の顔を示す顔アイコンを配置するか否かを判別する。このステップSP37において肯定結果が得られると、このことは一定時間連続して検出した特徴を、今回の撮影モードでは、まだ検索用顔特徴には設定していなかったため、当該特徴の顔を示す顔アイコンもまだ表示してはいなかったことを表している。
中央処理ユニット20は、ステップSP37において、かかる肯定結果を得ると、一定時間連続して検出した特徴を、写真画像を検索可能な検索用顔特徴に設定して、次のステップSP38に移る。
ステップSP38において中央処理ユニット20は、検索用データベースDBから、このとき写真画像の検索に利用可能なように設定した検索用顔特徴の顔を示す顔アイコンを読み出して、次のステップSP39に移る。
ステップSP39において中央処理ユニット20は、撮影状態提示画像40と共に表示していたアイコン配置画像42上に、このとき写真画像の検索に利用可能なように設定した検索用顔特徴の顔を示す顔アイコンを配置して、ステップSP31に戻る。
また、ステップSP37において否定結果が得られると、このことは検索用顔特徴を再び一定時間連続して検出したため、当該検索用顔特徴に対応する顔アイコンもアイコン配置画像42上にすでに配置していることを表している。中央処理ユニット20は、ステップSP37において、かかる否定結果を得ると、ステップSP40に移る。
ステップSP40において中央処理ユニット20は、撮影状態提示画像40と共に表示していたアイコン配置画像42上で、すでに配置しいてる顔アイコンを並び替えるか否かを判別する。
このステップSP40において肯定結果が得られると、このことは、再び一定時間連続して検出した検索用顔特徴に対応する顔アイコンの並び順を、アイコン配置画像42上への他の顔アイコンの追加配置に応じて、すでに先頭から繰り下げていることを表している。
言い換えると、この肯定結果は、ユーザが撮影状態提示画像40に連続して写り込んだ顔を見て写真画像の検索を思い立っても、その顔を示す顔アイコンを並び順の繰り下げによって表示してはいないため、写真画像の検索用に指示し得ないことを表している。このため中央処理ユニット20は、ステップSP40において、かかる肯定結果を得ると、次のステップSP41に移る。
そしてステップSP41において中央処理ユニット20は、再び一定時間連続して検出した検索用顔特徴に対応する顔アイコンを先頭にするように、アイコン配置画像42上で顔アイコンの並び順を変更して、ステップSP31に戻る。
ところで、ステップSP40において否定結果が得られると、このことは、再び一定時間連続して検出した検索用顔特徴に対応する顔アイコン、アイコン配置画像42上で先頭に配置してから、他の顔アイコンを追加配置してはいないことを表している。よって中央処理ユニット20は、ステップSP40において、かかる否定結果を得ると、顔アイコンの並び順は変更せずにステップSP31に戻る。
また上述のステップSP35において否定結果が得られると、このことは人物の顔が一時的に撮影されたため、その顔の特徴を一定時間連続しては検出し得なかったことを表している。中央処理ユニット20は、ステップSP35において、かかる否定結果を得ると、ステップSP31に戻る。
さらに上述のステップSP36において否定結果が得られると、このことは、一定時間連続して検出した特徴は、デジタルスチルカメラ1では未だ写真撮影されたことのない人物の顔の特徴であり、写真画像の検索には利用し得ないことを表している。中央処理ユニット20は、ステップSP36において、かかる否定結果を得ると、ステップSP31に戻る。
このようにして中央処理ユニット20は、撮影モードの間、ステップSP31乃至ステップSP41の処理を繰り返し実行して、人物の撮影状況に応じて、当該人物の顔の特徴を検索用顔特徴に設定すると共に、その顔を示す顔アイコンを表示する。また中央処理ユニット20は、撮影モードが終了したときには、その時点にステップSP31乃至ステップSP41の処理も終了する。
[1−8 画像検索処理手順]
次いで、図27乃至図34を用いて、中央処理ユニット20が撮影モードにおいて、画像検索プログラムに従って実行する画像検索処理手順RT3について説明する。
中央処理ユニット20は、検索キー提示処理機能を実現するように設定した状態で撮影モードに移行すると、ROM21に予め記憶された画像検索プログラムに従い、図27乃至図34に示す画像検索処理手順RT3を開始する。
中央処理ユニット20は、画像検索処理手順RT3を開始すると、ステップSP51においてユーザにより写真画像の検索用にタップ操作で、撮影状態提示画像40と共に表示したアイコン配置画像41、61上のカメラ位置アイコンが指示されたか否かを判別する。
このステップSP51において否定結果が得られると、このことはユーザにより写真撮影用に撮影状態提示画像40で被写体の撮影状態が確認されている途中であること、又は写真画像の検索用に指示すべき検索キーが選ばれている途中であること等を表している。中央処理ユニット20は、ステップSP51において、かかる否定結果を得ると、ステップSP52に移る。
ステップSP52において中央処理ユニット20は、ユーザにより写真画像の検索用にタップ操作で、撮影状態提示画像40と共に表示しているアイコン配置画像41上の顔アイコンが指示されたか否かを判別する。
このステップSP52において否定結果が得られると、このことはユーザにより写真撮影用に撮影状態提示画像40で被写体の撮影状態が確認されている途中であること、又は写真画像の検索用に指示すべき検索キーが選ばれている途中であること等を表している。中央処理ユニット20は、ステップSP52において、かかる否定結果を得ると、ステップSP53に移る。
ステップSP53において中央処理ユニット20は、ユーザにより写真画像の検索用に摺動操作で、撮影状態提示画像40と共に表示しているアイコン配置画像41上の顔アイコンが指示されたか否かを判別する。
このステップSP53において否定結果が得られると、このことはユーザにより写真撮影用に撮影状態提示画像40で被写体の撮影状態が確認されている途中であること、又は写真画像の検索用に指示すべき検索キーが選ばれている途中であること等を表している。中央処理ユニット20は、ステップSP53において、かかる否定結果を得ると、ステップSP54に移る。
ステップSP54において中央処理ユニット20は、ユーザにより写真画像の検索用に摺動操作で、撮影状態提示画像40内の顔(すなわち、撮影状態提示画像40に写り込んでいる検索利用顔)が指示されたか否かを判別する。
このステップSP54において否定結果が得られると、このことはユーザにより写真撮影用に撮影状態提示画像40で被写体の撮影状態が確認されている途中であること、又は写真画像の検索用に指示すべき検索キーが選ばれている途中であることを表している。中央処理ユニット20は、ステップSP54において、かかる否定結果を得ると、ステップSP55に移る。
ステップSP55において中央処理ユニット20は、撮影モードを終了するか否かを判別する。このステップSP55において否定結果が得られると、このことはユーザにより電源のオフや再生モードへの切替等が何ら要求されてはいないことを表している。中央処理ユニット20は、ステップSP55において、かかる否定結果を得ると、ステップSP51に戻る。
このようにして中央処理ユニット20は、この後、ステップSP51乃至ステップSP55の何れかで肯定結果を得るまでの間、当該ステップSP51乃至ステップSP55の処理を循環的に繰り返し実行する。
これにより中央処理ユニット20は、ユーザにより写真画像の検索用にアイコン配置画像41、61上のカメラ位置アイコンや顔アイコン、撮影状態提示画像40内の顔(検索利用顔)が指示されることを待ち受ける。
ところで、ステップSP51において肯定結果が得られると、このことはユーザによりカメラ位置を利用した写真画像の検索が要求され、その結果、タップ操作で、アイコン配置画像41、61上のカメラ位置アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP51において、かかる肯定結果を得ると、次のステップSP56に移る。
ステップSP56において中央処理ユニット20は、検索用データベースDBに登録している撮影位置の中から、カメラ位置アイコンが示すカメラ位置を中心とした検索エリア内の撮影位置を検索して、次のステップSP57に移る。
ステップSP57において中央処理ユニット20は、検索用データベースDBに、その検索した撮影位置に対応付けて登録していたイベント識別情報に基づき、当該検索した撮影位置を、写真撮影の行われたイベントで分類して、次のステップSP58に移る。
ステップSP58において中央処理ユニット20は、検索した撮影位置及び当該撮影位置のイベントによる分類に基づき、エリア地図画像にイベントと共にイベント位置を示すイベント位置アイコンを配置した検索用地図画像を生成し、次のステップSP59に移る。ステップSP59において中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40に替えて検索用地図画像65を表示して、次のステップSP60に移る。
ステップSP60において中央処理ユニット20は、ユーザによりタップ操作で、検索用地図画像65内のイベント位置アイコンが指示されたか否かを判別する。このステップSP60において否定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むために、イベント位置アイコンが選ばれている途中であることを表している。中央処理ユニット20は、ステップSP60において、かかる否定結果を得ると、ステップSP61に移る。
ステップSP61において中央処理ユニット20は、液晶パネル7Bに対する検索用地図画像65の表示を、撮影状態提示画像40及びアイコン提示画像42、62の表示に戻すか否かを判別する。
このステップSP61において否定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むために、未だイベント位置アイコンが選ばれている途中であることを表している。中央処理ユニット20は、ステップSP61において、かかる否定結果を得ると、ステップSP60に戻る。
このようにして中央処理ユニット20は、この後、ステップSP60及びステップSP61の何れかで肯定結果を得るまでの間、当該ステップSP60及びステップSP61の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより写真画像の検索用に、所望のイベント位置アイコンが指示されることを待ち受ける。
ところで、ステップSP60において肯定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むためのイベント位置アイコンが選定されたことを表している。中央処理ユニット20は、ステップSP60において、かかる肯定結果を得ると、次のステップSP62に移る。
ステップSP62において中央処理ユニット20は、検索用データベースDBに登録しているファイル識別情報の中から、ユーザにより指示されたイベント位置アイコンに基づき写真画像をファイル識別情報として検索して、次のステップSP63に移る。
ステップSP63において中央処理ユニット20は、検索した写真画像のファイル識別情報に基づき、記録デバイス33から当該検索した写真画像のサムネイルを読み出す。そして中央処理ユニット20は、そのサムネイルを用いてイベント検索写真画像70を生成して、次のステップSP64に移る。そしてステップSP64において中央処理ユニット20は、液晶パネル7Bに検索用地図画像65に替えてイベント検索写真画像70を表示して、次のステップSP65に移る。
ステップSP65において中央処理ユニット20は、ユーザによりタップ操作で、イベント検索写真画像70内の何れかのサムネイルが指示されたか否かを判別する。このステップSP65において否定結果が得られると、このことはユーザによりサムネイルで、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP65において、かかる否定結果を得ると、ステップSP66に移る。
ステップSP66において中央処理ユニット20は、液晶パネル7Bに対するイベント検索写真画像70の表示を、検索用地図画像65の表示に戻すか否かを判別する。このステップSP66において否定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP66において、かかる否定結果を得ると、ステップSP65に戻る。
このようにして中央処理ユニット20は、この後、ステップSP65及びステップSP66の何れかで肯定結果を得るまでの間、当該ステップSP65及びステップSP66の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示する写真画像が選択されることを待ち受ける。
ところで、ステップSP65において肯定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選択されたことを表している。中央処理ユニット20は、ステップSP65において、かかる肯定結果を得ると、次のステップSP67に移る。
ステップSP67において中央処理ユニット20は、記録デバイス33から、ユーザにより選択された写真画像の画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルに基づき液晶パネル7Bに、イベント検索写真画像70に替えて、ユーザにより選択された写真画像を表示して、次のステップSP68に移る。
ステップSP68において中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示した写真画像を、イベント検索写真画像70の表示に戻すように指示されることを待ち受ける。そして中央処理ユニット20は、ユーザにより液晶パネル7Bの表示を、写真画像からイベント検索写真画像70に戻すように指示されると、ステップSP64に戻る。
このようにして中央処理ユニット20は、イベント検索写真画像70上でサムネイルとして、表示すべき写真画像を選択させ、写真画像が選択されると、液晶パネル7Bに、その選択された写真画像を表示して見せることができる。
ところで、ステップSP66において肯定結果が得られると、このことはユーザにより、イベントで絞り込んで検索した写真画像が見終わり、液晶パネル7Bに再び検索用地図画像65を表示するように指示されたことを表している。中央処理ユニット20は、ステップSP66において、かかる肯定結果を得ると、ステップSP59に戻る。
これにより中央処理ユニット20は、ユーザに対し検索用地図画像65上で、検索する写真画像を絞り込むためのイベント位置アイコンを改めて選定させることができる。よって中央処理ユニット20は、適宜イベントを替えながら、異なる写真画像を検索して見せることができる。
またステップSP61において肯定結果が得られると、このことはユーザにより、他の検索キーでの写真画像の検索や写真撮影のために、液晶パネル7Bに再び撮影状態提示画像40及びアイコン提示画像42、62を表示するように指示されたことを表している。中央処理ユニット20は、ステップSP61において、かかる肯定結果を得ると、ステップSP51に戻る。
ところで、ステップSP52において肯定結果が得られると、このことはユーザにより人物の顔を利用した写真画像の検索が要求され、その結果、タップ操作で、アイコン配置画像41上の顔アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP52において、かかる肯定結果を得ると、次のステップSP69に移る。
ステップSP69において中央処理ユニット20は、検索用データベースDBに登録しているファイル識別情報の中から、ユーザにより指示された顔アイコンに基づき写真画像をファイル識別情報として検索する。
すなわち、中央処理ユニット20は、ユーザにより指示された顔アイコンが示す顔の人物が写り込んでいる写真画像を、ファイル識別情報として検索して、次のステップSP70に移る。
ステップSP70において中央処理ユニット20は、検索した写真画像のファイル識別情報に基づき、記録デバイス33から当該検索した写真画像のサムネイルを読み出す。そして中央処理ユニット20は、そのサムネイルを用いて顔検索写真画像75を生成して、次のステップSP71に移る。
そしてステップSP71において中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40及びアイコン提示画像42に替えて顔検索写真画像75を表示して、次のステップSP72に移る。
ステップSP72において中央処理ユニット20は、ユーザによりタップ操作で、顔検索写真画像75内の何れかのサムネイルが指示されたか否かを判別する。このステップSP72において否定結果が得られると、このことはユーザによりサムネイルで、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP72において、かかる否定結果を得ると、ステップSP73に移る。
ステップSP73において中央処理ユニット20は、液晶パネル7Bに対する顔検索写真画像75の表示を、撮影状態提示画像40及びアイコン提示画像42の表示に戻すか否かを判別する。
このステップSP73において否定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP73において、かかる否定結果を得ると、ステップSP72に戻る。
このようにして中央処理ユニット20は、この後、ステップSP72及びステップSP73の何れかで肯定結果を得るまでの間、当該ステップSP72及びステップSP73の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示する写真画像が選択されることを待ち受ける。
ところで、ステップSP72において肯定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選択されたことを表している。中央処理ユニット20は、ステップSP72において、かかる肯定結果を得ると、次のステップSP74に移る。
ステップSP74において中央処理ユニット20は、記録デバイス33から、ユーザにより選択された写真画像の画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルに基づき液晶パネル7Bに、顔検索写真画像75に替えて、ユーザにより選択された写真画像を表示して、次のステップSP75に移る。
ステップSP75において中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示した写真画像を、顔検索写真画像75の表示に戻すように指示されることを待ち受ける。そして中央処理ユニット20は、ユーザにより液晶パネル7Bの表示を、写真画像から顔検索写真画像75に戻すように指示されると、ステップSP71に戻る。
このようにして中央処理ユニット20は、顔検索写真画像75上でサムネイルとして、表示すべき写真画像を選択させ、写真画像が選択されると、液晶パネル7Bに、その選択された写真画像を表示して見せることができる。
因みに、ステップSP73において肯定結果が得られると、このことはユーザにより、人物の顔で検索した写真画像が見終わり、液晶パネル7Bに再び撮影状態提示画像40及びアイコン提示画像42を表示するように指示されたことを表している。中央処理ユニット20は、ステップSP73において、かかる肯定結果を得ると、ステップSP51に戻る。
ところで、ステップSP53において肯定結果が得られると、このことはユーザにより、任意に選定した基準人物と親密な人物を利用した写真画像の検索が要求され、その結果、摺動操作で、アイコン配置画像41上の顔アイコンが指示されたことを表している。
言い換えると、かかる肯定結果は、ユーザにより、アイコン配置画像41上の顔アイコンとして指示した基準人物をもとにして、当該基準人物と親密な人物が写り込んでいる写真画像の検索が要求されたことを表している。中央処理ユニット20は、ステップSP53において、かかる肯定結果を得ると、次のステップSP76に移る。
ステップSP76において中央処理ユニット20は、検索用データベースDBを用いて、デジタルスチルカメラ1で写真撮影された人物の中に、ユーザにより顔アイコンとして指示された基準人物と親密な人物が存在するか否かを判別する。
このステップSP76において否定結果が得られると、このことは未だデジタルスチルカメラ1では、ユーザにより指示された基準人物と親密な人物を写真撮影してはいないことを表している。中央処理ユニット20は、ステップSP76において、かかる否定結果を得ると、ステップSP51に戻る。
これに対しステップSP76において肯定結果が得られると、このことはデジタルスチルカメラ1により、ユーザによって指示された基準人物と親密な人物がすでに写真撮影されていることを表している。中央処理ユニット20は、ステップSP76において、かかる肯定結果を得ると、ステップSP77に移る。
ステップSP77において中央処理ユニット20は、検索用データベースDBから、基準人物の人物識別情報に対応付けて登録している親密関連付情報に基づき、当該基準人物と親密な関係にある人物の顔アイコンを読み出して、次のステップSP78に移る。
ステップSP78において中央処理ユニット20は、検索用データベースDBを用いて、基準人物及び当該基準人物と親密な人物同士が一緒に写真撮影された撮影位置を検出して、次のステップSP79に移る。
ステップSP79において中央処理ユニット20は、検出した撮影位置を含む部分地図画像に基づき、当該撮影位置を示す撮影位置アイコンを生成して、次のステップSP80に移る。
ステップSP80において中央処理ユニット20は、顔アイコン及び撮影位置アイコンを用いて人物提示画像80を生成して、次のステップSP81に移る。そしてステップSP81において中央処理ユニット20は、液晶パネル7Bに表示している撮影状態提示画像40上に、その人物提示画像80を重ねて表示して、次のステップSP82に移る。
ステップSP82において中央処理ユニット20は、ユーザにより摺動操作で、人物提示画像80内の顔アイコンが指示されたか否かを判別する。このステップSP82において否定結果が得られると、このことはユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP82において、かかる否定結果を得ると、ステップSP83に移る。
ステップSP83において中央処理ユニット20は、ユーザによりタップ操作で、人物提示画像80内の顔アイコンが指示されたか否かを判別する。このステップSP83において否定結果が得られると、この場合もユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP83において、かかる否定結果を得ると、ステップSP84に移る。
ステップSP84において中央処理ユニット20は、ユーザによりタップ操作で、人物提示画像80内の撮影位置アイコンが指示されたか否かを判別する。このステップSP84において否定結果が得られると、この場合もユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP84において、かかる否定結果を得ると、ステップSP85に移る。
ステップSP85において中央処理ユニット20は、液晶パネル7Bに対する撮影状態提示画像40及び人物提示画像80の表示を、撮影状態提示画像40及びアイコン提示画像42の表示に戻すか否かを判別する。
このステップSP85において否定結果が得られると、この場合もユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP85において、かかる否定結果を得ると、ステップSP82に戻る。
このようにして中央処理ユニット20は、この後、ステップSP82乃至ステップSP85の何れかで肯定結果を得るまでの間、当該ステップSP82乃至ステップSP85の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより人物提示画像80内の顔アイコンや撮影位置アイコンが指示されることを待ち受ける。
ところで、ステップSP82において肯定結果が得られると、このことはユーザにより写真画像の検索に利用可能な人物を増やすために摺動操作で、人物提示画像80内の基準人物以外の人物の顔アイコンが指示されたことを表している。
言い換えると、かかる肯定結果は、ユーザにより、アイコン配置画像41上の顔アイコンとして新たに指示した指示人物をもとにして、当該指示人物と親密な新たな人物が写り込んでいる写真画像の検索が要求されたことを表している。中央処理ユニット20は、ステップSP82において、かかる肯定結果を得ると、次のステップSP86に移る。
ステップSP86において中央処理ユニット20は、検索用データベースDBを用いて、デジタルスチルカメラ1で写真撮影された人物の中に、ユーザにより顔アイコンとして指示された指示人物と親密な人物が存在するか否かを判別する。
このステップSP86において否定結果が得られると、このことは未だデジタルスチルカメラ1では、ユーザにより指示された指示人物と親密な人物を写真撮影してはいないことを表している。中央処理ユニット20は、ステップSP86において、かかる否定結果を得ると、ステップSP82に戻る。
これに対しステップSP86において肯定結果が得られると、このことはデジタルスチルカメラ1により、ユーザによって指示された指示人物と親密な人物がすでに写真撮影されていることを表している。中央処理ユニット20は、ステップSP86において、かかる肯定結果を得ると、ステップSP87に移る。
ステップSP87において中央処理ユニット20は、検索用データベースDBから、指示人物の人物識別情報に対応付けて登録している親密関連付情報に基づき、指示人物と親密な関係にある新たな人物の顔アイコンを読み出して、次のステップSP88に移る。
ステップSP88において中央処理ユニット20は、検索用データベースDBを用いて、指示人物及び当該指示人物と親密な人物同士が一緒に写真撮影された撮影位置を検出して、次のステップSP89に移る。
ステップSP89において中央処理ユニット20は、検出した撮影位置を含む部分地図画像に基づき、当該撮影位置を示す撮影位置アイコンを生成して、次のステップSP90に移る。
ステップSP90において中央処理ユニット20は、新たに取得した顔アイコン及び撮影位置アイコンを用いて人物提示画像80を更新して、次のステップSP91に移る。そしてステップSP91において中央処理ユニット20は、液晶パネル7Bに表示している撮影状態提示画像40上に、更新前の人物提示画像80に替えて更新後の人物提示画像90を重ねて表示して、次のステップSP92に移る。
ステップSP92において中央処理ユニット20は、ユーザによりタップ操作で、人物提示画像90内の顔アイコンが指示されたか否かを判別する。このステップSP92において否定結果が得られると、このことはユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP92において、かかる否定結果を得ると、ステップSP93に移る。
ステップSP93において中央処理ユニット20は、ユーザによりタップ操作で、人物提示画像90内の撮影位置アイコンが指示されたか否かを判別する。このステップSP93において否定結果が得られると、この場合もユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP93において、かかる否定結果を得ると、ステップSP94に移る。
ステップSP94において中央処理ユニット20は、液晶パネル7Bに対する撮影状態提示画像40及び人物提示画像90の表示を、撮影状態提示画像40及びアイコン提示画像42の表示に戻すか否かを判別する。
このステップSP94において否定結果が得られると、この場合もユーザにより写真画像の検索に利用する人物や撮影位置が選定されている途中であることを表している。中央処理ユニット20は、ステップSP94において、かかる否定結果を得ると、ステップSP92に戻る。
このようにして中央処理ユニット20は、この後、ステップSP92乃至ステップSP94の何れかで肯定結果を得るまでの間、当該ステップSP92乃至ステップSP94の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより人物提示画像90内の顔アイコンや撮影位置アイコンが指示されることを待ち受ける。
ところで、ステップSP92において肯定結果が得られると、このことはユーザにより人物の顔を利用した写真画像の検索が要求され、その結果、タップ操作で、人物提示画像90内の顔アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP92において、かかる肯定結果を得ると、次のステップSP95に移る。
ステップSP95において中央処理ユニット20は、検索用データベースDBに登録しているファイル識別情報の中から、ユーザにより指示された顔アイコンに基づき写真画像をファイル識別情報として検索する。
すなわち、中央処理ユニット20は、ユーザにより指示された顔アイコンが示す顔の人物が写り込んでいる写真画像を、ファイル識別情報として検索して、次のステップSP96に移る。
ステップSP96において中央処理ユニット20は、検索した写真画像のファイル識別情報に基づき、記録デバイス33から当該検索した写真画像のサムネイルを読み出す。そして中央処理ユニット20は、そのサムネイルを用いて上述と同様な顔検索写真画像を生成して、次のステップSP97に移る。
そしてステップSP97において中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40及び人物提示画像90に替えて顔検索写真画像を表示して、次のステップSP98に移る。
ステップSP98において中央処理ユニット20は、ユーザによりタップ操作で、顔検索写真画像内の何れかのサムネイルが指示されたか否かを判別する。このステップSP98において否定結果が得られると、このことはユーザによりサムネイルで、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP98において、かかる否定結果を得ると、ステップSP99に移る。
ステップSP99において中央処理ユニット20は、液晶パネル7Bに対する顔検索写真画像の表示を、撮影状態提示画像40及び人物提示画像90の表示に戻すか否かを判別する。
このステップSP99において否定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP99において、かかる否定結果を得ると、ステップSP98に戻る。
このようにして中央処理ユニット20は、この後、ステップSP98及びステップSP99の何れかで肯定結果を得るまでの間、当該ステップSP98及びステップSP99の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示する写真画像が選択されることを待ち受ける。
ところで、ステップSP98において肯定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選択されたことを表している。中央処理ユニット20は、ステップSP98において、かかる肯定結果を得ると、次のステップSP100に移る。
ステップSP100において中央処理ユニット20は、記録デバイス33から、ユーザにより選択された写真画像の画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルに基づき液晶パネル7Bに、顔検索写真画像に替えて、ユーザにより選択された写真画像を表示して、次のステップSP101に移る。
ステップSP101において中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示した写真画像を、顔検索写真画像の表示に戻すように指示されることを待ち受ける。そして中央処理ユニット20は、ユーザにより液晶パネル7Bの表示を、写真画像から顔検索写真画像に戻すように指示されると、ステップSP97に戻る。
このようにして中央処理ユニット20は、顔検索写真画像上でサムネイルとして、表示すべき写真画像を選択させ、写真画像が選択されると、液晶パネル7Bに、その選択された写真画像を表示して見せることができる。
因みにステップSP99において肯定結果が得られると、このことはユーザにより、任意に選定した1人の人物の顔で検索した写真画像が見終わり、液晶パネル7Bに再び撮影状態提示画像40及び人物提示画像90を表示するように指示されたことを表している。中央処理ユニット20は、ステップSP99において、かかる肯定結果を得ると、ステップSP91に戻る。
ところで、ステップSP93において肯定結果が得られると、このことはユーザにより撮影位置を利用した写真画像の検索が要求され、その結果、タップ操作で、人物提示画像90内の撮影位置アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP93において、かかる肯定結果を得ると、次のステップSP102に移る。
ステップSP102において中央処理ユニット20は、検索用データベースDBに登録している撮影位置の中から、撮影位置アイコンが示す撮影位置を中心とした検索エリア内の他の撮影位置を検索して、次のステップSP103に移る。
ステップSP103において中央処理ユニット20は、検索用データベースDBに、その検索した撮影位置に対応付けて登録していたイベント識別情報に基づき、当該検索した撮影位置を、写真撮影の行われたイベントで分類して、次のステップSP104に移る。
ステップSP104において中央処理ユニット20は、検索した撮影位置及び当該撮影位置のイベントによる分類に基づき、エリア地図画像にイベントと共にイベント位置を示すイベント位置アイコンを配置した検索用地図画像を生成する。
そして中央処理ユニット20は、次のステップSP105に移ることで、当該ステップSP105において液晶パネル7Bに人物提示画像90に替えて検索用地図画像を表示して、次のステップSP106に移る。
ステップSP106において中央処理ユニット20は、ユーザによりタップ操作で、検索用地図画像内のイベント位置アイコンが指示されたか否かを判別する。このステップSP106において否定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むために、イベント位置アイコンが選ばれている途中であることを表している。中央処理ユニット20は、ステップSP106において、かかる否定結果を得ると、ステップSP107に移る。
ステップSP107において中央処理ユニット20は、液晶パネル7Bに対する検索用地図画像の表示を、撮影状態提示画像40及び人物提示画像90の表示に戻すか否かを判別する。
このステップSP107において否定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むために、未だイベント位置アイコンが選ばれている途中であることを表している。中央処理ユニット20は、ステップSP107において、かかる否定結果を得ると、ステップSP106に戻る。
このようにして中央処理ユニット20は、この後、ステップSP106及びステップSP107の何れかで肯定結果を得るまでの間、当該ステップSP106及びステップSP107の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより写真画像の検索用に、所望のイベント位置アイコンが指示されることを待ち受ける。
ところで、ステップSP106において肯定結果が得られると、このことはユーザにより、検索する写真画像を絞り込むためのイベント位置アイコンが選定されたことを表している。中央処理ユニット20は、ステップSP106において、かかる肯定結果を得ると、次のステップSP108に移る。
ステップSP108において中央処理ユニット20は、検索用データベースDBに登録しているファイル識別情報の中から、ユーザにより指示されたイベント位置アイコンに基づき写真画像をファイル識別情報として検索して、次のステップSP109に移る。
ステップSP109において中央処理ユニット20は、検索した写真画像のファイル識別情報に基づき、記録デバイス33から当該検索した写真画像のサムネイルを読み出す。そして中央処理ユニット20は、そのサムネイルを用いて上述と同様なイベント検索写真画像を生成して、次のステップSP110に移る。そしてステップSP110において中央処理ユニット20は、液晶パネル7Bに検索用地図画像に替えてイベント検索写真画像を表示して、次のステップSP111に移る。
ステップSP111において中央処理ユニット20は、ユーザによりタップ操作で、イベント検索写真画像内の何れかのサムネイルが指示されたか否かを判別する。このステップSP111において否定結果が得られると、このことはユーザによりサムネイルで、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP111において、かかる否定結果を得ると、ステップSP112に移る。
ステップSP112において中央処理ユニット20は、液晶パネル7Bに対するイベント検索写真画像の表示を、検索用地図画像の表示に戻すか否かを判別する。このステップSP112において否定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選ばれている途中であることを表している。中央処理ユニット20は、ステップSP112において、かかる否定結果を得ると、ステップSP111に戻る。
このようにして中央処理ユニット20は、この後、ステップSP111及びステップSP112の何れかで肯定結果を得るまでの間、当該ステップSP111及びステップSP112の処理を繰り返し実行する。これにより中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示する写真画像が選択されることを待ち受ける。
ところで、ステップSP111において肯定結果が得られると、このことはユーザにより、液晶パネル7Bに表示する写真画像が選択されたことを表している。中央処理ユニット20は、ステップSP111において、かかる肯定結果を得ると、次のステップSP113に移る。
ステップSP113において中央処理ユニット20は、記録デバイス33から、ユーザにより選択された写真画像の画像ファイルを読み出す。また中央処理ユニット20は、その画像ファイルに基づき液晶パネル7Bに、イベント検索写真画像に替えて、ユーザにより選択された写真画像を表示して、次のステップSP114に移る。
ステップSP114において中央処理ユニット20は、ユーザにより、液晶パネル7Bに表示した写真画像を、イベント検索写真画像の表示に戻すように指示されることを待ち受ける。そして中央処理ユニット20は、ユーザにより液晶パネル7Bの表示を、写真画像からイベント検索写真画像に戻すように指示されると、ステップSP110に戻る。
このようにして中央処理ユニット20は、イベント検索写真画像上でサムネイルとして、表示すべき写真画像を選択させ、写真画像が選択されると、液晶パネル7Bに、その選択された写真画像を表示して見せることができる。
ところで、ステップSP112において肯定結果が得られると、このことはユーザにより、イベントで絞り込んで検索した写真画像が見終わり、液晶パネル7Bに再び検索用地図画像を表示するように指示されたことを表している。中央処理ユニット20は、ステップSP112において、かかる肯定結果を得ると、ステップSP105に戻る。
これにより中央処理ユニット20は、ユーザに対し検索用地図画像上で、検索する写真画像を絞り込むためのイベント位置アイコンを改めて選定させることができる。よって中央処理ユニット20は、適宜イベントを替えながら、異なる写真画像を検索して見せることができる。
またステップSP107において肯定結果が得られると、このことはユーザにより基準人物や指示人物と親密な人物、また他の撮影位置で写真画像を検索するために、検索用地図画像の表示を人物提示画像90の表示に戻すように指示されたことを表している。中央処理ユニット20は、ステップSP107において、かかる肯定結果を得ると、ステップSP91に戻る。
ところで、ステップSP83において肯定結果が得られると、このことはユーザにより人物の顔を利用した写真画像の検索が要求され、その結果、タップ操作で、人物提示画像80内の顔アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP83において、かかる肯定結果を得ると、ステップSP95に移る。
またステップSP84において肯定結果が得られると、このことはユーザにより撮影位置を利用した写真画像の検索が要求され、その結果、タップ操作で、人物提示画像80内の撮影位置アイコンが指示されたことを表している。中央処理ユニット20は、ステップSP84において、かかる肯定結果を得ると、ステップSP102に移る。
すなわち、中央処理ユニット20は、更新前の人物提示画像80と更新後の人物提示画像90との何れを用いて写真画像を検索する場合でも、実質的に同一の処理を実行する。ただし中央処理ユニット20は、更新前の人物提示画像80を用いて写真画像を検索するための処理を進めていき、顔検索写真画像や検索用地図画像を表示した状態から人物提示画像に表示を戻すときには、ステップSP81に戻る。
ところで、ステップSP54において肯定結果が得られると、このことはユーザにより、任意に選定した人物と親密な人物を利用した写真画像の検索が要求され、その結果、摺動操作で、撮影状態提示画像40内の顔(検索利用顔)が指示されたことを表している。
言い換えると、かかる肯定結果は、ユーザにより、撮影状態提示画像40内に写り込んでいる顔として指示した人物をもとにして、その人物と親密な人物が写り込んでいる写真画像の検索が要求されたことを表している。中央処理ユニット20は、ステップSP54において、かかる肯定結果を得ると、次のステップSP115に移る。
ステップSP115において中央処理ユニット20は、検索用データベースDBを用いて、デジタルスチルカメラ1で写真撮影された人物の中に、ユーザにより撮影状態提示画像40内の顔として指示された人物と親密な人物が存在するか否かを判別する。
このステップSP115において否定結果が得られると、このことは未だデジタルスチルカメラ1では、ユーザにより指示された人物と親密な人物を写真撮影してはいないことを表している。中央処理ユニット20は、ステップSP115において、かかる否定結果を得ると、ステップSP51に戻る。
これに対しステップSP115において肯定結果が得られると、このことはデジタルスチルカメラ1により、ユーザによって指示された人物と親密な人物がすでに写真撮影されていることを表している。中央処理ユニット20は、ステップSP115において、かかる肯定結果を得ると、ステップSP77に移る。
また上述のステップSP55において肯定結果が得られると、このことはユーザにより電源のオフや再生モードへの切替等が要求され、撮影モードを終了することを表している。中央処理ユニット20は、ステップSP55において、かかる肯定結果を得ると、ステップSP116に移って画像検索処理手順RT3を終了する。
[1−9 実施の形態の動作及び効果]
以上の構成において、デジタルスチルカメラ1の中央処理ユニット20は、撮影モード時、被写体を連続撮影して撮影状態提示画像40を生成し液晶パネル7Bに表示する。またデジタルスチルカメラ1の中央処理ユニット20は、撮影場所や、どのような被写体を連続撮影したかのような撮影状況に応じて、写真画像検索用の検索キーを撮影状態提示画像40と共に液晶パネル7Bに表示する。
この状態でデジタルスチルカメラ1の中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40と共に表示した検索キーが指示されると、当該指示された検索キーに基づき写真画像を検索する。そしてデジタルスチルカメラ1の中央処理ユニット20は、液晶パネル7Bに撮影状態提示画像40に替えて、写真画像の検索結果を表示する。
すなわち、デジタルスチルカメラ1は、撮影モード時に撮影状況に応じて検索キーを自動的に提示し、その検索キーが指示されると、これに応じて写真画像を検索する。
従ってデジタルスチルカメラ1は、撮影モード時に、被写体や撮影場所をきっかけとして写真画像の検索が要求されても、モード切替操作や、カテゴリ毎のメタデータの選択操作のような煩雑な操作を何ら行わせることなく、写真画像を検索させることができる。
以上の構成によれば、デジタルスチルカメラ1は、撮影モード時、被写体を連続撮影して撮影状態提示画像40を生成し液晶パネル7Bに表示しながら、被写体の撮影状況に応じて写真画像検索用の検索キーを撮影状態提示画像40と共に液晶パネル7Bに表示するようにした。これによりデジタルスチルカメラ1は、撮影モード時に被写体や撮影場所をきっかけとして写真画像の検索が要求されても、煩雑な操作を何ら行わせることなく、検索キーを指示させて写真画像を検索させることができる。よってデジタルスチルカメラ1は、撮影モード時に写真画像の検索が要求されても、その検索要求に容易に対処することができる。
実際にデジタルスチルカメラ1は、被写体として人物を連続撮影していると、撮影状態提示画像40から当該人物の顔を検出し、その顔を示す顔アイコンや、撮影状態提示画像40に写り込んでいる顔そのものを検索キーとして提示するようにした。
従ってデジタルスチルカメラ1は、撮影対象の人物を見て、写真画像の検索が要求されても、その検索キーとしての顔アイコンや撮影状態提示画像40に写り込んでいる顔を指示させることで、当該撮影対象の人物が写り込んでいる写真画像を検索することができる。
またデジタルスチルカメラ1は、顔アイコンや、撮影状態提示画像40に写り込んでいる顔の指示手法として、タップ操作と、これとは異なる摺動操作とを用意した。そしてデジタルスチルカメラ1は、顔アイコンがタップ操作で指示されると、その顔アイコンの示す顔を有する人物が写り込んでいる写真画像のみを検索するようにした。
またデジタルスチルカメラ1は、顔アイコンや、撮影状態提示画像40に写り込んでいる顔が摺動操作で指示されると、撮影対象の人物と親密な人物が写り込んでいる写真画像を検索するようにした。
よってデジタルスチルカメラ1は、撮影対象の人物が写り込んでいる写真画像に限らず、撮影対象の人物をきっかけとして、その人物と親密な人物が連想された場合でも、これに容易に対処して、当該親密な人物が写り込んでいる写真画像も検索することができる。
さらにデジタルスチルカメラ1は、被写体の撮影状況として、撮影場所を特定するために現在のカメラ位置を検出し、そのカメラ位置を示すカメラ位置アイコンも検索キーとして提示するようにした。
従ってデジタルスチルカメラ1は、撮影場所をきっかけとして写真画像の検索が要求されても、検索キーとしてのカメラ位置アイコンを指示させることで、現在のカメラ位置の周辺で取り溜めていた写真画像を検索することができる。
そしてデジタルスチルカメラ1は、このように撮影場所をきっかけとした写真画像の検索要求にも対処し得るため、被写体として人物の写り込んだ写真画像のみならずに、人物以外の風景や建築物、動物等が写り込んだ写真画像も容易に検索することができる。
さらにまたデジタルスチルカメラ1は、被写体を写真撮影する撮影モード時に、写真画像の検索も実行し得るようにした。よってデジタルスチルカメラ1は、被写体を写真撮影したとき、その写真撮影によって得られた写真画像を直ぐに見るように要求されたときでも、モード切替操作を行わせることなく、その写真画像を検索して見せることができる。
<2.変形例>
[2−1 変形例1]
なお上述した実施の形態においては、撮影モード時、カメラ位置アイコンを適宜更新するようにした場合について述べた。しかしながら本発明は、これに限らず、撮影モード時、顔アイコンと同様に、カメラ位置アイコンについても、これを生成する毎に、アイコン配置画像上に追加して表示するようにしても良い。
これにより本発明は、撮影場所を順次変更しながら写真撮影するような場合、撮影場所の変更後に変更前の撮影場所をもとに写真画像の検索が要求されても、変更前の撮影場所に対応するカメラ位置アイコンを指示させて、その写真画像を検索することができる。
また本発明は、顔アイコンについては、撮影された人物の顔の検出に応じて順次追加するだけではなく、追加の上限を設定して、顔アイコンを取得しても、その上限を超えないように顔アイコンを追加更新するようにしても良い。。
[2−2 変形例2]
また上述した実施の形態においては、検索用データベースDBに登録顔情報と共に顔アイコンを登録しておくようにした場合について述べた。しかしながら本発明は、これに限らず、検索用データベースDBには顔アイコンを登録せずに、検出した顔の特徴を検索用顔特徴に設定する毎に、その顔を示す顔アイコンを生成するようにしても良い。
[2−3 変形例3]
さらに上述した実施の形態においては、撮影モード時に検索キーを提示するか否かや、提示する検索キーの種類を選択させて設定しておくようにした場合について述べた。しかしながら本発明は、これに限らず、デジタルスチルカメラ1に、検索キーの提示の有無や、提示する検索キーの種類を任意のタイミングで選択可能なスイッチを設けるようにしても良い。
これにより本発明は、撮影モード時、被写体の撮影状況に応じて、その場で検索キーの提示の有無や、提示する検索キーの種類を選択させて切り替えることができ、使い勝手を向上させることができる。
[2−4 変形例4]
さらに上述した実施の形態においては、デジタルスチルカメラ1の筐体2の全面2Aに撮影レンズ3を設けるようにした場合について述べた。しかしながら本発明は、これに限らず、デジタルスチルカメラ1の筐体2の背面2Bにも撮影レンズを設けるようにしても良い。これにより本発明は、例えば、ユーザ本人が一人で又は他人と共に自己を連続撮影しながら、検索キーを指示して写真画像を検索することができる。
[2−5 変形例5]
さらに上述した実施の形態においては、デジタルスチルカメラ1に設けられた記録デバイス33に記録されている写真画像を検索するようにした場合について述べた。しかしながら本発明は、これに限らず、デジタルスチルカメラ1にネットワーク上のサーバと通信可能な通信機能を設ける。
そして本発明は、デジタルスチルカメラ1の記録デバイス33に検索用データベースを構築するものの、その検索用データベースに登録した写真画像をネットワーク上のサーバに保持しておくようにしても良い。これにより本発明は、より多くの写真画像の中から、所望の写真画像を検索することができる。
また本発明は、カメラ位置アイコンや撮影位置アイコン、検索用地図画像の生成に利用する地図画像データも、その生成時にネットワーク上のサーバから取得するようにしても良い。
[2−6 変形例6]
さらに上述した実施の形態においては、撮影状態提示画像40に写り込んでいる顔(検索利用顔)を、親密な人物を検索するための検索キーとして利用するようにした場合について述べた。
しかしながら本発明は、これに限らず、撮影状態提示画像40に写り込んでいる顔(検索利用顔)を、その顔の人物が写り込んでいる写真画像のみを検索するための検索キーとして利用するようにしても良い。
また本発明は、撮影状態提示画像40に写り込んでいる顔(検索利用顔)を、指示手法を変えることで、当該顔の人物が写り込んでいる写真画像のみを検索するための検索キーと、親密な人物を検索するための検索キーとの何れでも利用し得るようにしても良い。
そして本発明は、撮影状態提示画像40に写り込んでいる顔(検索利用顔)を、2種類の検索キーとして利用可能にすることで、顔アイコンを表示しない(すなわち、写真画像の検索には利用しない)ようにしても良い。これにより本発明は、撮影状態提示画像40の視認性が、顔アイコンの表示により低下することを回避することができる。
また本発明は、顔アイコンを2種類の検索キーとして利用可能にし、撮影状態提示画像40に写り込んでいる顔(検索利用顔)については、検索キーとして利用しない(すなわち、検索キーに設定はしない)ようにしても良い。
さらに本発明は、顔アイコンと、撮影状態提示画像40に写り込んでいる顔(検索利用顔)との一方を、その顔を有する人物が写り込んでいる写真画像のみを検索するための検索キーとして利用する。
また本発明は、顔アイコンと、撮影状態提示画像40に写り込んでいる顔(検索利用顔)との他方を、その顔を有する人物と親密な人物が写り込んでいる写真画像を検索するための検索キーとして利用する。
このようにして本発明は、顔アイコンと、撮影状態提示画像40に写り込んでいる顔(検索利用顔)とを異なる機能の検索キーとして利用するようにしても良い。これにより本発明は、顔アイコンと、撮影状態提示画像40に写り込んでいる顔(検索利用顔)とを、それぞれ同じ例えば、タップ操作で指示することができ、指示手法を1種類にし得る分、操作を簡易化することができる。
[2−7 変形例7]
さらに上述した実施の形態においては、撮影モード時、被写体を連続撮影して撮影状態提示画像40を生成し液晶パネル7Bに表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、撮影モード時、通常は液晶パネル7Bに検索キーアイコンのみを表示する。そして本発明は、シャッタボタン9の半押操作及び全押操作に応じて、その半押操作や全押操作の間だけ、液晶パネル7Bに検索キーに替えて撮影状態提示画像40を表示するようにしても良い。
かかる構成の場合、本発明は、撮影モード時、通常は液晶パネル7Bに、より多くの検索キーアイコンを表示することができると共に、撮影状態提示画像40を表示しない分、検索キーアイコンの視認性を高めることもできる。
[2−8 変形例8]
さらに上述した実施の形態においては、顔アイコンや、撮影状態提示画像40に写り込んでいる顔(検索利用顔)が摺動操作で指示されると、親密な人物を検索するための顔アイコンを追加で表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、撮影状態提示画像40に写り込んでいる顔(検索利用顔)を検出したとき、その顔を示す顔アイコンと共に、親密な人物の顔を示す顔アイコンを取得して、これらを普段から液晶パネル7Bに表示するようにしても良い。
[2−9 変形例9]
さらに上述した実施の形態においては、本発明の画像検索装置を、図1乃至図34について上述したデジタルスチルカメラ1に適用するようにした場合について述べた。しかしながら本発明は、これに限らず、写真撮影及び動画撮影の少なくとも一方の撮影機能を有するコンピュータ、携帯電話機、PDA(Personal Digital Assistance)、携帯型ゲーム機器等の情報処理装置に適用することができる。
また本発明は、写真撮影及び動画撮影の少なくとも一方の撮影機能を有するデジタルスチルカメラやデジタルビデオカメラ等のように、この他種々の構成の画像検索装置にも適用することができる。
[2−10 変形例10]
さらに上述した実施の形態においては、本発明による画像検索プログラムを、図1乃至図34について上述したROM21に予め記憶された画像検索プログラムに適用した。そして中央処理ユニット20が、その画像検索プログラムに従って図25及び図26について上述した検索キー提示処理手順RT2、及び図27乃至図34について上述した画像検索処理手順RT3を実行するようにした場合について述べた。
しかしながら本発明は、これに限らず、デジタルスチルカメラ1が画像検索プログラムの記録されたコンピュータ読取可能な記録媒体によって画像検索プログラムをインストールしても良い。そして中央処理ユニット20が、そのインストールした画像検索プログラムに従って検索キー提示処理手順RT2及び画像検索処理手順RT3を実行するようにしても良い。
またデジタルスチルカメラ1は、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部から画像検索プログラムをインストールするようにしても良い。
そして画像検索プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、例えばフレキシブルディスクのようなパッケージメディアで実現しても良い。
また画像検索プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、CD−ROM(Compact Disc-Read Only Memory)のようなパッケージメディアで実現しても良い。
さらに画像検索プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、DVD(Digital Versatile Disc)等のパッケージメディアで実現しても良い。
さらに、かかるコンピュータ読取可能な記録媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記録される半導体メモリや磁気ディスク等で実現しても良い。
また、これらコンピュータ読取可能な記録媒体に画像検索プログラムを記録する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。さらにコンピュータ読取可能な記録媒体に画像検索プログラムを記録する手段としては、ルータやモデム等の各種通信インタフェースを介して記録するようにしても良い。
[2−11 変形例11]
さらに上述した実施の形態においては、被写体を撮影する撮影部として、図1乃至図34について上述したレンズ部26及び撮像素子27を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、レンズ部と、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサでなる撮像素子とを有する撮像部のように、この他種々の構成の撮像部を広く適用することができる。
[2−12 変形例12]
さらに上述した実施の形態においては、表示部として、図1乃至図34について上述したタッチスクリーン7を構成する液晶パネル7Bを適用するようにした場合について述べた。しかしながら本発明は、これに限らず、有機EL(Electro Luminescence)ディスプレイのように、この他種々の表示部を広く適用することができる。
[2−13 変形例13]
さらに上述した実施の形態においては、撮影部により被写体を撮影可能な撮影モード時、撮影状況に応じて、画像検索用の検索キーを表示部に表示する制御部として、図1乃至図34について上述した中央処理ユニット20を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、マイクロプロセッサやDSP(Digital Signal Processor)等のように、この他種々の構成の制御部を広く適用することができる。
[2−14 変形例14]
さらに上述した実施の形態においては、撮影モード時、画像検索用の検索キーを表示部に表示するための撮影状況として、図1乃至図34について上述した撮影場所や、連続撮影している被写体を利用するようにした場合について述べた。
しかしながら本発明は、これに限らず、撮影時期(季節や年末年始、夏休み、冬休み等)、撮影時間帯、天候等のように、画像検索用の検索キーの表示に、この他種々の撮影状況を利用することができる。
そして本発明は、このように種々の撮影状況に応じて画像検索用の検索キーを表示する場合、その検索キーとしても、顔アイコンやカメラ位置アイコンのみならず、撮影時期、撮影時間帯、天候等を示すアイコンを表示するようにしても良い。
[2−15 変形例15]
さらに上述した実施の形態においては、検索キーで検索する画像として、図1乃至図34について上述した写真画像を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、デジタルビデオカメラで被写体をユーザ指定の任意の時間、連続撮影して得られる動画像や、映画、ミュージッククリップ等のように、この他種々の画像を広く適用することができる。
[2−16 変形例16]
さらに上述した実施の形態においては、指示部を介して検索キーが指示されると、当該指示された検索キーに基づき画像を検索する検索部として、図1乃至図34について上述した中央処理ユニット20を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、マイクロプロセッサやDSP(Digital Signal Processor)等のように、この他種々の構成の検索部を広く適用することができる。
[2−17 変形例17]
さらに上述した実施の形態においては、表示部に表示された検索キーを指示するために用いられる指示部として、図1乃至図34について上述した液晶パネル7Bに貼着されたタッチパネル7Aを適用するようにした場合について述べた。しかしながら本発明は、これに限らず、液晶パネルの内部に一体に形成されたタッチセンサや、液晶パネル7B上でカーソルを移動させる十字キー等のように、この他種々の構成の指示部を広く適用することができる。
[2−18 変形例18]
さらに上述した実施の形態においては、撮影部により被写体を連続撮影して得られる撮影状態提示画像から、当該撮影状態提示画像に写り込んでいる人物の顔を検出する顔検出部として、図1乃至図34について上述したデジタル処理部31を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、マイクロプロセッサやDSP等のように、この他種々の顔検出部を広く適用することができる。
[2−19 変形例19]
さらに上述した実施の形態においては、顔検出部により検出された顔を有する人物と親密度の高い他の人物を検出する人物検出部として、図1乃至図34について上述した中央処理ユニット20を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、マイクロプロセッサやDSP等のように、この他種々の構成の人物検出部を広く適用することができる。
[2−20 変形例20]
さらに上述した実施の形態においては、撮影モード時、本装置の装置位置を検出する装置位置検出部として、図1乃至図34について上述した中央処理ユニット20及びGPS受信機32を適用するようにした場合について述べた。しかしながら本発明は、これに限らず、マイクロプロセッサやDSP、及びGPS受信機32等のように、この他種々の構成の装置位置検出部を広く適用することができる。