WO2006016461A1

WO2006016461A1 - 撮像装置

Info

Publication number: WO2006016461A1
Application number: PCT/JP2005/012801
Authority: WO
Inventors: Naoaki Yorita; Tetsuo In
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-08-09
Filing date: 2005-07-12
Publication date: 2006-02-16
Anticipated expiration: 2007-02-09
Also published as: JPWO2006016461A1; US20110122292A1; US20080095449A1; JP4636024B2; EP1784006A1; EP1784006A4

Abstract

　複数のキーワードと、キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、撮像部による撮像と並行して、撮像により得られた動画像のうち、複数フレームの画像に対して、キーワードごとの検出方法に基づいて被写体の検出を行う検出部と、検出部による検出結果に応じて、検出された被写体に対応するキーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、撮像部により生成された動画像と、画像情報作成部により作成された画像情報とを関連づけて記録する画像記録部とを備えることで、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供する。

Description

明細書

撮像装置

技術分野

[0001] 本発明は、複数の画像から構成された動画撮影機能を有する撮像装置に関する。

背景技術

[0002] 近年、記録媒体の記録容量が増大し、一般家庭にお!、てもディジタルィ匕された動画像を扱う環境が整ってきている。動画像の中から所望のシーンを探すために、動画像を構成する画像ごとにキーワードを付与し、このキーワードを基に所望のシーンを検索して表示する技術が知られている (例えば、特許文献 1,特許文献 2参照)。特許文献 1に記載の発明では、ユーザ操作に基づいて、動画像の各シーンに少なくとも 1つのキーワードを生成して付与し、動画像とともに記憶装置に記憶する動画像処理装置が開示されている。

[0003] また、特許文献 2に記載の発明では、ユーザ操作に基づいて、ある被写体が存在する画像を 1枚指定すると、動画像中の同一の被写体が現れている部分区間を探し出して共通のキーワードおよび関連情報を自動的に付与する技術が開示されている特許文献 1：特開平 6 - 309381号公報

特許文献 2：特開平 5 - 204990号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、特許文献 1に開示された動画処理装置においては、ユーザは、動画像を再生させた上で、画像 1枚ずつに対して逐一キーワードを入力しなければならない。したがって、特に長時間にわたる動画像の場合には、キーワードの入力に多大の時間を要するという問題があった。

また、特許文献 2に開示された技術においては、ユーザは、被写体が存在する画像を 1枚指定すれば良いが、この 1枚の画像は、一連の動画像の中の 1枚である。したがって、ユーザは、この 1枚の画像を指定するために、動画像を再生させた上で、所望の部分が再生されるまで待たなければならないという問題があった。また、指定する画像は 1枚であっても、複数種類のキーワードを付与するためには、各キーヮードごとに被写体が存在する画像を 1枚指定しなければならな、ので、付与するキーヮードの種類数に比例して、さらに多大な時間を要する。

[0005] さらに、撮像装置にこれらの動画像処理装置を適用する場合には、撮像により生成された動画像を再生させ、前述したキーワードの指定などを行うことになる。したがつて、このような動作を行っている間は、撮影を行うことができない。さらに、撮像装置が備える表示装置 (液晶モニタなど）は、サイズが小さぐ細部にわたる画像の確認が困難である場合もある。

[0006] 本発明は、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供することを目的とする。

課題を解決するための手段

[0007] 本発明の撮像装置は、複数のキーワードと、前記キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、前記撮像部による撮像と並行して、撮像により得られた前記動画像のうち、複数フレームの画像に対して、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行う検出部と、前記検出部による検出結果に応じて、検出された前記被写体に対応する前記キーワードと、そのキーワードに対応する前記被写体が前記被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、前記撮像部により生成された前記動画像と、前記画像情報作成部により作成された前記画像情報とを関連づけて記録する画像記録部とを備える。

[0008] なお、好ましくは、前記画像情報作成部は、前記時間を示す情報として、前記検出部により検出された前記被写体ごとに、その被写体が前記被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成するようにしても良い。

また、好ましくは、前記画像情報作成部は、前記画像情報として、前記検出部により前記被写体の検出を行った前記複数フレームの画像のそれぞれについて、そのフレームの画像において前記検出部により検出された前記被写体に対応する前記キ一ワードを含む情報を作成するようにしても良、。

[0009] また、好ましくは、前記撮像部は、撮像により得られた画像を一時記録する一時記録部を備え、前記検出部は、前記一時記録部に対する画像の書き込みに並行して、前記被写体の検出、および前記画像情報の生成を行うようにしても良い。

また、好ましくは、前記記憶部に予め記憶された前記複数のキーワードのうち、前記検出部による検出の対象となる前記キーワードを指定するキーワード指定部を備え、前記検出部は、前記キーワード指定部により指定された前記キーワードについてのみ、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行うようにしても良い。

[0010] また、好ましくは、予め定められた複数種類の撮影シーンごとに撮影条件を対応付けて記録する撮影シーン記録部と、前記複数種類の撮影シーンのうち、 1つの撮影シーンを選択する選択部とをさらに備え、前記撮像部は、前記選択部により選択された前記 1つの撮影シーンに対応付けられた前記撮影条件にしたがって前記動画像を生成し、前記キーワード指定部は、前記選択部により選択された前記 1つの撮影シーンに基づいて、前記検出部による検出の対象となる前記キーワードを指定するようにしても良い。

[0011] また、好ましくは、前記画像情報作成部により作成された前記画像情報に基づいて

、前記キーワード指定部により指定された前記キーワードごとの動画像を生成するキ一ワード別動画像生成部を備え、前記画像記録部は、前記撮像部により生成された前記動画像に加えて、前記キーワード別動画像生成部により生成された前記キーヮードごとの動画像を記録するようにしても良!、。

[0012] また、好ましくは、前記記録部は、前記撮像部により生成された前記複数フレームの画像のうち、前記キーワード指定部により指定された前記キーワードに対応する前記被写体が前記検出部により検出されたフレームの画像を除いた動画像と、前記画像情報とを関連づけて記録するようにしても良、。

また、好ましくは、前記記憶部に、前記キーワードと、そのキーワードに対応する前記被写体を検出する検出方法とを新規登録する登録モードを有し、前記登録モードにおいて、新規登録するキーワードを入力するキーワード入力部と、前記キーワード入力部により入力された前記キーワードに対応する被写体を、前記撮像部により得られた画像に基づいて指定する指定部と、前記指定部により指定された前記被写体の特徴量を抽出し、その特徴量に基づいて前記被写体を検出する検出方法を設定する設定部と、前記キーワード入力部により入力された前記キーワードと、前記設定部により設定された前記検出方法とを前記記憶部に記憶させる制御部とを備えるようにしても良い。

発明の効果

[0013] 本発明によれば、動画撮影の際に、迅速かつ手軽にメタデータを作成可能な撮像装置を提供することができる。

図面の簡単な説明

[0014] [図 1]電子カメラ 1の機能ブロック図である。

[図 2]画像認識に関するフローチャートである。

[図 3]メタデータの作成に関するフローチャートである。

[図 4]メタデータの例について説明する図である。

[図 5]メタデータの例について説明する図である。

[図 6]メタデータの例について説明する図である。

[図 7]メタデータの例について説明する図である。

発明を実施するための最良の形態

[0015] <第 1実施形態 >

以下、図面に基づいて、本発明の第 1実施形態について詳細に説明する。なお、第 1実施形態では、本発明の撮像装置の一例として、動画撮影機能を有する電子カメラを例に挙げて説明を行う。

図 1は電子カメラ 1の機能ブロック図である。

[0016] 電子カメラ 1は、図 1に示すようにズームレンズである撮影光学系 2、 CCD (Charge

Coupled Device)などの光電変換素子である撮像素子 3、 A/D変換部（回路) 4 、画像判定部（回路) 5、一時記録部（回路) 6、画像処理部（回路) 7、圧縮部（回路） 8、画像記録部 9、 AE，AF判定部（回路） 10、 AE'AFユニット 11、画像認識部（回路） 12、メタデータ作成部（回路） 13を備えるとともに、各部を制御する制御部 14を備える。

[0017] 制御部 14は、ユーザにより動画像の撮影が指示されると撮影光学系 2を介して被写体像を撮像素子 3に結像する。撮像素子 3は、撮像面上に結像された被写体像を光電変換して、アナログデータを出力する。 AZD変換部 4は、撮像素子 3より出力されるアナログデータをディジタルデータに変換して、画像判定部 5に出力するとともに、一時記録部 6に一時記録する。画像判定部 5は、入力された画像データの明るさ情報やコントラスト情報などに基づき、露出状態や焦点調節状態を判定する。一時記録部 6は、ノッファメモリであり、 AZD変換部により入力されたデータを後述する画像処理部 7、画像認識部 12および制御部 14に出力する。画像処理部 7は、 γ処理や、後述する画像処理を行い、圧縮部 8に画像処理後の画像データを出力する。圧縮部 8は、画像処理後の画像データに対して所定の圧縮処理を行い、画像記録部 9は圧縮後の画像データを記録する。なお、 AE'AF判定部 10は、画像判定部 5において判定された露出状態や焦点調節状態に基づ、て、露出制御値や焦点調節制御値を決定し、 AE'AFユニット 11に供給するとともに、必要に応じて、被写体までの距離情報や撮影画面内の輝度情報などを画像認識部 12に出力する。 AE · AFユニット 1 1は、露出制御値や焦点調節制御値に基づいて、撮影光学系 2や撮像素子 3を制御する。

[0018] また、画像認識部 12は、画像処理部 7における画像処理の条件を決定して、画像処理部 7に供給する。画像処理部 7は、画像認識部 12の出力（例えば、撮影画面中の「青空」の領域を特定する条件 (例えば、青空と見なせる色相範囲、輝度範囲、撮影画面内の青色領域の位置等)）に基づいて、特定被写体 (例えば「青空」）の領域を特定し、特定された領域について、より適切な色となるように（例えば、青空らしい色となるように）、必要に応じて画像処理 (色変換)を施す。

[0019] また、画像認識部 12は、複数のキーワードごとに、そのキーワードに対応する被写体を検出する検出方法を、予め記憶しており、必要に応じて、前述した AE'AF判定部 10から取得した被写体までの距離情報や撮影画面内の輝度情報などを加味して、画像データの特徴量に基づいた画像認識を行う。また、メタデータ作成部 13は、画像認識部 12が記憶しているものと同様の複数のキーワードを予め記憶している。そして、画像認識部 12による認識結果に応じて、本発明の特徴であるメタデータの作成を行ヽ、作成したメタデータを画像記録部 9に供給する。

[0020] また、電子カメラ 1は、各部を制御する制御部 14を備える。制御部 14は、内部の不図示のメモリに各動作プログラムを予め記録し、この動作プログラムにしたがって各部を制御する。また、制御部 14は、後述する表示部 15に対する画像データの出力を行うとともに、後述する操作部材 16の状態を検知する。なお、図 1においては、本発明の特徴部分についてのみ、制御部 14と各部の接続を示す矢印を図示した。

[0021] また、電子カメラ 1は、撮影中の画像の表示や後述するユーザ操作時のメニュー表示などを表示する表示部 15、ユーザ操作を受け付けるボタンなどの操作部材 16を備える。

なお、電子カメラ 1は、動画像撮影機能を有する撮像装置であり、ユーザ操作に応じて、複数の画像から構成される動画像を生成する。

以上説明した構成の電子カメラ 1において、本発明の特徴である動画像撮影時の動作について説明する。

[0022] ユーザにより操作部 16を介して動画像の撮影が指示されると制御部 14はこれを検知し、撮影光学系 2、撮像素子 3を制御して動画像の撮影を開始する。動画像の撮影は、所定の時間間隔で繰り返し撮像を行うことにより実現する。そして、制御部 14 は、撮像と並行して、撮像により得られた画像に対して、画像認識部 12において画像認識を行う。具体的には、制御部 14は、画像認識部 12を介して、 AZD変換部 4 力も一時記録部 6への画像の書き込みと並行して、 1フレーム前 (またはさらに前）の画像に対する画像認識を行う。さらに、画像認識結果に応じて、メタデータ作成部 13 において、メタデータの作成を行う。

[0023] まず、画像認識について、図 2のフローチャートを用いて説明する。なお、ここでは、画像認識部 12は、複数のキーワードとして「人」および「青空」を記憶し、キーワードに対応する被写体を検出する検出方法 (具体的には、「顔部分」および「青空部分」を認識する方法)をそれぞれ記憶していて、かつ、メタデータ作成部 13は、複数のキ一ワードとして「人」および「青空」を記憶して、る例を説明する。

[0024] ステップ S1におヽて、制御部 14は、画像認識部 12を介して、顔部分を認識したか否かを判定する。なお、画像認識部 12は、前述した画像処理部 7における画像処理の条件の決定の際に得た情報に基づいて顔部分の認識を行う。

画像認識部 12は、顔部分を認識するために、肌色として認識できる色相範囲を設定して、認識を行う。この際、同じ肌色として認識される領域でも、顔、手、足であることが考えられる。したがって、顔部分を認識する場合には、肌色領域の輪郭や隣接領域に髪の毛の色が存在する領域を顔部分と判断するなどの手法によって、手や足の肌色領域を除外することができる。また、この際 AE'AF判定部 10から入力される撮影距離情報をもとに、顔と見なせる肌色領域の大きさの下限値や上限値を設定するようにしても良い。

[0025] 顔部分を認識した場合、ステップ S2におヽて、制御部 14は、画像認識部 12を介して、「人」を被写体として認識し、認識した被写体に対応するキーワード（「人」）をメタデータ作成部 13に出力する。

ステップ S1において、顔部分を認識しな力つた場合、もしくは、認識した被写体に対応するキーワード（「人」）をメタデータ作成部 13に出力すると、ステップ S3におヽて制御部 14は、画像認識部 12を介して、青空部分を認識したか否かを判定する。なお、画像認識部 12は、前述した画像処理部 7における画像処理の条件の決定の際に得た情報に基づ、て青色部分の認識を行う。

[0026] さらに、画像認識部 12は、青色部分を認識し、その青色部分が画像上部に存在するカゝ否かを判定する。

画像認識部 12は、予め定められた色相範囲に基づ、て認識した青色部分に対して、画像の垂直方向における微分処理を行い、画像の水平方向にエッジが存在する場合には、このエッジより上方の領域を青空の領域と判定する。このような処理を行うことで、青空と海とを被写体とする画像に対しても、水平線を抽出することが可能であり、結果として青空の領域を正確に把握することができる。そして、画像認識部 12は、青空の領域を示す情報を画像処理条件として画像処理部 7に出力する。

[0027] 青空部分を認識した場合、ステップ S4におヽて、制御部 14は、画像認識部 12を介して、「青空」を被写体として認識し、認識した被写体に対応するキーワード（「青空」）をメタデータ作成部 13に出力する。そして、制御部 14は、画像認識部 12を介した画像認識処理を終了する。

次に、メタデータの作成について、図 3のフローチャートを用いて説明する。なお、メタデータとは、「データに関するデータ」のことであり、被写体に対応するキーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報である。

[0028] まず、ステップ S10において、制御部 14は、メタデータ作成部 13を介して、画像認識部 12から出力されたキーワードがあるか否かを判定する。そして、キーワードがある場合、ステップ S 11において、制御部 14は、メタデータ作成部 13を介して、そのキ一ワードに対応する被写体が、時間的に 1つ前の画像でも認識された被写体であるか否かを判定する。キーワードに対応する被写体が、 1つ前の画像でも認識された被写体でな!、場合（1つ前の画像では認識されず、今回の画像で認識された被写体である場合）、ステップ S12において、制御部 14は、メタデータ作成部 13を介して、被写体に対応するキーワードを読み出し、キーワードのデータに、開始時刻を示す情報を付与する。なお、制御部 14は、ステップ S11およびステップ S12の処理を、画像認識部 12にお、て認識されたすベての被写体に対して行う。

[0029] そして、ステップ S 13において、制御部 14は、メタデータ作成部 13を介して、消失した被写体がある力否かを判定する。すなわち、時間的に 1つ前の画像では認識され、今回の画像では認識されなカゝつた被写体が存在する場合、ステップ S14において、制御部 14は、メタデータ作成部 13を介して、消失した被写体に対応するキーヮードのデータに、終了時刻を示す情報を付与する。なお、メタデータ作成部 13は、消失した被写体がある力否かの判定を、 1つ前の画像について画像認識部 12が認識したすベての被写体に対して行う。そして、制御部 14は、作成したメタデータをメタデータ作成部 13から画像記録部 9に出力して、メタデータの作成処理を終了する。

[0030] 図 4を用いて作成されるメタデータの例について説明する。図 4では、画像認識部 1 2は、複数のキーワードとして「人」、「X人（人数）」および「ボール」を記憶し、キーヮードに対応する被写体をする検出方法 (具体的には、「顔部分」、「顔部分の数」、「円形部分」を認識する方法)をそれぞれ記憶していて、かつ、メタデータ作成部 13は、キーワードとして「人」、「X人 (人数)」および「ボール」を記憶して、る場合の例を示す [0031] 横軸は撮影時刻を示し、各画像と、その画像にぉ、て認識された被写体に対応するキーワードを示す。

時間 TOより撮影を開始し、時間 T1において被写界内に 1人現れたとする。ここで、画像認識部 12は「顔部分」を「1つ」認識し、メタデータ作成部 13は、「人」というキーワードと「1人」というキーワードを作成し、開始時刻を T1とする。

[0032] 時間 T2になったときにもう 1人被写界内に現れ、同時にボールが現れたとする。ここで画像認識部 12は、「顔部分」を「2つ」と「円形部分」とを認識し、メタデータ作成部 13は、「人」、「2人」、「ボール」というキーワードを作成するとともに、「2人」および「ボール」については開始時刻を T2とし、「1人」というキーワードについては終了時刻を T2とする。

[0033] 時間 T3となったときにさらにもう 1人被写界内に現れたとする。ここで画像認識部 1 2は、「顔部分」を「3つ」と「円形部分」とを認識し、メタデータ作成部 13は、「人」、「3 人」、「ボール」というキーワードを作成するとともに、「3人」については開始時刻を T3 とし、「2人」と、うキーワードにつ、ては終了時刻を T3とする。

時間 T4となったときに 1人が被写界内から消えたとする。ここで画像認識部 12は、「顔部分」を「2つ」と「円形部分」とを認識し、メタデータ作成部 13は、「人」、「2人」、「ボール」というキーワードを作成するとともに、「2人」については開始時刻を T4とし、「 3人」と、うキーワードにつ、ては終了時刻を T4とする。

[0034] 時間 T5となったときにボールと 2人が被写界内から消えたとする。ここで画像認識部 12は、「顔部分」を「1つ」認識し、メタデータ作成部 13は、「人」、「1人」というキーワードを作成するとともに、「1人」については開始時刻を T5とし、「2人」および「ボール」というキーワードについては終了時刻を T5とする。その後時間 T6で撮影を終了したとする。

[0035] 以上説明した処理により、メタデータ作成部 13は、図 5に示すように、検出された被写体ごとに、その被写体が被写界に存在した時間の開始時刻と終了時刻とを含むメタデータを作成する。

上記したようにメタデータ作成部 13を介してメタデータの作成を終了すると、制御部 14は、メタデータ作成部 13から供給されたメタデータを圧縮部 8から供給された画像と関連づけて、画像記録部 9に記録する。

[0036] このように、電子カメラ 1は、動画像の撮像と並行して、図 2のフローチャートを用いて説明した画像認識および図 3のフローチャートを用いて説明したメタデータの作成を行う。

以上説明したように、第 1実施形態によれば、複数のキーワードと、キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶しておき、動画像を生成する際に、撮像動作、および一時記録部 6への書き込み動作と並行して、撮像により得られた動画像のうち、複数フレームの画像に対して、被写体の検出を行い、検出結果に応じて、キーワードと、そのキーワードに対応する被写体が被写界に存在した時間を示す情報とを含む画像情報を作成して動画像と関連づけて記録する。したがって、撮影後の動画像の再生およびユーザ操作に基づく指定などを必要としないで、動画撮影の際に、迅速かつ手軽にメタデータを作成することができる。すなわち、動画像の撮影終了と略同時にメタデータの作成が終了するので、動画像の再生の手間や、キーワード付与のための画像の転送などの手間をなくすことができる。

[0037] また、第 1実施形態によれば、時間を示す情報として、検出された被写体ごとに、その被写体が被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成する。したがって、あるキーワードに対応する被写体が被写界に存在した時間を分力り易く示すことができる。

また、第 1実施形態によれば、撮像により得られた画像の一時記録部 6に対する書き込みに並行して、被写体の検出を行う。したがって、処理時間の短縮が期待できる

[0038] <第 2実施形態 >

以下、図面に基づいて、本発明の第 2実施形態について詳細に説明する。なお、第 2実施形態では、本発明の撮像装置の一例として、第 1実施形態と同様に

、動画撮影機能を有する電子カメラを例に挙げて説明を行う。以下では、第 1実施形態と異なる部分についてのみ説明を行う。 [0039] 第 2実施形態の電子カメラは、第 1実施形態の電子カメラ 1と同様の構成を有する。以下では、第 1実施形態と同様の符号を用いて説明する。

第 2実施形態では、画像認識部 12は、複数のキーワードとして「人物 A」、「人物 B」、「人物 C」および「ボール」を記憶し、キーワードに対応する被写体を検出する検出方法をそれぞれ記憶していて、かつ、メタデータ作成部 13は、複数のキーワードとして「人物 A」、「人物 B」、「人物 C」および「ボール」を記憶している例を説明する。なお、検出方法としては、「人物 A」については、顔輪郭が丸型、かつ、短径 Z長径 =0. 8であり、髪色が肌色 (スキンヘッド)で、目間隔 Z短径 =0. 6という特徴量を記憶する。また、「人物 B」については、顔輪郭がベース型、かつ、短径/長径 =0. 5であり、髪色が茶色で、目間隔 Z短径 =0. 5という特徴量を記憶する。また、「人物 C」については、顔輪郭が楕円、かつ、短径 Z長径 =0. 6であり、髪色が黒色で、目間隔 Z 短径 =0. 5という特徴量を記憶する。また、「ボール」については、輪郭が円形であり、色が白と黒とを同時に含むという特徴量を記憶する。

[0040] そして、制御部 14は、図 2で示したフローチャートと同様の処理を行って、「人物 A」、「人物 B」、「人物 C」および「ボール」を認識する。そして、図 3で示したフローチヤ一トの処理に代えて、各フレームの画像ごとにメタデータを作成する。例えば、図 6に示すように、フレーム番号 1〜7の画像についてメタデータを作成する場合、図 7に示すように、フレームごとに、そのフレームの画像が撮影された時刻と、その画像において「人物 A」、「人物 B」、「人物 C」および「ボール」を認識した際の認識結果を示す情報 (図 6および図 7では「〇」および「 X」）を含むメタデータを作成する。

[0041] そして、制御部 14は、圧縮部 8から画像記録部 9への画像の記録と独立に、メタデータ作成部 13から画像記録部 9へのメタデータの記録を行う。メタデータの作成には、画像認識部 12による画像認識に時間を要するため、画像処理部 7による画像処理および圧縮部 8による圧縮処理に要する時間よりも時間を要する場合がある。そこで、制御部 14は、メタデータ作成部 13によるメタデータの作成終了を待たずに、圧縮部 8から画像記録部 9への画像の記録を開始し、メタデータの作成が終了すると、既に記録した (または記録中の）画像に関連づけてメタデータの記録を行う。なお、メタデータの作成および記録が終了した際には、表示部 15などを用いて、メタデータの作成および記録が終了したことをユーザに報知するようにすると良い。

[0042] 以上説明したように、第 2実施形態によれば、画像情報として、被写体の検出を行つた複数フレームの画像のそれぞれについて、そのフレームの画像において検出された被写体に対応するキーワードを含む情報を作成する。したがって、あるキーヮードに対応する被写体が被写界に存在した時間を分力り易く示すことができる。

なお、第 1実施形態および第 2実施形態では、動画像の圧縮形式について特に説明しなかったが、動画像は MPEG、モーション JPEG、JPEG2000など、どのような形式で圧縮されるものであっても良い。勿論、高画質化のために非圧縮で記録するものであっても構わない。また、本発明の特徴である被写体の検出および画像情報の作成は、動画像を構成するすべての画像に対して行わなくても良い。例えば、 MPE Gにお、て、基準画像である Iピクチャのみに対して被写体の検出および画像情報の作成を行うようにしても良いし、適当な時間間隔で間引いて被写体の検出および画像情報の作成を行うようにしても良、。

[0043] また、第 1実施形態および第 2実施形態では、画像と画像情報とを関連づけて記録することを説明したが、画像と画像情報とが関連づけ付けられていれば、別ファイルとして記録しても同じファイルとして記録しても良い。すなわち、タグ情報、ヘッダ情報など、どのような形式であっても良い。

また、第 1実施形態および第 2実施形態で説明した被写体の検出方法以外に、他の要素をカ卩えたり組み合わせたりするようにしても良い。例えば、被写体が人物の場合に、特徴量として肌の色の色度値、目の間隔と目と鼻（口）の間隔との比などを利用するようにしても良い。また、画像データとして、輪郭データなどを利用し、パターンマッチングを行う構成としても良、。

[0044] また、第 1実施形態および第 2実施形態において、電子カメラ 1が、撮影条件が対応付けられた、わゆるシーンモードを備えて、る場合、選択された撮影シーンに応じてキーワードを指定しても良い。このように、撮影シーンに対応付けられた撮影条件に基づいて、キーワードを指定し、そのキーワードについてのみ、被写体の検出を行うことにより、例えば、「ポートレート」モードにて撮影している場合、キーワードとして「人」を指定し、「青空」を除外することで、被写界内に青空と認識してしまうような青い壁の部分が存在してヽても「青空」を誤認識してしまうのを回避することができる。また、たとえ実際に青空が写っていた場合でもユーザは、「人」の撮影を意図しているので、後の検索時に「人」を意図して撮影された画像が「青空」の検索で検索されることがなくなり、検索時の精度の向上も期待することができるとともに、各画像に対するメタデータの付与処理時間が短縮化される。

[0045] また、第 1実施形態および第 2実施形態では、予め定められた複数のキーワードのすべてについて、画像認識を行う例を示したが、キーワードを指定して各処理を行うようにしても良い。例えば、焦点調節の条件に応じてキーワードを指定する（例えば、電子カメラ 1と合焦被写体との間の撮影距離が短い場合には、「人」をキーワードとして指定して、背景である「青空」、「山」などのキーワードは除外し、逆に撮影距離が長い場合には、「人」を除外して、「青空」、「山」などのキーワードを指定する）ようにしても良いし、操作部材 16を介して、ユーザが操作を行って、表示部 15上で直接キーヮードを指定するようにしても良い。このように、複数のキーワードのうち、検出の対象となるキーワードを指定し、そのキーワードについてのみ、被写体の検出を行うことにより、予め必要のないキーワードにおける処理を制限することができる。そのため、誤認識により間違った (不用な)キーワードのメタデータが作成されるのを回避することができる。なお、キーワードを指定する際には、 1つのキーワードを指定するだけでなく、複数のキーワードを指定可能な構成にするのが好ましい。複数のキーワードを指定する場合には、論理式を用いて指定可能にすると良い。例えば、以下の論理式により、「キーワード Aの被写体は存在せず、かつ、キーワード Bの被写体は存在する」という指定が可能である。

[0046] [数 1]

[0047] また、第 1実施形態および第 2実施形態において、動画像の撮影が終了した際または、画像記録部 9に記録する際に、キーワードごとの動画像を生成して記録するようにしても良い。このように、作成した画像情報に基づいて、キーワード指定部により指定されたキーワードごとの動画像を生成して記録することにより、ユーザは、再生の際に、必要な部分の動画像のみを簡単に再生することができる。また、別に画像を生成しなくても、再生の際に、ユーザが指定されたキーワードをメタデータとして持っている画像のみを連続的に再生するようにしても良い。

[0048] また、第 1実施形態および第 2実施形態において、動画像の撮影が終了した際または、画像記録部 9に記録する際に、あるキーワードを除く動画像を生成して記録するようにしても良い。このように、作成した画像情報に基づいて、キーワード指定部により指定されたキーワードを除く動画像を生成して記録することにより、ユーザは、あるキーワードに対応する被写体を除外した動画像を得ることができる。

[0049] また、第 1実施形態および第 2実施形態で例を挙げたキーワード以外にどのようなキーワードを備えるようにしても良い。ここで、キーワードに対応する被写体の検出に、画質調整や画像処理などに使用している情報を流用することにより、負荷をかけずに様々なキーワードを備えることができる。

また、第 1実施形態および第 2実施形態において、動画像の撮影中に、表示部 15 にスルー画像を表示するとともに、既に撮像された画像のうち、指定されたキーワードに対応する被写体を含むフレームの画像を縮小して、スルー画像と同時に表示部 1 5に一覧表示するようにしても良い。例えば、図 6のフレーム 4〜フレーム 6に示すように、「人物 B」が連続して検出された場合には、フレーム 4〜フレーム 6からなるシーンの画像のうち、シーンの代表画像を高周波成分などに基づいて決定するようにしても良いし、シーンの最初または最後のフレームの画像を代表画像としても良い。また、一覧表示する代わりにシーンを構成する画像を重ね合わせて表示するようにしても良い。このような代表画像とすれば、 1つの画像によりシーン全体の画像について把握することができる。

[0050] また、画像記録部 9に記録した動画像の再生時にも、上述した動画像の撮影中と同様の表示を行うようにしても良い。また、画像記録部 9に記録した動画像に対して、復号化処理を施して、被写体の検出および画像情報の作成を行うようにしても良、。また、第 1実施形態および第 2実施形態において、キーワードと、そのキーワードに対応する被写体を検出する検出方法とを新規登録する登録モードを備えるようにしても良い。すなわち、登録モードにおいて、操作部材 16などを介して新規登録するキーワードを入力し、そのキーワードに対応する被写体を指定する。被写体の指定は、撮像により既に得られた画像に基づいて行うようにしても良いし、検出方法 (特徴量 )を具体的に指定するようにしても良い。なお、撮像により既に得られた画像に基づいて指定する場合には、画像から被写体の特徴量を抽出し、その特徴量に基づいて検出方法を決めるようにしても良いし、画像そのものを利用してパターンマッチングにより検出を行うようにしても良い。いずれの場合も、入力されたキーワードと、検出方法（または、ノターンマッチング用の画像）とを画像認識部 12に記憶させることにより、以降の撮像時にキーワード検出の対象とすることができる。また、キーワードと被写体の検出方法とを持つ外部データベースから、通信'記録媒体を介して入力するようにしても良い。

[0051] また、第 1実施形態および第 2実施形態において、撮像装置が行った動作を、コンピュータで実現するようにしても良い。すなわち、撮像装置によって生成された動画像をコンピュータに取り込み、取り込んだ画像に対して、第 1実施形態および第 2実施形態で説明した被写体の検出および画像情報の作成などの処理を行うようにしても良い。また、画像の取り込みを行いながら、被写体の検出および画像情報の作成を行うようにしても良い。

[0052] また、第 1実施形態および第 2実施形態で説明した発明を、適宜入れ替えまたは組み合わせて実行するようにしても良!、。

Claims

請求の範囲

[1] 複数のキーワードと、前記キーワードごとに、そのキーワードに対応する被写体を検出する検出方法とを予め記憶する記憶部と、

被写界を繰り返し撮像して、複数フレームの画像から構成される動画像を生成する撮像部と、

前記撮像部による撮像と並行して、撮像により得られた前記動画像のうち、複数フレームの画像に対して、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行う検出部と、

前記検出部による検出結果に応じて、検出された前記被写体に対応する前記キーワードと、そのキーワードに対応する前記被写体が前記被写界に存在した時間を示す情報とを含む画像情報を作成する画像情報作成部と、

前記撮像部により生成された前記動画像と、前記画像情報作成部により作成された前記画像情報とを関連づけて記録する画像記録部と

を備えたことを特徴とする撮像装置。

[2] 請求項 1に記載の撮像装置にぉ、て、

前記画像情報作成部は、前記時間を示す情報として、前記検出部により検出された前記被写体ごとに、その被写体が前記被写界に存在した時間の開始時刻と終了時刻とを含む情報を作成する

ことを特徴とする撮像装置。

[3] 請求項 1に記載の撮像装置にぉ、て、

前記画像情報作成部は、前記画像情報として、前記検出部により前記被写体の検出を行った前記複数フレームの画像のそれぞれにつ、て、そのフレームの画像において前記検出部により検出された前記被写体に対応する前記キーワードを含む情報を作成する

ことを特徴とする撮像装置。

[4] 請求項 1に記載の撮像装置にぉ、て、

前記撮像部は、撮像により得られた画像を一時記録する一時記録部を備え、前記検出部は、前記一時記録部に対する画像の書き込みに並行して、前記被写体の検出、および前記画像情報の生成を行う

ことを特徴とする撮像装置。

[5] 請求項 1に記載の撮像装置にぉ、て、

前記記憶部に予め記憶された前記複数のキーワードのうち、前記検出部による検出の対象となる前記キーワードを指定するキーワード指定部を備え、

前記検出部は、前記キーワード指定部により指定された前記キーワードについてのみ、前記キーワードごとの前記検出方法に基づいて前記被写体の検出を行うことを特徴とする撮像装置。

[6] 請求項 5に記載の撮像装置において、

予め定められた複数種類の撮影シーンごとに撮影条件を対応付けて記録する撮影シーン記録部と、

前記複数種類の撮影シーンのうち、 1つの撮影シーンを選択する選択部とをさらに備え、

前記撮像部は、前記選択部により選択された前記 1つの撮影シーンに対応付けられた前記撮影条件にしたがって前記動画像を生成し、

前記キーワード指定部は、前記選択部により選択された前記 1つの撮影シーンに基づいて、前記検出部による検出の対象となる前記キーワードを指定する

ことを特徴とする撮像装置。

[7] 請求項 5または請求項 6に記載の撮像装置にぉ、て、

前記画像情報作成部により作成された前記画像情報に基づいて、前記キーワード指定部により指定された前記キーワードごとの動画像を生成するキーワード別動画像生成部を備え、

前記画像記録部は、前記撮像部により生成された前記動画像に加えて、前記キーワード別動画像生成部により生成された前記キーワードごとの動画像を記録することを特徴とする撮像装置。

[8] 請求項 5または請求項 6に記載の撮像装置にぉ、て、

前記記録部は、前記撮像部により生成された前記複数フレームの画像のうち、前記キーワード指定部により指定された前記キーワードに対応する前記被写体が前記検出部により検出されたフレームの画像を除いた動画像と、前記画像情報とを関連づけて記録する

ことを特徴とする撮像装置。

請求項 1に記載の撮像装置にぉ、て、

前記記憶部に、前記キーワードと、そのキーワードに対応する前記被写体を検出する検出方法とを新規登録する登録モードを有し、

前記登録モードにぉ、て、新規登録するキーワードを入力するキーワード入力部と前記キーワード入力部により入力された前記キーワードに対応する被写体を、前記撮像部により得られた画像に基づいて指定する指定部と、

前記指定部により指定された前記被写体の特徴量を抽出し、その特徴量に基づいて前記被写体を検出する検出方法を設定する設定部と、

前記キーワード入力部により入力された前記キーワードと、前記設定部により設定された前記検出方法とを前記記憶部に記憶させる制御部と

を備えたことを特徴とする撮像装置。