JPH05204990A - 動画像情報のキーワード付与方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、動画像におけるキーワード付与に係
る登録者の作業負担を軽減することにある。 【構成】キーワードを付与する対象物を指定して、対象
物が現れているフレームを動画像中から全て探し出し
（１０２）、そのようなフレームが連続している区間を
選び出して（１０４〜１２２）、それらの部分区間全て
に対して、共通のキーワード及び関連情報を一斉に付与
し、また、場面にキーワードを付与するときには、場面
に現れる対象物のキーワード及び関連情報を表示する
（１３２）。 【効果】本発明により、対象物が現れている区間を特定
する作業から人手を大幅に省くことができ、対象物への
キーワード付与が容易になる。また、場面にキーワード
や関連情報を付与するときに、対象物に関する情報を逐
一探す必要がなくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像中の対象物に対
するキーワード付与方法に係り、例えば、動画像データ
ベースにおいて検索者が希望する任意の部分動画像区間
を検索するのに好適なキーワードを付与する方法に関す
る。

【０００２】

【従来の技術】大量の動画像情報の中から任意の場面
（内容上あるいは映像的にひとかたまりとして扱うべき
動画像区間）に関する情報を選択的に呼び出すことがで
きる動画像データベースにおいては、新規の動画像を当
該データベースに登録する場合、登録者が、当該動画像
中の各場面に対して予めキーワードを付与している。

【０００３】キーワードには、例えば、「雨」や「雪」
等の場面の情景を描写したものや、「車」や「少女」等
の場面中に登場する対象物に関するものなどがある。キ
ーワードは、データベースに登録され、利用者がキーワ
ードをキーボード等によって入力するか、キーワードの
一覧表、すなわち、索引の中から選択するかによって、
そのキーワードを付与された場面が呼び出されるように
なっている。

【０００４】また、各場面について、その区間の動画像
を構成するフレームの一枚を選び、こうしたフレームの
一覧を索引として用いて、対応する希望の場面を探すと
いった、画像をキーワードのように用いる方法もある
（例えば、「Automatic VideoIndexing and Full-Video
Search for Object Appearances」 IFIP WG 2．6 2ndW
orking Conference on Visual Database Systems(199
1)．以下、文献１）。

【０００５】

【発明が解決しようとする課題】かかる従来の方法にお
いては、次のような問題点がある。

【０００６】キーワードを付与するためには、登録しよ
うとする動画像を登録者が始めから順に見て、その場面
ごとに逐一情景を理解して適当な記述を与えなくてはな
らない。これは人間にとって非常に煩わしい作業である
にもかかわらず、高度な場面理解能力が必要なために現
状では人手に頼らざるを得ない。

【０００７】動画像中の対象物に関してキーワードを付
与する場合については、動画像から当該対象物の現れて
いる部分区間を抽出する処理が必要になる。対象物の現
れているフレームを探す方法であれば、公知の文献１の
対象物検索手法（検索する対象物について、参照用の画
像を１枚指定することにより、当該対象物を含む動画像
中の全てのフレームを探し出す検索方法）により自動的
に行えるが、この方法では対象物が現れてから去るまで
の一連の区間を特定することまではできない。

【０００８】場面ごとの代表フレーム画面をキーワード
のように用いる方法では、キーワードとしてフレームを
単にサンプリングするだけでよく、人手によらない処理
が容易であるが、文字のようにキーワードそのものを入
力することができないために、データベース利用者は必
ず一覧表からキーワードを探さなければならず、キーワ
ードの登録数が増えるに従い、検索が非常に困難にな
る。

【０００９】このように従来の方法では、キーワード登
録時の人手を省こうとすれば利用者にとって不便にな
り、検索時の利便性を重視すれば登録時に人手がかかる
という課題があった。

【００１０】本発明の目的は、動画像に対するキーワー
ド付与にあたって、登録者の作業負担を軽減しながら、
なおかつ、データベース利用者にとって利用しやすいキ
ーワードを付与できる機構を実現することにある。

【００１１】

【課題を解決するための手段】本発明は、動画像中の任
意の対象物に対してキーワードを付与する場合におい
て、対象物検索方法を適用し、当該動画像のフレームの
全てについて対象物が現れているか否かを調べ、現れて
いると判定されたフレームが連続している区間を抽出
し、抽出された全ての区間に対して、共通のキーワード
及び対象物に関連する情報等を一斉に付与するものであ
る。また、キーワードを付与しようとする動画像の一場
面について、既にキーワードを付与してある対象物が当
該場面に存在していれば、該当する対象物のキーワード
を当該場面のキーワードとして使えるようにし、さらに
当該対象物のキーワードや関連情報をそれぞれ登録者に
提供するものである。

【００１２】

【作用】登録者が対象物の画像の一枚を指定するだけ
で、動画像中の該当対象物が現れている部分区間を機械
が自動的に探し出し、対象物の現れているほとんどの部
分区間について一斉に共通のキーワード及び関連情報を
付与するので、同じ対象物について動画像中における存
在区間を一つずつ探してキーワードを逐一付与する必要
がなくなる。また、場面へのキーワード付与にあたっ
て、場面中の対象物のキーワードについては自動的に付
与され、さらに対象物に関する情報が提示されるので、
登録者が対象物の名前や関連情報を覚えていなくても、
新たなキーワードを考える際に対象物情報の引用が容易
に行える。

【００１３】

【実施例】以下、本発明の１実施例を詳細に説明する。

【００１４】図１は、動画像情報にキーワードを付与す
る処理に、本発明を適用した場合の処理手順の１実施例
を示すフローチャートであり、図２は、本発明を実現す
るためのシステム構成の概略ブロック図である。また、
図３は、図２のディスプレイにおける具体的な表示例を
示したものである。

【００１５】図２及び図３において、２０はＣＲＴ等の
ディスプレイであり、コンピュータ２３の出力画面を表
示する。２１の動画像再生装置は、光ディスクやビデオ
デッキ等である。動画像再生装置から出力される映像信
号は、逐次、２２のＡ／Ｄ変換器によってデジタル画像
データに変換され、コンピュータに送られる。送られた
画像は、ディスプレイ表示画面中の動画像表示ウインド
ウ２７の部分領域２８に合成される。表示される動画像
の各フレームには、動画像の先頭から順に番号（フレー
ム番号）が付けられている。３１は文字入力ウインドウ
であり、キーワードを入力することにより、そのキーワ
ードに対応する部分動画像区間の開始フレーム番号と終
了フレーム番号とを２４の関連情報記憶装置から呼び出
し、これらのフレーム番号を制御線２６によって動画像
再生装置に送ることで、当該場面の動画像が再生され
る。このとき、必要に応じてディスクやテープの入れ替
えを行う。３２は、キーワードの一覧、すなわち索引を
表示するウインドウであり、キーワードを一覧の中から
選ぶことで、対応する場面の動画像が再生される。２９
はボタン領域であり、指示カーソルを当該領域まで移動
してポイントすることで、動画像再生装置に対し、ボタ
ン領域の各領域に対応する制御（再生・巻き戻し等）を
行う。

【００１６】以下に、動画像情報にキーワードを付与す
る手順について、図１のフローチャートに基づいて説明
する。

【００１７】処理１００において、登録者は、動画像再
生装置を使って動画像を再生しながら、キーワードを付
与する対象物が動画像表示領域２８に現れるのを待ち、
現れた時点で動画像再生装置を静止画表示状態にする。
対象物が現れている区間が過ぎてしまった場合には、巻
き戻し制御を行い、対象物が現れているフレームで静止
画表示するようにする。そして、静止画表示されたフレ
ームにおける対象物の画像領域を囲む領域を、指示カー
ソル等を用いて指定し、当該領域の画像を切り出す。

【００１８】処理１０２では、対象物が現れている全て
のフレームを動画像中から選び出す。具体的には、処理
１００で得られた領域画像を参照画像に用い、先述の文
献１の対象物検索手法を登録しようとする動画像に適用
する等の処理を行う。図４に、対象物検索を行った直後
の当該動画像のフレーム列の例を示す。４０のように斜
線を施したフレームが、対象物が存在するとされたフレ
ームを示し、４１のように斜線のないフレームは対象物
が検索されなかったフレームである。この例のフレーム
列は２つのカット４２及び４３から成る。４４はカット
変わりであり、カットとカットの連結部分である。カッ
ト変わりは、文献１でカット分割に使われている手法等
を用いれば人手によらず検出できる。配列４５は対象物
検索の結果を一時的に格納する一次元配列であり、当該
動画像の全てのフレームに対して、配列の要素の一つ一
つが順番に対応付けされる。このときの各要素は０か１
かのいずれかの値をとり、１のとき、対応するフレーム
に対象物が存在していることを示している。０のときに
は対象物が存在していないことを示す。

【００１９】処理１０４では、対象物が連続して現れて
いる部分区間（配列４５における１が連続している部分
区間４６〜４９）を抽出する。例えば、配列４５におい
て、要素を最初から順に調べ、初めて１が現れたとき、
その要素の番号（フレーム番号と一致する）を始点情報
として記憶し、次に１つずつ順に後の要素を調べてい
き、最初に０が現れたときの、その一つ前の要素の番号
（０が現れないまま配列の末尾要素に達したときは末尾
要素の番号）を終点情報として記憶する。こうして得ら
れた部分区間にＩＤを付与し、始点情報と終点情報とを
合わせてリスト（以下、区間リスト）に登録する。この
ときの終点が動画像の末尾でなければ、その終点の次の
要素から再び順に調べていき、同様の処理を繰り返す。

【００２０】次に、区間リストに登録された各部分区間
について、非常に短い区間間隔で隣接するものを統合す
る。例えば、区間リストに登録されている部分区間を順
に調べていき、当該部分区間の終点と後続する部分区間
の始点との差（すなわち、両区間の間のフレーム枚数）
が登録者が設定した閾値より小さいかどうかを調べ（１
０６）、小さい場合には、前者の部分区間の終点を後者
の部分区間の終点の値で置き換え、後者の部分区間を区
間リストより除去する（１０８）。この処理を区間リス
トに登録されている全ての隣接する部分区間の間で行う
（１１０）。図の例では、部分区間４６と４７の間隔が
短いと判定された場合、両区間は統合され、ａからｆま
での区間を新たに一つの部分区間とする。

【００２１】更新された区間リストに登録されている各
部分区間について、部分区間中にカット変わりがある場
合には、該当部分区間をカット変わりの位置で分割す
る。例えば、先ず区間リストの各部分区間を順に調べて
いき、当該部分区間中にカット変わりがあるかどうかを
調べる（１１２）。カット変わりが１つだけある場合に
は、カット変わりの直後のフレーム番号を始点、終点を
当該部分区間と同じとする部分区間を作り、ＩＤを付与
して区間リストに追加登録し、もとの部分区間の終点を
カット変わりの直前のフレーム番号で置き換える（１１
４）。２つ以上カット変わりがある場合も同様の考え方
で分割を行う。図の例では、部分区間４８にカット変わ
り４４が存在するので、部分区間４８は、ｉ〜ｊとｋ〜
ｌの２つの部分区間に分割される。この一連の処理を区
間リストに登録された全ての部分区間について行う（１
１６）。

【００２２】更新された区間リストに登録されている各
部分区間のうち、非常に短い部分区間をリストから除去
する。例えば、区間リストの各部分区間を順に調べてい
き、当該部分区間が登録者の設定した閾値より少ないフ
レーム数から成っているかどうかを調べる（１１８）。
もし、少なければ、当該部分区間を区間リストから除去
する（１２０）。この一連の処理を区間リストに登録さ
れた全ての部分区間について行う（１２２）。

【００２３】更新された区間リストの各部分区間につい
て、正しく区間の始点と終点が定義されているか、ある
いは対象物が正しく現れている区間なのかを動画像再生
装置で次々に再生しながらチェックし、もし間違いがあ
るようならば、その間違い箇所を修正する（１２４）。
例えば、部分区間の始点や終点フレームが違っていた場
合、動画像を再生しながら正しいフレームを探してマー
クすることで変更を行ったり、場合によっては区間全体
を区間リストから除去したりする。また、部分区間に固
有のキーワード及び関連情報を付与する場合はここで行
う。

【００２４】最後に、対象物に対してキーワード及び関
連する記述情報を付与し、当該キーワードを区間リスト
と合わせて関連情報記憶装置に登録する。また、キーワ
ードの一覧表示ウインドウを更新する（１２６）。

【００２５】以上、一連の処理をキーワードを付与しよ
うとする全ての対象物に対して行う（１２８）。ある対
象物について処理を行っているときに、既にキーワード
登録済みの対象物についての未登録区間が見つかった場
合には、適時、データベースの該当キーワード情報の区
間リストに当該区間を追加登録する。

【００２６】処理１３０では、キーワードを付与しよう
とする任意の場面について、その区間の始点と終点を指
定する。例えば、動画像を再生しながら、登録者が希望
する始点フレームと終点フレームを探してマークするこ
とで区間を定義する。

【００２７】定義された場面区間において、その場面区
間中に既にキーワード登録された対象物が現れていれば
（対象物の動画像中における存在区間と当該場面区間と
が重なる区間があれば）、該当する対象物の全てについ
て、登録されたキーワード及び関連記述情報、並びに場
面区間における対象物の現れている範囲等をその場面に
関する情報として関連情報記憶装置に登録し、また、デ
ィスプレイ上に表示する（１３４）。登録者は、この情
報を参考にしながら、あるいはそのまま用いて適当なキ
ーワードや関連記述情報を付与し、当該場面区間の始点
・終点情報及び当該場面に現れている対象物情報へのポ
インタと合わせて関連情報記憶装置に登録する（１３
６）。この場合の説明図を図５に示す。

【００２８】図６は、キーワード付与処理によって生成
及び登録されるデータ構造の一例を示したものである。
これらは、関連情報記憶装置２４に格納されるものとす
る。５１は、登録されている対象物情報の全リストであ
り、各対象物情報は５２に示すように、キーワード文字
列、対象物関連情報、区間リスト等から成るデータ構造
を持つ。区間リストは、５３に示すように各部分区間情
報のリストであり、各部分区間情報は、５４で表される
ように始点情報、終点情報等から構成される。５５は、
登録されている場面情報のリストであり、各場面情報
は、５６で表されるように、キーワード文字列、場面関
連記述情報、場面中に存在する対象物の対象物情報への
ポインタ、始点・終点情報等から成る。

【００２９】キーワード一覧ウインドウ３２は、５１の
対象物情報リストに登録された全ての対象物情報につい
て、５２のデータ構造中のキーワード文字列を表示す
る。対象物が現れている部分動画像区間の検索にあたっ
ては、データベースの利用者が、キーワード一覧の中か
ら選択した、あるいは文字入力ウインドウ３１から入力
したキーワード文字列について、対象物情報リスト中の
各対象物情報のキーワード文字列との照合を行う。キー
ワードが合致した対象物について、区間リストに登録さ
れている各部分区間の始点と終点を動画像再生装置に送
り、当該区間の再生を行う。

【００３０】場面の検索においては、上記と同様にして
場面に付与されたキーワードを用いて検索するか、ある
いは、場面に現れる対象物に関するキーワードを入力
し、そのキーワードと合致する対象物を探し、該当する
対象物へのポインタを持つ場面を探し出す。複数の対象
物が現れている場面を検索する場合において、複数の対
象物に関してそれぞれにキーワードが与えられたとき
は、場面における対象物の間の時間的存在関係を制約条
件にして検索を行ってもよい。例えば、図７に示す如く
対象物が現れる順序を制約条件とする場合には、一つの
場面に現れている各対象物について、当該場面中での存
在区間をそれぞれ呼び出して始点を比較し、制約条件で
指定された順番と始点の順番とが一致しているときに当
該場面が検索される。同様にして、対象物の去る順や同
時に現れていること等も制約条件にする。

【００３１】上述の実施例において、部分区間の統合処
理（１０６〜１１０）及び除去処理（１１８〜１２２）
を行うのは、他の多くの画像処理応用技術と同様に物体
検索手法についても確実な検索結果が得られるとは限ら
ないことによる。フレームごとに微妙に変化する対象物
の形状や色彩、あるいはノイズ等のために、物体の存在
するフレームを探せなかったり、逆に誤って無関係なフ
レームを探し出したりする。そのため、隣接する部分区
間において、その間隔が非常に短い場合（例えば、通常
再生時間で１秒未満であるなど、人間の目で見てその不
連続性が見い出しづらい程度の時間間隔の場合）には、
その間の区間は物体が存在しながら検索に失敗した部分
と考えてよいので、その部分を含めた連続した部分区間
として新たに登録している。また、登録された部分区間
が非常に短い場合には、物体が存在しないのに誤って検
出してしまった部分と考えてよいので、その部分の登録
は抹消する。このとき、非常に短いと判断する基準（閾
値）は、登録する動画像の性質や登録者の意図に合わせ
て自由に変更できることはいうまでもない（特に、閾値
を０フレームとしたときには、統合処理や抹消処理は行
われない）。

【００３２】カット変わりの位置で部分区間を分割する
処理１１２〜１１６は、たとえ連続して物体が現れてい
ても、カット変わりの前と後では場面が異なるので（例
えば、背景や撮影位置が異なる等）、それぞれ別個に扱
うべきものであることによる。

【００３３】本実施例では、文字列によるキーワードに
ついての例を示したが、画像や音声等の様々な情報形式
をキーワードとして用いることを否定するものではな
い。勿論、文字列以外の情報形式では、キーワードをそ
のまま入力することができない場合もあるが、索引から
選択する等の方法で利用できる。

【００３４】本発明はさらに種々の変更を加えた形でも
実施できる。例えば、動画像ハイパーメディアシステム
において、対象物にボタンを定義する作業に適用でき
る。ここでいうボタンとは、ディスプレイに表示中の対
象物について、表示画像中の当該対象物を囲むように定
義した部分領域を指示カーソル等でポイントすることで
関連情報を提示する機構において、当該部分領域の座標
とポイントされたときの処理手順とを複合したデータ構
造体を意味する。ボタンの定義には、対象物の存在する
部分区間を探す必要があり、本実施例（特に、処理１０
０〜１２４）は非常に有効である。

【００３５】また、ある対象物について、ボタンを使っ
て、異なる場面に存在する同一対象物を相互に参照しあ
うハイパーリンクを容易に付与することもできる。例え
ば、対象物が現れている各部分区間を抽出した後、各部
分区間に設定されたボタン情報に、それぞれ他の部分区
間へのポインタ情報を付与する。

【００３６】

【発明の効果】以上、述べたように、本発明によれば、
登録者は、キーワードを付与する対象物の画像の一枚だ
けを指定すれば、動画像中の該当対象物が現れている部
分区間を機械が自動的に探し出してくれるので、一つの
対象物につき一度のキーワード付与で、対象物の現れて
いるほとんどの部分区間に対して同時にキーワード付与
ができる。また、場面へのキーワード付与にあたって、
対象物に関するキーワードについて自動的に付与され、
さらにキーワードを追加付与する場合には、必要となる
情報の一部が自動的に提示されるので、キーワードを考
えやすい。

【図面の簡単な説明】

【図１】本発明の処理手順の１実施例を示すフローチャ
ートである。

【図２】図１の実施例を実行するための概略システムブ
ロック図である。

【図３】図２のディスプレイにおける表示画面の１具体
例である。

【図４】動画像をフレーム列として表現した概念図であ
る。

【図５】同じ対象物が複数の場面区間に現れた場合のキ
ーワード付与を説明する図である。

【図６】図１の実施例によって、生成されるデータ構造
の１例である。

【図７】複数の対象物が現れている場合を検索する場合
の説明図である。

【符号の説明】

２７…動画像表示ウインドウ、２８…動画像表示領域、
２９…ボタン領域、３０…指示カーソル、３１…文字入
力ウインドウ、３２…キーワード一覧表示ウインドウ、
４０…対象物が現れているフレーム、４１…対象物が現
れていないフレーム、４２、４３…カット、４４…カッ
ト変わり、４５…対象物在否配列、４６〜４９…対象物
が連続して現れている部分区間、５０…区間リスト、５
１…対象物情報リスト、５２…対象物情報、５３…区間
リスト、５４…区間情報、５５…場面情報リスト、５６
…場面情報。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 生澤 満 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (10)

【特許請求の範囲】
1. 【請求項１】動画像中に現れる任意の対象物に対してキ
   ーワードを付与する動画像情報のキーワード付与方法に
   おいて、上記動画像の各フレームについて、特定の対象
   物が現れているか否かを判断し、特定の対象物が現れて
   いると判断されたフレームが連続して存在している部分
   動画像区間を探し出し、それらの部分動画像区間につい
   て、共通のキーワードを付与することを特徴とする動画
   像情報のキーワード付与方法。
2. 【請求項２】請求項１記載において、共通のキーワード
   を含む上記対象物に関連する情報を付与することを特徴
   とする動画像情報のキーワード付与方法。
3. 【請求項３】請求項２記載において、上記対象物関連情
   報として、少なくともキーワード文字列、対象物関連記
   述情報、及び、始点情報と終点情報を有する各部分区間
   の区間リストを格納することを特徴とする動画像情報の
   キーワード付与方法。
4. 【請求項４】請求項１記載において、探しだされた複数
   の部分動画像区間が所定区間間隔より短い間隔で隣接す
   る場合には、上記複数の部分動画像間隔を統合して１つ
   の部分動画像区間とすることを特徴とする動画像情報の
   キーワード付与方法。
5. 【請求項５】請求項１記載において、探しだされた部分
   動画像区間中にカット変わりがある場合には、カット変
   わりの位置で部分動画像区間を分割することを特徴とす
   る動画像情報のキーワード付与方法。
6. 【請求項６】請求項１記載において、探し出された部分
   動画像区間が所定のフレーム数より少ない場合には、上
   記部分動画像区間にキーワードを付与しないことを特徴
   とする動画像情報のキーワード付与方法。
7. 【請求項７】動画像中の一場面に対してキーワードを付
   与する動画像情報のキーワード付与方法において、上記
   動画像の各フレームについて、特定の対象物が現れてい
   るか否かを判断し、特定の対象物が現れていると判断さ
   れたフレームが連続して存在している部分動画像区間を
   探し出し、それらの部分動画像区間について、共通のキ
   ーワードを付与し、上記一場面の区間内で、キーワード
   付与された対象物が存在するか否かを調べ、該当する対
   象物のキーワードを呼び出して上記一場面のキーワード
   として用いることを特徴とする動画像情報のキーワード
   付与方法。
8. 【請求項８】請求項７記載において、該当する対象物の
   キーワードを登録者に提示することを特徴とする動画像
   情報のキーワード付与方法。
9. 【請求項９】請求項８記載において、該当する対象物の
   キーワード以外の上記対象物に関連する情報を提示する
   ことを特徴とする動画像情報のキーワード付与方法。
10. 【請求項１０】請求項８記載において、上記対象物関連
    情報として、少なくともキーワード文字列、対象物関連
    記述情報、及び、始点情報と終点情報を有する各部分区
    間の区間リストを格納し、場面に関連する情報として、
    少なくともキーワード文字列、場面関連記述情報、場面
    の区間内に存在する対象物の対象物関連情報へのポイン
    タ、及び、始点情報と終点情報を格納することを特徴と
    する動画像情報のキーワード付与方法。