JPH06309381A

JPH06309381A - 動画像処理装置

Info

Publication number: JPH06309381A
Application number: JP5093256A
Authority: JP
Inventors: Junichi Takahashi; 淳一高橋
Original assignee: IBM Japan Ltd
Current assignee: IBM Japan Ltd
Priority date: 1993-04-20
Filing date: 1993-04-20
Publication date: 1994-11-04

Abstract

(57)【要約】【目的】容易かつ短時間で所望のシーンを検索するた
め、動画像の各シーンに容易に索引できると共に容易に
検索条件を生成できる動画像処理装置を得る。【構成】シーン変化検出装置２０でオリジナルの動画
像Ｃよりも短時間に分類された各シーンに対して、シー
ンエディタ装置２４により各シーンを代表する１つまた
は複数の代表フレームが任意に定められ各シーンにシー
ンの意味内容を表すキーワードが付与される。キーフレ
ーム生成装置３６ではシーンの代表フレームの中からユ
ーザがそのフレームを見たときにキーワードを連想し易
いキーフレームが選択される。ユーザは、検索時に複数
のキーフレームを選択しかつ論理条件を付与する。検索
装置４２は選択されたキーフレームをキーワードに置き
換えキーワードの論理条件で記述されるキーワード検索
式を生成し、生成されたキーワード検索式に基づいて動
画像から所望のシーンを検索する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像処理装置にかか
り、特に、時間的に連続する複数の静止画像から構成さ
れた動画像から所定のシーンを検索する動画像処理装置
に関する。

【０００２】

【従来の技術】近年の映像機器の普及に伴って博物館や
放送局等では膨大な量の静止画等の映像情報が蓄積され
る。この蓄積された映像情報から所望の画像を得るため
には、効率良く索引を付与すると共に、検索しなければ
ならない。この画像として、時間的に連続した複数の静
止画像から構成される動画像データを用いた場合に、所
望の画像を得るには、索引及び検索の効率性が顕著に表
れる。

【０００３】従来、コンピュータ等により動画像を構成
する複数の静止画像を画像データとすると共に動画像中
の各画像データの位置情報を木構造にして蓄積すること
によって動画像データベースを構成し、この動画像デー
タベースから所望の画像データを検索して検索された動
画像をモニター等の表示装置に表示する動画像処理装置
が提案されている（特開昭６１−３６８９６８号、特開
昭６１−２９９３９号公報等）。

【０００４】この動画像処理装置では、ユーザの指示に
よって、この木構造の上位の階層から下位の階層へ表示
を移行して、最終的にユーザが所望する画像データを読
み出すと共に、表示装置に表示させている。

【０００５】

【発明が解決しようとする課題】しかしながら、一般に
動画像はカットやカメラアングルの切り換え等でシーン
に区切られており、このシーン検索をすることが多い。
上記のような木構造による動画像データベースでは、選
択された上位の階層に対応する静止画像に含まれる下位
の階層に対応する静止画像を順次表示することによって
最終的に所望の画像へと検索を重ねているため、検索途
中で選択指示を誤ると最終的に得られる画像がユーザの
所望するシーンの画像に到達できないことがある。この
ため、動画像データベースを構成するとき、適度の分岐
数と階層の深さをもった木構造を慎重に設定しなければ
ならない。また、所望のシーンが複数あって、これらを
比較したい場合、特定の１シーンに辿りついても、他の
シーンについては、それぞれについて上位階層から順に
木構造を辿る必要があり、操作が冗長になると共に、比
較のための一覧性に欠ける。

【０００６】この静止画像を表示させるために、キーワ
ードを入力してシーンを検索することが考えられるが、
キーワードに全ての情報を含ませることは困難であり、
必要な情報の全てを含ませるためにはキーワードの設定
が複雑になる。

【０００７】また、同じ意味内容を表すキーワードで
も、ユーザが検索時に指定するキーワードと、実際にデ
ータベースに登録されているキーワードと一致しない場
合があり、結果としてユーザが満足するシーンが検索さ
れないことや、そもそもキーワードとしてユーザが何を
入力してよいか思いつかない場合もある。このような場
合、ユーザは適切な検索用のキーワードを見つけるため
に試行錯誤しなければならず、検索効率が悪化する。

【０００８】更に、動画像が有する意味内容の多用性か
ら、検索等を容易とするとためのキーワードを、全ての
ユーザが容易に指定できる標準的な用語表現を予め定め
ておく用語統制は困難である。

【０００９】本発明は、上記事実を考慮して、容易かつ
短時間で所望のシーンの画像を検索するために、動画像
に含まれる各シーンに容易に索引付与することができる
と共に、容易に検索条件を生成することができる動画像
処理装置を得ることが目的である。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載した発明の動画像処理装置は、時間的
に連続しかつ意味内容が同一または類似の複数の静止画
像から成る画像群を１シーンとして該シーンを複数含ん
で構成された動画像を記憶すると共に各シーンを代表す
る少なくとも１つの代表画像から選択した画像をキー画
像として記憶する記憶手段と、前記キー画像を複数個表
示する表示手段と、前記表示手段に表示されたキー画像
を選択するための選択情報と、選択されたキー画像に対
する検索条件または選択された複数のキー画像間に対す
る検索条件を入力する入力手段と、前記選択情報及び前
記検索条件に基づいてシーンを検索する検索手段と、を
備えている。

【００１１】請求項２に記載した発明の動画像処理装置
は、時間的に連続する多数の静止画像から成る動画像
を、意味内容が同一または類似する複数の静止画像から
成る画像群を１シーンとする複数のシーンに分類する分
類手段と、分類された各シーンから各シーンの意味内容
を代表する静止画像を少なくとも１つ選択する第１の選
択手段と、選択された静止画像からキー画像を選択する
第２の選択手段と、キー画像を記憶する記憶手段と、を
備えている。

【００１２】なお、前記第１の選択手段は、分類された
各シーンから各シーンの意味内容に関連する静止画像を
少なくとも１つ選択するようにしてもよい。

【００１３】請求項３に記載した発明は、請求項２に記
載の動画像処理装置において、前記第２の選択手段は、
選択された静止画像についての意味内容の和集合が前記
動画像の全シーンについての意味内容の和集合と一致す
る意味内容を備えた静止画像をキー画像として選択する
ことを特徴としている。

【００１４】

【作用】請求項１に記載した発明の動画像処理装置に用
いられる動画像は、時間的に連続し意味内容が同一また
は類似する複数の静止画像から成る画像群を１シーンと
して該シーンを複数含んで構成されている。この動画像
は記憶手段に記憶されており、また記憶手段は、動画像
の各シーンを代表する少なくとも１つの代表画像、すな
わち代表的な静止画像から選択した画像をキー画像とし
て記憶する。表示手段は、記憶されているキー画像を表
示する。従って、表示手段には、各シーンの意味内容に
関連したキー画像が表示される。入力手段は、表示手段
に表示されたキー画像を選択するための選択情報と、選
択されたキー画像に対する検索条件または選択された複
数のキー画像間に対する検索条件を入力する。これによ
って、ユーザの直観的なイメージによりキー画像を選択
でき、このキー画像に対応する検索条件または複数のキ
ー画像間に対して関連性を所有させ得る検索条件を入力
できる。従って、検索手段により、入力された選択情報
及び検索条件に基づいて検索すれば、ユーザが所望する
シーンが検索結果として得られる。

【００１５】請求項２に記載した発明の動画像処理装置
は、時間的に連続する多数の静止画像から成る動画像
を、分類手段によって意味内容が同一または類似する複
数の静止画像から成る画像群を１シーンとする複数のシ
ーンに分類する。この分類された各シーンには、第１の
選択手段によって分類された各シーンから該シーンの意
味内容を代表する静止画像または意味内容に関連する静
止画像が少なくとも１つ選択される。第２の選択手段
は、第１の選択手段により選択された静止画像からキー
画像を選択する。このキー画像は記憶手段によって記憶
される。このように、記憶手段にキー画像が記憶される
ことによって、分類された各シーンの意味内容に関連し
た情報が記憶される。従って、検索時にユーザが指示す
るキーワード等の統一表現に限定されることなく、静止
画像自体をキーワードに対応する情報（キー画像）とし
て用いることができる。このため、キー画像を記録する
ときに用いる情報としては、便宜的に自由なキーワード
を用いることができる。

【００１６】また、上記第２の選択手段は、請求項３に
記載したように、選択された静止画像についての意味内
容の和集合が動画像の全シーンについての意味内容の和
集合と一致するような意味内容を備えた静止画像をキー
画像として選択するようにしてもよい。このようにする
ことによって、１シーンの意味内容が複数シーンに亘っ
て存在するときには、その意味内容を有する静止画像は
１つでもよいことになる。従って、キー画像の選択数は
減少でき、必要最小限の静止画像の選択になる。

【００１７】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。本実施例は、動画像が有する各シーンに
索引を付与する索引処理及び各シーンを検索する検索処
理をする動画像処理システム１０に本発明を適用したも
のである。

【００１８】図１に示したように、動画像処理システム
１０は、各々マイクロコンピュータを含んだ動画像蓄積
装置１２、シーン変化検出装置２０、シーンエディタ装
置２４、キーフレーム生成装置３６及び検索装置４２か
ら構成されている。

【００１９】なお、これらの各構成については、本出願
人による既出願（特願平４−１６００３４号、特願平４
−６５６２０号公報）及び公開技報（IBM Technical Di
sclosure Bulletin.Vol.34 No.10A 1992.3) にも開示さ
れている。

【００２０】動画像蓄積装置１２はレーザーディスクプ
レーヤー（以下、ＬＤプレーヤーという）１４及びビデ
オ信号変換器１６を備え、かつ動画像を表示するための
ＴＶモニター１８に接続されている。この動画像蓄積装
置１２のＬＤプレーヤー１４には、時間的に連続する静
止画像（１コマの画像、以下、フレームという）を複数
記録したレーザーディスク（ＬＤ）が装填可能とされ、
このＬＤを再生することにより動画像を得る。また、Ｌ
ＤにはＮＴＳＣ等のビデオ信号（アナログ信号）でフレ
ームが記録されており、このビデオ信号はビデオ信号変
換器１６によってデジタル信号に変換された画像データ
として出力される。

【００２１】この動画像蓄積装置１２は、ビデオ信号変
換器１６から出力した画像データが入力されるように、
第１の記憶装置２２を有するシーン変化検出装置２０に
接続されると共に、シーンエディタ装置２４に接続され
ている。このシーン変化検出装置２０はシーンエディタ
装置２４にも接続されている。

【００２２】シーンエディタ装置２４は、第２、第３及
び第４の記憶装置２６、２８、３０を有しかつ表示装置
３２及び入力装置３４を有している。このシーンエディ
タ装置２４は、キーフレーム生成装置３６及び検索装置
４２が接続されている。

【００２３】キーフレーム生成装置３６は、第５及び第
６の記憶装置３８、４０を有している。また、検索装置
４２は、検索式生成装置４４及び検索処理装置４６から
構成されかつ、表示装置４８及び入力装置５０を有して
いる。

【００２４】以下、本実施例の作用を説明する。本実施
例では、動画像Ｃに含まれる所定のフレームを検索時に
要素となるキーワードの情報を含みかつフレームのイメ
ージ情報を含んだキー画像としてのキーワード画像（以
下、キーフレームという）として表示させ、論理条件を
付与しながらキーフレームを選択指示等をすることによ
って、所望のシーンを検索処理するためのキーワードを
用いた問い合わせ式（以下、キーワード検索式という）
Ｑを生成し、生成されたキーワード検索式Ｑに基づいて
動画像Ｃから所望のシーンを検索する。先ず、このキー
フレームを生成するキーフレーム生成処理の詳細を図２
及び図３を参照し説明する。

【００２５】シーン変化検出装置２０は、ＬＤプレーヤ
ー１４から供給される動画像Ｃの画像データの時間的な
流れに従って、動画像はカットやカメラアングルの切り
換え等のフレームの物理的な変化や意味内容の変化（以
下、シーン変化という）の発生したフレームを検出し、
検出されたフレームのフレーム番号ｆnoをシーン変化情
報Ｉ１として第１の記憶装置２２に記憶する。これによ
り、動画像Ｃにおけるシーン変化の発生したフレーム番
号ｆnoの全てが記憶される。この隣接するフレーム番号
ｆnoの間のフレーム群は、シーンＳｉ（ｉ：１，２，・
・）に対応する。なお、本実施例では、５つのシーンＳ
１，Ｓ２，Ｓ３，Ｓ４，Ｓ５から構成された動画像Ｃを
例にして以下に説明する。

【００２６】このシーン変化検出装置２０に記憶された
シーン変化情報Ｉ１は、シーン・エディタ装置２４に出
力される。シーン・エディタ装置２４は入力されたシー
ン変化情報Ｉ１に基づいて、シーン変化したフレームで
分割される各シーンＳｉの意味内容を代表する代表フレ
ーム（例えば、先頭フレーム）８０を選択する。シーン
・エディタ装置２４は、この代表フレーム８０の選択と
共に、選択された代表フレーム８０のフレーム番号ｆno
を動画像蓄積装置１２へ出力する。これにより、動画像
蓄積装置１２のビデオ信号変換器１６から出力される代
表フレーム８０の画像データ（以下、代表画像データと
いう）がシーン・エディタ装置２４に入力される。シー
ン・エディタ装置２４は入力された代表画像データを第
２の記憶装置２６に記憶蓄積する。また、シーン・エデ
ィタ装置２４は、記憶した代表画像データの代表フレー
ム８０に対応するシーンＳｉの開始フレーム番号、終了
フレーム番号、代表フレーム番号（例えば、先頭フレー
ム番号）、及び代表フレームの画像データを記憶した第
２の記憶装置２６の格納アドレスをシーンＳｉに関する
シーン情報Ｉ２として第３の記憶装置２８に記憶する。
以下の表１に、５つのシーンＳ１〜Ｓ５を有しかつフレ
ーム番号が０〜４９９の動画像Ｃに関するシーン情報Ｉ
２の例を示した。

【００２７】

【表１】

【００２８】ここで、ユーザは、シーン・エディタ装置
２４の入力装置３４及び表示装置３２の操作によって動
画像Ｃの各シーンＳｉに少なくとも１つのキーワードＷ
ｊ（ｊ：１，２・・）を生成しかつ割りつける。シーン
・エディタ装置２４では、ユーザにより生成されたキー
ワードＷｊとキーワードＷｊに対応する開始フレーム番
号及び終了フレーム番号の間に含まれるフレーム群との
対応がテーブルとして表現されたキーワード索引情報Ｉ
３が第４の記憶装置３０に記憶される。

【００２９】すなわち、ユーザが入力装置３４から代表
フレーム８０を指示することによって、シーン・エディ
タ装置２４は、第３の記憶装置２８に記憶されたシーン
情報Ｉ２及び第２の記憶装置２６に記憶された代表画像
データを読み込み、代表フレーム８０を表示装置３２に
表示する。このとき、ユーザは代表フレーム８０の表示
時点で、代表フレーム８０に対応するシーンＳｉを再生
させる指示をすることができ、シーン・エディタ装置２
４がユーザからシーン再生の指示を受けた場合は、この
指示されたシーンＳｉのみをＴＶモニター１８に再生す
る指示をＬＤプレーヤー１２に送出する。これにより、
動画像Ｃの指示されたシーンＳｉのみが表示される。こ
の代表フレーム８０または代表フレーム８０に対応する
シーンＳｉを再生しながらユーザは入力装置３４により
キーワードＷｊを入力できる。シーン・エディタ装置２
４は、キーワードＷｊが入力されると、そのキーワード
Ｗｊが割りつけられる開始フレーム番号及び終了フレー
ム番号をキーワード索引情報Ｉ３として第４の記憶装置
３０に記憶する。この開始フレーム番号及び終了フレー
ム番号は、シーンＳｉの再生中におけるユーザの指示や
入力装置３４による指示によって入力される。上記表１
の動画像Ｃを用いたときのキーワード索引情報Ｉ３の１
例を表２に示した。

【００３０】

【表２】

【００３１】従って、各シーンＳｉには、以下のように
キーワードが対応する。先ず、シーンＳ１は、フレーム
番号ｆnoが０〜９９のフレームを有しており、フレーム
番号ｆnoが０〜１９９のフレーム群に対応するキーワー
ド｛車｝、及びフレーム番号ｆnoが０〜９９のフレーム
群に対応するキーワード｛山｝を含んでいることにな
る。これにより、シーンＳ１のキーワードは｛車、山｝
に対応する。同様にして、シーンＳ２が｛車、女性｝、
シーンＳ３が｛女性、男性｝、シーンＳ４が｛女性、
山｝、及びシーンＳ５が｛山｝のキーワードの組に対応
する。なお、｛｝内に複数キーワードが記述されたも
のは、これらの和集合を表す。

【００３２】次に、キーフレーム生成装置３６では、ユ
ーザが図示しないキーフレーム生成処理実行スイッチを
オンすると、図３のキーフレーム生成ルーチンが実行さ
れて、ステップ１０２へ進む。ステップ１０２では、シ
ーン・エディタ装置２４へ信号を出力することにより第
３の記憶装置２８に記憶されたシーン情報Ｉ２及び第４
の記憶装置３０に記憶されたキーワード索引情報Ｉ３が
入力される。次のステップ１０４では、後述する選択基
準に従って、代表フレーム８０の中から幾つかをキーフ
レーム８２として選択する。この選択されたキーフレー
ム８２とこのキーフレーム８２に対応するキーワードと
の関係をテーブルとして表したキーワード・キーフレー
ム対応情報（以下、ＷＦ対応情報という）Ｉ４を生成し
て第５の記憶装置３８に記憶し（ステップ１０６）、キ
ーフレーム８２として選択した代表フレーム８０の画像
データをキーフレーム８２の画像データ（以下、キー画
像データという）として第６の記憶装置４０に記憶して
（ステップ１０８）、本ルーチンを終了する。

【００３３】なお、この場合、第６の記憶装置４０に
は、画像データの代わりにキーフレーム８２のアドレス
情報を記憶するようにしてもよい。

【００３４】上記選択基準は、キーフレーム８２として
選択した代表フレーム８０の属するシーンＳｉに割り当
てられたキーワードＷｊの組が、全てのシーンＳｉに割
り当てられたキーワードＷｊの組をカバーするように選
択することである。

【００３５】例えば、上記表１において、フレーム番号
ｆnoがｆ２，ｆ３及びｆ５である３つの代表フレーム８
０をキーフレーム８２として選択する。フレーム番号ｆ
noがｆ２，ｆ３及びｆ５の各々の代表フレーム８０の属
するシーンＳ２、Ｓ３及びＳ４に割り当てられるキーワ
ードは、シーンＳ２が｛車、女性｝、シーンＳ３が｛女
性、男性｝、及びシーンＳ５が｛山｝である。このシー
ンＳ２，Ｓ３，Ｓ５のキーワードの和集合は全てのシー
ンＳｉ（シーンＳ１〜Ｓ５）に割り当てられた全キーワ
ードの集合｛車、女性、男性、山｝に一致するので、上
記の選択基準を満たしている。

【００３６】なお、上記選択基準を満たすキーフレーム
８２の組は、複数決定し得るが、後述する検索処理時に
ユーザが概略を一覧し易いように、選択するキーフレー
ム８２の数は少ないほうが好ましい。従って、例えば、
あるキーフレーム８２に対応するキーワードＷｊの集合
が、他のキーフレーム８２に対応するキーワードＷｊの
集合の部分集合になっている場合、前者に対応するキー
ワードは、後者にも対応しているので、前者をキーフレ
ーム８２として冗長に保持しなくてもよい。

【００３７】このキーフレーム８２とキーワードとの関
係をキーフレーム８２の識別子とキーワードとを対応さ
せたＷＦ索引情報Ｉ４の１例を表３に示した。

【００３８】

【表３】

【００３９】次に、上記で説明したキーフレーム８２を
利用した検索処理の詳細を図４乃至図６を参照し説明す
る。

【００４０】検索装置４２では、検索式生成装置４４に
おいてユーザによる入力装置５０及び表示装置４８の操
作に応じたキーフレーム８２の指示等によりキーワード
検索式Ｑが生成され、生成されたキーワード検索式Ｑに
基づいて検索処理装置４６が検索処理を行う。この検索
結果のシーンＳｉの代表フレーム８０が表示装置４８に
表示される。また、ユーザによりシーンＳｉの再生が指
示されたたときは動画像蓄積装置１２に対してシーンＳ
ｉの再生指示信号を送出する。

【００４１】すなわち、検索式生成装置４４では、ユー
ザが図示しない検索処理実行スイッチをオンすると、図
５のキーワード検索式生成ルーチンが実行されて、ステ
ップ１１２へ進み、キーフレーム生成装置３６へ信号を
出力することによってキーフレーム生成装置３６からＷ
Ｆ対応情報Ｉ４及びキー画像データを読み取って図示し
ないメモリに記憶する。次のステップ１１４では、この
図示しないメモリからＷＦ対応情報Ｉ４及びキー画像デ
ータを読み取って、図４に示したようにキーフレーム８
２の一覧を表示装置４８に表示する。

【００４２】この表示装置４８の表示画面６０は、複数
のキーフレーム８２（本実施例では４つ）を表示するた
めのキーフレーム表示領域６２が設けられ、このキーフ
レーム表示領域６２に読み取ったキー画像データに応じ
たキーフレーム８２が表示される。

【００４３】この各キーフレーム表示領域６２の上部に
は、表示されたキーフレーム８２を通し番号等により識
別するためのキーフレームの識別子が表示される識別子
表示領域６３が設けられると共に、キーフレーム８２を
選択指示するための選択チェック・ボタン６４が設けら
れている。この選択チェック・ボタン６４は、入力装置
５０からユーザが指示するマウス等のオン・オフによっ
てキーフレームの選択が指示されると共に選択の有無を
表示する。

【００４４】表示画面６０の右方（図４の紙面右側）に
は、検索実行を指示するための検索ボタン６８、及びス
クロール・ボタン７０が設けられている。スクロール・
ボタン７０は、選択し得るキーフレーム８２が多数あ
り、同一画面上に全てを表示できないときに前後のキー
フレーム８２を表示させるための指示領域である。この
スクロール・ボタン７０は、順次前画面のキーフレーム
を表示させるためのロールアップ・ボタン７０Ａ及び順
次次画面のキーフレームを表示させるためのロールダウ
ン・ボタン７０Ｂとから構成されている。

【００４５】また、表示画面６０の上部は、論理演算子
表示領域６６Ａとされ、論理演算子表示領域６６Ａ内に
は複数の論理演算子選択ボタン６６が設けられている。
論理演算子選択ボタン６６は、指示されたキーフレーム
８２を結び付ける論理演算子を指定するためのボタンで
ある。更に、表示画面６０の下部は任意条件入力フィー
ルド７２とされている。この任意条件入力フィールド７
２には、ユーザが入力装置５０により直接入力された所
望のシーン検索処理のための問い合わせ式（以下、検索
式という）が表示される。

【００４６】次のステップ１１６では、表示画面６０を
目視しながら選択指示されたユーザの選択指示の入力を
読み取ってステップ１１８へ進む。ステップ１１８で
は、スクロール・ボタン７０がオンされたか否かを判断
し、オンされた場合には、ステップ１２０においてロー
ルアップ・ボタン７０Ａ及びロールダウン・ボタン７０
Ｂの一方の指示ボタンに対応する画面のキー画像データ
を取り込みステップ１１４へ戻り、対応するキーフレー
ムを表示して選択指示を継続する。一方、否定判断の場
合には、ステップ１２２へ進む。

【００４７】ステップ１２２では、検索ボタン６８が指
示されたか否かを判断し、検索ボタン６８が指示される
まで上記ステップ１１６〜１１８の処理を繰り返し実行
する。検索ボタン６８が指示されたときには、ステップ
１２４へ進む。ステップ１２４では、キーフレーム８２
が１つ以上選択されたか否かまたは任意条件入力フィー
ルド７２に文字列が入力されたか否かを判断することに
より検索条件が入力されたか否かを判断し、否定判断の
場合にはステップ１１６へ戻る。

【００４８】この任意条件入力フィールド７２への検索
条件の直接入力または、キーフレームの選択及び選択さ
れたキーフレームを論理演算子により結び付ける指示に
応じて、後述するようにキーワード検索式Ｑを生成す
る。

【００４９】ここで、本実施例では、上記キーフレーム
８２を結びつける論理演算子としては、「ＡＮＤ」、
「ＯＲ」、「＆」、「｜」及び「¬」を用いている。こ
の論理演算子「ＡＮＤ」及び「ＯＲ」は、オペランドと
なる２つのキーフレーム８２に対応したキーワードＷｊ
の集合に集合演算を施すための演算子である。論理演算
子「ＡＮＤ」は共通集合を求めるための演算子であり、
「ＯＲ」では和集合を求めるための演算子である。

【００５０】例えば、図４に示した識別子１のキーフレ
ーム８２と識別子２のキーフレーム８２とを論理演算子
「ＡＮＤ」で結ぶ指示は、以下の検索式（１）で表せ
る。

【００５１】１ＡＮＤ２・・・（１）この場合、上記表３に示したように識別子１及２のキー
フレーム８２について共通したキーワードの｛女性｝を
有するシーンＳｉという検索条件を指定することに相当
する。

【００５２】同様に、識別子１のキーフレーム８２と識
別子２のキーフレーム８２とを論理演算子「ＯＲ」で結
ぶ指示は、以下の検索式（２）で表せる。

【００５３】１ＯＲ２・・・（２）従って、｛車｝、｛女性｝、｛男性｝の何れかのキーワ
ードを有するシーンＳｉという検索条件を指定すること
に相当する。

【００５４】一方、論理演算子「＆」、「｜」及び
「¬」は、検索式の論理演算子そのものであることを明
言するために用いる。

【００５５】例えば、識別子１のキーフレーム８２と識
別子２のキーフレーム８２とを論理演算子「＆」で結ぶ
指示は、以下の検索式（３）で表せる。

【００５６】１＆２・・・（３）この場合、｛車または女性｝でかつ｛女性または男性｝
という検索条件、すなわち、｛車かつ女性｝、｛女
性｝、｛車かつ男性｝、｛女性かつ男性｝の何れかのキ
ーワードを有するシーンＳｉという検索条件を指定する
ことに相当する。

【００５７】同様に、識別子１のキーフレーム８２と識
別子２のキーフレーム８２とを論理演算子「｜」で結ぶ
指示は、以下の検索式（４）で表すことができ、論理演
算子「¬」を用いた指示は、検索式（５）で表せる。

【００５８】１｜２・・・（４） ¬ ３・・・（５）従って、検索式（４）は、キーワードが｛車または女
性｝または｛女性または男性｝という検索条件、すなわ
ち、｛車｝、｛女性｝、｛男性｝の何れかのキーワード
を有するシーンＳｉという検索条件を指定することに相
当する。また、検索式（５）は、キーワードが｛山｝を
含まないという検索条件、すなわち、｛山｝を含まない
シーンＳｉを検索することを指定することに相当する。

【００５９】上記説明した検索式は、入力装置５０によ
って、キーフレーム８２の識別子及び上記論理演算子
「ＡＮＤ」、「ＯＲ」、「＆」、「｜」及び「¬」を用
いて直接入力でき、入力された検索式は任意条件入力フ
ィールド７２に表示される。例えば、以下の検索式
（６）に示したように、上記検索式（１）、（３）の組
合せによる検索条件を指定できる。

【００６０】（１ＡＮＤ２）＆３・・・（６）この場合、（）内が各キーフレームの共通したキーワ
ードＷｊの｛女性｝を示して「＆３」により、キーワー
ドが｛女性｝でかつ｛山｝に対応するシーンＳｉという
検索条件を指定したことに相当する。

【００６１】次のステップ１２６では、任意条件入力フ
ィールド７２に文字列が入力されたか否かを判断し、肯
定判断の場合にはユーザにより検索式が直接入力されて
いるため、入力された文字列をそのまま検索式として次
のステップ１３０へ進む。一方、否定判断の場合には、
ステップ１２８へ進み指示されたキーフレーム８２の識
別子と論理演算子とを結び付けた文字列を検索式として
生成した後、ステップ１３０へ進む。

【００６２】ステップ１３０は、上記の検索式に基づい
てキーワード検索式Ｑを生成する処理である。すなわ
ち、ＷＦ対応情報Ｉ４を参照し、上記検索式の各キーフ
レーム８２の識別子を対応するキーワードＷｊの集合に
置換する。このとき、論理演算子ＡＮＤは共通集合の演
算、論理演算子ＯＲは和集合の演算と解釈して検索式を
評価する。例えば、上記の検索式（１）に対しては、キ
ーフレーム８２の識別子１、２を各々キーワードＷｊ
｛車、女性｝、｛女性、男性｝に置換し、その共通集合
を求めて、キーワード検索式Ｑは、Ｑ＝｛女性｝となる。

【００６３】また、上記検索式（６）に対しては、キー
フレーム８２の識別子１、２及び３を各々キーワード
｛車、女性｝、｛女性、男性｝及び｛山｝に置換し、Ａ
ＮＤに対して集合演算を施すと、キーワード検索式Ｑ
は、Ｑ＝（１ＡＮＤ２）＆３＝（｛車、女性｝ＡＮＤ｛女性、男性｝）＆｛山｝＝｛女性｝＆｛山｝となる。

【００６４】このように、論理演算子「ＡＮＤ」、「Ｏ
Ｒ」の評価が終了した後、生成されたキーワード検索式
Ｑを検索処理装置４６に出力し、本ルーチンを終了す
る。

【００６５】次に、検索処理装置４６では、検索式生成
装置４４からキーワード検索式Ｑが入力されると、図６
に示したキーワード検索式Ｑに基づく検索処理実行ルー
チンが実行される。先ず、ステップ１３２では、シーン
・エディタ装置２４へ信号を出力することにより第４の
記憶装置３０に記憶されたキーワード索引情報Ｉ３が入
力される。次のステップ１３４では、キーワード索引情
報Ｉ３を参照することによって、入力されたキーワード
検索式Ｑのキーワードに対応する開始フレーム番号及び
終了フレーム番号を得てステップ１３６へ進む。ステッ
プ１３６では、シーン・エディタ装置２４へ信号を出力
することにより第３の記憶装置２８に記憶されたシーン
情報Ｉ２が入力される。次のステップ１３８では、キー
ワード検索式Ｑが論理演算子を含むか否かを判断し、肯
定判断の場合は、ステップ１４０において、論理演算子
に基づいてキーワード検索式Ｑが真となる開始フレーム
番号及び終了フレーム番号を得て、ステップ１４２へ進
む。一方否定判断の場合は、ステップ１４１においてシ
ーン情報Ｉ２より直接、開始フレーム番号及び終了フレ
ーム番号を得てステップ１４２へ進む。

【００６６】ステップ１４２では、得られた開始フレー
ム番号及び終了フレーム番号で定まるフレーム区間に含
まれるシーンＳｉのシーン情報Ｉ２を参照することによ
り、代表フレーム番号及び代表フレーム８０の格納アド
レスを得る。この代表フレーム番号及び代表フレーム８
０の格納アドレスに応じてステップ１４４において表示
装置４８に代表フレーム８０を表示する。次のステップ
１４６では、ユーザが入力装置５０により代表フレーム
８０を指示しかつシーン再生を指示したか否かを判断
し、肯定判断の場合には、ステップ１４８において指示
されたシーンＳｉをＴＶモニター１８に再生させるため
の命令をＬＤプレーヤー１２へ出力する。一方、否定判
断の場合には、そのまま本ルーチンを終了する。

【００６７】すなわち、上記検索式（１）の場合、上記
表２のキーワード索引情報Ｉ３を参照して、｛女性｝の
キーワードに対応するフレーム区間〔１００、３９９〕
を得る。次に、上記表３のシーン情報Ｉ２を検索して、
シーンＳ２、Ｓ３及びＳ４が検索結果のシーンとして得
られる。検索処理装置４６は、結果のシーンＳｉの代表
フレームの代表画像データを読み込み、表示装置４８に
表示する。

【００６８】同様に、上記検索式（６）の場合、｛女
性｝のキーワードに対応するフレーム区間〔１００、３
９９〕を得ると共に、｛山｝のキーワードに対応するフ
レーム区間〔３００、４９９〕または〔０、９９〕を得
る。これにより、｛女性｝と｛山｝との共通区間とし
て、〔３００、３９９〕を得る。従って、シーンＳ４が
検索結果として得られる。

【００６９】このように、本実施例では、動画像全体を
短時間に分割した各シーンに対して、そのシーンを代表
する１つまたは複数の代表フレームを任意に定め、各シ
ーンにシーンの意味内容を表すキーワードを付与してい
る。ユーザはシーンの代表フレームの中から代表フレー
ムを見たときに、シーン検索するときの要素となるキー
ワードやイメージとして連想し易いキーフレームを選択
する。これにより、ユーザは、検索時に複数のキーフレ
ームを選択しかつ論理条件を指定することにより、容易
に検索条件を指定することができる。選択されたキーフ
レームに対応したキーワードに置換することにより、キ
ーワードの論理条件で記述されるキーワード検索式を生
成でき、生成されたキーワード検索式に基づいて、動画
像から所望のシーンを検索できる。

【００７０】従って、多種多様な意味内容を有する動画
像に含まれる所定シーンを検索するための索引として用
いるキーワードとしては、階層関係により記述した概念
（シソーラス）等を用いた複雑な用語統制によって標準
的な用語表現に限定する必要がなく、索引作成者の判断
で、キーワードを選択することができる。このため、各
々のシーンに対応するキーワードの選定において柔軟性
が増し、索引の生成が容易になる。

【００７１】また、検索条件を決定するキーフレームは
動画像中の所定の代表フレームでありシーンの意味内容
を視覚的に提示するイメージ情報をも含んでいるため、
ユーザは、キーフレームを直接選択することにより、動
画像の意味内容を特定のキーワードを用いて表現する必
要がなく、検索条件を直観的に指示できる。また、索引
者と検索者の用語表現が違った場合であっても、検索条
件を決定するキーフレームは動画像中の所定の代表フレ
ームであるため、検索者が意図するシーンの検索条件を
索引者が期待する用語表現に拘わらず設定することがで
き、用語表現の違いに起因する検索漏れや検索誤差を少
なくすることができる。

【００７２】なお、本実施例では、動画像処理システム
として、複数の装置から構成した例を説明したが、本発
明はこれに限定されるものではなく、１つの動画像処理
によって索引処理及び検索処理を行うようにしてもよ
い。

【００７３】また、上記実施例では、各シーンに対応す
る代表フレーム及びキーフレームにキーワードを割りつ
けているが、本発明はこのキーワードの割りつけを必須
とするものではない。すなわち、索引時に、例えばキー
ワードの識別番号のみを介してキーフレームとシーンと
の対応がなされていれば、索引時にキーワードを割りつ
けていなくても検索時にはキーフレームの選択及び論理
条件付与によって、容易に所望するシーンを検索結果と
して得ることができる。

【００７４】

【発明の効果】以上説明したように本発明の動画像処理
装置によれば、ユーザは検索時に動画像に含まれる静止
画像の選択により検索条件を指示できるため、動画像の
意味内容を記述する用語表現を考慮することなく、検索
条件を直観的に指示でき、索引を付与するときのユーザ
と検索するときのユーザとの用語表現の違いに起因する
検索漏れが減少する、という効果がある。

【００７５】また、本発明によれば、多種多様な意味内
容を有する動画像に対して、動画像データベースを構成
するためキーワードとして用語統制による標準的な用語
表現に限定する必要がなく、索引作成者のみの判断で、
キーワードを柔軟に選択することができるため、動画像
データベースの索引生成が容易になる。

【図面の簡単な説明】

【図１】本実施例の動画像処理システムの概略構成を示
すブロック図である。

【図２】キーフレームが生成される過程を説明するため
のイメージ図である。

【図３】本実施例のキーフレーム生成処理の流れを示す
フローチャートである。

【図４】本実施例の検索装置による検索処理時における
表示装置の表示画面を示すイメージ図である。

【図５】キーワード検索式生成ルーチンの流れを示すフ
ローチャートである。

【図６】検索処理ルーチンの流れを示すフローチャート
である。

【符号の説明】

１０動画像処理システム３６キーフレーム生成装置４２検索装置４４検索式生成装置４６検索処理装置８０代表フレーム（代表画像）８２キーフレーム（キー画像）

Claims

【特許請求の範囲】

【請求項１】時間的に連続しかつ意味内容が同一また
は類似の複数の静止画像から成る画像群を１シーンとし
て該シーンを複数含んで構成された動画像を記憶すると
共に各シーンを代表する少なくとも１つの代表画像から
選択した画像をキー画像として記憶する記憶手段と、前記キー画像を複数個表示する表示手段と、前記表示手段に表示されたキー画像を選択するための選
択情報と、選択されたキー画像に対する検索条件または
選択された複数のキー画像間に対する検索条件を入力す
る入力手段と、前記選択情報及び前記検索条件に基づいてシーンを検索
する検索手段と、を備えた動画像処理装置。
【請求項２】時間的に連続する多数の静止画像から成
る動画像を、意味内容が同一または類似する複数の静止
画像から成る画像群を１シーンとする複数のシーンに分
類する分類手段と、分類された各シーンから各シーンの意味内容に関連する
静止画像を少なくとも１つ選択する第１の選択手段と、選択された静止画像からキー画像を選択する第２の選択
手段と、キー画像を記憶する記憶手段と、を備えた動画像処理装置。
【請求項３】前記第２の選択手段は、選択された静止
画像についての意味内容の和集合が前記動画像の全シー
ンについての意味内容の和集合と一致する意味内容を備
えた静止画像をキー画像として選択する請求項２に記載
の動画像処理装置。