JPH10320969A

JPH10320969A - 動画像データベースシステムおよび記録媒体

Info

Publication number: JPH10320969A
Application number: JP9131187A
Authority: JP
Inventors: Hiroshi Shibazaki; 博柴崎
Original assignee: Dainippon Screen Manufacturing Co Ltd
Current assignee: Dainippon Screen Manufacturing Co Ltd
Priority date: 1997-05-21
Filing date: 1997-05-21
Publication date: 1998-12-04

Abstract

(57)【要約】【課題】オペレータの所望する動画像データを迅速か
つ効率的に確実に得ることができること。【解決手段】動画像データベースシステムに動画像デ
ータを登録する際に、全ての動画像データに対して、キ
ーシーンと代表ショットを指定し、登録しておく（ステ
ップＳ１６，１７）。キーシーンとは、動画像データの
示す動画像の特徴的な部分の画像区間情報であり、代表
ショットとは、動画像データの示す動画像の任意の特徴
的な一画像（特徴画像）である。そして、動画像データ
ベースシステムにおいて任意の条件に基づいて動画像デ
ータの検索が行われて抽出された全ての動画像データを
表示する際に、代表ショットに基づいたアイコン表示を
行うとともに、キーシーンが繰り返して再生されること
により、動画像データの特定が容易になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像データを
取り扱うコンピュータにおいて、多量の動画像データを
保管し、その中から所望の動画像データを検索し、さら
に抽出された動画像データを表示・再生する動画像デー
タベースシステムおよびそのプログラムを記録したコン
ピュータ読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】動画像データをコンピュータ内に多量に
保管管理して利用する場合、保管データ数が多量になる
ほど、効率の良い検索や迅速な確認ができる動画像デー
タベースシステムが要求される。

【０００３】そこで、従来の動画像データベースシステ
ムでは、効率の良い検索を行うために動画像データにキ
ーワードなどの属性情報を対応付けておき、多量の動画
像データの中からその属性情報に基づいて検索を行うよ
うに構成されている。属性情報には、キーワードの他に
タイトル名，作成者／収録者，収録場所，収録日時，収
録時間などがある。そして、検索の結果抽出された動画
像データは、一覧形式で表示装置の画面上に表示され
る。

【０００４】図１５は、このような従来の動画像データ
ベースシステムにおける操作手順を表示装置に表示され
る画面で示した説明図である。図１５に示すように、オ
ペレータは所望の動画像データを得るために検索画面Ｐ
１の検索条件入力領域２５にキーワードなどの属性情報
を入力する。例えば、オペレータが猫の動作を記録した
動画像データを要求している場合には、キーワードに
「猫」などという言葉を入力し、コンピュータに検索を
実行させる。

【０００５】そして、コンピュータが検索を終了する
と、表示装置において検索結果が表示される。図１５に
示す検索結果表示画面Ｐ２は、抽出された動画像データ
が６個である場合を示している。検索結果表示画面Ｐ２
では、動画像データを示す「アイコン」と「ファイル
名」とにより表示している。ここで「ファイル名」とは
データやプログラムに対応付けられた名称であり、「ア
イコン」とは画面上でファイルをシンボル化して表示す
る絵記号である。そして動画像データを示すアイコンと
して図１５に示すように動画像の内容に関係なくフィル
ム等の一定の絵柄を採用している。

【０００６】

【発明が解決しようとする課題】しかし、一般的に、オ
ペレータは、他人が設定したファイル名について、それ
がどのようなファイルであるのか判断できない場合が多
く、上記のように検索結果が表示されても、オペレータ
がファイル名を認識していない限り、最終的な動画像デ
ータの特定をすることができない。

【０００７】従って、オペレータが所望する動画像デー
タを確定するためには、属性情報を表示させ、それを詳
細に確認することにより決定しなければならない。この
ように属性情報を確認しながら動画像データを特定する
ことは、容易な作業ではなく、効率が非常に悪いととも
に、実際の動画像の再生を伴わないためオペレータに不
安感が残ることもある。

【０００８】そして、属性情報の確認で不安感が残る場
合には、オペレータは動画像データの再生アプリケーシ
ョンを起動させて、実際の動画像を再生することにより
確認する。この作業は、検索結果表示画面Ｐ２から意図
的に再生アプリケーションを起動させ、さらに再生アプ
リケーション画面Ｐ３についての操作を行わなければな
らなず、操作に手間がかかることとなる。また、動画像
データが長い場合には、動画像データを再生してもその
動画像の特徴部分にたどり着くまで時間がかかることが
あり、オペレータは所望する動画像データの効率的な特
定を行うことができない。

【０００９】この発明は、上記課題に鑑みてなされたも
のであって、オペレータの所望する動画像データを迅速
かつ効率的に確実に得ることができる動画像データベー
スシステムおよび記録媒体を提供することを目的とす
る。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の発明は、動画像データを取り扱う
コンピュータにおいて、(a)動画像データの示す動画像
の任意の特徴的な部分についての画像区間情報を動画像
データに対応付けて記憶する記憶手段と、(b)複数の動
画像データの中から所定の情報に基づいて動画像データ
の検索を行う検索手段と、(c)検索手段によって抽出さ
れた動画像データにつき、当該動画像データに対応した
画像区間情報に基づいて検索結果表示用の動画像および
／または音声の再生を行う再生手段とを備えている。

【００１１】請求項２に記載の発明は、請求項１に記載
のシステムにおいて、記憶手段は、１つの動画像データ
について複数の画像区間情報を対応付けて記憶すること
が可能であることを特徴としている。

【００１２】請求項３に記載の発明は、請求項１または
２に記載のシステムにおいて、記憶手段は、さらに、動
画像データの示す動画像の任意の特徴的な一画像につい
ての特徴画像を動画像データに対応付けて記憶し、検索
手段によって抽出された動画像データにつき、当該動画
像データに対応した特徴画像に基づく静画像を表示する
ことを特徴としている。

【００１３】請求項４に記載の発明は、コンピュータ
を、(a)動画像データの示す動画像の任意の特徴的な部
分についての画像区間情報を動画像データに対応付けて
記憶する記憶手段、(b)複数の動画像データの中から所
定の情報に基づいて動画像データの検索を行う検索手
段、および、(c)検索手段によって抽出された動画像デ
ータにつき、当該動画像データに対応した画像区間情報
に基づいて検索結果表示用の動画像および／または音声
の再生を行う再生手段として機能させるための動画像デ
ータベースプログラムをコンピュータ読み取り可能な記
録媒体に記録している。

【００１４】

【発明の実施の形態】

＜１．装置の構成＞まず、この発明の実施の形態におけ
る動画像データベースシステムの概要について説明す
る。図１は、この発明の実施の形態である動画像データ
ベースシステムの構成を示す概略図である。図１に示す
ように、この装置において入出力装置１１，ＣＰＵ１
２，メモリ１３，記憶部１４，インタフェース１５，１
６，１７がバスラインＢＬを介して相互に接続されてい
る。入出力装置１１は、フレキシブルディスク，光磁気
ディスク，ＣＤ−ＲＯＭなどのコンピュータ読み取り可
能な可搬性記録媒体Ｄからデータを読み込んだり、それ
らに対してデータを書き込んだりする装置である。ＣＰ
Ｕ１２は、演算処理を行う処理部である。メモリ１３
は、データを一時的に記憶保持しておくための装置であ
り、記憶部１４は、磁気ディスクなどのコンピュータ読
み取り可能な固定の記録媒体である。そして、インタフ
ェース１５にはさらにＣＲＴや液晶ディスプレイなどの
ような表示装置１８が接続されており、インタフェース
１６にはキーボード１９，マウス２０が接続されてい
る。さらに、インタフェース１７には音声を発生させる
スピーカ２１が接続されている。また、この動画像デー
タベースシステムは、必要に応じてネットワークに接続
することもでき、そのネットワークに接続されている他
の機器から動画像データを獲得することもできる。

【００１５】このように、この実施の形態の動画像デー
タベースシステムは、オペレーティングシステム（Ｏ
Ｓ）がインストールされた一般的な１台のコンピュータ
において内部のＣＰＵ１２が動画像データベースプログ
ラムを実行することにより、実現される装置である。な
お、上記の動画像データベースプログラムは、可搬性記
録媒体Ｄから読み込まれても良いし、予め記憶部１４に
記憶させておいても良い。すなわち、この動画像データ
ベースプログラムが格納される対象は、可搬性記録媒体
であるか、固定の記録媒体であるかを問わない。

【００１６】＜２．動画像データの登録＞この実施の形
態の動画像データベースシステムにおいて、動画像デー
タを登録する際に、オペレータは、属性情報を設定す
る。属性情報に含まれる情報としては、動画像データに
ついてのタイトル名，作成者／収録者，収録場所，収録
日時，収録時間，キーワード，コメントなどである。な
お、キーワードは複数個設定することが可能である。こ
の属性情報は、動画像データの検索の際に使用される情
報である。

【００１７】そして、オペレータが属性情報の入力を行
う際は、キーボード１９やマウス２０から行う。そして
入力された属性情報は記憶部１４に保存される。また、
多量の動画像データがＣＤ−ＲＯＭなどの記録媒体に格
納されている場合などには、属性情報および記録媒体の
動画像データとを相互に関連づけた状態で属性情報を記
憶部１４に保存する。これにより、大容量を必要とする
動画像データを記憶部１４内に保持する必要がなくな
る。

【００１８】また、オペレータは、動画像データを登録
する際に、動画像データのキーシーンと代表ショットを
設定する。「キーシーン」とは、動画像データの示す動
画像の任意の特徴的な部分の画像区間情報である。な
お、１つの動画像データについて複数のキーシーンを設
定することも可能であり、複数のキーシーンを設定する
ことにより動画像データの特定がより確実なものとな
る。キーシーンの設定は、動画像データについて識別性
のある特徴的な部分の開始点と終了点とを入力すること
により行われる。また、「代表ショット」とは、動画像
データの示す動画像の任意の特徴的な一画像（特徴画
像）に基づく静画像である。この代表ショットは、１つ
の動画像データに対して１個の指定が可能である。

【００１９】図２は、この実施の形態における動画像デ
ータのキーシーンと代表ショットの設定方法を説明する
ための説明図である。まず、キーシーンの設定について
説明する。図２（ａ）に示すように、時刻ｔ１に動画像
データの再生を開始した場合、時刻ｔ２に終了する。設
定の対象となっている動画像データの再生が開始される
と、その動画像は表示装置１８に表示され、動画像を視
覚的に認識することができるように構成されている。図
２（ａ）に示す再生位置表示２２は、動画像データの再
生に伴って時刻ｔ１の位置から時刻ｔ２の位置まで移動
する。そして、動画像データの特徴的な部分が時刻ｔａ
から時刻ｔｂの間の動画像であるとすると、オペレータ
は、動画像データを再生し始めてから時刻ｔａに差し掛
かったところでキーボード１９などから開始点の入力を
行い、時刻ｔｂに差し掛かったところでキーボード１９
などから終了点の入力を行う。このようにして動画像デ
ータについて、時刻ｔａからｔｂの間の動画像の特徴的
な部分がキーシーンとして設定される。キーシーンを複
数個設定する場合は、上記の開始点と終了点とのキーシ
ーンの区間の入力を繰り返し行えば良い。また、キーシ
ーンの設定が行われない場合は、その動画像データにつ
いて全区間が自動的にキーシーンとして設定される。

【００２０】また、代表ショットについても同様に、動
画像データを再生しながら設定する。図２（ｂ）に示す
ように、時刻ｔ１に動画像データの再生を開始した場
合、時刻ｔ２に終了する。そして、キーシーンの設定の
場合と同様に、設定の対象となっている動画像データの
再生が開始されると、その動画像は表示装置１８に表示
され、動画像を視覚的に認識しながら代表ショットの設
定を行うことができるように構成されている。図２
（ｂ）に示す再生位置表示２２は、動画像データの再生
に伴って時刻ｔ１の位置から時刻ｔ２の位置まで移動す
る。そして、動画像データの特徴的な一画像が時刻ｔｃ
の画像であるとすると、オペレータは、動画像データを
再生し始めてから時刻ｔｃに差し掛かったところでキー
ボード１９などから代表ショットの設定の入力を行う。
このようにして動画像データについて、時刻ｔｃにおけ
る画像が特徴的な一画像である代表ショットとして設定
される。なお、代表ショットの設定が行われない場合
は、キーシーンの最初の画像（先頭画像）が自動的に代
表ショットとして設定される。

【００２１】このようにして設定されたキーシーンおよ
び代表ショットは、当該動画像データとその属性情報と
に相互に関連づけられた状態で記憶部１４に記憶され
る。この記憶部１４への記憶は、キーシーンの開始点・
終了点を示す時刻情報と代表ショットの時刻情報を記憶
しても良いが、キーシーンとして設定された区間の実際
の動画像データや代表ショットとして設定された一画像
の実際の画像データを記憶しても良い。

【００２２】次に、この動画像データベースシステムに
おける動画像データの登録の処理手順について説明す
る。図３は、この実施の形態の動画像データベースシス
テムにおける動画像データの登録の処理を示すフローチ
ャートである。

【００２３】まず、ＣＰＵ１２において、オペレータの
指示により動画像データベースプログラムのうちの動画
像データの登録に関するプログラムを起動する（ステッ
プＳ１１）。次にステップＳ１２においてオペレータ
は、ＣＤ−ＲＯＭなどの記録媒体や記憶部１４に保持さ
れている動画像データのうちで未登録のものを選択す
る。この選択は、オペレータが表示装置１８に表示され
ている動画像データのファイル名等の一覧を参照しなが
ら行う。そして、ステップＳ１３においてＣＰＵ１２
は、オペレータの選択した動画像データを再生し、表示
装置１８に動画像を表示させる。このとき、動画像デー
タの動画像に音声を伴う場合は、動画像データの再生に
伴って音声がスピーカ２１から出力される。

【００２４】そしてオペレータが表示装置１８に表示さ
れる動画像を見て、動画像データベースシステムに登録
する動画像データであるか否かを判断し、キーボード１
９やマウス２０より「ＹＥＳ」または「ＮＯ」に対応す
る入力を行う（ステップＳ１４）。そして、ステップＳ
１４でのオペレータの入力によって登録処理を進めるの
であれば、ステップＳ１５に進み、登録処理を行わない
のであればステップＳ１２に戻り、他の動画像データの
選択を行うこととなる。

【００２５】ステップＳ１５では、登録の対象となって
いる動画像データの属性情報などの入力を行う。この入
力もオペレータが表示装置１８を参照しながらキーボー
ド１９等より行う。そして次に、キーシーンと代表ショ
ットの設定を行う（ステップＳ１６）。キーシーンおよ
び代表ショットの設定は、それぞれ先述したように、表
示装置１８に表示される動画像に基づいてそれぞれにつ
いて設定入力することにより行われる。

【００２６】そして、ステップＳ１７では、ステップＳ
１５，Ｓ１６で入力・設定した内容について、オペレー
タが登録の指示を行う。この登録の指示があると、ＣＰ
Ｕ１２は動画像データ，属性情報，キーシーン，代表シ
ョットをそれぞれ相互に対応付け、記憶部１４にその内
容を保存する。そして、ステップＳ１８においてオペレ
ータが登録処理を終了するか否かの判断を行い、それぞ
れに対応する入力を行う。ＣＰＵ１２は、ステップＳ１
８での入力に基づいてステップＳ１２やステップＳ１９
に処理を進める。そして、ステップＳ１９では、ＣＰＵ
１２において動画像データの登録に関するプログラムを
終了する。

【００２７】以上のような処理によって、この実施の形
態の動画像データベースシステムでは、動画像データに
ついて属性情報，キーシーン，代表ショットの設定を行
うことができる。

【００２８】＜３．動画像データの検索および検索結果
の表示＞次に、動画像データの検索および検索結果の表
示について説明する。

【００２９】動画像データの検索においては、従来から
の検索と同様に、タイトル名，キーワード，コメントな
どの属性情報やファイル名に基づく検索が行われる。例
えば、オペレータが乗り物についての動画像データを要
求する場合は、検索時に「乗り物」等という検索語を入
力すれば、そのような検索語を属性情報やファイル名に
有する動画像データを得ることができる。また、検索は
ＣＰＵ１２によって記憶部１４に保存されている属性情
報などを基に行われ、登録の際に対応付けられている動
画像データを特定することができる。

【００３０】そして、検索の結果抽出された動画像デー
タは、表示装置１８に表示される。図４は、この実施の
形態の動画像データべースシステムにおける検索結果の
表示の一例を示す図である。図４に示すように、検索結
果表示画面Ｐ２には４個の動画像データのアイコンＩＣ
１〜ＩＣ４が表示されている。そして、それぞれのアイ
コンＩＣ１からＩＣ４の下欄にはそれぞれの動画像デー
タのファイル名が示されている。

【００３１】図４に示すアイコンＩＣ１〜ＩＣ４は、そ
れぞれの動画像データについて登録されている代表ショ
ットに基づく絵柄（画像）である。一般的に、アイコン
の表示サイズは、画像の表示サイズよりも小さい場合が
多い。代表ショットとして登録されている一画像のサイ
ズがアイコンのサイズよりも大きい場合は、代表ショッ
トの一画像のサイズをアイコン表示に適したサイズに変
換を行ってから、表示を行う。このサイズの変換は、画
素の間引き等を行うことによって実現される。

【００３２】このように、検索の結果抽出された動画像
データは、検索結果表示画面Ｐ２に表示される際に、登
録されている代表ショットのシンボル化されたアイコン
で表示されるため、その動画像データがどのような内容
についての動画像であるかを視覚的に認識することが可
能となる。

【００３３】さらに、この実施の形態では、オペレータ
の所望する動画像データの特定を容易にするために、
「非選択状態」と「仮選択状態」という２つの状態に基
づいて検索結果の表示の状態やスピーカ２１から発生さ
せる動画像に基づく音声の制御を行っている。この非選
択状態と仮選択状態の設定は、例えば図４のように表示
された４個の動画像データのそれぞれについて行うこと
ができる。そして、それぞれについての非選択状態／仮
選択状態の切り替えは、マウス２０などの操作によりマ
ウスポインタをアイコンＩＣ１〜ＩＣ４と重なる位置に
移動させ、その位置でマウス２０をクリックすること等
により行うことができる。また、非選択状態の動画像デ
ータのアイコンに重なる位置にマウスポインタを位置さ
せると、そのアイコンに対応する動画像データは仮選択
状態となる。このように、オペレータの意図的な切り替
えとダイナミックな切り替えとを併存させている。図５
は、検索結果表示画面Ｐ２の非選択状態と仮選択状態と
示す図である。図５に示すアイコンＩＣ１，ＩＣ３，Ｉ
Ｃ４は非選択状態の動画像データを示しており、アイコ
ンＩＣ２は仮選択状態の動画像データを示している。す
なわち、マウス２０などの操作によって仮選択状態とな
った場合は、アイコンの枠が太枠で表示される。

【００３４】この「非選択状態」と「仮選択状態」につ
いて説明する。

【００３５】ａ）非選択状態での表示などの制御検索結果の表示の際に、検索条件と一致した動画像デー
タがすべて非選択状態の場合について説明する。この場
合には、「モード１」と「モード２」の２通りの再生モ
ードが準備されており、当該動画像データベースシステ
ムの初期設定において任意のモードを選択することがで
きる。

【００３６】a-1）モード１について「モード１」としては、検索条件と一致した動画像デー
タの一覧を表示装置１８に表示する際に、動画像データ
のそれぞれについて設定されている代表ショットに基づ
いたアイコン表示が行われるとともに、動画像データの
それぞれに設定されているキーシーンの区間に対応する
音声が繰り返された音声を総和合成し、平均の２分の１
の音量になるようにレベル調整した後に再生し、スピー
カ２１より合成された動画像を発生させる機能である。
このことを図６と図７とを参照して説明する。

【００３７】図６は、２つの動画像データの音声波形を
示す図である。図６（ａ）に示す動画像データの音声波
形ＷＡＶ１について設定されているキーシーンは、区間
ｋａに対応する範囲に設定されている。また、図６
（ｂ）に示す動画像データの音声波形ＷＡＶ２について
設定されているキーシーンは、区間ｋｂに対応する範囲
に設定されている。

【００３８】図７は、検索の結果抽出された複数の動画
像データについてキーシーンに対応する音声の総和合成
を示す説明図である。図７に示す音声波形ＷＡＶ４は、
図６（ａ）に示す音声波形ＷＡＶ１のキーシーン区間ｋ
ａに対応する音声の繰り返しを示している。また、図７
に示す音声波形ＷＡＶ５は、図６（ｂ）に示す音声波形
ＷＡＶ２のキーシーン区間ｋｂに対応する音声の繰り返
しを示している。なお、一つの動画像データに複数のキ
ーシーンが設定されている場合には、それらは順次に繰
り返される。検索の結果抽出された動画像データが他に
もある場合には、それらについてもキーシーン区間に対
応する音声を繰り返した音声データを生成する。そし
て、各キーシーンを繰り返す際に、キーシーンとキーシ
ーンのつなぎの部分には、音声のレベル調整が施され、
フェードインやフェードアウトの効果が効かされる。
「フェードイン」とはキーシーンの始まりの部分におい
て音声レベルを徐々に大きくしていくことであり、「フ
ェードアウト」とはキーシーンの終わりの部分で音声レ
ベルを徐々に小さくしていくことである。

【００３９】そして、検索によって抽出された動画像デ
ータの全ての動画像データのキーシーンに対応する音声
を繰り返した音声データを総和合成し、平均化した音声
波形ＷＡＶ６を生成する。そして、平均化された音声波
形ＷＡＶ６の音声レベルを、「１／２」になるようにレ
ベル調整し、音声波形ＷＡＶ７を生成する。このように
してＣＰＵ１２によって抽出された全ての動画像データ
のキーシーンに対応する音声について総和合成，平均
化，レベル調整が行われて生成された音声波形ＷＡＶ７
が再生され、スピーカ２１により音声波形ＷＡＶ７に基
づいた音声を発生させる。

【００４０】このように「モード１」においては、動画
像データの表示が動画像データ毎に個別に設定された代
表ショットに基づくアイコン表示で行われるとともに、
抽出された動画像データの全てに設定されているキーシ
ーンの区間に対応する音声を合成して再生するように実
現されている。そして、代表ショットに基づくアイコン
表示だけではオペレータの所望の動画像データが特定で
きないような場合であって、検索の結果抽出された動画
像データの数が少ない場合は、どのような動画像の動画
像データが検索されたかを音声波形ＷＡＶ７に基づく音
声によって推定することができる。また、検索の結果抽
出された動画像データの数が多い場合は、全ての動画像
データのキーシーンに基づく音声が同時に再生されるこ
ととなり、雑音に近い音声となる。

【００４１】a-2）モード２について「モード２」としては、検索条件と一致して抽出された
全ての動画像データについて設定されているキーシーン
の区間が１つずつ順次に再生する機能である。動画像に
ついては、再生されるキーシーンに対応する動画像が個
々のアイコンの位置で順次に連続した状態で再生される
とともに、音声については、再生されるキーシーンの動
画像に同期して音声が順次に連続した状態で再生され
る。このときに再生される音声のレベルは、モード１の
場合と同様に、２分の１の音量になるようにレベル調整
されている。

【００４２】「モード２」においては、キーシーンとし
て設定されている区間の動画像がアイコンの表示されて
いる位置で表示される。例えば、乗り物が通過する動画
像部分がキーシーンとして設定されている動画像データ
をモード２で再生する際には、図８（ａ）〜（ｃ）のよ
うにキーシーンの再生に伴って表示状態が変化する。キ
ーシーンは先述のように動画像データの示す動画像の特
徴的な部分について設定されているため、この部分を再
生することにより、オペレータの所望する動画像データ
であるか否かの判断が容易となる。また、このキーシー
ンの区間の動画像の表示は、アイコンとして表示されて
いるサイズと略同一のサイズに変換して表示されるとと
もに、再生されるアイコンの枠の色が変化し、他のアイ
コンとの区別を視覚的に行いやすいように実現してい
る。そして、一つの動画像データに複数のキーシーンが
設定されている場合には、それらは順に繰り返される。

【００４３】このようにして、１つの動画像データにつ
いて設定されているキーシーンの動画像の再生が終了す
ると、検索の結果得られた次の動画像データにキーシー
ンの再生が移行する。以下、これらの処理を順次に繰り
返し、検索の結果得られた動画像データのキーシーンの
再生を繰り返し行う。

【００４４】また、このキーシーンの再生に伴って、音
声もスピーカ２１から出力される。このことを図９を参
照して説明する。

【００４５】図９は、「モード２」についての動画像デ
ータの音声の再生についての説明図であり、検索の結果
抽出された動画像データのキーシーンが３個である場合
を例示している。図９（ａ）は、動画像データについて
設定されているキーシーン区間ｋａの範囲の音声データ
であり、図９（ｂ）は、動画像データについて設定され
ているキーシーン区間ｋｂの範囲の音声データであり、
図９（ｃ）は、動画像データについて設定されているキ
ーシーン区間ｋｃの範囲の音声データである。

【００４６】そして、これら図９（ａ）〜（ｃ）に示す
キーシーンに対応する音声を順次に連続して再生するた
めに、図９（ｄ）に示す音声波形ＷＡＶ８を生成する。
音声波形ＷＡＶ８は単に図９（ａ）〜（ｃ）に示すそれ
ぞれのキーシーン区間ｋａ，ｋｂ，ｋｃを連続してつな
げたものである。各キーシーンのつなぎの部分には、レ
ベル調整が施され、フェードインやフェードアウトの効
果が効かされる。

【００４７】そして、得られた音声波形ＷＡＶ８の音声
レベルを、「１／２」になるようにレベル調整し、音声
波形ＷＡＶ９を生成する。このようにしてＣＰＵ１２に
よって抽出された全ての動画像データのキーシーンの音
声が、表示装置１８に表示される動画像と同期して、音
声の連続化，レベル調整が行われて生成された音声波形
ＷＡＶ９が再生され、スピーカ２１により音声波形ＷＡ
Ｖ９に基づいた音声を発生させる。

【００４８】このように「モード２」によれば、検索に
よって抽出された動画像データのキーシーンを順次に再
生する際に、アイコンの表示位置にキーシーン区間の動
画像を順次に表示するとともに、そのキーシーンに対応
する音声を順次に出力するように実現したため、視覚
的，聴覚的に動画像データを認識しやすくなり、抽出さ
れた複数の動画像データの中から確実にオペレータの所
望する動画像データを特定することができる。

【００４９】なお、「モード２」において抽出された動
画像データが多い場合は、全ての動画像データのキーシ
ーンを再生するのに要する時間が長くなるということが
ある。

【００５０】a-3）モードの切り替えについて先述したように、「モード１」と「モード２」の切換
は、当該動画像データベースシステムの初期設定におい
て任意のモードを選択することも可能であるが、自動で
モードを切り替えることも可能である。自動でモードを
切り替える方法としては、検索の結果抽出された動画像
データが予め設定されている指定個数以上である場合は
「モード１」による再生・表示となり、指定個数未満で
ある場合は「モード２」による再生・表示となる。この
場合、指定個数については予めオペレータが設定するこ
とが可能である。

【００５１】ｂ）仮選択状態での表示などの制御検索結果の表示の際に、検索条件と一致した動画像デー
タの中に少なくとも１つの仮選択された動画像データが
ある場合について説明する。非選択状態の場合の再生に
おいてスピーカ２１から発せられる音量は「１／２」に
レベル調整された音量であったが、この仮選択状態の場
合の再生においてスピーカ２１から発せられる音量には
レベル調整を施さずに本来の音声データの示す音量で出
力される。すなわち、仮選択状態における表示や再生
は、非選択状態の「モード２」で説明した内容と同様で
あり、異なる点は音声のレベル調整を行わないことであ
る。

【００５２】オペレータの操作によって設定された仮選
択状態の動画像データの全てについてのキーシーンが順
番に連続した状態で再生される。一つの動画像データに
ついて複数のキーシーンが設定されている場合には、そ
れらは順に繰り返される。また、キーシーンとキーシー
ンのつなぎの部分にはフェードインとフェードアウトの
効果が効かされている。そして、再生しているキーシー
ンに対応した動画像がアイコン位置で表示されるととも
に、動画像の表示される枠の色が変化する。

【００５３】このように、仮選択状態とされて表示・再
生されると、キーシーンが順次に連続して再生されると
ともに、動画像データに対応するアイコンの表示が、音
声を伴う動画像の表示に変化するため、再生されている
動画像データを視覚的，聴覚的に容易に認識することが
可能となる。なお、仮選択状態とする動画像データは複
数個設定することも可能である。

【００５４】また、例えば、非選択状態において検索の
結果抽出された動画像データが「モード２」で表示・再
生されている場合において、任意の動画像データをマウ
ス操作によって仮選択とすることにより、オペレータの
所望する動画像データを絞り込んでいくことが可能とな
る。

【００５５】これまで説明した非選択状態と仮選択状態
とでオペレータが所望の動画像データを確定できない場
合には、さらに、属性情報を表示装置１８に表示させる
ことも可能である。図４に示すような検索結果が表示さ
れている画面の任意の動画像データのアイコンをマウス
２０でダブルクリックすることにより、その動画像デー
タについて、図１０に示すような属性情報表示画面Ｐ４
を表示装置１８に表示させることができる。オペレータ
は、図１０の属性情報表示画面Ｐ４から当該動画像デー
タにの属性情報を確認することができる。また、マウス
２０の操作によって属性情報表示画面Ｐ４に表示された
再生ボタンＢ２１をクリックすることにより当該動画像
データの全区間が再生され、表示装置１８に本来の動画
像データの示すサイズで全区間の再生が開始されるとと
もに、その区間の音声がスピーカ２１から発せられる。
非選択状態および仮選択状態における再生は、設定され
たキーシーンの区間のみの再生であったのに対して、再
生ボタンＢ２１をクリックすることにより動画像データ
の全てが再生されることとなる。

【００５６】そして、オペレータは、属性情報の確認や
動画像データの再生によって当該動画像データが所望す
る動画像データであることを認識すると、取出しボタン
Ｂ２２をクリックすることにより、当該動画像データを
取り出すことができる。「動画像データを取り出す」と
は、動画像データベースから動画像データをコピーし、
他のプログラムなどでその動画像データを活用すること
ができるようにすることをいう。また、オペレータは、
属性情報の確認や動画像データの再生によって当該動画
像データが所望する動画像データでないことを認識した
場合は、キャンセルボタンＢ２３をクリックして属性情
報表示画面Ｐ４を終了させて検索結果表示画面などに戻
り、再び所望の動画像データの特定作業を行うこととな
る。

【００５７】このように、この実施の形態の動画像デー
タベースシステムの動画像データの検索結果の表示を行
う際には、検索によって抽出された動画像データの再生
を自動的に行うため、従来のように再生を伴わない検索
結果の表示に比して容易に動画像データの特定を行うこ
とが可能であり、オペレータに不安感が残ることもな
い。また、検索結果の表示の際には、動画像データごと
に設定された代表ショットに基づいたアイコン表示が行
われるため、従来に比較して容易に動画像データの内容
を推定することができ、作業の効率化を図ることができ
る。さらに、検索結果の表示の際に行う再生について
は、動画像データの全てを再生するのではなく、動画像
データについて設定されたキーシーンを繰り返し再生す
るため、短時間で所望の動画像データを特定することが
可能となる。このように、オペレータの所望する動画像
データを迅速かつ効率的に確実に得ることができる。

【００５８】一例を挙げて説明をすると、動画像データ
ベースに蓄積されている動画像データが、映画について
の動画像である場合には、代表ショットとして映画のタ
イトル画面を設定し、キーシーンとして映画のクライマ
ックスシーンを設定すれば、所望する映画についての動
画像データを短時間で確実に得ることが可能となる。

【００５９】＜４．フローチャート＞次に、この実施の
形態の動画像データベースシステムにおける検索から動
画像データを特定するまでの処理シーケンスについて説
明する。

【００６０】図１１は、この実施の形態の動画像データ
ベースシステムにおける検索から動画像データを特定す
るまでの処理を示すフローチャートである。まず、ステ
ップＳ２１では、ＣＰＵ１２においてオペレータの指示
により動画像データベースプログラムのうちの動画像デ
ータの検索／取り出しに関するプログラムを起動する。
そして、初期設定の画面で、非選択状態での再生モード
としてモード１とモード２のどちらか一方を選択し、設
定する（ステップＳ２２）。そして、ステップＳ２３に
おいて、動画像データの検索を行うための条件（例え
ば、キーワードなど）を入力する。そしてオペレータ
は、ステップＳ２４において検索開始の指示を入力す
る。これにより、ＣＰＵ１２は入力された検索条件に一
致する動画像データの検索を開始する。そして、検索の
結果抽出された動画像データは、代表ショットに基づく
アイコンによって表示装置１８に一覧表示されるととも
に、非選択状態における「モード１」または「モード
２」の再生モードで抽出された動画像データのキーシー
ンの音声又は動画像が再生される（ステップＳ２５）。
そして、オペレータは特定の動画像データのみを確認す
る必要があるか否かの判断を行う（ステップＳ２６）。
ここで「ＹＥＳ」と判断した場合はステップＳ２７に進
み、「ＮＯ」と判断した場合はステップＳ２９に進む。

【００６１】ステップＳ２７では、オペレータは特定の
動画像データのアイコンに対してマウス操作によるクリ
ックやマウスポインタを移動させ、非選択状態から仮選
択状態に変更させる。そして、ステップＳ２８では、仮
選択状態での表示・再生が行われる。

【００６２】そして、ステップＳ２９において、所望す
る動画像データに該当する候補の動画像データがある場
合はステップＳ３０に進み、候補の動画像データがない
場合にはステップＳ３６に進む。そして、オペレータは
候補の動画像データを選択し、マウス操作を行ってその
動画像データについての属性情報表示画面を表示させる
（ステップＳ３０）。そして、属性情報表示画面により
動画像データの最終確認を行う（ステップＳ３１）。そ
してステップＳ３２においては動画像データのキーシー
ン以外の範囲も含めた動画像全ての再生を行う場合には
ステップＳ３３の処理を行う。ステップＳ３３では、属
性情報表示画面の再生ボタンをクリックすることにより
再生指示を行う。そして、動画像データの確認の結果、
当該動画像データを取り出すか否かの判断を行う（ステ
ップＳ３４）。そして当該動画像データを取り出す場合
には取り出しの操作を行う（ステップＳ３５）。そし
て、次の検索を行う場合は、ステップＳ２２からの処理
を繰り返し、行わない場合はステップＳ３７に進み、動
画像データの検索／取り出しに関するプログラムを終了
する。

【００６３】次に、非選択状態の「モード１」での自動
再生処理について説明する。図１２は、この実施の形態
における動画像データベースシステムの非選択状態の
「モード１」での再生処理を示すフローチャートであ
る。まず、ステップＳ４１において検索の結果抽出され
た動画像データのリストを作成し、メモリ１３に記憶す
る。そしてステップＳ４１で作成したリストに基づい
て、動画像データのキーシーンの音声の再生プロセスを
検索の結果抽出された動画像データの個数分起動する。

【００６４】例えば、検索の結果抽出された動画像デー
タの数がＮ個（ただし、Ｎは任意の整数）であったとす
ると、抽出された動画像データのそれぞれのキーシーン
に対応する音声を「１／（２・Ｎ）」の音量にレベル調
整して再生プロセスを起動する。これにより、抽出され
た全ての動画像データのキーシーンの音声が総和合成さ
れるとともに、「１／２」の音量レベルにレベル調整す
ることができる。

【００６５】そして、ステップＳ４３で「ＮＯ」と判断
されるまで「モード１」による再生を繰り返す。再生を
終了する場合は、ステップＳ４４で各再生プロセスを停
止させて終了する。

【００６６】次に、非選択状態の「モード２」での自動
再生処理について説明する。図１３は、この実施の形態
における動画像データベースシステムの非選択状態の
「モード２」での再生処理を示すフローチャートであ
る。まず、ステップＳ５１において検索の結果抽出され
た動画像データのリストを作成し、メモリ１３に記憶す
る。そして、以前に再生していたキーシーンの再生が終
了したか否かの判断が行われる（ステップＳ５２）。再
生中である場合は、ステップＳ５８に進み、終了してい
る場合にはステップＳ５３に進む。ステップＳ５３で
は、再生が終了した動画像データのキーシーンの再生に
かかわっていた各プロセスを停止させる。ステップＳ５
４では、ステップＳ５１で作成したリストに基づいて次
に再生する動画像データを特定する。ステップＳ５５で
は、ステップＳ５４で特定された動画像データのアイコ
ンの枠色を変更するための処理プロセスを起動する。そ
して、ステップＳ５６では、ステップＳ５４で特定され
た動画像データのキーシーンについての音声を「１／
２」の音量レベルで再生を行うための音声再生プロセス
を起動する。さらに、ステップＳ５７では、ステップＳ
５４で特定された動画像データのキーシーンの動画像を
ステップＳ５５で枠色変更がされた枠内で再生を行うた
めの動画像再生プロセスを起動する。そしてステップＳ
５８に進む。なお、ステップＳ５５〜Ｓ５７について
は、他の順序で行われても良い。

【００６７】ステップＳ５８では、「モード２」での再
生を継続するか否かを決定する。オペレータによる入力
がない場合はステップＳ５２に進み、再生を継続する。
「モード２」での再生を終了する場合は、ステップＳ５
９で動画像データのキーシーンの再生にかかわっていた
各プロセス（ステップＳ５５〜Ｓ５７で起動したプロセ
ス）を停止させて処理を終了する。

【００６８】次に、仮選択状態での自動再生処理につい
て説明する。図１４は、この実施の形態における動画像
データベースシステムの仮選択状態での再生処理を示す
フローチャートである。まず、ステップＳ６１において
検索の結果抽出された動画像データのリストを作成し、
メモリ１３に記憶する。そして、以前に再生していたキ
ーシーンが終了したか否かの判断が行われる（ステップ
Ｓ６２）。再生中である場合は、ステップＳ６８に進
み、終了している場合にはステップＳ６３に進む。ステ
ップＳ６３では、再生が終了した動画像データのキーシ
ーンの再生にかかわっていた各プロセスを停止させる。
ステップＳ６４では、ステップＳ６１で作成したリスト
に基づいて次に再生する動画像データを特定する。ステ
ップＳ６５では、ステップＳ６４で特定された動画像デ
ータのアイコンの枠色を変更するための処理プロセスを
起動する。そして、ステップＳ６６では、ステップＳ６
４で特定された動画像データのキーシーンについての音
声を通常の音量レベルで再生を行うための音声再生プロ
セスを起動する。さらに、ステップＳ６７では、ステッ
プＳ６４で特定された動画像データのキーシーンの動画
像をステップＳ６５で枠色変更がされた枠内で再生を行
うための動画像再生プロセスを起動する。そしてステッ
プＳ６８に進む。なお、ステップＳ６５〜Ｓ６７につい
ては、他の順序で行われても良い。

【００６９】ステップＳ６８では、仮選択状態での再生
を継続するか否かを決定する。オペレータによる入力が
ない場合はステップＳ６２に進み、再生を継続する。仮
選択状態での再生を終了する場合は、ステップＳ６９で
動画像データのキーシーンの再生にかかわっていた各プ
ロセス（ステップＳ６５〜Ｓ６７で起動したプロセス）
を停止させて処理を終了する。

【００７０】＜５．変形例＞上記の実施の形態では、非
選択状態における再生は、音量が「１／２」となるよう
にレベル調整していたが、これに限定するものでもな
い。仮選択状態がオペレータが意図的に特定の動画像デ
ータの動画像を出力させるものであるため、音量を大き
くして良いが、非選択状態における再生は検索結果の表
示とほぼ同時に自動的に行われるため、音量が大きいと
オペレータに不快感を与える可能性がある。そこで、意
図的な再生でない非選択状態での再生の音量を小さくす
ることにより、そのような問題を解決している。従っ
て、音量を小さくするのであれば、「１／２」以外の数
値でも良い。

【００７１】

【発明の効果】以上説明したように、請求項１に記載の
発明によれば、動画像データの示す動画像の任意の特徴
的な部分についての画像区間情報を動画像データに対応
付けて記憶し、複数の動画像データの中から所定の情報
に基づいて動画像データの検索を行い、検索によって抽
出された動画像データにつき、当該動画像データに対応
した画像区間情報に基づいて検索結果表示用の動画像や
音声の再生を行うため、容易に動画像データの特定を行
うことが可能であり、オペレータに不安感が残ることも
ないとともに、短時間で所望の動画像データを特定する
ことが可能となり、オペレータの所望する動画像データ
を迅速かつ効率的に確実に得ることができる。

【００７２】請求項２に記載の発明によれば、１つの動
画像データについて複数の画像区間情報を対応付けて記
憶することが可能であるため、動画像データの特定をよ
り確実かつ容易なものとすることができる。

【００７３】請求項３に記載の発明によれば、さらに、
動画像データの示す動画像の任意の特徴的な一画像につ
いての特徴画像を動画像データに対応付けて記憶し、検
索によって抽出された動画像データにつき、当該動画像
データに対応した特徴画像に基づく静画像を表示するた
め、その動画像データがどのような内容についての動画
像であるかを視覚的に認識することが可能となる。

【００７４】請求項４に記載の発明によれば、コンピュ
ータ読み取り可能な記録媒体に記録された動画像データ
ベースプログラムをコンピュータが読み取り実行するこ
とにより、容易に動画像データの特定を行うことが可能
であり、オペレータに不安感が残ることもないととも
に、短時間で所望の動画像データを特定することが可能
となり、オペレータの所望する動画像データを迅速かつ
効率的に確実に得ることができる動画像データベースシ
ステムを実現することが可能となる。

【図面の簡単な説明】

【図１】この発明の実施の形態である動画像データベー
スシステムの構成を示す概略図である。

【図２】この発明の実施の形態における動画像データの
キーシーン，代表ショットの設定方法を説明するための
説明図である。

【図３】この発明の実施の形態の動画像データベースシ
ステムにおける動画像データの登録の処理を示すフロー
チャートである。

【図４】この発明の実施の形態の動画像データべースシ
ステムにおける検索結果の表示の一例を示す図である。

【図５】この発明の実施の形態の動画像データベースシ
ステムの非選択状態と仮選択状態と示す図である。

【図６】２つの動画像データの音声波形を示す図であ
る。

【図７】この発明の実施の形態の動画像データベースシ
ステムのキーシーンの音声の総和合成を示す説明図であ
る。

【図８】この発明の実施の形態の動画像データベースシ
ステムにおけるキーシーンの再生に伴う動画像データの
アイコンの変化を示す図である。

【図９】この発明の実施の形態の動画像データベースシ
ステムの「モード２」についての動画像データの音声の
再生についての説明図である。

【図１０】この発明の実施の形態における属性情報表示
画面を示す概念図である。

【図１１】この発明の実施の形態の動画像データベース
システムにおける検索から動画像データを特定するまで
の処理を示すフローチャートである。

【図１２】この発明の実施の形態における動画像データ
ベースシステムの非選択状態の「モード１」での再生処
理を示すフローチャートである。

【図１３】この発明の実施の形態における動画像データ
ベースシステムの非選択状態の「モード２」での再生処
理を示すフローチャートである。

【図１４】この発明の実施の形態における動画像データ
ベースシステムの仮選択状態での再生処理を示すフロー
チャートである。

【図１５】従来の動画像データベースシステムにおける
操作手順を表示装置に表示される画面で示した説明図で
ある。

【符号の説明】

１１入出力装置１２ＣＰＵ１３メモリ１４記憶部１５，１６，１７インタフェース１８表示装置１９キーボード２０マウス２１スピーカＤ可搬性記録媒体

Claims

【特許請求の範囲】

【請求項１】動画像データを取り扱うコンピュータに
おいて、(a) 動画像データの示す動画像の任意の特徴的
な部分についての画像区間情報を前記動画像データに対
応付けて記憶する記憶手段と、(b) 複数の動画像データ
の中から所定の情報に基づいて動画像データの検索を行
う検索手段と、(c) 前記検索手段によって抽出された動
画像データにつき、当該動画像データに対応した前記画
像区間情報に基づいて検索結果表示用の動画像および／
または音声の再生を行う再生手段と、を備えることを特
徴とする動画像データベースシステム。
【請求項２】請求項１に記載のシステムにおいて、前記記憶手段は、１つの動画像データについて複数の前
記画像区間情報を対応付けて記憶することが可能である
ことを特徴とする動画像データベースシステム。
【請求項３】請求項１または２に記載のシステムにお
いて、前記記憶手段は、さらに、動画像データの示す動画像の
任意の特徴的な一画像についての特徴画像を前記動画像
データに対応付けて記憶し、前記検索手段によって抽出された動画像データにつき、
当該動画像データに対応した前記特徴画像に基づく静画
像を表示することを特徴とする動画像データベースシス
テム。
【請求項４】コンピュータを、(a) 動画像データの示
す動画像の任意の特徴的な部分についての画像区間情報
を前記動画像データに対応付けて記憶する記憶手段、
(b) 複数の動画像データの中から所定の情報に基づいて
動画像データの検索を行う検索手段、および、(c) 前記
検索手段によって抽出された動画像データにつき、当該
動画像データに対応した前記画像区間情報に基づいて検
索結果表示用の動画像および／または音声の再生を行う
再生手段、として機能させるための動画像データベース
プログラムを記録したコンピュータ読み取り可能な記録
媒体。