WO2003102953A1

WO2003102953A1 - Authoring device and authoring method

Info

Publication number: WO2003102953A1
Application number: PCT/JP2003/005737
Authority: WO
Inventors: Yuji Okada; Katsunao Takahashi; Wataru Fujikawa; Koichi Emura
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-31
Filing date: 2003-05-08
Publication date: 2003-12-11
Anticipated expiration: 2004-11-30
Also published as: JP4065142B2; AU2003235876A1; EP1511035A4; EP1511035A1; CN1596445A; JP2004007271A; US7849406B2; US20040263529A1; CN100462960C

Description

明細書ォ一サリング装置およびォ一サリング方法技術分野

本発明は、動画ヘインデックス情報の付与を行うォーサリング装置およびォーサリング方法に関する。背景技術

近年、動画をデジタルファイルとして保存することが普及している。それに伴い膨大な量の動画ファイルから所望のものを迅速に検索したり、効率的に管理したりすることが困難になってきている。これを解決するために、動画へのィンデヅクス情報の付与、およびィンデヅクス情報を使用した映像検索や映像要約の方法が提案されている。

この方法としては、例えば、特開平 11— 288424号公報に開示された方法がある。この公報には、映像の特定の時間区間と対応させたキーワード情幸艮等を動画ファイルとは別のファイルで用意しておき、そのファイルを検索等に用いる方法が具体的に示されている。

ィンデックス情報ファイルの書式は広く普及している XMLフォーマヅトで記述するのが一般的で、さらに今日では映像コンテンツの記述を目的とした MP EG 7規格も提案されている。

ィンデックス情報としては映像内容に対応するキ一ヮ一ドを映像の時間区間と対応させてテ一ブル化することがキ一ワードを使つた検索を行うために有効であるが、 MPEG7規格ではさらに、そのキーワードがどの程度映像に該当しているかを示す該当レベルも付与することが提案されている。なお、 M PEG 7規格ではキ一ワードと該当レベルをそれそれ、 Po int Of Vi e w (観点）、 Importance (スコア）という名称で扱っている。この該当レベルの使用方法を次に説明する。例えば 30分のスポ一ヅ映像があるとする。予めこの映像の重要な部分（映像区間）に「重要」というキ一ワードを付与しておけば、このスポ一ヅ映像のダイジェストを作成する際に、「重要」が付与されている時間区間のみをつなぎ合わせることで、ダイジエスト映像を簡単に作成することができる。

しかしながら、ダイジェスト映像の時間は「重要」が付与された時間の合計時間である。よって、上述したダイジェスト映像の生成方法では、例えばダイジエスト映像の時間を 3分になるようにしたい、 1分になるようにしたいといつた要望には応えられない。

このような場合、該当レベルを「重要」というキ一ワードに付与しておけば、該当レベルの高い順に時間区間を足しこんでいくことにより、前述したようなダイジエスト映像の時間を指定するという要望にも応えられる。

例えば、重要度の程度に応じて、該当レベルを 1. 0から 0. 1まで 0. 1 刻みで 10段階使用し、映像に付与したとする。 1分のダイジェストの要望があつたときに、まず該当レベル 1. 0が付与されている区間を合計する。その合計時間が 1分に満たなければさらに該当レベル 0. 9の区間を合計する。このように該当レベルの高い順に時間区間を追加しておくことにより希望された 1分にもっとも近くなるようにダイジヱスト映像を作成することが可能となる。

もちろん、ダイジエスト映像を再生する際には各区間を時系列順に再生することにより時系列的に矛盾のないダイジヱストを再生することができる。キーヮ一ドを付与するォーサリングプログラムは例えばパイオニア R&D Vo l. 11 No. 2 (2001年 9月） 27ページ「MP E G— 7アプリケ一シヨンの開発」に一例が記述されている。この例と同様に従来のォ一サリングプログラムは、インデックス情報を入力するのに、ユーザが各シーン対し直接数値や文字を入力するような GU I (gr aphi c user int erf ace) が提案されている。

しかしながら、従来のォ一サリングプログラムによる方法では、キーワードと該当レベルを映像の時間区間であるシーンに付与することはできても、各シーンに対してキ一ヮ一ドと該当レベルを付与した結果を直感的あるいは視覚的に把握することができない。よって、各シーン間にキ一ワードと該当レベルを付与した結果、つまり映像全体にどのようにキ一ワードと該当レベルが付与されているかという状況を確認することが考慮されていない。

このため、各シーン間に該当レベルがバランスよく付与されているか、高い該当レベルはどの部分に付与されているかといったことが判りづらく、ィメ一ジ通りのォ一サリング作業を行うのに膨大な時間を要する結果となっている。また、各シーンにキーワードと該当レベルをいちいち手入力するという点でも作業に時間がかかっている。発明の開示

本発明の目的は、映像シーンへのキ一ヮ一ドと該当レベルの付与の操作性を高め、なおかつキ一ヮ一ドと該当レベルの付与状況を視覚的に確認できるようにすることである。

本発明は、時間の軸と所定のキーヮ一ドに対する該当レベルの軸とが交差するマトリクス平面を表示し、動画ファイルを所定区間に区切ったシーンを示す識別子をマトリクス平面上に配置して表示し、ユーザがマトリクス平面上に配置した識別子の位置を所望の移動した場合に、マトリクス平面上に配置された識別子の位置に対応する該当レベルを識別子に対応するシーンの該当レベルとして決定するようにしたものである。

これにより、マトリクス平面上でシーンに対してキーワードと該当レベルを入力できるので、シーンへのキ一ヮ一ドと該当レベルの付与の操作性を高め、なおかつキーワードと該当レベルの付与状況を視覚的に確認できる。図面の簡単な説明

図 1は、本発明の実施の形態 1にかかるォーサリング装置の構成図であり、図 2は、実施の形態 1にかかるメ夕デ一夕の構成図であり、

図 3は、実施の形態 1にかかる XMLを用いたメ夕デ一夕のファイルを示す図であり、

図 4は、実施の形態 1にかかる G U Iの構成を示した図であり、

図 5は、実施の形態 1にかかるォ一サリング装置のォ一サリング処理のフロ —図であり、

図 6は、実施の形態 1にかかるォ一サリング装置のダイジエスト映像再生のフロー図であり、

図 7は、実施の形態 1にかかるォ一サリング処理装置のダイジエスト映像の合計時間を表示するフロ一図であり、

図 8は、実施の形態 1にかかるォ一サリング装置のシ一ン長さ調整のフロー図であり、

図 9は、実施の形態 1にかかるシーンの時間引継ぎのイメージ図であり、図 1 0は、本発明の実施の形態 2にかかる G U Iの構成を示す図であり、そして、図 1 1は、実施の形態 2にかかるォーサリング装置のォ一サリング処理フロ一図である。発明を実施するための最良の形態，

(実施の形態 1 )

以下、本発明の実施の形態 1について、添付図面を用いて説明する。まず、実施の形態 1にかかるォ一サリング装置の構成について説明する。図 1は、実施の形態 1にかかるォーサリング装置の構成図である。

実施の形態 1にかかるォ一サリング装置 1 0 0には、ォ一サリングに関する各種処理を行うォ一サリング処理部 1 0 1が設けられている。

ォ一サリング装置 1 0 0には、ォ一サリング処理部 1 0 1がォ一サリングする動画ファイルを入力する装置として、動画ファイル入力部 1 1 3が設けられている。

動画ファイル入力部 1 1 3は、例えば、ビデオカメラや、動画ファイルを格納した C D、 D VD等の記憶媒体や、動画を放送や通信等で配信する装置であつても良い。また、ォ一サリング装置 1 0 0には、ォ一サリング処理部 1 0 1が使用する各種情報を記憶する記憶部 1 0 2が設けられている。記憶部 1 0 2は、ォ一サリング装置 1 0 0が内部に備えるディスク等であってもいいし、外部のサーバ —等の記憶媒体であってもよい。

記 I 部 1 0 2は、動画ファイル入力部 1 1 3から入力された、ォ一サリングの対象とする動画ファイル 1 0 3を保持する。また、記憶部 1 0 2は、ォ一サリングの結果作成されたィンデヅクス情報、すなわちメ夕デ一夕 1 0 4も保持する。なお、記憶部 1 0 2は、動画ファイル 1 0 3およびメ夕デ一夕 1 0 4を別々の記憶媒体に保存する形態であっても、同一の記憶媒体に記憶する形態であっても良い。

ここで、メ夕デ一夕 1 0 4について図 2を用いて説明する。図 2は、実施の形態 1にかかるメ夕デ一夕の構成図である。

図 2に示すように、メタデータは、縦軸に時間 2 0 1、横軸に複数のキーヮ —ド 2 0 2、そして時間 2 0 1とキーワード 2 0 2の交差する位置に該当レべル 2◦ 3を記述したテーブルとして記憶されている。

また、縦軸の時間 2 0 1は、シーン単位で区切られている。なお、図 2の例では、縦軸を時間 2 0 1で示しているが、単純にシーンの番号にするようにしても良い。

また、メタデ一夕のテーブルをファイル化するには種々の方法が提案されているが、本実施の形態では MP E G 7の規格に基づいて、 XMLを用いる。ここで、メ夕デ一夕を、 XMLを用いてファイル化したものについて図 3を用いて説明する。図 3は、実施の形態 1にかかる XMLを用いたメタデータのファイルを示す図である。なお、図 3は、図 2に示すテーブルに対応したものであるが、説明の簡易化のために、図 2に示すテ一ブルのうち時間が 0 ： 3 1 〜 0 : 3 6および 0 : 3 9〜 0 : 4 8の区間に対する部分のみの記述になっている。

図 3に示す XMLのファイルには、二つのセグメント 2 0 4 a、 2 0 4 bが記述されている。二つのセグメント 2 0 4 a、 2 0 4 bには、図中 2 0 5 a、 205 bに示すように、図 2に示す 0 ： 3 1〜0 ： 36および 0 ： 39〜0 ： 48の区間に対応するような時間情報が記述されている。また、二つのセグメント 204 a、 204 bには、図中 206 a、 206 bに示すように、図 2に示すキーワード「シュート」および「重要」が Po int OfVi ewの部分に Ϊ3述されている。そして、二つのセグメント 204 a、 204bには、図中 207 a, 207 bに示すように、キーワード「シュート」および「重要」に対応した該当レベル（Impo r t ance) が記述されている。

このようにメタデ一夕を X M Lで記述することにより、汎用性を持たす事ができる。

なお、マークアップ記述言語として SGMLを用いても良い。また、メ夕デ —夕の方式として、マークァヅプ記述言語以外を用いても良い。

ここで、図 1を用いた、ォ一サリング装置 100の説明に戻る。

ォ一サリング装置 100には、ォ一サリング処理部 10 1が処理した結果を表示する表示部 105と、ォ一サリング処理部 10 1に各種情報を入力するための操作部 106が設けられている。操作部 1◦ 6は、キ一ボード、マウス等で構成することができる。

次に、ォーサリング処理部 101の構成について説明する。ォ一サリング処理部 101には、操作部 106から入力されたユーザのォーサリング作業情報を内部に入力する入力処理部 107が設けられている。

また、ォ一サリング処理部 10 1には、フレーム抽出部 108が設けられている。フレーム抽出部 108は、ユーザによるォーサリング作業に先立って、対象とする動画ファイル 103を読み出し、シーンの区切りを形成する。シーンの区切りは例えば 10秒単位といったように時間単位で区切ってもいいし、動画を構成する一枚一枚のフレーム画像の前後を比較して画像が不連続になるポイント、いわゆるカットを検出してそこを区切りにしてもよい。

また、フレーム抽出部 108は、以上のような手法を用いてシーンを区切つた後に、各シーンの代表フレーム画像を抽出する。代表フレーム画像は各シ一ンの最初のフレーム画像としてもよいし、時間区切りの中央に位置するフレー 0305737

7 ム画像としてもよい。近年では画像の特徴認識技術を用いて顔などの特徴的なイメージが含まれるフレーム画像を代表画像として抽出する技術も開発されているので、この技術を採用しても良い。

また、ォ一サリング処理部 101には、動画ファイル 103を読み込み再生する動画再生部 109が設けられている。また、動画再生部 109は、ダイジエスト映像の再生も行う。

また、ォ一サリング処理部 101には、フレーム抽出部 108により抽出されたフレーム画像をォーサリングのための GU I (graphic user int erf ace) に合成する GUI処理部 110が設けられている。 GU I処理部 110は、入力処理部 107から入力された内容を GU Iに反映して出力処理部 111に送る。また、 GUI処理部 110は、ダイジェスト映像の生成も行う。

出力処理部 111は、表示部 105に GUIを出力し、表示部 105がュ一ザに GUIを表示する。

また、ォ一サリング処理部 101には、各シーンにキーワードおよび該当レベルを関連付け、記憶部 102のメ夕デ一夕 104を更新するメタデータ編集部 112が設けられている。

次に、 GU 10が合成するォーサリングの GUIについて説明する。

本実施の形態にかかる GU Iは、横軸がタイムライン、縦軸が所定のキ一ヮ一ドに対する該当レベルであるマトリクス平面上に、ユーザが映像シーンを示す識別子（代表フレ一ム画像）を配置することにより、特定のキ一ワードに対する映像シーンの該当レベルを決定する GU Iを備えることを特徴としている。

以下、 GUI処理部 110が合成するォ一サリングの G U Iについて図 4を用いて詳細に説明する。図 4は、実施の形態 1にかかる GUIの構成を示した図である。

ォ一サリングの GUI 301のメインウィンドウ 302は、横軸に時間、縦軸に該当レベルを取ったマトリクス平面となっている。

また、メインウィンドウ 3 0 2には、動画ファイル 1 0 3から抽出したシ一ンの代表フレーム画像（シーンフレーム画像） 3 0 3 a〜3 0 3 dが、その時間に合わせた位置に配置される。このシーンフレーム画像 3 0 3 a〜3 0 3 d は、映像シーン毎にひとつあるものである。

また、ォ一サリングの G U I 3 0 1のメインウィンドウ 3 0 2における上部には、各シーンに付与するためのキ一ヮ一ドを指定するキ一ヮ一ドウインドウ 3 0 4が設けられている。ュ一ザは、キ一ヮ一ドを予め作成したキーヮ一ドリストから選択してもよいし、直接入力してもよい。

また、メインウィンドウ 3 0 2の左側部には、複数の該当レベル 3 0 5 a〜 3 0 5 dが縦方向に昇順で記述されている。また、該当レベル 3 0 5 a〜3 0 5 dの上部近傍には、それそれ該当レベル 3 0 5 a〜3 0 5 dを用いてダイジエスト映像を作成した場合の合計時間 3 0 6 a〜3 0 6 dが記述されている。また、該当レベル 3 0 5 a〜3 0 5 dの上部には、それそれ該当レベル 3 0 5 a〜3 0 5 dを用いて作成したダイジエスト映像を再生する再生ボタン 3 0 7 a〜3 0 7 dおよび停止ボタン 3 0 8 a〜3 0 8 dが配置されている。また、シーンフレーム画像 3 0 3 a〜3 0 3 dの下部には、シーンフレーム画像 3 0 3 a〜 3 0 3 dに対応するシーンの長さを示すタイムバー 3 0 9 a 〜3 0 9 dが表示されている。

また、メインウィンドウ 3 0 2の下部には、タイムバー 3 0 9 a〜3 0 9 d の時間の縮尺を示す時間縮尺 3 1 0が表示されている。タイムバ一 3 0 9 a〜 3 0 9 dは、時間縮尺 3 1 0に基づいたバーの長さで表現されている。

このようにタイムバ一 3 0 9 a〜3 0 9 bを備えることで、各シーンの長さを視覚的に把握でき、該当レベル 3 0 5 a〜3 0 5 dを指定することによる再生時間を行い易くできる。

また、このタイムバー 3 0 9 a〜3 0 9 dは、該当レベル 3 0 5 a〜3 0 5 d別の合計時間 3 0 6 a〜3 0 6 dを調整する際や、シーンの該当レベルを変更した際に、該当レベル 3 0 5 a〜3 0 5 d別の合計時間 3 0 6 a〜3 0 6 d の予測ができて便利である。また、タイムバー 3 0 9 a〜3 0 9 dは、各シ一ン間の長さのバランスを調整する際にも、各シーンの長さが直感的に把握できて有用性が高い。

なお、タイムバ一 3 0 9 a〜3 0 9 dの位置は、シーンとの関連がわかるならばシーンフレーム画像 3 0 3 a〜3 0 3 dの下に限ったものではなく上下左右どこに配置してもよい。

また、メインウィンドウ 3 0 2の上部には、シーンをカヅト点で区切るのではなく所定の間隔で区切る際に、区切る間隔を入力するためのシーン間隔入力部 3 1 1が配置されている。これにより、ユーザが所望の間隔を入力することで、所望の長さのシーンを生成できる。これにより、カヅト点があまりない動画の場合に、シーンの長さが長くなつてしまうことを防げる。

また、 G U I 3 0 1には、シーンを所望の長さに分割するために使用する分割ウィンドウ 3 1 2が設けられている。分割ウィンドウ 3 1 2には、選択したシーンを再生する再生ボタン 3 1 3、コマ送り巻き戻し再生するコマ送り卷き戻しボタン 3 1 4、コマ送り再生するコマ送り再生ボタン 3 1 5、静止画を表示するポーズボタン 3 1 6および、現在再生されている位置でシーンを分割するための分割ボタン 3 1 7が設けられている。

ユーザは、所望のシーンを分割しょうとする場合に、所望のシーンをクリツクして選択し、その後各種ボタン 3 1 3〜3 1 6を用いてシーンを再生し、所望の位置を検出した後に分割ボタン 3 1 7を押下することで、シーンを分割できる。

次に、ユーザによるォーサリング作業に伴うォ一サリング装置 1 0 0の処理の流れについて、図 5を用いて説明する。図 5は、実施の形態 1にかかるォーサリング装置のォ一サリング処理のフロ一図である。

まず、ォーサリング装置 1 0 0は、記憶部 1 0 2の動画ファイル 1 0 3を参照し、動画ファイルの一覧を表示部 1 0 5に表示する。そして、ユーザが操作部 1 0 6を操作することで、ォ一サリングを行う対象の動画ファイルを選択すると、入力処理部 1 0 7が動画フアイル 1 0 3の選択情報を G U I処理部 1 1 JP03/05737

10

0に送る。次に、 GUI処理部 110は、この選択情報をフレーム抽出部 10 8に送る。

そして、フレーム抽出部 108は、ユーザが選択した動画ファイル 103を読み込む（ST401)。次に、フレーム抽出部 108は、読み込んだ動画フアイル 103をシーンの特定の時間で区切り、シーンフレーム画像の抽出を行う（ST402) 。次に、フレーム抽出部 108は、抽出したシーンフレーム画像を GUI処理部 110に送る。

そして、 GUI処理部 110は、メインウィンドウ 302を生成し、フレーム抽出部 108が抽出したシーンフレーム画像をメインウィンドウ 302の所定の位置に配置し、出力処理部 111に送る。そして、出力処理部 111が、このシーンフレーム画像を所定の位置に配置したメインウィンドウ 302を表示部 105に表示する（ S T 403 ) o

ST 403の処理を詳細に説明すると、 GU I処理部 110は、複数のシーンフレーム画像 303 a〜303 dを、まず、メインウィンドウ 302に、時系列に左から右に並べる。次に、 GUI処理部 110は、シーンフレーム画像 303 a~303 dを縦軸の該当レベル 0の位置に全て配置する。したがって、ォ一サリング作業前の状態には、シーンフレーム画像 303 a~303 dは、該当レベル 0の列に時間軸方向に時系列順に並べられることになる。

なお、シーンフレーム画像 303 a〜303 dに既に該当レベルが付与されている場合は、シーンフレーム画像 303 a〜303 dを、シーンフレーム画像 303 a〜303 dに付与されている該当レベルに対応する位置に配置するようにしても良い。

次に、ユーザが操作部 106を操作してキ一ヮ一ドウインドウ 304にキ一ワードを指定する。次に、ュ一ザがシーンフレ一ム画像 303a〜 303 dをドラッグ ·アンド - ドロヅプし、縦方向に移動し、入力したキ一ヮ一ドに対する適切な該当レベル（該当度）の位置に配置する。

これに対して、入力処理部 107が、ユーザにより入力されたキーワードおよび配置されたシーンフレーム画像 303 a〜303 dに対応する該当レべ 37

11 ルを GUI処理部 110に入力する（ST404) 。そして、 GUI処理部 1 10は、入力されたキーワードおよびシーンフレーム画像 303a〜 303d に対応する該当レベルをメタデ一夕編集部 112に送る。

メ夕デ一夕編集部 112は、各シーンフレーム画像 303 a〜303 dに対応したシーンのキ一ワードに該当レベルを関連付け、システムの HAMのような記憶部にォ一サリング作業内容を一時的に記憶する（ST405) o

なお、この形態では、メ夕デ一夕編集部 112は、メタデ一夕 104の更新情報を、システムの RAMのような記憶部にォ一サリング作業内容を一時的に記憶しておき、ォ一サリング作業終了後に一括してメ夕デ一夕 104を更新するが、メ夕デ一夕 104の更新を、ユーザによるォーサリング作業中にリアルタイムに亍つてもよい。

そして、ォ一サリング装置 100は、 ST404、 ST 405の処理を、ュ —ザが入力した全てのキーワード毎に繰り返す（ST406) o

このようにして、ひとつのシーンに複数のキーワードを付与することができる。

そして、ォ一サリング作業終了後、ユーザにより、各シーンフレーム画像 3 03 a〜303 dに対応したシーン（ファイル）にメ夕デ一夕 104を保存するという選択がされると（ST407)、メ夕データ編集部 112は、記憶しておいたメタデ一夕をシーン倩報として保存して（ST408)、処理を終了する。

このようにして、動画ファイルの各シーンに対するキ一ヮ一ドおよび該当レベルの付与を従来の直接的な数値入力ではなく、シーンフレーム画像をメインウインドウ 302上でドラッグ ·アンド · ドロップするという動作で行える。これにより、操作性を格段に向上させることができる。 ...

また、ユーザは、シーン毎に付与した該当レベルの値を視覚的に一目で把握できる。これにより、全体状況を把握しつつ該当レベルの修正を行うといった際の効率がよくなる。

次に、実施の形態 1にかかるォーサリング装置 100による、メタデ一夕を用いたダイジェスト映像再生について、図 6を用いて説明する。図 6は、実施の形態 1にかかるォーサリング装置のダイジヱスト映像再生のフロ一図である o

ダイジエスト映像再生は、ユーザが例えば 3時間のスポ一ヅ動画ファイルから重要シーンのみのダイジェストを見たい場合に、前述した方法で作成されたメ夕デ一夕を使用して動画ファイルから所望のダイジェストを生成し、再生するものである。なお、以下に説明する処理をプログラムにし、コンピュータがこのプログラムを読み込んで処理する形態であっても良い。

まず、ォ一サリング装置 100の動画再生部 109が、ュ一ザにより指定された動画ファイル 103の存在を確認し、指定された動画ファイル 103を読み込み、 GU I処理部 110に入力する（ST 501) 。

次に、ォ一サリング装置 100のメ夕デ一夕編集部 112が、動画ファイル 103に対応付けられているメタデ一夕 104を検索して読み込み、 GUI処理部 110に入力する（ S T 502 ) 。

次に、 GUI処理部 110が、メインウィンドウ 302 (GUI画面）を生成し、出力処理部 111表示処理部 111を介して表示部 105に送信し、表示部 105がメインウィンドウ 302を表示する（ST 503) 。

なお、 ST 50：！〜 503の順序は前後しても構わない。

次に、メインウインドウ 302を見たユーザが操作部 106を操作して、該当レベルとキーワードを入力すると、 GUI処理部 110は、ユーザが ST 5 01において指定した動画ファイルのシーンフレーム画像を、メインウィンドゥ 302の、入力されたキーワードの該当レベルに応じた位置に配置する。これにより、ユーザは、視覚的に、該当レベル毎に配置されたシーンを認識できる。

次に、ユーザが、メインウィンドウ 302を見て、所望の該当レベルに対応する再生ボ夕ン 307a〜307dを押下すると、入力処理部 107が押下された再生ボタン 307 a〜307 dの該当レベルと、キーワードを GU I処理部 110に入力する（ST 504) 。次に、 GU I処理部 1 1 0が、 S T 5 0 2において読み込んだメタデ一夕 1 0 4を検索して（S T 5 0 5 ) 、ユーザが指定したキーワードの該当レベル以上のシ一ンフレーム画像を抽出し、抽出したシーンフレーム画像のリストを作成する（S T 5 0 6 ) 。そして、 G U I処理部 1 1 0は、 S T 5 0 6で作成したリストを参照しながら、リストに対応した動画ファイル（シーン） 1 0 3を連続再生する（S T 5 0 7 ) 。

このようにして、メ夕デ一夕を使用して、ユーザが指定したキーワードおよぴ該当レベルに対応するダイジェスト映像を作成する。

しかしながら、ユーザが該当レベルの指定をしただけでは、所望の再生時間のダイジエスト映像が得られるとは限らない。ユーザとしては、適切な再生時間のダイジェスト映像が得られることが望ましい。例えば、該当レベル 3 3 0 5 aを選択したときには 3 0秒のダイジェスト、該当レベル 2 3 0 5 bを指定したときには 1分のダイジェスト、該当レベル 1 3 0 5 cを指定したときには 2分のダイジエストが定常的に得られれば、自分の自由な時間に応じて映像視聴をすることが可能になる。

このようなサービスを実現するにはォ一サリング作業の時点で各該当レべルでの再生時間が適正になるよう名インデックス情報（メ夕データ）を作成する必要がある。

そのため、実施の形態 1では、図 4に示すように各該当レベル 3 0 5 a〜3 0 5 dを用いてダイジエスト映像を生成した場合の合計時間 3 0 6 a〜3 0 6 dが表示されるようになっている。これにより、ュ一ザは、該当レベル指定による再生時間がどの程度になるか把握しながらォ一サリング作業を進めることができる。

また、合計時間 3 0 6 a〜3 0 6 dは、各該当レベル 3 0 5 a〜3 0.5 d以上の該当レベルを持つシーンの合計時間 3 0 6 a〜3 0 6 dとすることにより、ユーザの利用シーンと整合性が取れて利便性がより高まる。しかし、合計時間 3 0 6 a〜3 0 6 dを、同一の該当レベル 3 0 5 a〜3 0 5 dを持つシ一ンの合計時間としてもよい。次に、 GUI処理部 110がダイジェスト映像の合計時間 306a〜 306 dを表示する処理について図 7を用いて説明する。図 7は、実施の形態 1にかかるォ一サリング装置 100のダイジエスト映像の合計時間を表示するフロ —図である。

まず、フレーム抽出部 108が、ユーザが選択した動画ファイル 103を読み込む（ST601)。次に、フレーム抽出部 108が、読み込んだ動画ファィルをシーンの特定の時間で区切り、シーンフレーム画像の抽出を行い、 GU I処理部 110に入力する（ST 602)。

このとき、 GU I処理部 110は、各シーンの長さを認識し、 GU I 301、タイムバー 309 a〜309. dおよび時間縮尺 310を、出力処理部 111を介して表示部 105に出力する。そして、表示部 105がタイムバー 309 a 〜309 dおよび時間縮尺 310をメインウィンドウ 302に表示する。次に、 GUI処理部 110は、該当レベル 305 a〜305 d別に含まれるシーンの合計時間 306 a~306 dを計算して、出力処理部 111を介して表示部 105に出力し、表示部 105が、合計時間 306a〜306dを GU 1301に表示する（ST 603) 。

次に、ユーザが、キ一ワードおよび該当レベルを更新するために、新たにキ —ヮ一ドを入力し、さらにシーンフレーム画像 303 a〜303 dを上下にドラッグ ·アンド · ドロップすると、入力処理部 107は入力されたキ一ヮ一ドおよびシーンフレーム画像 303 a〜303 dの配置された位置に対応する該当レベル 305 a〜305 dを GU I処理部 110に入力する（S T 60 4) o

そして、 GUI処理部 110が、シーンフレーム画像 303 a〜303 dのキーワードおよび該当レベルを、入力されたキーワードおよび該当レベルに変更することで、シーンフレーム画像 303 a〜303 dのインデックス'魔報を更新する（ST 605) c

このとき、 GU I処理部 110は、変更された該当レベル 305 a〜305 d別にシーンの合計時間 306 a〜306 dを再計算して表示する（ST 60 6 ) o

さらに、ュ一ザが別のキーワードを入力した場合は、 GU I処理部 1 1 0は、 S T 6 0 4〜S T 6 0 6の処理を繰り返す（S T 6 0 7 ) 。

そして、ォーサリング作業終了後、ュ一ザが、各シーンフレーム画像 3 0 3 a〜 3 0 3 dに対応したシーン（ファイル）に更新したシーン情報を保存するという選択をすると（S T 6 0 8 )、メタデ一夕編集部 1 1 2は、記憶しておいたシーン倩報を保存して（S T 6 0 9 ) 、処理を終了する。

次に、ォ一サリング装置 1◦ 0の各シーンの長さ調整について説明する。図 5のフロー図で説明したように実施の形態 1のォ一サリング装置 1 0 0は、動画ファイル読み込み時に、自動的に時間区間の分割を行い複数のシーンを生成する。分割の方法は、上述したように、例えば 1 0秒間隔といったように特定の時間間隔で分割してもよいし、シーンの変化点で分割してもよい。

しかしながら、シーンの開始および終了点は時間調整の観点や、内容に応じた適切性の観点からヽォ一サリング作業をしている人間によって変更できることが望ましい。例えば、サヅ力一映像のゴールシーンをシーンとして区切る場合、カヅト検出や、 1 0秒間隔という区切りでは余計な映像が前後についたり、逆に映像が尻切れになったりして不都合が起こる場合がある。

シーンの開始および終了点の調整の方法としては、直接時間情報を編集してもよいが、本ォ一サリング装置 1 0 0を用いればより効率的に作業を進めることができる。

実施の形態 1のォ一サリング装置 1 0 0では、あるシーンフレーム画像を前または後に配置されたシーンフレーム画像にドラッグ'アンド · ドロップすることにより二つのシーンが結合されるようになっている。このように、メインウィンドウ 3 0 2上で簡単にシーンの結合ができる。 .

また、シーンフレーム画像をクリックするとそのシーンが最初から最後まで再生されるようになっている。

また、本ォーサリング装置 1 0 0は、ユーザが所定のシーンを再生すると同時に、再生ボタン 3 1 3、コマ送り巻き戻しボタン 3 1 4、コマ送り再生ボタン 3 1 5、静止画を表示するポーズボタン 3 1 6、および分割ボタン 3 1 7を持つ分割ウィンドウ 3 1 2が出現する。そして、ュ一ザが、ポーズボタン 3 1 6を用いて所望の位置でストップし、さらに、コマ送り巻き戻しボタン 3 1 4 およびコマ送り再生ボタン 3 1 5で位置決めを調整し、分割ボタン 3 1 7を押すことで一つのシーンが二つに分割されるようになっている。このような GU Iのしくみは j a v a (R) などのプログラム言語を使用すれば簡単に開発することができる。

これにより、メインウィンドウ 3 0 2上で映像シーンを再生しながら、所望のカツト点を検出でき、簡単に映像シーンの分割ができる。

ところで、図 5の S T 4 0 6で示すような複数のキーワードに対して、シーンの開始および終了点を調節する必要が生じた場合、キ一ヮ一ド毎にシーンの開始および終了点を調節する手間が生じる。

本実施の形態では、異なるキーワードであっても、シーン開始および終了点が同じことが頻繁に発生することに着目し、あるキーワードに対して一度時間区切りの調整をした後に、他のキ一ワードに対して時間区切り調整をする際に、あるキーワードに対して調整した時間区切りが、他のキーワードに引き継がれるようにした。

例えば、サヅ力一におけるゴールシーンはシュートシーンのうち、得点が決まったものであり時間区間の開始または終了点が同じであることは多いので、シュートで編集した時間区切りをゴールの編集で引き継げば同じ編集作業を 2度しなくてよくなり作業効率が高まるというものである。

以下、ォ一サリング装置 1 0 0の各シーンの長さ調整について、図 8および図 9を用いて詳細に説明する。図 8は実施の形態 1にかかるォ一サリング装置 1 0 0のシーン長さ調整のフロー図であり、図 9は実施の形態 1にかかるシーンの時間引 feぎのイメージ図である。

ォ一サリング装置 1 0 0の G U I処理部 1 1 0は、シーン長さ調整を開始する際に、まず映像に関連付けられているキーワードを選択する（S T 7 0 1 )。次に、 G U I処理部 1 1 0は、 S T 7 0 1において選択したキ一ヮ一ドについて、初めてのシーン長さ調整作業か判断する（S T 702) 。

そして、 ST 702において、 ST 701において選択したキ一ワードについてのシーン長さ調整処理が始めてでないと判断した場合は、 GUI処理部 1 10は、以前にこのキーワードに対して調整した時間情報を読み込む（ST7 03) o

そして、 GUI処理部 110は、以前にこのキーワードで時間調整をしたメ夕デ一夕を反映した GUI 301を表示する（ST 704) 。つまり、 GUI 処理部 110は、以前にこのキ一ワードで時間調整をしたシーンをメインウインドウ 302に並べる。

次に、ユーザが、 ST704において表示された GUI 301を見ながら分割ウィンドウ 312を操作することで、各シーンの開始点および終了点の調整を行うと、 GUI処理部 11◦はュ一ザの調整した情報を用いて、各シーンの時間調整を行う（ST 705) 。

次に、 GUI処理部 110は、処理していないキーワードがあり、引き続き他のキーワード該当レベル付与を行う場合には（ST 706)、 ST701の処理に戻る。

—方、 S T 702において、 S T 701において選択したキ一ヮ一ドについての時間調整処理が初めてであると判断した場合は、以前に他のキ一ヮ一ドで時間調整した時間データがあるか判断する（S T 707)。

そして、 ST 707において、他のキ一ワードに対して時間調整した時間デ —夕はないと判断すると、 &111処理部110は37704に進み、図 5に示すような通常の該当レベル付与の作業を行う。

一方、 ST 707において、以前に他のキーワードで時間調整した時間デ一夕があると判断すると、このキーワードに対して直前に作業した時間データがあるので、この直前に作業したキーワードに対する時間データの引継ぎ処理を行い（ S T 708 )、 S T 704の処理に移行する。

次に、 ST 708の時間デ一夕引継ぎ処理について図 9を用いて説明する。図中 901で示される図は、 GUI処理部 110が、自動的にカヅト検出して区切ったシーンの時間区切を説明する図である。

最初のキーワードのォ一サリング作業では、図中 9 0 1で示される自動的に検出されたシーンの時間区間が引き継がれ、図中 9 0 2に示す図となる。この例では、最初のキーワードが「シュート」だったとする。

次に、ユーザが、「シュート」に該当するシーンの開始終了時間おょぴ該当レベルの調整処理に移行する。この例では、ュ一ザが、「シュート」に該当するシーンの開^ (台終了時間をィ1参正して図中 9 0 3に示す開始終了時間とし、さらに、時間 0 ： 1 5〜0 ： 3 0と 1 ： 0 0〜 1 ： 3 0を該当レベル 1とする。次に、ユーザは、他のキーワードに対する開始終了時間および該当レベル付与作業を行う。この例では、ユーザは、キ一ワード「ゴール」に対する開始終了時間および該当レベル付与作業を行う。この場合、本実施の形態では、図中

9 0 3に示す開始終了時間を引き継ぎ、図中 9 0 4に示す図の閧始終了時間になる。

次に、ユーザは、図中 9 0 4で示す開始時間情報に対して、別のキ一ワード (「ゴール」 )に対する開始終了時間と該当レベルの編集をする。この例では、図中 9 0 5で示される図のように 1 : 1 5 - 1 : 3 0に該当レベル 1を付与する。

このように、複数のキーヮ一ドへの該当レベル付与を行う際に前のキーヮ一ドの時間区間を引き継ぐと作業効率が高まる。

以上説明したように実施の形態 1によれば、所定のキ一ヮ一ドを設定し、横軸が時間軸、縦軸が該当レベルであるマトリクス平面を表示し、このマトリクス平面上に配置された映像シーンを示すシーンフレーム画像の位置を所望の位置に配置することで、映像シーンの特定のキ一ヮ一ドへの該当レベルを決定するようにできる。また、映像シーンの該当レベルの状態を、時系列を加味しながら視覚的に把握しやすくなるので、簡単な作業で該当レベルの配分をできる。この結果、ォ一サリング作業効率が上がる。

また、実施の形態 1によれば、複数の異なるキーワードへの該当レベルを連続的に決定する際に、現在作業するキーワードの映像シーンの区切りを、一つ JP03/05737

19 前に作業したキーワードの区切りを引き継く、ようにできる。これにより、時間軸の区切り作業を重複して行う必要がなくなるためォ一サリング作業効率が上がる。

また、実施の形態 1によれば、該当レベル毎に、映像シーンの合計時間を表示することができる。これにより、該当レベル毎の映像シーンの合計時間を視覚的に把握でき、合計時間の長さを認識しながら該当レベルの配分を決めながら該当レベルを付与できる。この結果、ォ一サリング作業効率が上がる。

また、実施の形態 1では、時間軸と該当レベルからなるマトリクス平面（メインウィンドウ 3 0 2 ) に配置する映像シーンの識別子として動画から抽出したシーンフレーム画像を用いることで、シーンフレーム画像から映像シーンの内容を判断することができる。

なお、識別子は、必ずしもシーンフレーム画像に限るものではなレ、。例えば、識別子として、シーンフレーム画像の代わりに、シーンフレームの I Dゃシ一ンフレームの色や形状、内容などの特徴を用いてもよい。

また、実施の形態 1では動画ファイルに対するォ一サリングの例で説明したが、音声のみのファイルに対しても有効である。すなわち、音声の特徴や連番の I Dなどファイル中のどの部分かを識別できる情報をシーンフレーム画像の代わりに配置すれば、動画ファイルと同様のォ一サリング作業となる。

また、実施の形態 1では、キーワードに対するシーンの該当レベルの付与について説明したが、いわゆるキーワードだけでなく他の情報についての該当レベルの付与を行う形態でも良い。例えば、出演者や製作者、日付などの様々な情報に対する該当レベルを付与するォ一サリング処理でも良い。

また、実施の形態 1におけるォ一サリング処理部 1 0 1が行う処理をプログラムとし、プログラムを汎用のコンピュータに実行させる形態であっても良い。これにより、実施の形態 1にかかるォ一サリング処理部 1 0 1を汎用のコンビュ一夕で実現することができる。この場合には、 J AVA (R) などのプログラム言語を使用すればよく、 GU Iの各パ一ヅのプログラミング手法は広く知られている。また、各シーンに対してキーワードおよび該当レベルを階層化して付与するようにしてもよい。例えば、キーワード間に階層構造を持たせ、「シュート」というキーワードの下位に「ゴール」というキーワードを設定して、付与するようにしても良い。

また、実施の形態 1では、ひとつのファイルに対して、所望のキ一ワードおよび該当レベルを用いてダイジエスト映像を作る形態で説明したが、複数のフアイルファイルに対して同時に所望のキーヮ一ドおよび該当レベルを用いて複数のファイルを用いたダイジェスト映像を作る形態であっても良い。

また、ォ一サリング装置 1 0 0を、例えば、パソコン（ビデオ編集装置）、据え置き型（H D D) ビデオレコーダ一（ホームサーバ）、ポ一夕ブルビデオカメラなどに適用してもよい。

ォーサリング装置 1 0 0を（ 1 ) パソコンに適用する場合は、表示部 1 0 5 として液晶ディスプレイ、 C R T等を、操作部 1 0 6としてマウス、キーボ一ド等を、記憶部 1 0 2としてハードディスク、サーバー等を、動画ファイル入力部 1 1 3として C Dドライブ、 D VDドライブ、ネットワーク等を用いる。ォーサリング装置 1 0 0を（ 2 )据え置き型（ H D D )ビデオレコーダ一（ホ —ムサーバ）に適用する場合は、表示部 1 0 5としてテレビ、液晶パネル等を、操作部 1 0 6として本体ボタン、リモコン等を、記憶部 1 0 2としてハ一ドデイスク、 D V D— RAM等を、動画ファイル入力部 1 1 3として放送、 D VD ドライブ、ネットワーク等を用いる。

ォーサリング装置 1 0 0を（ 3 )ポー夕ブルビデオカメラに適用する場合は、表示部 1 0 5として液晶モニタ等を、操作部 1 0 6として本体ボ夕ン、リモコン等を、記憶部 1 0 2としてビデオテープ、 D VD— RAM、メモリカード等を、動画ファイル入力部 1 1 3として C C Dカメラ等を用いる。

なお、実施の形態 1では、 G U I処理部 1 1 0が、動画ファイルを所定区間に区切ったシーンを示す識別子であるシーンフレーム画像 3 0 3 a〜3 0 3 dをマトリクス平面であるメインウインドウ 3 0 2に配置して表示する表示制御部と、メインウィンドウ 3 0 2に配置したシーンフレーム画像 3 0 3 a〜 P T/JP03/05737

2 1

3 0 3 dの位置が移動した場合に、移動したシーンフレーム画像 3 0 3 a〜3 0 3 dの位置に対応する該当レベルを移動したシーンフレーム画像 3 0 3 a 〜3 0 3 dに対応するシーンの該当レベルとして決定する該当レベル決定部としての機能を有する構成で説明したが、表示制御部と、該当レベル決定部をそれぞれ専用の処理部とする構成であっても良い。

(実施の形態 2 )

本発明の実施の形態 2は、映像を見ながらリアルタイムで、映像の所定区間にキ一ワードを付与できるようにしたものである。また、実施の形態 2では、複数の異なるキ一ヮ一ドに対する該当レベルを映像に対して同時に付与できるようにしたものである。

以下、実施の形態 2にかかるォ一サリング装置について説明する。実施の形態 2にかかるォ一サリング装置の構成については、実施の形態 1と同様であるので説明を省略する。

次に、実施の形態 2の G U Iを図 1 0に示し、実施の形態 2にかかる GU I の特徴について説明する。図 1 0は、実施の形態 2にかかる GU Iの構成を示す図である。

実施の形態 2にかかる G U I 1 0 0 1のメインウィンドウ 1 0 0 2の上部中央には、動画再生ウインドウ 1 0 0 3が配置されている。

また、動画再生ウインドウ 1 0 0 3の下方近傍には、動画コントロールパネル 1 0 0 4が配置されている。

動画コントロールパネル 1 0 0 4には、動画再生ウインドウ 1 0 0 3で動画を再生する再生ボ夕ン 1 0 0 5、動画を停止する停止ボタン； 1 0 0 6、動画を巻き戻しコマ送りするコマ送り巻き戻しボタン 1 0 0 7、動画をコマ送りするコマ送りボタン 1 0 0 8、および動画をポーズ再生するポーズボタン 1 0 0 9 が設けられており、ォ一サリング対象の動画再生をコントロールすることがでぎる。

また、メインウインドウ 1 0 0 2の動画再生ウィンドウ 1 0 0 3の右方には、ォーサリングで使用するキーワードを列挙するキーワードテーブル 1 0 1 0 が配置されている。キ一ワードテーブル 1010には、複数のキ一ワード欄 1 011 a〜l 011 eが設けられていて、複数のキ一ワードをセヅトできるようになつている。

この図の例では、各キ一ヮ一ド檷 101 1 a〜 101 1 eに、キ一ヮ一ドとして、ゴール、シュート、反則、および重要がセットされている。また、キーヮードテ一ブル 1010のキ一ヮ一ド欄 10 1 1 a〜： L 01 1 eは色分けされている。

また、キ一ヮ一ドテ一ブル 1010のキーヮ一ド欄 1011 a〜： L 01 1 e の右方には、動画再生ウインドウ 1003に再生されている動画に対してキ一ヮ一ドの付与を開始するための開始ボ夕ン 1012 a〜1012 eと、キ一ヮ ―ド付与を終了するための終了ボタン 1013 a〜 10 13 eが配置されている。

また、メインウィンドウ 1002の下部には、縦軸に一ワードに対する該当レベル、横軸に時間軸を取ったマトリクス平面 1014が配置されている。マトリクス平面 1014には、ォ一サリング作業でキーヮ一ドテ一ブル 10 10が操作されキーヮ一ドの付与が行われると、マトリクス平面 1014の該当する時間の位置に、キーワード付与を示す識別子であるタイムバ一 1015 a〜l 015 d配置される。また、タイムバー 1015 a〜： L 015 dの色は、キ一ヮ一ド欄 101 1 a〜： L 011 eの色に対応している。また、タイムバ一 1015 a〜： 1015 dの長さは、実際の映像の長さに比例している。

また、マトリクス平面 1014の左側部には、複数の該当レベル 1016 a 〜1016 dが縦方向に昇順で記述されている。

また、該当レペル 1016a~1016 dの右方近傍には、それぞれ該当レベル 10 16 a〜： L 016 dに含まれる映像の合計時間 10 17 a〜： L 01 7 dが記述されている。

また、該当レベル 1016 a〜 1016 dの上部には、それそれ該当レベル 1016 a〜 10 16 dを用いて作成したダイジエスト映像を再生する再生ボタン 1018 a〜 1018 dおよび停止ボタン 1019 a〜： L 019 dが配置されている。

次に、実施の形態 2にかかるォ一サリング装置の動作について図 10と図 1 1を用いて説明する。図 11は、実施の形態 2にかかるォ一サリング装置のォ —サリング処理フロー図である。

まず、ユーザが動画ファイル 103から映像ファイルを選択し、再生ボタン 1005を押下すると、動画再生部 109が選択された映像ファイルを読み込み（ S T 1 101 ) 、読み込んだ映像が動画再生ウインドウ 1003に再生される（ST 1 102) 。

次に、ユーザがキーヮ一ドテ一プル 1010のキーヮ一ド欄 101 1 a〜 1 O i l eからいずれかのキーワードを選択し（ST 1 103) 、開始ボタン 1 0 12 a〜1012 eおよび終了ボタン 1013 a〜 1013 eを押下すると、 GU I処理部 110がュ一ザの選択したキ一ヮ一ドをユーザが押下した開始ボタン 10 12 a〜： L 012 eおよび終了ボタン 1013 a〜1013 e に対応する時間にセヅ卜する（ST 1104) 。

そして、 G U I処理部 110は、マトリクス平面 1014上にュ一ザが選択したキ一ヮ一ドネ闌 1◦ 11 a〜 101 1 eに対応する色のタイムバー 101 5 a〜： L 015 dを描画する。

このように、ユーザが選択したキ一ワードと表示されるタイムバー 1015 a〜l 015 dとの色が同じなので、どのキーワードがどのタイムバ一 101 5 a〜 1015 dに対応しているかが一目でわかる。

また、タイムバ一 1015 a〜 1015 dは、ユーザが押下した閧始ボタン 1012 a〜 10 12 eおよび終了ボタン 10 13 a〜 10 13 eに対応する時間に対応した長さで表示されるので、どの時間区間にそのキーワードが関連付けられたかが一目でわかる。

次に、ユーザが、表示されたタイムバ一 1015 a~ 1015 dは実施の形態 1と同様にマトリクス平面 1014上を上下にドラヅグ ·アンド · ドロップすることにより該当レベル 1016 a〜l 016 dを設定すると（ST 110 5) 、 GUI処理部 110は、ユーザが設定したタイムバー 1015 a〜l 0 1 5 dに該当レベル 1 0 1 6 a〜； 1 0 1 6 dを関連付ける。

また、ユーザが同じ時間区間に複数のキーワードを選択すると、タイムバ一 1 0 1 5 a〜l 0 1 5 dが重なり分かりにくくなるため、夕ィムバ一 1 0 1 5 a〜 1 0 1 5 dが重ならないようにキ一ヮ一ド毎にマトリクスの縦方向に位置をずらして重ならないように配置する。

さらに、ユーザが別のキーワードを入力した場合は、 G U I処理部 1 1 0は、

S T 1 1 0 3〜S T 1 1 0 5の処理を繰り返す（S T 1 1 0 6 ) 。

そして、ォ一サリング作業終了後、ユーザが、上述した編集した情報を保存するという選択をすると（S T 1 1 0 7 ) 、メ夕デ一夕編集部 1 1 2は、編集したシーン情報を保存して（S T 1 1 0 8 ) 、処理を終了する。

以上説明したように、実施の形態 2によれば、ォ一サリング作業で付与するキ一ワードを GU I 1 0 0 1上に複数、かつ色分けして表示し、さらに、ュ一ザが選択したキーヮ一ドに対応させた色のタイムバ一をマトリクス平面 1 0 1 4上に配置することができる。これにより、複数の異なるキーワードに対する該当レベルを同時に付与できる。

また、実施の形態 2では、ォーサリング作業で付与するキ一ワードをキ一ヮードに対応させた色のタイムバ一をマトリクス平面 1 0 1 4に配置することができるため、ユーザがタイムバーとキ一ヮ一ドとの対応関係を視覚的に認識でき、作業状況を把握しやすく効率が向上する。

また、実施の形態 2によれば、ユーザが映像を見ながら、開始ボタン 1 0 1 2およぴ終了ボタン 1 0 1 3を押下することで、リアルタイムで、所定のキ一ワードを映像の所定の区間（映像シーン）に付与できる。また、映像シーンの識別子であるタイムバーをマトリクス平面上で認識しながら、該当レベルを付与できる。 .

なお、実施の形態 2ではキ一ワードとの関連を示すのに色を使用したが、特に色に限るものではない。例えば、赤、青、白などの色ではなく、網掛け、ノヽ —フトーンなどの白黒のパターンを用いてもよい。

また、タイムバーの形状を長方形でなく波線や二重線などの図形パターンとして、図形パターンとキーワードを関連付けてもよい。

本明細書は、 2002年 5月 31日出願の特願 2002- 160528公報に基づく。この内容はすべてここに含めておく。産業上の利用可能性

以上説明したように、本発明によれば、映像シーンに対応する識別子を縦軸に該当レベル、横軸に時間を持つ平面上に表示し、この識別子をこの平面上で操作することで、映像シーンに対してキーワードとこのキーワードに対応する該当レベルの付与できるので、映像シーンのキ一ヮ一ドと該当レベルの付与の操作性を高められ、なおかつキ一ヮ一ドと該当レベルの付与状況を視覚的に確認できるようにできる。

Claims

請求の範囲

1 . 時間の軸と所定のキーヮードに対する該当レベルの軸とが交差するマトリクス平面を表示する表示部と、動画ファイルを所定区間に区切ったシーンを示す識別子を前記マトリクス平面に配置して表示し、前記マトリクス平面上に配置した前記識別子の位置が移動した場合に、移動した前記識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定する GU I処理部と、を具備したことを特徴とするォ一サリング装置。

2 . 前記表示制御部は、前記識別子に前記該当レベルが付与されている場合には、前記識別子を、付与されている前記該当レベルに対応する前記マトリクス平面状の位置に表示することを特徴とする請求項 1記載のォーサリング装置。

3 . 前記キーワードを入力する操作部を具備し、前記表示部は、時間の軸と前記操作部から入力された前記キーワードに対する該当レベルとが交差するマトリクス平面を表示し、前記 GU I処理部は、前記識別子に対して前記入力されたキ一ヮ一ドに対する該当レベルを決定することを特徴とする請求項 1記載のォ一サリング装置。

4 . 前記 G U I処理部は、前記シーンの長さを示す情報を前記シーンに対応する前記識別子の近傍に表示することを特徴とする請求項 1記載のォ一サリング装置。

5 . 前記 GU I処理部は、所定の前記該当レベル以上の前記シーンを繋ぎ合わせたダイジエスト映像の合計時間を前記マトリクス平面上に表示することを特徴とする請求項 1記載のォーサリング装置。

6 . 前記 G U I処理部は、ユーザが前記マトリクス平面上に配置された複数の前記識別子を結合する処理をすると、結合した前記識別子に対応する前記シーンを結合して新たなシーンを生成することを特徴とする請求項 1に記載のォ一サリング装置。

7 . 前記 GU I処理部は、ユーザが前記マトリクス平面上に配置された前記識別子に対応する前記シーンを再生しながら所定の位置で分割する指示をすると、当該シーンを前記所定の位置で分割した、複数のシーンを新たに生成すること特徴とする請求項 1に記載のォ一サリング装置。

8 . 前記 G U I処理部は、前記所定のキ一ヮ一ドに対応して所定の単位に分割された前記シーンに対して前記所定のキーワードに対する前記該当レベルを決定した後に、別のキ一ワードに対する該当レベルをシーンに対して決定する場合に、各シ一ンは前記所定のキ一ヮ一ドに対応したシーンの分割単位を引き継く、ことを特徴とする請求項 1に記載のォ一サリング装置。

9 . 前記移動した識別子に対応する前記シーンに対して、前記 GU I処理部が決定した前記該当レベルを付与したメ夕デ一夕を生成するメタデータ編集部を具備したことを特徴とする、移動した前記識別子の請求項 1 3載のォーサリング装置。

1 0 . 前記識別子は、前記シーンの特徴を示す代表フレーム画像であることを特徴とする請求項 1に記載のォーサリング装置。

1 1 . 前記メタデ一夕は、 MP E G 7の規格に基づいて作成されていることを特徴とする請求項 9記載のォーサリング装置。

1 2 . 時間の軸と所定のキ一ワードに対する該当レベルの軸とが交差するマトリクス平面を表示するマトリクス表示部と、動画ファィルを再生する動画再生部と、複数のキーワード一覧を表示するキーワード表示部と、前記複数のキ —ワードから所定のキーワードを選択するキーワード選択部と、前記動画ファィルに対して前記所定のキ一ヮ一ドの付与を開始するためのキーヮ一ド開始部と、前記動画ファイルに対して前記所定のキーヮードの付与を終了するためのキ一ヮ一ド終了部と、前記動画ファイル再生中に前記キ一ヮ一ド開始部および前記キ一ヮ一ド終了部からの入力があった場合に、前記キーヮ一ド閧始部からの入力と前記キーワード終了部からの入力があった区間に対応する前記動画ファイルをシーンとすると共に前記シーンに前記所定のキーヮードを付与するキ一ヮ一ド付与部と、前記シーンを示す識別子を前記マトリクス平面上に配置して表示し、前記マトリクス平面上に配置した前記識別子の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定する G U I処理部と、を具備したことを特徴とするォーサリング装置。

1 3 . 前記識別子の長さは、前記シーンの長さに対応した長さになっていることを特徴とする請求項 1 2に記載のォ一サリング装置。

1 4 . 前記キ一ヮ一ド表示部は前記キ一ヮ一ド毎に異なる色もしくは網掛けをして表示し、前記識別子は対応する前記キ一ヮ一ドに使用されている色もしくは網掛け表示形態を用いて表示されることを特徴とする請求項 1 2に記載のォーサリング装置。

1 5 . 請求項 1記載のォ一サリング装置を具備したことを特徴とするビデオ

1 6 . 請求項 1記載のォ一サリング装置を具備したことを特徴とするホームサーバ。

1 7 . 請求項 1記載のォ一サリング装置を具備したことを特徴とするビデオカメラ。

1 8 . 時間の軸と所定のキ一ワードに対する該当レベルの軸とが交差するマトリクス平面を表示し、動画ファイルを所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示し、前記マトリクス平面上に配置した前記識別子が移動した場合に、前記マトリクス平面上に配置された当該識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定することを特徴とするォ一サリング方法。

1 9 . コンビュ一夕に、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリクス平面を表示させ、動画ファイルを所定区間に区切つたシーンを示す識別子を前記マトリクス平面上に配置して表示させ、前記マトリクス平面上に配置した前記識別子が移動した場合に、当該前記識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定させることを特徴とするプログラム。

2 0 . 請求項 1 9に記載のプログラムを格納したことを特徴とする記憶媒体。