JP4364190B2 - マルチメディアデータストリームの非線形的再生制御方法及びその装置 - Google Patents

Description

本発明は、マルチメディアのデータストリームに対する非線形的再生制御方法及びその装置に係るもので、詳しくは、マルチメディアコンデンツの構造的／意味的情報を利用した順方向／逆方向スキップ機能を有するマルチメディアデータストリームの非線形的再生制御方法及びその装置に関するものである。

最近、デジタルビデオ技術及びイメージ／ビデオ／オーディオ処理技術の発達に伴い、ユーザーは所望のマルチメディアコンテンツを所望の時点で所望の部分だけをサーチし、ブラウジングすることができる。

このようなマルチメディアコンテンツの非線形的ブラウジング及びサーチを行うための最も基本とされる技術としては、ショット分割（ＳｈｏｔＳｅｇｍｅｎｔａｔｉｏｎ）技術及びショットクラスタリング（ＳｈｏｔＣｌｕｓｔｅｒｉｎｇ）技術が挙げられ、ショット分割技術は、ビデオストリームをそれぞれのショットに分割する技術で、ショットクラスタリング技術は、各個別ショットに対して時間的／イメージ的／モーション的／オーディオ的／意味的な類似性に基づいて論理的なシーンに束ねてマルチメディアコンテンツを構成する技術である。

ここで、技術用語中、ショットとは、妨害（Ｉｎｔｅｒｒｕｐｔｉｏｎ）を受けることなく、一つのカメラから得られた各ビデオフレームの一つのシーケンスを意味するもので、ビデオを分析若しくは構成するための最も基本となる単位で、ビデオは複数のショットにより構成される。

ショット／シーンを抽出することによって、マルチメディアコンデンツの構造的情報を検索し、事件発生／視聴覚対象の登場／対象の状態／背景などに対する意味的情報を検索することによって、ユーザは所望の部分を容易にブラウジングすることができる。なお、対象とは主要な登場人物など画面に積極的に表示しようとする対象を意味する。

マルチメディアコンデンツを非線形的にブラウジングする非線形的マルチメディアデータストリーム制御方式中、最も一般に使用されている機能としてインスタントリプレー機能がある。

このインスタントリプレー機能とは、ユーザがビデオまたはオーディオプログラムを視聴／聴取するとき、ユーザが興味を持った部分とか、暫く留守している間に放送された部分を再び視聴／聴取することができるようにする機能で、アナログ及びデジタル環境の両方とも使用することができる。

最近では、録画／録音及び再生を同時に行い得るセットトップボックスが開発されており、オフラインで録画／録音されたビデオ／オーディオに対してだけではなく、リアルタイムで放送またはサービスされるプログラムに対してもインスタントリプレー機能を提供することが可能になっている。

一般的に、インスタントリプレー機能を実施するためには、設定されたユーザの平均反応時間（ＡｖｅｒａｇｅＵｓｅｒＲｅａｃｔｉｏｎＴｉｍｅ）を利用した時間的オフセットを利用する方法が適用される。

これについて以下さらに説明する。インスタントリプレーが要求されると、ユーザがプログラムを視聴中に見逃す時間に対する平均時間（７〜８秒）を利用して、その平均時間だけ、すなわち、ほぼ７〜８秒前の時点から再生を開始する方法で、主に、ビデオプログラムで採択される。そのため、それよりさらに前の場面から再生しようとすると、ユーザはインスタントリプレー機能を何回か反復して使用しなければならない。したがって、このようにかなり前の場面から再生する場合は、インスタントリプレー機能だけでは所望の部分を再生することが難しいケースが多いため、巻き戻し機能と一緒に使用されることもある。

すなわち、ユーザの平均反応時間を利用したインスタントリプレー機能は、ユーザがＴＶまたは録画されたプログラムを視聴中に瞬間的に見逃した部分に対して、再生を要求する時点までの平均時間を予め設定しておき、その時間だけ現在プレーされている時点から後ろに戻ってその戻った位置から再生を開始するようになっていた。従って、当然のことながら、ユーザがビデオの構造的／意味的な単位のインスタントリプレーを要求する場合には対応することができない。

なお、このような、設定された時間的オフセットを利用したインスタントリプレー機能と類似する方法としては、時間的なデータの空白を利用する方法、ユーザの指定によるインスタントリプレー機能提供方法、及び、ストリームの物理的な格納位置情報を利用する方法などがある。

時間的なデータの空白を利用する方法は、大部分の音楽用プログラムで使用される方法で、複数の曲がテープ等に録音された場合、一つの曲と他の曲との間に所定時間の間隔以上のデータの空白が存在するという特性を利用して、時間的なデータの空白区間をサーチして、以前の曲または以後の曲に移動させる方法である。

また、ユーザの指定によるインスタントリプレー機能提供方法は、ユーザがインスタントリプレーを要求する前に再生を開始する位置を予め指定する方法であって、語学学習用のテープのようにユーザがストリーム内の特定部分を反復して聴取しようとする用途に主に使用される方法である。

さらに、ビデオストリームの物理的な格納位置情報を利用する方法は、音楽用ディスクのようなデジタルメディアで一般に使用される方法であって、ディスクのヘッダー情報に各曲に対する物理的な開始位置が記録されていて、ユーザが曲単位のナビゲーションを要求すると反応するようにした方法である。

しかしながら、このような従来のインスタントリプレー機能を遂行するための各方法においては、それぞれ次のような不都合な点があった。

先ず、時間的なデータの空白を利用する方法においては、マルチメディアのデータストリームのように時間的な空白のないデータの場合は当然のことながらサーチすることはできない。音楽用テープのような特定のメディアに格納された制限的な情報をサーチする用途の他には使用することができない。また、サーチする単位が非常に大きいため、一般のビデオやオーディオプログラムでユーザが要求する非線形的再生制御機能に対する対処方法としては使用することが困難であった。すなわち、時間的なデータの空白を利用する方法は、ビデオストリーム内容における再生制御ではなく、ストリーム単位の再生制御方法とも言える。

そして、ユーザの指定によるインスタントリプレー機能提供方法においては、再生を開始する位置を指定しなければならないため、一般のビデオやオーディオプログラムの視聴に適用することには非常に不便であるという不都合な点があった。

さらに、ビデオストリームの物理的な格納位置情報を利用する方法においては、ビデオストリーム単位のサーチは容易に行い得るというメリットがあるが、インスタントリプレーを制御する単位が非常に大ため、ビデオストリーム内部の細かい区間別に再生制御を要求する場合は適切に対応することができない。したがって、一般のビデオやオーディオプログラムに対する再生制御方法としては使用することが困難で、時間的なデータの空白を利用する方法と同様にストリーム単位の再生制御機能だけを提供することができるのみであって。

本発明は、このような従来の問題点に鑑みて行われたもので、マルチメディアコンデンツの構造的／意味的情報を利用して、ビデオ／オーディオプログラムにおいて、所望の地点にスキップすることができるマルチメディアデータストリームの非線形的再生制御方法及びその装置を提供することを目的とする。

このような目的を達成するため、本発明に係るマルチメディアデータストリームの非線形的再生制御方法は、ユーザがスキップ要求を入力すると、その入力が順方向スキップであるか、逆方向スキップであるかを解釈してスキップ方向を判断するとともに、ユーザのスキップ要求が大単位であるか、小単位であるかを判断してスキップする単位を決定し、その決定されたスキップ方向及びスキップ単位に基づいて現在の再生位置から最も近いマルチメディアデータストリームの構造的／意味的情報変更地点を再生開始地点として選定して、その選定された地点からメディアの再生を開始することを特徴とする。

また、本発明に係るマルチメディアデータストリームの非線形的再生制御方法の態様においては、ユーザにより大単位または小単位で順方向／逆方向スキップ命令を入力することができるようになっている。その入力された命令によって、マルチメディアデータストリームの構造的／意味的情報または予め設定されている時間的オフセット情報を利用してストリーム内における現在の位置とスキップする方向とを考慮して再生開始地点を選定し、その選定された再生開始地点からメディアを再生する。さらに、再生開始地点以外の構造的／意味的情報変更地点または時間的オフセットの倍数を利用した再生開始候補地点をキーフレーム若しくはキー領域を利用して画面にディスプレーし、その画面にディスプレーされたキーフレームまたはキー領域をユーザが選択することによって、その選択された地点を再生開始地点と見なして再生を開始するようにもなっている。

さらに、本発明に係るマルチメディアデータストリームの非線形的再生制御装置は、マルチメディアデータストリームを再生する再生装置と、ユーザにより入力されたメディアファイル再生命令を主制御器に伝達する入力装置と、マルチメディアデータストリームデータにより構成されるメディアファイルと、該当マルチメディアコンデンツの意味的／構造的情報が記述された検索構造と、入力装置から入力される命令によってメディアファイルを再生するように制御する主制御器とにより構成されている。

以下、本発明に係るマルチメディアのデータストリームの非線形的再生制御方法及びその装置を図面を用いて詳しく説明する。

図１は、本発明に係るマルチメディアのデータストリームの非線形的再生制御装置を示したものである。本実施形態においてはメディアファイル３００にマルチメディアのデータが格納される。そのデータストリームを、ユーザによって入力装置２００から入力された信号によって再生するようになっている。ユーザからの入力された信号は主制御器４００に入力される。主制御器４００は再生装置１００及びメディアファイル３００を制御するもので、入力装置２００からの入力を受ける制御モジュール４１０と制御データを格納している非揮発性メモリ４２０とから構成されている。この主制御器４００には、前記入力装置２００，メディアファイル３００のほかに再生装置１００およびマルチメディアコンデンツに対する意味的／構造的情報が記述された検索（インデックス）構造５００が接続されている。その検索するための意味的／構造的情報の記述はビデオ検索システムで自動的に行っても、また手動によって行っても良い。

ここで、再生装置１００は、マルチメディアデータストリームを再生するために使用されるもので、例えば、表示装置及び例えばスピーカーを含むオーディオ装置のようなものがある。

主制御器４００は、前記のように、制御モジュール４１０と、非揮発性メモリー４２０とから構成され、非揮発性メモリー４２０には、メディアファイル３００に格納されたデータを再生させるソフトウェアプログラムが格納されている。例えば、基本的な早送り／巻戻しの速度、順方向／逆方向スキップの単位時間、順方向／逆方向スキップを行うときの大単位及び小単位別にジャンプする境界地点の個数などが記録されている。

以下、このように構成された本実施形態に係るマルチメディアの非線形的再生制御装置の動作に対して説明する。

先ず、ユーザがボタン操作／マウス操作／音声入力／ジェスチャー入力などの入力方式を利用して大単位／小単位の順方向／逆方向スキップ命令を制御モジュール４１０に入力すると、制御モジュール４１０は検索構造５００に基づいて現在の位置と、スキップする方向及びスキップする単位を考慮してスキップする位置を計算してスキップする地点を求め、メディアファイル３００の再生位置（ファイルポイント等）を調整して、スキップした位置からメディアファイル３００を再生してディスプレー装置に送る。

入力装置を操作する場合はリモコンによる操作も可能である。その入力装置のボタンを利用してユーザが順方向／逆方向の再生命令を入力するとき、別々のボタンとすることができると同時に、大単位スキップ及び小単位スキップに対しても各々異なるボタンを利用することが可能である。しかし、同一ボタンで操作方法を変えることで、大単位のスキップと小単位のスキップとを区分することもできる。このように、入力装置２００のボタンの数は任意であり、より少ない数の場合はボタン操作を変えてそれぞれの動作を行わせることができる。

このように同一ボタンに対してそれぞれ異なる動作を指定する例として、ボタンをダブルクリックすると大単位にスキップし、一回クリックすると小単位にスキップする方式を採用するか、または、ボタンを短く押すと小単位にスキップし、長く押すと大単位にスキップする方式を採用することが可能で、それらの反対方式も可能である。

上述したように大単位／小単位にスキップするためのビデオストリームの構成に対し、図面を参照して説明する。
図２は、本発明に係るビデオストリームの構造的情報を示したものである。一般のビデオストリームは階層構造を有する。
すなわち、ビデオストリームは、論理的な単位である幾つかのシーンに分離され、各シーンは多数のサブシーン、すなわちショットにより構成されている。各サブシーンはシーンの属性をそのまま有する。

技術用語中、ショットとは、構造的に連続した各オーディオ／ビデオフレームのシーケンスであって編集単位を意味し、また、シーンとは、１つまたは連続した複数のショットからなり、ビデオストリームの構成において論理的な構成単位を意味する。編集単位、構成単位とは説明の便宜上の区別であり、要するに、ショットとはあるつながりにある画面の連続した集合で、シーンとはそれらのショットが連続した一つのまとまりとして、論理的にまとまった一つの関連する情報を意味する。

したがって、マルチメディアデータストリームの構造的情報は、ショット及びシーンを基本構成単位として記述され、それぞれのショット及びシーンには区間情報、すなわち、開始位置及び終了位置、または、開始位置及び長さが記述される。

マルチメディアデータストリームの構造的情報による検索システムは、ショットを抽出し、抽出されたショットに基づき、その他の情報を利用して論理的な単位であるシーンを検出することによって、マルチメディアデータストリームの構造的情報を検索する。

マルチメディアデータストリームは、構造的情報の他に意味的情報が存在し、意味的情報も構造的情報による検索構造と同様に記述される。
このマルチメディアデータストリームに対する意味的情報とは、事件（イベント）の発生、対象の登場、対象の状態、背景に対する情報などが時間情報と一緒に記述されたものを意味する。

図３は、本発明に係るマルチメディアデータストリームに対する意味的情報検索の実例を示したもので時間に対する画面表示状態を示したものである。図示のように、例えば、ＯＢＪＥＣＴ１は、時間軸上の［Ｓ０、Ｓ１］［Ｓ２、Ｓ４］［Ｓ６、〜］の区間に存在するため、マルチメディアデータストリームはＯＢＪＥＣＴ１に沿って検索することができる。

このようにマルチメディアデータストリームの構造的情報及び意味的情報を時間情報と関連して検索することをマルチメディア検索と言う。大部分のマルチメディア検索システムではこのような意味的情報と構造的情報とを同時に検索することができる。

マルチメディア検索システムの構成方法においては、意味的情報と構造的情報とをそれぞれ分離して記述する方法と、意味的情報を基準にし、その下位に構造的情報を記述する方法と、構造的情報を基準にしその下位に意味的情報を記述する方法とがある。

以下、それぞれの検索構造の構成方法に対し、図４、図５、図６、図７に基づいて説明する。
図４は、本発明に係るマルチメディアデータストリーム検索技法を利用したビデオブラウジングインタフェースの例であり、目次形態（ＴａｂｌｅｏｆＣｏｎｔｅｎｔ；ＴＯＣ）のインタフェースを利用してユーザはマルチメディアデータストリームから自身が所望する部分に容易に接近することができるようにしたものである。

図５は、本発明に係るマルチメディアコンデンツの構造的情報を利用したインスタントリプレー再生制御方法の実例を示したものである。この図で、現在再生されている位置は、マルチメディアコンデンツのｉ番目のシーン（ＳＣＥＮＥｉ）のｊ番目のショット（ＳＨＯＴｉ−ｊ）の特定地点であるとする。

ここで、ユーザがショット単位のインスタントリプレーを要求した場合は、“ｃ”地点または“ｄ”地点から再生を開始するが、ユーザがシーン単位のインスタントリプレーを要求した場合は、“ａ”地点または“ｂ”地点から再生を開始する。

“ｃ”、“ｄ”のいずれかの移動地点の選択、または、“ａ”と“ｂ”の移動地点の選択は、システムが指定した方式を使用することが可能で、または、まず“ｂ”または“ｄ”地点への移動した後、特定時間以内に更にインスタントリプレーを要求した場合には“ａ”または“ｃ”地点に移動するように制御することもできる。

なお、マルチメディアデータストリームの構造的情報を利用したインスタントリプレー制御方法の他にも、マルチメディアデータストリームに対する意味的情報を利用してインスタントリプレー機能を行うことができる。

意味的情報が変更する地点に対する移動に関して図６に基づいて説明する。
図６は、本発明に係る意味的検索情報を利用したインスタントリプレー再生制御方法の実例を示した図である。大部分のマルチメディアデータストリームにおいては、一つのシーン／ショット内でまたは複数のショットにまたがって対象（ＯＢＪＥＣＴ）が登場して退場したり、事件（ＥＶＥＮＴ）が発生して終了するなどの意味的な情報の変更が発生する。図中、Ｓ０〜Ｓ７に該当する地点は意味的情報が変更している地点を示している。意味的な情報を利用した非線形的ストリーム再生制御方法を利用すると、ユーザは意味的検索情報を利用して、所望しない部分は簡単にスキップして、所望の位置から再生することが可能である。

意味的検索情報を利用したインスタントリプレー機能は、構造的検索情報を利用したインスタントリプレー機能と同様に、小単位へのインスタントリプレーを要求する場合は、１または２以前の意味的情報変更地点から再生を開始し、大単位へのインスタントリプレー機能を要求する場合は、スキップする意味的情報変更地点の個数を予め指定しておく方法を利用するか、または、大単位である事件若しくは背景が変わる地点から再生を開始する方法を利用する。

すなわち、同図において、小単位のインスタントリプレーを要求する場合は、現在の再生位置の直前であるＳ６地点から再生を開始するが、大単位のインスタントリプレーを要求する場合は、事件が変更するＳ５地点、または、背景が変わるＳ４地点から再生を開始する。

なお、このようにスキップ単位を決定するときは、構造的情報及び意味的情報を同時に適用することができる。

図７は、本発明に係る構造的情報及び意味的情報を同時に利用したインスタントリプレー機能の実例を示したもので、大単位のインスタントリプレーが要求された場合は、シーン単位のジャンプが発生し、小単位のインスタントリプレーが要求された場合は、意味的情報の変更地点単位、または、ショット単位へのジャンプが発生する。

すなわち、現在の再生地点ＳＨＯＴｉ−ｊから大単位のインスタントリプレーが要求された場合は、“ａ”または“ｂ”地点から再生を開始するが、小単位のインスタントリプレーが要求された場合は、構造的情報により区分された“ｃ”または“ｄ”地点、または、意味の情報により区分された“ｈ”地点から再生を開始するようになる。

図８は、本発明に係るマルチメディアデータストリームの非線形的再生制御方法による意味的／構造的情報を利用したインスタントリプレー機能と、従来のユーザの平均反応時間を利用したインスタントリプレー機能とを比較したものである。

一般的には、大部分のユーザは場面転換地点から再び視聴しようとしてインスタントリプレー機能を要求すると考えられる。すなわち、“ｚ”地点または“ｙ”地点若しくは“ｘ”地点からの再生開始させたいときにインスタントリプレー機能を使用することが多い。

そのような場合、従来の制御方式を利用すると、矢印で示したようにｘ、ｙ、ｚ地点に移動するためには、何回かのインスタントリプレー機能を利用しなければならない。したがって、ユーザが所望の地点の場面を視聴するためには、何回かのインスタントリプレー操作を行うか、または、巻き戻し機能のような他の制御を補助的に利用しなければならなかった。

これに対して、本発明の制御方式を利用すると、ユーザが大単位または小単位のインスタントリプレー（逆方向スキップ）を要求することにより、ｚ、ｙ、ｚ地点に一回で容易に移動して、その部分から再生を開始することができる。

また、本発明に係る意味的／構造的情報の境界地点を利用した非線形的再生制御方法は、従来の設定された時間的オフセットを利用する方式と混用して使用することもできる。
例えば、意味的／構造的情報の境界地点及び設定された時間単位情報を利用して、ジャンプすべき位置の間隔が所定範囲以内である場合は、ジャンプすべき位置を意味的／構造的情報の境界地点に設定し、所定範囲を越える場合は、設定された時間単位情報を利用して、その位置から再生を開始する方式を利用することもできる。

上述した意味的／構造的情報を利用したインスタントリプレー機能実現方法の実例を図９（Ａ）（Ｂ）に基づいて説明する。

図９（Ａ）（Ｂ）は、ユーザがニュースビデオの視聴中にインスタントリプレー機能を要求した場合の再生制御方式の実例を示したものである。（Ａ）は、ニュースのヘッドラインをブラウジングしている途中にインスタントリプレーを要求した場合における再生開始位置設定を示し、図９（Ｂ）は、ニュースの各アイテムをブラウジングしている途中でインスタントリプレーを要求した場合の再生開始位置設定を示す。

図中、太い境界線は大単位の意味的／構造的情報変更地点で、細い線は小単位の意味的／構造的情報変更地点を意味する。
詳しくは、図９（Ａ）に示したように、ユーザは、ヘッドライン部分をブラウジングしている途中、インスタントリプレー機能を要求することにより、ショットＳ１またはショットＳ２の最初に、または、現在のヘッドラインアイテムの最初Ｉ１か、ヘッドラインニュース全体の最初Ｉ２に一回または二回で移動することができる。

また、図９（Ｂ）に示したように、ユーザは、実際のニュースアイテムを視聴中にインスタントリプレーを要求することによって、現在のショットまたは以前のショットの最初に移動するか、または、エピソードシーンの最初ｅ１に移動するか、または、現在のニュースアイテムに対する要約説明が行われるアンカーシーンの最初ａ１に移動して、再びニュースアイテムを視聴することができる。

図１０（Ａ）（Ｂ）は、本発明に係るインスタントリプレーが要求された場合の画面構成方法を示したものである。

図１０（Ａ）は、インスタントリプレーを要求するマルチメディアデータストリームの画面構成を示したビデオシーケンスである。ユーザの現在視聴位置は“ａ”地点とし、ここで小単位のインスタントリプレーを要求したとする。

一方、図１０（Ｂ）は、マルチメディアコンデンツでインスタントリプレーを要求するときに、ユーザが所望する地点を選択し得るように画面を構成する方法を示したものである。現在の再生位置からインスタントリプレーが要求されると、現在再生しているショット又はショットの最初の場面Ｉから再生を開始する。実際にユーザが再生開始を要求した地点がシステムが選定した再生開始位置と差がある場合もあるので、第２場面ＩＩに示したように該当の画面にスキップするための候補地点のキーフレーム（Ｋｅｙ−ｆｒａｍ）／キー領域（Ｋｅｙ−ｒｅｇｉｏｎ）が小さく透明／半透明／不透明に表示されて消えるインタフェースを利用することができる。このとき、画面ＩＩに表れたキーフレーム／キー領域は、ユーザの要求がある場合には直ちに消える。

このとき、各キーフレーム／キー領域は入力待機状態で、デフォルトとして１つを選択することができる。
また、各キーフレーム及びキー領域は大単位と小単位とに分類し、垂直または水平配列を異なるようにすることによって、小単位候補地点と大単位候補地点とを区分してディスプレーするインターフェスを適用することができる。

第３場面ＩＩＩは、ディスプレーされる画面の大きさを調整して垂直または水平方向に候補地点のキーフレームまたはキー領域をディスプレーする方式であり、このときのキーフレーム／キー領域は入力待機状態で、デフォルトとして１つを選択することができる。

また、大単位の候補地点と小単位の候補地点とは一方を垂直に他方を水平にと分離させるか、または、その他の方法を使用して、ユーザが分かるように提供する。

以上説明された画面構成方式は、逆方向スキップであるインスタントリプレーだけではなく、順方向スキップ機能にも同様に適用することができる。

また、画面構成インタフェースは単に意味的／構造的情報を利用した順方向／逆方向スキップ機能だけではなく、時間的オフセットを他段階に指定して使用する場合にも適用することができる。

本発明に係るマルチメディアデータストリームの意味的／構造的情報を利用した非線形的再生制御方式を、逆方向スキップであるインスタントリプレー機能の他にも順方向スキップにも同様に利用することができる。このとき、スキップの単位は、既存の方式のように単に平均反応時間を利用したスキップではなく、ビデオショットやシーンの構造的情報と、対象の登場、対象の状態、事件の発生及び終了、背景の変化のような意味的情報を考慮するもので、このような構造的情報または意味的情報が変化する地点をスキップして再生を開始する部分として選定する。

また、本発明に係るマルチメディアデータストリームの意味的／構造的情報を利用した順方向／逆方向スキップ方式は、時間を基準とした既存の方式と一緒に使用することができる。
図１１は、本発明に係るマルチメディアデータストリームの意味的／構造的情報を利用して順方向／逆方向スキップする位置を示したもので、ユーザが入力装置を一回操作することによって新たに再生される順方向、逆方向の位置を示している。

本発明に係るマルチメディアデータストリームの意味的／構造的情報を利用した再生制御方式は、オフラインで録画／録音されたコンデンツに対しても適用することが可能で、かつ、リアルタイムで放送またはサービスされるマルチメディアコンデンツに対しても適用することが可能である。

マルチメディアコンデンツは、大単位及び小単位の非線形的マルチメディアデータストリームの再生制御が可能で、全てのオーディオ／ビデオ・ジャンルに適用することが可能で、商業広告のスキップ用途にも応用することが可能である。

また、本発明に係るマルチメディアデータストリームの意味的／構造的情報を利用した再生制御方式においては、非線形的マルチメディアの再生制御を行うために順方向／逆方向スキップを行うとき、ユーザが画面インタフェースを利用して順方向／逆方向スキップを再要求する場合に、同時にキーフレームまたはキー領域を利用したインタフェースを同時に提供して、より一層簡便な順方向／逆方向スキップ機能を与えることができる。

一方、インスタントリプレーを要求する入力手段としては、ボタンを利用するか、マウス操作、音声入力、ジェスチャー入力などの多様な既存の方法を使用することが可能である。ボタンを利用した入力装置においては、大単位のスキップと小単位のスキップとに対してそれぞれ異なるボタンを用意することが可能で、または、ボタンの数を低減させるために同一ボタンに異なる操作（一度クリック／ダブルクリック、短く押す／長く押す）を加えるようにして、入力装置を構成することもできる。

以上説明したように、本発明に係るマルチメディアデータストリームの非線形的再生制御方法及びその装置においては、非線形的ブラウジングを行うとき、時間単位及び構造的／意味的情報を利用してスキップさせることができ、ユーザは簡単なボタン操作だけで所望の部分をブラウジングし、ビデオ再生中の商業広告のような所望しない部分は簡単にスキップすることができるため、ユーザは最適の状態でビデオを視聴／聴取することができるという効果がある。

本発明に係るマルチメディアデータストリームの非線形的再生制御装置を示したブロック図である。 本発明に係るビデオストリームの構造的情報を示した構成図である。 本発明に係るマルチメディアデータストリームに対する意味的情報検索の一例を示した図である。 本発明に係るマルチメディアデータストリーム検索技法を利用したビデオブラウジングインタフェースの実施例を示した図である。 本発明に係るコンデンツの構造的情報を利用したインスタントリプレー再生制御方法の実例を示した図である。 本発明に係る意味的検索情報を利用したインスタントリプレー再生制御方法の実例を示した図である。 本発明に係る構造的情報及び意味的情報を同時に利用したインスタントリプレー機能の実例を示した図である。 本発明に係るマルチメディアデータストリームの非線形的再生制御方法によるインスタントリプレー機能と、従来のユーザの平均反応時間を利用したインスタントリプレー機能と、を意味的／構造的情報を利用して比較した図である。 ニュースビデオの視聴中にインスタントリプレー機能を要求した場合の再生制御方式の実例を示した図である。 本発明に係るインスタントリプレーを要求した場合における画面構成方法を示した図である。 本発明に係るマルチメディアデータストリームに対する意味的／構造的情報を利用した順方向／逆方向スキップ可能位置を示した図である。

符号の説明

１００：再生装置、２００：入力装置、３００：メディアファイル、４００：主制御器、５００：検索構造

Claims (6)

1. 複数のショットからなるシーンを複数有するマルチメディアコンテンツを再生制御する方法であって、
   前記マルチメディアコンテンツの構造的または意味的情報が変化する位置まで、前記ショット単位及びシーン単位で前記マルチメディアコンテンツをスキップできるように、前記位置情報を保存する段階と、
   前記マルチメディアコンテンツを再生する段階と、
   ユーザから前記マルチメディアコンテンツをスキップするためのスキップ命令を入力する段階と、
   前記スキップ命令を受けて、現在再生している前記ショットまたはそのショットの最初の場面を表示するとともに、スキップするための候補地点のキーフレーム／キー領域を同時に表示する段階であって、前記キーフレーム／キー領域を前記ショットとシーンとに分離させて表示する段階と、
   前記表示されたキーフレーム／キー領域から選択することによって、その選択された前記マルチメディアコンテンツ上の位置に該当する地点から、前記マルチメディアコンテンツを再生する段階と、
   を含むことを特徴とするマルチメディアコンテンツの再生制御方法。
2. 前記入力されたスキップ命令が、順方向スキップ命令であることを特徴とする請求項１に記載のマルチメディアコンテンツの再生制御方法。
3. 前記入力されたスキップ命令が、逆方向スキップ命令であることを特徴とする請求項１に記載のマルチメディアコンテンツの再生制御方法。
4. 前記意味的情報のスキップ単位が、スキップ方向に位置する前記意味的情報の事件、背景、キーフレーム、キー領域のいずれか１つの変更地点であることを特徴とする請求項１に記載のマルチメディアコンテンツの再生制御方法。
5. 複数のショットからなるシーンを複数有するマルチメディアコンテンツを再生する再生装置と、
   前記再生されるマルチメディアコンテンツの意味的または構造的情報を、ショット単位及びシーン単位に分けて保存するメモリと、
   ユーザから前記再生されるマルチメディアコンテンツをスキップするためのスキップ命令を入力する入力装置と、
   前記スキップ命令を受けて、現在再生している前記ショットまたはそのショットの最初の場面を表示するとともに、スキップするための候補地点のキーフレーム／キー領域を同時に表示し、その際、前記キーフレーム／キー領域を前記ショットとシーンとに分離して表示して、ユーザにスキップする位置をシーン単位又はショット単位で選択させてスキップできるように、前記マルチメディアコンテンツの再生を制御する制御部と、
   を含むことを特徴とするマルチメディアコンテンツの再生制御システム。
6. 前記スキップ命令が、順方向スキップ命令または逆方向スキップ命令であることを特徴とする請求項５に記載のマルチメディアコンテンツの再生制御システム。
   

Images