JP2000516006A - 複数のキーフレームを並列に表示することによりビデオ内容を案内する方法及び装置 - Google Patents

Abstract

(57)【要約】 １列以上の複数のキーフレームを並列に表示することによりビデオ内容を案内するとともに、表示されたキーフレームの選択的アクセスにより前記ビデオ内容への実際のアクセスをこのようにアクセスしたキーフレームのマッピングを表しながら制御し得る方法である。この方法は、単一のユーザインターフェース編成内において、キーフレームをスクリーン上に時間的に整列した順序に配列する第１動作モードと、表示される連続キーフレーム間に多数の選択可能なグラニュラリティを有するキーフレームを配列する第２動作モードとの間で選択を行うことができる特徴を有する。

Description

【発明の詳細な説明】 複数のキーフレームを並列に表示することによりビデオ内容を案内する方法及び 装置発明の背景 本発明は、１列以上の複数のキーフレームを並列に表示することによりビデオ 内容を案内するとともに、表示されたキーフレームの選択的アクセスにより前記 ビデオ内容への実際のアクセスをこのようにアクセスしたキーフレームのマッピ ングを表しながら制御し得る方法に関するものである。後の選択的再生のために 記録されるビデオプレゼンテーションの代表的部分をキーフレームとして使用す ることが提案されている。連続ビデオストリームとはビデオが“オン”のままで あることを意味し、このストリームにはアニメーション、一連の静止画、又は画 像のインタラクティブシーケンスを含めることができる。そのキャラクタは種々 のもの、例えば映画、ニュース、又はショッピングリストとすることができる。 この技術はS．W．Smolalr及びH．J．Zhangの論文”Content-Based Video Indexi ng and Retrieval”、IEEE Multimedia、Summer 1994、pp.62-72に開示されてい る。 キーフレームはユーザ宅においてビデオ材料の受信時にこの材料から導出アル ゴリズムにより取り出すことができ、或いは例えばビデオプロバイダにより、各 ビデオショットがキーフレームで開始するようにキーフレームにラベルを付ける ことができる。第３の方法は、これらのフレームを標準ビデオ速度に関連する均 一の時間インターバルで互いに連続させる。本発明は、キーフレーム使用してビ デオプレゼンテーションのダイナミックなオーバビューを有用なファシリティと ともにユーザに与え、ビデオ材料へのアクセス、次の表示の選択又は選択解除、 又は編集を一層容にする必要があるという認識に基づくものである。 ビデオ画像のディジタル及び圧縮符号化に対する現在のプロジェクトに対する 特定の問題は、大容量媒体へのその記憶は一般に即時アクセスを許容せず、特に 単位記憶サイズ当たりのフレーム数で表せるリニア記憶密度が不均一である点に ある。テープのような高容量主記憶媒体に、小容量であるが高いアクセス速度を 有する補助記憶媒体を付加することが提案されている。この場合には、高速順送 り及び高速逆送りのようなトリックモードの実行、並びに次の表示ためにビデオ 材料を要約形、変更形、又は再配列形に編集する処理がユーザインターフェース の点及び記憶技術の点の双方から見てかなりの難点を生ずる。発明の概要 従って、本発明の目的は、特に、ユーザインターフェース編成に一層高いフレ キシビリティを導入するとともに、ユーザに記憶編成並びにビデオ材料の一層自 然なフィーリングを与えることにある。この目的のために、本発明の特徴は、単 一のユーザインターフェース編成内において、キーフレームをスクリーン上に時 間的に整列した順序に配列する第１動作モードと、表示される連続キーフレーム 間に複数の不均一の選択可能なグラニュラリティを有するキーフレームを配列す る第２動作モードとの間で選択を行うことができることにある。キーフレームを 時間的に整列した順序で提示すると、例えばこれらのフレームが標準ビデオ速度 に関連する均一の時間インターバルで互いに連続する場合には、高速順送り及び 高速逆送りを簡単に実行することができる。更に、フレーム間における可変グラ ニュラリティを有する階層レベルの簡単容易な変化により簡単容易なアクセス及 び編集を行うことができる。キーフレーム又は少なくともその一部分を映画ショ ットの開始部から取り出す場合、又はオリジナルフィルムエディタにより発生さ れた他の関連するイベントから取り出す場合にも同じことがいえる。このように して、クラスタリング処理を自動的に実行することができる。 本発明方法においては、現在選択されているキーフレームを他のキーフレーム に対し多数倍のフォーマットで拡大することによりこのフレームをハイライト表 示するとともに、有害なビデオインターレス効果を検出し、もしそうであれば、 垂直デシメーションによりこの効果を低減させ、且つ又表示前に画像にアップサ ンプリングフィルタ処理を施す。比較的小さいキーフレームのビデオ歪みは許容 し得ることが経験上解っているが、特定のキーフレームを拡大する場合には、画 像改善のために追加の手段を講ずる必要がある。本発明者は、このアップグレー ディングは、標準状態下の画質に必ずしも達しないが、画質の快適で有益な向上 をもたらすことを確かめた。 本発明は上述した方法を実施するよう構成した装置にも関するものである。本 発明の他の特徴は従属請求項に記載されている。図面の簡単な説明 本発明のこれらの特徴及び他の特徴及び利点を図面を参照して好適実施例につ いて以下に詳細に説明する。図面において、 図１はＴＶ−レコーダ組合せ装置のブロック図であり、 図２はビデオ記録の代表的構造を示し、 図３はスクローリングモザイクユーザインターフェースの設計例を示し、 図４はスクローリングリストユーザインターフェースの設計例を示し、 図５はもっと広範なグラフィカルユーザインターフェースの設計例を示し、 図６はサブタイトルの表示を示し、 図７はシステム動作の状態図を示す。好適実施例の詳細な説明 特に、通常のカスタマ及びプライベートな家庭の使用に関係するが、このよう な使用に関係するものに限定されるものではない種々の利点は次のとおりである 。 ・キーフレームは代表的なＴＶ観察距離に位置するユーザがこれらを互いに識別 し得るように提示させなければならない。 ・同時に提示するキーフレームの数はユーザにディジタルビデオ材料のコンテン ツの有意部分のオーバビューを与えるのに十分とすべきである。 ・キーフレームは、例えばアスペクト比を保持することにより無歪みの形で表示 すべきである。 ・ＴＶセットのリモートコントロール装置自体がユーザコントロール装置として 動作するようにするのが好ましい。 ・フィードバック情報は代表的観察距離から認知できなければならない。 ・“ドラッグ”及び“ドロップ”のようなコンピュータコンセプトは一般に不要 にする。・種々の機能は連続的ではなく時折使用されるだけとなるように実現し なければならない。 ・ユーザインターフェースはビデオプレゼンテーションの良く知られたリニアモ デルを表すべきである。特定の実施例の説明 図１は本発明によるＴＶ−レコーダ組合せ装置を示す構成図である。要素２０ はＴＶセットディスプレイ及び関連する即時制御兼電源部を示す。要素２２はア ンテナ、又はケーブル配信のような他のタイプの信号分配エンティティを有する 接続部を示す。この要素には受信信号からディジタルビデオ情報又はディジタル 信号部分を取り出すエンティティも適宜含めることができる。要素３４は図1の 種々のサブシステム間のビデオストリーム及び関連する情報の経路指定部を示す 。経路指定は制御ボックス２８によってライン３５を介して制御信号により制御 することができる。ライン３５は単一の双方向相互接続ラインとして示されてい るが、実際には任意の数の単方向又は双方向ラインからなるものとすることがで きる。制御ボックス２８はディスプレイ２０からライン３０を経て検出信号を受 信するとともに他のサブシステム３８、４０から検出信号を受信し、これらのサ ブシステムを制御する。ブロック３８はマルチギガバイト領域の極めて高い記憶 容量を有するリニアテープレコーダである。ブロック４０は高い記憶容量を有す る磁気ディスクレコーダであり、このレコーダはレコーダ３８の記憶容量の一部 分を有するにすぎないが、このレコーダのアクセス速度はクロストラックジャン プアクセスによりレコーダ３８よりはるかに速い。ブロック３８とブロック４０ が一緒にコンピュータメモリキャッシュシステムに類似の２レベル記憶編成を構 成し、ビデオプレゼンテーションのすべてのアイテムを少なくとも１度記憶する 。要素２４はディスプレイ装置２０とワイヤレスパス２６を介して通信するとと もにサブシステム２８及び他のサブシステム３８及び４０と間接的に通信するリ モートコントロール装置を示す。 図２はビデオプレゼンテーションの代表的な構成を示す。ビデオ内容を機能的 にするために、バー６０はビデオ自体を、フレームの形で、又はＭＰＥＧ符号の ような圧縮ビデオ内容のストリングとして含む。情報はバーに沿ってビデオ時間 の進行とともに記憶されるが、実際の記憶要件は再生時間に亘って均一にする必 要はない。点在するキーフレームが６８のような黒垂直ストライプで示されてい る。各キーフレームは次のキーフレームまでのインターバル内の全ビデオを表す もの、又はこれを代表するものとして使用される。キーフレームは、ビデオプロ バイダがラベルを付ける又は”テーブル・オブ・コンテンツ“（ＴＯＣ）を挿入 することにより各新ショットの第１フレームとして選択することができる。或い は又、レシーバが、あるアルゴリズムにより、ビデオコンテントが一つのフレー ムから次のフレームヘ急激に変化することを検出することができる。本発明はこ のアルゴリズムが正しいものと仮定する。図に示すように、キーフレームの分布 は不均一にすることができる。他のメカニズムは、連続するキーフレームを規定 のインターバル、例えば２−３秒ごとに互いに連続させることにある。本例では 、表示部６２にキーフレームのみを示す。更に、キーフレームは幾分階層構造に 編成され、表示部６４は限定された一組の高レベルのキーフレームのみを示す。 この階層構造は多レベルにすることができ、表示部６６はビデオプレゼンテーシ ョン６０の全体に対する単一のキーフレームのみと関連するものとすることがで きる。キーフレームの種々のレベルは上述した編成と異なる編成内で定めること ができ、並べることもできる。 図１において記憶マッピングを、ビデオプレゼンテーションの本体をテープレ コーダ３８に記憶するとともに、少なくともキーフレームをできれば関連するキ ーフレームの直後の短いビデオ及び／又はオーディオインターバルと一緒にディ スクレコーダ４０で再生するように行うことができる。このようなインターバル の長さはリニアテープレコーダ３８の待ち時間に対応させて、リアルタイムアク セスを達成することができる。ビデオプレゼンテーションは映画のように本質的 にリニアなものとし得る。他の使用では、所定の記憶インターバルにアニメーシ ョン、静止画、又はコンシューマに使用される他の画像を含めることができる。 あるキーフレームはこれを抑圧することができる。これは、当該キーフレームの 前の時間インターバルをその後の時間インターバルと有効に結合する。リセット 機能によりインターバルを再び分離することができる。また、種々のクラスのキ ーフレーム、例えば一定の時間インターバルで互いに分離されたクラスのキーフ レームを抑圧することができる。種々の異なるクラスのキーフレーム、例えば受 信時にローカルアルゴリズムにより発生されるキーフレームに対しプロバイダに より導入されるキーフレームを１つのプレゼンテーションに使用することができ る。 図３はスクローリングモザイクユーザインターフェースの設計例を示す。どの スクリーンも左上から出発して右下まで２０個のキーフレームを提示する。各キ ーフレームは図示のキーフレームの総合順位の番号を有している。実際には、キ ーフレーム１４４が矩形の制御カーソルによりハイライト表示されている。ユー ザはリモートコントロールを駆動し、カーソル装置のナビゲーション制御部によ ってカーソルを表示されたキーフレーム上及び上部及び底部に表示されたバーに 表示されたボタン上を自由に移動させることができる。ユーザが制御カーソルを 左上コーナにおいて左に移動させると、表示が２０キーフレームだけ後ろにジャ ンプする。右下コーナにおいて右に移動させると、表示が２０フレームだけ前に ジャンプする。スクリーンの上部バーをアクセスすることにより５つの等しい長 さの部分に分割されたプレゼンテーションの他の部分のアクセスを制御すること ができ、黒い水平バーが全プレゼンテーションのうちの、ここに表示された２０ 個のキーフレームによりカバーされる全時間を示す。 最初に特定のキーフレームを選択し、次いで底部ボタンの１っを選択すること により他の機能を開始させることができる。"view program"(プログラムビュー) ボタンはカーソルでアクセスしたキーフレームでの開始を制御する。"View segm ent"(セグメントビュー)ボタンはビュープログラムと同一であるが、次のキーフ レームで終了する単一セグメントのみを再生する。"view from x to y"（ｘから ｙまでビュー）ボタンはカーソルでアクセスした２つのキーフレームのうちの時 間的に早い方のフレームでの開始と、時間的に遅い方のフレームでの停止を制御 する。他のモードをキーフレーム選択機能とともに実現することができる。例え ば、ユーザが特定のインターバルの発生をチェックできるようにするFast-forwa rd(高速順送り)又はslow-forward（低速順送り）、又は所定のビデオ効果を達成 するfast／slow reverse(高速／低速逆送り)を達成することができる。表示中に 、特定のキーフレームに関連する瞬時の通過時に、このキーフレームがアクティ ブになり、次のキーフレームと関連する瞬時に到達するまでビデオストリームを 有効に表示する。次のキーフレームの到達時に、このフレームがアクティブフレ ームになる。このような機能によって、ユーザはビデオレコーダをインタ ーバル表示シーケンスに対し、例えばコマーシャルのような所定のセグメントを 削除することにより、低速順送りによって所定のディテールに注意が向くように ストレートフォワードにプログラムすることが可能になる。表示中に、図示して ない制御ボタンによりオーディオをアクティブにしたり、抑圧したりするするこ とができる。或いは又、オーディオを制御し続けるが、ビデオカーソルはディス クリートにして、適切なハイライト指示によりインターバルからインターバルに ステップするのみとすることもできる。 図４はスクローリングリストユーザインターフェースの代表的な設計例を示す 。本例では、全スクリーンはその底部に表示された５つのキーフレームを有し、 キーフレーム１４５がそのエッジに沿って移動する矩形の制御カーソルによりハ イライト表示されている。キーフレーム１４５は大きな倍率でバックグラウンド 内にも表示される。この制御インターフェースは図３のものと同一であるが、ボ タンの位置が相違している。拡大キーフレームはマルチキーフレームバー内に抑 圧することもできる。 図５はもっと広範なグラフィカルユーザインターフェースを示す。第１に、左 右のコラムは、play（再生）、stop（停止）、select（選択）、cut（切り取り ）、paste（張り付け）、fast reverse（高速逆送り）、zoom+（ズーム＋）、zo om-（ズームー）、fast forward(高速順送り)のための制御ボタンのコラムであ る。底部の行はほとんど相関を有しないそれぞれ異なるシーン又はショットに関 連する９つのキーフレームのシーケンスを有する。キーフレームの階層構造内の ステップ移動により、シーンからシーンへダイナミックな良好なオーバビューを 集めることができる。キーフレーム間隔は、例えば１０秒にすることができるが 、これより大きい又は小さい間隔を使用することもできる。特に連続するキーフ レーム間の間隔が小さい場合には、高速順送りのような機能が実現される。他方 、同一の大きさの間隔を全オーディオのフル再生のために使用することができる が、ビデオは１つのキーフレームから次のキーフレームへジャンプするのみであ る。この場合、更に中心キーフレームが拡大表示される。十分に低いグラニュラ リティを有する小間隔のキーフレームを再生すると、拡大キーフレームをダイナ ミックに提示することができ、高速順送り（又は逆送り）モードを実行すること がで きる。本例では帆船を示す次のキーフレームの材料に到達すると、底部の行が１ 位置だけ左にシフトし、左端の“太陽”が消え、新しいキーフレームが右端から 現れる。このような表示は特に背景記憶媒体からプレゼンテーション上にマップ され、標準ビデオより速いフレームレートで行うことができる。 図６は図５につき述べた汎用フォーマット内のサブタイトルのプレゼンテーシ ョンを示す。中央領域内のスペース５０が実際のフレームに割り当てられ、スぺ ース５２がビデオプレゼンテーションから取り出された、又は他の関連情報、例 えば聴覚障害者用に変換されたスピーチ−テキスト又は実際に使用されている言 語とは別の言語への翻訳に関連するサブタイトルの表示に割当てられている。サ ブタイトルはスクリーン底部の７つのキーフレームに関連する範囲からのみ取り 出す必要はない。それらの関連性はもっと広げることができる。更に、各キーフ レームはタイムコード５４又はその上に置かれる他の関連データを有する。制御 ボタンの２つの列５６、５８が左側にアプリケーション操作用に、右側にイント ラプログラムオペレータ用に割り当てられている。スクリーンの上部は表示され ている実際のビデオ番組のタイトル６０を有する。 実際にアクティブなキーフレーム領域内を時間とともに移動するビデオカーソ ルのダイナミックリプレゼンテーションを有するように構成する理由は、キーフ レームのスタティック提示だけではビデオプレゼンテーションを全体としてダイ ナミックにしてユーザにイベントの展開を良好に理解せしめるには不十分である からである。このためにセマンティクスを次のように向上させる。システムは、 所定の時間の休止後に、関連するオーディオ及び他の効果を含むディジタルビデ オ材料を縮小して表示することを開始するため、カーソルが“内包する”キーフ レームが“アライブ”になる。再生中に、次のキーフレームに到達すると、カー ソルはユーザインターフェース内に提示されている次のキーフレームに自動的に “ジャンプ”し、これはユーザがシステムとのインタラクションを(再び)開始す るまで続く。一般に、ここに記載する編成は全ビデオストリングと異なるこれと は別の情報の走査検索を可能にする。任意のキーフレームから次のキーフレーム へのジャンプとともにオーディオのみをダイナミックに再生する場合でも、ユー ザは特定の低い記憶要件において提示ビデオの良好な印象を得ることができる。 この点において、図７はシステム動作の状態図である。状態１００において、 システムは多数のキーフレームを表示しながらユーザからの入力を待つ。このよ うな入力は表示されている多数のキーフレーム間のジャンプ、別の組のキーフレ ームへのジャンプ、関連するインターバルを表示するキーフレームの選択を含む ことができる。任意のこのような入力は矢１０４を駆動し、新しい時間インター バルを開始させる。このような入力がｎ秒(例えば２０秒)間ないと、矢１０８が 駆動され、状態１０２に到達する。この状態において、システムはダイナミック なビデオカーソルフレームを実行する。ユーザ入力が受信されない限り、矢１１ ０が駆動され、システムは表示可能なビデオ材料を入手し得る限り表示しつづけ る。しかしユーザ入力が受信されると、矢１０６が駆動され、システムはダイナ ミックなビデオカーソルフレームの実際のコンテントの位置、又は実際のインタ ーバルの開始位置に留まる。“インタレーシング”効果により影響されたキーフレームの検出及びフィルタリ ング ビデオプログラムのコンテントを走査検索するのに使用するキーフレームのい くつかは高い動きを有するシーケンスから抽出されたものであることがある。こ れは、ビデオシーケンスが通常の如くインタレース符号化モードで符号化され、 フレームが完全なフレームの構成に起用する２つのフィールドからなり、偶数ラ インが一方のフィールドに属し、奇数ラインが他方のフィールドに属する場合に は、わずらわしいジグザグ効果を発生する。この問題は小さいキーフレームにお いて一層顕著になり、わずらわしくなり、この場合には画像が拡大され、ライン が太いブロックになると、この効果が一層目につくことになる。 最初に、このようなインタレーシング効果により影響されたキーフレームを検 出する必要がある。この効果は画像の行上に観察され、輝度変化が高い周波数値 を発生する。この点を利用して、空間周波数スペクトルを多数のサブバンドに分 割し、高い周波数成分のみを考慮する。実際には、検出しようとする効果は偶数 ラインと奇数ラインとの間で交互の輝度値を示すはずであり、従ってこの画像は 高いサンプリング周波数を有するはずである。列上の周波数変換（ＦＦＴ又は好 ましくはＤＣＴ）の最高周波数成分である係数のみを計算する必要がある。画像 がジグザグ効果により影響されると、この成分が高い値を有する。 しかし、この効果は動きを有する物体、特に水平方向に動き成分を有する物体 にも対応して見える。従って、係数の総和は考慮すべきでない。その理由は、係 数の総和は詳細且つ高コントラストのパターンを有する画像において高い値を発 生し、最終的に誤りを発生するからである。画像をいくつかの小部分に分割し、 最大値／区域を考慮することにより一層良好な結果を得ることができる。例えば 、各区域の２つの最高値を加算することにより総和が高度に詳細な画像に影響さ れなくなる。 最後に、低い垂直解像度はジグザグ効果よりわずらわしくないので、この画像 をフィルタリングする最も簡単な方法は１つのィールドのみを考慮し、これを垂 直方向に２倍にアップサンプリングするものである。次のセクションで述べる補 間フィルタを得られた画像を表示する前に適用することができる。 従って、検出及び補正は次のように行われる。第１ステップは行の半分、偶数 行又は奇数行、を除去することにより１つのフィールドを捨て、次にキーフレー ムの元のサイズを復元するために２倍のアップサンプリングを行い、その後に補 間フィルタ処理を行う。この場合には、補間フィルタは簡単なリニア補間を行う 。アップサンプリング及び補間 ＴＶ観察距離から容易に見えるようにするために、キーフレームは補間フィル タが後続するアップサンプリングによりほぼフルスクリーンサイズに拡大する必 要がある。一般にキーフレームは低い解像度を有するので、高い倍率で拡大する 必要がある。これは、更に処理すると、画素が大きなブロックになるので、結果 は見やすいものにならないことを意味する。従って、画像をフィルタ処理する必 要があるが、良好な画質の画像を発生させ、高い解像度で表示させる必要がある 一方、短い応答時間を有するように高速処理する必要があるため、トレードオフ を見出す必要がある。問題は、拡大を画像の飛行中に行う必要がある点にある。 即ち、このことは、ハードディスクに記憶するためには必要とされる記憶スペー スが大きくなりすぎるため画像を一度も拡大及びフィルタ処理することができな いことを意味する。これがため、アップサンプリング及びフィルタリング処理は 、同時に許容し得る結果を維持しなからできるだけ高速にする必要がある。一般 に、 通常の補間フィルタを使用することができる（ディジタル信号処理に関する任意 の本：例えばH.C.Andrews，C.L.Pattersonの論文"Digital Interpolation of Di screte Image"，IEEE Trans．Comput．196，v25，pp.196-202参照）。 画質を向上させる他の技術を使用することもできる。特に、ウェーブレット法 及びフラクタル法は高い計算負担を導くが視覚品質において顕著な結果を示す。 実際上、フラクタル圧縮技術は公知であり、同一の復号処理を反復することによ りディテールを高解像度で再構成する又はシミュレートすることができる。この 場合には、記憶する画像を高い圧縮率を発生するフラクタル圧縮画像とする。同 様に、ウェーブレット変換を使用することにより、一層高いスケールで高周波数 成分を予測して、ボケ効果のない高解像度画像を得ることができる。サブタイトルに基づくビデオプログラムのテキストサーチ 現在のビデオ伝送においては、番組と一緒にサブタイトルがしばしば伝送され る（多くの場合、アナログシステムでは垂直ブランキング期間内に挿入され、デ ィジタル伝送では個々のエレメンタリストリーム内に挿入される）。これは通常 外国語で配信される番組に対し使用され、或いは聴覚障害者のために使用される 。このような情報は通常スクリーン上に重畳されるが、記憶媒体に記録すること もできる。このようにすると、番組の音声及び時には聴覚障害者のための音声の 記述をサーチ処理に利用することができる。 この種の情報の抽出はプログラムを記録しながらリアルタイムで行う必要があ る。この技術をキーフレーム抽出ルーチンに結合すると、画像を関連するテキス ト、即ちキーフレームが抽出された番組部分に生ずるダイアログに結合すること ができる。このように、現在のテキスト検索技術を用いて特定のキーワードに基 づくテキスト検索を実行することができる。アプリケーションの特定のツールが 、現在“Web”サーチエンジンにおいて慣用されているように、キーワードに基 づく簡単な問合せを実行することができる。 一例として、ニュース番組が記録されたものとする。フランスに関するニュー スを検索したい場合には、キーワード“フランス”を挿入すると、システムは自 動的に番組のテキスト内のこのワードを探す。結果がイエスなら、ユーザにキー ワードが見つけ出された番組の部分及びサブタイトルの特定部分に関するキーフ レームが提示される。次いでユーザは番組を特定の点から見ることができる。問 合せの結果として多数のキーフレームが検出される場合には、これらのキーフレ ームのすべてが図５に示すようにスクリーンの底部に表示されるため、ユーザは 関連するテキストを１つづつ大きなウィンドウ上で分析することができる。結果 がノーの場合には、同種のキーワード（フランス、パリ）を使用することができ る。このシステムはスポーツ番組において特定のチーム又は特定のスポーツをカ バーするレポートを検索するのにも有用である。 多くの他の用途が可能であり、例えば映画が子供が見てもよいものか否かの検 査、会話に使用されている言葉が“不道徳言語”のリストに含まれているか否か の検査に使用することができる。 このようなシステムの可能な拡張として、 ・テキストがビデオから分離して得られない場合には、スクリーンの静止画から 、例えばＯＣＲ技術により抽出すること、 ・音声認識技術を用いて番組から会話を抽出すること、 がある。この場合には、システムは放送業者により提供されるサービスと常に無 関係に動作し、サブタイトルが設けられていない場合には、システムを学習させ て少なくともいくつかのキーワードに基づいてテキスト検索を常に実行し得るよ うにすることができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＫＲ

Claims (1)

1. 【特許請求の範囲】 １．１列以上の複数のキーフレームを並列に表示することによりビデオ内容を案 内するとともに、表示されたキーフレームの選択的アクセスにより前記ビデオ 内容への実際のアクセスをこのようにアクセスしたキーフレームのマッピング を表しながら制御し得る方法において、 単一のユーザインターフェース編成内において、キーフレームをスクリーン 上に時間的に整列した順序に配列する第１動作モードと、表示される連続キー フレーム間に不均一の選択可能なグラニュラリティを有するキーフレームを配 列する第２動作モードとの間で選択を行うことができることを特徴とするビデ オ内容案内方法。 ２．前記時間的に整列した順番において時間的に中心に位置するキーフレームに 関連するオーディオインターバルを順次に再生することを特徴とする請求項１ 記載の方法。 ３．順次のオーディオインターバルが離散分離したキーフレームのシーケンスに 対しほぼ連続したオーディオ表現を構成することを特徴とする請求項２記載の 方法。 ４．第２動作モードにおいて、実際にアクセスされたキーフレームに関連するオ ーディオインターバルを再生することを特徴とする請求項１記載の方法。 ５．現在選択されているキーフレームをハイライト表示すると同時に、このキー フレームを他のキーフレームに対し多数倍の大きさのフォーマットに拡大し、 更に、有害なビデオインタレーシング効果を検出し、このような効果が検出さ れる場合には、このような効果を垂直デシメーションにより軽減させることを 特徴とする請求項１記載の方法。 ６．現在選択されているキーフレームをハイライト表示すると同時に、このキー フレームを他のキーフレームに対し多数倍の大きさのフォーマットに拡大し、 更に、画像を表示する前に画像にアップサンプリングフィルタ処理を施すこと を特徴とする請求項１記載の方法。 ７．関連するキーフレーム又はキーフレームのシーケンスに対し抽出されたサブ タイトル又は他の関連情報を表示することを特徴とする請求項１記載の方法。 ８．請求項１に記載された方法を実行するよう構成された装置。