JPH04247572A - スーパーインポーズ機能を備えたマルチメディアプレゼンテーション方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はスーパーインポーズ機能
を備え、テキスト，音声，図形，画像，映像等の情報を
蓄積，検索を行い必要な情報を検索者に提供するマルチ
メディアプレゼンテーションシステムに関する。

【０００２】

【従来の技術】近年、ハイパーメディアと称し、表示画
面上で次に引き出す情報を、表示中の画面にあるテキス
ト，画像等の中に鍵（以下、キーとする）として埋め込
み、そのキーをタッチパネル，マウス等のポインティン
グデバイスを用いて指定することによって必要な情報を
画面上に次々に表示して効率的に情報検索を行えるシス
テムが提案され、あるいは、実用化されつつあるが、こ
れらの詳細なデータ構造は公開されていないが、ｂｉｔ
，Ｖｏｌ．２０，Ｎｏ．２（１９８８年）に記載の「Ｈ
ｙｐｅｒＣａｒｄとＨｙｐｅｒＴａｌｋ」では予め登録
したボタンと呼ぶ一種のアイコンを用いている。また、
ＨｙｐｅｒＣａｒｄ　にもスーパーインポーズ機能があ
り、ハイパーＴＶと呼んでおり、ＨｙｐｅｒＣａｒｄ　
の中のビデオ画像を表示する際、自由にウインドウの大
きさや位置をその場で変更できる。

【０００３】

【発明が解決しようとする課題】上記従来技術は、表示
装置に表示している映像そのものから別の情報であるテ
キスト，図形，画像，映像，音声等を検索するという点
について配慮がなされておらず、マルチメディアプレゼ
ンテーションとして検索の自由度を損なうことが問題で
ある。

【０００４】本発明の目的は、表示画面上の任意の位置
に映像を表示できるスーパーインポーズ機能を備えたマ
ルチメディアプレゼンテーション方法において、スーパ
ーインポーズしている映像からテキスト、画像、音声や
別映像などの情報を効率よく検索することができ検索の
自由度を向上させることである。このため、映像から必
要な情報を検索するには、動いている画像である映像に
キー領域が定義でき、そのキーをポインティングデバイ
スにより、指定することによって必要な情報を画面上に
表示できるようにすることである。

【０００５】

【課題を解決するための手段】本発明は、一括して表示
出力する情報を、比較的データ効率の高い（必要データ
量の少ない）テキストデータ、図形データ等をリスト構
造で表現し、これをページとして１単位のページファイ
ルブロックとして格納し、１回のファイルアクセスで取
り出すことを可能とし、かつ、画像データなど、１単位
のページファイルブロックに収まらないデータは別個の
ファイルに格納し、ページブロックのリストの中にその
ファイルをアクセスするための情報を入れる。映像の場
合、映像の表示情報であるレイアウト情報と映像による
情報検索用のファイルのアクセス情報をリストの中に入
れる。この情報検索用のファイルは、映像を一定間隔ご
とに区分し、区分した映像ごとにキー領域が定義されて
おり、そのキー領域に対応したテキスト、図形，画像，
音声，映像などの情報のアクセス情報を定義してあるフ
ァイルである。

【０００６】検索操作の時、各ページファイルブロック
のテキスト，図形，画像の部品中のキーとなる字句，部
分図形，画像にポインタを付加し、そのキーをポインテ
ィングデバイス等で指示することによって、次に表示す
べきページファイルを指定し、検索する。さらに、映像
の場合、映像を一定間隔ごとに区分し、区分した映像に
対しキーとなる領域にポインタを付加し、そのキーをポ
インティングデバイス等で指示することによって、次に
表示すべきページファイルを指定し、検索することによ
り、課題を解決する。

【０００７】

【作用】本発明は、一回のアクセスで、外部記憶装置か
らページファイルブロックを処理装置の主記憶に読みだ
し、処理装置がページファイルブロックのリスト構造を
解読し、その中に記録されているフォーマット情報に従
ってデータを表示装置に表示する。また、映像をスーパ
ーインポーズする場合、映像装置により、映像信号を出
力し、処理装置からの出力信号をスーパーインポーズ装
置が合成させ、その結果をレイアウト情報に従って、表
示装置にスーパーインポーズする。

【０００８】更に、本発明による情報検索では、ページ
ファイルブロックのデータが、階層的に表現されたリス
ト構造で表されており、例えば、テキスト部品中のキー
となる語句、あるいは、画像部品中の部位と、それが指
定された場合に表示する部品、あるいは他のページのア
クセス情報（ポインタ等）を、その部品に付属するリス
トとして付加し、対応する語句、部位がポインティング
デバイス等によって指定された場合、その部品、あるい
は他のページを表示する。また、映像による情報検索で
は、映像を表示するための部品ファイルに情報検索用の
ファイルをアクセスするアクセス情報が入っており、こ
のアクセス情報を用いて、外部記憶装置より、主記憶上
にファイルを読みだし、ファイルを解読する。このファ
イルは、映像を一定間隔ごとに区分し、区分した映像に
、キーとなる部位と、それが指定された場合の部品、あ
るいは他のページのアクセス情報（ポインタ等）が定義
されており、ポインティングデバイスにより、部位が指
定された場合、それにリンクする情報、例えば、部品、
あるいは関連する他のページを表示する。

【０００９】

【実施例】図１は本発明の１実施例の装置構成を示した
もので、処理装置１より、検索情報格納用補助（外部）
記憶装置７から取り出した検索情報を表示装置４に表示
する。このとき、検索すべき情報は入力用キーボード５
あるいは、検索操作用ポインティングデバイス６で指定
する。また、映像をスーパーインポーズする時は、処理
装置１が映像を表示するためのレイアウト情報を記憶装
置７から取り出し、処理装置で解釈した後、処理装置１
が映像装置２に映像信号を出力させ、スーパーインポー
ズ装置３によって処理装置１からの出力信号と映像信号
を合成し、表示装置４に映像を表示する。図２は前記表
示装置４上に表示される情報のレイアウトの例であり、
例えば、外部記憶装置７に格納されたページファイルブ
ロックの１単位は、図２に示すように、ページ画面４１
の１単位として表示される。このページファイルブロッ
クのデータ（以下ページデータと略す）は例えば、全体
をページ４２、その中の部品をコラム４３ａ，４３ｂ、
コラム４３ａ，４３ｂの部品を映像４４ａ、テキスト４
４ｃ、画像４４ｂ等の要素と言った階層構造で表現して
いる。

【００１０】図３は映像が表示装置４にスーパーインポ
ーズされるまでのデータの流れを示したもので、先ず、
ページデータが外部記憶装置７から処理装置のメインメ
モリ１１に読みだされ、処理装置の演算処理部１２のペ
ージ表示処理部１２ａによってデータの構造を解読し、
解読結果から映像をスーパーインポーズするとき、スー
パーインポーズ装置制御部１２ｂが映像装置制御処理部
１２ｃに映像信号出力指令を送る。映像装置制御処理部
１２ｃは、映像装置２に映像信号出力の指令を送信する
。この後、スーパーインポーズ装置制御処理部１２ｂが
スーパーインポーズ装置３にレイアウト情報を元にした
表示サイズ、表示原点のデ−タとスーパーインポーズ表
示指令を送信する。これにより、処理装置１からの出力
信号と映像信号を合成し、表示装置４に映像を表示する
。

【００１１】図４は、この表示されるページデータのリ
スト構造を示したもので、８１ａ〜８１ｆはリストのノ
ード（又はセル）、８２ａ〜８２ｃはセグメントであり
、ノードは２つのインデックスの対であり、前半のイン
デックスはヘッダのセグメントを、後半のインデックス
はボディのリストを指している。この時ボディは下位の
階層を指すもので、同様な構造の繰返しで、ページ，コ
ラム，パラグラフと言った階層構造をこれによって表現
することが出来る。

【００１２】セグメントは図５にその例を示す通り、こ
のセグメントによって表される対象（これをオブジェク
トと呼ぶ）の属性、フォーマット情報、等の付帯情報と
、オブジェクトの内容、即ち、テキスト，図形データ等
が記録されている。しかしながら、画像のようなデータ
はテキストに比べて同一表示面積当たりのデータ量が３
桁以上となり、ページデータ内に持つより他のファイル
に格納した方が扱いやすい。この場合、この画像データ
の代わりに画像データの入っているファイルの識別子な
どのアクセス情報のみをこのセグメント上に記録し、こ
の識別子を用いて処理装置は画像ファイルを引き出し、
画面上に表示する。この表示位置の決定にセグメント中
の属性、フォーマット情報を用いることはテキストの場
合と同様である。また、音声データの場合なども同様に
実現することが出来る。

【００１３】映像をスーパーインポーズするときのレイ
アウト情報は、スーパーインポーズの表示領域のサイズ
と原点と表示領域の色によって映像を表示、非表示する
機能であるクロマキー（以下クロマキーと略す）を行な
うための背景色が記録されている。

【００１４】図６は、スーパーインポーズ装置処理フロ
ーを示したもので、ブロック９０１ではページファイル
を読み出し、ブロック９０２ではリストを解読する。こ
のリストの解読の結果、映像表示のセグメントがあると
き、ブロック９０３では映像装置を制御している映像装
置制御指令部に映像信号出力指令メッセージを出力する
。その後、ブロック９０４ではレイアウト情報の表示サ
イズからスーパーインポーズする時の表示サイズを調整
する。例えば、スーパーインポーズの表示サイズの種類
が４つあり、レイアウト情報の表示サイズからスーパー
インポーズの表示サイズを決定する際、レイアウト情報
の表示サイズよりスーパーインポーズの表示サイズが小
さくならないように調整する。ブロック９０５ではレイ
アウト情報の表示原点からスーパーインポーズの表示原
点を計算し、表示領域の原点とスーパーインポーズの原
点を同じにする。ブロック９０６では求めたデータをス
ーパーインポーズ装置に設定し、ブロック９０７ではス
ーパーインポーズ装置にスーパーインポーズ表示指令を
送信する。送信した結果、映像をスーパーインポーズす
る。しかし、クロマキーを用いて、表示領域を作成する
まで映像を表示しないようにしておく。これは、映像を
スーパーインポーズした直後、少しノイズが入るため、
このノイズを見せないようにするためである。ブロック
９０８でスーパーインポーズするときの表示領域を生成
した時、映像を表示する。

【００１５】図７は、映像装置処理制御フローを示した
ものである。ブロック１００１では、システム立ち上げ
時に映像装置との通信路の確立と初期設定を行い、ブロ
ック１００２では映像装置に対する要求メッセージが送
られて来るまで待ち状態になる。ブロック１００２に要
求メッセージが来たときは、ブロック１００３でメッセ
ージ解釈し、ブロック１００４で要求にあった制御指令
を送信する。例えば、映像信号出力の要求メッセージが
あった場合は、ブロック１００３で映像信号出力の要求
メッセージを解釈し、映像装置への指令を出すためのデ
ータを作成し、ブロック１００４で映像信号出力指令を
送信する。この送信が終了した後は、ブロック１００５
で映像装置が制御指令に対するメッセージを返信してく
るのでそれを受信し、ブロック１００６で要求元へ、要
求完了のメッセージを出力し、ブロック１００７で終了
を判定する。この終了判定の元となるデータは、要求メ
ッセージの中に組み込まれている。

【００１６】図８は、スーパーインポーズするための表
示領域を生成するための動作を示したもので、（ａ）に
示すようにポインティングデバイスを用いて、２点を指
定することにより、（ｂ）の映像表示領域が生成する。 また、映像表示領域を生成したときの結果である表示領
域の表示サイズと表示原点は、レイアウト情報のファイ
ルに記録する。

【００１７】図９は、表示画面上にスーパーインポーズ
している映像にポインティングデバイスをもちいて、ポ
インティングすることにより、ポインティングされた映
像の詳細説明が表示画面に表示される動作を示したもの
です。この動作は、（ａ）において、映像を表示画面上
に表示し、キー領域が設定されている映像にポインティ
ングデバイスを用いて、ポインティングした時、キー領
域に論理的に結合されているテキスト、画像、音声等の
情報を（ｂ）に示すように表示する。また、（ｃ）のよ
うに別の映像を表示する。

【００１８】図１０は、映像から情報検索を行なうため
のキーファイルを示したものである。（ａ）では、例え
ば、映像を１秒間隔で区分し、区分した映像ごとにキー
領域を定義し、そのキー領域に対応するページデータや
部品であるセグメントのアクセス情報を記録する。これ
により、ポインティングしたときの時刻と映像が始まっ
た時刻との差により、表示時間が判明し、区分した映像
が判定できる。次にポインティングした時の座標により
、キー領域を判明し、キー領域に対応した情報を表示で
きる。この時の部品であるセグメントは、（ｂ）に示す
ファイルに記録されている。このファイルは、第５図に
示したセグメントにアクセスされるための情報を付け、
その情報により、どのセグメントを表示するか判別でき
るように記録されている。また、別のキーファイルとし
ては、（ａ）のファイルで、映像を区分する時、秒単位
でなく、映像に直接アドレス値を書き込める映像装置に
おいて、そのアドレス値により、映像を区分することが
できる。それは、１アドレス単位もしくは、数アドレス
単位で区分し、区分した映像ごとにキー領域を定義し、
そのキー領域に対応するページデータや部品であるセグ
メントのアクセス情報を記録する。このファイルを用い
て、情報を検索表示する場合は、ポインティングしたと
きの画像フレームのアドレス値から、区分した映像を判
定し、次にポインティングした時の座標により、キー領
域を判明し、キー領域に対応した情報を表示できる。

【００１９】図１１は、図９で述べたシステムのフロー
を示したものである。ブロック１１０１からブロック１
１０３までは、ページデータファイルを読み出し、ペー
ジデータのリストを解読し、リストの中に記録されてい
るセグメントの表示を行なう。この時、リストの中に映
像のセグメントがあった時、映像をスーパーインポーズ
する。また、映像のセグメントに情報検索用のキーファ
イル（図１０）のファイル識別子であるアクセス情報が
あった場合は、ブロック１１０４で上記のファイルを読
みだす。ブロック１１０５ではポインティングデバイス
によるポインティングを待ちをし、ポインティングされ
たとき、ポインティング座標を入力する。ブロック１１
０６ではポインティングした時刻により、情報検索用フ
ァイルに記録されている時刻を判定する。次にブロック
１１０７では時刻に対応するキー領域判定をする。その
結果、キー領域に対応する他のページもしくは、セグメ
ントのアクセス情報を得、ブロック１１０８で判定し、
他のページやセグメントを表示する。

【００２０】また、映像をフレームアドレス値で区分し
た場合、図１１では、ブロック１１０４まで同じ動作を
行ない、ブロック１１０５でポインティングされたとき
、ポインティングした座標を入力し、その時映像からア
ドレス値を読みだし、ブロック１１０６で情報検索用フ
ァイルに記録されているフレームアドレス値と比較判定
する。次にブロック１１０７ではアドレス値に対応する
キー領域判定をする。その結果、キー領域に対応する他
のページもしくは、セグメントのアクセス情報を得られ
、ブロック１１０８で判定し、他のページやセグメント
を表示する。

【００２１】

【発明の効果】以上、本発明によれば、マルチメディア
プレゼンテーションにおいて、映像をスーパーインポー
ズして利用するとき、映像からも知りたい情報を得られ
るため検索の自由度が向上し、マルチメディアプレゼン
テーションとして効果がある。また、計算機などが表示
してあるビデオ動画に検索者がある領域をポインティン
グしたとき、その領域に写しだされているビデオ動画に
対応した詳細説明（操作説明など）が表示される動画マ
ニュアルなどにも使用でき効果がある。

【図面の簡単な説明】

【図１】本発明の装置構成図である。

【図２】本発明の１例を示す画面表示レイアウト図であ
る。

【図３】本発明のスーパーインポーズ時におけるデータ
の流れを示す図である。

【図４】本発明のデータ構造を示す図である。

【図５】本発明のデータのフォーマットを示す図である
。

【図６】本発明のスーパーインポーズ装置制御処理のフ
ローチャートである。

【図７】本発明の映像装置制御処理のフローチャートで
ある。

【図８】本発明の映像編集処理動作の１部を示す図であ
る。

【図９】本発明の映像検索処理動作の１部を示す図であ
る。

【図１０】本発明の映像検索用のデータを示す図である
。

【図１１】本発明の映像検索処理のフローチャートであ
る。

【符号の説明】

１…処理装置、２…映像装置、３…スーパーインポーズ
装置、４…表示装置、５…入力用キーボード、６…検索
操作用ポインティングデバイス、７…記憶装置、４２…
ページ、４３ａ…コラム、４３ｂ…コラム、４４ａ…映
像、４４ｂ…画像、４４ｃ…テキスト、１１…メインメ
モリ、１２…演算処理部、１２ａ…ページ表示処理部、
１２ｂ…スーパーインポーズ装置制御部、１２ｃ…映像
装置制御処理部、８１ａ〜８１ｆ…リストのノード（又
はセル）、８２ａ〜８２ｃ…セグメント。

Claims (6)

【特許請求の範囲】
1. 【請求項１】テキスト，図形，画像，映像，音声などの
   情報を蓄積，表示出力する手段を備え、要求に応じて上
   記情報を表示出力する対話システムにおいて、映像信号
   を出力する手段と映像信号をスーパーインポーズし、表
   示装置に表示する手段とを具備し、映像をスーパーイン
   ポーズして表示するための場所を示すキー情報を記録す
   るファイルを作成し、映像をスーパーインポーズする際
   、上記ファイルに記録されているキー情報に従い、映像
   をスーパーインポーズし、表示装置に映像を表示するこ
   とを特徴とするマルチメディアプレゼンテーション方法
   。
2. 【請求項２】請求項１記載のマルチメディアプレゼンテ
   ーション方法において、映像を重畳（以下、スーパーイ
   ンポーズとする）し、表示装置に表示する処理をする際
   、表示情報である表示サイズと表示原点を解読し、表示
   サイズと表示原点に合わせるようにし、スーパーインポ
   ーズする映像表示サイズの調整を行うことを特徴とする
   マルチメディアプレゼンテーション方法。
3. 【請求項３】請求項１記載のマルチメディアプレゼンテ
   ーション方法において、映像を表示する表示領域の色に
   より、映像を表示、非表示する手段を備え、映像をスー
   パーインポーズし、表示装置に表示する際、あらかじめ
   、非表示状態で映像をスーパーインポーズし、表示情報
   に従い、表示領域の色を映像が表示状態になる色に設定
   することにより、表示領域を生成したとき、映像を非表
   示状態から表示状態にすることを特徴とするマルチメデ
   ィアプレゼンテーション方法。
4. 【請求項４】テキスト，図形，画像，映像，音声などの
   情報を蓄積，表示出力する手段を備え、要求に応じて上
   記情報を表示出力する対話システムにおいて、映像信号
   を出力する手段と映像信号をスーパーインポーズする手
   段とを具備し、検索者の操作を入力する手段を備え、表
   示装置に表示している映像をポインティングしたとき、
   そのポインティングした映像上の領域と論理的に結合し
   ている情報を表示出力することと映像上の領域と上記情
   報とを論理的に結合させるためのファイルを作成するこ
   とを特徴とするマルチメディアプレゼンテーション方法
   。
5. 【請求項５】請求項４記載のマルチメディアプレゼンテ
   ーション方法において、映像を一定間隔ごとに区分し、
   これを一つの単位とし、１単位ごとにキ−領域を定義で
   き、そのキー領域と対応している情報の入っているファ
   イルを示すインデックスを参照することにより、上記情
   報を表示することを特徴とするマルチメディアプレゼン
   テーション方法。
6. 【請求項６】請求項４記載のマルチメディアプレゼンテ
   ーション方法において、映像を静止させる手段を備え、
   映像上の領域と上記情報とを論理的に結合させるための
   ファイルを作成する際、映像を一定間隔ごとに区分し、
   これを一つの単位とし、１単位ごとに１フレームの静止
   映像を選び表示させ、その静止映像の表示画面にキー領
   域を作成し、リンク先である情報の入っているファイル
   のインデックスを上記ファイルに定義することを特徴と
   するマルチメディアプレゼンテーション方法。