JPH02162986A - マルチメディア情報提示システム及びマルチメディア情報の取り扱い方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 フト、検索ソフト、娯楽ソフトなどのプレゼンテーショ
ン・ソフト開発を支援するマルチメディア情報提示シス
テム及び該システムに用いるマルチメディア情報の取り
扱い方法に関する。

従来の技術 従来のマルチメディア情報提示システムにおいては、マ
ルチメディア情報を提示する単位として電子的なカード
及びカードの集合を用い、ガード上にマルチメディア情
報をオーバーレイして提示、まだカード間をリンクで結
合して関連付けることが多い。

発明が解決しようとする課題 従来のマルチメディア提示システムにあっては、マルチ
メディア情報の提示モデルとして電子カードや電子ドキ
ュメントを用いているが、テキスト情報主体で構成され
るマルチメディア情報提示が主目的の場合、紙という人
間にとってなじみが強いメディアの類推として極めて良
好なモデルである。しかしながら、動画、音、アニメー
ション等の時間属性をもった視聴覚情報を積極的に利用
しようとする場合、紙という概念に基づいた電子カード
や電子ドキュメントのモデルは無力となる。

本発明は、電子カードや電子ドキュメントのモデルを容
易に構成でき、かつ動画、音、アニメーション等の時間
属性をもったメディア情報を主体的に扱える提示モデル
の構築をも容易に行えるマルチメディア提示システム及
びマルチメディア情報の取り扱いモデルを提供すること
を目的としている。

課題を解決するだめの手段 上記目的を達成するだめに、本発明のマルチメディア提
示システムにおいて、人間がシステムと会話する装置と
して、マウス及びキーボード入力を管理し、マウスボタ
ンやキー入力操作をイベント（事象）として把握し、シ
ステムにイベントに対応したイベント・メッセージとし
て伝達する働きをするイベント管理部を設け、画像や音
を記録・再生可能なＡＶ入出力機器及びＡＶ入出力機器
とシステム間でデータの変換を行なうＡＶコン＋ローラ
を設け、テキスト、図形２画像、音などの複数メディア
情報即ちマルチメディア情報を会話的に生成・編集する
メディア統合化エディタと、これらマルチメディア情報
を画像出力装置や音晋出力装置に出力制御を行なうため
のデイスプレィ・コントローラ及びプレイ・コントロー
ラヲ設ｆｆ、メディア統合化エディタで作成・編集され
たマルチメディア情報のデータ部とマルチメディア情報
の処理手続き部の組で構成したマルチメディア・オブジ
ェクトとして格納するオブジェクト・ペース及びオブジ
ェクト間を有機的に関係付け、ネットワーク（有向グラ
フ）空間として管理とシステムの各構成要素の管理を司
るオブジェクト・ネット管理部を設け、イベント管理部
から受け取ったイベント・メッセージに基づいて、関連
するオブジェクトの動作記述部を解釈し、デイスプレィ
・コントローラ及びプレイ・コントローラに制御情報並
びにマルチメディア情報のデータ部を送信する制御を行
なうプレゼンテーション制御部を設け、他のシステムと
マルチメディア情報の通信のやりとりを司る通信制御部
を設けたものである。

また、大量の情報を有機的に記憶し、リレーシロナル検
索可能なデータベースを設け、オブジェクト・ネット管
理部の管理下で機能させることもできる。

さらに、人間の知識を有機的に記憶し、推論による検索
が可能な知識ベースを設け、オブジェクト・ネット管理
部の管理下で機能させることもできる。

上記のように構成してなるマルチメディア情報提示シス
テムにおいて、マルチメディア情報を取り扱う手段とし
ては、オブジェクトとしてマルチメディア情報の入れ物
としてのフレームとマルチメディア・オブジェクトを分
離し、マルチメディア・オブジェクトには提示すべきメ
ディア・データとその処理手続きをもたせ、マルチメデ
ィア・オブジェクト間の論理的関連付けおよびマルチメ
ディア・オブジェクトの時空間的な動作制御は各々のフ
レームにユーザが記述可能な言語で手続きをもたせ、多
数のフレーム及びマルチメディア・オブジェクトを作シ
、それらを自由に関連付けることができ、自由な提示モ
デルの構築ができると良い。

作　　　用 上記のように構成されたマルチメディア情報提示システ
ムにおいては、システムの利用者は、提示したいメディ
ア情報をメディア統合化エディタで作成・編集すること
と、これらを提示したい時間と位置にメディアをは９つ
けるべきフレームを定義し、マルチメディア情報の時空
間的な動作制御及びフレームの動作制御を言語によりフ
レームに記述することと、複数のフレームの論理的な関
連付けを行なうことが会話的に実現でき、論理的に関連
付けられた複数フレームを電子カードや電子ドキュメン
トのみならず、任意のレイアウトのひな型を作れる。

そして、上記したマルチメディアおよびフレームをオブ
ジェクト・ベースに登録、再利用ができ、多様な提示目
的にあったシナリオ柔軟に作成できる。

また、提示の際にはフレームに記述された動作記述言語
をインタープリタ方式で動的に解釈実行することでシナ
リオの局面を展開する方式なので、任意に動作記述の変
更が可能で、提示される側で提示のされ方を個人ごとに
変えることも容易に実現できる。

実施例 実施例について図面を参照して説明すると、第１図にお
いて、マルチメディア情報システムと人・間が会話する
装置として、マウス１０１及びキーボード１０２を設け
、マウス１０１及びキーボード１０２入力を管理し、マ
ウスボタンやキー入力操作が行なわれた際に、システム
にイベント（事象）が起こった旨をイベント・メッセー
ジとして伝達する働きをするイベント管理部１を設ける
。

また、画像や音は、アナログ情報としてたくさん蓄積さ
れているので、これらをシステムで利用できるように、
アナログＡＶ入出力機器８及びＡＶ入出力機器８から取
り出されたアナログ信号をディジタルに変換したり、シ
ステム間でデータ転送を行なうＡＶコントローフ９を設
ける。また、テキスト、図形２画像、音などを新たに生
成したり、前記ＡＶコントローラから送られてきたメデ
ィア情報を編集しだシ、複数メディア情報を組合せたり
する作業を会話的に実行できるメディア統合化エディタ
６を設ける。また、マルチメディア情報の内、視覚情報
を出力する画像出力装置１２や聴覚情報を出力する音響
出力装置１３にデータの転送、同期制御などの出力制御
を行なうだめのデイスプレィ・コントローラ１ｏ及びプ
レイ・コントローラ１１を設ける。また、メディア統合
化エディタ１ｏにより作成・編集されたマルチメディア
情報はデータ部とマルチメディア情報の処理手続キ部の
組で構成したマルチメディア・オブジェクトとしてオプ
ジ、エクト・ベース３に格納される。

これら、オブジェクト間を有機的に関係付け、ネットワ
ーク（有向グラフ）空間として管理し、さらに、システ
ムの各構成要素の制御・管理を司るオブジェクト・ネッ
ト管理部２を設ける。また、イベント管理部１から受け
取ったイベント・メッセージに基づき、関連するオブジ
ェクトの動作記述部を解釈し、ディスクレイ・コントロ
ーラ１０及ヒプレイ・コントローラ１１に対して、制御
情報及びマルチメディア情報のデータ部の送信制御を行
なうプレゼンテーション制御部子を設け、さラニ、他の
システムとマルチメディア情報の通信のやりとりを司る
通信制御部１４、大量の情報を有機的に記憶し、リレー
ショナル検索可能なデータベース４、そして、知識を有
機的に記憶し、推論による検索が可能な知識ベース５を
設け、オブジェクト・ネット管理部２の管理下で機能さ
せる。

第２図に示される実施例では、オブジェクト・ネット管
理部とデータベース４及び知識ベーク５との関連を示す
。

第３図に示される実施例では、マルチメディア情報を取
り扱う手段として、マルチメディア情報の入れ物として
のフレームというオブジェクト１５〜２７を導入し、提
示したい局面を例えば第３図（ａ）のような複数のフレ
ームで構成することを考え、例えば、フレーム１５はこ
のマルチメディア提示局面の背景フレーム、フレーム１
６はテキスト・オブジェクトをはりつけるだめのテキス
ト・フレーム、フレーム１７はフレーム１８．　１９．
　２０テ構成サレルスクロール・バー−フレームをマウ
スで操作することにより、はりつけられるテキスト・オ
ブジェクトをスクロールする目的で作られたテキストや
フレーム、フレーム２１は動画像オブジェクトはりつけ
る目的で作られた画像フレーム、フレーム２２〜２アは
ボタン・フレームで、マウスで操作することにより、画
像フレーム２１にはりつけられる動画像オブジェクトに
対して動作スタート　ストップなどの制御を行なうだめ
のフレームとして用いるものとする。これらフレーム間
の論理的関係の一例として第３図（ｂ）のような構造を
定義する。そして、各フレームには、メツセージ・ハン
ドラと呼ぶフレームまたはマルチメディア・オブジェク
トに対する動作要求メソセージ送信列、即ち、 Ｃａ８ｅメツセージ 対象オブジェクト名＃１　〈−メツセージ＃ａ対象オブ
ジェクト名＃２　〈−メツセージ＃ｂｎｄ のような言語で構成される動作記述手続きを付加するも
のとする。マウス１０１やキーボード１０２の操作を管
理するイベント管理部１は、現在カーソルが表示されて
いるフレームに対してイベント・メッセージを送り、こ
のイベント・メッセージにより、オブジェクト・ネット
管理部２はプレゼンテーション制御部を働かせて、その
フレームの動作記述言語が解釈され始めるようにする。

こうして、イベント・メッセージをきっかけにフレーム
に記述された動作要求メツセージ列が順次解釈実行され
ていく。この過程において、フレームは受け取ったメツ
セージに対するメツセージ・ノ・ンドラをもたない場合
はその場合はそのメツセージを、親フレームに送るとい
うメカニ・ズムとることが有効となる。すなわち、第３
図（ｂ）のように定めたフレームの階層を子フレームか
ら親フレームへディフルトのメツセージ・パッシングお
こなう系を作ることで、例えばフレーム１８には、マウ
ス１０１が操作されたとき、自分自身にスクロールせよ
というメツセージを送るメソセージ・ノ・ンドラを記述
しておくだけで、システムは自動的に親にメソセージを
ハツシングし、親フレーム１６にスクロール・メツセー
ジに対するメツセージ・ノ・ンドラを付加しておけばよ
い。こうすることによす、フレーム１８は、スクロール
させたいフレームを作った場合、その子フレームとして
再利用できることになる。このように、フレームとマル
チメディア・オブジェクトを自由に組合せ、論理構造を
定義でき、かつ部品化できるので、提示局面の集合とし
てシナリオを作成する際の強力な環境を提供できる。

また、第２図におけるオブジェクト・ネット管理部２は
、内部的にフレーム２０１〜２０了からなるネットワー
クを管理しているものとし、各矢線はフレームから別の
フレームのメツセージ伝送チャンネルを示す。上記した
、階層的なフレーム構造に加え、自由にフレームのネッ
トワークを構成できるものである。そして、さらに、フ
レーム２０７のように必要に応じて、データベース４に
対する検索要求メツセージを送り、例えば関係表４０１
〜４０３を経て所望のデータを検索してフレーム２０７
に表示することができる。まだ、同様にフレーム２０６
のように必要に応じて、知識ベース５０１に推論要求メ
ツセージを送り、例えば知識フレーム６０１〜５０７を
用いてより高次の概念を導き出してフレーム２０５に表
示することもできる。このよう外構酸は教育ソフトのよ
うな知的なマルチメディア提示システムを構成する手段
も提供できる。

これらの実現手段として、現在はソフトウェアで構成し
ているが、プレゼンテーション制御部７における動作記
述言語インタープリタをＬＳＩ化することもできる。

発明の効果 本発明は、以上説明したように構成されているので、以
下に記載されるような効果を奏する。

フレームと提示すべきマルチメディア情報をそれぞれ別
のオブジェクトとして扱い、それらの論理的構造やネッ
トワーク表現を自由に作れ、さらに、一部を部品として
再利用できるようにすることにより、マルチメディア情
報による提示を目的とするアプリケーション・ソフトの
生産システムとして、極めて有効である。

さらに、複雑なオブジェクト・ネットの管理、知識ベー
スとの融合が可能なので、人間が情報を整理し、諸活動
に役立てる際に、従来のカードや手帳で実現できなかっ
た道具を提供できる。

【図面の簡単な説明】

第１図は本発明の一実施例におけるマルチメディア提示
システムのプロ・ツク図、第２図は第１図におけるオブ
ジェクト−ネット管理部とデータベースならびに知識ベ
ースとの関係を示す概念図、第３図は第１図におけるオ
ブジェクトの扱い例を示す概念図である。 １・・・・・・イベント管理部、１０１・・・・・・マ
ウス、１０２・・・・・・キーボード、２・・・・・・
オブジェクト拳ネット管理部、３・・・・・・オブジェ
クト・ベース、４・・・・・・データベース、６・・・
・・・知識ベース、６・・・・・・メディア統合化エデ
ィタ、７・・・・・・プレゼンテーション制御部、８・
・・・・・ＡＶ機器、９・・・・・・ＡＶコントローラ
、１ｏ・・・・・・デイスプレィ・コントローラ、１１
・・・・・・プレイ・コントローラ、１２・・・・・・
画像出力装置、１３・・・・・・音響出力装置、１４・
・・・・・通信制御部。 代理人の氏名　弁理士　粟　野　重　孝　ほか１名第１
図 嫉 蕃

Claims (4)

【特許請求の範囲】
1. （１）マウスとキーボードを備え、前記マウス及びキー
   ボード入力を管理し、マウスボタンやキー入力操作をイ
   ベントとして把握し、システムにイベントに対応したイ
   ベント、メッセージとして伝達する働きをするイベント
   管理部と、画像や音を記録、再生可能なアナログＡＶ入
   出力機器及び該ＡＶ入出力機器とシステム間でデータの
   変換を行うＡＶコントローラと、テキスト、図形、画像
   、音などの複数メディア情報即ちマルチメディア情報を
   会話的に生成、編集するメディア統合化エディタと、こ
   れらマルチメディア情報を画像出力装置や音響出力装置
   に直接出力制御を行なうためのディスプレイ．コントロ
   ーラ及びプレイ．コントローラと、前記メディア統合化
   エディタにより作成．編集されたマルチメディア情報の
   データ部とマルチメディア情報の処理手続き部の組で構
   成したマルチメディア・オブジェクトとして格納するオ
   ブジェクト・ベースと、オブジェクト間を有機的に関係
   付け、ネットワーク空間として管理並びにシステムの各
   構成要素の管理を行なうオブジェクト・ネット管理部と
   、前記イベント管理部から受け取ったイベント・メッセ
   ージに基づき、関連するオブジェクトの動作記述部を解
   釈し、前記ディスプレイ・コントローラ及びプレイ・コ
   ントローラに制御情報並びにマルチメディア情報のデー
   タ部を送信する制御を行なうプレゼンテーション制御部
   と、他のシステムとマルチメディア情報の通信のやりと
   りを司る通信制御部を備えたことを特徴とするマルチメ
   ディア提示システム。
2. （２）請求項１に加えて、大量の情報を有機的に記憶し
   、リレーショナル検索を行うデータベースを備え、オブ
   ジェクト・ネット管理部の管理下で機能させるマルチメ
   ディア提示システム。
3. （３）請求項１または請求項２に加えて、知識を有機的
   に記憶し、推論による検索を行う知識ベースを備え、オ
   ブジェクト・ネット管理部の管理下で機能させ得るマル
   チメディア提示システム。
4. （４）請求項１、２または３において、マルチメディア
   情報を取り扱う手段として、オブジェクトとしてマルチ
   メディア情報の入れ物としてのフレームとマルチメディ
   ア・オブジェクトを分離し、マルチメディア・オブジェ
   クトには提示すべきメディア・データとその処理手続き
   をもたせ、マルチメディア・オブジェクト間の論理的関
   連付けおよびマルチメディア・オブジェクトの時空間的
   な動作制御は各々のフレームにユーザが記述可能な言語
   で手続きをもたせ、多数のフレーム及びマルチメディア
   ・オブジェクトを作り、それらを自由に関連付けて一連
   の提示シナリオを構成することを特徴とするマルチメデ
   ィア情報の取り扱い方法。