JPH06231030A

JPH06231030A - マルチメディアオーサリングシステム

Info

Publication number: JPH06231030A
Application number: JP5013197A
Authority: JP
Inventors: Takaaki Yamada; 隆亮山田; Mayumi Morimoto; 真由美森本; Hiroyuki Kojima; 弘行小嶋; Hirohide Haga; 博英芳賀
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-01-29
Filing date: 1993-01-29
Publication date: 1994-08-19

Abstract

(57)【要約】【目的】計算機システムにおいて、音、文字、画像な
どのマルチメディアデータを、統合的に関係付ける制御
情報を生成するマルチメディアオーサリングシステムに
関する。【構成】本発明によれば、主記憶、ＣＰＵを内蔵した
計算機と、表示装置、入力装置、外部記憶装置、音出力
装置とから構成される計算機システムに加えて、（ａ）
階層構造のマルチメディア記述言語を階層ごとに編集す
る機能を有するテキストエディタと、（ｂ）マウス入力
を受け付けて、イベント処理する機能を有するビジュア
ルエディタと、（ｃ）マルチメディア記述言語の記述内
容を管理するコントローラと、（ｄ）マルチメディア記
述言語を、処理するマルチメディアエグゼキュータとを
具備することを特徴とするマルチメディアオーサリング
システム。【効果】ハイパー構造を有するマルチメディアシステ
ムを構築する際の比較的上流工程において、全体の流れ
を掌握するのが容易なマルチメディアオーサリングシス
テムを提供することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】計算機システムにおいて、音、文
字、画像などのマルチメディアデータを、統合的に関係
付ける制御情報を生成するマルチメディアオーサリング
システムに関する。

【０００２】

【従来の技術】本発明に係わる従来技術として、（１）イベント駆動のウィンドウシステム（２）ハイパーメディアシステム（３）ハイパーメディア記述言語（４）オブジェクト指向プログラミングについて以下に記載する。

【０００３】（１）イベント駆動のウィンドウシステ
ム：計算機と人とのマンマシンインタフェースとして、
ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆ
ａｃｅ）が注目されている。ＧＵＩはコンピュータグラ
フィックスを利用して、ユーザ入力域にボタン、スケー
ルバー、プルダウンメニューなどの直感に訴えるユーザ
インタフェースで、マウス入力などを受け付けること
で、イベントを発生させる。こうしたイベント駆動のウ
ィンドウシステムに、Ｘウィンドウシステムが挙げられ
る。

【０００４】文献「兜木他：Ｘ−ＷｉｎｄｏｗＯＳＦ
／Ｍｏｔｉｆプログラミング、日刊工業新聞社、ｐｐ．
１５０〜１８５」において、エディタについて次のよう
に記載されている。ここで述べられているエディタは、
ユーザアプリケーションプログラムを記述する計算機言
語を編集するツールのことである。「マウスボタン１を
押すと通常はカーソルがボタンを押した位置に移動する
が、ボタン１を押したままマウスを移動してから離す
（ドラッギング）と、移動した領域が反転する。これを
マウスによるセレクションという。」「この反転領域の
内容は、XmTextGetSelection()コール（Ｘウィンドウシ
ステムが用意している関数ライブラリの一つ）で、プロ
グラム内に取り込むことができる。また、ダブルクリッ
ク（マウスボタン１を２回連続押すこと）でワード単位
のセレクトができる。」このように、従来技術で、例え
ば、Ｘウィンドウシステムが提供するライブラリなどを
用いれば、マウス入力でイベント処理を行うエディタを
容易に構築できる。Ｘウィンドウシステムは米国マサー
セッツ工科大学の登録商標である。ＯＳＦ／Ｍｏｔｉｆ
は、ＯＳＦの商標である。

【０００５】（２）ハイパーメディアシステム：音、文
字、画像などのマルチメディアデータを、統合的に出力
制御する機能を有する計算機システムを、マルチメディ
アシステムという。また、マルチメディアデータを相互
に関係付ける制御情報を作成するシステムを、マルチメ
ディアオーサリングシステムという。ハイパーメディア
システムは、ハイパー構造を持つマルチメディアシステ
ムというのが一般的解釈である。ハイパー構造は、各デ
ータを非線形に相互に関係付け、ユーザ入力に対応して
関係情報を出力する構造を言う。

【０００６】ハイパーメディアシステムについては、例
えば、FRANK G.HALASZ:「 REFLECTION ON NOTECARDS : S
EVEN ISSUES FOR THE NEXT GENERATION OF HYPERMEDIA
SYSTEMS 」,Communications of the ACM,July 1988, Vol
ume 31, Number 7, p.p.836-852に記載されている。

【０００７】（３）マルチメディア記述言語：ハイパー
メディアを取り扱う記述言語として、米アップル社のＨ
ｙｐｅｒＴａｌｋがよく知られている。ＨｙｐｅｒＴａ
ｌｋは同社のＨｙｐｅｒＣａｒｄを制御するための記述
言語である。ＨｙｐｅｒＣａｒｄは、カード単位で情報
を取扱い、１枚のカードにテキスト、図形、音、などの
マルチメディア情報と、ユーザアクションを受け付ける
ボタンなどを定義できるハイパーメディアシステムであ
る。同社のマニュアル「ＨｙｐｅｒＴａｌｋＢｅｇ
ｉｎｎｅｒ’ｓＧｕｉｄｅ：ＡｎＩｎｔｒｏｄｕｃ
ｔｉｏｎｔｏＳｃｒｉｐｔｉｎｇ」（０３０−３
９１７−Ａ）、「ＨｙｐｅｒＣａｒｄユーザーズマニュ
アル」（Ｊ０３０−３０８１−Ａ）において、記載され
ている。

【０００８】（４）オブジェクト指向プログラミング：
「オブジェクト指向入門」酒井他著、オーム社、１９８
９、「Ｃ＋＋オブジェクト指向プログラミング」Ｒ．
Ｓ．ウィナー他著、前川守訳、アジソンウェスレイ・
トッパン情報科学シリーズー５，１９８９，ｐ．ｐ．１
５５によると、ポリモーフィズム（ｐｏｌｙｍｏｒｐｈ
ｉｓｍ）と仮想関数について、次のように記載されてい
る。「オブジェクト指向言語のポリモーフィシズムと
は、プログラマはソフトウェアシステムがアクションを
どのように実行するのか知らなくても、単にオブジェク
トにメッセージを送れば、そのアクションが実行でき
る。この特性は、同じ汎用的なアクションが異なるオブ
ジェクトで異なった方法で実現される場合にとくに有効
である。」「Ｃ＋＋では、ポリモーフィズムは、仮想関
数を通して実現する。」オブジェクト指向プログラミン
グの手法は、マルチメディアシステムにおいて有効であ
る。「出力する」というアクションが、画像オブジェク
トに対して送られたときは、画像オブジェクトを表示す
るアクションを実行する。同じ「出力する」というメッ
セージが音オブジェクトに対して送られたときには、音
を鳴らす。つまり、システムを制御する側からみれば、
メディアを制御する目的において、オブジェクトの違い
（メディアの違い）を意識せずにアクションを記述でき
る。オブジェクト指向の考え方は、シナリオ記述言語の
書式を簡単化する上で重要である。

【０００９】

【発明が解決しようとする課題】上記従来技術は、ハイ
パー構造を有するマルチメディアシステムを構築する際
に、情報構造を複雑に関係付けるため、例えばアイコン
をマウスを用いて並べ替えたりして順序制御を行うな
ど、１場面単位の構造をグラフィカルに設定する機能に
優れているが、（１）各場面の集合としての全体の流れ
を掌握しにくいこと、（２）全体の流れを掌握しなが
ら、細部制御情報を設定できないこと、が問題であっ
た。

【００１０】本発明の目的は、「ハイパー構造を有する
マルチメディアシステムを構築する際の比較的上流工程
において、全体の流れを掌握しやすいマルチメディアオ
ーサリングシステム」を提供することにある。本発明の
他の目的は、「ハイパー構造を有するマルチメディアシ
ステムを構築する際の比較的上流工程において、全体の
流れを掌握しながら、細部制御情報の設定が容易にでき
るマルチメディアオーサリングシステム」を提供するこ
とにある。

【００１１】

【課題を解決するための手段】上記目的は、次のような
構成によって達成される。本発明の望ましい実施形態に
おいては、マルチメディアオーサリングシステムは、主
メモリ、ＣＰＵを内蔵した計算機と、表示装置と、外部
記憶装置と、入力装置と、音出力装置とを有する計算機
システムにおいて、（１）テキストファイル管理テーブル（２）オブジェクト管理テーブル（ａ）コントローラ（ｂ）テキストエディタ（ｃ）ビジュアルエディタ（ｄ）マルチメディアエグゼキュータから構成される。

【００１２】

【作用】

（１）各構成要素の詳細説明：テキストファイル管理テ
ーブルは、マルチメディア記述言語のテキストファイル
の格納場所を記述する。マルチメディア記述言語はマル
チメディアシステムの制御動作手順を記述する。オブジ
ェクト管理テーブルは、画像、文字などのマルチメディ
アデータ個々の座標、時間などの制御情報を格納する。
コントローラは、テキストファイル管理テーブルを主メ
モリに読み込み、該マルチメディア記述言語の格納場所
を管理する。テキストエディタは、コントローラに制御
され、入力装置を用いて文字列を編集し、入力装置で選
択された単語文字列をコントローラに渡す制御手段を有
する。テキストエディタは複数個同時に使用できる。ビ
ジュアルエディタは、コントローラに制御され、入力装
置を用いて、座標、時間などの制御情報を、オブジェク
ト管理テーブルに設定処理する機能を有する。マルチメ
ディアエグゼキュータは、テキストファイル管理テーブ
ルとオブジェクト管理テーブルを用いて、マルチメディ
ア記述言語で記述した制御動作手順に従い、外部記憶装
置内に格納した画像、文字、音などのマルチメディタデ
ータを、画像データ、文字データなどの表示メディアを
表示装置に出力し、音データは、音出力装置に出力す
る。

【００１３】（２）各構成要素間の相互作用：コントロ
ーラは、テキストエディタから受け取った単語文字列を
キーに、テキストファイル管理テーブルを用いて対応し
たテキストファイルを検索し、テキストファイルを編集
するテキストエディタを呼ぶ。マルチメディア記述言語
はテキストファイルとして格納し、オブジェクトごとの
階層構造を記述する記述子とマルチメディアエグゼキュ
ータの制御動作を記述する制御コマンドから成る。コン
トローラが、マルチメディア記述言語を格納したテキス
トファイルを検索する場合、オブジェクト階層ごとに、
マルチメディア記述言語の記述子を検索キーにして、別
ファイルとして管理するオブジェクト管理テーブルか
ら、対象となるテキストファイルを検索する。

【００１４】（３）相互作用のもたらす効果：本実施例
のマルチメディアオーサリングシステムでは、シナリオ
記述言語を場面を表わすオブジェクトの階層ごとにエデ
ィティングできるテキストエディタを有する。マルチメ
ディアシステムを構築する際、広く全体像を見渡しなが
ら、部分的に深く掘り下げて設計を進めたいときには、
シナリオ記述言語の記述子をマウスで選択することで、
一階層下の記述部分のエディティングができるテキスト
エディタをコールする。シナリオ記述言語は、オブジェ
クト指向の統一的な記述方法を採用することで、階層的
な記述が容易に可能となる。

【００１５】また、オブジェクト最下層（木構造の葉の
意味：そこより下にオブジェクトが無い状態のオブジェ
クトを指す）において、ビジュアルエディタをコールす
ることにより、テキストエディタで編集したときに分か
りにくくなる、座標、時間といった、オブジェクト固有
の制御情報をグラフィカルに設定できる。オブジェクト
の階層にあった、制御情報を設定すること、すなわち、
上位オブジェクトに相当する「章」、「節」の順序制御
などは、テキストエディタを用いて編集することで、文
字メディアは、単位面積あたりの表示情報量が他のメデ
ィア（画像、動画など）より多いので、広く全体を見渡
すことが可能である。

【００１６】従って、本発明の目的の一つである「ハイ
パー構造を有するマルチメディアシステムを構築する際
の比較的上流工程において、全体の流れを掌握しやすい
マルチメディアオーサリングシステム」できるマルチメ
ディアオーサリングシステムを提供することができる。
また、下位オブジェクトに相当する「画像データ」の表
示位置、出力時間などの詳細情報はビジュアルエディタ
を用いて設定することができる。かつ、オブジェクトの
階層を掘り下げるアクションは、マウスで、シナリオ記
述言語の該当する部分を選択する操作で実行できる。こ
の操作系は、上位オブジェクトの出力順序制御などのシ
ナリオ設計をすすめながら、１画面のレイアウトを設定
するといった、広くて深い作業を行う上で良好なヒュー
マンインタフェースを提供できる。

【００１７】本発明の他の目的である「ハイパー構造を
有するマルチメディアシステムを構築する際の比較的上
流工程において、全体の流れを掌握しながら、細部制御
情報の設定が容易にできるマルチメディアオーサリング
システム」を提供することができる。

【００１８】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。図１は、本実施例におけるマルチメディアオ
ーサリングシステムのシステム構成図である。マルチメ
ディアオーサリングシステムは、（１）主メモリ、ＣＰ
Ｕを内蔵した計算機１０１と、（２）ディスプレイ１０
２と、（３）ハードディスク１０３と、（４）キーボー
ド１０４と、（５）マウス１０５と、（６）ＣＤ−ＲＯ
Ｍドライブ１０６と、（７）音出力装置１０７と、から
なる計算機システムに加えて、計算機の主メモリに格納
した（ａ）キーボード１０４、マウス１０５の入力を受
け付けて、イベント処理する機能を有するテキストエデ
ィタ１０８と、（ｂ）マウス１０５の入力を受け付け
て、イベント処理する機能を有するビジュアルエディタ
１０９と、（ｃ）マルチメディア記述言語の記述内容を
管理するコントローラ１１０と、（ｄ）マルチメディア
記述言語を、翻訳、実行処理するマルチメディアエグゼ
キューティングシステム１１１と、から構成される。

【００１９】マルチメディアシステムを構成するための
画像データ、音データ、文字データなどのマルチメディ
アデータをＣＤ−ＲＯＭに格納する。ＣＤ−ＲＯＭは、
光ディスクの一種で、大容量のマルチメディアデータ記
憶媒体である。ＣＤ−ＲＯＭドライブ１０６は、計算機
１０１からの制御を受けて、ＣＤ−ＲＯＭを駆動し、マ
ルチメディアデータを計算機１０１に転送するか、ある
いは音データを再生し、音出力装置１０７に出力する。
音出力装置１０７は、増幅器とスピーカで実現可能であ
る。図１１は、本実施例におけるマルチメディア記述言
語の仕様を示したものである。マルチメディア記述言語
を解釈・実行する制御方法については、後で詳細に説明
する。ここでは、言語の仕様を説明する。

【００２０】マルチメディア記述言語は、階層構造を有
しており、第１層においては、（１）場面記述関数（２）順序制御コマンドを用いて、マルチメディアアプリケーションの全体的な
シナリオ記述を行う。マルチメディア記述言語の第２層
以降においては、場面記述関数の内容を各場面記述関数
ごとに定義する。場面記述関数の中にも、場面記述関
数、順序制御コマンドを定義できる。すなわち、１つの
場面記述関数が、マルチメディア記述言語の１層分を示
す。多層構造の末端（最下層：以下、木構造の葉の意味
で用いる。すなわち、最下層のオブジェクトとは、その
オブジェクトより下のオブジェクトが存在しないような
オブジェクトを指す）に位置する場面記述関数（つま
り、その中に場面記述関数を持たない場面記述関数）
は、１つの場面の入出力制御方法を記述する。

【００２１】最下層の場面記述関数は、メディアの種
類、出力するデータの並び、入力を待つボタンなどの定
義をする。最下層の場面記述関数は、１場面を記述する
関数で、１場面分の入出力制御を記述している。すべて
の場面記述関数は、通常の計算機言語、例えばＣ言語の
関数のように戻り値を返す。最下層の場面記述関数の中
で、データの入出力定義を行う。

【００２２】基本演算子は３種類で、「出力」「入力」「消去」の３つの入出力制御コマンドを定義する。記述方法は（入出力制御コマンド）（メディア種別）（オブジェク
ト名称）とする。ここでは、メディアの種別は、「画像」「音」「文字」の３種類を定義する。

【００２３】順序制御コマンドは、「ＥＸＥＣ」「ＬＯＯＰ」「ＩＦ〜ＴＨＥＮＧＯＴＯ〜」の３種類を定義する。「ＥＸＥＣ〜」は通常の逐次実行
処理を示し、ＥＸＥＣの後ろに記述された場面記述関数
を実行する。「ＬＯＯＰ〜」は、同じ処理の繰り返しに
用いる。ＬＯＯＰ直後に記述された場面記述関数を実行
する。「ＩＦ〜ＴＨＥＮＧＯＴＯ〜」はＩＦの直後
に記述した場面記述関数の戻り値に応じて、全体の流れ
の分岐先をＧＯＴＯの後ろに定義する。「ＧＯＴＯ〜」
は、オペランドに場面記述関数をもち、場面記述関数の
指示する場面の入出力制御を行った後、「ＧＯＴＯ〜」
処理を完了する。「ＧＯＴＯ〜」では、場面記述関数の
戻り値を特に使用しない。マルチメディア記述言語の各
層は、本に例えるなら、第１層が「本」、本は複数の章
からなり、第２層が「章」、同様に第３層が「節」とな
り、第４層では、節の中に記述された「文字」データの
記述を行う。

【００２４】図２は、マルチメディア記述言語を編集す
るテキストエディタ、ビジュアルエディタの使用例を示
す図である。マルチウィンドウシステムで、図中２０
１、２０２、２０３は、各ウィンドウでキーボード入力
を受け付けて文字（マルチメディア記述言語）の編集を
行うテキストエディタである。また、マルチメディア記
述言語の中で記述された場面記述関数をマウスクリック
すると、その場面を記述している部分のテキストエディ
タをコールし、独立したウィンドウとして出力する。場
面記述関数が最下層のものであれば、その１場面の入出
力を記述した、入出力制御コマンド列を編集できるテキ
ストエディタをコールする。さらに、その入出力制御コ
マンド列の中から、１つの入出力制御コマンドをマウス
クリックすると、１つのデータの詳細な制御情報の編集
を行うビジュアルエディタをコールする。

【００２５】図１の場合、テキストエディタ２０１の
「ＭＡＩＮ」という場面記述関数の中では、「１章」、
「２章」、などがそれぞれ場面記述関数である。マウス
で「２章」を選択すると、「２章」を記述するマルチメ
ディア記述言語を含むテキストファイルを読み込んで、
テキストエディタ２０２のウィンドウを開く。「２章」
の内容は、順序制御コマンドによって、以下のような
（１）から（５）までの一連のマルチメディアシステム
の制御動作を記述している。（１）「コマ１」を実行する（ＥＸＥＣ）（２）「コマ２」を所定回数繰返す（ＬＯＯＰ）（３）「コマ３」の戻り値がＴＲＵＥならば、次にコマ
５を実行する。「コマ３」の中でボタンなどのユーザイ
ンタラクションを受け付ける「入力」を定義し、ボタン
が押されたらＴＲＵＥを返す処理を行う。（４）そうでなければ、「例題１」の処理を行う。「例
題１」は、場面記述関数であり、別のファイルにその内
容を記述している。すなわち、「ＭＡＩＮ」が第１層と
して、「２章」が第２層、「例題１」が第３層となる階
層構造を記述する。「コマ２」、「コマ３」なども場面
記述関数であるが、図１の例では、「コマ２」は、記述
内容の中に場面記述関数を含まないので、場面記述関数
の階層構造（”木”構造）において、最下層（”葉”）
に位置している。（５）「コマ５」を実行する（ＥＸＥＣ）ユーザが「２章」のテキストエディタの中で「コマ２」
をマウスで選択すると、「コマ２」を記述したテキスト
ファイルを読み込んで、テキストエディタ２０３のウィ
ンドウを開く。「コマ２」は、最下層に位置するので、
その内容は入出力制御コマンドを用いて記述する。「２
章」の内容は、入出力制御コマンドによって、以下のよ
うな（ａ）から（ｃ）までの一連のマルチメディアシス
テムの制御動作を記述している。（ａ）「花の絵」という「画像」メディアを「出力」す
る。（ｂ）「ピンポン」という「音」メディアを「出力」す
る。（ｃ）「ボタン１」という「入力」待ちを行う。さらに、ユーザがテキストエディタ２０３の「花の絵」
をマウスで選択すると、画像データを読み込んで、ビジ
ュアルエディタ２０４のウィンドウを開く。

【００２６】以上、図２の場合のユーザアクションと、
本実施例の制御方法の係りを一例を用いて説明した。マ
ルチメディアエグゼキュータは、必ず「ＭＡＩＮ」と命
名された場面記述関数から処理を始める決まりを設け
る。図２の場合、「ＭＡＩＮ」「１章」「２章」（「コ
マ１」「コマ２」・・・「コマ５」）「３章」・・・
「ｎ章」で、処理を終える。

【００２７】テキストエディタの駆動状況は、従来技術
のハイパーテキストシステムの動作と類似している。ハ
イパーテキストシステムは、関連情報をあらかじめ、互
いに関係付けておき、マウスクリックで、関連情報を順
次表示させてゆく。本実施例のテキストエディタでは、
表示させた上で、テキスト情報の編集を行う。直観的な
両者の相違点は、ハイパーテキストシステムが文字情報
表示システムであるのに対して、本実施例のテキストエ
ディタは、文字情報編集システムである。ビジュアルエ
ディタにおいては、座標、時間、ファイル名称、など計
算機が制御を行う上で必要になる情報を、ＧＵＩ（Ｇｒ
ａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を用
いて編集する。

【００２８】マルチメディアエグゼキュータ、テキスト
エディタ、ビジュアルエディタなどの処理方法、制御方
法、データ構造などの詳細については、以下で説明す
る。図３は、従来技術におけるエディタのディスプレイ
表示例を示す図である。図３に示したエディタは、従来
技術で、文献「Ｘ−ＷｉｎｄｏｗＯＳＦ／Ｍｏｔｉｆ
プログラミング」ｐ．ｐ．１８２〜１８５に記載されて
いる手法を用いれば、容易に作成できる。この手法で作
成されたエディタは、指定されたテキストファイルをオ
ープンしてウィンドウ内に表示し、マウス、キーボード
を用いて、複写、削除などの基本的な文字列編集操作が
できる。例えば、削除機能はマウスを用いて、文字列の
ある部分を反転させた上で削除ボタンを押すと、反転部
分の文字列を、計算機の主メモリ上に読み込んで、全文
字列の中から、選択部分だけを削除する機能を有する。

【００２９】本実施例のテキストエディタ２０３は、こ
の従来技術に対して、下記に示す改良を行うことで実現
できる。本実施例では、上述した削除機能を改良し、ユ
ーザが選択した文字列（シナリオ記述言語の１コマン
ド、あるいは、１オペランド）を計算機主メモリに読み
込んだのち、コントローラ２０５は、その文字列の意味
する階層を記述したテキストファイルを検索し、別ウィ
ンドウとして、テキストエディタ２０３を立ちあげる。
テキストエディタ２０３を新たに立ちあげ、検索結果の
テキストファイルを読み込み、表示、編集可能状態にす
る。

【００３０】コントローラ２０５によるテキストエディ
タ２０３の制御方法を示すフロー図を、図４に示す。ス
テップ４０１において、ユーザの選択した文字列を取り
込む。ステップ４０２において、場面記述関数を示す取
り込んだ文字列（子供のＩＤ）と、その文字列を含む場
面記述関数のＩＤ（子供の親のＩＤ）を検索キーにし
て、該当するテキストファイルのファイル名をサーチす
る。ステップ４０３において、検索されたファイル名称
を用いてテキストエディタ２０３をコールする。

【００３１】図５に、シナリオ記述言語と、テキストフ
ァイルの構造の一例を示す。図１において、シナリオ記
述言語のユーザインタラクションの係りを説明したが、
図５は、シナリオ記述言語の構成と関係を示し、図１の
補足説明を行う。上述したテキストエディタ２０３を動
かすために、シナリオ記述言語を格納する形式を、シナ
リオ記述言語の階層、すなわち、場面記述関数ごとに別
々のテキストファイルを用意することで実現する。な
お、同一のテキストファイル内に全ての場面記述関数、
シナリオ記述言語を格納しても良いが、処理が煩雑にな
るため、本実施例においては、別々のテキストファイル
に格納した場合について説明する。本実施例では、場面
記述関数の名前と、その場面記述関数を記述したテキス
トファイルの名前を記載したファイル管理テーブル（図
６を用いて後述する）を用意する。前述したように、コ
ントローラ２０５は選択された文字列を用いて、文字列
の意味する場面記述関数を記述したテキストファイルを
ファイル管理テーブルの中から検索し、ファイル名を得
る。

【００３２】図６は、ファイル管理テーブルの構成図を
示す。図６において、ファイル管理テーブルは、場面記
述関数の名前６０１と、その場面記述関数を記述したテ
キストファイルの名前６０２の組を複数個有する。図７
ａ，ｂは、いづれも、ビジュアルエディタのディスプレ
イ表示例を示す図である。図７ａは、ビジュアルエディ
タのレイアウト設定モード（座標入力）を示す図であ
る。図７ｂは、ビジュアルエディタのタイミング設定モ
ード（時間入力）を示す図である。

【００３３】テキストエディタで選択された文字列が、
入出力制御コマンドであった場合、本実施例のマルチメ
ディアオーサリングシステムは、その入出力制御コマン
ドの文字列を受けて、ビジュアルエディタを起動する。
ビジュアルエディタには、レイアウト設定モード（座標
入力）、タイミング設定モード（時間入力）の２種類を
用意する。レイアウト設定モードにおいては、１画面分
の出力画面全体のどこに、画像、文字、あるいはボタン
を表示するか、その左上座標をマウスで指示する。タイ
ミング設定モードにおいては、スケールバー上に並べら
れた、１画面分の構成要素を、マウスでスライダーの位
置を変えることによって、時間の設定を行う。こうした
グラフィカルなユーザインタフェースの構築自体は従来
技術であり、例えばＸウィンドウシステムのライブラリ
を利用すれば、容易に構成できる。

【００３４】図８は、ビジュアルエディタの制御フロー
を示す図である。ステップ８０１において、レイアウト
設定モード（座標入力）、タイミング設定モード（時間
入力）のモードの切り替えを指示するボタンが押される
と、モードを切り替える。そのボタンについては、図１
の中で、ビジュアルエディタ１０４の「Ｆｉｌｅ」とい
うボタンを押すことでプルダウンメニューを表示し、プ
ルダウンメニュー上に切り替えボタンを配置する。レイ
アウト設定モードにおいては、取り扱うメディアは画像
データだけである。ステップ８０２において暫定的に座
標（０，０）に画像を表示し、ユーザのマウス入力を待
つ。マウス入力が入ると、ステップ８０３ａにおいて、
マウスの座標を取り込んで、画像の出力位置を決定す
る。ステップ８０３ｂにおいて、調整が終了したら、ス
テップ８１０において、オブジェクト管理テーブル（図
９を用いて後述する）を更新する。

【００３５】タイミング設定モードにおいては、取り扱
うメディアは画像、音、文字データである。ステップ８
０４において、スケールを表示する。ステップ８０５に
おいて、ビジュアルエディタをコールしたテキストエデ
ィタの中の場面記述関数の記述内容を読み込む。ステッ
プ８０６において、場面記述関数の中で記述された、
「出力」演算子を含む行を抽出し、「出力」演算子のオ
ペランドであるところの、画像、あるいは音、あるいは
文字データのＩＤを取得する。ステップ８０７におい
て、取得したデータのＩＤ１個について一つのバーを割
り当てて、バーを１つあるいは複数個スケール上に表示
する。初期表示段階では、各バーを当間隔に並べれば良
い。ステップ８０８において、ユーザのマウス入力を待
ち、バーをドラッグするアクションを受けると、ドラッ
グされたバーの位置座標をスケールに沿って変えて表示
するとともに、表示時間間隔を変更する。スケールの長
さＬが時間Ｔを表現するとき、あるバーの原点からの座
標がｘのとき、原点を開始時刻ｔ０としたとき、相対時
間ｔ＝Ｔ＊ｘ／Ｌ、表示時刻ｔ１＝ｔ０＋ｔ、として表
示時間間隔を計算する。ステップ８０９において、調整
が終了したら、ステップ８１０において、オブジェクト
管理テーブル（図９を用いて後述する）を更新する。

【００３６】オブジェクトの属性情報を管理するオブジ
ェクト管理テーブルのデータ構造を図９に示す。オブジ
ェクト管理テーブルには、以下の属性を定義する。（１）オブジェクトのＩＤ９０１（２）親オブジェクトのＩＤ９０２（３）メディアの種別９０３（４）データの実体のＩＤ９０４（５）出力座標９０５（６）出力相対時間９０６（１）オブジェクトのＩＤ９０１は、他のオブジェクト
との区別をするための名称を定義する。（２）親オブジ
ェクトのＩＤ９０２は、上位クラスのＩＤである。ここ
でいう上位下位、あるいは親子の関係とは、前述した場
面記述関数の参照関係のことを示す。参照される場面記
述関数は、参照する側から見て、下位あるいは子供とな
る。（３）メディアの種別９０３は、文字データ、音デ
ータ、画像データのいずれかである。（４）データの実
体のＩＤ９０４は、文字データ、あるいは音データ、あ
るいは画像データをアクセスするファイル名称である。
（５）出力座標９０５は、ビジュアルエディタで入力さ
れた表示位置である。（６）出力相対時間９０６は、ビ
ジュアルエディタで入力された出力時刻である。

【００３７】図１０は、シナリオ記述言語を解釈して、
マルチメディアデータの出力、実行を行うマルチメディ
アエグゼキューティングシステムの制御フローを示す図
である。ステップ１００１において、マルチメディア記
述言語を記述したファイルを読み込む。一番始めに読み
込むファイルの名前は固定的な決まったファイル名とし
てＭＡＩＮを用いる。ＭＡＩＮのファイルの中では、マ
ルチメディアシステムの全体的な流れを、マルチメディ
ア記述言語を用いて記述する。マルチメディア記述言語
は、場面記述関数と順序制御コマンド、および順序制御
コマンドのオペランドから構成されている。ステップ１
００２において、読み込んだファイルから改行文字で区
切られた１行分の文字列を取り出す。取りだした文字列
が、順序制御コマンドであれば、次の文字列は、場面記
述関数になる。ステップ１００３において、１行の文字
列からスペースで区切られた一連の単語文字列を取り出
す。取りだした単語文字列と、入出力制御コマンド
（「出力」「入力」「消去」のいづれか）、順序制御コ
マンドのオペランド（「画像」「音」「文字」のいづれ
か）、順序制御コマンド（「ＥＸＥＣ」「ＬＯＯＰ」
「ＩＦ〜ＴＨＥＮＧＯＴＯ〜」のいづれか）、とを比
較し、どの文字列と対応しているかを、ステップ１００
４において判定する。

【００３８】ステップ１００５において、「ＬＯＯＰ」
あるいは、「ＥＸＥＣ」の場合、次の単語文字列は場面
制御関数であり、該当する場面制御関数を記述したファ
イルを呼出し、再帰的に処理を行う。「ＬＯＯＰ」の場
合、例えば１０回再帰処理を行う。ＥＸＥＣ，ＬＯＯＰ
においては、場面制御関数の戻り値を無視する。また、
出力繰返し回数を定める属性を定義して繰返し回数を設
定できるようにもできるが、ここでは、説明の簡単化の
ために固定回数とする。

【００３９】「ＩＦ〜ＴＨＥＮＧＯＴＯ〜」の場合、
ステップ１００７において、”ＩＦ”の後ろの条件は、
場面記述関数の中で定義された「入力」があったかなか
ったかを意味する。つまり、”ＩＦ”の後ろの単語文字
列は場面制御関数であり、再帰的に場面記述関数の処理
を行う。このように、順序制御コマンドを見つけると、
その処理対象である場面記述関数を、再帰的に場面記述
関数の処理を行い、一つの再帰処理は、単語文字列が入
出力制御コマンドを見つけたときに入出力制御を行って
から終了する。ステップ１００４において、比較した単
語文字列が「出力」「消去」あるいは「入力」の場合、
次の単語文字列は入出力制御コマンドのオペランド（処
理対象）としてのオブジェクト（メディア、あるいはボ
タン）の入出力を示す文字列である。従って、ステップ
１００８において、該当するオブジェクトの入出力制御
を行う。アニメーションの出力も、音の出力もオブジェ
クト指向の考え方では、ポリモーフィズムによって「出
力」という同じ制御コマンドで、オブジェクト固有の処
理が可能である。このことは、従来技術の中で触れた。
すなわち、処理対象オブジェクトが、音データであれば
ＣＤ−ＲＯＭドライブに対しＰＬＡＹ命令を発行するこ
とで音を出力し、処理対象オブジェクトが、画像データ
であれば、ディスプレイに画像データを表示する。同様
に「消去」の場合は、すでに表示されている画像、ある
いは文字の消去、すでに再生されている音の停止、を意
味する。「入力」の場合は、マウス入力を受け付けるボ
タンを表示する。これら、各メディア固有の処理方法に
ついては公知と考えられるので、ここでは詳細な説明を
省略する。次に、ステップ１００９において、読み込ん
だデータが終わりでなければ、ステップ１００２に戻っ
て、次の１行を取りだして同じ処理を繰り返す。

【００４０】

【発明の効果】本発明によれば、（１）主メモリ、ＣＰ
Ｕを内蔵した計算機と、（２）ディスプレイ等の表示装
置と、（３）外部記憶装置と、（４）入力装置と、
（５）音出力装置と、を具備した計算機システムに加え
て、さらに、マルチメディアシステムの内容を記述する
マルチメディア記述言語が、階層構造であり、かつ、
（ａ）マルチメディアシステムの制御動作を記述するマ
ルチメディア記述言語を管理するコントローラと、
（ｂ）コントローラに制御され、マウスの入力を受け付
けて、文字列を編集し、マウスで選択された単語文字列
をコントローラに渡す制御手段を具備したテキストエデ
ィタと、（ｃ）コントローラに制御され、マウス入力を
受け付けて、座標、時間の入力をマウスで設定できるイ
ベント処理する機能を有するビジュアルエディタと、
（ｄ）マルチメディア記述言語を、翻訳、実行処理する
マルチメディアエグゼキュータと、を有するので、本発
明の目的である「ハイパー構造を有するマルチメディア
システムを構築する際の比較的上流工程において、全体
の流れを掌握しやすいマルチメディアオーサリングシス
テム」を提供することができる。

【００４１】さらに、本発明の他の目的である「ハイパ
ー構造を有するマルチメディアシステムを構築する際の
比較的上流工程において、全体の流れを掌握しながら、
細部制御情報の設定が容易にできるマルチメディアオー
サリングシステム」を提供することができる。

【図面の簡単な説明】

【図１】マルチメディアオーサリングシステムのシステ
ム構成図である。

【図２】マルチメディアオーサリングシステムのディス
プレイ表示例である。

【図３】従来技術のテキストエディタのディスプレイ表
示例である。

【図４】コントローラの行うテキストエディタの制御フ
ローである。

【図５】シナリオ記述言語とテキストファイルの構造の
関係を示す図である。

【図６】ファイル管理テーブルの構造図である。

【図７】（ａ）は、ビジュアルエディタのディスプレイ
表示例（レイアウト設定モード）である。（ｂ）は、ビ
ジュアルエディタのディスプレイ表示例（タイミング設
定モード）である。

【図８】ビジュアルエディタの制御フロー図である。

【図９】オブジェクト管理テーブルの構造図である。

【図１０】マルチメディアエグゼキュータの行う、マル
チメディアシステムの制御フロー図である。

【図１１】マルチメディア記述言語の仕様を示す表であ
る。

【符号の説明】

１０１…計算機、１０２…ディスプレイ、１０４…キー
ボード、１０５…マウス、１０７…音出力装置、１１０
…コントローラ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者芳賀博英神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】主メモリ、ＣＰＵを内蔵した計算機と、表
示装置と、外部記憶装置と、入力装置と、音出力装置と
を有する計算機システムにおいて、（１）該外部記憶装
置内にテキストファイル管理テーブルを具備し、該テキ
ストファイル管理テーブルは、マルチメディア記述言語
のテキストファイルの格納場所を記述し、該マルチメデ
ィア記述言語はマルチメディアシステムの制御動作手順
を記述し、（２）該外部記憶装置内にオブジェクト管理
テーブルを具備し、該オブジェクト管理テーブルは、画
像、文字などのマルチメディアデータ個々の座標、時間
などの制御情報を格納し、（ａ）該テキストファイル管
理テーブルを主メモリに読み込み、該マルチメディア記
述言語の格納場所を管理するコントローラと、（ｂ）該
コントローラに制御され、該入力装置を用いて文字列を
編集し、該入力装置で選択された単語文字列をコントロ
ーラに渡す制御手段を具備したテキストエディタと、該
テキストエディタは複数個同時に使用でき、（ｃ）該コ
ントローラに制御され、該入力装置を用いて、座標、時
間などの該制御情報を、該オブジェクト管理テーブルに
設定処理する機能を有するビジュアルエディタと、
（ｄ）該テキストファイル管理テーブルと該オブジェク
ト管理テーブルを用いて、該マルチメディア記述言語に
記述した該制御動作手順を実行するマルチメディアエグ
ゼキュータと、を具備し、該コントローラは、該テキス
トエディタから受け取った該単語文字列をキーに、該テ
キストファイル管理テーブルを用いて対応したテキスト
ファイルを検索し、該テキストファイルを編集するテキ
ストエディタを呼ぶことを特徴としたマルチメディアオ
ーサリングシステム。
【請求項２】特許請求項１のマルチメディアオーサリン
グシステムにおいて、マルチメディア記述言語は、オブ
ジェクトごとの階層構造を記述する記述子とマルチメデ
ィアエグゼキュータの制御動作を記述する制御コマンド
から成り、該マルチメディア記述言語を格納したテキス
トファイルを、オブジェクト階層ごとに、該マルチメデ
ィア記述言語の該記述子を検索キーにして、別ファイル
として管理するオブジェクト管理テーブルを具備したこ
とを特徴としたマルチメディアオーサリングシステム。