JP4161996B2 - マルチメディア制御装置 - Google Patents

Description

この発明は、例えば、音楽教育用玩具などに用いて好適なマルチメディア制御装置に関する。

従来より、操作子の操作に応じて映像や音響を制御する装置が各種実用化されている。この種の装置は、ビデオゲームあるいはＴＶゲームと呼ばれ、遊戯者の反射神経を問うシューティングゲーム等が知られている。ビデオゲームは、ゲーム操作に対応したビデオ信号を発生するコンピュータ部と、このコンピュータ部から供給されるビデオ信号を映像表示するディスプレイとから構成される。コンピュータ部では、周知のＲＯＭパックに記憶された画像情報および制御情報を順次読み出し、例えば、画面背景となる静止画像をディスプレイに表示すると共に、ゲーム操作に応じて対応するキャラクタを静止画像上で移動させて動画表示したり、その動きに応じた効果音を発音するようにしている。

さて、このようなビデオゲームでは、映像による視覚的効果が主であり、音響効果は副次的な役割を果す場合が多い。また、遊戯者との対話性に乏しく、多くの場合、予め定められたストーリ内容に従ってゲームを進行させている。このため、遊戯者の自由な発想でゲームを進行でき、しかも、視覚的効果と音響効果とを融合させたマルチメディア制御装置が求められている。特に、幼児向けの知育玩具としては、視覚効果と音響効果とを融合し、ゲーム感覚で音感やリズム感を養うことができるマルチメディア制御装置が待望されている。この発明は上述した事情に鑑みてなされたもので、視覚効果と音響効果とを融合し、ゲーム感覚で音感やリズム感を養い、さらには、楽器の音色、演奏方法を学習することができるマルチメディア制御装置を提供することを目的としている。

請求項１に記載の発明にあっては、互いに異なる楽器がそれぞれアサインされた複数のキャラクタが当該アサインされた楽器とともに表示された領域の位置を指定する指定手段と、前記指定手段によって指定された位置が、前記複数のキャラクタのうちいずれかが表示された領域である場合に、指定された領域のキャラクタを、他のキャラクタに対して位置を手前側に進むように移動させて表示させる表示制御手段と、指定された領域のキャラクタが移動表示された後に、指定された領域に表示されたキャラクタにアサインされた楽器の演奏を表す演奏パターンに応じて当該楽器音を発生させ、かつ、指定された領域のキャラクタにアサインされた楽器音を大きくするように演奏制御する演奏制御手段とを具備することを特徴とする。

また、請求項２に記載の発明にあっては、請求項１に記載の発明において、前記演奏制御手段は、前記キャラクタに対応する補助キャラクタを表示させるとともに、前記キャラクタの演奏位置の移動にしたがって、当該補助キャラクタの表示態様を異ならせることを特徴としている。

本発明によれば、楽器の形状、音色、演奏方法を学習することが可能になる。

以下、図面を参照してこの発明の実施例について説明する。
Ａ．実施例の概略
図１は、本発明の実施例によるマルチメディア制御装置の概略を示す図である。図１（ロ）に示すように、マルチメディア制御装置１は、ビデオ信号Ｖｓを発生すると共に、ＬチャンネルおよびＲチャンネルのステレオ成分からなるオーディオ信号Ａｓを発生し、ケーブルＣを介して接続されるテレビジョン受像機２０に供給する。テレビジョン受像機２０は、ビデオ信号Ｖｓに応じて映像を再生する一方、この映像に同期してオーディオ信号Ａｓに対応する楽音および音声をスピーカから発音する。

マルチメディア制御装置１は、図１（イ）に示す通り、開閉自在な蓋体１ａとタブレット部１ｂとから構成される。なお、同図（イ）は展開状態を図示しており、収納状態では蓋体１ａがタブレット部１ｂ上に載置され、装置１は鞄状に収納される構造を備える。同図（イ）において、２はＲＯＭカセットであり、後述する制御プログラムや、自動演奏データおよび画像パターン、あるいは音声および楽器音を圧縮符号化したＡＤＰＣＭデータ等が記憶されている。３は絵本である。この絵本３の各ページに描かれている絵は、上記ＲＯＭカセット２の画像パターンも各々略対応する形で記憶されている。

４は蓋体１ａ上部に配設されるページ検出センサであり、絵本３の各ページに形成される切り欠き部の有無を検出し、現在開かれている頁を判別する。５は磁束を発生するタッチペンである。タッチペン５が発生する磁束は、蓋体１ａ裏面内およびタブレット部１ｂ上面内に敷設されるペン位置検出マトリクス５ａ（図２参照）によって検出され、ペン５が現在どの位置にあるか判別する。６はこの装置１をオンオフ設定する電源スイッチ、７はタブレット部１ｂ上に置かれる鍵盤シートである。この鍵盤シートは、ペン位置検出マトリクス５ａの配置位置に対応しており、タッチペン５のポインティング操作に応じて音高、符長指定できるようになっている。８はリズム演奏時に操作されるパッド、９は選択操作子として用いられるジョイパッドである。１０は音声入力用のマイクロフォンである。

Ｂ．実施例の構成
次に、図２を参照して実施例の構成について説明する。なお、図１に示す各部と共通する部分には、同一の番号を付し、その説明を省略する。図２において、５ａは上述した蓋体１ａ裏面およびタブレット部１ｂ上面に敷設されるペン位置検出マトリクスである。このマトリクス５ａは、タッチペン５の磁束に応じて電磁誘導される電位を検出して当該ペン５のポインティング位置データを発生し、これをバスへ供給する。１１はＣＰＵであり、ＲＯＭカセット２から読み出した制御プログラムに基づき装置各部を制御する。このＣＰＵ１１の動作については後述する。

１２はＣＰＵ１１のワークエリアとして用いられるＲＡＭであり、各種レジスタデータ等が一時記憶される。１３は楽音データ入出力端子であり、外部ＭＩＤＩ楽器から供給されるＭＩＤＩデータをバスへ出力する一方、後述する楽音合成部１５から供給されるＭＩＤＩデータを外部音源へ送出する。１４は表示制御回路であり、ＣＰＵ１１から供給される画像制御信号に応じてＲＯＭカセット２から読み出した画像パターンをビデオ信号Ｖｓに変換して出力する。２０はビデオ信号Ｖｓを映像再生するテレビジョン受像機等の表示手段である。

楽音合成回路１５は、周知の波形メモリ読み出し方式、または演算方式で構成される音源を有し、ＣＰＵ１１から供給される演奏データに応じて楽音合成した楽音信号を次段へ供給する。１６は残響／音量制御回路であり、楽音合成回路１５から出力される楽音信号に対してＣＰＵ１１から供給される制御信号に応じた深さのリバーブを付与すると共に、そのボリュームを調整する。１７はマイク１０から入力される音声信号に対し、ＣＰＵ１１から供給される制御信号に応じた深さのリバーブを付与すると共に、そのボリュームを調整するマイク残響／音量制御回路である。

１８はディジタル音声処理回路であり、ＣＰＵ１１の指示の下にＲＯＭカセット２から読み出したＡＤＰＣＭデータをデコードしてアナログ音声信号を発生する。この処理回路１８は、マイク１０から入力された音声を一定時間サンプリングしてＡＤＰＣＭデータに符号化し、これをＣＰＵ１１の制御の下にバスを介してＲＡＭ１２の所定記憶エリアに書き込む。１９はミキサであり、残響／音量制御回路１６，１７およびディジタル音声処理回路１８の各出力を混合し、ＬチャンネルおよびＲチャンネルのステレオ成分からなるオーディオ信号Ａｓに変換して出力する。２１は音響出力端子であり、ＬチャンネルおよびＲチャンネルのオーディオ信号Ａｓをテレビジョン受像機２０等の外部サウンドシステムに供給する。

Ｃ．実施例の動作
次に、上記構成による実施例の動作について図３〜図９を参照して説明する。ここでは、図３および図４を参照してメインルーチンの動作について説明した後、メインルーチンにおいてコールされるアイコン処理の動作を図５〜図９を参照して説明するものとする。

（１）メインルーチンの動作
まず、この実施例によるマルチメディア制御装置１に電源が投入されると、ＣＰＵ１１はＲＯＭカセット２から所定の制御プログラムをロードして図３に示すメインルーチンを起動し、ステップＳａ１に処理を進める。ステップＳａ１では、ＲＡＭ３に格納される各種レジスタやフラグ類をリセットしてイニシャライズし、次のステップＳａ２に進む。ステップＳａ２に進むと、ＣＰＵ１１はＲＯＭカセット２から初期画像パターンと、これに対応する自動演奏データとを順次読み出す。なお、ここで言う自動演奏データとは、指定リズム種類に対応する各リズム楽器音の発音タイミングを指示する所定小節分のパターンデータである。

次いで、ステップＳａ３に進むと、ＣＰＵ１１はこうして読み出された初期画像パターンと自動演奏データとをバスを介してそれぞれ表示制御回路１４と楽音合成回路１５とに転送する。これにより、表示制御回路１４は、初期画像パターンをビデオ信号Ｖｓに変換して表示手段（テレビジョン受像機）２０に供給する。一方、楽音合成回路１５は、自動演奏データに応じて各リズム楽器音毎の楽音信号を合成する。楽音信号は、残響あるいは音量制御が施された後、ミキサ１９を介して音響出力端子２１からサウンドシステムに供給される。この結果、オープニング画面表示に同期した自動リズム演奏がなされる。

次に、ＣＰＵ１１は、ステップＳａ４に進み、蓋体１ａ（図１（イ）参照）の裏面にセットされている絵本３のページが捲られたか否かを判断する。ここで、ページ検出センサ４の出力が変化しなければ、オープニングページのままであると見做して判断結果が「ＮＯ」となり、ステップＳａ３に戻り、上述したオープニング状態を維持する。そして、例えば、図４に図示する「アニマルステージ」ページを開くと、ページ検出センサ４がこれを検出する。これにより、ステップＳａ４の判断結果が「ＹＥＳ」となり、ＣＰＵ１１の処理はステップＳａ５に進む。

ステップＳａ５では、ＲＯＭカセット２から対応するページの画像パターンおよび自動演奏データを順次読み出す。次いで、ステップＳａ６では、読み出した画像パターンと自動演奏データとをそれぞれ表示制御回路１４と楽音合成回路１５とに転送する。これにより、図４に示す絵本ページと同様の「アニマルステージ」画面が静止画として表示される一方、自動演奏データに対応する各リズム楽器音が合成され、ステージオープニング演奏がなされる。

次いで、ＣＰＵ１１の処理がステップＳａ７に進むと、図４に図示される絵本ページ上の「アイコン」がタッチペン５によってポインティングされたか否かを判断する。このページ上では、右側ページ下部に描かれている「１本のバナナ」、「２本のバナナ」、「３本のバナナ」および「４本のバナナ」がアイコンＥＣ〜ＥＣ４となる。ここで、アイコンＥＣ１〜ＥＣ４がいずれもポインティングされない場合には、判断結果は「ＮＯ」となり、「アニマルステージ」画面がステージオープニング演奏と共に表示され続ける。一方、アイコンＥＣ１〜ＥＣ４のいずれかがポインティングされると、ここでの判断結果が「ＹＥＳ」となり、ステップＳａ８へ処理を進める。

ステップＳａ８では、ポインティングされたアイコン種別に応じたイベントが実行される。このイベントとは、ゲーム感覚で音感・リズム感等を知育するようにした処理であり、その詳細については後述するものとする。そして、各アイコン毎のイベントが完了する毎にＣＰＵ１１は、処理をステップＳａ９に進め、ページ変化があるまで前述したステップＳａ６〜Ｓａ８を繰り返す。このように、メインルーチンでは、絵本３の各ページに対応した画像と演奏とを同期して再生するようにしており、遊戯者との対話性を重視したマルチメディアを実現している。

（２）アイコン処理ルーチンの動作
（２−１：アイコンＥＣ１がポインティングされた場合の動作）
図４に図示する絵本ページにおいて、アイコンＥＣ１（「１本のバナナ」）がタッチペン５でポインティングされると、ペン位置検出マトリクス５ａがこれに応じてポインティング位置データをＣＰＵ１１に与える。これにより、ＣＰＵ１１はアイコンＥＣ１がポインティングされたことを認知して図５に示すアイコンＥＣ１処理ルーチンを起動し、ステップＳｂ１へ処理を進める。なお、タッチペン５のペン先には、マイクロスイッチが設けられており、当該ペン先がペン位置検出マトリクス５ａ上に押し当てられ、当該スイッチがオン状態になった時点で上記ポインティング位置データがＣＰＵ１１に取り込まれる。

ステップＳｂ１では、「ゾウ」、「フラミンゴ」、「キリン」、「ワニ」および「ライオン」の各キャラクタＡ〜Ｅの演奏動作に対応する複数の画像データをＲＯＭカセット２から読み出し、この複数の画像を切換えることでこれらキャラクタＡ〜Ｅがそれぞれ図８に示すように、打楽器演奏動作するよう動画表示する。さらに、この打楽器演奏動作に同期して各キャラクタにアサインされている打楽器音（ゾウ：バスドラム、フラミンゴ：タンバリン、キリン：クラベス、ワニ：ボンゴ、ライオン：シンバル）を楽音合成し、「ジャングルバンド」の演奏を開始させる。

次いで、ステップＳｂ２に進むと、キャラクタＡ〜Ｅのいずれかがポインティングされたか否かを判断する。ここで、例えば、キャラクタＡ（「ゾウ」）がポインティングされたとする。そうすると、判断結果が「ＹＥＳ」となり、次のステップＳｂ３に進む。ステップＳｂ３では、ポインティングされたキャラクタＡ、すなわち、「ゾウ」の画像を画面上一歩前に進むように移動制御すると共に、選んだキャラクタの手前に表示される「チューリップ」を開いた形状とする背景画像制御を行う。そして、ステップＳｂ４に進むと、キャラクタＡ（「ゾウ」）に対応させた演奏データのみ楽音合成する。この場合、キャラクタＡ（「ゾウ」）が持つ楽器である「バスドラム音」の音量を増加して独奏を引き立たせるよう音量制御がなされる。

このようにして指定キャラクタの独奏が所定フレーズ分完了すると、ＣＰＵ１１はステップＳｂ５に処理を進め、全キャラクタＡ〜Ｅについて再生が完了した（ポインティングされた）か否かを判断する。ここで、全キャラクタＡ〜Ｅの独奏が完了していなければ、判断結果は「ＮＯ」となり、前述したステップＳｂ１〜Ｓｂ４を繰り返す。一方、全キャラクタＡ〜Ｅについて再生が完了している場合には、判断結果が「ＹＥＳ」となり、次のステップＳｂ６に進む。ステップＳｂ６では、各キャラクタＡ〜Ｅの独奏が一巡したとして独奏内容を替えるべくリズムパターンを更新する。

そして、ステップＳｂ７に進むと、ＲＯＭカセット２に格納された全リズムパターン（例えば、５種類）の演奏データが全て再生されたか否かを判断する。ここで、全種類のリズムパターンが再生されていない場合、判断結果は「ＮＯ」となり、ステップＳｂ６において更新されたリズムパターンに基づき、再度ステップＳｂ１〜Ｓｂ６が繰り返される。なお、全リズムパターンについて各キャラクタＡ〜Ｅ毎の独奏がなされた場合には、ここでの判断結果が「ＹＥＳ」となり、ＣＰＵ１１は処理を前述したメインルーチンへ復帰させる。

以上のように、アイコンＥＣ１処理では、遊戯者によって選択される動物（キャラクタ）が画面上、１歩前に進み、その動物が持つ打楽器による独奏がなされる。この時、動物（キャラクタ）の演奏動作は演奏音に同期して動画制御されるため、あたかも、絵本３に描かれた動物が打楽器を演奏しているかのような視覚的効果および音響的効果が得られる。

（２−２：アイコンＥＣ２がポインティングされた場合の動作）
図４に図示する絵本ページにおいて、遊戯者がアイコンＥＣ２（「２本のバナナ」）をタッチペン５でポインティングすると、ペン位置検出マトリクス５ａがこれに応じてポインティング位置データをＣＰＵ１１に与える。これにより、ＣＰＵ１１はアイコンＥＣ２がポインティングされたことを認知して図６に示すアイコンＥＣ２処理ルーチンを起動し、ステップＳｃ１へ処理を進める。ステップＳｃ１では、ＲＯＭカセット２から読み出したＡＤＰＣＭデータをディジタル音声処理回路１８（図２参照）に供給する。これにより、音声再生がなされ、「好きな動物にタッチして下さい」というナレーション指示がなされる。

次いで、ステップＳｃ２に進むと、ＣＰＵ１１はこのナレーション指示に応じて遊戯者がキャラクタＡ〜Ｅのいずれかをポインティングするまで待機する。ここで、例えば、遊戯者によってキャラクタＡ（「ゾウ」）がポインティングされると、判断結果が「ＹＥＳ」となり、次のステップＳｃ３に処理を進める。ステップＳｃ３では、ポインティングされた「ゾウ」の画像を画面上一歩前に進むように移動制御すると共に、「ゾウ」の手前に表示される「チューリップ」を開いた形状とする背景画像制御を行う。この結果、テレビジョン受像機２０には、図９に示す画像が表示される。

そして、ステップＳｃ４に進むと、指定されたキャラクタＡに対応する打楽器の演奏データを読み出し、この場合、ドラム音が１小節分リズム演奏され、この演奏に同期してキャラクタＡの演奏動作を動画表示する。次に、この１小節分のリズム演奏および動画表示が完了すると、ＣＰＵ１１はステップＳｃ５に処理を進め、ＲＯＭカセット２から読み出したＡＤＰＣＭデータをディジタル音声処理回路１８へ転送し、「同じリズムでパッドを叩いて下さい」というナレーション指示する。そして、さらに、遊戯者に対してパッド操作を促すため、「いちにさん、はい」というナレーションを音声再生する。

ここで、遊戯者がこのナレーションに応じてパッド８（図２参照）を叩いて１小節分のリズムを刻むと、ＣＰＵ１１はステップＳｃ６においてそのパッド操作を検出し、パッド操作情報を発生する。続いて、ステップＳｃ７では、パッド操作情報に応じてキャラクタＡの演奏動作を動画表示する一方、パッド操作情報に同期してドラム音を楽音合成する。すなわち、パッド操作に応じてキャラクタＡをドラム演奏動作させ、その動作に同期してドラム音を発音する。次に、ステップＳｃ８（図７参照）に進むと、ステップＳｃ４において演奏された適正なリズムパターンと遊戯者によるパッド操作タイミングとが一致するか否かを判断する。ここで、リズムパターンとパッド操作タイミングとの間に所定の誤差がある場合には、判断結果が「ＮＯ」となり、ステップＳｃ９に処理を進める。

ステップＳｃ９では、ＲＯＭカセット２から読み出したＡＤＰＣＭデータをディジタル音声処理回路１８へ転送し、「もう一度パッドを叩いて下さい」というナレーションを音声合成する。この後、ＣＰＵ１１は再び上述したステップＳｃ４以降を繰り返す。一方、リズムパターンとパッド操作タイミングとが一致すると、上記ステップＳｃ８の判断結果が「ＹＥＳ」となり、ステップＳｃ１０に進む。なお、リズムパターンとパッド操作タイミングとが一致し、パッド操作をクリアできると、ファンファーレ音が楽音合成されるようにしている。ステップＳｃ１０では、全キャラクタＡ〜Ｅについてパッド操作をクリアしたか否かを判断する。ここで、クリアしていない場合には、判断結果が「ＮＯ」となり、次のステップＳｃ１１に進む。

ステップＳｃ１１では、例えば、上述したキャラクタＡ（「ゾウ」）に続いて次のキャラクタＢ（「フラミンゴ」）を指定し、前述したステップＳｃ３以降を繰り返す。そして、全キャラクタＡ〜Ｅに関するパッド操作をクリアすると、ステップＳｃ１０の判断結果が「ＹＥＳ」となり、ステップＳｃ１２に進む。ステップＳｃ１２では、全キャラクタＡ〜Ｅ、すなわち、「ゾウ」、「フラミンゴ」、「キリン」、「ワニ」および「ライオン」の演奏動作に対応する画像データをＲＯＭカセット２から読み出し、これらキャラクタＡ〜Ｅが打楽器合奏するよう動画表示する。さらに、この動画表示に同期して各キャラクタにアサインされている打楽器音を楽音合成し、「ジャングルバンド」を演奏する。

このように、アイコンＥＣ２処理では、打楽器の参加イベントがなされ、ナレーションの指示に従って選択した動物（キャラクタ）のリズムに合うようにパッドを叩くと、そのパッド操作に応じてキャラクタがその楽器特有の演奏動作を行い、当該キャラクタが持つ打楽器音がリズム発音される。そして、タイミング良く１小節分叩けると、ファンファーレが鳴り、次のキャラクタに移るようになっている。このため、視覚的効果と音響効果とを融合させたマルチメディアにより、ゲーム感覚で遊びながら正確なリズム感を養うことが可能になる。

なお、図４に示すアイコンＥＣ３（「３本のバナナ」）をポインティングした場合には、アイコンＥＣ２処理と同様に打楽器の参加イベントがなされる。アイコンＥＣ３処理では、ナレーションの指示に従って選択した動物（キャラクタ）のリズム（２小節分）に合うようにパッドを叩くと、そのパッド操作に応じてキャラクタが演奏動作し、対応する打楽器音がリズム発音される。この場合も、タイミング良く２小節分リズムを刻むと、ファンファーレが鳴り、そのキャラクタのリズムをクリアできるようになっている。

さらに、アイコンＥＣ４（「４本のバナナ」）をポインティングした場合には、フリー演奏イベントが実行される。このフリー演奏イベントとは、全キャラクタＡ〜Ｅが打楽器合奏している状態でいずれかのキャラクタを選択し、選択したキャラクタが遊戯者のパッド操作に応じて演奏するようになっている。したがって、これらアイコンＥＣ３，ＥＣ４処理においても、絵本に描かれた動物が打楽器を演奏しているかのような視覚的効果に実際のパッド操作による打楽器演奏が加わり、ゲーム感覚で音感やリズム感を育むことが可能になる。なお、上記実施例において、楽器は全てリズム楽器としたが、楽器音および画像パターンはこれに限らず、例えば、図１０に示すように、キャラクタに吹奏楽器をアサインするようにしても良く、この他、弦楽器や鍵盤楽器等でも良いことは言うまでもない。

本発明によるマルチメディア制御装置１の概略構造を示す図である。 同実施例の電気的構成を示すブロック図である。 同実施例におけるメインルーチンの動作を示すフローチャートである。 同実施例における絵本ページの一例を示す図である。 同実施例におけるアイコンＥＣ１処理ルーチンの動作を示すフローチャートである。 同実施例におけるアイコンＥＣ２処理ルーチンの動作を示すフローチャートである。 同実施例におけるアイコンＥＣ２処理ルーチンの動作を示すフローチャートである。 同実施例におけるアイコンＥＣ１処理ルーチンの動作を説明するための図である。 同実施例におけるアイコンＥＣ２処理ルーチンの動作を説明するための図である。 キャラクタに吹奏楽器をアサインした場合の画像パターン例を示す図である。

符号の説明

２…ＲＯＭカセット（発音制御手段、画像制御手段）、５…タッチペン（楽器指定手段）、５ａ…ペン位置検出マトリクス（楽器指定手段）、８…パッド（演奏操作子）、１１…ＣＰＵ（楽器指定手段、発音制御手段、画像制御手段）、１２…ＲＡＭ、１４…表示制御回路（画像制御手段）、１５…楽音合成回路（発音制御手段）

Claims (2)

1. 互いに異なる楽器がそれぞれアサインされた複数のキャラクタが当該アサインされた楽器とともに表示された領域の位置を指定する指定手段と、
   前記指定手段によって指定された位置が、前記複数のキャラクタのうちいずれかが表示された領域である場合に、
   指定された領域のキャラクタを、他のキャラクタに対して位置を手前側に進むように移動させて表示させる表示制御手段と、
   指定された領域のキャラクタが移動表示された後に、指定された領域に表示されたキャラクタにアサインされた楽器の演奏を表す演奏パターンに応じて当該楽器音を発生させ、かつ、指定された領域のキャラクタにアサインされた楽器音を大きくするように演奏制御する演奏制御手段と
   を具備することを特徴とするマルチメディア制御装置。
2. 前記表示制御手段は、
   前記キャラクタに対応する補助キャラクタを表示させるとともに、前記キャラクタの演奏位置の移動にしたがって、当該補助キャラクタの表示態様を異ならせる
   ことを特徴とする請求項１に記載のマルチメディア制御装置。

Images