JP3915517B2 - マルチメディアシステム、再生装置及び再生記録装置 - Google Patents
マルチメディアシステム、再生装置及び再生記録装置 Download PDFInfo
- Publication number
- JP3915517B2 JP3915517B2 JP2002007871A JP2002007871A JP3915517B2 JP 3915517 B2 JP3915517 B2 JP 3915517B2 JP 2002007871 A JP2002007871 A JP 2002007871A JP 2002007871 A JP2002007871 A JP 2002007871A JP 3915517 B2 JP3915517 B2 JP 3915517B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- music
- video
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003860 storage Methods 0.000 claims description 54
- 238000005259 measurement Methods 0.000 claims description 33
- 230000001360 synchronised effect Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 59
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 238000012937 correction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000005236 sound signal Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録等を行うマルチメディアシステム、再生装置及び再生記録装置に関する。
【０００２】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ（以下、ＶＴ）及び該映像に応じた楽曲データ（例えば、オーケストラ演奏に応じた楽曲データ等）を記録した光ディスク（以下、ＣＤ）を、それぞれビデオカメラ及びＣＤプレーヤ等によって同期再生する一方、ユーザは該映像データの再生によって表示される映像を見ながら、あるいは楽曲データの再生によって発音されるオーケストラ演奏音等を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データ（例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格に準拠したデータ）をフロッピーディスク（以下、ＦＤ）等の記憶媒体に記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ユーザは、上記ＣＤの再生により奏でられるオーケストラ演奏を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データをＦＤ記録すると共に、かかる演奏風景をビデオカメラによって記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【０００３】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び再生記録装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベント間の時間差であるデルタタイムとを含む前記第２の楽曲データ中の、当該デルタタイムによって定まる時刻が到来する度に前記イベントを出力するイベント出力手段と、前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段とを具備することを特徴とする。
【０００５】
かかる構成によれば、記憶手段に格納さている第１のオーディオデータの読み出しタイミングが、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される一方、第２の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、前記楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生の時間的なずれが抑えられる。
【０００６】
また、この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを第２の記憶媒体に書き込む書き込み手段とを具備することを特徴とする。
【０００７】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録の時間的なずれが抑えられる。
【００１０】
【発明の実施の形態】
Ａ．第１の実施形態
図１はこの発明の第１の実施形態であるマルチメディアシステム６００の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム６００は、以下に詳述するが、同期を保った状態でＶＴに格納されている映像データ、オーディオデータ（以下、ＶＴオーディオデータという）の再生と、ＣＤに格納されているオーディオデータ（以下、ＣＤオーディオデータという）の再生と、ＦＤに対するユーザの演奏に基づくＭＩＤＩデータの記録とが可能なシステムである。
【００１１】
図１において、ビデオカメラ１００は、記録部１１０と、再生部１２０と、操作部１３０とを具備している。
記録部１１０は、操作部１３０を介して入力される指示に従って演奏風景や種々の演奏音（ユーザと一緒に演奏しているヴァイオリン演奏音等）等を当該ビデオカメラ１００に装着したＶＴに記録する役割を担っている。かかる記録部１１０は、映像風景を映像データとしてＶＴの映像トラックに記録する録画手段１１１と、演奏音をＶＴオーディオデータとしてＶＴの楽音トラックに記録する録音手段１１２と、ＶＴに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード（例えば、ＲＣタイムコード等）を付加するタイムコード付加手段１１３とを具備している。
【００１２】
再生部１２０は、操作部１３０を介して入力される指示に従ってＶＴに既に記録されている映像データやＶＴオーディオデータなどの記録情報を再生する役割を担っている。再生部１２０は、操作部１３０を介して再生指示を受け取ると、ＶＴの映像トラックに記録されている映像データを読み出し、これをＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のモニタ１２１に供給し、映像として表示させると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータを読み出し、後述するコントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコードを読み出し、これをタイムコード変換器２００へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ１００がマスターとして機能し、当該ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコードを受け取る種々の装置（ＦＤ記録装置８等）がスレーブとして機能する。
【００１３】
タイムコード変換器２００は、例えばケーブル等によってビデオカメラ１００に接続され、該ビデオカメラ１００から順次供給される映像用タイムコードを楽音用タイムコード（ＭＩＤＩタイムコード；以下、適宜、ＭＴＣという）に変換し、変換後のＭＴＣをコントローラ３へ供給する。
【００１４】
ＣＤ駆動装置１は、コントローラ３からの指令に従い、装着されたＣＤから楽曲データを読み出して出力する装置である。ＣＤ駆動装置１は、装着されたＣＤを通常再生する場合（すなわち、上述したようにＶＴ等と同期して再生しない場合）、ＣＤから読み出した楽曲データをＤＳＰ２に出力する。ＤＳＰ２は、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる。一方、ＣＤ駆動装置１は、装着されたＣＤをＶＴ等と同期して再生する場合、コントローラ３による制御の下、当該再生に先立ってＣＤに格納されている楽曲データをＤＳＰ２、コントローラ３を介してハードディスク（以下、ＨＤ）に転送する。なお、詳細は後述することとし、説明を続ける。
【００１５】
さて、かかるＣＤ駆動装置１には、様々なＣＤが装着され得る。これらのＣＤのうち本発明と最も関連性の強いのは楽曲データであるＣＤオーディオデータを主要な記録データとするＣＤである。図２に示すように、楽曲データは、ある楽曲のオーケストラ演奏や歌唱に伴って発生したオーディオ信号の符号化データ列（ＣＤオーディオデータ）を含んでいる。また、この楽曲データにはタイムコード（以下、適宜、ＣＤタイムコードという）が離散的に挿入されている。これらのＣＤタイムコードは、楽曲の開始からの経過時間を示すコードである。このようなデータとは種類の異なったデータが記録されたＣＤもＣＤ駆動装置１に装着され得る。例えば、ＬチャネルデータとしてＣＤオーディオデータが記録され、Ｒチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着され得る。また、逆にＲチャネルデータとしてＣＤオーディオデータが記録され、Ｌチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着されることもある。
【００１６】
ＤＳＰ２は、上述したように、通常再生する場合、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる一方、ＶＴ等と同期して再生する場合、ＣＤ駆動装置１から読み出された楽曲データをコントローラ３に出力する。また、ＤＳＰ２は、再生時にＣＤ駆動装置１によって読み出されたＣＤを識別するための識別情報（以下、適宜、Ｃ−ＩＤという）を該ＣＤ駆動装置１から取得し、これをコントローラ３へ送出する。なお、本実施形態では、ＤＳＰ２が再生時にＣＤ駆動装置１から選択されたＣＤを識別するための識別情報（Ｃ−ＩＤ）のみを取得する場合について説明するが、ＣＤを識別するための識別情報のみならず、かかるＣＤに記録されている複数の楽曲データのうち、再生すべき指示のあった楽曲データを識別するための識別情報を取得するようにしても良い。
【００１７】
一方、コントローラ３は、操作部４を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ３によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ１００による映像データの再生に同期して、ＣＤからＣＤ駆動装置１、ＤＳＰ２、コントローラ３を介してＨＤに転送されたＣＤオーディオデータを含む楽曲データの再生及びユーザによるピアノ演奏音を記録（以下、同期再生記録という）する場合の再生・記録制御である。このコントローラ３は、タイムコード変換器２００からＭＴＣを受け取る度に、そのタイムコード（ＭＴＣ）をＦＤ記録装置８に送ると共に、かかるＭＴＣに基づいてＨＤに格納されている再生すべきＣＤオーディオデータの読み出しを制御する（詳細は後述）。また、コントローラ３は、ＭＩＤＩイベント生成回路１４からＭＩＤＩイベント等（後述）を受け取ると、このＭＩＤＩイベント等をＦＤ記録装置８に送る。さらに、コントローラ３は、ビデオカメラ１００から供給されるＶＴオーディオデータに基づいてアナログオーディオ信号を生成してミキサ５に送る。
【００１８】
ここで、図３は、ＣＤオーディオデータの読み出しを制御するコントローラ３の機能を説明するためのブロック図である。
コントローラ３は、クロック生成手段２１０と、計時手段２１１と、経過時間調整手段２１２と、ＣＤオーディオデータ再生制御手段２１３とを備えている。クロック生成手段２１０は、水晶振動子とアンプとにより構成された発振回路（いずれも図示略）を備えている。このクロック生成手段２１０は、発振回路から出力される発信信号を適宜分周してタイミング制御用の各種のクロック（本発明に特に関連の深いクロックは、テンポクロックＣＴである）を発生する手段である。クロック発生手段２１０は、このように生成したテンポクロックＣＴを制御回路の計時手段２１１に順次供給する。
【００１９】
計時手段２１１は、加算器２１１ａ及び経過時間レジスタ２１１ｂによって構成され、この加算器２１１ａ及び経過時間レジスタ２１１ｂによりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２１１ａ、経過時間レジスタ２１１ｂの格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２１１ｂには、同期記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２１１ｂにテンポクロックＣＴが与えられる度に、加算器２１１ａの出力データ、すなわち当該時点における経過時間レジスタ２１１ｂの格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２１１ｂの出力データＮは、同期再生記録開始以後の経過時間を表す経過時間データとして利用される。
【００２０】
経過時間調整手段２１２は、計時手段２１１によって計時された時刻とタイムコード変換器２００から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２１１ｂ内の経過時間データＮを調整する処理（経過時間調整処理）を実行する手段である。ここで、図４は、経過時間調整処理を示すフローチャートである。
経過時間調整手段２１２は、ステップＳ１において、タイムコード変換器２００から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳ２に進む。経過時間調整手段２１２は、ステップＳ２に進むと、計時手段２１１から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期再生記録を開始してから現在に至るまでの経過時間を表している。次に、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。
【００２１】
経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、経過時間レジスタ２１１ｂ内の経過時間データＮを調整することなく、経過時間調整処理を終了する。
【００２２】
一方、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも遅れているといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮに加算し、加算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ６）、経過時間調整処理を終了する。
【００２３】
一方、第１の記録時間データＴＣＤが第２の記録時間データよりも小さい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも進んでいるといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮから減算し、減算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ７）、経過時間調整処理を終了する。
【００２４】
ＣＤオーディオデータ再生制御手段２１３は、ＨＤに格納されているＣＤオーディオデータを含む楽曲データの再生を制御する手段であり、ＨＤ読み出し制御手段２１３ａと、オーディオ信号生成手段２１３ｂとを備えている。
ＨＤ読み出し制御手段２１３ａは、ＨＤに格納されている楽曲データ中のＣＤタイムコードと経過時間レジスタ２１１ｂに格納されている経過時間データＮとを比較し、楽曲データ中のＣＤオーディオデータの読み出しを制御する。詳述すると、ＨＤ読み出し制御手段２１３ａは、経過時間データＮが楽曲データ中の各ＣＤタイムコードに示される時刻に到達する度、対応するＣＤオーディオデータの読み出し、これをオーディオ信号生成手段２１３ｂへ順次供給する。
オーディオ信号生成手段２１３ｂは、ＨＤ読み出し制御手段２１３ａから供給されるＣＤオーディオデータに基づいてアナログオーディオ信号を生成し、ミキサ５に送る。
以上の説明から明らかなように、ＨＤに格納されているＣＤオーディオデータの再生は、コントローラ３によりタイムコード変換器２００から出力される楽音用タイムコード（ＭＴＣ）に基づいて制御される。
【００２５】
再び図１に戻り、自動ピアノ１０は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ１０は、ピアノ１１と、キーセンサ１２と、ペダルセンサ１３と、ＭＩＤＩイベント生成回路１４と、ピアノ音源１５と、アンサンブル音源１８とを有している。なお、図１では、ピアノ音源１５等を利用して電子的な楽音を発音する自動ピアノ１０（いわゆる、消音型自動ピアノ）を例示しているが、その他にも後述する第２の実施形態に係る自動ピアノ２０（図１０参照）のように、鍵やペダルの操作指示に従って鍵やペダルを駆動する駆動ソレノイド群を利用し、打弦等による機械的な楽音を発音する自動ピアノなど、あらゆる自動ピアノに適用することができるのは勿論である。
キーセンサ１２及びペダルセンサ１３は、それぞれピアノ１１に配設された複数の鍵及び複数のペダル（ソステヌートペダル等）の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報（押鍵強度等に対応したデータ）等を含む検出結果をＭＩＤＩイベント生成回路１４に供給する。
【００２６】
ＭＩＤＩイベント生成回路１４は、コントローラ３による制御の下、キーセンサ１２及びペダルセンサ１３から供給される検出結果に基づいてＭＩＤＩイベントを生成する。ここで、ＭＩＤＩイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。ＭＩＤＩイベント生成回路１４は、上記検出信号に基づいて、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するイベントの一種であるＭＩＤＩイベントを生成し、かかるＭＩＤＩイベントをコントローラ３及びピアノ音源１５に供給する。
【００２７】
ピアノ音源１５は、ＭＩＤＩイベント生成回路１４から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源１５により生成されたアナログオーディオ信号は、ミキサ５へ出力される。
アンサンブル音源１８は、コントローラ３からイベントを受け取り、そのイベントに従ってデジタル楽音信号を生成する装置である。このアンサンブル音源１８により生成されたデジタル楽音信号はコントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。
ミキサ５は、コントローラ３、ピアノ音源１５、アンサンブル音源１８から出力される各アナログ信号を混合して出力する装置である。このミキサ５の出力信号は、アンプ６によって増幅され、スピーカ７から音として出力される。
【００２８】
ＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータ等の再生に併せてユーザが自動ピアノ１０を演奏したときの演奏音をＦＤに記録する装置であり、コントローラ３による制御の下、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）、ＭＩＤＩイベント等を含むＳＭＦ(Standard MIDI File)を作成する機能を有している。ここで、ＳＭＦは、図５に示すように、ヘッダチャンクＨＴとトラックチャンクＴＴによって構成されている。ヘッダチャンクＨＴには、ＳＭＦの基本的な情報（チャンクタイプ等）が格納されるほか、Ｖ−ＩＤ、Ｃ−ＩＤなどの同期記録の際に再生されたＶＴ、ＣＤを識別するための識別情報が格納される。トラックチャンクＴＴには、ＭＩＤＩデータが格納される。ＭＩＤＩデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、ＭＩＤＩデータを構成するイベントは、ＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントや、コントローラ３において生成されるSysExイベント、メタイベントによって構成されている。
【００２９】
かかるＳＭＦの作成・記録を行うＦＤ記録装置８は、コントローラ３から同期記録の開始指令を受け取ると、後述する計時手段を用いて時刻の計時を開始する。そして、ＦＤ記録装置８は、コントローラ３からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるＭＩＤＩデータを順次作成する。ここで、本実施形態に係るＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータの再生に同期して自動ピアノ１０の演奏音を記録すべく、計時手段によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたＦＤ記録装置８の構成について、図６を参照しながら説明する。
【００３０】
図６は、ＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図である。この図６に示された制御回路は、上述したＳＭＦを作成し、これをＦＤに記録する機能と、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する機能とを営むものである。
【００３１】
計時手段２２０は、前述したコントローラ３の計時手段２１１（図３参照）と同様の構成を有しており、加算器２２１及び経過時間レジスタ２２２によりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２２１は、経過時間レジスタ２２２の格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２２２には、同期再生記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２２２にテンポクロックＣＴが与えられる度に、加算器２２１の出力データ、すなわち当該時点における経過時間レジスタ２２２の格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２２２の出力データＮは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【００３２】
ＳＭＦ作成・書き込み制御手段２５０は、コントローラ３による制御の下、ＳＭＦを作成する機能や作成したＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込む機能などを備えている。このＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベント生成回路１４等によって生成された種々のイベント（ＭＩＤＩイベント等）をコントローラ３から受け取ると、デルタタイム生成手段２４０にデルタタイムを生成すべき指令を送る。
【００３３】
デルタタイム生成手段２４０は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し（詳細は後述）、これをＳＭＦ作成・書き込み制御手段２５０に返す。ＳＭＦ作成・書き込み制御手段２５０は、デルタタイム生成手段２４０から受け取ったデルタタイムとコントローラ３から受け取ったイベントによって構成されたＭＩＤＩデータをトラックチャンクＴＴ（図５参照）に格納する一方、コントローラ３から供給される再生されたＶＴ識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納してＳＭＦを作成し、これをＦＤ記録装置２に装着されたＦＤに書き込む。
【００３４】
デルタタイム生成手段２４０は、前回経過時間レジスタ２４１と、補正値レジスタ２４２とを備え、ＳＭＦ作成・書き込み制御手段２５０からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ２４１には、前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指令を受け取ったときに計時手段２２０から取得した経過時間データ（便宜上、Ｎｆと記す）が保持される。この前回経過時間レジスタ２４１には、同期再生記録が開始されたとき、初期値「０」が書き込まれる。
【００３５】
補正値レジスタ２４２には、デルタタイム調整手段２３０において生成されるデルタタイムの補正値Ｒが保持される。詳しくは後述するが、本実施形態においては、この補正値Ｒを適宜設定することで、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する。この補正値レジスタ２４２には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００３６】
デルタタイム生成手段２４０は、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ると、計時手段２２０から経過時間レジスタ２２２に格納されている現時点における経過時間データＮを取得した後、前回経過時間レジスタ２４１に保持されている経過時間データＮｆ（前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ったときに計時手段２２０から取得した経過時間）を読み出し、経過時間データＮから経過時間データＮｆを減算する。そして、デルタタイム生成手段２４０は、補正値レジスタ２４２に保持されているデルタタイムの補正値Ｒを読み出し、この補正値Ｒと上記減算結果Ｎ−Ｎｆとを加算し、加算結果Ｎ−Ｎｆ＋Ｒを調整後のデルタタイムとして、ＳＭＦ作成・書き込み制御手段２５０に返す。そして、デルタタイム生成手段２４０は、前回経過時間レジスタ２４１に格納されている経過時間データを、今回新たに計時手段２２０から取得した経過時間データへ更新する。
【００３７】
デルタタイム調整手段２３０は、ＶＴの再生と同期して記録を行うべく、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【００３８】
図７は、デルタタイム調整手段２３０によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段２３０は、ステップＳａ１において、コントローラ３から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳａ２に進む。デルタタイム調整手段２３０は、ステップＳａ２に進むと、計時手段２２０から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳａ３）。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳａ３；ＹＥＳ）、デルタタイムの補正値Ｒとして補正値レジスタ２４２に「０」を書き込み（ステップＳａ４）、デルタタイム調整処理を終了する。
【００３９】
一方、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳａ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳａ５；ＹＥＳ）、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＜０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ６）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは負の値となる。
【００４０】
一方、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳａ５；ＮＯ）、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤとの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ７）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは正の値となる。
以上が本実施形態に係るマルチメディアシステム６００の詳細である。以下、図８を参照しながら、マルチメディアシステム６００の動作について詳細に説明する。
【００４１】
図８は本実施形態に係るマルチメディアシステム６００の動作を示すタイムチャートである。さらに詳述すると、図８には、あるＶＴに格納された映像データ等の再生に同期して、ＣＤに格納されたＣＤオーディオデータの再生及びユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤ記録装置８の計時手段２２０による計時時刻、及びＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントＭＥ−ｎ（ｎ＝１、２、〜）が時系列的に示されている。この図８において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、また、ｒ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、映像データの再生開始時刻を０秒とした場合に、ｋ秒経過した時点における計時手段２２０による計時時刻である。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００４２】
同期再生記録を行う際、ユーザは、まず操作部４等を操作してＶＴの再生と同期して再生すべきＣＤの選択指示及びＦＤに対する記録を待機すべき旨の指令（以下、ポーズ指令という）を入力する。コントローラ３は、操作部４等を介して再生すべきＣＤの選択指示及びポーズ指令を受け取ると、ＣＤの選択指示に従って対応するＣＤに格納されている楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る一方、ポーズ指令をＦＤ記録装置８に転送する。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。
【００４３】
その後、ユーザは、ビデオカメラ１１０に再生すべきＶＴを装着し、ビデオカメラ１１０の操作部１３０を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ１００の再生部１２０は、ＶＴの映像トラックに記録されている映像データｐ［０］を読み出し、これをモニタ１２１に供給すると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータｖａ［０］を読み出し、コントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコード「０」を読み出し、これをタイムコード変換器２００へ送出する。
【００４４】
モニタ１２１は、ビデオカメラ１００から受け取った映像データｐ［０］に従って映像の表示を開始する。一方、コントローラ３は、ビデオカメラ１００からＶＴオーディオデータｖａ［０］を受け取ると共に、タイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）「０」を受け取ると、ＭＴＣ「０」及びポーズ状態を解除すべき指令（以下、ポーズ解除指令という）をＦＤ記録装置８に送ると共に、ＶＴオーディオデータｖａ［０］からアナログオーディオ信号を生成してミキサ５に出力し、音として出力するための制御を開始し、さらにＭＴＣに基づいてＨＤに格納されているＣＤオーディオデータを含む楽曲データの読み出し制御を開始する。
【００４５】
詳述すると、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００４６】
この結果、ＶＴに格納された映像データの再生指示が発生すると、直ちに当該映像データに対応した映像表示と、ＣＤオーディオデータに対応した音の発生とが同時に開始される。そして、該再生指示が発生してから２５０ｍｓｅｃが経過すると、経過時間調整手段２１２による経過時間の調整が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］及びＣＤオーディオデータｃａ［ｋ］のうち、同期を保った状態で再生されるのは、映像若しくは楽曲の先頭から２５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．２５］以降の映像データ、ｖａ［０．２５］以降のＶＴオーディオデータ及びｃａ［０．２５］以降のＣＤオーディオデータである。
【００４７】
一方、ＦＤ記録装置８は、コントローラ３からＭＴＣ「０」及びポーズ解除指令を受け取ると、直ちに計時手段２２０を利用して時刻の計時を開始する。しかし、ＦＤ記録装置８内のデルタタイム調整手段２３０では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からコントローラ３を介してＭＴＣ「０．２５」が出力される。このとき、デルタタイム調整手段２３０では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。
【００４８】
このように、ＶＴに格納された映像データの再生指示が発生すると、直ちに映像データの再生とＦＤ記録装置８による演奏音の記録が開始される。そして、さらに２５０ｍｓｅｃ経過すると、デルタタイム調整手段２３０は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じてデルタタイムの調整を開始する。そして、以後は、ＭＴＣがコントローラ３から供給される度に、デルタタイム調整手段２３０は上述したデルタタイムの調整を行う。その後、例えば図８に示すように計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］においてＭＩＤＩイベントＭＥ−１、−２、−３が生成され、各ＭＩＤＩイベントに対応するデルタタイムが生成されると、これらがＳＭＦ作成・書き込み制御手段２５０に供給される。
【００４９】
ＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベントＭＥ−１、−２、−３及び各ＭＩＤＩイベントに対応するデルタタイムを受け取ると、各ＭＩＤＩイベント及び各デルタタイムを含むＭＩＤＩデータをＳＭＦのトラックチャンクＴＴに格納する。その後、操作部４を介して同期記録を終了すべき指令が入力されると、コントローラ３は、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をＳＭＦ作成・書き込み制御手段２５０ヘ供給する。ＳＭＦ作成・書き込み制御手段２５０は、該識別情報（Ｖ−ＩＤ）及び識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納し、該ヘッダチャンクＨＴ及びトラックチャンクＴＴによって構成されたＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込み、処理を終了する。以上の説明から明らかなように、本実施形態の特徴は、タイムコード変換器２００から出力されるＭＴＣに基づいて同期再生記録の時間管理を行う点にある。なお、ＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第２の実施形態において詳細を明らかにする。
【００５０】
以上説明したように、本実施形態に係るマルチメディアシステム６００によれば、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことが可能となる。
【００５１】
なお、上述した第１の実施形態では、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録する場合のＭＴＣの出力タイミング、ＦＤに対する楽曲データの記録開始タイミング等については、上述した第１の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録することにより、例えばライブ録画／録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【００５２】
また、上述した第１の実施形態では、自動ピアノ１０を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子（ピストン等）の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器（例えば、バイオリン）であっても、かかる自然楽器の操作状態を検出する機構（例えば、弦振動を検出する検出機構等）を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているＰＣ（Personal Computer）など、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な機器をいう。
【００５３】
また、上述した第１の実施形態では、ＣＤオーディオデータ等を格納する手段としてＨＤを例示したが、該ＨＤの代わりにＲＡＭ等、種々の記憶手段を用いても良い。このように、ＨＤの代わりにＲＡＭ等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したＣＤオーディオデータを先読みし、これをＲＡＭ等の記憶手段に格納するように制御すれば、ＣＤオーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
また、上述した第１の実施形態では、ＭＩＤＩデータを記憶する記憶媒体としてＦＤを例に説明したが、例えばＭＯ（Magneto Optical disk）、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、ＣＤ駆動装置、ＦＤ記録装置、コントローラなど、図１に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対する演奏データ（例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等）の記録を行うことができる。
【００５４】
＜変形例１＞
上述した第１の実施形態に係るＦＤ記録装置８は、タイムコード変換器２００からコントローラ３を介して出力されるＭＴＣに基づいてデルタタイムを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制した。これに対し、変形例１では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて経過時間レジスタ２２２内の経過時間データＮを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制する。
【００５５】
図９は、変形例１に係るＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図であり、図９に示す経過時間調整手段２３０’は、図３に示すコントローラ３の経過時間調整手段２１２に対応する手段である。なお、図９に示す制御回路は、デルタタイム調整手段２３０の代わりに経過時間調整手段２３０’が設けられている点及び補正値レジスタ２４２が除かれている点を除けば、図６に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。
【００５６】
経過時間調整手段２３０’は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２２２内の経過時間データＮを調整する手段である。
経過時間調整手段２３０’は、コントローラ３から「０」より大きなＭＴＣが与えられると、コントローラ３の経過時間調整手段２１２と同様、前掲図４に示す経過時間調整処理を実行する。なお、経過時間調整処理については、上述した第１の実施形態において詳細を明らかにしたため、説明を割愛する。
以上説明した本変形例においても上記第１の実施形態と同様の効果が得られる。
【００５７】
Ｂ．第２の実施形態
図１０は、第２の実施形態に係るマルチメディアシステム７００の構成を示す図である。本実施形態に係るマルチメディアシステム７００は、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータを再生すると共にＦＤに対してＭＩＤＩデータを記録する機能を備えるほか、このようにしてＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データ等を同期して再生する機能を備えている。なお、図１０に示すマルチメディアシステム７００は、ＦＤ再生装置８ａが設けられている点及び自動ピアノ１０の代わりに自動ピアノ２０が設けられている点を除けば、図１に示すマルチメディアシステム６００とほぼ同様である。従って、対応する部分には同一符号を付し、上記第１の実施形態と重複する部分については説明を割愛する。
【００５８】
コントローラ３は、第１の実施形態において説明した機能を具備するほか、ＦＤとＨＤとＶＴの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部４等から与えられると、コントローラ３は、ＭＩＤＩデータの再生指示をＦＤ再生装置８ａに送る。ここで、例えばＦＤに記憶されたＭＩＤＩデータを楽曲の先頭から再生すべき場合、コントローラ３は、楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。なお、これらの手段については後述する。また、コントローラ３は、ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）が供給される都度、そのＭＴＣをＦＤ再生装置８ａに送る。
【００５９】
自動ピアノ２０は、自動ピアノで構成され、第１の実施形態において説明した自動ピアノ１０としての機能を備えるほか、ＦＤからＦＤ再生装置８ａによって読み出されるＭＩＤＩデータに従い、自動演奏を行う機能を備えている。かかる自動ピアノ２０は、自動ピアノ１０の各構成要素（ピアノ１１等）を備えるほか、ピアノ電子回路１６と、駆動ソレノイド群１７とを備えている。
ここで、アンサンブル音源１８により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをアンサンブル音源１８に送る。また、ピアノ音源１５またはピアノ１１により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをピアノ電子回路１６に送る。いずれの手段により自動演奏を行うかは、操作部４からの指示に従って決定される。
【００６０】
前述したようにアンサンブル音源１８により生成されたデジタル楽音信号は、コントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。なお、本実施形態に係るミキサ５は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源１８から出力されるデジタル楽音信号をコントローラ３を経由することなくミキサ５に直接供給してもよい。
【００６１】
ピアノ電子回路１６は、コントローラ３からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路１６は、２通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第１の方法では、コントローラ３から受け取ったイベントをピアノ音源１５に送る。前述したように、ピアノ音源１５は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第２の方法では、ピアノ電子回路１６は、コントローラ３から受け取ったイベントに従って駆動ソレノイド群１７に対する通電制御を行う。この駆動ソレノイド群１７は、ピアノ１１に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路１６は、ある鍵の押下を指示するイベントをコントローラ３から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第１の方法、第２の方法のいずれによりイベントを取り扱うかの指示は、操作部４からコントローラ３に与えられ、コントローラ３はこの指示をピアノ電子回路１６に送る。ピアノ電子回路１６は、受け取った指示に従う。
【００６２】
コントローラ３によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ３がイベントを出力してから自動演奏音が発生するまでに、例えば５００ｍｓｅｃの時間を要する。そこで、本実施形態では、同期再生の指示が操作部４から与えられ、かつ、自動演奏のための手段として自動ピアノ２０が選択されている場合には、次のようにしてＶＴ、ＨＤおよびＦＤの同期再生を行う。まず、ＦＤの再生を待機すべき旨の指令（すなわち、ポーズ指令）がコントローラ３からＦＤ再生装置８ａに送られる。そして、映像データ等を再生すべき指令（すなわち、同期再生を開始すべき指令）がビデオカメラ１００に入力されると、ビデオカメラ１００からタイムコード変換器２００を介してコントローラ３へＭＴＣの供給が開始される。コントローラ３は、前述したように、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る一方、ＨＤに格納されているＣＤオーディオデータの読み出し、再生を開始する。このように、ＦＤに格納されている楽曲データについては、楽曲の先頭から読み出しを開始するのではなく、５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始することにより、以後、ＶＴ内の映像データ等の再生と、ＨＤ内のＣＤオーディオデータの再生と、ＦＤ内のＭＩＤＩデータの再生との同期が保たれる。
【００６３】
ＦＤ再生装置８ａは、コントローラ３からの指令に従い、ＦＤからＭＩＤＩデータを順次読み出してコントローラ３に供給する。このＭＩＤＩデータは、例えばＦＤ記録装置８によりＶＴ及びＨＤの再生に同期して記録されたＭＩＤＩデータである（図８参照）。ＦＤ再生装置８ａは、あるイベントをＦＤから読み出してコントローラ３に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがＦＤ再生装置８ａの基本的な動作である。ＦＤ再生装置８ａは、以上説明したＭＩＤＩデータをＦＤから読み出す機能（すなわち、シーケンサとしての機能）の他に、この読み出し動作をビデオカメラ１００による映像データ等の再生及びＨＤに格納されているＣＤオーディオデータの再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたＦＤ再生装置８ａの構成について、図１１を参照しながら説明する。
【００６４】
図１１は、ＦＤ再生装置８ａに設けられた制御回路の構成を示すブロック図である。この図１１に示された制御回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ３０２は、ＦＤから読み出されたイベントを格納するバッファである。ここで、１つのデルタタイムの後に２以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがＦＤから読み出され、イベントバッファ３０２に格納される。デルタタイムレジスタ３０３は、ＦＤから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した２つのイベント間の経過時間を指定するものである。
【００６５】
加算器３１１およびレジスタ３１２は、累算器を構成している。この累算器は、ＦＤから順次読み出されてレジスタ３０３に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ３１２によって保持されるようになっている。また、加算器３１１は、このレジスタ３１２に格納された累算値とレジスタ３０３に格納されているデルタタイムとを加算して、加算結果Ｍを出力する。このＭは、イベントバッファ３０２に格納された１または複数のイベントをコントローラ３に転送する目標時刻に相当する数値である。従って、以下ではこのＭを目標時刻データと呼ぶ。この目標時刻データＭにより指定された時刻になると、イベント転送制御手段３３０からレジスタ３０３および３１２に書き込みクロックが供給される。この結果、加算器３１１の出力データ、すなわち、それまでレジスタ３１２に格納されていた累算値とレジスタ３０３に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ３１２に格納される。また、このときＦＤから読み出された新たなデルタタイムがレジスタ３０３に格納されるのである。なお、イベント転送制御手段３３０については後述する。
【００６６】
加算器３２１およびレジスタ３２２は、コントローラ３のクロック生成手段２１０からテンポクロックＣＴ’が与えられる度に「＋１」の累算を行う累算器を構成している。加算器３２１は、レジスタ３２２の格納データと固定値「＋１」とを加算して出力する。レジスタ３２２は、ＦＤからのＭＩＤＩデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、５００ｍｓｅｃ／τ’となる。以後、レジスタ３２２には、テンポクロックＣＴ’が与えられる度に、加算器３２１の出力データ、すなわち、その時点におけるレジスタ３２２の格納データと「＋１」との加算結果が書き込まれる。このレジスタ３２２の出力データＮ’は、ＭＩＤＩデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【００６７】
イベント転送制御手段３３０は、経過時間データＮ’が目標時刻データＭに到達したとき、イベントバッファ２０２内の１または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ３に送る。また、このときイベント転送制御手段３３０は、上述したように書き込みクロックをレジスタ３０３および３１２に供給する。前述したように、本実施形態においては、楽曲データの先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しが開始される。従って、イベント転送制御手段３３０は、ＦＤからのＭＩＤＩデータの生成が開始されるとき、目標時刻データＭが５００ｍｓｅｃ／τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【００６８】
タイミング調整手段３４１は、ＭＩＤＩデータのイベントのコントローラ３への出力動作をＶＴからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段３４１は、コントローラ３から「０」より大きなＭＴＣが与えられると、当該ＭＴＣを第１の再生時間データＴＣＤ’とし、さらにその時点における経過時間データＮ’にテンポクロックＣＴ’の周期τ’を乗算し、その乗算結果から５００ｍｓｅｃを差し引き、第２の再生時間データＴＦＤ’＝Ｎ＊τ’−５００ｍｓｅｃを求める。この第２の再生時間データＴＦＤ’は、現在の演奏箇所が楽曲の先頭から何秒後の箇所であるかを表している。
【００６９】
そして、タイミング調整手段３４１は、これらの再生時間データＴＣＤ’及びＴＦＤ’を比較し、比較結果に基づいて次の処理を行う。
ａ．ＴＣＤ’とＴＦＤ’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段３４１は、何もしない。
【００７０】
ｂ．ＴＣＤ’＞ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＣＤ’−ＴＦＤ’だけ遅れた箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＣＤ’−ＴＦＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＣＤ’−ＴＦＤ’）／τ’をレジスタ３０３内のデルタタイムから減算し、減算後のデルタタイムをレジスタ３０３に書き込む。これにより以後暫くの間、ＦＤからのイベント読み出しによる自動演奏とＶＴからの映像データ等の読み出しによる映像表示とＨＤからのＣＤオーディオデータの読み出しによる演奏が同期状態を保つこととなる。
【００７１】
ｃ．ＴＣＤ’＜ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＦＤ’−ＴＣＤ’だけ進んだ箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＦＤ’−ＴＣＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＦＤ’−ＴＣＤ’）／τ’をレジスタ３０３内のデルタタイムに加算し、加算後のデルタタイムをレジスタ３０３に書き込む。
以上が本実施形態に係るマルチメディアシステム７００の詳細である。以下、図１２を参照しながら、マルチメディアシステム７００の動作について詳細に説明する。
【００７２】
図１２は本実施形態に係るマルチメディアシステム７００の動作を示すタイムチャートである。さらに詳述すると、図１２には、ある映像及び楽曲の先頭からＶＴ、ＨＤ、ＦＤの同期再生を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤから読み出されるＭＩＤＩデータおよびピアノ１１から発生される音が時系列的に示されている。この図１２において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、ｍ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、楽曲の開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の演奏制御に用いられるＭＩＤＩデータである。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００７３】
駆動ソレノイド群１７およびピアノ１１を利用して自動演奏を行う場合、まずポーズ指令がコントローラ３からＦＤ再生装置８ａに送られる。その後、ユーザがビデオカメラ１００の操作部１３０等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣの供給が開始される。コントローラ３は、タイムコード変換器２００を介してＭＴＣ「０」を受け取ると、後述するようにＨＤに格納されているＣＤオーディオデータを読み出す制御を開始すると共に、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。ＦＤ再生装置８ａは、コントローラ３から該指令を受け取ると、直ちにＦＤから楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータＭＩＤＩデータを読み出す動作を開始する。この結果、ＭＩＤＩデータｍ［０．５］、ｍ［０．７５］、〜がＦＤから順次読み出され、ＭＩＤＩデータ中のイベントがコントローラ３に転送される。この動作においては、ＭＩＤＩデータ中のデルタタイムに基づいて、ＭＩＤＩデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【００７４】
コントローラ３がタイムコード変換器２００から受け取ったＭＴＣ「０」は、ＦＤ再生装置８ａに送られる。しかし、ＦＤ再生装置８ａ内のタイミング調整手段３４１では、このタイムコード「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、コントローラ３からＭＴＣ「０．２５」が出力される。このときタイミング調整手段３４１では、「０」より大きなタイムコードが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、ＭＴＣがコントローラ３から供給される度に、上述したデルタタイムの調整が行われる。
【００７５】
一方、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００７６】
この結果、ＶＴの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像、ＶＴオーディオデータに対応した演奏、ＣＤオーディオデータに対応した演奏等が開始される。そして、さらに５００ｍｓｅｃが経過すると、ＭＩＤＩデータに対応した演奏が開始される。そして、さらに２５０ｍｓｅｃが経過すると、タイミング調整手段３４１によりタイミング調整が行われたＭＩＤＩデータに対応した演奏が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］、ＣＤオーディオデータｃａ［ｋ］およびＭＩＤＩデータｍ［ｋ］のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から７５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．７５］以降の映像データと、ｖａ［０．７５］以降のＶＴオーディオデータと、ｃａ［０．７５］以降のＣＤオーディオデータと、ｍ［０．７５］以降のＭＩＤＩデータである。この結果、図８を参照して説明した計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］において生成されたＭＩＤＩイベントを含むＭＩＤＩデータｍ［１．０］、ｍ［１．５］、ｍ［２．０］と、対応するＣＤオーディオデータｃａ［１．０］、ｃａ［１．５］、ｃａ［２．０］と、対応するＶＴオーディオデータｖａ［１．０］、ｖａ［１．５］、ｖａ［２．０］及び映像データｐ［１．０］、ｐ［１．５］、ｐ［２．０］は同期を保った状態で再生される。
【００７７】
以上の説明から明らかなように、本実施形態に係るマルチメディアシステム７００によれば、ＶＴ及びＣＤの再生に同期してＭＩＤＩデータを記録するほか、記録されたＭＩＤＩデータと、対応するＣＤオーディオデータ、ＶＴオーディオデータ、映像データ等とを同期して再生することができる。
【００７８】
なお、以上説明した同期再生に先だって、コントローラ３がビデオカメラ１００からＶＴの識別情報（Ｖ−ＩＤ）を受け取ると共に、ＦＤ再生装置８ａからＦＤに記録されているＳＭＦのヘッダチャンクＨＴに格納されているＶＴの識別情報（Ｖ−ＩＤ）を受け取り、両者の識別情報が一致しない場合には、ＦＤに記録されているＭＩＤＩデータの再生（すなわち、自動演奏）を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。なお、以上の説明では、ＶＴの識別情報（Ｖ−ＩＤ）を例に説明したが、ＣＤの識別情報（Ｃ−ＩＤ）を利用してＭＩＤＩデータの再生を停止するか否かを判断しても良く、またこれら両者の識別情報を利用して該判断を行うようにしても良い。
【００７９】
また、上述した第２の実施形態では、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生する場合のＭＴＣの出力タイミング、ＭＩＤＩデータの読み出しタイミング等については、上述した第２の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ、ＶＴオーディオデータ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生するようにしても良い。
【００８０】
また、上述した第２の実施形態では、同期再生すべきＣＤオーディオデータが予めＨＤに格納されている場合を例に説明したが、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを記録したＣＤが装着されていれば、当該ＣＤオーディオデータが予めＨＤに格納されていなくとも、同期再生させることが可能である。具体的には、ビデオカメラ１００の操作部１３０から再生すべきＶＴの選択指示が入力されると、コントローラ３は、ＶＴを識別するための識別情報（Ｖ−ＩＤ）をＦＤ再生装置８ａへ送る。ＦＤ再生装置８ａは、かかる識別情報（Ｖ−ＩＤ）を検索キーとして、ＦＤに書き込まれているＳＭＦのヘッダチャンクＨＴを参照する。
【００８１】
ＦＤ再生装置８ａは、該識別情報（Ｖ−ＩＤ）と一致する識別情報（Ｖ−ＩＤ）を発見すると、当該識別情報と対応付けて記録されているＣＤを識別するための識別情報（Ｃ−ＩＤ）を読み出し、これをコントローラ３へ返す。コントローラ３は、ＦＤ再生装置８ａから該識別情報（Ｃ−ＩＤ）を受け取ると、この識別情報（Ｃ−ＩＤ）と共に、対応するＣＤに格納されているＣＤオーディオデータを含む楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。なお、該楽曲データをＨＤに格納した後の動作については、上述した第２の実施形態と同様に説明することができるため、割愛する。
以上説明した処理を実行することで、再生すべきＣＤオーディオデータが予めＨＤに格納されていなくとも、ＶＴ、ＣＤ、ＦＤを同期再生させることが可能となる。
【００８２】
ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、ＦＤ再生装置、コントローラなど、図１０に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データ、ＶＴオーディオデータ等の再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生すると共にＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録することができ、さらに、ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させて映像データ、ＶＴオーディオデータ、ＣＤオーディオデータを再生することができる。
【００８３】
Ｃ．第３の実施形態
さて、上記第２の実施形態において説明したように、マルチメディアシステム７００を利用すれば、ＶＴに記録された映像データ、ＶＴオーディオデータの再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生し、ＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られる楽曲等）をＦＤに記録することができる。また、かかるマルチメディアシステム７００を利用すれば、該ＦＤに記録されたＭＩＤＩデータに基づく自動演奏に同期して、ＶＴに記録された映像データ、ＶＴオーディオデータを再生し、ＨＤに格納されたＣＤオーディオデータを再生することができる。
【００８４】
ところで、このようにＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生（詳細には、自動ピアノ２０による自動演奏）する場合、例えば該ＨＤに格納されたＣＤオーディオデータの基準ピッチ（具体的には、基準となる音「Ａ（ラ）」等の周波数）が４４３Ｈｚであり、自動演奏の際に用いられるピアノ１１（生ピアノ）の基準ピッチが４４８Ｈｚであったとすると、ＨＤに格納されたＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【００８５】
そこで、本実施形態に係るマルチメディアシステムは、ピアノ１１の基準ピッチ（上記の例では、４４８Ｈｚ）にＣＤオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、ＨＤに格納されているＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【００８６】
さて、本実施形態に係るコントローラ３は、上記第２の実施形態において説明した機能を具備するほか、以下に示すＣＤオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【００８７】
図１３は、ＣＤオーディオデータ記録処理を示すフローチャートである。
コントローラ３は、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを含む楽曲データを記録したＣＤが装着され、ＦＤ記録装置８に記録用のＦＤが装着されたことを検出すると（ステップＳｂ１）、ＣＤ駆動装置１に対し、装着されたＣＤに記録されている楽曲データを転送すべき指令を送る。ＣＤ駆動装置１は、かかる指令に従ってＣＤに記録されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ返す。コントローラ３は、ＣＤ駆動装置１からＤＳＰ２を介してＣＤオーディオデータを含む楽曲データを受け取ると、これをＨＤに転送する（ステップＳｂ２）。
【００８８】
そして、ステップＳｂ３に進むと、コントローラ３は、操作部４等から該ＣＤオーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてこない場合（ステップＳｂ３；ＮＯ）、コントローラ３は、以下に示すステップＳｂ４〜Ｓｂ８をスキップし、ステップＳｂ９に進む。一方、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると（ステップＳｂ３；ＹＥＳ）、コントローラ３は、ステップＳｂ４に進み、ＣＤオーディオデータを高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）し、各周波数毎の音圧（ＳＰＬ；Sound Pressure Level）を求める。
【００８９】
ここで、図１４は、ＣＤオーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図１４に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分（例えば、４４０Ｈｚ付近の周波数成分）である。従って、予めバンドパスフィルタ等を利用して、４４０Ｈｚ付近の周波数成分（例えば、図１４に示す（４４０±α）Ｈｚ）のみを抽出するようにしても良い。
【００９０】
さて、コントローラ３は、図１４に示す４４０Ｈｚ付近の各周波数の音圧をスキャンしていき（ステップＳｂ５）、予め設定された所定値（図１４に示す、閾値Ｓ）以上の音圧が検出されるか否かを判断する（ステップＳｂ６）。コントローラ３は、所定値以上の音圧が検出されない場合（ステップＳｂ６；ＮＯ）、再びステップＳｂ４に戻って、ＣＤオーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると（ステップＳｂ６；ＹＥＳ）、コントローラ３は、ステップＳｂ７に進み、所定値以上の音圧が検出された周波数（図１４では、４４３Ｈｚ）をＣＤオーディオデータの基準ピッチとして認識し、この基準ピッチを表すイベントを生成してＦＤ記録装置８に送り、さらに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）をＦＤ記録装置８に通知する（ステップＳｂ８）。
【００９１】
ＦＤ記録装置８は、かかるイベント及び通知を受け取ると、図１５に示すようにＦＤの所定の記憶エリアに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）及び該基準ピッチに対応するイベントを格納する。その後、ユーザが操作部４等を操作してＣＤの再生と同期してＭＩＤＩデータ（例えば、ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録すべき指令がコントローラ３に通知されると（ステップＳｂ９）、コントローラ３は、上述した第１の実施形態において説明した同期記録のための制御を行い（ステップＳｂ１０）、処理を終了する。一方、ステップＳｂ９において、ＣＤの再生と同期してＭＩＤＩデータをＦＤに記録すべき指令がコントローラ３に通知されない場合、コントローラ３は同期記録のための制御を行うことなく処理を終了する。
【００９２】
以上がＣＤオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにＣＤオーディオデータの基準ピッチを自動検出する場合について説明したが、ＣＤオーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該ＣＤオーディオデータの基準ピッチを判断し、操作部４等を操作（すなわち、マニュアル操作）することにより、判断して決定した基準ピッチをＦＤに記録するようにしても良い。
【００９３】
さて、このようにＣＤに記録されたＣＤオーディオデータがＨＤに格納され、ＭＩＤＩデータがＦＤに記録された後、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録された演奏データに基づくピアノ自動演奏を行う場合、コントローラ３は、以下に示すピッチ制御・再生処理を実行する。
【００９４】
図１６は、ピッチ制御・再生処理を示すフローチャートである。
操作部４等からＨＤに記録されたＣＤオーディオデータとＦＤに記録されたＭＩＤＩデータとを同期して再生すべき指示がコントローラ３に送られると、コントローラ３は、ＦＤ再生装置８ａに対し、ＦＤからＣＤオーディオデータの基準ピッチを読み出すべき指示を送る（ステップＳｃ１）。ＦＤ再生装置８ａは、かかる指示に従ってＦＤから基準ピッチ（例えば、４４３Ｈｚ）に対応するイベントを読み出し、これをコントローラ３へ返す。コントローラ３は、該イベントを受け取ると、ピアノ１１の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ（例えば、「ユーザＺさん、「ラ」の音を鳴らしてください！」）等を表示させる。その後、ユーザがピアノ１１の特定の鍵を押下し、ピアノ１１から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ３は、図示せぬマイクロフォン等を介してピアノ１１から発音された音を楽音データとして受け取り、ピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）を検出する（ステップＳｃ２）。
【００９５】
なお、ピアノ１１の基準ピッチを検出する方法として、上記のように表示部（図示略）にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路１６に送り、駆動ソレノイド群１７を利用することにより、かかる音を自動で（すなわち、ユーザにピアノ１１の特定の鍵を押下させることなく）鳴らすように制御しても良い。また、ピアノ１１の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ１１の基準ピッチを検出することが可能である。
【００９６】
さて、コントローラ３は、このようにしてピアノ１１の基準ピッチを検出すると、検出したピアノ１１の基準ピッチとＣＤオーディオデータの基準ピッチとを比較し、基準ピッチのずれ（音程差）を求める（ステップＳｃ３）。ここでは、検出したピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが４４３Ｈｚであるため、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断し、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度決定する（ステップＳｃ４）。
ここで、図１７は、各読み出し速度でＣＤオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図１７のＡに示す信号波形は、所定の読み出し速度Ｖｂで読み出したときに得られる信号波形であり、図１７のＢ及びＣに示す信号波形は、それぞれ該読み出し速度Ｖｂよりも速い読み出し速度Ｖｆ（＞Ｖｂ）及び遅い読み出し速度Ｖｓ（＜Ｖｂ）で読み出したときに得られる信号波形である。
【００９７】
ここで、所定の読み出し速度Ｖｂで読み出されたときに基準ピッチが４４３Ｈｚの音が発音されると仮定すると、図１７のＢに示すように、読み出し速度ＶｆでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも高い音（例えば、基準ピッチが４４８Ｈｚの音）が発音され、一方図１７のＣに示すように、読み出し速度ＶｓでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも低い音（例えば、基準ピッチが４４０Ｈｚの音）が発音される。
従って、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断すると、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度を、４４３Ｈｚの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、ＣＤオーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
【００９８】
そして、コントローラ３は、決定した読み出し速度でＣＤオーディオデータをＨＤから読み出し、読み出したＣＤオーディオデータからアナログオーディオ信号を生成してミキサ５に順次供給する一方（ステップＳｃ５）、該ＣＤオーディオデータの読み出し速度に基づいてＦＤからＦＤ再生装置８ａを介してＭＩＤＩデータを順次読み出し（ステップＳｃ６）、読み出したＭＩＤＩデータを順次ピアノ電子回路１６へ供給する（ステップＳｃ７）。
【００９９】
ピアノ電子回路１６は、コントローラ３から順次供給されるＭＩＤＩデータに含まれるイベントに応じて駆動ソレノイド群１７に対する通電制御を行い、ピアノ１１の鍵、ペダル等を駆動する。これにより、ＭＩＤＩデータに基づくピアノ１１の自動演奏が行われる。コントローラ３は、ステップＳｃ８に進むと、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したか否かを判断する。１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了していないと判断すると（ステップＳｃ８；ＮＯ）、コントローラ３は、ステップＳｃ５に戻り、ステップＳｃ５→ステップＳｃ６→ステップＳｃ７といった一連の処理を繰り返し実行する。そして、コントローラ３は、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したと判断すると（ステップＳｃ８；ＹＥＳ）、以上説明したピッチ制御・再生処理を終了する。
【０１００】
以上説明したように、本実施形態に係るマルチメディアシステムによれば、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、ＣＤオーディオデータの基準ピッチ（例えば、４４３Ｈｚ）がピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）と一致するように、ＣＤオーディオデータの基準ピッチが制御される。これにより、該ＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【０１０１】
＜変形例１＞
上述した第３の実施形態では、ＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生する場合について説明したが、該ＣＤオーディオデータの代わりにＶＴオーディオデータをＨＤに格納し、このＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生することも可能である。なお、かかる場合にコントローラ３等によって実行される処理については、上述した第３の実施形態とほぼ同様に説明することができるため、説明を割愛する。
【０１０２】
また、図１８に示すようにＨＤの所定の記憶エリアに再生すべきＣＤオーディオデータ及びＶＴオーディオデータを格納し、ＨＤに格納されたＣＤオーディオデータの再生及びＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生しても良い。例えば、ＭＩＤＩデータの再生の際に利用するピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが例えば４４３Ｈｚ、ＶＴオーディオデータの基準ピッチが例えば４５０Ｈｚである場合、コントローラ３は、ピアノ１１の基準ピッチを基準としてＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げて再生するための制御を行う一方、ＶＴオーディオデータの基準ピッチを２Ｈｚ（＝４５０Ｈｚ−４４８Ｈｚ）下げて再生するための制御を行う。このように、ＨＤに複数種類のオーディオデータを格納し、これら全て（若しくは一部）のオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生するようにしても良い。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図１】 第１の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図２】 同実施形態に係るＣＤオーディオデータの構成を示す図である。
【図３】 同実施形態に係るコントローラの機能を説明するためのブロック図である。
【図４】 同実施形態に係る経過時間調整処理を示すフローチャートである。
【図５】 同実施形態に係るＳＭＦの構成を示す図である。
【図６】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図７】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図８】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図９】 同実施形態における変形例１に係る経過時間調整処理を示すフローチャートである。
【図１０】 第２の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図１１】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図１２】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図１３】 第３の実施形態におけるＣＤオーディオデータ記録処理を示すフローチャートである。
【図１４】 同実施形態に係るＣＤオーディオデータから得られる信号波形を例示した図である。
【図１５】 同実施形態に係るＦＤの記憶状態を説明するための図である。
【図１６】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図１７】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【図１８】 同実施形態における変形例１に係るＨＤの記憶状態を説明するための図である。
【符号の説明】
３・・・コントローラ、４・・・操作部、５・・・ミキサ、６・・・アンプ、７・・・スピーカ、８・・・ＦＤ記録装置、８ａ・・・ＦＤ再生装置、１０、２０・・・自動ピアノ、１１・・・ピアノ、１２・・・キーセンサ、１３・・・ペダルセンサ、１４・・・ＭＩＤＩイベント生成回路、１５・・・ピアノ音源、１６・・・ピアノ電子回路、１７・・・駆動ソレノイド群、１８・・・アンサンブル音源、１００・・・ビデオカメラ、２００・・・タイムコード変換器、２１０・・・クロック生成手段、２１１、２２０・・・計時手段、２１２・・・経過時間調整手段、２１３・・・ＣＤオーディオデータ再生制御手段、２１３ａ・・・ＨＤ読み出し制御手段、２１３ｂ・・・オーディオ信号生成手段、２３０・・・デルタタイム調整手段、２３０’・・・経過時間調整手段、２４０・・・デルタタイム生成手段、２５０・・・ＳＭＦ作成・書き込み制御手段、３３０・・・イベント転送制御手段、３４１・・・タイミング調整手段。
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録等を行うマルチメディアシステム、再生装置及び再生記録装置に関する。
【０００２】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ（以下、ＶＴ）及び該映像に応じた楽曲データ（例えば、オーケストラ演奏に応じた楽曲データ等）を記録した光ディスク（以下、ＣＤ）を、それぞれビデオカメラ及びＣＤプレーヤ等によって同期再生する一方、ユーザは該映像データの再生によって表示される映像を見ながら、あるいは楽曲データの再生によって発音されるオーケストラ演奏音等を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データ（例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格に準拠したデータ）をフロッピーディスク（以下、ＦＤ）等の記憶媒体に記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ユーザは、上記ＣＤの再生により奏でられるオーケストラ演奏を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データをＦＤ記録すると共に、かかる演奏風景をビデオカメラによって記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【０００３】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び再生記録装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベント間の時間差であるデルタタイムとを含む前記第２の楽曲データ中の、当該デルタタイムによって定まる時刻が到来する度に前記イベントを出力するイベント出力手段と、前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段とを具備することを特徴とする。
【０００５】
かかる構成によれば、記憶手段に格納さている第１のオーディオデータの読み出しタイミングが、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される一方、第２の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、前記楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生の時間的なずれが抑えられる。
【０００６】
また、この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを第２の記憶媒体に書き込む書き込み手段とを具備することを特徴とする。
【０００７】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録の時間的なずれが抑えられる。
【００１０】
【発明の実施の形態】
Ａ．第１の実施形態
図１はこの発明の第１の実施形態であるマルチメディアシステム６００の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム６００は、以下に詳述するが、同期を保った状態でＶＴに格納されている映像データ、オーディオデータ（以下、ＶＴオーディオデータという）の再生と、ＣＤに格納されているオーディオデータ（以下、ＣＤオーディオデータという）の再生と、ＦＤに対するユーザの演奏に基づくＭＩＤＩデータの記録とが可能なシステムである。
【００１１】
図１において、ビデオカメラ１００は、記録部１１０と、再生部１２０と、操作部１３０とを具備している。
記録部１１０は、操作部１３０を介して入力される指示に従って演奏風景や種々の演奏音（ユーザと一緒に演奏しているヴァイオリン演奏音等）等を当該ビデオカメラ１００に装着したＶＴに記録する役割を担っている。かかる記録部１１０は、映像風景を映像データとしてＶＴの映像トラックに記録する録画手段１１１と、演奏音をＶＴオーディオデータとしてＶＴの楽音トラックに記録する録音手段１１２と、ＶＴに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード（例えば、ＲＣタイムコード等）を付加するタイムコード付加手段１１３とを具備している。
【００１２】
再生部１２０は、操作部１３０を介して入力される指示に従ってＶＴに既に記録されている映像データやＶＴオーディオデータなどの記録情報を再生する役割を担っている。再生部１２０は、操作部１３０を介して再生指示を受け取ると、ＶＴの映像トラックに記録されている映像データを読み出し、これをＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のモニタ１２１に供給し、映像として表示させると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータを読み出し、後述するコントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコードを読み出し、これをタイムコード変換器２００へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ１００がマスターとして機能し、当該ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコードを受け取る種々の装置（ＦＤ記録装置８等）がスレーブとして機能する。
【００１３】
タイムコード変換器２００は、例えばケーブル等によってビデオカメラ１００に接続され、該ビデオカメラ１００から順次供給される映像用タイムコードを楽音用タイムコード（ＭＩＤＩタイムコード；以下、適宜、ＭＴＣという）に変換し、変換後のＭＴＣをコントローラ３へ供給する。
【００１４】
ＣＤ駆動装置１は、コントローラ３からの指令に従い、装着されたＣＤから楽曲データを読み出して出力する装置である。ＣＤ駆動装置１は、装着されたＣＤを通常再生する場合（すなわち、上述したようにＶＴ等と同期して再生しない場合）、ＣＤから読み出した楽曲データをＤＳＰ２に出力する。ＤＳＰ２は、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる。一方、ＣＤ駆動装置１は、装着されたＣＤをＶＴ等と同期して再生する場合、コントローラ３による制御の下、当該再生に先立ってＣＤに格納されている楽曲データをＤＳＰ２、コントローラ３を介してハードディスク（以下、ＨＤ）に転送する。なお、詳細は後述することとし、説明を続ける。
【００１５】
さて、かかるＣＤ駆動装置１には、様々なＣＤが装着され得る。これらのＣＤのうち本発明と最も関連性の強いのは楽曲データであるＣＤオーディオデータを主要な記録データとするＣＤである。図２に示すように、楽曲データは、ある楽曲のオーケストラ演奏や歌唱に伴って発生したオーディオ信号の符号化データ列（ＣＤオーディオデータ）を含んでいる。また、この楽曲データにはタイムコード（以下、適宜、ＣＤタイムコードという）が離散的に挿入されている。これらのＣＤタイムコードは、楽曲の開始からの経過時間を示すコードである。このようなデータとは種類の異なったデータが記録されたＣＤもＣＤ駆動装置１に装着され得る。例えば、ＬチャネルデータとしてＣＤオーディオデータが記録され、Ｒチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着され得る。また、逆にＲチャネルデータとしてＣＤオーディオデータが記録され、Ｌチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着されることもある。
【００１６】
ＤＳＰ２は、上述したように、通常再生する場合、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる一方、ＶＴ等と同期して再生する場合、ＣＤ駆動装置１から読み出された楽曲データをコントローラ３に出力する。また、ＤＳＰ２は、再生時にＣＤ駆動装置１によって読み出されたＣＤを識別するための識別情報（以下、適宜、Ｃ−ＩＤという）を該ＣＤ駆動装置１から取得し、これをコントローラ３へ送出する。なお、本実施形態では、ＤＳＰ２が再生時にＣＤ駆動装置１から選択されたＣＤを識別するための識別情報（Ｃ−ＩＤ）のみを取得する場合について説明するが、ＣＤを識別するための識別情報のみならず、かかるＣＤに記録されている複数の楽曲データのうち、再生すべき指示のあった楽曲データを識別するための識別情報を取得するようにしても良い。
【００１７】
一方、コントローラ３は、操作部４を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ３によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ１００による映像データの再生に同期して、ＣＤからＣＤ駆動装置１、ＤＳＰ２、コントローラ３を介してＨＤに転送されたＣＤオーディオデータを含む楽曲データの再生及びユーザによるピアノ演奏音を記録（以下、同期再生記録という）する場合の再生・記録制御である。このコントローラ３は、タイムコード変換器２００からＭＴＣを受け取る度に、そのタイムコード（ＭＴＣ）をＦＤ記録装置８に送ると共に、かかるＭＴＣに基づいてＨＤに格納されている再生すべきＣＤオーディオデータの読み出しを制御する（詳細は後述）。また、コントローラ３は、ＭＩＤＩイベント生成回路１４からＭＩＤＩイベント等（後述）を受け取ると、このＭＩＤＩイベント等をＦＤ記録装置８に送る。さらに、コントローラ３は、ビデオカメラ１００から供給されるＶＴオーディオデータに基づいてアナログオーディオ信号を生成してミキサ５に送る。
【００１８】
ここで、図３は、ＣＤオーディオデータの読み出しを制御するコントローラ３の機能を説明するためのブロック図である。
コントローラ３は、クロック生成手段２１０と、計時手段２１１と、経過時間調整手段２１２と、ＣＤオーディオデータ再生制御手段２１３とを備えている。クロック生成手段２１０は、水晶振動子とアンプとにより構成された発振回路（いずれも図示略）を備えている。このクロック生成手段２１０は、発振回路から出力される発信信号を適宜分周してタイミング制御用の各種のクロック（本発明に特に関連の深いクロックは、テンポクロックＣＴである）を発生する手段である。クロック発生手段２１０は、このように生成したテンポクロックＣＴを制御回路の計時手段２１１に順次供給する。
【００１９】
計時手段２１１は、加算器２１１ａ及び経過時間レジスタ２１１ｂによって構成され、この加算器２１１ａ及び経過時間レジスタ２１１ｂによりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２１１ａ、経過時間レジスタ２１１ｂの格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２１１ｂには、同期記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２１１ｂにテンポクロックＣＴが与えられる度に、加算器２１１ａの出力データ、すなわち当該時点における経過時間レジスタ２１１ｂの格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２１１ｂの出力データＮは、同期再生記録開始以後の経過時間を表す経過時間データとして利用される。
【００２０】
経過時間調整手段２１２は、計時手段２１１によって計時された時刻とタイムコード変換器２００から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２１１ｂ内の経過時間データＮを調整する処理（経過時間調整処理）を実行する手段である。ここで、図４は、経過時間調整処理を示すフローチャートである。
経過時間調整手段２１２は、ステップＳ１において、タイムコード変換器２００から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳ２に進む。経過時間調整手段２１２は、ステップＳ２に進むと、計時手段２１１から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期再生記録を開始してから現在に至るまでの経過時間を表している。次に、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。
【００２１】
経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、経過時間レジスタ２１１ｂ内の経過時間データＮを調整することなく、経過時間調整処理を終了する。
【００２２】
一方、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも遅れているといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮに加算し、加算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ６）、経過時間調整処理を終了する。
【００２３】
一方、第１の記録時間データＴＣＤが第２の記録時間データよりも小さい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも進んでいるといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮから減算し、減算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ７）、経過時間調整処理を終了する。
【００２４】
ＣＤオーディオデータ再生制御手段２１３は、ＨＤに格納されているＣＤオーディオデータを含む楽曲データの再生を制御する手段であり、ＨＤ読み出し制御手段２１３ａと、オーディオ信号生成手段２１３ｂとを備えている。
ＨＤ読み出し制御手段２１３ａは、ＨＤに格納されている楽曲データ中のＣＤタイムコードと経過時間レジスタ２１１ｂに格納されている経過時間データＮとを比較し、楽曲データ中のＣＤオーディオデータの読み出しを制御する。詳述すると、ＨＤ読み出し制御手段２１３ａは、経過時間データＮが楽曲データ中の各ＣＤタイムコードに示される時刻に到達する度、対応するＣＤオーディオデータの読み出し、これをオーディオ信号生成手段２１３ｂへ順次供給する。
オーディオ信号生成手段２１３ｂは、ＨＤ読み出し制御手段２１３ａから供給されるＣＤオーディオデータに基づいてアナログオーディオ信号を生成し、ミキサ５に送る。
以上の説明から明らかなように、ＨＤに格納されているＣＤオーディオデータの再生は、コントローラ３によりタイムコード変換器２００から出力される楽音用タイムコード（ＭＴＣ）に基づいて制御される。
【００２５】
再び図１に戻り、自動ピアノ１０は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ１０は、ピアノ１１と、キーセンサ１２と、ペダルセンサ１３と、ＭＩＤＩイベント生成回路１４と、ピアノ音源１５と、アンサンブル音源１８とを有している。なお、図１では、ピアノ音源１５等を利用して電子的な楽音を発音する自動ピアノ１０（いわゆる、消音型自動ピアノ）を例示しているが、その他にも後述する第２の実施形態に係る自動ピアノ２０（図１０参照）のように、鍵やペダルの操作指示に従って鍵やペダルを駆動する駆動ソレノイド群を利用し、打弦等による機械的な楽音を発音する自動ピアノなど、あらゆる自動ピアノに適用することができるのは勿論である。
キーセンサ１２及びペダルセンサ１３は、それぞれピアノ１１に配設された複数の鍵及び複数のペダル（ソステヌートペダル等）の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報（押鍵強度等に対応したデータ）等を含む検出結果をＭＩＤＩイベント生成回路１４に供給する。
【００２６】
ＭＩＤＩイベント生成回路１４は、コントローラ３による制御の下、キーセンサ１２及びペダルセンサ１３から供給される検出結果に基づいてＭＩＤＩイベントを生成する。ここで、ＭＩＤＩイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。ＭＩＤＩイベント生成回路１４は、上記検出信号に基づいて、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するイベントの一種であるＭＩＤＩイベントを生成し、かかるＭＩＤＩイベントをコントローラ３及びピアノ音源１５に供給する。
【００２７】
ピアノ音源１５は、ＭＩＤＩイベント生成回路１４から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源１５により生成されたアナログオーディオ信号は、ミキサ５へ出力される。
アンサンブル音源１８は、コントローラ３からイベントを受け取り、そのイベントに従ってデジタル楽音信号を生成する装置である。このアンサンブル音源１８により生成されたデジタル楽音信号はコントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。
ミキサ５は、コントローラ３、ピアノ音源１５、アンサンブル音源１８から出力される各アナログ信号を混合して出力する装置である。このミキサ５の出力信号は、アンプ６によって増幅され、スピーカ７から音として出力される。
【００２８】
ＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータ等の再生に併せてユーザが自動ピアノ１０を演奏したときの演奏音をＦＤに記録する装置であり、コントローラ３による制御の下、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）、ＭＩＤＩイベント等を含むＳＭＦ(Standard MIDI File)を作成する機能を有している。ここで、ＳＭＦは、図５に示すように、ヘッダチャンクＨＴとトラックチャンクＴＴによって構成されている。ヘッダチャンクＨＴには、ＳＭＦの基本的な情報（チャンクタイプ等）が格納されるほか、Ｖ−ＩＤ、Ｃ−ＩＤなどの同期記録の際に再生されたＶＴ、ＣＤを識別するための識別情報が格納される。トラックチャンクＴＴには、ＭＩＤＩデータが格納される。ＭＩＤＩデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、ＭＩＤＩデータを構成するイベントは、ＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントや、コントローラ３において生成されるSysExイベント、メタイベントによって構成されている。
【００２９】
かかるＳＭＦの作成・記録を行うＦＤ記録装置８は、コントローラ３から同期記録の開始指令を受け取ると、後述する計時手段を用いて時刻の計時を開始する。そして、ＦＤ記録装置８は、コントローラ３からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるＭＩＤＩデータを順次作成する。ここで、本実施形態に係るＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータの再生に同期して自動ピアノ１０の演奏音を記録すべく、計時手段によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたＦＤ記録装置８の構成について、図６を参照しながら説明する。
【００３０】
図６は、ＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図である。この図６に示された制御回路は、上述したＳＭＦを作成し、これをＦＤに記録する機能と、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する機能とを営むものである。
【００３１】
計時手段２２０は、前述したコントローラ３の計時手段２１１（図３参照）と同様の構成を有しており、加算器２２１及び経過時間レジスタ２２２によりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２２１は、経過時間レジスタ２２２の格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２２２には、同期再生記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２２２にテンポクロックＣＴが与えられる度に、加算器２２１の出力データ、すなわち当該時点における経過時間レジスタ２２２の格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２２２の出力データＮは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【００３２】
ＳＭＦ作成・書き込み制御手段２５０は、コントローラ３による制御の下、ＳＭＦを作成する機能や作成したＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込む機能などを備えている。このＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベント生成回路１４等によって生成された種々のイベント（ＭＩＤＩイベント等）をコントローラ３から受け取ると、デルタタイム生成手段２４０にデルタタイムを生成すべき指令を送る。
【００３３】
デルタタイム生成手段２４０は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し（詳細は後述）、これをＳＭＦ作成・書き込み制御手段２５０に返す。ＳＭＦ作成・書き込み制御手段２５０は、デルタタイム生成手段２４０から受け取ったデルタタイムとコントローラ３から受け取ったイベントによって構成されたＭＩＤＩデータをトラックチャンクＴＴ（図５参照）に格納する一方、コントローラ３から供給される再生されたＶＴ識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納してＳＭＦを作成し、これをＦＤ記録装置２に装着されたＦＤに書き込む。
【００３４】
デルタタイム生成手段２４０は、前回経過時間レジスタ２４１と、補正値レジスタ２４２とを備え、ＳＭＦ作成・書き込み制御手段２５０からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ２４１には、前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指令を受け取ったときに計時手段２２０から取得した経過時間データ（便宜上、Ｎｆと記す）が保持される。この前回経過時間レジスタ２４１には、同期再生記録が開始されたとき、初期値「０」が書き込まれる。
【００３５】
補正値レジスタ２４２には、デルタタイム調整手段２３０において生成されるデルタタイムの補正値Ｒが保持される。詳しくは後述するが、本実施形態においては、この補正値Ｒを適宜設定することで、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する。この補正値レジスタ２４２には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００３６】
デルタタイム生成手段２４０は、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ると、計時手段２２０から経過時間レジスタ２２２に格納されている現時点における経過時間データＮを取得した後、前回経過時間レジスタ２４１に保持されている経過時間データＮｆ（前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ったときに計時手段２２０から取得した経過時間）を読み出し、経過時間データＮから経過時間データＮｆを減算する。そして、デルタタイム生成手段２４０は、補正値レジスタ２４２に保持されているデルタタイムの補正値Ｒを読み出し、この補正値Ｒと上記減算結果Ｎ−Ｎｆとを加算し、加算結果Ｎ−Ｎｆ＋Ｒを調整後のデルタタイムとして、ＳＭＦ作成・書き込み制御手段２５０に返す。そして、デルタタイム生成手段２４０は、前回経過時間レジスタ２４１に格納されている経過時間データを、今回新たに計時手段２２０から取得した経過時間データへ更新する。
【００３７】
デルタタイム調整手段２３０は、ＶＴの再生と同期して記録を行うべく、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【００３８】
図７は、デルタタイム調整手段２３０によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段２３０は、ステップＳａ１において、コントローラ３から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳａ２に進む。デルタタイム調整手段２３０は、ステップＳａ２に進むと、計時手段２２０から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳａ３）。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳａ３；ＹＥＳ）、デルタタイムの補正値Ｒとして補正値レジスタ２４２に「０」を書き込み（ステップＳａ４）、デルタタイム調整処理を終了する。
【００３９】
一方、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳａ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳａ５；ＹＥＳ）、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＜０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ６）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは負の値となる。
【００４０】
一方、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳａ５；ＮＯ）、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤとの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ７）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは正の値となる。
以上が本実施形態に係るマルチメディアシステム６００の詳細である。以下、図８を参照しながら、マルチメディアシステム６００の動作について詳細に説明する。
【００４１】
図８は本実施形態に係るマルチメディアシステム６００の動作を示すタイムチャートである。さらに詳述すると、図８には、あるＶＴに格納された映像データ等の再生に同期して、ＣＤに格納されたＣＤオーディオデータの再生及びユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤ記録装置８の計時手段２２０による計時時刻、及びＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントＭＥ−ｎ（ｎ＝１、２、〜）が時系列的に示されている。この図８において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、また、ｒ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、映像データの再生開始時刻を０秒とした場合に、ｋ秒経過した時点における計時手段２２０による計時時刻である。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００４２】
同期再生記録を行う際、ユーザは、まず操作部４等を操作してＶＴの再生と同期して再生すべきＣＤの選択指示及びＦＤに対する記録を待機すべき旨の指令（以下、ポーズ指令という）を入力する。コントローラ３は、操作部４等を介して再生すべきＣＤの選択指示及びポーズ指令を受け取ると、ＣＤの選択指示に従って対応するＣＤに格納されている楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る一方、ポーズ指令をＦＤ記録装置８に転送する。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。
【００４３】
その後、ユーザは、ビデオカメラ１１０に再生すべきＶＴを装着し、ビデオカメラ１１０の操作部１３０を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ１００の再生部１２０は、ＶＴの映像トラックに記録されている映像データｐ［０］を読み出し、これをモニタ１２１に供給すると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータｖａ［０］を読み出し、コントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコード「０」を読み出し、これをタイムコード変換器２００へ送出する。
【００４４】
モニタ１２１は、ビデオカメラ１００から受け取った映像データｐ［０］に従って映像の表示を開始する。一方、コントローラ３は、ビデオカメラ１００からＶＴオーディオデータｖａ［０］を受け取ると共に、タイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）「０」を受け取ると、ＭＴＣ「０」及びポーズ状態を解除すべき指令（以下、ポーズ解除指令という）をＦＤ記録装置８に送ると共に、ＶＴオーディオデータｖａ［０］からアナログオーディオ信号を生成してミキサ５に出力し、音として出力するための制御を開始し、さらにＭＴＣに基づいてＨＤに格納されているＣＤオーディオデータを含む楽曲データの読み出し制御を開始する。
【００４５】
詳述すると、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００４６】
この結果、ＶＴに格納された映像データの再生指示が発生すると、直ちに当該映像データに対応した映像表示と、ＣＤオーディオデータに対応した音の発生とが同時に開始される。そして、該再生指示が発生してから２５０ｍｓｅｃが経過すると、経過時間調整手段２１２による経過時間の調整が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］及びＣＤオーディオデータｃａ［ｋ］のうち、同期を保った状態で再生されるのは、映像若しくは楽曲の先頭から２５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．２５］以降の映像データ、ｖａ［０．２５］以降のＶＴオーディオデータ及びｃａ［０．２５］以降のＣＤオーディオデータである。
【００４７】
一方、ＦＤ記録装置８は、コントローラ３からＭＴＣ「０」及びポーズ解除指令を受け取ると、直ちに計時手段２２０を利用して時刻の計時を開始する。しかし、ＦＤ記録装置８内のデルタタイム調整手段２３０では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からコントローラ３を介してＭＴＣ「０．２５」が出力される。このとき、デルタタイム調整手段２３０では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。
【００４８】
このように、ＶＴに格納された映像データの再生指示が発生すると、直ちに映像データの再生とＦＤ記録装置８による演奏音の記録が開始される。そして、さらに２５０ｍｓｅｃ経過すると、デルタタイム調整手段２３０は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じてデルタタイムの調整を開始する。そして、以後は、ＭＴＣがコントローラ３から供給される度に、デルタタイム調整手段２３０は上述したデルタタイムの調整を行う。その後、例えば図８に示すように計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］においてＭＩＤＩイベントＭＥ−１、−２、−３が生成され、各ＭＩＤＩイベントに対応するデルタタイムが生成されると、これらがＳＭＦ作成・書き込み制御手段２５０に供給される。
【００４９】
ＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベントＭＥ−１、−２、−３及び各ＭＩＤＩイベントに対応するデルタタイムを受け取ると、各ＭＩＤＩイベント及び各デルタタイムを含むＭＩＤＩデータをＳＭＦのトラックチャンクＴＴに格納する。その後、操作部４を介して同期記録を終了すべき指令が入力されると、コントローラ３は、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をＳＭＦ作成・書き込み制御手段２５０ヘ供給する。ＳＭＦ作成・書き込み制御手段２５０は、該識別情報（Ｖ−ＩＤ）及び識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納し、該ヘッダチャンクＨＴ及びトラックチャンクＴＴによって構成されたＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込み、処理を終了する。以上の説明から明らかなように、本実施形態の特徴は、タイムコード変換器２００から出力されるＭＴＣに基づいて同期再生記録の時間管理を行う点にある。なお、ＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第２の実施形態において詳細を明らかにする。
【００５０】
以上説明したように、本実施形態に係るマルチメディアシステム６００によれば、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことが可能となる。
【００５１】
なお、上述した第１の実施形態では、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録する場合のＭＴＣの出力タイミング、ＦＤに対する楽曲データの記録開始タイミング等については、上述した第１の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録することにより、例えばライブ録画／録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【００５２】
また、上述した第１の実施形態では、自動ピアノ１０を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子（ピストン等）の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器（例えば、バイオリン）であっても、かかる自然楽器の操作状態を検出する機構（例えば、弦振動を検出する検出機構等）を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているＰＣ（Personal Computer）など、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な機器をいう。
【００５３】
また、上述した第１の実施形態では、ＣＤオーディオデータ等を格納する手段としてＨＤを例示したが、該ＨＤの代わりにＲＡＭ等、種々の記憶手段を用いても良い。このように、ＨＤの代わりにＲＡＭ等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したＣＤオーディオデータを先読みし、これをＲＡＭ等の記憶手段に格納するように制御すれば、ＣＤオーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
また、上述した第１の実施形態では、ＭＩＤＩデータを記憶する記憶媒体としてＦＤを例に説明したが、例えばＭＯ（Magneto Optical disk）、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、ＣＤ駆動装置、ＦＤ記録装置、コントローラなど、図１に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対する演奏データ（例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等）の記録を行うことができる。
【００５４】
＜変形例１＞
上述した第１の実施形態に係るＦＤ記録装置８は、タイムコード変換器２００からコントローラ３を介して出力されるＭＴＣに基づいてデルタタイムを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制した。これに対し、変形例１では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて経過時間レジスタ２２２内の経過時間データＮを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制する。
【００５５】
図９は、変形例１に係るＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図であり、図９に示す経過時間調整手段２３０’は、図３に示すコントローラ３の経過時間調整手段２１２に対応する手段である。なお、図９に示す制御回路は、デルタタイム調整手段２３０の代わりに経過時間調整手段２３０’が設けられている点及び補正値レジスタ２４２が除かれている点を除けば、図６に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。
【００５６】
経過時間調整手段２３０’は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２２２内の経過時間データＮを調整する手段である。
経過時間調整手段２３０’は、コントローラ３から「０」より大きなＭＴＣが与えられると、コントローラ３の経過時間調整手段２１２と同様、前掲図４に示す経過時間調整処理を実行する。なお、経過時間調整処理については、上述した第１の実施形態において詳細を明らかにしたため、説明を割愛する。
以上説明した本変形例においても上記第１の実施形態と同様の効果が得られる。
【００５７】
Ｂ．第２の実施形態
図１０は、第２の実施形態に係るマルチメディアシステム７００の構成を示す図である。本実施形態に係るマルチメディアシステム７００は、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータを再生すると共にＦＤに対してＭＩＤＩデータを記録する機能を備えるほか、このようにしてＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データ等を同期して再生する機能を備えている。なお、図１０に示すマルチメディアシステム７００は、ＦＤ再生装置８ａが設けられている点及び自動ピアノ１０の代わりに自動ピアノ２０が設けられている点を除けば、図１に示すマルチメディアシステム６００とほぼ同様である。従って、対応する部分には同一符号を付し、上記第１の実施形態と重複する部分については説明を割愛する。
【００５８】
コントローラ３は、第１の実施形態において説明した機能を具備するほか、ＦＤとＨＤとＶＴの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部４等から与えられると、コントローラ３は、ＭＩＤＩデータの再生指示をＦＤ再生装置８ａに送る。ここで、例えばＦＤに記憶されたＭＩＤＩデータを楽曲の先頭から再生すべき場合、コントローラ３は、楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。なお、これらの手段については後述する。また、コントローラ３は、ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）が供給される都度、そのＭＴＣをＦＤ再生装置８ａに送る。
【００５９】
自動ピアノ２０は、自動ピアノで構成され、第１の実施形態において説明した自動ピアノ１０としての機能を備えるほか、ＦＤからＦＤ再生装置８ａによって読み出されるＭＩＤＩデータに従い、自動演奏を行う機能を備えている。かかる自動ピアノ２０は、自動ピアノ１０の各構成要素（ピアノ１１等）を備えるほか、ピアノ電子回路１６と、駆動ソレノイド群１７とを備えている。
ここで、アンサンブル音源１８により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをアンサンブル音源１８に送る。また、ピアノ音源１５またはピアノ１１により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをピアノ電子回路１６に送る。いずれの手段により自動演奏を行うかは、操作部４からの指示に従って決定される。
【００６０】
前述したようにアンサンブル音源１８により生成されたデジタル楽音信号は、コントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。なお、本実施形態に係るミキサ５は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源１８から出力されるデジタル楽音信号をコントローラ３を経由することなくミキサ５に直接供給してもよい。
【００６１】
ピアノ電子回路１６は、コントローラ３からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路１６は、２通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第１の方法では、コントローラ３から受け取ったイベントをピアノ音源１５に送る。前述したように、ピアノ音源１５は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第２の方法では、ピアノ電子回路１６は、コントローラ３から受け取ったイベントに従って駆動ソレノイド群１７に対する通電制御を行う。この駆動ソレノイド群１７は、ピアノ１１に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路１６は、ある鍵の押下を指示するイベントをコントローラ３から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第１の方法、第２の方法のいずれによりイベントを取り扱うかの指示は、操作部４からコントローラ３に与えられ、コントローラ３はこの指示をピアノ電子回路１６に送る。ピアノ電子回路１６は、受け取った指示に従う。
【００６２】
コントローラ３によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ３がイベントを出力してから自動演奏音が発生するまでに、例えば５００ｍｓｅｃの時間を要する。そこで、本実施形態では、同期再生の指示が操作部４から与えられ、かつ、自動演奏のための手段として自動ピアノ２０が選択されている場合には、次のようにしてＶＴ、ＨＤおよびＦＤの同期再生を行う。まず、ＦＤの再生を待機すべき旨の指令（すなわち、ポーズ指令）がコントローラ３からＦＤ再生装置８ａに送られる。そして、映像データ等を再生すべき指令（すなわち、同期再生を開始すべき指令）がビデオカメラ１００に入力されると、ビデオカメラ１００からタイムコード変換器２００を介してコントローラ３へＭＴＣの供給が開始される。コントローラ３は、前述したように、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る一方、ＨＤに格納されているＣＤオーディオデータの読み出し、再生を開始する。このように、ＦＤに格納されている楽曲データについては、楽曲の先頭から読み出しを開始するのではなく、５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始することにより、以後、ＶＴ内の映像データ等の再生と、ＨＤ内のＣＤオーディオデータの再生と、ＦＤ内のＭＩＤＩデータの再生との同期が保たれる。
【００６３】
ＦＤ再生装置８ａは、コントローラ３からの指令に従い、ＦＤからＭＩＤＩデータを順次読み出してコントローラ３に供給する。このＭＩＤＩデータは、例えばＦＤ記録装置８によりＶＴ及びＨＤの再生に同期して記録されたＭＩＤＩデータである（図８参照）。ＦＤ再生装置８ａは、あるイベントをＦＤから読み出してコントローラ３に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがＦＤ再生装置８ａの基本的な動作である。ＦＤ再生装置８ａは、以上説明したＭＩＤＩデータをＦＤから読み出す機能（すなわち、シーケンサとしての機能）の他に、この読み出し動作をビデオカメラ１００による映像データ等の再生及びＨＤに格納されているＣＤオーディオデータの再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたＦＤ再生装置８ａの構成について、図１１を参照しながら説明する。
【００６４】
図１１は、ＦＤ再生装置８ａに設けられた制御回路の構成を示すブロック図である。この図１１に示された制御回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ３０２は、ＦＤから読み出されたイベントを格納するバッファである。ここで、１つのデルタタイムの後に２以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがＦＤから読み出され、イベントバッファ３０２に格納される。デルタタイムレジスタ３０３は、ＦＤから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した２つのイベント間の経過時間を指定するものである。
【００６５】
加算器３１１およびレジスタ３１２は、累算器を構成している。この累算器は、ＦＤから順次読み出されてレジスタ３０３に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ３１２によって保持されるようになっている。また、加算器３１１は、このレジスタ３１２に格納された累算値とレジスタ３０３に格納されているデルタタイムとを加算して、加算結果Ｍを出力する。このＭは、イベントバッファ３０２に格納された１または複数のイベントをコントローラ３に転送する目標時刻に相当する数値である。従って、以下ではこのＭを目標時刻データと呼ぶ。この目標時刻データＭにより指定された時刻になると、イベント転送制御手段３３０からレジスタ３０３および３１２に書き込みクロックが供給される。この結果、加算器３１１の出力データ、すなわち、それまでレジスタ３１２に格納されていた累算値とレジスタ３０３に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ３１２に格納される。また、このときＦＤから読み出された新たなデルタタイムがレジスタ３０３に格納されるのである。なお、イベント転送制御手段３３０については後述する。
【００６６】
加算器３２１およびレジスタ３２２は、コントローラ３のクロック生成手段２１０からテンポクロックＣＴ’が与えられる度に「＋１」の累算を行う累算器を構成している。加算器３２１は、レジスタ３２２の格納データと固定値「＋１」とを加算して出力する。レジスタ３２２は、ＦＤからのＭＩＤＩデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、５００ｍｓｅｃ／τ’となる。以後、レジスタ３２２には、テンポクロックＣＴ’が与えられる度に、加算器３２１の出力データ、すなわち、その時点におけるレジスタ３２２の格納データと「＋１」との加算結果が書き込まれる。このレジスタ３２２の出力データＮ’は、ＭＩＤＩデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【００６７】
イベント転送制御手段３３０は、経過時間データＮ’が目標時刻データＭに到達したとき、イベントバッファ２０２内の１または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ３に送る。また、このときイベント転送制御手段３３０は、上述したように書き込みクロックをレジスタ３０３および３１２に供給する。前述したように、本実施形態においては、楽曲データの先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しが開始される。従って、イベント転送制御手段３３０は、ＦＤからのＭＩＤＩデータの生成が開始されるとき、目標時刻データＭが５００ｍｓｅｃ／τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【００６８】
タイミング調整手段３４１は、ＭＩＤＩデータのイベントのコントローラ３への出力動作をＶＴからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段３４１は、コントローラ３から「０」より大きなＭＴＣが与えられると、当該ＭＴＣを第１の再生時間データＴＣＤ’とし、さらにその時点における経過時間データＮ’にテンポクロックＣＴ’の周期τ’を乗算し、その乗算結果から５００ｍｓｅｃを差し引き、第２の再生時間データＴＦＤ’＝Ｎ＊τ’−５００ｍｓｅｃを求める。この第２の再生時間データＴＦＤ’は、現在の演奏箇所が楽曲の先頭から何秒後の箇所であるかを表している。
【００６９】
そして、タイミング調整手段３４１は、これらの再生時間データＴＣＤ’及びＴＦＤ’を比較し、比較結果に基づいて次の処理を行う。
ａ．ＴＣＤ’とＴＦＤ’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段３４１は、何もしない。
【００７０】
ｂ．ＴＣＤ’＞ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＣＤ’−ＴＦＤ’だけ遅れた箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＣＤ’−ＴＦＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＣＤ’−ＴＦＤ’）／τ’をレジスタ３０３内のデルタタイムから減算し、減算後のデルタタイムをレジスタ３０３に書き込む。これにより以後暫くの間、ＦＤからのイベント読み出しによる自動演奏とＶＴからの映像データ等の読み出しによる映像表示とＨＤからのＣＤオーディオデータの読み出しによる演奏が同期状態を保つこととなる。
【００７１】
ｃ．ＴＣＤ’＜ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＦＤ’−ＴＣＤ’だけ進んだ箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＦＤ’−ＴＣＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＦＤ’−ＴＣＤ’）／τ’をレジスタ３０３内のデルタタイムに加算し、加算後のデルタタイムをレジスタ３０３に書き込む。
以上が本実施形態に係るマルチメディアシステム７００の詳細である。以下、図１２を参照しながら、マルチメディアシステム７００の動作について詳細に説明する。
【００７２】
図１２は本実施形態に係るマルチメディアシステム７００の動作を示すタイムチャートである。さらに詳述すると、図１２には、ある映像及び楽曲の先頭からＶＴ、ＨＤ、ＦＤの同期再生を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤから読み出されるＭＩＤＩデータおよびピアノ１１から発生される音が時系列的に示されている。この図１２において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、ｍ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、楽曲の開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の演奏制御に用いられるＭＩＤＩデータである。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００７３】
駆動ソレノイド群１７およびピアノ１１を利用して自動演奏を行う場合、まずポーズ指令がコントローラ３からＦＤ再生装置８ａに送られる。その後、ユーザがビデオカメラ１００の操作部１３０等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣの供給が開始される。コントローラ３は、タイムコード変換器２００を介してＭＴＣ「０」を受け取ると、後述するようにＨＤに格納されているＣＤオーディオデータを読み出す制御を開始すると共に、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。ＦＤ再生装置８ａは、コントローラ３から該指令を受け取ると、直ちにＦＤから楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータＭＩＤＩデータを読み出す動作を開始する。この結果、ＭＩＤＩデータｍ［０．５］、ｍ［０．７５］、〜がＦＤから順次読み出され、ＭＩＤＩデータ中のイベントがコントローラ３に転送される。この動作においては、ＭＩＤＩデータ中のデルタタイムに基づいて、ＭＩＤＩデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【００７４】
コントローラ３がタイムコード変換器２００から受け取ったＭＴＣ「０」は、ＦＤ再生装置８ａに送られる。しかし、ＦＤ再生装置８ａ内のタイミング調整手段３４１では、このタイムコード「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、コントローラ３からＭＴＣ「０．２５」が出力される。このときタイミング調整手段３４１では、「０」より大きなタイムコードが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、ＭＴＣがコントローラ３から供給される度に、上述したデルタタイムの調整が行われる。
【００７５】
一方、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００７６】
この結果、ＶＴの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像、ＶＴオーディオデータに対応した演奏、ＣＤオーディオデータに対応した演奏等が開始される。そして、さらに５００ｍｓｅｃが経過すると、ＭＩＤＩデータに対応した演奏が開始される。そして、さらに２５０ｍｓｅｃが経過すると、タイミング調整手段３４１によりタイミング調整が行われたＭＩＤＩデータに対応した演奏が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］、ＣＤオーディオデータｃａ［ｋ］およびＭＩＤＩデータｍ［ｋ］のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から７５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．７５］以降の映像データと、ｖａ［０．７５］以降のＶＴオーディオデータと、ｃａ［０．７５］以降のＣＤオーディオデータと、ｍ［０．７５］以降のＭＩＤＩデータである。この結果、図８を参照して説明した計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］において生成されたＭＩＤＩイベントを含むＭＩＤＩデータｍ［１．０］、ｍ［１．５］、ｍ［２．０］と、対応するＣＤオーディオデータｃａ［１．０］、ｃａ［１．５］、ｃａ［２．０］と、対応するＶＴオーディオデータｖａ［１．０］、ｖａ［１．５］、ｖａ［２．０］及び映像データｐ［１．０］、ｐ［１．５］、ｐ［２．０］は同期を保った状態で再生される。
【００７７】
以上の説明から明らかなように、本実施形態に係るマルチメディアシステム７００によれば、ＶＴ及びＣＤの再生に同期してＭＩＤＩデータを記録するほか、記録されたＭＩＤＩデータと、対応するＣＤオーディオデータ、ＶＴオーディオデータ、映像データ等とを同期して再生することができる。
【００７８】
なお、以上説明した同期再生に先だって、コントローラ３がビデオカメラ１００からＶＴの識別情報（Ｖ−ＩＤ）を受け取ると共に、ＦＤ再生装置８ａからＦＤに記録されているＳＭＦのヘッダチャンクＨＴに格納されているＶＴの識別情報（Ｖ−ＩＤ）を受け取り、両者の識別情報が一致しない場合には、ＦＤに記録されているＭＩＤＩデータの再生（すなわち、自動演奏）を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。なお、以上の説明では、ＶＴの識別情報（Ｖ−ＩＤ）を例に説明したが、ＣＤの識別情報（Ｃ−ＩＤ）を利用してＭＩＤＩデータの再生を停止するか否かを判断しても良く、またこれら両者の識別情報を利用して該判断を行うようにしても良い。
【００７９】
また、上述した第２の実施形態では、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生する場合のＭＴＣの出力タイミング、ＭＩＤＩデータの読み出しタイミング等については、上述した第２の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ、ＶＴオーディオデータ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生するようにしても良い。
【００８０】
また、上述した第２の実施形態では、同期再生すべきＣＤオーディオデータが予めＨＤに格納されている場合を例に説明したが、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを記録したＣＤが装着されていれば、当該ＣＤオーディオデータが予めＨＤに格納されていなくとも、同期再生させることが可能である。具体的には、ビデオカメラ１００の操作部１３０から再生すべきＶＴの選択指示が入力されると、コントローラ３は、ＶＴを識別するための識別情報（Ｖ−ＩＤ）をＦＤ再生装置８ａへ送る。ＦＤ再生装置８ａは、かかる識別情報（Ｖ−ＩＤ）を検索キーとして、ＦＤに書き込まれているＳＭＦのヘッダチャンクＨＴを参照する。
【００８１】
ＦＤ再生装置８ａは、該識別情報（Ｖ−ＩＤ）と一致する識別情報（Ｖ−ＩＤ）を発見すると、当該識別情報と対応付けて記録されているＣＤを識別するための識別情報（Ｃ−ＩＤ）を読み出し、これをコントローラ３へ返す。コントローラ３は、ＦＤ再生装置８ａから該識別情報（Ｃ−ＩＤ）を受け取ると、この識別情報（Ｃ−ＩＤ）と共に、対応するＣＤに格納されているＣＤオーディオデータを含む楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。なお、該楽曲データをＨＤに格納した後の動作については、上述した第２の実施形態と同様に説明することができるため、割愛する。
以上説明した処理を実行することで、再生すべきＣＤオーディオデータが予めＨＤに格納されていなくとも、ＶＴ、ＣＤ、ＦＤを同期再生させることが可能となる。
【００８２】
ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、ＦＤ再生装置、コントローラなど、図１０に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データ、ＶＴオーディオデータ等の再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生すると共にＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録することができ、さらに、ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させて映像データ、ＶＴオーディオデータ、ＣＤオーディオデータを再生することができる。
【００８３】
Ｃ．第３の実施形態
さて、上記第２の実施形態において説明したように、マルチメディアシステム７００を利用すれば、ＶＴに記録された映像データ、ＶＴオーディオデータの再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生し、ＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られる楽曲等）をＦＤに記録することができる。また、かかるマルチメディアシステム７００を利用すれば、該ＦＤに記録されたＭＩＤＩデータに基づく自動演奏に同期して、ＶＴに記録された映像データ、ＶＴオーディオデータを再生し、ＨＤに格納されたＣＤオーディオデータを再生することができる。
【００８４】
ところで、このようにＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生（詳細には、自動ピアノ２０による自動演奏）する場合、例えば該ＨＤに格納されたＣＤオーディオデータの基準ピッチ（具体的には、基準となる音「Ａ（ラ）」等の周波数）が４４３Ｈｚであり、自動演奏の際に用いられるピアノ１１（生ピアノ）の基準ピッチが４４８Ｈｚであったとすると、ＨＤに格納されたＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【００８５】
そこで、本実施形態に係るマルチメディアシステムは、ピアノ１１の基準ピッチ（上記の例では、４４８Ｈｚ）にＣＤオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、ＨＤに格納されているＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【００８６】
さて、本実施形態に係るコントローラ３は、上記第２の実施形態において説明した機能を具備するほか、以下に示すＣＤオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【００８７】
図１３は、ＣＤオーディオデータ記録処理を示すフローチャートである。
コントローラ３は、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを含む楽曲データを記録したＣＤが装着され、ＦＤ記録装置８に記録用のＦＤが装着されたことを検出すると（ステップＳｂ１）、ＣＤ駆動装置１に対し、装着されたＣＤに記録されている楽曲データを転送すべき指令を送る。ＣＤ駆動装置１は、かかる指令に従ってＣＤに記録されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ返す。コントローラ３は、ＣＤ駆動装置１からＤＳＰ２を介してＣＤオーディオデータを含む楽曲データを受け取ると、これをＨＤに転送する（ステップＳｂ２）。
【００８８】
そして、ステップＳｂ３に進むと、コントローラ３は、操作部４等から該ＣＤオーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてこない場合（ステップＳｂ３；ＮＯ）、コントローラ３は、以下に示すステップＳｂ４〜Ｓｂ８をスキップし、ステップＳｂ９に進む。一方、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると（ステップＳｂ３；ＹＥＳ）、コントローラ３は、ステップＳｂ４に進み、ＣＤオーディオデータを高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）し、各周波数毎の音圧（ＳＰＬ；Sound Pressure Level）を求める。
【００８９】
ここで、図１４は、ＣＤオーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図１４に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分（例えば、４４０Ｈｚ付近の周波数成分）である。従って、予めバンドパスフィルタ等を利用して、４４０Ｈｚ付近の周波数成分（例えば、図１４に示す（４４０±α）Ｈｚ）のみを抽出するようにしても良い。
【００９０】
さて、コントローラ３は、図１４に示す４４０Ｈｚ付近の各周波数の音圧をスキャンしていき（ステップＳｂ５）、予め設定された所定値（図１４に示す、閾値Ｓ）以上の音圧が検出されるか否かを判断する（ステップＳｂ６）。コントローラ３は、所定値以上の音圧が検出されない場合（ステップＳｂ６；ＮＯ）、再びステップＳｂ４に戻って、ＣＤオーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると（ステップＳｂ６；ＹＥＳ）、コントローラ３は、ステップＳｂ７に進み、所定値以上の音圧が検出された周波数（図１４では、４４３Ｈｚ）をＣＤオーディオデータの基準ピッチとして認識し、この基準ピッチを表すイベントを生成してＦＤ記録装置８に送り、さらに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）をＦＤ記録装置８に通知する（ステップＳｂ８）。
【００９１】
ＦＤ記録装置８は、かかるイベント及び通知を受け取ると、図１５に示すようにＦＤの所定の記憶エリアに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）及び該基準ピッチに対応するイベントを格納する。その後、ユーザが操作部４等を操作してＣＤの再生と同期してＭＩＤＩデータ（例えば、ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録すべき指令がコントローラ３に通知されると（ステップＳｂ９）、コントローラ３は、上述した第１の実施形態において説明した同期記録のための制御を行い（ステップＳｂ１０）、処理を終了する。一方、ステップＳｂ９において、ＣＤの再生と同期してＭＩＤＩデータをＦＤに記録すべき指令がコントローラ３に通知されない場合、コントローラ３は同期記録のための制御を行うことなく処理を終了する。
【００９２】
以上がＣＤオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにＣＤオーディオデータの基準ピッチを自動検出する場合について説明したが、ＣＤオーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該ＣＤオーディオデータの基準ピッチを判断し、操作部４等を操作（すなわち、マニュアル操作）することにより、判断して決定した基準ピッチをＦＤに記録するようにしても良い。
【００９３】
さて、このようにＣＤに記録されたＣＤオーディオデータがＨＤに格納され、ＭＩＤＩデータがＦＤに記録された後、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録された演奏データに基づくピアノ自動演奏を行う場合、コントローラ３は、以下に示すピッチ制御・再生処理を実行する。
【００９４】
図１６は、ピッチ制御・再生処理を示すフローチャートである。
操作部４等からＨＤに記録されたＣＤオーディオデータとＦＤに記録されたＭＩＤＩデータとを同期して再生すべき指示がコントローラ３に送られると、コントローラ３は、ＦＤ再生装置８ａに対し、ＦＤからＣＤオーディオデータの基準ピッチを読み出すべき指示を送る（ステップＳｃ１）。ＦＤ再生装置８ａは、かかる指示に従ってＦＤから基準ピッチ（例えば、４４３Ｈｚ）に対応するイベントを読み出し、これをコントローラ３へ返す。コントローラ３は、該イベントを受け取ると、ピアノ１１の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ（例えば、「ユーザＺさん、「ラ」の音を鳴らしてください！」）等を表示させる。その後、ユーザがピアノ１１の特定の鍵を押下し、ピアノ１１から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ３は、図示せぬマイクロフォン等を介してピアノ１１から発音された音を楽音データとして受け取り、ピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）を検出する（ステップＳｃ２）。
【００９５】
なお、ピアノ１１の基準ピッチを検出する方法として、上記のように表示部（図示略）にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路１６に送り、駆動ソレノイド群１７を利用することにより、かかる音を自動で（すなわち、ユーザにピアノ１１の特定の鍵を押下させることなく）鳴らすように制御しても良い。また、ピアノ１１の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ１１の基準ピッチを検出することが可能である。
【００９６】
さて、コントローラ３は、このようにしてピアノ１１の基準ピッチを検出すると、検出したピアノ１１の基準ピッチとＣＤオーディオデータの基準ピッチとを比較し、基準ピッチのずれ（音程差）を求める（ステップＳｃ３）。ここでは、検出したピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが４４３Ｈｚであるため、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断し、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度決定する（ステップＳｃ４）。
ここで、図１７は、各読み出し速度でＣＤオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図１７のＡに示す信号波形は、所定の読み出し速度Ｖｂで読み出したときに得られる信号波形であり、図１７のＢ及びＣに示す信号波形は、それぞれ該読み出し速度Ｖｂよりも速い読み出し速度Ｖｆ（＞Ｖｂ）及び遅い読み出し速度Ｖｓ（＜Ｖｂ）で読み出したときに得られる信号波形である。
【００９７】
ここで、所定の読み出し速度Ｖｂで読み出されたときに基準ピッチが４４３Ｈｚの音が発音されると仮定すると、図１７のＢに示すように、読み出し速度ＶｆでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも高い音（例えば、基準ピッチが４４８Ｈｚの音）が発音され、一方図１７のＣに示すように、読み出し速度ＶｓでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも低い音（例えば、基準ピッチが４４０Ｈｚの音）が発音される。
従って、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断すると、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度を、４４３Ｈｚの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、ＣＤオーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
【００９８】
そして、コントローラ３は、決定した読み出し速度でＣＤオーディオデータをＨＤから読み出し、読み出したＣＤオーディオデータからアナログオーディオ信号を生成してミキサ５に順次供給する一方（ステップＳｃ５）、該ＣＤオーディオデータの読み出し速度に基づいてＦＤからＦＤ再生装置８ａを介してＭＩＤＩデータを順次読み出し（ステップＳｃ６）、読み出したＭＩＤＩデータを順次ピアノ電子回路１６へ供給する（ステップＳｃ７）。
【００９９】
ピアノ電子回路１６は、コントローラ３から順次供給されるＭＩＤＩデータに含まれるイベントに応じて駆動ソレノイド群１７に対する通電制御を行い、ピアノ１１の鍵、ペダル等を駆動する。これにより、ＭＩＤＩデータに基づくピアノ１１の自動演奏が行われる。コントローラ３は、ステップＳｃ８に進むと、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したか否かを判断する。１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了していないと判断すると（ステップＳｃ８；ＮＯ）、コントローラ３は、ステップＳｃ５に戻り、ステップＳｃ５→ステップＳｃ６→ステップＳｃ７といった一連の処理を繰り返し実行する。そして、コントローラ３は、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したと判断すると（ステップＳｃ８；ＹＥＳ）、以上説明したピッチ制御・再生処理を終了する。
【０１００】
以上説明したように、本実施形態に係るマルチメディアシステムによれば、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、ＣＤオーディオデータの基準ピッチ（例えば、４４３Ｈｚ）がピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）と一致するように、ＣＤオーディオデータの基準ピッチが制御される。これにより、該ＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【０１０１】
＜変形例１＞
上述した第３の実施形態では、ＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生する場合について説明したが、該ＣＤオーディオデータの代わりにＶＴオーディオデータをＨＤに格納し、このＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生することも可能である。なお、かかる場合にコントローラ３等によって実行される処理については、上述した第３の実施形態とほぼ同様に説明することができるため、説明を割愛する。
【０１０２】
また、図１８に示すようにＨＤの所定の記憶エリアに再生すべきＣＤオーディオデータ及びＶＴオーディオデータを格納し、ＨＤに格納されたＣＤオーディオデータの再生及びＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生しても良い。例えば、ＭＩＤＩデータの再生の際に利用するピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが例えば４４３Ｈｚ、ＶＴオーディオデータの基準ピッチが例えば４５０Ｈｚである場合、コントローラ３は、ピアノ１１の基準ピッチを基準としてＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げて再生するための制御を行う一方、ＶＴオーディオデータの基準ピッチを２Ｈｚ（＝４５０Ｈｚ−４４８Ｈｚ）下げて再生するための制御を行う。このように、ＨＤに複数種類のオーディオデータを格納し、これら全て（若しくは一部）のオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生するようにしても良い。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図１】 第１の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図２】 同実施形態に係るＣＤオーディオデータの構成を示す図である。
【図３】 同実施形態に係るコントローラの機能を説明するためのブロック図である。
【図４】 同実施形態に係る経過時間調整処理を示すフローチャートである。
【図５】 同実施形態に係るＳＭＦの構成を示す図である。
【図６】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図７】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図８】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図９】 同実施形態における変形例１に係る経過時間調整処理を示すフローチャートである。
【図１０】 第２の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図１１】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図１２】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図１３】 第３の実施形態におけるＣＤオーディオデータ記録処理を示すフローチャートである。
【図１４】 同実施形態に係るＣＤオーディオデータから得られる信号波形を例示した図である。
【図１５】 同実施形態に係るＦＤの記憶状態を説明するための図である。
【図１６】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図１７】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【図１８】 同実施形態における変形例１に係るＨＤの記憶状態を説明するための図である。
【符号の説明】
３・・・コントローラ、４・・・操作部、５・・・ミキサ、６・・・アンプ、７・・・スピーカ、８・・・ＦＤ記録装置、８ａ・・・ＦＤ再生装置、１０、２０・・・自動ピアノ、１１・・・ピアノ、１２・・・キーセンサ、１３・・・ペダルセンサ、１４・・・ＭＩＤＩイベント生成回路、１５・・・ピアノ音源、１６・・・ピアノ電子回路、１７・・・駆動ソレノイド群、１８・・・アンサンブル音源、１００・・・ビデオカメラ、２００・・・タイムコード変換器、２１０・・・クロック生成手段、２１１、２２０・・・計時手段、２１２・・・経過時間調整手段、２１３・・・ＣＤオーディオデータ再生制御手段、２１３ａ・・・ＨＤ読み出し制御手段、２１３ｂ・・・オーディオ信号生成手段、２３０・・・デルタタイム調整手段、２３０’・・・経過時間調整手段、２４０・・・デルタタイム生成手段、２５０・・・ＳＭＦ作成・書き込み制御手段、３３０・・・イベント転送制御手段、３４１・・・タイミング調整手段。
Claims (12)
- 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベント間の時間差であるデルタタイムとを含む前記第２の楽曲データ中の、当該デルタタイムによって定まる時刻が到来する度に前記イベントを出力するイベント出力手段と、
前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、
前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段と
を具備することを特徴とするマルチメディアシステム。 - 前記第１の楽曲データは、第３の記憶媒体に記録されている楽曲データであり、
前記スレーブ装置は、前記マスター装置による前記映像データの再生と当該スレーブ装置による第１の楽曲データ及び第２の楽曲データとの同期再生に先立ち、前記第１の楽曲データを前記第３の記憶媒体から読み出し、前記記憶手段に格納する同期再生前処理実行手段をさらに具備することを特徴とする請求項１に記載のマルチメディアシステム。 - 前記記録情報は、さらに第２のオーディオデータを含み、前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中の前記第２のオーディオデータを前記スレーブ装置に出力し、前記オーディオデータ再生制御手段は、さらに前記マスター装置から受け取った前記第２のオーディオデータを音として出力するための制御を行うことを特徴とする請求項１に記載のマルチメディアシステム。
- 前記マスター装置は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体に記録し、
前記スレーブ装置は、前記マスター装置による前記記録情報の記録に同期して、前記記憶手段に格納されている第１の楽曲データの再生及び前記第２の記憶媒体に記録されている第２の楽曲データの再生を行うことを特徴とする請求項１に記載のマルチメディアシステム。 - 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録を行うスレーブ装置とを具備するマルチメディアシステムであって、
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、
前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを第２の記憶媒体に書き込む書き込み手段と
を具備することを特徴とするマルチメディアシステム。 - 前記スレーブ装置は、前記第１のオーディオデータの基準ピッチを取得し、取得した基準ピッチに関する情報を前記第２の記憶媒体に書き込む第１の基準ピッチ書き込み手段をさらに具備することを特徴とする請求項５に記載のマルチメディアシステム。
- 前記記録情報は、さらに第２のオーディオデータを含み、前記スレーブ装置は、前記第２のオーディオデータの基準ピッチを取得し、取得した基準ピッチに関する情報を前記第２の記憶媒体に書き込む第２の基準ピッチ書き込み手段をさらに具備することを特徴とする請求項５または６に記載のマルチメディアシステム。
- 前記マスター装置は、さらに映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体に記録するとともに、当該映像用タイムコードを前記スレーブ装置に供給し、
前記スレーブ装置の前記タイムコード変換手段は、前記マスター装置から供給されてくる映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換することを特徴とする請求項５〜７のいずれか１の請求項に記載のマルチメディアシステム。 - 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報の再生に同期して記憶手段に格納されている第１の楽曲データの再生及び記憶媒体に記録されている第２の楽曲データの再生を行う再生装置であって、
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記計時手段による計時結果に基づいて、前記記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベントの間の時間差であるデルタタイムとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、
前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段と
を具備することを特徴とする再生装置。 - 当該再生装置は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報の記録に同期して、記憶手段に格納されている第１の楽曲データの再生及び記憶媒体に記録されている第２の楽曲データの再生を行うことを特徴とする請求項９に記載の再生装置。
- 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報の再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録を行う再生記録装置であって、
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む前記第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記受信手段によって受信される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、
前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを記憶媒体に書き込む書き込み手段と
を具備することを特徴とする再生記録装置。 - 当該再生記録装置は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報の記録に同期して、前記記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録をさらに行うものであり、
前記受信手段は、前記映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報が記録される際に供給されてくる当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から、前記楽音用タイムコードを受信することを特徴とする請求項１１に記載の再生記録装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (ja) | 2002-01-16 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
| US10/339,854 US7897865B2 (en) | 2002-01-15 | 2003-01-10 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
| EP03000880A EP1341153B1 (en) | 2002-01-15 | 2003-01-15 | Multimedia platform for recording and /or reproducing music synchronously with visual images |
| CNB03136683XA CN100339908C (zh) | 2002-01-15 | 2003-01-15 | 用于与可视图像同步记录和/或再现音乐的多媒体平台 |
| US11/860,443 US8378199B2 (en) | 2002-01-15 | 2007-09-24 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (ja) | 2002-01-16 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208169A JP2003208169A (ja) | 2003-07-25 |
| JP3915517B2 true JP3915517B2 (ja) | 2007-05-16 |
Family
ID=27646277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002007871A Expired - Fee Related JP3915517B2 (ja) | 2002-01-15 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3915517B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7332666B2 (en) | 2004-08-05 | 2008-02-19 | Yamaha Corporation | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program |
| IL165817A0 (en) | 2004-12-16 | 2006-01-15 | Samsung Electronics U K Ltd | Electronic music on hand portable and communication enabled devices |
| JP5119932B2 (ja) * | 2008-01-11 | 2013-01-16 | ヤマハ株式会社 | 鍵盤楽器、ピアノおよび自動演奏ピアノ |
| DE102014115148A1 (de) * | 2014-10-17 | 2016-04-21 | Mikme Gmbh | Synchrones Aufnehmen von Audio mittels drahtloser Datenübertragung |
-
2002
- 2002-01-16 JP JP2002007871A patent/JP3915517B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208169A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403658B2 (ja) | 楽曲データ出力装置及び楽曲データ出力方法 | |
| EP1341153B1 (en) | Multimedia platform for recording and /or reproducing music synchronously with visual images | |
| RU2544749C1 (ru) | Устройство автоматического музыкального исполнения | |
| JP5103980B2 (ja) | 処理システム、音声再生装置及びプログラム | |
| JP3835324B2 (ja) | 楽曲再生装置 | |
| JP3823855B2 (ja) | 記録装置、再生装置、記録方法、再生方法及び同期再生システム | |
| JP2009168911A (ja) | 鍵盤楽器、ピアノおよび自動演奏ピアノ | |
| JPWO2012095949A1 (ja) | 演奏システム | |
| JP2003208170A (ja) | 演奏制御装置及び演奏制御用プログラム、並びに記録媒体 | |
| JP2004233698A (ja) | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム | |
| JP3915517B2 (ja) | マルチメディアシステム、再生装置及び再生記録装置 | |
| JP2003271156A (ja) | 同期調整装置および同期調整方法を実現するためのプログラム | |
| JP3867580B2 (ja) | 楽曲再生装置 | |
| JP3804536B2 (ja) | 楽音再生記録装置、記録装置及び記録方法 | |
| JP3867579B2 (ja) | マルチメディアシステム及び再生装置 | |
| JP3925349B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
| JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
| JP2007265522A (ja) | 再生録音装置 | |
| JP4063048B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP3969249B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP2005107285A (ja) | 楽曲再生装置 | |
| JP2004302011A (ja) | 指揮棒の振りタイミングに同期させて演奏する装置 | |
| JP4905207B2 (ja) | 再生装置及びプログラム | |
| JP4048917B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3915517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |