JPH0833729B2 - 音声・演奏情報伝送方式および送受信装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は音声・演奏情報伝送方法および送受信装置に
関し、特にディジタル符号化した音声情報と圧縮符号化
した演奏情報との同期結合を可能にしたものである。

［従来の技術］ 従来、音響を収音し電気的な音声信号として伝送（記
録）し、スピーカなどによって原音を再生する方法、お
よびピアノなどの鍵盤楽器から演奏情報を取出して伝送
（記録）し、この情報を基に再び楽器を駆動して演奏を
再現する方法とがあるが、これら２つの方法を時間的に
関連づけ同期して伝送もしくは、記録・再生する適切な
方法がなかった。

従来、音声情報と演奏情報とを同時に再生しよとした
場合には、各々個別の伝送媒体もしくは、記録媒体を用
いて各々独立に再生させざるを得ないため、両者を時間
的に精密に同期させて再生することはできなかった。

特に、演奏情報の時間情報を符号化し、情報圧縮を図
った場合には、元の時間関係と別個の時間関係を以って
再生するため音声情報との同期再生は全く不可能であっ
た。また、同時に同期させて再生すべき音声情報と演奏
情報とを別個の伝送媒体（記録媒体を含む）を用いて伝
送（記録・再生を含む）することは非常な煩雑さが予想
された。

［発明が解決しようとする問題点］ この発明の目的は、上述のような問題点を除去して音
声情報と演奏情報との同期を保ちながら１つの伝送媒体
（記録媒体を含む）を用いて伝送（記録・再生を含む）
できる音声・演奏情報伝送方法および送受信装置を提供
することにある。

［問題点を解決するための手段］ このような目的を達成するために、本発明において
は、送信側では、音声情報と演奏情報とを混合して得ら
れた信号を伝送媒体を介して送信し、受信側では、受信
信号から前記音声情報と前記演奏情報とを分離・再生す
る音声・演奏情報伝送方法において、前記送信側におい
ては、音声情報を符号化して音声信号を取り出し、演奏
楽器から採集した演奏情報を符号化して演奏信号を取り
出し、前記符号化された音声信号を前記演奏信号の送受
信処理に必要な時間より長い一定時間だけ遅延させ、前
記符号化された演奏信号を所定の時間間隔で区分化し、
その区分のタイミングに基づいて発生したブロック番号
を示すブロックマーカー信号を発生させ、そのブロック
マーカー信号を前記演奏信号に付加し、前記区分化され
および前記ブロックマーカー信号の付加された演奏信号
を情報量圧縮符号に変換し、前記タイミングを基準にし
てブロック番号を示す同期マーカー信号を発生させ、前
記遅延された音声信号と前記圧縮符号変換された演奏信
号と前記同期マーカー信号とを混合し、所定のフォーマ
ットにしたがって配列した信号を前記伝送媒体を介して
送信し、受信側では、前記伝送媒体を介して送信された
信号を受信し、その受信された信号から前記音声信号と
前記演奏信号と同期マーカー信号とを分離し、この同期
マーカー信号に基づいて前記ブロック番号を検出し、前
記分離された音声信号を復号化し、前記ブロック番号に
従ってブロック単位で前記分離された演奏信号を情報量
圧縮符号変換の逆変換をしてから復号化し、復号化され
た前記音声信号と復号化された前記演奏信号とを前記ブ
ロック番号に同期して再生することを特徴とする。

また本発明は、音声情報を符号化して音声信号を取り
出す第１の符号化手段と、演奏楽器から採集した演奏情
報を符号化して演奏信号を取り出す第２の符号化手段
と、前記第１の符号化手段から取り出された音声信号を
前記演奏信号の送受信処理に必要な時間より長い一定時
間だけ遅延させる遅延手段と、前記第２の符号化手段か
ら取り出された演奏信号を所定の時間間隔で区分化し、
その区分のタイミングに基づいて発生したブロック番号
を示すブロックマーカー信号を前記演奏信号に付加する
区分化手段と、前記区分化手段により区分されおよび前
記ブロックマーカー信号の付加された演奏信号を情報量
圧縮符号変換する圧縮符号変換手段と、前記タイミング
を基準にしてブロック番号を示す同期マーカー信号を発
生させる同期マーカー発生手段と、前記遅延手段から取
り出された音声信号と前記圧縮手段から取り出された演
奏信号と前記同期マーカー発生手段から発生される同期
マーカー信号とを混合し、所定のフォーマットにしたが
って配列し、前記伝送媒体を介して送信する配列手段と
を備えたことを特徴とする。

さらに、本発明は、伝送媒体を経て送信された信号を
受信する手段と、前記受信された信号から音声信号と演
奏信号と同期マーカー信号とを分離する手段と、前記同
期マーカー信号に基づいてブロックの番号を検出する手
段と、前記分離された音声信号を復号化する手段と、前
記ブロック番号に従ってブロック単位で前記分離された
演奏信号を情報量圧縮符号変換の逆変換をしてから復号
化する手段と、前記復号化された音声信号と演奏信号と
を前記ブロック番号に同期して再生する手段とを備えた
ことを特徴とする。

ここで、たとえば、演奏情報をブロック化してブロッ
ク化タイミング信号を付加し、その信号を基にしてブロ
ックの番号を指定するようにして、これを同期信号とし
て音声信号と共にデータ配列して伝送するようにする。

［作用］ 本発明によれば、マイクロフォンで収音された音声信
号と、電気楽器の演奏情報の信号とを同時に効率よく送
信もしくは記録することができ、受信もしくは再生する
場合には音声信号と演奏情報信号とを同期して再生させ
ることができる。

［実施例］ 以下、図面を参照して、本発明を詳細に説明する。

第１図は本発明による一実施例の送信（記録）側の構
成を示すブロック図である。

第１図において、１は収音のためのマイクロフォン、
２は音声PCM符号器。３は電気的に演奏情報を取り出す
ことのできる電気楽器、４はMIDI符号器であり、ミュー
ジカル・インストルーメント・デジタル・インタフェー
ス（MIDI）規格に従って、演奏情報を符号化する。

５はPCM信号とMIDI信号とを同時に記録できる同時録
音機、６は同期マーカー送出回路、７はMIDI信号に対す
るブロックマーカー付加回路である。

８は遅延回路、９は演奏情報の圧縮符号化回路、10は
データ配列回路である。

次に第１図に示したところに従って、本実施例におけ
る各部の動作を説明する。

マイクロフォン１により収音した音響は音声信号とし
て音声符号器２へ入力する。音声符号器２としてはPCM
符号器、DPCM符号器、デルタ変調符号器など音声のディ
ジタル符号器を使用する。音声符号器２に対してタイミ
ング発生回路88から符号化クロックを供給する。

楽器３は電気的接点、光検出器、周波数検出器などの
センサーを備え演奏音の音程、長さなどを取り出せる楽
器であって、これらの手段で取り出した演奏情報をMIDI
符号器４により符号化しMIDI信号を出力する。このMIDI
符号器４に対してもタイミング発生回路88から符号化ク
ロックを供給する。

音声信号と演奏情報とを同時に録音できる同時録音機
５で、必要により音声符号器２から出力されるディジタ
ル音声信号とMIDI符号器４から出力されるMIDI信号とを
同時録音する。

楽器３を演奏するとともに、同時に演奏するその他の
楽器の演奏音もしくは歌声を楽器３の演奏音とは音響的
に分離してマイクロフォン１に収音するようにすると、
楽器３の演奏からは演奏情報のみが、マイクロフォン１
からはその他の楽音もしくは歌声を音響的に音声信号と
して取り出すことができる。

このようにして得られるマイクロフォン１からの音声
信号を音声符号器２により符号化し、音声符号器２から
の出力を遅延回路８へ、一方、MIDI符号器４からの出力
をブロックマーカー付加回路７へ各々供給する。

いったん、同時録音機５へこれらの出力信号を記録し
た時は、再生された音声符号化信号とMIDI符号化信号と
をそれぞれ遅延回路８と、およびブロックマーカー付加
回路７へ供給する。また同期マーカー送出回路６および
ブロックマーカー付加回路７へはタイミング発生回路88
からブロック化タイミング信号を供給する。

同期マーカー送出回路６はこのタイミング信号を基に
ブロック番号を発生し、同期マーカーとしてデータ配列
回路10に供給する。またブロックマーカー付加回路７は
MIDI信号に対し同じく上記のタイミングでブロックマー
カー信号を付加して、その出力を圧縮符号化回路９へ供
給する。

遅延回路８は少なくとも圧縮符号化回路９における処
理時間に後述する受信側での伸張復号回路16における処
理時間を加えた時間以上の一定時間の遅延動作を行う。
なお、受信もしくは再生時の楽器の動作に遅延がある時
は、その遅延時間相当の時間も加えるようにする。

遅延回路８の出力、すなわち、一定時間の遅延を与え
られた音声データと、MIDI信号にブロックマーカー信号
を付加し圧縮符号化を行って得られる演奏データとをデ
ータ配列回路10に供給する。データ配列回路10では、伝
送路または記録媒体11に適合するようにデータ配列およ
び送信を行う。

第２図は本発明による一実施例のブロック化タイミン
グ信号と、音声PCMデータおよびMIDIデータとの相互関
係を示す配置図である。

第２図（Ａ）はタイミング発生回路88からブロックマ
ーカー付加回路７に供給されるブロック化タイミング信
号（矢印で示す）を示している。第２図（Ｂ）はこれに
対応する音声PCMデータ信号を示しており、第２図
（Ｃ）はブロックマーカー付加回路７によりブロック化
タイミング信号に対応してMIDIデータ信号にタイミング
マーカー信号が付加された状態を示している。

第３図（Ａ）および（Ｂ）は本発明によるブロック番
号に対応した各データ信号配列の一例を示した配置図で
ある。

第３図（Ａ）は送信側の送出データ信号配列を示した
ものである。送出ブロック番号に対応して、送出音声デ
ータは音声信号から所定の遅延時間が与えられており、
MIDI信号は圧縮されて送出演奏データとして各ブロック
が間欠的に配列されて送出されることを示している。

第４図は本発明による一実施例の受信側の構成を示す
ブロック図である。

図において、11はデータ伝送路、12はデータ分離回路
である。13は音声復号器、14は演奏データメモリ、15は
同期マーカー受信回路である。16は圧縮演奏情報の伸張
復号化回路、17はMIDI送出回路であり、18は拡声装置、
19は電気楽器である。

伝送路または記録媒体11を経て受信もしくは再生した
データをデータ分離回路12へ供給し、データ分離回路12
で音声データと演奏データおよびブロック番号を含む同
期マーカーに分離し、音声データは音声復号器13に供給
し、演奏データは演奏データメモリ14に同期マーカーは
同期マーカー受信回路15にそれぞれ供給する。

音声復号器13は音声データから音声信号を復号し、そ
れを拡声装置18に供給する。同期マーカー受信回路15は
ブロック番号を検出して伸張復号回路16およびMIDI送出
回路17へ供給する。

演奏データメモリ14は伸張復号回路16で演奏情報の伸
張復号を行う前にいったんデータを蓄え、伸張復号動作
が時間的に連続して円滑に行われるようにするものであ
る。

伸張復号回路16では前記のブロック番号に従って演奏
データをデータメモリ14から取り出しブロック単位で演
奏データの展開を行い、これをMIDI送出回路17へ供給す
る。MIDI送出回路17は同期マーカー受信回路15から供給
されるブロック番号に同期させてMIDI信号を送出する。

音声復号器13で複合された音声信号は拡声装置18で再
生する。またMIDI送出回路17からのMIDI信号はMIDI規格
を満たす電気楽器19に供給し演奏を行う。

第３図（Ｂ）には本発明による受信側でのブロック番
号に対応して演奏データと音声データとが同期して発音
される配置を示してある。

このようにして、同期して再生すべき音声信号と演奏
情報とを、演奏情報については圧縮を行いながら、１つ
の伝送路もしくは記録媒体を介して伝送し両者を同期し
て再生することができる。

演奏情報の圧縮復号化に関しては、本発明者等が既に
特許出願61−129720号で提案しているように、MIDI信号
として取り出した演奏情報を基に、各演奏音単位で音の
高さ、強さ、長さとその音のタイミングを前の音の演奏
タイミングとの差分情報として符号化する方法を基本と
するが、MIDI信号の中に加えられたブロックマーカー信
号も各演奏音と同様の１つのイベント情報として取り扱
い、符号化するものである。なお、このブロックマーカ
ー信号は再生時には除去するものである。

音声と演奏情報を１つの伝送路で伝送する実施例とし
て、衛星テレビジョン放送への適用例を示す。

第５図は衛星テレビジョン放送方式における音声伝送
フレームのＢモードの場合の各信号の配列図である。

図において、Ａは同期符号、Ｂは制御符号、Ｃはレン
ジ符号、Ｅは音声データ、Ｆは固有データ、Ｇは誤り制
御の各部分を示し、Ｄは未定義部である。未定義部Ｄは
16ビットであり、これを利用して本発明を衛星テレビジ
ョン放送方式に適用する場合の同期マーカー信号および
演奏データの形式を第６図に示す。

図において、Ｉは情報ビットを示し、５ビット、Ｐは
検査ビットを示し、11ビットであり、情報ビットＩと検
査ビットＰとによりBCH（16,5）誤り訂正検出符号を形
成する。Ｊは同期マーカー信号のチャンネルであり、Ｋ
は演奏情報のチャンネルである。

周知のように、音声伝送フレームは毎秒1000フレーム
の速度で伝送されるので、同期マーカーのチャンネルＪ
は1000ビット／秒、演奏情報のチャンネルＫは4000ビッ
ト／秒の伝送速度となる。同期マーカーのチャンネルＪ
では例えば０〜15から成るブロック番号を４ビットで表
し、これに区切りビットを１ビット加えて伝送する。

また、これらのチャンネルJ.KおよびＰはBCH符号によ
って保護されているので、第５図に示したＥの部分によ
り伝送される音声がC/Nの劣化で妨害を受けても、その
妨害が主観的に許容できる範囲であれば演奏情報の伝送
を確実に行うことができる。

第７図は衛星テレビジョン放送におけるもう一つの他
の実施例におけるデータビットの配列図である。

この実施例では音声はＡモードまたはＢモードのいず
れによて伝送してもよく、同期マーカーおよび演奏情報
は衛星テレビジョン放送のディジタル副搬送波の音声伝
送等で使用しない余地のビットを利用するデータ伝送方
式（いわゆるデータチャンネル：この技術方式について
は電気通信技術審議会で昭和61年３月に暫定方式が定め
られている）で伝送する。

第７図はデータチャンネルのパケットを示し、SI₁お
よびSI₂はサービス識別、Ｌは同期マーカーと演奏情報
の伝送ビットで各16ビットを９個配列する。Ｍは未使用
ビットで、ＬとＭを情報ビットとし、Ｑをチェックビッ
トとし（256,174）短縮化差集合巡回符号を構成する。
各Ｌについて第６図で示したビット配列で同期マーカー
と演奏情報の配列を行い伝送する。

第７図に示すパケットを9mS（データチャンネルのス
ーパーフレーム）毎に１個の割合で伝送する。したがっ
て同期マーカーのチャンネルと演奏情報のチャンネルの
伝送速度は各々、前の実施例と同一の速度である。

さらに他の実施例としてコンパクトディスク（CD）へ
の適用例を示す。

第８図はコンパクトディスクの信号形式におけるフレ
ーム内ビットの配列図である。

CD信号形式において、データビット264ビットのフレ
ームの中に８ビットのユーザーズ・ビット（P,Q,R…
Ｗ）が用意されている。

このユーザーズビットをフレームあたり１ビット（例
えばＲ）を使用することにより、7350ビット／秒の容量
が得られるので、これを使用し、前述の同期マーカーと
演奏情報を伝送する。

ユーザーズビットは誤りに対する保護がないので、各
フレームのＲビットからなる１連のビットに対し、第７
図に示したパケットのL,MおよびＱに相当するブロック
を形成し、同様に（256,174）短縮化差集合巡回符号を
適用して誤りに対する保護を行う。

CDでは埃やキズなどにより発生する集中的な誤りがあ
るので上述したブロックに対しては、適当な長さのイン
ターリーブ配列を行ってブロック中に誤りの集中が生じ
ないようにし、誤り訂正能力を向上させる。

［発明の効果］ 以上から明らかなように本発明によれば、従来困難で
あった音声の再生と楽器の電気的演奏とを容易に同期さ
せて再生することができる。

楽器の演奏情報が圧縮符号化されていても同期結合が
可能なため、衛星テレビジョン放送に適用することやコ
ンパクトディスクなどの記録媒体への応用が可能であ
る。

さらに、本発明によれば、演奏情報をブロック化して
符号化しているため、途中からの受信もしくは再生をし
ても音声と演奏情報の同期が損なわれることなく再生す
ることができる。

１つの伝送路もしくは記録媒体により伝送もしくは記
録再生可能なため、取り扱いが簡便であり、また、経済
的である。

【図面の簡単な説明】

第１図は本発明による一実施例の送信側の構成を示すブ
ロック図、 第２図は本発明による一実施例のブロック化タイミング
信号の配置図、 第３図（Ａ）および（Ｂ）は本発明によるブロック番号
に対する信号配列例の送信側および受信側の配置図、 第４図は本発明による一実施例の受信側の構成を示すブ
ロック図、 第５図は衛星テレビジョン放送方式における音声伝送フ
レーム（Ｂモード）の配列図、 第６図は本発明による他の実施例における同期および演
奏データ信号形式の説明図、 第７図は本発明を衛星テレビジョン放送に適用するその
他の実施例のデータの配列図、 第８図はコンパクトディスクの信号形式を示す配列図で
ある。 １……マイクロフォン、２……音声PCM符号器、3,19…
…電気楽器、４……MIDI符号器、５……同時録音機、６
……同期マーカー送出回路、７……ブロックマーカー付
加回路、８……遅延回路、９……圧縮符号化回路、10…
…データ配列回路、11……伝送路、12……データ分離回
路、13……音声復号器、14……演奏データメモリ、15…
…同期マーカー受信回路、16……伸張復号化回路、17…
…MIDI送出回路、18……拡声装置、88……タイミング発
生回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】送信側では、音声情報と演奏情報とを混合
   して得られた信号を伝送媒体を介して送信し、受信側で
   は、受信信号から前記音声情報と前記演奏情報とを分離
   ・再生する音声・演奏情報伝送方法において、 前記送信側においては、音声情報を符号化して音声信号
   を取り出し、演奏楽器から採集した演奏情報を符号化し
   て演奏信号を取り出し、 前記符号化された音声信号を前記演奏信号の送受信処理
   に必要な時間より長い一定時間だけ遅延させ、 前記符号化された演奏信号を所定の時間間隔で区分化
   し、その区分のタイミングに基づいて発生したブロック
   番号を示すブロックマーカー信号を発生させ、そのブロ
   ックマーカー信号を前記演奏信号に付加し、 前記区分化されおよび前記ブロックマーカー信号の付加
   された演奏信号を情報量圧縮符号に変換し、 前記タイミングを基準にしてブロック番号を示す同期マ
   ーカー信号を発生させ、 前記遅延された音声信号と前記圧縮符号変換された演奏
   信号と前記同期マーカー信号とを混合し、所定のフォー
   マットにしたがって配列した信号を前記伝送媒体を介し
   て送信し、 受信側では、前記伝送媒体を介して送信された信号を受
   信し、 その受信された信号から前記音声信号と前記演奏信号と
   同期マーカー信号とを分離し、この同期マーカー信号に
   基づいて前記ブロック番号を検出し、 前記分離された音声信号を復号化し、 前記ブロック番号に従ってブロック単位で前記分離され
   た演奏信号を情報量圧縮符号変換の逆変換をしてから復
   号化し、 復号化された前記音声信号と復号化された前記演奏信号
   とを前記ブロック番号に同期して再生することを特徴と
   する音声・演奏情報伝送方法。
2. 【請求項２】音声情報を符号化して音声信号を取り出す
   第１の符号化手段と、 演奏楽器から採集した演奏情報を符号化して演奏信号を
   取り出す第２の符号化手段と、 前記第１の符号化手段から取り出された音声信号を前記
   演奏信号の送受信処理に必要な時間より長い一定時間だ
   け遅延させる遅延手段と、 前記第２の符号化手段から取り出された演奏信号を所定
   の時間間隔で区分化し、その区分のタイミングに基づい
   て発生したブロック番号を示すブロックマーカー信号を
   前記演奏信号に付加する区分化手段と、 前記区分化手段により区分されおよび前記ブロックマー
   カー信号の付加された演奏信号を情報量圧縮符号変換す
   る圧縮符号変換手段と、 前記タイミングを基準にしてブロック番号を示す同期マ
   ーカー信号を発生させる同期マーカー発生手段と、 前記遅延手段から取り出された音声信号と前記圧縮手段
   から取り出された演奏信号と前記同期マーカー発生手段
   から発生される同期マーカー信号とを混合し、 所定のフォーマットにしたがって配列し、前記伝送媒体
   を介して送信する配列手段とを備えたことを特徴とする
   送信装置。
3. 【請求項３】伝送媒体を経て送信された信号を受信する
   手段と、 前記受信された信号から音声信号と演奏信号と同期マー
   カー信号とを分離する手段と、 前記同期マーカー信号に基づいてブロック番号を検出す
   る手段と、 前記分離された音声信号を復号化する手段と、 前記ブロック番号に従ってブロック単位で前記分離され
   た演奏信号を情報量圧縮符号変換の逆変換をしてから復
   号化する手段と、 前記復号化された音声信号と演奏信号とを前記ブロック
   番号に同期して再生する手段とを備えたことを特徴とす
   る受信装置。