JPH1173200A - 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Info

Publication number
JPH1173200A
JPH1173200A JP9249636A JP24963697A JPH1173200A JP H1173200 A JPH1173200 A JP H1173200A JP 9249636 A JP9249636 A JP 9249636A JP 24963697 A JP24963697 A JP 24963697A JP H1173200 A JPH1173200 A JP H1173200A
Authority
JP
Japan
Prior art keywords
section
code data
data
unit
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9249636A
Other languages
English (en)
Inventor
Toshio Motegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP9249636A priority Critical patent/JPH1173200A/ja
Publication of JPH1173200A publication Critical patent/JPH1173200A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 アナログ音響信号をMIDIデータにより符
号化する。 【解決手段】 アナログ音響信号をPCMによりデジタ
ル化し、単位区間U1〜U7に分割し、各区間ごとに代
表周波数と代表強度を求める。代表周波数に対応するノ
ートナンバーを有し、代表強度に対応するベロシティー
を有し、単位区間長に対応するデルタタイムを有するM
IDI符号データC1〜C7を個々の単位区間ごとに定
義する。符号データC1〜C7を2つのトラックに分離
配置し、各符号データのデルタタイムを延長することに
より、時間軸上で両トラックの符号データが部分的に重
なるようにする。重なった符号データは和音として提示
される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音響信号の符号化方
法に関し、時系列の強度信号として与えられる音響信号
を符号化し、これを復号化して再生する技術に関する。
【0002】
【従来の技術】音響信号を符号化する技術として、PC
M(Pulse Code Modulation )の手法は最も普及してい
る手法であり、現在、オーディオCDやDATなどの記
録方式として広く利用されている。このPCMの手法の
基本原理は、アナログ音響信号を所定のサンプリング周
波数でサンプリングし、各サンプリング時の信号強度を
量子化してデジタルデータとして表現する点にあり、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、原音を忠実に再生することが可能になる。ただ、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、必要な情報量も増えることになる。そこで、できる
だけ情報量を低減するための手法として、信号の変化差
分のみを符号化するADPCM(Adaptive Differentia
l Pulse Code Modulation )の手法も用いられている。
【0003】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になる。しかしながら、上述したP
CMの手法で音を記録する場合に比べて、情報量が極め
て少なくてすむという特徴を有し、その符号化効率の高
さが注目を集めている。このMIDI規格による符号化
および復号化の技術は、現在、パーソナルコンピュータ
を用いて楽器演奏、楽器練習、作曲などを行うソフトウ
エアに広く採り入れられており、カラオケ、ゲームの効
果音といった分野でも広く利用されている。
【0004】
【発明が解決しようとする課題】上述したように、PC
Mの手法により音響信号を符号化する場合、十分な音質
を確保しようとすれば情報量が膨大になり、データ処理
の負担が重くならざるを得ない。したがって、通常は、
ある程度の情報量に抑えるため、ある程度の音質に妥協
せざるを得ない。もちろん、MIDI規格による符号化
の手法を採れば、非常に少ない情報量で十分な音質をも
った音の再生が可能であるが、上述したように、MID
I規格そのものが、もともと楽器演奏の操作を符号化す
るためのものであるため、広く一般音響への適用を行う
ことはできない。別言すれば、MIDIデータを作成す
るためには、実際に楽器を演奏するか、あるいは、楽譜
の情報を用意する必要がある。
【0005】このように、従来用いられているPCMの
手法にしても、MIDIの手法にしても、それぞれ音響
信号の符号化方法としては一長一短があり、一般の音響
信号について、少ない情報量で十分な音質を確保するこ
とはできない。ところが、一般の音響信号についても効
率的な符号化を行いたいという要望は、益々強くなって
きている。
【0006】そこで本発明は、音響信号に対して効率的
な符号化を行うことができる音響信号の符号化方法を提
供することを目的とする。
【0007】
【課題を解決するための手段】
(1) 本発明の第1の態様は、時系列の強度信号として
与えられる音響信号を符号化するための音響信号の符号
化方法において、符号化対象となる音響信号を、デジタ
ルの音響データとして取り込む入力段階と、この音響デ
ータの時間軸上に、複数の単位区間を設定する区間設定
段階と、個々の単位区間内の音響データに基づいて、個
々の単位区間を代表する所定の代表周波数および代表強
度を定義し、時間軸上での個々の単位区間の始端位置お
よび終端位置を示す情報と代表周波数および代表強度を
示す情報とを含む符号データを生成し、個々の単位区間
の音響データを個々の符号データによって表現する符号
化段階と、を行い、更に符号化段階において、単位区間
の長さを延長する区間延長処理を行うようにしたもので
ある。
【0008】(2) 本発明の第2の態様は、上述の第1
の態様に係る音響信号の符号化方法において、符号化段
階において、時間軸を共通とする複数のトラックを定義
し、区間設定段階で設定された個々の単位区間を複数の
トラックに分離して再配置するトラック分離処理を行
い、各トラックごとにそれぞれ区間延長処理を行うよう
にしたものである。
【0009】(3) 本発明の第3の態様は、上述の第2
の態様に係る音響信号の符号化方法において、あるトラ
ックに配置された単位区間が、別なトラックに配置され
た別な単位区間に対して、共通の時間軸上で少なくとも
一部分が重複するように、各トラックごとの区間延長処
理を行うようにしたものである。
【0010】(4) 本発明の第4の態様は、上述の第1
〜第3の態様に係る音響信号の符号化方法において、単
位区間延長処理を行った後、互いに類似した符号データ
をもつ単位区間が所定の基準間隔以下の間隔をおいて存
在していた場合に、これらの単位区間を1つの単位区間
に統合する区間統合処理を行い、統合前の個々の単位区
間の符号データに基いて、統合後の単位区間の符号デー
タを決定するようにしたものである。
【0011】(5) 本発明の第5の態様は、上述の第2
の態様に係る音響信号の符号化方法において、トラック
分離処理を行う際に、互いに類似した符号データをもつ
近接した単位区間を同一トラック上に再配置するように
したものである。
【0012】(6) 本発明の第6の態様は、上述の第1
〜第5の態様に係る音響信号の符号化方法において、単
位区間延長処理を行う際に、最大区間長Lmax と最小区
間長Lmin とを設定し、各区間を、隣接する区間に接触
するまで、最大でLmax まで延長する処理を行うととも
に、区間長がLmin 未満の区間を削除する処理を行うよ
うにしたものである。
【0013】(7) 本発明の第7の態様は、上述の第1
〜第6の態様に係る音響信号の符号化方法において、符
号化段階で、代表周波数に基づいてノートナンバーを定
め、代表強度に基づいてベロシティーを定め、単位区間
の長さに基づいてデルタタイムを定め、1つの単位区間
の音響データを、ノートナンバー、ベロシティー、デル
タタイムで表現されるMIDI形式の符号データに変換
し、時間軸上で重複する単位区間に対しては異なるチャ
ンネルを割り当てるようにしたものである。
【0014】(8) 本発明の第8の態様は、上述の第1
〜第7の態様に係る音響信号の符号化方法を実行する音
響信号の符号化のためのプログラムをコンピュータ読み
取り可能な記録媒体に記録するようにしたものである。
【0015】(9) 本発明の第8の態様は、上述の第1
〜第7の態様に係る音響信号の符号化方法により符号化
された符号データをコンピュータ読み取り可能な記録媒
体に記録するようにしたものである。
【0016】
【発明の実施の形態】以下、本発明を図示する実施形態
に基づいて説明する。本願発明は、特願平9−6746
7号明細書に開示された発明(以下、先願発明という)
を基本発明とした改良発明に相当するものである。した
がって、以下の説明では、まず、§1〜§3において先
願発明に係る符号化方法を説明することにする。
【0017】§1. 先願発明に係る音響信号の符号化
方法の基本原理 はじめに、先願発明に係る音響信号の符号化方法の基本
原理を図1を参照しながら説明する。いま、図1の上段
に示すように、時系列の強度信号としてアナログ音響信
号が与えられたものとしよう。図示の例では、横軸に時
間軸t、縦軸に信号強度Aをとってこの音響信号を示し
ている。先願発明では、まずこのアナログ音響信号を、
デジタルの音響データとして取り込む処理を行う。これ
は、従来の一般的なPCMの手法を用い、所定のサンプ
リング周波数でこのアナログ音響信号をサンプリング
し、信号強度Aを所定の量子化ビット数を用いてデジタ
ルデータに変換する処理を行えばよい。ここでは、説明
の便宜上、PCMの手法でデジタル化した音響データの
波形も、図1の上段のアナログ音響信号と同一の波形で
示すことにする。
【0018】次に、このデジタル音響データの時間軸t
上に複数の単位区間を設定する。図示の例では、6つの
単位区間U1〜U6が設定されている。第i番目の単位
区間Uiは、時間軸t上の始端siおよび終端eiの座
標値によって、その時間軸t上での位置と長さとが示さ
れる。たとえば、単位区間U1は、始端s1〜終端e1
までの(e1−s1)なる長さをもつ区間である。
【0019】こうして、複数の単位区間が設定された
ら、個々の単位区間内の音響データに基づいて、個々の
単位区間を代表する所定の代表周波数および代表強度を
定義する。ここでは、第i番目の単位区間Uiについ
て、代表周波数Fiおよび代表強度Aiが定義された状
態が示されている。たとえば、第1番目の単位区間U1
については、代表周波数F1および代表強度A1が定義
されている。代表周波数F1は、始端s1〜終端e1ま
での区間に含まれている音響データの周波数成分の代表
値であり、代表強度Aiは、同じく始端s1〜終端e1
までの区間に含まれている音響データの信号強度の代表
値である。単位区間U1内の音響データに含まれる周波
数成分は、通常、単一ではなく、信号強度も変動するの
が一般的である。先願発明のポイントは、1つの単位区
間について、単一の代表周波数と単一の代表強度を定義
し、これら代表値を用いて符号化を行う点にある。
【0020】すなわち、個々の単位区間について、それ
ぞれ代表周波数および代表強度が定義されたら、時間軸
t上での個々の単位区間の始端位置および終端位置を示
す情報と、定義された代表周波数および代表強度を示す
情報と、により符号データを生成し、個々の単位区間の
音響データを個々の符号データによって表現するのであ
る。単一の周波数をもち、単一の信号強度をもった音響
信号が、所定の期間だけ持続する、という事象を符号化
する手法として、MIDI規格に基づく符号化を利用す
ることができる。MIDI規格による符号データ(MI
DIデータ)は、いわば音符によって音を表現したデー
タということができ、図1では、下段に示す音符によっ
て、最終的に得られる符号データの概念を示している。
【0021】結局、各単位区間内の音響データは、代表
周波数F1に相当する音程情報(MIDI規格における
ノートナンバー)と、代表強度A1に相当する強度情報
(MIDI規格におけるベロシティー)と、単位区間の
長さ(e1−s1)に相当する長さ情報(MIDI規格
におけるデルタタイム)と、をもった符号データに変換
されることになる。このようにして得られる符号データ
の情報量は、もとの音響信号のもつ情報量に比べて、著
しく小さくなり、飛躍的な符号化効率が得られることに
なる。これまで、MIDIデータを生成する手法として
は、演奏者が実際に楽器を演奏するときの操作をそのま
ま取り込んで符号化するか、あるいは、楽譜上の音符を
データとして入力するしかなかったが、上述した手法を
用いれば、実際のアナログ音響信号からMIDIデータ
を直接生成することが可能になる。
【0022】もっとも、上述した手法による符号化方法
を実用化するためには、いくつか留意すべき点がある。
第1の留意点は、再生時に音源を用意する必要があると
いう点である。上述の手法によって最終的に得られる符
号データには、もとの音響信号の波形データそのものは
含まれていないため、何らかの音響波形のデータをもっ
た音源が必要になる。たとえば、MIDIデータを再生
する場合には、MIDI音源が必要になる。もっとも、
MIDI規格が普及した現在では、種々のMIDI音源
が入手可能であり、実用上は大きな問題は生じない。た
だ、もとの音響信号に忠実な再生音を得るためには、も
との音響信号に含まれていた音響波形に近似した波形デ
ータをもったMIDI音源を用意する必要がある。適当
なMIDI音源を用いた再生を行うことができれば、む
しろもとの音響信号よりも高い音質で、臨場感あふれる
再生音を得ることも可能になる。
【0023】第2の留意点は、1つの単位区間に含まれ
る音響データの周波数を、単一の代表周波数に置き換え
てしまうという基本原理に基づく符号化手法であるた
め、非常に幅の広い周波数成分を同時に含んでいるよう
な音響信号の符号化には不向きであるという点である。
もちろん、この符号化手法は、どのような音響信号に対
しても適用可能であるが、人間の声音のように、非常に
周波数レンジの広い音響信号に対して符号化を行って
も、再生時に十分な再現性は得られなくなる。このよう
な問題に対処するには、時間軸上で重複するように複数
の単位区間を定義するようにし、各単位区間ごとにそれ
ぞれ別個に符号化を行うようにすればよい。この手法に
ついては、§6において述べることにする。
【0024】第3の留意点は、効率的で再現性の高い符
号化を行うためには、単位区間の設定方法に工夫を凝ら
す必要があるという点である。先願発明の基本原理は、
上述したように、もとの音響データを複数の単位区間に
分割し、各単位区間ごとに、単一周波数および単一強度
を示す符号データに変換するという点にある。したがっ
て、最終的に得られる符号データは、単位区間の設定方
法に大きく依存することになる。最も単純な単位区間の
設定方法は、時間軸上で、たとえば10msごとという
ように、等間隔に単位区間を一義的に定義する方法であ
る。しかしながら、この方法では、符号化対象となるも
との音響データにかかわらず、常に一定の方法で単位区
間の定義が行われることになり、必ずしも効率的で再現
性の高い符号化は期待できない。したがって、実用上
は、もとの音響データの波形を解析し、個々の音響デー
タに適した単位区間の設定を行うようにするのが好まし
い。
【0025】効率的な単位区間の設定を行う1つのアプ
ローチは、音響データの中で周波数帯域が近似した区間
を1つのまとまった単位区間として抽出するという方法
である。単位区間内の周波数成分は1つの代表周波数に
よって置き換えられてしまうので、この代表周波数とあ
まりにかけ離れた周波数成分が含まれていると、再生時
の再現性が低減する。したがって、ある程度近似した周
波数が持続する区間を1つの単位区間として抽出するこ
とは、再現性のよい効率的な符号化を行う上で重要であ
る。このアプローチを採る場合、具体的には、もとの音
響データの周波数の変化点を認識し、この変化点を境界
とする単位区間の設定を行うようにすればよい。
【0026】効率的な単位区間の設定を行うもう1つの
アプローチは、音響データの中で信号強度が近似した区
間を1つのまとまった単位区間として抽出するという方
法である。単位区間内の信号強度は1つの代表強度によ
って置き換えられてしまうので、この代表強度とあまり
にかけ離れた信号強度が含まれていると、再生時の再現
性が低減する。したがって、ある程度近似した信号強度
が持続する区間を1つの単位区間として抽出すること
は、再現性のよい効率的な符号化を行う上で重要であ
る。このアプローチを採る場合、具体的には、もとの音
響データの信号強度の変化点を認識し、この変化点を境
界とする単位区間の設定を行うようにすればよい。
【0027】§2. 先願発明に係る音響信号の符号化
方法の実用的な手順 図2は、先願発明のより実用的な手順を示す流れ図であ
る。この手順は、入力段階S10、変極点定義段階S2
0、区間設定段階S30、符号化段階S40の4つの大
きな段階から構成されている。入力段階S10は、符号
化対象となる音響信号を、デジタルの音響データとして
取り込む段階である。変極点定義段階S20は、後の区
間設定段階S30の準備段階ともいうべき段階であり、
取り込んだ音響データの波形について変極点(ローカル
ピーク)を求める段階である。また、区間設定段階S3
0は、この変極点に基づいて、音響データの時間軸上に
複数の単位区間を設定する段階であり、符号化段階S4
0は、個々の単位区間の音響データを個々の符号データ
に変換する段階である。符号データへの変換原理は、既
に§1で述べたとおりである。すなわち、個々の単位区
間内の音響データに基づいて、個々の単位区間を代表す
る所定の代表周波数および代表強度を定義し、時間軸上
での個々の単位区間の始端位置および終端位置を示す情
報と、代表周波数および代表強度を示す情報と、によっ
て符号データが生成されることになる。以下、これらの
各段階において行われる処理を順に説明する。
【0028】<<< 2.1 入力段階 >>>入力段
階S10では、サンプリング処理S11と直流成分除去
処理S12とが実行される。サンプリング処理S11
は、符号化の対象となるアナログ音響信号を、デジタル
の音響データとして取り込む処理であり、従来の一般的
なPCMの手法を用いてサンプリングを行う処理であ
る。この実施形態では、サンプリング周波数:44.1
kHz、量子化ビット数:16ビットという条件でサン
プリングを行い、デジタルの音響データを用意してい
る。
【0029】続く、直流成分除去処理S12は、入力し
た音響データに含まれている直流成分を除去するデジタ
ル処理である。たとえば、図3に示す音響データは、振
幅の中心レベルが、信号強度を示すデータレンジの中心
レベル(具体的なデジタル値としては、たとえば、16
ビットでサンプリングを行い、0〜65535のデータ
レンジが設定されている場合には32768なる値。以
下、説明の便宜上、図3のグラフに示すように、データ
レンジの中心レベルに0をとり、サンプリングされた個
々の信号強度の値を正または負で表現する)よりもDだ
け高い位置にきている。別言すれば、この音響データに
は、値Dに相当する直流成分が含まれていることにな
る。サンプリング処理の対象になったアナログ音響信号
に直流成分が含まれていると、デジタル音響データにも
この直流成分が残ることになる。そこで、直流成分除去
処理S12によって、この直流成分Dを除去する処理を
行い、振幅の中心レベルとデータレンジの中心レベルと
を一致させる。具体的には、サンプリングされた個々の
信号強度の平均が0になるように、直流成分Dを差し引
く演算を行えばよい。これにより、正および負の両極性
デジタル値を信号強度としてもった音響データが用意で
きる。
【0030】<<< 2.2 変極点定義段階 >>>
変極点定義段階S20では、変極点探索処理S21と同
極性変極点の間引処理S22とが実行される。変極点探
索処理S21は、取り込んだ音響データの波形について
変極点を求める処理である。図4は、図3に示す音響デ
ータの一部を時間軸に関して拡大して示したグラフであ
る。このグラフでは、矢印P1〜P6の先端位置の点が
変極点(極大もしくは極小の点)に相当し、各変極点は
いわゆるローカルピークに相当する点となる。このよう
な変極点を探索する方法としては、たとえば、サンプリ
ングされたデジタル値を時間軸に沿って順に注目してゆ
き、増加から減少に転じた位置、あるいは減少から増加
に転じた位置を認識すればよい。ここでは、この変極点
を図示のような矢印で示すことにする。
【0031】各変極点は、サンプリングされた1つのデ
ジタルデータに対応する点であり、所定の信号強度の情
報(矢印の長さに相当)をもつとともに、時間軸t上で
の位置の情報をもつことになる。図5は、図4に矢印で
示す変極点P1〜P6のみを抜き出して示した図であ
る。以下の説明では、この図5に示すように、第i番目
の変極点Piのもつ信号強度(絶対値)を矢印の長さa
iとして示し、時間軸t上での変極点Piの位置をti
として示すことにする。結局、変極点探索処理S21
は、図3に示すような音響データに基づいて、図5に示
すような各変極点に関する情報を求める処理ということ
になる。
【0032】ところで、図5に示す各変極点P1〜P6
は、交互に極性が反転する性質を有する。すなわち、図
5の例では、奇数番目の変極点P1,P3,P5は上向
きの矢印で示され、偶数番目の変極点P2,P4,P6
は下向きの矢印で示されている。これは、もとの音響デ
ータ波形の振幅が正負交互に現れる振動波形としての本
来の姿をしているためである。しかしながら、実際に
は、このような本来の振動波形が必ずしも得られるとは
限らず、たとえば、図6に示すように、多少乱れた波形
が得られる場合もある。この図6に示すような音響デー
タに対して変極点探索処理S21を実行すると、個々の
変極点P1〜P7のすべてが検出されてしまうため、図
7に示すように、変極点を示す矢印の向きは交互に反転
するものにはならない。しかしながら、単一の代表周波
数を定義する上では、向きが交互に反転した矢印列が得
られるのが好ましい。
【0033】同極性変極点の間引処理S22は、図7に
示すように、同極性のデジタル値をもった変極点(同じ
向きの矢印)が複数連続した場合に、絶対値が最大のデ
ジタル値をもった変極点(最も長い矢印)のみを残し、
残りを間引きしてしまう処理である。図7に示す例の場
合、上向きの3本の矢印P1〜P3のうち、最も長いP
2のみが残され、下向きの3本の矢印P4〜P6のう
ち、最も長いP4のみが残され、結局、間引処理S22
により、図8に示すように、3つの変極点P2,P4,
P7のみが残されることになる。この図8に示す変極点
は、図6に示す音響データの波形の本来の姿に対応した
ものになる。
【0034】<<< 2.3 区間設定段階 >>>既
に述べたように、先願発明に係る符号化方法において、
効率的で再現性の高い符号化を行うためには、単位区間
の設定方法に工夫を凝らす必要がある。その意味で、図
2に示す各段階のうち、区間設定段階S30は、実用上
非常に重要な段階である。上述した変極点定義段階S2
0は、この区間設定段階S30の準備段階になってお
り、単位区間の設定は、個々の変極点の情報を利用して
行われる。すなわち、この区間設定段階S30では、変
極点に基づいて音響データの周波数もしくは信号強度の
変化点を認識し、この変化点を境界とする単位区間を設
定する、という基本的な考え方に沿って処理が進められ
る。
【0035】図5に示すように、矢印で示されている個
々の変極点P1〜P6には、それぞれ信号強度a1〜a
6が定義されている。しかしながら、個々の変極点P1
〜P6それ自身には、周波数に関する情報は定義されて
いない。区間設定段階S30において最初に行われる固
有周波数定義処理S31は、個々の変極点それぞれに、
所定の固有周波数を定義する処理である。本来、周波数
というものは、時間軸上の所定の区間内の波について定
義される物理量であり、時間軸上のある1点について定
義されるべきものではない。ただ、ここでは便宜上、個
々の変極点について、疑似的に固有周波数なるものを定
義することにする(一般に、物理学における「固有周波
数」という文言は、物体が音波などに共鳴して振動する
物体固有の周波数を意味するが、本願における「固有周
波数」とは、このような物体固有の周波数を意味するも
のではなく、個々の変極点それぞれに定義された疑似的
な周波数、別言すれば、信号のある瞬間における基本周
波数を意味するものである。)。
【0036】いま、図9に示すように、多数の変極点の
うち、第n番目〜第(n+2)番目の変極点P(n),
P(n+1),P(n+2)に着目する。これら各変極
点には、それぞれ信号値a(n),a(n+1),a
(n+2)が定義されており、また、時間軸上での位置
t(n),t(n+1),t(n+2)が定義されてい
る。ここで、これら各変極点が、音響データ波形のロー
カルピーク位置に相当する点であることを考慮すれば、
図示のように、変極点P(n)とP(n+2)との間の
時間軸上での距離φは、もとの波形の1周期に対応する
ことがわかる。そこで、たとえば、第n番目の変極点P
(n)の固有周波数f(n)なるものを、f(n)=1
/φと定義すれば、個々の変極点について、それぞれ固
有周波数を定義することができる。時間軸上での位置t
(n),t(n+1),t(n+2)が、「秒」の単位
で表現されていれば、 φ=(t(n+2)−t(n)) であるから、 f(n)=1/(t(n+2)−t(n)) として定義できる。
【0037】なお、実際のデジタルデータ処理の手順を
考慮すると、個々の変極点の位置は、「秒」の単位では
なく、サンプル番号x(サンプリング処理S11におけ
る何番目のサンプリング時に得られたデータであるかを
示す番号)によって表されることになるが、このサンプ
ル番号xと実時間「秒」とは、サンプリング周波数fs
によって一義的に対応づけられる。たとえば、第m番目
のサンプルx(m)と第(m+1)番目のサンプルx
(m+1)との間の実時間軸上での間隔は、1/fsに
なる。
【0038】さて、このようにして個々の変極点に定義
された固有周波数は、物理的には、その変極点付近のロ
ーカルな周波数を示す量ということになる。隣接する別
な変極点との距離が短ければ、その付近のローカルな周
波数は高く、隣接する別な変極点との距離が長ければ、
その付近のローカルな周波数は低いということになる。
もっとも、上述の例では、後続する2つ目の変極点との
間の距離に基づいて固有周波数を定義しているが、固有
周波数の定義方法としては、この他どのような方法を採
ってもかまわない。たとえば、第n番目の変極点の固有
周波数f(n)を、先行する第(n−2)番目の変極点
との間の距離を用いて、 f(n)=1/(t(n)−t(n−2)) と定義することもできる。また、前述したように、後続
する2つ目の変極点との間の距離に基づいて、固有周波
数f(n)を、 f(n)=1/(t(n+2)−t(n)) なる式で定義した場合であっても、最後の2つの変極点
については、後続する2つ目の変極点が存在しないの
で、先行する変極点を利用して、 f(n)=1/(t(n)−t(n−2)) なる式で定義すればよい。
【0039】あるいは、後続する次の変極点との間の距
離に基づいて、第n番目の変極点の固有周波数f(n)
を、 f(n)=(1/2)・1/(t(n+1)−t
(n)) なる式で定義することもできるし、後続する3つ目の変
極点との間の距離に基づいて、 f(n)=(3/2)・1/(t(n+3)−t
(n)) なる式で定義することもできる。結局、一般式を用いて
示せば、第n番目の変極点についての固有周波数f
(n)は、k個離れた変極点(kが正の場合は後続する
変極点、負の場合は先行する変極点)との間の時間軸上
での距離に基づいて、 f(n)=(k/2)・1/(t(n+k)−t
(n)) なる式で定義することができる。kの値は、予め適当な
値に設定しておけばよい。変極点の時間軸上での間隔が
比較的小さい場合には、kの値をある程度大きく設定し
た方が、誤差の少ない固有周波数を定義することができ
る。ただし、kの値をあまり大きく設定しすぎると、ロ
ーカルな周波数としての意味が失われてしまうことにな
り好ましくない。
【0040】こうして、固有周波数定義処理S31が完
了すると、個々の変極点P(n)には、信号強度a
(n)と、固有周波数f(n)と、時間軸上での位置t
(n)とが定義されることになる。
【0041】さて、§1では、効率的で再現性の高い符
号化を行うためには、1つの単位区間に含まれる変極点
の周波数が所定の近似範囲内になるように単位区間を設
定するという第1のアプローチと、1つの単位区間に含
まれる変極点の信号強度が所定の近似範囲内になるよう
に単位区間を設定するという第2のアプローチとがある
ことを述べた。ここでは、この2つのアプローチを用い
た単位区間の設定手法を、具体例に即して説明しよう。
【0042】いま、図10に示すように、9つの変極点
P1〜P9のそれぞれについて、信号強度a1〜a9と
固有周波数f1〜f9とが定義されている場合を考え
る。この場合、第1のアプローチに従えば、個々の固有
周波数f1〜f9に着目し、互いに近似した固有周波数
をもつ空間的に連続した変極点の一群を1つの単位区間
とする処理を行えばよい。たとえば、固有周波数f1〜
f5がほぼ同じ値(第1の基準値)をとり、固有周波数
f6〜f9がほぼ同じ値(第2の基準値)をとってお
り、第1の基準値と第2の基準値との差が所定の許容範
囲を越えていた場合、図10に示すように、第1の基準
値の近似範囲に含まれる固有周波数f1〜f5をもつ変
極点P1〜P5を含む区間を単位区間U1とし、第2の
基準値の近似範囲に含まれる固有周波数f6〜f9をも
つ変極点P6〜P9を含む区間を単位区間U2として設
定すればよい。先願発明による手法では、1つの単位区
間については、単一の代表周波数が与えられることにな
るが、このように、固有周波数が互いに近似範囲内にあ
る複数の変極点が存在する区間を1つの単位区間として
設定すれば、代表周波数と個々の固有周波数との差が所
定の許容範囲内に抑えられることになり、大きな問題は
生じない。
【0043】続いて、固有周波数が近似する変極点を1
グループにまとめて、1つの単位区間を定義するための
具体的な手法の一例を以下に示す。たとえば、図10に
示すように、9つの変極点P1〜P9が与えられた場
合、まず変極点P1とP2について、固有周波数を比較
し、両者の差が所定の許容範囲ff内にあるか否かを調
べる。もし、 |f1−f2|<ff であれば、変極点P1,P2を第1の単位区間U1に含
ませる。そして、今度は、変極点P3を、この第1の単
位区間U1に含ませてよいか否かを調べる。これは、こ
の第1の単位区間U1についての平均固有周波数(f1
+f2)/2と、f3との比較を行い、 |(f1+f2)/2−f3|<ff であれば、変極点P3を第1の単位区間U1に含ませれ
ばよい。更に、変極点P4に関しては、 |(f1+f2+f3)/3−f4|<ff であれば、これを第1の単位区間U1に含ませることが
でき、変極点P5に関しては、 |(f1+f2+f3+f4)/4−f5|<ff であれば、これを第1の単位区間U1に含ませることが
できる。ここで、もし、変極点P6について、 |(f1+f2+f3+f4+f5)/5−f6|>f
f なる結果が得られたしまった場合、すなわち、固有周波
数f6と、第1の単位区間U1の平均固有周波数との差
が、所定の許容範囲ffを越えてしまった場合、変極点
P5とP6との間に不連続位置が検出されたことにな
り、変極点P6を第1の単位区間U1に含ませることは
できない。そこで、変極点P5をもって第1の単位区間
U1の終端とし、変極点P6は別な第2の単位区間U2
の始端とする。そして、変極点P6とP7について、固
有周波数を比較し、両者の差が所定の許容範囲ff内に
あるか否かを調べ、もし、 |f6−f7|<ff であれば、変極点P6,P7を第2の単位区間U2に含
ませる。そして、今度は、変極点P8に関して、 |(f6+f7)/2−f8|<ff であれば、これを第2の単位区間U2に含ませ、変極点
P9に関して、 |(f6+f7+f8)/3−f9|<ff であれば、これを第2の単位区間U2に含ませる。
【0044】このような手法で、不連続位置の検出を順
次行ってゆき、各単位区間を順次設定してゆけば、上述
した第1のアプローチに沿った区間設定が可能になる。
もちろん、上述した具体的な手法は、一例として示した
ものであり、この他にも種々の手法を採ることができ
る。たとえば、平均値と比較する代わりに、常に隣接す
る変極点の固有周波数を比較し、差が許容範囲ffを越
えた場合に不連続位置と認識する簡略化した手法を採っ
てもかまわない。すなわち、f1とf2との差、f2と
f3との差、f3とf4との差、…というように、個々
の差を検討してゆき、差が許容範囲ffを越えた場合に
は、そこを不連続位置として認識すればよい。
【0045】以上、第1のアプローチについて述べた
が、第2のアプローチに基づく単位区間の設定も同様に
行うことができる。この場合は、個々の変極点の信号強
度a1〜a9に着目し、所定の許容範囲aaとの比較を
行うようにすればよい。もちろん、第1のアプローチと
第2のアプローチとの双方を組み合わせて、単位区間の
設定を行ってもよい。この場合は、個々の変極点の固有
周波数f1〜f9と信号強度a1〜a9との双方に着目
し、両者がともに所定の許容範囲ffおよびaa内に入
っていれば、同一の単位区間に含ませるというような厳
しい条件を課してもよいし、いずれか一方が許容範囲内
に入っていれば、同一の単位区間に含ませるというよう
な緩い条件を課してもよい。
【0046】なお、この区間設定段階S30において
は、上述した各アプローチに基づいて単位区間の設定を
行う前に、絶対値が所定の許容レベル未満となる信号強
度をもつ変極点を除外する処理を行っておくのが好まし
い。たとえば、図11に示す例のように所定の許容レベ
ルLLを設定すると、変極点P4の信号強度a4と変極
点P9の信号強度a9は、その絶対値がこの許容レベル
LL未満になる。このような場合、変極点P4,P9を
除外する処理を行うのである。このような除外処理を行
う第1の意義は、もとの音響信号に含まれていたノイズ
成分を除去することにある。通常、音響信号を電気的に
取り込む過程では、種々のノイズ成分が混入することが
多く、このようなノイズ成分までも含めて符号化が行わ
れると好ましくない。
【0047】もっとも、許容レベルLLをある程度以上
に設定すると、ノイズ成分以外のものも除外されること
になるが、このようにノイズ成分以外の信号を除外する
ことも、場合によっては、十分に意味のある処理にな
る。すなわち、この除外処理を行う第2の意義は、もと
の音響信号に含まれていた情報のうち、興味の対象外と
なる情報を除外することにある。たとえば、図1の上段
に示す音響信号は、人間の心音を示す信号であるが、こ
の音響信号のうち、疾患の診断などに有効な情報は、振
幅の大きな部分(各単位区間U1〜U6の部分)に含ま
れており、それ以外の部分の情報はあまり役にたたな
い。そこで、所定の許容レベルLLを設定し、無用な情
報部分を除外する処理を行うと、より効率的な符号化が
可能になる。
【0048】また、心音や肺音のように、生体が発生す
る生理的リズム音における比較的振幅の小さな成分は、
生体内で発生する反響音であることが多く、このような
反響音は、符号化の時点で一旦除外してしまっても、再
生時にエコーなどの音響効果を加えることにより容易に
付加することが可能である。このような点においても、
許容レベル未満の変極点を除外する処理は意味をもつ。
【0049】なお、許容レベル未満の変極点を除外する
処理を行った場合は、除外された変極点の位置で分割さ
れるように単位区間定義を行うようにするのが好まし
い。たとえば、図11に示す例の場合、除外された変極
点P4,P9の位置(一点鎖線で示す)で分割された単
位区間U1,U2が定義されている。このような単位区
間定義を行えば、図1の上段に示す音響信号のように、
信号強度が許容レベル以上の区間(単位区間U1〜U6
の各区間)と、許容レベル未満の区間(単位区間U1〜
U6以外の区間)とが交互に出現するような音響信号の
場合、非常に的確な単位区間の定義が可能になる。
【0050】これまで、区間設定段階S30で行われる
効果的な区間設定手法の要点を述べてきたが、ここで
は、より具体的な手順を述べることにする。図2の流れ
図に示されているように、この区間設定段階S30は、
4つの処理S31〜S34によって構成されている。固
有周波数定義処理S31は、既に述べたように、各変極
点について、それぞれ近傍の変極点との間の時間軸上で
の距離に基づいて所定の固有周波数を定義する処理であ
る。ここでは、図12に示すように、変極点P1〜P1
7のそれぞれについて、固有周波数f1〜f17が定義
された例を考える。
【0051】続く、レベルによるスライス処理S32
は、絶対値が所定の許容レベル未満となる信号強度をも
つ変極点を除外し、除外された変極点の位置で分割され
るような区間を定義する処理である。ここでは、図12
に示すような変極点P1〜P17に対して、図13に示
すような許容レベルLLを設定した場合を考える。この
場合、変極点P1,P2,P11,P16,P17が、
許容レベル未満の変極点として除外されることになる。
図14では、このようにして除外された変極点を破線の
矢印で示す。この「レベルによるスライス処理S32」
では、更に、除外された変極点の位置で分割されるよう
な区間K1,K2が定義される。ここでは、1つでも除
外された変極点が存在する場合には、その位置の左右に
異なる区間を設定するようにしており、結果的に、変極
点P3〜P10までの区間K1と、変極点P12〜P1
5までの区間K2とが設定されることになる。なお、こ
こで定義された区間K1,K2は、暫定的な区間であ
り、必ずしも最終的な単位区間になるとは限らない。
【0052】次の不連続部分割処理S33は、時間軸上
において、変極点の固有周波数もしくは信号強度の値が
不連続となる不連続位置を探し、処理S32で定義され
た個々の区間を、更にこの不連続位置で分割することに
より、新たな区間を定義する処理である。たとえば、上
述の例の場合、図15に示すような暫定区間K1,K2
が定義されているが、ここで、もし暫定区間K1内の変
極点P6とP7との間に不連続が生じていた場合は、こ
の不連続位置で暫定区間K1を分割し、図16に示すよ
うに、新たに暫定区間K1−1とK1−2とが定義さ
れ、結局、3つの暫定区間K1−1,K1−2,K2が
形成されることになる。不連続位置の具体的な探索手法
は既に述べたとおりである。たとえば、図15の例の場
合、 |(f3+f4+f5+f6)/4−f7|>ff の場合に、変極点P6とP7との間に固有周波数の不連
続が生じていると認識されることになる。同様に、変極
点P6とP7との間の信号強度の不連続は、 |(a3+a4+a5+a6)/4−a7|>aa の場合に認識される。
【0053】不連続部分割処理S33で、実際に区間分
割を行うための条件としては、 固有周波数の不連続が生じた場合にのみ区間の分割を
行う、 信号強度の不連続が生じた場合にのみ区間の分割を行
う、 固有周波数の不連続か信号強度の不連続かの少なくと
も一方が生じた場合に区間の分割を行う、 固有周波数の不連続と信号強度の不連続との両方が生
じた場合にのみ区間の分割を行う、 など、種々の条件を設定することが可能である。あるい
は、不連続の度合いを考慮して、上述の〜を組み合
わせるような複合条件を設定することもできる。
【0054】こうして、不連続部分割処理S33によっ
て得られた区間(上述の例の場合、3つの暫定区間K1
−1,K1−2,K2)を、最終的な単位区間として設
定することもできるが、ここでは更に、区間統合処理S
34を行っている。この区間統合処理S34は、不連続
部分割処理S33によって得られた区間のうち、一方の
区間内の変極点の固有周波数もしくは信号強度の平均
と、他方の区間内の変極点の固有周波数もしくは信号強
度の平均との差が、所定の許容範囲内であるような2つ
の隣接区間が存在する場合に、この隣接区間を1つの区
間に統合する処理である。たとえば、上述の例の場合、
図17に示すように、区間K1−2と区間K2とを平均
固有周波数で比較した結果、 |(f7+f8+f9+f10)/4−(f12+f1
3+f14+f15)/4|<ff のように、平均の差が所定の許容範囲ff以内であった
場合には、区間K1−2と区間K2とは統合されること
になる。もちろん、平均信号強度の差が許容範囲aa以
内であった場合に統合を行うようにしてもよいし、平均
固有周波数の差が許容範囲ff内という条件と平均信号
強度の差が許容範囲aa以内という条件とのいずれか一
方が満足された場合に統合を行うようにしてもよいし、
両条件がともに満足された場合に統合を行うようにして
もよい。また、このような種々の条件が満足されていて
も、両区間の間の間隔が時間軸上で所定の距離以上離れ
ていた場合(たとえば、多数の変極点が除外されたため
に、かなりの空白区間が生じているような場合)は、統
合処理を行わないような加重条件を課すことも可能であ
る。
【0055】かくして、この区間統合処理S34を行っ
た後に得られた区間が、最終的な単位区間として設定さ
れることになる。上述の例では、最終的に、図18に示
すように、単位区間U1(図17の暫定区間K1−1)
と、単位区間U2(図17で統合された暫定区間K1−
2およびK2)とが設定される。
【0056】なお、ここに示す実施態様では、こうして
得られた単位区間の始端と終端を、その区間に含まれる
最初の変極点の時間軸上の位置を始端とし、その区間に
含まれる最後の変極点の時間軸上の位置を終端とする、
という定義で定めることにする。したがって、図18に
示す例では、単位区間U1は時間軸上の位置t3〜t6
までの区間であり、単位区間U2は時間軸上の位置t7
〜t15までの区間となる。
【0057】<<< 2.4 符号化段階 >>>次
に、図2の流れ図に示されている符号化段階S40につ
いて説明する。ここに示す実施形態では、この符号化段
階S40は、符号データ生成処理S41と、符号データ
修正処理S42とによって構成されている。符号データ
生成処理S41は、区間設定段階S30において設定さ
れた個々の単位区間内の音響データに基づいて、個々の
単位区間を代表する所定の代表周波数および代表強度を
定義し、時間軸上での個々の単位区間の始端位置および
終端位置を示す情報と、代表周波数および代表強度を示
す情報とを含む符号データを生成する処理であり、この
処理により、個々の単位区間の音響データは個々の符号
データによって表現されることになる。一方、符号デー
タ修正処理S42は、後述するように、生成された符号
データを、復号化に用いる再生音源装置の特性に適合さ
せるために修正する処理である。
【0058】符号データ生成処理S41における符号デ
ータ生成の具体的手法は、非常に単純である。すなわ
ち、個々の単位区間内に含まれる変極点の固有周波数に
基づいて代表周波数を定義し、個々の単位区間内に含ま
れる変極点のもつ信号強度に基づいて代表強度を定義れ
ばよい。これを図18の例で具体的に示そう。この図1
8に示す例では、変極点P3〜P6を含む単位区間U1
と、変極点P7〜P15(ただし、P11は除外されて
いる)を含む単位区間U2とが設定されている。ここに
示す実施形態では、単位区間U1(始端t3,終端t
6)については、図19上段に示すように、代表周波数
F1および代表強度A1が、 F1=(f3+f4+f5+f6)/4 A1=(a3+a4+a5+a6)/4 なる式で演算され、単位区間U2(始端t7,終端t1
5)については、図19下段に示すように、代表周波数
F2および代表強度A2が、 F2=(f7+f8+f9+f10+f12+f13+
f14+f15)/8 A2=(a7+a8+a9+a10+a12+a13+
a14+a15)/8 なる式で演算される。別言すれば、代表周波数および代
表強度は、単位区間内に含まれる変極点の固有周波数お
よび信号強度の単純平均値となっている。もっとも、代
表値としては、このような単純平均値だけでなく、重み
を考慮した加重平均値をとってもかまわない。たとえ
ば、信号強度に基づいて個々の変極点に重みづけをし、
この重みづけを考慮した固有周波数の加重平均値を代表
周波数としてもよい。あるいは、単位区間内に含まれる
変極点のもつ信号強度のうちの最大値を代表強度とする
こともできる。
【0059】こうして個々の単位区間に、それぞれ代表
周波数および代表強度が定義されれば、時間軸上での個
々の単位区間の始端位置と終端位置は既に得られている
ので、個々の単位区間に対応する符号データの生成が可
能になる。たとえば、図18に示す例の場合、図20に
示すように、5つの区間E0,U1,E1,U2,E2
を定義するための符号データを生成することができる。
ここで、区間U1,U2は、前段階で設定された単位区
間であり、区間E0,E1,E2は、各単位区間の間に
相当する空白区間である。各単位区間U1,U2には、
それぞれ代表周波数F1,F2と代表強度A1,A2が
定義されているが、空白区間E0,E1,E2は、単に
始端および終端のみが定義されている区間である。
【0060】図21は、図20に示す個々の区間に対応
する符号データの構成例を示す図表である。この例で
は、1行に示された符号データは、区間名(実際には、
不要)と、区間の始端位置および終端位置と、代表周波
数および代表強度と、によって構成されている。一方、
図22は、図20に示す個々の区間に対応する符号デー
タの別な構成例を示す図表である。図21に示す例で
は、各単位区間の始端位置および終端位置を直接符号デ
ータとして表現していたが、図22に示す例では、各単
位区間の始端位置および終端位置を示す情報として、区
間長L1〜L4(図20参照)を用いている。なお、図
21に示す構成例のように、単位区間の始端位置および
終端位置を直接符号データとして用いる場合には、実際
には、空白区間E0,E1,…についての符号データは
不要である(図21に示す単位区間U1,U2の符号デ
ータのみから、図20の構成が再現できる)。
【0061】先願発明に係る音響信号の符号化方法によ
って、最終的に得られる符号データは、この図21ある
いは図22に示すような符号データである。もっとも、
符号データとしては、各単位区間の時間軸上での始端位
置および終端位置を示す情報と、代表周波数および代表
強度を示す情報とが含まれていれば、どのような構成の
データを用いてもかまわない。最終的に得られる符号デ
ータに、上述の情報さえ含まれていれば、所定の音源を
用いて音声の再生(復号化)が可能になる。たとえば、
図20に示す例の場合、時刻0〜t3の期間は沈黙を守
り、時刻t3〜t6の期間に周波数F1に相当する音を
強度A1で鳴らし、時刻t6〜t7の期間は沈黙を守
り、時刻t7〜t15の期間に周波数F2に相当する音
を強度A2で鳴らせば、もとの音響信号の再生が行われ
ることになる。
【0062】§3. MIDI形式の符号データを用い
る実施形態 <<< 3.1 MIDIデータへの変換原理 >>>
上述したように、先願発明に係る音響信号の符号化方法
では、最終的に、個々の単位区間についての始端位置お
よび終端位置を示す情報と、代表周波数および代表強度
を示す情報とが含まれた符号データであれば、どのよう
な形式の符号データを用いてもかまわない。しかしなが
ら、実用上は、そのような符号データとして、MIDI
形式の符号データを採用するのが最も好ましい。ここで
は、MIDI形式の符号データを採用した具体的な実施
形態を示す。
【0063】図23は、一般的なMIDI形式の符号デ
ータの構成を示す図である。図示のとおり、このMID
I形式では、「ノートオン」データもしくは「ノートオ
フ」データが、「デルタタイム」データを介在させなが
ら存在する。「デルタタイム」データは、1〜4バイト
のデータで構成され、所定の時間間隔を示すデータであ
る。一方、「ノートオン」データは、全部で3バイトか
ら構成されるデータであり、1バイト目は常にノートオ
ン符号「90 H」に固定されており( Hは16進数を示
す)、2バイト目にノートナンバーNを示すコードが、
3バイト目にベロシティーVを示すコードが、それぞれ
配置される。ノートナンバーNは、音階(一般の音楽で
いう全音7音階の音階ではなく、ここでは半音12音階
の音階をさす)の番号を示す数値であり、このノートナ
ンバーNが定まると、たとえば、ピアノの特定の鍵盤キ
ーが指定されることになる(C−2の音階がノートナン
バーN=0に対応づけられ、以下、N=127までの1
28通りの音階が対応づけられる。ピアノの鍵盤中央の
ラの音(A3音)は、ノートナンバーN=69にな
る)。ベロシティーVは、音の強さを示すパラメータで
あり(もともとは、ピアノの鍵盤などを弾く速度を意味
する)、V=0〜127までの128段階の強さが定義
される。
【0064】同様に、「ノートオフ」データも、全部で
3バイトから構成されるデータであり、1バイト目は常
にノートオフ符号「80 H」に固定されており、2バイ
ト目にノートナンバーNを示すコードが、3バイト目に
ベロシティーVを示すコードが、それぞれ配置される。
「ノートオン」データと「ノートオフ」データとは対に
なって用いられる。たとえば、「90 H,69,80」
なる3バイトの「ノートオン」データは、ノートナンバ
ーN=69に対応する鍵盤中央のラのキーを押し下げる
操作を意味し、以後、同じノートナンバーN=69を指
定した「ノートオフ」データが与えられるまで、そのキ
ーを押し下げた状態が維持される(実際には、ピアノな
どのMIDI音源の波形を用いた場合、有限の時間内
に、ラの音の波形は減衰してしまう)。ノートナンバー
N=69を指定した「ノートオフ」データは、たとえ
ば、「80 H,69,50」のような3バイトのデータ
として与えられる。「ノートオフ」データにおけるベロ
シティーVの値は、たとえばピアノの場合、鍵盤キーか
ら指を離す速度を示すパラメータになる。
【0065】なお、上述の説明では、ノートオン符号
「90 H」およびノートオフ符号「80 H」は固定であ
ると述べたが、これらの符号の下位4ビットは必ずしも
0に固定されているわけではなく、チャネル番号0〜1
5のいずれかを特定するコードとして利用することがで
き、チャネルごとにそれぞれ別々の楽器の音色について
のオン・オフを指定することができる。
【0066】このように、MIDIデータは、もともと
楽器演奏の操作に関する情報(別言すれば、楽譜の情
報)を記述する目的で利用されている符号データである
が、先願発明に係る音響信号の符号化方法への利用にも
適している。すなわち、各単位区間についての代表周波
数Fに基づいてノートナンバーNを定め、代表強度Aに
基づいてベロシティーVを定め、単位区間の長さLに基
づいてデルタタイムTを定めるようにすれば、1つの単
位区間の音声データを、ノートナンバー、ベロシティ
ー、デルタタイムで表現されるMIDI形式の符号デー
タに変換することが可能になる。このようなMIDIデ
ータへの具体的な変換方法を図24に示す。
【0067】まず、MIDIデータのデルタタイムT
は、単位区間の区間長L(単位:秒)を用いて、 T=L・768 なる簡単な式で定義できる。ここで、数値「768」
は、四分音符を基準にして、その長さ分解能(たとえ
ば、長さ分解能を1/2に設定すれば八分音符まで、1
/8に設定すれば三十二分音符まで表現可能:一般の音
楽では1/16程度の設定が使われる)を、MIDI規
格での最小値である1/384に設定し、メトロノーム
指定を四分音符=120(毎分120音符)にした場合
のMIDIデータによる表現形式における時間分解能を
示す固有の数値である。
【0068】また、MIDIデータのノートナンバーN
は、1オクターブ上がると、周波数が2倍になる対数尺
度の音階では、単位区間の代表周波数F(単位:Hz)
を用いて、 N=(12/log102)・(log10(F/44
0)+69 なる式で定義できる。ここで、右辺第2項の数値「6
9」は、ピアノ鍵盤中央のラの音(A3音)のノートナ
ンバー(基準となるノートナンバー)を示しており、右
辺第1項の数値「440」は、このラの音の周波数(4
40Hz)を示しており、右辺第1項の数値「12」
は、半音を1音階として数えた場合の1オクターブの音
階数を示している。
【0069】更に、MIDIデータのベロシティーV
は、単位区間の代表強度Aと、その最大値Amax とを用
いて、 V=(A/Amax )・127 なる式で、V=0〜127の範囲の値を定義することが
できる。なお、通常の楽器の場合、「ノートオン」デー
タにおけるベロシティーVと、「ノートオフ」データに
おけるベロシティーVとは、上述したように、それぞれ
異なる意味をもつが、この実施形態では、「ノートオ
フ」データにおけるベロシティーVとして、「ノートオ
ン」データにおけるベロシティーVと同一の値をそのま
ま用いるようにしている。
【0070】前章の§2では、図20に示すような2つ
の単位区間U1,U2内の音声データに対して、図21
あるいは図22に示すような符号データが生成される例
を示したが、MIDIデータを用いた場合、単位区間U
1,U2内の音声データは、図25の図表に示すような
各データ列で表現されることになる。ここで、ノートナ
ンバーN1,N2は、代表周波数F1,F2を用いて上
述の式により得られた値であり、ベロシティーV1,V
2は、代表強度A1,A2を用いて上述の式により得ら
れた値である。
【0071】<<< 3.2 MIDIデータの修正処
理 >>>図2に示す流れ図における符号化段階S40
では、符号データ生成処理S41の後に、符号データ修
正処理S42が行われる。符号データ生成処理S41
は、上述した具体的な手法により、たとえば、図25に
示すようなMIDIデータ列を生成する処理であり、符
号データ修正処理S42は、このようなMIDIデータ
列に対して、更に修正を加える処理である。後述するよ
うに、図25に示すようなMIDIデータ列に基づい
て、音声を再生(復号化)するには、実際の音声の波形
データをもった再生音源装置(MIDI音源)が必要に
なるが、このMIDI音源の特性は個々の音源ごとに様
々であり、必要に応じて、用いるMIDI音源の特性に
適合させるために、MIDIデータに修正処理を加えた
方が好ましい場合がある。以下に、このような修正処理
が必要な具体的な事例を述べる。
【0072】いま、図26の上段に示すように、区間長
Liをもった単位区間Ui内の音声データが所定のMI
DIデータ(修正前のMIDIデータ)によって表現さ
れていた場合を考える。すなわち、この単位区間Uiに
は、代表周波数Fiおよび代表強度Aiが定義されてお
り、代表周波数Fi,代表強度Ai,区間長Liに基づ
いて、ノートナンバーNi,ベロシティーVi,デルタ
タイムTiが設定されていることになる。このとき、こ
のMIDIデータを再生するために用いる予定のMID
I音源のノートナンバーNiに対応する再生音の波形
が、図26の中段に示すようなものであったとしよう。
この場合、単位区間Uiの単位長Liよりも、MIDI
音源の再生音の持続時間LLiの方が短いことになる。
したがって、修正前のMIDIデータを、このMIDI
音源を用いてそのまま再生すると、本来の音が鳴り続け
なければならない時間Liよりも短い持続時間LLi
で、再生音は減衰してしまうことになる。このような事
態が生じると、もとの音響信号の再現性が低下してしま
う。
【0073】そこで、このような場合、単位区間を複数
の小区間に分割し、各小区間ごとにそれぞれ別個の符号
データを生成する修正処理を行うとよい。この図26に
示す例の場合、図の下段に示すように、もとの単位区間
Uiを、2つの小区間Ui1,Ui2に分割し、それぞ
れについて別個のMIDIデータを生成するようにして
いる。個々の小区間Ui1,Ui2に定義される代表周
波数および代表強度は、いずれも分割前の単位区間Ui
の代表周波数Fiおよび代表強度Aiと同じであり、区
間長だけがLi/2になったわけであるから、修正後の
MIDIデータとしては、結局、ノートナンバーNi,
ベロシティーVi,デルタタイムTi/2を示すMID
Iデータが2組得られることになる。
【0074】一般のMIDI音源では、通常、再生音の
持続時間はその再生音の周波数に応じて決まる。特に、
心音などの音色についての音源では、再生音の周波数を
f(Hz)とした場合、その持続時間は5/f(秒)程
度である。したがって、このような音源を用いたときに
は、特定の単位区間Uiについて、代表周波数Fiと区
間長Liとの関係が、Li>5/Fiとなるような場合
には、Li/m<5/Fiとなるような適当な分割数m
を求め、上述した修正処理により、単位区間Uiをm個
の小区間に分割するような処理を行うのが好ましい。
【0075】続いて、修正処理が必要な別な事例を示そ
う。いま、再生に用いる予定のMIDI音源の再生音
が、図27の左側に示すような周波数レンジを有してい
るのに対し、生成された一連のMIDIデータに基づく
再生音の周波数レンジが、図27の右側に示すように、
低音側にオフセット量dだけ偏りを生じていたとしよ
う。このような場合、再生音はMIDI音源の一部の周
波数帯域のみを使って提示されるようになるため、一般
的には好ましくない。そこで、MIDIデータの周波数
の平均が、MIDI音源の周波数レンジの中心(この例
では、440Hzの基準ラ音(ノートナンバーN=6
9))に近付くように、MIDIデータ側の周波数(ノ
ートナンバー)を全体的に引き上げる修正処理を行い、
図28に示すように、オフセット量dが0になるように
するとよい。
【0076】もっとも、音響信号の性質によっては、む
しろ低音側にシフトした状態のままで再生した方が好ま
しいものもあり、上述のような修正処理によって必ずし
も良好な結果が得られるとは限らない。したがって、個
々の音響信号の性質を考慮した上で、このような修正処
理を行うか否かを適宜判断するのが好ましい。
【0077】この他にも、用いるMIDI音源によって
は、特性に適合させるために種々の修正処理が必要な場
合がある。たとえば、1オクターブの音階差が2倍の周
波数に対応していないような特殊な規格のMIDI音源
を用いた場合には、この規格に適合させるように、ノー
トナンバーの修正処理などが必要になる。
【0078】上述した符号化のための種々の処理は、実
際には、コンピュータを用いた演算によって行われるこ
とになるが、その演算負担はFFTなどの演算に比べる
と軽く、市販の汎用パーソナルコンピュータを用いても
十分にリアルタイムでの処理が可能である。したがっ
て、上述した処理を汎用パーソナルコンピュータに実行
させるためのプログラムを記述し、このプログラムをフ
ロッピーディスクやCD−ROMなどの媒体に記録して
配布するようにすれば、汎用パーソナルコンピュータを
本発明に係る音響信号の符号化方法を実行するための装
置として利用することができる。また、本発明に係る符
号化方法で符号化したデータは、この汎用パーソナルコ
ンピュータによって、フロッピーディスクやCD−RO
Mなどの媒体に記録して配布したり、通信回線を介して
伝送したりすることもできる。
【0079】§4. 単位区間延長の基本概念 本発明は、これまで述べてきた先願発明を改良し、より
品質の高い再生が可能な符号化を実現したものである。
その基本概念は、上述した符号化方法に、更に個々の単
位区間を延長する処理を付加する点にある。本願発明者
は、上述した符号化方法で得られる個々の符号データに
ついて、その単位区間を時間軸上で引き延ばすことによ
り、再生時(復号時)の品質が向上することを見出だし
たのである。
【0080】たとえば、上述した符号化方法により、図
29に示すような符号データC1〜C7が得られた場合
を考える。各符号データC1〜C7は、それぞれ各単位
区間U1〜U7の始点位置から終点位置に至るまでの期
間、所定の代表周波数に対応する音を所定の代表強度に
対応する振幅強度で提示することを示している。本願発
明者が行った実験によると、図29に示すような符号デ
ータC1〜C7をこのまま復号化して再生するよりも、
各符号データC1〜C7で示される個々の単位区間U1
〜U7を延長した後に復号化して再生した場合の方が、
より品質の高い再生音が得られた。
【0081】このような結果が得られたひとつの理由
は、上述した符号化方法を実施すると、最終的に得られ
る個々の符号データの単位区間が、本来の長さよりも短
くなる傾向にあるためであると、本願発明者は考えてい
る。たとえば、図29に示す符号データC1〜C7の間
隙には、空白区間が存在する。このような空白区間は、
元になった音響データにもともと含まれていた場合もあ
るが、図2のステップS32において行われるスライス
処理によって新たに生じた可能性もある。すなわち、ス
ライス処理によって、許容レベル未満の信号強度をもつ
変極点が除外されてしまった場合、その部分に新たな空
白区間が生じることになる。単位区間の延長処理を行う
と、スライス処理によって除外されてしまった情報が補
完されることになり、再生音の品質向上に寄与するもの
と考えられる。
【0082】単位区間の延長処理を行うことにより、再
生音の品質向上がもたらされる別な理由は、人間の耳
が、ある程度以上の長さをもった音でなければ、音とし
て十分に認識することができないという特性を有するた
めと思われる。たとえば、図29に示す例における符号
データC6は、単位区間U6に相当する期間にわたって
所定の音を提示することを示しているが、この単位区間
U6の長さがあまり短いと、人間の耳には、符号データ
C6に基く再生音を十分に認識することができなくな
る。単位区間の延長処理により、単位区間U6の長さが
延長されると、このような問題が解消するため、再生音
の品質が向上するものと思われる。
【0083】ただ、図29に示す状態のままでは、十分
な効果をもった延長処理を行うことはできない。なぜな
ら、各単位区間はたかだか隣接する単位区間との間に存
在する空白区間を限度として延長できるにすぎないから
である。そこで、本願発明者は、時間軸を共通とする複
数のトラックを定義し、区間設定段階で設定された個々
の単位区間を複数のトラックに分離して再配置するトラ
ック分離処理を行い、各トラックごとにそれぞれ区間延
長処理を行う方法を案出した。たとえば、図29に示す
ように、時間軸t上に単位区間U1〜U7が設定され、
符号データC1〜C7が生成されている場合、図30に
示すように、これらの符号データ(単位区間)を2つの
トラックA,Bに分離して再配置するのである。トラッ
クA,Bはいずれも共通の時間軸tを有しており、各符
号データはもとの時間軸に対応する位置に再配置される
ことになる。
【0084】図示の例では、奇数番目の符号データをト
ラックAに、偶数番目の符号データをトラックBに配置
するようにしている。このように、複数のトラックへ分
離して再配置すれば、各単位区間の間に確保される空白
区間が広がることになり、十分な区間延長処理が可能に
なる。図31は、図30に示す2つのトラックA,B上
に再配置された各単位区間U1〜U7を、それぞれ最大
区間長Lmax になるまで延長し、新たな単位区間UU1
〜UU7を形成した例を示している。この単位区間延長
処理により、符号データC1〜C7は、新たな符号デー
タCC1〜CC7に置換されることになるが、この置換
では各単位区間の区間長のみが変更され、音程および強
度には変化はない。たとえば、符号データがMIDI形
式のデータの場合、符号データCC1は、ノートナンバ
ーおよびベロシティーに関しては符号データC1と同一
であり、デルタタイムだけが変更されることになる。
【0085】図31の例では、トラックAに配置された
単位区間とトラックBに配置された単位区間とが、共通
の時間軸t上で部分的に重複していることがわかる。た
とえば、符号データCC5の後半には、符号データCC
6の前半が重複しており、この重複期間では、符号デー
タCC5とCC6とが和音として再生されることにな
る。同様に、符号データCC7の前半には、符号データ
CC6の後半が重複しており、この重複期間では、符号
データCC7とCC6とが和音として再生されることに
なる。複数のトラックへの分離処理を行うことにより、
同一時間軸上に複数の符号データを重複配置することが
可能になり、和音としての再生が可能になる。このよう
な和音としての再生は、再生音の品質を向上させるにあ
たり極めて有効である。一般に、符号化の対象となった
音響信号には、もともと多数の周波数成分が含まれてい
る。和音としての再生を行うことにより、音質向上が図
れるのは、複数の周波数成分の同時再生により、もとの
音響信号により近い音を再現できるようになるためと思
われる。
【0086】なお、符号化効率をより向上させる上で
は、単位区間の延長処理を行った後、必要に応じて、区
間統合処理を行うようにするのが好ましい。たとえば、
図31に示す例において、同一のトラックA上に隣接配
置されている符号データCC5およびCC7が、互いに
類似した符号データ(たとえば、MIDIデータの場
合、ノートナンバーが類似もしくは同一のデータ)であ
り、かつ、両データの間隙dが所定の基準間隔以下であ
った場合、各符号データの単位区間UU5,UU7を1
つの単位区間に統合する処理を行うとよい。この単位区
間UU5,UU7の統合により、符号データCC5,C
C7も1つの符号データに統合されることになるが、統
合後の符号データの内容は、統合前の符号データの内容
に基いて適宜決定すればよい。たとえば、MIDIデー
タの場合、統合前の2つの符号データにおけるノートナ
ンバーの最小値およびベロシティーの最大値を、統合後
の符号データの値とすればよい。
【0087】図32は、上述した単位区間の延長処理を
採り入れた場合の符号化方法の全手順を示す流れ図であ
る。ここで、ステップS10の入力段階、ステップS2
0の変極点定義段階、ステップS30の区間設定段階
は、図2に示した流れ図の各段階と同じであるが、ステ
ップS40の符号化段階では、ステップS41の符号デ
ータ生成処理S41とステップS42の符号データ修正
処理との間に、新たに、ステップS50のトラック分離
処理、ステップS60の単位区間延長処理、ステップS
70の区間統合処理が付加されている。なお、ステップ
S50,S60,S70の各処理は、ステップS41の
符号データ生成処理の前段階に挿入するようにしてもか
まわない。
【0088】ステップS50のトラック分離処理は、図
29に示すような符号データC1〜C7を、図30に示
すように、複数のトラックA,Bに分離して再配置する
処理である。次のステップS60の単位区間延長処理
は、図30に示すような各トラックごとの符号データC
1〜C7の単位区間を延長し、図31に示すような符号
データCC1〜CC7を得る処理である。続くステップ
S70の区間統合処理は、必要に応じて、互いに類似し
た符号データをもつ単位区間が同一トラック上で所定の
基準間隔以下の間隔をおいて隣接配置されていた場合
に、これらの単位区間を1つの単位区間に統合する処理
である。この場合、統合後の符号データは統合前の個々
の符号データに基いて作成される。
【0089】§5. 単位区間延長の具体的処理手順 図33は、ステップS50のトラック分離処理の具体的
な手順の一例を示す流れ図である。図30に示す例で
は、奇数番目の単位区間U1,U3,U5,U7をトラ
ックAに配置し、偶数番目の単位区間U2,U4,U6
をトラックBに配置するという交互配置の手法を採って
いたが、ステップS70の区間統合処理を行う場合、で
きるだけ区間統合が行われやすい方法でトラック分離を
行うのが好ましい。図33に示す手順でトラック分離処
理を行えば、互いに類似した符号データをもつ近接した
単位区間が同一トラック上に再配置されるようなトラッ
ク分離が行われるため、ステップS70において区間統
合が行われやすくなる。この図33に示す手順では、複
数I個のトラックに分離する一般例が示されているが、
ここでは便宜上、図34に示すような12個の符号デー
タC1〜C12を、図35に示すような3つのトラック
A,B,Cに分離する場合(I=3の場合)を例にとっ
て説明する。なお、図34に示す符号データC1〜C1
2には、図示のとおり、N1,N2,N3のうちのいず
れかのノートナンバーが定義されているものとする。
【0090】まず、ステップS51において、パラメー
タiを初期値1に設定する。パラメータiは、何番目の
トラックについての配置処理を行っているかを示してお
り、i=1の場合、第1番目のトラックAについての配
置処理が行われることになる。続くステップS52で
は、先頭の符号データを抽出し、i番目のトラックに配
置する処理が行われる。すなわち、図34の例の場合、
先頭の符号データC1が第1番目のトラックAに配置さ
れることになる。次のステップS53では、直前に抽出
された符号データに対して、所定範囲内の後続する符号
データに類似する符号データがあるか否かが探索され
る。この実施例では、「所定範囲内の後続する符号デー
タ」として、「後続する3番目までの符号データ」とい
う条件を定めている。たとえば、図34の例の場合、符
号データC1に対する「後続する3番目までの符号デー
タ」は、符号データC2,C3,C4ということにな
る。ステップS53では、この3つの符号データC2,
C3,C4の中で、符号データC1に類似する符号デー
タがあるか否かが探索される。いかなる場合に、「類似
する」と判断するかは、適宜定めることができるが、こ
こでは、ノートナンバーが一致した場合に「類似する」
と判断することにする。上述の例の場合、符号データC
1のノートナンバーN1と同一のノートナンバーを有す
る符号データC3が、類似する符号データとして探索さ
れることになる。
【0091】こうして、類似する符号データが探索され
ると、ステップS54からステップS55へと分岐し、
この類似する符号データを抽出し、i番目のトラックに
配置する処理が行われる。上述の例の場合、類似する符
号データC3が抽出され、第1番目のトラックAに配置
される。そして、再びステップS53の処理が実行され
る。すなわち、今度は、直前に抽出された符号データC
3に対して、「後続する3番目までの符号データ」の中
で、類似する符号データの有無が探索され、符号データ
C4が類似データとして抽出されることになる。かくし
て、「後続する3番目までの符号データ」の中に、類似
する符号データ(この例の場合、同一のノートナンバー
を有する符号データ)がある限り、この類似する符号デ
ータが抽出され、同一のトラックに次々と配置されてゆ
く。図示の例では、トラックAに、符号データC1,C
3,C4が配置されることになる。
【0092】ところが、符号データC4に後続する3番
目までの符号データC5,C6,C7の中には、符号デ
ータC4と同一のノートナンバーを有する符号データは
ないので、ステップS54からステップS56へと分岐
することになる。このステップS56では、所定の符号
データを抽出し、i番目のトラックに配置する処理が行
われる。「所定の符号データ」としては、この例では
「後続する3番目の符号データ」と定めている。したが
って、符号データC4に後続する3番目の符号データC
7が抽出され、トラックAに配置される。
【0093】今度は、この符号データC7に対して、ス
テップS53における探索が行われ、その結果、同一の
ノートナンバーをもった符号データC9が探索されるこ
とになる。そこで、ステップS54からステップS55
へと分岐し、符号データC9を抽出して、トラックAに
配置する処理が行われる。同様に、この符号データC9
に対して、ステップS53における探索が行われ、その
結果、同一のノートナンバーをもった符号データC10
が探索されることになる。そして、ステップS54から
ステップS55へと分岐し、符号データC10を抽出し
て、トラックAに配置する処理が行われる。
【0094】次に、この符号データC10に対して、ス
テップS53における探索処理が行われるが、図示の例
では、符号データC10については、2つの後続符号デ
ータC11,C12しか残っておらず、後続する3番目
の符号データを探索する前に、符号データ列は終了して
しまう。このように、符号データ列が終了した場合は、
ステップS54からステップS57へと分岐し、パラメ
ータiの値が1だけ更新される。この例の場合、i=2
となり、今度は第2番目のトラックBについての配置処
理が実行されることになる。すなわち、ステップS58
からステップS52へと戻り、残っている先頭の符号デ
ータC2が抽出され、第2番目のトラックBに配置され
ることになる。以下、同様にトラックBへの配置が実行
され、図35に示すように、符号データC5,C6,C
8,C11が配置されることになる。符号データC11
の配置が完了すると、符号データ列が終了するので、ス
テップS54からステップS57へと分岐し、パラメー
タiが3に更新される。
【0095】この時点で、i=Iとなるので、ステップ
S58からステップS59へと分岐し、残りの符号デー
タをすべてi番目のトラックに配置する処理が行われ
る。上述の例では、最後に残った符号データC12が第
3番目のトラックCに配置されることになる。
【0096】かくして、図34に示す符号データC1〜
C12が、図35に示すように3つのトラックA,B,
Cに再配置されたことになる。ここで留意すべき点は、
互いに類似した符号データ(この例の場合、同一のノー
トナンバーをもった符号データ)をもつ近接した単位区
間が同一トラック上に再配置されている点である。たと
えば、図35に示すトラックAでは、符号データC1,
C3,C4が近接して配置されており、符号データC
7,C9,C10も近接して配置されている。また、ト
ラックBでは、符号データC2,C5,C6およびC
8,C11が近接して配置されている。このように近接
配置された類似符号データの一部は、後の区間統合処理
で統合されることになる。
【0097】図36は、図35に示す3つのトラックに
分離された符号データに対して、それぞれ単位区間延長
処理を行った結果を示す図である。この例では、最大区
間長Lmax を図のように定義し、各区間を、隣接する区
間に接触するまで、最大でLmax まで延長する処理が行
われている。その結果、符号データC1〜C12は、そ
れぞれ符号データCC1〜CC12に置換されることに
なる。この例では、符号データCC3,CC5,CC9
は、いずれも後続する符号データに接触したため、最大
区間長Lmax まで延長することはできなかったが、他の
符号データはいずれも最大区間長Lmax まで延長されて
いる。
【0098】図37は、図36に示す単位区間延長処理
後の符号データに対して、区間統合処理を行った結果を
示す図である。すなわち、互いに類似した符号データを
もつ単位区間が同一トラック上で所定の基準間隔以下の
間隔をおいて隣接配置されていた場合に、これらの単位
区間を1つの単位区間に統合する処理が行われている。
具体的には、符号データCC3,CC4が符号データC
C34に統合され、符号データCC5,CC6が符号デ
ータCC56に統合され、符号データCC9,CC10
が符号データCC910に統合されている。このような
区間統合処理により、データ量を圧縮させることがで
き、符号化効率を更に向上させることができる。
【0099】図38は、ステップS60の単位区間延長
処理の具体的な手順の一例を示す流れ図である。ここに
示す手順では、個々の単位区間を延長するだけでなく、
基準に満たない短い単位区間を削除する処理も併せて行
っている。すなわち、まずステップS61において、単
位区間延長処理を行う際の最大区間長Lmax と最小区間
長Lmin とを設定する。最大区間長Lmax は、隣接する
単位区間に接触しない限り延長が許される最大の区間長
を示しており、最小区間長Lmin は、区間長がLmin 未
満の区間を削除するという基準を示している。この図3
8に示す手順では、最大区間長Lmax および最小区間長
Lmin の意義に適した処理が行われるよう、パラメータ
Lthを用いたループ処理を行っている。パラメータLth
は、ステップS62において初期値0に設定されるが、
ステップS66において、ΔLずつ徐々に増加するパラ
メータになっており、最終的にステップS64において
Lmin に達したと判断されるまで、ステップS63〜S
66のループ処理が繰り返し行われることになる。
【0100】まず、ステップS63では、後続区間に接
触するまで、各区間を最大Lmax まで延長する処理が行
われる。そして、ステップS64において、パラメータ
Lth≧Lmin と判断されない限り、ステップS65へと
進み、区間長LがパラメータLth未満である区間が存在
した場合に、その区間が削除される。このような処理
が、ステップS66で、パラメータLthの値をΔLずつ
増加させながら繰り返し実行されることになる。
【0101】この図38の手順に示す単位区間延長処理
の理解を深めるために、図39に示すようなトラックA
を例にとって、具体的な処理内容を説明しよう。この例
では、4つの符号データC1〜C4がトラックAに配置
されており、最大区間長Lmax と最小区間長Lmin とが
図示されている長さに設定されていたものとする。
【0102】まず、ステップS63において、各区間に
対する延長が行われる。その結果、トラックAの各符号
データは、図40(a) に示すようになる。すなわち、符
号データC3,C4は、最大区間長Lmax に至るまで延
長されて符号データCC3,CC4となり、符号データ
C1,C2は後続する符号データに接触するまで延長さ
れて符号データCC1,CC2となる。この状態では、
もはやこれ以上延長できる単位区間は存在しない。しか
しながら、ステップS63〜S66に至るループを繰り
返し実行するうちに、パラメータLthは0から徐々に増
加してゆくことになり、やがて、符号データCC2の区
間長がパラメータLth未満になる。すると、ステップS
65において、符号データCC2に対する削除処理が実
行され、図40(b) に示すように、トラックA上から符
号データCC2は削除されることになる。続いて、この
削除処理後のステップS63の実行によって、符号デー
タCC1は最大区間長Lmax に至るまで延長されて、図
40(c) に示すように、符号データCCC1となる。や
がて、パラメータLthが最小区間長Lmin に到達する
と、ステップS64からの分岐により、この処理手順は
終了する。かくして、最大区間長Lmax までの延長処理
とともに、最小区間長Lmin 未満の単位区間の削除処理
が行われたことになる。
【0103】この後、ステップS70の区間統合処理が
行われる。たとえば、同じノートナンバーを有し、基準
間隔d以下の間隔をおいて隣接配置されている符号デー
タを統合の対象とするような設定を行った場合、図40
(c) に示すように、間隔dをおいて隣接配置されている
符号データCCC1とCC3とは統合の対象となり、図
40(d) に示すように、新たな符号データCCC13に
よって置換されることになる。
【0104】§6. 代表周波数の異なる単位区間を重
複定義する手法 これまで述べてきた符号化方法は、生体の発生するリズ
ム音、波や風などの自然が発生するリズム音というよう
に、個々の単位区間内にある程度限定された周波数成分
のみを含む音響信号の符号化には、実用上十分な再現性
を確保することができる。しかしながら、いわゆるヴォ
ーカル音響と呼ばれている人間の声音のように、非常に
幅の広い周波数成分を同時に含んでいるような音響信号
を符号化した場合、必ずしも十分な再現性を確保するこ
とはできない。特に、人間の声音には、ホルマントと呼
ばれる特性(倍音以外の高調波成分が混在する特性)が
あることが知られており、上述した方法では十分な再現
性をもった符号化ができないことは、理論的にも裏付け
られる。一般的な楽器では、ある特定の音程を演奏する
と、演奏した音程に対応する周波数成分とともに、その
整数倍の周波数成分(倍音高調波成分)が得られる。し
たがって、このような楽器の演奏波形をMIDI音源と
して利用すれば、上述した符号化方法でも倍音高調波成
分を含んだ音を再現することができる。ところが、ホル
マントを有する人間の声音には、倍音以外の高調波成分
が含まれているため、十分な再現性を確保することがで
きなくなる。
【0105】以下に述べる手法は、ホルマントを有する
人間の声音の符号化にも十分に対応できるような改良を
施したものである。図41に、この手法の基本概念を示
す。図41の中段には、時系列の強度信号としてのデジ
タル音響データの波形が示されており、この波形より下
側には、高域周波数に着目した処理が示され、この波形
より上側には、低域周波数に着目した処理が示されてい
る。すなわち、図の下半分に示された高域周波数に着目
した処理では、高域単位区間Uh(1)〜Uh(6)が
設定され、これら各単位区間について、それぞれ代表周
波数Fh(1)〜Fh(6)と代表強度Ah(1)〜A
h(6)が定義されており、最終的に図の最下段に示さ
れているような高域符号データが生成されることにな
る。一方、図の上半分に示された低域周波数に着目した
処理では、低域単位区間Ul(1)〜Ul(4)が設定
され、これら各単位区間について、それぞれ代表周波数
Fl(1)〜Fl(4)と代表強度Al(1)〜Al
(4)が定義されており、最終的に図の最上段に示され
ているような低域符号データが生成されることになる。
【0106】ここで重要な点は、高域単位区間Uh
(1)〜Uh(6)と低域単位区間Ul(1)〜Ul
(4)とが、時間軸t上において、少なくともその一部
分が重複しているという点である。もちろん、時間軸t
を図の左から右へと辿っていった場合、高域単位区間の
みしか設定されていない部分や、低域単位区間のみしか
設定されていない部分が存在し、また、いずれの単位区
間も設定されていない部分も存在し得るが、少なくとも
時間軸t上の一部分には、高域単位区間と低域単位区間
とが重複して設定された区間が存在することになる。こ
うして重複設定された単位区間について、それぞれ独立
して代表周波数および代表強度を定めて符号化すれば、
時間軸上で重複した符号データが得られることになる。
たとえば、図41に示す例の場合、最下段に示された高
域符号データと、最上段に示された低域符号データと
は、時間軸t上において少なくとも部分的には重なって
おり、再生時には、和音として演奏されることになる。
なお、図示されている音符は概念を示すためのものであ
り、図の中段に示された波形や各単位区間とは直接関連
していない。このように、時間軸上で少なくとも部分的
に重複する単位区間を設定し、各単位区間ごとにそれぞ
れ別個に符号化を行うようにすれば、再生時には、種々
の周波数成分を含んだ和音としての形式で音の再現が可
能になる。
【0107】この§6で述べる符号化手順は、§5まで
に述べた符号化手順とほぼ同様に行うことができる。す
なわち、図2あるいは図32の流れ図に示すように、入
力段階S10において、符号化対象となる音響信号を、
デジタルの音響データとして取り込む処理が行われ、続
いて、変極点定義段階S20において、取り込んだ音響
データの波形について変極点を求める処理が行われる。
ここまでの処理は、既に述べた手順と全く同じである。
次に、区間設定段階S30において、単位区間の設定が
行われるが、ここでは、前述したように、時間軸上で少
なくとも部分的に重複するような区間設定が行われるこ
とになる。また、符号化段階S40では、各単位区間ご
とに符号化する処理が行われるが、この処理も重複設定
された各単位区間ごとに行われることになる。
【0108】区間設定段階S30において最初に行われ
る処理は、既に述べたように、固有周波数定義処理S3
1である。この時点では、既に、変極点探索処理S21
によって、音響データ波形についての個々の変極点が探
索され、同極性変極点の間引処理S22によって、同極
性のデジタル値をもった変極点が複数連続する場合に、
絶対値が最大のデジタル値をもった変極点のみを残す間
引きが行われており、正の信号値をもつ変極点と負の信
号値をもつ変極点とが交互に現れる状態になっている。
固有周波数定義処理S31は、このような各変極点のそ
れぞれに対して、近傍の情報に基いて固有周波数を定義
する処理であるが、本手法では、1つの変極点に対して
固有周波数を定義する方法を複数通り設定するように
し、これら複数通りの方法を用いて、各変極点に複数通
りの固有周波数を定義するようにしている。
【0109】ここでは、ヴォーカル音響信号に対して用
いるのに適した2通りの具体的な固有周波数定義方法を
説明する。いま、変極点定義段階S20を経ることによ
り、図42にその一部が示されているような変極点群が
得られた場合を考える。図42には、この変極点群のう
ちの第n番目の変極点P(n)〜第(n+12)番目の
変極点P(n+12)が示されている。このような変極
点群には、2つの周波数成分が含まれていることがわか
る。すなわち、変極点P(n)とP(n+2)との距離
φhを一周期とする高域周波数成分と、変極点P(n)
とP(n+6)との距離φlを一周期とする低域周波数
成分とである。ヴォーカル音響信号に対して変極点の定
義を行うと、図42に示すような特徴が顕著に現れる。
これは、前述したように、人間の音声はホルマントとい
う特徴を有するためである。図42に示す例において、
正の信号強度をもつ変極点P(n),P(n+2),P
(n+4),P(n+6),P(n+8)…に注目すれ
ば、信号強度が大中小大中小…と変化していることがわ
かる。この大中小という変化の周期が周期φlに相当
し、低域周波数成分を示すことになる。これに対し、同
極性の変極点の出現周期が周期φhに相当し、高域周波
数成分を示すことになる。
【0110】結局、個々の変極点に対して固有周波数を
定義する第1の方法として、同極性の変極点が現れる周
期φhを探索し、この周期φhに基いて固有周波数を定
義する方法を採れば、高域固有周波数fhを定義するこ
とができる。また、個々の変極点に対して固有周波数を
定義する第2の方法として、近似した信号強度をもつ変
極点が現れる周期φlを探索し、この周期φlに基いて
固有周波数を定義する方法を採れば、低域固有周波数f
lを定義することができる。より具体的には、各変極点
について、それぞれ所定の条件を満たす特定の変極点を
探索し、探索された変極点との間の時間軸上での距離に
基いて固有周波数を定義すればよい。たとえば、図42
において、変極点P(n)についての高域固有周波数f
hを定義するには、「後続して最初に出現する同極性の
変極点」という条件を設定して探索を行えばよい。その
結果、この条件を満たす変極点P(n+2)が探索され
ることになるので、両変極点の時間軸上での距離φhを
周期とする周波数が定義される。同様に、変極点P
(n)についての低域固有周波数flを定義するには、
「変極点P(n)のもつ信号強度にほぼ等しい信号強度
をもち、後続して最初に出現する変極点(信号強度に符
号をもたせておけば、当然同極性の変極点になる)」と
いう条件を設定して探索を行えばよい。その結果、この
条件を満たす変極点P(n+6)が探索されることにな
るので、両変極点の時間軸上での距離φlを周期とする
周波数が定義される。このように、探索条件を変えるこ
とにより、同一の変極点に対して複数通りの固有周波数
を定義することが可能になる。
【0111】上述の手法によれば、第n番目の変極点P
(n)についての高域固有周波数fh(n)は、§2.
3で述べたように、任意の整数kを用いて、 fh(n)=(k/2)・1/(t(n+k)−t
(n)) なる式で得られることになる。すなわち、第n番目の変
極点P(n)に対してk個離れた変極点P(n+k)を
探索し(kが正の場合は後続する変極点、負の場合は先
行する変極点)、変極点P(n)の時間軸上での位置t
(n)と探索された変極点P(n+k)の時間軸上での
位置t(n+k)との差の逆数に基いて、高域固有周波
数fh(n)が得られることになる。既に述べたよう
に、kの値は、ある程度大きく設定した方が、誤差の少
ない固有周波数を定義することができるが、あまり大き
く設定しすぎると、ローカルな周波数としての意味が失
われてしまう。
【0112】図42に示す例の場合、変極点P(n)に
ついての高域固有周波数fh(n)は、図示の周期φh
の逆数として定義することができ、 fh(n)=1/φh =1/(t(n+2)−t(n)) なる式で与えられるが、これは上述の式における係数k
=2に設定した場合に他ならない。もちろん、係数k=
4に設定すれば、変極点P(n+4)を探索対象とし
て、 fh(n)=2・(1/(t(n+4)−t(n))) なる式により、高域固有周波数fh(n)の値を定義す
ることもできる。
【0113】一方、第n番目の変極点P(n)について
の低域固有周波数fl(n)は、 fl(n)=1/(t(n+k)−t(n)) なる式で得られることになる。ただし、右辺の分母に示
されている係数kは任意の整数ではなく、所定の条件を
満たす整数でなければならない。すなわち、整数kで特
定される変極点P(n+k)が、変極点P(n)のもつ
信号強度に対して所定の誤差範囲内にある信号強度をも
つ変極点のうち、変極点(n)に最も近い後続する変極
点となるようにしなければならない。あるいは、整数k
を負にとって、先行する変極点を探索対象とする場合に
は、整数kで特定される変極点P(n+k)が、変極点
P(n)のもつ信号強度に対して所定の誤差範囲内にあ
る信号強度をもつ変極点のうち、変極点(n)に最も近
い先行する変極点となるようにしてもかまわない。この
式の意味するところは、要するに、変極点P(n)のも
つ信号強度とほぼ同じ信号強度をもった最も近い変極点
P(n+k)を探索し、変極点P(n)の時間軸上での
位置t(n)と探索された変極点P(n+k)の時間軸
上での位置t(n+k)との差の逆数に基いて、低域固
有周波数fl(n)を決定するということである。
【0114】図42に示す例の場合、変極点P(n)に
ついての低域固有周波数fl(n)は、図示の周期φl
の逆数として定義することができ、 fl(n)=1/φl =1/(t(n+6)−t(n)) なる式で与えられるが、これは上述の式における係数k
=6に設定した場合に他ならない。すなわち、図42の
例では、変極点P(n+6)が、変極点P(n)のもつ
信号強度に対して所定の誤差範囲内にある信号強度を有
し、変極点P(n)に最も近い後続する変極点として探
索されたことになる。なお、理論的には、必ずしも最も
近い後続する変極点(もしくは最も近い先行する変極
点)を探索対象とする必要はない。たとえば、2番目に
近い後続する変極点P(n+12)を探索対象とした場
合であっても、 fl(n)=2・(1/(t(n+12)−t
(n))) なる式で低域固有周波数fl(n)を定義することがで
き、一般に、z番目に近い後続もしくは先行する変極点
P(n+k)を探索対象とした場合、 fl(n)=z・(1/(t(n+k)−t(n))) なる式で低域固有周波数fl(n)を定義することがで
きる。
【0115】かくして、本発明の場合、図2の流れ図に
おけるステップS31の固有周波数定義処理は、個々の
変極点に対してそれぞれ複数通りの固有周波数が定義さ
れることになる。そして、ステップS32〜S34の個
々の処理は、複数通りの固有周波数についてそれぞれ別
個に行われ、ステップS41〜S42の個々の処理も、
複数通りの固有周波数についてそれぞれ別個に行われる
ことになる。結局、時間軸上で重複するような複数の符
号データが生成されることになり、これらの符号データ
を時間軸上で重複して再生することにより、ホルマント
特性を有する人間の声音についても実用的なレベルでの
再現性が確保できることになる。
【0116】たとえば、図42に示す具体例において、
n=1として、各変極点をP1〜P13で表わした場
合、各変極点にそれぞれ高域固有周波数を定義すれば、
図43に示すような固有周波数fhxおよび信号強度a
xをもった変極点群が定義されることになり、各変極点
にそれぞれ低域固有周波数を定義すれば、図44に示す
ような固有周波数flxおよび信号強度axをもった変
極点群が定義されることになる(ただし、x=1〜1
3)。このような2通りの変極点群に対して、それぞれ
別個独立して、ステップS32におけるレベルによるス
ライス処理、ステップS33における不連続部分割処
理、ステップS34における区間統合処理を実行すれ
ば、2通りの単位区間が設定されることになる。ここ
で、図43に示すような高域固有周波数をもつ変極点群
に基いて設定された単位区間は、各変極点に与えられた
高域固有周波数が所定の近似範囲となるような一群の変
極点を含む区間として設定されることになり、図44に
示すような低域固有周波数をもつ変極点群に基いて設定
された単位区間は、各変極点に与えられた低域固有周波
数が所定の近似範囲となるような一群の変極点を含む区
間として設定されることになる。要するに、ステップS
30の区間設定段階では、同一の方法で定義された固有
周波数が所定の近似範囲内となるような一群の変極点を
含む区間を1つの単位区間と設定する処理が行われる。
固有周波数の定義は、複数通りの方法で行われるため、
時間軸上で重複する複数の単位区間が定義されることに
なる。
【0117】ステップS40の符号化段階では、各単位
区間について、それぞれ別個独立して代表周波数および
代表強度が定義される。すなわち、単位区間内に含まれ
る変極点について定義された複数通りの固有周波数のう
ち、当該単位区間の設定に関与した固有周波数に基い
て、当該単位区間の代表周波数が定義され、当該単位区
間に含まれる変極点のもつ信号強度に基いて当該単位区
間の代表強度が定義される。たとえば、図41に示す例
の場合、高域単位区間Uh(1)については、この区間
Uh(1)内に含まれる変極点について定義された複数
通りの固有周波数のうち、当該単位区間の設定に関与し
た高域固有周波数に基いて代表周波数Fh(1)が定義
されることになり、この区間Uh(1)内に含まれる変
極点のもつ信号強度に基いて代表強度Ah(1)が定義
されることになる。
【0118】なお、§3.1で説明したMIDIデータ
への変換原理によると、個々の単位区間に相当するMI
DIデータのベロシティーVを、単位区間の代表強度A
を最大値Amax で規格化して、127を乗じることによ
り、 V=(A/Amax )・127 なる式で定義し、V=0〜127の値をとるベロシティ
ーVを求めていたが、いわゆるヴォーカル音声信号を符
号化する場合には、規格化した値の平方根をとって、 V=(A/Amax )1/2・127 なる式でベロシティーVを定義するか、あるいは対数を
とって、 V=log(A/Amax )・127+127 (ただし、V<0の場合は、V=0とする) なる式でベロシティーVを定義した方が、より自然な再
生音が得られるようになり好ましい。
【0119】最後に、この§6で述べた手法と、§4,
§5で述べた区間延長を行う手法とを組み合わせた実施
形態を示しておく。いま、図45(a) に示すような音響
データが与えられた場合を考えよう。このような音響デ
ータに対して、変極点が探索され、各変極点について固
有周波数と信号強度とが求められるが、この§6で述べ
た手法によれば、図45(b) に示すような低域固有周波
数flの定義と、図45(c) に示すような高域固有周波
数fhの定義とが行われることになる。そして、低域固
有周波数に基いて設定された単位区間について、図45
(d) に示すような低域符号データC11,C12が定義
され、高域固有周波数に基いて設定された単位区間につ
いて、図45(e) に示すような高域符号データC21〜
C25が定義される。
【0120】続いて、これらの各符号データに対して、
それぞれ単位区間延長処理を施す。ただし、ここで示す
実施形態では、図45(d) に示す低域符号データに対し
ては、トラック分離処理を行うことなしに区間延長処理
を行うこととし、図45(e)に示す高域符号データに対
しては、トラック分離処理によって2つのトラックに分
離した後、各トラックごとに区間延長処理を行うことに
する。すなわち、図45(e) に示す高域符号データのう
ちの符号データC21,C23,C24は、図46(a)
に示すようにトラックAに再配置され、符号データC2
2,C25は、図46(b) に示すようにトラックBに再
配置される。そして、トラックA上の符号データC2
1,C23,C24に対して単位区間延長処理を施すこ
とにより、図47に示すような符号データCC21,C
C23,CC24が得られ、トラックB上の符号データ
C22,C25に対して単位区間延長処理を施すことに
より、図47に示すような符号データCC22,CC2
5が得られる。一方、図45(d) に示す低域符号データ
C11,C12に対して単位区間延長処理を施し、これ
をトラックCに配置すれば、図47に示すような符号デ
ータCC11,CC12が得られる。
【0121】結局、図47に示すように、時間軸tを共
通とする3つのトラックA,B,Cが設定され、各トラ
ックに分離した状態で、延長処理が施された符号データ
がそれぞれ配置されることになる。したがって、再生時
には、3つのトラックの和音として再生音が提示される
ことになる。ただ、符号化方法のプロセスを考慮する
と、3つのトラックの意味合いは若干異なっている。す
なわち、符号データをトラックAとトラックBに分離し
たのは、単位区間延長処理の便宜のためであるのに対
し、トラックA,BとトラックCとを設けたのは、高域
固有周波数に基いて定義された符号データを前者に配置
し、低域固有周波数に基いて定義された符号データを後
者に配置するためである。
【0122】なお、上述の実施形態では、低域符号デー
タについては単位区間延長処理の便宜のためのトラック
分離処理を行っていないが、高域符号データと同様にト
ラック分離処理を行うようにしてもかまわない。もっと
も、実用上は、低域符号データに関しては、単位区間延
長処理のために十分な空白区間が確保できる場合が多い
ので、高域符号データに対してのみトラック分離処理を
行うようにしても十分である。
【0123】
【発明の効果】以上のとおり本発明によれば、音響信号
に対して効率的な符号化を行うことができるようにな
る。
【図面の簡単な説明】
【図1】先願発明に係る音響信号の符号化方法の基本原
理を示す図である。
【図2】先願発明に係る音響信号の符号化方法の実用的
な手順を示す流れ図である。
【図3】入力した音響データに含まれている直流成分を
除去するデジタル処理を示すグラフである。
【図4】図3に示す音響データの一部を時間軸に関して
拡大して示したグラフである。
【図5】図4に矢印で示す変極点P1〜P6のみを抜き
出した示した図である。
【図6】多少乱れた音響データの波形を示すグラフであ
る。
【図7】図6に矢印で示す変極点P1〜P7のみを抜き
出した示した図である。
【図8】図7に示す変極点P1〜P7の一部を間引処理
した状態を示す図である。
【図9】個々の変極点について、固有周波数を定義する
方法を示す図である。
【図10】個々の変極点に関する情報に基づいて、単位
区間を設定する具体的手法を示す図である。
【図11】所定の許容レベルLLに基づくスライス処理
を示す図である。
【図12】単位区間設定の対象となる多数の変極点を矢
印で示した図である。
【図13】図12に示す変極点に対して、所定の許容レ
ベルLLに基づくスライス処理を行う状態を示す図であ
る。
【図14】図13に示すスライス処理によって変極点を
除外し、暫定区間K1,K2を設定した状態を示す図で
ある。
【図15】図14に示す暫定区間K1についての不連続
位置を探索する処理を示す図である。
【図16】図15で探索された不連続位置に基づいて、
暫定区間K1を分割し、新たな暫定区間K1−1とK1
−2とを定義した状態を示す図である。
【図17】図16に示す暫定区間K1−2,K2につい
ての統合処理を示す図である。
【図18】図17に示す統合処理によって、最終的に設
定された単位区間U1,U2を示す図である。
【図19】各単位区間についての代表周波数および代表
強度を求める手法を示す図である。
【図20】5つの区間E0,U1,E1,U2,E2を
定義するための符号データを示す図である。
【図21】図20に示す単位区間U1,U2内の音響デ
ータを符号化して得られる符号データの一例を示す図表
である。
【図22】図20に示す単位区間U1,U2内の音響デ
ータを符号化して得られる符号データの別な一例を示す
図表である。
【図23】一般的なMIDI形式の符号データの構成を
示す図である。
【図24】各単位区間内の音響データについてのMID
Iデータへの具体的な変換方法を示す図である。
【図25】図20に示す単位区間U1,U2内の音響デ
ータを、MIDIデータを用いて符号化した状態を示す
図表である。
【図26】生成したMIDIデータに対して修正処理が
必要な第1の事例を示す図である。
【図27】生成したMIDIデータに対して修正処理が
必要な第2の事例を示す図である。
【図28】図27に示す事例における修正後の状態を示
す図である。
【図29】先願発明の符号化方法により得られる符号デ
ータの一例を示す図である。
【図30】図29に示す符号データを2つのトラック
A,Bに分離して再配置した状態を示す図である。
【図31】図30に示す2つのトラックA,B上に再配
置された各単位区間U1〜U7を、それぞれ最大区間長
Lmax になるまで延長し、新たな単位区間UU1〜UU
7を形成した例を示す図である。
【図32】本発明に係る単位区間の延長処理を採り入れ
た場合の符号化方法の全手順を示す流れ図である。
【図33】図32に示すステップS50のトラック分離
処理の具体的な手順の一例を示す流れ図である。
【図34】図33に示す手順の説明に用いる符号データ
列を示す図である。
【図35】図34に示す符号データを3つのトラック
A,B,Cに分離して再配置した状態を示す図である。
【図36】図35に示す各トラック上の符号データに対
して単位区間延長処理を施した状態を示す図である。
【図37】図36に示すトラックA,B上の符号データ
に対して区間統合処理を施した状態を示す図である。
【図38】図32に示すステップS60の単位区間延長
処理の具体的な手順の一例を示す流れ図である。
【図39】図38に示す手順の説明に用いる符号データ
列を示す図である。
【図40】図39に示す符号データに対して、図38に
示す手順を実行した状態を示す図である。
【図41】時間軸上に少なくとも一部が重複するよう
に、高域単位区間および低域単位区間をそれぞれ定義
し、各単位区間にそれぞれ異なる周波数を定義する符号
化方法の基本原理を示す図である。
【図42】個々の変極点について、それぞれ高域固有周
波数と低域固有周波数との2通りの固有周波数を定義す
る方法を示す図である。
【図43】図42に示す個々の変極点について、高域固
有周波数と信号強度とを定義した状態を示す図である。
【図44】図42に示す個々の変極点について、低域固
有周波数と信号強度とを定義した状態を示す図である。
【図45】同一の音響データに基いて低域符号データと
高域符号データとを生成する処理の概念図である。
【図46】図45(e) に示す高域符号データを2つのト
ラックに分離して再配置した状態を示す図である。
【図47】図45(d) に示す低域符号データおよび図4
6に示す高域符号データ1および2を別個のトラックに
分離し、単位区間延長処理を施した状態を示す図であ
る。
【符号の説明】
A,A1〜A6,Ai…代表強度 Ah(1)〜Ah(6)…高域代表強度 Al(1)〜Al(4)…低域代表強度 Amax …代表強度の最大値 a1〜a13…変極点の信号強度 aa…許容範囲 C1〜C12,C21〜C25…符号データ CC1〜CC12,CC21〜CC25,CCC1…延
長処理後の符号データ CC34,CC56,CC910,CCC13…統合処
理後の符号データ D…直流成分 d…オフセット量/単位区間の間隙 E0,E1,E2…空白区間 e1〜e6…終端位置 F,F1〜F6,Fi…代表周波数 Fh(1)〜Fh(6)…高域代表周波数 Fl(1)〜Fl(4)…低域代表周波数 f1〜f17…変極点の固有周波数 fh1〜fh13…変極点の高域固有周波数 fl1〜fl13…変極点の低域固有周波数 fa,fb,fc…周波数特性 ff…許容範囲 fs…サンプリング周波数 K1,K1−1,K1−2,K2…暫定区間 L,L1〜L4,Li…区間長 LL…許容レベル LLi…再生音の持続時間 Lmax …最大区間長 Lmin …最小区間長 Lth…区間長パラメータ N,N1,N2,N3,Ni…ノートナンバー P1〜P17…変極点 s1〜s6…始端位置 T,Ti…デルタタイム t1〜t17…時間軸上の位置 U1〜U7,Ui,Ui1,Ui2…単位区間 UU1〜UU6…延長処理後の単位区間 Uh(1)〜Uh(6)…高域単位区間 Ul(1)〜Ul(4)…低域単位区間 fV,Vi…ベロシティー x…サンプル番号 φ,φh,φl…周期

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 時系列の強度信号として与えられる音響
    信号を符号化するための符号化方法であって、 符号化対象となる音響信号を、デジタルの音響データと
    して取り込む入力段階と、 前記音響データの時間軸上に、複数の単位区間を設定す
    る区間設定段階と、 個々の単位区間内の音響データに基づいて、個々の単位
    区間を代表する所定の代表周波数および代表強度を定義
    し、時間軸上での個々の単位区間の始端位置および終端
    位置を示す情報と前記代表周波数および前記代表強度を
    示す情報とを含む符号データを生成し、個々の単位区間
    の音響データを個々の符号データによって表現する符号
    化段階と、 を有し、前記符号化段階において、単位区間の長さを延
    長する区間延長処理を行うことを特徴とする音響信号の
    符号化方法。
  2. 【請求項2】 請求項1に記載の符号化方法において、 符号化段階において、時間軸を共通とする複数のトラッ
    クを定義し、区間設定段階で設定された個々の単位区間
    を複数のトラックに分離して再配置するトラック分離処
    理を行い、各トラックごとにそれぞれ区間延長処理を行
    うことを特徴とする音響信号の符号化方法。
  3. 【請求項3】 請求項2に記載の符号化方法において、 あるトラックに配置された単位区間が、別なトラックに
    配置された別な単位区間に対して、共通の時間軸上で少
    なくとも一部分が重複するように、各トラックごとの区
    間延長処理を行うことを特徴とする音響信号の符号化方
    法。
  4. 【請求項4】 請求項1〜3のいずれかに記載の符号化
    方法において、 単位区間延長処理を行った後、互いに類似した符号デー
    タをもつ単位区間が所定の基準間隔以下の間隔をおいて
    存在していた場合に、これらの単位区間を1つの単位区
    間に統合する区間統合処理を行い、統合前の個々の単位
    区間の符号データに基いて、統合後の単位区間の符号デ
    ータを決定するようにしたことを特徴とする音響信号の
    符号化方法。
  5. 【請求項5】 請求項2に記載の符号化方法において、 トラック分離処理を行う際に、互いに類似した符号デー
    タをもつ近接した単位区間を同一トラック上に再配置す
    るようにしたことを特徴とする音響信号の符号化方法。
  6. 【請求項6】 請求項1〜5のいずれかに記載の符号化
    方法において、 単位区間延長処理を行う際に、最大区間長Lmax と最小
    区間長Lmin とを設定し、各区間を、隣接する区間に接
    触するまで、最大でLmax まで延長する処理を行うとと
    もに、区間長がLmin 未満の区間を削除する処理を行う
    ことを特徴とする音響信号の符号化方法。
  7. 【請求項7】 請求項1〜6のいずれかに記載の符号化
    方法において、 符号化段階で、代表周波数に基づいてノートナンバーを
    定め、代表強度に基づいてベロシティーを定め、単位区
    間の長さに基づいてデルタタイムを定め、1つの単位区
    間の音響データを、ノートナンバー、ベロシティー、デ
    ルタタイムで表現されるMIDI形式の符号データに変
    換し、時間軸上で重複する単位区間に対しては異なるチ
    ャンネルを割り当てることを特徴とする音響信号の符号
    化方法。
  8. 【請求項8】 請求項1〜7のいずれかに記載の符号化
    方法を実行する音響信号の符号化のためのプログラムが
    記録されたコンピュータ読み取り可能な記録媒体。
  9. 【請求項9】 請求項1〜7のいずれかに記載の符号化
    方法により符号化された符号データが記録されたコンピ
    ュータ読み取り可能な記録媒体。
JP9249636A 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 Pending JPH1173200A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9249636A JPH1173200A (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9249636A JPH1173200A (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JPH1173200A true JPH1173200A (ja) 1999-03-16

Family

ID=17195978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9249636A Pending JPH1173200A (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JPH1173200A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002153434A (ja) * 2000-11-17 2002-05-28 Dainippon Printing Co Ltd 時系列信号解析装置
JP2003058149A (ja) * 2001-08-10 2003-02-28 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP2003108185A (ja) * 2001-09-28 2003-04-11 Dainippon Printing Co Ltd 時系列信号解析装置
JP2004334238A (ja) * 1996-11-20 2004-11-25 Yamaha Corp 音信号分析装置及び方法
GB2408132A (en) * 2003-11-08 2005-05-18 Highlight Parking Systems Ltd Parking Control System
KR101276049B1 (ko) * 2012-01-25 2013-06-20 세종대학교산학협력단 조건부 스플릿 벡터 양자화를 이용한 음성 압축 장치 및 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334238A (ja) * 1996-11-20 2004-11-25 Yamaha Corp 音信号分析装置及び方法
JP2002153434A (ja) * 2000-11-17 2002-05-28 Dainippon Printing Co Ltd 時系列信号解析装置
JP2003058149A (ja) * 2001-08-10 2003-02-28 Dainippon Printing Co Ltd 周波数解析方法および音響信号の符号化方法
JP2003108185A (ja) * 2001-09-28 2003-04-11 Dainippon Printing Co Ltd 時系列信号解析装置
GB2408132A (en) * 2003-11-08 2005-05-18 Highlight Parking Systems Ltd Parking Control System
GB2408132B (en) * 2003-11-08 2006-04-26 Highlight Parking Systems Ltd Parking indicator and/or control system
KR101276049B1 (ko) * 2012-01-25 2013-06-20 세종대학교산학협력단 조건부 스플릿 벡터 양자화를 이용한 음성 압축 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US5808225A (en) Compressing music into a digital format
US8093484B2 (en) Methods, systems and computer program products for regenerating audio performances
CN112382257A (zh) 一种音频处理方法、装置、设备及介质
WO2004051622A1 (ja) 楽曲データ作成装置及び方法
JP3776196B2 (ja) 音声信号の符号化方法および音声の記録再生装置
JP3795201B2 (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JPH1173200A (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP4037542B2 (ja) 音響信号の符号化方法
JP3958841B2 (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP4331289B2 (ja) 音響信号の符号化方法
JP2001005450A (ja) 音響信号の符号化方法
JP4152502B2 (ja) 音響信号の符号化装置および符号データの編集装置
JP2000293188A (ja) 和音リアルタイム認識方法及び記憶媒体
JP4220108B2 (ja) 音響信号符号化システム
JP4473979B2 (ja) 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体
JP6047863B2 (ja) 音響信号の符号化方法および装置
JP2003216147A (ja) 音響信号の符号化方法
JP2002215142A (ja) 音響信号の符号化方法
JP4156269B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP4156268B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP3788096B2 (ja) 波形圧縮方法及び波形生成方法
JP2003022096A (ja) 音響信号の符号化方法
JP2001148633A (ja) 音響信号の符号化方法
JP2003255930A (ja) 音響信号の符号化方法
JP2002091435A (ja) 音響信号の符号化方法