JPH1132014A - 信号処理装置および方法、並びに伝送媒体 - Google Patents

Abstract

(57)【要約】 【課題】 演算能力の低いプロセッサが用いられた場合
や、複数のタスクが同時に走っているときなどにおいて
も、実時間再生を途切れなく継続させることができるよ
うにする。 【解決手段】 復号化処理監視部６１は、復号化部５２
の復号化状態を監視し、復号処理に余裕がなくなってき
たとき、処理帯域制御部６２を介して、復号化部５２を
制御し、最も低い周波数帯域の復号化処理だけを実行さ
せる。復号化部５２の処理に余裕があるとき、復号化部
５２は、低い周波数帯域だけではなく、高い周波数帯域
の復号化処理も実行するように制御される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、信号処理装置およ
び方法、並びに伝送媒体に関し、特に、いわゆる高能率
符号化によって帯域を複数個に分割し、符号化されたデ
ィジタルデータを入力信号とし、復号化段階でそれら分
割された帯域を１つに合成して出力する信号処理装置お
よび方法、並びに伝送媒体に関する。

【０００２】

【従来の技術】オーディオ或いは音声等の信号の高能率
符号化の手法には種々あるが、例えば、時間軸上の音響
信号等をブロック化しないで、ディジタルフィルタを通
して複数の周波数帯域に分割して符号化する非ブロック
化周波数帯域分割方式である、帯域分割符号化（サブ・
バンド・コーディング：SBC）や、時間軸の信号を周波
数軸上の信号に変換（スペクトル変換）して複数の周波
数帯域に分割し、各帯域毎に符号化するブロック化周波
数帯域分割方式、いわゆる変換符号化等を挙げることが
できる。また、上述の帯域分割符号化と変換符号化とを
組み合わせた高能率符号化の手法も考えられており、こ
の場合には、例えば、上記帯域分割符号化で帯域分割を
行った後、各帯域毎の信号を周波数軸上の信号にスペク
トル変換し、このスペクトル変換された各帯域毎に符号
化が施される。

【０００３】ここで上述したフィルタとしては、例えば
PQF（Polyphase Quadrature Filter）がある。ICASSP 8
3, BOSTON Polyphase Quadrature filters-A New Subba
nd Coding Technique，Joseph H. Rothweilerに、等バ
ンド幅のフィルタ分割手法が述べられている。

【０００４】また、上述したスペクトル変換としては、
例えば、入力音響信号を所定単位時間（フレーム）でブ
ロック化し、ブロック毎に離散フーリエ変換（DFT）、
コサイン変換（DCT）、モディファイドDCT変換（MDCT）
等を行うことで、時間軸を周波数軸に変換するようなス
ペクトル変換がある。MDCTについては、ICASSP 1987,Su
bband/Transform Coding,Using Filter Bank Designs B
ased on Time DomainAliasing CancellationJ.P.Prince
n A.B.Bradley Univ. of Surrey Royal Melbourne I
nst.of Tech.に述べられている。

【０００５】このように、フィルタやスペクトル変換に
よって帯域毎に分割された信号を量子化することによ
り、量子化雑音が発生する帯域を制御することができ、
マスキング効果などの性質を利用して、聴覚的により高
能率な符号化を行なうことができる。また、ここで量子
化を行なう前に、各帯域毎に、例えばその帯域における
信号成分の絶対値の最大値で正規化を行なうようにすれ
ば、さらに高能率な符号化を行なうことができる。

【０００６】周波数帯域分割された各周波数成分を量子
化する周波数分割幅としては、例えば人間の聴覚特性を
考慮した帯域分割が行われる。すなわち、一般に臨界帯
域（クリティカルバンド）と呼ばれている高域程帯域幅
が広くなるような帯域幅で、音響信号を複数の帯域（例
えば２５バンド）に分割することがある。また、この
時、各帯域毎のデータを符号化する際、各帯域毎に所定
のビット配分、或いは、各帯域毎に適応的なビット割当
て（ビットアロケーシヨン）による符号化が行われる。

【０００７】例えば、MDCT処理されて得られた係数デー
タをビットアロケーシヨンによって符号化する際、各ブ
ロック毎のMDCT処理により得られる各帯域毎のMDCT係数
データに対して、適応的な割当てビット数で符号化が行
われることになる。ビット割当手法としては、次の２手
法が知られている。

【０００８】すなわち、IEEE Transactions of Accoust
ics,Speech,and Signal Processing,vol.ASSP-25,No.4,
August 1977.には、各帯域毎の信号の大きさをもとに、
ビット割当を行う方式が開示されている。この方式で
は、量子化雑音スペクトルが平坦となり、雑音エネルギ
ーが最小となるが、聴感覚的にはマスキング効果が利用
されていないために実際の雑音感は最適ではない。

【０００９】また、ICASSP 1980,The critical band co
der,--digital encoding of the perceptual requireme
nts of the auditory systemM.A.Kransner MIT.には、
聴覚マスキングを利用することで、各帯域毎に必要な信
号対雑音比を得て、固定的なビット割当を行なう手法が
述べられている。しかしこの手法では、サイン波入力で
特性を測定する場合でも、ビット割当が固定的であるた
めに、特性値がそれほど良い値とならない。

【００１０】これらの問題を解決するために、ビット割
当に使用できる全ビットが、各小ブロック毎にあらかじ
め定められた固定ビット割当パターン分と、各ブロック
の信号の大きさに依存したビット配分を行なう分に分割
使用され、その分割比を入力信号に関係する信号に依存
させ、上記信号のスペクトルが滑らかなほど、上記固定
ビット割当パターン分への分割比率を大きくする高能率
符号化装置が提案されている。

【００１１】この方法によれば、サイン波入力のよう
に、特定のスペクトルにエネルギーが集中する場合に
は、そのスペクトルを含むブロックに多くのビットを割
り当てる事により、全体の信号対雑音特性を著しく改善
することができる。一般に、急峻なスペクトル成分をも
つ信号に対して人間の聴覚は極めて敏感であるため、こ
のような方法を用いる事により、信号対雑音特性を改善
することは、単に測定上の数値を向上させるばかりでな
く、聴感上、音質を改善するのに有効である。

【００１２】ビット割り当ての方法にはこの他にも数多
くの方法が提案されており、さらに聴覚に関するモデル
が精緻化され、符号化装置の能力があがれば、聴覚的に
みてより高能率な符号化が可能になる。

【００１３】

【発明が解決しようとする課題】これらの高能率符号化
されたデータの復号化を実現するためには、信号のサン
プル値をそのまま用いる場合と比較して多大な演算処理
を必要とする。特に、扱う信号が高域成分を含み、広い
帯域にわたっている場合には、扱うべきスペクトル成分
数が多くなる上、サンプリング周波数も高くなるので、
必要な時間当たりの演算量は大きなものとなってしま
う。従って、ある一定の量の音楽信号を復号化しなが
ら、同時にその復号化された波形信号を再生する、いわ
ゆる実時間再生（以下、実時間再生という言葉はこの意
味で用いる）を行わせようとした場合、この復号化処理
を行うプロセッサには非常に高い演算処理能力が必要と
なる。もし演算処理能力が低いプロセッサを使用する
と、実時間再生に復号化が追いつかず、再生する音楽の
連続性が保たれなくなる。

【００１４】更に、マルチタスクを実現したパーソナル
コンピュータ等でこの復号化処理を行わせると、プロセ
ッサが他のタスクの処理に時間をとられてしまうため、
単位時間当たりにプロセッサがこの復号化処理を行う時
間が少なくなってしまい、上記と同様、実時間再生がで
きなくなってしまう。

【００１５】本発明はこのような状況に鑑みてなされた
ものであり、使用されるプロセッサの演算処理能力を復
号化プログラムで測定し、演算処理能力が低い場合に
は、復号化処理を必要な帯域でのみ行うことによって処
理を簡易化し、信号の実時間再生を実現するものであ
る。

【００１６】また、複数のタスクが同時に進行して、実
時間再生処理のみを実行している場合と比べてプロセッ
サの総処理量がある程度以上大きくなり、実時間再生が
困難になるような場合に、プロセッサの総処理量を常時
監視しておき、その総処理量に応じて復号化処理を必要
な帯域でのみ行うように切り替えることによって処理を
簡易化し、信号の実時間再生を実現させる。

【００１７】

【課題を解決するための手段】請求項１に記載の信号処
理装置は、周波数成分に分解して符号化された符号を復
号化する周波数成分復号化手段と、周波数成分復号化手
段によって得られた周波数成分から波形信号を合成する
波形信号合成手段と、周波数成分復号化手段の処理状態
を監視する処理状態監視手段と、処理状態監視手段の監
視結果に対応して、波形信号合成手段において合成する
波形の処理帯域を制御する処理帯域制御手段とを備える
ことを特徴とする。

【００１８】請求項８に記載の信号処理方法は、周波数
成分に分解して符号化された符号を復号化する周波数成
分復号化ステップと、周波数成分復号化ステップによっ
て得られた周波数成分から波形信号を合成する波形信号
合成ステップと、周波数成分復号化ステップの処理状態
を監視する処理状態監視ステップと、処理状態監視ステ
ップの監視結果に対応して、波形信号合成ステップにお
いて合成する波形の処理帯域を制御する処理帯域制御ス
テップとを備えることを特徴とする。

【００１９】請求項９に記載の伝送媒体は、周波数成分
に分解して符号化された符号を復号化する周波数成分復
号化ステップと、周波数成分復号化ステップによって得
られた周波数成分から波形信号を合成する波形信号合成
ステップと、周波数成分復号化ステップの処理状態を監
視する処理状態監視ステップと、処理状態監視ステップ
の監視結果に対応して、波形信号合成ステップにおいて
合成する波形の処理帯域を制御する処理帯域制御ステッ
プとを備えるプログラムを伝送することを特徴とする。

【００２０】請求項１０に記載の信号処理装置は、入力
された信号を周波数成分に分解する分解手段と、分解手
段によって分解された周波数成分の信号を符号化する符
号化手段と、符号化手段の処理状態を監視する処理状態
監視手段と、処理状態監視手段の監視結果に対応して、
分解手段において分解する周波数の処理帯域を制御する
処理帯域制御手段とを備えることを特徴とする。

【００２１】請求項１７に記載の信号処理方法は、入力
された信号を周波数成分に分解する分解ステップと、分
解ステップによって分解された周波数成分の信号を符号
化する符号化ステップと、符号化ステップの処理状態を
監視する処理状態監視ステップと、処理状態監視ステッ
プの監視結果に対応して、分解ステップにおいて分解す
る周波数の処理帯域を制御する処理帯域制御ステップと
を備えることを特徴とする。

【００２２】請求項１８に記載の伝送媒体は、入力され
た信号を周波数成分に分解する分解ステップと、分解ス
テップによって分解された周波数成分の信号を符号化す
る符号化ステップと、符号化ステップの処理状態を監視
する処理状態監視ステップと、処理状態監視ステップの
監視結果に対応して、分解ステップにおいて分解する周
波数の処理帯域を制御する処理帯域制御ステップとを備
えるプログラムを伝送することを特徴とする。

【００２３】請求項１に記載の信号処理装置において
は、処理帯域制御手段が、処理状態監視手段の監視結果
に対応して、波形信号合成手段において合成する波形の
処理帯域を制御する。

【００２４】請求項８に記載の信号処理方法および請求
項９に記載の伝送媒体においては、処理帯域制御ステッ
プで、処理状態監視ステップでの監視結果に対応して、
波形信号合成ステップにおいて合成する波形の処理帯域
を制御する。

【００２５】請求項１０に記載の信号処理装置において
は、分解手段が、入力された信号周波数成分に分解し、
符号化手段が、分解手段によって分解された周波数成分
の信号を符号化する。そして、処理状態監視手段が、符
号化手段の処理状態を監視し、処理帯域制御手段が、処
理状態監視手段の監視結果に対応して、分解手段におい
て分解する周波数の処理帯域を制御する。

【００２６】請求項１７に記載の信号処理方法および請
求項１８に記載の伝送媒体においては、分解された周波
数成分の信号が符号化され、その符号化の処理状態が監
視される。そして、その監視結果に対応して、分解する
周波数の処理帯域が制御される。

【００２７】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００２８】請求項１に記載の信号処理装置は、周波数
成分に分解して符号化された符号を復号化する周波数成
分復号化手段（例えば、図１０の符号列復号回路１１）
と、周波数成分復号化手段によって得られた周波数成分
から波形信号を合成する波形信号合成手段（例えば、図
１０の波形信号合成回路１３）と、周波数成分復号化手
段の処理状態を監視する処理状態監視手段（例えば、図
１０の復号化処理監視部６１）と、処理状態監視手段の
監視結果に対応して、波形信号合成手段において合成す
る波形の処理帯域を制御する処理帯域制御手段（例え
ば、図１０の処理帯域制御部６２）とを備えることを特
徴とする。

【００２９】請求項５に記載の信号処理装置は、波形信
号合成手段は、入力された信号を逆スペクトル変換する
逆スペクトル変換手段（例えば、図５の逆スペクトル変
換回路３１−１乃至３１−４）と、逆スペクトル変換手
段の出力を合成する帯域合成手段（例えば、図５の帯域
合成フィルタ３２）とを備えることを特徴とする。

【００３０】請求項１０に記載の信号処理装置は、入力
された信号を周波数成分に分解する分解手段（例えば、
図１４の周波数成分分解回路１）と、分解手段によって
分解された周波数成分の信号を符号化する符号化手段
（例えば、図１４の符号列生成回路３）と、符号化手段
の処理状態を監視する処理状態監視手段（例えば、図１
４の符号化処理監視部１０１）と、処理状態監視手段の
監視結果に対応して、分解手段において分解する周波数
の処理帯域を制御する処理帯域制御手段（例えば、図１
４の処理帯域制御部１０２）とを備えることを特徴とす
る。

【００３１】請求項１４に記載の信号処理装置は、分解
手段は、入力された信号を周波数帯域毎に分割する分割
手段（例えば、図４の帯域分割フィルタ２１）と、分割
手段により分割された周波数帯域毎の信号をスペクトル
変換するスペクトル変換手段（例えば、図４のスペクト
ル変換回路２２−１乃至２２−４）とを備えることを特
徴とする。

【００３２】以下、本発明の好ましい実施の形態につい
て、図面を参照にしながら説明する。

【００３３】この実施の形態において、入力信号は図１
に示すように、MDCT等のスペクトル変換によって得られ
たスペクトル成分に分解される。各スペクトル係数は所
定のバンド（この図１の例では［１］から［９］のバン
ド）毎にまとめられ、正規化処理が施される。ここで、
正規化処理とは、各バンドにおけるスペクトル係数の最
大の絶対値によって決定される正規化係数によって各ス
ペクトル係数を割ることを言う。

【００３４】次に各バンド毎に正規化されたスペクトル
係数が、与えられたビット数で再量子化される。このビ
ット数の与え方は、入力信号にかかわらず一定であって
もよいし、マスキング等を考慮して、入力信号に依存し
て求められたものであってもよい。正規化処理を施すこ
とによって、レベルの低い周波数成分のみからなるバン
ド内のスペクトル係数を、少ないビット数で効率良く再
量子化することが可能である。再量子化のためのビット
数を少なくすることで元の信号を圧縮することができ
る。

【００３５】図２は音響信号の高能率符号化装置のブロ
ック図を示したものである。符号化装置に入力された音
響信号は、周波数成分分解回路１により、図１に示すよ
うに、周波数成分信号に分解される。周波数成分信号
は、正規化量子化回路２によって、一定の帯域毎に正規
化および再量子化が施され、その後、符号列生成回路３
によって、量子化精度情報、正規化係数情報、正規化お
よび量子化された周波数成分情報（スペクトル係数）が
符号列に変換される。

【００３６】図３は図２の符号化装置に対応した、本発
明に係わる復号化装置の実施の形態のブロック図を示し
たものである。入力された符号列は符号列復号回路１１
により量子化精度情報、正規化係数情報、正規化および
量子化された周波数成分情報（スペクトル係数）に復
号、分離され、逆量子化逆正規化回路１２に送られ、そ
こで周波数成分信号が生成される。生成された周波数成
分信号は波形信号合成回路１３に送られ、波形信号に変
換されて出力される。

【００３７】時間軸上の信号を周波数成分に分解する周
波数成分分解回路１としては、上述のDFT、DCT、MDCT等
のスペクトル変換回路を用いても良いし、あるいは帯域
分割フィルタを用いても良いが、図４に示すように、帯
域分割フィルタとスペクトル変換回路を組み合わせたも
のであっても良い。

【００３８】図４の実施の形態においては、入力された
波形信号は帯域分割フィルタ２１によって４つの周波数
帯域ｆ₁乃至ｆ₄に分割される。ｆ₁乃至ｆ₄は、この順番
に低い周波数からの帯域の信号を表す。これらの信号は
帯域分割フィルタ２１への入力波形信号の１／４の帯域
幅になっており、各々のサンプリングレートは入力波形
信号の１／４になっている。従って、これらの信号をス
ペクトル変換するスペクトル変換回路２２−１乃至２２
−４は、実際には入力信号を直接スペクトル変換する場
合の１／４の変換長で、同一の周波数分解能を得ること
ができる。

【００３９】図５は、図４の周波数成分分解回路１に対
応する波形信号合成回路１３の実施の形態を示すもので
ある。この波形信号合成回路１３の逆スペクトル変換回
路３１−１乃至３１−４への４つの入力は、それぞれ図
４のスペクトル変換回路２２−１乃至２２−４の出力に
対応している。逆スペクトル変換回路３１−１乃至３１
−４は入力信号を逆スペクトル変換して出力する。逆ス
ペクトル変換回路３１−１乃至３１−４の出力のサンプ
リングレートは、図４のスペクトル変換回路２２−１乃
至２２−４への入力と同一である。これらの帯域の信号
を帯域合成フィルタ３２が合成することによって波形信
号を再生することができる。

【００４０】図６と図７は、それぞれ、図４の帯域分割
フィルタ２１または図５の帯域合成フィルタ３２の構成
例を示したもので、図６のQPF４１は、入力信号を高域
信号ｆ₄、中高域信号ｆ₃、中低域信号ｆ₂、低域信号ｆ₁
に４分割する。図７のIQPFは、高域信号ｆ₄、中高域信
号ｆ₃、中低域信号ｆ₂、低域信号ｆ₁を入力とし、それ
らを合成して出力する。このようにPQF４１またはIPQF
４２を使用して帯域分割フィルタ２１または帯域合成フ
ィルタ３２を構成することより、帯域分割後にサンプリ
ングレートを低くしたために生じるエイリアシングの影
響をキャンセルすることができる。

【００４１】さてここで、上述の符号化装置を用いて符
号化された音響信号を、上述の復号化装置を用いて復号
化し、再生する場合について考える。多くの音響信号に
おいて、重要な信号成分は特定の帯域、特に低域に集中
している。もちろん、より高域の信号成分が再生されれ
ば、音質が向上し、より臨場感のある音響信号が得られ
るが、人の話す声を聞いたり、音楽をBGMとして流すな
どの用途では、その再生される音質に高いクォリティが
要求されないため、低域の信号のみを再生するだけでも
十分であることが多い。

【００４２】上述の復号化装置において、広帯域な音響
信号を復号化し再生するには、元の波形信号サンプルを
そのまま再生する場合と比較して多大の処理が必要とな
る。そのため、復号化処理を行いながらその復号化され
たデータを即時に再生する実時間再生を行いたい場合、
復号化処理に演算処理能力が低いプロセッサを用いたと
きや、パーソナルコンピュータなどでソフトウエアによ
る復号化を行っている際に、複数のタスクが同時に走っ
ている状態のときには、復号化が再生に追いつかなくな
る。そこで、以下に示す方法で、プロセッサが全帯域に
わたる音楽信号を復号化することが可能かどうかを常時
監視し、もし、使用したプロセッサの演算処理能力が低
かったり、あるいは同時に複数のタスクが走っていてプ
ロセッサへの負荷が大きく、全帯域にわたる音楽信号を
復号化することが困難であると判断したときに、簡易的
に低域の信号のみを復号化するように処理を切り替える
ことによって、音声の実時間再生を途切れなく継続させ
る。

【００４３】以下ではまず、復号化を行いながら一定量
復号化される毎にそのデータを再生する、実時間再生の
実現方法について詳述する。

【００４４】図８に、本実施の形態における、実時間再
生システムのブロック図を示す。符号化データ記憶部５
１に保持されている符号化データは、上述の高能率符号
化装置によって符号化されたデータである。符号化デー
タ記憶部５１は、ハードディスク、フロッピーディス
ク、CD-ROM等の記憶メディアであってもいいし、パーソ
ナルコンピュータに内蔵されたRAMであってもかまわな
い。ただし、RAMである場合は、RAM上に符号化データを
書き込む動作が図８の前工程として加わることになる。

【００４５】復号化部５２は、符号化データ記憶部５１
より符号化データを取り出し、復号化処理を行う。復号
化部５２は、図３の符号列復号回路１１、逆量子化逆正
規化回路１２、および波形信号合成回路１３を１つにま
とめたものである。ここで、復号化部５２で取り出され
る符号化データは、復号化処理を行うために適当な一定
量ずつが取り出されるが、符号化データ記憶部５１に記
憶された全データ量がこの一定量未満の場合には、一度
に全てのデータを取り出すことになる。

【００４６】復号化部５２に取り込まれ、復号化された
データは、順次、復号化データ保持部５３に供給され、
保持される。そして、保持されるごとにカウンタ５４に
よって、データ量をカウントしていき、復号化データ保
持部５３に復号化データが一杯になったところで、復号
化データ保持部５３に保持された全てのデータが、音楽
信号出力装置５５内の再生データ記憶部５６に送られ
る。同時に、カウンタ５４のカウント値を０に初期化す
る。

【００４７】ここで、復号化データ保持部５３は、実時
間再生を実行するためにデータの書き込み、読み出しが
頻繁に行われるため、それらを高速に行えるように通常
は半導体によるRAMが用いられるが、十分高速にデータ
の読み書きができるならば、ハードディスク等のメディ
アを用いてもかまわない。また再生データ記憶部５６
は、音楽信号出力装置５５で固定的にアドレスが定めら
れたRAM上の一部分である。

【００４８】音楽信号出力部５７は、ディジタル信号を
アナログの音楽信号に変換し出力するための、D/A変換
器、アンプ、スピーカを含んでおり、ディジタル音楽信
号を再生データ記憶部５６から読み込み、音楽信号とし
てスピーカから出力する。

【００４９】以上の工程を、符号化データ記憶部５１の
データを全部復号化し、再生し終わるまで繰り返すこと
によって、実時間での復号化再生を実現できる。

【００５０】ここで、上述のように復号化を行うプロセ
ッサの演算処理能力が低かったり、複数のタスクが同時
に走っていてプロセッサが復号化処理を行う時間が短く
なると、図８における復号化部５２での処理に時間がか
かり、復号化データ保持部５３へのデータの格納が遅く
なる。すると、再生データ記憶部５６へのデータ転送が
滞り、音楽信号出力部５７が再生すべきデータがなくな
り、音声が途切れてしまうことになる。

【００５１】そこで、本発明では、図９に示すように、
図８の復号化部５２に、復号化処理監視部６１と処理帯
域制御部６２を追加する。復号化処理監視部６１、処理
帯域制御部６２以外の構成は、図８と同等である。復号
化処理監視部６１は、例えば以下のような方法で復号化
処理の処理状況を監視する。

【００５２】すなわち、復号化処理監視部６１は、符号
化データ記憶部５１から新たにデータを取り込んだ時点
から、そのデータを復号化し終わって、復号化データ保
持部５３に書き込むまでの時間を計測する。ここで計測
された時間等、実時間再生を継続することができるかど
うかを常時監視するためのデータが復号化部５２から復
号化処理監視部６１に供給される。ここで、符号化デー
タ記憶部５１からは、一定単位量毎に符号化データを取
り込むため、取り込み１回分のデータが、復号化された
後、何秒分の音響信号に変換されるかが一意に定まる。

【００５３】例えば、ミニディスクに用いられている音
響信号高能率符号化技術ATRACを例に挙げれば、１回の
取り込みにつき、２１２バイトのデータを符号化データ
記憶部５１から復号化部５２に取り込む。この２１２バ
イトのデータは、復号化処理されることにより、１１．
６ミリ秒のステレオ音響信号に変換される。

【００５４】復号化部５２が取り込んだデータを復号化
し始めてから復号化し終わるまでの時間を計測すること
により、その時点、その環境での復号化に要する時間が
わかる。この復号化に要する時間は、プロセッサの演算
処理能力や、同時に走っているタスクの数や重さに依存
して変化する。一方、これに対して、その復号化された
データの音響信号としての再生時間はあらかじめ決まっ
ているため、復号化に要する時間の、当該データの音響
信号としての再生時間に対する割合が分かる。以下、こ
の割合のことを復号化処理時間割合と呼ぶ。

【００５５】この復号化処理時間割合がもし１００％を
超えていれば、音響信号の再生より復号化に時間がかか
ることになり、実時間再生は不可能である。

【００５６】また、この復号化処理時間割合が１００％
未満でも１００％に近ければ、復号化と再生時間がほと
んど同じということであり、OSからの割り込みや、別の
タスクの実行など、プロセッサへの負荷が増える要因が
別に生じた際、実時間再生の継続は困難となる。一方、
この復号化処理時間割合が１００％より十分小さけれ
ば、音響信号の再生に対して、復号化処理は余裕を持っ
て行われており、実時間再生が余裕を持って実現され
る。

【００５７】従って、復号化処理監視部６１において、
上述したような、プロセッサへの負荷が増える要因が生
じ、もしこの復号化処理時間割合が１００％に近くなっ
て、実時間再生の継続が困難になったと判断されたとき
は、処理帯域制御部６２に対して、処理帯域変更の要求
が出力され、処理帯域制御部６２によって、全帯域での
復号化処理から、帯域を狭め、低い帯域のみの復号化処
理へと処理を簡易化する。こうしてプロセッサへの負荷
を下げることによって、復号化にかかる時間を短くす
る。

【００５８】例えば、この復号化処理時間割合５０％を
境とし、復号化処理にかかる時間が当該音響信号再生時
間の５０％を超えていなければ、プロセッサにかかる復
号化処理の負荷は小さいものとし、復号化処理は全ての
帯域で行う。一方、復号化処理にかかる時間が、当該音
響信号再生時間の５０％を超えていれば、プロセッサに
は、全ての帯域での復号化処理を余裕を持って継続する
能力が足りなくなったものとし、復号化処理を一番低い
帯域でのみ行うことにより処理を簡易化する。処理を簡
易化することにより、全ての帯域での復号化処理が困難
となった場合でも、音質は劣化するが実時間再生を途切
れることなく継続することができる。

【００５９】ここで、計測する時間は上記した例に限ら
ず、例えば、カウンタ５４のカウントが０になると同時
に計測を始め、符号化データ保持部５３にデータを満た
し終わるまでを計測してもよい。

【００６０】なお、ここでは５０％という数値を例で示
したが、実時間再生に対する安定性などの観点から、別
の数値を設定してもかまわない。

【００６１】また、ここでは復号化処理に余裕がなくな
った場合に一番低い帯域のみに制限することを例で示し
たが、これに限らず、帯域制限を数個の段階に分け、プ
ロセッサへの負荷の大きさに応じて、複数段階に帯域を
狭めるような方法をとっても構わない。以下に、これに
ついて説明する。

【００６２】図１０は、図９の復号化部５２、復号化処
理監視部６１、処理帯域制御部６２を抜き出し、さら
に、復号化部５２を、図３に示すように、符号列復号回
路１１、逆量子化逆正規化回路１２、および波形信号合
成回路１３で構成した場合を示している。

【００６３】符号列復号回路１１は、上述の符号化方法
によって符号化されたデータを入力信号として受けと
り、正規化および量子化されたスペクトル係数を復元す
るための情報を逆量子化逆正規化回路１２に送る。復号
化処理監視部６１は復号化処理状況を、上記のようにあ
る一定量の符号列を復号化する時間を計測することによ
って監視する。そのため、監視データが、符号列復号回
路１１と波形信号合成回路１３から復号化処理監視部６
１に供給される。監視データから上記のように実時間再
生の可能性を判断して、もし処理を簡易化する必要があ
るときは、復号化処理監視部６１は、処理帯域制御部６
２に対して、復号化処理を簡易化するように指示を出
す。それを受けて処理帯域制御部６２は、逆量子化逆正
規化回路１２と波形信号合成回路１３を制御し、復号化
処理を簡易化させる。

【００６４】ここで、処理帯域制御部６２は、復号化処
理監視部６１の指示から、復号化処理すべき帯域を計算
し、逆量子化逆正規化回路１２および波形信号合成回路
１３の処理が必要な帯域での処理だけになるように制御
を行う。例えば、図５の逆スペクトル変換回路３１−１
乃至３１−４を、プロセッサへの負荷の大きさに応じ
て、負荷が大きいときは、スペクトル変換回路３１−２
乃至３１−４の３つとも省略し、負荷がそれほど大きく
はないが、実時間再生には余裕がないなどというときに
はスペクトル変換回路３１−１，３１−２のみを用い
る、あるいは、スペクトル変換回路３１−１のみを用い
るなどとする。

【００６５】例えば、上記復号化処理時間割合が７５％
以上のときは、実時間再生するための余裕がないため、
低域のみを復号化する。復号化処理時間割合が５０％乃
至７５％のときは、少し余裕があるため、低域と中低域
を復号化する。復号化処理時間割合が２５％乃至５０％
のときは、更に余裕があるため、低域、中低域、中高域
を復号化する。復号化処理時間割合が２５％未満のとき
は、実時間再生のために、プロセッサの演算処理能力は
十分余裕があるため、全帯域の復号化を行う。このとき
のフローチャートを図１１に示す。

【００６６】すなわち、最初にステップＳ１において、
符号列復号回路１１で、符号列の復号処理を行い、ステ
ップＳ２において、逆量子化逆正規化回路１２で、符号
列復号回路１１の出力したスペクトル信号の逆量子化お
よび逆正規化処理を行う。

【００６７】ステップＳ３乃至ステップＳ５で、復号化
処理監視部６１は、符号列復号回路１１と波形信号合成
回路１３の出力をモニタし、復号化処理時間割合が７５
％未満、５０％未満、または２５％未満のいずれである
かを判定する。

【００６８】復号化処理時間割合が７５％以上であると
きは、ステップＳ９に進み、復号化処理監視部６１は、
処理帯域制御部６２を介して、逆量子化逆正規化回路１
２と波形信号合成回路１３を制御し、低域の逆スペクト
ル変換処理だけを実行させる。復号化処理時間割合が７
５％から５０％の間である場合には、ステップＳ８とス
テップＳ９において、中低域の逆スペクトル変換処理
と、低域の逆スペクトル変換処理が実行される。復号化
処理時間割合が５０％と２５％の間である場合には、ス
テップＳ７乃至ステップＳ９において、中高域の逆スペ
クトル変換処理、中低域の逆スペクトル変換処理、およ
び低域の逆スペクトル変換処理が行われる。さらに、復
号化処理時間割合が２５％未満である場合には、ステッ
プＳ６乃至ステップＳ９において、高域の逆スペクトル
変換処理、中高域の逆スペクトル変換処理、中低域の逆
スペクトル変換処理、および低域の逆スペクトル変換処
理が実行される。

【００６９】そして、いずれの場合においても、ステッ
プＳ１０において、帯域合成フィルタ３２により、帯域
合成処理が実行される。

【００７０】なお、ここでは２５％、５０％、７５％と
いう数字を挙げて説明したが、これに限らず、実時間再
生を途切れることなく継続できるように、システムに最
適な数値を選べばよい。

【００７１】更に、上記の手順で処理が簡易化された後
で、例えば同時に走っているタスクのいくつかを終了さ
せた場合など、当該音響信号再生時間に対して復号化処
理に要する時間がかなり短くなった場合は、プロセッサ
に復号化処理を行う余裕ができたと判断して、再度、簡
易復号化処理から全帯域での復号化処理へ戻すことも考
えられる。図１２にこの場合のフローチャートを示す。

【００７２】すなわち、最初にステップＳ２１におい
て、復号化処理時間割合が測定され、ステップＳ２２に
おいて、その時間が７５％未満であるか否かが判定され
る。復号化処理時間割合が７５％以上である場合には、
処理は終了される。復号化処理時間割合が７５％未満で
ある場合には、ステップＳ２３において、５０％乃至７
５％の間の値であるか否かが判定される。これらの間の
値である場合には、ステップＳ２４に進み、低域のみを
復号化処理中である否かが判定され、低域のみを復号化
処理中である場合には、ステップＳ２５に進み、中低域
と低域の復号化処理に変更される。ステップＳ２４にお
いて、低域のみを復号化処理中ではないと判定された場
合には、ステップＳ２５の処理はスキップされる。

【００７３】ステップＳ２３において、復号化処理時間
割合が５０％乃至７５％の間の値ではないと判定された
場合、ステップＳ２６に進み、復号化処理時間割合が２
５％乃至５０％の間の値であるか否かが判定される。復
号化処理時間割値が２５％乃至５０％の間の値である場
合には、ステップＳ２７に進み、中低域と低域を復号化
処理中である否かが判定され、復号化処理中である場合
には、ステップＳ２８に進み、中高域、中低域、および
低域の復号化処理に変更される。ステップＳ２７におい
て、中低域と低域を復号化処理中ではないと判定された
場合、ステップＳ２８の処理はスキップされる。

【００７４】ステップＳ２６において、復号化処理時間
割合が２５％乃至５０％の間ではないと判定された場
合、結局、復号化処理時間割合は２５％未満ということ
になるので、ステップＳ２９に進み、中高域、中低域、
および低域を復号化処理中であるか否かが判定され、復
号化処理中である場合にはステップＳ３０に進み、全体
域での処理に変更される。ステップＳ２９において、中
高域、中低域、および低域を復号化処理中ではないと判
定された場合、ステップＳ３０の処理はスキップされ
る。

【００７５】本実施の形態においては、逆スペクトル変
換の部分のみ帯域によって処理することが示されている
が、もちろん、図１１の、ステップＳ１０の帯域合成フ
ィルタ処理においても処理を簡略化することが可能であ
る。

【００７６】以上、スペクトル変換としてMDCTを使用し
た場合を例にとって説明したが、もちろん、離散フーリ
エ変換（DFT）や離散コサイン変換（DCT）等を使用する
場合にも本発明の方法を適用することができる。さら
に、このような特別なスペクトル変換を使用せずにフィ
ルタによって帯域分割をした後、符号化する場合にも本
発明の方法を適用することが可能である。

【００７７】また、実際に処理を行う帯域として低域側
の帯域をとった場合について説明を行ったが、この他に
も、例えば、実際の信号レベルの大きい帯域のみを処理
するようにすることも可能である。しかし、既に述べた
ように、例えば、通常の音響信号等では低域側に重要な
信号成分が分布しており、低域側のみ常に処理するよう
な構成にすることによって、簡単な構成で大きな効果を
上げることができる。

【００７８】なお、以上においては、音響信号を符号化
・復号化する場合に関して説明を行なったが、本発明の
方法は他の種類の信号を処理する場合にも有効である。
しかし中でも、低域に重要な情報が集中している音響信
号や画像信号に適用するとその効果が大きい。また本発
明の方法は、もちろん多チャネルの音響信号に対しても
適用可能である。

【００７９】また本実施の形態では、上記のように実際
の復号化に要する時間を計測し、その値からプロセッサ
の負荷を対応づけて復号化処理を簡易にするかどうかの
判断基準としたが、これに限らず、例えば、Windows95
（商標）等のOSから供給される「プロセッサの使用率」
を用いることも考えられる。「プロセッサの使用率」
は、随時更新されるプロセッサへの負荷情報で、この数
値データをプログラムから監視し、この数値データがあ
る値以上になったときに、プロセッサには過大な負荷が
かかっており、実時間再生を余裕をもって継続すること
が不可能になった、と判断して復号化処理を簡易にする
という構成にしてもよい。この場合のブロック図を図１
３に示す。

【００８０】すなわち、この実施の形態においては、プ
ロセッサ使用率情報取得部８２が、CPU８１の出力する
プロセッサの使用率情報を取得し、その取得結果に対応
して、処理帯域制御部６２を制御する。このように、復
号化部５２の処理状態は、それを直接監視しなくても、
CPU８１の出力から、間接的に、監視することができ
る。

【００８１】以上においては、信号復号側の処理につい
て説明したが、信号符号化側においても同様の処理を行
うことが可能である。図１４は、この場合の構成例を表
している。この構成例は、信号復号側の図１０の構成例
に対応している。

【００８２】図１４の構成例において、符号化処理監視
部１０１は、周波数成分分解回路１と符号列生成回路３
の出力をモニタし、周波数成分分解回路１に入力される
信号の時間長（再生した場合の時間長）に対応する符号
列生成回路３の符号化に要する時間の割合としての符号
化処理時間割合を監視する。そして、その符号化処理時
間割合に対応して、処理帯域制御部１０２を制御し、処
理帯域制御部１０２により周波数成分分解回路１、正規
化量子化回路２、および符号列生成回路３を制御させる
ようになされている。

【００８３】例えば、符号化処理監視部１０１は、符号
化処理時間割合が充分小さく、例えば２５％以下である
とき、図４に示す周波数成分分解回路１のスペクトル変
換回路２２−１乃至２２−４の全てに、スペクトル変換
処理を実行させる。その結果、周波数成分分解回路１の
出力は、図１に示すようになる。すなわち、帯域１乃至
帯域９のスペクトラムが出力される。

【００８４】正規化量子化回路２は、周波数成分分解回
路１の出力を正規化量子化し、これを符号列生成回路３
に出力する。符号列生成回路３は、入力されたスペクト
ル成分を符号列に変換する。その結果、符号列生成回路
３は、１ブロック分の符号列として、例えば図１５に示
すようなデータを出力する。図１５に示すように、この
データには、量子化精度情報数、量子化精度情報、正規
化係数情報、およびスペクトル係数情報が含まれてい
る。図１の例の場合、周波数帯域は９個に区分されてい
るため、量子化精度情報と正規化係数情報は、それぞれ
各帯域に対応して９個ずつ存在する。その結果、量子化
精度情報数は、この例の場合、９個とされている。ま
た、スペクトル係数としては、帯域１乃至帯域４は、そ
れぞれ４個のスペクトルを有し、帯域５乃至帯域８は、
それぞれ８個のスペクトルを有し、帯域９は、１６個の
スペクトルを有しているため、合計６４個のスペクトル
係数が配置されている。

【００８５】これに対して、符号化処理監視部１０１
は、符号化処理時間割合が、例えば７５％以上である場
合、処理時間に余裕がないので、周波数成分分解回路１
のスペクトル変換回路２２−１乃至２２−４のうち、ス
ペクトル変換回路２２−１だけを動作させる。その結
果、周波数成分分解回路１の出力は、図１６に示すよう
になる。すなわち、帯域１乃至帯域４のスペクトラムだ
けが出力される。

【００８６】このスペクトラムは、正規化量子化回路２
で正規化量子化され、符号列生成回路３で符号化され、
出力される。その結果、符号列生成回路３は、図１７に
示すようなデータを出力する。

【００８７】図１７の例の場合、図１６に示すように、
帯域は４個であるので、量子化精度情報数は、４とさ
れ、量子化精度情報と正規化係数情報は、それぞれ４個
配置されている。また、帯域１乃至帯域４のスペクトラ
ムの数は、それぞれ４個であるため、スペクトル係数
は、１６個存在する。

【００８８】図１８は、符号化処理時間割合に対応し
て、４個の段階で、スペクトル変換処理を行うようにす
る場合の処理例を表している。この処理は、上述した復
号側における図１１の処理に対応している。

【００８９】図１８の処理例においては、最初にステッ
プＳ４１において、周波数成分分解回路１の帯域分割フ
ィルタ２１で、入力された信号を、低域、中低域、中高
域、および高域の４個の周波数帯域の信号に分割させ
る。次にステップＳ４２乃至Ｓ４４において、符号化処
理監視部１０１は、符号化処理時間割合が７５％以上、
７５％乃至５０％、５０％乃至２５％、または２５％未
満のいずれであるかを判定する。

【００９０】ステップＳ４２で符号化処理時間割合が７
５％以上であると判定された場合、ステップＳ４８に進
み、符号化処理監視部１０１は、処理帯域制御部１０２
を介して、周波数成分分解回路１のスペクトル変換回路
２２−１乃至２２−４を制御し、スペクトル変換回路２
２−１だけにスペクトル変換処理を実行させる。

【００９１】ステップＳ４３において、符号化処理時間
割合が７５％乃至５０％の間の値であると判定された場
合、ステップＳ４７とステップＳ４８において、符号化
処理監視部１０１は、処理帯域制御部１０２を介して、
周波数成分分解回路１のスペクトル変換回路２２−１乃
至２２−４を制御し、スペクトル変換回路２２−１とス
ペクトル変換回路２２−２だけを動作させる。すなわ
ち、低域のスペクトル変換と中低域のスペクトル変換だ
けを実行させる。

【００９２】ステップＳ４４において、符号化処理時間
割合が５０％乃至２５％の間の値であると判定された場
合、ステップＳ４６乃至Ｓ４８において、スペクトル変
換回路２２−１乃至２２−４のうち、スペクトル変換回
路２２−１乃至２２−３が動作される。すなわち、この
場合、低域、中低域、および中高域のスペクトル変換処
理が実行される。

【００９３】さらに、ステップＳ４４において、符号化
処理時間割合が２５％未満であると判定された場合、ス
テップＳ４５乃至ステップＳ４８において、スペクトル
変換回路２２−１乃至２２−４の全てが動作状態とさ
れ、高域、中高域、中低域、および低域のスペクトル変
換処理が実行される。

【００９４】いずれの場合においても、スペクトル変換
された信号が、ステップＳ４９で、正規化量子化回路２
により正規化量子化された後、ステップＳ５０で、符号
列生成回路３により符号化され、符号列が生成される。

【００９５】このように、符号化処理時間割合に対応し
て、帯域分割フィルタ２１による処理を制御するように
した場合、符号化処理時間割合が変化した場合には、そ
の変化した符号化処理時間に対応する符号化処理（スペ
クトル変換処理）に戻すようにすることができる。この
処理例が図１９に示されている。この図１９の処理例
は、復号化側における図１２に示した処理に対応してい
る。

【００９６】図１９の処理例においては、最初にステッ
プＳ６１において、符号化処理監視部１０１が符号化処
理時間割合を測定する。ステップＳ６２において、その
符号化処理時間割合が７５％未満であるか否かが判定さ
れる。符号化処理時間割合が７５％以上である場合、特
に処理は行われない（符号化処理は変更されない）。

【００９７】符号化処理時間割合が７５％未満であると
ステップＳ６２において判定された場合、ステップＳ６
３に進み、その値が７５％乃至５０％の間の値であるか
否かが判定される。符号化処理時間割合が７５％乃至５
０％の間の値であると判定された場合、ステップＳ６４
に進み、現在、周波数成分分解回路１において低域のみ
を符号化処理中であるか否かが判定される。すなわち、
符号化処理監視部１０１は、スペクトル変換回路２２−
１だけが現在動作中であるか否かを判定する。低域のみ
が符号化処理中である場合には、ステップＳ６５に進
み、符号化処理監視部１０１は、処理帯域制御部１０２
を介して、周波数成分分解回路１を制御し、スペクトル
変換回路２２−１に加えて、スペクトル変換回路２２−
２も動作させ、低域の符号化処理に加えて、中低域の符
号化処理も実行させる。

【００９８】ステップＳ６４において、現在、低域だけ
の符号化処理中ではないと判定された場合、ステップＳ
６５の処理はスキップされる。

【００９９】ステップＳ６３において、符号化処理時間
割合が７５％乃至５０％の間の値ではないと判定された
場合、すなわち、符号化処理時間割合が５０％未満であ
ると判定された場合、ステップＳ６６に進み、符号化処
理監視部１０１は、符号化処理時間割合が５０％乃至２
５％の間の値であるか否かを判定する。符号化処理時間
割合が５０％乃至２５％の間の値である場合には、ステ
ップＳ６７に進み、現在符号化処理中であるのは低域と
中低域であるか否かを判定する。現在、低域と中低域の
符号化処理中である場合には、ステップＳ６８に進み、
符号化処理監視部１０１は、処理帯域制御部１０２を介
して、周波数成分分解回路１を制御し、スペクトル変換
回路２２−１，２２−２に加えて、スペクトル変換回路
２２−３も動作させる。すなわち、低域と中低域の符号
化処理に加えて、中高域の符号化処理も実行させる。

【０１００】ステップＳ６７において、現在、低域と中
低域のみを符号化処理中ではないと判定された場合、ス
テップＳ６８の処理はスキップされる。

【０１０１】ステップＳ６６において、符号化処理時間
割合が５０％乃至２５％の間の値ではないと判定された
場合、すなわち、符号化処理時間割合が２５％未満であ
ると判定された場合、ステップＳ６９に進み、符号化処
理監視部１０１は、現在、中高域、中低域、および低域
だけを符号化処理中であるか否かを判定する。現在、中
高域、中低域、および低域だけを符号化処理中である場
合には、ステップＳ７０に進み、符号化処理監視部１０
１は、処理帯域制御部１０２を介して、周波数成分分解
回路１を制御し、スペクトル変換回路２２−１乃至２２
−３に加えて、スペクトル変換回路２２−４も動作させ
る。これにより、低域、中低域、中高域のスペクトル変
換だけでなく、高域のスペクトル変換も実行されるよう
になる。

【０１０２】ステップＳ６９において、現在、中高域、
中低域、および低域だけを符号化処理中ではないと判定
された場合、ステップＳ７０の処理はスキップされる。

【０１０３】以上においては、周波数成分分解回路１と
符号列生成回路３をモニタすることで、符号化処理の処
理状態を検出するようにしたが、符号化処理を管理する
CPUの使用率から、この判定を行うようにしてもよい。
図２０は、この場合の処理例を表している。この図２０
の構成例は、復号化側における図１３に示した構成例に
対応している。

【０１０４】すなわち、図２０の構成例においては、符
号化処理を管理するCPU１１１が例えばWindows95をOSと
している場合、「プロセッサの使用率」を出力するの
で、プロセッサ使用率情報取得部１１２で、この情報を
取得し、その情報に対応して処理帯域制御部１０２を制
御すれば、上述した場合と同様の処理を実行することが
できる。

【０１０５】符号化側において、図１５または図１７に
示すように、量子化精度情報数を出力するようにした場
合においては、復号化側において、図２１に示すよう
に、処理帯域制御部６２で、この量子化精度情報数を取
得し、その取得結果に対応して、処理帯域制御部６２
で、符号列復号回路１１、逆量子化逆正規化回路１２、
および波形信号合成回路１３を制御させるようにするこ
とができる。すなわち、図９または図１０に示した実施
の形態の場合、復号化側において独自に復号する帯域を
制御するようにしたのであるが、図２１の実施の形態の
場合、符号化側の情報（量子化精度情報数）に対応し
て、復号帯域の制御が行われる。

【０１０６】ところで、図１９に示すように、符号化処
理時間割合を測定し、その測定結果に対応して符号化処
理する帯域を変更するようにすると、図１４に示す符号
列生成回路３の出力するデータは、例えば図２２に示す
ように、量子化精度情報数が９の状態から、８と６の状
態を介して、４の状態に変化する。この変化があまりに
急であると、その符号列を復号した音声を聴取する聴者
に違和感を与えることになる。そこで、各帯域における
変換処理を少なくとも一定時間ずつ継続するようにし
て、徐々に量子化精度情報数９の状態から量子化精度情
報数４の状態に変化させるようにすることができる。図
２３は、この場合の処理例を表している。

【０１０７】すなわち、この例においては、いま量子化
精度情報数は９であるので、ステップＳ８１において、
符号化処理監視部１０１は、量子化精度情報数に８を設
定させる。そして、ステップＳ８２に進み、現在の量子
化精度情報数が８であるか否かを判定する。いまの場
合、量子化精度情報数は８であるので、ステップＳ８３
に進み、データ取り込み処理が実行される。そして、ス
テップＳ８４において、帯域分割フィルタ処理が実行さ
れ、ステップＳ８５で、スペクトル変換処理が実行され
る。すなわち、符号化処理監視部１０１は、処理帯域制
御部１０２を介して、周波数成分分解回路１の帯域分割
フィルタ２１にデータを取り込ませ、それまで（量子化
精度情報数＝９の状態のとき）全て動作状態とされてい
たスペクトル変換回路２２−１乃至２２−４のうち、高
域のスペクトル変換回路２２−４の動作を中止させ、ス
ペクトル変換回路２２−１乃至２２−３だけを動作状態
とさせる。

【０１０８】次に、ステップＳ８６に進み、ステップＳ
８５でスペクトル変換された信号の正規化および量子化
処理が実行される。すなわち、正規化量子化回路２は、
周波数成分分解回路１より出力された中高域、中低域、
および低域のスペクトル信号を、正規化および量子化す
る。

【０１０９】さらに、ステップＳ８７に進み、符号列の
生成処理が実行される。すなわち、符号列生成回路３
は、正規化量子化回路２より出力されたデータを符号化
し、符号列を生成する。

【０１１０】次に、ステップＳ８８において、符号化処
理監視部１０１は、予め設定してある一定時間長（再生
時間としての時間長）のデータが変換されたか否かを判
定し、まだ一定時間長分の変換処理が終了していないと
判定された場合、ステップＳ８３に戻り、それ以降の処
理を繰り返し実行する。そして、ステップＳ８８におい
て、一定時間長分の変換処理が終了したと判定された場
合、ステップＳ８９に進み、符号化処理監視部１０１
は、量子化精度情報数に６を設定する。

【０１１１】次に、ステップＳ８２に戻り、現在の量子
化精度情報数が８であるか否かを判定する。いまの場
合、量子化精度情報数は６であり、８ではないから、ス
テップＳ９０に進み、量子化精度情報数が６であるか否
かを判定する。いまの場合、量子化精度情報数は６であ
るから、ステップＳ９１に進み、データ取り込み処理が
実行され、ステップＳ９２において、帯域分割フィルタ
処理が実行される。さらに、ステップＳ９３において、
量子化精度情報数６でスペクトル変換処理が実行され
る。

【０１１２】すなわち、符号化処理監視部１０１は、処
理帯域制御部１０２を介して、周波数成分分解回路１
の、それまで動作されていたスペクトル変換回路２２−
１乃至２２−３のうち、スペクトル変換回路２２−３の
動作を中止させ、スペクトル変換回路２２−１とスペク
トル変換回路２２−２の動作だけを継続させる。

【０１１３】ステップＳ９４においては、正規化量子化
回路２で、周波数成分分解回路１の出力するスペクトル
信号の正規化および量子化処理が行われ、ステップＳ９
５で、符号列生成回路３により、符号列生成処理が実行
される。

【０１１４】次に、ステップＳ９６に進み、量子化精度
情報数＝６の変換処理が一定時間長分だけ実行されたか
否かが判定され、まだ一定時間長分の変換処理が行われ
ていないと判定された場合には、ステップＳ９１に戻
り、それ以降の処理が繰り返し実行される。ステップＳ
９６において、一定時間長分の変換処理が終了したと判
定された場合、ステップＳ９７に進み、符号化処理監視
部１０１は、量子化精度情報数に４を設定する。

【０１１５】次に、ステップＳ８２に戻り、現在の量子
化精度情報数が８であるか否かが判定される。いまの場
合、量子化精度情報数は４であるから、ステップＳ８２
において、ＮＯの判定が行われ、さらにステップＳ９２
においても、ＮＯの判定が行われる。そして、ステップ
Ｓ９８に進み、データ取り込み処理が実行され、ステッ
プＳ９９で、帯域分割フィルタ処理が実行される。さら
に、ステップＳ１００では、量子化精度情報数４でスペ
クトル変換処理が実行される。

【０１１６】すなわち、このとき、符号化処理監視部１
０１は、処理帯域制御部１０２を介して、周波数成分分
解回路１を制御し、それまで動作状態とされていたスペ
クトル変換回路２２−２，２２−１のうち、スペクトル
変換回路２２−２の動作を停止させ、スペクトル変換回
路２２−１だけを動作状態とする。

【０１１７】次に、ステップＳ１０１において、正規化
量子化回路２により、周波数成分分解回路１の出力する
スペクトル信号の正規化および量子化処理が行われ、ス
テップＳ１０２で、符号列生成回路３により、符号列の
生成処理が実行される。

【０１１８】以上のように、量子化精度情報数＝９の状
態から量子化精度情報数＝４の状態に移行するのに、量
子化精度情報数＝８または６の状態の変換処理が一定時
間長分だけ順次行われるので、その時間を所定の値に設
定しておくことで、移行時に聴者に違和感を与えること
が抑制される。

【０１１９】なお、図２３においては、量子化精度情報
数が徐々に小さくなる場合について説明したが、量子化
精度情報数が徐々に大きくなる場合にも同様の処理を実
行することができる。

【０１２０】また、図２３においては、符号化側の処理
について説明したが、復号化側においても同様の処理を
実行することができる。図２４は、この場合の処理例を
表している。

【０１２１】最初に、ステップＳ１１１において、復号
化処理監視部６１は、現在、図５に示す波形信号合成回
路１３の逆スペクトル変換回路３１−１乃至３１−４の
全てが動作状態とされている４／４帯域の復号化処理が
実行されているので、これを３／４帯域の復号化処理に
変更する。ステップＳ１１２において、現在設定されて
いる復号化処理の帯域が３／４であるか否かを判定す
る。いまの場合、設定されている復号化処理の帯域は３
／４であるから、ステップＳ１１３に進み、データ取り
込み処理が実行され、ステップＳ１１４において、符号
列の復号処理が実行される。

【０１２２】すなわち、復号化処理監視部６１は、処理
帯域制御部６２を介して、符号列復号化回路１１を制御
し、入力されたデータを取り込ませ、復号処理を実行さ
せる。

【０１２３】次に、ステップＳ１１５に進み、スペクト
ル信号の逆量子化および逆正規化処理が実行される。す
なわち、逆量子化逆正規化回路１２は、符号列復号化回
路１１より出力されたスペクトル信号の逆量子化処理と
逆正規化処理を実行する。さらに、ステップＳ１１６に
おいて、波形信号合成回路１３により、３／４帯域にお
ける逆スペクトル変換処理が実行される。すなわち、復
号処理監視部６１は、処理帯域制御部６２を介して、波
形信号合成回路１３を制御し、それまで（４／４帯域の
復号化処理が設定されているとき）動作状態とされてい
た逆スペクトル変換回路３１−１乃至３１−４のうち、
逆スペクトル変換回路３１−４の動作を中止させ、逆ス
ペクトル変換回路３１−１乃至３１−３だけを動作状態
とさせる。

【０１２４】次に、ステップＳ１１７において、帯域合
成フィルタ３２により、帯域合成フィルタ処理が実行さ
れる。すなわち、帯域合成フィルタ３２は、逆スペクト
ル変換回路３１−１乃至３１−３より供給される信号を
合成し、出力する。

【０１２５】次に、ステップＳ１１８において、予め設
定されている一定時間長分の変換処理が終了したか否か
が判定され、終了していない場合には、ステップＳ１１
３に戻り、それ以降の処理が繰り返し実行される。ステ
ップＳ１１８において、一定時間長分の変換処理が終了
したと判定された場合、ステップＳ１１９に進み、復号
化処理監視部６１は、復号化処理の帯域の設定を２／４
に設定する。

【０１２６】次に、ステップＳ１１２に進み、現在設定
されている復号化処理の帯域が３／４であるか否かが判
定される。いまの場合、設定されている帯域は２／４で
あるので、ステップＳ１２０に進む。ステップＳ１２０
においては、設定されている復号化処理の帯域が２／４
であるか否かが判定される。いまの場合、設定されてい
る帯域は２／４であるので、ステップＳ１２１に進み、
データ取り込み処理が実行され、ステップＳ１２２で、
符号列の復号処理が実行される。ステップＳ１２３で
は、スペクトル信号の逆量子化および逆正規化処理が実
行され、ステップＳ１２４で、２／４帯域での逆スペク
トル変換処理が実行される。さらに、ステップＳ１２５
においては、帯域合成フィルタ処理が実行される。

【０１２７】すなわち、この場合、復号化処理監視部６
１は、処理帯域制御部６２を介して、波形信号合成回路
１３を制御し、それまで（復号化処理の帯域の設定が３
／４であるとき）動作状態とされていた逆スペクトル変
換回路３１−１乃至３１−３のうち、逆スペクトル変換
回路３１−３の動作を中止させ、逆スペクトル変換回路
３１−１と３１−２だけを動作状態とさせる。すなわ
ち、低域の逆スペクトル変換処理と中低域の逆スペクト
ル変換処理だけを実行させる。帯域合成フィルタ３２
は、この低域と中低域の信号成分を合成し、出力する。

【０１２８】ステップＳ１２６においては、一定時間長
分の変換処理が終了したか否かが判定され、まだ一定時
間長分の変換処理が終了していなければ、ステップＳ１
２１に戻り、それ以降の処理が繰り返し実行される。ス
テップＳ１２６において、一定時間長分の変換処理が終
了したと判定された場合、ステップＳ１２７に進み、復
号化処理監視部６１は、復号化処理の帯域を１／４に設
定する。

【０１２９】次に、ステップＳ１１２に戻り、現在設定
されている復号化処理の帯域が３／４であるか否かが判
定される。いまの場合、設定されている帯域は１／４で
あるので、ＮＯの判定が行われ、ステップＳ１２０にお
いても、ＮＯの判定が行われる。そして、ステップＳ１
２８に進み、データ取り込み処理が実行され、ステップ
Ｓ１２９で、符号列の復号処理が実行され、さらに、ス
テップＳ１３０では、スペクトル信号の逆量子化および
逆正規化処理が実行される。また、ステップＳ１３１
で、１／４帯域での逆スペクトル変換処理が実行され
る。

【０１３０】すなわち、このとき、復号化処理監視部６
１は、処理帯域制御部６２を介して、波形信号合成回路
１３を制御し、それまで（復号化処理帯域が２／４に設
定されているとき）動作状態とされていた逆スペクトル
変換回路３１−１と３１−２のうち、逆スペクトル変換
回路３１−２の動作を中止させ、逆スペクトル変換回路
３１−１だけを動作状態とさせる。その結果、低域の逆
スペクトル変換処理だけが実行される。

【０１３１】以上のようにして、４／４帯域の変換処理
から１／４帯域の変換処理に移行するとき、その間の３
／４帯域と２／４帯域の変換処理が、一定時間長分ず
つ、順次行われるので、聴者が帯域の変換時に違和感を
覚えることが抑制される。

【０１３２】なお、この場合の処理も、復号処理する帯
域を徐々に狭くする場合だけでなく、徐々に広くする場
合にも、応用することが可能である。

【０１３３】ところで、上記実施の形態では、プロセッ
サへの負荷を監視し、その大きさに応じて符号化、また
は復号化を簡易化するようにしたが、本発明はこれに限
らない。例えばバッテリ駆動している機器で符号化、ま
たは復号化処理を行っているときに、バッテリの残量が
少なくなると、低電力時対応となってプロセッサの動作
が簡略化される場合があり、このときも演算処理能力が
低下することによって、実時間再生が不可能になる可能
性がある。従って、バッテリの残量を監視し、残量が少
なくなって実時間再生に支障が出たときに、符号化、ま
たは復号化を簡易化するように処理を切り替えることも
考えられる。

【０１３４】なお、本明細書中において、上記処理を実
行するプログラムをユーザに伝送する伝送媒体には、磁
気ディスク、CD-ROMなどの情報記録媒体よりなる伝送媒
体の他、インターネット、デジタル衛星などのネットワ
ークよりなる伝送媒体も含まれる。

【０１３５】

【発明の効果】以上の如く、請求項１に記載の信号処理
装置、請求項８に記載の信号処理方法、および請求項９
に記載の伝送媒体によれば、周波数成分復号の処理状態
を監視し、その監視結果に対応して、波形信号合成処理
における処理帯域を制御するようにしたので、実時間再
生を途切れなく継続させることができる。

【０１３６】また、請求項１０に記載の信号処理装置、
請求項１７に記載の信号処理方法、および請求項１８に
記載の伝送媒体によれば、入力された信号を周波数成分
に分解し、分解された周波数成分の信号を符号化し、そ
の符号化状態を監視し、その監視結果に対応して、分解
する周波数の処理帯域を制御するようにしたので、実時
間符号化を途切れなく継続させることが可能となる。

【図面の簡単な説明】

【図１】音響信号の高能率符号化方法を説明するための
図である。

【図２】高能率符号化装置の構成例を示すブロック図で
ある。

【図３】復号化装置の構成例を示すブロック図である。

【図４】図２の周波数成分分解回路１の構成例を示すブ
ロック図である。

【図５】図３の波形信号合成回路１３の構成例を示すブ
ロック図である。

【図６】図４の帯域分割フィルタ２１の構成例を示すブ
ロック図である。

【図７】図５の帯域合成フィルタ３２の構成例を示すブ
ロック図である。

【図８】本発明に係わる実時間再生システムの実施の形
態の構成を示すブロック図である。

【図９】本発明による復号化部を用いた実時間再生シス
テムの実施の形態の構成を示すブロック図である。

【図１０】図９の復号化部のより詳細な構成例を示すブ
ロック図である。

【図１１】本発明による復号化方法の処理例を示すフロ
ーチャートである。

【図１２】本発明による復号化方法の処理例を示すフロ
ーチャートである。

【図１３】本発明による復号化部を用いた実時間再生シ
ステムの別の実施の形態の構成を示すブロック図であ
る。

【図１４】本発明による復号化部の構成例を示すブロッ
ク図である。

【図１５】図１４の符号列生成回路３の出力を説明する
図である。

【図１６】図１４の周波数成分分解回路１の出力を説明
する図である。

【図１７】図１４の符号列生成回路３の出力を説明する
図である。

【図１８】本発明による符号化方法の処理例を示すフロ
ーチャートである。

【図１９】本発明による符号化方法の他の処理例を示す
フローチャートである。

【図２０】本発明による実時間符号化システムの実施の
形態の構成例を示すブロック図である。

【図２１】本発明による復号化部の他の構成例を示すブ
ロック図である。

【図２２】量子化精度情報数の変化を説明する図であ
る。

【図２３】符号化処理帯域を変化させる場合の処理例を
示すフローチャートである。

【図２４】復号化処理帯域を変化させる場合の処理例を
示すフローチャートである。

【符号の説明】

１ 周波数分解回路， ２ 正規化量子化回路， ３
符号列生成回路， １１ 符号列復号回路， １２ 逆
量子化逆正規化回路， １３ 波形信号合成回路， ２
１ 帯域分割フィルタ， ２２−１乃至２２−４ スペ
クトル変換回路， ３１−１乃至３１−４ 逆スペクト
ル変換回路， ３２ 帯域合成フィルタ， ５１ 符号
化データ記憶部， ５２ 復号化部， ５３ 復号化デ
ータ保持部， ５４ カウンタ， ５５ 音楽信号出力
装置， ５６ 再生データ記憶部， ５７ 音楽信号出
力部， ６１ 復号化処理監視部， ６２ 処理帯域制
御部， １０１ 符号化処理監視部， １０２ 処理帯
域制御部

Claims (18)

【特許請求の範囲】
1. 【請求項１】 周波数成分に分解して符号化された符号
   を復号化する周波数成分復号化手段と、 前記周波数成分復号化手段によって得られた周波数成分
   から波形信号を合成する波形信号合成手段と、 前記周波数成分復号化手段の処理状態を監視する処理状
   態監視手段と、 前記処理状態監視手段の監視結果に対応して、前記波形
   信号合成手段において合成する波形の処理帯域を制御す
   る処理帯域制御手段とを備えることを特徴とする信号処
   理装置。
2. 【請求項２】 前記処理帯域制御手段は、前記周波数成
   分復号化手段の処理が基準より遅くなったとき、高域側
   の帯域の波形の処理を省略することを特徴とする請求項
   １に記載の信号処理装置。
3. 【請求項３】 前記処理帯域制御手段は、前記処理状態
   監視手段の監視結果に対応して、波形の処理帯域を多段
   階に変化させることを特徴とする請求項１に記載の信号
   処理装置。
4. 【請求項４】 前記処理帯域制御手段は、前記処理状態
   監視手段の監視結果に対応して、波形の処理帯域を第１
   の段階から第２の段階に変化させるとき、前記第１の段
   階と第２の段階の間の段階の処理を、少なくとも所定の
   時間分だけ実行することを特徴とする請求項３に記載の
   信号処理装置。
5. 【請求項５】 前記波形信号合成手段は、 入力された信号を逆スペクトル変換する逆スペクトル変
   換手段と、 前記逆スペクトル変換手段の出力を合成する帯域合成手
   段とを備えることを特徴とする請求項１に記載の信号処
   理装置。
6. 【請求項６】 前記処理状態監視手段は、一定量の入力
   符号を復号化するのにかかる時間を監視することを特徴
   とする請求項１に記載の信号処理装置。
7. 【請求項７】 各種の動作を制御するプロセッサをさら
   に備え、 前記処理状態監視手段は、前記プロセッサの使用率を監
   視することを特徴とする請求項１に記載の信号処理装
   置。
8. 【請求項８】 周波数成分に分解して符号化された符号
   を復号化する周波数成分復号化ステップと、 前記周波数成分復号化ステップによって得られた周波数
   成分から波形信号を合成する波形信号合成ステップと、 前記周波数成分復号化ステップの処理状態を監視する処
   理状態監視ステップと、 前記処理状態監視ステップの監視結果に対応して、前記
   波形信号合成ステップにおいて合成する波形の処理帯域
   を制御する処理帯域制御ステップとを備えることを特徴
   とする信号処理方法。
9. 【請求項９】 周波数成分に分解して符号化された符号
   を復号化する周波数成分復号化ステップと、 前記周波数成分復号化ステップによって得られた周波数
   成分から波形信号を合成する波形信号合成ステップと、 前記周波数成分復号化ステップの処理状態を監視する処
   理状態監視ステップと、 前記処理状態監視ステップの監視結果に対応して、前記
   波形信号合成ステップにおいて合成する波形の処理帯域
   を制御する処理帯域制御ステップとを備えるプログラム
   を伝送することを特徴とする伝送媒体。
10. 【請求項１０】 入力された信号を周波数成分に分解す
    る分解手段と、 前記分解手段によって分解された周波数成分の信号を符
    号化する符号化手段と、 前記符号化手段の処理状態を監視する処理状態監視手段
    と、 前記処理状態監視手段の監視結果に対応して、前記分解
    手段において分解する周波数の処理帯域を制御する処理
    帯域制御手段とを備えることを特徴とする信号処理装
    置。
11. 【請求項１１】 前記処理帯域制御手段は、前記周波数
    成分復号化手段の処理が基準より遅くなったとき、高域
    側の帯域の波形の処理を省略することを特徴とする請求
    項１０に記載の信号処理装置。
12. 【請求項１２】 前記処理帯域制御手段は、前記処理状
    態監視手段の監視結果に対応して、波形の処理帯域を多
    段階に変化させることを特徴とする請求項１０に記載の
    信号処理装置。
13. 【請求項１３】 前記処理帯域制御手段は、前記処理状
    態監視手段の監視結果に対応して、波形の処理帯域を第
    １の段階から第２の段階に変化させるとき、前記第１の
    段階と第２の段階の間の段階の処理を、少なくとも所定
    の時間分だけ実行することを特徴とする請求項１２に記
    載の信号処理装置。
14. 【請求項１４】 前記分解手段は、 入力された信号を周波数帯域毎に分割する分割手段と、 前記分割手段により分割された周波数帯域毎の信号をス
    ペクトル変換するスペクトル変換手段とを備えることを
    特徴とする請求項１０に記載の信号処理装置。
15. 【請求項１５】 前記処理状態監視手段は、一定量の入
    力信号を符号化するのにかかる時間を監視することを特
    徴とする請求項１０に記載の信号処理装置。
16. 【請求項１６】 各種の動作を制御するプロセッサをさ
    らに備え、 前記処理状態監視手段は、前記プロセッサの使用率を監
    視することを特徴とする請求項１０に記載の信号処理装
    置。
17. 【請求項１７】 入力された信号を周波数成分に分解す
    る分解ステップと、 前記分解ステップによって分解された周波数成分の信号
    を符号化する符号化ステップと、 前記符号化ステップの処理状態を監視する処理状態監視
    ステップと、 前記処理状態監視ステップの監視結果に対応して、前記
    分解ステップにおいて分解する周波数の処理帯域を制御
    する処理帯域制御ステップとを備えることを特徴とする
    信号処理方法。
18. 【請求項１８】 入力された信号を周波数成分に分解す
    る分解ステップと、 前記分解ステップによって分解された周波数成分の信号
    を符号化する符号化ステップと、 前記符号化ステップの処理状態を監視する処理状態監視
    ステップと、 前記処理状態監視ステップの監視結果に対応して、前記
    分解ステップにおいて分解する周波数の処理帯域を制御
    する処理帯域制御ステップとを備えるプログラムを伝送
    することを特徴とする伝送媒体。