JP4317355B2 - 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム - Google Patents
符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム Download PDFInfo
- Publication number
- JP4317355B2 JP4317355B2 JP2002313216A JP2002313216A JP4317355B2 JP 4317355 B2 JP4317355 B2 JP 4317355B2 JP 2002313216 A JP2002313216 A JP 2002313216A JP 2002313216 A JP2002313216 A JP 2002313216A JP 4317355 B2 JP4317355 B2 JP 4317355B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- frequency
- spectrum
- band
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、音響信号の高音質圧縮符号化および伸張復号化技術に関する。
【0002】
【従来の技術】
近年、音声や楽音などの音響信号を高音質圧縮符号化および伸張復号する様々な方式の技術が開発されており、「MPEG−2 Advanced Audio Coding」(以下、「MPEG−2 AAC」あるいは「AAC」と略称する)」もその方式の1つである(非特許文献1参照。)。
【0003】
【非特許文献1】
M.Bosi他著、「IS 13818−7(MPEG−2 Advanced Audio Coding,AAC)」、1997年4月
図24は、従来のAAC方式による符号化装置および復号化装置の機能構成を示すブロック図である。
【0004】
符号化装置1000は、入力された音響信号をAAC符号化方式に基づいて圧縮符号化する装置であって、A/D変換器1050、音響データ入力部1100、変換部1200、量子化部1400、符号化部1500およびストリーム出力部1900から構成される。
【0005】
A/D変換器1050は、入力された音響信号を、例えば22.05kHzのサンプリング周波数でサンプリングし、アナログの音響信号からデジタルの音響データ列に変換する。音響データ入力部1100は、入力信号である音響データ列を1024サンプル(この1024サンプルを以下、「フレーム」という。)読み込むごとに、そのフレームと、そのフレームの前後に隣接するフレームの50%のサンプル(512)をオーバーラップさせた合計2048サンプルの音響データ列を切り出す。変換部1200は、MDCT(Modified Discrete Cosine Transform)によって、音響データ入力部1100によって切り出された時間軸上の2048サンプルのデータを周波数軸上のスペクトルデータに変換する。なお、変換によって得られたデータの内の半分である1024点のスペクトルデータは、サンプリング周波数の半分11.025kHz以下の再生帯域を表しており、複数のグループに分類される。各グループは、複数のグループのそれぞれに、1点以上のスペクトルデータが含まれるように設定される。また、この各グループは、人間の聴覚におけるクリティカルバンドを擬似している。各グループのそれぞれを「スケールファクターバンド」という。量子化部1400は、スケールファクターバンドごとに1つの正規化係数を用いて、変換部1200から得られたスケールファクターバンド内のスペクトルデータを所定ビット数に量子化する。この正規化係数のことを「スケールファクター」という。また、各スペクトルデータを各スケールファクターで量子化した結果を「量子化値」という。符号化部1500は、量子化部1400で量子化されたデータ、すなわち、各スケールファクターと、それを用いて量子化されたスペクトルデータとをハフマン符号化する。ストリーム出力部1900は、符号化部1500から得られた符号化信号を、AACビットストリームのストリームフォーマットに変換し、出力する。符号化装置1000から出力されたビットストリームは、伝送媒体や記録媒体を介して復号化装置2000に伝達される。
【0006】
復号化装置2000は、符号化装置1000によって符号化されたビットストリームを復号化する装置であって、ストリーム入力部2100、復号化部2200、逆量子化部2300、逆変換部2800、音響データ出力部2900およびD/A変換器2950から構成される。
【0007】
ストリーム入力部2100は、符号化装置1000によって符号化されたビットストリームを伝送媒体や記録媒体を介して入力し、入力したビットストリームから符号化信号を取り出す。復号化部2200は、ハフマン符号化された符号化信号を量子化データに復号化する。逆量子化部2300は、復号化部2200で復号化された量子化データをスケールファクターを用いて逆量子化する。逆変換部2800は、IMDCT(Inverse Modified Discrete Cosine Transform)を用いて、逆量子化部2300で得られた周波数軸上の1024点のスペクトルデータを、時間軸上の1024サンプルの音響データに変換する。音響データ出力部2900は、逆変換部2800で得られた時間軸上の1024サンプルの音響データを順次組み合わせ、1024サンプルの音響データを時間順に1つずつ出力する。D/A変換器2950は、22.05kHzのサンプリング周波数でデジタルの音響データからアナログの音響信号に変換する。
【0008】
このような従来のAAC規格にしたがう符号化装置1000および復号化装置2000によれば、各点を1ビット以下にまで圧縮率を高めることができ、しかも、サンプリング周波数の半分11.025kHz以下の再生帯域を表し、聴覚的に優先度の高い低域部1024点のスペクトルデータを符号化しているので、比較的高音質で音響信号を再生することができる。
【0009】
【発明が解決しようとする課題】
しかしながら、従来のAAC方式の符号化装置1000および復号化装置2000(従来例1)によれば、サンプリング周波数が22.05kHzであるため、符号化されるスペクトルデータに11.025kHzを超える帯域が全く含まれていない。このため、11.025kHzを超える帯域も視聴したいというさらなる高品質化の要望に応えることができないという問題がある。
【0010】
このような問題を解決するために、図24の符号化装置1000および復号化装置2000のA/D変換器1050、D/A変換器2950に印可するサンプリング周波数を22.05kHzの2倍、44.1kHzに高めることが考えられる(この方式を以下、「従来例2」とも記す。)。
【0011】
しかしながら、サンプリング周波数を44.1kHzにすると、圧縮率を維持しつつ、11.025kHzを超える高域部に512点のスペクトルデータを符号化することができるものの、聴覚的に優先度の高い低域部のスペクトルデータが512点に半減してしまう。すなわち、サンプリング周波数と低域部のスペクトル数とはトレード・オフの関係にあり、従来のAACでは両方を同時に高めることはできない。このため、全体としての音質がかえって劣化してしまうという別の問題が発生する。
【0012】
このような事情は、他の方式(例えば、MP3、AC3等)の符号化装置および復号化装置等においても同様である。
本発明は上述の技術的課題を解決するためになされたものであり、符号化後の情報量を大幅に増加させることなく、音響信号の高音質な再生を実現しうる符号化装置および復号化装置等を提供することである。
【0013】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る符号化装置は、音響データを符号化する符号化装置であって、音響データ列から、連続する一定個数の音響データを切り出す切り出し手段と、切り出された音響データを周波数軸上のスペクトルデータに変換する変換手段と、前記変換で得られたスペクトルデータを前記f1Hzまでの低域部スペクトルデータと前記f1Hzよりも高い高域部スペクトルデータとに分離する分離手段と、分離された低域部スペクトルデータを量子化し、符号化する低域部符号化手段と、分離された高域部スペクトルデータから、当該高域部周波数スペクトルの特徴を示す補助情報を生成する補助情報生成手段と、生成された補助情報を符号化する高域部符号化手段と、前記低域部符号化手段で得られた符号と前記高域部符号化手段で得られた符号とを合成して出力する出力手段とを備え、前記f1は、前記音響データ列が作成されたときのサンプリング周波数f2の半分以下であり、前記補助情報生成手段は、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルーデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報を前記補助情報として生成することを特徴とする。
【0014】
ここで、前記f1は、f2/4であり、前記変換手段は、前記音響データを0〜2×f1Hzのスペクトルデータに変換し、前記分離手段は、0〜f1Hzの低域部スペクトルデータとf1〜2×f1Hzの高域部スペクトルデータとに分離することを特徴としたり、前記f1Hzまでの低域部スペクトルデータは、n個のスペクトルデータから構成され、前記切り出し手段は、2×n個のスペクトルデータを生成するのに必要な個数の音響データを切り出し、前記変換手段は、切り出された音響データを2×n個のスペクトルデータに変換し、前記分離手段は、n個の低域部スペクトルデータとn個の高域部スペクトルデータとに分離することを特徴としたり、前記切り出し手段は、符号化の単位である1フレームに相当するn個の音響データと、そのフレームに隣接する2つのフレームそれぞれに属するn/2個ずつの音響データとを併せた2×n個のスペクトルデータを切り出し、前記変換手段は、切り出された2×n個の音響データに対してMDCTによって前記変換を行い、2×n個のスペクトルデータからなる0〜2×f1Hzのスペクトルに変換することを特徴としたりする構成としてもよい。
【0015】
さらに、本発明に係る復号化装置は、記録媒体または伝送媒体を介して入力された符号化データを復号化する復号化装置であって、符号化データに含まれる低域部符号化データと高域部符号化データとをそれぞれ抽出する抽出手段と、前記抽出手段により抽出された低域部符号化データを復号化し、逆量子化することにより、周波数f1以下の低域部のスペクトルデータを出力する低域部逆量子化手段と、前記抽出手段により抽出された高域部データを復号化することにより、高域部スペクトルデータの特徴を表す補助情報を生成する補助情報復号化手段と、前記補助情報復号化手段により生成された補助情報に基づいて高域部のスペクトルデータを出力する高域部逆量子化手段と、前記低域部逆量子化手段によって出力された低域部スペクトルデータと、前記高域部逆量子化手段によって出力された高域部スペクトルデータとを合成する合成手段と、前記合成手段により合成されたスペクトルデータを時間軸上の音響データに逆変換する逆変換手段と、前記逆変換手段により逆変換された音響データを時間順に出力する音響データ出力手段とを備え、前記補助情報は、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報であり、前記高域部逆量子化手段は、前記補助情報に基づいて、高域部の各グループにおいて所定のノイズを生成し、前記スペクトルデータに加算して高域部スペクトルデータを生成することを特徴とする。
【0016】
なお、本発明は、上記符号化装置と復号化装置とからなる通信システムとして実現したり、上記符号化装置、復号化装置および通信システムを構成する特徴的な手段をステップとする符号化方法、復号化方法、通信方法として実現したり、上記符号化装置、復号化装置を構成する特徴的な手段やステップをCPUに実行させる符号化プログラム、復号化プログラムとして実現したり、これらプログラムが記録されたコンピュータ読み取り可能な記録媒体として実現したりすることができるのはいうまでもない。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を音響データ配信システムとしての放送システムに適用した場合について、図面を用いて詳細に説明する。
【0018】
図1は、本実施の形態に係る放送システムの機能構成を示すブロック図である。
同図に示される本実施の形態に係る放送システム1は、放送局に設けられ、入力された音響信号を符号化する符号化装置300と、ユーザの端末に設けられ、符号化装置300により符号化されたビットストリーム音響信号を復号化する復号化装置400とを備える。
【0019】
(符号化装置300)
符号化装置300は、入力された音響信号を符号化する符号化装置であって、A/D変換器305と、音響データ入力部310と、変換部320と、データ分離部330と、第1および第2の量子化部340,345と、第1および第2の符号化部350,355と、ストリーム出力部390とを備える。
【0020】
A/D変換器305は、入力された音響信号を、例えば従来例1の2倍のサンプリング周波数44.1kHzでサンプリングし、アナログの音響信号からデジタルの音響データ(例えば、16ビット)に変換し、時間軸上の音響データ列を生成する。
【0021】
音響データ入力部310は、A/D変換器305によって生成された音響データ列を2048サンプル(2フレーム)受け取るごとのサイクル(約45.4msec)、すなわち従来例2の2倍に時間伸張されたゆっくりとしたサイクルで、この2フレームの2048サンプルと、これらのフレームの前後に隣接するフレームの50%、1024サンプルをオーバーラップさせた音響データ列、すなわち従来の2倍の個数(4096サンプル)の音響データ列を切り出すものであり、2048サンプル受け取るごとの切り出しタイミングを検出するためのカウンタ311と、4096サンプルの音響データ列を一時的に格納するFIFOバッファ312とを備える。
【0022】
変換部320は、音響データ入力部310によって切り出された2フレーム分、4096サンプルの音響データを、周波数軸上のスペクトルデータに変換するものであり、時間軸上の4096サンプルの音響データを4096点の周波数軸上のスペクトルデータに変換するMDCT321と、スペクトルデータをスケールファクターバンドでグループ分けするグループ分け部322とを備える。
【0023】
MDCT321は、具体的には、4096サンプルの時間軸上の音響データを4096点のスペクトルデータ(16ビット)に変換するが、左右対称な2群のスペクトルデータとなるため、一方の2048サンプルのスペクトルデータのみ符号化の対象とし、他方を廃棄する。
【0024】
このように、符号化装置300のA/D変換器305、音響データ入力部310および変換部320の構成を上記した従来例1の符号化装置1000のものと比較すると、A/D変換器305におけるサンプリング周波数を2倍の周波数(44.1kHz)に引き上げ、音響データ入力部310における切り出し長を2倍(4096サンプル)に引き上げ、変換部320のMDCT321における符号化単位を2倍(4096サンプル)に引き上げている点で、大きく異なっている。
【0025】
また、上記した従来例2の符号化装置1000の構成と比較すると、A/D変換器305におけるサンプリング周波数が同一であるものの、音響データ入力部310における切り出し長を2倍(4096サンプル)に引き上げ、変換部320のMDCT321における符号化単位を2倍(符号化単位4096サンプル)に引き上げている点で、大きく異なっている。
【0026】
この結果、変換部320からは、11.025kHz以下の低域部に属するスペクトルデータ(以下、「低域部のスペクトルデータ」と記す。)が1024個、11.025kHzを超える高域部に属するスペクトルデータ(以下、「高域部のスペクトルデータ」と記す。)が1024個、合計2048個のスペクトルデータが出力されることになる。
【0027】
変換部320のグループ分け部322は、符号化の対象とされた一方の2048サンプルのスペクトルデータを、それぞれ1サンプル以上(実用的には4の倍数)のスペクトルデータを含む複数のスケールファクターバンドに分類する。
【0028】
このスケールファクターバンドは、このAAC規格において、各スケールファクターバンドに含まれるサンプル(スペクトルデータ)数が周波数に応じて定められており、低域部においては少数のサンプルごとに細かく区切られ、高域部になるほど多数のサンプルを含むよう大きく区切られている。また、AACにおいては、1フレームのスペクトルデータに対応するスケールファクターバンドの数もサンプリング周波数に応じて定められている。例えば、サンプリング周波数が44.1kHzの場合は、1フレームに含まれるスケールファクターバンドの数は49個であり、49個のスケールファクターバンドの中に1024サンプルのスペクトルデータが含まれている。一方、このように定められたスケールファクターバンドのうち、どのスケールファクターバンドを伝送するかはAACで特に規定されておらず、伝送路の転送レートに応じて、最も好ましいスケールファクターバンドを選択して伝送すればよい。例えば、伝送路の転送レートが96kbpsの場合、1フレームのうちの低域部40スケールファクターバンド(640サンプル)のみを選択して伝送するようにしてもよい。
【0029】
これに対して、本実施の形態においては、2フレームのスペクトルデータ(低域部のスペクトルデータが1024個、高域部のスペクトルデータが1024個)が従来の2倍のサイクル(約45.4msec)でMDCT321から出力される。このため、伝送路の転送レートが96kbpsの場合、2フレームのうちの低域部のスケールファクターバンド(1024サンプル)をすべて伝送対象としても、従来方式による2フレーム分のデータ転送と比べると、AACの2倍(640×2=1280サンプル)に対して、転送レートに十分な余裕が生まれる。したがって、本実施の形態においては、グループ分け部322が、変換後のスペクトルデータを、独自に定めた区切り方および数のスケールファクターバンドに分類した場合について説明する。
【0030】
データ分離部330は、変換部320から出力された2048個のスペクトルデータを低域部のスペクトルデータ(1024個)と、高域部のスペクトルデータ(1024個)とに分離する。そして、データ分離部330は、分離した低域部のスペクトルデータ(1024個)を第1の量子化部340に、高帯域のスペクトルデータ(1024個)を第2の量子化部345に、それぞれ出力する。
【0031】
第1の量子化部340は、データ分離部330から転送された低域部のスペクトルデータをスケールファクターバンドごとに、スケールファクターをそれぞれ決定し、決定したスケールファクターでそのスケールファクターバンド内のスペクトルを量子化し、量子化結果である量子化値と、決定したスケールファクターの先頭と、スケールファクターの差分とを第1の符号化部350に出力するものであり、スケールファクター計算部341を備える。スケールファクター計算部341は、例えば、公式にしたがって、スケールファクターバンドごとにそのバンド内のスペクトルデータが所定のビット数に収まるように1つの正規化係数(スケールファクター、8ビット)を計算し、そのスケールファクターを用いてスケールファクターバンド内の各スペクトルを量子化するとともに、スケールファクタの差分を計算する。
【0032】
第1の符号化部350は、第1の量子化部340により量子化されたデータと、スケールファクターバンドごとのスケールファクター等とを所定のストリーム用のフォーマットに符号化するものであり、量子化された各データと各スケールファクター等とをさらに圧縮するためのハフマン符号化テーブル351を備える。具体的には、ハフマン符号化テーブル351を用いて量子化された各データと、各スケールファクター等とが低ビットレートで伝送されるようにハフマン符号化する。
【0033】
第2の量子化部345は、第1の量子化部340において量子化されない帯域、すなわちデータ分離部330が出力した11.025kHz以上の高域部のスペクトルデータに基づいて、補助情報を計算して出力するものであり、補助情報を生成するための補助情報生成部346を備える。ここで、補助情報とは、高域部のスペクトルデータに基づいて計算され、高域部のスペクトルデータの特徴をわずかな情報量で簡潔に表す簡略化された情報をいう。つまり、一定時間分の入力音響データを変換して得られるスペクトルデータのうち、周波数の高域部の特徴を表す情報であって、具体的な一例は、高域部のスケールファクターバンド内で絶対最大スペクトルデータ(絶対値が最大となるスペクトルデータ)の量子化値を「1」にするような、スケールファクターバンドごとの最適なスケールファクターおよびその量子化値である。
【0034】
第2の符号化部355は、第2の量子化部345が出力した補助情報を所定のストリーム用のフォーマットに符号化し、第2の符号化情報として出力するものであり、補助情報符号化のためのハフマン符号化テーブル356を備える。
【0035】
ストリーム出力部390は、第1の符号化部350から出力される第1の符号化信号にヘッダ情報およびその他必要に応じた副情報を付加して従来どおり、AACの符号化ビットストリームに変換し、かつ第2の符号化部355から出力された第2の符号化信号を、上記ビットストリーム中の従来の復号化装置では無視されるまたはその動作が規定されていない領域に格納する。具体的には、ストリーム出力部390は、第2の符号化部355から出力される符号化信号を、AACの符号化ビットストリームにおけるFill ElementやData Stream Element等に格納する。
【0036】
ただし、ヘッダ情報に格納されるビットストリームのサンプルリング周波数を示す情報は、音響データのサンプリング周波数の半分の値を格納しておく。すなわち、音響データのサンプリング周波数が44.1kHzの場合、ヘッダには実際の半分22.05kHzという情報を格納しておく。そして、実際のサンプルリング周波数44.1kHzを示す情報は、上記補助情報が格納される領域等に格納すればよい。
【0037】
符号化装置300から出力されたビットストリームは、電波や光あるいはメタル等によって構成されるインターネットなどの伝送媒体を介して復号化装置400に伝送される。
【0038】
このように、符号化装置300は、変換部320により得られた周波数軸上のスペクトルデータを量子化および符号化する際に、データ分離部330により低域部のスペクトルデータ(1024点)と、高域部のスペクトルデータ(1024点)とに分離し、低域部のスペクトルデータについては従来と同方式で量子化および符号化し、高域部のスペクトルデータについては従来とは異なる方式で量子化および符号化し(補助情報を生成し、補助情報を符号化し)、低域部の符号化ビットストリームに高域部の符号化ビットストリームを組み込んで出力する点が、スペクトルデータの量子化、符号化を全帯域にわたり同じ方式で行う従来の符号化装置1000と、大きく異なっている。
【0039】
この結果、情報量の合計が、従来と比べて大幅に増加しない範囲で高品質の音響信号を符号化することができる。
また、ヘッダにサンプリング周波数22.05kHzという情報が格納されているので、本実施の形態における符号化装置300が生成したビットストリームを、従来の復号化装置2000でも復号することができるという効果がある。
【0040】
(復号化装置400)
本実施の形態に係る復号化装置400は、符号化装置300から出力されたビットストリームを符号化装置300とほぼ逆の処理を行って時間軸上の音響信号(再生上限周波数22.05kHz)を再生するものであって、ストリーム入力部410と、第1および第2の復号化部420,425と、第1および第2の逆量子化部430,435と、逆量子化データ合成部440と、逆変換部480と、音響データ出力部490と、D/A変換器495とを備える。
【0041】
ストリーム入力部410は、符号化装置300によって符号化されたビットストリームを伝送媒体を介して入力し、入力したビットストリームから、従来の復号化装置が使用する領域に格納されている第1の符号化信号と、従来の復号化装置が無視または動作が規定されていない領域に格納されている第2の符号化信号とをそれぞれ取り出し、第1の復号化部420と第2の復号化部425とにそれぞれ出力する。
【0042】
第1の復号化部420は、ストリーム入力部410が出力する第1の符号化信号を入力し、ストリーム用のフォーマットから量子化データに復号化するものであって、復号化するためのハフマン復号化テーブル421を備える。
【0043】
第1の逆量子化部430は、第1の復号化部420で復号された量子化データを逆量子化し、スペクトルデータを出力するものであって、公式に基づいて量子化データを逆量子化するための処理部431を備える。ここで、第1の逆量子化部430が出力するスペクトルデータのサンプル数は1024であり、これらは11.025kHz以下の再生帯域を表す。
【0044】
第2の復号化部425は、ストリーム入力部410の出力する第2の符号化信号を入力し、補助情報を復号するものであって、補助情報を復号するためのハフマン復号化テーブル426を備える。
【0045】
第2の逆量子化部435は、補助情報に基づいて、高域部のスペクトルデータを生成するものであって、スペクトルデータ生成部436を備える。ここで、第2の逆量子化部435が出力するスペクトルデータのサンプル数は1024であり、これらは11.025kHzを超える再生帯域を表す。
【0046】
スペクトルデータ生成部436は、第1の逆量子化部430から出力されたスペクトルデータをもとにあらかじめ決められた手順でノイズを生成し、第2の復号化部425の出力する補助情報をもとに上記ノイズを整形して、高域部のスペクトルデータを出力する。このノイズには、ホワイトノイズや、ピンクノイズなどの他、低域部スペクトルデータを一部または全部コピーしたスペクトルデータが含まれる。
【0047】
具体的には、スペクトルデータ生成部436は、例えば、第1の逆量子化部430によって出力される低域部のスペクトルデータを高域部にコピーしておき、高域部のスケールファクターバンドごとに、バンド内にコピーされたスペクトルデータの絶対最大値と、量子化値「1」を補助情報に記述されているそのバンドに対応するスケールファクター値を用いて逆量子化した値との比率を係数として、バンド内の各スペクトルデータに乗じることによって高域部のスペクトルを復元する。
【0048】
逆量子化データ合成部440は、第1の逆量子化部430の出力するスペクトルデータと第2の逆量子化部435の出力するスペクトルデータを合成するものである。ここで、逆量子化データ合成部440が出力するスペクトルデータのサンプル数は2048であり、0〜22.05kHzの再生帯域を表す。
【0049】
このように、この復号化装置400は、符号化装置300によって符号化されたビットストリームから、従来の復号化装置が使用する領域に格納されている第1(低域部)の符号化信号と、従来の復号化装置が無視または動作が規定されていない領域に格納されている第2(高域部)の符号化信号とをそれぞれ分離し、第1(低域部)の符号化信号だけを従来と同方式で復号化および逆量子化し、第2(高域部)の符号化信号については、従来とは異なる方式で復号化および逆量子化し、低域部のスペクトルデータと高域部のスペクトルデータとを合成して出力する点で、ビットストリームの復号化、逆量子化を全帯域にわたり同じ方式で行う従来例1,2の復号化装置2000と、その構成が大きく異なっている。
【0050】
この結果、従来とほぼ同じわずかな情報量から、従来と比べて大幅に増加した情報量を復号化することができ、高音質の音響信号の復号化が可能になる。
逆変換部480は、逆量子化データ合成部440より出力された周波数軸上のスペクトルデータを、IMDCTを用いて2048サンプル(2フレーム)の時間軸上の音響データに変換する。
【0051】
音響データ出力部490は、逆変換部480で得られた時間軸上の2048サンプルの音響データを順次組み合わせ、2048サンプルの音響データを時間順に1つずつ出力する。
【0052】
D/A変換器495は、44.1kHzのサンプリング周波数でデジタルの音響データからアナログの音響信号に変換する。
このように、復号化装置400は、逆変換部480における逆変換単位が2倍(2048サンプル)に引き上げられ、音響データ出力部490におけるフレーム長が2倍(2048サンプル)にそれぞれ引き上げられ、D/A変換器495におけるサンプリング周波数が2倍の周波数(44.1kHz)に引き上げられている点で、上記した従来例1の復号化装置2000とその構成が大きく異なっている。
【0053】
この結果、D/A変換器495からは、11.025kHz以下の低域部のスペクトルデータ(1024個)と、高域部のスペクトルデータ(1024個)とに基づく、高帯域(0〜22.05kHz)で、しかも高品質の音響信号が出力されることになる。
【0054】
以上のように本実施の形態の機能構成によれば、従来と比べて大幅に増加しない範囲の情報量に基づきながら、低域部は従来の符号化を行い、高域部を極めて少ない情報量で符号化を行うことにより、高品質の音響信号を符号化および復号化することができる。
【0055】
また、本実施の形態における符号化装置300および復号化装置400の構成は、従来の符号化装置1000にデータ分離部330、第2の量子化部345および第2の符号化部355を追加し、かつ従来の復号化装置2000に第2の復号化部425、第2の逆量子化部435および逆量子化データ合成部440を追加しただけであるため、既存の符号化装置1000および復号化装置2000の構成を大幅に変更することなく実現できるという効果がある。
【0056】
また、本実施の形態のおける符号化装置300が生成したビットストリームは、従来の復号化装置2000でも復号することができるという効果がある。
次いで、放送システム1における符号化装置300の各部の符号化処理を具体的に説明する。
【0057】
図2は、図1に示した符号化装置300の音響データ入力部310および変換部320において処理される音響信号の状態変化を示す図である。特に、図2(a)は図1に示した音響データ入力部310によって切り出される時間軸上の2048のサンプルデータを示す波形図であり、図2(b)は時間軸上のサンプルデータが図1に示した変換部320のMDCT321によって変換された後の周波数軸上のスペクトルデータを示す波形図である。なお、図2(a)および図2(b)において、サンプルデータおよびスペクトルデータはアナログ波形で示されているが、実際には、いずれもデジタル信号である。以下の波形図においても同様である。
【0058】
音響データ入力部310には、44.1kHzでサンプリングされた音響データが入力される。音響データ入力部310は、この音響データが2048サンプル入力されるごとのタイミングでその前後1024サンプルをオーバーラップさせて切り出し、変換部320に出力する。
【0059】
変換部320は、合計4096サンプルのデータをMDCTするが、MDCTによって得られるスペクトルが左右対称の波形となるため、その半分の2048サンプルに対応する図2(b)に示すようなスペクトルデータを出力する。
【0060】
図2(b)に示すスペクトルデータは、縦軸に、周波数スペクトルの値、すなわち、図2(a)において2048サンプルの電圧値で表されていた音響データの周波数成分の量(大きさ)を、前記サンプル数に対応する2048点で表している。また、符号化装置300に入力される音響信号をサンプリング周波数44.1kHzでA/D変換しているので、スペクトルデータの再生帯域は、22.05kHzとなっている。さらに、MDCT321によって得られるスペクトルは図2(b)に示すように負の値をとる場合があるので、MDCT321によって得られたスペクトルを符号化する場合には、スペクトルの正負の符号も合わせて符号化する必要がある。以下では、符号化の符号との混同を避けるため、スペクトルデータの正負の符号を表す情報を「サイン情報」という。
【0061】
変換部320から出力されたスペクトルデータおよびサイン情報は、データ分離部330において、0〜11.025kHzの低域部と、11.025kHz〜の高域部とに分離され、低域部のスペクトルデータ等は第1の量子化部340に、高域部のスペクトルデータ等は第2の量子化部345に、それぞれ出力される。
【0062】
図3は、図1に示した第1の量子化部340のスケールファクター決定処理における動作を示すフローチャートである。
第1の量子化部340は、まず、スケールファクターの初期値として、各スケールファクターバンドに共通のスケールファクターを定め(S91)、そのスケールファクターを用いて1フレーム分(1024サンプル)の音響データとして伝送されるべき低域部スペクトルデータをすべて量子化するとともに、求められたスケールファクターの前後の差分を求め、その差分と先頭のスケールファクターと各量子化値とをハフマン符号化する(S92)。なお、ここでの量子化および符号化は、ビット数のカウントのためだけに行うので、処理を簡略化するため、データのみについて行い、ヘッダなどの情報は付加しないものとする。
【0063】
次いで、第1の量子化部340は、ハフマン符号化後のデータのビット数が所定のビット数を超えたか否かを判断し(S93)、超えていれば、スケールファクターの初期値を下げ(S101)、そのスケールファクターの値を用いて、同じ低域部スペクトルデータにつき、量子化とハフマン符号化とをやり直した上(S92)、ハフマン符号化後の1フレーム分の低域部符号化データのビット数が所定のビット数を超えたか否かを判断して(S93)、所定ビット数以下になるまでこの処理を繰り返す。
【0064】
第1の量子化部340は、低域部符号化データのビット数が所定のビット数を超えていなければ、スケールファクターバンドごとに以下の処理を繰り返し、各スケールファクターバンドのスケールファクターを決定する(S94)。まず、スケールファクターバンド内の各量子化値を逆量子化し(S95)、それぞれの逆量子化値とそれに対応するもとのスペクトルデータとの各絶対値の差分を求めて合計する(S96)。さらに、求められた差分の合計が許容範囲内の値であるか否かを判断し(S97)、許容範囲内であれば、次のスケールファクターバンドにつき、上記の処理を繰り返す(S94〜S98)。
【0065】
一方、許容範囲を超えていれば、スケールファクターの値を大きくして当該スケールファクターバンドのスペクトルデータを量子化するとともに(S100)、その量子化値を逆量子化して(S95)、逆量子化値と対応するスペクトルデータとの絶対値の差分を合計する(S96)。さらに、差分の合計が許容範囲内かどうかを判断して(S97)許容範囲を超えていれば、許容範囲内となるまでスケールファクターを順次大きくし(S100)、上記の処理(S95〜S97およびS100)を繰り返す。
【0066】
第1の量子化部340は、すべてのスケールファクターバンドにつき、スケールファクターバンド内の量子化値を逆量子化した値ともとのスペクトルデータとの絶対値の差分の合計が許容範囲となるようなスケールファクターを決定すると(S98)、決定されたスケールファクターを用いて、再度、1フレーム分の低域部スペクトルデータを量子化し、各スケールファクターの差分と先頭のスケールファクターと各量子化値とをハフマン符号化し、低域部符号化データのビット数が所定のビット数を超えているか否かを判定する(S99)。低域部符号化データのビット数が所定のビット数を超えていれば、それが所定のビット数以下になるまでスケールファクターの初期値を下げた後(S101)、各スケールファクターバンド内のスケールファクターを決定する処理(S94〜S98)を繰り返す。低域部符号化データのビット数が所定のビット数を超えていなければ(S99)、そのときの各スケールファクターの値を、各スケールファクターバンドのスケールファクターに決定する。
【0067】
第1の量子化部340は、このように決定されたスケールファクターを用いて、低域部のスペクトルデータを量子化し、量子化値と、決定したスケールファクターの先頭と、スケールファクターの差分とを、データ分離部330から受け取ったサイン情報と供に第1の符号化部350に出力する。
【0068】
なお、スケールファクターバンド内の量子化値を逆量子化した値ともとのスペクトルデータとの絶対値の差分の合計が許容範囲となるかどうかの判断は、聴覚心理モデルなどのデータに基づいて行われる。
【0069】
また、ここではスケールファクターの初期値を比較的大きな数値に設定し、ハフマン符号化後の低域部符号化データのビット数が、所定のビット数を超えた場合には、順次、スケールファクターの初期値を下げていく方法でスケールファクターを決定しているが、必ずしもこのようにする必要はない。例えば、あらかじめスケールファクターの初期値を低い値に設定しておき、その初期値を徐々に増加していき、低域部符号化データの全体のビット数が所定のビット数を最初に超えた段階で、直前に設定されていたスケールファクターの初期値を用いて各スケールファクターバンドのスケールファクターを決定するようにしてもよい。
【0070】
さらに、ここでは1フレーム分の低域部符号化データ全体のビット数が所定のビット数を超えないように各スケールファクターバンドのスケールファクターを決定したが、必ずしもこのようにしなくてよい。例えば、各スケールファクターバンドにおいて、スケールファクターバンド内の各量子化値が所定のビット数を超えないようスケールファクターを決定するようにしてもよい。以下に、図4を用いて、この処理における第1の量子化部340の動作を説明する。
【0071】
図4は、図1に示した第1の量子化部340の他のスケールファクター決定処理における動作を示すフローチャートである。
第1の量子化部340は、符号化の対象となる低域部のすべてのスケールファクターバンドについて、以下の手順によりスケールファクターの計算を行う(S1)。また、第1の量子化部340は、各スケールファクターバンド内のすべてのスペクトルデータにつき、以下の手順によりスケールファクターの計算を行う(S2)。
【0072】
まず、第1の量子化部340は、所定のスケールファクターの値で、スペクトルデータを公式に基づいて量子化し(S3)、その量子化値が量子化値を表すために与えられる所定のビット数、例えば、4ビットを超えたか否かを判定する(S4)。
【0073】
判定の結果、量子化値が4ビットを超えている場合、スケールファクターの値を調整し(S8)、調整後のスケールファクターの値で同じスペクトルデータを量子化する(S3)。第1の量子化部340は、得られた量子化値が4ビットを超えたか否かを判定し(S4)、そのスペクトルデータの量化値が4ビット以下の値になるまで、スケールファクターの調整(S8)と調整後のスケールファクターによる量子化(S3)とを繰り返す。
【0074】
判定の結果、量子化値が4ビット以下である場合、次のスペクトルデータについて、所定のスケールファクターの値で、量子化を行う(S3)。
第1の量子化部340は、1つのスケールファクターバンド内のすべてのスペクトルデータの量子化値が4ビット以下となると(S5)、そのときのスケールファクターの値を、そのスケールファクターバンドのスケールファクターに決定する(S6)。
【0075】
さらに、第1の量子化部340は、すべてのスケールファクターバンドにつき、スケールファクターを決定すると(S7)、処理を終了する。
以上の処理により、符号化の対象となる低域部のすべてのスケールファクターバンドにつき、それぞれ1つのスケールファクターが決定される。第1の量子化部340は、このように決定されたスケールファクターを用いて、低域部のスペクトルデータを量子化し、量子化結果である4ビットの量子化値と、8ビットの前記スケールファクターの先頭と、スケールファクタの差分とを、データ分離部330から受け取ったサイン情報と供に、第1の符号化部350に出力する。
【0076】
第1の符号化部350に出力された量子化値およびスケールファクター等は、ハフマン符号化され、ダウンサンプリングの場合と同等の第1の符号化信号としてストリーム出力部390に出力される。
【0077】
一方、第2の量子化部345は、高域部のスペクトルデータ等に基づいて、補助情報を生成する。
図5は図1に示した第2の量子化部345によって生成される補助情報(スケールファクター)の具体例を示すスペクトル波形図であり、図6は図1に示した第2の量子化部345の補助情報(スケールファクター)計算処理における動作を示すフローチャートである。
【0078】
なお、図5において、低域部の周波数軸上に示す区切りは、それぞれ本実施の形態において定めたスケールファクターバンドの区切りを示している。また、高域部において周波数方向に破線で示す区切りは、本実施の形態において定めた高域部のスケールファクターバンドの区切りを示している。以下の波形図においても同様である。
【0079】
変換部320から出力されるスペクトルデータのうち、図5に実線の波形で示す再生帯域11.025kHz以下の低域部は、第1の量子化部340に出力され、従来どおり量子化される。一方、図5に破線の波形で示す再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部は、第2の量子化部345によって計算される補助情報(スケールファクター)によって表される。
【0080】
以下、図5の具体例を用い、図6のフローチャートにしたがって第2の量子化部345の補助情報(スケールファクター)の計算手順を説明する。
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき、各スケールファクターバンドにおける絶対最大スペクトルデータの量子化値を「1」にする最適なスケールファクターを、以下の手順にしたがって計算する(S11)。
【0081】
第2の量子化部345は、再生帯域11.025kHzを超える高域部の最初のスケールファクターバンドにおける絶対最大スペクトルデータ(ピーク)を特定する(S12)。図5の具体例において、最初のスケールファクターバンド内で特定されたピークの位置が▲1▼で、そのときのピークの値が「256」であったとする。
【0082】
第2の量子化部345は、図4のフローチャートに示した手順と同様にして、量子化値を計算する公式にピークの値「256」と初期値のスケールファクター値とをあてはめ、公式から得られる量子化値が「1」となるスケールファクターsfの値を計算する(S13)。例えば、この場合、ピーク値「256」の量子化値を「1」にするスケールファクターsfの値、例えばsf=24が算出される。
【0083】
最初のスケールファクターバンドについて、ピークの量子化値を「1」にするスケールファクターの値sf=24が求められると(S14)、第2の量子化部345は、次のスケールファクターバンドについて、スペクトルデータのピークを特定し(S12)、例えば、特定されたピークの位置が▲2▼で、その値が「312」であった場合、ピーク値「312」の量子化値が「1」となるスケールファクターsfの値、例えばsf=32を計算する(S13)。
【0084】
同様にして、第2の量子化部345は、高域部における3番目のスケールファクターバンドについて、ピーク▲3▼の値「288」の量子化値を「1」にするスケールファクターsfの値、例えばsf=26を計算し、4番目のスケールファクターバンドについて、ピーク▲4▼の値「203」の量子化値を「1」にするスケールファクターsfの値、例えばsf=18を計算する。
【0085】
このようにして、高域部のすべてのスケールファクターバンドについて、ピーク値の量子化値を「1」にするスケールファクターが計算されると(S14)、第2の量子化部345は、計算によって得られた各スケールファクターバンドのスケールファクターを、高域部の補助情報として第2の符号化部355に出力し、処理を終了する。
【0086】
以上のようにして第2の量子化部345によって補助情報(スケールファクター)が生成されるが、この補助情報(スケールファクター)は、1024点のスペクトルデータで表されていた高域部を、各スケールファクターの値を0〜255までの値で表せば、高域部における各スケールファクターバンド(ここでは4つ)につき、それぞれ8ビットで表すことができる。また、この各スケールファクターの差分をハフマン符号化するようにすれば、データ量をさらに低減できる可能性がある。これに対し、この高域部の1024点のスペクトルデータを低域部と同様に従来の方法で量子化およびハフマン符号化したとすると、最低でも300ビット程度のデータ量になると予測される。したがって、この補助情報は、高域部の各スケールファクターバンドにつき1つのスケールファクターを示しているに過ぎないが、従来の方法にしたがって高域部を量子化する場合に比べて、データ量が大きく低減されていることがわかる。
【0087】
また、このスケールファクターは、各スケールファクターバンドにおけるピーク値(絶対値)にほぼ比例した値を示しており、高域部における1024点で一定値をとるスペクトルデータあるいは低域部のスペクトルデータの一部または全部のコピーにスケールファクターを乗算して得られるスペクトルデータは、入力音響信号に基づいて得られたスペクトルデータを大まかに復元しているといえる。また、スケールファクターバンドごとに、バンド内にコピーされたスペクトルデータの絶対最大値と、そのバンドに対応するスケールファクター値を用いて量子化値「1」を逆量子化した値との比率を係数として、バンド内の各スペクトルデータに乗じることにより、より精度よくスペクトルデータを復元することができる。さらに、高域部の波形の相違は、低域部ほど聴覚的にはっきり識別されるものではないので、このようにして得られた補助情報は、高域部の波形を表す情報として十分であるといえる。
【0088】
なお、ここでは、高域部の各スケールファクターバンド内のスペクトルデータの量子化値が「1」となるようスケールファクターを計算したが、必ずしも「1」である必要はなく、他の値に定めておいてもよい。
【0089】
第2の量子化部345により生成された補助情報は、第2の符号化部355によりハフマン符号化され、ストリーム出力部390により第2の符号化信号としてビットストリーム中の従来の復号化装置では無視されるまたはその動作が規定されていない領域に格納される。
【0090】
図7は、図1に示したストリーム出力部390によって補助情報が格納されるビットストリーム中の位置を示す図である。図7において、高域部のスペクトルを表す補助情報は、符号化された後、第2の符号化信号としてビットストリーム中の音響符号化信号として認識されない領域に格納される。
【0091】
図7(a)において斜線で示す部分は、例えば、ビットストリームのデータ長を合わせるために「0」で埋められる領域(Fill Element)であって、この領域に、高域部のスペクトルを表す補助情報、すなわち第2の符号化信号が格納されていても、従来の復号化装置2000では復号化すべき符号化信号とは認識されず、無視される。
【0092】
また、図7(b)において斜線で示す部分は、例えば、Data Stream Element(DSE)という領域であって、この領域は、将来の拡張のためAACの規格によってビット長などの物理的構造だけが規定された領域である。この領域は、Fill Elementと同様、ここに高域部のスペクトルを表す補助情報が格納されていても、従来の復号化装置2000では無視されるかまたはそのデータが読み取られたとしても読み取られたデータに対する復号化装置2000の動作が規定されていない領域である。
【0093】
また、以上ではMPEG−2 AACの規格によって従来の復号化装置2000では無視されるようなビットストリーム中の領域に第2の符号化信号を格納するとしたが、それ以外にも、ヘッダ情報の所定の位置に組み込んでもよいし、第1の符号化信号中の所定の位置に第2の符号化信号を組み込んでもよいし、その両方にまたがって組み込んでもよい。またビットストリーム中に第2の符号化信号を格納するために、ヘッダにおいても第1の符号化信号においても、連続した領域を確保しなくてもよい。すなわち、図7(c)のように、ヘッダ情報と第1の符号化情報との中に、非連続に第2の符号化信号を組み込んでもよい。
【0094】
図8は、図1に示したストリーム出力部390が補助情報を格納する場合の他の例を示す図である。図8(a)は、第1の符号化信号のみがフレームごとに連続して格納されているストリーム1を示している。図8(b)は、補助情報が符号化された第2の符号化信号のみが、ストリーム1に対応するフレームごとに連続して格納されているストリーム2を示している。
【0095】
ストリーム出力部390は、第2の符号化信号を、第1の符号化信号を格納したビットストリームであるストリーム1とは全く別のストリーム2に格納してもよい。例えば、ストリーム1とストリーム2とは、異なるチャンネルで伝送されるビットストリームである。
【0096】
このように、第1の符号化信号と第2の符号化信号を全く異なるビットストリームで伝送することにより、入力音響信号の基本的な情報を表す低域部分をあらかじめ伝送または蓄積しておき、必要に応じて高域部情報を後から付加することができるという効果がある。
【0097】
なお、図7および図8に示されるフォーマットにおいて、ヘッダに格納するビットストリームのサンプルリング周波数を示す情報には、実際のサンプルリング周波数の半分である22.05kHzという情報を格納しておく。これにより、従来例1の復号化装置2000でも0〜11.025kHz帯のビットストリームを復号化し、ダウンサンプリングの場合と同様に再生することができる。
【0098】
次いで、本発明の実施の形態に係る符号化装置300の方式と、従来例1の符号化装置1000の方式の相違を、図9を用いて説明する。図9は、実施の形態に係る方式と従来例1に係る方式(ダウンサンプリング方式)とを比較して示す図であり、特に図9(a)は実施の形態に係る方式を示す図であり、図9(b)は従来例1に係る方式を示す図である。
【0099】
本実施の形態に係る方式においては、サンプリング周波数を44.1kHzとすることにより、22.7μsecごとの音響データ列を取得し、符号化対象のフレームに含まれる2048個と、その前後の1024個ずつとの計4096個を切り出し、MDCTすることにより2048個のスペクトルデータを取得している。このスペクトルデータの再生帯域は、22.05kHzを表している。この2048個のスペクトルデータは、11.025kHzを境界として低域部のスペクトルデータ(1024個)と、高域部のスペクトルデータ(1024個)とに分離される。低域部のスペクトルデータ(1024個)は、通常の量子化・符号化が行われ、ダウンサンプリングと同等の高品質で低ビットレートの第1の符号化信号が取得される。しかも、高域部についても1024個のスペクトルデータが取得されている。これを、通常の量子化・符号化すると、低ビットレートを実現できない。そこで、本実施の形態に係る方式においては、高域部の1024個のスペクトルデータから補助情報を生成し、補助情報のみ符号化することにより第2の符号化信号を取得している。したがって、情報量の合計が、大幅に増加しない範囲で高品質の音響信号を符号化することができる。
【0100】
これに対して、従来例1のダウンサンプリングによる方式においては、サンプリング周波数を22.05kHzとすることにより、45μsecごとの音響データ列を取得し、符号化対象のフレームに含まれる1024個と、その前後の512個ずつとの計2048個を切り出し、MDCTすることにより1024個のスペクトルデータを取得している。このスペクトルデータの再生帯域は、11.025kHzを表している。この1024個のスペクトルデータは、通常の量子化・符号化が行われる。したがって、11.025kHz以下については品質の高い符号化信号を取得できるものの、11.025kHzを超える高域部のスペクトルデータが全くないため、高域部の符号化信号を取得できなかった。
【0101】
次いで、本発明の実施の形態に係る符号化装置300の方式と、従来例2の符号化装置1000の方式の相違を、図10を用いて説明する。
図10は、実施の形態に係る方式と従来例2に係る方式とを比較して示す図であり、特に図10(a)は実施の形態に係る方式を示す図であり、図10(b)は従来例2に係る方式を示す図である。なお、本実施の形態に係る方式については、上述したので、その説明を省略する。
【0102】
従来例2のサンプリングによる方式においては、本実施の形態の場合と同様にサンプリング周波数を44.1kHzとすることにより、22.7μsecごとの音響データ列を取得する一方、符号化対象のフレームに含まれる1024個と、その前後の512個ずつとの計2048個を切り出し、MDCTすることにより1024個のスペクトルデータを取得している。このスペクトルデータの再生帯域は、22.05kHzを表している。この1024個のスペクトルデータは、通常の量子化・符号化が行われる。すなわち、本実施の形態の半分の時間(約22.7msec)ごとに、1024個のスペクトルデータ(11.025kHz以下の低域では512個、11.025kHzを超える高域では512個)を取得している。
【0103】
ここで、従来例2の符号化装置1000において本発明の実施の形態と同様に11.025〜22.05kHzの高域のスペクトルデータから補助情報を生成した場合を仮定する。この場合において、約22.7msecごとに量子化で使用できるビット数をnとし、補助情報として使用できるビット数をm1とすると、低域(0〜11.025kHz)の512サンプルを(n−m1)ビットで量子化する必要がある。これに対して、本発明の実施の形態の場合、量子化で使用できる約45.4msecごとのビット数が2×nとし、補助情報として使用できるビット数をm2とすると、低域(0〜11.025kHz)の1024サンプルを(2×n−m2)ビットで量子化すればよい。
【0104】
ところで、AACにおいては一般的に、あるサンプル数(しきい値)以上集まらないと、高い符号化効率を得られないことが知られており、従来例2の512サンプルの場合にはしきい値に達せず、本実施の形態の1024サンプルの場合にはしきい値を十分に超える。
【0105】
したがって、従来例2のように512サンプルを(n−m1)ビットで量子化するより、本実施の形態のように1024サンプルを(2×n−m2)ビットで量子化する方が、より高い符号化効率が得られる。また、本実施の形態の方が高い符号化効率を得られる結果、m2をより大きくでき(m2>2×m1)、高域部の音質を高めることが可能となる。
【0106】
図11は、本実施の形態の符号化方式と、従来例1,2の符号化方式とのスペクトルデータおよび特徴について、比較した図である。
本実施の形態では、サンプリング周波数44.1kHzで、フレーム長を2048個としている。このため、スペクトルデータでは0〜11.025kHzの低域部に1024個のスペクトルデータと、11.025〜22.05kHzの高域部の1024個のスペクトルデータに基づく補助情報とを取得している。この結果、本実施の形態では、帯域の面では、従来例2に対して略同一であるが、従来例1に対して広くなる。また、本実施の形態では、音質の面では、従来例1に対し、0〜11.025kHzの低域部については同一品質であるが、11.025〜22.05kHzの高域部については補助情報があるため、全体として高品質となり、従来例2に対し、11.025〜22.05kHzの高域部については補助情報があるため略同一品質を得ることができ、しかも0〜11.025kHzの低域部についてはスペクトルデータの数が倍加されている分高品質であるので、全体として高品質となる。
【0107】
これに対して従来例1では、サンプリング周波数22.05kHzで、フレーム長を1024としており、スペクトルデータでは0〜11.025kHzの帯域に1024個のスペクトルデータを取得している。この結果従来例1では、本実施の形態に対して、帯域の面では半減し、狭くなる。このため、音質の面では、0〜11.025kHzの低域部については同一品質であるが、11.025〜22.05kHzの高域部についてはスペクトルデータが全くないので悪くなり、全体として低くなる。
【0108】
また、従来例2では、サンプリング周波数44.1kHzで、フレーム長を1024としており、スペクトルデータでは0〜22.05kHzの全帯域に1024個のスペクトルデータを取得している。この結果従来例2では、本実施の形態に対して、帯域の面では同じであるが、音質の面では、11.025〜22.05kHzの高域部についてはスペクトルデータが符号化されるので高品質となるものの、帯域0〜11.025kHzの低域部についてはスペクトルデータの個数が半減するため、品質が落ち、全体として品質は低くなる。
【0109】
したがって、本実施の形態によれば、低域部は従来の符号化を行い、高域部を極めて少ない情報量で符号化を行うことにより、情報量の合計が、従来と比べて大幅に増加しない範囲で高品質の音響信号を符号化することができる。
【0110】
次いで、放送システム1における復号化装置400の各部の符号化処理を具体的に説明する。
ストリーム入力部410から出力された第1の符号化信号は、第1の復号化部420により量子化データ等に復号化され、第1の逆量子化部430により低域部のスペクトルデータに符号化される。一方、ストリーム入力部410から出力された第2の復号化信号は、第2の復号化部425により補助情報に復号化される。第2の逆量子化部435は、補助情報に基づいて高域部のスペクトルデータを生成する。この第2の逆量子化部435における処理を詳細に説明する。
【0111】
図12は、図1に示した第2の逆量子化部435によって低域部1024スペクトルが順方向に高域部にコピーされる手順を示すフローチャートである。このような低域部のスペクトルデータのコピーは、高域部のスペクトルデータを生成するに際して実行される。
【0112】
図12において、inv_spec1[i]は、第1の逆量子化部430の出力データのうちのi番目のスペクトルの値を示し、inv_spec2[j]は、第2の逆量子化部435の入力データのうちのj番目のスペクトルの値を示している。
【0113】
まず、第2の逆量子化部435は、0番目のスペクトルから1023番目のスペクトルまでを同方向に入力するため、スペクトルの数をカウントするカウンタi、jの初期値をそれぞれ「0」にセットする(S71)。次いで、第2の逆量子化部435は、カウンタiの値が「1024」未満であるか否かを調べ(S72)、カウンタiの値が「1024」未満であれば、第1の逆量子化部430の低域部i番目(この場合、0番目)のスペクトルの値を、第2の逆量子化部435の高域部j番目(この場合、0番目)のスペクトルの値として入力する(S73)。この後、第2の逆量子化部435は、カウンタi、jの値をそれぞれ「1」だけインクリメントし(S74)、カウンタiの値が「1024」未満であるか否かを調べる(S72)。
【0114】
第2の逆量子化部435は、カウンタiの値が「1024」未満である間、上記処理を繰り返し、カウンタiの値が「1024」以上になると、処理を終了する。
【0115】
この結果、第1の逆量子化部430の逆量子化結果である0〜1023番目の低域部の全スペクトルが、そのまま第2の逆量子化部435の高域部のスペクトルとしてコピーされる。
【0116】
このようにしてコピーされたスペクトルデータは、第2の復号化部425によって復号化された補助情報、すなわちピーク値を「1」にするスケールファクターの値に応じてコピーしたスペクトルデータの振幅が調整され、高域部のスペクトルデータとして出力される。なお、振幅の調整は、スケールファクターバンドごとに、バンド内にコピーされたスペクトルデータの絶対最大値と、そのバンドに対応するスケールファクター値を用いて量子化値「1」を逆量子化した値との比率を係数として、バンド内の各スペクトルデータに乗じることで達成される。ここで、第2の逆量子化部435が出力するスペクトルデータの最大サンプル数は1024であり、これらは11.025を超える再生帯域を表す。
【0117】
なお、図12においては、低域部1024スペクトルを周波数軸方向の順方向に高域部にコピーされる手順を示したが、図13に示すようにこれと逆方向にコピーしてもよい。
【0118】
図13は、図1に示した第2の逆量子化部435によって低域部1024スペクトルが周波数軸方向の逆方向に高域部にコピーされる手順を示すフローチャートである。図12と同様、図13において、inv_spec1[i]は、第1の逆量子化部430の出力データのうちのi番目のスペクトルの値を示し、inv_spec2[j]は、第2の逆量子化部435の入力データのうちのj番目のスペクトルの値を示している。
【0119】
まず、第2の逆量子化部435は、0番目のスペクトルから1023番目のスペクトルまでを逆方向に入力するため、スペクトルの数をカウントするカウンタiの初期値を「0」に、jの初期値を「1023」にセットする(S81)。次いで、第2の逆量子化部435は、カウンタiの値が「1024」未満であるか否かを調べ(S82)、カウンタiの値が「1024」未満であれば、第1の逆量子化部430の低域部i番目(この場合、0番目)のスペクトルの値を、第2の逆量子化部435の高域部j番目(この場合、1023番目)のスペクトルの値として入力する(S83)。この後、第2の逆量子化部435は、カウンタiの値を「1」だけインクリメントし、jの値を「1」だけデクリメントして(S84)、カウンタiの値が「1024」未満であるか否かを調べる(S82)。
【0120】
第2の逆量子化部435は、カウンタiの値が「1024」未満である間、上記処理を繰り返し、カウンタiの値が「1024」以上になると、処理を終了する。
【0121】
この結果、第1の逆量子化部430の逆量子化結果である0〜1023番目の低域部の全スペクトルが、第2の逆量子化部435の高域部の1023〜0番目のスペクトルとして逆方向にコピーされる。
【0122】
この場合においても、コピーされたスペクトルデータは、第2の復号化部425によって復号化された補助情報、すなわちピーク値を「1」にするスケールファクターの値に応じてコピーしたスペクトルデータの振幅が調整され、高域部のスペクトルデータとして出力される。なお、振幅の調整は、スケールファクターバンドごとに、バンド内にコピーされたスペクトルデータの絶対最大値と、そのバンドに対応するスケールファクター値を用いて量子化値「1」を逆量子化した値との比率を係数として、バンド内の各スペクトルデータに乗じることで達成される。ここで、第2の逆量子化部435が出力するスペクトルデータの最大サンプル数は1024であり、これらは11.025を超える再生帯域を表す。
【0123】
なお、第2の逆量子化部435は低域部におけるすべてのスペクトルデータを高域部にコピーしたが、一部のみコピーしてもよい。
また、高域部と低域部の全体を一度にコピーする手順として図12および図13の場合を例として挙げたが、一部図12のようにコピーし、一部図13のようにコピーしてもよい。
【0124】
また、それらの一部、または全部を正負の符号を反転してコピーしてもよい。さらに、これらのコピー手順は、あらかじめ決めておいてもよいし、低域部のデータに応じて変更してもよいし、補助情報として伝送してもよい。
【0125】
また、ここでは、低域部側のスペクトルデータを高域部側のスペクトルデータとしてコピーしているが、これに限らず、高域部側のスペクトルデータは第2の符号化情報のみから生成してもよい。
【0126】
さらに、本実施の形態においては、第2の逆量子化部435におけるノイズ生成として、主として第1の逆量子化部430から得られるスペクトルデータをコピーする場合について説明したが、これに限ったものでなく、高域部の各スケールファクターバンド内において一定値をもつスペクトルデータ、ホワイトノイズ、およびピンクノイズなどを、第2の逆量子化部435で独自に生成してもよいし、補助情報に応じて生成してもよい。
【0127】
第2の逆量子化部435から出力された1024個のスペクトルデータは、逆量子化データ合成部440において第1の逆量子化部430から出力されたスペクトルデータ(1024個)と合成され、IMDCTされることにより時間軸上の音響データに逆変換され、サンプリング周波数44.1kHzでD/A変換されることにより再生帯域0〜22.05kHzの音声信号が再生される。
【0128】
以上のように、本発明では従来の2倍の変換長をもつMDCTおよびIMDCTを用いて、2048サンプルのスペクトルデータに対して前半1024サンプルのみを対象として従来の符号化を行い、残りの後半1024サンプルについては従来と比べて少ない情報量での符号化を行い、復号時にそれらを合成した。
【0129】
後半1024サンプルのスペクトルデータの符号化に必要な情報量を削減できることで、前半1024サンプルのスペクトルデータの符号化に必要な情報量を増加させることができ、低域部の原信号に対する精度を向上させつつも、広帯域な符号化を行うことができた。
【0130】
また本実施例のおける符号化装置が生成したビットストリームは、従来の復号化装置でも復号することができる。
次いで、補助情報およびその復号化の種々変形例について説明する。
【0131】
図14は、図1に示した第2の量子化部345によって生成される他の補助情報(量子化値)の具体例を示すスペクトル波形図である。また、図15は、図1に示した第2の量子化部345の他の補助情報(量子化値)計算処理における動作を示すフローチャートである。
【0132】
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき共通のスケールファクター値、例えば「18」をあらかじめ定めておき、そのスケールファクター値「18」を用いて、スケールファクターバンドごとに、そのスケールファクターバンドにおける絶対最大値スペクトルデータ(ピーク)の量子化値を計算する(S21)。
【0133】
第2の量子化部345は、再生帯域11.025kHzを超える高域部の最初のスケールファクターバンドにおける絶対最大スペクトルデータ(ピーク)を特定する(S22)。図14の具体例において、最初のスケールファクターバンド内で特定されたピークの位置が▲1▼で、そのときのピークの値が「256」であったとする。
【0134】
第2の量子化部345は、量子化値を計算する公式に、あらかじめ定めた共通のスケールファクター値「18」とピークの値「256」とをあてはめ、量子化値を計算する(S23)。例えば、この場合、ピーク値「256」をスケールファクター値「18」で量子化すると、量子化値「6」が算出される。
【0135】
最初のスケールファクターバンドについて、ピーク値「256」の量子化値「6」が求められると(S24)、第2の量子化部345は、次のスケールファクターバンドについて、スペクトルデータのピークを特定し(S22)、例えば、特定されたピークの位置が▲2▼で、その値が「312」であった場合、スケールファクターの値を「18」とするピーク値「312」の量子化値、例えば「10」を計算する(S23)。
【0136】
同様にして、第2の量子化部345は、高域部における3番目のスケールファクターバンドについて、スケールファクターの値を「18」とするピーク▲3▼の値「288」の量子化値「9」を計算し、4番目のスケールファクターバンドについて、スケールファクターの値を「18」とするピーク▲4▼の値「203」の量子化値「5」を計算する。
【0137】
このようにして、高域部のすべてのスケールファクターバンドについて、スケールファクターを「18」に固定した場合のピーク値の量子化値が計算されると(S24)、第2の量子化部345は、計算によって得られた各スケールファクターバンドの量子化値を、高域部の補助情報として第2の符号化部355に出力し、処理を終了する。
【0138】
以上のようにして第2の量子化部345によって補助情報(量子化値)が生成されるが、この補助情報(量子化値)は、1024点のスペクトルデータで表されていた高域部を、4つのスケールファクターバンドにつき、それぞれ4ビットの量子化値で表している。これに対し、前述の補助情報(スケールファクター)では、高域部を、4つのスケールファクターバンドにつき、それぞれ8ビットのスケールファクターで表していたので、これと比較すると、高域部のデータ量がより低減されている。また、この量子化値は、各スケールファクターバンドにおけるピーク値(絶対値)の振幅を大まかに表しており、高域部における1024点で一定値をとるスペクトルデータあるいは低域部のスペクトルデータの一部または全部のコピーに、これを単純に乗算して得られるスペクトルデータであっても、入力音響信号に基づいて得られたスペクトルデータを大まかに復元しているといえる。また、スケールファクターバンドごとに、バンド内にコピーされたスペクトルデータの絶対最大値と、あらかじめ定められていたスケールファクター値を用いてそのバンドに対応する量子化値を逆量子化した値との比率を係数として、バンド内の各スペクトルデータに乗じることにより、さらに精度よくスペクトルデータを復元することができる。
【0139】
なお、この実施の形態では、第2の符号化情報として伝送される量子化値に対応するスケールファクター値は、あらかじめ定めたものにしたが、最適なスケールファクター値を計算し、第2の符号化情報に付加して伝送してもよい。例えば、量子化値の最大値が7となるようにスケールファクターを選択すれば、量子化値を表すビット数が3ビットですむので、量子化値の伝送に必要な情報量はより少なくてすむ。
【0140】
図16は、図1に示した第2の量子化部345によって生成される他の補助情報(位置情報)の具体例を示すスペクトル波形図である。また、図17は、図1に示した第2の量子化部345の他の補助情報(位置情報)計算処理における動作を示すフローチャートである。
【0141】
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき、各スケールファクターバンドにおける絶対最大スペクトルデータの位置を以下の手順にしたがって特定する(S31)。
【0142】
第2の量子化部345は、再生帯域11.025kHzを超える高域部の最初のスケールファクターバンドにおける絶対最大スペクトルデータ(ピーク)を特定する(S32)。図16の具体例において、最初のスケールファクターバンド内で特定されたピークの位置が▲1▼で、このスケールファクターバンドの先頭から22番目のスペクトルデータであったとする。第2の量子化部345は、特定されたピークの位置「スケールファクターバンドの先頭から22番目のスペクトルデータ」を保持する(S33)。
【0143】
最初のスケールファクターバンドについて、ピークの位置が特定され、保持されると(S34)、第2の量子化部345は、次のスケールファクターバンドについて、スペクトルデータのピークを特定する(S32)。例えば、特定されたピークの位置が▲2▼で、スケールファクターバンドの先頭から60番目のスペクトルデータであったとする。第2の量子化部345は、特定されたピークの位置「スケールファクターバンドの先頭から60番目のスペクトルデータ」を保持する(S33)。
【0144】
以下、同様にして、第2の量子化部345は、高域部における3番目のスケールファクターバンドについて、ピーク▲3▼の位置「スケールファクターバンドの先頭のスペクトルデータ」を特定して保持するとともに、4番目のスケールファクターバンドについて、ピーク▲4▼の位置「スケールファクターバンドの先頭から25番目のスペクトルデータ」を特定して保持する。
【0145】
このようにして、高域部のすべてのスケールファクターバンドについて、ピークの位置が特定され、保持されると(S34)、第2の量子化部345は、保持していた各スケールファクターバンドのピークの位置を、高域部の補助情報として第2の符号化部355に出力し、処理を終了する。
【0146】
以上のようにして第2の量子化部345によって補助情報(位置情報)が生成されるが、この補助情報(位置情報)は、1024点のスペクトルデータで表されていた高域部を、4つのスケールファクターバンドにつき、それぞれ6ビットの位置情報で表している。
【0147】
この場合、復号化装置400において、第2の逆量子化部435は、低域部の1024サンプル分のスペクトルデータの一部または全部を、第2の復号化部425から入力された補助情報(位置情報)に応じて高域部側の1024サンプルデータとしてコピーする。コピーの手順は、1つ以上のスケールファクターバンドにおけるスペクトルデータのピーク情報をもとに、類似したデータを第1の逆量子化部430より出力されたスペクトルデータより抽出し、その一部または全部をコピーすることで達成される。また、第2の逆量子化部435においては、必要に応じてコピーしたスペクトルデータの振幅を調整する。振幅の調整は各スペクトルデータにあらかじめ定められた係数、例えば「0.5」として、この係数を乗じることで達成する。この係数は固定値でもよいし、帯域ごと、あるいはスケールファクターバンドごとに変更してもよいし、第1の逆量子化部430より出力されるスペクトルデータに応じて変更してもよい。
【0148】
また、上記ではあらかじめ定めた係数を用いるが、補助情報として、この係数の値を第2の符号化情報内に付加してもよい。または係数としてスケールファクター値を第2の符号化情報に付加してもよいし、係数としてスケールファクターバンド内のピークの量子化値を第2の符号化情報に付加してもよい。また振幅調整方法はこれに限ったものではなく、他の方法を用いてもよい。
【0149】
なお、この実施の形態では、補助情報として位置情報のみ、または位置情報と係数情報のみを符号化したが、これに限ったものでなくてよく、スケールファクター、量子化値、スペクトルのサイン情報およびノイズ生成方法等を符号化してもよい。また、これらを2つ以上組み合わせて符号化してもよい。
【0150】
また、低域部側のスペクトルデータを高域部側のスペクトルデータとしてコピーしているが、これに限らず、高域部側のスペクトルデータは第2の符号化情報のみから生成してもよい。
【0151】
図18は、図1に示した第2の量子化部345によって生成される他の補助情報(サイン情報)の具体例を示すスペクトル波形図である。また、図19は、図1に示した第2の量子化部345の他の補助情報(サイン情報)計算処理における動作を示すフローチャートである。
【0152】
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき、各スケールファクターバンドのあらかじめ定めた位置、例えばスケールファクターバンド中央におけるスペクトルデータのサイン情報を以下の手順にしたがって特定する(S41)。
【0153】
第2の量子化部345は、再生帯域11.025kHzを超える高域部の最初のスケールファクターバンドの中央位置におけるスペクトルデータのサイン情報を調べ(S42)、その値を保持する。例えば、最初のスケールファクターバンドの中央位置におけるスペクトルデータのサイン符号は、「+」である。第2の量子化部345は、この符号「+」を1ビットの値「1」で表して保持する。また、この符号が「−」であった場合は、「0」で表して保持する。
【0154】
最初のスケールファクターバンドについて、スケールファクターバンドの中央位置におけるスペクトルデータのサイン情報が保持されると(S43)、第2の量子化部345は、次のスケールファクターバンドについて、中央位置におけるスペクトルデータの符号を調べる(S42)。例えば、調べられた符号が「+」であったとすると、第2の量子化部345は、2番めのスケールファクターバンドの中央位置におけるスペクトルデータのサイン情報として「1」を保持する。
【0155】
以下同様にして、第2の量子化部345は、高域部における3番目のスケールファクターバンド中央位置におけるスペクトルデータの符号「+」を調べ、そのサイン情報「1」を保持するとともに、4番目のスケールファクターバンド中央位置におけるスペクトルデータの符号「+」を調べ、そのサイン情報「1」を保持する。
【0156】
このようにして、高域部のすべてのスケールファクターバンドについて、中央位置のスペクトルデータのサイン情報が保持されると(S43)、第2の量子化部345は、保持していた各スケールファクターバンドのサイン情報を、高域部の補助情報として第2の符号化部355に出力し、処理を終了する。
【0157】
以上のようにして第2の量子化部345によって補助情報(サイン情報)が生成されるが、この補助情報(サイン情報)は、1024点のスペクトルデータで表されていた高域部を、4つのスケールファクターバンドにつき、それぞれ1ビットのサイン情報で表しており、非常に短いデータ長で高域部のスペクトルを表すことができる。
【0158】
この場合、復号化装置400において、第2の逆量子化部435は、低域部の1024サンプル分のスペクトルデータの一部または全部を高域部側スペクトルとしてコピーし、第2の復号化部425から入力されたサイン情報に応じて、あらかじめ定められた位置のスペクトルデータの符号を決定する。
【0159】
なお、ここでは、高域部の各スケールファクターバンド中央位置の符号を表したサイン情報を補助情報(サイン情報)としたが、スケールファクターバンド中央の位置に限定されず、例えば、各ピーク位置のサイン情報であってもよいし、スケールファクターバンド先頭のサイン情報であってもよいし、それ以外の所定の位置でもよい。
【0160】
またここでは、伝送する符号(サイン情報)に対応するスペクトルデータの位置はあらかじめ定めたものになっているが、これは第1の逆量子化部430の出力に応じて変更してもよいし、各スケールファクターバンドのサイン情報がどの位置のサイン情報であるかを示す位置情報を、第2の符号化情報に付加して伝送してもよい。
【0161】
また第2の逆量子化部435においては、必要に応じてコピーしたスペクトルデータの振幅を調整する。振幅の調整は、各スペクトルデータにあらかじめ決められた係数、例えばその値を「0.5」として、その係数を乗じることで達成できる。
【0162】
この係数は固定値でもよいし、帯域ごとに、あるいはスケールファクターバンドごとに変更してもよいし、第1の逆量子化部430より出力されるスペクトルデータに応じて変更してもよい。また振幅調整方法はこれに限ったものではなく、他の方法を用いてもよい。
【0163】
なお、この実施の形態においては、あらかじめ定めた係数を用いたが、この係数の値を補助情報として第2の符号化情報に付加してもよい。また、その係数としてスケールファクター値を第2の符号化情報に付加してもよいし、係数として量子化値を第2の符号化情報に付加してもよい。
【0164】
さらに、補助情報としてサイン情報のみ、またはサイン情報と係数情報とのみ、またはサイン情報と位置情報とのみ、またはサイン情報と位置情報と係数情報とのみを符号化したが、これに限ったものでなく、量子化値、スケールファクター、特徴的なスペクトルの位置情報、およびノイズ生成方法等を符号化してもよい。またこれらを2つ以上組み合わせて符号化してもよい。
【0165】
また、本実施の形態においては、低域部側のスペクトルデータを高域部側のスペクトルデータとしてコピーしているが、これに限らず、高域部側のスペクトルデータは第2の符号化情報のみから生成してもよい。
【0166】
また、上記では、この符号「+」を1ビットの値「1」で表し、符号「−」をで「0」で表したが、補助情報(サイン情報)における符号の表し方は、これに限定されず、他の値で表してもよい。
【0167】
図20は、図1に示した第2の量子化部345によって生成される他の補助情報(コピー情報)の作成方法の一例を示すスペクトル波形図である。図20(a)は、高域部の最初のスケールファクターバンドにおけるスペクトルを示す波形図である。図20(b)は、補助情報(コピー情報)によって特定される低域部のスペクトル波形の一例を示す波形図である。また、図21は、図1に示した第2の量子化部345の他の補助情報(コピー情報)計算処理における動作を示すフローチャートである。
【0168】
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき、そのスケールファクターバンド先頭からのピークの位置n(先頭からn番目)に対し、低域部においてスケールファクターバンド先頭からのピークの位置がnに最も近い値となるスケールファクターバンドの番号Nを、以下の手順にしたがって特定する(S51)。
【0169】
第2の量子化部345は、再生帯域11.025kHzを超える高域部の最初のスケールファクターバンドにおける絶対最大スペクトルデータ(ピーク)の位置nを特定する(S52)。その結果、例えば、図20(a)に示すように、特定されたピークの位置が▲1▼で、そのスペクトルがこのスケールファクターバンドのn=22のスペクトルデータであったとする。
【0170】
第2の量子化部345は、スペクトルの周波数が再生帯域11.025kHz以下の低域部におけるスペクトルのすべての(正負の両方を含む)ピークの位置を特定する(S53)。
【0171】
次いで、第2の量子化部345は、低域部で特定されたすべてのピークについて、ピークからスケールファクターバンドの先頭までの位置がnに最も近いスケールファクターバンドをサーチし、そのスケールファクターバンドの番号Nと、そのサーチの方向とピークのサイン情報とを特定する(S54)。
【0172】
具体的には、第2の量子化部345は、特定された(正負の両方を含む)全ピークにつき、低周波側のピークから順次、そのピークからの位置がnに最も近いスケールファクターバンドの先頭をサーチする。サーチの方向は、ピークからさらに低周波の方向に向かってサーチする場合(1)と、ピークからさらに高周波の方向に向かってサーチする場合(2)との2通りがある。また、高域部のピークと正負の符号が反転している低域部のピークについても、ピークからさらに低周波の方向に向かってサーチする場合(3)と、ピークからさらに高周波の方向に向かってサーチする場合(4)との2通りがある。
【0173】
これらのうち、サーチ方向が(2)と(4)の場合には、このピーク情報に基づいて低域部のスペクトル波形をコピーした場合には、図20(b)に示すように高域部のピークの位置と低域部のピークの位置とがスケールファクターバンド内で左右(周波数軸方向)に反転した波形がコピーされるため、例えば(1)と(3)とのサーチ方向を順方向とし、(2)と(4)とを逆方向として、サーチ方向の順逆を表す情報を添付することが必要である。また、サーチ方向が(3)と(4)との場合は、図20(b)に示すように高域部のピークの位置と低域部のピークの位置とが上下(縦軸方向)に反転した波形がコピーされるため、高域部のピーク値と低域部のピーク値との正負の符号が反転しているか否かを示す情報を添付することが必要である。
【0174】
第2の量子化部345は、低域部で特定されたピークが正の値をとるピークであれば(1)と(2)とのサーチ方向で、低域部で特定されたピークが負の値をとるピークであれば(3)と(4)との合わせて4通りの方向についてサーチを行い、そのサーチ結果のうち、ピークからの位置がnに最も近いスケールファクターバンドの番号を特定する。この場合、あらかじめnとの誤差範囲を所定の値、例えば「5」に設定しておき、前記4通りのサーチ結果のうちから、ピークからの位置がnに最も近いスケールファクターバンドを選択して、そのスケールファクターバンドの番号Nを特定する。併せて、高域部のピーク値と低域部のピーク値との正負の符号が反転しているか否かを示すサイン情報と、サーチ方向の順逆を表す情報とを特定する。
【0175】
例えば、サーチ方向(1)では、図20(b)の(1)に示すような低域部のスペクトルに対応して、ピークからの位置の誤差「1」で、スケールファクターバンドの番号N=3が特定されたとする。また、サーチ方向(2)では、図20(b)の(2)に示すような低域部のスペクトルに対応して、ピークからの位置の誤差「5」で、スケールファクターバンドの番号N=18が特定されたとし、同様に、サーチ方向(3)では、図20(b)の(3)に示すような低域部のスペクトルに対応して、誤差「4」で、スケールファクターバンドの番号N=12、サーチ方向(4)では、図20(b)の(4)に示すような低域部のスペクトルに対応して、誤差「2」で、スケールファクターバンドの番号N=10が特定されたとする。第2の量子化部345は、特定されたスケールファクターバンドの番号4つのうち、ピークからの位置の誤差が「1」で、ピークからの位置がnに最も近いスケールファクターバンドの番号N=3を選択する。これと併せて、低域部のピークの符号「+」を表すサイン情報「1」と、ピークからさらに低周波の方向に向かってサーチしたことを表すサーチ方向情報「1」とを生成する。この場合、ピークの符号が「−」であればサイン情報を「1」とし、ピークからさらに高周波の方向に向かってサーチした場合は、サーチ方向情報を「0」として表す。
【0176】
高域部の最初のスケールファクターバンドについて、スケールファクターバンドの番号N=3とサイン情報「1」とサーチ方向情報「1」とが特定されると(S55)、第2の量子化部345は、上記と同様にして次のスケールファクターバンドについて、スケールファクターバンドの番号Nとそのサイン情報とそのサーチ方向情報とを特定する。
【0177】
このようにして、高域部のすべてのスケールファクターバンドについて、そのスケールファクターバンドにおける先頭からのピークの位置nに対し、スケールファクターバンド先頭からのピークの位置がnに最も近い値となる低域部のスケールファクターバンドの番号Nとそのサイン情報とそのサーチ方向情報とが特定されると(S55)、第2の量子化部345は、特定された高域部の各スケールファクターバンドに対応する低域部のスケールファクターバンドの番号Nとサイン情報とサーチ方向情報とを高域部の補助情報(コピー情報)として第2の符号化部355に出力し、処理を終了する。
【0178】
この場合、復号化装置400において、第1の符号化信号を従来の手順にしたがって復号化すると、低域部側の1024サンプルのスペクトルデータが得られる。第2の逆量子化部435では、第2の復号化部425から出力されたスケールファクターバンド番号に該当するスペクトルデータの一部または全部を高域部側スペクトルとしてコピーする。また第2の逆量子化部435においては、必要に応じてコピーしたスペクトルデータの振幅を調整する。振幅の調整は、各スペクトルにあらかじめ決められた係数、例えばその値を「0.5」として、その係数を乗じることで達成できる。
【0179】
この係数は固定値でもよいし、帯域ごと、スケールファクターバンドごとに変更してもよいし、第1の逆量子化部430より出力されるスペクトルデータに応じて変更してもよい。
【0180】
なお、この実施の形態では、振幅の調整に、あらかじめ定めた係数を用いたが、この係数の値を補助情報として第2の符号化情報に付加してもよい。また係数としてスケールファクター値を第2の符号化情報に付加してもよいし、係数として量子化値を第2の符号化情報に付加してもよい。また振幅調整方法はこれに限ったものではなく、他の方法を用いてもよい。
【0181】
また、高域部の補助情報(コピー情報)としてスケールファクターバンドの番号Nの他にそのサイン情報とサーチ方向情報とを抽出したが、高域部について伝送可能な情報量に応じて、サイン情報とサーチ方向情報とは省略してもよい。また、サイン情報は、低域部のピークの符号が「+」であれば「1」、「−」であれば「0」とし、サーチ方向情報は、ピークからさらに低周波の方向に向かってサーチした場合は「1」、ピークからさらに高周波の方向に向かってサーチした場合は「0」として表したが、サイン情報における低域部のピークの符号およびサーチ方向情報のサーチ方向の表し方は、それぞれこれらに限定されず、他の値で表してもよい。
【0182】
また、低域部において特定された各ピークの位置からその距離がnに最も近い値となるスケールファクターバンドの先頭をサーチしたが、この例に限定されず、低域部の各スケールファクターバンド先頭からその距離がnに最も近い値となるピークをサーチしてもよい。
【0183】
図22は、図1に示した第2の量子化部345によって生成される他の補助情報(コピー情報)の作成方法の第2の例を示すスペクトル波形図である。図23は、図1に示した第2の量子化部345の他の補助情報(コピー情報)の第2の計算処理における動作を示すフローチャートである。
【0184】
第2の量子化部345は、再生帯域11.025kHzを超える再生帯域22.05kHzまでの高域部のすべてのスケールファクターバンドにつき、そのスケールファクターバンド内の全スペクトルとのスペクトルの差分(エネルギー差)が最小となる低域部のスケールファクターバンドの番号Nを、以下の手順にしたがって特定する(S61)。ただし、低域部において高域部との差分をとるスペクトルの個数は、高域部のスケールファクターバンド内のスペクトルの個数と等しくとり、特定されるスケールファクターバンドの番号Nは、そのスペクトルの先頭のスケールファクターバンドの番号とする。
【0185】
第2の量子化部345は、低域部のすべてのスケールファクターバンドにつき(S62)、そのスケールファクターバンドの先頭から高域部のスケールファクターバンド内のスペクトルデータと同数のスペクトルデータからなる周波数の幅で、高域部のスペクトルと低域部のスペクトルとの差分を求める(S63)。例えば、図22に示す波形図において、高域部の最初のスケールファクターバンドが、スペクトルデータ数=48のスケールファクターバンドであったとすると、第2の量子化部345は、低域部の番号N=1のスケールファクターバンドの先頭から48個のスペクトルデータにつき、順次、高域部と低域部とのスペクトルの差分を求める。
【0186】
第2の量子化部345は、高域部のスケールファクターバンドと同数のスペクトルについて、高域部と低域部とのスペクトルの差分が求められると(S65)、その値を保持し、次の低域部のスケールファクターバンドの先頭から、高域部のスケールファクターバンド内のスペクトルと同数のスペクトルデータの周波数の幅で、高域部スペクトルと低域部スペクトルとの差分を求める(S64)。例えば、低域部の番号N=1のスケールファクターバンドの先頭から48個のスペクトルデータの幅で、スペクトルの差分が求められると、求められた差分の値を保持しておき、低域部の番号N=2のスケールファクターバンドの先頭から48個のスペクトルデータの幅で、スペクトルの差分を求める。以下同様に、低域部の番号N=3のスケールファクターバンド、番号N=4のスケールファクターバンド、・・・、番号N=28(低域部の最後)のスケールファクターバンドというように、低域部のすべてのスケールファクターバンドについて、順次、高域部と低域部との48個のスペクトルデータ同士の差分を合計してスペクトルの差分を求める。
【0187】
低域部のすべてのスケールファクターバンドについて、そのスケールファクターバンドの先頭から、高域部のスケールファクターバンド内のスペクトルデータと同数のスペクトルデータの幅で、高域部スペクトルと低域部スペクトルとの差分が求められると(S64)、第2の量子化部345は、求められた差分が最小となるスケールファクターバンドの番号Nを特定する(S65)。例えば、図22に示すスペクトル波形図において、低域部の番号N=8のスケールファクターバンドが特定されたとする。このことは、低域部の斜線で示す部分のスペクトルは、高域部の斜線で示す部分のスペクトルとの差分が最も少なく、スペクトル同士のエネルギー差が最も小さいことを示している。すなわち、番号N=8のスケールファクターバンドの先頭から48個のスペクトルデータは、11.25kHzから始まる高域部の最初のスケールファクターバンドにコピーした場合、図22の高域部に一点鎖線で示す波形となり、オリジナルのスペクトルに対して近似的に、高域部の当該スケールファクターバンド内のエネルギーを表すことができる。
【0188】
第2の量子化部345は、高域部のスケールファクターバンドにつき、スペクトルの差分が最小となる低域部スケールファクターバンドの番号Nを特定すると、特定されたスケールファクターバンドの番号Nを保持し、上記と同様にして、次の高域部のスケールファクターバンドにつき、該当するスケールファクターバンドの番号Nを特定する(S66)。以下、高域部の各スケールファクターバンドにつき、順次この処理を繰り返し、すべての高域部のスケールファクターバンドにいて、スペクトルの差分が最小となる低域部スケールファクターバンドの番号Nを特定すると、保持していた低域部のスケールファクターバンドの番号Nを、高域部の補助情報(コピー情報)として第2の符号化部355に出力し、処理を終了する。
【0189】
なお、この場合、復号化装置400における低域側スペクトルのコピー方法および振幅調整方法は、図20と図21とを用いて説明した補助情報(コピー情報)の場合と同様である。
【0190】
また、図23のフローチャートでは高域部と低域部とのエネルギー差を計算する際に、同符号、かつ、周波数軸上の同方向に計算したが、本発明の符号化装置はこれに限定されず、図20と図21とを用いて説明したように、以下の3通りの方法のいずれかを用いて高域部と低域部とのエネルギー差を計算してもよい。▲1▼高域部と低域部との各スペクトルデータの値を、同符号で、かつ、低周波側から高周波側に向かって順次選択される高域部スペクトルデータに対し、低域部スケールファクターバンドの先頭から高域部と同数のスペクトルデータについて高周波側から低周波側に向かって(すなわち周波数軸上の逆方向に)スペクトルデータを順次選択し、差分を計算する。▲2▼低域部スペクトルの符号を反転し(マイナスをかけ)、かつ、周波数軸上の同方向に計算する。▲3▼低域部スペクトルの符号を反転し(マイナスをかけ)、かつ、周波数軸上の逆方向に計算する。また、これら4つのすべての方法で計算を行った後、これらのうちのエネルギー差が最小となる低域部スペクトルのスケールファクターバンドの番号Nを補助情報としてもよい。この場合には、エネルギー差が最小となる低域部スペクトルを高域部に正しくコピーするために、低域部スペクトルと高域部スペクトルとの符号の関係を示す情報と、高域部に低域部スペクトルをコピーする周波数軸上の方向を示す情報とを、スケールファクターバンドごとに補助情報に含める。低域部スペクトルと高域部スペクトルとの符号の関係を示す情報は、例えば、同符号で差分をとった場合を「1」、逆符号で差分をとった場合を「0」として1ビットで表される。また、低域部スペクトルを高域部にコピーする場合の周波数軸上の方向を示す情報は、例えば、順方向にコピーする場合、すなわち、高域部と低域部とにおいてスペクトルデータを選択する方向が順方向だった場合を「1」、逆方向にコピーする場合、すなわち、高域部と低域部とにおいてスペクトルデータを選択する方向が逆方向だった場合を「0」として1ビットで表される。
【0191】
なお、上記実施形態に係る音響データ配信システムの例を放送システムに適用した場合について説明したが、インターネット等の伝送媒体を介してサーバから端末にビットストリームで音響データ配信するような音響データ配信システムに適用してもよく、符号化装置300から出力されたビットストリームをCDやDVD等の光ディスク、半導体、ハードディスク等の記録媒体に一旦記録し、この記録媒体を介して復号化装置400で再生するような音響データ配信システムに適用してもよい。
【0192】
また、上記実施の形態では、LONGブロックで実施したが、SHORTブロックで実施してもよく、このSHORTブロックにおいてもLONGブロックで実施したのと同様の処理を行えばよい。
【0193】
また、符号化処理では、Gain ControlやTNS(TEMPORAL NOISE SHAPING)、聴覚心理モデル、M/S Stereo、Intensity Stereo、Prediction等のツール利用、およびブロックサイズの切り替え、ビットリザーバー等を使用してもよい。
【0194】
また、上記実施の形態では、データ分離部330により分離された高域部のスペクトルデータに基づいて補助情報を生成したが、第1の量子化部340の出力を逆量子化した値を高域部のスペクトルデータとし、この高域部のスペクトルデータに基づいて補助情報を生成してもよい。
【0195】
また、補助情報として、高域部の各スケールファクターバンド内のスペクトルデータの量子化値が「1」となるようなスケールファクターや、量子化値、特徴的なスペクトルの位置情報、スペクトルの正負の符号を表すサイン情報等で実施したが、これらを2つ以上組み合わせたものを補助情報としてもよい。この場合、補助情報内に、振幅の比率を表す係数や絶対最大スペクトルデータの位置などを前記スケールファクターと組み合わせて符号化すれば、特に有効である。また、本実施の形態においては、第2の符号化信号として、各スケールファクターバンドに1つの補助情報を符号化しているが、2つ以上のスケールファクターバンドごとに1つの補助情報を符号化してもよいし、1つのスケールファクターバンドに2つ以上の補助情報を符号化してもよい。また、本実施の形態における補助情報は、チャンネルごとに補助情報を符号化してもよいし、2つ以上のチャンネルに対して1つの補助情報を符号化してもよい。
【0196】
また、本実施の形態においては、符号化装置300における量子化部および符号化部はそれぞれ2つとしたが、これに限定されるものではなく、3つ以上の量子化部および復号化部を備えてもよい。
【0197】
また、本実施の形態においては、復号化装置400における復号化部および逆量子化部はそれぞれ2つとしたが、これに限定されるものではなく、3つ以上の復号化部および逆量子化部を備えてもよい。
【0198】
また、以上の処理は、ハードウェアはもちろん、ソフトウェアでも実現でき、一部をハードウェア、残りをソフトウェアで実現するという構成でもよい。
また、上記実施の形態では、サンプリング周波数を44.1kHzで実施したが、32kHz,48kHz等で実施してもよく、また、データ分離部330における分離する境界の周波数を11.025kHz以外の周波数に変更してもよい。
【0199】
さらに、上記実施の形態ではAACについて実施したが、他の方式(例えば、MP3、AC3等)の符号化装置および復号化装置等においても同様に実施してもよい。
【0200】
また、符号化装置を以下のように構成してもよい。
すなわち、音響データを符号化する符号化装置であって、音響データ列から、要求数m1を超える個数m2の音響データを連続して切り出す切り出し手段と、前記切り出す切り出し手段によって切り出された音響データを周波数軸上のスペクトルデータに変換する変換手段と、前記変換で得られたm2個のスペクトルデータを前記m1個の低域部スペクトルデータと(m2−m1)個の高域部スペクトルデータとに分離する分離手段と、分離された低域部スペクトルデータを量子化し、符号化する低域部符号化手段と、分離された高域部スペクトルデータから、当該高域部周波数スペクトルの特徴を示す補助情報を生成する補助情報生成手段と、生成された補助情報を符号化する高域部符号化手段と、前記低域部符号化手段で得られた符号と前記高域部符号化手段で得られた符号とを合成して出力する出力手段とを備えることを特徴としてもよい。
【0201】
この場合、前記補助情報生成手段は、複数のグループに分けられた前記スペクトルデータにつき、高域部の各グループにおいて、ピークとなるスペクトルデータを量子化した値が一定値となる正規化係数を計算し、計算された正規化係数を前記補助情報として生成することを特徴とする構成とすることができる。
【0202】
また、前記補助情報生成手段は、複数のグループに分けられた前記スペクトルデータにつき、高域部の各グループにおいてピークとなるスペクトルデータを、前記各グループに共通の正規化係数を用いて量子化し、その量子化値を前記補助情報として生成することを特徴とする構成とするができる。
【0203】
また、前記補助情報生成手段は、複数のグループに分けられた前記スペクトルデータにつき、高域部の各グループにおいてピークとなるスペクトルデータの周波数位置を前記補助情報として生成することを特徴とする構成とするができる。
【0204】
また、前記スペクトルデータはMDCT係数であって、前記補助情報生成手段は、複数のグループに分けられた前記スペクトルデータにつき、高域部の所定周波数位置におけるスペクトルデータの正負を示す符号を前記補助情報として生成することを特徴とする構成とするができる。
【0205】
また、前記補助情報生成手段は、複数のグループに分けられた前記スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似する低域部のスペクトルを特定する情報を前記補助情報として生成することを特徴とする構成とするができる。この場合、前記補助情報生成手段は、前記グループの区切りからそのグループにおける高域部スペクトルのピークまでの周波数軸上の距離と、低域部のグループの区切りから低域部スペクトルのピークまでの周波数軸上の距離との差が最小となる低域部スペクトルを特定することを特徴とする構成とするができる。また、前記補助情報生成手段は、前記高域部のグループ内のスペクトルと同じ周波数幅でエネルギーの差分をとったときの差分値が最小となる低域部のスペクトルを特定することを特徴とする構成とするができる。また、前記低域部のスペクトルを特定する情報は、特定された低域部スペクトルの前記グループを特定する番号であることを特徴とする構成とするができる。
【0206】
また、前記補助情報生成手段は、前記高域部スペクトルの振幅の増幅比率を表すあらかじめ定めた係数を前記補助情報として生成することを特徴とする構成とするができる。
【0207】
また、前記出力手段は、さらに、前記低域部符号化手段によって符号化されたデータを所定のフォーマットに定められた符号化音響ストリームに変換するとともに、前記符号化音響ストリーム内の領域であって、符号化規約では使用が制約されていない領域に、前記高域部符号化手段によって符号化されたデータを格納して出力するストリーム出力部を備えることを特徴とする構成とするができる。この場合、前記ストリーム出力部は、サンプリング周波数としてf1Hzを表す情報を書き込むことを特徴とする構成とするができる。
【0208】
さらに、前記出力手段は、さらに、前記低域部符号化手段によって符号化されたデータを所定のフォーマットに定められた符号化音響ストリームに変換するとともに、前記高域部符号化手段によって符号化されたデータを、前記符号化音響ストリームとは異なるストリームに格納して出力する第2ストリーム出力部を備えることを特徴とする構成とするができる。
【0209】
なお、この変形例の符号化装置と復号化装置とからなる通信システムとして実現したり、上記符号化装置および通信システムを構成する特徴的な手段をステップとする符号化方法、通信方法として実現したり、上記符号化装置を構成する特徴的な手段やステップをCPUに実行させる符号化プログラムとして実現したり、これらプログラムが記録されたコンピュータ読み取り可能な記録媒体として実現したりすることができるのはいうまでもない。
【0210】
【発明の効果】
以上の説明から明らかなように、本発明に係る符号化装置は、音響データを符号化する符号化装置であって、音響データ列から、連続する一定個数の音響データを切り出す切り出し手段と、切り出された音響データを周波数軸上のスペクトルデータに変換する変換手段と、前記変換で得られたスペクトルデータを前記f1Hzまでの低域部スペクトルデータと前記f1Hzよりも高い高域部スペクトルデータとに分離する分離手段と、分離された低域部スペクトルデータを量子化し、符号化する低域部符号化手段と、分離された高域部スペクトルデータから、当該高域部周波数スペクトルの特徴を示す補助情報を生成する補助情報生成手段と、生成された補助情報を符号化する高域部符号化手段と、前記低域部符号化手段で得られた符号と前記高域部符号化手段で得られた符号とを合成して出力する出力手段とを備え、前記f1は、前記音響データ列が作成されたときのサンプリング周波数f2の半分以下であることを特徴とする。
【0211】
本発明の符号化装置において、変換手段は、切り出し手段により切り出された音響データ列からf1以下の多数の低域部スペクトルデータを出力すると同時に、f1を超える高域部スペクトルデータを出力する。そして、分離手段により分離された低域部のスペクトルデータは量子化、符号化され、高域部のスペクトルデータについては、周波数の高域部の特徴を表す補助情報に符号化され、高域部符号化手段は、生成された前記補助情報を符号化する。
【0212】
したがって、情報量の合計が、大幅に増加しない範囲で、低域部についてはダウンサンプリングと同等で、しかも高域部を再現可能に音響信号を高品質の符号化することができる。
【0213】
ここで、前記f1は、f2/4であり、前記変換手段は、前記音響データを0〜2×f1Hzのスペクトルデータに変換し、前記分離手段は、0〜f1Hzの低域部スペクトルデータとf1〜2×f1Hzの高域部スペクトルデータとに分離することを特徴としたり、前記f1Hzまでの低域部スペクトルデータは、n個のスペクトルデータから構成され、前記切り出し手段は、2×n個のスペクトルデータを生成するのに必要な個数の音響データを切り出し、前記変換手段は、切り出された音響データを2×n個のスペクトルデータに変換し、前記分離手段は、n個の低域部スペクトルデータとn個の高域部スペクトルデータとに分離することを特徴としたり、前記切り出し手段は、符号化の単位である1フレームに相当するn個の音響データと、そのフレームに隣接する2つのフレームそれぞれに属するn/2個ずつの音響データとを併せた2×n個のスペクトルデータを切り出し、前記変換手段は、切り出された2×n個の音響データに対してMDCTによって前記変換を行い、2×n個のスペクトルデータからなる0〜2×f1Hzのスペクトルに変換することを特徴としたりする構成としてもよい。
【0214】
さらに、本発明に係る復号化装置は、記録媒体または伝送媒体を介して入力された符号化データを復号化する復号化装置であって、符号化データに含まれる低域部符号化データと高域部符号化データとをそれぞれ抽出する抽出手段と、前記抽出手段により抽出された低域部符号化データを復号化し、逆量子化することにより、周波数f1以下の低域部のスペクトルデータを出力する低域部逆量子化手段と、前記抽出手段により抽出された高域部データを復号化することにより、高域部スペクトルデータの特徴を表す補助情報を生成する補助情報復号化手段と、前記補助情報復号化手段により生成された補助情報に基づいて高域部のスペクトルデータを出力する高域部逆量子化手段と、前記低域部逆量子化手段によって出力された低域部スペクトルデータと、前記高域部逆量子化手段によって出力された高域部スペクトルデータとを合成する合成手段と、前記合成手段により合成されたスペクトルデータを時間軸上の音響データに逆変換する逆変換手段と、逆変換手段により逆変換された音響データを時間順に出力する音響データ出力手段とを備えることを特徴とする。
【0215】
本発明の復号化装置において、抽出手段は、入力された符号化データから低域部の符号化データと高域部の符号化データとを抽出し、低域部逆量子化手段は周波数f1以下の低域部のスペクトルデータを出力する。補助情報復号化手段は補助情報を復号化し、高域部逆量子化手段は補助情報に基づいて高域部のスペクトルデータを出力する。したがって、従来とほぼ同じわずかな情報量から、従来と比べて大幅に増加した情報量を復号化することができ、高音質の音響信号の復号化をすることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における放送システムの機能構成を示すブロック図である。
【図2】図1に示した符号化装置において処理される音響信号の状態変化を示す図である。
【図3】図1に示した第1の量子化部のスケールファクター決定処理における動作を示すフローチャートである。
【図4】図1に示した第1の量子化部のスケールファクター決定処理における他の動作を示すフローチャートである。
【図5】図1に示した第2の量子化部によって生成される補助情報(スケールファクター)の具体例を示すスペクトル波形図である。
【図6】図1に示した第2の量子化部の補助情報(スケールファクター)計算処理における動作を示すフローチャートである。
【図7】図1に示したストリーム出力部によって補助情報が格納されるビットストリーム中の位置を示す図である。
【図8】図1に示したストリーム出力部が補助情報を格納する場合の他の例を示す図である。
【図9】図1に示した符号化装置と従来例1との処理を比較して示す図である。
【図10】図1に示した符号化装置と従来例2との処理を比較して示す図である。
【図11】図1に示した符号化装置と従来例1,2とのスペクトルデータおよび特徴について比較して示す図である。
【図12】図1に示した第2の逆量子化部によって低域部1024スペクトルが順方向に高域部にコピーされる手順を示すフローチャートである。
【図13】図1に示した第2の逆量子化部によって低域部1024スペクトルが周波数軸方向の逆方向に高域部にコピーされる手順を示すフローチャートである。
【図14】図1に示した第2の量子化部によって生成される他の補助情報(量子化値)の具体例を示すスペクトル波形図である。
【図15】図1に示した第2の量子化部の他の補助情報(量子化値)計算処理における動作を示すフローチャートである。
【図16】図1に示した第2の量子化部によって生成される他の補助情報(位置情報)の具体例を示すスペクトル波形図である。
【図17】図1に示した第2の量子化部の他の補助情報(位置情報)計算処理における動作を示すフローチャートである。
【図18】図1に示した第2の量子化部によって生成される他の補助情報(サイン情報)の具体例を示すスペクトル波形図である。
【図19】図1に示した第2の量子化部の他の補助情報(サイン情報)計算処理における動作を示すフローチャートである。
【図20】図1に示した第2の量子化部によって生成される他の補助情報(コピー情報)の作成方法の一例を示すスペクトル波形図である。
【図21】図1に示した第2の量子化部の他の補助情報(コピー情報)計算処理における動作を示すフローチャートである。
【図22】図1に示した第2の量子化部によって生成される他の補助情報(コピー情報)の作成方法の第2の例を示すスペクトル波形図である。
【図23】図1に示した第2の量子化部の他の補助情報(コピー情報)の第2の計算処理における動作を示すフローチャートである。
【図24】従来のAAC方式による符号化装置および復号化装置の構成を示すブロック図である。
【符号の説明】
1 放送システム
300 符号化装置
305 A/D変換器
310 音響データ入力部
320 変換部
330 データ分離部
340 第1の量子化部
345 第2の量子化部
350 第1の符号化部
355 第2の符号化部
390 ストリーム出力部
400 復号化装置
410 ストリーム入力部
420 第1の復号化部
425 第2の復号化部
430 第1の逆量子化部
435 第2の逆量子化部
440 逆量子化データ合成部
480 逆変換部
490 音響データ出力部
495 D/A変換器
Claims (12)
- 音響データを符号化する符号化装置であって、
音響データ列から、連続する一定個数の音響データを切り出す切り出し手段と、
切り出された音響データを周波数軸上のスペクトルデータに変換する変換手段と、
前記変換で得られたスペクトルデータを前記f1Hzまでの低域部スペクトルデータと前記f1Hzよりも高い高域部スペクトルデータとに分離する分離手段と、
分離された低域部スペクトルデータを量子化し、符号化する低域部符号化手段と、
分離された高域部スペクトルデータから、当該高域部周波数スペクトルの特徴を示す補助情報を生成する補助情報生成手段と、
生成された補助情報を符号化する高域部符号化手段と、
前記低域部符号化手段で得られた符号と前記高域部符号化手段で得られた符号とを合成して出力する出力手段とを備え、
前記f1は、前記音響データ列が作成されたときのサンプリング周波数f2の半分以下であり、
前記補助情報生成手段は、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報を前記補助情報として生成する
ことを特徴とする符号化装置。 - 前記補助情報生成手段は、前記グループの区切りからそのグループにおける高域部スペクトルのピークまでの周波数軸上の距離と、低域部のグループの区切りから低域部スペクトルのピークまでの周波数軸上の距離との差が最小となる低域部スペクトルを特定する
ことを特徴とする請求項1記載の符号化装置。 - 前記補助情報生成手段は、前記高域部のグループ内のスペクトルと同じ周波数幅でエネルギーの差分をとったときの差分値が最小となる低域部のスペクトルを特定する
ことを特徴とする請求項1記載の符号化装置。 - 前記低域部のスペクトルを特定する情報は、特定された低域部スペクトルの前記グループを特定する番号である
ことを特徴とする請求項1記載の符号化装置。 - 記録媒体または伝送媒体を介して入力された符号化データを復号化する復号化装置であって、
符号化データに含まれる低域部符号化データと高域部符号化データとをそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された低域部符号化データを復号化し、逆量子化することにより、周波数f1Hz以下の低域部のスペクトルデータを出力する低域部逆量子化手段と、
前記抽出手段により抽出された高域部データを復号化することにより、高域部スペクトルデータの特徴を表す補助情報を生成する補助情報復号化手段と、
前記補助情報復号化手段により生成された補助情報に基づいて高域部のスペクトルデータを出力する高域部逆量子化手段と、
前記低域部逆量子化手段によって出力された低域部スペクトルデータと、前記高域部逆量子化手段によって出力された高域部スペクトルデータとを合成する合成手段と、
前記合成手段により合成されたスペクトルデータを時間軸上の音響データに逆変換する逆変換手段と、
前記逆変換手段により逆変換された音響データを時間順に出力する音響データ出力手段とを備え、
前記補助情報は、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報であり、
前記高域部逆量子化手段は、前記補助情報に基づいて、高域部の各グループにおいて所定のノイズを生成し、前記スペクトルデータに加算して高域部スペクトルデータを生成する
ことを特徴とする復号化装置。 - 低ビットレートのビットストリームに圧縮符号化された音響データを記録媒体または伝送媒体を介して配信するための音響データ配信システムであって、
請求項1記載の符号化装置と請求項5記載の復号化装置とから構成される
ことを特徴とする音響データ配信システム。 - 音響データを符号化する符号化方法であって、
音響データ列から、連続する一定個数の音響データを切り出す切り出しステップと、
切り出された音響データを周波数軸上のスペクトルデータに変換する変換ステップと、
前記変換で得られたスペクトルデータを前記f1Hzまでの低域部スペクトルデータと前記f1Hzよりも高い高域部スペクトルデータとに分離する分離ステップと、
分離された低域部スペクトルデータを量子化し、符号化する低域部符号化ステップと、
分離された高域部スペクトルデータから、当該高域部周波数スペクトルの特徴を示す補助情報を生成する補助情報生成ステップと、
生成された補助情報を符号化する高域部符号化ステップと、
前記低域部符号化ステップで得られた符号と前記高域部符号化ステップで得られた符号とを合成して出力する出力ステップとを含み、
前記f1は、前記音響データ列が作成されたときのサンプリング周波数f2の半分以下であり、
前記補助情報生成ステップでは、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報を前記補助情報として生成する
ことを特徴とする符号化方法。 - 記録媒体または伝送媒体を介して入力された符号化データを復号化する復号化方法であって、
符号化データに含まれる低域部符号化データと高域部符号化データとをそれぞれ抽出する抽出ステップと、
前記抽出ステップにより抽出された低域部符号化データを復号化し、逆量子化することにより、周波数f1Hz以下の低域部のスペクトルデータを出力する低域部逆量子化ステップと、
前記抽出ステップにより抽出された高域部データを復号化することにより、高域部スペクトルデータの特徴を表す補助情報を生成する補助情報復号化ステップと、
前記補助情報復号化ステップにより生成された補助情報に基づいて高域部のスペクトルデータを出力する高域部逆量子化ステップと、
前記低域部逆量子化ステップによって出力された低域部スペクトルデータと、前記高域部逆量子化ステップによって出力された高域部スペクトルデータとを合成する合成ステップと、
前記合成ステップにより合成されたスペクトルデータを時間軸上の音響データに逆変換する逆変換ステップと、
前記逆変換ステップにより逆変換された音響データを時間順に出力する音響データ出力ステップとを含み、
前記補助情報は、それぞれ複数のグループに分けられた前記高域部スペクトルデータ及び前記低域部スペクトルデータにつき、高域部の各グループにおいて、当該グループ内のスペクトルと最も近似するスペクトルを持つ低域部スペクトルデータのグループを特定する情報であり、
前記高域部逆量子化ステップでは、前記補助情報に基づいて、高域部の各グループにおいて所定のノイズを生成し、前記スペクトルデータに加算して高域部スペクトルデータを生成する
ことを特徴とする復号化方法。 - 入力された音響信号を符号化する符号化装置に用いられるプログラムであって、
コンピュータを請求項1記載の符号化装置が備える各手段として機能させるプログラム。 - 記録媒体または伝送媒体を介して入力された符号化データを復号化する復号化装置に用いられるプログラムであって、
コンピュータを請求項5記載の復号化装置が備える各手段として機能させるプログラム。 - 請求項9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項10記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002313216A JP4317355B2 (ja) | 2001-11-30 | 2002-10-28 | 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-367008 | 2001-11-30 | ||
| JP2001367008 | 2001-11-30 | ||
| JP2002313216A JP4317355B2 (ja) | 2001-11-30 | 2002-10-28 | 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003228399A JP2003228399A (ja) | 2003-08-15 |
| JP4317355B2 true JP4317355B2 (ja) | 2009-08-19 |
Family
ID=27759564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002313216A Expired - Fee Related JP4317355B2 (ja) | 2001-11-30 | 2002-10-28 | 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4317355B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3861770B2 (ja) | 2002-08-21 | 2006-12-20 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| KR101213840B1 (ko) * | 2004-05-14 | 2012-12-20 | 파나소닉 주식회사 | 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치 |
| JP4899359B2 (ja) | 2005-07-11 | 2012-03-21 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| KR100738077B1 (ko) | 2005-09-28 | 2007-07-12 | 삼성전자주식회사 | 계층적 오디오 부호화 및 복호화 장치와 방법 |
| US8311843B2 (en) * | 2009-08-24 | 2012-11-13 | Sling Media Pvt. Ltd. | Frequency band scale factor determination in audio encoding based upon frequency band signal energy |
| JP5455222B2 (ja) * | 2010-02-19 | 2014-03-26 | Kddi株式会社 | ディジタルオーディオ信号の音質劣化装置、音質回復装置、及び音質劣化・回復システム |
| JP2011059714A (ja) * | 2010-12-06 | 2011-03-24 | Sony Corp | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| JP5569476B2 (ja) * | 2011-07-11 | 2014-08-13 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0833746B2 (ja) * | 1987-02-17 | 1996-03-29 | シャープ株式会社 | 音声・楽音の帯域分割符号化装置 |
| JPH05265492A (ja) * | 1991-03-27 | 1993-10-15 | Oki Electric Ind Co Ltd | コード励振線形予測符号化器及び復号化器 |
| JPH05183523A (ja) * | 1992-01-06 | 1993-07-23 | Oki Electric Ind Co Ltd | 音声・楽音符号化装置 |
| JPH0716437U (ja) * | 1993-08-30 | 1995-03-17 | 日本ビクター株式会社 | 音声高能率符号化装置 |
| JP2587591B2 (ja) * | 1994-07-21 | 1997-03-05 | シャープ株式会社 | 音声・楽音の帯域分割符号化復号化装置 |
| JPH09261068A (ja) * | 1996-03-27 | 1997-10-03 | Toshiba Corp | データ圧縮/復号/伝送/受信/記録/再生の方法と装置 |
| EP0878790A1 (en) * | 1997-05-15 | 1998-11-18 | Hewlett-Packard Company | Voice coding system and method |
| SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| JP3344962B2 (ja) * | 1998-03-11 | 2002-11-18 | 松下電器産業株式会社 | オーディオ信号符号化装置、及びオーディオ信号復号化装置 |
| JP4354561B2 (ja) * | 1999-01-08 | 2009-10-28 | パナソニック株式会社 | オーディオ信号符号化装置及び復号化装置 |
| SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
-
2002
- 2002-10-28 JP JP2002313216A patent/JP4317355B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003228399A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1440300B1 (en) | Encoding device, decoding device and audio data distribution system | |
| US10546594B2 (en) | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program | |
| CN1272911C (zh) | 音频信号解码装置及音频信号编码装置 | |
| JP4876574B2 (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| KR101120911B1 (ko) | 음성신호 복호화 장치 및 음성신호 부호화 장치 | |
| JP5942358B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP4899359B2 (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| US8417515B2 (en) | Encoding device, decoding device, and method thereof | |
| KR20100086000A (ko) | 오디오 신호 처리 방법 및 장치 | |
| JP2011059714A (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| JP3923783B2 (ja) | 符号化装置及び復号化装置 | |
| JP2004206129A (ja) | 時間−周波数相関性を利用した改善されたオーディオ符号化及び/または復号化方法とその装置 | |
| CN1459092A (zh) | 编码设备、解码设备和广播系统 | |
| JP4657570B2 (ja) | 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体 | |
| JP2003108197A (ja) | オーディオ信号復号化装置およびオーディオ信号符号化装置 | |
| JP4399185B2 (ja) | 符号化装置および復号化装置 | |
| JP2003228399A (ja) | 符号化装置、復号化装置および音響データ配信システム | |
| JP4736812B2 (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| JP3984468B2 (ja) | 符号化装置、復号化装置及び符号化方法 | |
| JP4973397B2 (ja) | 符号化装置および符号化方法、ならびに復号化装置および復号化方法 | |
| KR20080066537A (ko) | 부가정보를 가지는 오디오신호의 부호화/복호화 방법 및장치 | |
| JP5724338B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム | |
| JP2005004119A (ja) | 音響信号符号化装置及び音響信号復号化装置 | |
| JPH0481199B2 (ja) | ||
| EP4742239A1 (en) | Decoding device, decoding method, program, and encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4317355 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |