JP2017509926A - 線形予測係数量子化方法及びその装置、並びに線形予測係数逆量子化方法及びその装置 - Google Patents

線形予測係数量子化方法及びその装置、並びに線形予測係数逆量子化方法及びその装置 Download PDF

Info

Publication number
JP2017509926A
JP2017509926A JP2016559611A JP2016559611A JP2017509926A JP 2017509926 A JP2017509926 A JP 2017509926A JP 2016559611 A JP2016559611 A JP 2016559611A JP 2016559611 A JP2016559611 A JP 2016559611A JP 2017509926 A JP2017509926 A JP 2017509926A
Authority
JP
Japan
Prior art keywords
quantization
unit
module
prediction
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016559611A
Other languages
English (en)
Other versions
JP6542796B2 (ja
Inventor
ソン，ホ−サン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017509926A publication Critical patent/JP2017509926A/ja
Application granted granted Critical
Publication of JP6542796B2 publication Critical patent/JP6542796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0002—Codebook adaptations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0004—Design or structure of the codebook
    • G10L2019/0005—Multi-stage vector quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0004—Design or structure of the codebook
    • G10L2019/0006—Tree or treillis structures; Delayed decisions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

フレーム間予測なしに量子化を行う第１量子化モジュール、及びフレーム間予測と共に量子化を行う第２量子化モジュールを含み、第１量子化モジュールは、入力信号を量子化する第１量子化部と、第１量子化エラー信号を量子化する第３量子化部と、を含み、第２量子化モジュールは、予測エラーを量子化する第２量子化部と、第２量子化エラー信号を量子化する第４量子化部と、を含み、第１量子化部と第２量子化部は、トレリス構造のベクトル量子化器を含む量子化装置である。

Description

本発明は、線形予測係数の量子化及び逆量子化に係り、さらに具体的には、低い複雑度で、線形予測係数を効率的に量子化する方法及びその装置、並びにそれを逆量子化する方法及びその装置に関する。
音声あるいはオーディオのようなサウンド符号化システムにおいては、サウンドの短区間周波数特性を表現するために、線形予測符号化（ＬＰＣ：linear predictive coding）係数が使用される。ＬＰＣ係数は、入力サウンドをフレーム単位に分け、各フレーム別に、予測誤差のエネルギーを最小化させる形態で求められる。ところで、ＬＰＣ係数は、ダイナミックレンジが大きく、使用されるＬＰＣフィルタの特性が、ＬＰＣ係数の量子化エラーに非常に敏感であり、フィルタの安定性が保証されない。
そのために、ＬＰＣ係数を、フィルタの安定性確認が容易であり、補間に有利であり、量子化特性にすぐれる他の係数に変換して量子化を行うが、主に、線スペクトル周波数（ＬＳＦ：line spectral frequency）あるいはイミタンススペクトル周波数（ＩＳＦ：immittance spectral frequency）に変換して量子化することが好まれている。特に、ＬＳＦ係数の量子化技法は、周波数領域及び時間領域で有するＬＳＦ係数のフレーム間の高い相関度を利用することにより、量子化利得を高めることができる。
ＬＳＦ係数は、短区間サウンドの周波数特性を示し、入力サウンドの周波数特性が急激に変わるフレームの場合、当該フレームのＬＳＦ係数も急激に変化する。ところで、ＬＳＦ係数のフレーム間高相関度を利用するフレーム間予測器を含む量子化器の場合、急激に変化するフレームに対しては、適切な予測が不可能であり、量子化性能が落ちる。従って、入力サウンドの各フレーム別信号特性に対応して最適化された量子化器を選択する必要がある。
本発明が解決しようとする技術的課題は、低い複雑度でＬＰＣ係数を効率的に量子化する方法及びその装置、並びにそれを逆量子化する方法及びその装置を提供するところにある。
一側面による量子化装置は、フレーム間予測なしに量子化を行う第１量子化モジュール；及びフレーム間予測と共に量子化を行う第２量子化モジュールを含み、前記第１量子化モジュールは、入力信号を量子化する第１量子化部と、第１量子化エラー信号を量子化する第３量子化部とを含み、前記第２量子化モジュールは、予測エラーを量子化する第２量子化部と、第２量子化エラー信号を量子化する第４量子化部とを含み、前記第１量子化部と前記第２量子化部は、トレリス構造のベクトル量子化器を含んでもよい。
一側面による量子化方法は、フレーム間予測なしに量子化を行う第１量子化モジュールと、フレーム間予測と共に量子化を行う第２量子化モジュールとのうち一つをオープンループ方式で選択する段階と、前記選択された量子化モジュールを使用して入力信号を量子化する段階と、を含み、前記第１量子化モジュールは、入力信号を量子化する第１量子化部と、第１量子化エラー信号を量子化する第３量子化部とを含み、前記第２量子化モジュールは、予測エラーを量子化する第２量子化部と、第２量子化エラー信号を量子化する第４量子化部とを含み、前記第３量子化部と前記第４量子化部は、コードブックを共有することができる。
一側面による逆量子化装置は、フレーム間予測なしに逆量子化を行う第１逆量子化モジュール；及びフレーム間予測と共に逆量子化を行う第２逆量子化モジュールを含み、前記第１逆量子化モジュールは、入力信号を逆量子化する第１逆量子化部と、前記第１逆量子化部と並列に配置される第３逆量子化部とを含み、前記第２逆量子化モジュールは、入力信号を逆量子化する第２逆量子化部と、前記第２逆量子化部と並列に配置される第４逆量子化部とを含み、前記第１逆量子化部と前記第２逆量子化部は、トレリス構造のベクトル逆量子化器を含んでもよい。
一側面による逆量子化方法は、フレーム間予測なしに逆量子化を行う第１逆量子化モジュールと、フレーム間予測と共に逆量子化を行う第２逆量子化モジュールとのうち一つを選択する段階と、前記選択された逆量子化モジュールを使用して入力信号を逆量子化する段階と、を含み、前記第１逆量子化モジュールは、入力信号を逆量子化する第１逆量子化部と、前記第１逆量子化部と並列に配置される第３逆量子化部とを含み、前記第２逆量子化モジュールは、入力信号を逆量子化する第２逆量子化部と、前記第２逆量子化部と並列に配置される第４逆量子化部とを含み、前記第３逆量子化部と前記第４逆量子化部は、コードブックを共有することができる。
音声信号あるいはオーディオ信号の特性により、複数の符号化モードに分け、各符号化モードに適用される圧縮率によって、多様なビット数を割り当てて量子化するにおいて、低ビット率で優秀な性能を有する量子化器を設計することにより、音声信号あるいはオーディオ信号をさらに効率的に量子化することができる。
また、多様なビットレートを提供する量子化装置を設計するとき、一部量子化器のコードブックを共有することにより、メモリ使用量を最小化することができる。
一実施形態によるサウンド符号化装置の構成を示したブロック図である。 他の実施形態によるサウンド符号化装置の構成を示したブロック図である。 一実施形態によるＬＰＣ量子化部の構成を示したブロック図である。 一実施形態による、図３の加重関数決定部の細部構成を示したブロック図である。 一実施形態による、図４の第１加重関数生成部の細部構成を示したブロック図である。 一実施形態によるＬＰＣ係数量子化部の構成を示したブロック図である。 一実施形態による、図６の選択部の構成を示したブロック図である。 一実施形態による、図６の選択部の動作について説明するフローチャートである。 図６に図示された第１量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第１量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第１量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第１量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第２量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第２量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第２量子化モジュールの多様な具現例を示したブロック図である。 図６に図示された第２量子化モジュールの多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 ＢＣ−ＴＣＶＱに加重値を適用する量子化器の多様な具現例を示したブロック図である。 一実施形態による、ローレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 一実施形態による、ハイレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 他の実施形態による、ローレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 他の実施形態による、ハイレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 一実施形態によるＬＰＣ係数量子化部の構成を示したブロック図である。 一実施形態による、閉ループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 他の実施形態による、閉ループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。 一実施形態による逆量子化装置の構成を示したブロック図である。 一実施形態による逆量子化装置の細部的な構成を示したブロック図である。 他の実施形態による逆量子化装置の細部的な構成を示したブロック図である。
本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明によって具体的に説明する。しかし、それらは、本発明を特定の実施形態について限定するものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解される。本発明についての説明において、関連公知技術についての具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。該用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
本発明で使用される用語は、ただ特定の実施形態についての説明に使用されたものであり、本発明を限定する意図ではない。本発明で使用した用語は、本発明での機能を考慮しながら、可能な限り、現在広く使用される一般的な用語を選択したが、それは、当該分野の当業者の意図、判例、または新技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味と、本発明の全般にわたった内容とを基に定義されなければならない。
単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本発明において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、１またはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
以下、本発明の実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照しての説明において、同一であるか、あるいは対応する構成要素は、同一図面番号を付し、それに係わる重複説明は省略する。
一般的に、ＴＣＱ（trellis coded quantization）は、入力ベクトルを各ＴＣＱステージに１つのエレメントを割り当てて量子化を行うのに比べ、ＴＣＶＱ（trellis coded vector quantization）は、全体入力ベクトルを分割してサブベクトルを作った後、各サブベクトルをＴＣＱステージに割り当てる構造を使用する。１つのエレメントを使用して量子化器を構成すれば、ＴＣＱになり、複数個のエレメントを組み合わせてサブベクトルを作って量子化器を構成すれば、ＴＣＶＱになる。従って、二次元のサブベクトルを使用すれば、全体ＴＣＱステージの個数は、入力ベクトルサイズを２で割ったところと同一サイズになる。一般的に、音声／オーディオコーデックでは、入力信号をフレーム単位で符号化を行い、毎フレームごとに、ＬＳＦ（line spectral frequency）係数を抽出する。ＬＳＦ係数は、ベクトル形態であり、一般的に１０または１６次数を使用し、その場合、二次元のＴＣＶＱを考慮すれば、サブベクトルの個数は、５または８になる。
図１は、一実施形態によるサウンド符号化装置の構成を示したブロック図である。図１に図示されたサウンド符号化装置１００は、符号化モード選択部１１０、ＬＰＣ（linear predictive coding）係数量子化部１３０、励起信号符号化部１５０を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）によっても具現される。ここで、サウンドは、オーディオまたは音声、あるいはオーディオと音声との混合信号を意味するので、以下では、説明の便宜のために、サウンドを音声とする。
図１を参照すれば、符号化モード選択部１１０は、マルチレート（multi-rate）で対応し、複数個の符号化モードのうち一つを選択することができる。符号化モード選択部１１０は、信号特性、ＶＡＤ（voice activity detection）情報、または以前フレームの符号化モードを利用して、現在フレームの符号化モードを決定することができる。
ＬＰＣ係数量子化部１３０は、ＬＰＣ係数を、選択された符号化モードに該当する量子化器を利用して量子化し、量子化されたＬＰＣ係数を表現する量子化インデックスを決定することができる。ＬＰＣ係数量子化部１３０は、ＬＰＣ係数を量子化に適する他の係数に変換して量子化を行うことができる。
励起信号符号化部１５０は、選択された符号化モードにより、励起信号符号化を行うことができる。励起信号符号化のために、ＣＥＬＰ（code-excited linear prediction）アルゴリズムあるいはＡＣＥＬＰ（algebraic ＣＥＬＰ）アルゴリズムを使用することができる。ＣＥＬＰ技法によってＬＰＣ係数を符号化するための代表的なパラメータは、適応コードブックインデックス、適応コードブック利得、固定コードブックインデックス、固定コードブック利得などがある。励起信号符号化は、入力信号の特性に対応する符号化モードに基づいて行われる。一例を挙げれば、４個の符号化モード、ＵＣ（unvoiced coding）モード、ＶＣ（voiced coding）モード、ＧＣ（generic coding）モード、ＴＣ（transition coding）モードが使用される。ＵＣモードは、音声信号が無声音や、無声音と類似した特性を有するノイズである場合、選択される。ＶＣモードは、音声信号が有声音であるときに選択される。ＴＣモードは、音声信号の特性が急変するトランジション区間の信号を符号化するときに使用される。ＧＣモードは、それ以外の信号に対して符号化される。ＵＣモード、ＶＣモード、ＴＣモード及びＧＣモードは、ＩＴＵ−ＴＧ．７１８に記載された定義及び分類基準によるものであるが、それに限定されるものではない。励起信号符号化部１５０は、オープンループピッチ探索部（図示せず）、固定コードブック探索部（図示せず）または利得量子化部（図示せず）を含んでもよいが、符号化モードにより、励起信号符号化部１５０に、該構成要素が追加されても除去されてもよい。例えば、ＶＣモードの場合、言及された構成要素がいずれも含まれ、ＵＣモードの場合、オープンループピッチ探索部を使用しない。励起信号符号化部１５０は、量子化に割り当てられるビット数が多い場合、すなわち、高ビット率である場合、ＧＣモードとＶＣモードとに単純化させることができる。すなわち、ＧＣモードに、ＵＣモードとＴＣモードとを含めることにより、ＧＣモードを、ＵＣモード及びＴＣモードまで使用することができる。一方、高ビット率である場合、ＩＣ（inactive coding）モード及びＡＣ（audio coding）モードをさらに含んでもよい。励起信号符号化部１５０は、量子化に割り当てられるビット数が少ない場合、すなわち、低ビット率である場合、ＧＣモード、ＵＣモード、ＶＣモード及びＴＣモードに分類することができる。一方、低ビット率である場合、ＩＣモードとＡＣモードとをさらに含んでもよい。ＩＣモードは、黙音である場合に選択され、ＡＣモードである場合、音声信号の特性がオーディオに近い場合に選択される。
一方、符号化モードは、音声信号の帯域によって、さらに細分化される。音声信号の帯域は、例えば、狭帯域（以下、ＮＢとする）、広帯域（以下、ＷＢとする）、超広帯域（以下、ＳＷＢとする）、全帯域（以下、ＦＢとする）に分類することができる。ＮＢは、３００〜３，４００Ｈｚまたは５０〜４，０００Ｈｚの帯域幅を有し、ＷＢは、５０〜７，０００Ｈｚまたは５０〜８，０００Ｈｚの帯域幅を有し、ＳＷＢは、５０〜１４，０００Ｈｚまたは５０〜１６，０００Ｈｚの帯域幅を有し、ＦＢは、２０，０００Ｈｚまでの帯域幅を有することができる。ここで、帯域幅に係わる数値は、便宜上設定されたものであり、それらに限定されるものではない。また、帯域の区分も、さらに簡単にも複雑にも設定される。
一方、符号化モードの種類及び個数が決定されれば、決定された符号化モードに該当する音声信号を利用して、コードブックをさらに訓練させる必要がある。
励起信号符号化部１５０は、符号化モードにより、変換符号化アルゴリズムが追加して使用される。励起信号は、フレームあるいはサブフレームの単位で符号化される。
図２は、他の実施形態によるサウンド符号化装置の構成を示したブロック図である。図２に図示されたサウンド符号化装置２００は、前処理部２１０、ＬＰ分析部２２０、加重信号算出部２３０、オープンループピッチ探索部２４０、信号分析及びＶＡＤ部２５０、符号化部２６０、メモリ更新部２７０及びパラメータ符号化部２８０を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）によっても具現される。ここで、サウンドは、オーディオまたは音声、あるいはオーディオと音声との混合信号を意味するので、以下では、説明の便宜のためにサウンドを音声とする。
図２を参照すれば、前処理部２１０は、入力される音声信号を前処理することができる。前処理過程を介して、音声信号から、所望しない周波数成分が除去されるか、あるいは符号化に有利になるように、音声信号の周波数特性が調整される。具体的には、前処理部２１０は、ハイパスフィルタリング（high pass filtering）、プリエンファシス（pre-emphasis）またはサンプリング（sampling）変換などを行うことができる。
ＬＰ分析部２２０は、前処理された音声信号に対して、ＬＰ分析を行い、ＬＰＣ係数を抽出することができる。一般的に、フレーム当たり１回のＬＰ分析が行われるが、さらなる音質向上のために、フレーム当たり２回以上のＬＰ分析が行われてもよい。その場合、一度は、既存のＬＰ分析であるフレームエンド（frame-end）のためのＬＰであり、残りは、音質向上のための中間サブフレーム（mid-subframe）のためのＬＰでもある。このとき、現在フレームのフレームエンドは、現在フレームを構成するサブフレームのうち最後のサブフレームを意味し、以前フレームのフレームエンドは、以前フレームを構成するサブフレームのうち最後のサブフレームを意味する。中間サブフレームは、以前フレームのフレームエンドである最後のサブフレームと、現在フレームのフレームエンドである最後のサブフレームとの間に存在するサブフレームのうち１以上のサブフレームを意味する。一例として、１つのフレームは、４個のサブフレームからも構成される。ＬＰＣ係数は、入力信号が狭帯域（narrowband）である場合、次数１０を使用し、広帯域（wideband）である場合、次数１６〜２０を使用するが、それらに限定されるものではない。
加重信号計算部２３０は、前処理された音声信号と、抽出されたＬＰＣ係数とを入力にし、認知加重フィルタに基づいて、認知加重フィルタリングされた信号を計算することができる。該認知加重フィルタは、人体聴覚構造のマスキング効果を利用するために、前処理した音声信号の量子化ノイズをマスキング範囲内に減らすことができる。
オープンループピッチ探索部２４０は、認知加重フィルタリングされた信号を利用して、オープンループピッチを探索することができる。
信号分析及びＶＡＤ部２５０は、入力信号の周波数特性を含む多様な特性を分析し、入力信号がアクティブ音声信号であるか否かということを決定することができる。
符号化部２６０は、信号特性、ＶＡＤ情報、または以前フレームの符号化モードを利用して、現在フレームの符号化モードを決定し、選択された符号化モードに該当する量子化器を利用して、ＬＰＣ係数を量子化し、選択された符号化モードにより、励起信号を符号化することができる。符号化部２６０は、図１に図示された構成要素を含んでもよい。
メモリ更新部２７０は、符号化された現在フレーム、及び符号化に使用されたパラメータを、次のフレームの符号化のために保存することができる。
パラメータ符号化部２８０は、復号端で復号に使用されるパラメータを符号化し、ビットストリームに含めることができる。望ましくは、符号化モードに対応するパラメータを符号化することができる。パラメータ符号化部２８０で生成されたビットストリームは、保存や伝送の目的に使用される。
下記表１は、４種符号化モードである場合、量子化スキーム（quantization scheme）と構造（structure）との一例を示したものである。ここで、フレーム間予測（inter-frame prediction）を使用せずに量子化する方式をセーフティネット（safety-net）スキームと命名し、フレーム間予測を使用して量子化する方式を予測（predictive）スキームと命名する。そして、ＶＱは、ベクトル量子化器、ＢＣ−ＴＣＱは、ブロック制限されたトレリス符号化量子化器を示したものである。
一方、ＢＣ−ＴＣＶＱは、ブロック制限されたトレリス符号化ベクトル量子化器を示したものである。ＴＣＶＱは、ＴＣＱを一般化し、ベクトルコードブックとブランチラベルとを可能にしたものである。ＴＣＶＱの主要特徴は、拡張されたセットのＶＱシンボルをサブセットにパーティショニングし、トレリスブランチを、それらサブセットにラベリングする点である。ＴＣＶＱは、レート１／２コンボルーションコードに基づき、Ｎ＝２νのトレリスステートを有し、各トレリスステートに出入りする２つのブランチを有する。Ｍ個のソースベクトルが与えられた場合、ビタビアルゴリズムを使用して、最小歪曲経路を探索する。その結果、最適のトレリス経路が、任意のＮ個の初期ステートから始まり、任意Ｎ個の最後のステートで終了する。ＴＣＶＱにおいてコードブックは、２（Ｒ＋Ｒ’）Ｌベクトルコードワードを有する。ここで、該コードブックは、ノミナルレートＲＶＱの２Ｒ’Ｌ倍ほど多いコードワードを有するために、Ｒ’は、コードブック拡張要素（codebook expansion factor）であるといえる。エンコーディング過程について簡単に述べれば、次の通りである。まず、各入力ベクトルについて、各サブセットにおいて、最も近接したコードワードと対応する歪曲を探索し、サブセットＳとラベルされたブランチに係わるブランチメトリックを、探索された歪曲としておき、ビタビアルゴリズムを使用して、トレリスを介した最小歪曲経路を探索する。ＢＣ−ＴＣＶＱは、トレリス経路を指定するために、ソースサンプル当たり１ビットを必要とするので、低い複雑度を有する。ＢＣ−ＴＣＶＱ構造は、０≦ｋ≦νである場合、２ｋ個の初期トレリスステートと、それぞれ許容された初期トレリスステートとについて、２ν−ｋ個の最後のステートを有することができる。シングルビタビエンコーディングは、許容された初期トレリスステートから始まり、ベクトルステージ（ｍ−ｋ）まで進む。初期ステートを指定するのにｋビット必要となり、ベクトルステージ（ｍ−ｋ）まで経路を指定する（ｍ−ｋ）ビットが必要となる。初期トレリスステートに従属的な唯一の終了経路（terminating path）は、ベクトルステージｍを介して、ベクトルステージ（ｍ−ｋ）において、各トレリスステートについてあらかじめ指定される。ｋ値とは係わりなく、初期トレリスステートと、トレリスを介した経路とを指定するために、ｍビットを必要とする。
１６ｋＨｚ内部サンプリング周波数において、ＶＣモードのためのＢＣ−ＴＣＶＱは、二次元ベクトルを有する１６ステート８ステージＴＣＶＱを使用することができる。２つのエレメントを有するＬＳＦサブベクトルは、各ステージに割り当てられる。下記表２は、１６ステートＢＣ−ＴＣＶＱのための初期ステート、及び最後のステートを示す。ここで、ｋとνは、それぞれ２及び４であり、初期ステート及び最後のステートのための４ビットが使用される。
一方、符号化モードは、適用されるビット率によって変わる。前述のように、２つのモードを使用する高いビット率において、ＬＰＣ係数を量子化するためにＧＣモードにおいて、フレーム当たり４０あるいは４１ビットを使用し、ＴＣモードにおいて、フレーム当たり４６ビットを使用することができる。
図３は、一実施形態によるＬＰＣ係数量子化部の構成を示したブロック図である。図３に図示されたＬＰＣ係数量子化部３００は、第１係数変換部３１０、加重関数決定部３３０、ＩＳＦ／ＬＳＦ量子化部３５０及び第２係数変換部３７０を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）によっても具現される。ＬＰＣ係数量子化部３００には、量子化されていないＬＰＣ係数と、符号化モード情報とが入力として提供される。
図３を参照すれば、第１係数変換部３１０は、音声信号の現在フレームまたは以前フレームのフレームエンドをＬＰ分析して抽出されたＬＰＣ係数を、他の形態の係数に変換することができる。一例として、第１係数変換部３１０は、現在フレームまたは以前フレームのフレームエンドに係わるＬＰＣ係数を、線スペクトル周波数（ＬＳＦ）係数と、イミタンススペクトル周波数（ＩＳＦ）係数とのうちいずれか１つの形態に変換することができる。そのとき、ＩＳＦ係数やＬＳＦ係数は、ＬＰＣ係数をさらに容易に量子化することができる形態の例を示す。
加重関数決定部３３０は、ＬＰＣ係数から変換されたＩＳＦ係数あるいはＬＳＦ係数を利用して、ＩＳＦ／ＬＳＦ量子化部３５０のための加重関数を決定することができる。決定された加重関数は、量子化経路あるいは量子化スキームを選択するか、あるいは量子化時、加重エラーを最小化するコードブックインデックスを探索する過程で使用される。一例として、加重関数決定部３３０は、大きさ加重関数、周波数加重関数、ＩＳＦ／ＬＳＦ係数の位置に基づいた加重関数を組み合わせ、最終加重関数を決定することができる。
そして、加重関数決定部３３０は、周波数帯域、符号化モード及びスペクトル分析情報のうち少なくとも一つを考慮し、加重関数を決定することができる。一例として、加重関数決定部３３０は、符号化モード別に最適の加重関数を導き出すことができる。そして、加重関数決定部３３０は、音声信号の周波数帯域によって、最適の加重関数を導き出すことができる。また、加重関数決定部３３０は、音声信号の周波数分析情報によって、最適の加重関数を導き出すことができる。そのとき、周波数分析情報は、スペクトルチルト情報を含んでもよい。加重関数決定部３３０は、追って具体的に説明する。
ＩＳＦ／ＬＳＦ量子化部３５０は、入力された符号化モードにより、最適量子化インデックスを求めることができる。具体的には、ＩＳＦ／ＬＳＦ量子化部３５０は、現在フレームのフレームエンドのＬＰＣ係数が変換されたＩＳＦ係数あるいはＬＳＦ係数を量子化することができる。ＩＳＦ／ＬＳＦ量子化部３５０は、入力信号が非静的（non-stationary）である信号である場合、当該ＵＣモードあるいは当該ＴＣモードである場合には、フレーム間予測を使用せずに、セーフティネットスキームのみを利用して量子化を行い、静的（stationary）である信号に該当するＶＣモードあるいはＧＣモードである場合には、予測スキームとセーフティネットスキームとをスイッチングし、フレームエラーを考慮し、最適量子化スキームを決定することができる。
ＩＳＦ／ＬＳＦ量子化部３５０は、加重関数決定部３３０で決定された加重関数を利用して、ＩＳＦ係数あるいはＬＳＦ係数を量子化することができる。ＩＳＦ／ＬＳＦ量子化部３５０は、加重関数決定部３３０で決定された加重関数を利用して、複数の量子化経路のうち一つを選択し、ＩＳＦ係数あるいはＬＳＦ係数を量子化することができる。量子化の結果として得られたインデックスは、逆量子化過程を介して量子化されたＩＳＦ係数（ＱＩＳＦ）、あるいは量子化されたＬＳＦ係数（ＱＬＳＦ）が求められる。
第２係数変換部３７０は、量子化されたＩＳＦ係数（ＱＩＳＦ）、あるいは量子化されたＬＳＦ係数（ＱＬＳＦ）を、量子化されたＬＰＣ係数（ＱＬＰＣ）に変換することができる。
以下、ＬＰＣ係数のベクトル量子化と加重関数との関係について説明する。
ベクトル量子化は、ベクトル内のエントリー（entry）をいずれも同一重要度と見なし、二乗誤差距離尺度（squared error distance measure）を利用して、最も少ないエラーを有するコードブックインデックスを選択する過程を意味する。しかし、ＬＰＣ係数において、全ての係数の重要度が異なるので、重要な係数のエラーを減少させれば、最終合成信号の知覚的な品質（perceptual quality）が向上する。従って、ＬＳＦ係数を量子化するとき、復号装置は、各ＬＰＣ係数の重要度を表現する加重関数（weighting function）を二乗誤差距離尺度に適用し、最適のコードブックインデックスを選択することにより、合成信号の性能を向上させることができる。
一実施形態によれば、ＩＳＦやＬＳＦの周波数情報と、実際スペクトルサイズとを利用して、各ＩＳＦまたはＬＳＦが、実際にスペクトル包絡線にいなかる影響を与えるかということについての大きさ加重関数を決定することができる。一実施形態によれば、周波数ドメインの知覚的な特性及びフォルマント分布を考慮した周波数加重関数を、大きさ加重関数と組み合わせ、さらなる量子化効率を得ることができる。それによれば、実際周波数ドメインの大きさを使用するので、全体周波数の包絡線情報が良好に反映され、各ＩＳＦ係数またはＬＳＦ係数の加重値を正確に導き出すことができる。一実施形態によれば、大きさ加重関数及び周波数加重関数に、ＬＳＦ係数あるいはＩＳＦ係数の位置情報に基づいた加重関数を組み合わせ、さらなる量子化効率を得ることができる。
一実施形態によれば、ＬＰＣ係数を変換したＩＳＦまたはＬＳＦをベクトル量子化するとき、各係数の重要度が異なる場合、ベクトル内において、いかなるエントリーが相対的にさらに重要であるか否かということを示す加重関数を決定することができる。そして、符号化するフレームのスペクトルを分析し、エネルギーが大きい部分にさらに大きい加重値を与える加重関数を決定することにより、符号化の正確度を向上させることができる。スペクトルのエネルギーが大きいということは、時間ドメインにおいて、相関度が高いということを意味する。
表１において、全てのモードに適用されるＶＱにおいて、最適量子化インデックスは、下記数式（１）のＥｗｅｒｒ（ｐ）を最小化するインデックスと決定することができる。
ここで、ｗ（ｉ）は、加重関数を意味する。ｒ（ｉ）は、量子化器の入力を示し、ｃ（ｉ）は、量子化器の出力を示し、２つの値間の加重された歪曲を最小化するインデックスを求めるためのものである。
次に、ＢＣ−ＴＣＱで使用される歪曲尺度は、基本的に、ＵＳ７，６３０，８９０に開示された方式による。そのとき、歪曲尺度ｄ（ｘ，ｙ）は、下記数式（２）のように示すことができる。
一実施形態によれば、歪曲尺度ｄ（ｘ，ｙ）に加重関数を適用することができる。ＵＳ７，６３０，８９０において、ＢＣ−ＴＣＱのために使用された歪曲尺度を、ベクトルに係わる尺度に拡張した後で加重関数を適用し、加重された歪曲を求めることができる。すなわち、ＢＣ−ＴＣＶＱの全てのステージにおいて、下記数式（３）のように、加重された歪曲を求め、最適のインデックスを決定することができる。
一方、ＩＳＦ／ＬＳＦ量子化部３５０は、入力された符号化モードによって、例えば、ＬＶＱ（lattice vector quantizer）とＢＣ−ＴＣＶＱとをスイッチングし、量子化を行うことができる。もし符号化モードがＧＣモードであるならば、ＬＶＱを利用し、ＶＣモードであるならば、ＢＣ−ＴＣＶＱを利用することができる。ＬＶＱとＢＣ−ＴＣＶＱとが混合しているとき、量子化器選択過程について具体的に説明すれば、次の通りである。まず、符号化するビットレートを選択することができる。符号化するビットレートが選択されれば、各ビットレートに該当するＬＰＣ量子化器のためのビットを決定することができる。その後、入力信号の帯域を決定することができる。入力信号が狭帯域であるか広帯域であるかということにより、量子化方式が変更される。また、入力信号が広帯域である場合、追加して実際に符号化する帯域の上限（upper limit）が６．４ＫＨｚであるか、あるいは８ｋＨｚであるかということを判断する必要がある。すなわち、内部サンプリング周波数が、１２．８ｋＨｚであるか１６ｋＨｚであるかということにより、量子化方式が変更されるので、帯域を確認する必要がある。次に、決定された帯域によって使用可能な符号化モードの限度内で、最適な符号化モードを決定することができる。例えば、４種符号化モード（ＵＣ，ＶＣ，ＧＣ，ＴＣ）を使用することができるが、高いビットレート（例えば、９．６ｋｂｉｔ／ｓ以上）では、３種モードだけ（ＶＣ，ＧＣ，ＴＣ）を使用することができる。符号化するビットレート、入力信号の帯域、符号化モードに基づいて、量子化方式、例えば、ＬＶＱとＢＣ−ＴＣＶＱとのうち一つを選択し、選択された量子化方式に基づいて量子化されたインデックスを出力する。
一実施形態によれば、ビットレートが、２４．４ｋｂｐｓと６４ｋｂｐｓとの間に該当するか否かということを判断し、ビットレートが、２４．４ｋｂｐｓと６４ｋｂｐｓとの間に該当しければＬＶＱを選択することができる。一方、ビットレートが２、４．４ｋｂｐｓと６４ｋｂｐｓとの間に該当すれば、入力信号の帯域が狭帯域であるか否かということを判断し、入力信号の帯域が狭帯域であるならば、ＬＶＱを選択することができる。一方、入力信号の帯域が狭帯域ではなければ、符号化モードがＶＣモードであるか否かということを判断し、符号化モードがＶＣモードである場合、ＢＣ−ＴＣＶＱを使用し、符号化モードがＶＣモードではなければ、ＬＶＱを使用することができる。
他の実施形態によれば、ビットレートが、１３．２ｋｂｐｓと３２ｋｂｐｓとの間に該当するか否かということを判断し、ビットレートが、１３．２ｋｂｐｓと３２ｋｂｐｓとの間に該当しなければ、ＬＶＱを選択することができる。一方、ビットレートが、１３．２ｋｂｐｓと３２ｋｂｐｓとの間に該当すれば、入力信号の帯域が広帯域であるか否かということを判断し、入力信号の帯域が広帯域ではなければ、ＬＶＱを選択することができる。一方、入力信号の帯域が広帯域であるならば、符号化モードが、ＶＣモードであるか否かということを判断し、符号化モードがＶＣモードである場合、ＢＣ−ＴＣＶＱを使用し、符号化モードがＶＣモードではなければ、ＬＶＱを使用することができる。
一実施形態によれば、符号化装置は、ＬＰＣ係数から変換されたＩＳＦ係数またはＬＳＦ係数の周波数に該当するスペクトルサイズを利用した大きさ加重関数、入力信号の知覚的な特性及びフォルマント分布を考慮した周波数加重関数、ＬＳＦ係数あるいはＩＳＦ係数の位置に基づいた加重関数を組み合わせ、最適の加重値関数を決定することができる。
図４は、一実施形態による、図３の加重関数決定部の構成を示したブロック図である。図４に図示された加重関数決定部４００は、スペクトル分析部４１０、ＬＰ分析部４３０、第１加重関数生成部４５０、第２加重関数生成部４７０及び組み合わせ部４９０を含んでもよい。各構成要素は、少なくとも１つのプロセッサに一体化されても具現される。
図４を参照すれば、スペクトル分析部４１０は、時間−周波数（time-to-frequency）マッピング過程を介して、入力信号に係わる周波数ドメインの特性を分析することができる。ここで、該入力信号は、前処理された信号でもある、時間−周波数マッピング過程は、ＦＦＴを利用して遂行されるが、それに限定されるものではない。スペクトル分析部４１０は、スペクトル分析情報、一例として、ＦＦＴの結果として得られるスペクトルサイズを提供することができる。ここで、該スペクトルサイズは、線形スケールを有することができる。具体的には、スペクトル分析部４１０は、１２８ポイントＦＦＴを行い、スペクトルサイズを生成することができる。そのとき、該スペクトルサイズの帯域幅は、０ないし６，４００Ｈｚの範囲に該当する。このとき、内部サンプリング周波数が１６ｋＨｚである場合、スペクトルサイズの数は、１６０個に拡張される。その場合、６，４００ないし８，０００Ｈｚ範囲に係わるスペクトルサイズが漏れるが、漏れたスペクトルサイズは、入力スペクトルによって生成される。具体的には、４，８００ないし６，４００Ｈｚの帯域幅に該当する最後の３２個のスペクトルサイズを利用して、６，４００ないし８，０００Ｈｚ範囲の漏れたスペクトルサイズを代替することができる。一例として、最後の３２個のスペクトルサイズの平均値を使用することができる。
ＬＰ分析部４３０は、入力信号に対してＬＰ分析を行い、ＬＰＣ係数を生成することができる。ＬＰ分析部４３０は、ＬＰＣ係数から、ＩＳＦ係数あるいはＬＳＦ係数を生成することができる。
第１加重関数生成部４５０は、ＩＳＦ係数あるいはＬＳＦ係数に対して、スペクトル分析情報に基づいて、大きさ加重関数と周波数加重関数とを得て、大きさ加重関数と周波数加重関数とを組み合わせ、第１加重関数を生成することができる。第１加重関数は、ＦＦＴを基に得られ、スペクトルサイズが大きいほど、大きい加重値を割り当てることができる。一例を挙げれば、第１加重関数は、スペクトル分析情報、すなわち、スペクトルサイズを、ＩＳＦ帯域あるいはＬＳＦ帯域に合うように正規化した後、各ＩＳＦ係数あるいはＬＳＦ係数に該当する周波数の大きさを利用して決定される。
第２加重関数生成部４７０は、隣接したＩＳＦ係数あるいはＬＳＦ係数の間隔あるいは位置情報に基づいて、第２加重関数を決定することができる。一実施形態によれば、それぞれのＩＳＦ係数あるいはＬＳＦ係数と隣接した２つのＩＳＦ係数あるいはＬＳＦ係数から、スペクトル敏感度に係わる第２加重関数を生成することができる。一般的には、ＩＳＦ係数あるいはＬＳＦ係数は、Ｚドメインの単位サークル上に位置し、隣接したＩＳＦ係数あるいはＬＳＦ係数の間隔が周辺より狭い場合、スペクトルピークとして示される特徴がある。結果的には、第２加重関数は、隣接したＬＳＦ係数の位置に基づいて、ＬＳＦ係数のスペクトル敏感度を近似化することができる。すなわち、隣接したＬＳＦ係数がどれほど近くに位置するかということを測定することにより、ＬＳＦ係数の稠密度が予測され、稠密なＬＳＦ係数が存在する周波数近くで、信号スペクトルがピーク値を有することができるので、大きい値の加重値が割り当てられる。ここで、スペクトル敏感度の近似化時、正確度を高めるために、第２加重関数の決定時、ＬＳＦ係数に係わる多様なパラメータが追加して使用される。
前述のところによれば、ＩＳＦ係数あるいはＬＳＦ係数の間隔と加重関数は、反比例関係が成立する。そのような間隔と加重関数との関係を利用して、多様な実施形態が可能である。一例を挙げれば、間隔を負数で表現するか、あるいは間隔を分母に表示することができる。他の例を挙げれば、求められた加重値をさらに強調するために、加重関数のそれぞれのエレメントに定数を乗じるか、あるいはエレメントの二乗で示す場合も可能である。さらに他の例を挙げれば、一次的に求められた加重関数自体に対して、さらなる演算、例えば、累乗あるいは三乗などを行い、二次的に求められた加重関数をさらに反映することができる。
ＩＳＦ係数あるいはＬＳＦ係数の間隔を利用して、加重関数を導き出す例は、次の通りである。
一例によれば、第２加重関数（Ｗｓ（ｎ））は、下記数式（４）によって求められる。
ここで、ｌｓｆｉ−１及びｌｓｆｉ＋１は、現在ＬＳＦ係数ｌｓｆｉに隣接したＬＳＦ係数を示す。
他の例によれば、第２加重関数（Ｗｓ（ｎ））は、下記数式（５）によって求められる。
ここで、ｌｓｆｎは、現在ＬＳＦ係数を示し、ｌｓｆｎ−１及びｌｓｆｎ＋１は、隣接したＬＳＦ係数を示し、Ｍは、ＬＰモデルの次数であって、１６でもある。例えば、ＬＳＦ係数は、０ないしπの間でスパンされるので、最初及び最後の加重値は、ｌｓｆ０＝０、ｌｓｆＭ＝πに基づいて算出される。
組み合わせ部４９０は、第１加重関数と第２加重関数とを組み合わせ、ＬＳＦ係数の量子化に使用される最終加重関数を決定することができる。そのとき、結合方式としては、それぞれの加重関数を乗じるか、適切な比率を乗じた後で加えるか、あるいはそれぞれの加重値に対して、ルックアップテーブルなどを利用してあらかじめ決定された値を乗じた後、それらを加える方式など多様な方式を使用することができる。
図５は、一実施形態による、図４の第１加重関数生成部の細部構成を示したブロック図である。図５に図示された第１加重関数生成部５００は、正規化部５１０、大きさ加重関数生成部５３０、周波数加重関数生成部５５０及び組み合わせ部５７０を含んでもよい。ここで、説明の便宜のために、第１加重関数生成部５００の入力信号として、ＬＳＦ係数を例として挙げる。
図５を参照すれば、正規化部５００は、ＬＳＦ係数を、０ないし（Ｋ−１）の範囲に正規化することができる。ＬＳＦ係数は、一般的には、０ないしπまでの範囲を有することができる。１２．８ｋＨｚ内部サンプリング周波数である場合、Ｋは、１２８であり、１６．４ｋＨｚ内部サンプリング周波数である場合、Ｋは、１６０でもある。
大きさ加重関数生成部５３０は、正規化されたＬＳＦ係数に対して、スペクトル分析情報に基づいて、大きさ加重値関数Ｗ１（ｎ）を生成することができる。一実施形態によれば、大きさ加重関数は、正規化されたＬＳＦ係数のスペクトルサイズに基づいて決定される。
具体的には、大きさ加重関数は、正規化されたＬＳＦ係数の周波数に対応するスペクトルビンの大きさと、当該スペクトルビンの左右、例えば、一つ以前あるいは一つ以後に位置する隣接する２つのスペクトルビンの大きさを使用して決定される。スペクトルエンベロープに係わる各大きさの加重値関数Ｗ１（ｎ）は、３個のスペクトルビンの大きさのうち最大値を抽出し、下記数式（６）に基づいて決定される。
ここで、Ｍｉｎは、ｗｆ（ｎ）の最小値を示し、ｗｆ（ｎ）は、１０log（Ｅｍａｘ（ｎ））（ここで、ｎ＝０、…、Ｍ−１）と定義される。ここで、Ｍは、１６であり、Ｅｍａｘ（ｎ）は、各ＬＳＦ係数に係わる３個のスペクトルビンの大きさのうち最大値を示す。
周波数加重関数生成部５５０は、正規化されたＬＳＦ係数について、周波数情報に基づいて、周波数加重関数Ｗ２（ｎ）を生成することができる。一実施形態によれば、周波数加重関数は、入力信号の知覚的な特性及びフォルマント分布を利用して決定することができる。周波数加重関数生成部５５０は、バークスケール（bark scale）によって、入力信号の知覚的な特性を抽出することができる。そして、周波数加重関数生成部５５０は、フォルマント分布のうち最初のフォルマントに基づいて、周波数別加重関数を決定することができる。周波数加重関数の場合、超低周波及び高周波において、相対的に低い加重値を示し、低周波において、一定周波数区間内、例えば、最初のフォルマントに該当する区間において、同一サイズの加重値を示すことができる。周波数加重関数生成部５５０は、入力帯域幅及び符号化モードにより、周波数加重関数を決定することができる。
組み合わせ部５７０は、大きさ加重関数Ｗ１（ｎ）と周波数加重関数Ｗ２（ｎ）とを組み合わせ、ＦＦＴ基盤加重関数Ｗｆ（ｎ）を決定することができる。組み合わせ部５７０は、大きさ加重関数と周波数加重関数とを乗じたり加えたりして、最終的な加重関数を決定することができる。例えば、フレームエンドＬＳＦ量子化のためのＦＦＴ基盤加重関数Ｗｆ（ｎ）は、下記数式（７）に基づいて算出される。
図６は、一実施形態によるＬＰＣ係数量子化部の構成を示したブロック図である。図６に図示されたＬＰＣ係数量子化部６００は、選択部６１０、第１量子化モジュール６３０及び第２量子化モジュール６５０を含んでもよい。
図６を参照すれば、選択部６１０は、オープンループ方式で、所定基準に基づいて、フレーム間予測を使用しない量子化処理と、フレーム間予測を使用する量子化処理とのうち一つを選択することができる。ここで、所定基準は、量子化されていないＬＳＦの予測エラーが使用される。該予測エラーは、フレーム間予測値に基づいて得られる。
第１量子化モジュール６３０は、フレーム間予測を使用しない量子化処理が選択された場合、選択部６１０を介して提供される入力信号を量子化することができる。
第２量子化モジュール６５０は、フレーム間予測を使用する量子化処理が選択された場合、選択部６１０を介して提供される入力信号を量子化することができる。
第１量子化モジュール６３０は、フレーム間予測を使用せずに量子化を行い、セーフティネットスキームと命名することができる。第２量子化モジュール６５０は、フレーム間予測を使用して量子化を行い、予測スキームと命名することができる。
それによれば、効率性が高い対話型音声サービスのための低ビット率から、差別化された品質のサービスを提供するための高ビット率まで、多様なビット率に対応し、最適の量子化器が選択される。
図７は、一実施形態による、図６の選択部の構成を示したブロック図である。図７に図示された選択部７００は、予測エラー算出部７１０と量子化スキーム選択部７３０とを含んでもよい。ここで、予測エラー算出部７１０は、図６の第２量子化モジュール６５０に含まれもする。
図７を参照すれば、予測エラー算出部７１０は、フレーム間予測値ｐ（ｎ）、加重関数ｗ（ｎ）、ＤＣ値が除去されたＬＳＦ係数ｚ（ｎ）を入力にして、多様な方法に基づいて予測エラーを算出することができる。まず、フレーム間予測器は、第２量子化モジュール６５０の予測スキームで使用されるものと同一のものを使用することができる。ここで、ＡＲ（auto-regressive）方式とＭＡ（moving average）方式とのうちいずれを使用してもよい。フレーム間予測のための以前フレームの信号ｚ（ｎ）は、量子化された値を使用することもでき、量子化されていない値を使用することもできる。また、予測エラーを求めるとき、加重関数を適用しても適用しなくともよい。それによれば、全体８種の組み合わせが可能であり、そのうち４種は、次の通りである。
第１に、以前フレームの量子化されたｚ（ｎ）信号を利用した加重ＡＲ予測エラーは、下記数式（８）のように示すことができる。
第２に、以前フレームの量子化されたｚ（ｎ）信号を利用したＡＲ予測エラーは、下記数式（９）のように示すことができる。
第３に、以前フレームのｚ（ｎ）信号を利用した加重ＡＲ予測エラーは、下記数式（１０）のように示すことができる。
第４に、以前フレームのｚ（ｎ）信号を利用したＡＲ予測エラーは、下記数式（１１）のように示すことができる。
ここで、Ｍは、ＬＳＦの次数を意味し、入力音声信号の帯域幅がＷＢである場合、一般的には、１６を使用する。ρ（ｉ）は、ＡＲ方式の予測係数を意味する。このように、直前フレームの情報を利用する場合が一般的であり、ここで求められた予測エラーを利用して、量子化スキームを決定することができる。
一方、予測エラーが所定臨界値より大きければ、それは、現在フレームが非静的（non-stationary）になる傾向があるということを暗示することができる。その場合、セーフティネットスキームを使用することができる。それ以外には、予測スキームを使用するが、そのとき予測スキームが連続的に選択されないように制限を加えることができる。
一実施形態によれば、以前フレームに対してフレームエラーが発生し、以前フレームの情報がない場合に備え、以前フレームの以前フレームを利用して、第２予測エラーを求め、第２予測エラーを利用して、量子化スキームを決定することができる。その場合、第２予測エラーは、前述の第１の場合と比較し、下記数式（１２）のように示すことができる。
量子化スキーム選択部７３０は、予測エラー算出部７１０で求められた予測エラーを利用して、現在フレームの量子化スキームを決定することができる。そのとき、符号化モード決定部１１０（図１）で求められた符号化モードをさらに考慮することができる。一実施形態によれば、ＶＣモードあるいはＧＣモードの場合、量子化スキーム選択部７３０が動作することができる。
図８は、図６の選択部の動作について説明するフローチャートである。予測モードが０値を有する場合は、常にセーフティネットスキームを使用することを意味し、予測モードが０ではない値を有する場合は、セーフティネットスキームと予測スキームとをスイッチングし、量子化スキームを決定することを意味する。常にセーフティネットスキームを使用する符号化モードの例としては、ＵＣモードあるいはＴＣモードを挙げることができる。一方、セーフティネットスキームと予測スキームとをスイッチングして使用する符号化モードの例としては、ＶＣモードあるいはＧＣモードを挙げることができる。
図８を参照すれば、８１０段階においては、現在フレームの予測モード（prediction mode）が０であるか否かということを判断する。８１０段階での判断結果、予測モードが０である場合、例えば、ＵＣモードあるいはＴＣモードのように、現在フレームが変動性が大きい場合には、フレーム間予測が困難であるために、常にセーフティネットスキーム、すなわち、第１量子化モジュール６３０を選択することができる（８５０段階）。
一方、８１０段階での判断結果、予測モードが０ではない場合、予測エラーを考慮し、セーフティネットスキームと予測スキームとのうち一つを量子化スキームとして決定することができる。そのために、８３０段階においては、予測エラーが、所定の臨界値より大きいか否かということを判断する。ここで、臨界値は、前もって実験的に、あるいはシミュレーションを介して最適値に決定される。一例を挙げれば、次数が１６であるＷＢの場合、臨界値の例として、３、７８４、５３６．３を設定することができる。一方、予測スチームを連続して選択しないように制限を加えることができる。
８３０段階での判断結果、予測エラーが臨界値より大きいか、あるいはそれと同じ場合、セーフティネットスキームを選択することができる（８５０段階）。一方、８３０段階での判断結果、予測エラーが臨界値より小さい場合、予測スキームを選択することができる（８７０段階）。
図９Ａないし図９Ｄは、図６に図示された第１量子化モジュールの多様な具現例を示したブロック図である。実施形態によれば、第１量子化モジュールの入力として、１６次数のＬＳＦベクトルが使用されることとする。
図９Ａに図示された第１量子化モジュール９００は、全体入力ベクトルの概略をＴＣＱ（trellis coded quantizer）を利用して量子化する第１量子化部９１１と、量子化エラー信号を追加して量子化する第２量子化部９１３と、を含んでもよい。第１量子化部９１１は、ＴＣＱ、ＴＣＶＱ（trellis coded vector quantizer）、ＢＣ−ＴＣＱ（block-constrained trellis coded quantizer）またはＢＣ−ＴＣＶＱのように、トレリス構造を使用する量子化器によって具現される。第２量子化部９１３は、ベクトル量子化器あるいはスカラ量子化器によって具現されるが、それらに限定されるものではない。メモリサイズを最小化しながら、性能向上のためにＳＶＱ（split vector quantizer）を使用するか、あるいは性能向上のために、ＭＳＶＱ（multi-stage vector quantizer）を使用することもできる。第２量子化部９１３を、ＳＶＱあるいはＭＳＶＱで具現する場合、複雑度に対する余裕があれば、２個以上の候補を保存し、最適コードブックインデックス探索を行う軟判定（soft decision）技術を使用することもできる。
第１量子化部９１１及び第２量子化部９１３の動作は、次の通りである。
まず、量子化されていないＬＳＦ係数から、前もって定義された平均値を除外し、ｚ（ｎ）信号を得ることができる。第１量子化部９１１においては、ｚ（ｎ）信号の全体ベクトルに対して、量子化及び逆量子化を行うことができる。ここで、使用される量子化器の例としては、ＢＣ−ＴＣＱあるいはＢＣ−ＴＣＶＱが挙げられる。量子化エラー信号を求めるために、ｚ（ｎ）信号と、逆量子化された信号との差値を利用し、ｒ（ｎ）信号を得ることができる。ｒ（ｎ）信号は、第２量子化部９１３の入力として提供される。第２量子化部９１３は、ＳＶＱまたはＭＳＶＱなどで具現することができる。第２量子化部９１３で量子化された信号は、逆量子化を経た後、第１量子化部９１１で逆量子化された結果と加えられた後、量子化されたｚ（ｎ）値になり、それに平均値を加えれば、量子化されたＬＳＦ値を求めることができる。
図９Ｂに図示された第１量子化モジュール９００は、第１量子化部９３１及び第２量子化部９３３に、フレーム内予測器９３２をさらに含んでもよい。第１量子化部９３１と第２量子化部９３３は、図９Ａの第１量子化部９１１及び第２量子化部９１３に対応する。ＬＳＦ係数は、毎フレームごとに符号化が行われるので、フレーム内において、１０次あるいは１６次のＬＳＦ係数を利用して予測を行うことができる。図９Ｂによれば、ｚ（ｎ）信号は、第１量子化部９３１及びフレーム内予測器９３２を介して量子化される。フレーム内予測のために使用される過去信号は、ＴＣＱを介して量子化された以前ステージのｔ（ｎ）値を使用する。フレーム内予測で使用される予測係数は、前もってコードブック訓練過程を介して前もって定義される。ＴＣＱにおいては、一般的には、一次が使用され、場合によっては、さらに高い次数あるいは次元を使用することもできる。ＴＣＶＱにおいては、ベクトルであるので、予測係数がベクトルの次元サイズに該当する二次元マトリックス形態にもなる。ここで、次元は、２以上の自然数にもなる。例えば、ＶＱの次元が２である場合には、２Ｘ２サイズのマトリックスを利用した予測係数をあらかじめ求める必要がある。一実施形態によれば、ＴＣＶＱが二次元を利用しているしフレーム内予測器９３２は、２Ｘ２サイズを有する。
ＴＣＱのフレーム内予測過程は、次の通りである。第１量子化部９３１、すなわち、第１ ＴＣＱの入力信号であるｔｊ（ｎ）は、下記数式（１３）のように求めることができる。
一方、二次元を使用するＴＣＶＱのフレーム内予測過程は、次の通りである。第１量子化部９３１、すなわち、第１ ＴＣＱの入力信号であるｔｊ（ｎ）は、下記数式（１４）のように求めることができる。
ここで、Ｍは、ＬＳＦ係数の次数を示し、狭帯域である場合、１０を使用し、広帯域である場合、１６を使用し、ρｊは、一次元の予測係数を示し、Ａｊは、２Ｘ２の予測係数を示す。
第１量子化部９３１は、予測エラーベクトルｔ（ｎ）を量子化することができる。一実施形態によれば、第１量子化部９３１は、ＴＣＱを使用して具現され、具体的には、ＢＣ−ＴＣＱ、ＢＣ−ＴＣＶＱ、ＴＣＱ、ＴＣＶＱが挙げられる。第１量子化部９３１と共に使用されたフレーム内予測器９３２は、入力ベクトルの各エレメント単位またはサブベクトル単位で、量子化過程と予測過程とを反復することができる。第２量子化部９３３の動作は、図９Ａの第２量子化部９１３と同一である。
図９Ｃは、図９Ａの構造において、コードブック共有のための第１量子化モジュール９００を示す。第１量子化モジュール９００は、第１量子化部９５１及び第２量子化部９５３を含んでもよい。音声／オーディオ符号化器において、マルチレート符号化を支援する場合、同一ＬＳＦ入力ベクトルを多様なビットに量子化する技術を必要とする。その場合、使用する量子化器のコードブックメモリを最小化しながら、効率的な性能を有するために、１つの構造で２つのビット数割り当てが可能になるように具現することができる。ここで、ｆＨ（ｎ）は、高レート出力を意味し、ｆＬ（ｎ）は、ローレート出力を意味する。そのうち、ＢＣ−ＴＣＱ／ＢＣ−ＴＣＶＱのみを利用した場合、ここに使用されるビット数だけで、ローレートのための量子化を行うことができる。それに加え、さらに精密な量子化が必要な場合には、第１量子化部９５１のエラー信号を、さらなる第２量子化部９５３を利用して量子化することができる。
図９Ｄは、図９Ｃの構造において、フレーム内予測器９７２をさらに含んだものである。第１量子化モジュール９００は、第１量子化部９７１及び第２量子化部９７３に、フレーム内予測器９７２をさらに含んでもよい。第１量子化部９７１と第２量子化部９７３は、図９Ｃの第１量子化部９５１及び第２量子化部９５３に対応する。
図１０Ａないし図１０Ｄは、図６に図示された第２量子化モジュールの多様な具現例を示したブロック図である。
図１０Ａに図示された第２量子化モジュール１０００は、図９Ｂの構造に、フレーム間予測器１０１４をさらに追加したものである。図１０Ａに図示された第２量子化モジュール１０００は、第１量子化部１０１１及び第２量子化部１０１３に、フレーム間予測器１０１４をさらに含んでもよい。フレーム間予測器１０１４は、以前フレームで量子化されたＬＳＦ係数を利用して、現在フレームを予測する技術である。フレーム間予測過程は、以前フレームの量子化された値を利用して、現在フレームから除き、量子化が終われば、その寄与分をさらに加える方式である。そのとき、予測係数は、各エレメント別に求められる。
図１０Ｂに図示された第２量子化モジュール１０００は、図１０Ａの構造に、フレーム内予測器１０３２をさらに追加したものである。図１０Ｂに図示された第２量子化モジュール１０００は、第１量子化部１０３１、第２量子化部１０３３、フレーム間予測器１０３４に、フレーム内予測器１０３２をさらに含んでもよい。
図１０Ｃは、図１０Ｂの構造において、コードブック共有のための第２量子化モジュール１０００を示す。すなわち、図１０Ｂの構造において、ＢＣ−ＴＣＱ／ＢＣ−ＴＣＶＱのコードブックを、ローレート及びハイレートで共有する構造を示す。図１０Ｃにおいて上側は、第２量子化部（図示せず）を使用せずにローレートに係わる出力を意味し、下側は、第２量子化部１０６３を使用するハイレートに係わる出力を意味する。
図１０Ｄは、図１０Ｃの構造において、フレーム内予測器を除外し、第２量子化モジュール１０００を具現した例を示す。
図１１Ａないし図１１Ｆは、ＢＣ−ＴＣＶＱに加重値を適用する量子化器１１００の多様な具現例を示したブロック図である。
図１１Ａは、基本的なＢＣ−ＴＣＶＱ量子化器を示したものであり、加重関数算出部１１１１とＢＣ−ＴＣＶＱ部１１１２を含んでもよい。ＢＣ−ＴＣＶＱにおいて、最適インデックスを求めるとき、加重された歪曲を最小化するインデックスを求めることになる。図１１Ｂは、図１１Ａにおいて、フレーム内予測器１１２３を追加した構造を示す。ここで使用されるフレーム内予測は、ＡＲ方式を利用することもでき、ＭＡ方式を利用することもできる。一実施形態によれば、ＡＲ方式を利用して、使用される予測係数は、あらかじめ定義される。
図１１Ｃは、図１１Ｂにおいて、さらなる性能向上のために、フレーム間予測器１１３４を追加した構造を示す。図１１Ｃは、予測スキームで使用される量子化器の例を示す。ここで使用されるフレーム間予測は、ＡＲ方式を利用することもでき、ＭＡ方式を利用することもできる。一実施形態によれば、ＡＲ方式を利用して、使用される予測係数は、あらかじめ定義される。量子化過程について述べれば、まず、フレーム間予測を利用して予測された予測エラー値は、フレーム内予測を利用するＢＣ−ＴＣＶＱを利用して量子化することができる。量子化インデックス値は、復号器に伝送される。復号過程について述べれば、量子化されたＢＣ−ＴＣＶＱの結果にフレーム内予測値を加えて量子化されたｒ（ｎ）値を求める。ここに、フレーム間予測器１１３４の予測値を加えた後、平均値を加えれば、最終量子化されたＬＳＦ値が決定される。
図１１Ｄは、図１１Ｃにおいて、フレーム内予測器を除いた構造を示す。図１１Ｅは、第２量子化部１１５３が追加された場合、加重値をいかように適用するかということに係わる構造を示す。加重関数算出部１１５１で求められた加重関数は、第１量子化部１１５２及び第２量子化部１１５３のいずれでも使用され、最適インデックスは、加重された歪曲を利用して求める。第１量子化部１１５１は、ＢＣ−ＴＣＱ、ＢＣ−ＴＣＶＱ、ＴＣＱまたはＴＣＶＱによって具現される。第２量子化部１１５３は、ＳＱ、ＶＱ、ＳＶＱまたはＭＳＶＱによって具現される。図１１Ｆは、図１１Ｅにおいて、フレーム内予測器が除かれた構造を示す。
図１１Ａないし図１１Ｆで言及された多様な構造の量子化器形態を組み合わせ、スイッチング構造の量子化器を具現することができる。
図１２は、一実施形態による、ローレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１２に図示された量子化装置１２００は、選択部１２１０、第１量子化モジュール１２３０及び第２量子化モジュール１２５０を含んでもよい。
選択部１２１０は、予測エラーに基づいて、セーフティネットスキームあるいは予測スキームのうち一つを量子化スキームとして選択することができる。
第１量子化モジュール１２３０は、セーフティネットスキームが選択された場合、フレーム間予測を使用せずに量子化を行うものであり、第１量子化部１２３１及び第１フレーム内予測器１２３２を含んでもよい。具体的には、ＬＳＦベクトルは、第１量子化部１２３１及び第１フレーム内予測器１２３２によって、３０ビットに量子化される。
第２量子化モジュール１２５０は、予測スキームが選択された場合、フレーム間予測を使用して量子化を行うものであり、第２量子化部１２５１、第２フレーム内予測器１２５２及びフレーム間予測器１２５３を含んでもよい。具体的には、平均値が除去されたＬＳＦベクトルと、予測ベクトルとの差に該当する予測エラーは、第２量子化部１２５１及び第２フレーム内予測器１２５２によって、３０ビットに量子化される。
図１２に図示された量子化装置は、ＶＣモードである場合、３１ビットを使用するＬＳＦ係数量子化の例を示す。図１２の量子化装置において、第１量子化部１２３１及び第２量子化部１２５１は、図１３の量子化装置において、第１量子化部１３３１及び第２量子化部１３５１とコードブックを共有することができる。動作について述べれば、入力されたＬＳＦ値ｆ（ｎ）から平均値を除外し、ｚ（ｎ）信号を得ることができる。選択部１２１０においては、以前フレームで復号されたｚ（ｎ）値を利用して、フレーム間予測したｐ（ｎ）値、ｚ（ｎ）値、加重関数、予測モード（ｐｒｅｄ＿mode）を利用して、最適量子化スキームを選択あるいは決定することができる。選択あるいは決定された結果によって、セーフティネットスキームあるいは予測スキームのうち一つを利用して量子化を行うことができる。選択あるいは決定された量子化スキームは、１ビットに符号化される。
選択部１２１０において、セーフティネットスキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）の全体入力ベクトルは、第１フレーム内予測器１２３２を介して、３０ビットを使用する第１量子化部１２３１を利用して量子化が行われる。一方、選択部１２１０において、予測スキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）は、フレーム間予測器１２５３を利用した予測エラー信号を、第２フレーム内予測器１２５２を介して、３０ビットを使用する第２量子化部１２５１を利用して量子化が行われる。第１量子化部１２３１、第２量子化部１２５１の例としては、ＴＣＱ、ＴＣＶＱの形態を有する量子化器が可能である。具体的には、ＢＣ−ＴＣＱまたはＢＣ−ＴＣＶＱなどが可能である。その場合、該量子化器は、総３１ビットを利用する。量子化された結果は、ローレートの量子化器出力として使用され、量子化器の主要出力は、量子化されたＬＳＦベクトル及び量子化インデックスである。
図１３は、一実施形態による、ハイレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１３に図示された量子化装置１３００は、選択部１３１０、第１量子化モジュール１３３０及び第２量子化モジュール１３５０を含んでもよい。図１２と比較するとき、第１量子化モジュール１３３０に第３量子化部１３３３が追加され、第２量子化モジュール１３５０に第４量子化部１３５３の追加されたという違いがある。図１２及び図１３において、第１量子化部１２３１，１３３１と、第２量子化部１２５１，１３５１は、それぞれ同一コードブックを使用することができる。すなわち、図１２の３１ビットＬＳＦ量子化装置１２００と、図１３の４１ビットＬＳＦ量子化装置１３００は、ＢＣ−ＴＣＶＱについて、同一コードブックを使用することができる。それによれば、最適コードブックというものではないが、メモリサイズを大幅に節減することができる。
選択部１３１０は、予測エラーに基づいて、セーフティネットスキームあるいは予測スキームのうち一つを量子化スキームとして選択することができる。
第１量子化モジュール１３３０は、セーフティネットスキームが選択された場合、フレーム間予測を使用せずに量子化を行うものであり、第１量子化部１３３１、第１フレーム内予測器１３３２及び第３量子化部１３３３を含んでもよい。
第２量子化モジュール１３５０は、予測スキームが選択された場合、フレーム間予測を使用して量子化を行うものであり、第２量子化部１３５１、第２フレーム内予測器１３５２、第４量子化部１３５３及びフレーム間予測器１３５４を含んでもよい。
図１３に図示された量子化装置は、ＶＣモードである場合、４１ビットを使用するＬＳＦ係数量子化の例を示す。図１３の量子化装置１３００において、第１量子化部１３３１及び第２量子化部１３５１は、図１２の量子化装置１２００において、第１量子化部１２３１及び第２量子化部１２５１とそれぞれコードブックを共有することができる。動作について述べれば、入力されたＬＳＦ値ｆ（ｎ）から平均値を除去すれば、ｚ（ｎ）信号になる。選択部１３１０においては、以前フレームで復号されたｚ（ｎ）値を利用してフレーム間予測したｐ（ｎ）値、ｚ（ｎ）値、加重関数、予測モード（ｐｒｅｄ＿mode）を利用して、最適量子化スキームを決定することができる。選択あるいは決定された結果によって、セーフティネットスキームあるいは予測スキームのうち一つを利用して量子化を行うことができる。選択あるいは決定された量子化スキームは、１ビットに符号化される。
選択部１３１０において、セーフティネットスキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）の全体入力ベクトルは、第１フレーム内予測器１３３２を介して、３０ビットを使用する第１量子化部１３３１を利用して、量子化及び逆量子化が行われる。一方、原信号と、逆量子化された結果との差を示す第２エラーベクトルは、第３量子化部１３３３の入力として提供される。第３量子化部１３３３においては、第２エラーベクトルを、１０ビットを使用して量子化することができる。第３量子化部１３３３の例としては、ＳＱ、ＶＱ、ＳＶＱまたはＭＳＶＱなどが可能である。量子化及び逆量子化が終われば、次のフレームのために、最終的に量子化されたベクトルが保存される。
一方、選択部１３１０において、予測スキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）から、フレーム間予測器１３５４からのｐ（ｎ）を減算して得られた予測エラー信号を、３０ビットを使用して、第２量子化部１３５１及び第２フレーム内予測器１３５２によって、量子化あるいは逆量子化される。第１量子化器１２３１、第２量子化部１３５１の例としては、ＴＣＱ、ＴＣＶＱの形態を有する量子化器が可能である。具体的には、ＢＣ−ＴＣＱまたはＢＣ−ＴＣＶＱなどが可能である。一方、原信号と、逆量子化された結果との差を示す第２エラーベクトルは、第４量子化部１３５３の入力として提供される。第４量子化部１３５３においては、第２エラーベクトルを、１０ビットを使用して量子化することができる。ここで、第２エラーベクトルは、８Ｘ８次元の２つのサブベクトルに分割され、第４量子化部１３５３で量子化される。低帯域が高帯域より認知的に重要であるために、最初のＶＱ及び２番目のＶＱに、互いに異なるビット数を割り当てて符号化することができる。第４量子化部１３５３の例としては、ＳＱ、ＶＱ、ＳＶＱまたはＭＳＶＱなどが可能である。量子化及び逆量子化が終われば、次のフレームのために、最終的に量子化されたベクトルが保存される。
その場合、量子化器は、総４１ビットを利用する。量子化された結果は、ハイレートの量子化器出力として使用され、量子化器の主要出力は、量子化されたＬＳＦベクトル及び量子化インデックスである。
結果として、図１２と図１３とを同時に使用する場合、図１２の第１量子化部１２３１と、図１３の第１量子化部１３３１とが量子化コードブックを共有し、図１２の第２量子化部１２５１と、図１３の第２量子化部１３５１とが量子化コードブックを共有すれば、全体的にコードブックメモリを大幅に節減することができる。一方、さらなるコードブックメモリ節減のために、図１３の第３量子化部１３３３及び第４量子化部１３５３の量子化コードブックも共有される。その場合、第３量子化部１３３３の入力分布が、第４量子化部１３５３と異なるために、入力分布間の差を補償するために、スケーリングファクタが使用される。スケーリングファクタは、第３量子化部１３３３の入力と、第４量子化部１３５３の入力との分布を考慮して算出される。一実施形態によれば、第３量子化部１３３３の入力信号は、スケーリングファクタに分け、その結果として得られる信号を、第３量子化部１３３３で量子化することができる。第３量子化部１３３３で量子化された信号は、第３量子化部１３３３の出力を、スケーリングファクタに乗算して得ることができる。そのように、第３量子化部１３３３あるいは第４量子化部１３５３の入力に対して、適切なスケーリングを施した後、量子化を行えば、性能を最大限維持しながら、コードブックを共有することができる。
図１４は、他の実施形態による、ローレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１４の量子化装置１４００において、第１量子化モジュール１４３０及び第２量子化モジュール１４５０において、使用中の第１量子化部１４３１及び第２量子化部１４５１は、図９Ｃ及び図９Ｄのローレート部分が適用される。動作について述べれば、加重関数算出部１４００においては、入力されたＬＳＦ値を利用して、加重関数ｗ（ｎ）を求めることができる。求められた加重関数ｗ（ｎ）は、選択部１４１０、第１量子化部１４３１及び第２量子化部１４５１で使用される。一方、ＬＳＦ値ｆ（ｎ）から平均値を除去し、ｚ（ｎ）信号を得ることができる。選択部１４１０においては、以前フレームで復号されたｚ（ｎ）値を利用してフレーム間予測したｐ（ｎ）値、ｚ（ｎ）値、加重関数、予測モード（ｐｒｅｄ＿mode）を利用して、最適量子化スキームを決定することができる。選択あるいは決定された結果によって、セーフティネットスキームあるいは予測スキームのうち一つを利用して量子化を行うことができる。選択あるいは決定された量子化スキームは、１ビットに符号化される。
選択部１４１０において、セーフティネットスキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）は、第１量子化部１４３１で量子化される。第１量子化部１４３１は、図９Ｃ及び図９Ｄで説明したように、高い性能のために、フレーム内予測を使用することもでき、低い複雑度のために、除いて使用することもできる。フレーム内予測部を使用する場合には、全体入力ベクトルを、フレーム内予測を介して、ＴＣＱまたはＴＣＶＱを利用して量子化する第１量子化部１４３１に提供することができる。
選択部１４１０において、予測スキームに選択されれば、平均値が除去されたＬＳＦ係数であるｚ（ｎ）は、フレーム間予測を利用した予測エラー信号を、フレーム内予測を介して、ＴＣＱまたはＴＣＶＱを利用して量子化する第２量子化部１４５１に提供することができる。第１量子化部１４３１、第２量子化部１４５１の例としては、ＴＣＱ、ＴＣＶＱの形態を有する量子化器が可能である。具体的には、ＢＣ−ＴＣＱまたはＢＣ−ＴＣＶＱなどが可能である。量子化された結果は、ローレートの量子化器出力として使用される。
図１５は、他の実施形態による、ハイレートでオープンループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１５に図示された量子化装置１５００は、選択部１５１０、第１量子化モジュール１５３０及び第２量子化モジュール１５５０を含んでもよい。図１４と比較するとき、第１量子化モジュール１５３０に第３量子化部１５３２が追加され、第２量子化モジュール１５５０に第４量子化部１５５２の追加されたという違いがある。図１４及び図１５において、第１量子化部１４３１，１５３１と第２量子化部１４５１，１５５１は、それぞれ同一コードブックを使用することができる。それによれば、最適コードブックというものではないが、メモリサイズを大幅に節減することができる。動作について述べれば、選択部１５１０において、セーフティネットスキームに選択されれば、第１量子化部１５３１において、第１量子化及び逆量子化を行い、原信号と逆量子化された結果との差を意味する第２エラーベクトルは、第３量子化部１５３２の入力として提供される。第３量子化部１５３２においては、第２エラーベクトルを量子化することができる。第３量子化部１５３２の例としては、ＳＱ、ＶＱ、ＳＶＱまたはＭＳＶＱなどが可能である。量子化及び逆量子化が終われば、次のフレームのために最終的に量子化されたベクトルが保存される。
一方、選択部１５１０において、予測スキームに選択されれば、第２量子化部１５５１においては、量子化及び逆量子化を行い、原信号と、逆量子化された結果との差を意味する第２エラーベクトルは、第４量子化部１５５２の入力として提供される。第４量子化部１５５２においては、第２エラーベクトルを量子化することができる。第４量子化部１５５２の例としては、ＳＱ、ＶＱ、ＳＶＱまたはＭＳＶＱなどが可能である。量子化及び逆量子化が終われば、次のフレームのために、最終的に量子化されたベクトルが保存される。
図１６は、他の実施形態によるＬＰＣ係数量子化部の構成を示したブロック図である。図１６に図示されたＬＰＣ係数量子化部１６００は、選択部１６１０、第１量子化モジュール１６３０、第２量子化モジュール１６５０及び加重関数算出部１６７０を含んでもよい。図６に図示されたＬＰＣ係数量子化部６００と比較するとき、加重関数算出部１６７０をさらに含むという違いがある。図１６に係わる細部的具現例は、図１１Ａないし図１１Ｆに図示されている。
図１７は、一実施形態による、閉ループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１７に図示された量子化装置１７００は、第１量子化モジュール１７１０、第２量子化モジュール１７３０及び選択部１７５０を含んでもよい。第１量子化モジュール１７１０は、第１量子化部１７１１、第１フレーム内予測器１７１２、及び第３量子化部１７１３を含み、第２量子化モジュール１７３０は、第２量子化部１７３１、第２フレーム内予測器１７３２、第４量子化部１７３３及びフレーム間予測器１７３４を含んでもよい。
図１７を参照すれば、第１量子化モジュール１７１０において、第１量子化部１７１１においては、全体入力ベクトルを、第１フレーム内予測器１７１２を介して、ＢＣ−ＴＣＶＱまたはＢＣ−ＴＣＱを利用して量子化することができる。第３量子化部１７１３においては、量子化エラー信号をＶＱに量子化することができる。
第２量子化モジュール１７３０において、第２量子化部１７３１においては、フレーム間予測器１７３４を利用した予測エラー信号を、第２フレーム内予測器１７３２を介して、ＢＣ−ＴＣＶＱまたはＢＣ−ＴＣＱを利用して量子化することができる。第４量子化部１７３３においては、量子化エラー信号をＶＱに量子化することができる。
選択部１７５０は、第１量子化モジュール１７１０の出力と、第２量子化モジュール１７３０の出力とのうち一つを選択することができる。
図１７において、セーフティネットスチームは、図９Ｂと同一であり、予測スキームは、図１０Ｂと同一である。ここで、フレーム間予測は、ＡＲ方式とＭＡ方式とのうち一つを利用することができる。一実施形態によれば、一次ＡＲ方式を利用した例を示す。予測係数は、あらかじめ定義され、予測のための過去ベクトルは、以前フレームにおいて、２つのスキームのうち最適ベクトルに選択されたベクトルを利用する。
図１８は、他の実施形態による、閉ループ方式のスイッチング構造を有する量子化装置の構成を示すブロック図である。図１７と比較するとき、フレーム内予測器を除いて具現した例である。図１８に図示された量子化装置１８００は、第１量子化モジュール１８１０、第２量子化モジュール１８３０及び選択部１８５０を含んでもよい。第１量子化モジュール１８１０は、第１量子化部１８１１及び第３量子化部１８１２を含み、第２量子化モジュール１８３０は、第２量子化部１８３１、第４量子化部１８３２及びフレーム間予測器１８３３を含んでもよい。
図１８を参照すれば、選択部１８５０は、第１量子化モジュール１８１０の出力、及び第２量子化モジュール１８３０の出力を利用した加重された歪曲を入力にし、最適量子化スキームを選択あるいは決定することができる。最適量子化スキームを決定する過程について述べれば、次の通りである。
if ( ((predmode!=0) && (WDist[0]<PREFERSFNET*WDist[1]))
||(predmode == 0)
||(WDist[0]<abs_threshold) )
{
safety_net = 1;
}
else{
safety_net = 0;
}
ここで、予測モード（predmode）が０である場合には、常にセーフティネットスキームのみを使用するモードを意味し、０ではない場合には、セーフティネットスキームと予測スキームとをスイッチングして使用することを意味する。常にセーフティネットスキームのみを使用するモードの例としては、ＴＣモードあるいはＵＣモードを挙げることができる。そして、ＷＤｉｓｔ［０］は、セーフティネットスキームの加重された歪曲を意味し、ＷＤｉｓｔ［１］は、予測スキームの加重された歪曲を意味する。また、ａｂｓ＿thresholdはあらかじめ設定された臨界値を示す。予測モードが０ではない場合は、フレームエラーを考慮し、セーフティネットスキームの加重された歪曲に優先し、最適量子化スキームを選択することができる。すなわち、基本的には、ＷＤｉｓｔ［０］の値が、前もって定義された臨界値より小さいときは、ＷＤｉｓｔ［１］の値に係わりなくセーフティネットスキームが選択される。それ以外の場合にも、単に加重された歪曲が少ないことを選択するものではなく、同一の加重された歪曲においては、セーフティネットスキームが選択される。その理由は、セーフティネットスキームが、フレームエラーにさらに強靭であるからである。従って、ＷＤｉｓｔ［０］が、ＰＲＥＦＥＲＳＦＮＥＴ＊ＷＤｉｓｔ［１］より大きい場合にのみ、予測スキームが選択される。ここで、使用可能なＰＲＥＦＥＲＳＦＮＥＴ＝１．１５である、それに限定されるものではない。そのように、量子化スキームが選択されれば、選択された量子化スキームを示すビット情報と、選択された量子化スキームに量子化して得られる量子化インデックスとを伝送することができる。
図１９は、一実施形態による逆量子化装置の構成を示したブロック図である。図１９に図示された逆量子化装置１９００は、選択部１９１０、第１逆量子化モジュール１９３０及び第２逆量子化モジュール１９５０を含んでもよい。
図１９を参照すれば、選択部１９１０は、ビットストリームに含まれた量子化スキーム情報に基づいて符号化されたＬＰＣパラメータ、例えば、予測残差（prediction residual）を、第１逆量子化モジュール１９３０及び第２逆量子化モジュール１９５０のうち一つに提供することができる。一例として、量子化スキーム情報は、１ビットで表現される。
第１逆量子化モジュール１９３０は、符号化されたＬＰＣパラメータを、フレーム間予測なしに逆量子化することができる。
第２逆量子化モジュール１９５０は、符号化されたＬＰＣパラメータを、フレーム間予測を介して逆量子化することができる。
第１逆量子化モジュール１９３０と第２逆量子化モジュール１９５０は、復号装置に対応する符号化装置によって、前述の多様な実施形態のそれぞれ第１量子化モジュール及び第２量子化モジュールの逆処理に基づいて具現される。
図１９の逆量子化装置は、量子化器構造が開ループ（open-loop）方式あるいは閉ループ（closed-loop）方式にかかわらずに適用することができる。
１６ｋＨｚ内部サンプリング周波数においてＶＣモードは、例えば、フレーム当たり３１ビットと、フレーム当たり４０あるいは４１ビットとの２つのデコーディングレートを有することができる。ＶＣモードは、１６ステート８ステージＢＣ−ＴＣＶＱによって復号される。
図２０は、一実施形態による逆量子化装置の細部的な構成を示したブロック図であり、３１ビットのエンコーディングレートを使用する場合に該当する。図２０に図示された逆量子化装置２０００は、選択部２０１０、第１逆量子化モジュール２０３０及び第２逆量子化モジュール２０５０を含んでもよい。第１逆量子化モジュール２０３０は、第１逆量子化部２０３１及び第１フレーム内予測器２０３２を含んでもよく、第２逆量子化モジュール２０５０は、第２逆量子化部２０５１、第２フレーム内予測器２０５２及びフレーム間予測器２０５３を含んでもよい。図２０の逆量子化装置は、図１２の量子化装置に対応する。
図２０を参照すれば、選択部２０１０は、ビットストリームに含まれた量子化スキーム情報に基づいて符号化されたＬＰＣパラメータを、第１逆量子化モジュール２０３０及び第２逆量子化モジュール２０５０のうち一つに提供することができる。
量子化スキーム情報がセーフティネットスキームを示す場合、第１逆量子化モジュール２０３０において第１逆量子化部２０３１は、ＢＣ−ＴＣＶＱを使用して逆量子化を行うことができる。第１逆量子化部２０３１及び第１フレーム内予測器２０３２を介して量子化されたＬＳＦ係数を得ることができる。量子化されたＬＳＦ係数に、所定ＤＣ値である平均値を加算すれば、最終復号されたＬＳＦ係数が生成される。
一方、量子化スキーム情報が予測スキームを示す場合、第２逆量子化モジュール２０５０において第２逆量子化部２０５１は、ＢＣ−ＴＣＶＱを使用して逆量子化を行うことができる。逆量子化過程は、ＬＳＦベクトルのうち最も低いベクトルから始まり、フレーム内予測器２０５２は、復号されたベクトルを利用して、次の順序のベクトル要素のための予測値を生成する。フレーム間予測器２０５３は、以前フレームで復号されたＬＳＦ係数を利用して、フレーム間予測を介して、予測値を生成する。第２量子化部２０５１及びフレーム内予測器２０５２を介して得られる量子化されたＬＳＦ係数に、フレーム間予測器２０５３において得られるフレーム間予測値を加算し、加算結果に、所定のＤＣ値である平均値を加えれば、最終復号されたＬＳＦ係数が生成される。
図２１は、他の実施形態による逆量子化装置の細部的な構成を示したブロック図であり、４１ビットのエンコーディングレートを使用する場合に該当する。図２１に図示された逆量子化装置２１００は、選択部２１１０、第１逆量子化モジュール２１３０及び第２逆量子化モジュール２１５０を含んでもよい。第１逆量子化モジュール２１３０は、第１逆量子化部２１３１、第１フレーム内予測器２１３２及び第３逆量子化部２１３３を含んでもよく、第２逆量子化モジュール２１５０は、第２逆量子化部２１５１、第２フレーム内予測器２１５２、第４逆量子化部２１５３及びフレーム間予測器２１５４を含んでもよい。図２１の逆量子化装置は、図１３の量子化装置に対応する。
図２１を参照すれば、選択部２１１０は、ビットストリームに含まれた量子化スキーム情報に基づいて符号化されたＬＰＣパラメータを、第１逆量子化モジュール２１３０及び第２逆量子化モジュール２１５０のうち一つに提供することができる。
量子化スキーム情報がセーフティネットスキームを示す場合、第１逆量子化モジュール２１３０において第１逆量子化部２１３１は、ＢＣ−ＴＣＶＱを使用して、逆量子化を行うことができる。第３逆量子化部２１３３は、ＳＶＱを使用して逆量子化を行うことができる。第１逆量子化部２１３１及び第１フレーム内予測器２１３２を介して、量子化されたＬＳＦ係数を得ることができる。量子化されたＬＳＦ係数及び第３逆量子化部２１３３から得られる量子化されたＬＳＦ係数を加算し、該加算結果に、所定ＤＣ値である平均値を加えれば、最終復号されたＬＳＦ係数が生成される。
一方、量子化スキーム情報が予測スキームを示す場合、第２逆量子化モジュール２１５０において第２逆量子化部２１５１は、ＢＣ−ＴＣＶＱを使用して、逆量子化を行うことができる。逆量子化過程は、ＬＳＦベクトルのうち最も低いベクトルから始まり、第２フレーム内予測器２１５２は、復号されたベクトルを利用して、次の順序のベクトル要素のための予測値を生成する。第４逆量子化部２１５３は、ＳＶＱを使用して、逆量子化を行うことができる。第２逆量子化部２１５１及び第２フレーム内予測器２１５２を介して得られる量子化されたＬＳＦ係数に、第４逆量子化部２１５３から提供される量子化されたＬＳＦ係数を加算することができる。フレーム間予測器２１５４は、以前フレームで復号されたＬＳＦ係数を利用して、フレーム間予測を介して、予測値を生成することができる。該加算結果に、フレーム間予測器２１５３で得られるフレーム間予測値を加え、所定ＤＣ値である平均値を加えれば、最終復号されたＬＳＦ係数が生成される。
ここで、第３逆量子化部２１３３と第４逆量子化部２１５３は、コードブックを共有することができる。
一方、図示されていないが、図１９ないし図２１の逆量子化装置は、図２に対応する復号装置の構成要素として使用される。
一方、ＬＰＣ係数量子化／逆量子化に係わって採用されるＢＣ−ＴＣＱに係わる内容は、「Block Constrained Trellis Coded Vector Quantization of LSF Parameters for Wideband Speech Codecs」(Jungeun Park and Sangwon Kang, ETRI Journal, Volume 30, Number 5, October 2008)に詳細に説明されている。一方、ＴＣＶＱに係わる内容は、「Trellis Coded Vector Quantization」(Thomas R. Fischer et al, IEEE Transactions on Information Theory, Vol. 37, No. 6, November 1991)に詳細に説明されている。
前述の実施形態による量子化方法、逆量子化法、符号化方法及び復号方法は、コンピュータで実行されるプログラムに作成可能であり、コンピューターで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれてもよい。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
以上のように、本発明の一実施形態は、たとえ限定された実施形態及び図面によって説明されたにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、そのような記載から、多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的な変形は、いずれも本発明技術的思想の範疇に属するものとするのである。

Claims (15)

  1. フレーム間予測なしに量子化を行う第１量子化モジュールと、
    フレーム間予測と共に量子化を行う第２量子化モジュールと、を含み、
    前記第１量子化モジュールは、入力信号を量子化する第１量子化部と、第１量子化エラー信号を量子化する第３量子化部と、を含み、
    前記第２量子化モジュールは、予測エラーを量子化する第２量子化部と、第２量子化エラー信号を量子化する第４量子化部と、を含み、
    前記第１量子化部と前記第２量子化部は、トレリス構造のベクトル量子化器である量子化装置。
  2. 前記装置は、オープンループ方式で、予測エラーに基づいて、前記第１量子化モジュールあるいは第２量子化モジュールのうち一つを選択する選択部をさらに含むことを特徴とする請求項１に記載の量子化装置。
  3. 前記第３量子化部と前記第４量子化部は、ベクトル量子化器であることを特徴とする請求項１に記載の量子化装置。
  4. 前記第３量子化部と前記第４量子化部は、コードブックを共有することを特徴とする請求項１に記載の量子化装置。
  5. 前記入力信号の符号化モードがＶＣモードであることを特徴とする請求項１に記載の量子化装置。
  6. フレーム間予測なしに量子化を行う第１量子化モジュールと、フレーム間予測と共に量子化を行う第２量子化モジュールとのうち一つをオープンループ方式で選択する段階と、
    前記選択された量子化モジュールを使用して入力信号を量子化する段階と、を含み、
    前記第１量子化モジュールは、入力信号を量子化する第１量子化部と、第１量子化エラー信号を量子化する第３量子化部と、を含み、
    前記第２量子化モジュールは、予測エラーを量子化する第２量子化部と、第２量子化エラー信号を量子化する第４量子化部と、を含み、
    前記第３量子化部と前記第４量子化部は、コードブックを共有する量子化方法。
  7. 前記第３量子化部あるいは前記第４量子化部に入力される信号に対して、所定のスケーリングを行うことを特徴とする請求項６に記載の量子化方法。
  8. 前記選択する段階は、予測エラーに基づくことを特徴とする請求項６に記載の量子化方法。
  9. フレーム間予測なしに逆量子化を行う第１逆量子化モジュールと、
    フレーム間予測と共に逆量子化を行う第２逆量子化モジュールと、を含み、
    前記第１逆量子化モジュールは、入力信号を逆量子化する第１逆量子化部と、前記第１逆量子化部と並列に配置される第３逆量子化部と、を含み、
    前記第２逆量子化モジュールは、入力信号を逆量子化する第２逆量子化部と、前記第２逆量子化部と並列に配置される第４逆量子化部と、を含み、
    前記第１逆量子化部と前記第２逆量子化部は、トレリス構造のベクトル逆量子化器の逆量子化装置。
  10. ビットストリームに含まれる量子化スキーム情報に基づいて、前記第１逆量子化モジュールあるいは第２逆量子化モジュールのうち一つを選択する選択部をさらに含むことを特徴とする請求項９に記載の逆量子化装置。
  11. 前記第３逆量子化部と前記第４逆量子化部は、スプリットベクトル逆量子化器であることを特徴とする請求項９に記載の逆量子化装置。
  12. 前記第３逆量子化部と前記第４逆量子化部は、コードブックを共有することを特徴とする請求項９に記載の逆量子化装置。
  13. フレーム間予測なしに逆量子化を行う第１逆量子化モジュールと、フレーム間予測と共に逆量子化を行う第２逆量子化モジュールとのうち一つを選択する段階と、
    前記選択された逆量子化モジュールを使用して入力信号を逆量子化する段階と、を含み、
    前記第１逆量子化モジュールは、入力信号を逆量子化する第１逆量子化部と、前記第１逆量子化部と並列に配置される第３逆量子化部と、を含み、
    前記第２逆量子化モジュールは、入力信号を逆量子化する第２逆量子化部と、前記第２逆量子化部と並列に配置される第４逆量子化部と、を含み、
    前記第３逆量子化部と前記第４逆量子化部は、コードブックを共有する逆量子化方法。
  14. 前記選択する段階は、ビットストリームに含まれたパラメータに基づくことを特徴とする請求項１３に記載の逆量子化方法。
  15. 前記第３逆量子化部と前記第４逆量子化部は、スプリットベクトル逆量子化器であることを特徴とする請求項１３に記載の逆量子化方法。
JP2016559611A 2014-03-28 2015-03-30 線形予測係数量子化方法及びその装置、並びに線形予測係数逆量子化方法及びその装置 Active JP6542796B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971638P 2014-03-28 2014-03-28
US61/971,638 2014-03-28
US201462029687P 2014-07-28 2014-07-28
US62/029,687 2014-07-28
PCT/IB2015/001152 WO2015145266A2 (ko) 2014-03-28 2015-03-30 선형예측계수 양자화방법 및 장치와 역양자화 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2017509926A true JP2017509926A (ja) 2017-04-06
JP6542796B2 JP6542796B2 (ja) 2019-07-10

Family

ID=54196513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016559611A Active JP6542796B2 (ja) 2014-03-28 2015-03-30 線形予測係数量子化方法及びその装置、並びに線形予測係数逆量子化方法及びその装置

Country Status (9)

Country Link
US (3) US10515646B2 (ja)
EP (3) EP4439552B1 (ja)
JP (1) JP6542796B2 (ja)
KR (3) KR102392003B1 (ja)
CN (2) CN110853659B (ja)
ES (2) ES3044658T3 (ja)
PL (1) PL3125241T3 (ja)
SG (2) SG11201608787UA (ja)
WO (1) WO2015145266A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3042066C (en) * 2014-04-25 2021-03-02 Ntt Docomo, Inc. Linear prediction coefficient conversion device and linear prediction coefficient conversion method
ES2982894T3 (es) * 2014-05-07 2024-10-18 Industry Univ Cooperation Foundationhanyang Univ Erica Campus Dispositivo para cuantificar el coeficiente predictivo lineal
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
DE102018112215B3 (de) * 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
CN119743599A (zh) 2018-06-11 2025-04-01 韩华视觉株式会社 用于对图像进行解码和编码的方法以及非暂态计算机可读介质
GB2577698A (en) 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
CN112233682B (zh) * 2019-06-29 2024-07-16 华为技术有限公司 一种立体声编码方法、立体声解码方法和装置
CN110830404A (zh) * 2019-10-31 2020-02-21 西南交通大学 一种基于矢量线性预测的数字移动前传信号量化方法
CN113571073A (zh) * 2020-04-28 2021-10-29 华为技术有限公司 一种线性预测编码参数的编码方法和编码装置
CN115843378A (zh) * 2020-07-07 2023-03-24 弗劳恩霍夫应用研究促进协会 使用针对多声道音频信号的声道的缩放参数的联合编码的音频解码器、音频编码器以及相关方法
CN114357355B (zh) * 2022-01-05 2025-05-30 北京师范大学 一种基于曲线特征加权的植被指数时序数据函数拟合重建方法
US12525248B2 (en) * 2022-08-11 2026-01-13 Electronics And Telecommunications Research Institute Apparatus for encoding and decoding audio signal and method of operation thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252462A (ja) * 2003-02-19 2004-09-09 Samsung Electronics Co Ltd ブロック制限されたトレリス符号化量子化方法、ならびに音声符号化システムにおいてそのトレリス符号化量子化方法を採用したラインスペクトル周波数係数の量子化方法及び装置
WO2010092827A1 (ja) * 2009-02-13 2010-08-19 パナソニック株式会社 ベクトル量子化装置、ベクトル逆量子化装置、およびこれらの方法
WO2012144878A2 (en) * 2011-04-21 2012-10-26 Samsung Electronics Co., Ltd. Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596659A (en) * 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
WO1994006099A1 (en) * 1992-09-01 1994-03-17 Apple Computer, Inc. Improved vector quantization
IT1271959B (it) * 1993-03-03 1997-06-10 Alcatel Italia Codec per il parlato a predizione lineare eccitato da un libro di codici
CA2135629C (en) * 1993-03-26 2000-02-08 Ira A. Gerson Multi-segment vector quantizer for a speech coder suitable for use in a radiotelephone
JP3557255B2 (ja) * 1994-10-18 2004-08-25 松下電器産業株式会社 Ｌｓｐパラメータ復号化装置及び復号化方法
US5774839A (en) * 1995-09-29 1998-06-30 Rockwell International Corporation Delayed decision switched prediction multi-stage LSF vector quantization
US6904404B1 (en) 1996-07-01 2005-06-07 Matsushita Electric Industrial Co., Ltd. Multistage inverse quantization having the plurality of frequency bands
JP3246715B2 (ja) 1996-07-01 2002-01-15 松下電器産業株式会社 オーディオ信号圧縮方法，およびオーディオ信号圧縮装置
US6055496A (en) * 1997-03-19 2000-04-25 Nokia Mobile Phones, Ltd. Vector quantization in celp speech coder
US5974181A (en) * 1997-03-20 1999-10-26 Motorola, Inc. Data compression system, method, and apparatus
TW408298B (en) * 1997-08-28 2000-10-11 Texas Instruments Inc Improved method for switched-predictive quantization
US6125149A (en) * 1997-11-05 2000-09-26 At&T Corp. Successively refinable trellis coded quantization
US6324218B1 (en) * 1998-01-16 2001-11-27 At&T Multiple description trellis coded quantization
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
US6959274B1 (en) 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
AU7486200A (en) 1999-09-22 2001-04-24 Conexant Systems, Inc. Multimode speech encoder
US6504877B1 (en) * 1999-12-14 2003-01-07 Agere Systems Inc. Successively refinable Trellis-Based Scalar Vector quantizers
JP3404024B2 (ja) 2001-02-27 2003-05-06 三菱電機株式会社 音声符号化方法および音声符号化装置
US8050452B2 (en) * 2001-03-22 2011-11-01 Digimarc Corporation Quantization-based data embedding in mapped data
US7376242B2 (en) * 2001-03-22 2008-05-20 Digimarc Corporation Quantization-based data embedding in mapped data
JP2003140693A (ja) 2001-11-02 2003-05-16 Sony Corp 音声復号装置及び方法
CA2388358A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for multi-rate lattice vector quantization
JP2007506986A (ja) 2003-09-17 2007-03-22 北京阜国数字技術有限公司 マルチ解像度ベクトル量子化のオーディオｃｏｄｅｃ方法及びその装置
KR100659725B1 (ko) * 2005-12-09 2006-12-19 한국전자통신연구원 다중 안테나 시스템의 송신 장치 및 방법과, 수신 장치 및방법
KR100728056B1 (ko) * 2006-04-04 2007-06-13 삼성전자주식회사 다중 경로 트랠리스 부호화 양자화 방법 및 이를 이용한다중 경로 트랠리스 부호화 양자화 장치
US20090198491A1 (en) * 2006-05-12 2009-08-06 Panasonic Corporation Lsp vector quantization apparatus, lsp vector inverse-quantization apparatus, and their methods
US8589151B2 (en) * 2006-06-21 2013-11-19 Harris Corporation Vocoder and associated method that transcodes between mixed excitation linear prediction (MELP) vocoders with different speech frame rates
US7414549B1 (en) * 2006-08-04 2008-08-19 The Texas A&M University System Wyner-Ziv coding based on TCQ and LDPC codes
KR101412255B1 (ko) * 2006-12-13 2014-08-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치 및 이들의 방법
EP2101320B1 (en) * 2006-12-15 2014-09-03 Panasonic Corporation Adaptive excitation vector quantization apparatus and adaptive excitation vector quantization method
KR100903110B1 (ko) 2007-04-13 2009-06-16 한국전자통신연구원 트렐리스 부호 양자화 알고리듬을 이용한 광대역 음성 부호화기용 ｌｓｆ 계수 양자화 장치 및 방법
CN101399041A (zh) 2007-09-30 2009-04-01 华为技术有限公司 背景噪声编解码方法及装置
KR101671005B1 (ko) 2007-12-27 2016-11-01 삼성전자주식회사 트렐리스를 이용한 양자화 부호화 및 역양자화 복호화 방법및 장치
CN101609682B (zh) * 2008-06-16 2012-08-08 向为 自适应多速率宽带不连续发送的一种编码器和方法
EP2139000B1 (en) * 2008-06-25 2011-05-25 Thomson Licensing Method and apparatus for encoding or decoding a speech and/or non-speech audio input signal
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
GB2466675B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466673B (en) * 2009-01-06 2012-11-07 Skype Quantization
US8670990B2 (en) * 2009-08-03 2014-03-11 Broadcom Corporation Dynamic time scale modification for reduced bit rate audio coding
WO2011087333A2 (ko) 2010-01-15 2011-07-21 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2557566B8 (en) 2010-04-08 2018-09-19 Lg Electronics Inc. Method and apparatus for processing an audio signal
KR101660843B1 (ko) * 2010-05-27 2016-09-29 삼성전자주식회사 Ｌｐｃ 계수 양자화를 위한 가중치 함수 결정 장치 및 방법
FR2961980A1 (fr) * 2010-06-24 2011-12-30 France Telecom Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
KR101747917B1 (ko) 2010-10-18 2017-06-15 삼성전자주식회사 선형 예측 계수를 양자화하기 위한 저복잡도를 가지는 가중치 함수 결정 장치 및 방법
BR122021000241B1 (pt) 2011-04-21 2022-08-30 Samsung Electronics Co., Ltd Aparelho de quantização de coeficientes de codificação preditiva linear
US9406307B2 (en) * 2012-08-19 2016-08-02 The Regents Of The University Of California Method and apparatus for polyphonic audio signal prediction in coding and networking systems
CN103050121A (zh) 2012-12-31 2013-04-17 北京迅光达通信技术有限公司 线性预测语音编码方法及语音合成方法
US9842598B2 (en) * 2013-02-21 2017-12-12 Qualcomm Incorporated Systems and methods for mitigating potential frame instability
CN103236262B (zh) 2013-05-13 2015-08-26 大连理工大学 一种语音编码器码流的转码方法
CN103632673B (zh) 2013-11-05 2016-05-18 无锡北邮感知技术产业研究院有限公司 一种语音线性预测模型的非线性量化方法
ES2982894T3 (es) * 2014-05-07 2024-10-18 Industry Univ Cooperation Foundationhanyang Univ Erica Campus Dispositivo para cuantificar el coeficiente predictivo lineal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252462A (ja) * 2003-02-19 2004-09-09 Samsung Electronics Co Ltd ブロック制限されたトレリス符号化量子化方法、ならびに音声符号化システムにおいてそのトレリス符号化量子化方法を採用したラインスペクトル周波数係数の量子化方法及び装置
WO2010092827A1 (ja) * 2009-02-13 2010-08-19 パナソニック株式会社 ベクトル量子化装置、ベクトル逆量子化装置、およびこれらの方法
WO2012144878A2 (en) * 2011-04-21 2012-10-26 Samsung Electronics Co., Ltd. Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOUZID, MEROUANE: "Robust Quantization of LPC Prameters for Speech Communication Over Noisy Channel", PROC. ICADIWT '09, JPN6017049383, 4 August 2009 (2009-08-04), pages 713 - 718, ISSN: 0003709047 *

Also Published As

Publication number Publication date
KR20160145561A (ko) 2016-12-20
EP3869506B1 (en) 2025-02-05
EP3125241A4 (en) 2017-08-30
KR102745244B1 (ko) 2024-12-20
KR20220058657A (ko) 2022-05-09
US20200090669A1 (en) 2020-03-19
SG11201608787UA (en) 2016-12-29
EP3125241A2 (en) 2017-02-01
US20170178649A1 (en) 2017-06-22
ES3009924T3 (en) 2025-03-31
EP3869506A1 (en) 2021-08-25
EP3869506C0 (en) 2025-02-05
US11848020B2 (en) 2023-12-19
KR102626320B1 (ko) 2024-01-17
EP4439552A2 (en) 2024-10-02
WO2015145266A2 (ko) 2015-10-01
EP4439552A3 (en) 2024-12-04
KR20240010550A (ko) 2024-01-23
CN110853659A (zh) 2020-02-28
EP4439552B1 (en) 2025-09-24
EP4439552C0 (en) 2025-09-24
WO2015145266A3 (ko) 2016-03-10
SG10201808285UA (en) 2018-10-30
ES3044658T3 (en) 2025-11-27
US11450329B2 (en) 2022-09-20
KR102392003B1 (ko) 2022-04-28
PL3125241T3 (pl) 2021-09-20
US20230022496A1 (en) 2023-01-26
JP6542796B2 (ja) 2019-07-10
EP3125241B1 (en) 2021-05-05
CN106463134B (zh) 2019-12-13
CN110853659B (zh) 2024-01-05
CN106463134A (zh) 2017-02-22
US10515646B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
US11848020B2 (en) Method and device for quantization of linear prediction coefficient and method and device for inverse quantization
US11922960B2 (en) Method and device for quantizing linear predictive coefficient, and method and device for dequantizing same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R150 Certificate of patent or registration of utility model

Ref document number: 6542796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250