JP6366706B2 - スピーチ関連のスペクトル整形情報を使用したオーディオ信号符号化と復号化の概念 - Google Patents

スピーチ関連のスペクトル整形情報を使用したオーディオ信号符号化と復号化の概念 Download PDF

Info

Publication number
JP6366706B2
JP6366706B2 JP2016524523A JP2016524523A JP6366706B2 JP 6366706 B2 JP6366706 B2 JP 6366706B2 JP 2016524523 A JP2016524523 A JP 2016524523A JP 2016524523 A JP2016524523 A JP 2016524523A JP 6366706 B2 JP6366706 B2 JP 6366706B2
Authority
JP
Japan
Prior art keywords
signal
noise
gain parameter
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016524523A
Other languages
English (en)
Other versions
JP2016533528A (ja
Inventor
フッハス,ギローム
ムルトルス,マルクス
ラベリー,エマニュエル
シュネル,マルクス
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016533528A publication Critical patent/JP2016533528A/ja
Application granted granted Critical
Publication of JP6366706B2 publication Critical patent/JP6366706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07Line spectrum pair [LSP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0016Codebook for LPC parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、オーディオ信号、特にスピーチ関連オーディオ信号を符号化する符号器に関する。本発明はまた、符号化済みオーディオ信号を復号化する復号器及び方法に関する。本発明はさらに、符号化済みオーディオ信号と、低ビットレートでの先進的スピーチ無声符号化(advanced speech unvoiced coding)とに関する。
低ビットレートでのスピーチ符号化は、ビットレートを低減しながらスピーチ品質を維持するために、無声フレームについての特殊なハンドリングから利益を得ることができる。無声フレームは、周波数ドメインと時間ドメインの双方で整形されるランダム励振として知覚的にモデル化され得る。その波形及び励振がガウスホワイトノイズとほぼ同様に見えかつ聞こえるので、その波形符号化は合成的に生成されたホワイトノイズによって緩和されかつ置換され得る。次に、この符号化は、信号の時間及び周波数ドメイン形状を符号化することにより構成されるであろう。
図16は、パラメトリック無声符号化スキームの概略ブロック図を示す。合成フィルタ1202は、声道(vocal tract)をモデル化するよう構成され、LPC(線形予測符号化)パラメータによってパラメータ化されている。フィルタ関数A(z)を含む導出されたLPCフィルタから、LPC係数を重み付けすることによって知覚的重み付きフィルタが導出され得る。知覚的フィルタfw(n)は通常、以下の形式の伝達関数を有する。
[数1]
Figure 0006366706
ここで、wは1より小さい。ゲインパラメータgnは、知覚ドメインにおいて元のエネルギーと適合する合成済みエネルギーを得るために、次式に従って計算される。
[数2]
Figure 0006366706
ここで、sw(n)及びnw(n)は、知覚的フィルタによってフィルタリングされた入力信号と生成済みノイズとをそれぞれ示す。ゲインgnはサイズLsの各サブフレームについて計算される。例えば、1つのオーディオ信号が20msの長さを持つ複数のフレームへと分割されてもよい。各フレームは複数のサブフレームにサブ分割されてもよく、例えばそれぞれ5msの長さを有する4個のサブフレームに分割されてもよい。
符号励振線形予測(CELP)符号化スキームは、スピーチ通信に広く使用され、スピーチを符号化する非常に効率的な手法である。CELP符号化はパラメトリック符号化よりも自然なスピーチ品質を与えるが、より高いレートを必要とする。CELPはオーディオ信号を、LPC合成フィルタと呼ばれる線形予測フィルタへと搬送することにより合成する。そのLPC合成フィルタは、1/A(z)の形式の2つの励振の合計を含んでもよい。1つの励振は、適応型コードブック(adaptive codebook)と呼ばれる復号化された過去の励振からもたらされる。他方の寄与は、固定コードが蓄えられた革新的コードブック(innovative codebook)からもたらされる。しかしながら、低ビットレートでは、革新的コードブックは、スピーチの微細構造又は無声のノイズ状励振を効率的にモデル化するためには十分に蓄えられていない。したがって、知覚的品質が劣化し、特に無声フレームがクリスピーでかつ不自然に聞こえる。
低ビットレートでの符号化アーチファクトを緩和するために、異なる解決法がすでに提案されている。非特許文献1及び特許文献1では、革新的コードブックのコードが、現フレームのフォルマントに対応してスペクトル領域を強調することによって、適応的かつスペクトル的に整形される。このフォルマント位置及び形状はLPC係数から直接的に差し引かれることができ、その係数は符号器側及び復号器側の双方ですでに利用可能である。コードc(n)のフォルマント強調は、次式に従う簡易なフィルタリングによって実行される。
[数3]
Figure 0006366706
ここで、*は畳み込み演算子を示し、fe(n)は次式に示す伝達関数のフィルタのインパルス応答である。
[数4]
Figure 0006366706
ここで、w1及びw2は、伝達関数Ffe(z)のフォルマント構造を大きく又は小さく強調する2つの重み付け定数である。結果として得られる整形済み符号はスピーチ信号の特性を引き継ぎ、合成信号はより明瞭に聞こえる。
CELPでは、スペクトル傾斜を革新的コードブックの復号器へ付加することは、また通常のことである。それは、以下のフィルタを用いてコードをフィルタリングすることによって実行される。
[数5]
Figure 0006366706
ファクタβは通常は前フレームのボイシング(voicing)に関係しかつ左右される。即ち、変化する。ボイシングは適応型コードブックからのエネルギー寄与から推定され得る。前フレームが有声である場合には、現フレームもまた有声であろうと予想され、そのコードは低周波数においてより大きなエネルギーを有する筈である、すなわち負の傾斜を示すはずであると予想される。これと対照的に、付加されるスペクトル傾斜は無声フレームについては正であろうし、より大きなエネルギーが高周波にむかって分配されるであろう。
復号器の出力のスピーチ強調及びノイズ低減のためのスペクトル整形の使用は、通常の慣用である。後フィルタリングとしての所謂フォルマント強調は、適応型後フィルタリングからなり、その係数は復号器のLPCパラメータから導出される。その後フィルタは、上述のようにある種のCELPコーダにおいて革新的励振を整形するために用いられる後フィルタ(fe(n))と同様に見える。しかしながら、そのような場合、後フィルタリングは復号器プロセスの終端でのみ適用され、符号器側では適用されない。
従来のCELP(CELP=(コード)ブック励振線形予測)においては、周波数形状はLP(線形予測)合成フィルタによってモデル化される一方で、時間ドメイン形状は全てのサブフレームに対して送られた励振ゲインによって近似され得る。しかし、長期予測(LTP)と革新的コードブックとは、無声フレームのノイズ状励振のモデル化に通常は適していない。無声スピーチの良好な品質を達成するには、CELPは比較的高いビットレートを必要とする。
有声音又は無声音の特徴付けは、スピーチを複数の部分に区分化することに関連してもよく、かつそれら部分の各々をスピーチの異なるソースモデルへと関連付けさせてもよい。CELPスピーチ符号化スキームにおいて用いられているソースモデルは、声門を通過する空気流れをシミュレートしている適応型ハーモニック励振と、生成された空気流れによって励振された声道をモデル化している共鳴フィルタとに依存している。そのようなモデルは、有声状の音素については良好な結果を提供し得るが、声門によって生成されないスピーチ部分について、特に無声音素“s”や“f”のように声帯が振動していない場合には、不正確なモデリングをもたらす可能性がある。
一方で、パラメトリックスピーチコーダはまた、ボコーダとも呼ばれ、無声フレームについて単一のソースモデルを採用している。これは非常に低いビットレートを達成し得るが、遥かに高いレートでCELP符号化スキームによって配信される品質ほど自然ではない、所謂合成品質をもたらしてしまう。
よって、オーディオ信号を強化する必要性が生じる。
[2] 米国特許第5,444,816号,“Dynamic codebook for efficient speech coding based on algebraic codes”
[1] Recommendation ITU-T G.718 : "Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s" [3] Jelinek, M.; Salami, R., "Wideband Speech Coding Advances in VMR-WB Standard," Audio, Speech, and Language Processing, IEEE Transactions on , vol.15, no.4, pp.1167,1179, May 2007
本発明の目的は、低ビットレートで音声品質を向上させること、及び/又は良好な音声品質のためのビットレートを低減することである。
この目的は、独立請求項に従う符号器、復号器、符号化済みオーディオ信号、及びその方法によって達成される。
本発明者らは以下のような発見をした。即ち、第1の態様において、復号化されたオーディオ信号の品質であって、そのオーディオ信号の無声フレームに関連する品質は、あるスピーチ関連の整形情報を、信号の増幅についてのゲインパラメータ情報がそのスピーチ関連の整形情報から導出され得るような方法で、決定することにより、改善すなわち強化され得るという発見である。更に、あるスピーチ関連の整形情報は、復号化済み信号をスペクトル的に整形するために使用され得る。これにより、スピーチにとってより高い重要性を有する周波数領域、例えば4kHzを下回る低周波数は、それらの誤差がより少なくなるように処理され得る。
本発明者らは更に、以下のような発見もした。即ち、第2の態様において、合成信号のフレーム又はサブフレーム(部分)についての確定的コードブック(deterministic codebook)から第1励振信号を生成し、また、合成信号のフレーム又はサブフレーム(部分)についてのノイズ状信号から第2励振信号を生成し、更に第1励振信号と第2励振とを結合して結合済み励振信号を生成することで、合成信号の品質が改善すなわち強化され得る、という発見である。特に、背景ノイズを有するスピーチ信号を含むオーディオ信号の各部分にとって、サウンド品質はノイズ状信号を追加することにより改善され得る。第1励振信号を増幅するためのゲインパラメータは、任意選択的に符号器において決定されてもよく、そのパラメータに関連する情報は、符号化済みオーディオ信号と一緒に伝送されてもよい。
代替的又は追加的に、合成されたオーディオ信号の強化は、少なくとも部分的に、オーディオ信号を符号化する際のビットレートを低減するために活用されてもよい。
第1の態様に係る符号器は、オーディオ信号のあるフレームから予測係数と残差信号とを導出するよう構成された分析部を含む。その符号器は、予測係数からスピーチ関連のスペクトル整形情報を計算するよう構成されたフォルマント情報計算部を更に含む。その符号器は、無声残差信号とスペクトル整形情報とからゲインパラメータを計算するよう構成されたゲインパラメータ計算部と、有声信号フレームに関連する情報とゲインパラメータ又は量子化済みゲインパラメータと予測係数とに基づいて出力信号を形成するよう構成されたビットストリーム形成部と、を更に含む。
第1の態様に係る更なる実施形態は、符号化済みのオーディオ信号であって、そのオーディオ信号の有声フレーム及び無声フレームについての予測係数情報と、有声信号フレームに関連する更なる情報と、無声フレームについてのゲインパラメータ又は量子化済みゲインパラメータと、を含む符号化済みのオーディオ信号を提供する。これにより、スピーチ関連情報を効率的に伝送することが可能になり、符号化済みオーディオ信号を復号化して、高いオーディオ品質を有する合成された(復元された)信号を得ることが可能になる。
第1の態様に係る他の実施形態は、予測係数を含む受信信号を復号化する復号器を提供する。その復号器は、フォルマント情報計算部とノイズ生成部と整形器と合成部とを含む。フォルマント情報計算部は、予測係数からスピーチ関連のスペクトル整形情報を計算するよう構成されている。ノイズ生成部は、復号化ノイズ状信号を生成するよう構成されている。整形器は、スペクトル整形情報を使用して、復号化ノイズ状信号又はその増幅された表現のスペクトルを整形し、整形済み復号化ノイズ状信号を取得するよう構成されている。合成部は、整形済み復号化ノイズ状信号と予測係数とから合成信号を合成するよう構成されている。
第1の態様に係る別の実施形態は、オーディオ信号を符号化する方法と、受信オーディオ信号を復号化する方法と、コンピュータプログラムとに関する。
第2の態様に係る実施形態は、オーディオ信号を符号化する符号器を提供する。その符号器は、オーディオ信号の無声フレームから予測係数と残差信号とを導出するよう構成された分析部を含む。その符号器は、その無声フレームのために、確定的コードブックに関連する第1励振信号を定義する第1ゲインパラメータ情報を計算し、かつノイズ状信号に関連する第2励振信号を定義する第2ゲインパラメータ情報を計算するよう構成された、ゲインパラメータ計算部を更に含む。その符号器は、有声信号フレームに関連する情報と第1ゲインパラメータ情報と第2ゲインパラメータ情報とに基づいて、出力信号を形成するよう構成されたビットストリーム形成部を更に含む。
第2の態様に係る更なる実施形態は、予測係数に関連する情報を含む受信オーディオ信号を復号化する復号器を提供する。その復号器は、合成信号の一部分のために、確定的コードブックから第1励振信号を生成するよう構成された第1信号生成部を含む。その復号器は、合成信号の前記一部分のために、ノイズ状信号から第2励振信号を生成するよう構成された第2信号生成部を更に含む。その復号器は、結合部と合成部とを更に含み、結合部は、第1励振信号と第2励振信号とを結合して、合成信号の前記一部分のための結合済み励振信号を生成するよう構成されている。
第2の態様に係る他の実施形態は、予測係数に関連する情報と、確定的コードブックに関連する情報と、第1ゲインパラメータ及び第2ゲインパラメータに関連する情報と、有声及び無声の信号フレームに関連する情報とを含む、符号化済みオーディオ信号を提供する。
第2の態様に係る別の実施形態は、オーディオ信号を符号化する方法と、受信オーディオ信号を復号化する方法と、コンピュータプログラムとを提供する。
以下に、本願発明の好ましい実施形態について添付の図面を参照しながら説明する。
第1の態様の一実施形態に従う、オーディオ信号を符号化する符号器の概略ブロック図を示す。 第1の態様の一実施形態に従う、受信された入力信号を復号化する復号器の概略ブロック図を示す。 第1の態様の一実施形態に従う、オーディオ信号を符号化する更なる符号器の概略ブロック図を示す。 第1の態様の一実施形態に従う、図3とは異なるゲインパラメータ計算部を含む符号器の概略ブロック図を示す。 第2の態様の一実施形態に従う、第1ゲインパラメータ情報を計算しかつコード励振信号を整形するよう構成されたゲインパラメータ計算部の概略ブロック図を示す。 第2の態様の一実施形態に従う、オーディオ信号を符号化しかつ図5に示すゲインパラメータ計算部を含む符号器の概略ブロック図を示す。 第2の態様の一実施形態に従う、図5の実例とは異なりノイズ状信号を整形するよう構成された更なる整形器を含む、ゲインパラメータ計算部の概略ブロック図を示す。 第2の態様の一実施形態に従う、CELPのための無声符号化スキームの概略ブロック図を示す。 第1の態様の一実施形態に従う、パラメトリック無声符号化の概略ブロック図を示す。 第2の態様の一実施形態に従う、符号化済みオーディオ信号を復号化する復号器の概略ブロック図を示す。 第1の態様の一実施形態に従う、図2に示す整形器とは異なる構造を構成する整形器の概略ブロック図を示す。 第1の態様の一実施形態に従う、図2に示す整形器とは更に異なる構造を構成する更なる整形器の概略ブロック図を示す。 第1の態様の一実施形態に従う、オーディオ信号を符号化する方法の概略的フローチャートを示す。 第1の態様の一実施形態に従う、予測係数とゲインパラメータとを含む受信オーディオ信号を復号化する方法の概略的フローチャートを示す。 第2の態様の一実施形態に従う、オーディオ信号を符号化する方法の概略的フローチャートを示す。 第2の態様の一実施形態に従う、受信オーディオ信号を復号化する方法の概略的フローチャートを示す。 パラメトリック無声符号化スキームの概略ブロック図である。
同一若しくは同等の構成要素又は同一若しくは同等の機能を有する構成要素は、異なる図面の中に記載されている場合でも、以下の説明において、同一若しくは同等の参照符号を用いて示されている。
以下の説明において、本発明の実施形態をより完全に説明するために、多くの詳細が述べられる。しかしながら、本発明の実施形態がこれらの特別な詳細なしでも実施可能であることは、当業者には自明であろう。他の例において、公知の構造及び装置は、本発明の実施形態の不明瞭を防止する目的で、詳細よりもブロック図の形式で示されている。加えて、以下に記載する異なる実施形態の各特徴は、特に組合せ不可能の記載がない限り、互いに組み合せられてもよい。
以下の説明では、オーディオ信号の修正について説明する。オーディオ信号は、オーディオ信号の一部分を増幅及び/又は減衰させることで修正されてもよい。オーディオ信号の一部分とは、例えば時間ドメインにおけるオーディオ信号の1つの列であってもよく、及び/又は、周波数ドメインにおける1つのスペクトルであってもよい。周波数ドメインに関し、そのスペクトルは、周波数又は周波数領域の内部又は上に配置されたスペクトル値を増幅又は減衰されることで修正されてもよい。オーディオ信号のスペクトルの修正は、第1周波数又は周波数領域の増幅及び/又は減衰、及びそれに後続する第2周波数又は周波数領域の増幅及び/又は減衰などのように、一連の操作を含み得る。周波数ドメインにおける修正は、スペクトル値とゲイン値及び/又は減衰値との、例えば乗算、除算、合計その他の計算として表現されてもよい。修正は、例えばまずスペクトル値を第1乗算値と乗算し、次に第2乗算値と乗算するなど、順序的に実行されてもよい。まず第2乗算値と乗算し、次に第1乗算値と乗算することは、同一又は略同一の結果を受け取ることになり得る。また、第1乗算値と第2乗算値とがまず結合され、次に結合された乗算値としてスペクトル値に対して適用されてもよく、これも演算の同一又は匹敵する結果を受け取ることになり得る。このように、以下に記載するようなオーディオ信号のスペクトルを形成又は修正するよう構成された修正ステップは、記載された順序に限定されるものではなく、変更された順序で実行されることも可能であり、その一方で同一の結果及び/又は効果を受け取ることも可能である。
図1は、オーディオ信号102を符号化する符号器100の概略ブロック図を示す。符号器100は、オーディオ信号102に基づいてフレーム列112を生成するよう構成されたフレーム構築部110を含む。列112は複数のフレームを含み、オーディオ信号102の各フレームは時間ドメインにおけるある長さ(持続時間)を含む。例えば各フレームは、10ms,20ms又は30msの長さを含んでもよい。
符号器100は、オーディオ信号の1つのフレームから予測係数(LPC=線形予測係数)122と残差信号124とを導出するよう構成された分析部120を含む。フレーム構築部110又は分析部120は、オーディオ信号102の周波数ドメインにおける表現を決定するよう構成されている。代替的に、オーディオ信号102は、既に周波数ドメインにおける表現であってもよい。
予測係数122は、例えば線形予測係数であってもよい。代替的に、予測部120が非線形予測係数を決定するよう、非線形予測が適用されてもよい。線形予測の長所として、予測係数を決定するための演算量を低減できることが挙げられる。
符号器100は、残差信号124が無声オーディオフレームから決定されたか否かを判定するよう構成された、有声/無声の判定部130を含む。判定部130は、残差信号124が有声信号フレームから決定された場合にはその残差信号を有声フレームコーダ140へと供給し、残差信号124が無声オーディオフレームから決定された場合にはその残差信号をゲインパラメータ計算部150へと供給するよう構成されている。残差信号124が有声又は無声の信号フレームから決定されたことを判定するために、判定部130は、残差信号のサンプルの自己相関など、種々の手法を用いてもよい。信号フレームが有声であったか無声であったかを判定するための方法は、例えばITU(国際電気通信連合)−T(電気通信標準化部門)の標準G.718で提供されている。低周波数に配分された多量のエネルギーは、信号の有声部分を示し得る。代替的に、無声信号は、高周波数に多量のエネルギーが存在する結果となり得る。
符号器100は、予測係数122からスピーチ関連のスペクトル整形情報を計算するよう構成されたフォルマント情報計算部160を含む。
スピーチ関連のスペクトル整形情報は、例えば周囲のフレームよりも多量のエネルギーを含む処理済みオーディオフレームの周波数又は周波数領域を決定することにより、フォルマント情報を考慮してもよい。スペクトル整形情報は、スピーチの大きさスペクトルを、フォルマント即ちこぶ部と非フォルマント即ち谷部との周波数領域へと区分できる。スペクトルのフォルマント領域は、例えば予測係数122のイミタンス・スペクトル周波数(ISF)又は線スペクトル周波数(LSF)表現を使用することで導出できる。実際、ISF又はLSFは、予測係数122を使用する合成フィルタが共振する周波数を表現している。
スピーチ関連のスペクトル整形情報162と無声残差とは、ゲインパラメータ計算部150へと出力され、この計算部150は無声残差信号とスペクトル整形情報162とからゲインパラメータgnを計算するよう構成されている。ゲインパラメータgnは、1つ又は複数のスカラー値であってもよい。即ち、ゲインパラメータは、増幅又は減衰されるべき信号のスペクトルの複数の周波数領域内における、スペクトル値の増幅又は減衰に関連する複数の値を含んでもよい。復号器は、受信された符号化済みオーディオ信号の複数の部分が、復号化の過程において、ゲインパラメータに基づいて増幅又は減衰されるように、受信された符号化済みオーディオ信号の情報に対してゲインパラメータgnを適用するよう構成されてもよい。ゲインパラメータ計算部150は、ゲインパラメータgnを、連続的な値をもたらす1つ又は複数の数学的表現又は決定規則により決定するよう構成されてもよい。例えばプロセッサを用いてデジタル的に実行される演算は、限られたビット数を用いてある変数をもたらす結果を表現するものであり、量子化されたゲイン
Figure 0006366706
をもたらしてもよい。代替的に、ある量子化されたゲイン情報が得られるように、量子化スキームに従ってその結果が更に量子化されてもよい。従って、符号器100は量子化部170を含んでもよい。その量子化部170は、決定されたゲインパラメータgnを、符号器100のデジタル演算によってサポートされた最も近いデジタル値へと量子化するよう構成されてもよい。代替的に、量子化部170は、既にデジタル化され従って量子化済みのゲインファクタgnに対してある量子化関数(線形又は非線形)を適用するよう構成されてもよい。非線形の量子化関数は、例えば、低い音圧レベルにおいては高い感度を示し、高い音圧レベルにおいてはより低い感度を示す人間の聴覚の対数依存性を考慮に入れてもよい。
符号器100は、予測係数122から予測係数関連情報182を導出するよう構成された、情報導出ユニット180を更に含んでもよい。革新的コードブックを励振するために使用される線形予測係数などのような予測係数は、歪み又はエラーに対して低いロバスト性を有する。従って、例えば、線形予測係数をイミタンス・スペクトル周波数(ISF)へと変換し、及び/又は線スペクトルペア(LSP)を導出し、それに関連する情報を符号化済みオーディオ信号と一緒に伝送することが知られている。LSP及び/又はISF情報は、伝送媒体内における歪み、例えばエラーや計算エラーに対するより高いロバスト性を有する。情報導出ユニット180は、LSF及び/又はISF情報に関し、量子化された情報を提供するよう構成された量子化部を更に含んでもよい。
代替的に、情報導出ユニットは、予測係数122を転送するよう構成されてもよい。代替的に、符号器100は、情報導出ユニット180なしで実現されてもよい。代替的に、量子化部は、ゲインパラメータ計算部150又はビットストリーム形成部190の一機能ブロックであってもよく、それにより、ビットストリーム形成部190がゲインパラメータgnを受け取り、かつそれに基づいて量子化済みゲイン
Figure 0006366706
を導出してもよい。代替的に、ゲインパラメータgnが既に量子化されている場合には、符号器100は量子化部170を持たずに実現されてもよい。
符号器100は、有声信号、即ち符号化済みオーディオ信号の各有声フレームにそれぞれ関連し有声フレームコーダ140によって提供される有声情報142を受け取り、量子化済みゲイン
Figure 0006366706
と予測係数関連情報182とを受け取り、それらに基づいて出力信号192を形成するよう構成された、ビットストリーム形成部190を含む。
符号器100は、固定又は携帯電話などの音声符号化装置や、コンピュータ、タブレットPCなどのようなオーディオ信号の伝送用のマイクロホンを含む装置の一部であってもよい。出力信号192又はそこから導出された信号は、例えば移動通信(無線)を介し、又はネットワーク信号などの有線通信を介して伝送されてもよい。
この符号器100の利点として、出力信号192が、量子化済みゲイン
Figure 0006366706
に変換されたスペクトル整形情報から導出された情報を含むことが挙げられる。これにより、出力信号192の復号化は、スピーチに関連する更なる情報を達成又は獲得することが可能になり、従って、取得され復号化された信号がスピーチの品質の知覚レベルに関して高い品質を有するように、その信号を復号化することが可能になる。
図2は、受信された入力信号202を復号化する復号器200の概略ブロック図を示す。受信された入力信号202は、例えば符号器100により供給された出力信号192に対応してもよく、その出力信号192は、高レベルレイヤ符号器によって符号化され、ある媒体を介して伝送され、高レイヤで復号化する受信装置により受信されて、復号器200への入力信号202となったものであり得る。
復号器200は、入力信号202を受信するビットストリーム・デフォーマ(デマルチプレクサ、DE−MUX)を含む。ビットストリーム・デフォーマ210は、予測係数122と、量子化済みゲイン
Figure 0006366706
と、有声情報142とを提供するよう構成されている。予測係数122を取得するために、ビットストリーム・デフォーマは、情報導出ユニット180と比較したときに逆の操作を実行する、逆情報導出ユニットを含んでもよい。代替的に、復号器200は、情報導出ユニット180とは逆の操作を実行するよう構成された、図示されない逆情報導出ユニットを含み得る。換言すれば、予測係数が復号化され、即ち復元される。
復号器200は、フォルマント情報計算部160について上述したように、予測係数122からスピーチ関連のスペクトル整形情報を計算するよう構成された、フォルマント情報計算部220を含む。フォルマント情報計算部220は、スピーチ関連のスペクトル整形情報222を提供するよう構成されている。代替的に、入力信号202がスピーチ関連のスペクトル整形情報222を含んでいてもよいが、スピーチ関連のスペクトル整形情報222の代わりに、予測係数又はそれに関連する情報、例えば量子化済みLSF及び/又はISFなどを伝送することにより、入力信号202のビットレートをより低くすることが可能となる。
復号器200は、ノイズ信号と単に称され得るノイズ状信号を生成するよう構成されたランダムノイズ生成部240を含む。ランダムノイズ生成部240は、例えばノイズ信号を測定し記憶するときに取得されたノイズ信号を再生するよう構成されてもよい。ノイズ信号は、例えば抵抗器又は他の電気的部品における熱ノイズを生成し、記録されたデータをメモリに格納することで、測定されかつ記録されてもよい。ランダムノイズ生成部240は、ノイズ(状)信号n(n)を提供するよう構成されている。
復号器200は、整形処理部252と可変増幅部254とを含む整形器250を含む。整形器250は、ノイズ信号n(n)のスペクトルをスペクトル的に整形するよう構成されている。整形処理部252は、スピーチ関連のスペクトル整形情報を受信し、更に、例えばノイズ信号n(n)のスペクトルのスペクトル値にスペクトル整形情報の値を乗算することで、ノイズ信号n(n)のスペクトルを整形するよう構成されている。この操作はまた、時間ドメインにおいて、ノイズ信号n(n)をスペクトル整形情報によって与えられたフィルタを用いて畳み込むことによっても実行され得る。整形処理部252は、整形済みノイズ信号256とそのスペクトルをそれぞれ可変増幅部254へと提供するよう構成されている。可変増幅部254は、ゲインパラメータgnを受信し、かつ整形済みノイズ信号256のスペクトルを増幅して、増幅された整形済みノイズ信号258を取得するよう構成されている。増幅部は、整形済みノイズ信号256のスペクトル値にゲインパラメータgnの値を乗算するよう構成されてもよい。上述したように、整形器250は、可変増幅部254がノイズ信号n(n)を受信して、増幅されたノイズ信号を整形処理部252へと供給し、整形処理部252が増幅されたノイズ信号を整形するように、構成されてもよい。代替的に、整形処理部252は、スピーチ関連のスペクトル整形情報222とゲインパラメータgnとを受信し、ノイズ信号n(n)に対して両方の情報を次から次へと順序的に適用してもよく、又は、例えば乗算若しくは他の計算法により両方の情報を結合して、結合済みパラメータをノイズ信号n(n)に対して適用してもよい。
スピーチ関連のスペクトル整形情報によって整形されたノイズ状信号n(n)又はその増幅されたバージョンにより、復号化されたオーディオ信号282が、より良好なスピーチ関連の(自然な)音声品質を含むようになり得る。これにより、高品質のオーディオ信号を得ることを可能にし、及び/又は、符号器側においてはビットレートを低減し、他方で復号器においては低減された範囲で出力信号282を維持又は強化することを可能にする。
復号器200は、予測係数122と増幅された整形済みノイズ信号258とを受信し、増幅された整形済みノイズ信号258と予測係数122とから合成信号262を合成するよう構成された合成部260を含む。合成部260はフィルタを含んでもよく、そのフィルタを予測係数に適応させるよう構成されてもよい。その合成部は、フィルタを用いて、増幅された整形済みノイズ状信号258をフィルタリングするよう構成されてもよい。そのフィルタはソフトウエア又はハードウエア構造として構成されてもよく、無限インパルス応答(IIR)又は有限インパルス応答(FIR)構造を含んでもよい。
合成信号は復号器200の出力信号282の無声の復号化済みフレームに対応している。出力信号282は、連続的なオーディオ信号に変換され得るフレーム列を含む。
ビットストリーム・デフォーマ210は、入力信号202から有声情報信号142を分離しかつ供給するよう構成されている。復号器200は、その有声情報(信号)142に基づいて有声フレームを提供するよう構成された、有声フレームデコーダ270を含む。有声フレームデコーダ(有声フレーム処理部)は、有声情報(信号)142に基づいて有声信号272を決定するよう構成されている。有声信号272は、復号器100の有声オーディオフレーム及び/又は有声残差に対応してもよい。
復号器200は、無声の復号化済みフレーム262と有声フレーム272とを結合して、復号化済みオーディオ信号282を取得するよう構成された結合部280を含む。
代替的に、整形器250は増幅部なしで実現されてもよく、その場合、整形器250はノイズ状信号n(n)のスペクトルを整形するよう構成され、取得された信号を更に増幅することはない。これにより、入力信号222によって伝送される情報量を低減でき、従って、入力信号202の列の低減されたビットレート又はより短い持続時間が可能となる。代替的に又は加えて、復号器200は、無声フレームだけを復号化するよう構成されてもよいし、ノイズ信号n(n)をスペクトル的に整形しかつ有声及び無声フレームについて合成信号262を合成することで、有声及び無声フレームの両方を処理するよう構成されてもよい。この場合、有声フレームデコーダ270なしで、及び/又は結合部280なしで復号器200を構成することができ、その結果、復号器200の複雑性が低減されることになる。
出力信号192及び/又は入力信号202は、予測係数122に関連する情報、処理されたフレームが有声か無声かを示すフラッグなどの有声フレームと無声フレームとについての情報、及び、符号化済み有声信号などの有声信号フレームに関連する更なる情報を含む。出力信号192及び/又は入力信号202は、無声フレームのためのゲインパラメータ又は量子化済みゲインパラメータを更に含み、その無声フレームが予測係数122とゲインパラメータgn
Figure 0006366706
とにそれぞれ基づいて復号化されるよう構成されてもよい。
図3はオーディオ信号102を符号化する符号器300の概略ブロック図を示す。符号器300は、フレーム構築部110と、フレーム構築部110により出力されたフレーム列112に対してフィルタA(z)を適用することにより、線形予測係数322及び残差信号324を決定するよう構成された予測部320とを含む。符号器300は、判定部130と、有声信号情報142を取得するための有声フレームコーダ140とを含む。符号器300は、フォルマント情報計算部160と、ゲインパラメータ計算部350とを更に含む。
ゲインパラメータ計算部350は、上述したようにゲインパラメータgnを提供するよう構成されている。ゲインパラメータ計算部350は、符号化ノイズ状信号350bを生成するランダムノイズ生成部350aを含む。ゲインパラメータ計算部350は、整形処理部350dと可変増幅部350eとを有する整形器350cを更に含む。整形処理部350dは、スピーチ関連の整形情報162とノイズ状信号350bとを受信し、整形器250について上述した通り、スピーチ関連のスペクトル整形情報162を用いてノイズ状信号350bのスペクトルを整形するよう構成されている。可変増幅部350eは、整形済みノイズ状信号350fを、制御部350kから受信された一時的ゲインパラメータであるゲインパラメータgn(temp)を用いて増幅するよう構成されている。可変増幅部350eは更に、増幅されたノイズ状信号258について上述した通り、増幅された整形済みノイズ状信号350gを提供するよう構成されている。整形器250について上述したように、ノイズ状信号を整形しかつ増幅する順序は、図3とは異なるように結合され又は変更されてもよい。
ゲインパラメータ計算部350は、判定部130により提供された無声残差と、増幅された整形済みノイズ状信号350gと、を比較するよう構成された比較部350hを含む。比較部は、無声残差と増幅された整形済みノイズ状信号350gとの類似性の尺度を得るよう構成されている。例えば、比較部350hは、両信号の相互相関を決定するよう構成されてもよい。代替的又は追加的に、比較部350hは、幾つか又は全ての周波数binにおける両信号のスペクトル値を比較するよう構成されてもよい。比較部350hは、比較結果350iを取得するよう更に構成されている。
ゲインパラメータ計算部350は、比較結果350iに基づいてゲインパラメータgn(temp)を決定するよう構成された制御部350kを含む。例えば、比較結果350iが、増幅された整形済みノイズ状信号が無声残差の対応する振幅又は大きさよりも低い振幅又は大きさを含む、と示した場合、制御部は、増幅されたノイズ状信号350gの幾つか又は全ての周波数についてのゲインパラメータgn(temp)の一つ以上の値を増大させるよう構成されてもよい。代替的又は追加的に、比較結果350iが、増幅された整形済みノイズ状信号の大きさ又は振幅が高すぎる、即ち増幅された整形済みノイズ状信号のラウドネスが大き過ぎる、と示した場合、制御部は、ゲインパラメータgn(temp)の一つ以上の値を減少させるよう構成されてもよい。ランダムノイズ生成部350a、整形器350c、比較部350h及び制御部350kは、ゲインパラメータgn(temp)を決定するために閉ループ最適化を実施するよう構成されてもよい。無声残差と増幅された整形済みノイズ状信号350gとの類似性の尺度であって、例えば両方の信号の差分として表現された尺度により、その類似性がある閾値を超えると示された場合、制御部350kは、決定されたゲインパラメータgnを提供するよう構成されている。量子化部370は、このゲインパラメータgnを量子化して量子化済みゲインパラメータ
Figure 0006366706
を得るよう構成されている。
ランダムノイズ生成部350aは、ガウス状ノイズを供給する構成されてもよい。ランダムノイズ生成部350aは、−1などの下限(最小値)と+1などの上限(最大値)との間でn個の均一な分布でランダム発生器を作動させる(呼び出す)よう構成されてもよい。例えば、ランダムノイズ生成部350は、ランダム発生器を3回呼び出すよう構成される。デジタル的に構成されているランダムノイズ生成部は疑似ランダム値を出力してもよく、複数又は多数の疑似ランダム関数の加算又は重畳により、十分にランダム分布された関数を得ることが可能になり得る。この手順は中心極限定理(Central Limit Theorem)に従うものである。ランダムノイズ生成部350aは、以下の疑似コードで示されるように、少なくとも2回、3回又はそれ以上、ランダム発生器を呼び出すよう構成されてもよい。
[数6]
Figure 0006366706
代替的に、ランダムノイズ生成部350aは、ランダムノイズ生成部240について説明したのと同様に、ノイズ状信号をメモリから生成してもよい。代替的に、ランダムノイズ生成部350aは、あるコードを実行するか、又は熱ノイズのような物理的効果を測定することによって、ノイズ信号を生成するための、例えば電気的抵抗又は他の手段を含んでもよい。
整形処理部350dは、上述したようにfe(n)を用いてノイズ状信号350bをフィルタリングすることで、ノイズ状信号350bに対してフォルマント的構造と傾きとを付加するよう構成されてもよい。その傾きは、次式に基づく伝達関数を含むフィルタt(n)を用いて信号をフィルタリングすることで、付加されてもよい。
[数7]
Figure 0006366706
ここで、ファクタβは前サブフレームのボイシングから推定されてもよい。
[数8]
Figure 0006366706
ここで、ACは適応型コードブックの省略形であり、ICは革新的コードブックの省略形である。
[数9]
Figure 0006366706
ゲインパラメータgnと量子化済みゲインパラメータ
Figure 0006366706
とは、符号化済み信号と、復号器200のような復号器で復号化された対応する復号化済み信号と、の間の誤差又はミスマッチを低減し得る、追加的な情報の供給をそれぞれ可能にするものである。
次式の判定規則について、
[数10]
Figure 0006366706
パラメータw1は、最大で1.0である正の非ゼロ値を含んでもよく、好ましくは少なくとも0.7でかつ最大で0.8であり、更に好ましくは0.75の値を含んでもよい。パラメータw2は、最大で1.0である正の非ゼロのスカラー値を含んでもよく、好ましくは少なくとも0.8でかつ最大で0.93であり、更に好ましくは0.9の値を含んでもよい。パラメータw2は、好ましくはw1よりも大きい。
図4は、符号器400の概略ブロック図を示す。符号器400は、符号器100と300とに関して上述したように、有声信号情報142を提供するよう構成されている。符号器300と比較すると、符号器400は異なるゲインパラメータ計算部350’を含む。比較部350h’は、オーディオフレーム112と合成信号350l’とを比較して、比較結果350i’を得るよう構成されている。ゲインパラメータ計算部350’は、増幅された整形済みノイズ状信号350gと予測係数122とに基づいて、合成信号350l’を合成するよう構成された合成部350m’を含む。
基本的に、ゲインパラメータ計算部350’は、合成信号350l’を合成することで、少なくとも部分的に復号器を構成している。無声残差と増幅された整形済みノイズ状信号とを比較するよう構成された比較部350hを含む符号器300と比べた場合、符号器400は、(おそらく完全な)オーディオフレームと合成信号とを比較するよう構成された比較部350h’を含む。信号のフレーム及びそれらのパラメータを含むものが互いに比較されることから、より高い精度が達成され得る。残差信号及び増幅された整形済みノイズ状情報と比べて、オーディオフレーム122及び合成信号350l’はより高度な複雑さを含み得るため、両方の信号を比較することはより複雑となり、高い精度はより大きな演算量を必要とする可能性がある。加えて、合成部350m’による合成の計算には、演算量が要求される。
ゲインパラメータ計算部350’は、符号化ゲインパラメータgn又はその量子化済みバージョン
Figure 0006366706
を含む符号化情報を記録するよう構成されたメモリ350n’を含む。これにより、制御部350kは、後続のオーディオフレームを処理するときに、記憶されたゲイン値を取得することが可能になる。例えば、制御部は、第1の値(第1セットの値)、即ち、前のオーディオフレームについてのgnの値に基づいた又は等しいゲインファクタgn(temp)の第1の実例を決定するよう構成されてもよい。
図5は、第2の態様の一実施形態に従う、第1ゲインパラメータ情報gnを計算するよう構成されたゲインパラメータ計算部550の概略ブロック図を示す。ゲインパラメータ計算部550は、励振信号c(n)を生成するよう構成された信号生成部550aを含む。信号生成部550aは、信号c(n)を生成するために確定的コードブックとその中のインデックスとを含む。即ち、予測係数122などの入力情報は、確定的な励振信号c(n)をもたらす。信号生成部550aは、CELP符号化スキームの革新的コードブックに従って励振信号c(n)を生成するよう構成されてもよい。そのコードブックは、先行する較正ステップにおいて測定されたスピーチデータに従って決定され又はトレーニングされてもよい。ゲインパラメータ計算部は、コード信号c(n)のためのスピーチ関連整形情報550cに基づいて、コード信号c(n)のスペクトルを整形するよう構成された整形器550bを含む。スピーチ関連整形情報550cは、フォルマント情報計算部160から取得されてもよい。整形器550bは、コード信号を整形するための整形情報550cを受信するよう構成された整形処理部550dを含む。整形器550bは、整形済みコード信号c(n)を増幅し、増幅された整形済みコード信号550fを取得するよう構成された、可変増幅部550eを更に含む。このように、コードゲインパラメータは、確定的コードブックに関連するコード信号c(n)を定義するよう構成されている。
ゲインパラメータ計算部550は、ノイズ(状の)信号n(n)を提供するよう構成されたノイズ生成部350aと、ノイズゲインパラメータgnに基づいてノイズ信号n(n)を増幅して増幅されたノイズ信号550hを取得するよう構成された増幅部550gと、を含む。ゲインパラメータ計算部は、増幅された整形済みコード信号550fと増幅されたノイズ信号550hとを結合して結合済み励振信号550kを得るよう構成された、結合部550iを含む。結合部550iは、例えば、増幅された整形済みコード信号550fと増幅されたノイズ信号550hとのスペクトル値をスペクトル的に加算するか又は乗算するよう構成されてもよい。代替的に、結合部550iは両方の信号550f及び550hを畳み込むよう構成されてもよい。
整形器350cに関して上述したように、整形器550bは、コード信号c(n)がまず可変増幅部550eにより増幅され、その後で整形処理部550dにより整形されるように構成されてもよい。代替的に、コード信号c(n)のための整形情報550cがコードゲインパラメータ情報gcと結合され、その結合情報がコード信号c(n)に対して適用されてもよい。
ゲインパラメータ計算部550は、結合済み励振信号550kと有声/無声判定部130によって取得された無声残差信号とを比較するよう構成された、比較部550lを含む。比較部550lは、比較部350hであってもよく、比較結果、即ち、結合済み励振信号550kと無声残差信号との類似性についての尺度550mを提供するよう構成されている。コードゲイン計算部は、コードゲインパラメータ情報gc及びノイズゲインパラメータ情報gnを制御するよう構成された制御部550nを含む。コードゲインパラメータgc及びノイズゲインパラメータ情報gnは、ノイズ信号n(n)もしくはそこから導出された信号の周波数領域に関係するか、又は、コード信号c(n)もしくはそこから導出された信号のスペクトルに関係し得る、複数又は多数のスカラー値又は虚数値を含んでもよい。
代替的に、ゲインパラメータ計算部550は、整形処理部550dを持たずに構成されてもよい。代替的に、整形処理部550dは、ノイズ信号n(n)を整形し、整形済みノイズ信号を可変増幅部550gへと提供するよう構成されてもよい。
このように、両方のゲインパラメータ情報gc及びgnを制御することで、結合済み励振信号550kと無声残差との類似性が高くなり、その結果、コードゲインパラメータ情報gc及びノイズゲインパラメータ情報gnに関する情報を受信する復号器が、良好な音声品質を有するオーディオ信号を再生できるようになる。制御部550nは、コードゲインパラメータ情報gc及びノイズゲインパラメータ情報gnに関する情報を含む出力信号550oを提供するよう構成されている。例えば、信号550oは、両方のゲインパラメータ情報gn及びgcを、スカラー値もしくは量子化済み値として、又はそれらから導出された値、例えば符号化済み値として含んでもよい。
図6は、オーディオ信号102を符号化し、図5に記載のゲインパラメータ計算部550を含む符号器600の概略ブロック図を示す。符号器600は、例えば符号器100又は300を修正することで取得し得る。符号器600は、第1量子化部170−1と第2量子化部170−2とを含む。第1量子化部170−1は、ゲインパラメータ情報gcを量子化して、量子化済みゲインパラメータ情報
Figure 0006366706
を取得するよう構成されている。第2量子化部170−2は、ノイズゲインパラメータ情報gnを量子化して、量子化済みノイズゲインパラメータ情報
Figure 0006366706
を取得するよう構成されている。ビットストリーム形成部690は、有声信号情報142と、LPC関連情報122と、両方の量子化済みゲインパラメータ情報
Figure 0006366706
と、を含む出力信号692を生成するよう構成されている。出力信号192と比べて、出力信号692は、量子化済みゲインパラメータ情報
Figure 0006366706
により拡張又はアップグレードされている。代替的に、量子化部170−1及び/又は170−2は、ゲインパラメータ計算部550の一部であってもよい。更に、量子化部170−1及び/又は170−2の一方が両方の量子化済みゲインパラメータ
Figure 0006366706
を取得するよう構成されてもよい。
代替的に、符号器600は、コードゲインパラメータ情報gc及びノイズゲインパラメータ情報gnを量子化して量子化済みパラメータ情報
Figure 0006366706
を取得するよう構成された、1つの量子化部を含むよう構成されてもよい。両方のゲインパラメータ情報は、例えば順次的に量子化されてもよい。
フォルマント情報計算部160は、予測係数122からスピーチ関連のスペクトル整形情報550cを計算するよう構成されている。
図7は、ゲインパラメータ計算部550と比べて修正された、ゲインパラメータ計算部550’の概略ブロック図を示す。ゲインパラメータ計算部550’は、増幅部550gの代わりに、図3に記載の整形器350cを含む。整形器350cは、増幅された整形済みノイズ信号350gを提供するよう構成されている。結合部550iは、増幅された整形済みコード信号550fと増幅された整形済みノイズ信号350gとを結合して、結合済み励振信号550k’を提供するよう構成されている。フォルマント情報計算部160は、両方のスピーチ関連フォルマント情報162及び550cを提供するよう構成されている。スピーチ関連フォルマント情報550c及び162は同一であってもよい。代替的に、双方の情報550c及び162は互いに異なっていてもよい。これにより、コード生成された信号c(n)とn(n)との個別のモデリング、即ち整形が可能になる。
制御部550nは、処理済みオーディオフレームの各サブフレームについて、ゲインパラメータ情報gcとgnとを決定するよう構成されてもよい。制御部は、以下のような詳細に基づいて、ゲインパラメータ情報gcとgnとを決定、即ち計算するよう構成されてもよい。
まず、LPC分析の期間中に使用可能なオリジナル短時間予測残差信号について、即ち無声残差信号について、サブフレームの平均エネルギーが計算されてもよい。そのエネルギーは、現フレームの4個のサブフレームにわたり、次式により対数ドメインにおいて平均される。
[数11]
Figure 0006366706
ここで、Lsfはサンプル内のサブフレームのサイズである。この場合、フレームは4個のサブフレームへと分割される。平均化されたエネルギーは、次に事前にトレーニングされた確率論的コードブック(stochastic codebook)を使用して、例えば3、4又は5のような幾つかのビットを用いて符号化されてもよい。確率論的コードブックは、例えば3ビットの数について8のサイズ、4ビットの数について16のサイズ、又は、5ビットの数について32のサイズなど、ビットの数により表され得る幾つかの異なる値に従って、幾つかのエントリー(サイズ)を含み得る。量子化済みゲイン
Figure 0006366706
が、そのコードブックの選択された符号語から決定されてもよい。各サブフレームについて、2個のゲイン情報gcとgnが計算される。コードgcのゲインは、例えば次式に基づいて計算されてもよい。
[数12]
Figure 0006366706
ここで、cw(n)は、例えば信号生成550aに含まれ、知覚的重み付きフィルタによりフィルタリングされた固定コードブックから選択された固定の励振である。表示xw(n)は、CELP符号器内で計算された従来型の知覚的目標励振に対応する。コードゲイン情報gcは次に、正規化されたゲインgncを得るために、次式に基づいて正規化されてもよい。
[数13]
Figure 0006366706
正規化されたゲインgncは、例えば量子化部170−1により量子化されてもよい。量子化は、線形又は対数スケールに従って実行されてもよい。対数スケールは、4、5又はそれ以上のビットのサイズのスケールを含んでもよい。例えば、対数スケールは、5ビットのサイズを含む。量子化は次式に基づいて実行されてもよい。
[数14]
Figure 0006366706
ここで、対数スケールが5ビットを含む場合、Indexncは0〜31の間に制限されてもよい。Indexncは量子化済みゲインパラメータ情報であってもよい。コード
Figure 0006366706
の量子化済みゲインは次に、次式に基づいて表現され得る。
[数15]
Figure 0006366706
コードのゲインが、次式の平均二乗根誤差又は平均二乗誤差(MSE)を最小化する目的で計算されてもよい。
[数16]
Figure 0006366706
ここで、Lsfは予測係数122から決定された線スペクトル周波数に対応する。
ノイズゲインパラメータ情報が、次式に基づいて誤差を最小化することにより、エネルギーミスマッチに関して決定されてもよい。
[数17]
Figure 0006366706
変数kは、予測係数に依存して又は基づいて変化し得る減衰ファクタであり、ここで予測係数は、スピーチが少量の背景ノイズを含むか又は更には全く背景ノイズを含まない(クリーンなスピーチ)かの判定を可能にする。代替的に、オーディオ信号又はそのフレームが無声フレームと非無声フレームとの間の変化を含む場合には、その信号はノイズが多いスピーチとして判定されてもよい。変数kは、クリーンなスピーチに対しては、少なくとも0.85の値、少なくとも0.95の値、又は値1にさえも設定することができ、その場合、エネルギーの高いダイナミックが知覚的に重要となる。変数kは、ノイズの多いスピーチに対しては、少なくとも0.6かつ最大で0.9の値、好ましくは少なくとも0.7かつ最大で0.85の値、更に好ましくは0.8の値に設定することができ、その場合、無声フレームと非無声フレームとの間の出力エネルギーにおける変動を防止するために、ノイズ励振はより控えめとされる。これらの量子化済みゲイン候補
Figure 0006366706
の各々のために、誤差(エネルギーミスマッチ)が計算されてもよい。4個のサブフレームへ分割された1つのフレームは、4個の量子化済みゲイン候補
Figure 0006366706
がもたらしてもよい。誤差を最小にする1つの候補が制御部によって出力されてもよい。ノイズの量子化済みゲイン(ノイズゲインパラメータ情報)が、次式に基づいて計算され得る。
[数18]
Figure 0006366706
ここで、Indexnは4個の候補により0と3の間に限定される。励振信号550kや550k’などの結果的な結合済み励振信号は、次式に基づいて取得され得る。
[数19]
Figure 0006366706
ここで、e(n)は結合済み励振信号550k又は550k’である。
ゲインパラメータ計算部550若しくは550’を含む符号器600又は修正された符号器600は、CELP符号化スキームに基づいて無声符号化を可能にし得る。CELP符号化スキームは、無声フレームを取り扱う以下のような例示的な詳細に基づいて修正されてもよい。
・無声フレーム内には周期性が殆どなく、結果として得られる符号化ゲインが非常に低いため、LTPパラメータは伝送されない。適応型励振はゼロに設定される。
・節約ビットが固定コードブックへと報告される。同じビットレートに対してより多くのパルスが符号化されることができ、従って品質が改善され得る。
・低いレートにおいて、即ち6〜12kbpsのレートについて、無声フレームのノイズ状目標励振を適切にモデル化するために、パルス符号化は十分でない。最終的な励振を構築するために、固定コードブックに対してガウスコードブックが付加される。
図8は、第2の態様に従う、CELPのための無声符号化スキームの概略ブロック図を示す。修正された制御部810は、比較部550lと制御部550nとの両方の機能を含む。制御部810は、合成による分析に基づいて、即ち、合成信号と、s(n)として示され例えば無声残差である入力信号と、を比較することにより、コードゲインパラメータ情報gcとノイズゲインパラメータ情報gnとを決定するよう構成されている。制御部810は、信号生成部(革新的励振)550aのための励振を生成し、かつゲインパラメータ情報gc及びgnを提供するよう構成された、合成による分析のフィルタ820を含む。合成による分析のブロック810は、提供されたパラメータと情報とに従ってフィルタを適応させることで内部的に合成された信号と、結合済み励振信号550k’とを比較するよう構成されている。
制御部810は、分析部320が予測係数122を取得する場合について上述したように予測係数を取得するよう構成された、分析ブロック830を含む。制御部は、結合済み励振信号550kをフィルタリングする合成フィルタ840を更に含み、合成フィルタ840はフィルタ係数122により適応される。更なる比較部が、入力信号s(n)と、例えば復号化された(復元された)オーディオ信号である合成信号
Figure 0006366706
と、を比較するよう構成されてもよい。更に、メモリ350nが配置されており、制御部810は予測された信号及び/又は予測された係数をメモリ内に記憶するよう構成されている。信号生成部850は、メモリ350n内に記憶された予測に基づいて、適応的型励振信号を提供するよう構成されており、それにより以前の結合済み励振信号に基づいて適応型励振を強化することが可能になる。
図9は第1の態様に従うパラメトリック無声符号化の概略ブロック図を示す。増幅された整形済みノイズ信号は、決定されたフィルタ係数(予測係数)122によって適応された合成フィルタ910の入力信号であってもよい。合成フィルタにより出力される合成信号912は、例えばオーディオ信号であり得る入力信号s(n)と比較されてもよい。合成信号912は、入力信号s(n)と比べて誤差を含む。ゲインパラメータ計算部150又は350と対応し得る分析ブロック920によりノイズゲインパラメータgnを修正することで、誤差は低減又は最小化され得る。増幅された整形済みノイズ信号350fをメモリ350n内に記憶することで、適応型コードブックの更新が実行されてもよい。その結果、有声オーディオフレームの処理もまた、無声オーディオフレームの改善された符号化に基づいて強化され得る。
図10は、例えば符号化済みオーディオ信号692である符号化済みオーディオ信号を復号化する、復号器1000の概略ブロック図を示す。復号器1000は、信号生成部1010と、ノイズ状信号1022を生成するよう構成されたノイズ生成部1020と、を含む。受信信号1002はLPC関連情報を含み、ビットストリーム・デフォーマ1040は、予測係数関連情報に基づいて予測係数122を提供するよう構成されている。例えば、復号器1040は予測係数122を抽出するよう構成されている。信号生成部1010は、信号生成部550aに関して上述したように、コード励振された励振信号1012を生成するよう構成されている。復号器1000の結合部1050は、結合部550に関して上述したように、コード励振された信号1012とノイズ状信号1022とを結合して、結合済み励振信号1052を取得するよう構成されている。復号器1000は、予測係数122で適応されるフィルタを有する合成部1060を含み、その合成部は、適応されたフィルタで結合済み励振信号1052をフィルタリングして、無声の復号化済みフレーム1062を取得するよう構成されている。復号器1000はまた、無声の復号化済みフレームと有声フレーム272とを結合してオーディオ信号列282を得る、結合部280を含む。復号器200とは異なり、復号器1000は、コード励振された励振信号1012を提供するよう構成された第2の信号生成部を含む。ノイズ状励振信号1022は、例えば図2に示されたノイズ状信号n(n)であってもよい。
オーディオ信号列282は、符号化された入力信号と比べた場合、良好な品質と高い類似性とを持ち得る。
他の実施形態は、コード生成された(コード励振された)励振信号1012及び/又はノイズ状信号1022を整形及び/又は増幅することで、復号器1000を強化する復号器を提供する。つまり、復号器1000は、信号生成部1010と結合部1050との間、ノイズ生成部1020と結合部1050との間、にそれぞれ配置された整形処理部及び/又は可変増幅部を含んでもよい。入力信号1002は、コードゲインパラメータ情報gc及び/又はノイズゲインパラメータ情報に関連する情報を含んでもよく、復号器は、コードゲインパラメータ情報gcを使用することで、コード生成された励振信号1012又はその整形済みバージョンを増幅するための増幅部を適応するよう構成されてもよい。代替的又は追加的に、復号器1000は、ノイズゲインパラメータ情報を使用することで、ノイズ状信号1022又はその整形済みバージョンを増幅するための増幅部を適応、すなわち制御するよう構成されてもよい
代替的に、復号器1000は、点線で示すように、コード励振された励振信号1012を整形するよう構成された整形器1070、及び/又はノイズ状信号1022を整形するよう構成された整形器1080を含んでもよい。整形器1070及び/又は1080は、ゲインパラメータgc及び/又はgn、及び/又はスピーチ関連整形情報を受信してもよい。整形器1070及び/又は1080は、上述した整形器250、350c及び/又は550bと同様に形成されてもよい。
復号器1000は、フォルマント情報計算部160について上述したように、整形器1070及び/又は1080のためのスピーチ関連整形情報1092を提供する、フォルマント情報計算部1090を含んでもよい。フォルマント情報計算部1090は、整形器1070及び/又は1080に対し、異なるスピーチ関連整形情報(1092a;1092b)を提供するよう構成されてもよい。
図11aは、整形器250と比べて代替的な構造を実装している整形器250’の概略ブロック図を示す。整形器250’は、整形情報222とノイズ関連のゲインパラメータgnとを結合して結合済み情報259を取得する、結合部257を含む。修正された整形処理部252’は、結合済み情報259を使用することでノイズ状信号n(n)を整形して、増幅された整形済みノイズ状信号258を得るよう構成されている。整形情報222とゲインパラメータgnとの両方が乗算ファクタとして解釈され得るので、両方の乗算ファクタは結合部257を使用して乗算され、次に結合済みの形態でノイズ状信号n(n)へと適用されてもよい。
図11bは、整形器250と比べてさらに代替的な構造を実装する整形器250’’の概略ブロック図を示す。整形器250と比較すると、最初に可変増幅部254が配置され、これがゲインパラメータgnを用いてノイズ状信号n(n)を増幅することで、増幅されたノイズ状信号を生成するよう構成されている。整形処理部252は、整形情報222を用いて増幅された信号を整形し、増幅された整形済み信号258を取得するよう構成されている。
図11a及び図11bは、整形器250に関連してその変形例を説明しているが、上述の説明は整形器350c、550b、1070及び/又は1080に対しても同様に当てはまる。
図12は、第1の態様に従う、オーディオ信号を符号化する方法1200の概略フローチャートを示す。この方法1200は、オーディオ信号フレームから予測係数と残差信号とを導出するステップ1210を含む。方法1200は、予測係数からスピーチ関連のスペクトル整形情報を計算するステップ1220を含む。方法1200は、無声残差信号及びスペクトル整形情報からゲインパラメータを計算するステップ1230と、有声信号フレームに関連する情報、ゲインパラメータ又は量子化済みゲインパラメータ、及び予測係数に基づいて出力信号を形成するステップ1240と、を含む。
図13は、第1の態様に従う、予測係数とゲインパラメータとを含む受信オーディオ信号を復号化する方法1300の概略フローチャートを示す。その方法1300は、予測係数からスピーチ関連のスペクトル整形情報を計算するステップ1310を含む。ステップ1320では、復号化ノイズ状信号が生成される。ステップ1330では、復号化ノイズ状信号又はその増幅された表現のスペクトルが、スペクトル整形情報を使用して整形され、整形済み復号化ノイズ状信号が取得される。方法1300のステップ1340では、整形済み復号化ノイズ状信号及び予測係数から合成信号が合成される。
図14は、第2の態様に従う、オーディオ信号を符号化する方法1400の概略フローチャートを示す。その方法1400は、オーディオ信号の無声フレームから予測係数と残差信号とを導出するステップ1410を含む。方法1400のステップ1420では、確定的コードブックに関連する第1励振信号を定義する第1ゲインパラメータ情報と、ノイズ状信号に関連する第2励振信号を定義する第2ゲインパラメータ情報とが、無声フレームのために計算される。
方法1400のステップ1430では、有声信号フレームに関連する情報と第1ゲインパラメータ情報と第2ゲインパラメータ情報とに基づいて、出力信号が形成される。
図15は、第2の態様に従う、受信オーディオ信号を復号化する方法1500の概略フローチャートを示す。受信オーディオ信号は予測係数に関連する情報を含む。方法1500は、合成信号の一部分のために確定的コードブックから第1励振信号を生成するステップ1510を含む。方法1500のステップ1520では、合成信号のその一部分のために、ノイズ状信号から第2励振信号が生成される。方法1500のステップ1530では、第1励振信号と第2励振信号とが結合されて、合成信号のその一部分のための結合済み励振信号が生成される。方法1500のステップ1540では、合成信号のその一部分が結合済み励振信号と予測係数から合成される。
換言すれば、本発明の各態様は、無声フレームを符号化する新たな方法を提案するものであり、そこでは、フォルマント構造及びスペクトル傾斜を加えることでランダムに生成されたガウスノイズを整形する。そのスペクトル的整形は、合成フィルタを励振する前に、励振ドメインにおいて実行される。その結果として、整形された励振は、後続の適応型コードブックを生成するために長期予測のメモリの中で更新されるであろう。
無声でない後続フレームもまた、スペクトル整形からの利益を受けるであろう。後フィルタリングにおけるフォルマント強化とは異なり、提案のノイズ整形は、符号器側及び復号器側の両方において実行される。
このような励振は、非常に低いビットレートを目標とするパラメトリック符号化スキームの中で直接的に使用され得る。しかしながら、本発明では、そのような励振を、CELP符号化スキーム内の従来の革新的コードブックと組合せて関連付けることも提案する。
両方の方法について、本発明は、クリーンなスピーチと背景ノイズを有するスピーチとの両方に対して特に効率的な、新たなゲイン符号化を提案する。本発明は、オリジナルエネルギーにできるだけ近く、しかし同時に、非無声フレームの耳障り過ぎる遷移を回避し、かつゲイン量子化に起因する望ましくない不安定性をも回避する、幾つかのメカニズムを提案する。
第1の態様は、毎秒2.8及び4キロビット(kbps)のレートを用いた無声符号化を目標としている。無声フレームが最初に検出される。この検出は、非特許文献2から知られる可変レートマルチモード広帯域(VMR-WB)において実行されるように、通常のスピーチ分類によって実行され得る。
この段階でスペクトル整形を行うことには2つの主要な利点がある。第1に、スペクトル整形が励振のゲイン計算を考慮に入れることである。ゲイン計算は励振生成の中の唯一の非ブラインドモジュールであるため、整形の後の一連の操作の最後にゲイン計算を行うことは大きな利点を生む。第2に、それにより、LTPのメモリ内の強化された励振を節約することが可能になることである。よって、そのような強化が、後続の非無声フレームにも役立つであろう。
量子化部170、170−1及び170−2は、量子化済みパラメータ
Figure 0006366706
を取得するよう構成されていると説明したが、量子化済みパラメータは、それらに関連する情報として提供されてもよく、即ち、エントリーが量子化済みゲインパラメータ
Figure 0006366706
を含むあるデータベースのエントリーのインデックス又は識別子として提供されてもよい。
これまで装置の文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明をも表しており、1つのブロック又は装置が1つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。
本発明の分解された信号は、デジタル記憶媒体に記憶されることができ、又は、インターネットのような無線伝送媒体もしくは有線伝送媒体などの伝送媒体を介して伝送されることもできる。
所定の構成要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

Claims (15)

  1. オーディオ信号(102)を符号化する符号器(100;200;300)であって、
    前記オーディオ信号(102)のあるフレームから予測係数(122;322)と残差信号(124;324)とを導出するよう構成された分析部(120;320)と、
    前記予測係数(122;322)からスピーチ関連のスペクトル整形情報(162)を計算するよう構成されたフォルマント情報計算部(160)と、
    無声残差信号と前記スペクトル整形情報(162)とからゲインパラメータ(gn;gc)を計算するよう構成されたゲインパラメータ計算部(150;350;350';550)と、
    有声信号フレームに関連する情報(142)と、前記ゲインパラメータ(gn;gc)又は量子化済みゲインパラメータ
    Figure 0006366706
    と、前記予測係数(122;322)とに基づいて、出力信号(192;692)を形成するよう構成されたビットストリーム形成部(190;690)と、
    を含む符号器。
  2. 請求項1に記載の符号器であって、前記残差信号が無声信号オーディオフレームから決定されたか否かを判定するよう構成された判定部(130)をさらに含む符号器。
  3. 請求項1又は2に記載の符号器であって、前記ゲインパラメータ計算部(150;350;350';550)は、
    符号化ノイズ状信号(n(n))を生成するよう構成されたノイズ生成部(350a)と、
    前記スピーチ関連のスペクトル整形情報(162)と一時的ゲインパラメータ(gn(temp))としての前記ゲインパラメータ(gn)とを使用して、前記符号化ノイズ状信号(n(n))のスペクトルを増幅(350e)及び整形(350d)し、増幅された整形済み符号化ノイズ状信号(350g)を取得するよう構成された整形器(350c)と、
    前記無声残差信号と前記増幅された整形済み符号化ノイズ状信号(350g)とを比較して、前記無声残差信号と前記増幅された整形済み符号化ノイズ状信号(350g)との間の類似尺度を得るよう構成された比較部(350h)と、
    前記類似尺度に基づいて、前記一時的ゲインパラメータ(gn(temp))を適応させることにより、前記ゲインパラメータ(gn)を決定するよう構成された制御部(350k)と、を含み、
    前記類似尺度の値がある閾値を超えているとき、前記制御部(350k;550n)は前記決定されたゲインパラメータ(gn)を前記ビットストリーム形成部に供給するよう構成されている、符号器。
  4. 請求項1又は2に記載の符号器であって、前記ゲインパラメータ計算部(150;350;350';550)は、
    符号化ノイズ状信号を生成するよう構成されたノイズ生成部(350a)と、
    前記スピーチ関連のスペクトル整形情報(162)と一時的ゲインパラメータ(gn(temp))としての前記ゲインパラメータ(gn)とを使用して、前記符号化ノイズ状信号(n(n))のスペクトルを増幅(350e)及び整形(350d)し、増幅された整形済み符号化ノイズ状信号(350g)を取得するよう構成された整形器(350c)と、
    前記増幅された整形済み符号化ノイズ状信号(350g)と前記予測係数(122;322)とから合成信号(350l')を合成し、前記合成信号(350l')を供給するよう構成された合成部(350m')と、
    前記オーディオ信号(102)と前記合成信号(350l')とを比較して、前記オーディオ信号(102)と前記合成信号(350l')との間の類似尺度を得るよう構成された比較部(350h')と、
    前記類似尺度に基づいて、前記一時的ゲインパラメータ(gn(temp))を適応させることにより、前記ゲインパラメータ(gn)を決定するよう構成された制御部(350k)と、を含み、
    前記類似尺度の値がある閾値を超えているとき、前記制御部(350k;550n)は前記決定されたゲインパラメータ(gn)を前記ビットストリーム形成部に供給するよう構成されている、符号器。
  5. 請求項4に記載の符号器であって、前記決定されたゲインパラメータ(gn)又はそれに関連する情報
    Figure 0006366706
    を含む符号化情報を記録するよう構成されたゲインメモリ(350n')をさらに含み、
    前記制御部(350k)は、前記符号化情報をオーディオフレームの処理の間に記録するよう構成され、前記オーディオ信号(102)の先行フレームの符号化情報に基づいて、前記オーディオ信号(102)の後続フレームについての前記ゲインパラメータ(gn)を決定するよう構成されている、
    符号器。
  6. 請求項3〜5のいずれか1項に記載の符号器であって、前記ノイズ生成部(350a)は、複数のランダム信号を生成し、前記複数のランダム信号を結合して前記符号化ノイズ状信号(n(n))を得るよう構成された、符号器。
  7. 請求項1〜6のいずれか1項に記載の符号器であって、前記ゲインパラメータ(gn;gc)を受信し、前記ゲインパラメータ(gn;gc)を量子化して前記量子化済みゲインパラメータ
    Figure 0006366706
    を得るよう構成された量子化部(170)をさらに含む、符号器。
  8. 請求項3〜6のいずれか1項に記載の符号器であって、前記ゲインパラメータ計算部(350;350')は、前記符号化ノイズ状信号(n(n))のスペクトル又はそれから導出されたスペクトルと、次式を含む伝達関数(Ffe(z))とを結合するよう構成され、
    Figure 0006366706
    ここでA(z)は、重み付けファクタw1又はw2により重み付けられた適応された整形済み符号化ノイズ状信号をフィルタリングするための符号化フィルタのフィルタ多項式であり、w1は最大でも1.0の正の非ゼロのスカラー値を含み、w2は最大でも1.00の正の非ゼロのスカラー値を含み、w2はw1より大きい、符号器。
  9. 請求項8に記載の符号器であって、前記ゲインパラメータ計算部(350;350')は、前記符号化ノイズ状信号のスペクトル又はそれから導出されたスペクトルと、次式を含む伝達関数(Ft(z))とを結合するよう構成され、
    Figure 0006366706
    ここで、zはzドメインにおける表現を示し、βは前記オーディオ信号の過去フレームのエネルギーと前記オーディオ信号の現在フレームのエネルギーとを関連付けることによって決定されたボイシングのための尺度(ボイシング)を表し、前記尺度βはボイシング値の関数において決定される、符号器。
  10. 予測係数(122;322)に関連する情報を含む受信信号(202)を復号化する復号器(200)であって、
    予測係数からスピーチ関連のスペクトル整形情報(222)を計算するよう構成されたフォルマント情報計算部(220)と、
    復号化ノイズ状信号(n(n))を生成するよう構成されたノイズ生成部(240)と、
    前記スペクトル整形情報(222)を使用して、前記復号化ノイズ状信号(n(n))又はその増幅された表現のスペクトルを整形(252)し、整形済み復号化ノイズ状信号(258)を取得するよう構成された整形器(250)と、
    前記整形済み復号化ノイズ状信号(258)と前記予測係数(122;322)とから合成信号(262)を合成するよう構成された合成部(260)と、
    を含む復号器。
  11. 請求項10に記載の復号器であって、前記受信信号(202)はゲインパラメータ(gn)に関連する情報を含み、前記整形器(250)は前記復号化ノイズ状信号(n(n))又は前記整形済み復号化ノイズ状信号(256)を増幅するよう構成された増幅器(254)を含む、復号器。
  12. 請求項10又は11に記載の復号器であって、前記受信信号(202)は符号化済みのオーディオ信号(102)の有声フレームに関連する有声情報(142)をさらに含み、前記復号器(200)は前記有声情報(142)に基づいて有声信号(272)を決定するよう構成された有声フレーム処理部(270)をさらに含み、前記復号器(200)は前記合成信号(262)と前記有声信号(272)とを結合してオーディオ信号列(282)の1つのフレームを得るよう構成された結合部(280)をさらに含む、復号器。
  13. オーディオ信号(102)を符号化する方法(1200)であって、
    前記オーディオ信号(102)のフレームから予測係数(122;322)と残差信号とを導出するステップ(1210)と、
    前記予測係数(122;322)からスピーチ関連のスペクトル整形情報(162)を計算するステップ(1220)と、
    無声残差信号と前記スペクトル整形情報(162)とからゲインパラメータ(gn;gc)を計算するステップ(1230)と、
    有声信号フレームに関連する情報(142)と、前記ゲインパラメータ(gn;gc)又は量子化済みゲインパラメータ
    Figure 0006366706
    と、前記予測係数(122;322)とに基づいて、出力信号(192;692)を形成するステップ(1240)と、
    を含む方法。
  14. 予測係数に関連する情報を含む受信されたオーディオ信号(202)を復号化する方法(1300)であって、
    予測係数(122;322)からスピーチ関連のスペクトル整形情報(222)を計算するステップ(1310)と、
    復号化ノイズ状信号(n(n))を生成するステップ(1320)と、
    前記スペクトル整形情報(222)を使用して、前記復号化ノイズ状信号(n(n))又はその増幅された表現のスペクトルを整形(252)し、整形済み復号化ノイズ状信号(258)を取得するステップ(1330)と、
    前記整形済み復号化ノイズ状信号(258)と前記予測係数(122;322)とから合成信号(262)を合成するステップ(1340)と、
    を含む方法。
  15. コンピュータ上で作動されたとき、請求項13又は14に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2016524523A 2013-10-18 2014-10-10 スピーチ関連のスペクトル整形情報を使用したオーディオ信号符号化と復号化の概念 Active JP6366706B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13189392 2013-10-18
EP13189392.7 2013-10-18
EP14178788 2014-07-28
EP14178788.7 2014-07-28
PCT/EP2014/071767 WO2015055531A1 (en) 2013-10-18 2014-10-10 Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information

Publications (2)

Publication Number Publication Date
JP2016533528A JP2016533528A (ja) 2016-10-27
JP6366706B2 true JP6366706B2 (ja) 2018-08-01

Family

ID=51691033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016524523A Active JP6366706B2 (ja) 2013-10-18 2014-10-10 スピーチ関連のスペクトル整形情報を使用したオーディオ信号符号化と復号化の概念

Country Status (17)

Country Link
US (3) US10373625B2 (ja)
EP (3) EP3058568B1 (ja)
JP (1) JP6366706B2 (ja)
KR (1) KR101849613B1 (ja)
CN (2) CN111370009B (ja)
AU (1) AU2014336356B2 (ja)
BR (1) BR112016008662B1 (ja)
CA (1) CA2927716C (ja)
ES (2) ES3044088T3 (ja)
MX (1) MX355091B (ja)
MY (1) MY180722A (ja)
PL (2) PL3058568T3 (ja)
RU (1) RU2646357C2 (ja)
SG (1) SG11201603000SA (ja)
TW (1) TWI575512B (ja)
WO (1) WO2015055531A1 (ja)
ZA (1) ZA201603158B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101737254B1 (ko) * 2013-01-29 2017-05-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호, 디코더, 인코더, 시스템 및 컴퓨터 프로그램을 합성하기 위한 장치 및 방법
ES3042587T3 (en) * 2013-10-18 2025-11-21 Fraunhofer Ges Forschung Concept of encoding an audio signal and decoding an audio signal using deterministic and noise like information
PL3058568T3 (pl) * 2013-10-18 2021-07-05 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Koncepcja kodowania sygnału audio i dekodowania sygnału audio z wykorzystaniem związanych z mową informacji kształtowania widmowego
PL3139382T3 (pl) 2014-05-01 2019-11-29 Nippon Telegraph & Telephone Urządzenie kodujące sygnał dźwiękowy, sposób kodowania sygnału dźwiękowego, program i nośnik rejestrujący
KR101895391B1 (ko) * 2014-07-29 2018-09-07 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 오디오 신호의 배경 잡음 추정
US20190051286A1 (en) * 2017-08-14 2019-02-14 Microsoft Technology Licensing, Llc Normalization of high band signals in network telephony communications
WO2020164753A1 (en) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
CN113129910B (zh) 2019-12-31 2024-07-30 华为技术有限公司 音频信号的编解码方法和编解码装置
CN112002338B (zh) * 2020-09-01 2024-06-21 北京百瑞互联技术股份有限公司 一种优化音频编码量化次数的方法及系统
ES3054167T3 (en) * 2021-03-11 2026-01-30 Dolby Laboratories Licensing Corp Audio coding with adaptive gain control of downmixed signals
CN114596870A (zh) * 2022-03-07 2022-06-07 广州博冠信息科技有限公司 实时音频处理方法和装置、计算机存储介质、电子设备

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2010830C (en) 1990-02-23 1996-06-25 Jean-Pierre Adoul Dynamic codebook for efficient speech coding based on algebraic codes
CA2108623A1 (en) * 1992-11-02 1994-05-03 Yi-Sheng Wang Adaptive pitch pulse enhancer and method for use in a codebook excited linear prediction (celp) search loop
JP3099852B2 (ja) * 1993-01-07 2000-10-16 日本電信電話株式会社 励振信号の利得量子化方法
US5864797A (en) * 1995-05-30 1999-01-26 Sanyo Electric Co., Ltd. Pitch-synchronous speech coding by applying multiple analysis to select and align a plurality of types of code vectors
US5732389A (en) * 1995-06-07 1998-03-24 Lucent Technologies Inc. Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures
GB9512284D0 (en) * 1995-06-16 1995-08-16 Nokia Mobile Phones Ltd Speech Synthesiser
JP3747492B2 (ja) 1995-06-20 2006-02-22 ソニー株式会社 音声信号の再生方法及び再生装置
JPH1020891A (ja) * 1996-07-09 1998-01-23 Sony Corp 音声符号化方法及び装置
JP3707153B2 (ja) 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
US6131084A (en) * 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
JPH11122120A (ja) * 1997-10-17 1999-04-30 Sony Corp 符号化方法及び装置、並びに復号化方法及び装置
EP0967594B1 (en) * 1997-10-22 2006-12-13 Matsushita Electric Industrial Co., Ltd. Sound encoder and sound decoder
US7092885B1 (en) 1997-12-24 2006-08-15 Mitsubishi Denki Kabushiki Kaisha Sound encoding method and sound decoding method, and sound encoding device and sound decoding device
US6415252B1 (en) 1998-05-28 2002-07-02 Motorola, Inc. Method and apparatus for coding and decoding speech
WO1999065017A1 (en) 1998-06-09 1999-12-16 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus and speech decoding apparatus
US6067511A (en) * 1998-07-13 2000-05-23 Lockheed Martin Corp. LPC speech synthesis using harmonic excitation generator with phase modulator for voiced speech
US6192335B1 (en) 1998-09-01 2001-02-20 Telefonaktieboiaget Lm Ericsson (Publ) Adaptive combining of multi-mode coding for voiced speech and noise-like signals
US6463410B1 (en) 1998-10-13 2002-10-08 Victor Company Of Japan, Ltd. Audio signal processing apparatus
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6311154B1 (en) 1998-12-30 2001-10-30 Nokia Mobile Phones Limited Adaptive windows for analysis-by-synthesis CELP-type speech coding
JP3451998B2 (ja) * 1999-05-31 2003-09-29 日本電気株式会社 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
US6615169B1 (en) * 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
DE10124420C1 (de) 2001-05-18 2002-11-28 Siemens Ag Verfahren zur Codierung und zur Übertragung von Sprachsignalen
US6871176B2 (en) * 2001-07-26 2005-03-22 Freescale Semiconductor, Inc. Phase excited linear prediction encoder
WO2004097796A1 (ja) 2003-04-30 2004-11-11 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置及びこれらの方法
RU2316059C2 (ru) 2003-05-01 2008-01-27 Нокиа Корпорейшн Способ и устройство для квантования усиления в широкополосном речевом кодировании с переменной битовой скоростью передачи
KR100651712B1 (ko) * 2003-07-10 2006-11-30 학교법인연세대학교 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법
JP4899359B2 (ja) * 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
ATE520121T1 (de) 2006-02-22 2011-08-15 France Telecom Verbesserte celp kodierung oder dekodierung eines digitalen audiosignals
US8712766B2 (en) * 2006-05-16 2014-04-29 Motorola Mobility Llc Method and system for coding an information signal using closed loop adaptive bit allocation
US8706480B2 (en) 2007-06-11 2014-04-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding an audio signal having an impulse-like portion and stationary portion, encoding methods, decoder, decoding method, and encoding audio signal
CN101971251B (zh) 2008-03-14 2012-08-08 杜比实验室特许公司 像言语的信号和不像言语的信号的多模式编解码方法及装置
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
JP5148414B2 (ja) * 2008-08-29 2013-02-20 株式会社東芝 信号帯域拡張装置
RU2400832C2 (ru) 2008-11-24 2010-09-27 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФCО России) Способ формирования сигнала возбуждения в низкоскоростных вокодерах с линейным предсказанием
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
KR101999563B1 (ko) 2011-02-15 2019-07-15 보이세지 코포레이션 켈프 코덱에 있어서 여기의 적응 및 고정 기여의 이득을 양자화 하기 위한 장치 및 방법
US9972325B2 (en) 2012-02-17 2018-05-15 Huawei Technologies Co., Ltd. System and method for mixed codebook excitation for speech coding
CN105469805B (zh) 2012-03-01 2018-01-12 华为技术有限公司 一种语音频信号处理方法和装置
PT3058568T (pt) 2013-10-18 2021-03-04 Fraunhofer Ges Forschung Conceito para codificar um sinal de áudio e descodificar um sinal de áudio usando informação de modelação espectral relacionada com a fala
PL3058568T3 (pl) * 2013-10-18 2021-07-05 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Koncepcja kodowania sygnału audio i dekodowania sygnału audio z wykorzystaniem związanych z mową informacji kształtowania widmowego
ES3042587T3 (en) * 2013-10-18 2025-11-21 Fraunhofer Ges Forschung Concept of encoding an audio signal and decoding an audio signal using deterministic and noise like information

Also Published As

Publication number Publication date
CN105745705B (zh) 2020-03-20
RU2016119010A (ru) 2017-11-23
AU2014336356A1 (en) 2016-05-19
TWI575512B (zh) 2017-03-21
EP3806094A1 (en) 2021-04-14
US11881228B2 (en) 2024-01-23
KR20160073398A (ko) 2016-06-24
ES2856199T3 (es) 2021-09-27
MY180722A (en) 2020-12-07
US10373625B2 (en) 2019-08-06
MX2016004923A (es) 2016-07-11
AU2014336356B2 (en) 2017-04-06
US10909997B2 (en) 2021-02-02
CA2927716C (en) 2020-09-01
US20210098010A1 (en) 2021-04-01
PL3058568T3 (pl) 2021-07-05
EP3058568B1 (en) 2021-01-13
WO2015055531A1 (en) 2015-04-23
ZA201603158B (en) 2017-11-29
RU2646357C2 (ru) 2018-03-02
CN111370009A (zh) 2020-07-03
EP4632735A2 (en) 2025-10-15
EP4632735A3 (en) 2025-12-17
MX355091B (es) 2018-04-04
CA2927716A1 (en) 2015-04-23
US20190333529A1 (en) 2019-10-31
TW201528255A (zh) 2015-07-16
SG11201603000SA (en) 2016-05-30
CN105745705A (zh) 2016-07-06
BR112016008662B1 (pt) 2022-06-14
ES3044088T3 (en) 2025-11-26
BR112016008662A2 (ja) 2017-08-01
CN111370009B (zh) 2023-12-22
US20160232909A1 (en) 2016-08-11
EP3806094B1 (en) 2025-08-06
KR101849613B1 (ko) 2018-04-18
PL3806094T3 (pl) 2026-02-02
EP3806094C0 (en) 2025-08-06
EP3058568A1 (en) 2016-08-24
JP2016533528A (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
US11881228B2 (en) Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
JP6366705B2 (ja) 確定的及びノイズ状情報を用いてオーディオ信号を符号化/復号化する概念
HK1227167B (en) Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
HK1227167A1 (en) Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
HK1226853B (en) Concept for encoding an audio signal and decoding an audio signal using deterministic and noise like information
HK1226853A1 (en) Concept for encoding an audio signal and decoding an audio signal using deterministic and noise like information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180703

R150 Certificate of patent or registration of utility model

Ref document number: 6366706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250