JP4550176B2 - 音声符号化方法 - Google Patents
音声符号化方法 Download PDFInfo
- Publication number
- JP4550176B2 JP4550176B2 JP28673898A JP28673898A JP4550176B2 JP 4550176 B2 JP4550176 B2 JP 4550176B2 JP 28673898 A JP28673898 A JP 28673898A JP 28673898 A JP28673898 A JP 28673898A JP 4550176 B2 JP4550176 B2 JP 4550176B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch period
- subframe
- candidates
- search
- previous subframe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声信号の圧縮符号化を行う音声符号化方法に係り、特に音声符号化における符号化パラメータの一つであるピッチ周期の情報を符号化する処理に関する。
【０００２】
【従来の技術】
音声信号を低ビットレートで高能率に圧縮符号化する技術は、自動車電話等の移動体通信や企業内通信において、電波の有効利用や通信コストの削減のための重要な技術である。
【０００３】
８ｋｂｐｓ以下の低ビットレートで品質の優れた復号音声の合成が可能な音声符号化方式として、ＣＥＬＰ（Code Excited Linear Prediction）方式が知られている。このＣＥＬＰ方式は、M.R.Schrodeder氏とB.S.Atal氏により、“ Code-Excited Linear Prediction （CELP）High-Quality Speech at Very low Bit Rateｓ”,Proc.ICASSP; 1985, pp.937-939（文献１）で発表されて以来、高品質な音声が合成できる方式として注目され、品質の改善や計算量の削減について種々の検討がなされてきた。
【０００４】
ＣＥＬＰ方式による音声符号化で必要な構成要素の一つとして、適応符号帳がある。適応符号帳は、入力信号のピッチ予測分析を閉ループ動作または合成による分析（Analysis by Synthesis)によって行うものである。一般に、適応符号帳によるピッチ予測分析は、２０〜１４７サンプルの探索範囲（１２８候補）でピッチ周期の探索を行って、目標信号に対する歪が最小となるピッチ周期を求め、このピッチ周期の情報を７ビットの符号化データとして伝送することが多い。
【０００５】
上述した従来のＣＥＬＰ方式では、サブフレーム単位に閉ループ動作によってピッチ周期を決定するため、ピッチ周期の探索範囲が１２８候補と大きい場合、計算量が膨大になってしまう。さらに、このような直接的なピッチ周期探索法では、ピッチ周期の情報はサブフレーム当たり７ビット必要となり、仮に４サブフレームで１フレームが構成されるとして、フレーム当たり２８ビットものビット数が必要になってしまう。
【０００６】
本来、音声信号のピッチ周期の変動はゆるやかな部分が多く、サブフレーム毎に全探索を行う必要はない。このようなピッチ周期の性質を利用して、計算量の削減およびビット数の削減が可能である。そのような観点から、ピッチ周期の探索範囲を限定するための差分ピッチ表現を用いる方法が報告されている。
【０００７】
その一つに、ピッチ周期の探索に際し、例えば奇数サブフレームについては全ての候補を探索し、偶数サブフレームについては奇数サブフレームの近傍の候補のみを探索することで、計算量とビット数を削減する方法がJ.P.Campbell, Jr. 氏らによって、“An Expandable Error-Protected 4800 bps CELP coder(U.S. Federal Standard 4800 bps Voice Coder) ”，Proc. ICASSP;1989, pp.735-738)（文献２）で報告されている。この方法によれば、奇数サブフレームについては１２８候補の全探索、偶数サブフレームについては前サブフレームを基準にして例えば３２候補に限定してピッチ周期の探索を行うことにより、ピッチ周期探索に必要な計算量を削減できる。また、偶数サブフレームについてはピッチ周期を３２候補から選定すると予め決めてあれば、ピッチ周期の情報を５ビットで表現でき、結果としてサブフレーム数が４の場合、ピッチ周期の情報量をフレーム当たり２４ビットに削減することができる。
【０００８】
しかし、この方法では奇数サブフレームで求めたピッチ周期に、実際のピッチ周期と大きく異なる値が選択された場合、次のサブフレームにまで影響を与えてしまい、復号音声に品質劣化が知覚されるという問題が生じる。従って、このように前サブフレームで求めたピッチ周期を基準にして現サブフレームのピッチ周期の探索範囲を決定する場合、復号音声の品質低下を招くことの無いようにピッチ周期の探索範囲を決定することが重要である。このような品質劣化を招かないようにするには、探索範囲を大きく設定すればよいが、この方法では計算量やピッチ周期情報のビット数を十分に削減できないという問題が生じる。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の音声符号化方法であるＣＥＬＰ方式では、サブフレーム単位の閉ループ探索によってピッチ周期を求めるため、ピッチ周期を求めるのに必要な計算量が膨大となり、しかも符号化データであるピッチ周期情報のビット数が増大するという問題点がある。
【００１０】
また、文献２に記載されたようにピッチ周期の探索範囲を限定し、奇数サブフレームについては全ての候補を探索し、偶数サブフレームについては奇数サブフレームの近傍の候補のみを探索するしてピッチ周期を求める方法では、ピッチ周期を求めるための計算量およびピッチ周期情報のビット数が減少するが、奇数サブフレームで実際のピッチ周期と大きく異なる値が選択された場合、次のサブフレームにまで影響を与えて復号音声に品質劣化が知覚されてしまい、これを防ぐために探索範囲を大きくすると計算量やピッチ周期情報のビット数を十分に削減できなくなるという問題点があった。
【００１１】
本発明は、このような従来技術の問題点を解消するためになされたもので、音声信号のピッチ周期を少ない計算量で正しく求め、かつ少ない情報量で表現できる音声符号化方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明は入力音声信号のピッチ周期を所定の分析範囲から分析により求め、該ピッチ周期の情報を符号化データとして出力する処理を含む音声符号化方法において、過去に求めたピッチ周期の長さに応じてピッチ周期の分析範囲を決定することを特徴とする。
【００１３】
入力音声信号をフレームと呼ばれる所定の長さの単位に分割し、フレームをさらにサブフレームと呼ばれる単位に分割して処理する場合を例にとり、図１を用いて本発明の基本的な考えを説明する。
【００１４】
図１は、入力音声信号の隣接するサブフレーム間のピッチ周期の変化量の累積頻度を表したものであり、８ｋＨｚでサンプリングされた複数話者による約２００秒の音声データを用い、有声定常区間とみなせる部分に対しての結果である。
横軸は符号化しようとしている現サブフレームの前サブフレームのピッチ周期に対する現サブフレームのピッチ周期の変化量（サンプル値）を表し、縦軸は累積頻度を百分率で表している。また、図１では前サブフレームのピッチ周期の長さに対応させて６本のグラフを表示している。例えば一番上のグラフは、前サブフレームのピッチ周期が２０〜３０サンプルのときの累積頻度を表し、以下、前サブフレームのピッチ周期が３０〜４０サンプル、４０〜５０サンプル、５０〜６０サンプル、６０〜７０サンプル、そして７０サンプル以上のときの結果を表している。
【００１５】
図１に示されるように、前サブフレームのピッチ周期が２０〜３０サンプルと短いときには、現サブフレームのピッチ周期は±４サンプル以内にほぼ１００％含まれている。一方、前サブフレームのピッチ周期が長くなるほど、前サブフレームと現サブフレームのピッチ周期の変化量が大きくなる傾向にある。特に、前サブフレームのピッチ周期が７０サンプルを越えると、ピッチ周期の変化量は±１０サンプルまで存在し得るようになる。
【００１６】
これらの結果から分かるように、前サブフレームのピッチ周期の長さと、隣接するサブフレーム間（前サブフレームと現サブフレーム間）のピッチ周期の変化量との間には相関がある。図２に、前サブフレームのピッチ周期の長さと、隣接するサブフレームのピッチ周期の変化量の関係を示す。
【００１７】
そこで、本発明ではこのような前サブフレームのピッチ周期の長さと隣接するサブフレーム間のピッチ周期の変化量との間の相関を利用し、前サブフレームで求められたピッチ周期の長さに応じて現サブフレームのピッチ周期の探索範囲を決定する。具体的には、前サブフレームで求められたピッチ周期が長いときには現サブフレームのピッチ周期の探索範囲を大きくし、前サブフレームで求められたピッチ周期が短いときには現サブフレームのピッチ周期の探索範囲を小さくする。これによりピッチ周期探索のための計算量の削減と、復号音声の品質改善を実現することが可能となる。
【００１８】
また、本発明では過去の駆動信号系列を予め定められた範囲に含まれる周期で繰り返して生成される複数の適応ベクトルを格納した適応符号帳を有し、この適応符号帳から取り出される適応ベクトルを合成フィルタに通して得られる信号と目標ベクトルとの誤差が最小となる周期の適応ベクトルを所定の探索範囲から探索し、この探索した適応ベクトルの情報を符号化データとして出力する処理を含む音声符号化方法に適用する場合には、入力音声信号を予め定められた長さのフレームに分割し、各フレームの音声信号をさらにサブフレームに分割して、符号化しようとする現サブフレームの前サブフレームで求められたピッチ周期の長さに応じて現サブフレームについての適応符号帳からの適応ベクトルの探索範囲を決定することを特徴とする。
【００１９】
この探索範囲の決定に際しても、前サブフレームで求められたピッチ周期が長いときには適応符号帳からの適応ベクトルの探索範囲、つまり現サブフレームのピッチ周期の探索範囲を大きくし、前サブフレームで求められたピッチ周期が短いときには探索範囲を小さくすることにより、探索のための計算量の削減と復号音声の品質改善を実現することが可能となる。
【００２０】
さらに、本発明は前サブフレームで求められたピッチ周期を基準として、現サブフレームのピッチ周期の前サブフレームで求められたピッチ周期からの変化量を求め、この変化量を現サブフレームのピッチ周期の情報として符号化することを特徴とする。
【００２１】
前サブフレームのピッチ周期の長さに関わらず、同一符号量で現サブフレームのピッチ周期の情報を表す構成のときは、前サブフレームのピッチ周期が短い場合に全く選択されないピッチ周期候補が表れたり、前サブフレームのピッチ周期が長い場合に予め想定した以上の変化量が出現して、復号音声の品質低下を招くことがある。
【００２２】
これに対し、本発明では前サブフレームのピッチ周期が短い場合は、前サブフレームと現サブフレームとの間のピッチ周期の変化量が小さいことから、前サブフレームのピッチ周期を基準としたときの現サブフレームのピッチ周期探索範囲を小さくし、その分ピッチ周期探索候補の間隔を狭くして無駄なピッチ周期探索候補を無くすようにする。逆に、前サブフレームのピッチ周期が長い場合には、前サブフレームのピッチ周期を基準としたときの現サブフレームのピッチ周期探索範囲を大きくし、その分ピッチ周期探索候補の間隔を広くしてピッチ周期の大きな変化にも対応できるようにする。
【００２３】
このようにすることによって、復号音声の品質向上を図るとともに、現サブフレームのピッチ周期の前サブフレームで求められたピッチ周期からの変化量を現サブフレームのピッチ周期の情報として符号化することにより、ピッチ周期の情報量を効果的に削減できる。
【００２４】
さらに、本発明では現サブフレームのピッチ周期を求める際のピッチ周期探索候補の配置に関して、前サブフレームで求めたピッチ周期により近い候補については密に、より遠い候補については疎にそれぞれ配置することを特徴とする。図１から分かるように、前サブフレームのピッチ周期の近傍ほど現サブフレームのピッチ周期が出現する確率が高く、また、この傾向は前サブフレームのピッチ周期が短いほど顕著に現れる。従って、与えられた探索範囲に対し現サブフレームのピッチ周期の候補を探索範囲内に均一に配置するよりも、前サブフレームのピッチ周期の近傍は密に、離れるほど疎に配置した方が復号音声の品質は向上することになる。
【００２５】
さらに、この場合において前サブフレームのピッチ周期の長さに応じて疎密の度合いを変えることで、復号音声の品質はより向上する。特に、前サブフレームのピッチ周期が短いときには探索範囲を小さくとって、探索候補の密の度合いを高くするか、もしくは密の範囲を広くすることが可能となり、ピッチ周期の短い音声の復号品質を改善することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図３に、本発明の第１の実施形態に係る構成を示す。図３において、音声入力端子１０１から与えられる入力音声信号は、ピッチ周期算出部１０２に入力される。ピッチ周期算出部１０２は、入力音声信号に内在するピッチ周期を算出し、そのピッチ周期の情報を符号化データ出力端子１０３から符号化データとして出力するものであり、ピッチ分析部１０４とピッチ周期の分析範囲決定部１０５およびバッファ１０６からなっている。
【００２７】
以下、図４に示すフローチャートを用いてピッチ周期算出部１０２の処理の流れを説明する。
まず、バッファ１０６には、符号化データ出力端子１０３から出力された過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準として分析範囲決定部１０５でピッチ周期の分析範囲を決定する（ステップＳ１００１）。
次に、ステップＳ１００１で決定された分析範囲に含まれるピッチ周期の候補について、ピッチ分析部１０４でピッチ周期の分析（ピッチ分析）を行い、ピッチ周期Ｌを求め（ステップＳ１００２）、このピッチ周期Ｌの情報を符号化データ出力端子１０３より出力する。ピッチ分析の方法としては、例えば入力音声信号または予測残差信号の相関分析によりピッチ周期を求める方法を用いることができる。
最後に、ステップ１００２でピッチ分析部１０４により求められたピッチ周期Ｌの情報を次の処理の準備のためにバッファ１０６に過去のピッチ周期Ｌｐｒｖの情報として格納する（ステップＳ１００３）。
【００２８】
次に、図５を用いてピッチ周期の分析範囲決定部１０５について詳細に説明する。
図５（ａ）は過去のピッチ周期Ｌｐｒｖが短い場合、図５（ｂ）は過去のピッチ周期Ｌｐｒｖが長い場合のピッチ周期分析範囲（探索範囲）の説明図である。
過去のピッチ周期Ｌｐｒｖが短い場合、ピッチ周期の変化量が小さいことから、図５（ａ）に示すように探索範囲を例えば−１〜＋２サンプルの小さい範囲に設定しても、ピッチ周期の探索を行うことができる。逆に、過去のピッチ周期Ｌｐｒｖが長い場合は、ピッチ周期の変化量が多いことから、探索範囲を図５（ｂ）に示すように、例えば−３〜＋４サンプルと大きく設定する。
【００２９】
このように本実施形態では、過去のピッチ周期Ｌｐｒｖの長さに応じてピッチ周期の分析範囲を決定することにより、ピッチ周期の分析に必要とされる平均的な計算量を削減することが可能になると同時に、復号音声の品質改善を実現することができる。
【００３０】
（第２の実施形態）
図６に、本発明の第２の実施形態におけるピッチ周期算出部１０２の構成を示す。本実施形態の特徴は、ピッチ周期の分析に、過去の駆動信号系列を予め定められた範囲に含まれる周期で繰り返して生成される複数の適応ベクトルを格納した適応符号帳を用いる点にある。すなわち、本実施形態におけるピッチ周期算出部１０２は、適応符号帳２０１、探索範囲決定部２０２、バッファ２０３、乗算器２０４、重み付き合成フィルタ２０５、減算器２０６、聴感重みフィルタ２０７および歪み算出部２０８からなる。
【００３１】
以下、図７に示すフローチャートを用いて、本実施形態におけるピッチ周期算出部１０２の処理の流れを説明する。
第１の実施形態と同様に、バッファ２０３には出力端子１０３から出力された過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準として探索範囲決定部２０２でピッチ周期の探索範囲を決定する（ステップＳ２００１）。
次に、こうして決定されたピッチ周期探索範囲に含まれるピッチ周期を基に、適応符号帳２０１から適応ベクトルを取り出し（ステップＳ２００２）、この適応ベクトルと入力音声信号との重み付き誤差信号の大きさを求める（ステップＳ２００３）。重み付き誤差信号の大きさは、直接的には以下のようにして求められる。
【００３２】
すなわち、適応符号帳２０１から取り出した適応ベクトルに乗算器２０４で理想ゲインｇｏｐｔを乗じ、そのゲインを乗じた後の信号を重み付き合成フィルタ２０５に通して合成信号を生成する。そして、入力端子１０１から入力される入力音声信号を聴感重みフィルタ２０７に通し、この聴感重みフィルタ２０７から出力される信号と合成フィルタ２０５から出力される合成信号との差信号を減算器２０６で求め、この差信号のパワー（歪み）を歪み算出部２０８で算出することで、重み付き誤差信号の大きさを求める。
【００３３】
聴感重みフィルタ２０７および重み付き合成フィルタ２０５は、ここでは図示していないＬＰＣ係数分析部によって求められたＬＰＣ係数を基に設定される。
また、実際上は、このような探索処理を簡略化する方法が報告されているが、本発明とは直接関係しないので、ここでは説明を省略する。
【００３４】
次に、こうして求められた重み付き誤差信号の大きさが最小となるときのピッチ周期を歪み算出部２０８で求め（ステップＳ２００４）、次いで探索範囲内のピッチ周期の候補を全て探索したかどうかを判断し（ステップＳ２００５）、全て探索してなければ、残った探索候補に対してステップＳ２００２以降の処理を継続して行う。ピッチ周期の全ての候補が探索されていれば、重み付き誤差信号の大きさが最小となるピッチ周期の情報を出力端子１０３より出力し、同時に、求められたピッチ周期の情報を次のサブフレーム処理のためにバッファ２０３に格納する（ステップＳ２００６）。
【００３５】
ここでピッチ周期の探索に際しては、第１の実施形態と同様、図５で説明したように過去のピッチ周期、つまり前サブフレームのピッチ周期が短いときには探索範囲を小さくとり、前サブフレームのピッチ周期が長いときには探索範囲を大きくとることにより、本実施形態のような適応符号帳を有する音声符号化システムにおける計算量の削減を実現できる。
【００３６】
（第３の実施形態）
図８に、本発明の第３の実施形態に係る音声符号化システムの構成を示す。本実施形態は、ＣＥＬＰ方式の音声符号化システムに本発明を適用した点にある。
図８において、図６と同一名称のブロックには同一符号を付して詳細な説明を省略し、第２の実施形態との相違点を中心に説明する。
【００３７】
音声入力端子３０１からディジタル化された音声信号が入力され、フレーム・サブフレーム構成部３０２において予め定められた長さのフレームに分割され、各フレームはさらにサブフレームに分割される。フレーム・サブフレーム構成部３０２からの音声信号はＬＰＣ係数分析部３０５に与えられ、ここでＬＰＣ分析されてＬＰＣ係数が算出される。このＬＰＣ係数は、聴感重みフィルタ３０７および重み付き合成フィルタ３１５を構成する際に利用される。
【００３８】
ＬＰＣ係数分析部３０５で求められたＬＰＣ係数は、ＬＰＣ係数量子化部３０６によって量子化され、この量子化によって求められるＬＰＣ係数インデックスはマルチプレクサ３１８に与えられ、後述する他の情報とともに多重化される。
また、量子化後に復号されたＬＰＣ係数は、重み付き合成フィルタ３１５を構成する際に用いられる。
【００３９】
バッファ３０３には過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準に探索範囲決定部３０４でピッチ周期の探索範囲が決定され、この探索範囲に含まれるピッチ周期を基に適応符号帳３０８から適応ベクトルが取り出されて生成する。これらの点は、第２の実施形態と同様である。そして、この適応ベクトルと適応ベクトルゲイン符号帳３１０から選択される適応ベクトルゲインとの積が乗算器３０９でとられる。乗算器３１２では同様に、雑音符号帳３１１から選択される雑音ベクトルと雑音ベクトルゲイン符号帳３１３から選択される雑音ベクトルゲインとの積がとられる。加算器３１４では、乗算器３０９と乗算器３１２から得られるそれぞれの信号の和がとられ、駆動ベクトルが生成される。
【００４０】
このようにして生成された駆動ベクトルは、重み付き合成フィルタ３１５に通して合成ベクトルが生成される。減算器３１６では、音声信号を聴感重みフィルタ３０７に通して得られる目標ベクトルと合成ベクトルとの差がとられ、この差信号を基に歪算出部３１７で歪値が求められる。そして、この歪値が最小となるときの適応ベクトル、適応ベクトルゲイン、雑音ベクトルおよび雑音ベクトルゲインの組み合わせが歪み算出部３１７で探索される。この探索を効率的に行う方法としては、例えばサブフレーム毎に適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの順に直列的に求めていく方法がある。また、サブフレーム毎に適応ベクトルゲインと雑音ベクトルゲインをベクトル量子化によって同時最適化を図る方法もある。
【００４１】
このようにして歪値が最小となるときの適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインを表すインデックスがマルチプレクサ３１８に与えられる。マルチプレクサ３１８では、ＬＰＣ係数量子化部３０６で求められたＬＰＣ係数インデックス、適応ベクトルのインデックス、適応ベクトルゲインのインデックス、雑音ベクトルのインデックスおよび雑音ベクトルゲインのインデックスを多重化して、この多重化したデータを符号化データとして符号化データ出力端子３１９から出力する。そして、次の符号化処理の準備のため、ここで求めた適応ベクトルのインデックスから導出されるピッチ周期Ｌの情報がバッファ３０３に格納される。
【００４２】
（第４の実施形態）
図９に、本発明の第４の実施形態に係る音声符号化システムの構成を示す。図８と同一部分に同一符号を付して説明すると、本実施形態では前サブフレームで求められたピッチ周期を基準にし、そのピッチ周期に対する変化量を符号化するという点で、これまでの実施形態と異なる。この場合、現サブフレームのピッチ周期は予め定められた符号量で符号化されるため、現サブフレームのピッチ周期の探索候補数は、前サブフレームのピッチ周期の長さに関わらず同一である。そのために、前サブフレームのピッチ周期の長さに依存して現サブフレームのピッチ周期の探索範囲を変化させる、という本発明の基本的な特徴に対応させるためには、ピッチ周期の探索候補の間隔を変える必要がある。この点については、図１０を用いて後に詳しく説明する。
【００４３】
図９において、探索候補決定部３２０はバッファ３０３から与えられる前サブフレームのピッチ周期Ｌｐｒｖを基に探索候補を決定する。ここでは、前サブフレームで求めたピッチ周期を基準としたときのピッチ周期の変化量を３ビット（８候補）で符号化する場合について、図１０を用いて説明する。
【００４４】
図１０（ａ）は、前サブフレームのピッチ周期が短いときの現サブフレームの探索候補を示している。前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−１．５〜＋２．０サンプル）に対し各候補が０．５サンプルの間隔で一様に配置されている。この状態の下で各候補の目標信号に対する歪値が順次算出され、最小歪みとなるときのピッチ周期が求められる。仮に、ピッチ周期がＬｐｒｖ＋０．５サンプルが選択された場合、「４」が符号として出力される。図１０（ｂ）は、前サブフレームのピッチ周期が長いときの現サブフレームの探索候補を図１０（ａ）に対比して示している。ここでは、前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−３．０〜＋４．０サンプル）に対し各候補が１サンプルの間隔で一様に配置されている。このように、前サブフレームのピッチ周期の長さによって、現サブフレームのピッチ周期の探索範囲と探索候補の間隔を変えることにより、ピッチ周期の効率的な符号化を行うことが可能となる。
【００４５】
なお、ここでは前サブフレームのピッチ周期を短い場合と長い場合という２つのカテゴリ分類した場合について説明したが、これに限定されることはなく、前サブフレームのピッチ周期をさらに多くのカテゴリに分類して、それぞれ異なる探索範囲、探索候補の間隔を用いて符号化を行ってもよい。これにより一層効率的に、ピッチ周期の符号化を行うことが可能となる。
【００４６】
また、フレーム内における最初のサブフレームでは前サブフレームのピッチ周期を基準とすることなしにピッチ周期を独立に符号化し、それ以降のサブフレームでは前述したような前サブフレームのピッチ周期を基準にして、そのピッチ周期に対する変化量を符号化する構成をとってもよい。この構成によると、ビット誤り時の誤り耐性を向上させることができる。すなわち、ビット誤りがピッチ周期を表す符号に発生したとき、フレーム内で誤ったピッチ周期の伝播が停止し、次のフレームヘ影響を与えることが無いという効果が得られる。
【００４７】
また、ピッチ周期の連続性判定を行い、ピッチ周期が連続的に変化しているという場合にのみ、本実施形態で説明したような前サブフレームのピッチ周期を基準にしてその変化量を符号化するようにするようにすることが望ましい。前フレームのピッチ周期と現フレームのピッチ周期の相関関係は、有声定常部のようにピッチ周期が安定している区間で現われ、例えば音声の立ち上がり部などのような区間では、このような相関関係は成り立ちにくい。よって、ピッチ周期の連続性を監視し、連続である場合にのみ本実施形態を適用することで、ピッチ周期が不安定な区間での品質劣化を回避することができる。
【００４８】
（第５の実施形態）
次に、本発明の第５の実施形態を図１１を用いて説明する。本実施形態は、前サブフレームで求められたピッチ周期を基準にし、その変化量を符号化するτの実施形態を変形した形態である。第４の実施形態では、現サブフレームのピッチ周期の探索候補は与えられた探索範囲に対して均一の間隔で配置されていたが、本実施形態では与えられた探索範囲に対し、前サブフレームで求めたピッチ周期に近いときに密に、遠いときに疎に現サブフレームのピッチ周期の探索候補が配置されることを特徴とする。
【００４９】
ここでは、前サブフレームで求めたピッチ周期を基準としたときのピッチ周期の変化量を３ビット（８候補）で符号化する場合について、図１１を用いて説明する。図１１（ａ）は、前サブフレームのピッチ周期が短いときの現サブフレームの探索候補を示している。前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−１．５〜＋２．０）に対しＬｐｒｖに近い探索候補ほど間隔が狭く、Ｌｐｒｖに遠い探索候補ほど間隔が広く配置されている。この状態の下で各候補の目標信号に対する歪値が順次算出され、最小歪みとなるときのピッチ周期が求められる。仮に、ピッチ周期がＬｐｒｖ−０．２５サンプルが選択された場合、「２」が符号として出力される。一方、図１１（ｂ）は、前サブフレームのピッチ周期が長いときの現サブフレームの探索候補を図１１（ａ）に対比して示している。ここでは、与えられた探索範囲（−３．０〜＋４．０）に対しＬｐｒｖに近い探索候補ほど間隔が狭く、Ｌｐｒｖに遠い探索候補ほど間隔が広く配置されている。
【００５０】
このように本実施形態では、現サブフレームのピッチ周期の候補を探索範囲内に均一に配置せず、与えられた探索範囲に対し前サブフレームのピッチ周期の近傍は密に、離れるほど疎に配置することにより、復号音声の品質を向上させることができる。
【００５１】
本実施形態においても第４の実施形態と同様の変形が可能であり、例えば前サブフレームのピッチ周期を短い場合と長い場合という２つのカテゴリでなく、さらに多くのカテゴリに分類して、それぞれ異なる探索範囲、探索候補の配置を用いて符号化を行ってもよく、それによりさらに効率的なピッチ周期の符号化を行うことが可能となる。
【００５２】
また、フレーム内における最初のサブフレームでは、前サブフレームのピッチ周期を基準とすることなしにピッチ周期を独立に符号化し、それ以降のサブフレームでは、前述したような前サブフレームのピッチ周期を基準にしてそのピッチ周期に対する変化量を符号化する構成をとることにより、ビット誤り時の誤り耐性を向上させることができる。
【００５３】
また、ピッチ周期の連続性判定を行い、ピッチ周期が連続的に変化しているという場合にのみ、本実施形態で説明したような前サブフレームのピッチ周期を基準にしてその変化量を符号化するようにしてもよい。
【００５４】
【発明の効果】
以上説明したように、本発明によれば前サブフレームのピッチ周期の長さと前サブフレーム・現サブフレーム間のピッチ周期の変化量との相関を利用し、前サブフレームで求めたピッチ周期の長さに応じて現サブフレームのピッチ周期の探索範囲を決定することにより、効率的な探索範囲の決定および探索候補の配置を行うことで、復号音声の品質を維持しつつ、ピッチ周期の探索に必要な計算量の削減を行うことができ、また符号量の増加を伴わず復号音声の品質を改善することが可能となる。
【図面の簡単な説明】
【図１】本発明の基本原理を説明するための入力音声信号の隣接するサブフレーム間のピッチ周期変化量の累積頻度を前サブフレームのピッチ周期をパラメータとして示す図
【図２】同じく本発明の基本原理を説明するための入力音声信号の前サブフレームのピッチ周期の長さと隣接するサブフレーム間のピッチ周期変化量との間の相関を示す図
【図３】本発明の第１の実施形態に係る音声符号化方法を適用した音声符号化システムにおけるピッチ周期算出部の構成を示すブロック図
【図４】同実施形態のピッチ周期算出部の処理手順を示すフローチャート
【図５】同実施形態における分析範囲決定部によるピッチ周期の分析範囲決定方法を説明するための図
【図６】本発明の第２の実施形態に係る音声符号化方法を適用した音声符号化システムにおけるピッチ周期算出部の構成を示すブロック図
【図７】同実施形態のピッチ周期算出部の処理手順を示すフローチャート
【図８】本発明の第３の実施形態に係る音声符号化方法を適用した音声符号化システムの構成を示すブロック図
【図９】本発明の第４の実施形態に係る音声符号化方法を適用した音声符号化システムの構成を示すブロック図
【図１０】同実施形態における探索候補決定部によるピッチ周期の探索候補決定方法を説明するための図
【図１１】本発明の第５の実施形態におけるピッチ周期の探索候補決定方法を説明するための図
【符号の説明】
１０１…音声信号入力端子
１０２…ピッチ周期算出部
１０３…ピッチ周期情報出力端子
１０４…ピッチ周期算出部
１０５…バッファ
２０１…適応符号帳
２０２…探索範囲決定部
２０３…バッファ
２０４…乗算器
２０５…重み付き合成フィルタ
２０６…減算器
２０７…聴感重みフィルタ
２０８…歪み算出部
３０１…音声信号入力端子
３０２…フレーム・サブフレーム構成部
３０３…バッファ
３０４…探索範囲決定部
３０５…ＬＰＣ係数分析部
３０６…ＬＰＣ係数量子化部
３０７…聴感重みフィルタ
３０８…適応符号帳
３０９，３１２…乗算器
３１０…ゲイン符号帳
３１１…雑音符号帳
３１３…雑音ベクトルゲイン符号帳
３１４，３１６…減算器
３１５…重み付き合成フィルタ
３１７…歪み算出部
３１８…マルチプレクサ
３１９…音声符号化データ出力端子
【発明の属する技術分野】
本発明は、音声信号の圧縮符号化を行う音声符号化方法に係り、特に音声符号化における符号化パラメータの一つであるピッチ周期の情報を符号化する処理に関する。
【０００２】
【従来の技術】
音声信号を低ビットレートで高能率に圧縮符号化する技術は、自動車電話等の移動体通信や企業内通信において、電波の有効利用や通信コストの削減のための重要な技術である。
【０００３】
８ｋｂｐｓ以下の低ビットレートで品質の優れた復号音声の合成が可能な音声符号化方式として、ＣＥＬＰ（Code Excited Linear Prediction）方式が知られている。このＣＥＬＰ方式は、M.R.Schrodeder氏とB.S.Atal氏により、“ Code-Excited Linear Prediction （CELP）High-Quality Speech at Very low Bit Rateｓ”,Proc.ICASSP; 1985, pp.937-939（文献１）で発表されて以来、高品質な音声が合成できる方式として注目され、品質の改善や計算量の削減について種々の検討がなされてきた。
【０００４】
ＣＥＬＰ方式による音声符号化で必要な構成要素の一つとして、適応符号帳がある。適応符号帳は、入力信号のピッチ予測分析を閉ループ動作または合成による分析（Analysis by Synthesis)によって行うものである。一般に、適応符号帳によるピッチ予測分析は、２０〜１４７サンプルの探索範囲（１２８候補）でピッチ周期の探索を行って、目標信号に対する歪が最小となるピッチ周期を求め、このピッチ周期の情報を７ビットの符号化データとして伝送することが多い。
【０００５】
上述した従来のＣＥＬＰ方式では、サブフレーム単位に閉ループ動作によってピッチ周期を決定するため、ピッチ周期の探索範囲が１２８候補と大きい場合、計算量が膨大になってしまう。さらに、このような直接的なピッチ周期探索法では、ピッチ周期の情報はサブフレーム当たり７ビット必要となり、仮に４サブフレームで１フレームが構成されるとして、フレーム当たり２８ビットものビット数が必要になってしまう。
【０００６】
本来、音声信号のピッチ周期の変動はゆるやかな部分が多く、サブフレーム毎に全探索を行う必要はない。このようなピッチ周期の性質を利用して、計算量の削減およびビット数の削減が可能である。そのような観点から、ピッチ周期の探索範囲を限定するための差分ピッチ表現を用いる方法が報告されている。
【０００７】
その一つに、ピッチ周期の探索に際し、例えば奇数サブフレームについては全ての候補を探索し、偶数サブフレームについては奇数サブフレームの近傍の候補のみを探索することで、計算量とビット数を削減する方法がJ.P.Campbell, Jr. 氏らによって、“An Expandable Error-Protected 4800 bps CELP coder(U.S. Federal Standard 4800 bps Voice Coder) ”，Proc. ICASSP;1989, pp.735-738)（文献２）で報告されている。この方法によれば、奇数サブフレームについては１２８候補の全探索、偶数サブフレームについては前サブフレームを基準にして例えば３２候補に限定してピッチ周期の探索を行うことにより、ピッチ周期探索に必要な計算量を削減できる。また、偶数サブフレームについてはピッチ周期を３２候補から選定すると予め決めてあれば、ピッチ周期の情報を５ビットで表現でき、結果としてサブフレーム数が４の場合、ピッチ周期の情報量をフレーム当たり２４ビットに削減することができる。
【０００８】
しかし、この方法では奇数サブフレームで求めたピッチ周期に、実際のピッチ周期と大きく異なる値が選択された場合、次のサブフレームにまで影響を与えてしまい、復号音声に品質劣化が知覚されるという問題が生じる。従って、このように前サブフレームで求めたピッチ周期を基準にして現サブフレームのピッチ周期の探索範囲を決定する場合、復号音声の品質低下を招くことの無いようにピッチ周期の探索範囲を決定することが重要である。このような品質劣化を招かないようにするには、探索範囲を大きく設定すればよいが、この方法では計算量やピッチ周期情報のビット数を十分に削減できないという問題が生じる。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の音声符号化方法であるＣＥＬＰ方式では、サブフレーム単位の閉ループ探索によってピッチ周期を求めるため、ピッチ周期を求めるのに必要な計算量が膨大となり、しかも符号化データであるピッチ周期情報のビット数が増大するという問題点がある。
【００１０】
また、文献２に記載されたようにピッチ周期の探索範囲を限定し、奇数サブフレームについては全ての候補を探索し、偶数サブフレームについては奇数サブフレームの近傍の候補のみを探索するしてピッチ周期を求める方法では、ピッチ周期を求めるための計算量およびピッチ周期情報のビット数が減少するが、奇数サブフレームで実際のピッチ周期と大きく異なる値が選択された場合、次のサブフレームにまで影響を与えて復号音声に品質劣化が知覚されてしまい、これを防ぐために探索範囲を大きくすると計算量やピッチ周期情報のビット数を十分に削減できなくなるという問題点があった。
【００１１】
本発明は、このような従来技術の問題点を解消するためになされたもので、音声信号のピッチ周期を少ない計算量で正しく求め、かつ少ない情報量で表現できる音声符号化方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明は入力音声信号のピッチ周期を所定の分析範囲から分析により求め、該ピッチ周期の情報を符号化データとして出力する処理を含む音声符号化方法において、過去に求めたピッチ周期の長さに応じてピッチ周期の分析範囲を決定することを特徴とする。
【００１３】
入力音声信号をフレームと呼ばれる所定の長さの単位に分割し、フレームをさらにサブフレームと呼ばれる単位に分割して処理する場合を例にとり、図１を用いて本発明の基本的な考えを説明する。
【００１４】
図１は、入力音声信号の隣接するサブフレーム間のピッチ周期の変化量の累積頻度を表したものであり、８ｋＨｚでサンプリングされた複数話者による約２００秒の音声データを用い、有声定常区間とみなせる部分に対しての結果である。
横軸は符号化しようとしている現サブフレームの前サブフレームのピッチ周期に対する現サブフレームのピッチ周期の変化量（サンプル値）を表し、縦軸は累積頻度を百分率で表している。また、図１では前サブフレームのピッチ周期の長さに対応させて６本のグラフを表示している。例えば一番上のグラフは、前サブフレームのピッチ周期が２０〜３０サンプルのときの累積頻度を表し、以下、前サブフレームのピッチ周期が３０〜４０サンプル、４０〜５０サンプル、５０〜６０サンプル、６０〜７０サンプル、そして７０サンプル以上のときの結果を表している。
【００１５】
図１に示されるように、前サブフレームのピッチ周期が２０〜３０サンプルと短いときには、現サブフレームのピッチ周期は±４サンプル以内にほぼ１００％含まれている。一方、前サブフレームのピッチ周期が長くなるほど、前サブフレームと現サブフレームのピッチ周期の変化量が大きくなる傾向にある。特に、前サブフレームのピッチ周期が７０サンプルを越えると、ピッチ周期の変化量は±１０サンプルまで存在し得るようになる。
【００１６】
これらの結果から分かるように、前サブフレームのピッチ周期の長さと、隣接するサブフレーム間（前サブフレームと現サブフレーム間）のピッチ周期の変化量との間には相関がある。図２に、前サブフレームのピッチ周期の長さと、隣接するサブフレームのピッチ周期の変化量の関係を示す。
【００１７】
そこで、本発明ではこのような前サブフレームのピッチ周期の長さと隣接するサブフレーム間のピッチ周期の変化量との間の相関を利用し、前サブフレームで求められたピッチ周期の長さに応じて現サブフレームのピッチ周期の探索範囲を決定する。具体的には、前サブフレームで求められたピッチ周期が長いときには現サブフレームのピッチ周期の探索範囲を大きくし、前サブフレームで求められたピッチ周期が短いときには現サブフレームのピッチ周期の探索範囲を小さくする。これによりピッチ周期探索のための計算量の削減と、復号音声の品質改善を実現することが可能となる。
【００１８】
また、本発明では過去の駆動信号系列を予め定められた範囲に含まれる周期で繰り返して生成される複数の適応ベクトルを格納した適応符号帳を有し、この適応符号帳から取り出される適応ベクトルを合成フィルタに通して得られる信号と目標ベクトルとの誤差が最小となる周期の適応ベクトルを所定の探索範囲から探索し、この探索した適応ベクトルの情報を符号化データとして出力する処理を含む音声符号化方法に適用する場合には、入力音声信号を予め定められた長さのフレームに分割し、各フレームの音声信号をさらにサブフレームに分割して、符号化しようとする現サブフレームの前サブフレームで求められたピッチ周期の長さに応じて現サブフレームについての適応符号帳からの適応ベクトルの探索範囲を決定することを特徴とする。
【００１９】
この探索範囲の決定に際しても、前サブフレームで求められたピッチ周期が長いときには適応符号帳からの適応ベクトルの探索範囲、つまり現サブフレームのピッチ周期の探索範囲を大きくし、前サブフレームで求められたピッチ周期が短いときには探索範囲を小さくすることにより、探索のための計算量の削減と復号音声の品質改善を実現することが可能となる。
【００２０】
さらに、本発明は前サブフレームで求められたピッチ周期を基準として、現サブフレームのピッチ周期の前サブフレームで求められたピッチ周期からの変化量を求め、この変化量を現サブフレームのピッチ周期の情報として符号化することを特徴とする。
【００２１】
前サブフレームのピッチ周期の長さに関わらず、同一符号量で現サブフレームのピッチ周期の情報を表す構成のときは、前サブフレームのピッチ周期が短い場合に全く選択されないピッチ周期候補が表れたり、前サブフレームのピッチ周期が長い場合に予め想定した以上の変化量が出現して、復号音声の品質低下を招くことがある。
【００２２】
これに対し、本発明では前サブフレームのピッチ周期が短い場合は、前サブフレームと現サブフレームとの間のピッチ周期の変化量が小さいことから、前サブフレームのピッチ周期を基準としたときの現サブフレームのピッチ周期探索範囲を小さくし、その分ピッチ周期探索候補の間隔を狭くして無駄なピッチ周期探索候補を無くすようにする。逆に、前サブフレームのピッチ周期が長い場合には、前サブフレームのピッチ周期を基準としたときの現サブフレームのピッチ周期探索範囲を大きくし、その分ピッチ周期探索候補の間隔を広くしてピッチ周期の大きな変化にも対応できるようにする。
【００２３】
このようにすることによって、復号音声の品質向上を図るとともに、現サブフレームのピッチ周期の前サブフレームで求められたピッチ周期からの変化量を現サブフレームのピッチ周期の情報として符号化することにより、ピッチ周期の情報量を効果的に削減できる。
【００２４】
さらに、本発明では現サブフレームのピッチ周期を求める際のピッチ周期探索候補の配置に関して、前サブフレームで求めたピッチ周期により近い候補については密に、より遠い候補については疎にそれぞれ配置することを特徴とする。図１から分かるように、前サブフレームのピッチ周期の近傍ほど現サブフレームのピッチ周期が出現する確率が高く、また、この傾向は前サブフレームのピッチ周期が短いほど顕著に現れる。従って、与えられた探索範囲に対し現サブフレームのピッチ周期の候補を探索範囲内に均一に配置するよりも、前サブフレームのピッチ周期の近傍は密に、離れるほど疎に配置した方が復号音声の品質は向上することになる。
【００２５】
さらに、この場合において前サブフレームのピッチ周期の長さに応じて疎密の度合いを変えることで、復号音声の品質はより向上する。特に、前サブフレームのピッチ周期が短いときには探索範囲を小さくとって、探索候補の密の度合いを高くするか、もしくは密の範囲を広くすることが可能となり、ピッチ周期の短い音声の復号品質を改善することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図３に、本発明の第１の実施形態に係る構成を示す。図３において、音声入力端子１０１から与えられる入力音声信号は、ピッチ周期算出部１０２に入力される。ピッチ周期算出部１０２は、入力音声信号に内在するピッチ周期を算出し、そのピッチ周期の情報を符号化データ出力端子１０３から符号化データとして出力するものであり、ピッチ分析部１０４とピッチ周期の分析範囲決定部１０５およびバッファ１０６からなっている。
【００２７】
以下、図４に示すフローチャートを用いてピッチ周期算出部１０２の処理の流れを説明する。
まず、バッファ１０６には、符号化データ出力端子１０３から出力された過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準として分析範囲決定部１０５でピッチ周期の分析範囲を決定する（ステップＳ１００１）。
次に、ステップＳ１００１で決定された分析範囲に含まれるピッチ周期の候補について、ピッチ分析部１０４でピッチ周期の分析（ピッチ分析）を行い、ピッチ周期Ｌを求め（ステップＳ１００２）、このピッチ周期Ｌの情報を符号化データ出力端子１０３より出力する。ピッチ分析の方法としては、例えば入力音声信号または予測残差信号の相関分析によりピッチ周期を求める方法を用いることができる。
最後に、ステップ１００２でピッチ分析部１０４により求められたピッチ周期Ｌの情報を次の処理の準備のためにバッファ１０６に過去のピッチ周期Ｌｐｒｖの情報として格納する（ステップＳ１００３）。
【００２８】
次に、図５を用いてピッチ周期の分析範囲決定部１０５について詳細に説明する。
図５（ａ）は過去のピッチ周期Ｌｐｒｖが短い場合、図５（ｂ）は過去のピッチ周期Ｌｐｒｖが長い場合のピッチ周期分析範囲（探索範囲）の説明図である。
過去のピッチ周期Ｌｐｒｖが短い場合、ピッチ周期の変化量が小さいことから、図５（ａ）に示すように探索範囲を例えば−１〜＋２サンプルの小さい範囲に設定しても、ピッチ周期の探索を行うことができる。逆に、過去のピッチ周期Ｌｐｒｖが長い場合は、ピッチ周期の変化量が多いことから、探索範囲を図５（ｂ）に示すように、例えば−３〜＋４サンプルと大きく設定する。
【００２９】
このように本実施形態では、過去のピッチ周期Ｌｐｒｖの長さに応じてピッチ周期の分析範囲を決定することにより、ピッチ周期の分析に必要とされる平均的な計算量を削減することが可能になると同時に、復号音声の品質改善を実現することができる。
【００３０】
（第２の実施形態）
図６に、本発明の第２の実施形態におけるピッチ周期算出部１０２の構成を示す。本実施形態の特徴は、ピッチ周期の分析に、過去の駆動信号系列を予め定められた範囲に含まれる周期で繰り返して生成される複数の適応ベクトルを格納した適応符号帳を用いる点にある。すなわち、本実施形態におけるピッチ周期算出部１０２は、適応符号帳２０１、探索範囲決定部２０２、バッファ２０３、乗算器２０４、重み付き合成フィルタ２０５、減算器２０６、聴感重みフィルタ２０７および歪み算出部２０８からなる。
【００３１】
以下、図７に示すフローチャートを用いて、本実施形態におけるピッチ周期算出部１０２の処理の流れを説明する。
第１の実施形態と同様に、バッファ２０３には出力端子１０３から出力された過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準として探索範囲決定部２０２でピッチ周期の探索範囲を決定する（ステップＳ２００１）。
次に、こうして決定されたピッチ周期探索範囲に含まれるピッチ周期を基に、適応符号帳２０１から適応ベクトルを取り出し（ステップＳ２００２）、この適応ベクトルと入力音声信号との重み付き誤差信号の大きさを求める（ステップＳ２００３）。重み付き誤差信号の大きさは、直接的には以下のようにして求められる。
【００３２】
すなわち、適応符号帳２０１から取り出した適応ベクトルに乗算器２０４で理想ゲインｇｏｐｔを乗じ、そのゲインを乗じた後の信号を重み付き合成フィルタ２０５に通して合成信号を生成する。そして、入力端子１０１から入力される入力音声信号を聴感重みフィルタ２０７に通し、この聴感重みフィルタ２０７から出力される信号と合成フィルタ２０５から出力される合成信号との差信号を減算器２０６で求め、この差信号のパワー（歪み）を歪み算出部２０８で算出することで、重み付き誤差信号の大きさを求める。
【００３３】
聴感重みフィルタ２０７および重み付き合成フィルタ２０５は、ここでは図示していないＬＰＣ係数分析部によって求められたＬＰＣ係数を基に設定される。
また、実際上は、このような探索処理を簡略化する方法が報告されているが、本発明とは直接関係しないので、ここでは説明を省略する。
【００３４】
次に、こうして求められた重み付き誤差信号の大きさが最小となるときのピッチ周期を歪み算出部２０８で求め（ステップＳ２００４）、次いで探索範囲内のピッチ周期の候補を全て探索したかどうかを判断し（ステップＳ２００５）、全て探索してなければ、残った探索候補に対してステップＳ２００２以降の処理を継続して行う。ピッチ周期の全ての候補が探索されていれば、重み付き誤差信号の大きさが最小となるピッチ周期の情報を出力端子１０３より出力し、同時に、求められたピッチ周期の情報を次のサブフレーム処理のためにバッファ２０３に格納する（ステップＳ２００６）。
【００３５】
ここでピッチ周期の探索に際しては、第１の実施形態と同様、図５で説明したように過去のピッチ周期、つまり前サブフレームのピッチ周期が短いときには探索範囲を小さくとり、前サブフレームのピッチ周期が長いときには探索範囲を大きくとることにより、本実施形態のような適応符号帳を有する音声符号化システムにおける計算量の削減を実現できる。
【００３６】
（第３の実施形態）
図８に、本発明の第３の実施形態に係る音声符号化システムの構成を示す。本実施形態は、ＣＥＬＰ方式の音声符号化システムに本発明を適用した点にある。
図８において、図６と同一名称のブロックには同一符号を付して詳細な説明を省略し、第２の実施形態との相違点を中心に説明する。
【００３７】
音声入力端子３０１からディジタル化された音声信号が入力され、フレーム・サブフレーム構成部３０２において予め定められた長さのフレームに分割され、各フレームはさらにサブフレームに分割される。フレーム・サブフレーム構成部３０２からの音声信号はＬＰＣ係数分析部３０５に与えられ、ここでＬＰＣ分析されてＬＰＣ係数が算出される。このＬＰＣ係数は、聴感重みフィルタ３０７および重み付き合成フィルタ３１５を構成する際に利用される。
【００３８】
ＬＰＣ係数分析部３０５で求められたＬＰＣ係数は、ＬＰＣ係数量子化部３０６によって量子化され、この量子化によって求められるＬＰＣ係数インデックスはマルチプレクサ３１８に与えられ、後述する他の情報とともに多重化される。
また、量子化後に復号されたＬＰＣ係数は、重み付き合成フィルタ３１５を構成する際に用いられる。
【００３９】
バッファ３０３には過去のピッチ周期Ｌｐｒｖの情報が格納されており、この過去のピッチ周期Ｌｐｒｖを基準に探索範囲決定部３０４でピッチ周期の探索範囲が決定され、この探索範囲に含まれるピッチ周期を基に適応符号帳３０８から適応ベクトルが取り出されて生成する。これらの点は、第２の実施形態と同様である。そして、この適応ベクトルと適応ベクトルゲイン符号帳３１０から選択される適応ベクトルゲインとの積が乗算器３０９でとられる。乗算器３１２では同様に、雑音符号帳３１１から選択される雑音ベクトルと雑音ベクトルゲイン符号帳３１３から選択される雑音ベクトルゲインとの積がとられる。加算器３１４では、乗算器３０９と乗算器３１２から得られるそれぞれの信号の和がとられ、駆動ベクトルが生成される。
【００４０】
このようにして生成された駆動ベクトルは、重み付き合成フィルタ３１５に通して合成ベクトルが生成される。減算器３１６では、音声信号を聴感重みフィルタ３０７に通して得られる目標ベクトルと合成ベクトルとの差がとられ、この差信号を基に歪算出部３１７で歪値が求められる。そして、この歪値が最小となるときの適応ベクトル、適応ベクトルゲイン、雑音ベクトルおよび雑音ベクトルゲインの組み合わせが歪み算出部３１７で探索される。この探索を効率的に行う方法としては、例えばサブフレーム毎に適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの順に直列的に求めていく方法がある。また、サブフレーム毎に適応ベクトルゲインと雑音ベクトルゲインをベクトル量子化によって同時最適化を図る方法もある。
【００４１】
このようにして歪値が最小となるときの適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインを表すインデックスがマルチプレクサ３１８に与えられる。マルチプレクサ３１８では、ＬＰＣ係数量子化部３０６で求められたＬＰＣ係数インデックス、適応ベクトルのインデックス、適応ベクトルゲインのインデックス、雑音ベクトルのインデックスおよび雑音ベクトルゲインのインデックスを多重化して、この多重化したデータを符号化データとして符号化データ出力端子３１９から出力する。そして、次の符号化処理の準備のため、ここで求めた適応ベクトルのインデックスから導出されるピッチ周期Ｌの情報がバッファ３０３に格納される。
【００４２】
（第４の実施形態）
図９に、本発明の第４の実施形態に係る音声符号化システムの構成を示す。図８と同一部分に同一符号を付して説明すると、本実施形態では前サブフレームで求められたピッチ周期を基準にし、そのピッチ周期に対する変化量を符号化するという点で、これまでの実施形態と異なる。この場合、現サブフレームのピッチ周期は予め定められた符号量で符号化されるため、現サブフレームのピッチ周期の探索候補数は、前サブフレームのピッチ周期の長さに関わらず同一である。そのために、前サブフレームのピッチ周期の長さに依存して現サブフレームのピッチ周期の探索範囲を変化させる、という本発明の基本的な特徴に対応させるためには、ピッチ周期の探索候補の間隔を変える必要がある。この点については、図１０を用いて後に詳しく説明する。
【００４３】
図９において、探索候補決定部３２０はバッファ３０３から与えられる前サブフレームのピッチ周期Ｌｐｒｖを基に探索候補を決定する。ここでは、前サブフレームで求めたピッチ周期を基準としたときのピッチ周期の変化量を３ビット（８候補）で符号化する場合について、図１０を用いて説明する。
【００４４】
図１０（ａ）は、前サブフレームのピッチ周期が短いときの現サブフレームの探索候補を示している。前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−１．５〜＋２．０サンプル）に対し各候補が０．５サンプルの間隔で一様に配置されている。この状態の下で各候補の目標信号に対する歪値が順次算出され、最小歪みとなるときのピッチ周期が求められる。仮に、ピッチ周期がＬｐｒｖ＋０．５サンプルが選択された場合、「４」が符号として出力される。図１０（ｂ）は、前サブフレームのピッチ周期が長いときの現サブフレームの探索候補を図１０（ａ）に対比して示している。ここでは、前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−３．０〜＋４．０サンプル）に対し各候補が１サンプルの間隔で一様に配置されている。このように、前サブフレームのピッチ周期の長さによって、現サブフレームのピッチ周期の探索範囲と探索候補の間隔を変えることにより、ピッチ周期の効率的な符号化を行うことが可能となる。
【００４５】
なお、ここでは前サブフレームのピッチ周期を短い場合と長い場合という２つのカテゴリ分類した場合について説明したが、これに限定されることはなく、前サブフレームのピッチ周期をさらに多くのカテゴリに分類して、それぞれ異なる探索範囲、探索候補の間隔を用いて符号化を行ってもよい。これにより一層効率的に、ピッチ周期の符号化を行うことが可能となる。
【００４６】
また、フレーム内における最初のサブフレームでは前サブフレームのピッチ周期を基準とすることなしにピッチ周期を独立に符号化し、それ以降のサブフレームでは前述したような前サブフレームのピッチ周期を基準にして、そのピッチ周期に対する変化量を符号化する構成をとってもよい。この構成によると、ビット誤り時の誤り耐性を向上させることができる。すなわち、ビット誤りがピッチ周期を表す符号に発生したとき、フレーム内で誤ったピッチ周期の伝播が停止し、次のフレームヘ影響を与えることが無いという効果が得られる。
【００４７】
また、ピッチ周期の連続性判定を行い、ピッチ周期が連続的に変化しているという場合にのみ、本実施形態で説明したような前サブフレームのピッチ周期を基準にしてその変化量を符号化するようにするようにすることが望ましい。前フレームのピッチ周期と現フレームのピッチ周期の相関関係は、有声定常部のようにピッチ周期が安定している区間で現われ、例えば音声の立ち上がり部などのような区間では、このような相関関係は成り立ちにくい。よって、ピッチ周期の連続性を監視し、連続である場合にのみ本実施形態を適用することで、ピッチ周期が不安定な区間での品質劣化を回避することができる。
【００４８】
（第５の実施形態）
次に、本発明の第５の実施形態を図１１を用いて説明する。本実施形態は、前サブフレームで求められたピッチ周期を基準にし、その変化量を符号化するτの実施形態を変形した形態である。第４の実施形態では、現サブフレームのピッチ周期の探索候補は与えられた探索範囲に対して均一の間隔で配置されていたが、本実施形態では与えられた探索範囲に対し、前サブフレームで求めたピッチ周期に近いときに密に、遠いときに疎に現サブフレームのピッチ周期の探索候補が配置されることを特徴とする。
【００４９】
ここでは、前サブフレームで求めたピッチ周期を基準としたときのピッチ周期の変化量を３ビット（８候補）で符号化する場合について、図１１を用いて説明する。図１１（ａ）は、前サブフレームのピッチ周期が短いときの現サブフレームの探索候補を示している。前サブフレームのピッチ周期Ｌｐｒｖを中心に、与えられた探索範囲（−１．５〜＋２．０）に対しＬｐｒｖに近い探索候補ほど間隔が狭く、Ｌｐｒｖに遠い探索候補ほど間隔が広く配置されている。この状態の下で各候補の目標信号に対する歪値が順次算出され、最小歪みとなるときのピッチ周期が求められる。仮に、ピッチ周期がＬｐｒｖ−０．２５サンプルが選択された場合、「２」が符号として出力される。一方、図１１（ｂ）は、前サブフレームのピッチ周期が長いときの現サブフレームの探索候補を図１１（ａ）に対比して示している。ここでは、与えられた探索範囲（−３．０〜＋４．０）に対しＬｐｒｖに近い探索候補ほど間隔が狭く、Ｌｐｒｖに遠い探索候補ほど間隔が広く配置されている。
【００５０】
このように本実施形態では、現サブフレームのピッチ周期の候補を探索範囲内に均一に配置せず、与えられた探索範囲に対し前サブフレームのピッチ周期の近傍は密に、離れるほど疎に配置することにより、復号音声の品質を向上させることができる。
【００５１】
本実施形態においても第４の実施形態と同様の変形が可能であり、例えば前サブフレームのピッチ周期を短い場合と長い場合という２つのカテゴリでなく、さらに多くのカテゴリに分類して、それぞれ異なる探索範囲、探索候補の配置を用いて符号化を行ってもよく、それによりさらに効率的なピッチ周期の符号化を行うことが可能となる。
【００５２】
また、フレーム内における最初のサブフレームでは、前サブフレームのピッチ周期を基準とすることなしにピッチ周期を独立に符号化し、それ以降のサブフレームでは、前述したような前サブフレームのピッチ周期を基準にしてそのピッチ周期に対する変化量を符号化する構成をとることにより、ビット誤り時の誤り耐性を向上させることができる。
【００５３】
また、ピッチ周期の連続性判定を行い、ピッチ周期が連続的に変化しているという場合にのみ、本実施形態で説明したような前サブフレームのピッチ周期を基準にしてその変化量を符号化するようにしてもよい。
【００５４】
【発明の効果】
以上説明したように、本発明によれば前サブフレームのピッチ周期の長さと前サブフレーム・現サブフレーム間のピッチ周期の変化量との相関を利用し、前サブフレームで求めたピッチ周期の長さに応じて現サブフレームのピッチ周期の探索範囲を決定することにより、効率的な探索範囲の決定および探索候補の配置を行うことで、復号音声の品質を維持しつつ、ピッチ周期の探索に必要な計算量の削減を行うことができ、また符号量の増加を伴わず復号音声の品質を改善することが可能となる。
【図面の簡単な説明】
【図１】本発明の基本原理を説明するための入力音声信号の隣接するサブフレーム間のピッチ周期変化量の累積頻度を前サブフレームのピッチ周期をパラメータとして示す図
【図２】同じく本発明の基本原理を説明するための入力音声信号の前サブフレームのピッチ周期の長さと隣接するサブフレーム間のピッチ周期変化量との間の相関を示す図
【図３】本発明の第１の実施形態に係る音声符号化方法を適用した音声符号化システムにおけるピッチ周期算出部の構成を示すブロック図
【図４】同実施形態のピッチ周期算出部の処理手順を示すフローチャート
【図５】同実施形態における分析範囲決定部によるピッチ周期の分析範囲決定方法を説明するための図
【図６】本発明の第２の実施形態に係る音声符号化方法を適用した音声符号化システムにおけるピッチ周期算出部の構成を示すブロック図
【図７】同実施形態のピッチ周期算出部の処理手順を示すフローチャート
【図８】本発明の第３の実施形態に係る音声符号化方法を適用した音声符号化システムの構成を示すブロック図
【図９】本発明の第４の実施形態に係る音声符号化方法を適用した音声符号化システムの構成を示すブロック図
【図１０】同実施形態における探索候補決定部によるピッチ周期の探索候補決定方法を説明するための図
【図１１】本発明の第５の実施形態におけるピッチ周期の探索候補決定方法を説明するための図
【符号の説明】
１０１…音声信号入力端子
１０２…ピッチ周期算出部
１０３…ピッチ周期情報出力端子
１０４…ピッチ周期算出部
１０５…バッファ
２０１…適応符号帳
２０２…探索範囲決定部
２０３…バッファ
２０４…乗算器
２０５…重み付き合成フィルタ
２０６…減算器
２０７…聴感重みフィルタ
２０８…歪み算出部
３０１…音声信号入力端子
３０２…フレーム・サブフレーム構成部
３０３…バッファ
３０４…探索範囲決定部
３０５…ＬＰＣ係数分析部
３０６…ＬＰＣ係数量子化部
３０７…聴感重みフィルタ
３０８…適応符号帳
３０９，３１２…乗算器
３１０…ゲイン符号帳
３１１…雑音符号帳
３１３…雑音ベクトルゲイン符号帳
３１４，３１６…減算器
３１５…重み付き合成フィルタ
３１７…歪み算出部
３１８…マルチプレクサ
３１９…音声符号化データ出力端子
Claims (3)
- 入力音声信号を予め定められた長さのフレームに分割し、各フレームの音声信号をさらにサブフレームに分割して、各サブフレームのピッチ周期を所定の探索範囲から探索により求め、該ピッチ周期の情報を符号化データとして出力する処理を含む音声符号化方法において、
符号化しようとする現サブフレームより時間的に過去の前サブフレームで求められたピッチ周期が長いほど現サブフレームについての前記探索範囲を大きくし、
前記現サブフレームのピッチ周期を求める際のピッチ周期探索候補のうち、前記前サブフレームで求められたピッチ周期により近い候補を密に、前記前サブフレームで求められたピッチ周期からより遠い候補を疎にそれぞれ配置することを特徴とする音声符号化方法。 - 過去の駆動信号系列を予め定められた範囲に含まれる周期で繰り返して生成される複数の適応ベクトルを格納した適応符号帳を用い、この適応符号帳から取り出される適応ベクトルを合成フィルタに通して得られる信号と目標ベクトルとの誤差が最小となる周期の適応ベクトルを所定の探索範囲から探索し、この探索した適応ベクトルの情報を符号化データとして出力する処理を含む音声符号化方法において、
入力音声信号を予め定められた長さのフレームに分割し、各フレームの音声信号をさらにサブフレームに分割して、各サブフレームのピッチ周期を求め、符号化しようとする現サブフレームより時間的に過去の前サブフレームで求められたピッチ周期が長いほど現サブフレームについての前記探索範囲を大きくし、
前記現サブフレームのピッチ周期を求める際のピッチ周期探索候補のうち、前記前サブフレームで求められたピッチ周期により近い候補を密に、前記前サブフレームで求められたピッチ周期からより遠い候補を疎にそれぞれ配置することを特徴とする音声符号化方法。 - 前記現サブフレームのピッチ周期の前記前サブフレームで求められたピッチ周期からの変化量を求め、この変化量を前記現サブフレームのピッチ周期の情報として符号化することを特徴とする請求項１又は２記載の音声符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28673898A JP4550176B2 (ja) | 1998-10-08 | 1998-10-08 | 音声符号化方法 |
| US09/407,060 US6470310B1 (en) | 1998-10-08 | 1999-09-28 | Method and system for speech encoding involving analyzing search range for current period according to length of preceding pitch period |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28673898A JP4550176B2 (ja) | 1998-10-08 | 1998-10-08 | 音声符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000112498A JP2000112498A (ja) | 2000-04-21 |
| JP4550176B2 true JP4550176B2 (ja) | 2010-09-22 |
Family
ID=17708395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28673898A Expired - Fee Related JP4550176B2 (ja) | 1998-10-08 | 1998-10-08 | 音声符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6470310B1 (ja) |
| JP (1) | JP4550176B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6202046B1 (en) * | 1997-01-23 | 2001-03-13 | Kabushiki Kaisha Toshiba | Background noise/speech classification method |
| JP4550176B2 (ja) * | 1998-10-08 | 2010-09-22 | 株式会社東芝 | 音声符号化方法 |
| US7133823B2 (en) * | 2000-09-15 | 2006-11-07 | Mindspeed Technologies, Inc. | System for an adaptive excitation pattern for speech coding |
| US20040105971A1 (en) * | 2001-09-05 | 2004-06-03 | Parrinello Luciano M. | Polymer processing of a substantially water-resistant microporous substrate |
| US7921445B2 (en) * | 2002-06-06 | 2011-04-05 | International Business Machines Corporation | Audio/video speedup system and method in a server-client streaming architecture |
| US7933767B2 (en) * | 2004-12-27 | 2011-04-26 | Nokia Corporation | Systems and methods for determining pitch lag for a current frame of information |
| US8010350B2 (en) * | 2006-08-03 | 2011-08-30 | Broadcom Corporation | Decimated bisectional pitch refinement |
| WO2008108081A1 (ja) | 2007-03-02 | 2008-09-12 | Panasonic Corporation | 適応音源ベクトル量子化装置および適応音源ベクトル量子化方法 |
| WO2008155919A1 (ja) * | 2007-06-21 | 2008-12-24 | Panasonic Corporation | 適応音源ベクトル量子化装置および適応音源ベクトル量子化方法 |
| WO2010091554A1 (zh) * | 2009-02-13 | 2010-08-19 | 华为技术有限公司 | 一种基音周期检测方法和装置 |
| CN108962270B (zh) * | 2012-05-23 | 2023-03-17 | 日本电信电话株式会社 | 解码方法、解码装置以及记录介质 |
| JP6477295B2 (ja) * | 2015-06-29 | 2019-03-06 | 株式会社Ｊｖｃケンウッド | 雑音検出装置、雑音検出方法及び雑音検出プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5602961A (en) * | 1994-05-31 | 1997-02-11 | Alaris, Inc. | Method and apparatus for speech compression using multi-mode code excited linear predictive coding |
| US5664055A (en) * | 1995-06-07 | 1997-09-02 | Lucent Technologies Inc. | CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity |
| US5819213A (en) * | 1996-01-31 | 1998-10-06 | Kabushiki Kaisha Toshiba | Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks |
| JPH1020891A (ja) * | 1996-07-09 | 1998-01-23 | Sony Corp | 音声符号化方法及び装置 |
| JPH1091194A (ja) * | 1996-09-18 | 1998-04-10 | Sony Corp | 音声復号化方法及び装置 |
| US6202046B1 (en) * | 1997-01-23 | 2001-03-13 | Kabushiki Kaisha Toshiba | Background noise/speech classification method |
| JP4550176B2 (ja) * | 1998-10-08 | 2010-09-22 | 株式会社東芝 | 音声符号化方法 |
-
1998
- 1998-10-08 JP JP28673898A patent/JP4550176B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-28 US US09/407,060 patent/US6470310B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000112498A (ja) | 2000-04-21 |
| US6470310B1 (en) | 2002-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7191120B2 (en) | Speech encoding method, apparatus and program | |
| US5819213A (en) | Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks | |
| JPH08263099A (ja) | 符号化装置 | |
| WO2001020595A1 (fr) | Codeur/decodeur vocal | |
| US5659659A (en) | Speech compressor using trellis encoding and linear prediction | |
| JP3628268B2 (ja) | 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体 | |
| JP2000112498A (ja) | 音声符号化方法 | |
| JP2002268686A (ja) | 音声符号化装置及び音声復号化装置 | |
| JP3888097B2 (ja) | ピッチ周期探索範囲設定装置、ピッチ周期探索装置、復号化適応音源ベクトル生成装置、音声符号化装置、音声復号化装置、音声信号送信装置、音声信号受信装置、移動局装置、及び基地局装置 | |
| JP3435310B2 (ja) | 音声符号化方法および装置 | |
| Ozawa et al. | MP‐CELP speech coding based on multipulse vector quantization and fast search | |
| JP3559485B2 (ja) | 音声信号の後処理方法および装置並びにプログラムを記録した記録媒体 | |
| JPH06131000A (ja) | 基本周期符号化装置 | |
| JP3299099B2 (ja) | 音声符号化装置 | |
| KR100341398B1 (ko) | 씨이엘피형 보코더의 코드북 검색 방법 | |
| JP3249144B2 (ja) | 音声符号化装置 | |
| JPH0830299A (ja) | 音声符号化装置 | |
| JPH0573097A (ja) | 低遅延符号駆動形予測符号化方法 | |
| KR960011132B1 (ko) | 씨이엘피(celp) 보코더에서의 피치검색방법 | |
| JP3026461B2 (ja) | 音声のピッチ予測符号化法 | |
| JP3002299B2 (ja) | 音声符号化装置 | |
| JP3471542B2 (ja) | 音声符号化装置 | |
| JP3092654B2 (ja) | 信号符号化装置 | |
| JP3229784B2 (ja) | 音声符号化復号化装置及び音声復号化装置 | |
| JP3270146B2 (ja) | 音声符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081215 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |