JPH0779252B2 - 多要素信号を符号化する方法および装置 - Google Patents

多要素信号を符号化する方法および装置

Info

Publication number
JPH0779252B2
JPH0779252B2 JP2152894A JP15289490A JPH0779252B2 JP H0779252 B2 JPH0779252 B2 JP H0779252B2 JP 2152894 A JP2152894 A JP 2152894A JP 15289490 A JP15289490 A JP 15289490A JP H0779252 B2 JPH0779252 B2 JP H0779252B2
Authority
JP
Japan
Prior art keywords
signal
standard
projection
distance
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2152894A
Other languages
English (en)
Other versions
JPH03101423A (ja
Inventor
チューエンリン ワン ロバート
Original Assignee
アメリカン テレフォン アンド テレグラフ カムパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アメリカン テレフォン アンド テレグラフ カムパニー filed Critical アメリカン テレフォン アンド テレグラフ カムパニー
Publication of JPH03101423A publication Critical patent/JPH03101423A/ja
Publication of JPH0779252B2 publication Critical patent/JPH0779252B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/008Vector quantisation
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3082Vector coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、信号の符号化に関し、更に詳細には、デジタ
ル音声信号およびデジタル画像信号を符号化するベクト
ル量子化装置に関する。
〔従来の技術〕
音声および画像のデジタル伝送システムにおいて、伝送
される信号の複雑な性質ゆえに、高いビット速度と時間
の掛かる処理が必要とされる。当分野で周知のとおり、
通常は、音声信号または画像信号を知覚的に許容できる
程度に近似した信号を送れば十分である。従って、予測
される信号の範囲にわたってインデックス付き符号の集
合を決め、その信号に最も近いインデックス付き符号を
送ることによって、送信装置を簡単化することができ
る。この処理は、ベクトルの量子化として知られ、この
処理において、所与のベクトル空間から音声または画像
の信号を代表するベクトルが、元のベクトル空間の縮小
集合または何か他の代表ベクトル空間へと、周知のクラ
スタ化技法によって写像される。ベクトルの縮小集合
は、それに関係付けられた写像と共に、ある歪基準に従
って誤差が最小となるように、選択される。このベクト
ルの代表集合は、コードブックと称し、一定の記憶場所
に格納される。
伝送システムにおいて、ベクトルの量子化によって生成
されたコードブックは、送信側と受信側の両方に記憶さ
れる。送信される入力信号は、送信側で、その信号に最
も近似する符号を求めて格納されている符号を探査する
ことによって処理される。その最も近似する符号が、入
力信号の代表(表現)として送られる。受信側では、送
信されたインデックスに対応する符号が、コードブック
から取り出される。こうして結果的に、転送ビット率が
大幅に減少することになる。
しかしながら、最も近似する符号も、入力信号に似てい
るに過ぎない。コードブックに登録項目が少ししかなけ
れば、早い探査が可能となる。しかし、選択されたコー
ドブックが、入力信号をあまりよく代表していないため
に、正確な信号の表現を得ることが難しいこともある。
有り得るすべての信号を正確に表すだけの十分な登録項
目がコードブックに含まれる場合には、最も近似する符
号を決定するのに、符号の非常に大きな集合にわたる時
間の掛かる探査が必要となる。この処理の遅れは、その
信号の伝送に割り当てられた時間を越える可能性もあ
る。場合によっては、ベクトルの量子化では、信号の品
質基準を満たすことができないこともある。また、信号
表現の正確さと転送速度との間で妥協しなければならな
い場合もある。大きなコードブックを用いたベクトル量
子化の利点を引き出すために、探査処理に関する種々の
改善が提案されてきた。
1988年2月23日発行の米国特許第4,727,354号には、コ
ードブック・メモリを順次探査すると予め記憶された関
連する誤差符号ベクトルを出すという、ベクトル量子化
の符号化においても最もふさわしいベクトル符号を選択
するシステムが開示されている。これらの誤差符号ベク
トルは、最小の(最もふさわしい)誤差符号ベクトルを
選ぶために、ある期間にわたって順次比較される。クロ
ック付き順序化構造によって、現在最小の歪を有する特
定の誤差符号ベクトルを表すインデックス番号を保持す
る出力ラッチがイネーブルにされる。入力ベクトルの要
素からなる新たな各集合は、入力ベクトルの要素のその
特定の集合に対する最小の誤差符号ベクトルとインデッ
クスを求めて探査するために、順序化される。
1989年1月10日発行の米国特許第4,797,925号には、低
ビットレートで音声を符号化する方法が開示されている
が、これは、各符号列を前の符号列に関係させて、格納
されているコードブックを使用することの計算上の複雑
さを減らすようにしたものである。1986年の音響、音声
および信号の処理に関する国際会議(ICASSP)の議事録
のp.2375〜p.2378にあるアイ・エム・トランコソ(Tran
coso)およびビー・エス・エイタル(Atal)による論文
「確率的符号化装置において最適な改良値を発見する効
率的手順(Efficient Procedures for Finding the Opt
imum Innovation in Stochastic Coders)」に開示され
ている手段では、探査処理を単純化するために信号とベ
クトルが周波数変域に変換される。
1989年5月の通信に関するIEEE会報、第37巻、第5号の
p.538〜p.540にあるケイ・ケイ・パリワル(Paliwal)
およびブイ・ラーマスブラメィニアン(Ramasubramania
n)による論文「ベクトル量子化のための部分距離探査
アルゴリズムの効率上、コードブックを順序化する効果
(Effect of Ordering the Codebook on the Efficienc
y of Partial Distance Search Algorithm for Vector
Quantization)」には、なるべく早くベクトルを考慮の
対象外とするためにコードブック・ベクトルと信号との
距離を計算しながら評価する探査アルゴリズムが、説明
されている。コードブック中のベクトルを、それらの対
応するクラスタの大きさに従って順番に並べることによ
って、このアルゴリズムは更に改良される。
前記の方法では、正確な一致を得るべく完全なコードブ
ックを探査するために複雑な処理信号が必要である。そ
こで、本発明の目的は、信号処理の必要条件を減らして
改良したベクトル・コードブック探査を与えることであ
る。
〔発明の概要〕
前記の目的は、次のような装置によって達成される。即
ち、多成分入力信号が、指定されたベクトル空間におけ
る所定の方位へのコードブックの多成分符号の射影に対
応する信号の集合を生成することによって、加速され
る。コードブックの中の最も近似する符号を求める探査
において信号処理を減少させるために、所定の方位への
入力信号の射影は、コードブックからの符号の射影と比
較される。
本発明が目指すのは、規定されたベクトル空間で表現可
能でN個の要素からなる複数の標準信号と、これらの標
準信号のインデックスを表す信号の集合とを備え、デジ
タル信号を符号化する装置である。規定のベクトル空間
で表現可能なN要素入力信号が受信されると、標準信号
の中から、この入力信号を表す標準信号が選択される。
この選択処理には、標準信号のうちの1つの所定の方位
への射影を表す信号の集合と、指定されたベクトル空間
における前記所定の方位への入力信号の射影を表す信号
とを形成することも含まれる。各標準信号は、前記の所
定の方位への入力信号の射影に関する、それらの射影の
差に応じて選択される。射影の差信号によって、入力信
号に対して最小の距離を有する標準信号が決定される。
〔実施例〕
第1図は、N個の要素からなる入力信号に最も近似する
標準信号を選択するためにN要素の標準信号のコードブ
ック全体を探査する本発明の実例となる装置を表す流れ
図である。多要素入力信号 x=(x1,x2,‥‥,xN) (1) により、画像パタンまたは音声パタンの一部を代表(表
現)することができる。1つ1つの標準信号は、音声ま
たは画像の多要素代表信号 yn=yn1,yn2,‥‥,ynN (2) であり、指定されたN次元ベクトル空間に属するベクト
ルとして表すことができる。本発明によれば、コードブ
ックの探査に要する時間は、入力信号と標準信号とを所
定の方位、即ち指定されたベクトル空間の所定の次元に
射影することによって、短縮される。入力信号の射影を
標準信号の射影と比較することにより、最も近似する標
準信号を得るために必要な信号処理が大幅に減少する。
射影のための所定の方位として指定の成分(要素)を選
択することにより、比較に必要とされる信号処理は、さ
らに減少する。これに加えて減少を達成するために、コ
ードブック内の標準信号を射影値の昇順に配列するよう
にする。このようにすれば、比較の回数も減少する。
第1図に付いて考察すると、ユークリッド空間RNにおけ
る式(2)のように表すことのできる標準信号ベクトル
の集合y1,y2,‥‥,yNの各々は、その空間における1つ
の直線上に射影される。それぞれの標準信号ベクトルに
対して、射影値 が得られる。ステップ101において、基準信号ベクトル
が、増加する射影量pの順番に並べ替えられて、この順
番でコードブックに格納される(ステップ101)。並べ
替えには、周知の技法の何れを用いてもよいが、例え
ば、1976年にコンピュータ・サイエンス・プレス(Comp
uter Science Press)が発行したイー・ホロウィッツ
(Horowitz)およびエス・サーニ(Sahni)による「デ
ータ構造の基礎(Fundamentals of Data Structure
s)」に説明されているバイナリ・ソートが使用でき
る。射影順コードブックが、一度、形成されると、それ
以降、どの入力信号または入力信号列に対しても、これ
が使用される。
各標準信号ベクトルynおよび各入力信号ベクトルは、N
次元である。エクトルの射影のために選択された直線
は、前記の指定されたベクトル空間における多成分信号
の成分の1つに一致する可能性がある。この射影は、縮
小写像でなければならない。即ち、ユークリッド空間RK
における任意の2つのベクトル、例えば、uとvとの間
の距離をd(u,v)とし、ベクトルuとvとの間の射影
距離e(u,v)を|p(u)−p(v)|と定義すれば、 となる必要がある。このように、射影写像により、ベク
トル間の接近性が維持されるため、探査速度が増大す
る。当分野で周知のとおり、縮小条件のために、射影の
ための直線の選択が制限されることはない。
コードブックを記憶した後、ステップ103において、探
査を開始する。入力信号の射影に相当する信号pxをステ
ップ103のとおり生成する。ステップ105において、コー
ドブックに中から、入力信号の射影pxに最も近く、これ
に等しいか、これより小さい射影を有するベクトルys
インデックスsを見つけるために、コードブックの探査
を行う。これは、当分野で周知の方法で行うことができ
る。例えば、前記のイー・ホロウィッツ(Horowitz)お
よびエス・サーニ(Sahni)による「データ構造の基礎
(Fundamentals of Data Structures)」に説明されて
いるバイナリ・サーチが使用できる。インデックスsが
決定した後、ステップ110において、インデックス t=s+1 (4) を生成する。ytも、入力信号の射影pに最も近い射影を
有するベクトルであり、入力信号の射影pxは、 ps≦px≦pt (5) によって限定される。
ステップ115において、最小ベクトル距離信号dmと、そ
のインデックスmを、初めは、単一プロセッサで使用可
能な最大可能(largest possible number=LPN)に設定
する。次に、ループ120〜160に入り、入力信号ベクトル
に最も近い、即ち、最小距離信号dmを与える標準信号ベ
クトルを決定する。ステップ120において、標準信号の
射影ptと入力信号の射影pxとの差を、標準信号の射影ps
と入力信号の射影pxとの差と比較する。射影psより射影
ptの方が、射影pに近いならば、最も近い射影のインデ
ックスiをtと設定し、インデックスtをインクリメン
トする(ステップ125)。そうでない場合、インデック
スiをsと設定し、インデックスsをディクリメントす
る(ステップ130)。ステップ120からステップ160まで
の繰り返しにおいて、最初にステップ120を実行する場
合、最も近似するベクトルの候補としては、ステップ10
5および110で発見した標準信号ベクトルを使用する。
ステップ135において、入力信号の射影と、ステップ125
または130の一方から得た最も近い標準信号の射影との
間の距離に相当する信号 e=|pi−px| (6) を生成する。射影差信号eが現在の最小距離信号dmより
大きい場合、前に考察した標準信号ベクトルの方が、入
力信号xに近い。これは、距離d(yi,x)が、それに対
応する射影距離eより常に大きいからである。最初のコ
ードブック・ベクトル候補が、入力信号の射影に最も近
いので、続けて繰り返して行くほど、信号eは大きくな
る。本発明によれば、最も近似する標準信号の選択が、
比較的少ない標準信号に限られているうえに、射影距離
を使用するため、信号処理が、ベクトル空間の距離を求
めるより、かなり簡単である。
ステップ140において、式(5)の射影距離信号eがdm
より大きくない場合、yiが、最も近似する標準信号の候
補である可能性がある。ステップ145に入り、指定のベ
クトル空間における別の第2の直線の上へのyiの射影qi
と、そのベクトル空間における前記の第2の直線の上へ
のxの射影qxとの間の距離を生成する。この二次射影|q
yi−qx|を前に得た最小距離信号dmと比較する(ステッ
プ145)。dmの方が小さい場合、標準信号yiを最も近似
する標準信号として受け入れることはできない。これ
は、yiに対する何れの射影距離eも対応するベクトル空
間距離d(yi,x)より常に小さいことから、明かであ
る。そこで、制御はステップ120に戻って、次の最も近
い射影を有する標準信号を考察する。
ステップ145における二次射影が、dmより小さい場合、
この標準信号は、標準信号ymより適した候補である。
(ステップ150で)生成されたベクトル空間距離d(yi,
x)を最小距離信号dm(y,x)と比較する(ステップ15
5)。ベクトル空間距離d(yi,x)がdmより小さい場
合、ステップ155からステップ160に入る。次に、最小距
離ベクトルに対するコードブック・インデックスmをi
に等しく設定し、dmをd(yi,x)に等しく設定する。そ
して、次の繰り返しのために、制御をステップ120に渡
す。ステップ155において、d(yi,x)がdmより大きい
場合、制御は、直接、ステップ120に渡され、最小距離
信号dmは、変更されないままである。
第9図に、本発明の量子化方法の実例となる入力信号お
よび複数の標準ベクトルの位置を二次元の図で示す。一
次射影は、水平な次元901に沿ってとり、二次射影は、
垂直な次元903に沿ってとってある。標準信号ベクトルy
1〜y8は、点910−1から910−8に、それぞれ位置す
る。ベクトルy1〜y8の一次射影は、点915−1から915−
8にある。入力信号xは、点920に位置し、その一次射
影は、標準信号y4とy5に対するそれぞれの射影点915−
4と915−5との間の点925にある。入力信号x(点92
0)の位置を中心とする円930は、最も近い標準信号y5
での距離d(x,y5)を示す。
第1表に標準信号ベクトルの座標、一次射影(|pyi−px
|)、二次射影(|qyi−qx|)、および距離d(x,yi)を
示す。
第1図において、標準信号ベクトルは、ステップ101の
とおり、コードブックの記憶位置に、一次射影915−1
から915−8に従って配列されている。これらの射影
は、二次射影の座標に対応するので、これらの値は、既
に記憶されている。従って、射影の値を算出する必要は
ない。ステップ103において、入力信号x(14,18)の座
標を得て、ステップ105および110のコードブック探査の
結果、最初の射影インデックスは、s=4、t=5とな
る。ステップ115では、最小ベクトル距離および対応す
るベクトルのインデックスが、最初は、存在し得る最大
の距離信号より大きい任意の数(LPN)に設定される。
最初の繰り返しの開始時には、s=4、t=5、そして
dm=LPNである。ステップ120において、一次射影|px−p
y4|は、一次射影|py5−px|より小さいと判断される。次
に、ステップ130において、iが4に設定され、sが3
にディクリメントされる。ステップ135において、射影
信号e=2が生成される。一次射影信号eは、dm=LPN
より小さいので、ステップ145において、二次射影|qy4
−qx|が、dm=LPNと比較される。ステップ150で生成さ
れた距離信号d(x,y4)=13.5が、dm=LPNより小さい
と分かる(ステップ155)。ステップ160において、dm
d(x,y4)に設定し、次の繰り返しのために、ステップ
120に入る。
一次射影|py5−px|が|py3−px|より小さいので、2回目
の繰り返しの間に、ステップ125において、iは5に設
定され、tは6にインクリメントされる。射影|py5−px
|=3は、dm=13.15より小さく(ステップ140)、二次
射影|qy4−qx|=4も13.15より小さい(ステップ14
5)。従って、ステップ150において、距離信号d(x,
y5)=5が生成され、ステップ155において、13.15と比
較される。結果として、ステップ160において、最小距
離信号dmが5となり、mが5となる。
ステップ120において、一次射影 より小さいので、3回目の繰り返しのステップ125にお
いて、iが6に設定され、tが7にインクリメントされ
る。一次射影 は、dmより小さいが、二次射影 は、dmより大きい。従って、dmは変更されず、ステップ
120において、4回目の繰り返しが開始される。インデ
ックスiが7に変更され、tが8にインクリメントされ
る(ステップ125)。
一次射影 が、最小距離信号dm=5より大きい(ステップ140)の
で、ステップ140から選択ループが起動される。最もふ
さわしい標準信号ベクトルは、y5と決定され、対応する
インデックス信号m=5を送信に使用することができ
る。
本発明による射影構造によれば、標準信号コードブック
の探査範囲が狭くなり、さらに、その限定された探査処
理において入力信号を各標準信号ベクトルと比較するた
めに必要な信号の処理も減少するので、好都合である。
前記の例では、説明のために2次元を用いたが、この方
法は、複雑な音声または画像の信号を表現するために使
用されるような多次元ベクトル空間へと容易に拡張する
ことができる。
第2図に、本発明の実例となる音声プロセッサの一般的
なブロック図を示す。第2図において、マイクロフォン
のようなトランスデューサ201によって、発話メッセー
ジなどの音声パタンを受信される。マイクロフォンから
得たアナログ音声信号は、周波数帯域が限られていて、
フィルタ兼標本化器203において、一連のパルス標本に
変換される。この音声信号の4.0KHz以上の周波数成分を
除去するようにフィルタ処理を準備し、当分野で周知の
ように、8KHzの速度で標本化することも可能である。標
本のタイミングは、クロック発生器225からの標本クロ
ック信号CLによって制御される。フィルタ兼標本化器20
3からの各標本は、アナログ/デジタル変換器205におい
て、振幅を表すデジタル信号に変換される。
変換器205からデジタル音声標本が、線形予測プロセッ
サ215に連続的に与えられる。当分野で周知のとおり、
このプロセッサにおいて、これらの音声標本は、時間的
間隔、即ち10から20ミリ秒の時間フレームに分割され、
各時間フレームに対して一組の線形予測係数信号xa
x1,x2,‥‥,xpが生成される。係数信号は、その時間間
隔(期間)のN>pなる音声標本の予測された短期スペ
クトラムを表す。また、プロセッサ215では、その時間
フレームに対する自己相関係数に対応する信号Rも生成
される。遅延回路210は、変換器205からのデジタル標本
を遅らせて、時間間隔に対する係数信号xaを生成する時
間を与える。遅延されたデジタル標本は、残差信号発生
器220に供給され、そこで、遅延された音声標本の予測
パラメータxaから、それらの差に相当する信号が生成さ
れる。予測パラメータおよび残差信号の生成は、1973年
6月19日にビー・エス・エイタル(Atal)に発行された
米国特許第3,740,476号に開示されている装置による
か、または当分野で周知のその他の技法によって行うこ
とができる。
本発明によれば、線形予測係数(LPC)コードブック235
には、周知のベクトル量子化方法に従うLPCプロセッサ2
15から予測されるLPC信号an=an1,an2,‥‥,anpの範囲
にわたる標本信号の集合が収められている。それぞれの
時間間隔に対するLPC信号xaが、LPCベクトル探査プロセ
ッサ230に供給され、その内部で、最も近似する標準信
号を求めてLPCベクトル・コードブックが探査される。
そして、その時間間隔に対する最も近似する標準信号に
対応するインデックス信号Iaを送って、プロセッサ215
からのLPC信号を表す。
同様に、コードブック245は、残差信号発生器220からの
残差信号の範囲にわたる標準励起信号を備えている。残
差信号は、種々の形で使用することが可能であるが、ケ
プストラム(cepstrum)形式の信号が、探査に有利であ
ることを発見した。従って、励起コードブックは、ケプ
ストラム標準信号を備えている。比較のために、残差信
号発生器220からの残差信号xeは、励起探査プロセッサ2
50に与える前に、ケプストラム変換プロセッサ240にお
いてケプストラム変域に変換される。それぞれの時間間
隔において、プロセッサ240からのケプストラム変換さ
れた残差信号xc eに最も近似するケプストラム標準信号e
c nを求めて、ケプストラム励起コードブックが探査され
る。最も近似するケプストラム標準信号に対応するイン
デックス信号Ieは、発生器220からの残差信号を表すの
に使用される。それぞれの時間間隔に対するLPC表現イ
ンデックス信号および励起表現インデックス信号が、マ
ルチプレクサ255において伝送のために結合される。
第3図は、第2図の探査処理動作で使用し得る、ウエス
タン・エレクトリック社のDSP16型デジタル信号プロセ
ッサのようなデジタル信号プロセッサの一般的なブロッ
ク図である。第3図に付いて説明すると、入出力インタ
フェース301により、LPCプロセッサ215からLPC信号x
aを、残差信号発生器220から残差信号xeを時間間隔で受
信し、これらの信号をバス340を介してランダム・アク
セス・メモリ(RAM)305に転送する。第3図において、
インデックス信号IaおよびIeが、認識されると、インタ
フェースを介してマルチプレクサ255に転送される。
メモリ305には、信号xaおよびxeのほか、最もふさわし
い標準ベクトルの決定に必要な信号が記憶されている。
演算論理ユニットでは、ケプストラム変換、LPC探査お
よび励起探査の動作に必要な信号処理が行われる。制御
ユニット315は、プログラム読み出し専用メモリ(ROM)
325、330および335からの命令に応じて、第3図のプロ
セッサの一列の動作を制御する。ROM325、330、335から
の命令は、プログラム・メモリ・インタフェース320を
介して制御ユニット315に供給される。第2図に関連し
て既に述べたように、励起コードブック245には、ケプ
ストラム励起標準信号が、そしてLPCベクトル・コード
ブック235には、線形予測標準信号が、それぞれ格納さ
れる。
第5図の流れ図は、第3図のLPC探査動作の実例を示
し、プログラムROM335に永久的に記憶された命令の集合
に相当する。第5図に付いて説明する。ステップ501に
おいて、予測されるLPC信号xaの範囲にわたるLPC標準信
号の集合a1,a2,・・・,aNを生成して、コードブック・
メモリ235に記憶する。第1図に関連して述べたよう
に、標準信号は、多数の成分からなる信号の選択された
成分に対応する所定の順序で格納する。記憶されるLPL
標準信号は、それぞれp個の係数を含む。また、そのLP
C標準信号に対する歪基準 に対応する成分も記憶する。Rnは、その標準信号に対す
る自己相関マトリックスである。記憶されるLPC標準信
号anは、次のような形式である。
ステップ501のように、1組のLPC標準信号が、射影成分 の昇順に記憶される。この順序付けられたコードブック
を一度生成すると、これをROM235に格納して、第2図の
音声符号器で使用することができる。
LPCプロセッサ215では、このプロセッサで得た各時間フ
レームに対するLPC信号を生成し、この信号を第3図の
インタフェース回路301に与える。入力LPC信号 は、プログラム記憶装置325内の命令の制御の下で制御
ユニット315によってメモリ305に置かれる(ステップ50
3)。演算論理ユニット310において、射影成分 を生成し、メモリ305に格納する。入力信号の射影 に最も近く、これより小さい射影 を有する標準ベクトルを求めて、格納されたベクトル探
査がステップ505に従って行われる。ここで、インデッ
クスsが設定され、さらに、射影psとptとの間で入力信
号の射影paを不等号でくくるように、インデックスtを
s+1に設定する(ステップ510)。第1図に関連して
先に述べたように、ステップ515において、最小距離信
号dmおよびそのインデックスmを、最初は、LPNに設定
する。その後、ステップ520からステップ560までのルー
プを繰り返して、入力LPC信号xaに最も近似する標準信
号に対するインデックスを決定する。
ステップ520において、標準信号の射影ptと入力信号の
射影paとの間の差を、標準信号の射影psと入力信号の射
影paとの間の差と比較する。これらの射影に関する2つ
の差のうち、小さい方を選択する。射影ptの方がpaに近
い場合、ステップ525に入り、最も近い射影のインデッ
クスiをtとし、インデックスtをインクリメントする
(ステップ525)。そうでない場合、インデックスiを
sとし、インデックスsをデイクリメントする(ステッ
プ530)。ステップ520からステップ560までの最初の繰
り返しの場合、ステップ520では、ステップ505および51
0において入力信号の射影に最も近いと分かった標準信
号の射影を最も近似するベクトルの候補として使用す
る。ステップ535において、ステップ525または530の一
方から得られる最も近い標準信号の投射と入力信号の射
影との差に相当する射影距離信号eを次のように生成す
る。
射影距離信号eが、現在の最小距離信号dmより小さい場
合、標準信号a1が、入力信号xaに最も近い標準信号ベク
トルである可能性がある。さらに確認するために、第1
図に関連して述べた二次射影の比較を用いてもよい。LP
C標準信号に対して二次射影を選ぶことが困難な場合も
ある。従って、ステップ545の部分距離の比較を用い
る。ステップ545において、成分ごとに距離信号を生成
して、各成分を加えた後に、最小距離信号dmと比較す
る。ステップ545における部分距離のうちの1つが最小
距離dmより大きくなったならば、LPC標準ベクトルa1
入力信号LPCベクトルxaとの距離が大きすぎるのであ
る。そこで、制御はステップ520に戻って、次の候補の
標準信号を考察する。
ステップ545の部分距離の生成と比較の動作を第7図の
流れ図にさらに詳細に示す。第7図を説明すると、射影
距離eが、ステップ540で前に決定した最小距離より小
さい場合、ステップ701に入る。ステップ701では、標準
信号の成分インデックスjを1に設定し、部分距離信号
dpをゼロに設定する。部分距離は、(12)式に従って、
成分iによって増加していく。
▲d2 p▼=▲d2 p▼+|aij−xaj|2 (12) jが1のとき、d1は、差信号ai1−xa1の絶対値に相当す
る。この部分距離を前に決定した最小距離信号と比較す
る(ステップ710)。任意のiで式(12)の部分距離が
最小距離dmより大きい場合、ステップ710から再びステ
ップ520に入る。その他の場合は、ステップ715で成分イ
ンデックスjをインクリメントし、部分距離信号に最後
の成分j=pを加えるまでは、ステップ720から再びス
テップ705に入る。その時点で、候補のLPC標準信号a1
さらに近似する候補であると判断される。ステップ560
に入り、mをiに設定し、dmをステップ545で発見したd
pに設定して、再びステップ520に入る。
ステップ540における射影の差信号eが、現在の最小距
離信号dmより大きい場合、前に考察した標準信号ベクト
ルamを、入力信号xaに最も近いものとして、選択する。
第1図に関連して既に述べたように、最初のコードブッ
ク・ベクトル候補に対して最も近い射影psおよびptが選
択され、以降、ステップ520からステップ560までのルー
プを繰り返すごとに、これらの射影信号は、増加してい
く。この時、選択した標準信号に対するインデックスIa
を、第3図のプロセッサにおいてmに設定し、そしてチ
ャネル260で伝送するために第2図のマルチプレクサ555
に送る。
第2図の符号化器においては、選択されたLPC標準信号
に対するインデックスが、決定されるだけでなく、残差
信号発生器220で発生された残差信号に最も近似する励
起標準信号に対応するインデックス信号Ieも与えられ
る。しかし、時間フレームの期間に対する残差信号は、
比較的複雑である。例えば、音声パタンの16msの期間に
対するxeは、ランダムに変化する128の成分を有する。
残差に対しては、時間変域のベクトル量子化コードブッ
クが使用できる。時間変域の標準信号の登録項目を当分
野で周知の方法でケプストラム変域に変換することによ
って、さらに簡潔なコードブックを形成することができ
る。残差xeに対応するケプストラム変域の標準信号の方
が、成分が例えば16というように少なく、それらの成分
は、変化はランダムというよりは良いので、好都合であ
る。信号処理におけるケプストラムの生成とその使用に
ついては、1978年、プレンティス・ホール社出版のエル
・アール・ラビナ(Rabiner)およびアール・ダブル・
シェイファ(Schafer)による「音声信号のデジタル処
理(Digital Processing of Speech Signals)」(p.35
5〜p.390)、および1987年、アジソン=ウェスレー出版
社(Addison−Wesley Publishing Co.)出版のディ・オ
ショーネシィ(O'Shaughnessy)による「音声通信の人
間と機械(Speech Communication Human and Machin
e)」(p.226〜231およびp.309〜310)に説明がある。
残差信号 en=e1,e2,‥‥,eN (13) において、Nは128であると思われるが、この信号をケ
プストラム変域に変換するには、変換信号 log|DFT(en)| (14) を生成し、さらに、このディスクリート・フーリエ逆変
換 DFT-1(log|DFT(en)|) =▲ec 1▼,▲ec 2▼,‥‥,▲ec M▼ (15) を生成すればよい。ここで、Mは32であろう。このよう
にすれば、残差信号は、さらに扱いやすい形になる。
第2図および第3図のコードブック245は、一次射影値
の昇順に格納された1組のケプストラム変域の励起標準
信号からなる。各信号 は、M個の成分を有するケプストラル(cepstral)・ベ
クトル ▲ec i▼=▲ec i1▼,▲ec i2▼,‥‥,▲ec iM▼(1
6) として記憶される。成分 は一次射影として選択し、 は二次射影として選択することができる。残差信号e
xは、第2図のケプストラム変換プロセッサにおいて、
ケプストラム信号 ▲xc e▼=▲xc e1▼,▲xc c2▼,‥‥,▲xc eM▼(1
7) に変換される。ケプストラム変換プロセッサは、第3図
の信号プロセッサ構成における他の機能と一緒に実現す
るか、または当分野で周知の手段で実現することができ
る。信号 が一度得られると、第3図の信号プロセッサは、第6図
の流れ図に図解した励起探査処理の動作を行う。これら
の動作は、プログラム・メモリ320に記憶されている命
令の制御下にある。
第6図に付いて説明する。量子化された標準ケプストラ
ル・ベクトルの集合 が、ケプストラル励起ベクトル・コードブック245に、
一次射影成分の順番に永久的に記憶される(ステップ60
1)。残差信号発生器220からの入力残差信号xeが、ケプ
ストラム変換プロセッサ240に与えられ、式(17)のケ
プストラム信号が生成される(ステップ603)。コード
ブックを探査して、ケプストラム変換した入力信号残差
▲xc e▼の射影peより小さいケプストラム励起標準信号
ベクトル▲ec s▼の射影psに対応するインデックスsを
決定する(ステップ605)。次に、関係 ps<pe<pt (18) を満足し、最も近い励起標準信号▲ec t▼に対応する刺
激標準信号のインデックスt=s+1を生成する(ステ
ップ610)。
ケプストラム励起標準信号ベクトル▲ec s▼、▲ec t
は励起入力信号の成分 に沿った射影を有する。最小距離信号dmとそのインデッ
クスmを、第3図の信号プロセッサにおいて、最初は、
最大可能数に設定し(ステップ615)、ステップ620から
660までのループを繰り返して、ケプストラム変域にあ
る最も近似する励起標準賃号のインデックスを決定す
る。
ステップ620において、標準信号に射影ptと入力信号の
射影peとの差を標準信号に射影psと入力信号の射影pe
の差と比較する。射影psより射影ptの方が、射影peに近
い場合、最も近い射影のインデックスiをtとし、イン
デックスtをインクリメントする(ステップ625)。そ
うでない場合は、インデックスiをsに設定し、sをデ
ィクリメントする(ステップ630)。ステップ620から63
0までのループの繰り返しにおいて、最初にステップ620
を実行する場合、ステップ605および610で発見したケプ
ストラム標準信号ベクトルを最も近似するケプストラム
・ベクトルとして使用する。
ステップ635において、入力信号の射影と最も近い標準
信号の射影との間の差に相当する信号 を、ステップ625またはステップ630の一方から生成す
る。射影の差信号eが、現在の最小距離信号dmより小さ
いならば、前に考察したケプストラム標準信号ベクトル
の方が、励起入力信号xeに近い。次に、第3図のプロセ
ッサにおいて、インデックス信号Ieが、mに設定され
て、インタフェース301から出力される。この選択が可
能なのは、距離 d2(▲ec i▼,▲xc e▼=Σ(▲ec ij▼−▲xc ej▼)
(20) が、対応する射影距離eより常に大きいからである。最
初のコードブック・ケプストラル・ベクトル候補の射影
が入力信号の射影に最も近いので、信号eは、以降、繰
り返すたびに、大きくなる。第1図に関連して既に述べ
たように、最も近似する標準信号の選択が、比較的小数
の標準信号に限られていて、射影距離に対する信号処理
の方が、ベクトル空間距離の信号処理より、かなり簡単
である。
ステップ640において、(19)式の射影距離信号eがdm
より大きくない場合、▲ec i▼が、最も近似する励起標
準信号に対する可能な候補である。ステップ645に入
り、ケプストラル・ベクトル空間における二次射影線上
の▲ec i▼の射影qiと、ケプストラル・ベクトル空間に
おける二次射影線上の▲xc e▼の射影qeとの間の距離を
生成する。この二次射影|qe c−qx e|を最小距離信号dm
比較する(ステップ645)。dmの方が小さい場合、最も
近似する標準信号として標準信号▲ec i▼を受け入れる
ことはできない。なぜなら、▲ec i▼に対する射影距離
eは、対応するケプストラル・ベクトル空間距離d(▲
c i▼,▲xc e▼)より常に小さいからである。次に、
制御がステップ620にもどって、次に最も近い射影を有
する標準信号を考察する。
ステップ645における二次射影がdmより小さい場合、標
準信号▲ec i▼は、標準信号▲ec m▼より適した候補で
ある。ステップ650において生成したケプストラム空間
距離d(▲ec i▼,▲xc e▼)を最小距離信号dmと比較
する(ステップ655)。ケプストラム・ベクトル空間距
離d(▲ec i▼,▲xc e▼)が、最小距離信号dmより短
い場合、ステップ655からステップ660にはいる。そこ
で、最小距離のケプストラル・ベクトルに対するコード
ブック・インデックスmをiに等しく設定し、dmをd
(▲ec i▼,▲xc e▼)に等しく設定する。そして、次
の繰り返しのために制御をステップ620に渡す。最小距
離信号dmは不変である。
第2図のLPCベクトル探査プロセッサ230において、各時
間フレームの期間に、入力信号に対して最も近似するLP
C標準信号のインデックスIaが生成される。励起探査プ
ロセッサ250では、入力信号に対する最も近似する励起
のインデックスIeも生成される。これらの2つのインデ
ックスは、マルチプレクサ255において、結合されて、
フレームを表す1つの符号となる。通信システムにおい
て、第2図の符号化器を使用する場合、信号IaおよびIe
からなる符号が、伝送の条件となり、チャネル260に加
えられる。
第4図に、インデックス信号IaおよびIeをその時間フレ
ームの期間に対する音声パタンに変換するように構成し
た復号器を示す。第4図の復号器において、各時間フレ
ームに対するインデックスIaおよびIeからなる符号を受
信すると(第8図のステップ801)、デマルチプレクサ4
01で、これらのインデックスを分解する。LPCインデッ
クスIaは、LPCベクトル選択器405に供給する。LPC選択
器は、インデックスIaを用いて、LPCコードブック410内
の対応する標準符号のアドレス指定を行う。コードブッ
ク410は、第2図のコードブック235と同じ標準信号を内
部に記憶している。コードブック410から対応するLPC標
準符号 を取り出して(ステップ805)、音声シンセサイザ425に
加える。このシンセサイは、当分野で周知のLPCシンセ
サイザならば何でも良い。
デマルチプレクサ401からのインデックス信号Ieは、励
起ベクトル選択器415に与える。励起インデックス信号
により、励起ベクトル・コードブック420のアドレス指
定を行う。この励起ベクトル・コードブックは、音声シ
ンセサイザ425に対する励起信号として直接使用可能な
時間変域の励起標準信号からなる。インデックスIeに対
応する時間変域の励起標準信号を取り出して(ステップ
810)、シンセサイザ425に加える。音声シンセサイザ42
5では、選択器405からの現在の時間フレームのLPC信号 と、選択器415からの現在の時間フレームの励起信号 とを結合して(ステップ815)、第2の符号化器に与え
られる時間フレームの入力信号に取って代わるデジタル
信号を形成する。
デジタル/アナログ変換器430において、現在の時間フ
レームの音声パタンを表す一連の標本が生成される。低
域通過フィルタ435では、標本列から不要な高周波成分
が取り除かれて、アナログ音声信号が生成され、このア
ナログ音声信号が、トランスデューサ440によって音響
パタンに変換される。LPCベクトル選択器405、励起ベク
トル選択器415、および音声シンセサイザ425の動作は、
当分野で周知の技法によって、第3図に示したような信
号プロセッサ装置において実現することも可能である。
以上が、本発明を実証する実施例を引き合いにした本発
明の説明である。しかし、当業者にとり、本発明の主旨
および範囲から逸脱することなく種々の修正および変更
を行い得ることは明白である。音声通信符号化装置との
関連で本発明を説明してきたが、これは、画像式の符号
化装置にも同様に適用可能であり、さらに音声または画
像を符号化し、後で取り出すために記憶媒体に記憶する
ようなシステムにも使用することができる。
【図面の簡単な説明】
第1図は、本発明の実例となるベクトル選択方法の流れ
図、 第2図は、本発明の実例となるベクトル量子化(によ
る)音声符号化装置の一般的なブロック図、 第3図は、第1図の流れ図を実施するために使用できる
信号プロセッサの一般的なブロック図、 第4図は、本発明の実例となるベクトル量子化音声復号
装置の一般的なブロック図、 第5図は、第2図の線形予測ベクトル量子化探査装置の
動作を説明する流れ図、 第6図は、第2図の励起ベクトル探査装置の動作を説明
する流れ図、 第7図は、第6図の流れ図の部分距離の比較処理のさら
に詳細な流れ図、 第8図は、第4図の復号器の動作を説明する流れ図、そ
して 第9図は、第1図の流れ図に示された探査処理を説明す
るグラフである。
フロントページの続き (56)参考文献 特開 平1−319100(JP,A) 特公 平6−81104(JP,B2) 特公 平4−41840(JP,B2) 特公 平6−50440(JP,B2) 米国特許5010574(US,A) 欧州特許出願公開403154(EP,A)

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】多要素(多数の要素からなる)信号の符号
    化において、 規定のベクトル空間において表現可能な複数の多要素標
    準信号y1,y2,…,yNを記憶するステップと、 前記規定のベクトル空間で表現可能な多要素入力信号x
    を受信するステップと、 前記記憶済みの標準信号の中から前記多要素入力信号x
    を表す標準信号ymを選択するステップとを備え、 前記選択するステップが、 前記規定のベクトル空間において所定の方位を指定する
    ステップと、 標準信号ynの射影 をそれぞれ表す信号の集合を前記規定のベクトル空間に
    おける前記所定の方位上に形成するステップと、 前記入力信号の射影pxを表す信号を前記規定のベクトル
    空間における前記所定の方位上に形成するステップと、 前記所定の方位上の射影 に応じて、前記記憶済みの標準信号の中から、標準信号
    yiを1つ以上選択するステップと、 前記の所定の方位上の射影 と前記の入力信号の射影pxとに応じて、前記の選択した
    標準信号yiのそれぞれに対し、前記の標準信号の射影と
    前記の入力信号の射影との前記所定の方位上の差を表す
    信号 を生成するステップと、 前記の射影の差信号に応じて、入力信号に最も近似する
    標準信号ymを決定するステップとを備えたことを特徴と
    する多要素信号を符号化する方法。
  2. 【請求項2】前記記憶済みの標準信号が、それらの前記
    所定の方位の射影の昇順 に配列され、 前記の標準信号を1つ以上選択するステップが、標準信
    号yiを、それらの射影 の前記入力信号射影pxからの距離の増加する順に連続的
    に選択することを含む、ことを特徴とする請求項1記載
    の多要素信号を符号化する方法。
  3. 【請求項3】前記の射影の差信号に応じて、入力信号に
    最も近似する標準信号ymを決定するステップが、 前記の最も近似する標準信号のインデックスに相当する
    信号mをNより大きい値に設定し、前記の最も近似する
    標準信号ymと入力信号xとの距離に相当する信号dmを、
    前記規定のベクトル空間における標準信号と入力信号と
    の最長距離より大きい値に設定するステップと、 前記の連続的に選択された各標準信号yiに対し、前記の
    射影距離信号 を距離信号dmと比較するステップと、 前記の比較するステップにおいて、前記の選択された標
    準信号の射影距離 が、規定のベクトル空間距離dmより短い場合、これに応
    じて、 a)前記規定のベクトル空間における入力信号xとその
    標準信号yiとの間のベクトル空間距離d(yi,x)に相当
    する信号を生成し、 b)d(yi,x)<dmならば、これに応じて、前記ベクト
    ル空間距離信号dmをベクトル空間距離信号d(yi,x)で
    置き換え、 c)前記の選択された標準信号のインデックスmを標準
    信号インデックスiに等しく設定し、 d)次に連続的に選ばれる標準信号yi+1のために、前記
    の比較するステップに戻るステップと、 前記の比較するステップにおいて、前記の選択された標
    準信号の射影距離 が、ベクトル空間距離dmに等しいか、これより大きい場
    合、これに応じて、標準信号ymを最も近似する標準信号
    として選択するステップとを備えた、ことを特徴とする
    請求項2記載の多要素信号を符号化する方法。
  4. 【請求項4】前記規定のベクトル空間における前記所定
    の方位が、前記の多要素入力信号xの所定の要素に相当
    する、ことを特徴とする請求項1、2、または3記載の
    多要素信号を符号化する方法。
  5. 【請求項5】前記の多要素入力信号xが、音声を表す信
    号である、ことを特徴とする請求項1、2、または3記
    載の多要素信号を符号化する方法。
  6. 【請求項6】前記の多要素入力信号xが、画像を表す信
    号である、ことを特徴とする請求項1、2、または3記
    載の多要素信号を符号化する方法。
  7. 【請求項7】多要素信号の符号化において、 規定のベクトル空間において表現可能な複数の多要素標
    準信号y1,y2,…,yNを記憶する手段と、 前記規定のベクトル空間で表現可能な多要素入力信号x
    を受信する手段と、 前記記憶済みの標準信号の中から前記多要素入力信号x
    を表す標準信号ymを選択する手段とを備え、 前記選択する手段が、 前記規定のベクトル空間において所定の方位を指定する
    手段と、 前記標準信号と前記所定の方位とに応じて、標準信号yn
    の射影 をそれぞれ表す信号の集合を前記規定のベクトル空間に
    おける前記所定の方位上に形成する手段と、 前記入力信号と前記所定の方位とに応じて、前記入力信
    号の射影pxを表す信号を前記規定のベクトル空間におけ
    る前記所定の方位上に形成する手段と、 前記所定の方位上の射影 に応じて、前記記憶済みの標準信号の中から、標準信号
    yiを1つ以上選択する手段と、 前記の所定の方位上の射影 と前記の入力信号の射影pxとに応じて、前記の選択した
    標準信号yiのそれぞれに対し、前記の標準信号の射影と
    前記の入力信号の射影との前記所定の方位上の差を表す
    信号 を生成する手段と、 前記の射影の差信号に応じて、入力信号に最も近似する
    標準信号ymを決定する手段とを備えたことを特徴とする
    多要素信号を符号化する装置。
  8. 【請求項8】前記記憶済みの標準信号が、それらの前記
    所定の方位の射影の昇順 に配列され、 前記の標準信号を1つ以上選択する手段が、標準信号yi
    を、それらの射影 の前記入力信号射影pxからの距離の増加する順に連続的
    に選択する手段を含む、 ことを特徴とする請求項7記載の多要素信号を符号化す
    る装置。
  9. 【請求項9】前記の射影の差信号に応じて、入力信号に
    最も近似する標準信号ymを決定する手段が、 前記の最も近似する標準信号のインデックスに相当する
    信号mをNより大きい値に設定し、前記の最も近似する
    標準信号ymと入力信号xとの距離に相当する信号dmを、
    前記規定のベクトル空間における標準信号と入力信号と
    の最長距離より大きい値に設定する手段と、 前記の連続的に選択された各標準信号yiに対し、前記の
    射影距離信号 を距離信号dmと比較する手段と、 前記の比較する手段において、前記の選択された標準信
    号の射影距離 が、規定のベクトル空間距離dmより短い場合、これに応
    じて、 前記規定のベクトル空間における入力信号xとその標準
    信号yiとの間のベクトル空間距離d(yi,x)に相当する
    信号を生成する手段と、 d(yi,x)<dmならば、これに応じて、前記ベクトル空
    間距離信号dmをベクトル空間距離信号d(yi,x)で置き
    換え、さらに、前記の選択された標準信号のインデック
    スmを標準信号インデックスiに等しく設定する手段
    と、 次に連続的に選ばれる標準信号yi+1のために比較を繰り
    返す手段と、 前記の比較する手段において、前記の選択された標準信
    号の射影距離 が、ベクトル空間距離dmに等しいか、これより大きい場
    合、これに応じて、標準信号ymを最も近似する標準信号
    として選択する手段とを備えた、ことを特徴とする請求
    項8記載の多要素信号を符号化する装置。
  10. 【請求項10】前記規定のベクトル空間における前記所
    定の方位が、前記の多要素入力信号xの所定の要素に相
    当する、ことを特徴とする請求項7、8、または9記載
    の多要素信号を符号化する装置。
  11. 【請求項11】前記の多要素入力信号xが、音声を表す
    信号である、ことを特徴とする請求項7、8、または9
    記載の多要素信号を符号化する装置。
  12. 【請求項12】前記の多要素入力信号xが、画像を表す
    信号である、ことを特徴とする請求項7、8、または9
    記載の多要素信号を符号化する装置。
JP2152894A 1989-06-13 1990-06-13 多要素信号を符号化する方法および装置 Expired - Lifetime JPH0779252B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US365,642 1989-06-13
US07/365,642 US5010574A (en) 1989-06-13 1989-06-13 Vector quantizer search arrangement

Publications (2)

Publication Number Publication Date
JPH03101423A JPH03101423A (ja) 1991-04-26
JPH0779252B2 true JPH0779252B2 (ja) 1995-08-23

Family

ID=23439717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2152894A Expired - Lifetime JPH0779252B2 (ja) 1989-06-13 1990-06-13 多要素信号を符号化する方法および装置

Country Status (5)

Country Link
US (1) US5010574A (ja)
EP (1) EP0403154B1 (ja)
JP (1) JPH0779252B2 (ja)
KR (1) KR0143076B1 (ja)
CA (1) CA2013247C (ja)

Families Citing this family (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5010574A (en) 1989-06-13 1991-04-23 At&T Bell Laboratories Vector quantizer search arrangement
GB9017600D0 (en) * 1990-08-10 1990-09-26 British Aerospace An assembly and method for binary tree-searched vector quanisation data compression processing
US5194864A (en) * 1990-10-03 1993-03-16 Olympus Optical Co., Ltd. Vector quantization method and apparatus
US5765127A (en) * 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
US5337394A (en) * 1992-06-09 1994-08-09 Kurzweil Applied Intelligence, Inc. Speech recognizer
EP0577488B9 (en) * 1992-06-29 2007-10-03 Nippon Telegraph And Telephone Corporation Speech coding method and apparatus for the same
US5821924A (en) * 1992-09-04 1998-10-13 Elonex I.P. Holdings, Ltd. Computer peripherals low-power-consumption standby system
DE4315313C2 (de) * 1993-05-07 2001-11-08 Bosch Gmbh Robert Vektorcodierverfahren insbesondere für Sprachsignale
US6304675B1 (en) 1993-12-28 2001-10-16 Sandia Corporation Visual cluster analysis and pattern recognition methods
US5598505A (en) * 1994-09-30 1997-01-28 Apple Computer, Inc. Cepstral correction vector quantizer for speech recognition
JP3273455B2 (ja) * 1994-10-07 2002-04-08 日本電信電話株式会社 ベクトル量子化方法及びその復号化器
AU683058B2 (en) * 1995-04-19 1997-10-30 Motorola, Inc. Method and apparatus for low rate coding and decoding
US5706392A (en) * 1995-06-01 1998-01-06 Rutgers, The State University Of New Jersey Perceptual speech coder and method
US6192336B1 (en) * 1996-09-30 2001-02-20 Apple Computer, Inc. Method and system for searching for an optimal codevector
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
FR2893432B1 (fr) * 2005-11-16 2008-01-04 Atmel Corp Quantificateur de vecteur fonde sur une dichotomie spatiale a n dimensions
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP2008102092A (ja) * 2006-10-20 2008-05-01 Denso Corp 計器
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120310642A1 (en) 2011-06-03 2012-12-06 Apple Inc. Automatically creating a mapping between text data and audio data
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
KR20140056276A (ko) * 2011-07-18 2014-05-09 톰슨 라이센싱 접속된 컴포넌트의 오리엔테이션 벡터를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디바이스, 및 그 인코딩된 데이터를 전달하는 저장 매체
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
KR102579086B1 (ko) 2013-02-07 2023-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
CN112230878B (zh) 2013-03-15 2024-09-27 苹果公司 对中断进行上下文相关处理
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014144395A2 (en) 2013-03-15 2014-09-18 Apple Inc. User training by intelligent digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの2つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
HK1220313A1 (zh) 2013-06-13 2017-04-28 苹果公司 用於由语音命令发起的紧急呼叫的系统和方法
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5010574A (en) 1989-06-13 1991-04-23 At&T Bell Laboratories Vector quantizer search arrangement

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3740476A (en) * 1971-07-09 1973-06-19 Bell Telephone Labor Inc Speech signal pitch detector using prediction error data
JPS5272504A (en) * 1975-12-15 1977-06-17 Fuji Xerox Co Ltd Device for recognizing word audio
DE3382796T2 (de) * 1982-06-11 1996-03-28 Mitsubishi Electric Corp Vorrichtung zur Zwischenbildkodierung.
JPS6143875A (ja) * 1984-08-08 1986-03-03 Nippon Telegr & Teleph Corp <Ntt> ベ−シツクセル式全探索ベクトル量子化符号化器
IT1190565B (it) * 1986-04-07 1988-02-16 Cselt Centro Studi Lab Telecom Procedimento e dispositivo di codifica di segnali numerizati mediante quantizzazione vettoriale
US4797925A (en) * 1986-09-26 1989-01-10 Bell Communications Research, Inc. Method for coding speech at low bit rates
US4727354A (en) * 1987-01-07 1988-02-23 Unisys Corporation System for selecting best fit vector code in vector quantization encoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5010574A (en) 1989-06-13 1991-04-23 At&T Bell Laboratories Vector quantizer search arrangement

Also Published As

Publication number Publication date
CA2013247A1 (en) 1990-12-13
JPH03101423A (ja) 1991-04-26
EP0403154A2 (en) 1990-12-19
CA2013247C (en) 1993-12-14
KR0143076B1 (ko) 1998-08-17
KR910002144A (ko) 1991-01-31
EP0403154A3 (en) 1993-12-01
US5010574A (en) 1991-04-23
EP0403154B1 (en) 1996-01-17

Similar Documents

Publication Publication Date Title
JPH0779252B2 (ja) 多要素信号を符号化する方法および装置
US5794182A (en) Linear predictive speech encoding systems with efficient combination pitch coefficients computation
US6594626B2 (en) Voice encoding and voice decoding using an adaptive codebook and an algebraic codebook
US5371853A (en) Method and system for CELP speech coding and codebook for use therewith
JP3996213B2 (ja) 入力標本列処理方法
US4184049A (en) Transform speech signal coding with pitch controlled adaptive quantizing
US5774839A (en) Delayed decision switched prediction multi-stage LSF vector quantization
US4944013A (en) Multi-pulse speech coder
JP3054438B2 (ja) 線型予測音声符号器における音源パルスの位置決め方法
RU2223555C2 (ru) Адаптивный критерий кодирования речи
JPH10319996A (ja) 雑音の効率的分解と波形補間における周期信号波形
EP1513137A1 (en) Speech processing system and method with multi-pulse excitation
US5448680A (en) Voice communication processing system
US6397176B1 (en) Fixed codebook structure including sub-codebooks
EP0401452A1 (en) Low-delay low-bit-rate speech coder
US5822721A (en) Method and apparatus for fractal-excited linear predictive coding of digital signals
JP2970407B2 (ja) 音声の励振信号符号化装置
JP2000509847A (ja) 音声信号を伝送する伝送システム
US5943644A (en) Speech compression coding with discrete cosine transformation of stochastic elements
JP3252285B2 (ja) 音声帯域信号符号化方法
JP3194930B2 (ja) 音声符号化装置
KR960015861B1 (ko) 선 스펙트럼 주파수 벡터의 양자화 방법 및 양자화기
JP3256215B2 (ja) 音声符号化装置
JPH08234797A (ja) 音声パラメータ量子化装置およびベクトル量子化装置
JPH0651799A (ja) 音声メッセージ符号化装置と復号化装置とを同期化させる方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 15

EXPY Cancellation because of completion of term