JPH0779252B2 - 多要素信号を符号化する方法および装置 - Google Patents
多要素信号を符号化する方法および装置Info
- Publication number
- JPH0779252B2 JPH0779252B2 JP2152894A JP15289490A JPH0779252B2 JP H0779252 B2 JPH0779252 B2 JP H0779252B2 JP 2152894 A JP2152894 A JP 2152894A JP 15289490 A JP15289490 A JP 15289490A JP H0779252 B2 JPH0779252 B2 JP H0779252B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- standard
- projection
- distance
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3082—Vector coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
ル音声信号およびデジタル画像信号を符号化するベクト
ル量子化装置に関する。
される信号の複雑な性質ゆえに、高いビット速度と時間
の掛かる処理が必要とされる。当分野で周知のとおり、
通常は、音声信号または画像信号を知覚的に許容できる
程度に近似した信号を送れば十分である。従って、予測
される信号の範囲にわたってインデックス付き符号の集
合を決め、その信号に最も近いインデックス付き符号を
送ることによって、送信装置を簡単化することができ
る。この処理は、ベクトルの量子化として知られ、この
処理において、所与のベクトル空間から音声または画像
の信号を代表するベクトルが、元のベクトル空間の縮小
集合または何か他の代表ベクトル空間へと、周知のクラ
スタ化技法によって写像される。ベクトルの縮小集合
は、それに関係付けられた写像と共に、ある歪基準に従
って誤差が最小となるように、選択される。このベクト
ルの代表集合は、コードブックと称し、一定の記憶場所
に格納される。
されたコードブックは、送信側と受信側の両方に記憶さ
れる。送信される入力信号は、送信側で、その信号に最
も近似する符号を求めて格納されている符号を探査する
ことによって処理される。その最も近似する符号が、入
力信号の代表(表現)として送られる。受信側では、送
信されたインデックスに対応する符号が、コードブック
から取り出される。こうして結果的に、転送ビット率が
大幅に減少することになる。
るに過ぎない。コードブックに登録項目が少ししかなけ
れば、早い探査が可能となる。しかし、選択されたコー
ドブックが、入力信号をあまりよく代表していないため
に、正確な信号の表現を得ることが難しいこともある。
有り得るすべての信号を正確に表すだけの十分な登録項
目がコードブックに含まれる場合には、最も近似する符
号を決定するのに、符号の非常に大きな集合にわたる時
間の掛かる探査が必要となる。この処理の遅れは、その
信号の伝送に割り当てられた時間を越える可能性もあ
る。場合によっては、ベクトルの量子化では、信号の品
質基準を満たすことができないこともある。また、信号
表現の正確さと転送速度との間で妥協しなければならな
い場合もある。大きなコードブックを用いたベクトル量
子化の利点を引き出すために、探査処理に関する種々の
改善が提案されてきた。
ードブック・メモリを順次探査すると予め記憶された関
連する誤差符号ベクトルを出すという、ベクトル量子化
の符号化においても最もふさわしいベクトル符号を選択
するシステムが開示されている。これらの誤差符号ベク
トルは、最小の(最もふさわしい)誤差符号ベクトルを
選ぶために、ある期間にわたって順次比較される。クロ
ック付き順序化構造によって、現在最小の歪を有する特
定の誤差符号ベクトルを表すインデックス番号を保持す
る出力ラッチがイネーブルにされる。入力ベクトルの要
素からなる新たな各集合は、入力ベクトルの要素のその
特定の集合に対する最小の誤差符号ベクトルとインデッ
クスを求めて探査するために、順序化される。
ビットレートで音声を符号化する方法が開示されている
が、これは、各符号列を前の符号列に関係させて、格納
されているコードブックを使用することの計算上の複雑
さを減らすようにしたものである。1986年の音響、音声
および信号の処理に関する国際会議(ICASSP)の議事録
のp.2375〜p.2378にあるアイ・エム・トランコソ(Tran
coso)およびビー・エス・エイタル(Atal)による論文
「確率的符号化装置において最適な改良値を発見する効
率的手順(Efficient Procedures for Finding the Opt
imum Innovation in Stochastic Coders)」に開示され
ている手段では、探査処理を単純化するために信号とベ
クトルが周波数変域に変換される。
p.538〜p.540にあるケイ・ケイ・パリワル(Paliwal)
およびブイ・ラーマスブラメィニアン(Ramasubramania
n)による論文「ベクトル量子化のための部分距離探査
アルゴリズムの効率上、コードブックを順序化する効果
(Effect of Ordering the Codebook on the Efficienc
y of Partial Distance Search Algorithm for Vector
Quantization)」には、なるべく早くベクトルを考慮の
対象外とするためにコードブック・ベクトルと信号との
距離を計算しながら評価する探査アルゴリズムが、説明
されている。コードブック中のベクトルを、それらの対
応するクラスタの大きさに従って順番に並べることによ
って、このアルゴリズムは更に改良される。
ックを探査するために複雑な処理信号が必要である。そ
こで、本発明の目的は、信号処理の必要条件を減らして
改良したベクトル・コードブック探査を与えることであ
る。
ち、多成分入力信号が、指定されたベクトル空間におけ
る所定の方位へのコードブックの多成分符号の射影に対
応する信号の集合を生成することによって、加速され
る。コードブックの中の最も近似する符号を求める探査
において信号処理を減少させるために、所定の方位への
入力信号の射影は、コードブックからの符号の射影と比
較される。
能でN個の要素からなる複数の標準信号と、これらの標
準信号のインデックスを表す信号の集合とを備え、デジ
タル信号を符号化する装置である。規定のベクトル空間
で表現可能なN要素入力信号が受信されると、標準信号
の中から、この入力信号を表す標準信号が選択される。
この選択処理には、標準信号のうちの1つの所定の方位
への射影を表す信号の集合と、指定されたベクトル空間
における前記所定の方位への入力信号の射影を表す信号
とを形成することも含まれる。各標準信号は、前記の所
定の方位への入力信号の射影に関する、それらの射影の
差に応じて選択される。射影の差信号によって、入力信
号に対して最小の距離を有する標準信号が決定される。
標準信号を選択するためにN要素の標準信号のコードブ
ック全体を探査する本発明の実例となる装置を表す流れ
図である。多要素入力信号 x=(x1,x2,‥‥,xN) (1) により、画像パタンまたは音声パタンの一部を代表(表
現)することができる。1つ1つの標準信号は、音声ま
たは画像の多要素代表信号 yn=yn1,yn2,‥‥,ynN (2) であり、指定されたN次元ベクトル空間に属するベクト
ルとして表すことができる。本発明によれば、コードブ
ックの探査に要する時間は、入力信号と標準信号とを所
定の方位、即ち指定されたベクトル空間の所定の次元に
射影することによって、短縮される。入力信号の射影を
標準信号の射影と比較することにより、最も近似する標
準信号を得るために必要な信号処理が大幅に減少する。
射影のための所定の方位として指定の成分(要素)を選
択することにより、比較に必要とされる信号処理は、さ
らに減少する。これに加えて減少を達成するために、コ
ードブック内の標準信号を射影値の昇順に配列するよう
にする。このようにすれば、比較の回数も減少する。
る式(2)のように表すことのできる標準信号ベクトル
の集合y1,y2,‥‥,yNの各々は、その空間における1つ
の直線上に射影される。それぞれの標準信号ベクトルに
対して、射影値 が得られる。ステップ101において、基準信号ベクトル
が、増加する射影量pの順番に並べ替えられて、この順
番でコードブックに格納される(ステップ101)。並べ
替えには、周知の技法の何れを用いてもよいが、例え
ば、1976年にコンピュータ・サイエンス・プレス(Comp
uter Science Press)が発行したイー・ホロウィッツ
(Horowitz)およびエス・サーニ(Sahni)による「デ
ータ構造の基礎(Fundamentals of Data Structure
s)」に説明されているバイナリ・ソートが使用でき
る。射影順コードブックが、一度、形成されると、それ
以降、どの入力信号または入力信号列に対しても、これ
が使用される。
次元である。エクトルの射影のために選択された直線
は、前記の指定されたベクトル空間における多成分信号
の成分の1つに一致する可能性がある。この射影は、縮
小写像でなければならない。即ち、ユークリッド空間RK
における任意の2つのベクトル、例えば、uとvとの間
の距離をd(u,v)とし、ベクトルuとvとの間の射影
距離e(u,v)を|p(u)−p(v)|と定義すれば、 となる必要がある。このように、射影写像により、ベク
トル間の接近性が維持されるため、探査速度が増大す
る。当分野で周知のとおり、縮小条件のために、射影の
ための直線の選択が制限されることはない。
査を開始する。入力信号の射影に相当する信号pxをステ
ップ103のとおり生成する。ステップ105において、コー
ドブックに中から、入力信号の射影pxに最も近く、これ
に等しいか、これより小さい射影を有するベクトルysの
インデックスsを見つけるために、コードブックの探査
を行う。これは、当分野で周知の方法で行うことができ
る。例えば、前記のイー・ホロウィッツ(Horowitz)お
よびエス・サーニ(Sahni)による「データ構造の基礎
(Fundamentals of Data Structures)」に説明されて
いるバイナリ・サーチが使用できる。インデックスsが
決定した後、ステップ110において、インデックス t=s+1 (4) を生成する。ytも、入力信号の射影pに最も近い射影を
有するベクトルであり、入力信号の射影pxは、 ps≦px≦pt (5) によって限定される。
のインデックスmを、初めは、単一プロセッサで使用可
能な最大可能(largest possible number=LPN)に設定
する。次に、ループ120〜160に入り、入力信号ベクトル
に最も近い、即ち、最小距離信号dmを与える標準信号ベ
クトルを決定する。ステップ120において、標準信号の
射影ptと入力信号の射影pxとの差を、標準信号の射影ps
と入力信号の射影pxとの差と比較する。射影psより射影
ptの方が、射影pに近いならば、最も近い射影のインデ
ックスiをtと設定し、インデックスtをインクリメン
トする(ステップ125)。そうでない場合、インデック
スiをsと設定し、インデックスsをディクリメントす
る(ステップ130)。ステップ120からステップ160まで
の繰り返しにおいて、最初にステップ120を実行する場
合、最も近似するベクトルの候補としては、ステップ10
5および110で発見した標準信号ベクトルを使用する。
または130の一方から得た最も近い標準信号の射影との
間の距離に相当する信号 e=|pi−px| (6) を生成する。射影差信号eが現在の最小距離信号dmより
大きい場合、前に考察した標準信号ベクトルの方が、入
力信号xに近い。これは、距離d(yi,x)が、それに対
応する射影距離eより常に大きいからである。最初のコ
ードブック・ベクトル候補が、入力信号の射影に最も近
いので、続けて繰り返して行くほど、信号eは大きくな
る。本発明によれば、最も近似する標準信号の選択が、
比較的少ない標準信号に限られているうえに、射影距離
を使用するため、信号処理が、ベクトル空間の距離を求
めるより、かなり簡単である。
より大きくない場合、yiが、最も近似する標準信号の候
補である可能性がある。ステップ145に入り、指定のベ
クトル空間における別の第2の直線の上へのyiの射影qi
と、そのベクトル空間における前記の第2の直線の上へ
のxの射影qxとの間の距離を生成する。この二次射影|q
yi−qx|を前に得た最小距離信号dmと比較する(ステッ
プ145)。dmの方が小さい場合、標準信号yiを最も近似
する標準信号として受け入れることはできない。これ
は、yiに対する何れの射影距離eも対応するベクトル空
間距離d(yi,x)より常に小さいことから、明かであ
る。そこで、制御はステップ120に戻って、次の最も近
い射影を有する標準信号を考察する。
この標準信号は、標準信号ymより適した候補である。
(ステップ150で)生成されたベクトル空間距離d(yi,
x)を最小距離信号dm(y,x)と比較する(ステップ15
5)。ベクトル空間距離d(yi,x)がdmより小さい場
合、ステップ155からステップ160に入る。次に、最小距
離ベクトルに対するコードブック・インデックスmをi
に等しく設定し、dmをd(yi,x)に等しく設定する。そ
して、次の繰り返しのために、制御をステップ120に渡
す。ステップ155において、d(yi,x)がdmより大きい
場合、制御は、直接、ステップ120に渡され、最小距離
信号dmは、変更されないままである。
よび複数の標準ベクトルの位置を二次元の図で示す。一
次射影は、水平な次元901に沿ってとり、二次射影は、
垂直な次元903に沿ってとってある。標準信号ベクトルy
1〜y8は、点910−1から910−8に、それぞれ位置す
る。ベクトルy1〜y8の一次射影は、点915−1から915−
8にある。入力信号xは、点920に位置し、その一次射
影は、標準信号y4とy5に対するそれぞれの射影点915−
4と915−5との間の点925にある。入力信号x(点92
0)の位置を中心とする円930は、最も近い標準信号y5ま
での距離d(x,y5)を示す。
|)、二次射影(|qyi−qx|)、および距離d(x,yi)を
示す。
とおり、コードブックの記憶位置に、一次射影915−1
から915−8に従って配列されている。これらの射影
は、二次射影の座標に対応するので、これらの値は、既
に記憶されている。従って、射影の値を算出する必要は
ない。ステップ103において、入力信号x(14,18)の座
標を得て、ステップ105および110のコードブック探査の
結果、最初の射影インデックスは、s=4、t=5とな
る。ステップ115では、最小ベクトル距離および対応す
るベクトルのインデックスが、最初は、存在し得る最大
の距離信号より大きい任意の数(LPN)に設定される。
dm=LPNである。ステップ120において、一次射影|px−p
y4|は、一次射影|py5−px|より小さいと判断される。次
に、ステップ130において、iが4に設定され、sが3
にディクリメントされる。ステップ135において、射影
信号e=2が生成される。一次射影信号eは、dm=LPN
より小さいので、ステップ145において、二次射影|qy4
−qx|が、dm=LPNと比較される。ステップ150で生成さ
れた距離信号d(x,y4)=13.5が、dm=LPNより小さい
と分かる(ステップ155)。ステップ160において、dmを
d(x,y4)に設定し、次の繰り返しのために、ステップ
120に入る。
の繰り返しの間に、ステップ125において、iは5に設
定され、tは6にインクリメントされる。射影|py5−px
|=3は、dm=13.15より小さく(ステップ140)、二次
射影|qy4−qx|=4も13.15より小さい(ステップ14
5)。従って、ステップ150において、距離信号d(x,
y5)=5が生成され、ステップ155において、13.15と比
較される。結果として、ステップ160において、最小距
離信号dmが5となり、mが5となる。
いて、iが6に設定され、tが7にインクリメントされ
る。一次射影 は、dmより小さいが、二次射影 は、dmより大きい。従って、dmは変更されず、ステップ
120において、4回目の繰り返しが開始される。インデ
ックスiが7に変更され、tが8にインクリメントされ
る(ステップ125)。
で、ステップ140から選択ループが起動される。最もふ
さわしい標準信号ベクトルは、y5と決定され、対応する
インデックス信号m=5を送信に使用することができ
る。
の探査範囲が狭くなり、さらに、その限定された探査処
理において入力信号を各標準信号ベクトルと比較するた
めに必要な信号の処理も減少するので、好都合である。
前記の例では、説明のために2次元を用いたが、この方
法は、複雑な音声または画像の信号を表現するために使
用されるような多次元ベクトル空間へと容易に拡張する
ことができる。
なブロック図を示す。第2図において、マイクロフォン
のようなトランスデューサ201によって、発話メッセー
ジなどの音声パタンを受信される。マイクロフォンから
得たアナログ音声信号は、周波数帯域が限られていて、
フィルタ兼標本化器203において、一連のパルス標本に
変換される。この音声信号の4.0KHz以上の周波数成分を
除去するようにフィルタ処理を準備し、当分野で周知の
ように、8KHzの速度で標本化することも可能である。標
本のタイミングは、クロック発生器225からの標本クロ
ック信号CLによって制御される。フィルタ兼標本化器20
3からの各標本は、アナログ/デジタル変換器205におい
て、振幅を表すデジタル信号に変換される。
サ215に連続的に与えられる。当分野で周知のとおり、
このプロセッサにおいて、これらの音声標本は、時間的
間隔、即ち10から20ミリ秒の時間フレームに分割され、
各時間フレームに対して一組の線形予測係数信号xa=
x1,x2,‥‥,xpが生成される。係数信号は、その時間間
隔(期間)のN>pなる音声標本の予測された短期スペ
クトラムを表す。また、プロセッサ215では、その時間
フレームに対する自己相関係数に対応する信号Rも生成
される。遅延回路210は、変換器205からのデジタル標本
を遅らせて、時間間隔に対する係数信号xaを生成する時
間を与える。遅延されたデジタル標本は、残差信号発生
器220に供給され、そこで、遅延された音声標本の予測
パラメータxaから、それらの差に相当する信号が生成さ
れる。予測パラメータおよび残差信号の生成は、1973年
6月19日にビー・エス・エイタル(Atal)に発行された
米国特許第3,740,476号に開示されている装置による
か、または当分野で周知のその他の技法によって行うこ
とができる。
には、周知のベクトル量子化方法に従うLPCプロセッサ2
15から予測されるLPC信号an=an1,an2,‥‥,anpの範囲
にわたる標本信号の集合が収められている。それぞれの
時間間隔に対するLPC信号xaが、LPCベクトル探査プロセ
ッサ230に供給され、その内部で、最も近似する標準信
号を求めてLPCベクトル・コードブックが探査される。
そして、その時間間隔に対する最も近似する標準信号に
対応するインデックス信号Iaを送って、プロセッサ215
からのLPC信号を表す。
残差信号の範囲にわたる標準励起信号を備えている。残
差信号は、種々の形で使用することが可能であるが、ケ
プストラム(cepstrum)形式の信号が、探査に有利であ
ることを発見した。従って、励起コードブックは、ケプ
ストラム標準信号を備えている。比較のために、残差信
号発生器220からの残差信号xeは、励起探査プロセッサ2
50に与える前に、ケプストラム変換プロセッサ240にお
いてケプストラム変域に変換される。それぞれの時間間
隔において、プロセッサ240からのケプストラム変換さ
れた残差信号xc eに最も近似するケプストラム標準信号e
c nを求めて、ケプストラム励起コードブックが探査され
る。最も近似するケプストラム標準信号に対応するイン
デックス信号Ieは、発生器220からの残差信号を表すの
に使用される。それぞれの時間間隔に対するLPC表現イ
ンデックス信号および励起表現インデックス信号が、マ
ルチプレクサ255において伝送のために結合される。
タン・エレクトリック社のDSP16型デジタル信号プロセ
ッサのようなデジタル信号プロセッサの一般的なブロッ
ク図である。第3図に付いて説明すると、入出力インタ
フェース301により、LPCプロセッサ215からLPC信号x
aを、残差信号発生器220から残差信号xeを時間間隔で受
信し、これらの信号をバス340を介してランダム・アク
セス・メモリ(RAM)305に転送する。第3図において、
インデックス信号IaおよびIeが、認識されると、インタ
フェースを介してマルチプレクサ255に転送される。
い標準ベクトルの決定に必要な信号が記憶されている。
演算論理ユニットでは、ケプストラム変換、LPC探査お
よび励起探査の動作に必要な信号処理が行われる。制御
ユニット315は、プログラム読み出し専用メモリ(ROM)
325、330および335からの命令に応じて、第3図のプロ
セッサの一列の動作を制御する。ROM325、330、335から
の命令は、プログラム・メモリ・インタフェース320を
介して制御ユニット315に供給される。第2図に関連し
て既に述べたように、励起コードブック245には、ケプ
ストラム励起標準信号が、そしてLPCベクトル・コード
ブック235には、線形予測標準信号が、それぞれ格納さ
れる。
し、プログラムROM335に永久的に記憶された命令の集合
に相当する。第5図に付いて説明する。ステップ501に
おいて、予測されるLPC信号xaの範囲にわたるLPC標準信
号の集合a1,a2,・・・,aNを生成して、コードブック・
メモリ235に記憶する。第1図に関連して述べたよう
に、標準信号は、多数の成分からなる信号の選択された
成分に対応する所定の順序で格納する。記憶されるLPL
標準信号は、それぞれp個の係数を含む。また、そのLP
C標準信号に対する歪基準 に対応する成分も記憶する。Rnは、その標準信号に対す
る自己相関マトリックスである。記憶されるLPC標準信
号anは、次のような形式である。
を一度生成すると、これをROM235に格納して、第2図の
音声符号器で使用することができる。
レームに対するLPC信号を生成し、この信号を第3図の
インタフェース回路301に与える。入力LPC信号 は、プログラム記憶装置325内の命令の制御の下で制御
ユニット315によってメモリ305に置かれる(ステップ50
3)。演算論理ユニット310において、射影成分 を生成し、メモリ305に格納する。入力信号の射影 に最も近く、これより小さい射影 を有する標準ベクトルを求めて、格納されたベクトル探
査がステップ505に従って行われる。ここで、インデッ
クスsが設定され、さらに、射影psとptとの間で入力信
号の射影paを不等号でくくるように、インデックスtを
s+1に設定する(ステップ510)。第1図に関連して
先に述べたように、ステップ515において、最小距離信
号dmおよびそのインデックスmを、最初は、LPNに設定
する。その後、ステップ520からステップ560までのルー
プを繰り返して、入力LPC信号xaに最も近似する標準信
号に対するインデックスを決定する。
射影paとの間の差を、標準信号の射影psと入力信号の射
影paとの間の差と比較する。これらの射影に関する2つ
の差のうち、小さい方を選択する。射影ptの方がpaに近
い場合、ステップ525に入り、最も近い射影のインデッ
クスiをtとし、インデックスtをインクリメントする
(ステップ525)。そうでない場合、インデックスiを
sとし、インデックスsをデイクリメントする(ステッ
プ530)。ステップ520からステップ560までの最初の繰
り返しの場合、ステップ520では、ステップ505および51
0において入力信号の射影に最も近いと分かった標準信
号の射影を最も近似するベクトルの候補として使用す
る。ステップ535において、ステップ525または530の一
方から得られる最も近い標準信号の投射と入力信号の射
影との差に相当する射影距離信号eを次のように生成す
る。
合、標準信号a1が、入力信号xaに最も近い標準信号ベク
トルである可能性がある。さらに確認するために、第1
図に関連して述べた二次射影の比較を用いてもよい。LP
C標準信号に対して二次射影を選ぶことが困難な場合も
ある。従って、ステップ545の部分距離の比較を用い
る。ステップ545において、成分ごとに距離信号を生成
して、各成分を加えた後に、最小距離信号dmと比較す
る。ステップ545における部分距離のうちの1つが最小
距離dmより大きくなったならば、LPC標準ベクトルa1と
入力信号LPCベクトルxaとの距離が大きすぎるのであ
る。そこで、制御はステップ520に戻って、次の候補の
標準信号を考察する。
流れ図にさらに詳細に示す。第7図を説明すると、射影
距離eが、ステップ540で前に決定した最小距離より小
さい場合、ステップ701に入る。ステップ701では、標準
信号の成分インデックスjを1に設定し、部分距離信号
dpをゼロに設定する。部分距離は、(12)式に従って、
成分iによって増加していく。
る。この部分距離を前に決定した最小距離信号と比較す
る(ステップ710)。任意のiで式(12)の部分距離が
最小距離dmより大きい場合、ステップ710から再びステ
ップ520に入る。その他の場合は、ステップ715で成分イ
ンデックスjをインクリメントし、部分距離信号に最後
の成分j=pを加えるまでは、ステップ720から再びス
テップ705に入る。その時点で、候補のLPC標準信号a1が
さらに近似する候補であると判断される。ステップ560
に入り、mをiに設定し、dmをステップ545で発見したd
pに設定して、再びステップ520に入る。
離信号dmより大きい場合、前に考察した標準信号ベクト
ルamを、入力信号xaに最も近いものとして、選択する。
第1図に関連して既に述べたように、最初のコードブッ
ク・ベクトル候補に対して最も近い射影psおよびptが選
択され、以降、ステップ520からステップ560までのルー
プを繰り返すごとに、これらの射影信号は、増加してい
く。この時、選択した標準信号に対するインデックスIa
を、第3図のプロセッサにおいてmに設定し、そしてチ
ャネル260で伝送するために第2図のマルチプレクサ555
に送る。
に対するインデックスが、決定されるだけでなく、残差
信号発生器220で発生された残差信号に最も近似する励
起標準信号に対応するインデックス信号Ieも与えられ
る。しかし、時間フレームの期間に対する残差信号は、
比較的複雑である。例えば、音声パタンの16msの期間に
対するxeは、ランダムに変化する128の成分を有する。
残差に対しては、時間変域のベクトル量子化コードブッ
クが使用できる。時間変域の標準信号の登録項目を当分
野で周知の方法でケプストラム変域に変換することによ
って、さらに簡潔なコードブックを形成することができ
る。残差xeに対応するケプストラム変域の標準信号の方
が、成分が例えば16というように少なく、それらの成分
は、変化はランダムというよりは良いので、好都合であ
る。信号処理におけるケプストラムの生成とその使用に
ついては、1978年、プレンティス・ホール社出版のエル
・アール・ラビナ(Rabiner)およびアール・ダブル・
シェイファ(Schafer)による「音声信号のデジタル処
理(Digital Processing of Speech Signals)」(p.35
5〜p.390)、および1987年、アジソン=ウェスレー出版
社(Addison−Wesley Publishing Co.)出版のディ・オ
ショーネシィ(O'Shaughnessy)による「音声通信の人
間と機械(Speech Communication Human and Machin
e)」(p.226〜231およびp.309〜310)に説明がある。
プストラム変域に変換するには、変換信号 log|DFT(en)| (14) を生成し、さらに、このディスクリート・フーリエ逆変
換 DFT-1(log|DFT(en)|) =▲ec 1▼,▲ec 2▼,‥‥,▲ec M▼ (15) を生成すればよい。ここで、Mは32であろう。このよう
にすれば、残差信号は、さらに扱いやすい形になる。
の昇順に格納された1組のケプストラム変域の励起標準
信号からなる。各信号 は、M個の成分を有するケプストラル(cepstral)・ベ
クトル ▲ec i▼=▲ec i1▼,▲ec i2▼,‥‥,▲ec iM▼(1
6) として記憶される。成分 は一次射影として選択し、 は二次射影として選択することができる。残差信号e
xは、第2図のケプストラム変換プロセッサにおいて、
ケプストラム信号 ▲xc e▼=▲xc e1▼,▲xc c2▼,‥‥,▲xc eM▼(1
7) に変換される。ケプストラム変換プロセッサは、第3図
の信号プロセッサ構成における他の機能と一緒に実現す
るか、または当分野で周知の手段で実現することができ
る。信号 が一度得られると、第3図の信号プロセッサは、第6図
の流れ図に図解した励起探査処理の動作を行う。これら
の動作は、プログラム・メモリ320に記憶されている命
令の制御下にある。
ル・ベクトルの集合 が、ケプストラル励起ベクトル・コードブック245に、
一次射影成分の順番に永久的に記憶される(ステップ60
1)。残差信号発生器220からの入力残差信号xeが、ケプ
ストラム変換プロセッサ240に与えられ、式(17)のケ
プストラム信号が生成される(ステップ603)。コード
ブックを探査して、ケプストラム変換した入力信号残差
▲xc e▼の射影peより小さいケプストラム励起標準信号
ベクトル▲ec s▼の射影psに対応するインデックスsを
決定する(ステップ605)。次に、関係 ps<pe<pt (18) を満足し、最も近い励起標準信号▲ec t▼に対応する刺
激標準信号のインデックスt=s+1を生成する(ステ
ップ610)。
は励起入力信号の成分 に沿った射影を有する。最小距離信号dmとそのインデッ
クスmを、第3図の信号プロセッサにおいて、最初は、
最大可能数に設定し(ステップ615)、ステップ620から
660までのループを繰り返して、ケプストラム変域にあ
る最も近似する励起標準賃号のインデックスを決定す
る。
射影peとの差を標準信号に射影psと入力信号の射影peと
の差と比較する。射影psより射影ptの方が、射影peに近
い場合、最も近い射影のインデックスiをtとし、イン
デックスtをインクリメントする(ステップ625)。そ
うでない場合は、インデックスiをsに設定し、sをデ
ィクリメントする(ステップ630)。ステップ620から63
0までのループの繰り返しにおいて、最初にステップ620
を実行する場合、ステップ605および610で発見したケプ
ストラム標準信号ベクトルを最も近似するケプストラム
・ベクトルとして使用する。
信号の射影との間の差に相当する信号 を、ステップ625またはステップ630の一方から生成す
る。射影の差信号eが、現在の最小距離信号dmより小さ
いならば、前に考察したケプストラム標準信号ベクトル
の方が、励起入力信号xeに近い。次に、第3図のプロセ
ッサにおいて、インデックス信号Ieが、mに設定され
て、インタフェース301から出力される。この選択が可
能なのは、距離 d2(▲ec i▼,▲xc e▼=Σ(▲ec ij▼−▲xc ej▼)
2 (20) が、対応する射影距離eより常に大きいからである。最
初のコードブック・ケプストラル・ベクトル候補の射影
が入力信号の射影に最も近いので、信号eは、以降、繰
り返すたびに、大きくなる。第1図に関連して既に述べ
たように、最も近似する標準信号の選択が、比較的小数
の標準信号に限られていて、射影距離に対する信号処理
の方が、ベクトル空間距離の信号処理より、かなり簡単
である。
より大きくない場合、▲ec i▼が、最も近似する励起標
準信号に対する可能な候補である。ステップ645に入
り、ケプストラル・ベクトル空間における二次射影線上
の▲ec i▼の射影qiと、ケプストラル・ベクトル空間に
おける二次射影線上の▲xc e▼の射影qeとの間の距離を
生成する。この二次射影|qe c−qx e|を最小距離信号dmと
比較する(ステップ645)。dmの方が小さい場合、最も
近似する標準信号として標準信号▲ec i▼を受け入れる
ことはできない。なぜなら、▲ec i▼に対する射影距離
eは、対応するケプストラル・ベクトル空間距離d(▲
ec i▼,▲xc e▼)より常に小さいからである。次に、
制御がステップ620にもどって、次に最も近い射影を有
する標準信号を考察する。
準信号▲ec i▼は、標準信号▲ec m▼より適した候補で
ある。ステップ650において生成したケプストラム空間
距離d(▲ec i▼,▲xc e▼)を最小距離信号dmと比較
する(ステップ655)。ケプストラム・ベクトル空間距
離d(▲ec i▼,▲xc e▼)が、最小距離信号dmより短
い場合、ステップ655からステップ660にはいる。そこ
で、最小距離のケプストラル・ベクトルに対するコード
ブック・インデックスmをiに等しく設定し、dmをd
(▲ec i▼,▲xc e▼)に等しく設定する。そして、次
の繰り返しのために制御をステップ620に渡す。最小距
離信号dmは不変である。
間フレームの期間に、入力信号に対して最も近似するLP
C標準信号のインデックスIaが生成される。励起探査プ
ロセッサ250では、入力信号に対する最も近似する励起
のインデックスIeも生成される。これらの2つのインデ
ックスは、マルチプレクサ255において、結合されて、
フレームを表す1つの符号となる。通信システムにおい
て、第2図の符号化器を使用する場合、信号IaおよびIe
からなる符号が、伝送の条件となり、チャネル260に加
えられる。
ームの期間に対する音声パタンに変換するように構成し
た復号器を示す。第4図の復号器において、各時間フレ
ームに対するインデックスIaおよびIeからなる符号を受
信すると(第8図のステップ801)、デマルチプレクサ4
01で、これらのインデックスを分解する。LPCインデッ
クスIaは、LPCベクトル選択器405に供給する。LPC選択
器は、インデックスIaを用いて、LPCコードブック410内
の対応する標準符号のアドレス指定を行う。コードブッ
ク410は、第2図のコードブック235と同じ標準信号を内
部に記憶している。コードブック410から対応するLPC標
準符号 を取り出して(ステップ805)、音声シンセサイザ425に
加える。このシンセサイは、当分野で周知のLPCシンセ
サイザならば何でも良い。
起ベクトル選択器415に与える。励起インデックス信号
により、励起ベクトル・コードブック420のアドレス指
定を行う。この励起ベクトル・コードブックは、音声シ
ンセサイザ425に対する励起信号として直接使用可能な
時間変域の励起標準信号からなる。インデックスIeに対
応する時間変域の励起標準信号を取り出して(ステップ
810)、シンセサイザ425に加える。音声シンセサイザ42
5では、選択器405からの現在の時間フレームのLPC信号 と、選択器415からの現在の時間フレームの励起信号 とを結合して(ステップ815)、第2の符号化器に与え
られる時間フレームの入力信号に取って代わるデジタル
信号を形成する。
レームの音声パタンを表す一連の標本が生成される。低
域通過フィルタ435では、標本列から不要な高周波成分
が取り除かれて、アナログ音声信号が生成され、このア
ナログ音声信号が、トランスデューサ440によって音響
パタンに変換される。LPCベクトル選択器405、励起ベク
トル選択器415、および音声シンセサイザ425の動作は、
当分野で周知の技法によって、第3図に示したような信
号プロセッサ装置において実現することも可能である。
明の説明である。しかし、当業者にとり、本発明の主旨
および範囲から逸脱することなく種々の修正および変更
を行い得ることは明白である。音声通信符号化装置との
関連で本発明を説明してきたが、これは、画像式の符号
化装置にも同様に適用可能であり、さらに音声または画
像を符号化し、後で取り出すために記憶媒体に記憶する
ようなシステムにも使用することができる。
図、 第2図は、本発明の実例となるベクトル量子化(によ
る)音声符号化装置の一般的なブロック図、 第3図は、第1図の流れ図を実施するために使用できる
信号プロセッサの一般的なブロック図、 第4図は、本発明の実例となるベクトル量子化音声復号
装置の一般的なブロック図、 第5図は、第2図の線形予測ベクトル量子化探査装置の
動作を説明する流れ図、 第6図は、第2図の励起ベクトル探査装置の動作を説明
する流れ図、 第7図は、第6図の流れ図の部分距離の比較処理のさら
に詳細な流れ図、 第8図は、第4図の復号器の動作を説明する流れ図、そ
して 第9図は、第1図の流れ図に示された探査処理を説明す
るグラフである。
Claims (12)
- 【請求項1】多要素(多数の要素からなる)信号の符号
化において、 規定のベクトル空間において表現可能な複数の多要素標
準信号y1,y2,…,yNを記憶するステップと、 前記規定のベクトル空間で表現可能な多要素入力信号x
を受信するステップと、 前記記憶済みの標準信号の中から前記多要素入力信号x
を表す標準信号ymを選択するステップとを備え、 前記選択するステップが、 前記規定のベクトル空間において所定の方位を指定する
ステップと、 標準信号ynの射影 をそれぞれ表す信号の集合を前記規定のベクトル空間に
おける前記所定の方位上に形成するステップと、 前記入力信号の射影pxを表す信号を前記規定のベクトル
空間における前記所定の方位上に形成するステップと、 前記所定の方位上の射影 に応じて、前記記憶済みの標準信号の中から、標準信号
yiを1つ以上選択するステップと、 前記の所定の方位上の射影 と前記の入力信号の射影pxとに応じて、前記の選択した
標準信号yiのそれぞれに対し、前記の標準信号の射影と
前記の入力信号の射影との前記所定の方位上の差を表す
信号 を生成するステップと、 前記の射影の差信号に応じて、入力信号に最も近似する
標準信号ymを決定するステップとを備えたことを特徴と
する多要素信号を符号化する方法。 - 【請求項2】前記記憶済みの標準信号が、それらの前記
所定の方位の射影の昇順 に配列され、 前記の標準信号を1つ以上選択するステップが、標準信
号yiを、それらの射影 の前記入力信号射影pxからの距離の増加する順に連続的
に選択することを含む、ことを特徴とする請求項1記載
の多要素信号を符号化する方法。 - 【請求項3】前記の射影の差信号に応じて、入力信号に
最も近似する標準信号ymを決定するステップが、 前記の最も近似する標準信号のインデックスに相当する
信号mをNより大きい値に設定し、前記の最も近似する
標準信号ymと入力信号xとの距離に相当する信号dmを、
前記規定のベクトル空間における標準信号と入力信号と
の最長距離より大きい値に設定するステップと、 前記の連続的に選択された各標準信号yiに対し、前記の
射影距離信号 を距離信号dmと比較するステップと、 前記の比較するステップにおいて、前記の選択された標
準信号の射影距離 が、規定のベクトル空間距離dmより短い場合、これに応
じて、 a)前記規定のベクトル空間における入力信号xとその
標準信号yiとの間のベクトル空間距離d(yi,x)に相当
する信号を生成し、 b)d(yi,x)<dmならば、これに応じて、前記ベクト
ル空間距離信号dmをベクトル空間距離信号d(yi,x)で
置き換え、 c)前記の選択された標準信号のインデックスmを標準
信号インデックスiに等しく設定し、 d)次に連続的に選ばれる標準信号yi+1のために、前記
の比較するステップに戻るステップと、 前記の比較するステップにおいて、前記の選択された標
準信号の射影距離 が、ベクトル空間距離dmに等しいか、これより大きい場
合、これに応じて、標準信号ymを最も近似する標準信号
として選択するステップとを備えた、ことを特徴とする
請求項2記載の多要素信号を符号化する方法。 - 【請求項4】前記規定のベクトル空間における前記所定
の方位が、前記の多要素入力信号xの所定の要素に相当
する、ことを特徴とする請求項1、2、または3記載の
多要素信号を符号化する方法。 - 【請求項5】前記の多要素入力信号xが、音声を表す信
号である、ことを特徴とする請求項1、2、または3記
載の多要素信号を符号化する方法。 - 【請求項6】前記の多要素入力信号xが、画像を表す信
号である、ことを特徴とする請求項1、2、または3記
載の多要素信号を符号化する方法。 - 【請求項7】多要素信号の符号化において、 規定のベクトル空間において表現可能な複数の多要素標
準信号y1,y2,…,yNを記憶する手段と、 前記規定のベクトル空間で表現可能な多要素入力信号x
を受信する手段と、 前記記憶済みの標準信号の中から前記多要素入力信号x
を表す標準信号ymを選択する手段とを備え、 前記選択する手段が、 前記規定のベクトル空間において所定の方位を指定する
手段と、 前記標準信号と前記所定の方位とに応じて、標準信号yn
の射影 をそれぞれ表す信号の集合を前記規定のベクトル空間に
おける前記所定の方位上に形成する手段と、 前記入力信号と前記所定の方位とに応じて、前記入力信
号の射影pxを表す信号を前記規定のベクトル空間におけ
る前記所定の方位上に形成する手段と、 前記所定の方位上の射影 に応じて、前記記憶済みの標準信号の中から、標準信号
yiを1つ以上選択する手段と、 前記の所定の方位上の射影 と前記の入力信号の射影pxとに応じて、前記の選択した
標準信号yiのそれぞれに対し、前記の標準信号の射影と
前記の入力信号の射影との前記所定の方位上の差を表す
信号 を生成する手段と、 前記の射影の差信号に応じて、入力信号に最も近似する
標準信号ymを決定する手段とを備えたことを特徴とする
多要素信号を符号化する装置。 - 【請求項8】前記記憶済みの標準信号が、それらの前記
所定の方位の射影の昇順 に配列され、 前記の標準信号を1つ以上選択する手段が、標準信号yi
を、それらの射影 の前記入力信号射影pxからの距離の増加する順に連続的
に選択する手段を含む、 ことを特徴とする請求項7記載の多要素信号を符号化す
る装置。 - 【請求項9】前記の射影の差信号に応じて、入力信号に
最も近似する標準信号ymを決定する手段が、 前記の最も近似する標準信号のインデックスに相当する
信号mをNより大きい値に設定し、前記の最も近似する
標準信号ymと入力信号xとの距離に相当する信号dmを、
前記規定のベクトル空間における標準信号と入力信号と
の最長距離より大きい値に設定する手段と、 前記の連続的に選択された各標準信号yiに対し、前記の
射影距離信号 を距離信号dmと比較する手段と、 前記の比較する手段において、前記の選択された標準信
号の射影距離 が、規定のベクトル空間距離dmより短い場合、これに応
じて、 前記規定のベクトル空間における入力信号xとその標準
信号yiとの間のベクトル空間距離d(yi,x)に相当する
信号を生成する手段と、 d(yi,x)<dmならば、これに応じて、前記ベクトル空
間距離信号dmをベクトル空間距離信号d(yi,x)で置き
換え、さらに、前記の選択された標準信号のインデック
スmを標準信号インデックスiに等しく設定する手段
と、 次に連続的に選ばれる標準信号yi+1のために比較を繰り
返す手段と、 前記の比較する手段において、前記の選択された標準信
号の射影距離 が、ベクトル空間距離dmに等しいか、これより大きい場
合、これに応じて、標準信号ymを最も近似する標準信号
として選択する手段とを備えた、ことを特徴とする請求
項8記載の多要素信号を符号化する装置。 - 【請求項10】前記規定のベクトル空間における前記所
定の方位が、前記の多要素入力信号xの所定の要素に相
当する、ことを特徴とする請求項7、8、または9記載
の多要素信号を符号化する装置。 - 【請求項11】前記の多要素入力信号xが、音声を表す
信号である、ことを特徴とする請求項7、8、または9
記載の多要素信号を符号化する装置。 - 【請求項12】前記の多要素入力信号xが、画像を表す
信号である、ことを特徴とする請求項7、8、または9
記載の多要素信号を符号化する装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US365,642 | 1989-06-13 | ||
| US07/365,642 US5010574A (en) | 1989-06-13 | 1989-06-13 | Vector quantizer search arrangement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03101423A JPH03101423A (ja) | 1991-04-26 |
| JPH0779252B2 true JPH0779252B2 (ja) | 1995-08-23 |
Family
ID=23439717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2152894A Expired - Lifetime JPH0779252B2 (ja) | 1989-06-13 | 1990-06-13 | 多要素信号を符号化する方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5010574A (ja) |
| EP (1) | EP0403154B1 (ja) |
| JP (1) | JPH0779252B2 (ja) |
| KR (1) | KR0143076B1 (ja) |
| CA (1) | CA2013247C (ja) |
Families Citing this family (166)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5010574A (en) | 1989-06-13 | 1991-04-23 | At&T Bell Laboratories | Vector quantizer search arrangement |
| GB9017600D0 (en) * | 1990-08-10 | 1990-09-26 | British Aerospace | An assembly and method for binary tree-searched vector quanisation data compression processing |
| US5194864A (en) * | 1990-10-03 | 1993-03-16 | Olympus Optical Co., Ltd. | Vector quantization method and apparatus |
| US5765127A (en) * | 1992-03-18 | 1998-06-09 | Sony Corp | High efficiency encoding method |
| US5337394A (en) * | 1992-06-09 | 1994-08-09 | Kurzweil Applied Intelligence, Inc. | Speech recognizer |
| EP0577488B9 (en) * | 1992-06-29 | 2007-10-03 | Nippon Telegraph And Telephone Corporation | Speech coding method and apparatus for the same |
| US5821924A (en) * | 1992-09-04 | 1998-10-13 | Elonex I.P. Holdings, Ltd. | Computer peripherals low-power-consumption standby system |
| DE4315313C2 (de) * | 1993-05-07 | 2001-11-08 | Bosch Gmbh Robert | Vektorcodierverfahren insbesondere für Sprachsignale |
| US6304675B1 (en) | 1993-12-28 | 2001-10-16 | Sandia Corporation | Visual cluster analysis and pattern recognition methods |
| US5598505A (en) * | 1994-09-30 | 1997-01-28 | Apple Computer, Inc. | Cepstral correction vector quantizer for speech recognition |
| JP3273455B2 (ja) * | 1994-10-07 | 2002-04-08 | 日本電信電話株式会社 | ベクトル量子化方法及びその復号化器 |
| AU683058B2 (en) * | 1995-04-19 | 1997-10-30 | Motorola, Inc. | Method and apparatus for low rate coding and decoding |
| US5706392A (en) * | 1995-06-01 | 1998-01-06 | Rutgers, The State University Of New Jersey | Perceptual speech coder and method |
| US6192336B1 (en) * | 1996-09-30 | 2001-02-20 | Apple Computer, Inc. | Method and system for searching for an optimal codevector |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| FR2893432B1 (fr) * | 2005-11-16 | 2008-01-04 | Atmel Corp | Quantificateur de vecteur fonde sur une dichotomie spatiale a n dimensions |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| JP2008102092A (ja) * | 2006-10-20 | 2008-05-01 | Denso Corp | 計器 |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US8620662B2 (en) | 2007-11-20 | 2013-12-31 | Apple Inc. | Context-aware unit selection |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8583418B2 (en) | 2008-09-29 | 2013-11-12 | Apple Inc. | Systems and methods of detecting language and natural language strings for text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| US8600743B2 (en) | 2010-01-06 | 2013-12-03 | Apple Inc. | Noise profile determination for voice-related feature |
| US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US20120310642A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Automatically creating a mapping between text data and audio data |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| KR20140056276A (ko) * | 2011-07-18 | 2014-05-09 | 톰슨 라이센싱 | 접속된 컴포넌트의 오리엔테이션 벡터를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디바이스, 및 그 인코딩된 데이터를 전달하는 저장 매체 |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| WO2013185109A2 (en) | 2012-06-08 | 2013-12-12 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| KR102579086B1 (ko) | 2013-02-07 | 2023-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| CN112230878B (zh) | 2013-03-15 | 2024-09-27 | 苹果公司 | 对中断进行上下文相关处理 |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014144395A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | User training by intelligent digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| JP6259911B2 (ja) | 2013-06-09 | 2018-01-10 | アップル インコーポレイテッド | デジタルアシスタントの2つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| HK1220313A1 (zh) | 2013-06-13 | 2017-04-28 | 苹果公司 | 用於由语音命令发起的紧急呼叫的系统和方法 |
| CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5010574A (en) | 1989-06-13 | 1991-04-23 | At&T Bell Laboratories | Vector quantizer search arrangement |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3740476A (en) * | 1971-07-09 | 1973-06-19 | Bell Telephone Labor Inc | Speech signal pitch detector using prediction error data |
| JPS5272504A (en) * | 1975-12-15 | 1977-06-17 | Fuji Xerox Co Ltd | Device for recognizing word audio |
| DE3382796T2 (de) * | 1982-06-11 | 1996-03-28 | Mitsubishi Electric Corp | Vorrichtung zur Zwischenbildkodierung. |
| JPS6143875A (ja) * | 1984-08-08 | 1986-03-03 | Nippon Telegr & Teleph Corp <Ntt> | ベ−シツクセル式全探索ベクトル量子化符号化器 |
| IT1190565B (it) * | 1986-04-07 | 1988-02-16 | Cselt Centro Studi Lab Telecom | Procedimento e dispositivo di codifica di segnali numerizati mediante quantizzazione vettoriale |
| US4797925A (en) * | 1986-09-26 | 1989-01-10 | Bell Communications Research, Inc. | Method for coding speech at low bit rates |
| US4727354A (en) * | 1987-01-07 | 1988-02-23 | Unisys Corporation | System for selecting best fit vector code in vector quantization encoding |
-
1989
- 1989-06-13 US US07/365,642 patent/US5010574A/en not_active Expired - Lifetime
-
1990
- 1990-03-28 CA CA002013247A patent/CA2013247C/en not_active Expired - Fee Related
- 1990-06-06 EP EP90306158A patent/EP0403154B1/en not_active Expired - Lifetime
- 1990-06-07 KR KR1019900008313A patent/KR0143076B1/ko not_active Expired - Fee Related
- 1990-06-13 JP JP2152894A patent/JPH0779252B2/ja not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5010574A (en) | 1989-06-13 | 1991-04-23 | At&T Bell Laboratories | Vector quantizer search arrangement |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2013247A1 (en) | 1990-12-13 |
| JPH03101423A (ja) | 1991-04-26 |
| EP0403154A2 (en) | 1990-12-19 |
| CA2013247C (en) | 1993-12-14 |
| KR0143076B1 (ko) | 1998-08-17 |
| KR910002144A (ko) | 1991-01-31 |
| EP0403154A3 (en) | 1993-12-01 |
| US5010574A (en) | 1991-04-23 |
| EP0403154B1 (en) | 1996-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0779252B2 (ja) | 多要素信号を符号化する方法および装置 | |
| US5794182A (en) | Linear predictive speech encoding systems with efficient combination pitch coefficients computation | |
| US6594626B2 (en) | Voice encoding and voice decoding using an adaptive codebook and an algebraic codebook | |
| US5371853A (en) | Method and system for CELP speech coding and codebook for use therewith | |
| JP3996213B2 (ja) | 入力標本列処理方法 | |
| US4184049A (en) | Transform speech signal coding with pitch controlled adaptive quantizing | |
| US5774839A (en) | Delayed decision switched prediction multi-stage LSF vector quantization | |
| US4944013A (en) | Multi-pulse speech coder | |
| JP3054438B2 (ja) | 線型予測音声符号器における音源パルスの位置決め方法 | |
| RU2223555C2 (ru) | Адаптивный критерий кодирования речи | |
| JPH10319996A (ja) | 雑音の効率的分解と波形補間における周期信号波形 | |
| EP1513137A1 (en) | Speech processing system and method with multi-pulse excitation | |
| US5448680A (en) | Voice communication processing system | |
| US6397176B1 (en) | Fixed codebook structure including sub-codebooks | |
| EP0401452A1 (en) | Low-delay low-bit-rate speech coder | |
| US5822721A (en) | Method and apparatus for fractal-excited linear predictive coding of digital signals | |
| JP2970407B2 (ja) | 音声の励振信号符号化装置 | |
| JP2000509847A (ja) | 音声信号を伝送する伝送システム | |
| US5943644A (en) | Speech compression coding with discrete cosine transformation of stochastic elements | |
| JP3252285B2 (ja) | 音声帯域信号符号化方法 | |
| JP3194930B2 (ja) | 音声符号化装置 | |
| KR960015861B1 (ko) | 선 스펙트럼 주파수 벡터의 양자화 방법 및 양자화기 | |
| JP3256215B2 (ja) | 音声符号化装置 | |
| JPH08234797A (ja) | 音声パラメータ量子化装置およびベクトル量子化装置 | |
| JPH0651799A (ja) | 音声メッセージ符号化装置と復号化装置とを同期化させる方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 15 |
|
| EXPY | Cancellation because of completion of term |