JPH08511672A - 冗長性の減少された試験信号を使用する通信装置の試験方法および装置 - Google Patents

冗長性の減少された試験信号を使用する通信装置の試験方法および装置

Info

Publication number
JPH08511672A
JPH08511672A JP7502549A JP50254995A JPH08511672A JP H08511672 A JPH08511672 A JP H08511672A JP 7502549 A JP7502549 A JP 7502549A JP 50254995 A JP50254995 A JP 50254995A JP H08511672 A JPH08511672 A JP H08511672A
Authority
JP
Japan
Prior art keywords
speech
test signal
sequence
communication device
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7502549A
Other languages
English (en)
Other versions
JP3701671B2 (ja
Inventor
ホーリア、マイケル・ピーター
Original Assignee
ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB939312758A external-priority patent/GB9312758D0/en
Application filed by ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー filed Critical ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー
Publication of JPH08511672A publication Critical patent/JPH08511672A/ja
Application granted granted Critical
Publication of JP3701671B2 publication Critical patent/JP3701671B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/2236Quality of speech transmission monitoring
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/46Monitoring; Testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/24Arrangements for testing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Monitoring And Testing Of Exchanges (AREA)
  • Testing Electric Properties And Detecting Electric Faults (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)

Abstract

(57)【要約】 通信装置用の試験信号は、冗長が取除かれた自然のスピーチに類似しているように同じ音の異なる連続と、まれにしか発生しない音と、およびレベル、ピッチおよび期間の極値の音とを含む実際のまたは合成されたスピーチの連続したセグメントを含んでいる。通信装置(1)の特性を解析する時に、解析装置(8)が自然のスピーチにおける各音の発生頻度を考慮する。

Description

【発明の詳細な説明】 冗長性の減少された試験信号を使用する通信装置の試験方法および装置 本発明は、通信装置の試験方法および装置に関する。 通信装置(例えば、電話線、電話回路網、またはコーデック等の通信装置)を 試験する時、試験信号は通信装置の入力に導入され、装置の結果的な出力に対し てある試験が行われる。信号対雑音比のような“客観的”試験測定値を得ること が知られており、その値は自動処理装置によって計算されることができる。聞き 手が通信装置の出力を聞いて、出力の品質について意見を述べる“主観的”試験 を行うことも知られている。 通信システムのいくつかの素子は線形である。したがって、ディスクリートな 周波数正弦波、掃引された正弦波信号またはチャープ信号、ランダムまたは疑似 ランダム雑音信号、またはパルスのような簡単な人工的な試験信号を適用するこ とができる。出力信号は、例えば高速フーリエ変換(FFT)または他のスペク トル解析技術を使用して解析されることができる。1以上のこのような簡単な試 験信号は、線形システムを十分に特徴付けることができる。 他方において、最近の通信システムに含まれる素子では非線形であり、および 、または時間的に変化する素子が増加している。例えば、移動電話システムの一 部分を形成する最近 の低ビット速度のデジタルスピーチコーデックは、非線形応答および自動利得制 御(AGC)、音声活動検出器(VAD)および関連した音声スイッチを有し、 バーストエラーはそれらが一部分を形成する通信システムに時間的変化を生じさ せる。したがって、通信装置の歪みまたは許容度の客観的な尺度を得るために線 形システムに対して開発された簡単な試験方法が益々使用できなくなる。 最近、文献(John G.BeerendsおよびJan A.Stemerdink氏による“Measuring t he Quality of Audio Devices”presented at the 90th AES Convention 1991年 2月19-22日,Paris in AES Preprints as Preprint 3070(L-8)by the Audio Engi neering Society)において、実際に記録されたスピーチのデータベースを試験 信号として使用し、人間の聴覚に生じると考えられるプロセスにいくつかの点で 対応するように設計された知覚的な解析方法を使用するコーデックの対応した出 力を解析することによってデジタル移動無線に対してスピーチコーデックの品質 を測定することが提案されている。 通信装置の特性を測定するためにセプストラル(cepstral)距離(CD)測定の ような通常の歪み解析測定と共に、人工的な音声信号(すなわち、スペクトル的 に人間の音声に類似しているが、インテリジェンスを全く伝達しない信号)を使 用することもまた提案されている(例えば、Irii、Kurashima、KitawakiおよびI toh氏による文献(“Objective Measurement Method for Estimating Speech Qu ality of Low Bit Rate Speech Coding”,NTT Review,Vol.3.No.5,1991年9月) 。 人間のスピーチを符号化するように設計されたコーデックのような試験装置お よび人間の聴覚に基づく解析方法を使用した場合、上記のBeernendsおよびSteme rdink氏の文献において提案されたように、実際の人間のスピーチサンプルを使 用することは明らかである。しかしながら、実際にはこのような試験システムの 特性はあまりよくない。 1つの人工的な音声試験信号が、CCITT勧告P50(Artificial Voices,Vol.Rec .P50,Melbourne 1988,published by CCITT)に記載されている。P50試験信号 には、予め定められた長さのセグメントで与えられたランダムに選択されたシー ケンサで16の予め定められたスペクトルパターンが存在し、そのセグメント間の 転移は滑らかである。P50信号は、約10秒にわたって平均化した場合、スピーチ に対する長期間および短期間のスペクトル類似性を有する。しかしながら、P50 試験信号と実際のスピーチとの間のいくつかの相違が通信システムを試験する時 に顕著であることが認められている。 提案された別のタイプの人工的な試験信号は、文献(H.BrehmおよびW.Stammle r氏による“Description and Generation of Sphericaliy Invarient Speech Mo del Signals”Signal Processing,Vol.12 Pt 2,1987年3月)に記載されているよ うに球状の変化しないランダムプロセス(SIRP)を使用する。これは、自然 のスピーチと同じ長期間スペクトルを有する信号を提供する。短期間スペクトル は自然のスピーチのものに類似しておらず、経過時間にわたる音のグルーピン グが主観的に自然のスピーチと非常に異なって聞こえる。 マルコフ(m)SIRPと呼ばれる変形は、短期間のスペクトルのモデル化を 試みているが、自然のスピーチと異なって聞こえるスピーチ音との間の速いラン ダムな転移を有する。 したがって、本発明は、自然のスピーチにおいて発生する、自然のスピーチに 比較して冗長性が減少された音のシーケンスを含む試験信号を提供する。 実際のスピーチデータを使用する時、いくつかの問題に直面する。表現するに は、話し手の人数が多くなければならず、各話し手からのスピーチ材料は広範囲 にわたるものでなければならず、音声レベルの範囲は各話し手に対して考慮され なければならない。したがって、システムの信頼できる特性を提供するために、 試験されているシステムにより動作されなければならない自然のスピーチ材料の 量は非常に多い。 本発明は、一般に生理学的および言語学的な制約が、スピーチ音のある組合せ が自然のスピーチにおいて発生することを阻止し、試験のために人間のスピーチ で生成された音の多くのものに著しい冗長が存在することの認識に基づいている 。したがって、本発明によると、実際の人間のスピーチからのスピーチ音(記録 または合成されたいずれか)は、冗長を生ぜずに種々のスピーチ音およびレベル の表現例を提供する構造に構成され、実現可能な長さのスピーチ状の試験信号を 提供する。この方法において、自然のスピーチのフォルマント構造および時間的 (temporal)構造を含み、しかも比較的表現的で現実的な期間のスピーチ信号(上 記のSIRPおよびP 50試験信号とは異なる)を得ることができる。 本発明の試験信号と共に通信システムの特性を解析するために使用できる解析 方法は、ここでは全文が参照文献とされているWO94/00922として公開された本 出願人の国際特許出願GB93/01322号明細書に記載されている。 本出願人の欧州特許第94300073.7号明細書(1994年1月6日出願)に記載され、 ここでは参照文献とされている修正によって、解析方法は、連続した時間間隔に わたって1組のスペクトル帯域のそれぞれの中の歪みに応答する歪みを与えられ た試験信号から1組のスペクトル成分信号を周期的に導出する装置を使用するこ とができる。この装置は、通信装置による歪みの主観的影響の尺度を生成するよ うに構成される。この主観的影響の尺度は、時間にわたる歪みの拡散および、ま たは前記のスペクトル帯域に依存するように計算される。 以下の説明および請求の範囲から本発明の別の観点および好ましい実施例が明 らかになるであろう。 以下、添付図面を参照して単なる例示として本発明を説明する。 図1は、使用されている本発明の1実施例の構造を示したブロック図である。 図2は、本発明の1実施例の素子をさらに詳細に示したブロック図である。 図3は、図2の実施例の一部分を形成する試験信号発生器をさらに詳細に示し たブロック図である。 図4は、時間にわたる試験信号の構造を概略的に示す。 図5は、本発明による試験信号シーケンスを導出する装置の構造を示したブロ ック図である。 図6は、図5の装置によって実行されるプロセスを示したフロー図である。 図7は、図6のプロセスの一部分をさらに詳細に示したフロー図である。 図8は図3に対応し、本発明の別の実施例の一部分を形成する試験信号発生器 の構造を示す。 図9は、図8の一部分を形成するスピーチシンセサイザをさらに詳細に示した ブロック図である。 図10は、図2の実施例の一部分を形成する解析装置をさらに詳細に示したブ ロック図である。 図11は、本発明の実施例において図8の解析装置により実行されるプロセス の概略を示したフロー図である。 [装置の概要] 図1を参照すると、通信装置1は、入力ポート2および出力ポート3を含む。 試験装置4は、試験されている通信装置の入力ポート2に結合する出力ポート5 と、試験されている通信装置の出力ポート3に結合するための入力ポート6とを 含む。 図2を参照すると、試験装置4は、出力ポート5に結合されてスピーチ状の試 験信号をそれに供給する試験信号発生器7と、入力ポート6に結合されて通信装 置1から受信された信号を解析する信号解析装置8とを含む。本出願人の上記に 参照にされた国際特許出願明細書に詳細に示されているよう に、解析装置8はまた試験信号発生器7によって生成された試験信号の解析を使 用しており、これはこの実施例において出力ポート5から入力ポート6に至るパ ス9で示されている。 測定信号出力ポート10はまた解析装置8に接続され、ここにおいて通信装置の 許容度(例えば、歪み)のある尺度を示す信号が次の処理または図示されていな い視覚表示装置(VDU)上における表示のために出力される。 [第1の実施形態] [試験信号発生器7] 図3に簡単な形態で示されているように、人工スピーチ発生器は、スピーチ信 号が再構成されることができる記憶されたデジタルデータを含むデジタル記憶装 置71(例えば、ハードディスクまたはデジタルオージオテープ)を含んでいるだ けでもよい。記憶されたデータは個々のデジタル化されたスピーチサンプルでも よく、それらは出力ポート5に接続された信号再構成手段72(例えば、デジタル アナログ変換器(DAC))に記憶装置71から連続的に供給される。記憶装置71 に記憶されたサンプルデータは、何秒間か(例えば10秒間程度)継続する1以上 のスピーチ発声を含む。 制御回路73(例えばマイクロプロセッサ)は、出力されるべき特定の試験信号 を選択するように記憶装置71の動作を制御する。 図4を参照すると、記憶装置71に記憶された試験信号データは、複数のセグメ ントt0,t1,t2,…,tnを含む試験信号を形成するように再構成される。 各セグメントt0乃至tnは、異なるスピーチ音(例えば異なる音素)または沈 黙に対応する。 [試験シーケンスの設計] この実施例において、試験シーケンスは試験信号発生器100(例えば、デジタ ルコンピュータ)によって予め生成されており、スピーチセグメント記憶装置17 1がこの発生器100に接続され、記憶装置171は各音素を発声する実際の人間のス ピーチの記録されたインスタンスのデータベースを記憶する。シーケンス発生器 100はまた試験信号シーケンスをそれに書込むために記憶装置71に接続される。 試験信号の最初の開始点は、異なる定義に応じて40乃至50個存在する音素のセ ット、例えば国際発音アルファベット(International Phonetic Alphabet)( 文献(W.A.Ainsworth氏による“Mechanisms of Speech Recognition”,Pergamon Press,1976))によって定義されたセットである。 これらの音素は、スペクトル内容、および重要である時間的な構造に応じて第 1に発声された音声および音声でない音、第2に母音および子音、第3に破裂音 、摩擦音、推移音等のいくつかのカテゴリィに分けられることが可能である。 本発明のために、自然のスピーチにおいて発生した音を1つ残らず使用して通 信装置を試験する必要はない。その代りとして、上記の各カテゴリィから1以上 の例を採取し、試験信号を形成することで十分である。したがって、音素のセッ トは異なるスペクトル内容(例えば、発声された音声または音声でない音)およ び時間構造(例えば、唇の開または閉に よる終了)を表す10乃至20個のスピーチセグメントのサブセットに減少され、そ れらは図6のステップ301で選択される。 次に、種々のパラメータ、特にレベルまたはエネルギ、ピッチ、期間およびフ ォルマント転移率の統計的分散が考慮される。フォルマントは、スピーチのスペ クトルに共鳴ピークを含むことがスピーチ分野においてよく知られており、それ らのいくつかの位置は調音器官の動きと共に変化する。これらの各パラメータは 、典型的に平均値およびまれにしか発生しない上方および下方の値によって特徴 付けられる。さらに、音素のいくつかおよび音素のいくつかの組合わせは他のも のより平均してより頻繁に発生する。これらの統計的な分布に関する情報は、例 えば文献(Richards D.L氏による“Telecommunication by Speech”Butterwort hs,1973年、またはFletcher H氏による“Speech and Hearing in Communication ”,D.Van Nostrand,1953年、或はAinsworth W.A氏による“Mechanisms of Spee ch Recognition”Permagon Press,1976年、若しくはO'Connor J DおよびTrim J L M氏による“Vowel consonant and Syllable-A Phonological Definition”Wor ld,Vol.9,No.2,1953年8月)に記載されている。 その後,音素のスーパーセットは、サブセットの各音素のいくつかのインスタ ンス、通常レベル(振幅)のもの、実際に通常認められる高いおよび低い極値の もの(例えば、1標準偏差、2標準偏差、またはある別の予め定められた統計的 な量だけ平均レベルから外れた)、同様に自然のスピーチにおいて認められるピ ッチの各極値(高いおよび低い)のもの、 およびフォルマントを含む音に対して自然のスピーチにおいて認められたフォル マント転移速度の各極値(高いおよび低い)におけるもの等を採取することによ ってステップ302で構成される。したがって、スーパーセットは、選択された音 素のインスタンスを含む100個程度のスピーチセグメントのリストを含んでいる 。発生値の頻度は、スーパーセットの各音素に対して記憶される。 CCITT勧告P56に記載された方法を使用して測定されたようなスピーチレ ベルの多様性は、英国電話ネットワークにおいてほぼ4dBの標準偏差を示すこ とが認められている。 通信装置の素子の多くのもの(例えば、エコー消去装置または音声スイッチ) が時間変化特性を有しているため、各スピーチセグメントが発生する内容(すな わち、それに先行する信号部分)は、それが歪みを与えられる程度を決定する時 に重要である。例えば、沈黙または低い振幅スピーチセグメントによって先行さ れるスピーチセグメントは音声スイッチによってクリップされる可能性があり、 一方、それが高い振幅スピーチセグメントによって先行された場合には、このよ うなクリッピングは発生しない。 したがって、このようにして生成されたスピーチセグメントのスーパーセット から試験信号を構成する時、同じスピーチセグメントが1以上の内容(すなわち 、異なるスピーチセグメントによって先行された)において試験信号で表現され ることを確実にするように注意されるか、或は試験信号がスピーチセグメントの 1つのタイプから別のものへの多数の異 なるタイプの転移を確実に含むように別の方法で観察される。短い沈黙がスピー チ中に発生するため、“沈黙”セグメントもまたスーパーセット中に含まれる。 しかしながら、人間の音声システムにおける調音器官がある位置から別の位置 に直ぐに移動することを阻止する生理学的制限のために、或いは例えば連続した 子音の一続きの長さを制限する言語学的な理由(言語間で変化する可能性がある )のいずれかのために1つの音索から別のものへのいくつかの転移は自然のスピ ーチでは発生しない。したがって、本発明によるとスピーチセグメントのいくつ かの連続は、試験信号を構成する時は許されない。 図7は、試験シーケンスを生成するためにステップ303で使用されるアルゴリ ズムの一例を示す。シーケンスは、180秒程度継続し、セグメントの連続から構 成され、それらは好ましくは可変的であるが典型的に数百ミリ秒程度の各期間で ある。 ステップ201において、第1のスピーチセグメント(図4のt0、インデクスi =0)は、随意またはランダム(疑似ランダム)ベースでスピーチセグメントの スーパーセットから選択される。 ステップ202において、スピーチセグメントが既にそのシーケンスで予め定め られた回数以上すでに使用されているか、或いはスピーチセグメントが直前の同 じスピーチセグメント(ti-1)の後のシーケンスで既に発生しているかについ て試験が行われる。これらの基準のいずれかが満たされた場合、 選択されたスピーチセグメントはシーケンスに含まれず、その代りに選択ステッ プ201が新しいスピーチセグメントを発見するために反復される。 ステップ203において、選択されたセグメントが自然のスピーチにおいて前の セグメント(ti-1)に続くことが可能であるか否かを決定するために生理学的 または言語学的ルールが適用される。例えば、セグメントが2つの先行する子音 の後に発生した子音であるか、または2つの先行する摩擦音の後に発生した摩擦 音である場合、それは拒否される。このような発生ルールは、例えばテキストと スピーチの合成においてよく知られている。選択されたセグメントがこれらの発 生ルールに合わない場合、ステップ201が再度反復される。 ステップ204において、シーケンスの長さが試験され、シーケンスが既に予め 定められたセグメント数(すなわち、i=N、予め定められた子音)から構成さ れている場合、シーケンスは終了し、プロセスは図6のステップ304に進む。 ステップ205において、シーケンス中の最後の沈黙セグメントからのスピーチ セグメント数の試験が行なわれる。沈黙セグメントはセグメントのスーパーセッ トのメンバーであり、したがってステップ201でランダムベースで選択される。 しかしながら、2秒以上(例えば)のスピーチセグメントが沈黙セグメントなし に発生している場合、ステップ201でのセグメントの選択に優先して、ステップ2 06において沈黙セグメントが選択される。 そうではなく、ステップ201で選択されたセグメントがス テップ207においてシーケンスに付加された場合、インデクスカウンタiがステ ップ208でインクレメントされる。 シーケンスを限定するスピーチセグメントのリストを選択すると、この実施例 では記憶装置71に記録される信号値のサンプル列が、記憶装置171から対応する 記憶されたスピーチセグメントを読取り、2つのセグメントが接する不連続をス テップ304で取除くようにスピーチセグメント間の転移部分でシーケンスのデジ タル編集を行うことによって得られる。 ステップ304におけるスピーチセグメントの結合すなわち連結は、合成される アナウンスメントにおいて二重音(diphone)を結合するために使用される重複お よび付加技術を使用して行なわれることができる。文献(E.MoulinesおよびF.Ch arpentier氏によるSpeech Communication,Vol.9,No.5/6,453頁,またはC.Hamon 氏らによるproceedings IEEE,International Conference on Acoustics,Speech and Signal Processing(ICASSP)1989)に記載されたピッチ同期重複および付加 技術(PSOLA)が好ましい。 この技術において、結合される2つのスピーチセグメントのエッジ領域におい て、両者が発声されたスピーチセグメントである場合、2つのセグメントの異な るピッチが両者の結合部における中間ピッチに向かって漸次的に変化され、2つ のスピーチセグメントの波形は上記の文献にさらに詳細に記載されているように 重複して付加される。 隣接したスピーチセグメント間のいかなる総エネルギ不整合でも、重複領域に わたる波形の線形リスケーリング(resca ling)によって補正され、スペクトル不整合は、例えば文献(F.Charpentierおよ びE.Moulines氏によるIEEE proceedings of International Conference on Acou stics,Speech and Signal Processing(ICASSP)1989)に記載された時間ドメイン 平滑化技術を使用して補正される。 したがって、シーケンス発生器100は、デジタル信号サンプルの連続した試験 信号シーケンスを信号記憶装置71に漸次的に書込むためにセグメント記憶装置17 1から選択されたセグメントを連結し、それが続いてデジタルアナログ変換器72 を介してスピーチ信号を再構成するために試験信号発生器7において使用される 。 [第2の実施例] 図8を参照すると、この実施例では試験信号発生器7は、デジタルアナログ変 換器72を介して合成されたスピーチ信号を生成するためにパラメータ記憶装置37 1により供給される合成パラメータによって制御されるスピーチシンセサイザ370 を含む。 スピーチシンセサイザ370は、文献(D H Klatt氏によるJournal of the Acous tic Society of America,Vol.67,No.3,1980年3月)に記載され、その構造が図9 に示されており、適切にプログラムされたデジタル信号処理装置(DSP)によ って構成されることのできる縦続・並列フォルマントシンセサイザであることが 好ましい。それは本質的にインパルス発生器373(音声でないスピーチを生成す る)および雑音シーケンスを生成する(発生でないスピーチを生成する)ラン ダム数発生器374の出力に接続された共振フィルタ371の並列バンクおよび直列縦 続フィルタ372から構成されている。インパルス発生器373の反復率およびフィル タの特性は、パラメータ記憶装置371から供給される制御パラメータである。 この実施例において、シーケンス発生器100は、シーケンス記憶装置171がスピ ーチセグメントの再構成を可能にする制御パラメータのシーケンスを記憶するこ とを除いて前の実施例と同様に動作し、スピーチセグメント間の転移は隣接した スピーチセグメント中の各シンセサイザパラメータの値を互いにテーパーして重 複期間にすることによって簡単に達成される。 その代わりに、テキストとスピーチを合成するシンセサイザにおいて使用され るタイプのスピーチシンセサイザ370または記憶されたアナウンスメントが使用 されてもよい。このような装置は、図7のステップ203を部分的に置換すること ができるいくつかのルールを使用して、さらに入力を行うことなく隣接した音素 を連結するように動作する。この場合、記憶装置71は音素識別子データ、レベル データ、ピッチおよび期間または速度データだけを記憶して、出力する。 [解析装置8] 図10を参照すると、解析装置8は入力ポート6から信号を受信し、対応した デジタルパルス列を生成するように構成されたアナログデジタル変換器(ADC )81と、ADC81のデジタル出力を受信するように結合された演算プロセッサ82 (例えば、インテル486プロセッサ等のマイクロプロセッサ、 或はウェスターン・エレクトリック社製のDSP32Cまたはテキサス.インスツ ルメンツ社製のTMS C30装置等のデジタル信号処理装置)と、プロセッサ82 用の命令シーケンスを記憶し、演算結果を記憶するための動作メモリを提供する 記憶装置83と、出力10に接続されたプロセッサ82からの出力ライン84とを含む。 プロセッサ82によって実行されるプロセスは、本出願人の上記に参照文献とさ れた国際特許出願WO94/00922号明細書および欧州特許出願第94300073.7号明細 書に記載されたものに対応し、この両明細書はここでは参照文献にされている。 しかしながら、本発明によると、試験信号を得る時に使用されたデータはまた解 析装置8によって行われる解析を補助するために使用されることができる。 本出願人の上記に参照にされた特許出願において、解析プロセスは、ある程度 の時間間隔にわたって試験信号の歪みの1以上の尺度を計算する。本発明におい て、時間間隔は解析が行われる時間セグメントに対応し、全てのスピーチセグメ ントに対して計算された歪みの尺度は1以上の全体的歪み尺度に影響を与え、各 スピーチセグメント歪みが尺度が全体的測定値に影響する量は、スピーチセグメ ントの発生の頻度にしたがって決定される。したがって、まれにしか発生しない 音素、まれにしか発生しないレベル、まれにしか発生しないピッチ、まれにしか 発生しない期間、およびまれにしか発生しない内容は全て試験信号中に存在する 可能性があるが、それらが受けた歪みは、通信装置の特性を決定する時に適切に 低い加重を与えられる。 図11を参照すると、1実施例により、動作において発生器7によって生成さ れた試験信号はステップ101においてライン9で解析装置8に供給される。ステ ップ102において、加重データのシーケンス、試験シーケンスの各セグメントti に対する1つの加重値Wiは試験信号発生器7から解析装置8に供給される。加 重データは、明らかに自然のスピーチにおいて関与するスピーチセグメントの発 生する確率、すなわちそのレベル、そのピッチおよびその期間で音素の発生する 確率に等しく、随意に直前のスピーチセグメントに続くその音素の確率を考慮し てもよい。加重Wi(i=0乃至N)は、試験信号と共に記憶装置71に記憶され る。 ステップ106において、試験信号発生器7は、通信装置1を介して解析装置8 に供給される試験信号を発生する。ステップ109において、解析装置8は、好ま しくは知覚モデルを使用して、また非常に好ましくは本出願人の上記に参照され た特許出願明細書(その任意の実施例)に記載された方法を使用して各セグメン トに対してライン9で供給された劣化されていない試験信号と通信装置1によっ て歪みを与えられた試験信号との間における歪みの尺度を計算する。各セグメン トに対する歪みの尺度は、例えばエラーラウドネスまたは前記特許出願明細書に 記載されたエラーの合計量またはエラーの分布であってもよい。各セグメントEi に対して歪みの尺度(例えば、そのセグメントおよび、またはスペクトル中の 歪みの量またはラウドネス、およびその時間的な拡散)を指 定すると、通信装置1の全体の歪みの尺度Diがセグメントの歪み尺度Eiの加重 された和を取ることによってステップ210で計算される。換言すると、 D=ΣEii 特性のこの尺度は、ステップ111において例えば視覚表示装置(示されていな い)に出力される。 別の実施例において、加重Wiを供給する試験信号発生器7ではなく、解析装 置8が、音素の完全なセットを表す記憶されたデータに試験信号を整合させるこ とによってライン9で歪みのない(clean)試験信号を認識して、試験信号 を含む音素の識別子、レベル等をそれから導出し、それに応じて記憶された音素 データと関連した加重係数Wiを使用するように構成されたスピーチ認識装置を 含むことができる。 [発明の結果] 本発明の試験信号の効率性は、既知の従来技術のいくつかの試験信号のそれと 比較された。 SIRPの生成した試験信号と比較すると、本発明の試験信号は、通常の人間 のスピーチのそれに非常に近い時間にわたった構造を有する信号を提供する。こ れは、音声スイッチ等の時間依存性素子の影響が主観的に非常に顕著である実際 の通信システムを評価する時に非常に有効であることが分かっている。 さらに、本発明は(SIRPスピーチ信号とは異なり)発声された部分を含ん でいるため、それは聞手に対して主観的に顕著である重要なフォルマント周波数 のスペクトル歪みを 良好に特徴付けることができる。 CCITT勧告P50の信号と比較すると、本発明はP50の信号には存在しない 発声された摩擦音等の特徴を含む非常に変化させられたスピーチ試験信号を供給 する。さらに本発明は、P50の信号には存在しない明確な(clear)フォル マント構造を備えた試験信号を供給する。これは、スライドまたは移動するフォ ルマント周波数(特に第2のフォルマントのもの)が音素の認識において重要で あり、したがって通信システムにおけるスピーチ信号の明瞭性にとって重要であ るため大切である。 最後に、本発明のスピーチ信号の時間構造は、P50の試験信号のものより可変 的で、速い転移、開始および停止を含み、したがって自然のスピーチに近い、時 間にわたって詳細な振幅構造を有する。通信ネットワークの素子の時間依存性の ために、比較的ゆっくりと変化するP50の試験信号は、速い転移をクリップする 歪みを強調しない。 実際の人間のスピーチと比較すると、本発明の試験信号は冗長性を大幅に減少 させており、著しく長い期間にわたって装置をサービスしない状態に放置せずに 、それが過剰に発生するまたはまれにしか発生しない状況を通信装置1に適用す ることを可能にする。 本発明において、スピーチセグメントの小さい表現サブセット(既知の音素の 数十個から選択された)が使用され、異なる内容のシーケンスに組立てられたこ れらの音から試験信号が構成される。歪みは測定されているため、試験シーケン スは互いに比較的異なっているもの、或はさらに一般的にはあるものが別のもの に続いた時に比較的歪みを発生しがちな音の連続したものを含むことがさらに重 要である。 [その他の代替および修正] 本発明の動作の原理を変化せずに上記に記載された実施例に対する多数の変更 が可能なことは上記の説明から明らかであろう。例えば、出力ポート5からの信 号は、通信装置の入力ポート2にデジタル形態で供給され、ADC81は取除かれ てもよい。その代わりに、電気・機械トランスデューサが出力ポート5に設けら れ、信号がオージオ信号として供給されることができる。後者の場合、試験信号 は、ここにおいて共に参照文献にされている、CCITT P.51(Recommendat ion on Artificial Ear and Artificial Mouth,Vol.5,Rec P.51,Melbourne1988 )および上記の英国特許出願GB2218300(8730347)号明細書に記載されている人工 マウスを介して供給されてもよい。 上記において実際の通信装置に対する接続が説明されているが、通信装置によ って導入された歪みをシミュレートするように計算装置をプログラムすることが 同様に可能である。これは、多数のこのような歪みを特徴付けることが比較的容 易なためである(例えば、VADまたはコーデックによるもの)。したがって、 本発明は、信号がこのようなシミュレーション装置に供給される実施例に対して 同様に適応し、通信装置のシミュレートされた歪みを有する出力が処理される。 このようにして、多数の複雑で非線形通信装置の組合わせの 聞手に対する許容度が、現場においてこのような装置を組立てるか、或は接続す る前にモデル化されることができる。 解析装置8および試験信号発生器7は分離したハードウェアとして説明されて いるが、実際には単一の適切に処理されたデジタルプロセッサによって実現可能 であり、同様に上記の実施例において示された通信装置シミュレータは同じプロ セッサによって構成されることができる。 この記載において、“音素”とはその通常の使用法ではそのスピーチ内容が変 形された音を示すが、便宜上“音素”という用語は単一の反復可能な人間のスピ ーチ音を示すために使用されている。 上記に示された実施例は通信装置の試験に関するものであるが、その他の試験 または解析に対する本発明の新しい観点の適用が除外されるものではない。 したがって、ここに記載されたニューマターまたはニューマターの組合わせお よびその変形に対する保護が求められ、それはこのようなマターまたは変形が以 下の請求の範囲の技術的範囲内であるか否かにかかわらず、当業者に明らかであ ろう。 その代わりとして、記憶装置71がフィルタ係数の形態でスピーチデータを記憶 して、例えばLPCスピーチシンセサイザを駆動するか、或は高レベルデータ( 例えば音素、ピッチおよび識別子データ)の形態でそれを記憶して、再構成手段 を含む音素シンセサイザを駆動してもよい。
【手続補正書】特許法第184条の8 【提出日】1995年6月13日 【補正内容】 請求の範囲 1.自然のスピーチにおいて発生した音のシーケンスから構成された試験信号を それに供給することによって通信装置を試験し、試験信号における発生の統計が 、自然のスピーチにはほとんどない音が高い発生率で含まれるように自然のスピ ーチにおける発生の統計と異なっている通信装置の試験方法。 2.自然のスピーチと比較して冗長性が減少されている自然のスピーチで発生し た音のシーケンスを含んでいる試験信号。 3.自然のスピーチの中に見出されるワードの一部分に対応したスピーチ音のシ ーケンスを含み、前記スピーチ音のいくつかがそのシーケンス内のスピーチの特 徴の異なる値を有して複数のインスタンスの中に存在している通信装置の試験用 の試験信号。 4.1つの特徴値は平均値であり、1以上の他のものはまれにしか発生しない特 徴値である請求項3記載の信号。 5.特徴は、音量、ピッチ、期間およびフォルマント転移率の1以上のものから 構成されている請求項3または4記載の信号。 6.自然のスピーチの中に見出されるワードの一部分に対応したスピーチ音のシ ーケンスを含み、そのシーケンスは自然のスピーチで発生したスピーチ音がそれ らの間の少なくとも第1のオーダーの転移と共に表現されるようなものである通 信装置の試験用の試験信号。 7.予め記録された人間のスピーチの連結されたセグメントを含んでいる請求項 2乃至6のいずれか1項記載の信号。 8.パラメトリックスピーチシンセサイザによって生成された合成された信号を 含んでいる請求項2乃至6のいずれか1項記載の信号。 9.前記音のいくつかは複数の異なる先行した音の直ぐ後に続く複数のインスタ ンス中に存在している請求項2乃至8のいずれか1項記載の信号。 10.自然のスピーチでは比較的まれにしか発生しない音が高い相対発生頻度を 有するスピーチ類似音に対応した複数のセグメントを含む試験信号を通信装置に 供給し、前記各音に関して通信装置からの信号出力を解析し、それによって各音 の歪みおよび自然のスピーチにおけるその発生頻度に基づいて通信装置によって 発生させられた歪みの全体的な尺度を形成する通信装置の試験方法。 11.予め記録された試験信号シーケンスを記憶するように構成されたデータ記 憶手段と、前記記憶されたシーケンスを再構成する手段とを含んでいる請求項2 乃至9のいずれか1項による試験信号を生成する装置。 12.前記予め記録されたシーケンスは、記録された自然のスピーチのセグメン トを含んでいる請求項11記載の装置。 13.スピーチシンセサイザと、前記スピーチシンセサイザを制御して前記試験 信号シーケンスを生成するためのデータ記憶手段とを含んでいる請求項11記載 の装置。 14.請求項2乃至9のいずれか1項による試験信号を使用する通信装置の試験 方法。 15.添付図面を参照して実質的に記載されている通信装置 の試験方法。 16.添付図面を参照して実質的に記載されている試験信号。 17.添付図面を参照して実質的に記載されている試験信号生成装置。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FR,GB,GR,IE,IT,LU,M C,NL,PT,SE),AU,BG,BR,BY,C A,CN,CZ,FI,HU,JP,KE,KR,KZ ,LV,NO,NZ,PL,RO,RU,SI,SK, TT,UA,US,UZ,VN

Claims (1)

  1. 【特許請求の範囲】 1.自然のスピーチにおいて発生した音のシーケンスから構成された試験信号を それに供給することによって通信装置を試験し、試験信号における発生の統計が 、自然のスピーチにはほとんどない音が高い発生率で含まれるように自然のスピ ーチにおける発生の統計と異なっている方法。 2.自然のスピーチと比較して冗長性が減少されて自然のスピーチで発生した音 のシーケンスを含んでいる試験信号。 3.自然のスピーチの中に見出されるワードの一部分に対応したスピーチ音のシ ーケンスを含み、前記スピーチ音のいくつかがそのシーケンス内のスピーチの特 徴の異なる値を有して複数のインスタンスの中に存在している通信装置の試験用 の試験信号。 4.1つの特徴値は平均値であり、1以上の他のものはまれにしか発生しない特 徴値である請求項3記載の信号。 5.特徴は、音量、ピッチ、期間およびフォルマント転移率の1以上のものから 構成されている請求項3または4記載の信号。 6.予め記録された人間のスピーチの連結されたセグメントを含んでいる請求項 2乃至5のいずれか1項記載の信号。 7.パラメトリックスピーチシンセサイザによって生成された合成された信号を 含んでいる請求項2乃至5のいずれか1項記載の信号。 8.前記音のいくつかは複数の異なる先行した音の直ぐ後に続く複数のインスタ ンス中に存在している請求項2乃至7の いずれか1項記載の信号。 9.自然のスピーチでは比較的まれにしか発生しない音が高い相対発生頻度を有 するスピーチ類似音に対応した複数のセグメントを含む試験信号をそれに供給し 、前記各音の通信装置による歪みを解析し、各音の歪みおよび自然のスピーチに おけるその発生頻度に基づいて通信装置の歪みの全体的な尺度を形成する通信装 置の試験方法。 10.請求項2乃至8のいずれか1項による試験信号を生成する装置。 11.予め記録された試験信号シーケンスを記憶する手段と、前記記憶されたシ ーケンスを再構成する手段とを含んでいる請求項10記載の装置。 12.前記予め記録されたシーケンスは、記録された自然のスピーチのセグメン トを含んでいる請求項11記載の装置。 13.スピーチシンセサイザおよび前記スピーチシンセサイザを制御して前記試 験信号シーケンスを生成するためのデータ記憶手段を含んでいる請求項10記載 の装置。 14.請求項2乃至8のいずれか1項による試験信号を使用する通信装置の試験 方法。
JP50254995A 1993-06-21 1994-06-17 冗長性の減少された試験信号を使用する通信装置の試験方法および装置 Expired - Lifetime JP3701671B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB939312758A GB9312758D0 (en) 1993-06-21 1993-06-21 Speech-like test stimulus
EP94300076.0 1994-01-06
EP9312758.7 1994-01-06
EP94300076 1994-01-06
PCT/GB1994/001305 WO1995001011A1 (en) 1993-06-21 1994-06-17 Method and apparatus for testing telecommunications equipment using a reduced redundancy test signal

Publications (2)

Publication Number Publication Date
JPH08511672A true JPH08511672A (ja) 1996-12-03
JP3701671B2 JP3701671B2 (ja) 2005-10-05

Family

ID=26136878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50254995A Expired - Lifetime JP3701671B2 (ja) 1993-06-21 1994-06-17 冗長性の減少された試験信号を使用する通信装置の試験方法および装置

Country Status (8)

Country Link
US (1) US5999900A (ja)
EP (1) EP0705501B1 (ja)
JP (1) JP3701671B2 (ja)
AU (1) AU677401B2 (ja)
CA (1) CA2161257C (ja)
DE (1) DE69421704T2 (ja)
SG (1) SG47542A1 (ja)
WO (1) WO1995001011A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9604315D0 (en) * 1996-02-29 1996-05-01 British Telecomm Training process
US6119083A (en) * 1996-02-29 2000-09-12 British Telecommunications Public Limited Company Training process for the classification of a perceptual signal
EP0825787A1 (en) * 1996-08-12 1998-02-25 BRITISH TELECOMMUNICATIONS public limited company Negotiation process for connection management
WO1998053589A1 (en) * 1997-05-16 1998-11-26 British Telecommunications Public Limited Company Testing telecommunications equipment
NL1014075C2 (nl) * 2000-01-13 2001-07-16 Koninkl Kpn Nv Methode en inrichting voor het bepalen van de kwaliteit van een signaal.
WO2001097414A1 (en) 2000-06-12 2001-12-20 British Telecommunications Public Limited Company In-service measurement of perceived speech quality by measuring objective error parameters
AU2003212285A1 (en) * 2002-03-08 2003-09-22 Koninklijke Kpn N.V. Method and system for measuring a system's transmission quality
TW200620239A (en) * 2004-12-13 2006-06-16 Delta Electronic Inc Speech synthesis method capable of adjust prosody, apparatus, and its dialogue system
US20070203694A1 (en) * 2006-02-28 2007-08-30 Nortel Networks Limited Single-sided speech quality measurement
JP5238205B2 (ja) * 2007-09-07 2013-07-17 ニュアンス コミュニケーションズ,インコーポレイテッド 音声合成システム、プログラム及び方法
US7957731B2 (en) * 2008-02-26 2011-06-07 Metrico Wireless, Inc. System and method for determining mobile telephone voice quality in a live network
DE102013005844B3 (de) * 2013-03-28 2014-08-28 Technische Universität Braunschweig Verfahren und Vorrichtung zum Messen der Qualität eines Sprachsignals
US9591125B1 (en) * 2016-02-23 2017-03-07 Verizon Patent And Licensing Inc. Testing audio quality associated with a user device during a double talk communication
US10382143B1 (en) * 2018-08-21 2019-08-13 AC Global Risk, Inc. Method for increasing tone marker signal detection reliability, and system therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6281432A (ja) * 1985-10-04 1987-04-14 Shiseido Co Ltd 水溶性高分子成形物
JPS62167331A (ja) * 1986-01-20 1987-07-23 Unitika Ltd キトサンスポンジ

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4218587A (en) * 1978-09-18 1980-08-19 Storage Technology Corporation Complex signal generation and transmission
IT1121496B (it) * 1979-12-14 1986-04-02 Cselt Centro Studi Lab Telecom Procedimento e dispositivo per l effettuazione di misure oggettive di qualita su apparecchiature di trasmissione di segnali fonici
DE3032699A1 (de) * 1980-08-30 1982-04-29 Karl-Albert Dr.-Ing. 7500 Karlsruhe Turban Verfahren zur reduktion von signalredundanz und zur synthese der menschlichen sprache
US4449231A (en) * 1981-09-25 1984-05-15 Northern Telecom Limited Test signal generator for simulated speech
US4446341A (en) * 1982-07-16 1984-05-01 Bell Telephone Laboratories, Incorporated Mechanized testing of subscriber facilities
IL67379A (en) * 1982-12-01 1985-11-29 Tadiran Israel Elect Ind Ltd Real-time frequency management system for hf communication networks
DE3639753A1 (de) * 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US4860360A (en) * 1987-04-06 1989-08-22 Gte Laboratories Incorporated Method of evaluating speech
GB2218299B (en) * 1987-12-31 1991-08-21 British Telecomm Artificial mouth
GB2218300B (en) * 1987-12-31 1991-06-19 British Telecomm Artificial ear
JPH05827Y2 (ja) * 1989-01-27 1993-01-11
JPH04162863A (ja) * 1990-10-26 1992-06-08 Fujitsu Ltd 加人者系伝送装置の試験方式
JPH04345327A (ja) * 1991-05-23 1992-12-01 Nippon Telegr & Teleph Corp <Ntt> 通話品質客観測定方法
US5369644A (en) * 1991-12-16 1994-11-29 Motorola, Inc. Method for testing a communication system using canned speech
SG48927A1 (en) * 1992-06-24 1998-05-18 British Telecomm Testing telecommunications apparatus
GB9213459D0 (en) * 1992-06-24 1992-08-05 British Telecomm Characterisation of communications systems using a speech-like test stimulus
US5425076A (en) * 1992-06-30 1995-06-13 Minnesota Mining And Manufacturing Company Cellular communications test system
KR960700602A (ko) * 1993-01-14 1996-01-20 세이버리 그레도빌레 전화 네트워크 수행 모니터 방법 및 시스템(telephone network performance monitoring method and system)
US5490234A (en) * 1993-01-21 1996-02-06 Apple Computer, Inc. Waveform blending technique for text-to-speech system
TW267279B (ja) * 1994-04-05 1996-01-01 Philips Electronics Nv

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6281432A (ja) * 1985-10-04 1987-04-14 Shiseido Co Ltd 水溶性高分子成形物
JPS62167331A (ja) * 1986-01-20 1987-07-23 Unitika Ltd キトサンスポンジ

Also Published As

Publication number Publication date
US5999900A (en) 1999-12-07
AU6974694A (en) 1995-01-17
DE69421704T2 (de) 2000-06-08
JP3701671B2 (ja) 2005-10-05
WO1995001011A1 (en) 1995-01-05
DE69421704D1 (de) 1999-12-23
EP0705501A1 (en) 1996-04-10
EP0705501B1 (en) 1999-11-17
SG47542A1 (en) 1998-04-17
CA2161257C (en) 2000-02-22
AU677401B2 (en) 1997-04-24
CA2161257A1 (en) 1995-01-05

Similar Documents

Publication Publication Date Title
Beutnagel et al. The AT&T next-gen TTS system
Doi et al. Alaryngeal speech enhancement based on one-to-many eigenvoice conversion
Wesker et al. Oldenburg logatome speech corpus (OLLO) for speech recognition experiments with humans and machines.
JPH10505718A (ja) オーディオ品質の解析
Syrdal et al. TD-PSOLA versus harmonic plus noise model in diphone based speech synthesis
JP3701671B2 (ja) 冗長性の減少された試験信号を使用する通信装置の試験方法および装置
NZ243731A (en) Synthesising human speech
Kain et al. Formant re-synthesis of dysarthric speech.
US5890104A (en) Method and apparatus for testing telecommunications equipment using a reduced redundancy test signal
Narayanan et al. Speech rate estimation via temporal correlation and selected sub-band correlation
Sak et al. A corpus-based concatenative speech synthesis system for Turkish
Avdeeva et al. Streaming asr encoder for whisper-to-speech online voice conversion
Hunt et al. Issues in high quality LPC analysis and synthesis
Syrdal et al. Exploration of acoustic correlates in speaker selection for concatenative synthesis
Acero Source-filter models for time-scale pitch-scale modification of speech
Nthite et al. End-to-end text-to-speech synthesis for under resourced South African languages
Pfitzinger Unsupervised speech morphing between utterances of any speakers
Cernak Unit selection speech synthesis in noise
Huang Prediction of perceived sound quality of synthetic speech
US20050171777A1 (en) Generation of synthetic speech
Picone et al. Robust pitch detection in a noisy telephone environment
Medhi et al. Different acoustic feature parameters ZCR, STE, LPC and MFCC analysis of Assamese vowel phonemes
Gallardo Human and automatic speaker recognition over telecommunication channels
Steeneken Quality evaluation of speech processing systems
Heute Telephone-speech quality

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041221

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130722

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term