JP2000270089A - 拡声通話装置 - Google Patents

拡声通話装置

Info

Publication number
JP2000270089A
JP2000270089A JP11072927A JP7292799A JP2000270089A JP 2000270089 A JP2000270089 A JP 2000270089A JP 11072927 A JP11072927 A JP 11072927A JP 7292799 A JP7292799 A JP 7292799A JP 2000270089 A JP2000270089 A JP 2000270089A
Authority
JP
Japan
Prior art keywords
unit
loss
feedback gain
output
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11072927A
Other languages
English (en)
Other versions
JP3580168B2 (ja
Inventor
Minoru Fukushima
実 福島
Hiroaki Takeyama
博昭 竹山
Akira Terasawa
章 寺澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP07292799A priority Critical patent/JP3580168B2/ja
Publication of JP2000270089A publication Critical patent/JP2000270089A/ja
Application granted granted Critical
Publication of JP3580168B2 publication Critical patent/JP3580168B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

(57)【要約】 【課題】高い精度で帰還利得を推定し挿入損失量を適切
な値に制御することで同時通話性に優れた拡声通話装置
を提供する。 【解決手段】挿入損失量調整手段7が具備する第1及び
第2の最小値算出部15,19により近端側並びに遠端
側の帰還経路において考えられる最大の伝達遅延時間の
間、第2及び第4の平均パワー推定部14,18の出力
値(時間平均パワーLrout,Lsout)を観測してその
最小値[Lrout]min,[Lsout]minを求め、その値
を用いて帰還利得の推定値を算出している。よって帰還
経路の伝達遅延時間の影響を低減して帰還利得の推定精
度を向上することができ、上記伝達遅延時間が変動して
もそれに追従して高い精度で帰還利得を推定することが
できる。その結果、挿入損失量を適切な値に制御して同
時通話性に優れた拡声通話装置が提供できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、家庭内、ビルディ
ング、工場等で用いられる拡声通話装置に関するもので
ある。
【0002】
【従来の技術】従来より、インターホンや電話機あるい
はPHS等の拡声通話装置においては、スピーカからマ
イクロホンへの音響フィードバックおよびハイブリッド
回路(2−4線変換回路)におけるインピーダンスの不
整合により閉ループが形成され、増幅器の利得が大きす
ぎる等の理由により上記閉ループの利得が1倍以上にな
るとハウリングが生じるという問題があり、ハウリング
が生じた場合には通話を継続することが困難となるた
め、ハウリングを抑圧する手段が必要不可欠となってい
た。
【0003】そこで従来は、送受話信号を監視すること
で通話状態が受話状態か送話状態の何れであるかを判別
し、受話状態の時には送話信号に対して所定の損失量を
挿入し、送話状態の時は受話信号に対して所定の損失量
を挿入することにより、閉ループの一巡伝達利得を低減
させる、所謂音声スイッチと呼ばれるものが広く用いら
れてきた。この音声スイッチを用いる場合、挿入損失量
を大きくしすぎると通話中に切断感を生じる等の通話品
質の劣化を招くため、挿入損失量は所望の利得余裕(ハ
ウリングマージン)が得られるだけの必要最小限とする
ことが望ましい。
【0004】上述のような課題に対して、近端側(音声
スイッチの挿入位置よりも端末側)と遠端側(音声スイ
ッチの挿入位置よりも回線側)の帰還利得を随時推定
し、その推定結果に応じて挿入損失量を適応的に制御す
ることによって、常に一定の利得余裕を保ちながら挿入
損失量を必要最小限とする音声スイッチが提供されてい
る(特開昭63−212251号公報等参照)。
【0005】上記公報に記載されている従来技術の原理
を図6を参照して説明する。近端側のマイクロホン1に
送話減衰器30が接続されるとともにスピーカ3に受話
減衰器31が接続されているとき、受話減衰器31の入
出力信号rin,routを整流平滑して求められる振幅値
をRi,Ro、送話減衰器30の入出力信号sin,s
outを整流平滑して求められる振幅値をSi,Soと定
義する。そして、近端側の帰還利得αを推定するために
送話減衰器30の入力信号sinの振幅値Si、受話減衰
器31の出力信号routの振幅値Roの比Si/Roの
受話状態における観測値を用いており、遠端側の帰還利
得βを推定するために受話減衰器31の入力信号rin
振幅値Ri、送話減衰器30の出力信号soutの振幅値
Soの比Ri/Soの送話状態における観測値を用いて
いる。つまり上記公報に記載されているものは、近端側
話者の音声信号が存在しない場合、すなわち図6におけ
るVs=0のときはSi/Ro=αとなり、遠端側話者
の音声信号が存在しない場合、すなわち図6におけるV
r=0のときはRi/So=βとなるという原理に基づ
いている。
【0006】
【発明が解決しようとする課題】上記従来例において
は、時刻tにおいて求められる受話減衰器31の入出力
信号rin,routの振幅値をRi(t),Ro(t)、送話減衰
器30の入出力信号sin,soutの振幅値Si(t),So
(t)とするとSi(t)/Ro(t)を用いて近端側の帰還利得
αを推定し、Ri(t)/So(t)を用いて遠端側の帰還利得
βを推定している。しかし、実際の帰還経路には伝達遅
延時間があり、近端側及び遠端側の各帰還経路の伝達遅
延時間を各々Tα,Tβとすると、近端側の帰還利得α
はVr=0におけるSi(t)/Ro(t-Tα)で表され、遠
端側の帰還利得βはVs=0におけるRi(t)/So(t-T
β)で表される。
【0007】而して、上記従来例では帰還利得α,βを
推定する際に経路の伝達遅延時間Tα,Tβを考慮して
いないため、これら伝達遅延時間Tα,Tβの値が無視
できないほど長いときには真の帰還利得と推定値との誤
差が大きくなってしまう。従って、そのような場合には
信号経路に挿入すべき損失量を精度よく算出することが
できないと言う問題がある。
【0008】本発明は上記問題に鑑みて為されたもので
あり、その目的とするところは、高い精度で帰還利得を
推定し挿入損失量を適切な値に制御することで同時通話
性に優れた拡声通話装置を提供することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明は、集音した音を送話側の音声信号
として出力するマイクロホンと、マイクロホンからの音
声信号を増幅する第1の増幅手段と、受話側の音声信号
に応じて鳴動するスピーカと、スピーカへ出力される音
声信号を増幅する第2の増幅手段と、送話側の信号経路
に所定量の損失を挿入する送話側損失挿入手段と、受話
側の信号経路に所定量の損失を挿入する受話側損失挿入
手段と、受話側損失挿入手段及び送話側損失挿入手段の
挿入損失量を調整する挿入損失量調整手段とを備えた拡
声通話装置において、挿入損失量調整手段は、送話側並
びに受話側の音声信号を監視して通話状態を判定する通
話状態判定部と、送話側損失挿入手段の入力信号並びに
受話側損失挿入手段の出力信号から近端側の帰還利得を
推定する近端側帰還利得推定部と、受話側損失挿入手段
の入力信号並びに送話側損失挿入手段の出力信号から遠
端側の帰還利得を推定する遠端側帰還利得推定部と、近
端側帰還利得推定部及び遠端側帰還利得推定部の各推定
値に基づいて閉ループに挿入すべき総損失量を算出する
総損失量算出部と、通話状態判定部の判定結果と総損失
量算出部の算出値に応じて送話側損失挿入手段及び受話
側挿入損失手段の各挿入損失量を決定する挿入損失量分
配処理部とを具備し、近端側帰還利得推定部は、送話側
損失挿入手段の入力信号の時間平均パワーを推定する第
1の平均パワー推定部、受話側損失挿入手段の出力信号
の時間平均パワーを推定する第2の平均パワー推定部、
受話側損失挿入手段の出力点から送話側損失挿入手段の
入力点の間の近端側帰還経路にて想定される最大遅延時
間における第2の平均パワー推定部の出力の最小値を求
める第1の最小値算出部、第1の平均パワー推定部の出
力値を第1の最小値算出部の出力値で除算する第1の除
算器を有して通話状態判定部により受話状態と判定され
たときにのみ各部の処理を更新して成り、遠端側帰還利
得推定部は、受話側損失挿入手段の入力信号の時間平均
パワーを推定する第3の平均パワー推定部、送話側損失
挿入手段の出力信号の時間平均パワーを推定する第4の
平均パワー推定部、送話側損失挿入手段の出力点から受
話側損失挿入手段の入力点の間の遠端側帰還経路にて想
定される最大遅延時間における第4の平均パワー推定部
の出力の最小値を求める第2の最小値算出部、第3の平
均パワー推定部の出力値を第2の最小値算出部の出力値
で除算する第2の除算部を有して通話状態判定部により
送話状態と判定されたときにのみ各部の処理を更新して
成ることを特徴とし、第1及び第2の最小値算出部にて
算出される最小値は帰還経路の伝達遅延時間の影響を低
減して高い精度で帰還利得を推定することができ、挿入
損失量を適切な値に調整して優れた同時通話性を確保す
ることができる。また、伝達遅延時間の変動に追従して
帰還利得を高い精度で推定することが可能である。しか
も、帰還利得の推定値が真の値よりも小さくなる場合は
少なく、総損失量の不足による信号経路の不安定化を防
ぐことができる。
【0010】上記目的を達成するために、請求項2の発
明は、集音した音を送話側の音声信号として出力するマ
イクロホンと、マイクロホンからの音声信号を増幅する
第1の増幅手段と、受話側の音声信号に応じて鳴動する
スピーカと、スピーカへ出力される音声信号を増幅する
第2の増幅手段と、送話側の信号経路に所定量の損失を
挿入する送話側損失挿入手段と、受話側の信号経路に所
定量の損失を挿入する受話側損失挿入手段と、受話側損
失挿入手段及び送話側損失挿入手段の挿入損失量を調整
する挿入損失量調整手段とを備えた拡声通話装置におい
て、挿入損失量調整手段は、送話側並びに受話側の音声
信号を監視して通話状態を判定する通話状態判定部と、
送話側損失挿入手段の入力信号並びに受話側損失挿入手
段の出力信号から近端側の帰還利得を推定する近端側帰
還利得推定部と、受話側損失挿入手段の入力信号並びに
送話側損失挿入手段の出力信号から遠端側の帰還利得を
推定する遠端側帰還利得推定部と、近端側帰還利得推定
部及び遠端側帰還利得推定部の各推定値に基づいて閉ル
ープに挿入すべき総損失量を算出する総損失量算出部
と、通話状態判定部の判定結果と総損失量算出部の算出
値に応じて送話側損失挿入手段及び受話側挿入損失手段
の各挿入損失量を決定する挿入損失量分配処理部とを具
備し、近端側帰還利得推定部は、送話側損失挿入手段の
入力信号の時間平均パワーを推定する第1の平均パワー
推定部、受話側損失挿入手段の出力信号の時間平均パワ
ーを推定する第2の平均パワー推定部、第2の平均パワ
ー推定部の出力を閉ループの最小伝達遅延時間以上の時
間だけ遅延させる第1の遅延部、第1の平均パワー推定
部の出力値を第1の遅延部の出力値で除算する第1の除
算器を有して通話状態判定部により受話状態と判定され
たときにのみ各部の処理を更新して成り、遠端側帰還利
得推定部は、受話側損失挿入手段の入力信号の時間平均
パワーを推定する第3の平均パワー推定部、送話側損失
挿入手段の出力信号の時間平均パワーを推定する第4の
平均パワー推定部、第4の平均パワー推定部の出力を閉
ループの最小伝達遅延時間以上の時間だけ遅延させる第
2の遅延部、第3の平均パワー推定部の出力値を第2の
遅延部の出力値で除算する第2の除算部を有して通話状
態判定部により送話状態と判定されたときにのみ各部の
処理を更新して成ることを特徴とし、第1及び第2の遅
延部の出力値は帰還経路の伝達遅延時間の影響を低減し
て高い精度で帰還利得を推定することができ、挿入損失
量を適切な値に調整して優れた同時通話性を確保するこ
とができる。また、帰還経路の伝達遅延時間が既知であ
って殆ど変動がないような場合に単純な演算処理により
帰還利得を推定することが可能となり、信号処理量の低
減化が図れる。
【0011】請求項3の発明は、請求項1の発明におい
て、第1及び第2の除算器の出力値のうちから人間の音
声の音韻継続時間以上の所定時間内における最小値を算
出する第3及び第4の最小値算出部を近端側帰還利得推
定部並びに遠端側帰還利得推定部にそれぞれ設け、第3
及び第4の最小値算出部の出力値を近端側帰還利得推定
部並びに遠端側帰還利得推定部の推定値として成ること
を特徴とし、請求項1の発明の作用に加えて、所定時間
における帰還利得の推定値の最小値を用いて総損失量を
算出するため、所謂ダブルトーク状態において帰還利得
の推定値が真の値よりも大きくなるのを抑制することが
できる。
【0012】請求項4の発明は、請求項1の発明におい
て、適応フィルタを有し近端側帰還経路又は遠端側帰還
経路の少なくとも何れか一方に設けられるエコーキャン
セラと、適応フィルタの係数の収束値からエコーキャン
セラを設けた側の帰還経路の利得を近似的に算出する帰
還利得近似算出部と、この帰還利得近似算出部の出力値
とエコーキャンセラを設けた側の帰還利得推定部の帰還
利得推定値との比を求める第3の除算器と、第3の除算
器の出力値に応じてエコーキャンセラを設けた側の帰還
利得推定部の帰還利得推定値の最新の値と以前の値の何
れか一方を選択して総損失量算出部に出力する帰還利得
選択部とを備え、この帰還利得選択部は、第3の除算器
の出力値が所定の範囲内である場合には最新の帰還利得
推定値を選択し、第3の除算器の出力値が所定の範囲を
超えた場合には以前の帰還利得推定値を選択して成るこ
とを特徴とし、請求項1の発明の作用に加えて、帰還利
得近似算出部の近似的な推定値を参照して適切な推定値
を帰還利得選択部で選択しているから、通話路中に衝撃
性のノイズが混入した場合等の外乱により生じる推定誤
差を低減することができる。
【0013】
【発明の実施の形態】(実施形態1)本実施形態の拡声
通話装置は、図1に示すように集音した音を送話側の音
声信号として出力するマイクロホン1と、マイクロホン
1からの音声信号を増幅する第1の増幅器2と、受話側
の音声信号に応じて鳴動するスピーカ3と、スピーカ3
へ出力される音声信号を増幅する第2の増幅器4と、送
話側の信号経路に所定量の損失を挿入する送話側損失挿
入手段たる送話信号減衰器5と、受話側の信号経路に所
定量の損失を挿入する受話側損失挿入手段たる受話信号
減衰器6と、送話信号減衰器5及び受話信号減衰器6の
損失量を調整する挿入損失量調整手段7とを備えてい
る。
【0014】また、挿入損失量調整手段7は、図2に示
すように送話側並びに受話側の音声信号を監視して通話
状態を判定する通話状態判定部8と、送話信号減衰器5
の入力信号sin並びに受話信号減衰器6の出力信号r
outから近端側の帰還利得を推定する近端側帰還利得推
定部9と、受話信号減衰器6の入力信号rin並びに送話
信号減衰器5の出力信号soutから遠端側の帰還利得を
推定する遠端側帰還利得推定部10と、近端側帰還利得
推定部9及び遠端側帰還利得推定部10の各推定値に基
づいて閉ループに挿入すべき総損失量を算出する総損失
量算出部11と、通話状態判定部8の判定結果と総損失
量算出部11の算出値に応じて送話信号減衰器5及び受
話信号減衰器6の各挿入損失量を決定する挿入損失量分
配処理部12とを具備している。
【0015】さらに近端側帰還利得推定部9は、送話信
号減衰器5の入力信号sinの時間平均パワーを推定する
第1の平均パワー推定部13と、受話信号減衰器6の出
力信号routの時間平均パワーを推定する第2の平均パ
ワー推定部14と、受話信号減衰器6の出力点から送話
信号減衰器5の入力点の間の近端側帰還経路にて想定さ
れる最大遅延時間における第2の平均パワー推定部14
の出力の最小値を求める第1の最小値算出部15と、第
1の平均パワー推定部13の出力値を第1の最小値算出
部15の出力値で除算する第1の除算器16とで構成さ
れる。また遠端側帰還利得推定部10は、受話信号減衰
器6の入力信号rinの時間平均パワーを推定する第3の
平均パワー推定部17と、送話信号減衰器5の出力信号
outの時間平均パワーを推定する第4の平均パワー推
定部18と、送話信号減衰器5の出力点から受話信号減
衰器6の入力点の間の遠端側帰還経路にて想定される最
大遅延時間における第4の平均パワー推定部18の出力
の最小値を求める第2の最小値算出部19と、第3の平
均パワー推定部17の出力値を第2の最小値算出部19
の出力値で除算する第2の除算部20とで構成される。
なお、挿入損失量調整手段7はDSP(Digital Signal
Processor)やCPU等を用いていて構成することがで
き、さらには近端側帰還利得推定部9並びに遠端側帰還
利得推定部10のみをアナログ回路で構成してもよい。
【0016】通話状態判定部8では送話信号減衰器5の
入出力信号sin,sout及び受話信号減衰器6の入出力
信号rin,routを監視し、これらの信号sin,sout
in,routのパワーレベルの大小関係並びに音声信号
の有無などの情報から通話状態が受話状態、送話状態、
遷移状態の何れであるかを判定し、その判定結果を挿入
損失量分配処理部12に与えている。
【0017】近端側帰還利得推定部9を構成する第1の
平均パワー推定部13は、整流平滑器や低域通過フィル
タ等を用いて送話信号減衰器5への入力信号sinの短時
間における時間平均パワーLsinを求めている。同じく
第2の平均パワー推定部14は、受話信号減衰器6の出
力信号routの短時間における時間平均パワーLrout
求めている。また、第1の最小値算出部15において
は、近端側帰還経路において考えられる最大の伝達遅延
時間の間、上記時間平均パワーLroutを観測してその
最小値[Lrout]minを求める。第1の除算器16にお
いては、第1の平均パワー推定部13の出力Lsinと第
1の最小値算出部15の出力[Lrout]minとの比を算
出し、この値を近端側帰還利得の推定値として総損失量
算出部11に出力する。
【0018】一方、遠端側帰還利得推定部10を構成す
る第3の平均パワー推定部17は、整流平滑器や低域通
過フィルタ等を用いて受話信号減衰器6への入力信号r
inの短時間における時間平均パワーLrinを求めてい
る。同じく第4の平均パワー推定部18は、送話信号減
衰器5の出力信号soutの短時間における時間平均パワ
ーLsoutを求めている。また、第2の最小値算出部1
9においては、遠端側帰還経路において考えられる最大
遅延時間の間、上記時間平均パワーLsoutを観測して
その最小値[Lsout]minを求める。第2の除算器20
においては、第3の平均パワー推定部17の出力Lrin
と第2の最小値算出部19の出力[Lsou t]minとの比
を算出し、この値を遠端側帰還利得の推定値として総損
失量算出部11に出力する。
【0019】ここで、近端側帰還利得推定部9における
上記推定処理は通話状態判定部8にて通話状態が受話状
態と判定されたときに更新され、遠端側帰還利得推定部
10における上記推定処理は通話状態判定部8にて通話
状態が送話状態と判定されたときに更新される。
【0020】総損失量算出部11においては、これらの
帰還利得推定値から所望の利得余裕(ハウリングマージ
ン)を得るために必要な総挿入損失量を算出し、その値
を挿入損失量分配処理部12に出力する。そして、挿入
損失量分配処理部12では、通話状態判定部8にて判定
された通話状態に応じた割合で総挿入損失量を送話信号
減衰器5と受話信号減衰器6に分配するように各減衰器
5,6の損失量を調整する。
【0021】而して、本実施形態では第1及び第2の最
小値算出部15,19により近端側並びに遠端側の帰還
経路において考えられる最大の伝達遅延時間の間、第2
及び第4の平均パワー推定部14,18の出力値(時間
平均パワーLrout,Lsout)を観測してその最小値
[Lrout]min,[Lsout]minを求め、その値を用い
て帰還利得の推定値を算出しているから、帰還経路の伝
達遅延時間の影響を低減して帰還利得の推定精度を向上
することができるとともに、上記伝達遅延時間が変動し
てもそれに追従して高い精度で帰還利得を推定すること
ができる。また、本実施形態では帰還利得の推定値が真
の値よりも小さくなる場合は少なく、総損失量の不足に
よる信号経路の不安定化を防ぐことができるという利点
もある。
【0022】(実施形態2)本発明の実施形態2におけ
る挿入損失量調整手段7のブロック図を図3に示す。本
実施形態は、実施形態1の挿入損失量調整手段7におけ
る第1及び第2の最小値算出部15,19を、それぞれ
第1の遅延器21及び第2の遅延器22に置き換えたも
のであり、その他の各部の構成及び動作は実施形態1と
共通するので、共通する部分には同一の符号を付して説
明を省略する。
【0023】第1及び第2の遅延器21,22は、それ
ぞれ近端側の帰還経路並びに遠端側の帰還経路の構成要
素や諸条件(マイクロホン1−スピーカ3間の距離な
ど)により一意に定まる最短の伝達遅延時間以上の一定
時間だけ第2の平均パワー推定部14及び第4の平均パ
ワー推定部18の出力信号を遅延させて第1及び第2の
除算器16,20に出力するものである。すなわち、こ
れら近端側及び遠端側の帰還経路の伝達遅延時間を各々
N,TFとすると、時刻tにおける近端側の帰還利得推
定値はLsin(t)/Lrout(t-TN)、遠端側の帰還利得
推定値はLrin(t)/Lsout(t-TF)としてそれぞれ表
される。
【0024】而して本実施形態によれば、帰還経路の伝
達遅延時間が既知であり且つ変動が少ない場合に第1及
び第2の遅延器21,22で上記伝達遅延時間以上の一
定時間だけ第2の平均パワー推定部14及び第4の平均
パワー推定部18の出力信号を遅延させることにより、
伝達遅延時間を考慮して精度よく帰還利得を推定するこ
とができる。しかも、第1及び第2の遅延器21,22
は実施形態1における第1及び第2の最小値算出部1
5,19に比較して構成が簡単であり、コストダウンが
図れるという利点がある。
【0025】(実施形態3)本発明の実施形態3におけ
る挿入損失量調整手段7のブロック図を図4に示す。本
実施形態は、実施形態1における挿入損失量調整手段7
に対して、第1及び第2の除算器16,20の出力側に
それぞれ第3及び第4の最小値算出部23,24を設
け、これら第3及び第4の最小値算出部23,24の出
力を近端側及び遠端側の帰還利得推定値として総損失量
算出部11に入力するものであり、その他の各部の構成
及び動作は実施形態1と共通するので、共通する部分に
は同一の符号を付して説明を省略する。
【0026】第3及び第4の最小値算出部23,24
は、RAM等の記憶手段を用いて人間の音声の音韻継続
時間以上の一定時間だけ第1及び第2の除算器16,2
0の出力値を保持し、その保持した値の最小値をその時
点での帰還利得推定値として抽出し総損失量算出部11
に出力する。このような処理により、送話信号減衰器5
の入力信号sin並びに受話信号減衰器6の入力信号rin
にエコー成分(受話信号減衰器6の出力信号rout及び
送話信号減衰器5の出力信号soutが各々近端側及び遠
端側の帰還経路を経て回り込む信号成分)以外の成分、
すなわち近端側の話者の音声信号、遠端側の話者の音声
信号並びに周囲騒音が含まれる場合にそれらの影響が最
小となる瞬間に推定された帰還利得を得ることができ、
推定精度の向上が図れるのである。
【0027】上述のように本実施形態によれば、近端側
と遠端側の話者が略同時に話す状態、所謂ダブルトーク
状態において帰還利得の推定値が真の値よりも大きくな
るのを抑制することができる。
【0028】(実施形態4)本実施形態の拡声通話装置
は、図5に示すように送話側の信号経路に所定量の損失
を挿入する送話信号減衰器5と、受話側の信号経路に所
定量の損失を挿入する受話信号減衰器6と、送話信号減
衰器5及び受話信号減衰器6の損失量を調整する挿入損
失量調整手段7と、適応フィルタ25aを有し近端側帰
還経路に設けられるエコーキャンセラ25と、適応フィ
ルタ25aの係数の収束値からエコーキャンセラ25を
設けた近端側の帰還経路の利得を近似的に算出する帰還
利得近似算出部26と、この帰還利得近似算出部26の
出力値と近端側帰還利得推定部9の帰還利得推定値との
比を求める第3の除算器27と、第3の除算器27の出
力値に応じて近端側帰還利得推定部9の帰還利得推定値
の最新の値と以前の値の何れか一方を選択して総損失量
算出部11に出力する帰還利得選択部28とを備えてい
る。なお、図示はしていないが実施形態1と同様にマイ
クロホン1、第1の増幅器2、スピーカ3並びに第2の
増幅器4を備えていることは言うまでもない。また、実
施形態1と共通する構成については同一の符号を付して
説明を省略する。
【0029】エコーキャンセラ25は、従来周知のよう
に近端側帰還経路のインパルス応答を適応フィルタ25
aにより同定し、参照信号(受話信号減衰器6の出力信
号r out)からエコー信号を推定して減算器により相殺
して近端側において生じるエコーを消去するものであ
る。適応フィルタ25aの係数が収束した状態では、適
応フィルタ25aの係数は近端側の帰還経路のインパル
ス応答を近似しているので、その係数値から帰還利得を
算出することができる。帰還利得近似算出部26はエコ
ーキャンセラ25における適応フィルタ25aの係数か
ら近端側帰還利得を算出する。すなわち、適応フィルタ
25aの係数列をh0,h1,h2,…,hI -1(Iは適応
フィルタ25aのタップ数)とすると、その2乗和(=
0 2+h1 2+h2 2+…+hI-1 2)から帰還利得を近似的
に算出することができる。
【0030】第3の除算器27は、帰還利得近似算出部
26の出力信号と近端側帰還利得推定部9の出力信号と
の比を求める。帰還利得選択部28は、第3の除算器2
7で求めた上記比の値が所定の範囲内か否かを判断し、
上記比の値が所定範囲内であれば近端側帰還利得推定部
9の出力信号を選択して総損失量算出部11に出力し、
上記比の値が所定範囲外であればそれ以前の時刻におい
て所定範囲内と判断された上記比の値を選択して総損失
量算出部11に出力する。すなわち、上記比の値が1に
近い場合は、近端側帰還利得推定部9の推定値には誤差
が少ないと考えられるが、上記比の値が1と離れている
場合には誤差が多く含まれている可能性が高いから、上
記所定範囲を1を中心とした許容誤差範囲とし、許容誤
差範囲は挿入損失量が所望の利得余裕(ハウリングマー
ジン)を得ることができるように決定される。
【0031】上述のように本実施形態によれば、エコー
キャンセラ25の適応フィルタ係数から帰還利得近似算
出部26にて算出した帰還利得の推定値を参照して近端
側帰還利得推定部9における帰還利得推定値の妥当性を
確認するため、通話路中に衝撃性のノイズが混入した場
合等の外乱により生じる推定誤差を低減することができ
る。なお、本実施形態ではエコーキャンセラ25を近端
側の帰還経路のみに設けたが、遠端側の帰還経路のみあ
るいは近端側と遠端側の両方の帰還経路にエコーキャン
セラ25を設けてもよい。なお、本実施形態が効果を発
揮するのは、エコーキャンセラによるエコー消去量が所
定のしきい値を越えた場合のみに限る。
【0032】
【発明の効果】請求項1の発明は、集音した音を送話側
の音声信号として出力するマイクロホンと、マイクロホ
ンからの音声信号を増幅する第1の増幅手段と、受話側
の音声信号に応じて鳴動するスピーカと、スピーカへ出
力される音声信号を増幅する第2の増幅手段と、送話側
の信号経路に所定量の損失を挿入する送話側損失挿入手
段と、受話側の信号経路に所定量の損失を挿入する受話
側損失挿入手段と、受話側損失挿入手段及び送話側損失
挿入手段の挿入損失量を調整する挿入損失量調整手段と
を備えた拡声通話装置において、挿入損失量調整手段
は、送話側並びに受話側の音声信号を監視して通話状態
を判定する通話状態判定部と、送話側損失挿入手段の入
力信号並びに受話側損失挿入手段の出力信号から近端側
の帰還利得を推定する近端側帰還利得推定部と、受話側
損失挿入手段の入力信号並びに送話側損失挿入手段の出
力信号から遠端側の帰還利得を推定する遠端側帰還利得
推定部と、近端側帰還利得推定部及び遠端側帰還利得推
定部の各推定値に基づいて閉ループに挿入すべき総損失
量を算出する総損失量算出部と、通話状態判定部の判定
結果と総損失量算出部の算出値に応じて送話側損失挿入
手段及び受話側挿入損失手段の各挿入損失量を決定する
挿入損失量分配処理部とを具備し、近端側帰還利得推定
部は、送話側損失挿入手段の入力信号の時間平均パワー
を推定する第1の平均パワー推定部、受話側損失挿入手
段の出力信号の時間平均パワーを推定する第2の平均パ
ワー推定部、受話側損失挿入手段の出力点から送話側損
失挿入手段の入力点の間の近端側帰還経路にて想定され
る最大遅延時間における第2の平均パワー推定部の出力
の最小値を求める第1の最小値算出部、第1の平均パワ
ー推定部の出力値を第1の最小値算出部の出力値で除算
する第1の除算器を有して通話状態判定部により受話状
態と判定されたときにのみ各部の処理を更新して成り、
遠端側帰還利得推定部は、受話側損失挿入手段の入力信
号の時間平均パワーを推定する第3の平均パワー推定
部、送話側損失挿入手段の出力信号の時間平均パワーを
推定する第4の平均パワー推定部、送話側損失挿入手段
の出力点から受話側損失挿入手段の入力点の間の遠端側
帰還経路にて想定される最大遅延時間における第4の平
均パワー推定部の出力の最小値を求める第2の最小値算
出部、第3の平均パワー推定部の出力値を第2の最小値
算出部の出力値で除算する第2の除算部を有して通話状
態判定部により送話状態と判定されたときにのみ各部の
処理を更新して成るので、第1及び第2の最小値算出部
にて算出される最小値は帰還経路の伝達遅延時間の影響
を低減して高い精度で帰還利得を推定することができ、
挿入損失量を適切な値に調整して優れた同時通話性を確
保することができるという効果がある。また、伝達遅延
時間の変動に追従して帰還利得を高い精度で推定するこ
とが可能であり、しかも、帰還利得の推定値が真の値よ
りも小さくなる場合は少なく、総損失量の不足による信
号経路の不安定化を防ぐことができるという効果があ
る。
【0033】請求項2の発明は、集音した音を送話側の
音声信号として出力するマイクロホンと、マイクロホン
からの音声信号を増幅する第1の増幅手段と、受話側の
音声信号に応じて鳴動するスピーカと、スピーカへ出力
される音声信号を増幅する第2の増幅手段と、送話側の
信号経路に所定量の損失を挿入する送話側損失挿入手段
と、受話側の信号経路に所定量の損失を挿入する受話側
損失挿入手段と、受話側損失挿入手段及び送話側損失挿
入手段の挿入損失量を調整する挿入損失量調整手段とを
備えた拡声通話装置において、挿入損失量調整手段は、
送話側並びに受話側の音声信号を監視して通話状態を判
定する通話状態判定部と、送話側損失挿入手段の入力信
号並びに受話側損失挿入手段の出力信号から近端側の帰
還利得を推定する近端側帰還利得推定部と、受話側損失
挿入手段の入力信号並びに送話側損失挿入手段の出力信
号から遠端側の帰還利得を推定する遠端側帰還利得推定
部と、近端側帰還利得推定部及び遠端側帰還利得推定部
の各推定値に基づいて閉ループに挿入すべき総損失量を
算出する総損失量算出部と、通話状態判定部の判定結果
と総損失量算出部の算出値に応じて送話側損失挿入手段
及び受話側挿入損失手段の各挿入損失量を決定する挿入
損失量分配処理部とを具備し、近端側帰還利得推定部
は、送話側損失挿入手段の入力信号の時間平均パワーを
推定する第1の平均パワー推定部、受話側損失挿入手段
の出力信号の時間平均パワーを推定する第2の平均パワ
ー推定部、第2の平均パワー推定部の出力を閉ループの
最小伝達遅延時間以上の時間だけ遅延させる第1の遅延
部、第1の平均パワー推定部の出力値を第1の遅延部の
出力値で除算する第1の除算器を有して通話状態判定部
により受話状態と判定されたときにのみ各部の処理を更
新して成り、遠端側帰還利得推定部は、受話側損失挿入
手段の入力信号の時間平均パワーを推定する第3の平均
パワー推定部、送話側損失挿入手段の出力信号の時間平
均パワーを推定する第4の平均パワー推定部、第4の平
均パワー推定部の出力を閉ループの最小伝達遅延時間以
上の時間だけ遅延させる第2の遅延部、第3の平均パワ
ー推定部の出力値を第2の遅延部の出力値で除算する第
2の除算部を有して通話状態判定部により送話状態と判
定されたときにのみ各部の処理を更新して成るので、第
1及び第2の遅延部の出力値は帰還経路の伝達遅延時間
の影響を低減して高い精度で帰還利得を推定することが
でき、挿入損失量を適切な値に調整して優れた同時通話
性を確保することができるという効果がある。また、帰
還経路の伝達遅延時間が既知であって殆ど変動がないよ
うな場合に単純な演算処理により帰還利得を推定するこ
とが可能となり、信号処理量の低減化が図れるという効
果がある。
【0034】請求項3の発明は、第1及び第2の除算器
の出力値のうちから人間の音声の音韻継続時間以上の所
定時間内における最小値を算出する第3及び第4の最小
値算出部を近端側帰還利得推定部並びに遠端側帰還利得
推定部にそれぞれ設け、第3及び第4の最小値算出部の
出力値を近端側帰還利得推定部並びに遠端側帰還利得推
定部の推定値として成るので、請求項1の発明の効果に
加えて、所定時間における帰還利得の推定値の最小値を
用いて総損失量を算出するため、所謂ダブルトーク状態
において帰還利得の推定値が真の値よりも大きくなるの
を抑制することができるという効果がある。
【0035】請求項4の発明は、適応フィルタを有し近
端側帰還経路又は遠端側帰還経路の少なくとも何れか一
方に設けられるエコーキャンセラと、適応フィルタの係
数の収束値からエコーキャンセラを設けた側の帰還経路
の利得を近似的に算出する帰還利得近似算出部と、この
帰還利得近似算出部の出力値とエコーキャンセラを設け
た側の帰還利得推定部の帰還利得推定値との比を求める
第3の除算器と、第3の除算器の出力値に応じてエコー
キャンセラを設けた側の帰還利得推定部の帰還利得推定
値の最新の値と以前の値の何れか一方を選択して総損失
量算出部に出力する帰還利得選択部とを備え、この帰還
利得選択部は、第3の除算器の出力値が所定の範囲内で
ある場合には最新の帰還利得推定値を選択し、第3の除
算器の出力値が所定の範囲を超えた場合には以前の帰還
利得推定値を選択して成るので、請求項1の発明の効果
に加えて、帰還利得近似算出部の近似的な推定値を参照
して適切な推定値を帰還利得選択部で選択しているか
ら、通話路中に衝撃性のノイズが混入した場合等の外乱
により生じる推定誤差を低減することができるという効
果がある。
【図面の簡単な説明】
【図1】実施形態1の全体構成を示すブロック図であ
る。
【図2】同上における挿入損失量調整手段を示すブロッ
ク図である。
【図3】実施形態2における挿入損失量調整手段を示す
ブロック図である。
【図4】実施形態3における挿入損失量調整手段を示す
ブロック図である。
【図5】実施形態4の一部省略した全体構成を示すブロ
ック図である。
【図6】従来例を示すブロック図である。
【符号の説明】
1 マイクロホン 2 第1の増幅器 3 スピーカ 4 第2の増幅器 5 送話信号減衰器 6 受話信号減衰器 7 挿入損失量調整手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 寺澤 章 大阪府門真市大字門真1048番地松下電工株 式会社内 Fターム(参考) 5K027 BB03 DD07 DD10 HH01 5K038 CC02 FF10 FF13 5K046 AA01 BB01 CC30 DD21 HH37 HH58 HH77 HH78

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 集音した音を送話側の音声信号として出
    力するマイクロホンと、マイクロホンからの音声信号を
    増幅する第1の増幅手段と、受話側の音声信号に応じて
    鳴動するスピーカと、スピーカへ出力される音声信号を
    増幅する第2の増幅手段と、送話側の信号経路に所定量
    の損失を挿入する送話側損失挿入手段と、受話側の信号
    経路に所定量の損失を挿入する受話側損失挿入手段と、
    受話側損失挿入手段及び送話側損失挿入手段の挿入損失
    量を調整する挿入損失量調整手段とを備えた拡声通話装
    置において、挿入損失量調整手段は、送話側並びに受話
    側の音声信号を監視して通話状態を判定する通話状態判
    定部と、送話側損失挿入手段の入力信号並びに受話側損
    失挿入手段の出力信号から近端側の帰還利得を推定する
    近端側帰還利得推定部と、受話側損失挿入手段の入力信
    号並びに送話側損失挿入手段の出力信号から遠端側の帰
    還利得を推定する遠端側帰還利得推定部と、近端側帰還
    利得推定部及び遠端側帰還利得推定部の各推定値に基づ
    いて閉ループに挿入すべき総損失量を算出する総損失量
    算出部と、通話状態判定部の判定結果と総損失量算出部
    の算出値に応じて送話側損失挿入手段及び受話側挿入損
    失手段の各挿入損失量を決定する挿入損失量分配処理部
    とを具備し、近端側帰還利得推定部は、送話側損失挿入
    手段の入力信号の時間平均パワーを推定する第1の平均
    パワー推定部、受話側損失挿入手段の出力信号の時間平
    均パワーを推定する第2の平均パワー推定部、受話側損
    失挿入手段の出力点から送話側損失挿入手段の入力点の
    間の近端側帰還経路にて想定される最大遅延時間におけ
    る第2の平均パワー推定部の出力の最小値を求める第1
    の最小値算出部、第1の平均パワー推定部の出力値を第
    1の最小値算出部の出力値で除算する第1の除算器を有
    して通話状態判定部により受話状態と判定されたときに
    のみ各部の処理を更新して成り、遠端側帰還利得推定部
    は、受話側損失挿入手段の入力信号の時間平均パワーを
    推定する第3の平均パワー推定部、送話側損失挿入手段
    の出力信号の時間平均パワーを推定する第4の平均パワ
    ー推定部、送話側損失挿入手段の出力点から受話側損失
    挿入手段の入力点の間の遠端側帰還経路にて想定される
    最大遅延時間における第4の平均パワー推定部の出力の
    最小値を求める第2の最小値算出部、第3の平均パワー
    推定部の出力値を第2の最小値算出部の出力値で除算す
    る第2の除算部を有して通話状態判定部により送話状態
    と判定されたときにのみ各部の処理を更新して成ること
    を特徴とする拡声通話装置。
  2. 【請求項2】 集音した音を送話側の音声信号として出
    力するマイクロホンと、マイクロホンからの音声信号を
    増幅する第1の増幅手段と、受話側の音声信号に応じて
    鳴動するスピーカと、スピーカへ出力される音声信号を
    増幅する第2の増幅手段と、送話側の信号経路に所定量
    の損失を挿入する送話側損失挿入手段と、受話側の信号
    経路に所定量の損失を挿入する受話側損失挿入手段と、
    受話側損失挿入手段及び送話側損失挿入手段の挿入損失
    量を調整する挿入損失量調整手段とを備えた拡声通話装
    置において、挿入損失量調整手段は、送話側並びに受話
    側の音声信号を監視して通話状態を判定する通話状態判
    定部と、送話側損失挿入手段の入力信号並びに受話側損
    失挿入手段の出力信号から近端側の帰還利得を推定する
    近端側帰還利得推定部と、受話側損失挿入手段の入力信
    号並びに送話側損失挿入手段の出力信号から遠端側の帰
    還利得を推定する遠端側帰還利得推定部と、近端側帰還
    利得推定部及び遠端側帰還利得推定部の各推定値に基づ
    いて閉ループに挿入すべき総損失量を算出する総損失量
    算出部と、通話状態判定部の判定結果と総損失量算出部
    の算出値に応じて送話側損失挿入手段及び受話側挿入損
    失手段の各挿入損失量を決定する挿入損失量分配処理部
    とを具備し、近端側帰還利得推定部は、送話側損失挿入
    手段の入力信号の時間平均パワーを推定する第1の平均
    パワー推定部、受話側損失挿入手段の出力信号の時間平
    均パワーを推定する第2の平均パワー推定部、第2の平
    均パワー推定部の出力を閉ループの最小伝達遅延時間以
    上の時間だけ遅延させる第1の遅延部、第1の平均パワ
    ー推定部の出力値を第1の遅延部の出力値で除算する第
    1の除算器を有して通話状態判定部により受話状態と判
    定されたときにのみ各部の処理を更新して成り、遠端側
    帰還利得推定部は、受話側損失挿入手段の入力信号の時
    間平均パワーを推定する第3の平均パワー推定部、送話
    側損失挿入手段の出力信号の時間平均パワーを推定する
    第4の平均パワー推定部、第4の平均パワー推定部の出
    力を閉ループの最小伝達遅延時間以上の時間だけ遅延さ
    せる第2の遅延部、第3の平均パワー推定部の出力値を
    第2の遅延部の出力値で除算する第2の除算部を有して
    通話状態判定部により送話状態と判定されたときにのみ
    各部の処理を更新して成ることを特徴とする拡声通話装
    置。
  3. 【請求項3】 第1及び第2の除算器の出力値のうちか
    ら人間の音声の音韻継続時間以上の所定時間内における
    最小値を算出する第3及び第4の最小値算出部を近端側
    帰還利得推定部並びに遠端側帰還利得推定部にそれぞれ
    設け、第3及び第4の最小値算出部の出力値を近端側帰
    還利得推定部並びに遠端側帰還利得推定部の推定値とし
    て成ることを特徴とする請求項1記載の拡声通話装置。
  4. 【請求項4】 適応フィルタを有し近端側帰還経路又は
    遠端側帰還経路の少なくとも何れか一方に設けられるエ
    コーキャンセラと、適応フィルタの係数の収束値からエ
    コーキャンセラを設けた側の帰還経路の利得を近似的に
    算出する帰還利得近似算出部と、この帰還利得近似算出
    部の出力値とエコーキャンセラを設けた側の帰還利得推
    定部の帰還利得推定値との比を求める第3の除算器と、
    第3の除算器の出力値に応じてエコーキャンセラを設け
    た側の帰還利得推定部の帰還利得推定値の最新の値と以
    前の値の何れか一方を選択して総損失量算出部に出力す
    る帰還利得選択部とを備え、この帰還利得選択部は、第
    3の除算器の出力値が所定の範囲内である場合には最新
    の帰還利得推定値を選択し、第3の除算器の出力値が所
    定の範囲を超えた場合には以前の帰還利得推定値を選択
    して成ることを特徴とする請求項1記載の拡声通話装
    置。
JP07292799A 1999-03-18 1999-03-18 拡声通話装置 Expired - Fee Related JP3580168B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07292799A JP3580168B2 (ja) 1999-03-18 1999-03-18 拡声通話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07292799A JP3580168B2 (ja) 1999-03-18 1999-03-18 拡声通話装置

Publications (2)

Publication Number Publication Date
JP2000270089A true JP2000270089A (ja) 2000-09-29
JP3580168B2 JP3580168B2 (ja) 2004-10-20

Family

ID=13503493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07292799A Expired - Fee Related JP3580168B2 (ja) 1999-03-18 1999-03-18 拡声通話装置

Country Status (1)

Country Link
JP (1) JP3580168B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2254312A1 (en) 2002-04-26 2010-11-24 Nec Corporation Portable telephone having a rotating display and two cameras
JP2013225747A (ja) * 2012-04-20 2013-10-31 Panasonic Corp 通話装置
JP2014033372A (ja) * 2012-08-03 2014-02-20 Panasonic Corp 拡声通話装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2254312A1 (en) 2002-04-26 2010-11-24 Nec Corporation Portable telephone having a rotating display and two cameras
JP2013225747A (ja) * 2012-04-20 2013-10-31 Panasonic Corp 通話装置
JP2014033372A (ja) * 2012-08-03 2014-02-20 Panasonic Corp 拡声通話装置

Also Published As

Publication number Publication date
JP3580168B2 (ja) 2004-10-20

Similar Documents

Publication Publication Date Title
EP0204718B2 (en) Full duplex speakerphone for radio and landline telephones
US5646990A (en) Efficient speakerphone anti-howling system
US5612996A (en) Loop gain processing system for speakerphone applications
US5548638A (en) Audio teleconferencing apparatus
JP4069595B2 (ja) 拡声通話装置
JP5086769B2 (ja) 拡声通話装置
JP2002185371A (ja) 音量自動調整機能付エコーキャンセラ
JP4189042B2 (ja) 拡声通話機
CN102405634B (zh) 扬声电话装置
JP5712350B2 (ja) 拡声通話装置
JP3580168B2 (ja) 拡声通話装置
JP3220979B2 (ja) 音声スイッチ
JP3268572B2 (ja) 反響消去装置及び方法
JP3941581B2 (ja) 拡声通話装置
JP4900185B2 (ja) 拡声通話装置
JP4650163B2 (ja) 拡声通話装置
JP3941580B2 (ja) 拡声通話装置
JP3709739B2 (ja) 音声切換装置
JP4003739B2 (ja) 拡声通話機
JP4900184B2 (ja) 拡声通話装置
JP5297396B2 (ja) 拡声通話装置
JP4380688B2 (ja) 通話装置
JP3903933B2 (ja) 通話装置
JP5432741B2 (ja) 拡声通話装置
JP4811039B2 (ja) 音声切換装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040712

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070730

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees