JPH0769132A - 車両用音声報知装置 - Google Patents

車両用音声報知装置

Info

Publication number
JPH0769132A
JPH0769132A JP5239118A JP23911893A JPH0769132A JP H0769132 A JPH0769132 A JP H0769132A JP 5239118 A JP5239118 A JP 5239118A JP 23911893 A JP23911893 A JP 23911893A JP H0769132 A JPH0769132 A JP H0769132A
Authority
JP
Japan
Prior art keywords
vehicle
voice
sound
detecting
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5239118A
Other languages
English (en)
Other versions
JP3550620B2 (ja
Inventor
Seiichi Suzuki
誠一 鈴木
Chihiro Hayashi
ちひろ 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP23911893A priority Critical patent/JP3550620B2/ja
Publication of JPH0769132A publication Critical patent/JPH0769132A/ja
Application granted granted Critical
Publication of JP3550620B2 publication Critical patent/JP3550620B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【目的】 交差点等で車両が停止した時、車両周囲の環
境音の全部または一部を車内に取り入れ、聴覚によって
ドライバーの注意を喚起させて、衝突事故を的確に防止
する音声報知装置を提供する。 【構成】 車両の停止を検知する検知装置と、車両周囲
の環境音を収集する集音装置と、該集音装置で収集され
た環境音を車両停止時に出力する出力装置とを備える。
車両用音声報知装置は、集音された環境音から人声や車
両騒音を弁別して歩行者等や他車両の存在又は接近を認
識する音声認識装置を更に備え、出力装置は該音声認識
装置の認識結果に応じた信号を出力する。また、車外の
人体から放出される赤外線エネルギー量を検出する赤外
線検出装置と、人体の存在又は接近を検知する人体検知
手段を更に付加することができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、運転者に歩行者や他車
両の存在ないし接近を音声情報として伝達報知して交差
点等での衝突や接触事故を未然に防止する、車両用音声
報知装置に係るものである。
【0002】
【従来の技術】車両が障害物に接近して来た危険な場合
のみに合成音声で運転者に警告する車両用衝突防止装置
は、特開昭56−128242号公報等に既に開示され
ている。しかし、切迫した危険状態の場合だけでなく、
情報が不足勝ちである交差点に進入する場合にも、周辺
情報が運転者に常時提供される必要がある。
【0003】車両の運転中、幅員が狭く見通しの悪い交
差点を通過したり右左折するとき、交差点に進入して来
る他の車両に気づかずに衝突したり、接触しそうになる
ことは、日常的に多発している。自動車事故のうち、出
合い頭の衝突は、ブレーキ性能の向上やコーナーミラー
等の道路環境の整備努力にも拘らず、減少の傾向にはな
い。
【0004】他車両の認識には、人間の聴覚を利用する
のが良いが、最近の車両は室内が密閉化され、遮音性が
一段と向上しているため、他車両の存在や接近を直接の
音声情報として聴覚で確認することは益々困難な状況に
なっている。冷暖房中や雨天時等に窓を閉め切っていた
り、カーステレオやラジオ等を聞いていたり、騒音の多
い市街地を走行している時等には、この傾向はさらに助
長される。
【0005】そのため、車両が交差点に接近した場合、
運転者が車内から周囲状況を確認する手段としては、運
転者自身の視覚に頼らざるを得ないことになる。しかし
ながら、目視確認の方法では、死角部分が不可避的に生
じるので、出会い頭の衝突や接触事故の危険性は依然と
して解消されていない。交差点以外の道路の任意の箇所
においても、運転者は安全確保のために車両停止や発進
時あるいはドアの開閉時には、歩行者や他車両の存在や
接近を予め把握して置きたい。
【0006】
【発明が解決しようとする課題】したがって本発明の目
的は、車両停止時に車両の周囲情報を車内に取り入れ、
歩行者や他車両の存在を聴覚で認識させることによって
ドライバーの注意を積極的に喚起させ、衝突や接触事故
を的確に防止する、車両用音声報知装置を提供すること
である。
【0007】
【課題を解決するための手段】以下、添付図面中の参照
符号を用いて説明すると、本発明の車両用音声報知装置
は、車両1の停止を検知する検知装置9と、車両1の周
囲の環境音を収集する集音装置3と、該集音装置3で収
集された環境音を車両停止時に出力する出力装置6とを
備える。
【0008】本発明の車両用音声報知装置は、車両1の
停止を検知する検知装置9と、車両1の周囲の環境音を
収集する集音装置3と、該集音装置3が集音した環境音
から歩行者等の人声や他車両の車両騒音を弁別して歩行
者等や他車両の存在または接近を認識する音声認識装置
10と、該音声認識装置10の認識結果に応じた出力信
号を車両停止時に出力する出力装置6とを備える。
【0009】本発明の別の形態では、前記車両用音声報
知装置は車外の人体16が放出する赤外線エネルギー量
を検出する赤外線検出装置4を備え、該赤外線検出装置
4により人体16の存在または接近を検知する人体検知
手段15を備える。
【0010】
【作用】本発明の基本構成の車両用音声報知装置では、
図1に示したように交差点に接近して来た車両1は、交
差点に進入する前に運転者の判断によって停止する。こ
の車両停止は検知装置9によって検出される。車両停止
の検知信号を受けて集音装置3と出力装置6をオンす
る。歩行者16や自転車搭乗者の人声と、他車両2(大
小の四輪自動車や二輪車等)の車両騒音(主としてエン
ジン音や排気音)及びその他の街頭騒音を含めた車両1
の周囲の環境音は、集音装置3によって収集され、電気
信号として変換して検出される。
【0011】集音装置3からの検出信号は出力装置6に
送られ、環境音の全部がそのまま若しくは拡声して運転
者に伝達される。この環境音に含まれる人声や車両騒音
によって歩行者16や他車両2の存在または接近を認識
した運転者は、危険回避のために必要な運転操作(作為
または不作為)を自らの判断で選択し、衝突や接触事故
を未然に防止する。
【0012】音声認識装置10を備えた車両用音声報知
装置では、集音装置3によって収集された周囲の環境音
から、歩行者等の人声と他車両の車両騒音が弁別抽出さ
れる。音声認識装置10の出力信号はブザー等の警告音
声、定型化された案内音声や指示音声として編集された
後、あるいは人声または車両騒音そのままの形で出力装
置6より運転者に報知される。この音声情報によって歩
行者等や他車両2の存在または接近を認識した運転者
は、危険回避のために必要な運転操作(作為または不作
為)を選択し、事故を未然に防止する。
【0013】前記車両用音声報知装置では、音声報知装
置を搭載した車両1それ自体の車両騒音も集音装置3に
よって拾い上げられるが、自車両の騒音は周波数や音圧
等が当初から判明しているので、適当なフィルターで予
め除去されたり、信号処理の段階で他の環境音から弁別
処理等される。
【0014】音声のみに依存する障害物の検知方式で
は、歩行者や自転車搭乗者といった人体を認識できる率
はかなり低下する。これは、歩行者等が発生する音声自
体の音量がそれ以外の環境音に比べて微小であるために
S/N比が小さくなり過ぎること、発する音の要素が多
岐に渡ること、および偶発的な要素が多過ぎることによ
る。
【0015】赤外線検出装置4を備えた本発明の車両用
音声報知装置では、赤外線検出装置4の電気信号を人体
検知手段15で信号処理し、人体16の存在や接近を検
出して、音声または音に変換する。この音声または音が
出力装置6より運転者に報知されるので、運転者は歩行
者等の存在や接近も認識できる。
【0016】この車両用音声報知装置の一使用例では、
車両と歩行者等が存在している一般市街地では赤外線検
出装置4と音声認識装置10が併用され、音声認識装置
10では拾い切れない歩行者等が検知される。他方、歩
行者等が本来的にいない高速道路や有料道路では、もっ
ぱら音声認識装置10が使用される。
【0017】
【実施例】図示の実施例では、所要の指向性と集音範囲
を有するマイクロフォンが集音装置3として使用され、
集音装置3は車両1の少なくとも前方左右に設置され
る。ナビゲーション装置13の一要素を構成する車速度
センサー17は、車両停止を検知する検知装置9として
も兼用される。図2において、検知装置9から車両停止
の検知信号を受けたシステムコントローラ8は、集音装
置3の入力アンプ5と出力装置6の出力アンプ7をオン
させる。
【0018】図3において、検知装置9から車両停止の
検知信号を受けたシステムコントローラ12は、集音装
置3の入力アンプ5と、音声認識装置10と、出力装置
6の出力アンプ7、出力装置6の前段にある音声情報変
換装置11をオンさせる。
【0019】図4と図5において、ナビゲーション装置
13からの現在地情報と地図情報から運転者は自分の車
両1が交差点に接近していることを知る。そして、車両
1が交差点の手前で停止したとき、もしくは停止する手
前で、ナビゲーション装置13の車速度センサー17か
ら車両停止の検知信号を受けたシステムコントローラ1
4は、集音装置3の入力アンプ5と音声認識装置10及
び出力装置6の出力アンプ7と音声情報変換装置11を
オンさせる。音声認識装置10の記憶部には予め自動車
や二輪車のエンジン音や排気音等といった車両騒音と人
声を表している認識用の波形データ(辞書データ)が登
録してある。
【0020】集音装置3の入力アンプ5で増幅された環
境音の電気信号は、図6と図7に示したように音声認識
装置10の弁別部で前記登録データと対比され、人声と
車両騒音だけが抽出される。この抽出された車両騒音に
ついて音圧レベルから車両の距離計算がシミュレーショ
ンのもとに行われ、また、一定の時間差をおいてサンプ
リングされた車両騒音の音圧レベルと比較することによ
って、歩行者等や他車両2が接近して来るのか遠ざかっ
て行くのかが判定される。歩行者16や他車両2が接近
して来る場合には、システムコントローラ14は音声情
報変換装置11で得られた所定の音声情報を、スピーカ
ーで構成される出力装置6によって運転者に報知し、運
転者の注意を喚起したり、具体的な運転指示を与える。
【0021】図8は音声認識装置のシステム構成の一例
を示すものであり、このシステムは以下に説明する前処
理部と音響分析部と認識処理部とで構成されている。 前処理部: 認識に先立つ準備のための処理を行う。音
声区間はこのシステムの場合、検知対象となる交差点手
前から通過するまでの間に当たる。プリエンファシスと
は音声の強調(例えばゲインコントロール)処理のこと
であり、周囲の環境音が小さい(静かな)場合、集音装
置の入力感度を上げるといったことを行う。雑音除去と
は、対象としている音声の周波数帯域(自動車と二輪車
および人の声)以外を信号処理(フィルタ)でカットす
るものである。また、この前処理部では音圧レベルのサ
ンプリングも行う。 音響分析部:入力音声の音響的な特性の変化の様子を特
徴パラメタとして抽出する。例えば一般的な方法として
は、帯域フィルタ群を用いたスペクトル分析である。こ
のシステムの場合は音圧の特徴をも抽出する。 認識処理部:あらかじめ記憶しておいた標準パターンと
音響分析の結果得られたパターンとの類似度を調べて判
定を行う。このシステムの場合、通常の音声認識のよう
に音声区間が一定することはないが、一方のパターンの
時間軸を一定の割合で伸縮させてから順に対応づけを行
っていけば、類似パターンを見極めることができる。ま
た、サンプリングによって時間ごとに音圧差を検出す
る。
【0022】図9は赤外線検出装置4と人体検知手段1
5のシステム構成の一例を示すものであり、このシステ
ムは光学系と信号系とで構成されている。この赤外線検
出装置4は遠赤外線センサーであり、絶対温度で零度
(−273.15℃)以上の物体が放出しているエネル
ギーを無接触で探知するものである。ちなみに、人体が
放射する遠赤外線エネルギーは6〜15μm帯にあり、
9〜10μmにピークを持つ。このシステムの動作原理
は次の通りである。
【0023】道路から放射される遠赤外線を集光系で集
光し、検知素子に入光させる。人体が検知エリアに入っ
てくると、検知素子に入る遠赤外線エネルギー量は、人
体が放射する量と道路が放射する量の差だけ変動する。
この変動を電気信号に変換した後増幅して信号処理を行
い、人体を検出する。即ち、検知エリア内で遠赤外線エ
ネルギー量が特定のパターンで変動したかどうかを解析
して、人体認識するものである。温度の絶対値を検出す
るのではなく、数秒間の変動のみを検知するため、道路
上のゆるやかな温度変化には反応しにくく、誤認識を起
こしにくい。
【0024】この赤外線検出装置による検出方式は、歩
行者や自転車搭乗者といった人体認識だけでなく、車両
騒音が極めて低音であるため音声認識では検知困難な車
両に対しても適用することができる。
【0025】上記実施例のようにナビゲーション装置1
3と組み合わせた車両用音声報知装置は、ナビゲーショ
ン装置13からの現在地情報と地図情報及び速度情報に
基づいて動作を開始・終了するものであり、ナビゲーシ
ョン装置13で経路探索中、右左折する交差点もしくは
危険と思われる交差点等に接近した際、周辺情報を音声
情報として伝達させて積極的に運転者の注意を促すもの
であり、これによってナビゲーションシステムの有用性
を増大させる。
【0026】
【発明の効果】以上のように本発明の車両用音声報知装
置では、検知装置9で検知された車両1の停止時に、車
両1の周囲の環境音を集音装置3によって収集し、集音
装置3の検出信号を出力装置6によって運転者に報知す
るので、視覚情報が不足する交差点等においても、運転
者は車内に取り込まれた環境音の中から人声や車両騒音
を認識し、危険回避のために必要な判断と操作を的確に
行うことによって、衝突や接触事故を未然に防止するこ
とができる。
【0027】また、音声認識装置10を備えた車両用音
声報知装置では、集音装置3が集音した環境音から歩行
者等の人声や他車両の車両騒音を弁別して歩行者等や他
車両の存在又は接近を認識し、該音声認識装置10の認
識結果に応じた出力信号を車両停止時に出力装置6より
出力するので、運転者は安全確保に必要な運転操作をよ
り迅速かつ確実に行うことができ、事故の防止効果が一
段と向上する。
【0028】人体16が放出する赤外線エネルギー量を
検出する赤外線検出装置4を付加した車両用音声報知装
置によれば、音声認識装置10では検知困難な歩行者等
の存在や接近も的確に検知できるので、運転者に安全運
転の確保に必要な周辺情報を漏れなく伝達することがで
き、事故防止上の効果は更に高くなる。
【0029】本発明では、出力装置6は車両の停止時に
限り動作するものであり、それ以外のときには車外の環
境音は車内に報知されないため、車内は所要の静穏状態
に保持される。
【図面の簡単な説明】
【図1】本発明装置を搭載した車両が交差点に来たとき
の平面図である。
【図2】本発明の車両用音声報知装置の一例を示す構成
概要図である。
【図3】本発明の車両用音声報知装置の他の例を示す構
成概要図である。
【図4】本発明の車両用音声報知装置の別の適用例を示
す構成概要図である。
【図5】図4に示した車両用音声報知装置のシステムコ
ントローラの動作フロー図である。
【図6】図4に示した車両用音声報知装置の音声認識装
置の動作フロー図である。
【図7】該音声認識装置のシステム構成図である。
【図8】本発明の車両用音声報知装置に使用される音声
認識装置のシステム構成の一例を示す。
【図9】本発明の車両用音声報知装置に使用される赤外
線検出装置のシステム構成の一例を示す。
【符号の説明】
1 音声報知装置を搭載した車両 2 他車両 3 集音装置 4 赤外線検出装置 5 集音装置の入力アンプ 6 音声伝達装置 7 音声伝達装置の出力アンプ 8 システムコントローラ 9 車両停止の検知手段 10 音声認識装置 11 音声情報変換装置 12 システムコントローラ 13 ナビゲーション装置 14 システムコントローラ 15 人体検知手段 16 歩行者 17 車速度センサー

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 車両の停止を検知する検知装置と、車両
    周囲の環境音を収集する集音装置と、該集音装置で収集
    された環境音を車両停止時に出力する出力装置とを備え
    た車両用音声報知装置。
  2. 【請求項2】 車両の停止を検知する検知装置と、車両
    周囲の環境音を収集する集音装置と、該集音装置が集音
    した環境音から歩行者等の人声や他車両の車両騒音を弁
    別して歩行者等や他車両の存在又は接近を認識する音声
    認識装置と、該音声認識装置の認識結果に応じた出力信
    号を車両停止時に出力する出力装置とを備えた車両用音
    声放置装置。
  3. 【請求項3】 車外の人体から放出される赤外線エネル
    ギー量を検出する赤外線検出装置を備え、該赤外線検出
    装置により人体の存在又は接近を検知する人体検知手段
    を備えたことを特徴とする請求項2記載の車両用音声報
    知装置。
JP23911893A 1993-08-31 1993-08-31 車両用音声報知装置 Expired - Fee Related JP3550620B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23911893A JP3550620B2 (ja) 1993-08-31 1993-08-31 車両用音声報知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23911893A JP3550620B2 (ja) 1993-08-31 1993-08-31 車両用音声報知装置

Publications (2)

Publication Number Publication Date
JPH0769132A true JPH0769132A (ja) 1995-03-14
JP3550620B2 JP3550620B2 (ja) 2004-08-04

Family

ID=17040064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23911893A Expired - Fee Related JP3550620B2 (ja) 1993-08-31 1993-08-31 車両用音声報知装置

Country Status (1)

Country Link
JP (1) JP3550620B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717951B1 (ko) * 2006-01-26 2007-05-11 지멘스 오토모티브 주식회사 자동차의 경고음 출력 방법
JP2009258802A (ja) * 2008-04-11 2009-11-05 Nissan Motor Co Ltd 車外情報提供装置および車外情報提供方法
JP2010204104A (ja) * 2009-03-04 2010-09-16 Toyota Motor Engineering & Manufacturing North America Inc 車両と物体との間の衝突防止を助けるための方法および装置
JP2011201406A (ja) * 2010-03-25 2011-10-13 Denso It Laboratory Inc 車外音提供装置、車外音提供方法およびプログラム
US20120203436A1 (en) * 2011-02-08 2012-08-09 Volvo Car Corporation Onboard perception system
JP2018055371A (ja) * 2016-09-28 2018-04-05 アイシン精機株式会社 走行環境予測装置
WO2025100160A1 (ja) * 2023-11-08 2025-05-15 ソニーセミコンダクタソリューションズ株式会社 認識システム、情報処理装置及び車両制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61111476A (ja) * 1984-11-05 1986-05-29 Daihatsu Motor Co Ltd 車輌における移動物探知装置
JPS61111482A (ja) * 1984-11-05 1986-05-29 Daihatsu Motor Co Ltd 車輌における移動物探知装置
JPS6316392U (ja) * 1986-07-17 1988-02-03
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置
JPH0530996U (ja) * 1991-04-08 1993-04-23 日本信号株式会社 飛び出し警告装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61111476A (ja) * 1984-11-05 1986-05-29 Daihatsu Motor Co Ltd 車輌における移動物探知装置
JPS61111482A (ja) * 1984-11-05 1986-05-29 Daihatsu Motor Co Ltd 車輌における移動物探知装置
JPS6316392U (ja) * 1986-07-17 1988-02-03
JPH0530996U (ja) * 1991-04-08 1993-04-23 日本信号株式会社 飛び出し警告装置
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717951B1 (ko) * 2006-01-26 2007-05-11 지멘스 오토모티브 주식회사 자동차의 경고음 출력 방법
JP2009258802A (ja) * 2008-04-11 2009-11-05 Nissan Motor Co Ltd 車外情報提供装置および車外情報提供方法
JP2010204104A (ja) * 2009-03-04 2010-09-16 Toyota Motor Engineering & Manufacturing North America Inc 車両と物体との間の衝突防止を助けるための方法および装置
JP2011201406A (ja) * 2010-03-25 2011-10-13 Denso It Laboratory Inc 車外音提供装置、車外音提供方法およびプログラム
US20120203436A1 (en) * 2011-02-08 2012-08-09 Volvo Car Corporation Onboard perception system
US9315174B2 (en) * 2011-02-08 2016-04-19 Volvo Car Corporation Onboard perception system
JP2018055371A (ja) * 2016-09-28 2018-04-05 アイシン精機株式会社 走行環境予測装置
WO2025100160A1 (ja) * 2023-11-08 2025-05-15 ソニーセミコンダクタソリューションズ株式会社 認識システム、情報処理装置及び車両制御システム

Also Published As

Publication number Publication date
JP3550620B2 (ja) 2004-08-04

Similar Documents

Publication Publication Date Title
CN107709079B (zh) 在车辆中使用的用于检测外部事件的系统和方法
US5495242A (en) System and method for detection of aural signals
US11351988B2 (en) Use of sound with assisted or autonomous driving
JP2776092B2 (ja) 車両警報装置
CN103770736A (zh) 一种基于声场探测的车辆周边环境预警系统
CN108454621A (zh) 智能车辆及其控制方法、装置、系统及计算机存储介质
JP3550620B2 (ja) 車両用音声報知装置
US9616814B1 (en) Vehicle security alarming system determining relative velocity between a front car and a rear car by sounds retrieved therefrom
CN116311836A (zh) 一种车辆警示提醒方法、提醒装置及车辆
JP3847738B2 (ja) 車両周辺監視システム
CN112440950A (zh) 一种车辆驾驶控制系统及其控制方法
JP2000185609A (ja) 車載幼児警報器
CN114954226A (zh) 一种车辆鸣笛智能控制方法及控制系统
JPH09128697A (ja) 車両用周囲状況監視装置
JPH092152A (ja) 警報装置
US12522247B2 (en) Device and method for notifying vehicle arrival to respond to transportation vulnerable
JPH06245289A (ja) 車載用電子装置
JP4676868B2 (ja) 警報音等の特定音識別方法及び特定音識別装置
CN110341706A (zh) 一种人身外漏天窗防伤害系统
KR20170054714A (ko) 자동차 외부의 소음을 감지한 경고음 송출 시스템 및 그 방법
JPH0811629A (ja) 車両用警報装置
CN115762058A (zh) 一种车辆控制方法、装载和车辆
CN115257665A (zh) 一种车辆制动方法、装置、车辆及存储介质
KR102717908B1 (ko) 소리 기반 객체 인식을 이용하는 자율 주행 제어장치 및 그 방법
JPH0211438A (ja) 車外情報読取装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20031215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees