JPH0648247A - 車載用赤外線画像表示装置 - Google Patents

車載用赤外線画像表示装置

Info

Publication number
JPH0648247A
JPH0648247A JP4206807A JP20680792A JPH0648247A JP H0648247 A JPH0648247 A JP H0648247A JP 4206807 A JP4206807 A JP 4206807A JP 20680792 A JP20680792 A JP 20680792A JP H0648247 A JPH0648247 A JP H0648247A
Authority
JP
Japan
Prior art keywords
vehicle
infrared image
infrared
image
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4206807A
Other languages
English (en)
Other versions
JP3419802B2 (ja
Inventor
Koji Fujiwara
康治 藤原
Kenji Arinaga
健児 有永
Hajime Sudo
元 須藤
Nobuyuki Kajiwara
信之 梶原
Hiroyuki Wakayama
博之 若山
Shoji Doi
正二 土肥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP20680792A priority Critical patent/JP3419802B2/ja
Publication of JPH0648247A publication Critical patent/JPH0648247A/ja
Application granted granted Critical
Publication of JP3419802B2 publication Critical patent/JP3419802B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q7/00—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting
    • B23Q7/14—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting co-ordinated in production lines
    • B23Q7/1405—Arrangements for handling work specially combined with or arranged in, or specially adapted for use in connection with, machine tools, e.g. for conveying, loading, positioning, discharging, sorting co-ordinated in production lines with a series disposition of similar working devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Abstract

(57)【要約】 【目的】 本発明は車載用赤外線画像表示装置に関し、
夜間等の進向方向遠方及び曲がって進もうとする方向の
道路状況を確認できることを目的とする。 【構成】 赤外線撮像手段（１０）は、車両に取付けら
れ、上記車両から見える赤外線画像を撮像する。撮像方
向可変手段（２６〜２８）は、上記車両のハンドルの舵
角に応じて車両の進もうとする方向に上記赤外線撮像手
段を向ける。表示手段（１５〜１９，４２）は、上記赤
外線撮像手段で得た赤外線画像を表示する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は車載用赤外線画像表示装
置に関し、赤外線カメラで撮像した画像を表示して運転
者の状況認識を補助する車載用赤外線画像表示装置に関
する。
【０００２】近年、多発している交通事故の原因の一つ
に、夜間や照明の乏しい場合の視覚情報の欠乏がある。
夜間や照明が乏しく視覚情報が十分得られない場合、ヘ
ッドライトを点灯し、明るく照らし出された部分だけの
情報を確認しながら運行していた。このヘッドライトに
よる情報だけでは前方の状況を完全に把持することがで
きず、安全な運行ができない。そこで、運転者の得る視
覚情報を確保し、状況認識を補助する装置が要求されて
いる。
【０００３】
【従来の技術】従来、夜間又は暗く照明の乏しい場所を
自動車で走行する場合はヘッドライトを点灯して照明さ
れた部分を確認して運転を行なっている。
【０００４】
【発明が解決しようとする課題】しかし、ヘッドライト
で照明できる範囲及び明るさには限度があり、進向方向
遠方の道路状況を確認することができず、またカーブし
た道路を走行する場合は曲がって進もうとする方向をヘ
ッドライトで照明できず曲がって進もうとする方向の道
路状況を確認できないという問題があった。
【０００５】本発明は上記の点に鑑みなされたもので、
夜間等の進向方向遠方及び曲がって進もうとする方向の
道路状況を確認できる車載用赤外線画像表示装置を提供
することを目的とする。
【０００６】
【課題を解決するための手段】本発明の車載用赤外線画
像表示装置は、車両に取付けられ、上記車両から見える
赤外線画像を撮像する赤外線撮像手段と、上記車両のハ
ンドルの舵角に応じて車両の進もうとする方向に上記赤
外線撮像手段を向ける撮像方向可変手段と、上記赤外線
撮像手段で得た赤外線画像を表示する表示手段とを有す
る。
【０００７】また、車両のハンドルの舵角に応じた擬似
画像を発生する擬似画像発生手段と、赤外線撮像手段で
得た赤外線画像に上記擬似画像を合成して表示手段に表
示させる合成手段とを有する。
【０００８】
【作用】本発明においては、赤外線画像を表示するた
め、夜間等の進向方向遠方の道路状況を確認でき、また
ハンドルの舵角に応じて撮像方向を可変することによ
り、車両が曲がって進もうとする方向の道路状況を確認
できる。
【０００９】
【実施例】図１は本発明装置の第１実施例のブロック図
を示す。同図中、１０は赤外線撮像装置であり、車内の
運転席近傍に設置されており、フロントガラスを通して
略前方を撮像する。
【００１０】赤外線撮像装置１０は図２に示す構造であ
る。同図中、赤外線撮像素子１０ａは水銀カドミシム・
テルル（ＨｇＣｄＴｅ）基板上に形成されたフォトダイ
オードアレイと、シリコン基板上に形成された信号処理
回路とからなるハイブリッド型である。循環式冷凍機１
０ｂは赤外線撮像素子１０ａを１５０°Ｋ程度冷却す
る。
【００１１】この赤外線撮像装置で得られた赤外線画像
信号はＡ／Ｄコンバータ１１でディジタル化された後、
液晶ドライバ１２を経て液晶表示装置１４に供給され
る。液晶表示装置１４は投光機１５より光を照射されて
おり、これによって液晶表示装置１４に表示された赤外
線画像が投射されミラー１６で反射された後、レンズ１
７を通してフロントガラス１８にコーティングされたハ
ーフミラー反射膜１９上に画像２０として表示される。
【００１２】上記の赤外線撮像装置１０は図３（Ａ），
（Ｂ）に示す如くフロントガラス１８の上部に配置さ
れ、液晶表示装置１４、投光機１５、ミラー１６等はダ
ッシュボード２１内に収納されている。
【００１３】なお、フロントガラス１８の赤外線撮像装
置１０の視野に入る部分は全て赤外線を透過する材料で
形成されている。
【００１４】図１に戻って説明するに、ハンドル２５に
は回転角検出器２６が設けられており、ここで検出され
た舵角検出信号がコントローラ２７に供給される。コン
トローラ２７は舵角に応じた駆動信号をアクチュエータ
２８及び２９に供給する。
【００１５】アクチュエータ２８は赤外線撮像装置１0
の取付角度を略水平面内で駆動信号に応じて可変するも
のでハンドル２５を右（又は左）に切ると赤外線撮像装
置１０の撮像視野はハンドル２６の舵角に応じて右（又
は左）に可変する。
【００１６】アクチュエータ２９はミラー１６の取付角
度を駆動信号に応じて可変するものでハンドル２５を右
（又は左）に切ると、フロントガラス１８のハーフミラ
ー反射膜１９上に表示される画像２０はハンドル２５の
舵角に応じて車内から見てフロントガラス１８の右（又
は左）に移動する。
【００１７】このように赤外線画像をフロントガラス１
８のハーフミラー反射膜１９上に表示するため、ヘッド
ライトの照明がとどかない遠方であっても道路状況を確
認できる。またこの赤外線撮像装置１０はハンドルの舵
角に応じて回転し、表示される画像２０もハンドル舵角
に応じて運転者の視野と一致するようにフロントガラス
１８上を移動するため曲がって進もうとする方向の道路
状況を確認できる。
【００１８】更に、カーブ又は交差点等の道路状況が変
わる地点に、図４に示す如く周囲温度より高温のシンボ
ル又は文字からなる高温マーク３０を設けることによ
り、より遠方からこの高温マーク３０を表示２０に表示
して確認することができる。
【００１９】図５は本発明装置の第２実施例のブロック
図を示す。同図中、図１と同一部分には同一符号を付
し、その説明を省略する。
【００２０】図５において赤外線撮像装置１０は車外の
例えばボンネット上の運転席に近い位置に取付けられて
おり、アクチュエータ２８の駆動によりハンドル２５の
舵角に応じて左右に撮像視野を可変する。この赤外線撮
像装置１０で得られた赤外線画像信号は画像合成回路４
０に供給される。
【００２１】一方回転角検出器２６の出力する舵角検出
信号は画像発生回路４１に供給される。画像発生回路４
１は赤外線撮像装置１０の出力する画像信号と水平及び
垂直同期をとって図６（Ａ）に斜線で示す如き、車内視
野の擬似画像の画像信号を発生する。図６（Ａ）中、５
０はルーフ、５１ａ，５１ｂ夫々は左右のフロントピラ
ー、５２はボンネット、５３ａ，５３ｂ夫々は左右の車
幅表示バーを表わしている。また、画像発生回路４１は
舵角検出信号に応じて例えばハンドル２５を右に切った
ときそれに対応して車内視野を右に移動し、図６（Ｂ）
に示す如き擬似画像を発生する。ハンドルを左に切った
ときも同様に車内視野を左に移動する。画像合成装置４
０は赤外線撮像装置１０よりの図６（Ｃ）に示す如き赤
外線画像の画像信号と画像発生回路４１よりの擬似画像
の画像信号とを合成してモニタ４２に図６（Ｄ）に示す
如き合成画像を表示させる。
【００２２】このようにハンドルの舵角に応じて回転す
る赤外線撮像装置１０の赤外線画像をハンドルの舵角に
応じた擬似画像と合成してモニタ４２に表示するため、
遠方の道路状況はもちろん、曲がって進もうとする方向
の道路状況を確認できる。また車幅表示バー５３ａ，５
３ｂにより正確な車両感覚を得ることができる。また、
赤外線撮像装置１０を車外に設けているため、フロント
ガラスは赤外線を透過させる高価な材料で形成する必要
がない。
【００２３】
【発明の効果】上述の如く、本発明の車載用赤外線画像
表示装置によれば、夜間等の進向方向遠方及び曲がって
進もうとする方向の道路状況を確認でき、実用上きわめ
て有用である。
【図面の簡単な説明】
【図１】本発明装置の第１実施例のブロック図である。
【図２】赤外線撮像装置の構造を示す図である。
【図３】本発明装置の第１実施例を説明するための図で
ある。
【図４】高温マークを説明するための図である。
【図５】本発明装置の第２実施例のブロック図である。
【図６】本発明装置の第２実施例を説明するための図で
ある。
【符号の説明】
１０ 赤外線撮像装置 １４ 液晶装置 １６ ミラー １８ フロントガラス １９ ハーフミラー反射膜 ２０ 画像 ２５ ハンドル ２６ 回転角検出器 ２７ コントローラ ２８，２９ アクチュエータ ４０ 画像合成回路 ４１ 画像発生回路 ４２ モニタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 梶原 信之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 若山 博之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 土肥 正二 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 車両に取付けられ、上記車両から見える
    赤外線画像を撮像する赤外線撮像手段（１０）と、 上記車両のハンドルの舵角に応じて車両の進もうとする
    方向に上記赤外線撮像手段を向ける撮像方向可変手段
    （２６〜２８）と、 上記赤外線撮像手段で得た赤外線画像を表示する表示手
    段（１５〜１９，４２）とを有することを特徴とする車
    載用赤外線画像表示装置。
  2. 【請求項２】 上記表示手段（１５〜１９）は車両のフ
    ロントガラス上の上記車両のハンドルの舵角に応じた位
    置に表示を行なうことを特徴とする請求項１記載の車載
    用赤外線画像表示装置。
  3. 【請求項３】 請求項１記載の車載用赤外線画像表示装
    置において、 車両のハンドルの舵角に応じた擬似画像を発生する擬似
    画像発生手段（４１）と、 赤外線撮像手段で得た赤外線画像に上記擬似画像を合成
    して表示手段（４２）に表示させる合成手段（４０）と
    を有することを特徴とする車載用赤外線画像表示装置。
JP20680792A 1992-08-03 1992-08-03 車載用赤外線画像表示装置 Expired - Fee Related JP3419802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20680792A JP3419802B2 (ja) 1992-08-03 1992-08-03 車載用赤外線画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20680792A JP3419802B2 (ja) 1992-08-03 1992-08-03 車載用赤外線画像表示装置

Publications (2)

Publication Number Publication Date
JPH0648247A true JPH0648247A (ja) 1994-02-22
JP3419802B2 JP3419802B2 (ja) 2003-06-23

Family

ID=16529420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20680792A Expired - Fee Related JP3419802B2 (ja) 1992-08-03 1992-08-03 車載用赤外線画像表示装置

Country Status (1)

Country Link
JP (1) JP3419802B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2725576A1 (fr) * 1994-10-11 1996-04-12 Peugeot Procede pour ameliorer la vision de nuit du conducteur d'un vehicule automobile et dispositif pour la mise en oeuvre d'un tel procede
WO2002036389A1 (en) * 2000-10-26 2002-05-10 Autoliv Development Ab A night vision device for a vehicle
JP2002312898A (ja) * 2001-04-10 2002-10-25 Honda Motor Co Ltd 赤外線画像処理装置
JP2003002137A (ja) * 2001-06-27 2003-01-08 Honda Motor Co Ltd 画像認識装置
JP2006151215A (ja) * 2004-11-30 2006-06-15 Nippon Seiki Co Ltd 車両用表示装置
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
JP2008280025A (ja) * 2007-04-10 2008-11-20 Denso Corp 車両用表示装置
JP2009280076A (ja) * 2008-05-22 2009-12-03 Nippon Seiki Co Ltd 車両用ヘッドアップディスプレイ装置
JP2010105443A (ja) * 2008-10-28 2010-05-13 Denso Corp 視覚支援装置
JP2010247829A (ja) * 2010-04-19 2010-11-04 Fujitsu Ten Ltd 車両の運転支援装置
US7995095B2 (en) 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
US8274459B2 (en) 2007-04-10 2012-09-25 Denso Corporation Vehicle display apparatus
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
JP2016131367A (ja) * 2015-01-09 2016-07-21 株式会社リコー 移動体システム
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9440535B2 (en) 2006-08-11 2016-09-13 Magna Electronics Inc. Vision system for vehicle

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
EP0707424A1 (fr) * 1994-10-11 1996-04-17 Automobiles Peugeot Procédé pour améliorer la vision de nuit du conducteur d'un véhicule automobile et dispositif pour la mise en oeuvre d'un tel procédé
FR2725576A1 (fr) * 1994-10-11 1996-04-12 Peugeot Procede pour ameliorer la vision de nuit du conducteur d'un vehicule automobile et dispositif pour la mise en oeuvre d'un tel procede
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
WO2002036389A1 (en) * 2000-10-26 2002-05-10 Autoliv Development Ab A night vision device for a vehicle
EP1500557A1 (en) 2000-10-26 2005-01-26 Autoliv Development Ab A night vision device for a vehicle
JP2002312898A (ja) * 2001-04-10 2002-10-25 Honda Motor Co Ltd 赤外線画像処理装置
JP2003002137A (ja) * 2001-06-27 2003-01-08 Honda Motor Co Ltd 画像認識装置
US7995095B2 (en) 2001-10-18 2011-08-09 Autoliv Development Ab Night vision device for a vehicle
US8228379B2 (en) 2001-10-18 2012-07-24 Autoliv Development Ab Night vision device for a vehicle
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
JP2006151215A (ja) * 2004-11-30 2006-06-15 Nippon Seiki Co Ltd 車両用表示装置
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
US9440535B2 (en) 2006-08-11 2016-09-13 Magna Electronics Inc. Vision system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US8274459B2 (en) 2007-04-10 2012-09-25 Denso Corporation Vehicle display apparatus
JP2008280025A (ja) * 2007-04-10 2008-11-20 Denso Corp 車両用表示装置
JP2009280076A (ja) * 2008-05-22 2009-12-03 Nippon Seiki Co Ltd 車両用ヘッドアップディスプレイ装置
JP2010105443A (ja) * 2008-10-28 2010-05-13 Denso Corp 視覚支援装置
JP2010247829A (ja) * 2010-04-19 2010-11-04 Fujitsu Ten Ltd 車両の運転支援装置
JP2016131367A (ja) * 2015-01-09 2016-07-21 株式会社リコー 移動体システム

Also Published As

Publication number Publication date
JP3419802B2 (ja) 2003-06-23

Similar Documents

Publication Publication Date Title
JP3419802B2 (ja) 車載用赤外線画像表示装置
US7898434B2 (en) Display system and program
CN108602465B (zh) 车辆用图像显示系统及搭载了该图像显示系统的车辆
KR101702888B1 (ko) 차량용 시야 각도 조절장치, 이를 포함하는 차량 및 차량용 시야 각도 조절방법
US6587760B2 (en) Motor vehicle parking support unit and method thereof
JP4364471B2 (ja) 車両の画像処理装置
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP4348527B2 (ja) 車載型赤外線暗視装置
JP2005509129A5 (ja)
JP2007223338A (ja) 表示システム、移動体、表示方法、表示プログラムおよびその記録媒体
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
CN106143283A (zh) 车辆用照明装置及包括其的车辆
JPH11115546A (ja) 車両用表示装置
JP2002225629A (ja) 車両用監視装置
JP2005509129A (ja) ナビゲーションのために周囲の視覚的情報を自動車の運転手に知らせるエンハンスド・ディスプレイ
JP7096662B2 (ja) 画像表示装置及び駐車支援システム
JP2008222153A (ja) 合流支援装置
JP2014060646A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP4238428B2 (ja) 交差点情報提供装置
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
CN101213110B (zh) 夜视系统
JP2011003117A (ja) 後方視認支援システム
WO2020152970A1 (ja) ヘッドアップディスプレイ装置
JP4207298B2 (ja) 運転支援画像合成装置
JPH08253059A (ja) 車両用運転支援システム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees