JP4094325B2 - 駐車運転支援装置 - Google Patents

駐車運転支援装置 Download PDF

Info

Publication number
JP4094325B2
JP4094325B2 JP2002103804A JP2002103804A JP4094325B2 JP 4094325 B2 JP4094325 B2 JP 4094325B2 JP 2002103804 A JP2002103804 A JP 2002103804A JP 2002103804 A JP2002103804 A JP 2002103804A JP 4094325 B2 JP4094325 B2 JP 4094325B2
Authority
JP
Japan
Prior art keywords
vehicle
parking
line
parallel
guide line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002103804A
Other languages
English (en)
Other versions
JP2003291759A (ja
Inventor
和史 水澤
修作 岡本
裕一 平間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002103804A priority Critical patent/JP4094325B2/ja
Priority to DE60334685T priority patent/DE60334685D1/de
Priority to PCT/JP2003/003532 priority patent/WO2003084783A1/ja
Priority to EP03715392A priority patent/EP1493632B1/en
Priority to US10/484,898 priority patent/US6999002B2/en
Priority to KR1020047002167A priority patent/KR100891955B1/ko
Publication of JP2003291759A publication Critical patent/JP2003291759A/ja
Application granted granted Critical
Publication of JP4094325B2 publication Critical patent/JP4094325B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10Automatic or semi-automatic parking aid systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は車両の後方を車載カメラで撮影し運転席から視認可能なモニタ画面に表示することで駐車運転を支援する駐車運転支援装置に係り、特に、縦列駐車に有効なガイドをモニタ画面に重畳表示する駐車運転支援装置に関する。
【0002】
【従来の技術】
車載カメラを車両後部に後ろ向きに設置し、この車載カメラから得られた映像を運転席にあるモニタ画面に表示して、車両後方の様子を運転者に提示する運転支援装置が普及し始めている。このとき、モニタ画面に、駐車操作の手がかりとなる様々なガイドを重畳表示して、運転者の駐車操作を支援する機能を持つ駐車運転支援装置も見られる。
【0003】
例えば、特開2001-180405号公報記載の駐車運転支援装置では、駐車操作中に周囲の車両等の障害物と接触するかしないかを容易に判断できるように、自車両左前方角部等の特定部分の軌跡ラインをモニタ画面に重畳表示している。図12は、特開2001-180405号公報記載の従来の駐車運転支援装置の画面構成例である。以下、図12を用いて、従来技術を説明する。
【0004】
この従来技術では、車両後方画像を表示するモニタ画面1に、自車両の直進後退時の車幅を示すガイド2、3および各ガイド2、3の後端を示すガイド4、5を表示し、また自車両から左右斜め後方の所定位置を示すガイド6、7を表示している。更に、この従来技術では、操舵角に応じてガイド6、7(図示する例ではガイド6)に沿って移動する操舵量ガイド8(図中の二重矩形表示の内側の枠)を表示している。
【0005】
このモニタ画面1を見ながら縦列駐車を行う場合、先ず、自車両を道路と平行に直進後退させ、目標駐車スペースT(図中の二重矩形表示の外側の枠)の目標点S1にガイド6が重なった時点で、自車両を停止させる。次に、操舵量ガイド41がモニタ画面1上で目標駐車スペースTとほぼ重なるまで、ハンドルを左方へ切る(図12は、目標駐車スペースTと操舵量ガイド41とが重なった状態を図示)。そして、両者が重なったとき、そのままの操舵角を維持した状態で更に自車両を後退させる。
【0006】
このとき、駐車運転支援装置は、自車両の左前方角部の軌跡ライン9をモニタ画面1に表示する。この軌跡ライン9がモニタ画面1に表示されることで、運転者は、道路左側へ縦列駐車する際に、自車両の左前方角部が目標駐車スペースTに入る経路の途中で障害物(の画像10)に干渉する可能性があるか否かが分かる。
【0007】
次に、ハンドルの操舵角を保持しつつ自車両を後退させ、目標点S1位置にガイド5が来たところで自車両を停止させ、その後、据え切りでハンドルの操舵角を反対方向へ最大にして車両を後退させ、車幅のガイド2が路側ライン11と平行になったところで、縦列駐車の操作が完了する。
【0008】
上述した従来技術に係る駐車運転支援装置を用いて縦列駐車を行う場合、モニタ画面に表示された自車両左前方角部の軌跡ライン9により、隣接車両に接触してしまうか否かを事前に知ることができる。
【0009】
【発明が解決しようとする課題】
しかしながら、従来の駐車運転支援装置は、この軌跡ライン9を精度良く表示するために、操舵角を検出するセンサや舵角信号の受信部、予測軌跡算出部などを設ける必要があり、実現コストが高くなってしまうという問題がある。
【0010】
また、従来の駐車運転支援装置で、軌跡ライン9が障害物に重なってしまい、そのまま駐車操作を続けると障害物に接触してしまうときには、自車両の駐車操作開始位置を何度も修正して、その都度、軌跡ライン9が障害物に重ならない位置を探さなくてはならないという問題もある。
【0011】
更に、モニタ画面に表示される車両後方の画像は、広角カメラ画像であるため、自車両後方の遠い位置ほど小さく且つ歪んで表示され、従って図12に示す目標位置S1にガイド6が一致したか否かを高精度に判断するのが難しく、この結果、自車両を目標駐車スペースTに精度良く駐車させることが困難になるという問題もある。
【0012】
本発明の目的は、縦列駐車する際に自車両左前方角部や自車両右前方角部が周囲の車両や障害物と接触する可能性を直感的に判断でき、且つ、ハンドルの操舵ポイントを的確に判断できるガイドをモニタ画面を表示する駐車運転支援装置を提供することにある。
【0013】
本発明の別の目的は、駐車操作を、直進後退、あるいは、常に最大にハンドルを切った状態での後退に限定することで、操作性の向上を図ると共に、左側(あるいは右側)に縦列駐車する際に使用する自車両左前方角部(あるいは自車両右前方角部)が周囲の車両や障害物と接触する可能性を容易に判断可能な安全性の高いガイドをモニタ画面に表示する駐車運転支援装置を提供することにある。
【0025】
本発明の駐車運転支援装置は、車両の後方画像を撮像する撮像手段と、前記撮像手段の撮像画像を表示するモニタ手段と、前記車両から斜め後方に延びる第1の境界線であって、左右いずれかの方向にハンドルを切ったまま後退する第1ステップと、前記第1ステップで切っていたハンドルを真っ直ぐに戻して直進後退する第2ステップと、前記第1ステップで切っていた方向とは逆の方向にハンドルを切ったまま後退する第3ステップと、を有する縦列駐車操作のうちの前記第3ステップにおいて、駐車スペースの前方に存在する障害物に接触するかしないかの目安を示す第1の境界線と、前記車両の後方に位置する補助のガイド線であって、前記縦列駐車操作中の前記第2ステップにおいて、ハンドルを真っ直ぐに戻すときの目安となり、かつ、前記縦列駐車操作中の前記第2ステップにおけるハンドルを真っ直ぐに戻した後の直進後退を終了するときの目安となる補助のガイド線と、前記第1の境界線から後方に離間し、前記縦列駐車操作の完了時に前記駐車スペースの後方に存在する障害物に接触するかしないかの目安を示す第2の境界線とを前記モニタ手段に表示される前記撮像画像に重畳して表示する制御手段とを備えることを特徴とする。
【0026】
この構成により、上述と同様に縦列駐車操作の開始位置を容易に判断可能になると共に、駐車したいと思ったスペースに対して実際に駐車可能であるか否かを駐車操作前に容易に判断可能となる。この第1のガイド線や第2のガイド線は、上記と同様に予め一意に定めておくことができるため、舵角センサや軌跡演算手段が不要であり、低コストで駐車運転支援装置を構成することができる。また、縦列駐車操作の中間で行われる直進後退をどの程度行えばよいかの判断が容易となり、最適な最終駐車位置に駐車することが容易となる。
【0027】
また本発明は、前記第1の境界線は、前記縦列駐車操作中の前記第3ステップにおいて前記車両が最大舵角でハンドルを切って後退する場合に前記車両の前方が描く外側の軌跡に対する接線のうちの、前記縦列駐車操作中の前記第2ステップにおいて直進後退する方向と平行なものである、ことを特徴とする。この構成により、ハンドル操作が直進操作、左右の最大舵角の3つの操作に限定され、駐車操作が簡単になる。
【0028】
また本発明は、前記制御手段が、前記縦列駐車操作中の期間、前記第1の境界線、前記補助のガイド線、及び前記第2の境界線を前記撮像画像に重畳して表示する、ことを特徴とする。
【0029】
また本発明の前記制御手段は、前記ガイド線の代わりに、前記ガイド線から所定距離だけ前記車両から離れる方向に余裕をもったガイド線を前記モニタ手段に重畳表示することを特徴とする。この構成により、他車両との接触を余裕を持って回避可能となり、安心して駐車運転操作を行うことが可能となる。
【0030】
【発明の実施の形態】
以下、本発明の一実施の形態を図面を参照して説明する。
【0031】
1は、本発明の実施の形態に係る駐車運転支援装置を搭載した車両の構成図である。この駐車運転支援装置は、自車両20の後方を撮像するカメラ21と、車両20の内部に設けられた制御手段22と、運転席から視認可能な位置に設置されたモニタ装置23とを備える。制御手段22は、カメラ21の撮像画像に後述する各ガイドを重畳し、モニタ装置23の画面に表示する様になっている。モニタ装置23としては、カーナビゲーション用として用いられる液晶画面等を使用してもよい。カメラ21は、車両20の後方を撮影できるように、撮影画角内に車両20の後部バンパ24が映り込む位置に設置するのがよい。
【0032】
図2は、車両の左側に縦列駐車するときに一般の人が通常行う駐車手順を説明する図である。縦列駐車を行う場合、まず、図2(a)に示す様に、駐車スペース30の前方に駐車している他車両31に平行になるように自車両20を停車させる。これが、縦列駐車の駐車開始位置となる。
【0033】
この状態から、自車両20のハンドルを左に切り、ハンドル角を一定にしたまま、適当な位置(図2(a)に符号20aで示す自車両位置)まで後退する。一般的には、自車両20が道路に沿う方向に対して45度程度傾くまで後退する。この駐車ステップを、以後、ステップ▲1▼という。
【0034】
ステップ▲1▼の後、図2(b)に示す様に、ハンドルを直進に戻して更に適当な位置(図2(b)に符号20bで示す自車両位置)まで直進後退する。以後、この駐車ステップをステップ▲2▼という。
【0035】
次の駐車ステップとしては、図2(c)に示すように、ハンドルを右に切り、ハンドル角を一定にしたまま後退し、路側線32あるいは駐車スペース30の側方ラインと自車両とが平行になった位置(図2(c)に符号20cで示す自車両位置)まで後退し、駐車完了となる。以後、この駐車ステップをステップ▲3▼という。
【0036】
図2(d)は、駐車ステップがステップ▲1▼、ステップ▲2▼、ステップ▲3▼と連続して行われたときの車両軌跡33を示す図である。ステップ▲2▼で行われる直進後退の距離は、駐車開始位置が隣接する他車両31との間の距離によって異なり、このステップ▲2▼の直進後退距離を殆どとる必要がなく、ステップ▲2▼が省略される場合もある。
【0037】
この一連の駐車操作において、ステップ▲3▼で右にハンドルを切って後退する時、駐車スペース30の前方駐車中の他車両31に、自車両20が接触するか否かを注意する必要がある。それは、ステップ▲3▼が行われると、自車両20の車体前部が大きく左に振れ、他車両31に接近するためである。しかし、このとき、運転者の注意は、後方駐車中の他車両53に向いており、自車両の前方と後方の両方の接触に対して注意を分散させなければならない。
【0038】
図3は、本発明の実施の形態に係る駐車運転支援装置が縦列駐車運転をどのように誘導するかの手順を説明する図である。
【0039】
図3(a)に示す車両軌跡34は、ステップ▲3▼が実行されたときの自車両20の左前方角部が通る領域の境界線を示す軌跡ラインであり、左に凸の円弧を描く。この車両軌跡34上に、図3(b)に示すように他車両31が存在する場合には、ステップ▲3▼が実行されると、自車両20は他車両31に接触することになる。しかし、図3(c)に示されるように、車両軌跡34上に他車両31が存在しない場合は、自車両20は他車両31に接触することなく、目的の駐車スペースに駐車させることができる。
【0040】
そこで、ステップ(3)において右にハンドルをいっぱいに切って後退する際の自車両20の左前方角部が通過する車両軌跡34に対し、図3(d)に示す様に、この車両軌跡34の接線のうち、ステップ(2)での直進後退方向と平行なガイド線35を予め定め、制御手段22内の図示しないメモリに格納しておく。そして、このガイド線35を、図1に示すカメラ21であたかも撮像したときに得られるガイド線画像35a(後述の図4参照)として、カメラ21の撮像画像に重畳して表示する。
【0041】
今、ステップ▲3▼の最適な開始位置を位置K(図3(d)では、自車両20を表示した位置)とする。また、ステップ▲1▼で左にハンドルをいっぱいに切って後退したときに、車両20が位置Kに達する駐車開始位置を位置Aとする。
【0042】
この位置Aにおいて、自車両20は他車両31と平行になっている。位置Aに自車両20が停止しているときの、自車両20と上記のガイド線35との関係は、図3(d)に示す様になっており、この位置Aから縦列駐車を開始すれば、自車両20を他車両31に接触させずに駐車操作を完了させることができる。
【0043】
しかし、位置Aよりも前方の位置に自車両を停止させて駐車開始位置とし、ステップ▲1▼を開始すると、自車両20は他車両31に接触してしまう。この位置Aより前方に自車両20を停止させた状態で、カメラ21の後方撮像画像をモニタ画面に表示した図が図4であり、このモニタ画面36には、他車両31の車両画像31aと、前述したガイド線画像35aとが表示されている。
【0044】
この図4のモニタ画面36の様に、ガイド線画像35aが他車両画像31aと重なっているときは、ガイド線画像35aが他車両画像31aから外れる位置すなわちステップ▲1▼の開始位置(駐車開始位置)まで自車両20を後退させる必要がある。
【0045】
ガイド線画像35aすなわち図3(d)に示すガイド線35は、ステップ▲2▼で直進後退する方向(道路方向に対してほぼ45度傾いた方向)と平行であるため、ガイド線35と他車両31との位置関係は変化することがない。つまり、ガイド線35に沿って位置Aと並行で且つ他車両31から更に離れた位置Bに自車両20があり、この位置Bを駐車開始位置としてステップ▲1▼を開始しても、ステップ▲2▼での直進後退距離が長くなるだけで、ステップ▲3▼を実行しても自車両左前方角部が他車両31に接触する可能がないことは、位置Aから駐車操作を開始したときと同じである。
【0046】
ステップ▲3▼を実行しても他車両31に接触しない縦列駐車の理想的な開始位置Aや、それと平行な位置Bと、ガイド線35との関係は、自車両20の大きさや最小回転半径等の大きさから予め決まる。このため、縦列駐車のステップ▲1▼を開始する位置を探すために自車両を隣接車両に対して平行に直進後退させているときのモニタ画面36のどこにガイド線画像35aを表示すれば良いかは、予め決めておくことができる。
【0047】
このように、自車両の大きさ等によって予め決めたガイド線画像35aを、図4に示す様に、モニタ画面36上のカメラ撮像画像に重畳表示しておくことで、ステップ▲1▼の開始位置を容易に判断することが可能となる。即ち、自車両20を直進後退させ、ガイド線画像35aが他車両画像31aから外れた位置に来たとき、その位置は、他車両31がガイド線35よりも前方に存在することを示し、縦列駐車操作を行っても、自車両20が他車両31に接触しないことを示す。
【0048】
他車両画像31aからガイド線画像35aが外れたとき、次にハンドルを左にいっぱいに切ってガイド線画像35aと平行になるまで後退する。しかし、ガイド線画像35aは固定ガイド表示(図4に示す例では、常に自車両の所定左斜め後方向を示すガイド表示)であるため、自車両20が回転を始めると、この回転前にモニタ画面36に表示されていたガイド線画像35aの方向に対して自車両20の向きが平行になったか否かは分からない。
【0049】
しかし、ガイド線35に対して平行になったか否かは、モニタ画面36を見なくても、他車両31や道路との関係を実際に目で見て確認することができ、ガイド線35に対して平行すなわち道路等に対して例えば45度に傾いたか否かは容易に知ることができる。また、このとき、自車両20にジャイロセンサ等を搭載して自車両20の角度変化を測定し、ステップ▲1▼の操作終了ポイントを運転者に音声通知したり、モニタ画面に何らかの終了報告表示を行うことも可能である。
【0050】
次に、ステップ▲2▼を実行して自車両20を位置Kに達するまで直進後退する。位置Kすなわちステップ▲3▼の実行開始位置に達したか否かの判定は、例えば、車両軌跡34をモニタ画面36内に表示し、車両軌跡34と駐車スペース30の側方ライン32とが所定の距離に達したか否かで判断できる。位置Kに達した場合、次に右にハンドルをいっぱいに切り、駐車スペース30の路側線32と自車両20の側面とが平行になるまで後退する。これで、縦列駐車が完了する。
【0051】
れによれば、舵角センサを搭載したり軌跡表示のための軌跡演算処理を行わなくても、自車両の駐車スペース前方に駐車中の他車両に接触しない駐車開始位置を的確に判断でき、安心して駐車操作を行うことができる。このため、低コストな駐車運転支援装置を実現することが可能となる。
【0052】
更に、直進後退操作、左いっぱいにハンドルを切って後退する操作、右いっぱいにハンドルを切って後退する操作の3つの操作だけで縦列駐車ができるため、初心者でも容易に縦列駐車が可能となる。
【0054】
述では、ガイド線画像として図3(d)に示すガイド線35に相当するガイド線画像35aだけをモニタ画面に表示したが、ここでは、このガイド線画像35aに加えて、図3(d)の位置K(ステップ(3)の最適開始位置)を的確に判断できる補助のガイド線画像も併せて表示する。
【0055】
図5に示す自車両20において、ハンドルをいっぱいに切って自車両20を後退させたときの自車両20の外側の予測軌跡40(図5では、左側への縦列駐車を支援するガイド表示を説明するため、ハンドルを右にいっぱいに切ったときの予測軌跡40のみを図示している。右側への縦列駐車を支援するガイド表示については、以下の説明の左右を逆にすることで容易に求めることが可能である。)を求める。そして、この予測軌跡40の接線41を求め、更に、この接線41から所定距離dだけ外側に離間した線42を求める。
【0056】
接線41は、例えば自車両20の中心線と予測軌跡40とが交わる点における接線とする。所定距離dは、図7(d)に示す距離d、即ち、縦列駐車終了時における自車両左側側面と路側線32との間の距離にとる。
【0057】
また、自車両20の中心線に対する線42のなす角をα(図5では、この中心線と平行な車体左側面に沿う直線44との角度として図示している。)としたとき、線44に対して等しい角度αだけ逆方向に傾いた線45を求め、更に、この線45に対して平行で所定距離tだけ前方に離間した線43を求める。
【0058】
線45の自車両20に対する前後方向の位置は、ガイド線35と同様に定める。即ち、ハンドルを左いっぱいに切って線45と自車両20とを並行にし、更にハンドルを右いっぱいに切って自車両20の前部を左方向に振っても、自車両20が絶対に他車両31に接触しない範囲の境界を示す線として定める。
【0059】
に、この線45に対して余裕分としての距離tだけ離れた線43を求め、この線43をガイド線35の代わりに使用する。即ち、上述した様にして予め定めた線42、43をガイド線とし、これらのガイド線42、43をカメラ21で撮像したとき得られるガイド線画像42a、43aを、図6のモニタ画面36上に重畳表示する。
【0060】
次に、ガイド線画像42a、43aを用いた縦列駐車の手順について図7を参照して説明する。ガイド線画像43aを用いた駐車操作は、ガイド線画像35aを用いた例と同様であり、ステップ(1)の操作開始位置を知るためのガイドとして用いる。しかし、図5で示した距離tの余裕分があるため、更に他車両31との接触に対する安全性が高くなっている。
【0061】
6に示すガイド線画像43aが他車両画像31aから外れた時点でステップ(1)を開始し(図7(a))、ハンドルを左いっぱいに切って後退する。このステップ(1)の操作終了の位置は、上述では自車両の傾きが道路に対して45度程度傾いたことを目視で直接確認するなどして判断した。しかし、ここでは、モニタ画面36上で、ガイド線画像42aが路側線32の画像と平行になったか否か(図7(b))で判断することが可能である。
【0062】
ガイド線画像42aが路側線32の画像と平行になった時点でステップ▲1▼が終了し、ステップ▲2▼を開始することになる。即ち、ハンドルを真っ直ぐに戻し、直進後退することになる。この後退は、ガイド線画像32aが路側線32の画像と一致するまで(図7(c))行う。両者が一致したとき、ステップ▲2▼の終了位置すなわちステップ▲3▼の開始位置となる。
【0063】
ステップ(3)の開始位置に来たとき、次に、図7(d)に示す様に、ハンドルを右いっぱいに切って後退する。この後退時に、自車両20の前部は大きく左方向に振れて他車両31に接近することになるが、その軌跡は、図7(a)に示す線43の後方位置となるため、他車両31に接触する虞はない。図5で説明した所定距離tの余裕分が設けられているため、図6に示すガイド線画像43aが他車両画像31aから外れた直後にステップ(1)を開始したとしても、余裕を持って接触が回避される。
【0064】
このステップ▲3▼の後退は、自車両20の向く方向が路側線32に平行になるまで行う。このステップ▲3▼の終了位置で、自車両20と路側線32との間には、前述した距離dの隙間が残ることになる。
【0065】
尚、ステップ▲3▼の終了位置、即ち、自車両20と路側線32等とが平行になった位置は、目視で直接判断するが、この判断を補助するガイド線画像をモニタ画面36に表示することもできる。例えば、図11に示す様に、自車両20の後方に自車両20と平行で、且つ、車幅よりもやや広めに配置した2本の直線50に相当するガイド線画像50aを、図10のモニタ画面36に重畳表示する。この図10に示す符号24aは、図1に示す後部バンパ24の画像である。
【0066】
図1に示すカメラ21が広角レンズを使用している場合、レンズ歪みの影響により、実空間上の直線(図11で示す直線50)を表示するモニタ画面36上のガイド線画像50aは、曲線になってしまう。これではモニタ画面36が見づらくなるため、図1に示す制御手段22内に、レンズ歪みを補正する装置を設け、直線のガイドや路側線32等の直線がモニタ画面上でも直線として表示される様に補正するのがよい。
【0067】
この様に、ガイド線画像43aの他にガイド線画像42aをモニタ画面に重畳表示することにより、ステップ(1)の開始位置ばかりでなく、ステップ(3)の開始位置も容易に判断することが可能となる。更に、図5で説明した所定距離t、dを設けたため、縦列駐車中に後方障害物に注意が集中しても、前方駐車中の他車両や路肩との接触を余裕を持って回避可能となる。
【0068】
更に、駐車操作中のハンドル操作を、直進後退、もしくは、左右いずれかにいっぱいに切った状態での後退にのみ限定したときのガイド表示に限定したため、ガイド表示が迅速且つ簡単にでき、しかも、それに基づく運転操作が単純となり、安定した縦列駐車操作が実行できるという効果がある。
【0069】
に、本発明の実施の形態について図8、図9を参照して説明する。縦列駐車を行う場合、縦列駐車中の他車両の間に駐車可能なスペースを見つけることになる。しかし、見つけたスペースが自車両の駐車スペースとしてギリギリのスペースであったとき、実際に駐車可能か否かの判断は困難となる。そこで、駐車可能であるか否かを容易に判断可能なガイドをガイド線画像に更に重畳して表示する。
【0070】
図9は、ガイド線の説明図である。図9(d)に示す様に、図6(a)に示すガイド線42、43の他に、ガイド線51、52を用いる。ガイド線51は、ガイド線43に平行な線で、且つガイド線43から自車両20の長さより所要距離だけ後方位置を示す線である。ガイド線43とガイド線51とを接続するガイド線52は、自車両20が駐車するのに必要な路側線32からの車幅を示す線である。このガイド線51、52を、図8に示す様に、図1のカメラ21で撮像した場合に得られるであろうガイド線画像51a、52aとしてモニタ画面36に重畳表示する。
【0071】
ステップ▲1▼とステップ▲3▼の後退操作を最大舵角での後退に限定すると、これらの駐車ステップにおける自車両の軌跡は一義的に決定されるため、ステップ▲2▼の直進操作によってステップ▲1▼の開始位置と最終駐車位置との関係も一義的に定まる。つまり、ステップ▲1▼の開始位置を決定した際に、最終的に駐車できる位置は、ガイド線43と平行に車両を移動させたときに通過する領域となる。このため、ガイド線51を直線とした場合、ガイド線51はガイド線43と平行になる。
【0072】
図9(d)に示す車両位置x、y、z、は、自車両20をステップ▲1▼▲2▼▲3▼に従って駐車操作したときに最終的に到達する位置を示す。位置xが最適な最終駐車位置であるが、位置y、zは、ステップ▲2▼での直進後退の距離を間違ったときの最終駐車位置である。このようにステップ▲2▼での直進後退距離を間違った場合でも、その最終駐車位置はガイド線51に沿って平行にずれた位置となるため、後方の他車両53がこのガイド線51より後方にある限り、後方の他車両53に接触することはない。
【0073】
従って、図9(c)に示す様に、道路の左側に他車両31、53が駐車しており、他車両31、53間に存在するスペースに駐車しようと思ってステップ▲1▼の開始位置をガイド線43で定めた場合、ガイド線51が後方の他車両53に重なっていたときには、後方の他車両53に接触してしまうことが分かる。
【0074】
同様に、図9(b)に示す様に、後方の他車両53に衝突しないように、後方の他車両53がガイド線51の後方になるように自車両20の位置を調整した場合に、駐車スペースの前方に駐車中の他車両31にガイド線43が重なったとき、この他車両31に接触してしまうことが分かる。
【0075】
このため、図9(a)に示す様に、他車両31、53が駐車している間のスペース30に対して自車両20を駐車することができるか否かは、駐車中の他車両31に平行に自車両20を後退させ、前方の他車両31がガイド線43より前に来たとき、後方の他車両53がガイド線51より後にあるか否かで判断可能となる。即ち、図8のモニタ画面36で、ガイド線画像43aに他車両31の画像が重ならず、且つ、ガイド線画像51aに他車両53の画像が重ならないとき、他車両31、53間の駐車スペース30に自車両20を駐車可能と判断することができる。
【0076】
このように、駐車スペースの前方に駐車中の他車両31と平行に自車両20を停車させ、そのまま前後に直進するだけで、駐車操作を行う前に、目的とする駐車スペースに自車両を駐車させることが可能か否かを的確に判断することが可能となる。
【0077】
尚、図8のモニタ画面36では、ガイド線画像51a、52aを点線表示としているが、例えば、ガイド線画像51a、52aで囲まれた内側の領域を色を付けるなどして表示することでもよく、線で表示する必要はない。また、ガイド線52に対応したガイド線画像52aは必ずしも必要ではなく、モニタ画面に表示しなくてもよい。
【0078】
以上述べた実施形態によれば、駐車スペースの前方に駐車中の車両と平行に自車両を停車させ、そのまま前後に直進するだけで、目標とする駐車スペースに駐車可能か否かをモニタ画面を通じて的確に判断できるという利点がある。また、後方撮影用のカメラを用いて、自車両の前方角部の接触可能性を駐車操作の開始前に判断できるという利点もある。
【0079】
更に本実施形態によれば、、駐車操作の際のガイドを全て直線し、その位置と向きをあわせることのみに操作を単純化したため、カメラで撮影した画像とガイドとの関係を直感的に容易に把握できるという効果がある。また、駐車操作中のハンドル操作を、直進操作と、左または右にいっぱいに切る操作の3つの操作に限定したため、運転者に分かりやすく、且つ、確実なハンドル操作が実現可能となる。これにより、運転初心者であっても、確実に縦列駐車を行うことが可能となる。
【0080】
以上、本発明の技術の理解の便宜のため、最適な実施形態を基に説明したが、本発明は例示の実施形態のみに限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、具体的な構成を変更して実施可能である。
【0081】
【発明の効果】
本発明によれば、縦列駐車する際に自車両左前方角部や自車両右前方角部が周囲の車両や障害物と接触する可能性を直感的に判断でき、且つ、ハンドルの操舵ポイントを的確に判断でき、運転初心者でも縦列駐車を直感的に安心して行うことが可能な駐車運転支援装置を提供できる。更に、本発明によれば、舵角センサを用いたり複雑な軌跡計算を行う必要がないため、低コストな駐車運転支援装置を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る駐車運転支援装置のブロック構成図
【図2】本発明の実施形態に係る駐車運転支援装置で採用する縦列駐車手順の説明図
【図3】本発明の実施の形態に係る駐車運転支援装置で用いるガイドの説明図
【図4】本発明の実施の形態に係る駐車運転支援装置のモニタ画面例を示す図
【図5】本発明の実施の形態に係る駐車運転支援装置で用いるガイドの説明図
【図6】本発明の実施の形態に係る駐車運転支援装置のモニタ画面例を示す図
【図7】本発明の実施の形態に係る駐車運転支援装置で採用する縦列駐車手順の説明図
【図8】本発明の実施の形態に係る駐車運転支援装置のモニタ画面例を示す図
【図9】本発明の実施の形態に係る駐車運転支援装置で用いるガイドの説明図
【図10】本発明の実施の形態に係る駐車運転支援装置で補助的に用いるガイドの説明図
【図11】本発明の実施の形態に係る駐車運転支援装置で用いた補助的ガイドのモニタ画面表示図
【図12】従来技術の駐車運転支援装置のモニタ画面例を示す図

Claims (4)

  1. 車両の後方画像を撮像する撮像手段と、
    前記撮像手段の撮像画像を表示するモニタ手段と、
    前記車両から斜め後方に延びる第1の境界線であって、左右いずれかの方向にハンドルを切ったまま後退する第1ステップと、前記第1ステップで切っていたハンドルを真っ直ぐに戻して直進後退する第2ステップと、前記第1ステップで切っていた方向とは逆の方向にハンドルを切ったまま後退する第3ステップと、を有する縦列駐車操作のうちの前記第3ステップにおいて、駐車スペースの前方に存在する障害物に接触するかしないかの目安を示す第1の境界線と、前記車両の後方に位置する補助のガイド線であって、前記縦列駐車操作中の前記第2ステップにおいて、ハンドルを真っ直ぐに戻すときの目安となり、かつ、前記縦列駐車操作中の前記第2ステップにおけるハンドルを真っ直ぐに戻した後の直進後退を終了するときの目安となる補助のガイド線と、前記第1の境界線から後方に離間し、前記縦列駐車操作の完了時に前記駐車スペースの後方に存在する障害物に接触するかしないかの目安を示す第2の境界線とを前記モニタ手段に表示される前記撮像画像に重畳して表示する制御手段と
    を備えることを特徴とする駐車運転支援装置。
  2. 前記第1の境界線は、前記縦列駐車操作中の前記第3ステップにおいて前記車両が最大舵角でハンドルを切って後退する場合に前記車両の前方が描く外側の軌跡に対する接線のうちの、前記縦列駐車操作中の前記第2ステップにおいて直進後退する方向と平行なものである、ことを特徴とする請求項1に記載の駐車運転支援装置。
  3. 前記制御手段は、前記補助のガイド線の代わりに、前記補助のガイド線から所定距離だけ前記車両から離れる方向に余裕をもったガイド線を前記モニタ手段に重畳表示することを特徴とする請求項1または2に記載の駐車運転支援装置。
  4. 前記制御手段は、前記縦列駐車操作中の期間、前記第1の境界線、前記補助のガイド線、及び前記第2の境界線を前記撮像画像に重畳して表示する、ことを特徴とする請求項1乃至請求項3に記載の駐車運転支援装置。
JP2002103804A 2002-04-05 2002-04-05 駐車運転支援装置 Expired - Lifetime JP4094325B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002103804A JP4094325B2 (ja) 2002-04-05 2002-04-05 駐車運転支援装置
DE60334685T DE60334685D1 (de) 2002-04-05 2003-03-24 System zur unterstützung des parkvorgangs
PCT/JP2003/003532 WO2003084783A1 (en) 2002-04-05 2003-03-24 Parking operation assisting system
EP03715392A EP1493632B1 (en) 2002-04-05 2003-03-24 Parking operation assisting system
US10/484,898 US6999002B2 (en) 2002-04-05 2003-03-24 Parking operating assisting system
KR1020047002167A KR100891955B1 (ko) 2002-04-05 2003-03-24 주차 운전 지원 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002103804A JP4094325B2 (ja) 2002-04-05 2002-04-05 駐車運転支援装置

Publications (2)

Publication Number Publication Date
JP2003291759A JP2003291759A (ja) 2003-10-15
JP4094325B2 true JP4094325B2 (ja) 2008-06-04

Family

ID=28786318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002103804A Expired - Lifetime JP4094325B2 (ja) 2002-04-05 2002-04-05 駐車運転支援装置

Country Status (6)

Country Link
US (1) US6999002B2 (ja)
EP (1) EP1493632B1 (ja)
JP (1) JP4094325B2 (ja)
KR (1) KR100891955B1 (ja)
DE (1) DE60334685D1 (ja)
WO (1) WO2003084783A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235051B2 (ja) * 2003-08-29 2009-03-04 トヨタ自動車株式会社 駐車支援装置
DE102004001428A1 (de) * 2004-01-09 2005-08-04 Robert Bosch Gmbh Verfahren für Fahrerassistenzsysteme zur Verbesserung der Einparkausgangsposition
JP4848122B2 (ja) * 2004-06-15 2011-12-28 日産自動車株式会社 縦列駐車支援装置および縦列駐車方法
KR101114209B1 (ko) 2004-06-22 2012-02-22 현대자동차주식회사 주차 음성 지원 시스템
JP4437071B2 (ja) 2004-12-24 2010-03-24 パナソニック株式会社 運転支援装置
DE102005044270A1 (de) * 2005-09-16 2007-03-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
JP4665721B2 (ja) * 2005-11-04 2011-04-06 株式会社デンソー 駐車支援システム
KR100857330B1 (ko) * 2006-12-12 2008-09-05 현대자동차주식회사 주차 궤적 인식 장치 및 자동 주차 시스템
US8538631B2 (en) * 2007-01-23 2013-09-17 GM Global Technology Operations LLC Method and system for vehicle parking assistance
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
DE102007009745A1 (de) * 2007-02-28 2008-09-04 Continental Automotive Gmbh Einparkhalbautomat
JP4858323B2 (ja) * 2007-06-14 2012-01-18 トヨタ自動車株式会社 車両制御装置
DE102007045562A1 (de) * 2007-09-24 2009-04-02 Robert Bosch Gmbh Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung
JP5013205B2 (ja) * 2008-02-27 2012-08-29 アイシン精機株式会社 駐車支援装置
JP5429514B2 (ja) 2008-06-03 2014-02-26 アイシン精機株式会社 駐車支援装置
KR101023334B1 (ko) * 2009-06-02 2011-03-22 삼성전기주식회사 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법
US8970398B2 (en) 2010-02-26 2015-03-03 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device using multiple parking guidance indicators
JP5447663B2 (ja) * 2010-06-11 2014-03-19 日産自動車株式会社 駐車支援装置及び方法
JP2010202194A (ja) * 2010-06-23 2010-09-16 Nissan Motor Co Ltd 縦列駐車支援装置および縦列駐車方法
JP5212748B2 (ja) * 2010-09-29 2013-06-19 アイシン精機株式会社 駐車支援装置
KR101340738B1 (ko) 2011-11-08 2013-12-12 엘지이노텍 주식회사 주차 보조 시스템
FR2983448B1 (fr) * 2011-12-06 2014-01-10 Renault Sa Procede d'aide au parcage pour un vehicule automobile
KR101360424B1 (ko) * 2011-12-09 2014-02-10 현대자동차주식회사 차량용 주차궤적 도출방법
JP2014004904A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 駐車支援装置
US8957786B2 (en) 2013-05-21 2015-02-17 Ford Global Technologies, Llc Enhanced alignment method for park assist
KR101498973B1 (ko) 2013-11-21 2015-03-05 현대모비스(주) 차량용 주차 지원 시스템 및 방법
KR101671921B1 (ko) * 2014-12-04 2016-11-16 주식회사 만도 주차 지원 장치
US10325502B2 (en) * 2016-02-10 2019-06-18 Ford Global Technologies, Llc Parallel parking assistant
KR101876032B1 (ko) * 2016-06-27 2018-08-02 현대자동차주식회사 주차구획 표시 장치 및 그 방법
JP7358811B2 (ja) * 2019-07-16 2023-10-11 株式会社アイシン 車両周辺表示装置
WO2025060411A1 (zh) * 2023-09-20 2025-03-27 比亚迪股份有限公司 泊车方法、介质及车辆

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4336288C1 (de) * 1993-10-25 1995-03-30 Daimler Benz Ag Einrichtung zur Überwachung des Rück- bzw. Frontraumes eines einparkenden Kraftfahrzeugs
JPH10244891A (ja) * 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE60009000T2 (de) * 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP3427823B2 (ja) * 2000-02-29 2003-07-22 株式会社豊田自動織機 縦列駐車時の車両後退支援装置
DE10109680B4 (de) * 2000-02-29 2009-02-26 Aisin Seiki K.K., Kariya Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
DE60105684T2 (de) * 2000-04-05 2005-02-10 Matsushita Electric Industrial Co., Ltd., Kadoma System und Verfahren zur Fahrerunterstützung
EP1160146B2 (en) * 2000-05-30 2013-07-24 Aisin Seiki Kabushiki Kaisha Parking assistive apparatus
EP1167120B1 (en) * 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
JP3619753B2 (ja) * 2000-07-03 2005-02-16 トヨタ自動車株式会社 移動体の後方視界表示装置
JP2002036991A (ja) * 2000-07-27 2002-02-06 Honda Motor Co Ltd 駐車支援装置
JP4615766B2 (ja) * 2000-12-15 2011-01-19 本田技研工業株式会社 駐車支援装置
JP4608803B2 (ja) * 2001-04-26 2011-01-12 トヨタ自動車株式会社 駐車方法、駐車支援装置、視界表示装置、及びステアリング装置
JP3700614B2 (ja) * 2001-06-22 2005-09-28 株式会社豊田自動織機 駐車支援装置
JP2003072495A (ja) * 2001-09-06 2003-03-12 Yazaki Corp 駐車支援装置および駐車支援方法
JP4567255B2 (ja) * 2001-09-28 2010-10-20 アイシン精機株式会社 駐車補助装置

Also Published As

Publication number Publication date
EP1493632A1 (en) 2005-01-05
JP2003291759A (ja) 2003-10-15
WO2003084783A1 (en) 2003-10-16
EP1493632B1 (en) 2010-10-27
US6999002B2 (en) 2006-02-14
US20040201670A1 (en) 2004-10-14
DE60334685D1 (de) 2010-12-09
KR20040095195A (ko) 2004-11-12
EP1493632A4 (en) 2006-08-02
KR100891955B1 (ko) 2009-04-08

Similar Documents

Publication Publication Date Title
JP4094325B2 (ja) 駐車運転支援装置
JP4427953B2 (ja) 駐車支援装置
US6704653B2 (en) Vehicle backing support apparatus
US6940423B2 (en) Device for monitoring area around vehicle
JP3427823B2 (ja) 縦列駐車時の車両後退支援装置
JP3575364B2 (ja) 操舵支援装置
JP4466200B2 (ja) 駐車支援装置
JP5429514B2 (ja) 駐車支援装置
KR100552337B1 (ko) 주차지원 장치
JP4900174B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP5446139B2 (ja) 駐車支援装置及び駐車支援方法
JPH10244891A (ja) 駐車補助装置
JP4507872B2 (ja) 駐車支援装置
JP3762855B2 (ja) 駐車補助装置
JP3664108B2 (ja) 駐車支援装置
JP3374833B2 (ja) 駐車時の車両後退支援装置
JP4941383B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP3436237B2 (ja) 駐車支援装置
JP3693912B2 (ja) 相対位置検出装置及びその相対位置検出装置を備えた駐車補助装置
JP2001055099A (ja) 並列駐車時の操舵支援装置
JP3762854B2 (ja) 駐車補助装置
JP3906896B2 (ja) 駐車支援装置
JP2001071842A (ja) 縦列駐車時の操舵支援装置
JP3541792B2 (ja) 縦列駐車時の車両後退支援装置
JP3630115B2 (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071114

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4094325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

EXPY Cancellation because of completion of term