JPH10141954A - 移動体の走行路面上の障害物検出装置 - Google Patents
移動体の走行路面上の障害物検出装置Info
- Publication number
- JPH10141954A JPH10141954A JP8293994A JP29399496A JPH10141954A JP H10141954 A JPH10141954 A JP H10141954A JP 8293994 A JP8293994 A JP 8293994A JP 29399496 A JP29399496 A JP 29399496A JP H10141954 A JPH10141954 A JP H10141954A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- road surface
- obstacle
- moving body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】予定走行路上の障害物のみを誤検出なく確実に
検出できるようにする。 【解決手段】走行路の３次元座標位置データと、位置検
出手段で検出された移動体の現在の３次元座標位置とに
基づき、移動体座標系Ｘ1−Ｙ1−Ｚ1における走行路３
１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演算され
る。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1における走行
路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、現在生
成されている移動体座標系Ｘ1−Ｙ1−Ｚ1における３次
元画像４０に突き合わされ、現在の３次元画像４０の中
から、走行路面３１に対応する部分Ｋが切り出される。
そして、この切り出された走行路面３１に対応する部分
Ｋについて、障害物３３が存在していることが検出され
る。
検出できるようにする。 【解決手段】走行路の３次元座標位置データと、位置検
出手段で検出された移動体の現在の３次元座標位置とに
基づき、移動体座標系Ｘ1−Ｙ1−Ｚ1における走行路３
１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演算され
る。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1における走行
路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、現在生
成されている移動体座標系Ｘ1−Ｙ1−Ｚ1における３次
元画像４０に突き合わされ、現在の３次元画像４０の中
から、走行路面３１に対応する部分Ｋが切り出される。
そして、この切り出された走行路面３１に対応する部分
Ｋについて、障害物３３が存在していることが検出され
る。
Description
【０００１】
【発明の属する技術分野】本発明は、無人ダンプトラッ
ク等の移動体が走行する走行路面上に存在する障害物を
検出する装置に関する。
ク等の移動体が走行する走行路面上に存在する障害物を
検出する装置に関する。
【０００２】
【従来の技術】無人ダンプトラック等の移動体におい
て、その走行路上の障害物を検出する装置として、移動
体前方を撮像し、その撮像画像を処理することにより障
害物を検出する装置がある。この種の画像処理を用いた
障害物検出装置は、超音波センサ、レーザレーザ、ミリ
波センサを用いて移動体進行方向前方の障害物を検出す
る装置と比較して、得られる情報量が多く、視野角が広
く広範囲で障害物を検出できるという利点がある。
て、その走行路上の障害物を検出する装置として、移動
体前方を撮像し、その撮像画像を処理することにより障
害物を検出する装置がある。この種の画像処理を用いた
障害物検出装置は、超音波センサ、レーザレーザ、ミリ
波センサを用いて移動体進行方向前方の障害物を検出す
る装置と比較して、得られる情報量が多く、視野角が広
く広範囲で障害物を検出できるという利点がある。
【０００３】従来の画像処理を用いた移動体の障害物検
出装置では、画像の全画面を処理するようにしている。
また、特開平３−２６０８１４号公報にみられるよう
に、一般道路を走行する場合には道路に沿ってペイント
された白線を検出し、画像処理範囲の特定を行うように
している。
出装置では、画像の全画面を処理するようにしている。
また、特開平３−２６０８１４号公報にみられるよう
に、一般道路を走行する場合には道路に沿ってペイント
された白線を検出し、画像処理範囲の特定を行うように
している。
【０００４】また、本発明者らは、移動体進行方向の距
離画像を、各画素の３次元分布に変換し、この画素の３
次元分布状態から、走行路に対応する画素群を特定し、
この走行路を平面とみて、この平面の高さを基準として
これより所定の高さ以上にある物体を障害物として検出
するという発明を提案しており、この発明を実施する試
みがなされている。
離画像を、各画素の３次元分布に変換し、この画素の３
次元分布状態から、走行路に対応する画素群を特定し、
この走行路を平面とみて、この平面の高さを基準として
これより所定の高さ以上にある物体を障害物として検出
するという発明を提案しており、この発明を実施する試
みがなされている。
【０００５】
【発明が解決しようとする課題】しかし、画像処理を用
いた移動体の障害物検出装置は、得られる情報量が多い
こととひきかえに、演算処理に多大な時間を要する。
いた移動体の障害物検出装置は、得られる情報量が多い
こととひきかえに、演算処理に多大な時間を要する。
【０００６】よって、上記従来技術で述べたように、取
得された撮像画像の全画面について画像処理をしていた
のでは、演算処理時間は膨大なものとなる。このため、
移動体と障害物との相対位置が逐次変化する状況におい
て障害物検出をリアルタイムに行いたいとの要請に応え
られない虞もある。
得された撮像画像の全画面について画像処理をしていた
のでは、演算処理時間は膨大なものとなる。このため、
移動体と障害物との相対位置が逐次変化する状況におい
て障害物検出をリアルタイムに行いたいとの要請に応え
られない虞もある。
【０００７】また、上記道路に沿ってペイントされた白
線を検出して画像処理の範囲を特定する方法は、確か
に、一般道路に適用することができるかもしれないが、
無人ダンプトラックが走行する不整地等においては、適
用することはできない。
線を検出して画像処理の範囲を特定する方法は、確か
に、一般道路に適用することができるかもしれないが、
無人ダンプトラックが走行する不整地等においては、適
用することはできない。
【０００８】また、走行路がカーブしていたり、分岐し
ていたりしていると、本来の予定走行路上に存在しない
物体を、障害物であると誤検出してしまう虞もある。
ていたりしていると、本来の予定走行路上に存在しない
物体を、障害物であると誤検出してしまう虞もある。
【０００９】さらに、上記本発明者らが提案する発明の
障害物検出方法では、確かに、走行路面を基準して、所
定高さ以上の障害物を検出ことができるものの、走行路
面が坂道等である場合は勾配、路面高さは、一義的では
ない。したがって、こうした本来勾配、路面高さが異な
る走行路面各部を一義的な一平面とみて、この平面の高
さを基準として障害物を検出する方法には無理があり、
誤検出を生じる虞がある。
障害物検出方法では、確かに、走行路面を基準して、所
定高さ以上の障害物を検出ことができるものの、走行路
面が坂道等である場合は勾配、路面高さは、一義的では
ない。したがって、こうした本来勾配、路面高さが異な
る走行路面各部を一義的な一平面とみて、この平面の高
さを基準として障害物を検出する方法には無理があり、
誤検出を生じる虞がある。
【００１０】本発明は、こうした実状に鑑みてなされた
ものであり、不整地等のいかなる走行路であろうとも、
画像からその走行路面を特定でき、障害物検出をリアル
タイムに行えるようにするとともに、走行路がカーブし
ていたり分岐していたりしても予定走行路上の障害物の
みを確実に誤検出なく検出できるようにすることを第１
の目的とするものである。
ものであり、不整地等のいかなる走行路であろうとも、
画像からその走行路面を特定でき、障害物検出をリアル
タイムに行えるようにするとともに、走行路がカーブし
ていたり分岐していたりしても予定走行路上の障害物の
みを確実に誤検出なく検出できるようにすることを第１
の目的とするものである。
【００１１】また、本発明は、走行路面が坂道等であっ
て走行路面各部の勾配、路面高さが異なるものであった
としても、その走行路面を基準とする所定の高さ以上の
障害物を確実に誤検出なく検出できるようにすることを
第２の目的とするものである。
て走行路面各部の勾配、路面高さが異なるものであった
としても、その走行路面を基準とする所定の高さ以上の
障害物を確実に誤検出なく検出できるようにすることを
第２の目的とするものである。
【００１２】
【課題を解決するための手段および効果】そこで、上記
第１の目的を達成するために本発明の第１発明の主たる
発明では、移動体の走行路面および当該走行路面上の障
害物の３次元画像に基づいて、当該障害物を検出するよ
うにした移動体の走行路面上の障害物検出装置におい
て、前記移動体の現在位置を３次元座標位置として検出
する位置検出手段と、前記移動体からみた３次元座標系
における前記走行路面および前記障害物の現在の３次元
画像を生成する３次元画像生成手段と、前記走行路に沿
った各点の３次元座標位置を示す３次元座標位置データ
と、前記位置検出手段で検出された移動体の現在の３次
元座標位置とに基づき、前記移動体座標系における走行
路の３次元座標位置データを演算し、当該移動体座標系
における走行路の３次元座標位置データを、前記３次元
画像生成手段で現在生成されている移動体座標系におけ
る３次元画像に突き合わせることにより、現在の３次元
画像の中から、前記走行路面に対応する部分を切り出す
画像処理手段と、前記３次元画像のうち、前記画像処理
手段で切り出された前記走行路面に対応する部分につい
て、前記障害物が存在していることを検出する検出手段
とを具えるようにしている。
第１の目的を達成するために本発明の第１発明の主たる
発明では、移動体の走行路面および当該走行路面上の障
害物の３次元画像に基づいて、当該障害物を検出するよ
うにした移動体の走行路面上の障害物検出装置におい
て、前記移動体の現在位置を３次元座標位置として検出
する位置検出手段と、前記移動体からみた３次元座標系
における前記走行路面および前記障害物の現在の３次元
画像を生成する３次元画像生成手段と、前記走行路に沿
った各点の３次元座標位置を示す３次元座標位置データ
と、前記位置検出手段で検出された移動体の現在の３次
元座標位置とに基づき、前記移動体座標系における走行
路の３次元座標位置データを演算し、当該移動体座標系
における走行路の３次元座標位置データを、前記３次元
画像生成手段で現在生成されている移動体座標系におけ
る３次元画像に突き合わせることにより、現在の３次元
画像の中から、前記走行路面に対応する部分を切り出す
画像処理手段と、前記３次元画像のうち、前記画像処理
手段で切り出された前記走行路面に対応する部分につい
て、前記障害物が存在していることを検出する検出手段
とを具えるようにしている。
【００１３】すなわち、この第１発明の構成によれば、
走行路の３次元座標位置データと、位置検出手段で検出
された移動体の現在の３次元座標位置とに基づき、図９
に示すように、移動体座標系Ｘ1−Ｙ1−Ｚ1における走
行路３１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演
算される。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る走行路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、
現在生成されている移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る３次元画像４０（図８）に突き合わされ、現在の３次
元画像４０の中から、走行路面３１に対応する部分Ｋが
切り出される（図９の画像４０′参照）。そして、この
切り出された走行路面３１に対応する部分Ｋについて、
障害物３３が存在していることが検出される。
走行路の３次元座標位置データと、位置検出手段で検出
された移動体の現在の３次元座標位置とに基づき、図９
に示すように、移動体座標系Ｘ1−Ｙ1−Ｚ1における走
行路３１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演
算される。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る走行路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、
現在生成されている移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る３次元画像４０（図８）に突き合わされ、現在の３次
元画像４０の中から、走行路面３１に対応する部分Ｋが
切り出される（図９の画像４０′参照）。そして、この
切り出された走行路面３１に対応する部分Ｋについて、
障害物３３が存在していることが検出される。
【００１４】このように、不整地等のいかなる走行路で
あろうとも、画像からその走行路面が特定され、その走
行路面に対応する部分のみについて障害物を検出するた
めの画像処理がなされるので、画像処理時間が短時間で
済み障害物の検出がリアルタイムになされるとともに、
走行路がカーブしていたり、分岐していたりしても予定
走行路上の障害物のみを確実に誤検出なく検出できるよ
うになる。
あろうとも、画像からその走行路面が特定され、その走
行路面に対応する部分のみについて障害物を検出するた
めの画像処理がなされるので、画像処理時間が短時間で
済み障害物の検出がリアルタイムになされるとともに、
走行路がカーブしていたり、分岐していたりしても予定
走行路上の障害物のみを確実に誤検出なく検出できるよ
うになる。
【００１５】また、上記第２の目的を達成するために本
発明の第２発明の主たる発明では、移動体の走行路面お
よび当該走行路面上の障害物の３次元画像に基づいて、
当該障害物を検出するようにした移動体の走行路面上の
障害物検出装置において、前記移動体の現在位置を３次
元座標位置として検出する位置検出手段と、前記移動体
からみた３次元座標系における前記走行路面および前記
障害物の現在の３次元画像を生成する３次元画像生成手
段と、前記走行路に沿った各点の３次元座標位置を示す
３次元座標位置データと、前記位置検出手段で検出され
た移動体の現在の３次元座標位置とに基づき、前記移動
体座標系における走行路の３次元座標位置データを演算
し、当該移動体座標系における走行路の３次元座標位置
データを、前記３次元画像生成手段で現在生成されてい
る移動体座標系における３次元画像に突き合わせること
により、現在の３次元画像の中の走行路面の特定部分を
切り出す画像処理手段と、前記切り出された走行路面の
特定部分を平面として求め、この平面の上に前記障害物
が存在していることを検出する検出手段とを具えるよう
にしている。
発明の第２発明の主たる発明では、移動体の走行路面お
よび当該走行路面上の障害物の３次元画像に基づいて、
当該障害物を検出するようにした移動体の走行路面上の
障害物検出装置において、前記移動体の現在位置を３次
元座標位置として検出する位置検出手段と、前記移動体
からみた３次元座標系における前記走行路面および前記
障害物の現在の３次元画像を生成する３次元画像生成手
段と、前記走行路に沿った各点の３次元座標位置を示す
３次元座標位置データと、前記位置検出手段で検出され
た移動体の現在の３次元座標位置とに基づき、前記移動
体座標系における走行路の３次元座標位置データを演算
し、当該移動体座標系における走行路の３次元座標位置
データを、前記３次元画像生成手段で現在生成されてい
る移動体座標系における３次元画像に突き合わせること
により、現在の３次元画像の中の走行路面の特定部分を
切り出す画像処理手段と、前記切り出された走行路面の
特定部分を平面として求め、この平面の上に前記障害物
が存在していることを検出する検出手段とを具えるよう
にしている。
【００１６】すなわち、この第２発明の構成によれば、
走行路の３次元座標位置データと、位置検出手段で検出
された移動体の現在の３次元座標位置とに基づき、図９
に示すように、移動体座標系Ｘ1−Ｙ1−Ｚ1における走
行路３１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演
算される。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る走行路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、
現在生成されている移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る３次元画像４０（図８）に突き合わされ、現在の３次
元画像４０の中から、走行路面３１の特定部分Ｌ3が切
り出される（図９の画像４０′参照）。
走行路の３次元座標位置データと、位置検出手段で検出
された移動体の現在の３次元座標位置とに基づき、図９
に示すように、移動体座標系Ｘ1−Ｙ1−Ｚ1における走
行路３１の３次元座標位置データＳ0、Ｓ1、Ｓ2…が演
算される。そして、移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る走行路の３次元座標位置データＳ0、Ｓ1、Ｓ2…が、
現在生成されている移動体座標系Ｘ1−Ｙ1−Ｚ1におけ
る３次元画像４０（図８）に突き合わされ、現在の３次
元画像４０の中から、走行路面３１の特定部分Ｌ3が切
り出される（図９の画像４０′参照）。
【００１７】そして、この切り出された走行路面の特定
部分Ｌ3が平面として求められ、この平面の上に障害物
３３が存在していることが検出される。
部分Ｌ3が平面として求められ、この平面の上に障害物
３３が存在していることが検出される。
【００１８】このように、走行路面の特定の一部が画像
から切り出され、その特定部分を平面として求めその上
の障害物を検出するようにしたので、走行路面が坂道等
であって走行路面各部の勾配、路面高さが異なるもので
あったとしても、走行路面各部を基準とする所定の高さ
以上の障害物が確実に誤検出なく検出できるようにな
る。
から切り出され、その特定部分を平面として求めその上
の障害物を検出するようにしたので、走行路面が坂道等
であって走行路面各部の勾配、路面高さが異なるもので
あったとしても、走行路面各部を基準とする所定の高さ
以上の障害物が確実に誤検出なく検出できるようにな
る。
【００１９】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。
施の形態について説明する。
【００２０】本実施の形態では、図４に示すように無人
ダンプトラック等の移動体１が予定走行路３１を走行す
る場合に、この走行路上に存在する岩等の障害物を移動
体搭載の障害物検出装置で検出する場合を想定してい
る。
ダンプトラック等の移動体１が予定走行路３１を走行す
る場合に、この走行路上に存在する岩等の障害物を移動
体搭載の障害物検出装置で検出する場合を想定してい
る。
【００２１】図４において、Ｘ0−Ｙ0−Ｚ0は全体座標
系を示しており、Ｘ1−Ｙ1−Ｚ1は、移動体１とともに
移動する車体座標系を示している。Ｘ1は移動体１の車
幅方向に対応する座標軸であり、Ｚ1は移動体１の進行
方向（予定走行路３１）に対応する座標軸であり、Ｙ1
は鉛直方向の座標軸である。
系を示しており、Ｘ1−Ｙ1−Ｚ1は、移動体１とともに
移動する車体座標系を示している。Ｘ1は移動体１の車
幅方向に対応する座標軸であり、Ｚ1は移動体１の進行
方向（予定走行路３１）に対応する座標軸であり、Ｙ1
は鉛直方向の座標軸である。
【００２２】図１は、本発明の実施形態である障害物検
出装置の構成を示している。
出装置の構成を示している。
【００２３】同図１に示すように、この障害物検出装置
は、移動体１の現在位置を、全体座標系Ｘ0−Ｙ0−Ｚ0
の３次元座標位置として検出する位置計測センサ７と、
予定走行路３１に沿った各点Ｓ0、Ｓ1、Ｓ2…の全体座
標系Ｘ0−Ｙ0−Ｚ0における３次元座標位置を示す３次
元座標位置データが予め取得され、これが記憶されてい
る予定走行路データ記憶部１１と、移動体１搭載のカメ
ラ２の撮像画像に基づき、移動体１上の基準位置（基準
面）から、その移動体１の走行路面３１上の障害物まで
の距離を計測し、当該走行路面３１および障害物の３次
元の距離画像を生成する３次元距離画像生成部３と、こ
の距離画像を車体座標系Ｘ1−Ｙ1−Ｚ1における３次元
画像４０に変換するとともに、上記予定走行路データ
と、位置計測センサ７で現在検出されている移動体１の
現在の３次元座標位置と、回転角度検出センサ８で現在
検出されている車体回転角とに基づき、車体座標系Ｘ1
−Ｙ1−Ｚ1における走行路３１の３次元座標位置データ
を演算し、この車体座標系Ｘ1−Ｙ1−Ｚ1における走行
路３１の３次元座標位置データを、上記変換された車体
座標系Ｘ1−Ｙ1−Ｚ1における３次元画像４０に突き合
わせることにより、現在の３次元画像４０の中から、障
害物を検出する範囲を切り出す検出範囲特定部４と、３
次元画像４０のうち、上記切り出された検出範囲につい
て、障害物が存在していることを検出する障害物検出部
５とから構成されている。
は、移動体１の現在位置を、全体座標系Ｘ0−Ｙ0−Ｚ0
の３次元座標位置として検出する位置計測センサ７と、
予定走行路３１に沿った各点Ｓ0、Ｓ1、Ｓ2…の全体座
標系Ｘ0−Ｙ0−Ｚ0における３次元座標位置を示す３次
元座標位置データが予め取得され、これが記憶されてい
る予定走行路データ記憶部１１と、移動体１搭載のカメ
ラ２の撮像画像に基づき、移動体１上の基準位置（基準
面）から、その移動体１の走行路面３１上の障害物まで
の距離を計測し、当該走行路面３１および障害物の３次
元の距離画像を生成する３次元距離画像生成部３と、こ
の距離画像を車体座標系Ｘ1−Ｙ1−Ｚ1における３次元
画像４０に変換するとともに、上記予定走行路データ
と、位置計測センサ７で現在検出されている移動体１の
現在の３次元座標位置と、回転角度検出センサ８で現在
検出されている車体回転角とに基づき、車体座標系Ｘ1
−Ｙ1−Ｚ1における走行路３１の３次元座標位置データ
を演算し、この車体座標系Ｘ1−Ｙ1−Ｚ1における走行
路３１の３次元座標位置データを、上記変換された車体
座標系Ｘ1−Ｙ1−Ｚ1における３次元画像４０に突き合
わせることにより、現在の３次元画像４０の中から、障
害物を検出する範囲を切り出す検出範囲特定部４と、３
次元画像４０のうち、上記切り出された検出範囲につい
て、障害物が存在していることを検出する障害物検出部
５とから構成されている。
【００２４】駆動制御部９の車体自動制御部１０では、
上記位置計測センサ７の出力と、回転角度検出センサ８
の出力をフィードバック信号として、予定走行路データ
記憶部１１に記憶された予定走行路３１上の各目標点Ｓ
0、Ｓ1、Ｓ2…に沿って追従するように、移動体１が駆
動制御される。
上記位置計測センサ７の出力と、回転角度検出センサ８
の出力をフィードバック信号として、予定走行路データ
記憶部１１に記憶された予定走行路３１上の各目標点Ｓ
0、Ｓ1、Ｓ2…に沿って追従するように、移動体１が駆
動制御される。
【００２５】また、障害物検出部５で検出された障害物
の位置情報は、たとえば、無線にて、移動体１たる無人
ダンプトラックを監視する監視局に送信され、ＣＲＴデ
ィスプレイに表示等され、無人ダンプトラックの管理に
供される。
の位置情報は、たとえば、無線にて、移動体１たる無人
ダンプトラックを監視する監視局に送信され、ＣＲＴデ
ィスプレイに表示等され、無人ダンプトラックの管理に
供される。
【００２６】予定走行路データ記憶部１１に記憶される
予定走行路データは、各点Ｓ0、Ｓ1、Ｓ2…の３次元位
置を示すデータＳ0（ＳＸ0、ＳＹ0、ＳＺ0）、Ｓ1(ＳＸ
1、ＳＹ1、ＳＺ1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）…とし
て予め取得しておかれる。
予定走行路データは、各点Ｓ0、Ｓ1、Ｓ2…の３次元位
置を示すデータＳ0（ＳＸ0、ＳＹ0、ＳＺ0）、Ｓ1(ＳＸ
1、ＳＹ1、ＳＺ1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）…とし
て予め取得しておかれる。
【００２７】ここで、位置計測センサ７としてはＧＰＳ
（グローバル・ポジショニング・センサ）を用いること
ができる。この場合図１のアンテナ６を介して位置計測
信号が無線にて入力されることになる。
（グローバル・ポジショニング・センサ）を用いること
ができる。この場合図１のアンテナ６を介して位置計測
信号が無線にて入力されることになる。
【００２８】よって、ティーチング時に、移動体１を予
定走行路３１に沿って走行させ、ＧＰＳたる位置計測セ
ンサ７で、一定時間間隔毎に（たとえば１秒毎に）位置
計測を行い、位置データを計測すれば、予定走行路デー
タＳ0、Ｓ1、Ｓ2…を容易に取得することができる。つ
まり、位置計測センサ７から出力されるデータは、当該
センサ７の取付け位置を表している。センサ７の車体中
心に対する相対的な取付け位置は既知であるので、位置
計測センサ７の出力データから車体中心座標位置を求め
ることができる。さらに、車体中心が予定走行路３１の
中心に沿って移動しているとの仮定のもとに、予定走行
路データ（走行路中心位置）Ｓ0、Ｓ1、Ｓ2…を求める
ことができる。
定走行路３１に沿って走行させ、ＧＰＳたる位置計測セ
ンサ７で、一定時間間隔毎に（たとえば１秒毎に）位置
計測を行い、位置データを計測すれば、予定走行路デー
タＳ0、Ｓ1、Ｓ2…を容易に取得することができる。つ
まり、位置計測センサ７から出力されるデータは、当該
センサ７の取付け位置を表している。センサ７の車体中
心に対する相対的な取付け位置は既知であるので、位置
計測センサ７の出力データから車体中心座標位置を求め
ることができる。さらに、車体中心が予定走行路３１の
中心に沿って移動しているとの仮定のもとに、予定走行
路データ（走行路中心位置）Ｓ0、Ｓ1、Ｓ2…を求める
ことができる。
【００２９】なお、予定走行路データとしては、上述し
たティーチング走行による位置計測によって求めるので
はなくて、別途、測量等によって計測した結果を予定走
行路データとして、所定の入力手段を介して入力し、記
憶部１１に記憶させるようにしておいてもよい。
たティーチング走行による位置計測によって求めるので
はなくて、別途、測量等によって計測した結果を予定走
行路データとして、所定の入力手段を介して入力し、記
憶部１１に記憶させるようにしておいてもよい。
【００３０】回転角度検出センサ８は、たとえば、移動
体１の車体のヨー方向の角度を検出するヨーレイトジャ
イロと、車体のピッチング角とローリング角を検出する
２つの傾斜計とから構成されており、これら検出結果に
基づき、図３に示すように、全体座標系Ｘ0−Ｙ0−Ｚ0
の座標軸に対する車体座標系Ｘ1−Ｙ1−Ｚ1の座標軸の
回転角を表す車体の回転角（ＲＸ0、ＲＹ0、ＲＺ0）が
出力される。全体座標系Ｘ0−Ｙ0−Ｚ0でみた車体座標
系Ｘ1−Ｙ1−Ｚ1の原点位置（ＨＸ0、ＨＹ0、ＨＺ0）
は、位置計測センサ７の出力として取得される。
体１の車体のヨー方向の角度を検出するヨーレイトジャ
イロと、車体のピッチング角とローリング角を検出する
２つの傾斜計とから構成されており、これら検出結果に
基づき、図３に示すように、全体座標系Ｘ0−Ｙ0−Ｚ0
の座標軸に対する車体座標系Ｘ1−Ｙ1−Ｚ1の座標軸の
回転角を表す車体の回転角（ＲＸ0、ＲＹ0、ＲＺ0）が
出力される。全体座標系Ｘ0−Ｙ0−Ｚ0でみた車体座標
系Ｘ1−Ｙ1−Ｚ1の原点位置（ＨＸ0、ＨＹ0、ＨＺ0）
は、位置計測センサ７の出力として取得される。
【００３１】３次元距離画像生成部３では、例えば図７
に示すような予定走行路面３１と、予定走行路３１から
の分岐路３２と、予定走行路面３１上に存在する障害物
３３と、予定走行路面３１以外に存在する障害物３４、
３５、３６、３７等からなる距離画像３０が生成され
る。距離画像３０の各画素５０には、ｉ−ｊ２次元座標
系における２次元座標位置（ｉ、ｊ）、移動体１の基準
位置（基準面）からの距離ｄを示す３次元のデータ
（ｉ、ｊ、ｄ）が対応づけられており、距離画像３０の
各位置ｉ、ｊの画素は、距離ｄに応じた明度を有してい
る。こうした３次元の距離画像を生成するための距離計
測の方法としては、例えば特願平７−２００９９９号に
示される多眼レンズ（多眼カメラ）を使用した方法を用
いることができる。
に示すような予定走行路面３１と、予定走行路３１から
の分岐路３２と、予定走行路面３１上に存在する障害物
３３と、予定走行路面３１以外に存在する障害物３４、
３５、３６、３７等からなる距離画像３０が生成され
る。距離画像３０の各画素５０には、ｉ−ｊ２次元座標
系における２次元座標位置（ｉ、ｊ）、移動体１の基準
位置（基準面）からの距離ｄを示す３次元のデータ
（ｉ、ｊ、ｄ）が対応づけられており、距離画像３０の
各位置ｉ、ｊの画素は、距離ｄに応じた明度を有してい
る。こうした３次元の距離画像を生成するための距離計
測の方法としては、例えば特願平７−２００９９９号に
示される多眼レンズ（多眼カメラ）を使用した方法を用
いることができる。
【００３２】以下、検出範囲特定部４、障害物検出部５
で行われる処理について、図２のフローチャートを参照
して説明する。
で行われる処理について、図２のフローチャートを参照
して説明する。
【００３３】同図２に示すように、３次元距離画像生成
部３から距離画像３０が出力されると、この距離画像３
０を座標変換することによって、図８に示すように、車
体座標系Ｘ1−Ｙ1−Ｚ1における３次元画像４０が生成
される。
部３から距離画像３０が出力されると、この距離画像３
０を座標変換することによって、図８に示すように、車
体座標系Ｘ1−Ｙ1−Ｚ1における３次元画像４０が生成
される。
【００３４】すなわち、距離画像３０の各画素５０に
は、上述したように（ｉ、ｊ、ｄ）の３次元の情報が対
応づけられているので、この距離画像データ（ｉ、ｊ、
ｄ）で示される各画素５０を、図８に示すように、移動
体１とともに移動し、移動体１の所定位置を原点とする
車体座標系Ｘ1−Ｙ1−Ｚ1上の３次元座標位置データ
（ｘ、ｙ、ｚ）に対応づけられた各画素６０に変換する
ことができる。このような変換を施すことによって、画
素６０の３次元座標位置の分布図として３次元画像４０
を取得することができる（ステップ１０２）。
は、上述したように（ｉ、ｊ、ｄ）の３次元の情報が対
応づけられているので、この距離画像データ（ｉ、ｊ、
ｄ）で示される各画素５０を、図８に示すように、移動
体１とともに移動し、移動体１の所定位置を原点とする
車体座標系Ｘ1−Ｙ1−Ｚ1上の３次元座標位置データ
（ｘ、ｙ、ｚ）に対応づけられた各画素６０に変換する
ことができる。このような変換を施すことによって、画
素６０の３次元座標位置の分布図として３次元画像４０
を取得することができる（ステップ１０２）。
【００３５】記憶部１１に記憶された予定走行路データ
Ｓ0（ＳＸ0、ＳＹ0、ＳＺ0）、Ｓ1(ＳＸ1、ＳＹ1、ＳＺ
1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）…は、つぎのように車
体座標系Ｘ1−Ｙ1−Ｚ1における予定走行路データＳ0
（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に変換される。
Ｓ0（ＳＸ0、ＳＹ0、ＳＺ0）、Ｓ1(ＳＸ1、ＳＹ1、ＳＺ
1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）…は、つぎのように車
体座標系Ｘ1−Ｙ1−Ｚ1における予定走行路データＳ0
（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に変換される。
【００３６】すなわち、上述した車体の回転角（ＲＸ
0、ＲＹ0、ＲＺ0）、全体座標系からみた車体座標系Ｘ1
−Ｙ1−Ｚ1の原点位置（ＨＸ0、ＨＹ0、ＨＺ0）を用い
て、図３に示すように車体座標系における、ある点Ｐの
座標位置(ＸＰ1、ＹＰ1、ＺＰ1）は、次式（１）のよう
にして、全体座標系における座標位置(ＸＰ0、ＹＰ0、
ＺＰ0）に変換することができる。
0、ＲＹ0、ＲＺ0）、全体座標系からみた車体座標系Ｘ1
−Ｙ1−Ｚ1の原点位置（ＨＸ0、ＨＹ0、ＨＺ0）を用い
て、図３に示すように車体座標系における、ある点Ｐの
座標位置(ＸＰ1、ＹＰ1、ＺＰ1）は、次式（１）のよう
にして、全体座標系における座標位置(ＸＰ0、ＹＰ0、
ＺＰ0）に変換することができる。
【００３７】 ただし、上記（１）式においてＭＲ0は、車体座標系の
回転マトリックスであり、車体の回転角（ＲＸ0、ＲＹ
0、ＲＺ0）を用いて、次式（２）のように表される。
回転マトリックスであり、車体の回転角（ＲＸ0、ＲＹ
0、ＲＺ0）を用いて、次式（２）のように表される。
【００３８】 よって、上記（１）式より、全体座標系における予定走
行路３１のＳ0点の座標位置（ＳＸ0、ＳＹ0、ＳＺ0）
を、車体座標系の座標位置（ＣＸ0、ＣＹ0、ＣＺ0）
に、以下のように変換することができる。
行路３１のＳ0点の座標位置（ＳＸ0、ＳＹ0、ＳＺ0）
を、車体座標系の座標位置（ＣＸ0、ＣＹ0、ＣＺ0）
に、以下のように変換することができる。
【００３９】 上記（３）式と同様にして、他の予定走行路データＳ1
(ＳＸ1、ＳＹ1、ＳＺ1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）
…を、車体座標系Ｘ1−Ｙ1−Ｚ1における予定走行路デ
ータＳ1(ＣＸ1、ＣＹ1、ＣＺ1）、Ｓ2(ＣＸ2、ＣＹ2、
ＣＺ2）…に変換することができる（ステップ１０３：
図９参照）。
(ＳＸ1、ＳＹ1、ＳＺ1）、Ｓ2(ＳＸ2、ＳＹ2、ＳＺ2）
…を、車体座標系Ｘ1−Ｙ1−Ｚ1における予定走行路デ
ータＳ1(ＣＸ1、ＣＹ1、ＣＺ1）、Ｓ2(ＣＸ2、ＣＹ2、
ＣＺ2）…に変換することができる（ステップ１０３：
図９参照）。
【００４０】図５は、Ｚ1（移動体進行方向）−Ｙ1（鉛
直方向）座標系において、上記走行路３１上の各点Ｓ
0、Ｓ1、Ｓ2…をプロットしたものである。
直方向）座標系において、上記走行路３１上の各点Ｓ
0、Ｓ1、Ｓ2…をプロットしたものである。
【００４１】このように、予定走行路面３１が坂道であ
る場合は、勾配θ、路面高さＣＹは、進行方向各部分に
おいて一義的ではない。たとえば、区間Ｓ3〜Ｓ4の勾配
θ3、路面高さＣＹ3、ＣＹ4は、他の区間の勾配、路面
高さとは異なっている。したがって、こうした勾配、路
面高さが異なる走行路面各部を一義的な勾配、路面高さ
とみて、走行路面３１全体（画像４０内に存在する走行
路全体）を一平面とみなし、この平面の高さを基準とし
て障害物を検出する方法には無理があり、誤検出を生じ
る虞がある。
る場合は、勾配θ、路面高さＣＹは、進行方向各部分に
おいて一義的ではない。たとえば、区間Ｓ3〜Ｓ4の勾配
θ3、路面高さＣＹ3、ＣＹ4は、他の区間の勾配、路面
高さとは異なっている。したがって、こうした勾配、路
面高さが異なる走行路面各部を一義的な勾配、路面高さ
とみて、走行路面３１全体（画像４０内に存在する走行
路全体）を一平面とみなし、この平面の高さを基準とし
て障害物を検出する方法には無理があり、誤検出を生じ
る虞がある。
【００４２】そこで、つぎの処理では、移動体１前方の
走行路面３１を一平面とみるのではなくて、図５に示す
ように、進行方向（Ｚ1軸方向）を各点Ｓ0、Ｓ1、Ｓ2…
ごとに区切り、各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…を切
り出し、この各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…毎に、
走行路面３１に相当する平面Ｌ0、Ｌ１、Ｌ2…を求める
ようにしている。
走行路面３１を一平面とみるのではなくて、図５に示す
ように、進行方向（Ｚ1軸方向）を各点Ｓ0、Ｓ1、Ｓ2…
ごとに区切り、各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…を切
り出し、この各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…毎に、
走行路面３１に相当する平面Ｌ0、Ｌ１、Ｌ2…を求める
ようにしている。
【００４３】図９には、図８の全体画像４０から切り出
された画像Ｊ1、Ｊ3が、３次元座標系Ｘ1−Ｙ1−Ｚ1で
示されている。この画像Ｊ1、Ｊ3について、走行路３１
に相当する平面を求めた結果が、平面Ｌ1、Ｌ3として表
されている。
された画像Ｊ1、Ｊ3が、３次元座標系Ｘ1−Ｙ1−Ｚ1で
示されている。この画像Ｊ1、Ｊ3について、走行路３１
に相当する平面を求めた結果が、平面Ｌ1、Ｌ3として表
されている。
【００４４】すなわち、図８に示す画素６０の３次元分
布画像４０が、Ｚ1軸方向に各区間Ｓ0〜Ｓ1、Ｓ1〜Ｓ
2、Ｓ3〜Ｓ4…（図９参照）に分割されて、各区間の画
像Ｊ0、Ｊ1、Ｊ2…ごとに、平面Ｌ0、Ｌ1、Ｌ2…が検出
される。たとえば、区間Ｓ3〜Ｓ4の場合、この区間の中
に存在する画像Ｊ3の全画素６０の中から鉛直方向（Ｙ1
軸方向）最下点にある画素群を選択し、これらを平面近
似することによって、平面Ｌ3を検出することができる
（ステップ１０４）。
布画像４０が、Ｚ1軸方向に各区間Ｓ0〜Ｓ1、Ｓ1〜Ｓ
2、Ｓ3〜Ｓ4…（図９参照）に分割されて、各区間の画
像Ｊ0、Ｊ1、Ｊ2…ごとに、平面Ｌ0、Ｌ1、Ｌ2…が検出
される。たとえば、区間Ｓ3〜Ｓ4の場合、この区間の中
に存在する画像Ｊ3の全画素６０の中から鉛直方向（Ｙ1
軸方向）最下点にある画素群を選択し、これらを平面近
似することによって、平面Ｌ3を検出することができる
（ステップ１０４）。
【００４５】つぎに、各平面Ｌ0、Ｌ1、Ｌ2…毎に、そ
の平面を基準とする所定のしきい値以上の高さの物体が
あるか否かが検出される。たとえば、平面Ｌ3の場合、
その平面Ｌ3を基準として所定のしきい値以上の物体３
３があるので、これが障害物３３であると検出される
（ステップ１０５）。
の平面を基準とする所定のしきい値以上の高さの物体が
あるか否かが検出される。たとえば、平面Ｌ3の場合、
その平面Ｌ3を基準として所定のしきい値以上の物体３
３があるので、これが障害物３３であると検出される
（ステップ１０５）。
【００４６】つぎに、図９に示すように予定走行路面３
１の内側を示す画像Ｋを、図８の全体画像４０の中から
切り出す処理が実行される。
１の内側を示す画像Ｋを、図８の全体画像４０の中から
切り出す処理が実行される。
【００４７】たとえば、区間Ｓ1〜Ｓ2の画像Ｊ1につい
て、予定走行路３１とその分岐路３２とを同じ平面とし
て検出してしまい（予定走行路３１と分岐路３２の間に
段差がなければ）、予定走行路３１上にはない分岐路３
２上の物体３５を「障害物」として誤検出してしまうこ
とがある（図９参照）。
て、予定走行路３１とその分岐路３２とを同じ平面とし
て検出してしまい（予定走行路３１と分岐路３２の間に
段差がなければ）、予定走行路３１上にはない分岐路３
２上の物体３５を「障害物」として誤検出してしまうこ
とがある（図９参照）。
【００４８】そこで、このような事態を避けるために、
予定走行路面３１の内側を示す画像Ｋ内に存在する物体
のみを障害物と判定するものである。
予定走行路面３１の内側を示す画像Ｋ内に存在する物体
のみを障害物と判定するものである。
【００４９】図６は、Ｘ1（移動体車幅方向）−Ｚ1（移
動体進行方向）座標系において、進行方向右側境界点Ｓ
0（＋）、Ｓ1（＋）、Ｓ2（＋）…、進行方向左側境界
点Ｓ0（−）、Ｓ1（−）、Ｓ2（−）…をプロットした
ものである。
動体進行方向）座標系において、進行方向右側境界点Ｓ
0（＋）、Ｓ1（＋）、Ｓ2（＋）…、進行方向左側境界
点Ｓ0（−）、Ｓ1（−）、Ｓ2（−）…をプロットした
ものである。
【００５０】進行方向右側境界点Ｓ0（＋）、Ｓ1
（＋）、Ｓ2（＋）…は、予定走行路３１の中心位置Ｓ0
（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に対してＸ1軸プラ
ス方向（右側）に、移動体１の車幅の半分ないしは走行
路幅の半分＋Ｗcだけオフセットしたもの、Ｓ0（＋）
（ＣＸ0＋Ｗc、ＣＹ0、ＣＺ0）、Ｓ1（＋）(ＣＸ1＋Ｗ
c、ＣＹ1、ＣＺ1）、Ｓ2（＋）(ＣＸ2＋Ｗc、ＣＹ2、Ｃ
Ｚ2）…として得られる。
（＋）、Ｓ2（＋）…は、予定走行路３１の中心位置Ｓ0
（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に対してＸ1軸プラ
ス方向（右側）に、移動体１の車幅の半分ないしは走行
路幅の半分＋Ｗcだけオフセットしたもの、Ｓ0（＋）
（ＣＸ0＋Ｗc、ＣＹ0、ＣＺ0）、Ｓ1（＋）(ＣＸ1＋Ｗ
c、ＣＹ1、ＣＺ1）、Ｓ2（＋）(ＣＸ2＋Ｗc、ＣＹ2、Ｃ
Ｚ2）…として得られる。
【００５１】同様に、進行方向左側境界点Ｓ0（−）、
Ｓ1（−）、Ｓ2（−）…は、予定走行路３１の中心位置
Ｓ0（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に対してＸ1軸マイ
ナス方向（左側）に、移動体１の車幅の半分ないしは走
行路幅の半分−Ｗcだけオフセットしたもの、Ｓ0（−）
（ＣＸ0−Ｗc、ＣＹ0、ＣＺ0）、Ｓ1（−）(ＣＸ1−Ｗ
c、ＣＹ1、ＣＺ1）、Ｓ2（−）(ＣＸ2−Ｗc、ＣＹ2、Ｃ
Ｚ2）…として得られる。
Ｓ1（−）、Ｓ2（−）…は、予定走行路３１の中心位置
Ｓ0（ＣＸ0、ＣＹ0、ＣＺ0）、Ｓ1(ＣＸ1、ＣＹ1、ＣＺ
1）、Ｓ2(ＣＸ2、ＣＹ2、ＣＺ2）…に対してＸ1軸マイ
ナス方向（左側）に、移動体１の車幅の半分ないしは走
行路幅の半分−Ｗcだけオフセットしたもの、Ｓ0（−）
（ＣＸ0−Ｗc、ＣＹ0、ＣＺ0）、Ｓ1（−）(ＣＸ1−Ｗ
c、ＣＹ1、ＣＺ1）、Ｓ2（−）(ＣＸ2−Ｗc、ＣＹ2、Ｃ
Ｚ2）…として得られる。
【００５２】このようにして、予定走行路面３１の内側
を示す画像Ｋが、全体画像４０から切り出された結果、
たとえ、予定走行路３１の外側を含んでいる画像Ｊ1内
に物体３５が存在したとしても、この物体３５は、画像
Ｋ内に存在していないので、「障害物」ではないと判定
することができ、予定走行路３１上に存在する物体のみ
を障害物であると確実に検出することができるようにな
る（ステップ１０６）。
を示す画像Ｋが、全体画像４０から切り出された結果、
たとえ、予定走行路３１の外側を含んでいる画像Ｊ1内
に物体３５が存在したとしても、この物体３５は、画像
Ｋ内に存在していないので、「障害物」ではないと判定
することができ、予定走行路３１上に存在する物体のみ
を障害物であると確実に検出することができるようにな
る（ステップ１０６）。
【００５３】以上説明した実施の形態では、３次元画像
４０の中から各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…（平面
Ｌ0、Ｌ1、Ｌ2…）を切り出す処理（ステップ１０４）
と、３次元画像４０の中から走行路面３１の内側を示す
画像Ｋを切り出す処理（ステップ１０６）とを併せて実
施する場合について説明したが、本発明としては、いず
れか一方の処理のみを行うようにしてもよい。
４０の中から各区間ごとの画像Ｊ0、Ｊ1、Ｊ2…（平面
Ｌ0、Ｌ1、Ｌ2…）を切り出す処理（ステップ１０４）
と、３次元画像４０の中から走行路面３１の内側を示す
画像Ｋを切り出す処理（ステップ１０６）とを併せて実
施する場合について説明したが、本発明としては、いず
れか一方の処理のみを行うようにしてもよい。
【００５４】ステップ１０６の処理を単独で行った場合
には、つぎのようになる。すなわち、図９に示すよう
に、車体座標系Ｘ1−Ｙ1−Ｚ1における走行路３１の３
次元座標位置データＳ0、Ｓ1、Ｓ2…と、車体座標系Ｘ1
−Ｙ1−Ｚ1における３次元画像４０（図８）とが突き合
わされることにより、３次元画像４０の中から、走行路
面３１に対応する部分Ｋが切り出される（図９の画像４
０′参照）。そして、この切り出された走行路面３１に
対応する部分Ｋについて、障害物３３が存在しているこ
とを検出することができる。
には、つぎのようになる。すなわち、図９に示すよう
に、車体座標系Ｘ1−Ｙ1−Ｚ1における走行路３１の３
次元座標位置データＳ0、Ｓ1、Ｓ2…と、車体座標系Ｘ1
−Ｙ1−Ｚ1における３次元画像４０（図８）とが突き合
わされることにより、３次元画像４０の中から、走行路
面３１に対応する部分Ｋが切り出される（図９の画像４
０′参照）。そして、この切り出された走行路面３１に
対応する部分Ｋについて、障害物３３が存在しているこ
とを検出することができる。
【００５５】ここで、走行路面３１に対応する部分Ｋ
は、走行路中心位置Ｓ0、Ｓ1、Ｓ2…に対して車幅分あ
るいは路幅分±Ｗcだけオフセットさせたものとして求
めてことができるが、必ずしもこれに限定されるもので
はない。
は、走行路中心位置Ｓ0、Ｓ1、Ｓ2…に対して車幅分あ
るいは路幅分±Ｗcだけオフセットさせたものとして求
めてことができるが、必ずしもこれに限定されるもので
はない。
【００５６】移動体１が走行路中心位置に沿って走行し
ている場合には問題はないが、移動体１としては、走行
路中心位置からずれて走行している場合もあり、この場
合は、車幅分あるいは路幅分±Ｗcだけオフセットした
領域Ｋからはみでてしまうこともある。そこで、目標点
Ｓ0、Ｓ1、Ｓ2…と移動体１の現在の走行位置との偏差
を検出し、この偏差に応じて路幅方向のオフセット量を
求め、移動体１がはみでないような領域を任意に設定す
ることができる。
ている場合には問題はないが、移動体１としては、走行
路中心位置からずれて走行している場合もあり、この場
合は、車幅分あるいは路幅分±Ｗcだけオフセットした
領域Ｋからはみでてしまうこともある。そこで、目標点
Ｓ0、Ｓ1、Ｓ2…と移動体１の現在の走行位置との偏差
を検出し、この偏差に応じて路幅方向のオフセット量を
求め、移動体１がはみでないような領域を任意に設定す
ることができる。
【００５７】このように、不整地等のいかなる走行路３
１であろうとも、画像からその走行路面３１が特定さ
れ、その走行路面に対応する部分Ｋのみについて障害物
を検出するための画像処理がなされるので、画像処理時
間が短時間で済み障害物３３の検出がリアルタイムにな
される。また、走行路３１がカーブしていたり、分岐路
３２を有していたとしても、予定走行路３１以外に存在
する物体３５を「障害物」であると誤って検出すること
なく、予定走行路３１上の障害物３３のみを確実に検出
できるようになる。
１であろうとも、画像からその走行路面３１が特定さ
れ、その走行路面に対応する部分Ｋのみについて障害物
を検出するための画像処理がなされるので、画像処理時
間が短時間で済み障害物３３の検出がリアルタイムにな
される。また、走行路３１がカーブしていたり、分岐路
３２を有していたとしても、予定走行路３１以外に存在
する物体３５を「障害物」であると誤って検出すること
なく、予定走行路３１上の障害物３３のみを確実に検出
できるようになる。
【００５８】また、ステップ１０４の処理を単独で行っ
た場合（走行路面３１の幅方向に段差がある場合）に
は、つぎのようになる。
た場合（走行路面３１の幅方向に段差がある場合）に
は、つぎのようになる。
【００５９】すなわち、図９に示すように、車体座標系
Ｘ1−Ｙ1−Ｚ1における走行路３１の３次元座標位置デ
ータＳ0、Ｓ1、Ｓ2、Ｓ3…と、車体座標系Ｘ1−Ｙ1−Ｚ
1における３次元画像４０（図８）とが突き合わされる
ことにより、３次元画像４０の中から、走行路面３１の
各区間の画像Ｊ0、Ｊ1、Ｊ2、Ｊ3…が切り出される（図
９の画像４０′参照）。そして、この切り出された各区
間の画像Ｊ0、Ｊ1、Ｊ2、Ｊ3…について平面Ｌ0、Ｌ1、
Ｌ2、Ｌ3…が求められ、この平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…
それぞれについてその上に障害物が存在していることが
検出される。
Ｘ1−Ｙ1−Ｚ1における走行路３１の３次元座標位置デ
ータＳ0、Ｓ1、Ｓ2、Ｓ3…と、車体座標系Ｘ1−Ｙ1−Ｚ
1における３次元画像４０（図８）とが突き合わされる
ことにより、３次元画像４０の中から、走行路面３１の
各区間の画像Ｊ0、Ｊ1、Ｊ2、Ｊ3…が切り出される（図
９の画像４０′参照）。そして、この切り出された各区
間の画像Ｊ0、Ｊ1、Ｊ2、Ｊ3…について平面Ｌ0、Ｌ1、
Ｌ2、Ｌ3…が求められ、この平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…
それぞれについてその上に障害物が存在していることが
検出される。
【００６０】このように、走行路面３１の特定の一部Ｊ
3（Ｌ3）が画像から切り出され、その特定部分を平面Ｌ
3としてその上の障害物３３を検出するようにしたの
で、走行路面３１が坂道等であって走行路面各部の勾配
θ、路面高さＣＹが異なるものであったとしても、走行
路面各部の平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…を基準とする所定
の高さ以上の障害物３３を誤検出することなく確実に検
出できるようになる。
3（Ｌ3）が画像から切り出され、その特定部分を平面Ｌ
3としてその上の障害物３３を検出するようにしたの
で、走行路面３１が坂道等であって走行路面各部の勾配
θ、路面高さＣＹが異なるものであったとしても、走行
路面各部の平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…を基準とする所定
の高さ以上の障害物３３を誤検出することなく確実に検
出できるようになる。
【００６１】また、本実施の形態では、距離画像３０か
ら、３次元画像４０を求めるようにしているが、移動体
前方の物体の３次元位置を判断できる画像であれば、そ
の画像から走行路面３１の部分Ｋを切り出したり、走行
路面各部の平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…を切り出すことが
可能である。
ら、３次元画像４０を求めるようにしているが、移動体
前方の物体の３次元位置を判断できる画像であれば、そ
の画像から走行路面３１の部分Ｋを切り出したり、走行
路面各部の平面Ｌ0、Ｌ1、Ｌ2、Ｌ3…を切り出すことが
可能である。
【００６２】たとえば、図７に示す３次元距離画像３０
から直接、走行路面３１の部分Ｋを切り出したり（これ
を斜線にて示す）、走行路面各部の平面Ｌ0、Ｌ1、Ｌ
2、Ｌ3…を切り出すようにしてもよい。
から直接、走行路面３１の部分Ｋを切り出したり（これ
を斜線にて示す）、走行路面各部の平面Ｌ0、Ｌ1、Ｌ
2、Ｌ3…を切り出すようにしてもよい。
【図１】図１は本発明に係る移動体の走行路面上の障害
物検出装置の実施の形態における構成例を示すブロック
図である。
物検出装置の実施の形態における構成例を示すブロック
図である。
【図２】図２は図１に示す検出範囲特定部および障害物
検出部で実行される処理の手順を示すフローチャートで
ある。
検出部で実行される処理の手順を示すフローチャートで
ある。
【図３】図３は全体座標系と車体座標系との関係を示す
図である。
図である。
【図４】図４は実施の形態の移動体が走行する走行路を
概略的に示す図である。
概略的に示す図である。
【図５】図５は実施の形態の走行路の勾配および路面高
さを示す図である。
さを示す図である。
【図６】図６は実施の形態の走行路の路幅を示す図であ
る。
る。
【図７】図７は図１に示す３次元距離画像生成部で生成
される距離画像を示す図である。
される距離画像を示す図である。
【図８】図８は図７に示す距離画像を変換して得られる
画素の３次元分布画像を示す図である。
画素の３次元分布画像を示す図である。
【図９】図９は走行路面のみ、あるいは走行路面を各区
間に区切った部分のみを画像として示す図である。
間に区切った部分のみを画像として示す図である。
１ 移動体 ２ 検出範囲特定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４１５ (72)発明者 吉見 修 神奈川県平塚市万田1200 株式会社小松製 作所研究所内
Claims (4)
- 【請求項１】 移動体の走行路面および当該走行路
面上の障害物の３次元画像に基づいて、当該障害物を検
出するようにした移動体の走行路面上の障害物検出装置
において、 前記移動体の現在位置を３次元座標位置として検出する
位置検出手段と、 前記移動体からみた３次元座標系における前記走行路面
および前記障害物の現在の３次元画像を生成する３次元
画像生成手段と、 前記走行路に沿った各点の３次元座標位置を示す３次元
座標位置データと、前記位置検出手段で検出された移動
体の現在の３次元座標位置とに基づき、前記移動体座標
系における走行路の３次元座標位置データを演算し、当
該移動体座標系における走行路の３次元座標位置データ
を、前記３次元画像生成手段で現在生成されている移動
体座標系における３次元画像に突き合わせることによ
り、現在の３次元画像の中から、前記走行路面に対応す
る部分を切り出す画像処理手段と、 前記３次元画像のうち、前記画像処理手段で切り出され
た前記走行路面に対応する部分について、前記障害物が
存在していることを検出する検出手段とを具えた移動体
の走行路面上の障害物検出装置。 - 【請求項２】 移動体の走行路面および当該走行路
面上の障害物の３次元画像に基づいて、当該障害物を検
出するようにした移動体の走行路面上の障害物検出装置
において、 前記移動体の現在位置を３次元座標位置として検出する
位置検出手段と、 前記移動体からみた３次元座標系における前記走行路面
および前記障害物の現在の３次元画像を生成する３次元
画像生成手段と、 前記走行路に沿った各点の３次元座標位置を示す３次元
座標位置データと、前記位置検出手段で検出された移動
体の現在の３次元座標位置とに基づき、前記移動体座標
系における走行路の３次元座標位置データを演算し、当
該移動体座標系における走行路の３次元座標位置データ
を、前記３次元画像生成手段で現在生成されている移動
体座標系における３次元画像に突き合わせることによ
り、現在の３次元画像の中の走行路面の特定部分を切り
出す画像処理手段と、 前記切り出された走行路面の特定部分を平面として求
め、この平面の上に前記障害物が存在していることを検
出する検出手段とを具えた移動体の走行路面上の障害物
検出装置。 - 【請求項３】 移動体の基準位置から、移動体の走
行路面上の障害物までの距離を計測し、当該走行路面お
よび障害物の距離画像を生成する距離画像生成手段と、
前記距離画像生成手段によって生成された距離画像を用
いて、前記移動体の走行路面上の障害物を検出する検出
手段とを具えた移動体の走行路面上の障害物検出装置に
おいて、 前記移動体の現在位置を３次元座標位置として検出する
位置検出手段と、 前記距離画像の各画素毎の２次元座標位置データと、各
画素毎の前記基準位置からの距離データとに基づき、前
記距離画像の各画素毎に、移動体からみた３次元座標系
における３次元座標位置データを演算し、当該移動体座
標系における前記走行路面および前記障害物の現在の３
次元画像を生成する３次元画像生成手段と、 前記走行路に沿った各点の３次元座標位置を示す３次元
座標位置データと、前記位置検出手段で検出された移動
体の現在の３次元座標位置とに基づき、前記移動体座標
系における走行路の３次元座標位置データを演算し、当
該移動体座標系における走行路の３次元座標位置データ
を、前記３次元画像生成手段で現在生成されている移動
体座標系における３次元画像に突き合わせることによ
り、現在の３次元画像の中から、前記走行路面に対応す
る部分を切り出す画像処理手段と、 前記３次元画像のうち、前記画像処理手段で切り出され
た前記走行路面に対応する部分について、前記障害物が
存在していることを検出する検出手段とを具えた移動体
の走行路面上の障害物検出装置。 - 【請求項４】 移動体の基準位置から、移動体の走
行路面上の障害物までの距離を計測し、当該走行路面お
よび障害物の距離画像を生成する距離画像生成手段と、
前記距離画像生成手段によって生成された距離画像を用
いて、前記移動体の走行路面上の障害物を検出する検出
手段とを具えた移動体の走行路面上の障害物検出装置に
おいて、 前記移動体の現在位置を３次元座標位置として検出する
位置検出手段と、 前記距離画像の各画素毎の２次元座標位置データと、各
画素毎の前記基準位置からの距離データとに基づき、前
記距離画像の各画素毎に、移動体からみた３次元座標系
における３次元座標位置データを演算し、当該移動体座
標系における前記走行路面および前記障害物の現在の３
次元画像を生成する３次元画像生成手段と、 前記走行路に沿った各点の３次元座標位置を示す３次元
座標位置データと、前記位置検出手段で検出された移動
体の現在の３次元座標位置とに基づき、前記移動体座標
系における走行路の３次元座標位置データを演算し、当
該移動体座標系における走行路の３次元座標位置データ
を、前記３次元画像生成手段で現在生成されている移動
体座標系における３次元画像に突き合わせることによ
り、現在の３次元画像の中の走行路面の特定部分を切り
出す画像処理手段と、 前記切り出された走行路面の特定部分を平面として求
め、この平面の上に前記障害物が存在していることを検
出する検出手段とを具えた移動体の走行路面上の障害物
検出装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8293994A JPH10141954A (ja) | 1996-11-06 | 1996-11-06 | 移動体の走行路面上の障害物検出装置 |
| AU48845/97A AU4884597A (en) | 1996-11-06 | 1997-11-06 | Device for detecting obstacle on surface of traveling road of traveling object |
| PCT/JP1997/004042 WO1998020302A1 (en) | 1996-11-06 | 1997-11-06 | Device for detecting obstacle on surface of traveling road of traveling object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8293994A JPH10141954A (ja) | 1996-11-06 | 1996-11-06 | 移動体の走行路面上の障害物検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10141954A true JPH10141954A (ja) | 1998-05-29 |
Family
ID=17801874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8293994A Withdrawn JPH10141954A (ja) | 1996-11-06 | 1996-11-06 | 移動体の走行路面上の障害物検出装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPH10141954A (ja) |
| AU (1) | AU4884597A (ja) |
| WO (1) | WO1998020302A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002170102A (ja) * | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 撮影対象物の自動獲得・復元方法及び装置 |
| JP2013222446A (ja) * | 2012-04-19 | 2013-10-28 | Toyota Central R&D Labs Inc | 障害物検出装置及びそれを備えた移動体 |
| KR20160108153A (ko) | 2015-03-06 | 2016-09-19 | 야마하하쓰도키 가부시키가이샤 | 장해물 검출 장치 및 그것을 구비한 이동체 |
| WO2017208296A1 (ja) | 2016-05-30 | 2017-12-07 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
| CN112859109A (zh) * | 2021-02-02 | 2021-05-28 | 北京大成国测科技有限公司 | 无人机全景图像处理方法、装置及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112857254B (zh) * | 2021-02-02 | 2022-02-08 | 北京大成国测科技有限公司 | 基于无人机数据的参数测量方法、装置及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0589266A (ja) * | 1991-09-27 | 1993-04-09 | Olympus Optical Co Ltd | ニユーロン素子及びニユーラルネツトワーク回路 |
| JPH07146145A (ja) * | 1993-11-24 | 1995-06-06 | Fujitsu Ltd | 道路検知装置 |
| JP3570635B2 (ja) * | 1994-03-23 | 2004-09-29 | 矢崎総業株式会社 | 車両周辺監視装置 |
| JP2834007B2 (ja) * | 1994-10-03 | 1998-12-09 | 鹿島建設株式会社 | 離隔式測量方法 |
| JPH09142236A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
| JPH09178855A (ja) * | 1995-12-25 | 1997-07-11 | Hitachi Ltd | 障害物検出方法 |
-
1996
- 1996-11-06 JP JP8293994A patent/JPH10141954A/ja not_active Withdrawn
-
1997
- 1997-11-06 WO PCT/JP1997/004042 patent/WO1998020302A1/ja not_active Ceased
- 1997-11-06 AU AU48845/97A patent/AU4884597A/en not_active Abandoned
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002170102A (ja) * | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 撮影対象物の自動獲得・復元方法及び装置 |
| JP2013222446A (ja) * | 2012-04-19 | 2013-10-28 | Toyota Central R&D Labs Inc | 障害物検出装置及びそれを備えた移動体 |
| KR20160108153A (ko) | 2015-03-06 | 2016-09-19 | 야마하하쓰도키 가부시키가이샤 | 장해물 검출 장치 및 그것을 구비한 이동체 |
| WO2017208296A1 (ja) | 2016-05-30 | 2017-12-07 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
| KR20190008292A (ko) | 2016-05-30 | 2019-01-23 | 닛산 지도우샤 가부시키가이샤 | 물체 검출 방법 및 물체 검출 장치 |
| US10431094B2 (en) | 2016-05-30 | 2019-10-01 | Nissan Motor Co., Ltd. | Object detection method and object detection apparatus |
| CN112859109A (zh) * | 2021-02-02 | 2021-05-28 | 北京大成国测科技有限公司 | 无人机全景图像处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU4884597A (en) | 1998-05-29 |
| WO1998020302A1 (en) | 1998-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| US11874660B2 (en) | Redundant lateral velocity determination and use in secondary vehicle control systems | |
| JP4899424B2 (ja) | 物体検出装置 | |
| US20030069695A1 (en) | Apparatus for monitoring area adjacent to vehicle | |
| KR102056147B1 (ko) | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 | |
| GB2358751A (en) | Collision warning | |
| JP2021197009A (ja) | リスク判定システム、リスク判定プログラム | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| US11607999B2 (en) | Method and apparatus for invisible vehicle underbody view | |
| JPH10143245A (ja) | 移動体の障害物衝突防止装置 | |
| US12024161B2 (en) | Vehicular control system | |
| JP7229052B2 (ja) | 車両制御装置、車両制御システム | |
| US10775804B1 (en) | Optical array sensor for use with autonomous vehicle control systems | |
| CN115959112A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| JPH0981757A (ja) | 車両位置検出装置 | |
| JPH10141954A (ja) | 移動体の走行路面上の障害物検出装置 | |
| JP3757500B2 (ja) | 先行車追従装置 | |
| US11702078B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
| JP3237705B2 (ja) | 障害物検出装置および障害物検出装置を搭載した移動体 | |
| JPH07271978A (ja) | 画像処理装置 | |
| JP2025179927A (ja) | 段差位置検知装置 | |
| US20220404166A1 (en) | Nearby vehicle position estimation system, and nearby vehicle position estimation program | |
| CN115959110A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| JP7753978B2 (ja) | 自律走行車 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040106 |