JPH0510685B2 - - Google Patents

Description

【発明の詳細な説明】 発明の目的 （産業上の利用分野） この発明は画像式無人車の操舵制御装置に係
り、詳しくは無人車の走行経路を指示する走行ラ
インを無人車に備えた撮像装置で撮り、その撮像
装置で撮つた走行ラインの画像を画像処理して決
定した走行経路を沿つて走行させる際の安全装置
に関するものである。

（従来技術） 近年、無人車の走行経路を指示する走行ライン
を無人車に備えた撮像装置で撮り、その撮像装置
で撮つた走行ラインの画像を画像処理して決定し
た走行経路に沿つて走行させる画像式無人車が提
案されている。そして、この種の画像式無人車に
おいては単に前方の走行ラインを撮像してその画
像を画像処理して画像中の走行ラインの偏位から
ステアリング角等を決定しようとするものであつ
た。

（発明が解決しようとする問題点） しかし、画像式無人車においては撮像装置がな
んらかの原因で正確に又は全く走行ラインを撮る
ことができない場合があり、その場合にも画像入
力したものとして通常の画像処理を行ないその処
理結果に基づいて操舵機構を作動させることにな
る。従つて、画像式無人車においてはなんらかの
安全対策が必要であつた。

この発明の目的は撮像装置がなんらかの原因で
正確に又は全く走行ラインを撮ることができない
場合でも無人車を安全に走行させることができる
画像式無人車の操舵制御装置における安全装置を
提供するにある。

発明の構成 （問題点を解決するための手段） この発明は上記目的を達成するために無人車に
搭載され走行しながら同無人車の走行経路を指示
する走行ラインを撮像する撮像装置と、前記撮像
装置が先に撮像した撮像位置に無人車が達するま
でに少なくとも２回前記撮像装置にて新たな撮像
位置を撮像させるために同撮像装置を制御する撮
像制御手段と、前記撮像装置が撮像した画像の各
画素信号を前記走行ラインか否かを判別し符号化
して画素データとする判別手段と、前記判別手段
が判別した撮像装置が撮像した画像の画素データ
群を予め割り当てられた記憶領域に記憶する記憶
手段と、前記記憶手段に新たに記憶された最新の
画像の画素データ群に基づいて走行経路を割り出
す割り出し手段と、前記割り出し手段が最新の画
像の画素データ群に基づいて最新の走行経路を割
り出しとき、その割り出した最新の走行経路のデ
ータに基づいて操舵機構を作動させる第１の操舵
制御手段と、前記割り出し手段が最新の画像の画
素データ群に基づいて最新の走行経路を割り出す
ことができなかつたとき、割り出し手段が先に割
り出した走行経路のデータに基づいて引き続き操
舵機構を作動させる第２の操舵制御手段とからな
る画像式無人車の操舵制御装置における安全装置
をその要旨とするものである。

（作用） 第１の操舵制御手段は割り出し手段が最新の画
像の画像データ群に基づいて最新の走行経路を割
り出したとき、その割り出した最新の走行経路の
データに基づいて操舵機構を作動させる。反対
に、前記割り出し手段が最新の画像の画素データ
群に基づいて最新の走行経路を割り出すことがで
きなかつたとき、第２の操舵制御手段は前記割り
出し手段が最新の画像の画素データ群より１つ前
に行なつた画像の画素データ群にて割り出した先
の走行経路のデータに基づいて引き続き操舵機構
を作動させる。

（実施例） 以下、この発明を具体化した無人車
の操舵制御装置における安全装置の一実施例を図
面に従つて説明する。

第１図において、無人車１の前側上部中央位置
には支持フレーム２が立設されていて、そのフレ
ーム２の上部中央位置には撮像装置としての
CCD（charge coupled device）カメラ３が設け
られている。CCDカメラ３は無人車１の前方数
メートル先の路面４上のエリア４ａを撮るように
支持フレーム２にセツトされている。そして、
CCDカメラ３は第４図に示すエリア４ａを第５
図に示す画像９で捕えている。又、本実施例では
そのエリア４ａの画像９は256×256個の画素で撮
像されるものとする。

CCDカメラ３の両側下方位置には照明ランプ
５が設置され、前記エリア４ａを照すようにセツ
トされている。尚、前記実施例では撮像を容易に
するために照明ランプを使用したが、これを使用
しないで実施してもよい。前記路面４には第２図
に示すように無人車１の走行経路を指示する走行
ライン６が一定の線幅Ｄにて描かれていて、本実
施例では路面４の色と異なる白色の塗料にて描か
れている。そして、この一定の線幅Ｄを有した走
行ライン６を前記CCDカメラ３が撮ることにな
る。

尚、白色の走行ライン６を撮つたCCDカメラ
３からの信号（以下、画素信号という）のレベル
は高く、反対に暗い路面４を撮つたCCDカメラ
３からの画素信号のレベルは低くなる。

次に、無人車１に搭載された操舵制御装置にお
ける安全装置の電気的構成を第３図に従つて説明
する。

マイクロコンピユータ１０は中央処理装置（以
下、単にCPUという）１１と制御プログラムを
記憶した読み出し専用のメモリ（ROM）よりな
るプログラムメモリ１２とCPU１１の演算処理
結果及び画素データ等が一時記憶される読み出し
及び書き替え可能なメモリ（RAM）よりなる作
業用メモリ１３及びタイマ１４等から構成され、
CPU１１はプログラムメモリ１２に記憶された
制御プログラムにて走行経路を割り出すとともに
操舵制御のための各種の演算処理動作を実行する
ようになつている。

前記CPU１１は無人車１が一定の距離走行す
るたび毎に入出力インターフエイス１５及びＡ／
Ｄ変換器１６を介して前記CCDカメラ３を走査
制御するようになつていて、本実施例では第６図
に示すように、先のエリア４ａが一部重なつた新
たなエリア４ａが形成され、かつ無人車１がその
撮像されたエリア４ａに達するまでに数回（本実
施例では２回）の撮像を行なうようになつてい
る。尚、説明の便宜上、本実施例ではこのCCD
カメラ３の走査制御は無人車１が常に一定速度で
走行するという前提でタイマ１４が計時する時間
に基づいて一定時間ごとに制御を行なつている
が、無人車１の走行速度が一定ではない場合には
その走行速度と時間とで又は走行距離計にて制御
することになる。尚、CCDカメラ３の走査制御
は横方向（Ｘ軸方向）に走査し、その走査が画面
９の上から下方向（Ｙ軸方向）に移る走査方式を
採用しているが、これに限定されるものではなく
その他の走査方式を採用して実施してもよい。

又、前記Ａ／Ｄ変換器１６はCCDカメラ３の
各撮像素子からの画素信号を画素データにしてバ
スコントローラ１７を介して作業用メモリ１３に
する。Ａ／Ｄ変換器１６はCCDカメラ３からの
画素信号をアナログ値からデジタル値に変換する
際、各画素信号が予め定めた設定値以上か否か判
別し、設定値以上の画素信号の場合には白色の走
行ライン６の部分の画素として「１」、反対に未
満の画素信号の場合には暗い色の路面４の部分の
画素として「０」とするようにして順次入力され
てくる各画素信号を２値化し画素データとして作
業用メモリ１３の所定の記憶領域１３ａに記憶す
る。従つて、作業用メモリ１３にはCCDカメラ
３が撮つた画像９が256×256個の画素データ群と
なつて記憶されていることなる。

そして、新しい画像９の画素データ群が入力さ
れるたびごとに先の画像９の画素データ群が最も
新しい画像９の画素データ群に書き替えられるよ
うになつている。

２値化レベルコントローラ１８は前記Ａ／Ｄ変
換器１６が２値化するための設定値のデータを前
記CPU１１からの制御信号に基づいて同Ａ／Ｄ
変換器１６に出力する。ドライブコントローラ２
０は図示しない走行用の走行用モータ及び操舵機
構２１を同じくCPU１１からの制御信号に基づ
いて制御する。そして、操舵機構２１はその制御
信号に基づいてステアリング角を制御する。又、
CPU１１は無人車１の駆動系の回転速度を検出
する速度検出器２２からの検出信号を入出力イン
ターフエイス１５を介して入力し、その時々の無
人車１の走行速度Ｖを算出するようになつてい
る。

次に、前記CPU１１の処理動作について説明
する。

今、CPU１１からの制御信号に基づいてCCD
カメラ３が走査制御されると、CCDカメラ３は
路面４に対して垂直ではなく一定の角度傾いて撮
像されていることから第４図に示す前方のエリア
４ａを前方部分と手前部分とで縮尺が異なる第５
図に示すような画像９に撮像する。このCCDカ
メラ３が撮像した画像９は画素信号としてＡ／Ｄ
変換器１６に出力され、そのＡ／Ｄ変換器１６に
て各画素信号が走行ライン６の部分の画素信号か
路面４の部分の画素信号かが判別された画素デー
タとして作業用メモリ１３に記憶される。

CPU１１は作業用メモリ１３の所定の記憶領
域１３ａに記憶された画素データに基づいて走行
ライン６の画像認識を行なう。CPU１１はこの
画像９において上側から順に走査方向（Ｘ軸方
向）の各画素データを読み出して一定の線幅Ｄを
有している走行ライン６があるか、そして、その
走査列のどの位置に位置するか割り出すととも
に、その走行ライン６と判断した範囲の中心位置
Cnがどの位置にあるかを求め作業用メモリ１３
に記憶する。

この算出は第８図に示すように画像９を構成す
る各画素において左から数えて128番目にある縦
一列の画素列をｙ軸とし、上から数えて128番目
にある横一列の画素列をｘ軸と規定して画像９の
各画素をｘ，ｙ座標で表わすようにして、走行ラ
イン６の位置及び中心位置Cnをｘ，ｙ座標で求
めている。そして、画像９の最下側までの各走査
列の中心位置Ｃ０〜Ｃ２５５を求める。

次に、CPU１１はその求めた中心位置Ｃ０〜
Ｃ２２５から複数個の中心位置を選定点として選
定する。本実施例では予め選定する走査列（ｙ軸
方向）は決められていて、後記する画像９を射影
変換した時において隣接する選定点が全て進行方
向に対して等距離となるように４個の走査列La
〜Ldの中心位置Ca，Cb，Cc，Cdを第８図に示
すように選定点Ｚ１〜Ｚ４として規定している。

CPU１１はこの選定点Ｚ１〜Ｚ４を射影変換、
すなわち、画像９で求めた選定点Ｚ１〜Ｚ４が第
９図に示示す実際のエリア４ａ上のどの位置（以
下、基点という）Ｑ１〜Ｑ４にあるかを割り出す
演算処理を行なう。これは前記したようにCCD
カメラ３が路面４を垂直に撮像していないことか
ら画像９中の走行ライン６と実際のエリア４ａに
おける走行ライン６と相違するのを一致させる処
理である。尚、この射影変換処理動作は予め設定
されているCCDカメラ３の焦点距離及び傾き、
高さ等の設置条件に基づいて射影変換、すなわ
ち、座標変換が行なわれる。そして、この射影変
換の一般式は以下の通りである。

CCDカメラ３の入力画像に示される選定点の
位置座標をｘ，ｙとし、実際のエリア４ａに変換
させる基点の位置座標をCCDカメラ３の位置を
原点としたＸ，Ｙ座標とする。また、CCDカメ
ラ３の高さをＨ、CCDカメラ３の傾きをθ、対
応位置の倍率を定める定数をＦとする。

Ｘ＝ｘ・secθ／１−（ｙ／Ｆ）tanθ・Ｈ／Ｆ Ｙ＝ｙ＋Ｆ・tanθ／１−（ｙ／Ｆ）tanθ・Ｈ／Ｆ 次に、CPU１１はこの４個の基点Ｑ１〜Ｑ４
第９図に示すようにエリア４ａをＸ軸方向に８個
に分割してなる分割領域Ｂ１〜Ｂ８のどの領域に
属するか割り出す。このいずれかに属するかの判
断は本実施例では予め各領域Ｂ１〜Ｂ８を仕切る
仕切り線及び前記各走査列La〜Ldに対応するエ
リア４ａ上のラインａ〜ｄ上の各領域の中心の位
置も予め設定し分つているので、例えば第１０図
に示すように基点Ｑ３についてその両側にある各
領域Ｂ３，Ｂ４の中心位置Ｐ３，Ｐ４までの距離
Ｄ３，Ｄ４をそれぞれ求め近い距離Ｄ４にある中
心位置Ｐ４側の領域Ｂ４を当該基点Ｑ３の属する
領域と判断するようになつている。

一方、基点Ｑ１〜Ｑ４が存在しない場合も含め
て前記４個の基点１〜Ｑ４の各分割領域Ｂ１〜Ｂ
８の属する組合せ（パターン）は９の４乗（＝
6561）通りであり、その6561通りのパターンに対
応する6561個の走行データが第１１図に示すよう
にプログラムメモリ１２の所定の記憶領域１２ａ
に予め記憶されていて、CPU１１はその割り出
した基点Ｑ１〜Ｑ４の配列と一致するパターンを
検索し、その一致するパターンの走行データを読
み出すようになつている。

尚、走行データはそのパターン、すなわち、各
基点Ｑ１〜Ｑ４の配列に基づく走行ライン６に対
して現位置からその撮像したエリア４ａまで合理
的かつ効率よく走行させるためのその走行の時々
のステアリング角のデータで予め実験的に求めら
れたものであつて、このデータに基づいて操舵機
構１９は作動される。又、6561個のパターン中に
は、例えば第１２図に示すように基点Ｑ２〜Ｑ４
が領域Ｂ４，Ｂ５中に存在し基点Ｑ１のみがどの
領域にも存在しない場合、第１３図に示すように
内側の基点Ｑ３が存在しない場合、又、第１４図
及び第１５図に示すように基点間の偏位置が大き
い場合等、実際にありえない走行ライン６のパタ
ーンを含み、そのパターンに対する走行データに
ついてはCCDカメラ３がなんらかの原因で正確
に走行ライン６を撮像できなかつたとして操舵制
御のためのデータではなく撮像ミスを指示するデ
ータにしている。

今、CPU１１がCCDカメラ３が撮像した最新
の画像９に基づく各基点Ｑ１〜Ｑ４の配列と一致
するパターンを検索し、そのパターンに対する走
行データをプログラムメモリ１２から読み出し作
業用メモリ１３の所定の記憶領域１３ｂに記憶す
ると、同CPU１１はこの作業用メモリ１３に記
憶した最新の走行データに基づいて操舵機構２１
を作動させる。すなわち、無人車１はこの時点で
最新の撮像エリア４ａにおける走行経路がこの走
行データにて決定されたことになる。

CPU１１は無人車１をその最新の走行データ
に基づいてステアリング角を制御しながらその撮
像エリア４ａに向つて走行させる。

そして、この走行途中において、所定の時間が
経過してCPU１１がCCDカメラ３を制御して先
の撮像エリア４ａより前方の新たなエリア４ａの
画像９の画素データ群を作業用メモリ１３に記憶
すると、同CPU１１はこの最新の画素データ群
に基づいて前記と同様に基点Ｑ１〜Ｑ４を求め一
致するパターンを検索し、その一致したパターン
に対応する走行データを読み出す。そして、読み
出した走行データが撮像ミスを指示するデータで
はなく操舵制御のためのデータであるとCPU１
１が判断すると、CPU１１は作業用メモリ１３
の内容を先の走行データからこの新たな走行デー
タに書き替え、この最新の走行データにて操舵機
構２１を作動させる。すなわち、先の走行データ
に基づく無人車１の走行はその走行途中で最新の
撮像エリア４ａに対する走行データに基づく走行
に変更される。

以後、これを繰り返すことによつてCPU１１
はCCDカメラ３が新たなエリア４ａを撮像する
たびごとにそのエリア４ａの画像に基づく新たな
走行データを読み出し操舵機構２１を作動させ、
無人車１を走行ライン６に沿つて走行させる。

又、CPU１１がパターン検索して読み出した
走行データが操舵制御のためのデータではなく撮
像ミスを指示する内容のデータの場合には、
CPU１１は直ちに最新の撮像エリア４ａにおけ
る画素データ群は正しいデータ群ではないと判断
し、先に読み出した走行データに基づく操舵制御
をそのまま引き続き実行させる。従つて、無人車
１は先の走行データに基づく走行することにな
る。

この時、先の走行データは当該先の走行データ
に対応するエリア４ａまでのデータで、かつ無人
車１がいまだ当該先の走行データに対応するエリ
ア４ａまで達していないことから、その先の走行
データに基づいて走行しても同無人車１は同先の
走行データに対応するエリア４ａまで安全に走行
できる。

そして、無人車１が先の走行データに対応する
エリア４ａまで達する途中において再びCCDカ
メラ３を制御して新たなエリア４ａを撮像する
と、CPU１１は前記と同様に対応するパターン
を検索し、その検索したパターンに対応する走行
データを読み出しその最新の走行データに基づい
て操舵制御を行なう。従つて、１つ前の画素デー
タ群が正しくなくても、これを補償して無人車１
を安全に走行ライン６に沿つて走行させることが
できる。尚、次の画素データ群も正しくなかつた
時には、CPU１１は現位置より前方の走行デー
タはないとして走行を停止するようになつてい
る。

このように、本実施例においてはCCDカメラ
３が撮像したエリア４ａに達する前までに２回新
たなエリア４ａを撮像させその撮像した際の最新
の画素データ群に基づいて無人車１を走行させ、
その最新の走行データが正しくない時には１つ前
の画素データ群に基づく走行データに基づいて無
人車１を走行させるようにしたので、CCDカメ
ラ３が撮像したエリア４ａにおける画素データ群
がなんらかの原因で正しくない場合があつても次
に撮像されるエリア４ａの最新の画像データ群に
基づく走行データが読み出されるまで先の画素デ
ータ群に基づく走行データをそのまま使用でき、
安全に無人車１を走行させることができる。

又、本実施例ではCCDカメラ３が撮像した走
行ライン６の画像９をパターン化したそのパター
ンに対応する走行データを予め用意するようにし
たので、走行経路を決定する画像処理動作が非常
に速く行なえることになる。その結果、その分だ
け無人車１の高速化を図ることができる。

尚、この発明は前記実施例に限定されるもので
はなく、例えば前記実施例ではCCDカメラ３が
撮像したエリア４ａに達する前までに２回新たな
エリア４ａを撮像させるようにしたが、これをさ
らに増加して実施してもよい。この場合、CCD
カメラ３が撮像した画像９の画素データ群が２回
以上連続して正しくなくてもこれを補償すること
ができる。

又、前記実施例ではラインａ〜ｄ上の基点Ｑ１
〜Ｑ４がどの領域Ｂ１〜Ｂ８に属するかに基づい
て走行ライン６をパターン化したが、これを例え
ば第１６図に示すようにエリア４ａを升目状に分
割し、Ｘ軸方向の列において最も走行ライン６が
占める面積が大きいブロツクBa〜Beを求めるよ
うにして走行ライン６をパターン化したり、第１
７図に示すように、前記実施例ではＸ軸方向のラ
インａ〜ｄ上の基点Ｑ１〜Ｑ４を求めたが、これ
をＹ軸方向に基点Ｑ１〜Ｑ５を規定するためのラ
インＬ１〜Ｌ７を設定しＹ軸方向に複数個分割領
域を設定して走行ライン６をパターン化するよう
にして実施してもよい。

さらに、前記実施例ではパターンの判断を画像
９中で選定した選定点を射影変換し、実際のエリ
ア４ａ上に置き代えて基点とし、その時の各基点
の配列を検索するようにしたが、エリア４ａと画
像とは一定の関係を有しているだけのことである
からこれを射影変換することなく画像９中の選定
点の配列を予めパターン化しその選定点の配列パ
ターンに基づいて走行データを決定するようにし
てもよい。又、前記実施例ではパターン化された
走行データに基づいて無人車１を操舵制御した
が、画素データ群から走行経路の関数を求めその
関数に基づいて無人車を操舵制御する操舵制御装
置や、単に画像中の走行ラインの偏位量に基づい
て無人車を操舵制御するようにした操舵制御装置
に応用してもよい。

さらに又、前記実施例では路面４上に走行ライ
ン６を撮像したが、走行ラインを描いたパネル等
を無人車１より上方位置に配設したり、又は天井
に走行ラインを描き、その走行ラインを撮像して
走行するタイプの画像式無人車であつてもよい。
この場合、路面上の走行ラインに比べて走行ライ
ンの汚れが少なく、かつ走行ラインの近くにゴミ
が散乱するいつた虞もなく信頼性の高い走行ライ
ンの撮像が行なえる。

又、前記実施例では撮像装置としてCCDカメ
ラを用いたが、それ以外の撮像装置を用いて実施
してもよく、又、前記実施例ではCCDカメラ３
の画像の画素構成（分解能）は256×256画素であ
つたが、これに限定されるものではなく、例えば
512×512画素、1024×1024画素等、適宜変更して
実施してよいことは勿論である。

発明の効果 以上詳述したように、この発明によれば撮像装
置がなんらかの原因で正確に又は全く走行ライン
を撮ることができない場合でも無人車を安全に走
行させることができる画像式無人車の操舵制御装
置における安全装置として優れた効果を有する。

【図面の簡単な説明】

第１図はこの発明を具体化した無人車の側面
図、第２図は同じく平面図、第３図は安全装置の
電気ブロツク回路図、第４図はCCDカメラが撮
像するエリアを示す図、第５図はCCDカメラが
撮らえた画像を説明するための説明図、第６図は
CCDカメラの撮像回数とそのエリアとの関係を
説明するための図、第７図は作業用メモリの内容
を説明するための図、第８図は画像の座標を説明
するための図、第９図は選定点を実際のエリアに
射影変換した時の各基点を示す図、第１０図は基
点の属する領域を説明するための図、第１１図は
プログラムメモリの内容を説明するための図、第
１２図〜第１５図はありえない走行ラインのパタ
ーンを説明するための図、第１６図及び第１７図
は走行ラインのその他のパターン化の手法を説明
するための図である。 図中、１は無人車、３はCCDカメラ、４は路
面、４ａはエリア、５は照明ランプ、６は走行ラ
イン、９は画像、１０はマイクロコンピユータ、
１１は中央処理装置（CPU）、１２はプログラム
メモリ、１３は作業用メモリ、１４はタイマ、１
６はＡ／Ｄ変換器、１８は２値化レベルコントロ
ーラ、２０はドライブコントローラ、２１は操舵
機構、Ｑ１〜Ｑ４は基点である。

Claims (1)

1. 【特許請求の範囲】 １ 無人車に搭載され走行しながら同無人車の走
   行経路を指示する走行ラインを撮像する撮像装置
   と、 前記撮像装置が先に撮像した撮像位置に無人車
   が達するまでに少なくとも２回前記撮像装置にて
   新たな撮像位置を撮像させるために同撮像装置を
   制御する撮像制御手段と、 前記撮像装置が撮像した画像の各画素信号を前
   記走行ラインか否かを判別し符号化して画素デー
   タとする判別手段と、 前記判別手段が判別した撮像装置が撮像した画
   像の画素データ群を予め割り当てられた記憶領域
   に記憶する記憶手段と、 前記記憶手段に新たに記憶された最新の画像の
   画素データ群に基づいて走行経路を割り出す割り
   出し手段と、 前記割り出し手段が最新の画像の画素データ群
   に基づいて最新の走行経路を割り出しとき、その
   割り出した最新の走行経路のデータに基づいて操
   舵機構を作動させる第１の操舵制御手段と、 前記割り出し手段が最新の画像の画素データ群
   に基づいて最新の走行経路を割り出すことができ
   なかつたとき、割り出し手段が先に割り出した走
   行経路のデータに基づいて引き続き操舵機構を作
   動させる第２の操舵制御手段と からなる画像式無人車の操舵制御装置における安
   全装置。