JPH0410079A - カラー画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、自動車の自律走行に必要とされる走行路判別
の技術等に応用されるカラー画像処理装置およびその処
理方法に関するものである。

〔従来の技術〕

従来、走行路領域を抽出する手法は、そのほとんどがモ
ノクロ画像によるエツジ検出に基づくものであり、カラ
ー画像に基づいてこの種の走行路判別を行う技術は、は
とんど提供されていない。

また、デジタル値化されたカラー画像情報を取り扱うと
きには、ＲＧＢデータ（三原色情報−Ｒ赤、Ｇ；緑、Ｂ
；青）以外に、明度Ｉ　（色の明るさの程度）、彩度Ｓ
（色のあざやかさの程度）。

色相Ｈ（色の種類に関する分類を示す値）などが特徴量
として使用される場合が多い。これら明度！、彩度Ｓお
よび色相Ｈの特徴量は、ＲＧＢデータを所定の変換式に
代入することにより、求められる。従来、このＲＧＢデ
ータからＩＳＨデータへの変換処理は、画像処理におい
てＩＳＨデータが必要になる度毎に行われていた。つま
り、ＩＳＨデータが必要になった際には、ＣＰＵは、Ｒ
データが記憶された２画像メモリ、Ｇデータが記憶され
た６画像メモリおよびＢデータが記憶された８画像メモ
リにアクセスし、ＲＧＢデータを収集する。そして、Ｃ
ＰＵはこのＲＧＢデータを基にした所定の変換処理を行
うことにより、必要とするＩＳＨデータを演算していた
。

また、従来の走行路領域の判別は、モノクロ画像による
エツジ検出により走行路に描かれた白線やランドマーク
を検知し、この白線やランドマークに基づいて行われて
いた。

また、限定された走行コースではなく、一般環境の道路
を自律走行車が走行する場合には、様々な路面状況が考
えられる。特に、走行コースの周囲に種々の立体物が存
在する場合には、路面上には影が出来る。路面上に影が
存在する場合には走行路領域は−様な色にはならない。

このため、画像処理により走行路領域を抽出するには、
走行路領域にある影を考慮して行わなければならない。

従来、この影を認識するため、走行コースの路面状況を
限定し、この限定時における日向部分や影部分の色の分
布を予め計測しておいて走行路領域を抽出する手法が一
部の研究において行われている。この手法は、計測した
各部分の色の分布をコンピュータに保存しておき、実際
の画像を取り入れた時に、保存しておいた色の分布を読
み出して入力画像の色の分布と比較して走行路領域を判
断するものである。

また、走行路領域を判別するため、画像分割した各領域
にラベル付けを行い、各領域を区分する必要がある。こ
のラベリング処理は、２値画像内の対象領域の面積や重
心を計算するために必要不可欠なものとなっている。従
来、提案されてきたラベリングアルゴリズムとしては、
ラスク走査型、ランコート型、境界追跡型に大別できる
。しかし、ハードウェア化（高速化）に際してはそのリ
アルタイム処理の可能性や回路規模、実現の容易性等か
らラスク走査型が一般的に用いられている。この走査は
、まず、１回目の走査で仮ラベルを割り付けながら異な
った値を持つ仮ラベル同士の連結を示す情報を保持し、
次いでその統合情報を解析することにより、対象領域と
１対１で対応した最終ラベルを得る。最後に、１回目の
走査で得られた仮ラベル画像を再度走査し、仮ラベルを
最終ラベルで置き換えることによりラベリングが実行さ
れる。

また、与えられた画像を領域分割手法によって分割する
と画像領域は過分割される。このため、過分割された各
領域の色や、各領域の周囲領域との連結具合に基づき、
過分割された各領域の併合処理を行う。すなわち、分割
領域の個々にラベル付けをした後、各ラベル間の連結関
係を記述する。

そして、この記述に基づき、併合される領域のラベルを
併合する領域のラベルに書き替えるラベルの付は替え操
作を実行する。ラベルの付は替えは、画像を走査して併
合される対象の領域の画素ならばラベル値すなわち画素
値を変更することにより行われる。

また、従来、画像分割領域から道路端や走行コースを求
める場合には、得られた走行コース領域と背景領域との
境界を追跡して境界線に対応する点列群を求めていた。

つまり、走行領域の境界部に位置する画素をこの境界に
沿って一つ一つ追跡し、この追跡の跡を点列群とし、こ
の点列群に基づいて道路端を判断していた。

〔発明が解決しようとする課題〕

カラー画像を用いてこのような画像処理を行うことは、
モノクロ画像を用いて処理を行う場合に比較してコスト
が高くなり、産業分野におけるカラー画像処理の事例は
少ない。

また、上記従来のＲＧＢデータからＩＨＳデータへの変
換処理は、画像処理においてＩＨＳデータが必要になる
度毎に行われていたため、処理に時間を要していた。特
にＲＧＢデータから色相データＨへの変換処理には非常
に時間がかかり、例えば、ワークステーション（Ｓ　ｕ
　ｎ　３）であってもこの変換処理には約１分の時間を
要していた。

このため、リアルタイム処理が必要とされる自動車の自
律走行等における画像処理においては、演算処理に時間
がかかり、十分な走行制御を行うことが出来なかった。

また、上記従来のモノクロ画像におけるエツジ検出を用
いた手法は、走行路上に描かれた白線やランドマークを
追跡することによって走行コースを認識するため、走行
路上に必ず白線やランドマークを必要とする。また、カ
メラで撮像した画像を処理した結果、走行路を照射する
光源の状態や不明瞭な白線などが原因になり、検出した
エツジが途切れている場合があり、このような場合には
走行路領域を検出することが困難である。

また、走行路上にゴミがあったり、影が出来ている場合
には、白線やランドマークを誤検知してしまい、正確な
走行路情報が得られない場合がある。また、走行路領域
と背景領域との境界が草や土で区分されている場合には
、境界部分に相当するエツジの変化が小さく、境界の認
識が困難である。また、天候や太陽の位置により、時々
刻々と走行路の明るさが変化する場合、走行路領域と背
景領域との領域区分のためのしきい値を固定したものと
すると正しい走行路領域を求めることが出来なくなる。

また、上述したように、一般の道路ではその走行時の天
候、太陽の位置や雲の動きなどによって路面上の明るさ
の分布は時々刻々と変化している。

このため、予め色の分布を計測しておいてこれを入力画
像と比較判断する従来手法では、この比較判断処理は上
記の明るさの変化に追従することが出来ず、影の部分を
必ずしも抽出できるとは限らない。また、舗装工事など
で道路の一部が変色している場合、この変色の度合いに
よっては画像処理によって変色部分の道路領域が抽出さ
れない場合がある。

本発明は一般道路であっても適確に影や変色部分を抽出
することができる画像処理方法を提供することを目的と
する。

また、今までのラベリング処理の対象とする画像は全て
２値画像であり、多値画像に対してはラベリングを行う
ことか出来なかった。また、ラスク走査型は、１回の走
査では対象領域と１対１で対応したラベルを付けること
が出来ない。また、１次ラベリングと２次ラベリングに
ついては比較的簡単にハードウェア化を行うことが出来
るが、統合情報の解析、つまり、統合処理についてはハ
ードウェア化が困難である。そして、ラスク走査型のア
ルゴリズムでは仮ラベル付は時に大量の統合情報が発生
するため、統合処理の負荷が大きく、ラベリング処理全
体で見たときの処理性能は上がらない。

また、従来の領域併合のためのラベル値の付は替え操作
は、画像の全画素について、または、少なくとも併合領
域に外接する長方形内の画素について走査することによ
り行われる。従って、ラベルの付は替え走査に時間を要
し、自動車の自律走行に必要とされる高速処理が困難に
なる。また、処理コストが低減されないという欠点もあ
る。

また、領域境界部の画素を一つ一つ逐次追跡していって
道路端を求める上記従来の方法は、処理に時間がかかる
。そのうえ、複数の領域がある場合には何を基準にして
道路端の判断処理をするかが問題になる。また、走行コ
ース領域と分割領域とがごくわずかに繋がっており、し
がち、この分割領域が走行コースでない場合が画像処理
の結果によっては起こり得る。このような場合に、従来
の領域の境界を逐次追跡していく方法では、実際に走行
コースでない領域の境界も点列として求まってしまう。

この結果、正確な道路端情報を得ることが出来ない。ま
た、得られた点列群が繋がらずに分離したとしていても
、複数の点列群の妥当性を検証する必要があり、処理が
複雑になる。さらには、得られた画像にノイズによる穴
や切れ込みが有る場合には、得られる点列群が清らがで
なくなってしまう。

〔課題を解決するための手段〕

本発明はこのような課題を解消するためになされたもの
で、原画像をＲＧＢ情報として取り込む撮像装置と、撮
像装置に取り込まれたＲＧＢ情報を明度、彩度１色相の
ＩＳＨ情報に変換するＩＳＨ変換部と、ＩＳＨ変換部に
より変換されたＩＳＨ情報のうち明度と彩度に基づいて
対象領域を抽出するカラー処理部と、カラー処理部によ
り抽出された対象領域を構成する各領域にラベル付けを
するラベリング部と、ラベリング部によりラベル付けさ
れた各領域の接続関係を求めて各領域間の併合処理を行
う併合手段と、併合された領域の境界端を求める領域境
界識別手段とを備えて構成されものである。

また、原画像データが記憶される原画像メモリと、原画
像データに含まれるＲＧＢデータのうちのＲデータを記
憶するＲ画像メモリと、Ｇデータを記憶する０画像メモ
リと、Ｂデータを記憶する８画像メモリと、ＲＧＢデー
タから変換された明度データが記憶される第１の記憶素
子と、ＲＧＢデータから変換された彩度データが記憶さ
れる第２の記憶素子と、ＲＧＢデータから変換された色
相データが記憶される第３の記憶素子と、この第３の記
憶素子から出力される色相データを平均化する平均値フ
ィルタとを備えたものである。

また、撮像された原画像データからＲＧＢデータを抽出
し、このＲＧＢデータを明度データと彩度データに変換
し、各データから特徴量ヒストグラムを作成し、このヒ
ストグラムに基づいて領域区分しきい値を設定し、この
しきい値によって原画像を２値化することにより領域分
割して分割画像を作成し、走行路が撮像される画像位置
に想定された所定領域およびその他の領域に２値化され
たテンプレート画像と分割画像との重複度を計算し、重
複度の大きい分割画像に走行路領域が含まれているもの
と判断し、走行路領域を抽出するものである。

また、明度データから抽出した走行路領域より暗い領域
または明るい領域がある場合に、この暗い領域または明
るい領域を特徴量ヒストグラムの形状に基づいて求めた
谷の候補値に基づいて２値化し、この２値化画像と彩度
画像から求めた走行路領域画像とに基づいて暗い領域ま
たは明るい領域を求めるものである。

また、複数の２値入力画像が足し合わされた多値の画像
情報を記憶する入力メモリと、入力メモリに記憶された
各画素に画素値に応じてラベル付けを行うラベリングプ
ロセッサと、ラベリングプロセッサによって付けられた
各画素の出力ラベル値を記憶するラベルメモリとを備え
て構成されたものである。また、ラベルマツチングメモ
リおよびラベルメモリに同時に各素子の情報を書き替え
られるラベリングメモリを採用したものである。

また、ラインバッファメモリを使用して画像の各ランご
とにラベル付けを行うようにしたものである。

また、画像分割されラベル付けされた各領域の画素につ
いてマスクを走査することにより、同一ラベル領域の周
囲長および同一ラベル領域に隣接する領域との間の共通
境界長を求め、周囲長と共通境界長との比率に基づいて
隣接領域間の接続度を求め、この接続度をメモリに記述
して各領域間の繋がりの関係を判断するものである。

また、着目画素の近傍に位置する各画素に位置を示す番
号を付与し、位置番号を列方向および行方向に所定順番
に並べた画素参照テーブルを予め作成し、この画素参照
テーブルに基づいて領域の境界にある画素の近傍の画素
を探索することにより領域の周囲長および隣接領域間と
の共通境界長を求め、周囲長と共通境界長との比率に基
づいて隣接領域間の接続度を求め、この接続度をメモリ
に記述して各領域間の繋がりの関係を判断するものであ
る。

また、所定数の画素を囲むウィンドウを画像分割された
対象領域の水平方向に走査し、ウィンドウ内に存在する
所定画素値を有する画素数を各走査位置ごとに数え、所
定画素値を有する画素数が所定数以下になるウィンドウ
位置が連続して存在するとき、画素数が所定数以下にな
り始めるウィンドウ位置を対象領域の境界と判断し、対
象領域の境界を識別するものである。

〔作用〕 ＲＧＢデータからＩＳＨデータへの変換処理は各記憶素
子にＩＳＨデータを格納する際にのみ行われ、以後は各
記憶素子からＩＳＨデータが直接読み取れる。

また、しきい値によって領域分割された各画像は、テン
プレート画像との重複度が計算されることにより、対象
領域との関係が判明する。

また、対象領域より低輝度の同系色領域は対象領域にで
きた影などの部分に相当するものとして個別に抽出され
、対象領域より高輝度の同系色領域は対象領域に照射さ
れた日向などの部分に相当するものとして個別に抽出さ
れる。

また、ラベリングプロセッサにより多値の入力画像に対
してもラベリングがされる。また、ラベリングメモリは
各レジスタに記憶されている情報を同時に書き替えるこ
とが出来、ラベリング処理時間は短縮され、凹路規模は
縮小される。

また、ラベルの付は替え走査を行わずに分割された各領
域間の併合関係が判断される。

また、対象領域の範囲はウィンドウ内に存在する画素数
を基にして判断される。つまり、この対象領域上をウィ
ンドウを左右に水平走査してウィンドウ内の画素数の変
化を調べることにより、対象領域と背景領域との境界が
識別される。

〔実施例〕

本発明の一実施例によるカラー画像処理装置およびその
処理方法を、自律走行車の走行制御に適用した場合につ
いて以下に説明する。本実施例の装置および方法により
、走行車の走行コースは自動的に認識され、走行車は認
識された走行コースに基づいてステアリングの操舵角や
エンジンへの燃料噴出量などを決定し、自律走行する。

第１図は本実施例によるカラー画像処理装置全体の概略
構成を示すブロック図である。

カラー画像処理装置は、道路情報を撮像するカラーカメ
ラ１０１と、撮像されたＲＧＢ情報を■ＳＨ変換するＩ
ＳＨ変換部１０２と、ＩＳＨ変換された画像情報から道
路候補領域等を抽出するカラー処理部１０３と、カラー
処理された画像についてラベリング処理を施すラベリン
グハード部１０４と、ラベリングされた画像領域につい
て併合処理等を実行するＣＰＵ処理部１０５とに大別さ
れる。ＩＳＨ変換部１０２は、カラーカメラ入力ボード
、ＩＳＨ変換ボードおよびフィルタ等によって構成され
ている。

第２図はこのカラー画像処理装置における画像処理方法
を示す概略のフローチャートである。

カラーカメラ１０１により道路画像１０６がＲＧＢ情報
として取り込まれ、ＩＳＨ変換部１０２において明度（
１）、彩度（Ｓ）１色相（Ｈ）の各画像に変換される（
ステップ２０１）。これら各画像を基にしてカラー処理
部１０３において走行コースの基になる道路候補領域が
抽出される（ステップ２０２）。ここで、ＣＰＵのステ
ータスレジスタにある低輝度のしきい値存在フラグがオ
ンしているか否かを判断する（ステップ２０３）。この
フラグは取り込まれた原画像に影や変色部などの低バ度
領域が有るか否かを示すフラグであり、フラグがオンし
ていればカラー処理部１０３において低輝度領域が抽出
される（ステップ２０４）。抽出された道路候補領域お
よび低輝度領域はラベリングハード部１０４においてラ
ベル付けされ、各領域間の接続関係が判断される。

この判断結果に基づき、各領域が併合すべき関係にある
場合にはＣＰＵ処理部１０５にお（＼てマージ（併合）
処理が実行される（ステ・ツブ２０５）。

次に、ＣＰＵのステータスレジスタにある高輝度のしき
い値存在フラグがオンしているか否かを判断する（ステ
ップ２０６）。ステ・ツブ２０３（こおいて低輝度のし
きい値存在フラグがオンしても）ない場合には、直ちに
このステ・ツブ２０６の処理が実行される。この高輝度
のしきい値存在フラグは、取り込まれた原画像に日向や
変色部分などの高輝度領域が有るか否かを示すフラグで
あり、フラグがオンしていればカラー処理部１０３にお
（覆で高輝度領域が抽出される（ステ・ツブ２０７）。

抽出された道路候補領域および高輝度領域はラベリング
ハード部１０４においてラベル付けされ、各領域間の接
続関係が判断される。この判断結果に基づき、各領域が
併合すべき関係にある場合にはＣＰＵ処理部１０５にお
いてマージ（併合）処理が実行される（ステップ２０８
）。

このようにして併合された道路候補領域に基づき、領域
の左右の境界端、つまり、道路端の境界線か点列として
求められる。この点列情報により、今回撮像された原画
像に基づく走行コースが認識される（ステップ２０９）
。この後、ステップ２０１の処理に戻り、自律走行車の
移動に伴って引き続いて得られる画像情報について上記
と同様な処理が繰り返し実行され、自律走行車の走行制
御が実行される。

次に、以上の処理内容について、第１図に示されたカラ
ー処理装置の構成図に基づいてより詳しく説明する。

カラーカメラ１０１は自律走行車の車体に固定して設置
してあり、このカラーカメラ１０１には走行車の前方に
位置する道路画像１０６がＲＧＢ情報として撮像される
。ＩＳＨ変換部１０２の変換処理部１０７には、このＲ
ＧＢ情報が与えられる。この変換処理部１０７において
、後に詳述するＦＲＯＭテーブルを用いたカラー画像の
ＩＳＨ変換処理」が実行され、ＲＧＢの道路画像情報は
明度（１）画像１０８．彩度（Ｓ）画像１０９および色
相（Ｈ）画像１１０の各画像情報に変換される。

明度画像１０８は道路候補領域抽出手段１１１に与えら
れ、後に詳述する「テンプレート画像を用いた繰返しき
い値処理による走行コースの抽出手法」により、明度画
像に基づく道路候補領域画像１１３が抽出される。また
、彩度画像１０９は道路候補領域抽出手段１１２に与え
られ、上記と同様の手法により、彩度画像に基づく道路
候補領域１１４が抽出される。この手法における領域区
分のためのしきい値は、後に詳述する「繰返しきい値処
理における特徴量ヒストグラムの形状に基づくしきい値
設定手段」により決定される。求められた各道路候補領
域画像１．１３，１１４は論理積演算手段１１５に与え
られ、明度および彩度から得られた各道路候補領域の共
通部分が取り出され、カラー情報に基づく新たな道路候
補領域画像１１６になる。

また、明度画像１０８に低輝度領域が存在している場合
には、カラー処理部のステータスレジスタ１１７に有る
低輝度のしきい値存在フラグがオンする。このフラグが
オンしている場合に、低輝度領域抽出手段１１８は明度
画像１０８を取り込む。そして、後に詳述する「明るさ
の違いに注目した走行コースからの影や高輝度部分の抽
出手段」により、低輝度領域を抽出する。抽出された低
輝度領域は低輝度画像１１９になる。この低輝度領域画
像１１９は、論理積演算手段１２０において、彩度画像
１０９から抽出された道路候補領域画像１１４と論理積
が取られ、低輝度領域のうちで道路候補領域と似た彩度
の領域が抽出される。抽出されたこの低輝度領域の画像
情報は、道路候補領域画１象１１６に加えられる。

また、明度画像１０８に高輝度領域が存在している場合
には、カラー処理部のステータスレジスタ１１７にある
高輝度のしきい値存在フラグがオンする。このフラグが
オンしている場合に、高輝度領域抽出手段１２１は明度
画像１０８を取り込む。そして、後に詳述する「明るさ
の違いに注目した走行コースからの影や高輝度部分の抽
出手段」により、高輝度領域を抽出する。抽出された高
輝度領域は高輝度領域画像１２２になる。この高輝度領
域画像１２２は、論理積演算手段１２３において、彩度
画像１０９から抽出された道路候補領域画像１１４と論
理積が取られ、高輝度領域のうちで道路候補領域と似た
彩度の領域が抽出される。

抽出されたこの高輝度領域の画像情報は道路候補領域画
像１１６に加えられる。

上記各手段により、道路候補領域画像１１６には、画素
値１の道路候補領域画像１１３と、画素値２の低輝度領
域画像１１９と、画素値３の高輝度領域画像１２２とが
含まれることになる。

道路候補領域画像１１６はラベリング処理部１２４に与
えられる。ラベリング処理部１２４は与えられた画像の
各領域にラベル付けをし、ラベル画像１２６を作成する
。また、これと同時に、ラベリング処理部１２４は同一
ラベル領域の面積や重心などを演算する。これらの各演
算値はラベリング処理部１２４に対応した演算値１２５
になる。このラベリング処理は、後に詳述する「ラベリ
ング処理装置」によって実行される。

ＣＰＵはラベル画像１２６を小領域除去手段１２７に取
り込む。ここで、ノイズ等によって生じた小領域や地平
線位置より重心が上に位置する領域は、道路領域に該当
するものではないものとし、これら領域は各ラベル画像
の中から除去される。小領域除去手段１２７により、道
路候補領域から小領域が除去されたラベル画像は、新た
なラベル画像１２８になる。また、各領域に付けられた
ラベル毎の演算値１２５の内、小領域除去手段１２７に
よって除去されなかった各領域の特徴量はりスト１に記
一連される。

リスト１に記憶された特徴量１２９．ラベル画像１２８
．道路画像１１６に基づいて、道路候補領域画像の各ラ
ベル領域と低輝度領域画像の各ラベル領域、および道路
候補領域画像の各ラベル領域と高輝度領域画像の各ラベ
ル領域が併合すべき関係にある場合には、領域併合手段
１３０において併合処理が実行され、新たなラベル画像
１３１がメモリ１に記憶される。以上の併合処理は、後
に詳述する「複数の領域の併合手段」により実行される
。

最終的に得られたラベル画像１３１に基づいて道路領域
の左右端の道路位置座標１３２が演算される。この道路
端位置座標１３２に基づき、道路端に相当する点列デー
タ１３３が求まる。この道路端を求める処理は、後に詳
述する「走行可能範囲を求める手段Ｊ、並びに「多様な
形状の走行コースの内部表現手法」により実行される。

この点列データ１３３は、自律走行車の走行制御のため
の画像処理データ統括管理を行うデータ管理部へ送出さ
れ、カラー画像処理が終了する。

次に、カラーカメラで撮像して得られたＲＧＢデータを
、明度Ｉ、彩彩度８免 変換するＦＲＯＭテーブルを用いたカラー画像のＩＳＨ
変換処理」について、第３図を用いて以下に説明する。

まず、カラーカメラから原画像３０１をＲＧＢデータと
して入力する。原画像３０１にはＲＧＢの各データが混
在しているため、ＲＧＢデータの各成分を分離する。そ
して、分離した各ＲＧＢデータをＲ画像メモリ３０２，
０画像メモリ３０３および８画像メモリ３０４の３つの
各画像メモリに各々別個に記憶する。これら各Ｒ，Ｇ，
Ｂ画像メモリ３０２〜３０４は８ビツトの階調を持った
複数の画素値から構成されており、次のようにＩＳＨ変
換される。

まず、８ビツトの各ＲＧＢデータを読み出す際に上位の
６ビツトのみを読みだし、下位２ビツトを切り捨てる。

つまり、上位６ビツトをとることにより、８階調の画素
値を６階調の画素値に近似する。この上位６ビツトによ
る数値は１６進数で００〜３Ｆ　（ｈｅｘ）の間で変化
する（切り捨てた下位２ビツトを考慮すると００〜ＦＣ
　（ｈｅｘ）の間で変化する）。また、この上位６ビツ
トの値を４０（ｈｅｘ）で割った数値をそれぞれＲ，Ｇ
。

Ｂ値とする。これらＲ，Ｇ，Ｂの各位は実数の０から約
１までの範囲で変化する。

Ｒ，Ｇ，Ｂの各位を（Ｒ＋Ｇ＋Ｂ）で割った値をそれぞ
れｒ，ｇ，ｂとすると、Ｒ，Ｇ，Ｂ値からＩ，Ｓ，Ｈ値
への変換は次式に従って行われる。

ここで、ｍｉｎ　（ｒ，ｇ，ｂ）は、ｒ，ｇ，ｂの各特
徴量のうちの最少の値を持つ特徴量の値を示す。

１　　−　　（Ｒ＋Ｇ＋Ｂ）／３　　　　　　　　　　
・・・　（１　）Ｓ＝１　−　　（１／３）　　・　ｍ
ｉｎ　　（ｒ，　　ｇ，　　ｂ）Ｈ＝１／２＋（１／π
）　・ａｒｃｔａ’ｎ　（　（３）　”２（ｇ−ｂ）　
　／　　（２　　ｒ−ｇ−ｂ）　　１この変換はラスク
スキャン順にＲ，Ｇ，Ｂの各画素毎に行われ、変換され
た各１．３，Ｈ値は全て０から１までの値をとる実数と
なる。ＲＯＭ３０５にはＲＧＢから明度Ｉへの変換テー
ブルデータ、ＲＯＭ３０６にはＲＧＢから彩度Ｓへの変
換テーブルデータ、ＲＯＭ３０７にはＲＧＢから色相Ｈ
への変換テーブルデータが記憶されている。

これら各ＲＯＭ’３０５〜３０７はルックアップテーブ
ルとして機能する。また、各ＲＯＭ３０５〜３０７にデ
ータが記憶されるアドレスは、変換前の各Ｒ，Ｇ，Ｂ値
の８ビツトの数値のうち、上位６ビツトの数値によって
定まる。なお、各ＲＯＭ３０５〜３０７の記憶８皿は１
８ビット（ー２５６にバイト）である。

ＲＯＭ３０５，３０６に記憶された各特徴間はＣＰＵか
らの取り込み命令に応じて明度データ３０８、彩度デー
タ３０９として即座に読み出され、必要とされる画像処
理にリアルタイムに供給される。また、ＲＯＭ３０７か
ら読み出された色相データ３１０の特徴間は、さらに、
３×３平均値フイルタ３１１によってノイズが除去され
て平均化される。このため、各画像処理に供される色相
データ３１２は平滑化されたノイズのないデータとなる
。また、読み出された各特徴量データ（明度３０８．彩
度３０９１色相３１０および３１２）は下位２ビツトが
０で、上位６ビツトが有効な８ビツトの近似データであ
る。

次に、本アルゴリズムを用いたＩＳＨ変換処理例につい
て、本アルゴリズムを用いないＩＳＨ変換処理例と比較
しつつ、第４図〜第７図を参照して説明する。

各図の（ａ）はカラーカメラに撮像された原画像の概略
である。つまり、第４図（ａ）は走行路が遠方でカーブ
する情景を示し、走行路の片側にはガードレールが設置
されており、このガードレールの遠方には樹木が生い茂
っている。第５図（ａ）は走行路端が雑草等によって区
画されている走行路を示し、遠方には住居や樹木等があ
る情景になっている。第６図（ａ）は夜間の高速道路に
おける走行路を示し、路面は月明りおよび照明燈によっ
てわすかな光が照らされている情景になっている。第７
図（ａ）は天気の良い日中の走行路を示し、走行路上に
はブロック塀の中にある樹木による影ができている情景
になηている。

また、第４図から第７図の各図の（ｂ−１）および（ｂ
−２）は明度Ｉを特徴間とするヒストグラム、各図の（
ｃ−１）および（ｃ−２）は彩度Ｓを特徴間とするヒス
トグラム、各図の（ｄ−１）および（ｄ−２）は３×３
平均値フイルタ３１１にかける前の色相Ｈ′を特徴間と
するヒストグラム、各図の（ｅ−１）および（ｅ−２）
は３×３平均値フイルタ３１１にかけた後の色相Ｈを特
徴間とするヒストグラムである。

各ヒストグラムの縦軸は各特徴間の画素数を示し、全画
面の１／４を最大としている。また、各ヒストグラムの
横軸は明度Ｉ、彩度８１色相Ｈ′Ｈの各特徴間の度合い
を示す。この各特徴間の度合いは原点から遠ざかる程強
まるように表示されており、０〜Ｆ　Ｆ　（ｈ　ｅ　ｘ
）の各数値に割り当てられた各特徴間の度合いを６４分
割して表示しである。また、原画像の画素数は５１２Ｘ
５１２より若干少なくなっている。これは画像周辺部に
はＲ，Ｇ、Ｂの各データが全て０の部分があるためであ
り、各ヒストグラムはこの部分を含んだデータ値により
表されているからである。

また、各図の（ｂ−１）、　　（ｃ−１）、　　（ｄ　
−１）、（ｅ−１）は従来手法に基づいて得られたヒス
トグラムであり、各画像メモリにＣＰＵが直接アクセス
し、Ｒ，Ｇ、Ｂデータを変換式に従ってＩ、Ｓ、Ｈデー
タに変換することにより得られたものである。これに対
して各図の（ｂ−２）。

（ｃ−２）、　　（ｄ−２）、　　（ｅ−２）は本実施
例の手法によるアルゴリズムに基づいて得られたヒスト
グラムであり、ＲＯＭに６ビツト階調のＲＧＢデータか
らＩ、Ｓ、Ｈの各特徴間への変換テーブルを記憶し、こ
れを読み出すことにより得られたものである。

第４図〜第７図の各（ｂ−１）、（ｂ−２）および各（
ｃ−１）、　　（ｃ−２）に示されるように、明度Ｉお
よび彩度Ｓについては、本手法によるヒストグラム分布
と従来手法によるヒストグラム分布とには大差がないこ
とが分かる。このことは、ＲＧＢデータをＩＳＨデータ
に変換する本手法による機能は、従来手法による変換・
機能に比較して劣る面がないことを示している。一方、
各図の（ｄ−１）、（ｄ−２）に示される３Ｘ３平均値
フイルタ３１１にかける前の特徴間である色相Ｈ′のヒ
ストグラム分布は、従来手法と本手法とでは全体的な傾
向が変わっている。これは本例に用いたような画像では
、ＲＧＢデータから色相Ｈへ変換する式の中の（ｇ−ｂ
）および（２ｒ−ｇ−ｂ＞の値はＯ付近の極めて限定さ
れた値しか取らないため、本手法によるデータの６ビツ
トへの圧縮により情報が極端に離散化してしまったこと
に起因する。

しかし、この色相Ｈ′を３×３平均値フイルタ３１１に
かけることにより得られるヒストグラム分布は、各図の
（ｅ−１）、　　（ｅ−２）に示されるように、従来手
法による分布に十分対応するものになっている。色相デ
ータの計算値はＲＧＢデータの小さな雑音によって容易
に変化する不安定な値であり、また、色相の画像には非
常に大きなノイズがある。このため、本手法のように、
色相変換の計算値結果について何等かの平滑化を行うこ
とは妥当な処理であり、この平滑化を行うことにより特
徴量を６ビツトに圧縮して処理しても同等問題は生じな
いことが理解される。なお、色相の計算値は雑音によっ
て容易に変化する不安定な値であるからこそ、色相Ｈ′
のデータを平均値フィルタに通すことにより、従来手法
によるヒストグラム分布と同様な分布が得られた。

このように、ＲＯＭ３０５〜３０７をルックアップテー
ブルとして用いてＩ、Ｓ、Ｈの各特徴量を予め変換処理
することにより、従来のように処理が必要とされる度毎
に各画像メモリにＣＰＵがアクセスして演算する必要は
無くなる。この結果、本実施例によるデータ変換の際の
演算処理速度はビデオレートで高速に実行することが可
能となり、処理速度が向上する。また、上述のＲ，Ｇ、
ＢデータからＩ、Ｓ、Ｈデータへの変換式が変わっても
、同一のハードウェアによって対処することが可能であ
る。つまり、この変換式の変更が与える影響は、ＲＯＭ
３０５〜３０７の記憶内容の変化だけである。このため
、ハードウェアは変換式の変更によっては変化しない。

また、Ｒ，Ｇ、Ｂの各画素値を６ビツトに圧縮したため
、ハードウェアの量を小さくすることが可能になる。さ
らに、ルックアップテーブルから色相Ｈを読み出す際に
３×３平均値フイルタ３１１を通すことにより、データ
を６ビツトに圧縮したことによる悪影響、例えば、ヒス
トグラムの離散化等を防ぐことができる。

次に、「繰返しきい値処理における特徴量ヒストグラム
の形状に基づくしきい値設定手段」について説明する。

この手段は走行路領域を抽出するカラー画像処理の前処
理として行われる。

第８図はこの処理過程の概略を示すフローチャートであ
り、走行車両に設置されたカラーカメラから得られた原
画像データのコントラストが低い場合における処理を示
す。

まず、カメラから得られた原画像のＲＧＢデジタル画像
データを基にして色の特徴量（明度または彩度）に対す
る頻度を表すヒストグラムを作成する。このヒストグラ
ムの横軸は色の特徴量（明度または彩度）、縦軸は特徴
量の頻度に設定する。

このヒストグラムは原画像のコントラストが低いため、
ヒストグラムの原点側に偏って分布する。

また、コントラストの低い画像はモードが単峰形になり
易く、明確な谷が発生しない。このため、−膜内には各
画素値について所定の演算を行って画像強調を行った後
にヒストグラムを作成するのであるが、本手法の場合に
は、ヒストグラムのデータ上でこのヒストグラムを横軸
方向に単に引き伸ばすことにより、画像強調を行う（ス
テップ８０１）。

そして、強調されたヒストグラムの左端処理（ステップ
８０２）、および右端処理（ステップ８０３）を実行す
る。次に、ヒストグラムの頻度の分布状態から特徴量に
対する頻度の大きい仮の頂上（ピーク）、および特徴量
に対する頻度の小さい仮の谷をピーク・谷テーブル上に
設定する（ステップ８０４）。求まった仮の谷の頻度に
基づいて谷の評価をこのテーブル上で行う（ステップ８
０５）。さらに、この谷に隣接するピークに基づいて再
度谷の評価をテーブル上で行う（ステップ８０６）。最
後に、評価されたピーク・谷テーブルの平滑化を行い、
ピークと谷の相対関係から領域区分の対象領域とこの背
景領域との区分に有効な谷を抽出する（ステップ８０７
）。

一方、上記の処理に並行してステップ８０１で作成され
たヒストグラムに対して大津の判別分析法を適用し、こ
の判別分析法による領域区分しきい値を得る。そして、
得られたしきい値とステッブ８０７で抽出された谷の位
置とを比較し、しきい値の近傍に位置する谷の頻度を真
のしきい値とし、大津の判別分析法によるしきい値を補
正する。

次に、各処理の詳細について以下に説明する。

ステップ８０４における仮のピークおよび仮の谷の設定
は次のように行われる。つまり、特徴量に対する頻度の
分布状態を基にして仮のピークおよび谷を判断する。具
体的には、ヒストグラム上の着目点の左右の隣接点の頻
度により、ピークおよび谷の状態は第９図（ａ）〜（ｆ
）に図示される６通りの状態に分けられる。ここで、ヒ
ストグラム上の着目点をｈｌ　　（添字のｉはヒストグ
ラムの横軸に添ってＮ個の点を均等に割り振った時の任
意の１点を意味し、０〜Ｎ−１の値とする）、着目点ｈ
１より特徴量が小さい隣接点をｈ　ｊ−１、着目点ｈ１
より特徴量が大きい隣接点をｈ　Ｉｌｌとする。また、
着目点ｈ＋と隣接点ｈ　ｊ−１との各頻度の差をピッチ
ｐｉｆ　（ｐｉｌ−ｈｌ　−ｈｉ−１）　、隣接点ｈ　
１４１と着目点ｈ１との各頻度の差をピッチｐ　１２　
（ｐ　Ｉ２−　ｈ　ｉ＋１−　ｈ　ｉ　）とする。

ｉ−１〜Ｎ−２の範囲（ヒストグラムの両端点は除く）
において、ピーク・谷テーブル値ｐｋ１＋を以下のよう
に設定する。すなわち、ｐｉｆの符号とｐＨ２の符号が
異なる時、 （１）　　ｐｊ１≧０、゛かつ、ｐＩ２≦０ならば、テ
ーブル値ｐｋｔｉ　−１ （２）　　ｐＨ≦０、かつ、ｐ１２≧０ならば、テーブ
ル値ｐｋｔｌ−−１ 第９図（ａ）は、ｐＨ＞０、かつ、ｐ　Ｉ２−０の状態
であり、従ってテーブル値ｐｋｔ＋−１である。同図（
ｂ）は、ｐ　ｉｌ＞　０、かつ、ｐ　１２＜　Ｏの状態
であり、従ってテーブル値ｐｋｔ！　−１である。同図
（ｃ）は、ｐｉｔ−０、かつ、ｐ　Ｉ２＜　Ｏの状態で
あり、従ってテーブル値ｐｋｔｉ−１である。同図（ｄ
）は、ｐｌｌ＜　０、かつ、ｐＨ２−０の状態であり、
従ってテーブル値ｐｋｔｉ＝−１である。同図（ｅ）は
、ｐ　ｉｌ＜　０、かつ、ｐ１２＞　０の状態てあり、
従ってテーブル値ｐｋｔｊ−−１である。同図（ｆ）は
、ｐｉｌ−０、かつ、ｐ１２〉０の状態であり、従って
テーブル値ｐｋｔ１−−１である。

このようにして隣接する各点の相対的な各頻度の関係か
ら、同図（ａ）、（ｂ）、（ｃ）の状態はｐｋｔｉ＝１
であると演算され、着目点ｈｉは仮のピークと判断され
る。同図（ｄ）、（ｅ）。

（ｆ）の状態はｐｋｔｉ−−１であると演算され、着目
点ｈｉは仮の谷と判断される。

また、ステップ８０５における頻度による谷の評価処理
は次のように行われる。つまり、ｉ−１〜Ｎ　−２にお
いて着目点ｈ１が仮のピークであるとき（ｐｋｔｉ＝１
）、 （１）隣接点ｈｊと着目点ｈ１との比が０．１より小さ
い（ｈｊ　／ｈｉ　＜０．１）隣接点ｈｊが着目点ｈｉ
の左側にあるならば、隣接点ｈｊに対応するテーブル値
ｐｋ　ｔｊを−１にする（ｐｋｔｊ＝−１）。

（２）隣接点ｈＩ１１と着目点ｈｉとの比が０．１より
小さい（ｈｍ　／ｈ＋　＜０．１）隣接点ｈｍが着目点
ｈ１の右側にあるならば、隣接点ｈｌＯに対応するテー
ブル値ｐｋｔＩＩｌを−１にする（ｐｋｔ　Ｉｌｌ　−
−１）　　。

また、ステップ８０６における隣接ピークに基づく谷の
評価処理は次のように行われる。

ｉ−０〜Ｎ−１において、 （１）着目点ｈｉが仮の谷の時（ｐｋｔｌ　−−１）、 ■谷の左側の仮のピーク（隣接点ｈｋ、テーブル値ｐｋ
ｔｋ−１）をｔｏｐＬと呼ぶことにする。

■谷の右側の仮のピーク（隣接点ｈｊ、テーブル値ｐｋ
　ｔｊ−１）をｔｏｐＲと呼ぶことにする。

（２）着目点ｈ＋にｔ　ｏｐＬおよびｔｏｐＲが共に存
在する時、 ■着目点ｈ＋　とｔｏｐＬとの比ｇ　（ρ−ｈｌ／１ｏ
ｐＬ）が着目点ｈｉとｔｏｐＲとの比ｒ（ｒ−ｈｊ／１
ｏｐＲ）より小さければ（Ω＜ｒ）、テーブル値ｐｋ　
ｔｊに１を加算する。

■比ρ　（ｈｊ／１ｏｐＬ）が比ｒ（ｈｉ／１ｏｐＲ）
より大きければ（ｇ≧ｒ）、テーブル値ｐｋ　ｔｋに１
を加算する。

（３）　　着目点ｈｉにｔｏｐＬおよびｔｏｐＲが共に
存在し、かつ、比Ωく屹　５、または比ｒく０，５なら
ば、着目点ｈ１に対応するテーブル値ｐｋ　ｔｉから１
を減じる。

（４）　　上記の（３）以外の場合には、テーブル値ｐ
ｋ　ｔｉを−４に書き替える。

（５）　　谷の右側にのみ仮のピークｔｏｐＲが存在す
る時、比ｒ＜０．５ならば、テーブル値ｐｋ　ｔｉから
１を減じる。

（６）　　谷の左側にのみ仮のピークｔ　ｏｐＬが存在
する時、比Ωく０．５ならば、隣接点ｈｊに対応するテ
ーブル値ｐｋ　ｔｊから１を減じる。

また、ステップ８０７におけるピーク・谷テーブルの平
滑化処理、つまり、ピーク・谷テーブルｐｋｔにおいて
、求まった谷どうしの距離が十分に近い場合には平滑化
処理が次のように行われる。

ｉｗｌ〜Ｎ−１において、着目点ｈｉに対応するテーブ
ル値ｐｋｔｌが−２であり、この谷の右側に位置する谷
のテーブル値ｐｋ　ｔｊも−２であり、しかも、これら
谷どうしの距離（ｊ−ｉ）が所定のしきい値よりも小さ
い時、 （＋）　　着目点ｈｉの頻度の方か隣接点ｈｊの頻度よ
りも大きければ（ｈｉ　＞ｈｊ　）　、テーブル値ｐｋ
ｔｉを０にする（ｐｋｔｉ−０）。

（２）　　着目点ｈｉの頻度の方が隣接点ｈｊの頻度よ
りも小さければ（ｈｉ　≦ｈｊ）、右側に位置する谷の
テーブル値ｐｋ　ｔｊをＯにする（ｐｋｔｊ＝０）。

次に、上記方法を用いた具体的な例について以下に説明
する。

例えば、第１０図（ａ）に示される特徴量ヒストグラム
が得られた場合を想定する。同図の横軸は明度または彩
度の色の特徴量であり、縦軸はその特徴量の画像におけ
る頻度である。このヒストグラムについて第８図に示さ
れた処理を行うと、同図（ｂ）に示されるピーク・谷テ
ーブルｐｋｔのテーブル値は、同図（ｂ）の一番人側の
列に記された１〜８の番号に沿って以下のように推移す
る。この推移の結果、再下段に示された数値が最終のテ
ーブル値として求まる。なお、同図（ｂ）の各テーブル
値が記載されている位置は、同図（ａ）のヒストグラム
の各特徴１Ａ−Ｌに対応している。つまり、記載された
各テーブル値は、点線で示されるように、その記載され
た位置の上方の特徴量に対応している。

まず、特徴量ヒストグラムの左端処理および右端処理を
実行しくステップ８０２，８０３）　、引き続いて仮ピ
ークおよび仮の谷を設定する（ステップ８０４）。この
設定は前述のステップ８０４の処理に従って行われ、こ
の結果得られる各テーブル値は番号１のテーブルに示さ
れるものとなる。

次に、頻度による谷の評価（ステップ８０５）および隣
接ピークに基づく谷の評価（ステップ８０６）を、前述
の処理に従って行う。

特徴量がＡの谷の場合には谷の右側にｔｏｐＲのみが存
在し、また、特徴ｆｆ１Ａにおける頻度と谷の右側の仮
のピークの頻度との比ｒは０．５以下である（ｈｉ　／
ｌ　ｏｐＲ＜０．５）。このため、特徴１１Ａに対応す
るテーブル値から１を減じ、この結果、テーブル値は−
２になってテーブルは番号２に示されるテーブルに推移
する。

また、特徴量かＤの谷の場合には、この谷の両側にｔ　
ｏｐＬおよびｔｏｐＲが共に存在する。しかも、この谷
の頻度と左側の仮のピークの頻度との比ｐは０．５以下
である（ｈｉ／１ｏｐＬ＜０．５）。従って、特徴量り
に対応するテーブル値ｐｋ　ｔｉから１を減じ、この結
果、テーブル値は−２になる。また、特徴量がＤの谷の
両側の仮の各ピーク値の頻度と谷の頻度との６比Ωおよ
び比ｒは、比ｒの方が大きい（Ｎｏｒ）。従って、谷の
右側に位置する仮のピーク（特徴ｆｆ１Ｅ）のテーブル
値ｐｋ　ｔｊに１を加算することにより、テーブル値は
２になる。この結果、ピーク・谷テーブルは番号３に示
されるテーブルになる。

また、特徴量がＦの谷の両側には共にｔｏｐＬおよびｔ
ｏｐＲが存在し、比Ωまたは比ｒの一方は０．５より小
さい（Ω、ｒ＜０．５）。従って、特徴ｆｆ１Ｆに対応
するテーブル値ｐｋ　ｔｌから１を減じ、テーブル値を
−２にする。また、比ｇは比「より大きい（Ω≧「）。

従って、谷の左側に位置する仮のピーク（特徴ｆｆ１Ｅ
）のテーブル値ｐｋｔｋに１を加算し、テーブル値を３
にする。

この結果、テーブルは番号４に示されるテーブルに推移
する。

また、特徴量がＨの谷の両側には共にｔｏｐＬおよびｔ
ｏｐＲが存在し、比Ωまたは比ｒの一方が０．５より大
きい（Ｎ、ｒ≧０．５）。従って、特徴量Ｈに対応する
テーブル値ｐｋｔｉを−４に書き替える。また、比ρは
比ｒよりも小さい（ｇ＜ｆ）。従って、谷の右側の仮の
ピーク（特徴量Ｉ）に対応するテーブル値ｐｋ　ｔｊに
１を加える。

この結果、特徴ｍｌに対応するテーブル値は２になり、
テーブルは番号５に示されるテーブルに推移する。

また、特徴ｆｆ１Ｊの谷の両側には共にｔ　ｏｐＬおよ
びｔｏｐＲが存在し、比「は０．５より小さい（ｒ＜０
．５）。従って、この谷に対応するテーブル値ｐｋ　ｔ
ｌから１を減じる。また、比ｇは比ｒより大きい（Ω≧
ｒ）。従って、谷の左側に位置する仮のピーク（特徴量
りに対応するテーブル値ｐｋｔｋに１を加算し、テーブ
ル値を３にする。この結果、テーブルは番号６に示され
る一テーブルに推移する。

また、特徴ｍＬの谷は谷の左側にｔｏｐＬのみが存在し
、ｌｔ　Ｎは０．５より小さい（１）　＜０．５）。従
って、この谷に対応するテーブル値ｐｋ　ｔｊから１を
減じる。この結果、テーブル値は−２になり、テーブル
は番号７に示されるテーブルに推移する。

次に、このようにして得られた番号７のピーク・谷テー
ブルｐｋｔについてデータの平滑化を前述のように行う
（ステップ８０７）。つまり、特徴ｉＤの谷ｈ＋　とこ
の右側に位置する特徴ｉＦの谷ｈｊとの距離は所定のし
きい値より小さく、かつ、６谷のテーブル値は−２であ
る。さらに、特徴量Ｆの谷の頻度は特徴量りの谷の頻度
より大きい（ｈｆ≦ｈｊ）。従って、特徴量Ｆの谷に対
応するテーブル値ｐｋｔｊを０にする。この結果、テー
ブルは最終的に第１０図（ｂ）の最下段に示されるテー
ブルになる。

この最終的なテーブルのうち、特徴ｆｆ１Ａ、Ｄ。

Ｈ，Ｊ、Ｌに対応するヒストグラム上の各点が谷として
求まるが、ヒストグラムの両端にある谷ＡＬは対象には
ならず、また、テーブル値が−４の谷（特徴Ｍ　Ｈ）も
対象にはならない。すなわち、データ画像を対象領域と
背景領域とに区分するのに有効な谷は、テーブル値−２
が二重丸で囲まれた特徴ｆｆ１ＤおよびＪに対応する谷
である。これら谷のうち、第１０図（ａ）のヒストグラ
ムに大津の判別分析法を適用して得られた領域区分しき
い値に近い谷の頻度が真の領域区分しきい値になる。

このように大津の判別分析法のあいまいな結果が補正さ
れることにより、誤差が少なく確度の高い走行路判別を
行うことが可能になる。

次に、［テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」について説明する。なお、
以下の説明では、自律走行車が草や土等で区切られたコ
ースを走行することを前提にし、走行路領域を抽出する
場合について述べることにする。

第１１図は走行路認識のアルゴリズムの概要を表すフロ
ーチャートである。

まず、走行車に搭載されたカラーＣＣＤカメラにより、
走行路の情景を撮像する（ステップ１１０１）。そして
、撮像されたＲＧＢのカラー画像信号をカラーカメラ入
力装置に取り込み、取り込んだＲＧＢ原画像データを前
述のようにＩＳＨデータに変換する（ステップ１１０２
）。ＩＳＨデータに変換された特徴量画像に基づき、前
述のように各特徴量とその画素数との特性を表すヒスト
グラムをカラー画像処理装置で作成する（ステップ１１
０３）。

次に、作成したヒストグラムに基づき、しきい値処理を
繰り返し適用して走行路を２値化画像として抽出する。

このように抽出された画像はノイズや細かく分断された
領域を有するので、次の処理を実行する。つまり、後に
詳述するラベリング装置によって各領域にラベルを付け
る（ステップ１１０４）。そして、ラベル付けされた各
領域の面積と重心とを計測し、カメラの取り付は位置か
ら計算される地平線位置より重心が上の領域、および面
積が小さい領域を除去する（ステップ１１０５）。

次に、カラー画像処理装置において最初に抽出された走
行路画像に基づいて、走行路領域より明るさが暗い領域
および明るい領域を求め、これらの領域を併合し、また
、各領域どうしの関係を記述する（ステップ１１０６）
。この領域併合および領域関係の記述を基にして走行可
能範囲、つまり、道路端を検出し、画像取り込み時刻を
この走行可能範囲情報に付与する。そして、走行可能範
囲情報を画像処理装置を構成するデータ管理部へ伝送す
る（ステップ１１０７）。この後、ステップ１１０２に
戻って以上の処理を繰り返す。

第１２図は走行路領域を抽出する処理の詳細を表すブロ
ック図である。

まず、撮像された原画像のＲＧＢデータから明度データ
Ｉおよび彩度データＳを求め、各データを特徴量画像と
して画像メモリに記憶する（ブロック１２０１）。次に
、画像メモリに記憶された明度データエを基にして明度
を特徴量とするヒストグラムを作成する（ブロック１２
０２）。このヒストグラムの横軸となる特徴量の分割数
は４０ポイントであり、このポイント数は大局的に走行
路の抽出を行うのには十分な大きさである。次に、作成
したヒストグラムを正規化する（ブロック１２０３）。

そして、正規化されたヒストグラムについて周知の大津
の判別分析法を適用し、走行路領域と背景領域とを区分
するためのしきい値を計算する（ブロック１２０４）。

一方、作成したヒストグラムの形状に基づいて特徴量の
画素数が多いピーク、および特徴量の画素数が少ない谷
を前述のように求め、ピークと谷の一覧表であるピーク
・谷テーブルを作成する（ブロック１２０５）。各ピー
クおよび谷における各特徴量の値をしきい値処理のため
の候補値とする。

ブロック１２０４で求めた大津の判別分析法によるしき
い値には誤差が含まれる場合があるため、ブロック１２
０５で求めたしきい値処理のための候補値により、大津
の判別分析法によるしきい値を補正する。つまり、ブロ
ック１２０４で求めたしきい値とブロック１２０５で求
めた候補値とを比較し、ブロック１２０４のしきい値に
最も近いブロック１２０５の候補値を走行路領域と背景
領域とを区分するためのしきい値とする（ブロック１２
０６）。次に、このしきい値により明度画像を２値化す
る（ブロック１２０７）。

明度画像は５１２Ｘ５１２個の画素によって構成されて
おり、Ｉ（ｉ、ｊ）として表現される。

ここで、ｉ＋　　Ｊは条件式Ｏ≦ｉ＋　　Ｊ≦５１１を
満足する整数である。また、ブロック１２０６で求まっ
たしきい値をＸＩ、領域分割の対象となる特徴量範囲の
最少の特徴量の値をしきい値ＸＯ１最大の特徴量の値を
しきい値Ｘ２とする。なお、しきい値ＸＯおよびＸ２の
各初期値は０およびＦＦ（ｈ　ｅ　ｘ）である。ここで
、明度画像１　（ｉ、ｊ）が次の条件式を満足する場合
には、メモリＭ１ｃｔ、ｊ）にＦ　Ｆ　（ｈ　ｅ　ｘ）
を書き込む（ブロック１２０８）。

ＸＯ≦Ｉ　　（ｉ、ｊ）＜ＸＩ また、明度画像１　　（ｉ、ｊ）が次の条件式を満足す
る場合には、メモリＭ２（ｉ、ｊ）にＦＦ（ｈｅｘ）を
書き込む（ブロック１２０９）。

Ｘ１≦ｌ　　（ｉ、ｊ）＜Ｘ２ 次に、ＲＯＭに記憶されたテンプレート画像を読み出す
（ブロック１２１０）。このテンプレート画像内には最
も安定した走行路情報が得られるようにテンプレート領
域が設定されている。この領域設定は自律走行車に取り
付けられたカラーカメラの俯角１画角、焦点距離を基に
して行われ、テンプレート領域に対応するメモリにはＦ
Ｆ（ｈ　ｅ　ｘ）が記憶されている。次に、読み出した
テンプレート画像とメモリＭ１およびメモリＭ２との重
複度を計算する（ブロック１２１１）。つまり、テンプ
レート画像とメモリＭ１およびメモリＭ２との各論理積
を取り、論理積結果が「１」の画素数を各メモリＭ１お
よびメモリＭ２毎に累計する。

次に、各メモリ毎に累計された画素数が、テンプレート
領域内にある画素数に占める比率を求める。この比率が
５０％以上になるメモリ情報には走行路領域が含まれて
いるものとし、さらに、比率が５０％以上のメモリＭ１
またはＭ２に記憶された画像ついて、以下のように繰り
返して領域分割を行う。また、この比率に基づくメモリ
の選択により、しきい値Ｘ１によって画像が領域分割さ
れたことになり、また、ヒストグラム上においても分割
が行われたことになる。

つまり、特徴量がＸＯ〜Ｘ１の範囲内にあるメモリＭ１
に記憶された領域と、特徴量がＸ１〜Ｘ２の範囲内にあ
るメモリＭ２に記憶された領域とに分割されたことにな
る。また、各メモリＭ１およびＭ２とテンプレート画像
との重複度がいずれも５０％を越えない時には、メモリ
Ｍ１とメモリＭ２との和が記憶されたメモリＭ３が選択
され（ブロック１２１２）、メモリＭ３に基づいた領域
分割が次に行われる。

例えば、メモリＭ１とテンプレート画像との重複度が高
かった場合には、しきい値ＸＯからＸ１内の特徴量によ
って構成された領域を道路候補領域にする（ブロック１
２１　Ｂ）。そして、この道路候補領域をさらに繰り返
して領域分割する。この縁り返し領域分割のためのしき
い値Ｘ１′は、ブロック１２０５で求めた谷の候補値の
うち、しきい値ＸＯ〜Ｘ１の範囲内にあるものとなる（
ブロック１２１４）。また、もし、この範囲内に谷の候
補値が無い場合には、繰り返し分割処理は行われない。

繰り返し領域分割の対象となる特徴量範囲の最小値ＸＯ
′は前回の領域分割と変わらないしきい値ＸＯになり、
最大値Ｘ２’はしきい値Ｘ１になる。この範囲内の特徴
量により構成される領域についてブロック１２０７で再
度２値化を行い、その後前回の領域分割と同様な処理を
実行することにより、繰り返し領域分割が行われる。こ
の繰り返しは、分割する道路候補領域の特徴量の範囲内
にブロック１２０５で求めた谷の候補値がなくなるまで
行う。このようにして処理を繰り返して実行することに
より、最終的に最初の道路画像領域が得られる。

得られた道路画像領域の明度より暗い影の領域、および
明るい高輝度の領域がある場合には、これらの各領域を
求めるためのしきい値を後述のように設定する（ブロッ
ク１２１５）。そして、このしきい値に基づき、各領域
について前述と同様にして領域分割し、影の領域および
高輝度の領域を求める。また、同時に行われる彩度画像
に基づく処理結果により、求めた影の領域の彩度と道路
画像領域の彩度とが似ている場合には、各々の論理積を
とり、１つの領域として最終的な低輝度領域とする。ま
た、同様に、求めた高輝度領域の彩度と道路画像領域の
彩度とが似ている場合には、各々の論理積をとり、１つ
の領域として最終的な高輝度領域とする。さらに、道路
画像領域と低輝度領域との接続関係を調べ、併合できる
関係にある場合には併合処理を行う。また、同様に、道
路画像領域と高輝度領域との接続関係を調べる。

このように併合できる関係にある場合には併合処理を行
う。この結果、走行路に影がある場合または自己の位置
が影内で走行路の遠方に直射日光が照射されて高輝度部
分がある場合には、この併合処理を行うことによって現
実の走行路に即した形状の走行路領域が得られることに
なる。

以上の処理は明度画像に対するものであったが、彩度画
像に対しても同様な処理を行う。但し、ブロック１２１
５の処理は明度画像に対する′特有なものであるため、
この処理は実行しない。この彩度画像による処理結果に
おいて、各領域のＲ，ＧＢが似た値になる同系色の場合
には、各領域のヒストグラム分布は同様な形状になる。

これは、前述のＲＧＢデータから彩度Ｓデータへの変換
式％式％） 従って、Ｒ，Ｇ、Ｂの６値が似た値になる曇天時の空や
一般舗装路では、彩度に基づいて各領域を区別すること
は困難である。しかし、色差があって各領域のＲ，Ｇ、
Ｂ値が似ていない場合には、各領域の明度に差がなくて
も各領域を区別することが可能である。このため、道路
画像領域をいかなる情景の下でも正確に抽出するために
、明度および彩度の２つの特徴量を用いる。そして、明
度画像および彩度画像から抽出した２種類の道路画像の
論理積を取ることにより、確度の高い走行路領域情報を
得ることが出来る。

第１３図は、道路画像領域の抽出処理における道路候補
領域の抽出過程を示す。

まず、明度の特徴量画像１３０１から特徴量ヒストグラ
ム１３０２を作成する。このヒストグラム１３０２の横
軸は明度を示し、この明度は０〜Ｆ　Ｆ　（ｈ　ｅ　ｘ
）の数値によって表現されている。

また、縦軸は各明度における原画像中の画素数を示す。

大津の判別分析法をこのヒストグラム１３０２に適用し
、道路領域と背景領域とを区別するためのしきい値Ｃを
求める。また、ヒストグラム１３０２の形状に基づき、
ヒストグラムのピークおよび谷を求め、ピーク・谷テー
ブルを作成する。そして、求めた谷を繰返しきい値処理
のためのしきい値の候補値とする。このヒストグラム１
３０２では特徴量ａ、ｂ、ｄ、ｅ、ｆが候補値になって
いる。

大津の判別分析法によって求めたしきい値Ｃを、ピーク
・谷テーブルから求めた候補値によって補正する。つま
り、しきい値Ｃに最も近い候補値すを補正したしきい値
とする。そして、このしきい値すによって特徴量画像１
３０１を２値化する。

この結果、特徴量か００（ｈｅｘ）〜ｂの分割画像１３
０３と、特徴量がｂ−ＦＦ（ｈｅｘ）の分割画像１３０
４とが得られる。この時点では分割された各画像１３０
３．１３０４のうち、どちらの画像に走行路領域が含ま
れているのかが分からない。

このため、道路位置を想定したテンプレート画像１３０
５と各画像１３０３．１３０４との論理積を取り、各画
像との重複度を計算する。テンプレート画像１３０５の
下部には台形のテンプレート領域が図示のように設定さ
れている。このテンプレート領域に対応するメモリ素子
には前述したようにＦＦ　（ｈｅｘ）が記憶されており
、また、テンプレート領域の背景領域に対応するメモリ
素子には００（ｈｅｘ）が記憶されている。本例の場合
には、画像１３０４にテンプレート画像１３０５との重
なり部分が最も多く存在する。このため、重複度の計算
結果により、特徴量がｂ〜Ｆ　Ｆ　（ｈ　ｅ　ｘ）の画
像１３０４に走行路領域が含まれているものと判断され
、画像１３０４に対応した道路候補領域画像１３０６が
得られる。

ｂ−ＦＦ（ｈｅｘ）の特徴量の間にはまだ他の候補値が
残っているので、次に、さらにこの道路候補領域画像１
３０６について領域分割を行う。

つまり、道路候補領域画像１３０６をしきい値ｄで２値
化する。この２値化により、特徴量がｂ〜ｄの分割画像
１３０７と、特徴量がｄ−ＦＦ（ｈ　ｅ　ｘ）の分割画
像１３０８とが得られる。次に、得られた各画像１３０
７．１３０８について、前述と同様にしてテンプレート
画像１３０５との重複度を計算する。本例の場合には、
画像１３０８の方がテンプレート画像１３０５との重複
度が高いため、特徴量がｄ−ＦＦ　（ｈｅｘ）の画像１
３０８に走行路領域が含まれているものと判断され、画
像１３０８に対応した道路候補領域画像１３０９が得ら
れる。

ｄ−ＦＦ（ｈｅｘ）の特徴量の間にはまた他の候補値ｅ
が残っているため、道路候補領域画像１３０９をこのし
きい値ｅで２値化する。この２値化により、特ｙ！！、
ｉがｄ　−ｅの分割画像１３１０と、特徴量がｅ−ＦＦ
（ｈｅｘ）の分割画像１３１１とが得られる。そして、
前述と同様にして各画像１３１０．１３１１とテンプレ
ート画像１３０５との重複度を計算する。本例の場合に
は、画像１３１０の方がテンプレート画像１３０５との
重複度が高いため、特徴量がｄ−ｅの画像１３１０に走
行路領域が含まれているものと判断され、画像１３１０
に対応した道路候補領域１３１２が得られる。

ｄ　−ｅの特徴量の間にはもう他の候補値が残っていな
いので、この道路候補領域１３１２が最終的な道路領域
の２値画像になる。以上の処理は明度画像に対して行っ
たが、彩度画像に対しても同様な処理を行う。その後、
明度画像から抽出された走行路領域と彩度画像から抽出
された走行路領域との論理積を取り、最終的な走行路領
域を得る。

しきい値を用いて画像を２値化し、画像の領域分割をす
る手法は一般的である。しかし、本実施例のように、走
行路の位置を考慮したテンプレート画像を用いて分割画
像との重複度を計算することにより、ヒストグラム上に
おいて行われる次の領域分割のためのしきい値を決定す
る処理は高速にかつ簡素に行える。この結果、現実の走
行路に即した走行路領域が高速にかつ容易にかつ低コス
トで得られる。

また、次のようにカメラに撮像される情景の明暗が変化
する場合がある。例えば、自軍の進行方向がカーブによ
って変更したために明るさが変化した場合や、天候が晴
れたり曇ったりするために明暗が変わる場合などがある
。このような場合には、特徴量ヒストグラムは常に一定
の形状を示さないため、固定されたしきい値による領域
分割では正しい走行路領域が得られない。しかし、本手
法では、入力された画像の状態、つまり、明るさが時々
刻々と変化しても常に正確な走行路領域の抽出を行うこ
とが可能である。これは、本手法では、テンプレート画
像との重複度が最も高い特徴量分布を見つけ、時々刻々
と変化する画像についてその時の特徴量に応じた最適な
しきい値をその都度設定するからである。

従来、領域分割を行う画像処理にあっては、原画像を複
数の領域に分割し、分割した画像について識別処理を行
って道路の妥当性を検証していた。

しかし、上述した本手法にあっては、目的とする対象物
（道路）を抽出するために、しきい値処理による領域分
割を行っている。このように、従来の手法では処理結果
から対象物を検証したが、本手法では処理の当初から対
象物を目的としている点で処理のアプローチが逆になっ
ている。このため、道路領域を効率良く抽出することが
可能になっている。

次に、「明るさの違いに注目した走行コースからの影や
高輝度部分の抽出手法」について説明する。本手法は上
述した［テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」の説明において既に簡単に
説明したものであり、以下にこの手法を詳述する。

明度画像について、上述した「テンプレート画像を用い
た繰返しきい値処理による走行コースの抽出手法」、お
よび「繰返しきい値処理における特徴量ヒストグラムの
形状に基づくしきい値設定手法」を適用することにより
、走行コースの特徴量の分布するヒストグラムが求めら
れた。本手法は、このヒストグラムを基にして道路領域
より暗い領域および道路領域より明るい領域を求めるも
のである。また、本手法はカラー画像処理装置内で処理
されるものである。

第１４図は、種々の入力画像が撮像された各ケースにつ
いて、本手法を適用した場合の処理の概要を示す。ケー
ス１は、−様な路面状況の走行コースのみが入力画像と
して撮像された場合である。

この場合、自車は、右側にカーブする道路のカーブ手前
に位置している。このケース１において抽出される道路
候補領域は、入力画像と同様な形状になる。これは入力
画像が−様な走行コースのみだからであり、従って、本
手法により低輝度領域および高輝度領域は抽出されない
。

また、ケース２は、走行コースの路面上に部分的に影が
でき、しかも、走行コースの遠方に反射光などによる高
輝度部分ができている入力画像が撮像された場合である
。この場合の例では、道路は右側にカーブし、この右側
カーブの手前に左側にカーブする分岐路を有している。

自車はこれらカーブの手前に位置している。このケース
２において抽出される道路候補領域は、影ができている
暗い領域および高輝度領域である明るい領域が除外され
た形状になる。また、道路の手前側にできている影の部
分は本手法による低輝度領域の抽出により、個別に取り
出すことができる。また、道路の遠方にできている反射
光による高輝度領域は高輝度領域の抽出により、個別に
取り出すことかできる。

ケース３は、陽射しが強い天候の時に、樹木による影が
走行コースの路面上にできている入力画像が撮像された
場合であり、路面上に木洩れ日がさしている場合である
。この場合の例では、自軍は、左側にカーブする道路の
カーブ手前に位置している。このケース３において抽出
される道路候補領域は、木洩れ日によってできる影と同
じ形状である。これは、強い陽射しのために影の部分が
テンプレート画像との重複度が高くなるためである。従
って、本手法により低輝度の領域は抽出されない。また
、遠方の道路領域および木洩れ日がさしている部分は強
い陽射しのために高輝度の領域として抽出される。

ケース４は、道路の側帯に沿って帯状に変色部分ができ
ている場合であり、例えば、舗装路の工事等によって道
路が変色した場合である。この場合の例では、自車は、
直線状に進む道路にできた変色部分を右手にみて走行す
る位置にある。このケース４において抽出される道路候
補領域は、この変色部分が除外された形状になる。また
、この変色部分は道路領域より明度が高いため、本手法
により高輝度領域として抽出される。また、道路の路面
上には影などがないため、低輝度領域は抽出されない。

次に、上述したケース２を例として、本手法の詳細を以
下に説明する。

第１５図は、ケース２において撮像された入力画像を基
にして作成されたヒストグラムである。

このヒストグラムの特徴量は明度であり、横軸にこの明
度が示されている。また、縦軸は、各明度における画素
数である。

図のＡ部分の特徴量範囲は走行路領域が含まれる範囲で
あり、前述した「テンプレート画像を用いた繰返しきい
値処理による走行コースの抽出手法」において最も走行
コースに相当する画素が含まれる範囲とされる部分であ
る。また、範囲Ａは特徴量がｔｌからｔ２までの範囲で
あり、各特徴ｆｆ１ｔｌおよびｔ２をしきい値として領
域分割される。また、特徴量ｔ１より左側にあるＢ部分
は谷と谷とに挾まれた１つの山を形成し、Ａ部分より明
度の低い暗い範囲の特徴量分布である。このＢ部分の特
徴量範囲はｔ３からｔｌまでであり、各特徴ｍｔ３およ
びｔ〕は領域分割のためのしきい値になる。また、特徴
量ｔ２より右側にあるＣ部分は、Ａ部分より明度の高い
明るい範囲の特徴量分布であり、Ｂ部分と同様に谷と谷
とに挾まれた１つの山を形成している。このＣ部分の特
徴量範囲はｔ２からｔ４まてであり、各特徴ｆｆ１ｔ２
およびｔ４は領域分割のためのしきい値になる。

なお、図に示されるＢ部分やＣ部分は１つの山を形成し
ているが、このように１つの山を形成しない特徴回分布
は、画像上において領域分割のために有意義な領域を形
成する分布とは認められない。このため、このような特
徴量分布は優位な分布ではないものとして領域抽出の対
象として選定しない。図示の本例の場合にはＢ部分およ
びＣ部分の双方ともに優位な分布になっているが、一方
のみが優位な分布であっても本手法は適用される。

Ａ部分の特徴量分布は第１４図に示されたケース２の道
路候補領域に相当する。また、Ｂ部分の特徴量分布はこ
の道路候補領域より明度の低い影の領域に相当し、Ｃ部
分の特徴量分布は道路候補領域よりも明度の高い高輝度
部分に相当するものである。本手法は、Ａ部分に隣接す
るＢ部分およびＣ部分の各特徴量分布に相当する各領域
を抽出するものである。

まず、ヒストグラムのＢ部分に相当する領域を抽出する
ため、しきい値ｔ３およびｔｌによって明度を特徴量と
する入力画像を２値化する。また、前述した「テンプレ
ート画像を用いた繰返しきい値処理による走行コースの
抽出手法」において、彩度を特徴量とする入力画像に基
づいて道路領域画像が求められていた。この道路領域画
像は、原画像が最初に領域分割されることにより得られ
たものであり、影などの暗い領域や高輝度領域が道路領
域に含まれた状態の画像である。この道路領域に相当す
るメモリ素子には１が記憶されており、その他の背景領
域に相当するメモリ素子には０が記憶されている。また
、上記の２値化画像において、明度がｔ３からｔｌの画
素領域に相当するメモリ素子には１が記憶されており、
その他の領域に相当するメモリ素子には０が記憶されて
いる。

このため、道路領域画像と２値化画像との論理積をとる
ことにより、走行路領域上にある例えば影の部分などの
暗い領域のみが個別に抽出される。

また、Ｃ部分に相当する領域を抽出する゛ため、上記の
暗い領域を求めるのと同様に、しきい値ｔ２およびｔｉ
によって明度画像を２値化する。

そして、彩度画像から抽出された道路領域画像とこの２
値化画像との論理積を上記のＢ部分の抽出の場合と同様
にとることにより、高輝度領域が個別に抽出される。

次に、Ｂ部分およびＣ部分を領域分割する際に必要とさ
れるしきい値ｔ３およびｔｉを求める方法について説明
する。前述した「繰返しきい値処理における特徴量ヒス
トグラムの形状に基づくしきい値設定手段」により、第
１０図（ｂ）に示されるピーク・谷テーブルを求めたが
、第１５図に示されるヒストグラムについてもこれと同
様にして図示しないピーク・谷テーブルを求める。この
ピーク・谷テーブルにおける各テーブル値は、第１０図
（ｂ）と同様に、ｐｋｔＩとして表現する。

添字のｉは、グラフの原点側から各テーブル値に対応し
て順にｉ−０，１，２，・・Ｎ、Ｎ−１と変化するもの
とする。

第１５図のヒストグラムにおいて、しきい値ｔ１に相当
するテーブル値をｐｋ　ｔｊとする。そして、ピーク・
谷テーブルにおいてこのテーブル値ｐｋ　ｔｉから左側
へ各テーブル値を見て行き、ｐｋ　ｔＯのところまでに
テーブル値が負となるｐｋ’ｔｋ　　（ｐｋｔｋ＜Ｏ）
があるか否かを判断する。テーブル値が負になる特徴点
は谷の底に相当する点である。ｐｋ　ｔＯまでに負とな
るｐｋ　ｔｋが有り、しかも、ｐｋｔｊの特徴点からｐ
ｋ　ｔｋの特徴点までの距離がしきい値より小さい場合
（ｐｋ　ｔｊ　−ｐｋ　ｔｋ　＜Ｌきい値）、このテー
ブル値ｐｋｔｋに相当する特徴量をしきい値ｔ３とする
。また、ｐｋ　ｔＯまでに負となるｐｋ　ｔｋが無い場
合、または距離がしきい値を越える場合には、道路領域
より暗い優位な領域は無いものとする。

ヒストグラム上のしきい値ｔ４に相当する特徴量は、し
きい値ｔ３に相当する特徴量を求める方法と同様にして
求めることができる。つまり、しきい値ｔ２に相当する
ピーク・谷テーブル値をｐｋｔｒａとすると、このｐｋ
ｔｍから右側へ各テーブル値を見て行き、ｐ　ｋ　ｔ　
Ｎ−１までに負となるｐｋ　ｔｎ　　（ｐｋ　ｔｎ　＜
Ｏ）が有るか否かを判断する。ｐ　ｋ　ｔ　Ｎ−１まで
に負となるｐｋ　ｔｎが有り、しかも、ｐｋ　ｔｎの特
徴点からｐｋｔｍの特徴点までの距離がしきい値より小
さい場合（ｐｋｔｎ−ｐｋｔＩｌｌ＜Ｌきい値）、この
テーブル値ｐｋ　ｔｎに相当する特徴量をしきい値ｔ４
とする。

また、ｐ　ｋ　ｔ　Ｎ−１までに負となるｐｋ　ｔｎが
無い場合、または、距離がしきい値を越える場合には、
道路領域より明るい優位な領域は無いものとする。

以上のように、本手法は、「繰返しきい値処理における
特徴量ヒストグラムの形状に基づくしきい値設定手段」
で求められたピーク・谷テーブルを利用することにより
、天候の変化や舗装路の工事等によって道路の路面状況
が変化しても、影や高輝度部分および変色部分を個別に
抽出することができる。

次に、「ラベリング装置」について以下に詳述する。［
テンプレート画像を用いた繰返しきい値処理による走行
コースの抽出手法」において抽出された画像は、ノイズ
や細かく分断された領域を有する。このため、ラベリン
グ装置により抽出画像の各領域にラベル付けをし、ラベ
ル付けされた各領域の有効性を判断する。このラベリン
グ処理の結果に基づき、地平線位置より重心が上の領域
や、ノイズ等によって発生した不要な小領域を除去する
。

第１６図はこのラベリング装置の概略構成を示すブロッ
ク図であり、第１７図はこのラベリング処理の概略を示
すゼネラルフローチャートである。

まず、カラー処理装置において抽出された画像を画像バ
ス（ＮＥ　　Ｂｕｓ）を介して入力メモリ１６０１に取
り込む（ステップ１７０１）。この画像情報は５１２ｘ
５１２ｘ８ビツトの情報であり、これを多値の原画像入
力とする。次に、後述するランを用いた仮ラベル付は方
式を用いて１次ラベリングを行う（ステップ１７０２）
。この１次ラベリングは、ラベリングプロセッサ（ＫＬ
Ｐ）１６０２．　　ラインバッファメモリ（ＬＢＭ）１
６０３およびラベルマツチングメモリ（ＬＭＭ）１６０
４等において主として実行される。

この１次ラベリングの後、ラベルマツチングメモリＬＭ
Ｍ１６０４のデータ配置を整理するために前処理を行う
（ステップ１７０３）。この前処理の後に２次ラベリン
グを行うと同時に各領域の面積や重心などの特徴量を抽
出する（ステップ１７０４）。ステップ１７０３および
ステップ１７０４の処理は主として特徴抽出プロセッサ
ＫＬＣ１６０５において実行される。この２次ラベリン
グにより、各アドレスに位置する画素に付けられたラベ
ルをラベルメモリ（ＬＡＢＥＬＭ）１６０６に記憶する
。また、同時に、抽出された各領域の面積や重心を特徴
メモリ１６０７に記憶する。この後、ＬＡＢＥＬＭ１６
０６に記憶されたラベル画像情報をＮＥ　　ＢＵＳに出
力する（ステップ１７０５．）。

ラベル生成のためのＫＬＰ１６０２の使用個数は］個で
あり、ラン処理用のラインレジスタであるＬＢＭ１６０
３は後述するラベルメモリＫＬＭを４個使用して構成す
る。また、ＬＭＭ１６０４は仮ラベルの最大数が１０２
３の時にはＫＬＭを８個使用して構成する。仮ラベルの
最大数が４０９５の時にはＫＬＭを３２個使用してＬＭ
Ｍ１６０４を構成する。

従来のラベリングは入力画像が２値画像の場合について
だけ行っていたが、本手法によるラベリングはＫＬＰ１
６０２を使用することにより、多値画像についてもラベ
リングを行うことが可能になっている。つまり、数種類
の画像を一度にラベリングをすることが可能である。例
えば、第１８図に示されるように、３種類の２値入力画
像１８０１．１８０２．１８０３が入力された場合を想
定する。これら２値画像は足し合されて５１２Ｘ５１２
Ｘ８ビツトの多値画像１８０４に変換される。この変換
処理はラベリング処理の前処理として行われる。ライン
レジスタ１８０５（ＬＢＭ１６０３）とラベルマツチン
グメモリ１８０６　（ＬＭＭ１６０４）とを使用したラ
ベリングプロセッサ１８０７　（ＫＬＰ１６０２）の制
御により、多値入力画像１８０４はラベリングされる。

このラベリングにおいて各領域のラベル付けを整理し、
最終的に５１２Ｘ５１２Ｘ１２ビツトのラベル画像１８
０８として出力する。このラベリングプロセッサ１８０
７　（ＫＬＰ１６０２）を使用することにより、多値画
像に対してのラベリング処理、ランを用いた仮ラベル数
の削減および１スキャンラベリングが可能になる。

多値入力画像の各画素には、各画素値に応じたラベル付
けがＫＬＰ１６０２の制御によって行われる。そして、
同一のラベル値を持つ各画素間の結合関係に基づいて領
域区分が行われ、また、この結合関係に基づいて新しい
ラベルが生成される。

例えば、従来、入力画像に第１９図（ａ）に示される階
段状画素からなる領域が形成されている場合には、ラス
ク走査の順番に沿って各画素に仮ラベル付けを行い、再
度各画素について走査を行うことによりラベル生成が実
行されていた。この結果、仮ラベル付けの際には、図示
のごとく１〜３の３種類の仮ラベルを必要としていた。

しかし、本方式によるランを用いたラベリング方式によ
れば、第１９図（ａ）と同様な階段状画素からなる同図
（ｂ）に示される入力画像が有っても、ランを用いるこ
とにより仮ラベル数を削減することが出来る。つまり、
同図（Ｃ）に示されるように、各画素をラスク走査に沿
ったランという１つの行毎に区分けする。図示の場合に
は、２つのラン１およびラン２に区分けされる。ラベリ
ングプロセッサＫＬＰはランの走査が最後の画素に至る
まではラインバッファメモリＬＢＭにフラグを書き込み
、仮ラベルの判定を行い、その行の最後の画素でそのラ
ンの全画素に各画素間の結合関係を考慮した仮ラベルを
書き込む。

同図（Ｃ）に示されるラン１について走査して上記の処
理を施した結果、ラン１に対応する画素には同図（ｄ）
に示される仮ラベル付けが行われる。この仮ラベル「１
」のラベル付けは、各画素に同時に行われる。これは、
メモリには後に詳述するラベリングメモリＫＬＭが使用
されているためである。引き続いてラン２について走査
することにより、同図（ｅ）に示される仮ラベル付けが
行われる。ラン２はラン１の仮ラベル「１」に接続され
ているので、ラン２の最後の画素を走査する時点でラン
２の各画素には仮ラベル「１」が同時に書き込まれる。

このようにランを用いたラベリングにより、同図（ｂ）
に示される階段状画素ヘノラベル付けは、１種類のラベ
ル「１」によって行うことが出来、仮ラベル数は削減さ
れる。つまり、画素をランという１つのまとまりにまと
め、ラン単位で処理を行うことにより、ラベリング回路
の規模を削減することが出来る。

次に、ラベリングプロセッサＫＬＰによるラベリング処
理の詳細について説明する。ラベリングは第２０図に示
されるウィンドが各ランに沿って各画素を走査すること
により行われる。このウィンドを各ランに沿って走査す
ることにより、Ｔ（ターゲット）部には注目する画素が
現れ、ａ部にはＴ部の上に位置する画素が現れ、ｂ部に
はＴ部の右側の隣に位置する画素が現れる。以下、Ｔ。

ａ、ｂは各部に現れる入力画像のラベル値を示すことに
する。なお、ランの途中をウィンドが走査している時に
は、出力ラベルとしてフラグの値がラインバッファメモ
リＬＢＭに出力され、ウィンドがランの最後の画素に達
した時に、フラグの立っている全ての画素にラベルが書
き込まれる。

ＫＬＰの内部構成は第２１図のブロック構成図に示され
る。ＫＬＰは、セレクタ２１０１．仮ラベルレジスタＴ
ｍ１２１０２．　カウンタＣｎｔ２１０３、第１の比較
回路２１０４および第２の比較回路２１０５により構成
されている。第１の比較回路２１０４にはラベル値Ｔ、
ａ、ｂが与えられ、入力画像の多値比較が行われる。こ
の比較結果はセレクタ２１０１のセレクト端子５ｅｌｌ
に与えられる。第２の比較回路２１０５には、ラベル値
ａのラベルマツチングメモリＬＭＭの値Ｍａｔ（ａ）、
仮ラベルレジスタＴｍ１２１０２の値およびカウンタＣ
ｎｔ２１０３の値が与えられ、同時に６値はセレクタ２
１０１の端子Ａ、Ｂ。

Ｃに与えられる。このＴｍ１２１０２の値は、セレクタ
２１０１からの出力信号によって決定される。また、セ
レクタ２１０１の端子りにはラインバッファメモリＬＢ
Ｍに記憶されるフラグＦＬＡＧの値が与えられる。

第２の比較回路２１０５は与えられたこれらの６値を比
較する。この比較結果により各ラベル間の連結関係が判
断され、比較結果はセレクタ２１０１のセレクト端子５
ｅｌＯに出力される。

セレクタ２１０１は与えられた６値に基づき、マツチン
グアドレスＭＡＴ　　ＡＤＤＲおよびマツチングデータ
ＭＡＴ　　ＤＡＴＡを出力し、ラベルマツチングメモリ
ＬＭＭの記憶内容の変更を行う。

また、これと共に、セレクタ２１０１は仮ラベルの値お
よび出力ラベルの値（ＬＡＢＥＬ）を出力する。

第２２図〜第２７図はウィンド処理のフローチャートを
示す。

第２２図は、第１の比較回路２１０４における６値Ｔ、
ａ、ｂの比較判断処理をする際のフローチャートを示す
。ます、着目画素のラベル値Ｔが０に等しいか否かを判
断する（ステップ２２０１）。Ｔが０の場合には後述す
る処理１を実行する（ステップ２２０２）。Ｔが０でな
い場合には、ラベル値Ｔとラベル値すとを比較する（ス
テップ２２０３）。ラベル値Ｔとラベル値すとが等しい
場合には、ラベル値Ｔとラベル値ａとを比較する（ステ
ップ２２０４）。ラベル値Ｔとラベル値ａとが等しい場
合には処理２を実行する（ステップ２２０５）。つまり
、処理２は６値Ｔａ、ｂが等しい場合に実行される処理
である。この場合、各ラベル値を○と表現すると、ウィ
ンドウ状態はステップ２２０５の図示の処理ボックスに
隣接して描かれた状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理３
を実行する（ステップ２２０６）。つまり、処理３はラ
ベル値Ｔとラベル値すとが等しく、ラベル値Ｔとラベル
値ａとが異なる場合に実行される処理である。この場合
、ラベル値Ｔとラベル値すをＯと表現し、ラベル値ａを
×と表現すると、ウィンドウ状態はステップ２２０６の
図示の処理ボックスに隣接して描かれた状態になる。そ
して、ステップ２２０５またはステップ２２０６の処理
後に、ラインバッファメモリＬＢＭ１６０３のウィンド
Ｔの位置にフラグを立てる（ステップ２２０７）。

また、ステップ２２０３において、ラベル値Ｔとラベル
値すとが等しくない場合にも、ラベル値Ｔとラベル値ａ
とを比較する（ステップ２２０８）。ラベル値Ｔとラベ
ル値ａとが等しい場合には処理４を実行する（ステップ
２２０９）。

つまり、処理４はラベル値Ｔとラベル値ａとが等しく、
ラベル値Ｔとラベル値すとが異なる場合に実行される処
理である。この場合、ラベル値Ｔとラベル値ａをＯと表
現し、ラベル値すを×と表現すると、ウィンドウ状態は
ステップ２２０９の図示の処理ボックスに隣接して描か
れた状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理５
を実行する（ステップ２２１０）。つまり、処理５はラ
ベル値Ｔとラベル値ａとが異なり、しかも、ラベル値Ｔ
とラベル値すとが異なる場合に実行される処理である。

この場合、ラベル値ＴをＯと表現し、ラベル値ａとラベ
ル値すを×と表現すると、ウィンドウ状態はステップ２
２１０の図示の処理ボックスに隣接して描かれた状態に
なる。そして、ステップ２２０９またはステップ２２１
０の処理後にＫＬＰ内の仮ラベルレジスタＴｍｌをクリ
アする（ステップ２２１１）。このＴｍｌは、現在のウ
ィンド位置に達する直前のＴ部に有った画素に対するラ
ベルが記憶されているものである。

以下に説明する第２３図から第２７図のフローチャート
は、処理１から処理５までの比較判断処理のフローチャ
ートを示す。

第２３図は上述の処理１のフローチャートを示す。処理
１は何も実行せずに終了する。

第２４図は上述の処理２のフローチャートを示す。まず
、仮ラベルレジスタＴｍｌに記憶された前回の画素のラ
ベル値と０とを比較する（ステップ２４０１）。Ｔｍｌ
のラベル値が０に等しい場合には、ラベル値ａのラベル
マツチングメモリ（ＬＭＭ）１６０４の値Ｍａｔ（ａ）
を仮ラベルレジスタＴ　ｍ　ｌ　２　］、　０２に書き
込む（ステップ２４０２）。Ｔｍｌのラベル値が０と等
しくない場合には、Ｔｍｌのラベル値とカウンタＣｎｔ
２１０３のカウンタ値とを比較する（ステップ２４０３
）。カウンタ２１０３には最も新しいラベルの値が記憶
されている。

仮ラベルレジスタＴｍｌのラベル値とカウンタＣｎｔの
カウンタ値とが等しい場合には、ラベル値ａのラベルマ
ツチングメモリ（ＬＭＭ）の値Ｍａｔ（ａ）をＴｍｌに
書き込む（ステップ２４０４）、また、Ｔｍｌの値とカ
ウンタＣｎｔの値とが等しくない場合には、ＬＭＭの値
Ｍａｔ（ａ）とＴｍｌの値とを比較する（ステップ２４
０５）、ＬＭＭの値Ｍａｔ（ａ）とＴｍｌの値とが等し
い場合には何も実行されない（ステップ２４０６）、Ｌ
ＭＭの値Ｍａｔ（ａ）とＴｍｌの値とが等しくない場合
には、Ｔｍｌの値とＬＭＭの値Ｍａｔ（ａ）とのうちの
小さい方の値ｉＭｉ　ｎ　（Ｔｍ　１．　Ｍａ　ｔ　（
ａ）　）　ｌをＴｍｌに書き込む。さらに、両者のうち
の小さい方の値ｆＭ　ｉ　ｎ　（Ｔｍ　１．　Ｍａ　ｔ
　（ａ）　）　ｌ　を、両者のうちの大きい方の値に等
しいラベル値のラベルマ２４０７）　　。

第２５図は前述の処理３のフローチャートを示す図であ
る。処理３では、まず、仮ラベルレジスタＴｍｌの値と
０とを比較する（ステップ２５０１）。Ｔｍｌの値がＯ
に等しい場合には、カウンタ２１０３のカウンタ値をＴ
ｍｌに書き込む（ステップ２５０２）。また、Ｔｍｌの
値が０ニ等シくない場合には、何も実行されない（ステ
ップ２５０３）。

第２６図は前述の処理４のフローチャートを示す図であ
る。まず、Ｔｍｌの値と０とを比較する（ステップ２６
０１）。Ｔｍｌの値が０に等しい場合には、ラベル値ａ
のＬＭＭの値Ｍａｔ（ａ）をターゲットエリアのラベル
値として、Ｔ部とフラグが立っている全てのレジスタに
このＭａｔ（ａ）を書き込む（ステップ２６０２）。こ
の時、ＬＢＭのフラグは全てクリアされる。また、ステ
ップ２６０１でＴｍｌの値が０に等しくない場合には、
Ｔｍｌの値とＣｎｔの値とを比較する（ステップ２６０
３）。Ｔｍｌの値とＣｎｔの値とが等しい場合には、ラ
ベル値ａのＬＭＭの値Ｍａｔ（ａ）をターゲットエリア
のラベル値として、Ｔ部とフラグが立っている全てのレ
ジスタにこのＭａｔ（ａ）を書き込む（ステップ２６０
４）。

この時、ＬＢＭのフラグは全てクリアされる。

また、Ｔｍｌの値とＣｎｔの値とが等しくない場合には
、Ｔｍｌの値とＭａｔ（ａ）の値とを比較する（ステッ
プ２６０５）。そして、Ｔｍｌの値とＭａｔ（ａ）の値
とが等しい場合には、ラベル値ａのＬＭＭの値Ｍａｔ（
ａ）をターゲットエリアのラベル値として、Ｔ部とフラ
グが立っている全てのレジスタにこのＭａｔ（ａ）を書
き込む（ステップ２６０６）。この時、ＬＢＭのフラグ
は全てクリアされる。また、Ｔｍｌの値とＭａｔ（ａ）
の値とが等しくない場合には、Ｔｍｌの値とラベル値ａ
のＬＭＭの値Ｍａｔ（ａ）との小さい方の値ｆＭ　ｉ　
ｎ　（Ｔｍ　Ｉ、　Ｍａ　ｔ　（ａ）　）　ｌをターゲ
ットエリアのラベル値として、Ｔ部とフラグが立ってい
る全てのレジスタに書き込む。この時、ＬＢＭのフラグ
は全てクリアされる。さらに、Ｔｍｌの値とＬＭＭの値
Ｍａｔ（ａ）とのうちの小さい方の値（Ｍｉ　ｎ　（Ｔ
ｍ　ｌ、　Ｍａ　ｔ　　（ａ）　）　１を、これら両者
のうちの大きい方の値に等しいラベル値のラベルマツチ
ングメモリ［Ｍａｔ（Ｍｉ　ｎ　　（Ｔｍ　ｌ、　　Ｍ
ａ　ｔ　　（ａ）　）　ｌ　コに書き込む（ステップ２
６０７）。

第２７図は前述の処理５のフローチャートを示す図であ
る。まず、仮ラベルレジスタＴｍｌの値と０とを比較す
る（ステップ２７０１）。Ｔｍｌの値が０に等しい場合
には、Ｃｎｔの値をターゲットエリアのラベル値として
、Ｔ部とフラグが立っている全てのレジスタにこのＣｎ
ｔの値を書き込む。この時、ＬＢＭのフラグは全てクリ
アされる。さらに、Ｃｎｔの値を、Ｃｎｔの値に等しい
ラベル値のＭａｔ（Ｃｎｔ）に書き込み、Ｃｎｔの値を
１つカウントアツプする（ステップ２７０２）。

また、Ｔｍｌの値が０に等しくない場合には、Ｔｍｌの
値をターゲットエリアのラベル値として、Ｔ部とフラグ
が立っている全てのレジスタにＴｍｌの値を書き込む（
ステップ２７０３）。この時、ＬＢＭの全てのフラグは
クリアされる。次に、Ｔｍｌの値とＣｎｔの値とを比較
する（ステップ２７０４）。Ｔｍｌの値とＣｎｔの値と
が等しい場合には、Ｃｎｔの値を、Ｃｎｔの値に等しい
ラベル値のＭａｔ（Ｃｎｔ）に書き込む。さらに、Ｃｎ
ｔの値を１つカウントアツプする（ステップ２７０５）
、また、Ｔｍｌの値とＣｎｔの値とが等しくない場合に
は、何も実行しない（ステップ２７０６）。

次に、ラインバッファメモリＬＢＭやラベルマツチング
メモリＬＭＭに使用されるラベリングメモリＫＬＭにつ
いて説明する。今までのメモリは、１回のアドレス指定
により１個の内部レジスタにしかデータが書き込めなか
った。しかし、以下に説明するＫＬＭを使用することに
より、複数個の内部レジスタに１度にデータを書き込む
ことが出来る。このため、本ラベリングメモリＫＬＭは
、ラン処理用のラインレジスタ（ＬＢＭ）、　ラベル統
合不要のラベルマツチングメモリ（ＬＭＭ）１スキャン
用のラベル画像メモリ（ＬＡＢＥＬＭ）およびラベル整
合を行えるラベルマツチングメモリに使用することが出
来る。

ＫＬＭは複数のレジスタにより構成されているが、第２
８図はこれらレジスタの中の１個のレジスタのブロック
構成を示している。このブロックはＫＬＭの構成の１単
位になっている。各レジスタ２８０１にはコンパレータ
２８０２が対になっ・て接続されている。このコンパレ
ータ２８０２１：は、レジスタ２８０１からの出力デー
タＤＡＴＡおよびこの出力データに比較されるべき情報
ＣＯＭが与えられる。コンパレータ２８０２は与えられ
たデータを比較し、その比較結果をアンド回路２８０３
に出力する。アンド回路２８０３にはこの他にアドレス
デコーダ回路２８０４の出力が与えられている。アンド
回路２８０３は、コンパレータ２８０２またはデコーダ
回路２８０４のいずれか一方が信号を出力していれば、
オア回路２８０５に信号を出力する。

オア回路２８０５にはＣＰＵからのライト信号ＷＲが与
えられており、このライト信号ＷＲに同期してレジスタ
２８０１にイネーブル信号が与えられる。つまり、アド
レスデコーダ回路２８０４によってセレクトされるか、
コンパレータ回路２８０２での比較結果が一致した場合
に、ライト信号ＷＲに同期してレジスタ２８０１にデー
タが書き込まれる。各デコーダ回路２８０４へのアドレ
シングおよび各コンパレータ回路２８０２での比較判断
は全て同時に実行される。このため、１回のアドレシン
グまたは１回のデータの比較判断により、ＫＬＭを構成
する複数個のレジスタの内容を同時に書き替えることが
可能である。

前述したランを用いたラベリング処理によって得られた
仮ラベルは、ラベル統合を行うと不連続な値になる。こ
の時のラベルマツチングメモリＬＭＭの内容は第２９図
（ａ）に示される。各アドレス１〜１０の画素に対応し
てラベル１，３．６がデータとして記憶されている。こ
のラベル値は不連続な値になっているため、同図（ｂ）
に示され後に詳述する特徴抽出プロセッサＫＬＣにより
、同図（ｃ）に示される連続な値を持つラベルに変換す
る。すなわち、ＫＬＭによって構成されたラベルマツチ
ングメモリＬ　Ｍ　Ｍに記憶されるラベル値は、１，２
．３と連続した値になる。

より詳細には、ラベリングプロセッサＫＬＣはＬＭＭの
アドレスを発生し、該当アドレスの示すデータを取り込
む。引き続いて取り込んだデータとアドレスとを比較し
、各位が同じならば新しいデータをＬＭＭに出力してラ
ベル値を書き替える。

また、各位が異なる場合には、ＬＭＭへ次のアドレスを
出力して次のアドレスとデータとを比較する。以後、こ
の処理を繰り返して実行することにより、第２９図（ａ
）に示される不連続なラベル値は同図（Ｃ）に示される
連続なラベル値に変換される。

具体的には、同図（ａ）のアドレス１のデータ（１）は
アドレスと同じであるため、ＫＬＣは新しいデータとし
て１を出力し、アドレス１のデータと同じデータ（１）
を持つアドレス２，４，５゜７のデータを新しいデータ
１に書き替える。図示の場合には、古いデータと新しい
データとがたまたま同じ１になっているため、同図（ａ
）と同図（ｃ）との該当アドレスのデータに変化は無い
。

次に、アドレス２のデータ（１）とアドレスとを比較す
る。アドレスとデータとは異なるため、次のアドレス３
を発生する。そして、アドレス３のデータ（３）とアド
レスとを比較する。アドレスとデータとは同じであるた
め、新しいデータとして２を出力する。ＬＭＭはＫＬＭ
によって構成されていため、アドレス３のデータと同じ
データ（３）を持つアドレス９，１０のデータは同図（
Ｃ）に示されるように全て同時に２に書き替えられる。

次に、ＫＬＣは新たなアドレス４を発生する。アドレス
とデータとは異なるためにさらに次にアドレス５を発生
し、以後、上記と同様な処理を繰り返す。この結果、不
連続値は連続値に変換される。

第３０図はこの特徴抽出プロセッサＫ　Ｌ　Ｃの内部構
成を示すブロック図である。このＫＬＣを使用すること
により、１次ラベリングによって発生する仮ラベルの前
処理が行われる。また、２次ラベリングの時、ラベリン
グと同時に、同一ラベル領域の面積の演算、同一ラベル
領域のＸ方向アドレスの合計の演算および同一ラベル領
域のＹ方向アドレスの合計の演算がこのＫＬＣによって
実行される。

ＫＬＣは、＋１加算器３００１と、２つの加算器３００
２．３００３と、比較器３００４および２つのカウンタ
３００５，３００６とから構成されている。＋１加算器
３００１は、同一ラベル値を持つ画素入力が有った場合
にそのカウント数を１つづつカウントアツプし、同一ラ
ベル領域の面積を演算してこれを５ｉｚｅとして出力す
る。加算器３００２．３００３にはＸ方向アドレス値。

Ｙ方向アドレス値が入力されている。そして、同一ラベ
ル値の画素入力が有った場合に、各方向ごとにアドレス
値を加算していき、各アドレス方向ごとに同一ラベル領
域のアドレス値の合計を演算する。各合計値はＸ　　Ａ
ＤＤＲおよびＹ　　ＡＤＤＲとして出力される。各方向
のアドレスの合計値を同一ラベル領域の面積で割ること
により、各方向の重心を求めることが出来る。そして、
各同一ラベル領域の重心を求め、地平線よりも上に重心
がある領域は、道路候補領域の抽出に有効な領域ではな
いものとして除去する。

比較器３００４およびカウンタ３００５゜３００６は、
１次ラベリングの時に発生する仮ラベルの前処理、つま
り、不連続なラベル値を連続なラベル値に変換する処理
に使用される。カウンタ３００５，３００６にはクロッ
ク信号ＣＬＫが入力され、カウンタ３００５の出力はラ
ベルマツチングメモリＬＭＭへ出力されるマツチングア
ドレスＭＡＴ　　ＡＤＤＲになる。このアドレスは比較
器３００４にも同時に与えられる。また、カウンタ３０
０６の出力はラベルマツチングメモリしＭＭへ出力され
るデータＭＡＴ　　ＤＡＴＡになる。

比較器３００４は与えられたアドレスおよびデータを前
述のようにして比較し、アドレスとデータの６値が一致
する場合にはカウンタ３００６に信号を出力する。カウ
ンタ３００６はこの信号を入力した場合にはＭａｔ　　
ＤＡＴＡに現在のカウンタの値を出力し、値を１つカウ
ントアツプする。

以上説明してきたラベリング処理の処理時間は、各ラン
に沿って行われる２スキャンのラスク走査時間と、ラベ
ル統合時間との和の時間を必要とした。しかし、第１６
図に示されるラベルメモリＬＡＢＥＬＭ１６０６に前述
したラベリングメモリＫＬＭを使用して構成することに
より、１スキャンでラベリング処理を実行することが出
来る。すなわち、第３１図に示されるように、多値の入
力画像３１０１が取り込まれた場合に、ラベリングプロ
セッサＫＬＰ３１０２はラインレジスタ３１０３および
ラベルマツチングメモリ３１０４を使用して前述と同様
にラベリング処理を実行する。そして、このラベリング
によって得られた各画素のラベル値は、各ランの最終の
画素の走査時点でラベル画像メモリ３１０５にそのまま
書き込まれる。なお、ラベル統合は行われないため、各
ラベルの値は不連続な値のままに記憶される。

ラベリングメモリＫＬＭは、前述したように、各内部レ
ジスタにコンパレータが対になって接続されており、コ
ンパレータでの比較結果が一致したレジスタおよびアド
レスセレクトされたレジスタに、−度に新しいデータが
書き込まれるものである。このＫＬＭの特徴によって１
スキャンラベリングが可能になっている。また、ラベリ
ングプロセッサＫＬＰは、本方式のアルゴリズムがハー
ドウェア化されたものであり、高速ラベリングを可能に
するものである。

この１スキャンラベリング方式により、ラベリング処理
時間を今までの１／２以下に短縮することが可能になる
。例えば、装置が８　Ｍ　Ｈｚのクロック信号で動作し
ている場合には、今までのラベリング処理時間には、ウ
ィンドウを２スキャンするための６６ｍ５ｅｃと、ラベ
ル統合に必要とされる時間とを必要とした。しかし、こ
の１スキャン方式によれば、１／２以下の３３ｍ５ｅｃ
でラベリング処理を行うことが出来る。

また、通常の画素の走査は入力画像の画面左上から右下
に行うが、道路領域を抽出する画像処理においては、目
的とする画像は画像の下方に位置する。従って、目的と
する画像を走査する際に仮ラベルを一記憶するメモリが
オーバーフローする事態が発生する可能性がある。この
ため、走査を画面の右下から左上に行い、目的とする画
像を初めに走査することにより、目的とする画像を常に
取得できるようにする。つまり、目的とする画像を最初
に取得すれば、メモリのオーバーフローが発生してもそ
のオーバーフローの時の画像走査は不要な画像部分につ
いての走査になり、目的とする画像を常に取得すること
ができる。

次に、画像分割されて得られた「複数の領域の併合手法
」について説明する。

「テンプレート画像を用いた繰返しきい値処理による走
行コースの抽出手法」により道路候補領域が求められ、
「明るさの違いに注目した走行コース上の影や高輝度部
分の抽出手段」により低輝度領域である影や高輝度領域
が求められた。この道路候補領域を基準にし、道路候補
領域と強く繋がっている低輝度領域や高輝度領域を道路
候補領域に併合し、一つの領域として扱い、これを走行
コースとみなす。このためには、各領域に隣接している
共通境界共と各領域の周囲長とを求め、繋がっている各
領域どうしの関係を記述する。この各領域どうしの関係
の記述により併合関係が表され、従来のようにラベルの
付は替え操作を行わなくても、領域と領域の併合処理を
したのと同じ結果が得られる。なお、共通境界共は各領
域に隣接している画素の辺の長さに基づいて求まり、周
囲長は各領域の最外部の画素の辺の長さに基づいて求ま
る。

以下に本手法のアルゴリズムを示す。本手法は二通りあ
り、第１に、逆り字のマスクを走査させる逆り字マスク
走査式手法があり、この手法は簡単なアルゴリズムでハ
ードウェア化に適している。

第２に、領域の境界を局所的に探査する領域境界探査式
手法かあり、この手法は必要な領域の境界のみを探査す
るため、少ないメモリで処理できて有効である。

第１の手法である逆り字マスク走査式手法は、第３２図
に示される逆り字マスクをラベル画像の左から右へ、上
から下へ走査することにより実行される。図示のマスク
に現れるＸ画素は着目する画素であり、ａ画素は着目画
素Ｘの上に位置する画素、ｂ画素は着目画素Ｘの左隣に
位置する画素である。例えば、第３３図に示される画素
領域を想定する。同図に示される口は１つの画素を表し
ており、この口の中の数値はその画素のラベル値を表し
ている。本例の場合には、ラベル値１の領域とラベル値
４の領域とが隣接している。なお、図には示されていな
いが、背景領域はラベル値が０になっている。

各領域の周囲長ｏｂは、逆り字マスクを各領域の行に沿
って、つまり、ランに沿って走査することにより求まる
。具体的には、ラベル値１の領域の周囲長ｏｂｌは次の
ように求まる。まず、逆り字マスクのＸ画素を最上段の
ランの左端に位置する画素に合わせる。この場合、ａ画
素およびｂ画素は背景領域にあり、ラベル値は０になっ
ているため、この画素の２辺はラベル値１の領域の周囲
に位置していることが分かる。従って、周囲長ｏｂｌを
カウントするカウンタに２を加える。次に、逆り字マス
クを右に走査し、Ｘ画素を右隣の画素に合わせる。この
場合、ａ画素は背景領域にあり、ｂ画素は前回マスクを
合わせたラベル値１の本領域内の画素にある。従って、
この画素の１辺がラベル値１の本領域の周囲に位置して
いることが分かり、カウンタにさらに１を加える。この
ように逆り字マスクをランに沿ってラベル値１の領域に
ついて走査することにより、周囲長ｏｂｌは１８になる
。なお、周囲長ｏｂの単位は画素の辺の数である。

ラベル値４の領域の周囲長ｏｂ４も上記の周囲長ｏｂｌ
と同様にして求められ、その値は２ｏになる。

また、ラベル値１の領域とラベル値４の領域との共通境
界共ｃｂは次のようにして求めることが出来る。この共
通境界共ｃｂは、ラベル値１の領域から見たラベル値４
の領域との共通境界共ｃｂ１４と、ラベル値４の領域か
ら見たラベル値１の領域との共通境界共ｃｂ４１とで異
なる場合がある。つまり、マスクか逆り字の形状をして
おり、各画素の２近傍の画素しか考慮しないために共通
境界共に差が生じるのであるが、複数の領域の併合処理
に際しては同等問題とならない。なお、走査するマスク
を着目画素の４近傍を見る十字形状にすれば、共通境界
共に差がでることはない。

ラベル値１の領域から見たラベル値４との共通境界共ｃ
ｂ１４は、周囲長ｏｂｌを求める際のマスク走査によっ
て求められる。この共通境界共ｃｂ１４は０になる。す
なわち、ラベル値１の領域の各ランについて逆り字マス
クを走査しても、ａ画素およびｂ画素にはラベル値４の
画素が現れないからである。

ラベル値４の領域から見たラベル値１の領域との共通境
界共ｃｂ４１は、周囲長ｏｂ４を求める際のマスク走査
によって求めることが出来る。この共通境界共ｃｂ４１
は３になる。すなわち、ラベル値４の領域の２段目およ
び３段目のランの先頭画素にマスクが位置する場合、ｂ
画素にはラベル値１の画素が現れる。このため、３段目
までのランについてのマスク走査により、共通境界共ｃ
ｂ４１をカウントするカウンタの値は２になる。

さらに、４段目のランの先頭位置にマスクが位置する際
には、マスクのａ画素にはラベル値１の画素が現れる。

このため、カウンタに１が加えられてカウンタの積算値
は３になり、共通境界共ｃｂ４１は３になる。なお、共
通境界共ｃｂの単位は画素の辺の数である。

次に、このように求めた各領域間の共通境界共および各
領域の周囲長は、第３４図に示されるラベル間境界長マ
トリクスにその値が記憶される。

同マトリクスの各列に付された数字０，１，２゜・・・
、ｊ、・・・ｋｌおよび各行に付された数字０，１゜２
、・・・、ｉ、・・・Ωはラベル値を示す。各列および
各行の数値によって指定される場所に記憶される数値ｍ
ｉｊは、ラベル値ｉの領域から見たラベル値ｊの領域と
の共通境界共である。また、ｋ＋］番目の列に記憶され
る数値２は、ラベル値ｌの領域の周囲長である。

第３３図に示された画素領域を例とすると、ラベル値１
の領域から見たラベル値４の領域との共通境界共ｃｂ１
４の値は０であるため、同マトリクスの１行４列に位置
するメモリには０が記憶される。また、ラベル値４の領
域から見たラベル・値１の領域との共通境界共ｃｂ４１
の値は３であるため、同マトリクスの４行１列に位置す
るメモリには３が記憶される。

各領域の周囲長および各領域間の共通境界共を求めてマ
トリクスを作成した後、各領域間の接続度を計算する。

この接続度は共通境界共と周囲長とに基づく次式により
求まる。

接続度−Ｘ／ｍ　ｉ　ｎ　（Ａ、　　Ｂ）ここで、Ａは
ラベル値ｉの領域の周囲長、Ｂはラベル値ｊの領域の周
囲長であり、ｍ１ｎ（Ａ。

Ｂ）はＡ、Ｂの各数値の内の小さい方の数値を表す。ま
た、Ｘは次式で表される各領域間の共通境界共の平均値
である。

Ｘ−（Ｘ１＋Ｘ２）／２ Ｘｌはラベル値ｉの領域から見たラベル値ｊの領域との
共通境界共、Ｘ２はラベル値ｊの領域から見たラベル値
ｉの領域との共通境界共である。

上記のＸを示す式は、ＸｌおよびＸ２共に０でない（Ｘ
ｉ≠０．Ｘ２≠０）場合に有効である。

Ｘ２がＯ（Ｘ２−０）の場合にはＸは次式に示される。

−Ｘ　　１ Ｘｌが０　（Ｘｉ−０）の場合にはＸは次式に示される
。

−Ｘ２ 計算した接続度が所定のしきい値以上であれば、ラベル
値ｉの領域とラベル値ｊの領域との繋がりは強く、各領
域は併合すべき関係にある。また、接続度が所定のしき
い値以下であれば、ラベル値ｉの領域とラベル値ｊの領
域との繋がりは薄く、各領域は併合すべき関係にはない
。この併合関係は、第３５図に示される特徴量リストの
接続ラベル欄に記述される。

同リストのラベルＮｏ、はラベル値であり、面積１重心
はそのラベル値の領域の面積および重心である。この面
積および重心は前述のラベリング処理の時に得られる。

外接長方形とは、そのラベル値の領域内の全ての画素を
囲む長方形である。

外接長方形は、辺と辺との交点である４つの頂点の内、
左上の頂点の座標ｔＬ　（ｘ、ｙ）と、右下の頂点の座
標ｂＲ（ｘ、ｙ）とによって特定される。各座標は上述
の境界の探査過程処理の時に求められる。また、接続ラ
ベル欄に記載されたラベルＮｏ、は、そのラベル値の領
域と併合すべき関係にある領域のラベル値を示している
。この欄に記載された領域とさらに併合すべき領域があ
る場合には、図示のように、接続ラベルがさらにポイン
タにより繋げられる。

また、同リストに記述された各特徴量は第３６図に示さ
れる各領域のものである。各領域にはラベル値ＩＩｌ〜
ｐ４が付され、また、０１〜Ｇ４は各領域の重心位置を
示している。また、各領域には外接長方形が描かれてい
る。この長方形の上の１辺と領域との接点は座標ｓ　ｔ
　（ｘ、　　ｙ）として表され、領域開始点ｔＬ　（ｘ
、ｙ）から水平操作することにより求まる。座標ｓｔは
後述する手法において利用される。

ラベル値ｐ１の領域とラベル値１１２の領域とは併合す
べき関係にあるため、特徴量リストのラベルＮ　ｏ　、
ρ１の行の接続ラベル欄にはラベル値ｐ２が記述される
。さらに、ラベル値ｇ１の領域は、ラベル値Ω３の領域
およびラベル値ｇ４の領域とも併合すべき関係にあるた
め、ラベル値ｇ３およびｇ４の接続ラベルがポインタに
より繋げられる。また、ラベルＮｏ、ｆ１２〜Ω４の各
行の接続ラベル欄にも同様な考え方で各領域間の接続関
係が記述される。

次に、領域境界探査式手法について説明する。

まず、対象とする領域に外接する長方形を描き、この外
接長方形と領域とが接する座標５ｔ（ｘ。

ｙ）に位置する探索開始画素を求める。そして、この探
索開始画素の８近傍に位置する画素について調査する。

８近傍に位置する各参照画素には、第３７図に示される
ように位置Ｎｏ、を付す。つまり、着目画素の上に位置
するＮｏ、を０とし、時計回りに順に番号を付す。探索
開始画素の次に探索すべき画素の座標は、第３８図（ａ
）、（ｂ）に表された画素参照テーブルを用いて決定す
る。

同図（ａ）に示されるテーブルは画素の探索を時計回り
（右回り）に実行する際に参照されるテーブルであり、
同図（ｂ）に示されるテーブルは画素の探索を反時計回
り（左回り）に実行する際に参照されるテーブルである
。テーブルの括弧（）に挾まれたＯ〜７の数値は、第３
７図の参照画素の位置Ｎｏ、に対応するものである。

次に探査すべき画素は、前回の画素位置に対する今回の
画素位置に対応する参照画素位置Ｎｏ。

を求め、この位置Ｎｏ、に一致するテーブルの行Ｎｏ、
の列Ｎｏ、を参照することにより決定される。画素参照
テーブルを用いた探索画素の決定方式について以下に具
体的に説明する。画素領域の境界部が第３９図のように
形成されている場合を想定する。同図の斜線が付された
口はラベル値が０ではない画素を示している。前回探索
した画素を記号△で示し、現在探索する画素を記号Ｏで
示し、次に探索すべき画素を記号◎で示す。

前回の画素位置△に対する今回の画素位置Ｏは、第３７
図の参照画素位置Ｎｏ、では１に対応する。

領域の境界付近の画素を右回りに探索することにすると
、画素参照テーブルは第３８図（ａ）のテーブルを参照
することになる。参照画素位置Ｎｏ。

は１であるため、行Ｎｏ、が１の列Ｎｏ、　　（７゜０
．１．２，３，４，５．６１を参照する。なお、行Ｎｏ
、は最上段の行がＯであり、順に１〜７となっている。

また、列Ｎｏ、には参照すべき画素のＮｏ、が全で記さ
れており、画素の８近傍の参照をこの順番に従って行う
ことにより、通常のアドレス計算におけるモジュロ計算
を避けることが出来る。

すなわち、列Ｎｏ、は７から始まっているため、次に探
査すべき画素は現在位置○の斜め左上に位置する画素◎
になる。画素◎は背景領域であり、ラベル値は０である
ため、列Ｎｏ、に従って次の画素を探索する。つまり、
次の参照画素位置Ｎｏ。

は０であるため、現在位置Ｏの上に位置する画素を探索
する。この画素も背景領域にあるため、さらに、列Ｎｏ
、に従って参照画素位置Ｎｏ、が１の画素を探索する。

この画素はラベル値を持っており、０ではないため、次
に探索する画素の基準をこの位置Ｎｏ、１の画素におき
、この８近傍について上記と同様に探索する。そして、
領域の境界に沿った各画素について上記の処理を行い、
探索開始画素に戻るまで同様の処理を各画素について繰
り返す。

また、この探索の処理において、次の規則に従った処理
を行うことにより、ラベル値ｉの自身の領域の周囲長ｏ
ｂｉおよびラベル値ｊの隣接する領域との共通境界長ｃ
ｂｌｊを求めることが出来る。

つまり、現在位置の上下左右の４近傍に隣接する領域に
ラベル値ｊが存在すれば、共通境界長ｃｂ１ｊをカウン
トするカウンタに１を加算する。同時に、自己の周囲長
ｏｂｉをカウントするカウンタに１を加算する。また、
現在位置の４近傍に自身のラベル値ｉと同一のラベル値
の画素が存在しない場合には、自己の周囲長のカウンタ
に１を加算する。

次に、求めた周囲長および共通境界長に基づき、逆り字
マスク操作式手法における計算と同様にして各領域間の
接続度を求める。これと同時に前述と同様にして特徴量
リストを作成する。この特徴量リストの接続ラベルには
各領域間の接続関係が記述され、複数の領域の併合関係
が判断される。

つまり、本手法によっても、各領域のラベルの付は替え
操作を行わなくとも各領域の併合関係が判明する。なお
、上記の境界探査は右回りに行ったが、境界探査を左回
りに実行する場合には、第３８図（ｂ）に示される左回
り用の画素参照テーブルを用いることにより、右回りと
同様にして処理を行うことが可能である。

このように画素参照テーブルを用いることにより、速い
境界探査が可能になる。つまり、探索の基準となる画素
の８近傍の全ての画素について調査する必要は無い。ま
た、領域の境界部付近の画素のみを探索すれば良く、領
域内の全ての画素について探索する必要が無くなる。従
って、処理時間は短縮される。

以上説明した各手法によれば、従来のようにラベルの付
は替え走査を行わずに各分割領域間の併合関係を判断す
ることが出来る。つまり、「テンプレート画像を用いた
繰返しきい値処理による走行コースの抽出手法」で得ら
れた道路候補領域と、「明るさの違いに注目した走行コ
ース上の影や高輝度部分の抽出手段」で得られた低輝度
および高輝度領域とが併合され、現実に即した走行コー
ス領域を得ることが出来る。

次に、「走行可能範囲を求める手段」について説明する
。本手段は、「テンプレート画像を用いた繰返しきい値
処理による走行コースの抽出手法」、「繰返しきい値処
理における特徴量ヒストグラムの形状に基づくしきい値
設定手段」、「明るさの違いに注目した走行コース上の
影や高輝度部分の抽出手段」によって求められた走行コ
ース画像から最終的な走行可能範囲、すなわち、道路端
座標を求めるものである。

第４０図は本手法による走行コース認識システムの処理
全体の流れを示すフローチャートである。

まず、カラーカメラ入力装置によって走行コースの画像
情報を取り込み、取り込まれたＲ、Ｇ、Ｂ画像を前述の
ようにして明度Ｉ、彩度Ｓの各画像に変換する。変換さ
れた各画像に基づき、カラー処理装置において明度Ｉを
特徴量とするヒストグラムおよび彩度Ｓを特徴量とする
ヒストグラムを前述のように作成する（ステップ４００
１）。次に、作成した各ヒストグラムに基づき、「テン
プレート画像を用いた繰返しきい値処理による走行コー
スの抽出手法」により道路候補領域を抽出し、小領域を
除去する（ステップ４００２）。

次に、本手法により、抽出した道路候補領域の゛道路端
の点列を評価する（ステップ４００３）。

そして、この道路端の点列の評価結果に基づき、抽出し
た道路候補領域は単調路か否がを判断する（ステップ４
００４）。道路らしい単調路である場合には、さらに、
求まった複数の各点列間の関係を比較し、評価する（ス
テップ４００５）。そして、この評価結果を最終的に出
力する（ステップ４００６）。この後、今回入力された
画像に対する点列は求められたものとし、次の画像に対
する処理を実行する。

また、ステップ４００４での判断結果が道路らしさが低
くて単調路でない場合には、「明るさの違いに注目した
走行コース上の影や高輝度部分の抽出手段」により、低
輝度領域が有ればこれを抽出する（ステップ４００７）
。そして、求めた低輝度領域と道路候補領域とを併合し
、本手法により道路端の点列を評価する（ステップ４０
０８）。

この道路端の点列の評価結果に基づき、抽出した道路候
補領域は単調路か否がを判断する（ステップ４００９）
。単調路である場合には、ステップ４００５以降の処理
を実行し、次の画像に対する処理に移行する。

また、単調路でない場合には、次に、「明るさの違いに
注目した走行コース上の影や高輝度部分の抽出手段」に
より、高輝度領域が有ればこれを抽出する（ステップ４
０１０）。そして、求めた高輝度領域と道路候補領域と
を併合し、本手法により道路端の点列を評価する（ステ
ップ４０１１）。この道路端の点列の評価結果に基づき
、抽出した道路候補領域は単調路か否かを判断する（ス
テップ４０１２）。単調路である場合には、ステップ４
００５以降の処理を実行し、次の画像に対する処理に移
行する。単調路でない場合には、低輝度領域および高輝
度領域を道路候補領域に併合し、３領域を併合した領域
から得られる道路端の点列を評価する（ステップ４０１
Ｂ）。

この後ステップ４００５移行の処理を実行し、次の画像
に対する処理に移行する。

次に、上記の道路候補領域の道路端の点列座標を求める
手法について以下に説明する。

例えば、第４１図に示される画像領域が得られた場合を
想定する。図の左上を原点とし、Ｘ座標は水平方向を右
に向かって正とし、Ｘ座標は垂直方向を下に向かって正
とする。この画像に示された道路領域には切れ込みが存
在し、また、ノイズ等により画像情報が得られなかった
箇所か散在する。同図に示される画像の各画素にラベリ
ング処理が行われ、この処理結果、得られる画素領域が
第４２図のように示されたものとする。同図の斜線部は
ラベル値がＯではなく、あるラベル値を持った画素とす
る。なお、斜線のない画素はラベル値が０の背景領域に
位置する画素である。また、３×３個の画素を囲む枠４
２０１はウィンドウＷであり、ウィンドウＷの中に存在
する斜線画素（０でない画素値を有する画素）の数はヒ
ストグラムの値になる。図示に位置する場合のウィンド
ウＷによるヒストグラムの値は５である。また、図示の
ウィンドＷは３×３のウィンドウになっているが、５×
５等の他の大きさのウィンドウであっても良い。

まず、ウィンドウＷを画像の中央部から左に向けて水平
に走査する。なお、画像の中央部がらウィンドウＷを走
査するのは、処理の開始時だけである。移動しながら各
位置におけるウィンドウＷのヒストグラムの値を求める
。このヒストグラム値を監視しながらウィンドウＷを移
動し、所定のしきい値以下のヒストグラム値が連続して
得られた場合、つまり、ウィンドウＷ内の斜線画素の密
度が低くなった場合、ウィンドウＷは道路領域から外れ
たものと判断する。そして、ヒストグラム値が所定のし
きい値以下になった最初のウィンドウＷの位置を左側の
道路端の点列座標ＸＬとする。

次に、ウィンドウＷを右側へ向けて水平走査し、ウィン
ドウＷ内のヒストグラム値が連続して所定のしきい値以
下になった場合、このヒストグラム値の変化する最初の
ウィンドウＷの位置を右側の道路端の点列座標ＸＲとす
る。

次に、ウィンドウＷの位置するＹ座標を１つ減らし、ウ
ィンドウＷを画像の上方へ移動して水平走査位置をずら
す。そして、上記の最初の水平走査により得られた道路
端座機ＸＬ、ＸＲがら道路領域の中央位置を式（ＸＲ−
ＸＬ）／２の計算をすることにより求める。この中央位
置をウィンドウＷの走査開始位置とし、ウィンドウＷを
左右に走査する。この走査においても上記と同様にして
ウィンドウＷ内のヒストグラム値を監視し、ヒストグラ
ム値の変化する位置を道路端の座標とする。

以下、水平走査位置のＹ座標が地平線位置になるまで同
様の処理を繰り返すことにより、左右の道路端の一連の
点列座標を得ることが出来る。

また、このウィンドウＷの走査において、走査開始位置
のウィンドウＷがら得られるヒストグラム値が最初から
所定のしきい値以下であり、しがも、ウィンドウＷを左
側へ走査して得られるヒストグラム値が連続して所定の
しきい値以下の場合には、中央位置が道路端座機になっ
てしまう。しかし、この場合にはウィンドウＷの走査方
向を逆の右側に変える。そして、所定のしきい値以上の
ヒストグラム値が連続して得られた場合には、最初に所
定のしきい値以上のヒストグラム値が得られたウィンド
ウＷの位置を左側の道路端の座標とする。右側の道路端
の座標は、ウィンドウＷをさらに右側に走査し、ヒスト
グラム値の変化する位置を求めることにより判明する。

次に、このように求めた道路端の点列座標は領域の境界
付近に存在するため、各点を繋ぐことにより得られる境
界線は一様に滑らかなものではない。このため、ある１
点の前後に位置する各点とこの１点とがなす角度を点列
の全点について計算し、この分散値を滑らかさの基準と
する。また、得られた角度が鋭角のときはその点は除去
して計算する。このように左右の道路端の各点列座標を
平滑化した後、これら点列座標を実空間へ射影変換する
。この射影変換は自律走行車に取り付けたカラーカメラ
の俯角、高さ、焦点距離に基づいて行われる。

さらに、この射影変換後の点列において、左右の点列を
一組として左右の各点列間の距離、つまり、道路幅を求
める。そして、この道路幅が走行車の車体幅より狭くな
る点の数を数え、点列の全点数に対するこの狭い幅の点
数を計算する。全点数に対する狭い幅の点数の比率が小
さい場合には、狭い幅の点は道路端の点としてはふされ
しくないため、これら各点は除去する。

また、この道路端の点列の評価に際して、最初に求めた
一組の左右端によって定まる道路幅と差の少ない左右の
組を数える。差の少ない左右の組みが全部の組みに対し
て占める比率が大きい場合、つまり、左右の道路端列が
ある程度平行している場合には、道路らしさとしての評
価は最も高くなり、単調路として判断される。このよう
に単調路として判断される場合には、第４０図に示され
たフローチャートのステップ４００３．４００８゜４０
１１の処理をしなくても道路端を得ることが出来る。

次に、自立走行車が道路端に極端に近付き過ぎた場合に
おける、道路左右端の点列の補正手段について説明する
。第４３図（ａ）〜（ｄ）は自律走行車が道路端に近付
（過程を示している。同図（ａ）は自律走行車が曲率の
きついカーブ手前に位置している場合を示している。こ
の場合には、自律走行車に取り付けられたカラーカメラ
には、左側の道路端りおよび右側の道路端Ｒが視野内に
捕らえられている。道路のカーブの曲率がきつい場合、
同図（ａ）に位置していた自律走行車は同図（ｂ）に示
される位置に移動する。この場合、右側の道路端Ｒはカ
メラの視野から消える。

さらに、自律走行車は同図（ｃ）に示される位置に移動
し、テンプレートに占める道路外領域の比率は段々高く
なる。図示の斜線部は道路外領域を示している。さらに
、自律走行車は同図（ｄ）に示される位置に移動する。

この場合、カメラの視野には左側の道路端および道路外
領域の左側の境界部が捕らえられている。また、テンプ
レート画像に占める道路外領域の占める比率は高くなり
、道路外領域が走行路コースと誤認される。この結果、
左側の道路端は右側の道路端Ｒとして誤認され、道路外
領域の左側の境界は左側の道路端りと誤認される。

しかし、順次撮像される画像情報から得られる道路端の
点列は、前回画像における右側の点列が今回画像におい
て極端に左側に位置する点列になることはない。また、
逆に、前回画像における左側の点列が今回画像において
極端に右側に位置する点列になることはない。従って、
１処理サイクル前の画像情報から得た点列情報を記憶保
持しておき、今回の画像情報から得た点列とこの前回の
画像情報から得た点列との距離を後述するように計算す
る。そして、例えば、前回求めた右側の道路端の点列と
今回求めた右側の道路端の点列との距離が離れており、
前回の右側点列が今回の左側点列に近い場合には、左右
の道路端の位置が逆転したものと判断する。そして、今
回得た道路端の右側と左側とを入れ替える。

これを第４３図に示される画像を用いて説明する。同図
（ｃ）の画像を前回得られた画像とし、左側の道路端の
点列をＬｉｆと表現する。同図（ｄ）の画像を今回求め
た画像とし、誤認している左側の道路端の点列をＬｌ、
誤認している右側の道路端の点列をＲｉと表現する。左
右の道路端の点列が逆転しているか否かの判断は、前回
の点列Ｌ１−１が今回の点列Ｌｉ、Ｒ１のうちどちらに
近いかを判断することにより行う。前回の点列Ｌ１−１
が今回の点列Ｒ１に近い場合には、左右の道路端の点列
は逆転したものと判断する。

−膜内に、この点列の近さの判断は次のように行う。つ
まり、今回の画像から得た左側の点列を１グループ、右
側の点列をもう１つのグループとし、前回の左側または
右側の点列がこれら各グループのうちのどちらのグルー
プに近いかを判断することにより行う。このどちらのグ
ループに近いかの判断は、以−下に詳述するマハラノビ
スの汎距離によって決定する。第４４図はこのマハラノ
ビスの汎距離を説明するための図である。

前回の画像情報による左側点列Ｌ１−１（または右側点
列Ｒ１−１）の点を（ｘ、ｙ）、今回の画像情報による
左側点列Ｌｉの点を（ｘ　ｌｊ、　　ｙ　１ｊ）、今回
の画像情報による右側点列Ｒｉの点を（ｘ　２ｊ。

ｙ　２ｊ）とする。前回の点列の点（ｘ、ｙ）が今回の
点列Ｌ１とＲ１とのうちのどちらに近いかは、マハラノ
ビスの汎距離を点列Ｌｌ−１（または点列Ｒ１−１）の
全点に対して以下のように計算し、距離の短い点が多く
属すほうの点列に近いものとする。また、今回の画像に
より求まった点列が直線の時には、この直線までの距離
を計算する。

まず、点列Ｌ＋上の各点について、Ｘ方向成分の平均値
μｍ１．Ｘ方向成分の平均値μｍ２．Ｘ方向成分の分散
値σ１１．ｙ方向成分の分散値σ１２．　　ｘｙ各方向
の共分散値σ１１２および相関係数ρ１を求める。ここ
で、ｎｉ（よ点列ｌｊ上に位置する点の数である。なお
、点列Ｒ４上の各点についても以下の式と同様な式によ
り求めることが出来る。

μｍ１−Σｘｌｊ／ｎｌ　、　　Ｒ１２−Σｙ　ｌｊ／
　ｎ　１σ１１２−Σ（ｘｌｊ−μｌｌ）　２／　（ｎ
ｌ　−１）σ１２２−Σ（ｙ　ｌｊ−μｍ２）　２／　
（ｎｌ　−１）σ１１２−Σ（ｘ　ｌｊ−μｍ１）　　
（ｙ　ｌｊ−Ｒ１２）／（ｎｌ　−１） ρｌ　−σ１１２　／σＩＩＸ　σ１２これら各数値に
基づいて、前回の点列の点（ｘ。

ｙ）と今回の点列Ｌ＋の点（ｘ　ｌｊ、　　ｙ　ｌｊ）
との間のマ・・ラノビスの汎距ＪＩＩＤＩ　”を次式に
より求めることか出来る。

Ｄｉ　２＝　（［（ｘ−、ＣＺＩＩ）　／（７１１］　
２＋　［（ｙ−、ｃｚ１２）　／ｃｒ１２］　２−２ρ
１　　［（ｘ−μｌｌ）　／σ１１］Ｘ［（ｙ−μｍ２
）／σ１１］　１　／（１−ρ１）２また、同様に前回
の点列の点（ｘ、ｙ）と今回の点列Ｒ１の点（ｘ　２ｊ
、　　ｙ　２ｊ）との間のマ／％ラノビスの汎距離Ｄ２
２を次式により求めることが出来、る。

Ｄ２　２−（［（ｘ　　−μ　２１）　／　σ　２１コ
　２　＋［（ｙ−Ｒ２２）／σ２２］２−２ρ２　［（
Ｘ−Ｒ２１）／σ　２１］×［（ｙ　　−μ　２２）　
／　σ　２２コ　　）　　ｌ（１−ρ　２）２上記の各
式に基づいて各汎距離を計算した結果、Ｄｌ　２＞Ｄ２
２が成立する場合には、前回の点（ｘ、ｙ）は今回の右
側の道路端の点列Ｒ１に近いことになる。また、Ｄｉ２
〉Ｄ２２が成立しない場合には、逆に、前回の点（ｘ、
ｙ）は今回の左側の道路端の点列Ｌ１に近いことになる
。

以上のように画像分割処理の結果得られた道路候補領域
が、ノイズなどによって不明瞭な輪郭の領域になっても
、本手法による前記のウィンドウのヒストグラム値の変
化に基づけば、道路の端点を確実に得ることが出来る。

これは、本手法が領域を基にしてその端点を探索してい
るためであり、本手法によれば領域の左右端を明確に区
別することが出来る。

また、「明るさの違いに注目した走行コース上の影や高
輝度領域の抽出手段」で求められた低輝度領域は、走行
コースが全体的に暗い場合には、道路外に位置する場合
もある。このような場合に道路外の低輝度領域と道路領
域とが併合される場合があり、道路候補領域の輪郭の形
状が複雑化する。しかし、本手法により、得られた道路
端の点列データを平滑化することにより、複雑な輪郭の
領域は大局的に評価され、上記のような低輝度領域は無
視され、自動車が走行する上で同等支障の無い道路端の
情報を得ることが出来る。

また、「テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」によれば、自律走行車が曲
率のきつい道路の左または右に極端に近付いた場合、テ
ンプレートが道路外に出てしまってそこを道路とみなし
てしまう場合がある。

この場合には道路端の左右の認識を誤ってしまう。

しかし、上述の本手法によれば、道路の左右端のデータ
を誤って認識しても、直ぐにこの認識は補正され、常に
信頼性の高い道路端の情報を得ることが出来る。

次に、「多様な形状の走行コースの内部表現手法」、つ
まり、得られた道路端の多様な点列を構造化して表現す
る手法について説明する。

本手法は、「テンプレート画像を用いた繰返しきい値処
理による走行コースの抽出手段」で得られた走行コース
の画像と、「明るさの違いに注目した走行コースからの
影や高輝度部分の抽出手段」で得られた画像と、「複数
の領域の併合手段」で求めた特徴量リストに基づき、画
像のラベル変位箇所を検知しながら領域の境界点のスト
ラフチャを作成し、前後方向のリンクを付け、境界の属
性を付与することによって、走行コースをコンピュータ
内部に表現し、走行のための有効な点列群を求めるもの
である。「複数の領域を併合する手段」において作成さ
れた領域と領域との記述を表した特徴量リストを利用し
て、高速に領域の端点が得られ、道路端、路肩端２分岐
路および合流路は計算機の内部に構造化されたリストに
よって表現される。

第４５図は道路の構造化処理の概略を示すフローチャー
トである。

まず、カラーカメラ入力装置などの各ハードウェアの初
期設定時に領域境界点ストラフチャのＸ方向のリストを
作成する（ステップ４５０１）。

次に、各領域に付けられたラベル値のＸ方向の変化箇所
を検出してＸ方向のリストを作成し、各境界点のＸ方向
についてリンクする（ステップ４５０２）。そして各領
域の特徴量リストの接続ラベルを考慮して領域の左端お
よび右端にその属性を付与し、各領域の左右端を区分す
る（ステップ４５０Ｂ）。次に、後述する穴などの属性
を各境界点に付与しながら、画面の前後方向（Ｘ方向）
の各境界点の関連付けを行い、各境界点のＸ方向につい
てリンクする（ステップ４５０４）、また、道路領域が
分岐したり、合流したりする場合が有り、これら各場合
に各領域の境界の連続性を判断し、各境界点に付与され
た属性の付は替えを行う（ステップ４５０５）。この後
、各領域の境界点の点列の開始位置を選択し、有効点列
を検出する（ステップ４５０６）。

以上の各処理について以下に詳述する。

ステップ４５０１の処理について、第４６図を参照して
説明する。

同図（ａ）は、実空間上における道路面（水平面と仮定
する）を画像上に射影変換する際の原理を示す図である
。道路面４６０１は等間隔（Ｎ）に区分され、道路領域
および道路上の各区分線は遠方の１点に向けて画像４６
０２上に射影され、カラーカメラのビューボートが得ら
れる。同図（ｂ）はこのようにして得られた画像の詳細
を示す図である。画像上には道路領域の境界線４６０３
および区分線４６０４が射影変換されている。実空間上
における区分線は間隔ｇの等間隔であったが、画像上に
おいては道路領域の遠方に行くに従ってその間隔が詰ま
っている。この各区分線４６０４が位置するｙ座標を求
め、同図（ｃ）に示されるＸ方向の領域境界点ストラフ
チャ４６０５を作成する。

この領域境界点ストラフチャ４６０５の６枠は、道路領
域の境界線４６０３のうちの左端の境界線と区分線４６
０４との交点に位置する各境界点に対応している。６枠
は、図示の矢印に示されるポインタによって相互の連結
関係が表現されている。

これらの各枠内には各境界点の特徴が、同図（ｄ）に示
されるリスト４６０６として記述されている。

まず、求めたｙ座標の６値がリスト４６０６に記述され
、Ｘ方向のリストが作成される。このリスト４６０６に
は、上記のｙ座標の他に各境界点が有する後述する各特
徴が記述される。

つまり、Ｘ座標１点列開始点ｉＤを表す属性１゜実空間
における隣接点間距離を表す属性２２着目する境界点と
右隣の境界点との連結関係を表す右隣へのポインタ、左
隣の境界点との連結関係を表す左隣へのポインタ、Ｘ方
向における画面手前の境界点との連結関係を表す手前へ
のポインタおよび画面後方の次の境界点との連結関係を
表す次へのポインタが記述される。

次にステップ４５０２の処理について、第４７図を参照
して説明する。

同図（ａ）に示される画像４７０１は撮像された画像に
ついてラベリング処理が実行された画像である。このラ
ベリング処理により、道路領域を構成する各領域のそれ
ぞれにはラベル値が付けられる。各区分線と領域の境界
との交点のうち、Ｏ印が付された交点は、ラベル値が変
化するラベル変位箇所である。まず、ステップ４５０１
の処理で求めたリストの各ｙ座標位置において水平方向
、つまり、Ｘ方向に画像を走査する。この走査において
、ラベル値が０である背景領域からラベル値が０ではな
い道路領域に移動した場合、または、ラベル値が０では
ない道路領域からラベル値が０である背景領域に移動し
た場合、新しい領域境界点ストラフチャを作成する。

この領域境界点ストラフチャは同図（ｂ）に示される。

図示のように、各領域の境界と区分線との交点に位置す
る各境界点に対応して、新たにＸ方向に枠が設けられる
。この新たな６枠は、既に前述のステップで作成された
ｙ方向の領域境界点ストラフチャの６枠と連結される。

この連結関係は図示の矢印に表されるポインタにより表
現され、このポインタにより６枠は水平方向にリンクさ
れている。

次に、ステップ４５０３の処理について、第４８図を参
照して説明する。

ステップ４５０２の処理で作成された領域境界点ストラ
フチャの水平方向の各点の組が同一領域に存在するか否
かを判断する。同一領域であるか否かの判断は、前述の
「複数の領域の併合手法」において求めた特微量リスト
に基づいて行われる。

隣接する各点が同一領域に存在する場合、左側に位置す
る境界点は左エツジ、右側に位置する境界点は右エツジ
とし、この属性を各リストに記述する。この属性により
、領域の左右端を区別することが出来る。また、この左
エツジから右エツジまでの実空間における距離を演算し
、同様に各リストに記述する。この距離演算には、前述
の射影変換と逆の処理である逆射影変換処理を実行し、
画像から現実の道路領域を求める必要がある。

第４８図（ａ）に示される画像について、エツジの識別
方法を具体的に説明する。道路領域４８０１は３つの領
域Ａ、Ｂ、Ｃが併合されて表現されている。ここで、前
述の特微量リストの接続ラベルは同図（ｂ）のように示
されている。つまり、領域Ａの接続ラベル欄には領域Ｃ
が記述されており、領域Ｂの接続ラベル欄には何も記述
されておらず、領域Ｃの接続ラベル欄には領域Ａが記述
されている。このため、領域Ａと領域Ｃとは併合すべき
同一領域であることが判別され、−また、領域Ｂは領域
Ａと領域Ｂとで形成される領域とは異なる領域であるこ
とが判別する。

従って、各境界点を区分線４８０２に沿って水平方向に
画像走査した場合、Ｏ印の付された境界点ａ、ｂ、ｃ、
ｄがラベル変位箇所として求まる。

従って、境界点ａと境界点すとは同一領域上の点として
存在しており、境界点ａは左エツジ、境界点すは右エツ
ジという属性が付与され、領域境界点ストラフチャのリ
ストに記述される。また、境界点Ｃと境界点ｄはそのラ
ベル値が同じであるために同一領域に存在しており、境
界点Ｃは左エツジ、境界点ｄは右エツジという属性が付
与され、領域境界点ストラフチャのリストに記述される
。

次に、ステップ４５０４の処理について、第４９図およ
び第５０図を参照して説明する。

第４９図（ａ）に示される画像において、左側の境界線
と各区分線との交点に位置する各境界点をａ　ｊ　、ａ
　Ｉ”ｌ　、右側の境界線と各区分線との交点に位置す
る各境界点をｂｉ、ｂｌ＋１とする。ここで、領域境界
点ストラフチャのｙ方向でｉ番目とｉ＋１番目の各境界
点が同一領域に存在するか否かを判断し、同一領域なら
ば前後のリンクを行う。つまり、境界点ａｔとａ　ｔｒ
ｉとが同一領域に有るか否か、また、境界点ｂｊ　とｂ
　ｉｌｌとが同一領域に有るか否かを判断する。図示の
場合には、各境界点は同一領域に有るため、同図（ｂ）
に示される領域境界点ストラフチャにおいて、太い線で
示されるポインタにより画面の前後に位置する各境界点
がリンクされる。

また、左エツジと右エツジとの間に存在する内部点が有
るならば、第５０図に示されるように、領域の境界を追
跡する。同図（ａ）は、処理の対象とする道路領域５０
０１の中央部に車線区分線である白１５００２が描かれ
ている画像である。

この白線５００２のラベル値は０である。ここで、各区
分線に沿って水平方向に画像を走査すると、白線５００
２部において、同図（ｂ）に示される内部点Ｅ　１１．
　　Ｅ　１ｉ＋１．　　Ｅ　２１．　　Ｅ　２ｉ＋１が
得られる。

従って、領域の境界を追跡して各内部点の関係を探査す
る。内部点Ｅｌｆから白線５００２の境界線に沿ってこ
の境界を追跡すると内部点Ｅ　１１４１に達する。また
、内部点Ｅ２ｊから境界を追跡すると内部点Ｅ　２ｉ＋
ｌに達する。このように隣接する内部点Ｅ　１１．　　
Ｅ　２ｉが、より上に位置す、る区分線上の次の内部点
Ｅ　ｔ＋＋ｔ、　　Ｅ　２１＋１に連続している時、左
側に位置する内部点Ｅｌｆを内部点左エツジ、右側に位
置する内部点Ｅ２＋を内部点右エツジという属性を付け
る。

また、境界を追跡して内部点がより上の区分線上の内部
点に連続せずに隣接する内部点に達する時は、隣接する
各内部点に穴という属性を付与する。つまり、内部点Ｅ
１１＋１から境界を追跡すると、隣接する内部点Ｅ　２
ｉ＋１に達する。この場合、各内部点Ｅ　ＩＩ＋ｌ、　
Ｅ　２ｉ＋１に穴という属性を付与する。

以上の処理をリストの各ｙ座標に沿ってこのｙ座標が地
平線位置５００３に達するまで行う。また、この際、内
部点左エツジから内部点右エツジまでの実空間上におけ
る距離りを演算する。この演算は、実空間上における右
エツジ点のＸ座標値から実空間上における左エツジ点の
Ｘ座標値を引き算することにより求まる。

次に、ステップ４５０５の処理について、第５１図を参
照して説明する。

以上の各ステップの処理による属性の付与の方法では、
道路がＹ字状に分岐したり、道路が合流する場合には正
しい属性が付与されない。つまり、各境界点の前後方向
の関連付けが正しく行われない場合がある。このため、
このような場合に本ステップにおいて、境界を追跡して
境界の評価を修正する。

例えば、ここまでの各ステップの処理により、第５１図
（ａ）に示される画像が得られたとする。

この画像における道路領域５１０１はＹ字状に分岐して
おり、本道５１０２と分岐路５１０３とに分かれている
。画面の下側から上側に向かって各区分線（ｉ、ｉ＋１
．ｉ＋２．・・・）は画像走査され、また、各区分線に
おいて画面左側から右側へ画像走査される。この走査に
より、左端の境界線と各区分線との交点に位置する境界
点にはａという符号が付けられ、左端の境界線から一つ
右に位置する境界線と区分線との交点に位置する境界点
にはｂという符号が付けられ、左端の境界線から二つ右
に位置する境界線と区分線との交点に位置する境界点に
はＣという符号が付けられる。この結果、同図（ｂ）に
示される領域境界点ストラフチャが得られる。

この領域境界点ストラフチャによる各境界点の関連付け
は図から理解されるように現実の道路の境界に合致して
おらず、各境界点には正しい属性が付与されていない。

このため、内部点から領域の境界を追跡し、次の点が左
または右の領域端に存在する境界点であれば、この内部
点と次の点とは連結しているものと判断し、これら各点
のリンクの付は替えを行う。同図の場合にあっては、内
部点ＣＩ＋４から領域の境界を追跡する。追跡すると次
の点はａ１＋５であり、この点は左の領域端であるため
、リンクの付は替えを行う。つまり、ａ１＋５以降の各
境界点に付けられた属性を内部点ｃ　ｉ＋４と同じＣの
属性とする。このリンクの付は替え処理により、同図（
ｃ）に示される領域境界点ストラフチャが得られる。こ
のストラフチャは現実の道路の境界に合致したものとな
っている。

同図（ｄ）および（ｅ）は、このリンクの付は替え処理
の前および後の領域境界の状態をベクトル表現によって
示した図である。つまり、同図（ｄ）はリンクの付は替
え前のベクトル状態であリ、同図（ｂ）の領域境界点ス
トラフチャに基づいて各境界線の連結関係をベクトルに
より表現したものである。属性ａが付けられたベクトル
および属性Ｃが付けられたベクトルは現実の道路の境界
に対応したものとなっていない。同図（ｅ）はリンクの
付は替え処理を実行した後のベクトル状態であり、同図
（ｃ）の修正された領域境界点ストラフチャに基づいて
各境界線の連結関係をベクトルにより表現したものであ
る。属性ａが付けられたベクトルの終端部分は上述のよ
うに修正され、属性Ｃに付は替えられている。このため
、各ベクトルａ、ｂ、ｃによって表現される道路領域の
境界は現実のものに即した形状になっている。

同図（ｆ）および（ｇ）は、道路が合流する場合の領域
境界の状態を上記と同様にしてベクトルにより表現した
図である。同図（ｆ）はリンクの付は替え前の領域境界
をベクトルによって表現したものである。属性ｄが付け
られたベクトルは、属性ｅおよびｆが付けられたベクト
ルが形成する合流路の入り口を塞いでいる。同図（ｇ）
は、前述と同様なリンクの付は替え処理後の領域境界を
ベクトルによって表現したものである。属性ｄが付けら
れたベクトルの始端部分はリンクの付は替え処理により
、属性ｆに修正され、領域境界は現実の合流路に合致し
たものとなっている。

次に、ステップ４５０６の処理について、第５２図を参
照して説明する。

例えば、同図（ａ）に示される道路画像を想定する。こ
の道路画像には道路領域５２０１があり、道路領域５２
０１の左側には白線５２０２で区切られた路肩５２０３
がある。この道路画像の各領域の境界線と区分線との交
点には境界点が付けられ、同図（ｂ）に示される道路端
および路肩端の点列が得られる。なお、画像の縁に掛か
る点は点列から除いである。以上の各ステップの操作に
より得られたｙ方向の各領域境界点ストラフチャのリン
クを画像下部に相当するところから上部へ辿る。そして
、領域境界点ストラフチャのリンクが所定個数以上ある
場合には、この領域境界点ストラフチャのリンクの画像
下部に相当するところに点列の開始点という属性を付け
る。図示の点列の開始点はΔ印で示されている。

開始点という属性が付いているストラフチャのうち、領
域境界の左エツジから右エツジまでの実空間における距
離が走行車の車幅以上のストラフチャの組を道路端とす
る。同図（ｂ）の場合には、点列５２０４および点列５
２０５に相当するストラフチャの組が道路端となる。ま
た、道路端の隣にストラフチャの組があり、このストラ
フチャ群と道路端との間の距離が道路端を表すストラフ
チャ群の幅より狭く、かつ、ストラフチャ群と他方の道
路端との間の距離が車幅より広く、しがも、ストラフチ
ャ群の相互の実距離が２０ｃｍ前後で連続する場合には
、このストラフチャ群は白線を形成するものとする。そ
して、ストラフチャ群と一方の道路端とに挾まれたとこ
ろは白線で区分された路肩とみなす。

同図（ｂ）の点列においては、点列５２ｏ６および点列
５２０７に相当するストラフチャの組により白線が形成
され、この白線と道路端５２ｏ４との間が路肩とみなさ
れる。

ところで、前述した「走行可能範囲を求める手段」は領
域を主体として走行コースを認識するものであり、画像
処理の結果帯られる道路領域が１つの領域となることが
前提である。同手段によれば、単調路や分岐路の道路端
を識別することは可能である。しかし、白線によって分
断された領域、特に、道路と路肩とに分断された場合に
は、それらを区別して取り扱うことは困難である。これ
は、同手段が領域の内部からウィンドウを走査して領域
境界を探査するため、同時に道路端と路肩端とを識別で
きないからである。

しかし、以上のように、ラベル画像を画像の下部から上
部まで水平に走査し、局所的な領域の境界追跡を行って
各領域のラベル値の変位箇所を求めることにより、領域
の境界を知ることが出来る。

これと共に、領域間の関係をストラフチャにおいて更新
し、領域の境界点を構造化することにより、道路領域は
計算機内部に構造化して表現される。

従って、この「多様な形状の走行コースの内部表現手法
」によれば、路肩や走行車線等の複数の領域の境界端座
標が得られ、領域境界を容易に検出することが出来、「
走行可能範囲を求める手段」のように対象とする領域が
単一領域に限定されない。さらに、上記の白線によって
分断された路肩等をも識別することが出来る。

また、従来の領域境界手法に比べてメモリ容量は少なく
て済み、自立走行車が自動走行するのに十分な走行コー
スの走行可能範囲を、逐次的な境界探査や多角形近似を
行って評価するといった処理をすることなく得ることが
出来る。さらに、走行コースが単調路で無く、道路が分
岐していたり、合流していたりする場合においても、こ
れら分岐路や合流路の形状を統一的に表現することがで
き、走行コースの境界を正確に識別することが可能であ
る。

以上説明したように「多様な形状の走行コースの内部表
現手法」によれば、リストに記述された属性により、各
領域の境界点の連結関係が構造化されたストラフチャに
おいて表現され、このストラフチャから対象領域の境界
が識別される。このため、従来のように求まる点列群の
数が多いため、対象領域の境界を多角形で近似し、余分
な点を間引く処理が無くなる。また、従来のように各領
域の全ての境界画素を逐次的に一つ一つ追跡する必要は
無くなり、所定の境界画素のみについて処理することに
より、対象領域が識別される。従って、処理時間は短縮
され、自立走行車の自動走行に適した領域識別方法が提
供される。

〔発明の効果〕

以上説明したように本発明によれば、カラー画像から対
象領域を安価、高速かつ正確に抽出することが可能にな
る。

また、ＲＧＢデータからＩＳＨデータへの変換処理は各
記憶素子にＩＳＨデータを格納する際にのみ行われ、以
後は各記憶素子からＩＳＨデータが直接読み取れる。こ
のため、ＩＳＨデータが必要になった際には記憶素子に
あるデータを読み出す処理だけ行えば良く、従来のよう
にその都度ＲＧＢデータからＩＳＨデータへの変換処理
を行う必要はなく、高速な演算処理をすることが可能に
なる。

また、しきい値によって領域分割された各画像は、テン
プレート画像との重複度が計算されることにより、走行
路領域との関係が判明する。このため、走行路上に白線
やランドマークが無くても、走行路領域を検出すること
が可能である。また、走行路を照射する光源の状態や不
明瞭な白線などにかかわらず、走行路領域を検出するこ
とが可能である。また、走行路上にゴミがあったり、影
が出来ている場合であっても正確に走行路情報を得るこ
とが出来る。また、走行路領域と背景領域との境界が草
や土で区分されていても、また、天候や太陽の位置によ
り、時々刻々と走行路の明るさが変化する場合であって
も正しい走行路領域を求めることが出来る。しかも、こ
れらテンプレート画像を用いた処理は特別な装置を必要
としないで効率良く実現することが出来、処理コストを
抑えることが出来る。

また、走行路領域より低輝度の同系色領域は走行路にで
きた影などの部分に相当するものとして個別に抽出され
る。同様に、走行路領域より高輝度の同系色領域は走行
路に照射された日向などの部分に相当するものとして個
別に抽出される。このため、従来のように、限定された
走行路領域の色の分布を予め計測しておいてこれを入力
画像と比較判断する必要は無くなり、路面状況が天候の
変化や舗装工事等によって変わる一般路であっても、低
輝度部分および高輝度部分を個別にかつ高速に抽出する
ことか可能になった。

また、ラベリングプロセッサを使用することにより、多
値の入力画像に対してもラベリング処理を行うことが出
来る。また、ランを用いてラベリングを行うことにより
、ラベリング処理装置の回路規模を小さくすることが出
来る。また、ラベルマツチングメモリを使用することに
より、ラベル統合が不要になってラベル統合時間が０に
なり、ラベリング処理時間が短縮される。また、ラベル
マツチングメモリを同時に情報を書き替えることの出来
るラベリングメモリを用いて構成することにより、リア
ルタイム処理も可能になる。

また、特徴抽出プロセッサを使用することにより、１次
ラベリングで発生した不連続な仮ラベルを連続な最終ラ
ベルとすることが出来る。また、最終ラベルが連続にな
ってデータが圧縮されることにより、以後の特徴量抽出
の実行時間は短縮される。また、特徴抽出プロセッサに
より、２次ラベリングの時、同時に同一ラベル領域の面
積および同一ラベル領域の重心を演算することが出来る
。

この演算は今までは２スキャンのラベリングの後にもう
１スキャン行うことにより実行されていた。

また、ラベリングを画面の右下から左上に行うことによ
り、仮ラベルがオーバーフローしたとしても道路領域の
抽出は確実に行われる。また、出力ラベル値が記憶され
るラベルメモリを、同時に情報を書き替えることの可能
なラベリングメモリを用いて構成することにより、１ス
キャンラベリングが可能になる。

また、領域併合のための処理時間がかかるラベル値の付
は替え操作は不要となり、短時間で複数の領域の併合処
理を行えるようになった。このため、自動車の自立走行
に必要とされる高速処理が可能になり、しかも、処理コ
ストが低減される。

また、対象領域の範囲をウィンドウ内に存在する画素数
を基にして判断し、この対象領域上をウィンドウを左右
に水平走査してウィンドウ内の画素数の変化を調べるこ
とにより、対象領域と背致領域との境界が識別される。

このため、領域の輪郭が不明瞭であったり、切れ込みな
どが有って輪郭が複雑な形状をしている場合においても
、領域を基準にして境界を探査するために確実に境界の
左右端を得ることが出来る。また、求めた境界の左右端
の点列を平滑化することにより、複雑な形状をした輪郭
は大局的に判断され、走行に十分な左右端の点列を得る
ことが出来る。

また、車体の動きによって境界の左右端を一時的に誤っ
ても、このデータは直ぐに補正されるため、信頼性の高
い情報を得ることが出来る。さらに、このように点列の
評価を行い、有効な点列が得られた時点で次の画像処理
へ移行するので処理効率が向上する。

【図面の簡単な説明】

第１図は本発明の一実施例によるカラー画像処理装置全
体の概略構成を示すブロック図、第２図は本実施例の概
略処理の流れを示すフロチャート、第３図はＦＲＯＭテ
ーブルを用いたカラー画像のＩＳＨ変換処理」における
ＩＳＨ変換処理のアルゴリズムを示すブロック図、第４
図および第５図および第６図および第７図のそれぞれは
このＩＳＨ変換処理の処理例を従来の処理例と比較して
説明するための図、第８図は「繰返しきい値処理におけ
る特徴量ヒストグラムの形状に基づくしきい値設定手段
」におけるカラー画像の前処理の概略を示すフローチャ
ート、第９図はこの前処理におけるピーク・谷の状態を
説明するための図、第１′０図はこの前処理におけるテ
ーブル値の推移を説明するだめの図、第１１図は走行路
の認識処理の概要を示すフローチャート、第１２図は「
テンプレート画像を用いた繰返しきい値処理による走行
コースの抽出手段」における走行路抽出の処理の詳細を
示すフローチャート、第１３図はこの道路候補領域の抽
出処理における各過程を説明するための図、第１４図は
「明るさの違いに注目した走行コースからの影や高輝度
部分の抽出手段」における種々の入力画像に対する処理
の概要を説明するための図、第１５図はこの手段におけ
る影や高輝度部分の説明をするための明度ヒストグラム
の一例を示すグラフ、第１６図は「ラベリング処理装置
」のラベリングボード構成図、第１７図はラベリング処
理のゼネラルフローチャート、第１８図は多値入力ラベ
リング方式を説明するための図、第１９図はランを用い
たラベリング方式を説明するための図、第２０図はラベ
リング処理の画像走査で使用されるウィンドウを示す図
、第２１図はラベリングプロセッサＫＬＰの構成図、第
２２図および第２３図および第２４図および第２５図お
よび第２６図および第２７図のそれぞれはラベリング処
理の画像走査で行われるウィンドウ処理を示すフローチ
ャート、第２８図はラベリングメモリＫＬＭの構成図、
第２９図は最終的に付与されるラベル値を整合する処理
を説明するための図、第３０図は特徴抽出プロセッサＫ
ＬＣの構成図、第３１図は１スキャンラベリング方式を
説明するための図、第３２図は「複数の領域の併合手段
」においてラベル領域を探査するために使用される逆り
字マスクを示す図、第３３図は第３２図に示された逆り
字マスクを用いた領域境界探査を説明する際に使用され
る分割領域の一例を示す図、第３４図は逆り字マスク走
査式手法により求まったラベール領域間境界長および領
域の周囲長が記憶されるラベル間境界長マドリスクを示
す図、第３５図は各領域間の接続関係および各ラベル領
域の有する特徴間が記述される特徴量リストを示す図、
第３６図は第３５図に示された特徴量リストに記述され
た各特徴間を有するラベル領域の一例、第３７図は境界
探査式手法において着目される画素の近傍に付される参
照画素位置Ｎｏ。 を示す図、第３８図は境界探査式手法において使用され
る画素参照テーブルを示す図、第３９図は第３８図に示
された画素参照テーブルの使用方法を説明する際に用い
られる画素領域の一例を示す図、第４０図は「走行可能
範囲を求める手段」における走行コース認識システムの
処理の流れを示すフローチャート、第４１図はこの手段
の説明において使用される取り込み画像でのウィンドウ
の移動を示す図、第４２図は対象領域におけるウィンド
ウおよびヒストグラムの値を説明するための図、第４３
図は曲率のきついカーブで走行車が道路端に近付き過ぎ
た場合に生じる道路端の識別の逆転を説明するための図
、第４４図は第４３図に示された道路端の認識の逆転を
防止するために求めた点列群の関係をマハラノビスの汎
距離を用いて補正する手法を説明するための図、第４５
図は「多様な形状の走行コースの内部表現手法」におけ
る道路領域の構造化処理の概略を示すフローチャート、
第４６図はｙ方向リストと領域境界点ストラフチャとを
説明するための図、第４７図はラベル変位箇所と領域境
界点ストラフチャとを説明するための図、第４８図は領
域境界の属性を説明するための図、第４９図は領域境界
点の前後方向のリンク処理を説明するための図、第５０
図は内部点エツジおよび穴という属性を説明するための
図、第５１図は一旦付与された属性の付は替え処理を説
明するための図、第５２図は道路端および路肩端の検出
を説明するための図である。 １０１・・・カラーカメラ、１０２・・・ＩＳＨ変換部
、１０３・・・カラー処理部、１０４・・・ラベリング
ハード、１０５・・・ＣＰＵ処理部。

Claims (1)

1. 【特許請求の範囲】 １、原画像をＲＧＢ情報として取り込む撮像装置と、該
   撮像装置に取り込まれた前記ＲＧＢ情報を明度、彩度、
   色相のＩＳＨ情報に変換するＩＳＨ変換部と、該ＩＳＨ
   変換部により変換された明度、彩度の前記ＩＳ情報に基
   づいて対象領域を抽出するカラー処理部と、該カラー処
   理部により抽出された前記対象領域を構成する各領域に
   ラベル付けをするラベリング部と、該ラベリング部によ
   りラベル付けされた前記各領域の接続関係を求めて各領
   域間の併合処理を行う併合手段と、併合された領域の境
   界端を求める領域境界識別手段とを備えて構成され、撮
   像された対象領域の形状を識別することを特徴とするカ
   ラー画像処理装置。 ２、撮像された原画像データが記憶される原画像メモリ
   と、該原画像データに含まれるＲＧＢデータのうちのＲ
   データを記憶するＲ画像メモリと、前記ＲＧＢデータの
   うちのＧデータを記憶するＧ画像メモリと、前記ＲＧＢ
   データのうちのＢデータを記憶するＢ画像メモリと、前
   記Ｒ画像メモリ、前記Ｇ画像メモリおよび前記Ｂ画像メ
   モリに記憶されたＲＧＢデータから変換された明度デー
   タが記憶される第１の記憶素子と、前記Ｒ画像メモリ、
   前記Ｇ画像メモリおよび前記Ｂ画像メモリに記憶された
   ＲＧＢデータから変換された彩度データが記憶される第
   ２の記憶素子と、前記Ｒ画像メモリ、前記Ｇ画像メモリ
   および前記Ｂ画像メモリに記憶されたＲＧＢデータから
   変換された色相データが記憶される第３の記憶素子と、
   該第３の記憶素子から出力される前記色相データを平均
   化する平均値フィルタとを備えたことを特徴とするカラ
   ー画像処理におけるＩＳＨ変換装置。 ３、撮像された原画像データからＲＧＢデータを抽出し
   、該ＲＧＢデータを明度データ、彩度データ、色相デー
   タに変換し、該明度データ、彩度データ、色相データを
   各々別個の記憶素子に記憶し、前記明度データおよび彩
   度データは前記各記憶素子から読み出されて直接画像処
   理に供され、前記色相データは前記記憶素子から読み出
   されて平均値フィルタに通された後に画像処理に供され
   ることを特徴とするカラー画像処理におけるＩＳＨ変換
   方法。 ４、撮像された原画像データからＲＧＢデータを抽出し
   、該ＲＧＢデータを明度データに変換し、該明度データ
   から特徴量ヒストグラムを作成し、該特徴量ヒストグラ
   ムに基づいて領域区分しきい値を設定し、該領域区分し
   きい値により原画像を２値化することにより領域分割し
   て分割画像を作成し、対象領域が撮像される画像位置に
   想定された所定領域およびその他の領域に２値化された
   テンプレート画像と前記分割画像との重複度を計算し、
   該重複度の大きい前記分割画像に対象領域が含まれてい
   るものと判断し、対象領域を背景領域から抽出すること
   を特徴とする対象領域抽出方法。 ５、ＲＧＢデータから彩度データに変換し、該彩度デー
   タから特徴量ヒストグラムを作成し、該特徴量ヒストグ
   ラムに基づいて領域区分しきい値を設定し、該領域区分
   しきい値により原画像を２値化することにより領域分割
   して分割画像を作成し、テンプレート画像と前記分割画
   像との重複度を計算し、該重複度の大きい前記分割画像
   に対象領域が含まれているものと判断して対象領域を抽
   出し、該対象領域と明度データから抽出した前記対象領
   域とに基づいてより現実に即した対象領域を求めること
   を特徴とする請求項４記載の対象領域抽出方法。 ６、特徴量ヒストグラムに基づく領域区分しきい値の設
   定は、大津の判別分析法で求めたしきい値を前記特徴量
   ヒストグラムの形状に基づいて求めた谷の候補値によっ
   て補正することを特徴とする請求項４記載の対象領域抽
   出方法。 ７、特徴量ヒストグラムに基づく領域区分しきい値の設
   定は、大津の判別分析法で求めたしきい値を前記特徴量
   ヒストグラムの形状に基づいて求めた谷の候補値によっ
   て補正することを特徴とする請求項５記載の対象領域抽
   出方法。 ８、テンプレート画像との重複度が高い分割画像の中に
   特徴量ヒストグラムの形状に基づいて求めた谷の候補値
   がある場合には、さらに、該候補値によって前記分割画
   像を領域分割し、該分割された画像の中に前記候補値が
   無くなるまで領域分割を繰り返すことを特徴とする請求
   項６記載の対象領域抽出方法。 ９、テンプレート画像との重複度が高い分割画像の中に
   特徴量ヒストグラムの形状に基づいて求めた谷の候補値
   がある場合には、さらに、該候補値によって前記分割画
   像を領域分割し、該分割された画像の中に前記候補値が
   無くなるまで領域分割を繰り返すことを特徴とする請求
   項７記載の対象領域抽出方法。 １０、明度データから抽出した対象領域より暗い領域ま
   たは明るい領域がある場合には、該暗い領域または明る
   い領域を特徴量ヒストグラムの形状に基づいて求めた谷
   の候補値に基づいて２値化し、該２値化された明度画像
   と彩度画像から求められた前記対象領域画像とに基づい
   て前記明るい領域または暗い領域を抽出することを特徴
   とする請求項５または請求項７または請求項９記載の対
   象領域抽出方法。 １１、抽出した明るい領域または暗い領域を明度画像お
   よび彩度画像から求められた対象領域に併合することを
   特徴とする請求項１０記載の対象領域抽出方法。 １２、複数の２値入力画像が足し合わされた多値の画像
   情報を記憶する入力メモリと、該入力メモリに記憶され
   た各画素に画素値に応じてラベル付けを行うラベリング
   プロセッサと、該ラベリングプロセッサによって付けら
   れた各画素の出力ラベル値を記憶するラベルメモリとを
   備えて構成され、多値の入力画像に対してもラベリング
   処理を行うことを特徴とするラベリング処理装置。 １３、ラベリングプロセッサは、着目する画素および該
   着目画素に隣接する各画素のラベル値を比較する第１の
   比較回路と、前記着目画素および前記隣接画素の連結関
   係を前記ラベル値に基づいて比較する第２の比較回路と
   、前記第１の比較回路および前記第２の比較回路の比較
   結果に基づいて着目画素のラベル値を決定するセレクタ
   回路とを備えて構成されたことを特徴とする請求項１２
   記載のラベリング装置。 １４、ラベリングプロセッサによる１次走査によって付
   けられた各画素の仮ラベル値を記憶するラベルマッチン
   グメモリを備え、前記ラベリングプロセッサによる２次
   走査において該ラベルマッチングメモリに記憶された仮
   ラベル値を整列しラベルメモリに出力ラベル値として記
   憶しなおして画像出力することを特徴とする請求項１２
   または請求項１３記載のラベリング装置。 １５、ラベルマッチングメモリは、情報を記憶する記憶
   回路と、該記憶回路に記憶された情報および外部からの
   入力情報を比較して該各情報が一致した場合に信号を出
   力する比較回路と、アドレス信号を入力して該信号をデ
   コードして出力するデコーダ回路と、前記比較回路およ
   び前記デコーダ回路のいづれかの回路から有効な信号が
   出力されている場合に前記記憶回路のイネーブル端子に
   信号を出力して前記記憶回路に記憶された情報を書き替
   え可能状態にする論理回路とを構成の一単位とするラベ
   リングメモリにより構成され、ラベル統合を不要とした
   ことを特徴とする請求項１４記載のラベリング装置。 １６、ラベリングプロセッサによる各画素の走査を入力
   画像の画面右下から左上に行うことを特徴とする請求項
   １２または請求項１３または請求項１４または請求項１
   ５記載のラベリング装置。 １７、ラベリングメモリにより構成された１走査分の画
   像情報を記憶するラインバッファメモリを備え、 入力画像の画素領域が階段状に形成されている場合に、
   ラベリングプロセッサは前記入力画像の画素領域を各行
   ごとにラン単位に区分し、該ランの走査中において同一
   ラベル値の画素が続く限り前記ラインバッファメモリに
   フラグを立て、同一ラベル画素の終了時点または該ラン
   の最終画素の走査時点で前記フラグの立った各画素にラ
   ベルを同時に付けることを特徴とする請求項１２または
   請求項１３または請求項１４または請求項１５記載のラ
   ベリング装置。 １８、所定クロックに同期して発生するカウントパルス
   をアドレスとしてラベルマッチングメモリへ出力する第
   １のカウンタ回路と、前記クロックに同期して発生する
   カウントパルスをデータとしてラベルマッチングメモリ
   へ出力する第２のカウンタ回路と、前記第１のカウンタ
   回路の出力するアドレスおよび前記第２のカウンタ回路
   の出力するデータの各値を比較して各値が異なる場合に
   は前記第２のカウンタ回路のカウントアップを見合わせ
   る比較回路とを備え、 ラベリングプロセッサによる１次走査によって一時的に
   ラベルマッチングメモリに記憶された不連続な値の仮ラ
   ベル値を連続な値に変換することを特徴とする請求項１
   ４または請求項１５または請求項１７記載のラベリング
   装置。 １９、同一ラベル値の画素を入力する毎に１づつカウン
   トアップするカウンタ回路と、同一ラベル値の画素を入
   力する毎に該画素のＸ方向アドレスのアドレス値を加算
   していく第１の加算器と、同一ラベル値の画素を入力す
   る毎に該画素のＹ方向アドレスのアドレス値を加算して
   いく第２の加算器とを備え、 ラベリングプロセッサによる２次ラベリングの際に、同
   一ラベル領域の面積、同一ラベル領域のＸ方向アドレス
   の合計値および同一ラベル領域のＹ方向アドレスの合計
   値を求めることを特徴とする請求項１４または請求項１
   ５または請求項１７記載のラベリング装置。２０、出力
   ラベル値を記憶するラベルメモリはラベリングメモリに
   より構成され、ラベリングプロセッサによる画素の走査
   を１スキャンのみ行うことによってラベリングをするこ
   とを特徴とする請求項１２または請求項１３記載のラベ
   リング装置。 ２１、画像分割されラベル付けされた各領域の画素につ
   いてマスクを走査し、該マスクに現れる着目画素のラベ
   ル値と該着目画素に隣接する画素のラベル値との連結関
   係に基づいて同一ラベル領域の周囲長および該同一ラベ
   ル領域に隣接する領域との間の共通境界長を求め、該周
   囲長と該共通境界長との比率に基づいて隣接領域間の接
   続度を求め、この接続度をメモリに記述して各領域間の
   繋がりの関係を判断することを特徴とする複数の領域の
   併合方法。 ２２、着目画素の近傍に位置する各画素に位置を示す番
   号を付与し、該位置番号を列方向および行方向に所定順
   番に並べた画素参照テーブルを予め作成し、 画像分割されラベル付けされた領域の境界にある１つの
   画素に着目して該画素の近傍の画素のラベル値を調べる
   ことにより該画素付近の領域の境界を局所的に探索し、 探索した該画素に繋がりかつ領域の境界に位置する次に
   探索すべき画素の位置番号を、探索した前記画素を基準
   にして判断し、該位置番号で特定される前記画素参照テ
   ーブルの位置番号列に従って次に探索すべき前記画素の
   近傍の画素を探索することにより、次に探索すべき前記
   画素付近の領域の境界を局所的に探索し、 以下順に領域の境界にある各画素の近傍に位置する画素
   を前記画素参照テーブルによって指示される位置番号列
   に従って局所的に探索し、 領域の周囲長および該領域に隣接する領域との共通境界
   長を求め、該周囲長と該共通境界長との比率に基づいて
   隣接領域間の接続度を求め、この接続度をメモリに記述
   して各領域間の繋がりの関係を判断することを特徴とす
   る複数の領域の併合方法。 ２３、所定数の画素を囲むウィンドウを画像分割された
   対象領域の水平方向に走査し、前記ウィンドウ内に存在
   する所定画素値を有する画素数を各走査位置ごとに数え
   、所定画素値を有する該画素数が所定数以下になるウィ
   ンドウ位置が連続して存在するとき、該画素数が所定数
   以下になり始めるウィンドウ位置を前記対象領域の背景
   領域との境界と判断し、前記対象領域の境界を識別する
   ことを特徴とする対象領域の境界識別方法。 ２４、求めた対象領域の境界をなす点列どうしの隣接す
   る各点がなす角度を計算し、該角度の分散値を点列の滑
   らかさの基準とし、該角度に基づいて前記境界の点列を
   平滑化し、前記対象領域の境界を大局的に評価すること
   を特徴とする請求項２３記載の対象領域の境界識別方法
   。 ２５、前回入力した画像から求めた対象領域の境界の左
   端または右端の点列の点と、今回入力した画像から求め
   た対象領域の境界の左端の点列の点および右端の点列の
   点との間のマハラノビスの汎距離を求め、前記前回画像
   における点列の点と近い距離に位置する前記今回画像に
   おける点列とは同一の点列と判断し、対象領域の境界の
   左右端の点列を逆に認識することを防止することを特徴
   とする請求項２３または請求項２４記載の対象領域の境
   界識別方法。