JPH0410080A - 画像処理における対象領域識別方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理において対象領域と背景領域との境界
を求めて対象領域を抽出する対象領域識別方法に関する
ものである。

〔従来の技術〕

自動車の自律走行には、画像処理による走行路判別の技
術が必要とされている。従来、画像分割領域から道路端
や走行コースを求めるには、得られた走行コース領域と
背景領域との境界を逐次追跡して境界線に対応する点列
群を求めることにより行われていた。つまり、走行路領
域の境界部に位置する画素をこの境界に沿って一つ一つ
逐次追跡し、この追跡の跡を点列群とし、この点列群に
基づいて道路端を判断していた。

〔発明が解決しようとする課題〕

このため、従来の走行領域の境界端を求める方法におい
ては、求まる点列群の数が多くなる。従って、走行路領
域の境界を多角形で近似し、余分な点を間引く必要があ
り、処理に時間がかかる。

また、画像処理の結果得られる走行路領域の境界は滑ら
かなものであれば良いが、実際にはこの境界の形状が複
雑になる。従って、複数の領域について境界の画素を逐
次追跡することにより得られるデータは大量になり、こ
の結果、処理に時間がかかる。このように処理時間がか
かると自立走行の自動走行に支障を来たすことになる。

〔課題を解決するための手段〕

本発明はこのような課題を解消するためになされたもの
で、画像分割された各領域にラベル付けされた画像を一
定方向の区分線により区分し、定方向に直交する方向の
リストを区分線毎に作成し、区分線に沿って画像走査し
て各領域のラベル値の変化点を識別することにより区分
線と各領域の境界線との交点に位置する境界点を求めて
一定方向におけるリストを境界点毎に作成し、各領域の
ラベル値の接続関係に基づいて一定方向における区分線
に沿った境界点の属性を求めて一定方向のリストに属性
を記述し、各領域のラベル値の接続関係に基づいて一定
方向に直交する方向における分割領域の境界線に沿った
境界点の属性を求めて一定方向のリストに属性を記述し
、各リストに記述された属性に基づいて一定方向に直交
する方向のリストの連結長さを求め、長さが所定長さ以
上のリストに対応する境界点の点列を対象領域の境界に
該当するものと判断し、対象領域の境界を識別するもの
である。

〔作用〕

リストに記述された属性により、各領域の境界点の連結
関係が構造化されたストラフチャにおいて表現され、こ
のストラフチャから対象領域の境界が識別される。

〔実施例〕

本発明の一実施例によるカラー画像処理装置における対
象領域識別方法を、自律走行車の走行制御に適用した場
合について以下に説明する。本実施例の方法により、走
行車の走行コースは自動的に認識され、走行車は認識さ
れた走行コースに基づいてステアリングの操舵角やエン
ジンへの燃料噴出量などを決定し、自律走行する。

第４５図は本実施例によるカラー画像処理装置全体の概
略構成を示すブロック図である。

カラー画像処理装置は、道路情報を撮像するカラーカメ
ラ１０１と、撮像されたＲＧＢ情報をＩＳＨ変換するＩ
ＳＨ変換部１０２と、ＩＳＨ変換された画像情報から道
路候補領域等を抽出するカラー処理部１０３と、カラー
処理された画像についてラベリング処理を施すラベリン
グハード部１０４と、ラベリングされた画像領域につい
て併合処理等を実行するＣＰＵ処理部１０５とに大別さ
れる。ＩＳＨ変換部１０２は、カラーカメラ入力ボード
、ＩＳＨ変換ボードおよびフィルタ等によって構成され
ている。

第２図はこのカラー画像処理装置における画像処理方法
を示す概略のフローチャートである。

カラーカメラ１０１により道路画像１０６がＲＧＢ情報
として取り込まれ、ＩＳＨ変換部１０２において明度（
Ｉ）、彩度（Ｓ）２色相（Ｈ）の各画像に変換される（
ステップ２０１）。これら各画像を基にしてカラー処理
部１０３において走行コースの基になる道路候補領域が
抽出される（ステップ２０２）。ここで、ＣＰＵのステ
ータスレジスタにある低輝度のしきい値存在フラグがオ
ンしているか否かを判断する（ステップ２０３）。この
フラグは取り込まれた原画像に影や変色部分などの低輝
度領域が有るか否かを示すフラグであり、フラグがオン
していればカラー処理部１０３において低輝度領域が抽
出される（ステップ２０４）。抽出された道路候補領域
および低輝度領域はラベリングハード部１０４において
ラベル付けされ、各領域間の接続関係が判断される。こ
の判断結果に基づき、各領域が併合すべき関係にある場
合にはＣＰＵ処理部１０５においてマージ（併合）処理
が実行される（ステップ２０５）。

次に、ＣＰＵのステータスレジスタにある高輝度のしき
い値存在フラグがオンしているか否かを判断する（ステ
ップ２０６）。ステップ２０３　（Ｚおいて低輝度のし
きい値存在フラグがオンしていない場合には、直ちにこ
のステップ２０６の処理が実行される。この高輝度のし
きい値存在フラグは、取り込まれた原画像に日向や変色
部分などの高輝度領域が有るか否かを示すフラグであり
、フラグがオンしていればカラー処理部１０３において
高輝度領域が抽出される（ステップ２０７）。

抽出された道路候補領域および高輝度領域はラベリング
ハード部１０４においてラベル付けされ、各領域間の接
続関係が判断される。この判断結果に基づき、各領域が
併合すべき関係にある場合にはＣＰＵ処理部１０５にお
いてマージ（併合）処理が実行される（ステップ２０８
）。

このようにして併合された道路候補領域に基づき、領域
の左右の境界端、つまり、道路端の境界線が点列として
求められる。この点列情報により、今回撮像された原画
像に基づく走行コースが認識される（ステップ２０９）
。この後、ステップ２０１の処理に戻り、自律走行車の
移動に伴って引き続いて得られる画像情報について上記
と同様な処理が繰り返し実行され、自律走行車の走行制
御が実行される。

次に、以上の処理内容について、第４５図に示されたカ
ラー処理装置の構成図に基づいてより詳しく説明する。

カラーカメラ１０１は自律走行車の車体に固定して設置
してあり、このカラーカメラ１０１には走行車の前方に
位置する道路画像１０６がＲＧＢ情報として撮像される
。ＩＳＨ変換部１０２の変換処理部１０７には、このＲ
ＧＢ情報が与えられる。この変換処理部１０７において
、後に詳述するＦＲＯＭテーブルを用いたカラー画像の
ＩＳＨ変換処理」が実行され、ＲＧＢの道路画像情報は
明度（１）画像１０８．彩度（Ｓ）画像１０９および色
相（Ｈ）画像１１０の各画像情報に変換される。

明度画像１０８は道路候補領域抽出手段１１１に与えら
れ、後に詳述する「テンプレート画像を用いた繰返しき
い値処理による走行コースの抽出手法」により、明度画
像に基づく道路候補領域画像１１３が抽出される。また
、彩度画像１０９は道路候補領域抽出手段１１２に与え
られ、上記と同様の手法により、彩度画像に基づく道路
候補領域１１４が抽出される。この手法における領域区
分のためのしきい値は、後に詳述する「繰返しきい値処
理における特徴量ヒストグラムの形状に基づくしきい値
設定手段」により決定される。求められた各道路候補領
域画像１１３，１１４は論理積演算手段１１５に与えら
れ、明度および彩度から得られた各道路候補領域の共通
部分が取り出され、カラー情報に基づく新たな道路候補
領域画像１１６になる。

また、明度画像１０８から抽出した道路候補領域に低輝
度領域が繋がっている場合には、ＣＰＵのステータスレ
ジスタ１１７に有る低輝度のしきい値存在フラグがオン
する。このフラグがオンしている場合に、低輝度領域抽
出手段１１８は明度画像１０８を取り込む。そして、後
に詳述する［明るさの違いに注目した走行コースからの
影や高輝度部分の抽出手段」により、低輝度領域を抽出
する。抽出された低輝度領域は低輝度画像１１９になる
。この低輝度領域画像１１９は、論理積演算手段１２０
において、彩度画像１０９から抽出された道路候補領域
画像１１４と論理積が取られ、低輝度領域のうちで道路
候補領域と似た彩度の領域が抽出される。抽出されたこ
の低輝度領域の画像情報は、道路候補領域画像１１６に
加えられる。

また、明度画像１０８に高輝度領域が存在している場合
には、カラー処理部のステータスレジスタ１１７にある
高輝度のしきい値存在フラグがオンする。このフラグが
オンしている場合に、高輝度領域抽出手段１２１は明度
画像１０８を取り込む。そして、後に詳述する「明るさ
の違いに注目した走行コースからの影や高輝度部分の抽
出手段」により、高輝度領域を抽出する。抽出された高
輝度領域は高輝度領域画像１２２になる。この高輝度領
域画像１２２は、論理積演算手段１２３において、彩度
画像１０９から抽出された道路候補領域画像１１４と論
理積が取られ、高輝度領域のうちで道路候補領域と似た
彩度の領域が抽出される。

抽出されたこの高輝度領域の画像情報は、道路候補領域
画像１１６に加えられる。

上記各手段により、道路候補領域画像１１６には、画素
値１の道路候補領域画像１１３１画素値２の低輝度領域
画像１１９および画素値３の高輝度領域画像１２２が含
まれる。

道路候補領域画像１１６はラベリング処理部１２４に与
えられる。ラベリング処理部１２４は与えられた画像の
各領域にラベル付けをし、ラベル画像１２６を作成する
。また、これと同時に、ラベリング処理部１２４は同一
ラベル領域の面積や重心などを演算する。これらの各演
算値はラベリング処理部１２４に対応した演算値１２５
になる。このラベリング処理は、後に詳述する「ラベリ
ング処理装置」によって実行される。

ＣＰＵはラベル画像１２６を小領域除去手段１２７に取
り込む。ここで、ノイズ等によって生じた小領域や地平
線位置より重心が上に位置する領域は、道路領域に該当
するものではないものとし、これら領域は各ラベル画像
の中から除去される。小領域除去手段１２７により、道
路候補領域から小領域が除去されたラベル画像は、新た
なラベル画像１２８になる。また、各領域に付けられた
ラベル毎の演算値１２５（特徴量）の内、小領域除去手
段１２７によって除去されなかった各領域の特徴量はり
スト１に記述される。

リスト１に記憶された特徴量１２９．ラベル画像１２８
．道路画像１１６に基づいて、道路候補領域画像の各ラ
ベル領域と低輝度領域画像の各ラベル画像、および道路
候補領域画像の各ラベル領域と高輝度領域画像の各ラベ
ル画像が併合すべき関係にある場合には、領域併合手段
１３０において併合処理が実行され、新たなラベル画像
１３１がメモリ１に記憶される。以上の併合処理は、後
に詳述する「複数の領域の併合手段」により実行される
。

最終的に得られたラベル画像１３１に基づいて道路領域
の左右端の道路位置座標１３２が演算される。この道路
端位置座標１３２に基づき、道路端に相当する点列デー
タ１３３が求まる。この道路端を求める処理は、後に詳
述する「走行可能範囲を求める手段」、並びに本発明の
特徴である「多様な形状の走行コースの内部表現手法」
により実行される。この点列データ１３３は、自立走行
車の走行制御のための画像処理データ統括管理を行うデ
ータ管理部へ送出され、カラー画像処理が終了する。

次に、カラーカメラで撮像して得られたＲＧＢデータを
、明度Ｉ、彩彩度８包 変換するＦＲＯＭテーブルを用いたカラー画像のＩＳＨ
変換処理」について、第３図を用いて以下に説明する。

まず、カラーカメラから原画像３０１をＲＧＢデータと
して入力する。原画像３０１にはＲＧＢの各データが混
在しているため、ＲＧＢデータの各成分を分離する。そ
して、分離した各ＲＧＢデータをＲ画像メモリ３０２，
０画像メモリ３０３および８画像メモリ３０４の３つの
各画像メモリに各々別個に記憶する。これら各Ｒ，Ｇ、
Ｂ画像メモリ３０２〜３０４は８ビツトの階調を持った
複数の画素値から構成されており、次のようにＩＳＨ変
換される。

まず、８ビツトの各ＲＧＢデータを読み出す際に上位の
６ビツトのみを読みだし、下位２ビツトを切り捨てる。

つまり、上位６ビツトをとることにより、８階調の画素
値を６階調の画素値に近似する。この上位６ビツトによ
る数値は１６進数で００〜３Ｆ　（ｈｅｘ）の間で変化
する（切り捨てた下位２ビツトを考慮すると００〜ＦＣ
（ｈｅｘ）の間で変化する）。また、この上位６ビツト
の値を４０（ｈｅＸ）で割った数値をそれぞれＲ，Ｇ。

Ｂ値とする。これらＲ，Ｇ、Ｂの６値は実数の０から約
１までの範囲で変化する。

Ｒ，Ｇ、Ｂの６値を（Ｒ＋Ｇ十Ｂ）で割った値をそれぞ
れｒ、ｇ、ｂとすると、Ｒ，Ｇ、Ｂ値からＩ、Ｓ、Ｈ値
への変換は次式に従って行われる。

ここで、ｍｉｎ　（ｒ、ｇ、ｂ）は、ｒ、ｇ、ｂの各特
徴量のうちの最少の値を持つ特徴量の値を示す。

１−　　（Ｒ＋Ｇ＋Ｂ）／３　　　　　　　　　　・・
・　（１）Ｓ−１−（１／３）　　台　ｍｉｎ　　（ｒ
、　　ｇ、　　ｂ）Ｈ＝１／２＋　（１／π）　　・ａ
ｒｃｔａｎ　（（３）　１／２（ｇ−ｂ）　　／　　（
２ｒ−ｇ−ｂ）　　１この変換はラスラスキャン類にＲ
，Ｇ、Ｂの各画素毎に行われ、変換された各Ｉ、Ｓ、Ｈ
値は全て０から１までの値とる実数となる。ＲＯＭ３０
５にはＲＧＢから明度Ｉへの変換テーブルデータ、ＲＯ
Ｍ３０６にはＲＧＢから彩度Ｓへの変換テーブルデータ
、ＲＯＭ３０７にはＲＧＢから色相Ｈへの変換テーブル
データが記憶されている。

これら各ＲＯＭ３０５〜３０７はルックアップテーブル
として機能する。また、各ＲＯＭ３０５〜３０７にデー
タが記憶されるアドレスは、変換前の各Ｒ，Ｇ、Ｂ値の
８ビツトの数値のうち、上位６ビツトの数値によって定
まる。なお、各ＲＯＭ３０５〜３０７の記憶容量は１８
ビツト（−２５６にバイト）である。

ＲＯＭ３０５，３０６に記憶された各特徴量はＣＰＵか
らの取り込み命令に応じて明度データ３０８、彩度デー
タ３０９として即座に読み出され、必要とされる画像処
理にリアルタイムに供給される。また、ＲＯＭ３０７か
ら読み出された色相データ３１０の特徴量は、さらに、
３Ｘ３平均値フイルタ３１１によってノイズが除去され
て平均化される。このため、各画像処理に供される色相
データ３１２は平滑化されたノイズのないデータとなる
。また、読み出された各特徴量データ（明度３０８．彩
度３０９１色相３１０および３１２）は下位２ビツトが
０で、上位６ビツトが有効な８ビツトの近似データであ
る。

次に、本アルゴリズムを用いたＩＨ３変換処理例につい
て、本アルゴリズムを用いないＩＨ９変換処理例と比較
しつつ、第４図〜第７図を参照して説明する。

各図の（ａ）はカラーカメラに撮像された原画像の概略
である。つまり、第４図（ａ）は走行路が遠方でカーブ
する情景を示し、走行路の片側にはガードレールが設置
されており、このガードレールの遠方には樹木が生い茂
っている。第５図（ａ）は走行路端が雑草等によって区
画されている走行路を示し、遠方には住居や樹木等があ
る情景になっている。第６図（ａ）は夜間の高速道路に
おける走行路を示し、路面は月明りおよび照明燈によっ
てわずかな光が照らされている情景になっている。第７
図（ａ）は天気の良い日中の走行路を示し、走行路上に
はブロック塀の中にある樹木による影ができている情景
になっている。

また、第４図から第７図の各図の（ｂ−１）および（ｂ
−２）は明度Ｉを特徴量とするヒストグラム、各図の（
ｃ−１）および（ｃ−２）は彩度Ｓを特徴量とするヒス
トグラム、各図の（ｄ−１）および（ｄ−２）は３×３
平均値フイルタ３１１にかける前の色相Ｈ′を特徴間と
するヒストグラム、各図の（ｅ−１）および（ｅ−２）
は３×３平均値フイルタ３１１にかけた後の色相Ｈを特
徴間とするヒストグラムである。

各ヒストグラムの縦軸は各特徴間の画素数を示し、全画
面の１／４を最大としている。また、各ヒストグラムの
横軸は明度１１彩度Ｓ１色相Ｈ′Ｈの各特徴間の度合い
を示す。この各特徴間の度合いは原点から遠ざかる程強
まるように表示されており、０〜Ｆ　Ｆ　（ｈ　ｅ　ｘ
）の各数値に割り当てられた各特徴間の度合いを６４分
割して表示しである。また、原画像の画素数は５１２Ｘ
５１２より若干少なくなっている。これは画像周辺部に
はＲ，Ｇ、Ｂの各データが全てＯの部分があるためであ
り、各ヒストグラムはこの部分を含んだデータ値により
表されているからである。

また、各図の（ｂ−１）、　　（ｃ−１）、　　（ｄ　
−１）、（ｅ−１）は従来手法に基づいて得られたヒス
トグラムであり、各画像メモリにＣＰＵが直接アクセス
し、Ｒ，Ｇ、Ｂデータを変換式に従ってＩ、Ｓ、Ｈデー
タに変換することにより得られたものである。これに対
して各図の（ｂ−２）。

（ｃ−２）、　　（ｄ−２）、　　（ｅ−２）は本実施
例の手法によるアルゴリズムに基づいて得られたヒスト
グラムであり、ＲＯＭに６ビツト階調のＲＧＢデータか
らＩ、Ｓ、Ｈの各特徴間への変換テーブルを記憶し、こ
れを読み出すことにより得られたものである。

第４図〜第７図の各（ｂ−１）、（ｂ−２）および各（
ｃ−１）、　　（ｃ−２）に示されるように、明度Ｉお
よび彩度Ｓについては、本手法によるヒストグラム分布
と従来手法によるヒストグラム分布とには大差がないこ
とが分かる。このことは、ＲＧＢデータをＩＳＨデータ
に変換する本手法による機能は、従来手法による変換機
能に比較して劣る面がないことを示している。一方、各
図の（ｄ−１）、（ｄ−２）に示される３Ｘ３平均値フ
イルタ３１１にかける前の特徴間である色相Ｈ′のヒス
トグラム分布は、従来手法と本手法とでは全体的な傾向
が変わっている。これは本例に用いたような画像では、
ＲＧＢデータから色相Ｈへ変換する式の中の（ｇ−ｂ）
および（２ｒ−ｇ−ｂ）の値は０付近の極めて限定され
た値しか取らないため、本手法によるデータの６ビツト
への圧縮により情報が極端に離散化してしまったことに
起因する。

しかじ、この色相Ｈ′を３×３平均値フイルタ３１１に
かけることにより得られるヒストグラム分布は、各図の
（ｅ−１）、　　（ｅ−２）に示されるように、従来手
法による分布に十分対応するものになっている。色相デ
ータの計算値はＲＧＢデータの小さな雑音によって容易
に変化する不安定な値であり、また、色相の画像には非
常に大きなノイズがある。このため、本手法のように、
色相変換の計算値結果について何等かの平滑化を行うこ
とは妥当な処理であり、この平滑化を行うことにより特
徴間を６ビツトに圧縮して処理しても同等問題は生じな
いことが理解される。なお、色相の計算値は雑音によっ
て容易に変化する不安定な値であるからこそ、色相Ｈ′
のデータを平均値フィルタに通すことにより、従来手法
によるヒストグラム分布と同様な分布が得られた。

このように、ＲＯＭ３０５〜３０７をルックアップテー
ブルとして用いてＩ、Ｓ、ｆ（の各特徴間を予め変換処
理することにより、従来のように処理が必要とされる度
毎に各画像メモリにＣＰＵがアクセスして演算する必要
は無（なる。この結果、本実施例によるデータ変換の際
の演算処理速度はビデオレートで高速に実行することが
可能となり、処理速度が向上する。また、上述のＲ，Ｇ
、ＢデータからＩ、Ｓ、Ｈデータへの変換式が変わって
も、同一のハードウェアによって対処することが可能で
ある。つまり、この変換式の変更が与える影響は、ＲＯ
Ｍ３０５〜３０７の記憶内容の変化だけである。このた
め、ハードウェアは変換式の変更によっては変化しない
。また、Ｒ，Ｇ、Ｈの各画素値を６ビツトに圧縮したた
め、ハードウェアの量を小さくすることが可能になる。

さらに、ルックアップテーブルから色相Ｈを読み出す際
に３×３平均値フイルタ３１１を通すことにより、デー
タを６ビツトに圧縮したことによる悪影響、例えば、ヒ
ストグラムの離散化等を防ぐことができる。

次に、「繰返しきい値処理における特徴量ヒストグラム
の形状に基づくしきい値設定手段」について説明する。

この手段は走行路領域を抽出するカラー画像処理の前処
理として行われる。

第８図はこの処理過程の概略を示すフローチャートであ
り、走行車両に設置されたカラーカメラから得られた原
画像データのコントラストが低い場合における処理を示
す。

まず、カメラから得られた原画像のＲＧＢデジタル画像
データを基にして色の特徴ｆｆ１（明度または彩度）に
対する頻度を表すヒストグラムを作成する。このヒスト
グラムの横軸は色の特徴量（明度または彩度）、縦軸は
特徴量の頻度に設定する。

このヒストグラムは原画像のコントラストが低いため、
ヒストグラムの原点側に偏って分布する。

また、コントラストの低い画像はモードが単峰形になり
易く、明確な谷が発生しない。このため、−膜内には各
画素値について所定の演算を行って画像強調を行った後
にヒストグラムを作成するのであるが、本手法の場合に
は、ヒストグラムのデータ上でこのヒストグラムを横軸
方向に単に引き伸ばすことにより、画像強調を行う（ス
テップ８０１）。

そして、強調されたヒストグラムの左端処理（ステップ
８０２）、および右端処理（ステップ８０３）を実行す
る。次に、ヒストグラムの頻度の分布状態から特徴量に
対する頻度の大きい仮の頂上（ピーク）、および特徴量
に対する頻度の小さい仮の谷をピーク・谷テーブル上に
設定する（ステップ８０４）。求まった仮の谷の頻度に
基づいて谷の評価をこのテーブル上で行う（ステップ８
０５）。さらに、この谷に隣接するピークに基づいて再
度谷の評価をテーブル上で行う（ステップ８０６）。最
後に、評価されたピーク・谷テーブルの平滑化を行い、
ピークと谷の相対関係から領域区分の対象領域とこの背
景領域との区分に有効な谷を抽出する（ステップ８０７
）。

一方、上記の処理に並行してステップ８０１で作成され
たヒストグラムに対して大津の判別分析法を適用し、こ
の判別分析法による領域区分しきい値を得る。そして、
得られたしきい値とステップ８０７で抽出された谷の位
置とを比較し、しきい値の近傍に位置する谷の頻度を真
のしきい値とし、大津の判別分析法によるしきい値を補
正する。

次に、各処理の詳細について以下に説明する。

ステップ８０４における仮のピークおよび仮の谷の設定
は次のように行われる。つまり、特徴量に対する頻度の
分布状態を基にして仮のピークおよび谷を判断する。具
体的には、ヒストグラム上の着目点の左右の隣接点の頻
度により、ピークおよび谷の状態は第９図（ａ）〜（ｆ
）に図示される６通りの状態に分けられる。ここで、ヒ
ストグラム上の着目点をｈｌ　　（添字のｉはヒストグ
ラムの横軸に添ってＮ個の点を均等に割り振った時の任
意の１点を意味し、０〜Ｎ−１の値とする）、着目点ｈ
ｊより特徴量が小さい隣接点をｈｌ−１、着目点ｈ１よ
り特徴量が大きい隣接点をｈ　ｉｉｉとする。また、着
目点ｈ１と隣接点ｈ　ｉ−１との各頻度の差をピッチＴ
）Ｉｆ　（ｐＨ−ｈｌ　−ｈｊ−１）　、隣接点ｈ　ｉ
ｉ１と着目点ｈ＋との各頻度の差をピッチｐｉ２　（ｐ
Ｈ２−ｈ　ＤＩ　−ｈ　ｉ　）とする。

ｉ−１〜Ｎ−２の範囲（ヒストグラムの両端点は除く）
において、ピーク・谷テーブル値ｐｋ　ｔｊを以下のよ
うに設定する。すなわち、ｐｉｌの符号とｐ＋２の符号
が異なる時、（１）　　ｐＨ≧０、かつ、ｐ１２≦０な
らば、テーブル値ｐｋｔｌ＝１ （２）　　ｐ１１≦０、かつ、ｐＨ２≧０ならば、テー
ブル値ｐｋｔｉ＝　　１ 第９図（ａ）は、ｐ　１１＞　０、かつ、ｐ　１２−０
の状態であり、従ってテーブル値ｐｋｔｉ　−１である
。同図（ｂ）は、ｐｉｌ＞Ｏ５かつ、ｐ　１２＜　０の
状態であり、従ってテーブル値ｐｋｔｉ　−１である。

同図（ｃ）は、ｐ　Ｉｌ−０、かつ、ｐ１２＜　Ｏの状
態であり、従ってテーブル値ｐｋｔｉ　−１である。同
図（ｄ）は、ｐ　ｉｉ＜　ｏ、かつ、ｐ　１２−０の状
態であり、従ってテーブル値ｐｋｔｉ＝−１である。同
図（ｅ）は、ｐ　ｉｆ＜　０、かつ、ｐ１２＞　０の状
態であり、従ってテーブル値ｐｋｔ１＝−１である。同
図（ｆ）は、ｐ　ｉｌ−０、かつ、ｐ１２〉０の状態で
あり、従ってテーブル値ｐｋｔｉ　−−１である。

このようにして隣接する各点の相対的な各頻度の関係か
ら、同図（ａ）、（ｂ）、（ｃ）の状態はｐｋｔｉ−１
であると演算され、着目点ｈ１は仮のピークと判断され
る。同図（ｄ）、（ｅ）。

（ｆ）の状態はｐｋｔｌ＝−１であると演算され、着目
点ｈ１は仮の谷と判断される。

また、ステップ８０５における頻度による谷の評価処理
は次のように行われる。つまり、ｉ−１〜Ｎ−２におい
て着目点ｈｉが仮のピークであるとき（ｐｋｔｌ−１）
、 （１）　　隣接点ｈｊと着目点ｈ＋との比が０．１より
小さい（ｈｊ　／ｈｌ　＜０．１）隣接点ｈｊが着目点
ｈ１の左側にあるならば、隣接点ｈｊに対応するテーブ
ル値ｐｋ　ｔｊを−１にする（ｐｋｔｊ　　＝−１）　
　。

（２）隣接点ｈｆｆｌと着目点ｈｌ　との比が０．１よ
り小さい（ｈｍ／ｈｌ　＜０．１）隣接点ｈｍが着目点
ｈ１の右側にあるならば、隣接点ｈｍに対応するテーブ
ル値ｐｋｔｍを−１にする（ｐｋｔ摺−一１）。

また、ステップ８０６における隣接ピークに基づく谷の
評価処理は次のように行われる。

ｉ−０〜Ｎ−１において、 （１）着目点ｈｉが仮の谷の時（ｐｋｔｌ＝＝１）、 ■谷の左側の仮のピーク（隣接点ｈｋ、　テーブル値ｐ
ｋｔｋ＝１）をｔ　ｏｐＬと呼ぶことにする。

■谷の右側の仮のピーク（隣接点ｈｊ、テーブル値ｐｋ
ｔｊ＝１）をｔｏｐＲと呼ぶことにする。

（２）　　着目点ｈｉにｔ　ｏｐＬおよびｔｏｐＲが共
に存在する時、 ■着目点ｈ＋とｔ　ｏｐＬとの比ｆｌｃΩ−ｈｊ／１ｏ
ｐＬ）が着目点ｈ１とｔｏｐＲとの比ｒ（ｒ−ｈｌ／１
ｏｐＲ）より小さければ（４７＜ｒ）、テーブル値ｐｋ
　ｔｊに１を加算する。

■比１）（ｈｌ／１ｏｐＬ）が比ｒ　（ｈｉ　／１ｏｐ
Ｒ）より大きければ（ρ≧ｒ）、テーブル値ｐｋ　ｔｋ
に１を加算する。

（３）　　着目点ｈｉにｔ　ｏｐＬおよびｔｏｐＲが共
に存在し、かつ、比１ｔ＜０．５、または比ｒく０．５
ならば、着目点ｈｔに対応するテーブル値ｐｋｔｉから
１を減じる。

（４）　　上記の（３）以外の場合には、テーブル値ｐ
ｋ　ｔｉを−４に書き替える。

（５）　　谷の右側にのみ仮のピークｔｏｐＲが存在す
る時、比ｒ＜０．５ならば、テーブル値ｐｋ　ｔｉから
１を減じる。

（６）　　谷の左側にのみ仮のピークｔｏｐＬが存在す
る時、比１）＜０．５ならば、隣接点ｈｊに対応するテ
ーブル値ｐｋ　ｔｊから１を減じる。

また、ステップ８０７におけるピーク・谷テーブルの平
滑化処理、つまり、ピーク・谷テーブルｐｋｔにおいて
、求まった谷どうしの距離が十分に近い場合には平滑化
処理が次のように行われる。

ｉ−１〜Ｎ−１において、着目点ｈ１に対応するテーブ
ル値ｐｋｔｉが−２であり、この谷の右側に位置する谷
のテーブル値ｐｋｔｊ　も−２であり、しかも、これら
谷どうしの距離（ｊ−ｉ）が所定のしきい値よりも小さ
い時、 （１）　　着目点ｈ＋の頻度の方が隣接点ｈｊの頻度よ
りも大きければ（ｈｉ　＞ｈｊ　）　、テーブル値ｐｋ
　ｔｉを０にする（ｐｋｔｉ−０）。

（２）　　着目点ｈｊの頻度の方が隣接点ｈｊの頻度よ
りも小さければ（ｈｌ　≦ｈｊ）、右側に位置する谷の
テーブル値ｐｋｔｊを０にする（ｐｋｔｊ　＝０）。

次に、上記方法を用いた具体的な例について以下に説明
する。

例えば、第１０図（ａ）に示される特徴量ヒストグラム
が得られた場合を想定する。同図の横軸は明度または彩
度の色の特徴量であり、縦軸はその特徴量の画像におけ
る頻度である。このヒストグラムについて第８図に示さ
れた処理を行うと、同図（ｂ）に示されるピーク・谷テ
ーブルｐｋｔのテーブル値は、同図（ｂ）の一番人側の
列に記された１〜８の番号に沿って以下のように推移す
る。この推移の結果、再下段に示された数値が最終のテ
ーブル値として求まる。なお、同図（ｂ）の各テーブル
値が記載されている位置は、同図（ａ）のヒストグラム
の各特徴ｆｆ１Ａ−Ｌに対応している。つまり、記載さ
れた各テーブル値は、点線で示されるように、その記載
された位置の上方の特徴量に対応している。

まず、特徴量ヒストグラムの左端処理および右端処理を
実行しくステップ８０２，８０３）、引き続いて仮ピー
クおよび仮の谷を設定する（ステップ８０４）。この設
定は前述のステップ８０４の処理に従って行われ、この
結果得られる各テーブル値は番号１のテーブルに示され
るものとなる。

次に、頻度による谷の評価（ステップ８０５）および隣
接ピークに基づく谷の評価（ステップ８０６）を、前述
の処理に従って行う。

特徴量がＡの谷の場合には谷の右側にｔｏｐＲのみが存
在し、また、特徴ｉ１Ａにおける頻度と谷の右側の仮の
ピークの頻度との比ｒは０．５以下である（ｈｉ　／ｌ
　ｏｐＲ＜０．５）ｏこのため、特徴ｆｆ１Ａに対応す
るテーブル値から１を減じ、この結果、テーブル値は−
２になってテーブルは番号２に示されるテーブルに推移
する。

また、特徴量がＤの谷の場合には、この谷の両側にｔｏ
ｐＬおよびｔｏｐＲが共に存在する。しかも、この谷の
頻度と左側の仮のピークの頻度との比ｇは０．５以下で
ある（ｈｌ／１ｏｐＬ＜０．５）。従って、特徴ｆｆ１
Ｄに対応するテーブル値ｐｋ　ｔｉから１を減じ、この
結果、テーブル値は−２になる。また、特徴量がＤの谷
の両側の仮の各ピーク値の頻度と谷の頻度との各地ｐお
よび比ｒは、比「の方が大きい（１）＜ｒ）。従って、
谷の右側に位置する仮のピーク（特徴ｆｆ１Ｅ）のテー
ブル値ｐｋ　ｔｊに１を加算することにより、テーブル
値は２になる。この結果、ピーク・谷テーブルは番号３
に示されるテーブルになる。

また、特徴量がＦの谷の両側には共にｔ　ｏｐＬおよび
ｔｏｐＲが存在し、比ｇまたは比ｒの一方は０，５より
小さい（ｇ、ｒ＜Ｑ、５）。従って、特徴量Ｆに対応す
るテーブル値ｐｋ　ｔｌから１を減じ、テーブル値を−
２にする。また、比ｐは比ｒより大きい（ｆ！≧ｒ）。

従って、谷の左側に位置する仮のピーク（特徴量Ｅ）の
テーブル値ｐｋｔｋに１を加算し、テーブル値を３にす
る。

この結果、テーブルは番号４に示されるテーブルに推移
する。

また、特徴量がＨの谷の両側には共にｔｏｐＬおよびｔ
ｏｐＲが存在し、比ｇまたは比ｒの一方が０．５より大
きい（ｉ）、ｒ≧０．５）。従って、特徴量Ｈに対応す
るテーブル値ｐｋ　ｔｌを−４に書き替える。また、比
ｐは比ｒよりも小さい（ｇ＜「）。従って、谷の右側の
仮のピーク（特徴量Ｉ）に対応するテーブル値ｐｋ　ｔ
ｊに１を加える。

この結果、特徴ｊｌＩに対応するテーブル値は２になり
、テーブルは番号５に示されるテーブルに推移する。

また、特徴量Ｊの谷の両側には共にｔ　ｏｐＬおよびｔ
ｏｐＲが存在し、比ｒは０．５より小さい（ｒ＜０．５
）。従って、この谷に対応するテーブル値ｐｋｔ＋から
１を減じる。また、比ｇは比ｒより大きい（１）≧ｒ）
。従って、谷の左側に位置する仮のピーク（特徴ｆｆｉ
りに対応するテーブル値ｐｋ　ｔｋに１を加算し、テー
ブル値を３にする。この結果、テーブルは番号６に示さ
れるテーブルに推移する。

また、特徴ｆｆ１Ｌの谷は谷の左側にｔｏｐＬのみが存
在し、比ｐは０．５より小さいｉ　＜０．５）。従って
、この谷に対応するテーブル値ｐｋ　ｔｉから１を減じ
る。この結果、テーブル値は−２になり、テーブルは番
号７に示されるテーブルに推移する。

次に、このようにして得られた番号７のピーク・谷テー
ブルｐｋｔについてデータの平滑化を前述のように行う
（ステップ８０７）。つまり、特徴量りの谷ｈ１とこの
右側に位置する特徴ｆｆ１Ｆの谷ｈｊとの距離は所定の
しきい値より小さく、かつ、各省のテーブル値は−２で
ある。さらに、特徴ｆｆ１Ｆの谷の頻度は特徴量りの谷
の頻度より太きい（ｈｉ≦ｈｊ）。従って、特徴量Ｆの
谷に対応するテーブル値ｐｋｔｊを０にする。この結果
、テーブルは最終的に第１０図（ｂ）の最下段に示され
るテーブルになる。

この最終的なテーブルのうち、特徴量Ａ、Ｄ。

Ｈ，Ｊ、Ｌに対応するヒストグラム上の各点が谷として
求まるが、ヒストグラムの両端にある谷Ａ。

Ｌは対象にはならず、また、テーブル値が−４の谷（特
徴ｆｆ１Ｈ）も対象にはならない。すなわち、データ画
像を対象領域と背景領域とに区分するのに有効な谷は、
テーブル値−２が二重丸で囲まれた特徴ｆｆ１Ｄおよび
Ｊに対応する谷である。これら谷のうち、第１０図（ａ
）のヒストグラムに大津の判別分析法を適用して得られ
た領域区分しきい値に近い谷の頻度が真の領域区分しき
い値になる。

このように大津の判別分析法のあいまいな結果が補正さ
れることにより、誤差が少なく確度の高い走行路判別を
行うことが可能になる。

次に、「テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」について説明する。なお、
以下の説明では、自律走行車が草や土等で区切られたコ
ースを走行することを前提にし、走行路領域を抽出する
場合について述べることにする。

第１１図は走行路認識のアルゴリズムの概要を表すフロ
ーチャートである。

まず、走行車に搭載されたカラーＣＣＤカメラにより、
走行路の情頻を撮像する（ステップ１１０１）。そして
、撮像されたＲＧＢのカラー画像信号をカラーカメラ入
力装置に取り込み、取り込んだＲＧＢ原画像データを前
述のようにＩＳＨデータに変換する（ステップ１１０２
）。ＩｓＨデータに変換された特微量画像に基づき、前
述のように各特徴量とその画素数との特性を表すヒスト
グラムをカラー画像処理装置で作成する（ステップ１１
０３）。

次に、作成したヒストグラムに基づき、しきい値処理を
繰り返し適用して走行路を２値化画像として抽出する。

このように抽出された画像はノイズや細かく分断された
領域を有するので、次の処理を実行する。つまり、後に
詳述するラベリング装置によって各領域にラベルを付け
る（ステップ１１０４）。そして、ラベル付けされた各
領域の面積と重心とを計測し、カメラの取り付は位置か
ら計算される地平線位置より重心が上の領域、および面
積が小さい領域を除去する（ステップ１１０５）。

次に、カラー画像処理装置において最初に抽出された走
行路画像に基づいて、走行路領域より明るさが暗い領域
および明るい領域を求め、これらの領域を併合し、また
、各領域どうしの関係を記述する（ステップ１１０６）
。この領域併合および領域関係の記述を基にして走行可
能範囲、つまり、道路端を検出し、画像取り込み時刻を
この走行可能範囲情報に付与する。そして、走行可能範
囲情報を画像処理装置を構成するデータ管理部へ伝送す
る（ステップ１１０７）。この後、ステップ１１０２に
戻って以上の処理を繰り返す。

第１２図は走行路領域を抽出する処理の詳細を表すブロ
ック図である。

まず、撮像された原画像のＲＧＢデータから明度データ
Ｉおよび彩度データＳを求め、各データを特微量画像と
して画像メモリに記憶する（ブロック１２０１）。次に
、画像メモリに記憶された明度データＩを基にして明度
を特徴量とするヒストグラムを作成する（ブロック１２
０２）。このヒストグラムの横軸となる特徴量の分割数
は４０ポイントであり、このポイント数は大局的に走行
路の抽出を行うのには十分な大きさである。次に、作成
したヒストグラムを正規化する（ブロック１２０３）。

そして、正規化されたヒストグラムについて周知の大津
の判別分析法を適用し、走行路領域と背景領域とを区分
するためのしきい値を計算する（ブロック１２０４）。

一方、作成したヒストグラムの形状に基づいて特徴量の
画素数が多いピーク、および特徴量の画素数が少ない谷
を前述のように求め、ピークと谷の一覧表であるピーク
・谷テーブルを作成する（ブロック１２０５）。各ピー
クおよび谷における各特徴量の値をしきい値処理のため
の候補値とする。

ブロック１２０４で求めた大津の判別分析法によるしき
い値には誤差が含まれる場合があるため、ブロック１２
０５で求めたしきい値処理のだめの候補値により、大津
の判別分析法によるしきい値を補正する。つまり、ブロ
ック１２０４で求めたしきい値とブロック１２０５で求
めた候補値とを比較し、ブロック１２０４のしきい値に
最も近いブロック１２０５の候補値を走行路領域と背景
領域とを区分するためのしきい値とする（ブロック１２
０６）。次に、このしきい値により明度画像を２値化す
る（ブロック１２０７）。

明度画像は５１２Ｘ５１２個の画素によって構成されて
おり、Ｉ　　（ｉ、ｊ）として表現される。

ここで、ｉ、ｊは条件式０≦ｉ、ｊ≦５１１を満足する
整数である。また、ブロック１２０６で求まったしきい
値をＸＩ、領域分割の対象となる特徴量範囲の最少の特
徴量の値をしきい値ＸＯ１最大の特徴量の値をしきい値
Ｘ２とする。なお、しきい値ＸＯおよびＸ２の各初期値
はＯおよびＦＦ（ｈ　ｅ　ｘ）である。ここで、明度画
像１　　（ｉ、ｊ）が次の条件式を満足する場合には、
メモリＭ１（ｉ、ｊ）にＦＦ（ｈｅｘ）を書き込む（ブ
ロック１２０８）。

ＸＯ：ＷＩ　（ｉ、ｊ）＜Ｘｌ また、明度画像１　　（ｉ、ｊ）が次の条件式を満足す
る場合には、メモリＭ２　（ｉ、ｊ）にＦＦ（ｈ　ｅ　
ｘ）を書き込む（ブロック１２０９）。

Ｘ１≦Ｉ　（ｉ、ｊ）＜Ｘ２ 次に、ＲＯＭに記憶されたテンプレート画像を読み出す
（ブロック１２１０）。このテンプレート画像内には最
も安定した走行路情報が得られるようにテンプレート領
域が設定されている。この領域設定は自律走行車に取り
付けられたカラーカメラの俯角１画角、焦点距離を基に
して行われ、テンプレート領域に対応するメモリにはＦ
Ｆ（ｈ　ｅ　ｘ）が記憶されている。次に、読み出した
テンプレート画像とメモリＭ１およびメモリＭ２との重
複度を計算する（ブロック１２１１）。つまり、テンプ
レート画像とメモリＭ１およびメモリＭ２との各論理積
を取り、論理積結果が「１」の画素数を各メモリＭ１お
よびメモリＭ２毎に累計する。

次に、各メモリ毎に累計された画素数が、テンプレート
領域内にある画素数に占める比率を求める。この比率が
５０％以上になるメモリ情報には走行路領域が含まれて
いるものとし、さらに、比率が５０％以上のメモリＭ１
またはＭ２に記憶された画像ついて、以下のように繰り
返して領域分割を行う。また、この比率に基づくメモリ
の選択により、しきい値Ｘ１によって画像が領域分割さ
れたことになり、また、ヒストグラム上においても分割
が行われたことになる。

つまり、特徴量がＸＯ〜Ｘ１の範囲内にあるメモリＭ１
に記憶された領域と、特徴量がＸ１〜Ｘ２の範囲内にあ
るメモリＭ２に記憶された領域とに分割されたことにな
る。また、各メモリＭ１およびＭ２とテンプレート画像
との重複度がいずれも５０％を越えない時には、メモリ
Ｍ１とメモリＭ２との和が記憶されたメモリＭ３が選択
され（ブロック１２１２）、メモリＭ３に基づいた領域
分割が次に行われる。

例えば、メモリＭ１とテンプレート画像との重複度が高
かった場合には、しきい値ＸＯからＸ１内の特徴量によ
って構成された領域を道路候補領域にする（ブロック１
２１３）。そして、この道路候補領域をさらに繰り返し
て領域分割する。この繰り返し領域分割のためのしきい
値Ｘ１′は、ブロック１２０５で求めた谷の候補値のう
ち、しきい値ＸＯ〜ｘ１の範囲内にあるものとなる（ブ
ロック１２１４）。また、もし、この範囲内に谷の候補
値が無い場合には、繰り返し分割処理は行われない。

繰り返し領域分割の対象となる特徴量範囲の最小値ＸＯ
′は前回の領域分割と変わらないしきい値ＸＯになり、
最大値Ｘ２’　はしきい値Ｘ１になる。この範囲内の特
徴量により構成される領域についてブロック１２０７で
再度２値化を行い、その後前回の領域分割と同様な処理
を実行することにより、繰り返し領域分割が行われる。

この繰り返しは、分割する道路候補領域の特徴量の範囲
内にブロック１２０５で求めた谷の候補値がなくなるま
で行う。このようにして処理を繰り返して実行すること
により、最終的に最初の道路画像領域が得られる。

得られた道路画像領域の明度より暗い影の領域、および
明るい高輝度の領域がある場合には、これらの各領域を
求めるためのしきい値を後述のように設定する（ブロッ
ク１２１５）。そして、このしきい値に基づき、各領域
について前述と同様にして領域分割し、影の領域および
高輝度の領域を求める。また、同時に行われる彩度画像
に基づく処理結果により、求めた影の領域の彩度と道路
画像領域の彩度とが似ている場合には、各々の論理積を
とり、１つの領域として最終的な低輝度領域とする。ま
た、同様に、求めた高輝度領域の彩度と道路画像領域の
彩度とが似ている場合には、各々の論理積をとり、１つ
の領域として最終的な高輝度領域とする。さらに、道路
画像領域と低輝度領域との接続関係を調べ、併合できる
関係にある場合は併合処理を行う。また、同様に、道路
画像領域と高輝度領域との接続関係を調べる。

このように併合できる関係にある場合には併合処理を行
う。この結果、走行路に影がある場合または自己の位置
が影内で走行路の遠方に直射日光が照射されて高輝度部
分がある場合には、この併合処理を行うことによって現
実の走行路に即した形状の走行路領域が得られることに
なる。

以上の処理は明度画像に対するものであったが、彩度画
像に対しても同様な処理を行う。但し、ブロック１２１
５の処理は明度画像に対する特有なものであるため、こ
の処理は実行しない。この彩度画像による処理結果にお
いて、各領域のＲ，Ｇ。

Ｂが似た値になる同系色の場合には、各領域のヒストグ
ラム分布は同様な形状になる。これは、前述のＲＧＢデ
ータから彩度Ｓデータへの変換式％式％） 従って、Ｒ，Ｇ、Ｂの各位が似た値になる曇天時の空や
一般舗装路では、彩度に基づいて各領域を区別すること
は困難である。しかし、色差があって各領域のＲ，Ｇ、
Ｂ値が似ていない場合には、各領域の明度に差がなくて
も各領域を区別することが可能である。このため、道路
画像領域をいかなる情景の下でも正確に抽出するために
、明度および彩度の２つの特徴量を用いる。そして、明
度画像および彩度画像から抽出した２種類の道路画像の
論理積を取ることにより、確度の高い走行路領域情報を
得ることが出来る。

第１３図は、道路画像領域の抽出処理における道路候補
領域の抽出過程を示す。

まず、明度の特微量画像１３０１から特徴量ヒストグラ
ム１３０２を作成する。このヒストグラム１３０２の横
軸は明度を示し、この明度は０〜Ｆ　Ｆ　（ｈ　ｅ　ｘ
）の数値によって表現されている。

また、縦軸は各明度における原画像中の画素数を示す。

大津の判別分析法をこのヒストグラム１３０２に適用し
、道路領域と背景領域とを区別するためのしきい値Ｃを
求める。また、ヒストグラム１３０２の形状に基づき、
ヒストグラムのビーりおよび谷を求め、ピーク・谷テー
ブルを作成する。そして、求めた谷を繰返しきい値処理
のためのしきい値の候補値とする。このヒストグラム１
３０２では特徴ｆｆ１ａ＋　　ｂ、ｄ、ｅ、ｆが候補値
になっている。

大津の判別分析法によって求めたしきい値Ｃを、ピーク
・谷テーブルから求めた候補値によって補正する。つま
り、しきい値Ｃに最も近い候補値すを補正したしきい値
とする。そして、このしきい値すによって特微量画像１
３０１を２値化する。

この結果、特徴量が００（ｈｅｘ）〜ｂの分割画像１３
０３と、特徴量がｂ−ＦＦ（ｈｅｘ）の分割画像１３０
４とが得られる。この時点では分割された各画像１３０
３．１３０４のうち、どちらの画像に走行路領域が含ま
れているのかが分からない。

このため、道路位置を想定したテンプレート画像１３０
５と各画像１３０３．１３０４との論理積を取り、各画
像との重複度を計算する。テンプレート画像１３０５の
下部には台形のテンブレート領域が図示のように設定さ
れている。このテンプレート領域に対応するメモリ素子
には前述したようにＦＦ　（ｈｅｘ）が記憶されており
、また、テンプレート領域の背景領域に対応するメモリ
素子には００（ｈｅＸ）が記憶されている。本例の場合
には、画像１３０４にテンプレート画像１３０５との重
なり部分が最も多く存在する。このため、重複度の計算
結果により、特徴量がｂ〜ＦＦ　（ｈｅｘ）の画像１３
０４に走行路領域が含まれているものと判断され、画像
１３０４に対応した道路候補領域画像１３０６が得られ
る。

ｂ−ＦＦ（ｈｅｘ）の特徴量の間にはまだ他の候補値が
残っているので、次に、さらにこの道路候補領域画像１
３０６について領域分割を行う。

つまり、道路候補領域画像１３０６をしきい値ｄで２値
化する。この２値化により、特徴量がｂ〜ｄの分割画像
１３０７と、特徴量がｄ−ＦＦ（ｈ　ｅ　ｘ）の分割画
像１３０８とが得られる。次に、得られた各画像１３０
７．１３０８について、前述と同様にしてテンプレート
画像１３０５との重複度を計算する。本例の場合には、
画像１３０８の方がテンプレート画像１３０５との重複
度が高いため、特徴量がｄ−ＦＦ（ｈｅｘ）の画像１３
０８に走行路領域が含まれているものと判断され、画像
１３０８に対応した道路候補領域画像１３０９が得られ
る。

ｄ−ＦＦ（ｈｅｘ）の特徴量の間にはまだ他の候補値ｅ
が残っているため、道路候補領域画像１３０９をこのし
きい値ｅで２値化する。この２値化により、特徴量がｄ
−ｅの分割画像１３１０と、特徴量がｅ−ＦＦ（ｈｅｘ
）の分割画像１３１１とが得られる。そして、前述と同
様にして各画像１３１０．１３１１とテンプレート画像
１３０５との重複度を計算する。本例の場合には、画像
１３１０の方がテンプレート画像１３０５との重複度が
高いため、特徴量がｄ　−ｅの画像１３１０に走行路領
域が含まれているものと判断され、画像１３１０に対応
した道路候補領域１３１２が得られる。

ｄ　−ｅの特徴量の間にはもう他の候補値が残りていな
いので、この道路候補領域１３１２が最終的な道路領域
の２値画像になる。以上の処理は明度画像に対して行っ
たが、彩度画像に対しても同様な処理を行う。その後、
明度画像から抽出された走行路領域と彩度画像から抽出
された走行路領域との論理積を取り、最終的な走行路領
域を得る。

しきい値を用いて画像を２値化し、画像の領域分割をす
る手法は一般的である。しかし、本実施例のように、走
行路の位置を考慮したテンプレート画像を用いて分割画
像との重複度を計算することにより、ヒストグラム上に
おいて行われる次の領域分割のためのしきい値を決定す
る処理は高速にかつ簡素に行える。この結果、現実の走
行路に即した走行路領域が高速にかつ容易にかつ低コス
トで得られる。

また、次のようにカメラに撮像される情景の明暗が変化
する場合がある。例えば、自軍の進行方向がカーブによ
って変更したために明るさが変化した場合や、天候が晴
れたり曇ったりするために明暗が変わる場合などがある
。このような場合には、特徴量ヒストグラムは常に一定
の形状を示さないため、固定されたしきい値による領域
分割では正しい走行路領域が得られない。しかし、本手
法では、入力された画像の状態、つまり、明るさが時々
刻々と変化しても常に正確な走行路領域の抽出を行うこ
とが可能である。これは、本手法では、テンプレート画
像との重複度が最も高い特徴量分布を見つけ、時々刻々
と変化する画像についてその時の特徴量に応じた最適な
しきい値をその都度設定するからである。

従来、領域分割を行う画像処理にあっては、原画像を複
数の領域に分割し、分割した画像について識別処理を行
って道路の妥当性を検証していた。

しかし、上述した本手法にあっては、目的とする対象物
（道路）を抽出するために、しきい値処理による領域分
割を行っている。このように、従来の手法では処理結果
から対象物を検証したが、本手法では処理の当初から対
象物を目的としている点で処理のアプローチが逆になっ
ている。このため、道路領域を効率良く抽出することが
可能になっている。

次に、「明るさの違いに注目した走行コースからの影や
高輝度部分の抽出手法」について説明する。本手法は上
述した「テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」の説明において既に簡単に
説明したものであり、以下にこの手法を詳述する。

明度画像について、上述した「テンプレート画像を用い
た繰返しきい値処理による走行コースの抽出手法」、お
よび「繰返しきい値処理における特徴量ヒストグラムの
形状に基づくしきい値設定手法」を適用することにより
、走行コースの特徴量の分布するヒストグラムが求めら
れた。本手法は、このヒストグラムを基にして道路領域
より暗い領域および道路領域より明るい領域を求めるも
のである。また、本手法はカラー画像処理装置内で処理
されるものである。

第１４図は、種々の入力画像が撮像された各ケースにつ
いて、本手法を適用した場合の処理の概要を示す。ケー
ス１は、−様な路面状況の走行コースのみが入力画像と
して撮像された場合である。

この場合、自車は、右側にカーブする道路のカーブ手前
に位置している。このケース１において抽出される道路
候補領域は、入力画像と同様な形状になる。これは入力
画像が−様な走行コースのみだからであり、従って、本
手法により低輝度領域および高輝度領域は抽出されない
。

また、ケース２は、走行コースの路面上に部分的に影が
でき、しかも、走行コースの遠方に反射光などによる高
輝度部分ができている入力画像が撮像された場合である
。この場合の例では、道路は右側にカーブし、この右側
カーブの手前に左側にカーブする分岐路を有している。

自車はこれらカーブの手前に位置している。このケース
２において抽出される道路候補領域は、影ができている
暗い領域および高輝度領域である明るい領域が除外され
た形状になる。また、道路の手前側にできている影の部
分は本手法による低輝度領域の抽出により、個別に取り
出すことができる。また、道路の遠方にできている反射
光による高輝度領域は高輝度領域の抽出により、個別に
取り出すことができる。

ケース３は、陽射しが強い天候の時に、樹木による影が
走行コースの路面上にできている入力画像が撮像された
場合であり、路面上に木洩れ日がさしている場合である
。この場合の例では、自軍は、左側にカーブする道路の
カーブ手前に位置している。このケース３において抽出
される道路候補領域は、木洩れ日によってできる影と同
じ形状である。これは、強い陽射しのために影が、テン
プレート画像との重複度が高くなるためである。

従って、本手法により低輝度の領域は抽出されない。ま
た、遠方の道路領域および木洩れ日がさしている部分は
強い陽射しのために高輝度の領域として抽出される。

ケース４は、道路の側帯に沿って帯状に変色部分ができ
ている場合であり、例えば、舗装路の工事等によって道
路が変色した場合である。この場合の例では、自車は、
直線状に進む道路にできた変色部分を右手にみて走行す
る位置にある。このケース４において抽出される道路候
補領域は、この変色部分が除外された形状になる。また
、この変色部分は道路領域より明度が高いため、本手法
により高輝度領域として抽出される。また、道路の路面
上には影などがないため、低輝度領域は抽出されない。

次に、上述したケース２を例として、本手法の詳細を以
下に説明する。

第１５図は、ケース２において撮像された入力画像を基
にして作成されたヒストグラムである。

このヒストグラムの特徴量は明度であり、横軸にこの明
度が示されている。また、縦軸は、各明度における画素
数である。

図のＡ部分の特徴量範囲は走行路領域が含まれる範囲で
あり、前述した「テンプレート画像を用いた繰返しきい
値処理による走行コースの抽出手法」において最も走行
コースに相当する画素が含まれる範囲とされる部分であ
る。また、範囲Ａは特徴量がｔｌからｔ２まての範囲て
あり、各特徴ｆｆ１ｔｌおよびｔ２をしきい値として領
域分割される。また、特徴Ｊｌｔｌより左側にあるＢ部
分は谷と谷とに挾まれた１つの山を形成し、Ａ部分より
明度の低い暗い範囲の特徴量分布である。このＢ部分の
特徴量範囲はｔ３からｔｌまでであり、各特徴量ｔ３お
よびｔｌは領域分割のためのしきい値になる。また、特
徴量ｔ２より右側にあるＣ部分は、Ａ部分より明度の高
い明るい範囲の特徴量分布であり、Ｂ部分と同様に谷と
谷とに挾まれた１つの山を形成している。このＣ部分の
特徴量範囲はｔ２からｔｉまでであり、各特徴ｆｆ１ｔ
２およびｔｉは領域分割のためのしきい値になる。

なお、図に示されるＢ部分やＣ部分は１つの山を形成し
ているが、このように１つの山を形成しない特徴量分布
は、画像上において領域分割のために有意義な領域を形
成する分布とは認められない。このため、このような特
徴量分布は優位な分布ではないものとして領域抽出の対
象として選定しない。図示の本例の場合にはＢ部分およ
びＣ部分の双方ともに優位な分布になっているが、一方
のみが優位な分布であっても本手法は適用される。

Ａ部分の特徴量分布は第１４図に示されたケース２の道
路候補領域に相当する。また、Ｂ部分の特徴量分布はこ
の道路候補領域より明度の低い影の領域に相当し、Ｃ部
分の特徴量分布は道路候補領域よりも明度の高い高輝度
部分に相当するものである。本手法は、Ａ部分に隣接す
るＢ部分およびＣ部分の各特徴量分布に相当する各領域
を抽出するものである。

まず、ヒストグラムのＢ部分に相当する領域を抽出する
ため、しきい値ｔ３およびｔｌによって明度を特徴量と
する入力画像を２値化する。また、前述した［テンプレ
ート画像を用いた繰返しきい値処理による走行コースの
抽出手法」において、彩度を特徴量とする入力画像に基
づいて道路領域画像が求められていた。この道路領域画
像は、原画像が最初に領域分割されることにより得られ
たものであり、影などの暗い領域や高輝度領域が道路領
域に含まれた状態の画像である。この道路領域に相当す
るメモリ素子には１が記憶されており、その他の背景領
域に相当するメモリ素子にはＯが記憶されている。また
、上記の２値化画像において、明度がｔ３からｔｌの画
素領域に相当するメモリ素子には１が記憶されており、
その他の領域に相当するメモリ素子には０が記憶されて
いる。

このため、道路領域画像と２値化画像との論理積をとる
ことにより、走行路領域上にある例えば影の部分などの
暗い領域のみが個別に抽出される。

また、Ｃ部分に相当する領域を抽出するため、上記の暗
い領域を求めるのと同様に、しきい値ｔ２およびｔｉに
よって明度画像を２値化する。

そして、彩度画像から抽出された道路領域画像とこの２
値化画像との論理積を上記のＢ部分の抽出の場合と同様
にとることにより、高輝度領域が個別に抽出される。

次に、Ｂ部分およびＣ部分を領域分割する際に必要とさ
れるしきい値ｔ３およびｔｉを求める方法について説明
する。前述した「繰返しきい値処理における特徴量ヒス
トグラムの形状に基づくしきい値設定手段」により、第
１０図（ｂ）に示されるピーク・谷テーブルを求めたが
、第１５図に示されるヒストグラムについてもこれと同
様にして図示しないピーク・谷テーブルを求める。この
ピーク・谷テーブルにおける各テーブル値は、第１０図
（ｂ）と同様に、ｐｋ　ｔｉとして表現する。

添字のｉは、グラフの原点側から各テーブル値に対応し
て順にｉ−０，１，２，・・・Ｎ、Ｎ−１と変化するも
のとする。

第１５図のヒストグラムにおいて、しきい値ｔ１に相当
するテーブル値をｐｋ　ｔｊとする。そして、ピーク・
谷テーブルにおいてこのテーブル値ｐｋｔｉから左側へ
各テーブル値を見て行き、ｐｋｔＯのところまでにテー
ブル値が負となるｐｋｔｋ　　（ｐｋｔｋ＜０）がある
か否かを判断する。テーブル値が負になる特徴点は谷の
底に相当する点である。ｐｋ　ｔｏまでに負となるｐｋ
　ｔｋが有り、しかも、ｐｋｔｊの特徴点からｐｋ　ｔ
ｋの特徴点までの距離がしきい値より小さい場合（ｐｋ
　ｔｊ　−ｐｋ　ｔｋ　＜Ｌきい値）、このテーブル値
ｐｋ　ｔｋに相当する特徴量をしきい値ｔ３とする。ま
た、ｐｋ　ｔＯまでに負となるｐｋｔｋが無い場合、ま
たは距離がしきい値を越える場合には、道路領域より暗
い優位な領域は無いものとする。

ヒストグラム上のしきい値ｔ４に相当する特徴量は、し
きい値ｔ３に相当する特徴量を求める方法と同様にして
求めることができる。つまり、しきい値ｔ２に相当する
ピーク・谷テーブル値をｐｋｔｍとすると、このｐｋｔ
ｍから右側へ各テーブル値を見て行き、ｐ　ｋ　ｔ　Ｎ
−１までに負となるｐｋｔｎ　　（ｐｋｔｎ＜０）が有
るか否かを判断する。ｐ　ｋ　ｔ　Ｎ−１までに負とな
るｐｋｔｎが有り、しかも、ｐｋｔｎの特徴点からｐｋ
ｔ＋ａの特徴点までの距離がしきい値より小さい場合（
ｐｋｔｎ−ｐｋｔｍくしきい値）　このテーブル値ｐｋ
ｔｎに相当する特徴量をしきい値ｔ４とする。

また、ｐ　ｋ　ｔ　Ｎ−１までに負となるｐｋｔｎが無
い場合、または、距離がしきい値を越える場合には、道
路領域より明るい優位な領域は無いものとする。

以上のように、本手法は、「繰返しきい値処理における
特徴量ヒストグラムの形状に基づくしきい値設定手段」
で求められたピーク・谷テーブルを利用することにより
、天候の変化や舗装路の工事等によって道路の路面状況
が変化しても、影や高輝度部分および変色部分を個別に
抽出することができる。

次に、「ラベリング装置」について以下に詳述する。「
テンプレート画像を用いた繰返しきい値処理による走行
コースの抽出手法」において抽出された画像は、ノイズ
や細かく分断された領域を有する。このため、ラベリン
グ装置により抽出画像の各領域にラベル付けをし、ラベ
ル付けされた各領域の有効性を判断する。このラベリン
グ処理の結果に基づき、地平線位置より重心が上の領域
や、ノイズ等によって発生した不要な小領域を除去する
。

第１６図はこのラベリング装置の概略構成を示すブロッ
ク図であり、第１７図はこのラベリング処理の概略を示
すゼネラルフローチャートである。

まず、カラー処理装置において抽出された画像を画像バ
ス（ＮＥ　　ＢＵＳ）を介して入力メモリ１６０１に取
り込む（ステップ１７０１）。この画像情報は５１２Ｘ
５１２Ｘ８ビツトの情報であり、これを多値の原画像入
力とする。次に、後述するランを用いた仮ラベル付は方
式を用いて１次ラベリングを行う（ステップ１７０２）
。この１次ラベリングは、ラベリングプロセッサ（ＫＬ
Ｐ）１６０２、　　ラインバッファメモリ（ＬＢＭ）１
６０３およびラベルマツチングメモリ（ＬＭＭ）１６０
４等において主として実行される。

この１次ラベリングの後、ラベルマツチングメモリＬＭ
Ｍ１６０４のデータ配置を整理するために前処理を行う
（ステップ１７０３）。この前処理の後に２次ラベリン
グを行うと同時に各領域の面積や重心などの特徴量を抽
出する（ステップ１７０４）。ステップ１７０３および
ステップ１７０４の処理は主として特徴抽出プロセッサ
ＫＬＣ１６０５において実行される。この２次ラベリン
グにより、各アドレスに位置する画素に付けられたラベ
ルをラベルメモリ（ＬＡＢＥＬＭ）１６０６に記憶する
。また、同時に、抽出された各領域の面積や重心を特徴
メモリ１６０７に２岱。

する。この後、ＬＡＢＥＬＭ１６０６に記憶されたラベ
ル画像情報をＮＥ　　ＢＵＳに出力する（ステップ１７
０５）。

ラベル生成のためのＫＬＰ１６０２の使用個数は１個で
あり、ラン処理用のラインレジスタであるＬＢＭ１６０
３は後述するラベルメモリＫＬＭを４個使用して構成す
る。また、ＬＭＭ１６０４は仮ラベルの最大数が１０２
３の時にはＫＬＭを８個使用して構成する。仮ラベルの
最大数が４０９５の時にはＫＬＭを３２個使用してＬＭ
Ｍ１６０４を構成する。

従来のラベリングは入力画像が２値画像の場合について
だけ行っていたが、本手法によるラベリングはＫＬＰ１
６０２を使用することにより、多値画像についてもラベ
リングを行うことが可能になっている。つまり、数種類
の画像を一度にラベリングをすることが可能である。例
えば、第１８図に示されるように、３種類の２値入力画
像１８０１．１８０２．１８０３が入力された場合を想
定する。これら２値画像は足し合されて５１２Ｘ５１２
Ｘ８ビツトの多値画像１８０４に変換される。この変換
処理はラベリング処理の前処理として行われる。ライン
レジスタ１８０５（ＬＢＭ１６０３）とラベルマツチン
グメモリ１８０６　（ＬＭＭ１６０４）とを使用したラ
ベリングプロセッサ１８０７　（ＫＬＰ１６０２）の制
御により、多値入力画像１８０４はラベリングされる。

このラベリングにおいて各領域のラベル付けを整理し、
最終的に５１２Ｘ５１２Ｘ１２ビツトのラベル画像１８
０８として出力する。このラベリングプロセッサ１８０
７　（ＫＬＰ１６０２）を使用することにより、多値画
像に対してのラベリング処理、ランを用いた仮ラベル数
の削減および１スキヤンラベリングが可能になる。

多値入力画像の各画素には、各画素値に応じたラベル付
けがＫＬＰ１６０２の制御によって行われる。そして、
同一のラベル値を持つ各画素間の結合関係に基づいて領
域区分が行われ、また、この結合関係に基づいて新しい
ラベルが生成される。

例えば、従来、入力画像に第１９図（ａ）に示される階
段状画素からなる領域が形成されている場合には、ラス
ク走査の順番に沿って各画素に仮ラベル付けを行い、再
度各画素について走査を行うことによりラベル生成が実
行されていた。この結果、仮ラベル付けの際には、図示
のごとく１〜３の３種類の仮ラベルを必要としていた。

しかし、本方式によるランを用いたラベリング方式によ
れば、第１９図（ａ）と同様な階段状画素からなる同図
（ｂ）に示される入力画像が有っても、ランを用いるこ
とにより仮ラベル数を削減することが出来る。つまり、
同図（Ｃ）に示されるように、各画素をラスク走査に沿
ったランという１つの行毎に区分けする。図示の場合に
は、２つのラン１およびラン２に区分けされる。ラベリ
ングプロセッサＫＬＰはランの走査が最後の画素に至る
まではラインバッファメモリＬＢＭにフラグを書き込み
、仮ラベルの判定を行い、その行の最後の画素でそのラ
ンの全画素に各画素間の結合関係を考慮した仮ラベルを
書き込む。

同図（Ｃ）に示されるラン１について走査して上記の処
理を施した結果、ラン１に対応する画素には同図（ｄ）
に示される仮ラベル付けが行われる。この仮ラベル「１
」のラベル付けは、各画素に同時に行われる。これは、
メモリには後に詳述するラベリングメモリＫＬＭが使用
されているためである。引き続いてラン２について走査
することにより、同図（ｅ）に示される仮ラベル付けが
行われる。ラン２はラン１の仮ラベル「１」に接続され
ているので、ラン２の最後の画素を走査する時点でラン
２の各画素には仮ラベル「１」が同時に書き込まれる。

このようにランを用いたラベリングにより、同図（ｂ）
に示される階段状画素へのラベル付けは、１種類のラベ
ル「１」によって行うことが出来、仮ラベル数は削減さ
れる。つまり、画素をランという１つのまとまりにまと
め、ラン単位で処理を行うことにより、ラベリング回路
の規模を削減することが出来る。

次に、ラベリングプロセッサＮＬＰによるラベリング処
理の詳細について説明する。ラベリングは第２０図に示
されるウィンドが各ランに沿って各画素を走査すること
により行われる。このウィンドを各ランに沿って走査す
ることにより、Ｔ（ターゲット）部には注目する画素が
現れ、ａ部にはＴ部の上に位置する画素が現れ、ｂ部に
はＴ部の右側の隣に位置する画素が現れる。以下、Ｔ。

ａ、ｂは各部に現れる入力画像のラベル値を示すことに
する。なお、ランの途中をウィンドが走査している時に
は、出力ラベルとしてフラグの値がラインバッファメモ
リＬＢＭに出力され、ウィンドがランの最後の画素に達
した時に、フラグの立っている全ての画素にラベルが書
き込まれる。

ＫＬＰの内部構成は第２１図のブロック構成図に示され
る。ＫＬＰは、セレクタ２１０１．仮ラベルレジスタＴ
ｍ　Ｉ　２１０２．　カウンタＣｎｔ２１０Ｂ、第１の
比較回路２１０４およびｉ２の比較回路２１０５により
構成されている。第１の比較回路２１０４にはラベル値
Ｔ、ａ、ｂが与えられ、入力画像の多値比較が行われる
。この比較結果はセレクタ２１０１のセレクト端子ｓｅ
ｌｌに与えられる。第２の比較回路２１０５には、ラベ
ル値ａのラベルマツチングメモリＬＭＭの値Ｍａｔ（ａ
）、仮ラベルレジスタＴｍ１２１０２の値およびカウン
タＣｎｔ２１０３の値が与えられ、同時に多値はセレク
タ２１０１の端子Ａ、Ｂ。

Ｃに与えられる。このＴｍ１２１０２の値は、セレクタ
２１０１からの出力信号によって決定される。また、セ
レクタ２１０１の端子りにはラインバッファメモリＬＢ
Ｍに記憶されるフラグＦＬＡＧの値が与えられる。

第２の比較回路２１０５は与えられたこれらの多値を比
較する。この比較結果により各ラベル間の連結関係が判
断され、比較結果はセレクタ２１０１のセレクト端子５
ｅｌｏに出力される。

セレクタ２１０１は与えられた多値に基づき、マクチン
グアドレスＭＡＴ　　ＡＤＤＲおよびマツチングデータ
ＭＡＴ　　ＤＡＴＡを出力し、ラベルマツチングメモリ
ＬＭＭの記憶内容の変更を行う。

また、これと共に、セレクタ２１０１は仮ラベルの値お
よび出力ラベルの値（ＬＡＢＥＬ）を出力する。

第２２図〜第２７図はウィンド処理のフローチャートを
示す。

第２２図は、第１の比較回路２１０４における多値Ｔ、
ａ、ｂの比較判断処理をする際のフローチャートを示す
。まず、着目画素のラベル値Ｔが０に等しいか否かを判
断する（ステップ２２０１）。Ｔが０の場合には後述す
る処理１を実行する（ステップ２２０２）。ＴがＯでな
い場合には、ラベル値Ｔとラベル値すとを比較する（ス
テップ２２０３）。ラベル値Ｔとラベル値すとが等しい
場合には、ラベル値Ｔとラベル値ａとを比較する（ステ
ップ２２０４）。ラベル値Ｔとラベル値ａとが等しい場
合には処理２を実行する（ステップ２２０５）。つまり
、処理２は多値Ｔ。

ａ、ｂが等しい場合に実行される処理である。この場合
、各ラベル値をＯと表現すると、ウィンドウ状態はステ
ップ２２０５の図示の処理ボックスに隣接して描かれた
状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理３
を実行する（ステップ２２０６）。つまり、処理３はラ
ベル値Ｔとラベル値すとが等しく、ラベル値Ｔとラベル
値ａとが異なる場合に実行される処理である。この場合
、ラベル値Ｔとラベル値すを○と表現し、ラベル値ａを
×と表現すると、ウィンドウ状態はステップ２２０６の
図示の処理ボックスに隣接して描かれた状態になる。そ
して、ステップ２２０５またはステップ２２０６の処理
後に、ラインバッファメモリＬＢＭ１６０Ｂのウィンド
Ｔの位置にフラグを立てる（ステップ２２０７）。

また、ステップ２２０３において、ラベル値Ｔとラベル
値すとが等しくない場合にも、ラベル値Ｔとラベル値ａ
とを比較する（ステップ２２０８）。ラベル値Ｔとラベ
ル値ａとが等しい場合には処理４を実行する（ステップ
２２０９）。

つまり、処理４はラベル値Ｔとラベル値ａとが等しく、
ラベル値Ｔとラベル値すとが異なる場合に実行される処
理である。この場合、ラベル値Ｔとラベル値ａをＯと表
現し、ラベル値すをＸと表現すると、ウィンドウ状態は
ステップ２２０９の図示の処理ボックスに隣接して描か
れた状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理５
を実行する（ステップ２２１０）。つまり、処理５はラ
ベル値Ｔとラベル値ａとが異なり、しかも、ラベル値Ｔ
とラベル値すとが異なる場合に実行される処理である。

この場合、ラベル値ＴをＯと表現し、ラベル値ａとラベ
ル値すを×と表現すると、ウィンドウ状態はステップ２
２１０の図示の処理ボックスに隣接して描かれた状態に
なる。そして、ステップ２２０９またはステップ２２１
０の処理後にＫＬＰ内の仮ラベルレジスタＴｍｌをクリ
アする（ステップ２２１１）。このＴｍｌは、現在のウ
ィンド位置に達する直前のＴ部に有った画素に対するラ
ベルが記憶されているものである。

以下に説明する第２３図から第２７図のフローチャート
は、処理１から処理５までの比較判断処理のフローチャ
ートを示す。

第２３図は上述の処理１のフローチャートを示す。処理
１は何も実行せずに終了する。

第２４図は上述の処理２のフローチャートを示す。まず
、仮ラベルレジスタＴｍｌに記憶された前回の画素のラ
ベル値と０とを比較する（ステップ２４０１）。Ｔｍｌ
のラベル値が０に等しい場合には、ラベル値ａのラベル
マツチングメモリ（ＬＭＭ）１６０４の値Ｍａｔ（ａ）
を仮ラベルレジスタＴｍ１２１０２に書き込む（ステッ
プ２４０２）。Ｔｍｌのラベル値が０と等しくない場合
には、Ｔｍｌのラベル値とカウンタＣｎｔ２１０３のカ
ウンタ値とを比較する（ステップ２４０Ｂ）。カウンタ
２１０３には最も新しいラベルの値が記憶されている。

仮ラベルレジスタＴｍｌのラベル値とカウンタＣｎｔの
カウンタ値とが等しい場合には、ラベル値ａのラベルマ
ツチングメモリ（ＬＭＭ）の値Ｍａｔ（ａ）をＴｍｌに
書き込む（ステップ２４０４）、また、Ｔｍｌの値とカ
ウンタＣｎｔの値とが等しくない場合には、ＬＭＭの値
Ｍａｔ（ａ）とＴｍｌの値とを比較する（ステップ２４
０５）　。ＬＭＭの値Ｍａｔ（ａ）とＴｍｌの値とが等
しい場合には何も実行されない（ステップ２４０６）、
ＬＭＭの値Ｍａｔ（ａ）とＴｍｌの値とが等しくない場
合には、Ｔｍｌの値とＬＭＭの値Ｍａｔ（ａ）とのうち
の小さい方の値ｉＭ　ｉ　ｎ　（Ｔｍ　Ｉ、　Ｍａ　ｔ
　（ａ）　）　ｌをＴｍｌに書き込む。さらに、両者の
うちの小さい方の値（Ｍ　ｉ　ｎ　（Ｔｍ　ｌ、　Ｍａ
　ｔ　　（ａ））］　を、両者のうちの大きい方の値に
等しいラベル値のラベルマツチングメモリ　［Ｍａ　ｔ
　　（Ｍ　ｉ　ｎ　（Ｔｍ　１．　Ｍａ　ｔ（ａ））１
〕に書き込む（ステップ２４０７）。

第２５図は前述の処理３のフローチャートを示す図であ
る。処理３では、まず、仮ラベルレジスタＴｍｌの値と
０とを比較する（ステップ２５０１）。Ｔｍｌの値が０
に等しい場合には、カウンタ２１０３のカウンタ値をＴ
ｍｌに書き込む（ステップ２５０２）、また、Ｔｍｌの
値が０、に等しくない場合には、何も実行されない（ス
テップ２５０３）。

第２６図は前述の処理４のフローチャートを示す図であ
る。ます、Ｔｍ１Ｏ値と０とを比較する（ステップ２６
０１）。Ｔｍｌの値が０に等しい場合には、ラベル値ａ
のＬＭＭの値Ｍａｔ（ａ）をターゲットエリアのラベル
値として、Ｔ部とフラグが立っている全てのレジスタに
このＭａｔ（ａ）を書き込む（ステップ２６０２）。こ
の時、ＬＢＭのフラグは全てクリアされる。また、ステ
ップ２６０１でＴｍｌの値が０に等しくない場合には、
Ｔｍｌの値とＣｎｔの値とを比較する（ステップ２６０
３）。Ｔｍｌの値とＣｎｔの値とが等しい場合には、ラ
ベル値ａのＬＭＭの値Ｍａｔ（ａ）をターゲットエリア
のラベル値として、Ｔ部とフラグが立っている全てのレ
ジスタにこのＭａｔ（ａ）を書き込む（ステップ２６０
４）。

この時、ＬＢＭのフラグは全てクリアされる。

また、Ｔｍｌの値とＣｎｔの値とが等しくない場合には
、Ｔｍｌの値とＭａｔ（ａ）の値とを比較する（ステッ
プ２６０５）。そして、Ｔｍｌの値とＭａｔ（ａ）の値
とが等しい場合には、ラベル値ａのＬＭＭの値Ｍａｔ（
ａ）をターゲットエリアのラベル値として、Ｔ部とフラ
グが立っている全てのレジスタにこのＭａｔ（ａ、）を
書き込む（ステップ２６０６）。この時、ＬＢＭのフラ
グは全てクリアされる。また、Ｔｍｌの値とＭａｔ（ａ
）の値とが等しくない場合には、Ｔｍｌの値とラベル値
ａのＬＭＭの値Ｍａｔ（ａ）との小さい方の値（Ｍ　ｉ
　ｎ　（Ｔｍ　ｌ、　Ｍａ　ｔ　（ａ）　）　ｌをター
ゲットエリアのラベル値として、Ｔ部とフラグが立って
いる全てのレジスタに書き込む。この時、ＬＢＭのフラ
グは全てクリアされる。さらに、Ｔｍｌの値とＬＭＭの
値Ｍａｔ（ａ）とのうちの小さい方の値ＩＭ　ｉ　ｎ　
（Ｔｍ　ｌ、　Ｍａ　ｔ　（ａ））１を、これら両者の
うちの大きい方の値に等しいラベル値のラベルマツチン
グメモリ［ＭａｔｆＭｉ　ｎ　（Ｔｍｌ、Ｍａ　ｔ　　
（ａ））ｌ　］に書き込む（ステップ２６０７）。

第２７図は前述の処理５のフローチャートを示す図であ
る。まず、仮ラベルレジスタＴｍｌの値と０とを比較す
る（ステップ２７０１）。Ｔｍｌの値が０に等しい場合
には、Ｃｎ　ｔの値をターゲットエリアのラベル値とし
て、Ｔ部とフラグが立っている全てのレジスタにこのＣ
ｎｔの値を書き込む。この時、ＬＢＭのフラグは全てク
リアされる。さらに、Ｃｎｔの値を、Ｃｎｔの値に等し
いラベル値のＭａｔ（Ｃｎｔ）に書き込み、Ｃｎｔの値
を１つカウントアツプする（ステップ２７０２）。

また、Ｔｍｌの値がＯに等しくない場合には、Ｔｍｌの
値をターゲットエリアのラベル値として、Ｔ部とフラグ
が立っている全てのレジスタにＴｍｌの値を書き込む（
ステップ２７０３）。この時、ＬＢＭの全てのフラグは
クリアされる。次に、Ｔｍｌの値とＣｎｔの値とを比較
する（ステップ２７０４）。Ｔｍｌの値とＣｎｔの値と
が等しい場合には、Ｃｎｔの値を、Ｃｎｔの値に等しい
ラベル値のＭａｔ（Ｃｎｔ）に書き込む。さらに、Ｃｎ
ｔの値を１つカウントアツプする（ステップ２７０５）
。また、Ｔｍｌの値とＣｎｔの値とが等しくない場合に
は、何も実行しない（ステップ２７０６）。

次に、ラインバッフ７メモリＬＢＭやラベルマツチング
メモリＬＭＭに使用されるラベリングメモリＫＬＭにつ
いて説明する。今までのメモリは、１回のアドレス指定
により１個の内部レジスタにしかデータが書き込めなか
った。しかし、以下に説明するＫＬＭを使用することに
より、複数個の内部レジスタに１度にデータを書き込む
ことが出来る。このため、本ラベリングメモリＫＬＭは
、ラン処理用のラインレジスタ（ＬＢＭ）、　　ラベル
統合不要のラベルマツチングメモリ（ＬＭＭ）。

１スキヤン用のラベル画像メモリ（ＬＡＢＥＬＭ）およ
びラベル整合を行えるラベルマツチングメモリに使用す
ることが出来る。

ＫＬＭは複数のレジスタにより構成されているが、第２
８図はこれらレジスタの中の１個のレジスタのブロック
構成を示している。このブロックはＫＬＭの構成の１単
位になっている。各レジスタ２８０１にはコンパレータ
２８０２が対になって接続されている。このコンパレー
タ２８０２には、レジスタ２８０１からの出力データＤ
ＡＴＡおよびこの出力データに一比較されるべき情報ｃ
。

Ｍが与えられる。コンパレータ２８０２は与えられたデ
ータを比較し、その比較結果をアンド回路２８０３に出
力する。アンド回路２８０３にはこの他にアドレスデコ
ーダ回路２８０４の出力が与えられている。アンド回路
２８０３は、コンパレータ２８０２またはデコーダ回路
２８ｏ４のいずれか一方が信号を出力していれば、オア
回路２８０５に信号を出力する。

オア回路２８０５にはＣＰＵからのライト信号ＷＲが与
えられており、このライト信号ＷＲに同期してレジスタ
２８０１にイネーブル信号が与えられる。つまり、アド
レスデコーダ回路２８ｏ４によってセレクトされるか、
コンパレータ回路２８０２での比較結果が一致した場合
に、ライト信号ＷＲに同期してレジスタ２８０１にデー
タが書き込まれる。各デコーダ回路２８ｏ４へのアドレ
シングおよび各コンパレータ回路２８ｏ２での比較判断
は全て同時に実行される。このため、１回のアドレシン
グまたは１回のデータの比較判断により、ＫＬＭを構成
する複数個のレジスタの内容を同時に書き替えることが
可能である。

前述したランを用いたラベリング処理によって得られた
仮ラベルは、ラベル統合を行うと不連続な値になる。こ
の時のラベルマツチングメモリＬＭＭの内容は第２９図
（ａ）に示される。各アドレス１〜１０の画素に対応し
てラベル１，３．６がデータとして記憶されている。こ
のラベル値は不連続な値になっているため、同図（ｂ）
に示され後に詳述する特徴抽出プロセッサＫＬＣにより
、同図（ｃ）に示される連続な値を持つラベルに変換す
る。すなわち、ＫＬＭによって構成されたラベルマツチ
ングメモリＬＭＭに記憶されるラベル値は、１，２．３
と連続した値になる。

より詳細には、ラベリングプロセッサＫＬＣはＬＭＭの
アドレスを発生し、該当アドレスの示すデータを取り込
む。引き続いて取り込んだデータとアドレスとを比較し
、６値が同じならば新しいデータをＬＭＭに出力してラ
ベル値を書き替える。

また、６値が異なる場合には、ＬＭＭへ次のアドレスを
出力して次のアドレスとデータとを比較する。以後、こ
の処理を繰り返して実行することにより、第２９図（ａ
）に示される不連続なラベル値は同図（ｃ）に示される
連続なラベル値に変換される。

具体的には、同図（ａ）のアドレス１のデータ（１）は
アドレスと同じであるため、ＫＬＣは新しいデータとし
て１を出力し、アドレス１のデータと同じデータ（１）
を持つアドレス２，４，５゜７のデータを新しいデータ
１に書き替える。図示の場合には、古いデータと新しい
データとがたまたま同じ１になっているため、同図（ａ
）と同図（Ｃ）との該当アドレスのデータに変化は無い
。

次に、アドレス、２のデータ（１）とアドレスとを比較
する。アドレスとデータとは異なるため、次のアドレス
３を発生する。そして、アドレス３のデータ（３）とア
ドレスとを比較する。アドレスとデータとは同じである
ため、新しいデータとして２を出力する。ＬＭＭはＫＬ
Ｍによって構成されていため、アドレス３のデータと同
じデータ（３）を持つアドレス９．１０のデータは同図
（Ｃ）に示されるように全て同時に２に書き替えられる
。次に、ＫＬＣは新たなアドレス４を発生する。アドレ
スとデータとは異なるためにさらに次にアドレス５を発
生し、以後、上記と同様な処理を繰り返す。この結果、
不連続値は連続値：こ変換される。

第３０図はこの特徴抽出ブロモ・ソサＫ　Ｌ　Ｃの内部
構成を示すブロック図である。このＫＬＣを使用するこ
とにより、１次ラベリングによって発生する仮ラベルの
前処理が行われる。また、２次ラベリングの時、ラベリ
ングと同時に、同一ラベル領域の面積の演算、同一ラベ
ル領域のＸ方向アドレスの合計の演算および同一ラベル
領域のＹ方向アドレスの合計の演算がこのＫＬＣによっ
て実行される。

ＫＬＣは、＋１加算器３００１と、２つの加算器３００
２．３００３と、比較器３００４および２つのカウンタ
３００５，３００６とから構成されている。＋１加算器
３００１は、同一ラベル値を持つ画素入力が有った場合
にそのカウント数を１つづつカウントアツプし、同一ラ
ベル領域の面積を演算してこれを５ｉｚｅとして出力す
る。加算器３００２．３００３にはＸ方向アドレス値Ｙ
方向アドレス値が入力されている。そして、同一ラベル
値の画素入力が有った場合に、各方向ごとにアドレス値
を加算していき、各アドレス方向ごとに同一ラベル領域
のアドレス値の合計を演算する。各合計値はＸ　　ＡＤ
ＤＲおよびＹ　　ＡＤＤＲとして出力される。各方向の
アドレスの合計値を同一ラベル領域の面積で割ることに
より、各方向の重心を求めることが出来る。そして、各
同一ラベル領域の重心を求め、地平線よりも上に重心が
ある領域は、道路候補領域の抽出に有効な領域ではない
ものとして除去する。

比較器３００４およびカウンタ３００５゜３００６は、
１次ラベリングの時に発生する仮ラベルの前処理、つま
り、不連続なラベル値を連続なラベル値に変換する処理
に使用される。カウンタ３００５，３００６にはクロッ
ク信号ＣＬＫが入力され、カウンタ３００５の出力はラ
ベルマツチングメモリＬＭＭへ出力されるマツチングア
ドレスＭＡＴ　　ＡＤＤＲになる。このアドレスは比較
器３００４にも同時に与えられる。また、カウンタ３０
０６の出力はラベルマツチングメモリＬＭＭへ出力され
るデータＭＡＴ　　ＤＡＴＡになる。

比較器３００４は与えられたアドレスおよびデータを前
述のようにして比較し、アドレスとデータの多値が一致
する場合にはカウンタ３００６に信号を出力する。カウ
ンタ３００６はこの信号を入力した場合にはＭａｔ　　
ＤＡＴＡに現在のカウンタの値を出力し、値を１つカウ
ントアツプする。

以上説明してきたラベリング処理の処理時間は、各ラン
に沿って行われる２スキヤンのラスク走査時間と、ラベ
ル統合時間との和の時間を必要とした。しかし、第１６
図に示されるラベルメモリＬＡＢＥＬＭ１６０６に前述
したラベリングメモリＫＬＭを使用して構成することに
より、１スキヤンでラベリング処理を実行することが出
来る。すなわち、第３１図に示されるように、多値の入
力画像３１０１が取り込まれた場合に、ラベリングプロ
セッサＫＬＰ３１０２はラインレジスタ３１０３および
ラベルマツチングメモリ３１ｏ４を使用して前述と同様
にラベリング処理を実行する。そして、このラベリング
によって得られた各画素のラベル値は、各ランの最終の
画素の走査時点でラベル画像メモリ３１ｏ５にそのまま
書き込まれる。なお、ラベル統合は行われないため、各
ラベルの値は不連続な値のままに記憶される。

ラベリングメモリＫＬＭは、前述したように、各内部レ
ジスタにコンパレータが対になって接続されており、コ
ンパレータでの比較結果が一致したレジスタおよびアド
レスセレクトされたレジスタに、−度に新しいデータが
書き込まれるものである。このＫＬＭの特徴によって１
スキヤンラベリングが可能になっている。また、ラベリ
ングプｏ−ｔｙッ＋Ｉ−ＫＬＰは、本方式のアルゴリズ
ムがハードウェア化されたものであり、高速ラベリング
を可能にするものである。

この１スキャンラベリング方式により、ラベリング処理
時間を今までの１／２以下に短縮することが可能になる
。例えば、装置が８Ｍ　Ｈｚのクロック信号で動作して
いる場合には、今までのラベリング処理時間には、ウィ
ンドウを２スキヤンするための６６ｍ５　ｅ　ｃと、ラ
ベル統合に必要とされる時間とを必要とした。しかし、
この１スキャン方式によれば、１／２以下の３３ｍ５ｅ
ｃでラベリング処理を行うことが出来る。

また、通常の画素の走査は入力画像の画面左上から右下
に行うが、道路領域を抽出する画像処理においては、目
的とする画像は画像の下方に位置する。従って、目的と
する画像を走査する際に仮ラベルを記憶するメモリかオ
ーバーフローする事態が発生する可能性がある。このた
め、走査を画面の右下から左上に行い、目的とする画像
を初めに走査することにより、目的とする画像を常に取
得できるようにする。つまり、目的とする画像を最初に
取得すれば、メモリのオーバーフローが発生してもその
オーバーフロー時の画像走査は不要な画像部分について
の走査になり、目的とする画像を常に取得することがで
きる。

次に、画像分割されて得られた「複数の領域の併合手法
」について説明する。

「テンプレート画像を用いた繰返しきい値処理による走
行コースの抽出手法」により道路候補領域が求められ、
「明るさの違いに注目した走行コース上の影や高輝度部
分の抽出手段」により低輝度領域である影や高輝度領域
が求められた。この道路候補領域を基準にし、道路候補
領域と強く繋がっている低輝度領域や高輝度領域を道路
候補領域に併合し、一つの領域として扱い、これを走行
コースとみなす。このためには、各領域に隣接している
共通境界長と各領域の周囲長とを求め、繋がっている各
領域どうしの関係を記述する。この各領域どうしの関係
の記述により併合関係が表され、従来のようにラベルの
付は替え操作を行わなくても、領域と領域の併合処理を
したのと同じ結果が得られる。なお、共通境界長は各領
域に隣接している画素の辺の長さに基づいて求まり、周
囲長は各領域の最外部の画素の辺の長さに基づいて求ま
る。

以下に本手法のアルゴリズムを示す。本手法は二通りあ
り、第１に、逆り字のマスクを走査させる逆り字マスク
走査式手法があり、この手法は簡単なアルゴリズムでハ
ードウェア化に適している。

第２に、領域の境界を局所的に探査する領域境界探査式
手法があり、この手法は必要な領域の境界のみを探査す
るため、少ないメモリで処理できて有効である。

第１の手法である逆り字マスク走査式手法は、第３２図
に示される逆り字マスクをラベル画像の左から右へ、上
から下へ走査することにより実行される。図示のマスク
に現れるＸ画素は行目する画素であり、ａ画素は着目画
素Ｘの上に位置する画素、ｂ画素は着目画素Ｘの左隣に
位置する画素である。例えば、第３３図に示される画素
領域を想定する。同図に示される口は１つの画素を表し
ており、この口の中の数値はその画素のラベル値を表し
ている。本例の場合には、ラベル値１の領域とラベル値
４の領域とが隣接している。なお、図には示されていな
いが、背景領域はラベル値が０になっている。

各領域の周囲長ｏｂは、逆り字マスクを各領域の行に沿
って、つまり、ランに沿って走査することにより求まる
。具体的には、ラベル値１の領域の周囲長Ｏｂ］は次の
ように求まる。まず、逆り字マスクのＸ画素を最上段の
ランの左端に位置する画素に合わせる。この場合、ａ画
素およびｂ画素は背景領域にあり、ラベル値は０になっ
ているため、この画素の２辺はラベル値１の領域の周囲
に位置していることが分かる。従って、周囲長ｏｂｌを
カウントするカウンタに２を加える。次に、逆り字マス
クを右に走査し、Ｘ画素を右隣の画素に合わせる。この
場合、ａ画素は背景領域にあり、ｂ画素は前回マスクを
合わせたラベル値１の本領域内の画素にある。従って、
この画素の１辺がラベル値１の本領域の周囲に位置して
いることが分かり、カウンタにさらに１を加える。この
ように逆り字マスクをランに沿ってラベル値１の領域に
ついて走査することにより、周囲長ｏｂｌは１８になる
。なお、周囲長Ｏｂの単位は画素の辺の数である。

ラベル値４の領域の周囲長ｏｂＪも上記の周囲長ｏｂｌ
と同様にして求められ、その値は２０になる。

また、ラベル値１の領域とラベル値４の領域との共通境
界具ｃｂは次のようにして求めることが出来る。この共
通境界具ｃｂは、ラベル値１の領域から見たラベル値４
の領域との共通境界具ｃｂ１４と、ラベル値４の領域か
ら見たラベル値１の領域との共通境界具ｃｂ４１とで異
なる場合がある。つまり、マスクが逆り字の形状をして
おり、各画素の２近傍の画素しか考慮しないために共通
境界具に差が生じるのであるか、複数の領域の併合処理
に際しては同等問題とならない。なお、走査するマスク
を着目画素の４近傍を見る十字形状にすれば、共通境界
具に差がでることはない。

ラベル値１の領域から見たラベル値４との共通境界具ｃ
ｂ１４は、周囲長ｏｂｌを求める際のマスク走査によっ
て求められる。この共通境界具ｃｂ１４は０になる。す
なわち、ラベル値１の領域の各ランについて逆り字マス
クを走査しても、ａ画素およびｂ画素にはラベル値４の
画素が現れないからである。

ラベル値４の領域から見たラベル値１の領域との共通境
界具ｃｂ４１は、周囲長ｏｂ４を求める際のマスク走査
によって求めることが出来る。この共通境界具ｃｂ４１
は３になる。すなわち、ラベル値４の領域の２段目およ
び３段目のランの先頭画素にマスクが位置する場合、ｂ
画素にはラベル値１の画素が現れる。このため、３段目
までのランについてのマスク走査により、共通境界具ｃ
ｂ４１をカウントするカウンタの値は２になる。

さらに、４段目のランの先頭位置にマスクが位置する際
には、マスクのａ画素にはラベル値１の画素が現れる。

このため、カウンタに１が加えられてカウンタの積算値
は３になり、共通境界具ｃｂ４１は３になる。なお、共
通境界具ｃｂの単位は画素の辺の数である。

次に、このように求めた各領域間の共通境界具および各
領域の周囲長は、第３４図に示されるラベル間境界長マ
トリクスにその値が記憶される。

同マトリクスの各列に付された数字０，１．２・・・、
ｊ、・・・ｋｌおよび各行に付された数字０，１゜２　
・・・、ｉ、・・・ｇはラベル値を示す。各列および各
行の数値によって指定される場所に記憶される数値ｍｉ
ｊは、ラベル値ｉの領域から見たラベル値ｊの領域との
共通境界具である。また、ｋ＋１番目の列に記憶される
数値ｔ１は、ラベル値ｉの領域の周囲長である。

第３３図に示された画素領域を例とすると、ラベル値１
の領域から見たラベル値４の領域との共通境界具ｃｂ１
４の値は０であるため、同マトリクスの１行４列に位置
するメモリにはＯが記憶される。また、ラベル値４の領
域から見たラベル値１の領域との共通境界具ｃｂ４１の
値は３であるため、同マトリクスの４行１列に位置する
メモリには３が記憶される。

各領域の周囲長および各領域間の共通境界具を求めてマ
トリクスを作成した後、各領域間の接続度を計算する。

この接続度は共通境界長と周囲長とに基づく次式により
求まる。

接続度−Ｘ／ｍ　ｉ　ｎ　（Ａ、　　Ｂ）ここで、Ａは
ラベル値ｌの領域の周囲長、Ｂはラベル値ｊの領域の周
囲長であり、ｍ１ｎ（Ａ。

Ｂ）はＡ、Ｈの各数値の内の小さい方の数値を表す。ま
た、Ｘは次式で表される各領域間の共通境界長の平均値
である。

Ｘ−（Ｘ１＋Ｘ２）／２ Ｘｌはラベル値ｉの領域から見たラベル値ｊの領域との
共通境界長、Ｘ２はラベル値ｊの領域から見たラベル値
ｉの領域との共通境界長である。

上記のＸを示す式は、ＸｌおよびＸ２共に０てない（Ｘ
ｉ≠Ｏ，Ｘ２≠Ｏ）場合に有効である。

Ｘ２が０　（Ｘ２−０）の場合にはＸは次式に示される
。

−Ｘ　　１ Ｘｌが０　（Ｘｉ−０）の場合にはＸは次式に示される
。

−Ｘ２ 計算した接続度か所定のしきい値以上であれば、ラベル
値ｉの領域とラベル値ｊの領域との繋がりは強く、各領
域は併合すべき関係にある。また、接続度が所定のしき
い値以下であれば、ラベル値ｉの領域とラベル値ｊの領
域との繋がりは薄く、各領域は併合すべき関係にはない
。この併合関係は、第３５図に示される特徴量リストの
接続ラベル欄に記述される。

同リストのラベルＮｏ、はラベル値であり、面積２重心
はそのラベル値の領域の面積および重心である。この面
積および重心は前述のラベリング処理の時に得られる。

外接長方形とは、そのラベル値の領域内の全ての画素を
囲む長方形である。

外接長方形は、辺と辺との交点である４つの頂点の内、
左上の頂点の座標ｔＬ　（ｘ、ｙ）と、右下の頂点の座
標ｂＲ（ｘ、ｙ）とによって特定される。各座標は上述
の境界の探査過程処理の時に求められる。また、接続ラ
ベル欄に記載されたラベルＮｏ、は、そのラベル値の領
域と併合すべき関係にある領域のラベル値を示している
。この欄に記載された領域とさらに併合すべき領域があ
る場合には、図示のように、接続ラベルがさらにポイン
タにより繋げられる。

また、同リストに記述された各特徴量は第３６図に示さ
れる各領域のものである。各領域にはラベル値β１〜ｇ
４が付され、また、６１〜Ｇ４は各領域の重心位置を示
している。また、各領域には外接長方形が描かれている
。この長方形の上の１辺と領域との接点は座標ｓｔ　（
ｘ、ｙ）として表され、領域開始点ｔＬ　（ｘ、ｙ）か
ら水平操作することにより求まる。座標ｓｔは後述する
手法において利用される。

ラベル値ｇ１の領域とラベル値ｐ２の領域とは併合すべ
き関係にあるため、特徴量リストのラベルＮｏ、、ｌ！
１の行の接続ラベル欄にはラベル値ｇ２が記述される。

さらに、ラベル値Ａｌｌの領域は、ラベル値ｇ３の領域
およびラベル値ｇ４の領域とも併合すべき関係にあるた
め、ラベル値ｐ３およびｐ４の接続ラベルがポインタに
より繋げられる。また、ラベルＮｏ、ｊ）２〜Ω４の各
行の接続ラベル欄にも同様な考え方で各領域間の接続関
係が記述される。

次に、領域境界探査式手法について説明する。

まず、対象とする領域に外接する長方形を描き、この外
接長方形と領域とが接する座標５ｔ（ｘ。

ｙ）に位置する探索開始画素を求める。そして、この探
索開始画素の８近傍に位置する画素について調査する。

８近傍に位置する各参照画素には、第３７図に示される
ように位置Ｎｏ、を付す。つまり、着目画素の上に位置
するＮｏ、を０とし、時計回りに順に番号を付す。探索
開始画素の次に探索すべき画素の座標は、第３８図（ａ
）、（ｂ）に表された画素参照テーブルを用いて決定す
る。

同図（ａ）に示されるテーブルは画素の探索を時計回り
（右回り）に実行する際に参照されるテーブルであり、
同図（ｂ）に示されるテーブルは画素の探索を反時計回
り（左回り）に実行する際に参照されるテーブルである
。テーブルの括弧（）に挾まれた０〜７の数値は、第３
７図の参照画素の位置Ｎｏ、に対応するものである。

次に探査すべき画素は、前回の画素位置に対する今回の
画素位置に対応する参照画素位置Ｎｏ。

を求め、この位置Ｎｏ、に一致するテーブルの行Ｎｏ、
の列Ｎｏ、を参照することにより決定される。画素参照
テーブルを用いた探索画素の決定方式について以下に具
体的に説明する。画素領域の境界部が第３９図のように
形成されている場合を想定する。同図の斜線が付された
口はラベル値が０ではない画素を示している。前回探索
した画素を記号Δで示し、現在探索する画素を記号０で
示し、次に探索すべき画素を記号◎で示す。

前回の画素位置Δに対する今回の画素位置Ｏは、第３７
図の参照画素位置Ｎｏ、では１に対応する。

領域の境界付近の画素を右回りに探索することにすると
、画素参照テーブルは第３８図（ａ）のテーブルを参照
することになる。参照画素位置Ｎｏ。

は１であるため、行Ｎｏ、が１の列Ｎｏ、　　（７゜０
．１，２．３，４，５．６１を参照する。なお、行Ｎｏ
、は最上段の行が０であり、順に１〜７となっている。

また、列Ｎｏ、には参照すべき画素のＮｏ、が全で記さ
れており、画素の８近傍の参照をこの順番に従って行う
ことにより、通児のアドレス計算におけるモジュロ計算
を避けることが出来る。

すなわち、列Ｎｏ、は７から始まっているため、次に探
査すべき画素は現在位置○の斜め左上に位置する画素◎
になる。画素◎は背景領域てあり、ラベル値は０である
ため、列Ｎｏ、に従って次の画素を探索する。つまり、
次の参照画素位置Ｎ。

はＯであるため、現在位置○の上に位置する画素を探索
する。この画素も背景領域にあるため、さらに、列Ｎｏ
、に従って参照画素位置Ｎｏ、が１の画素を探索する。

この画素はラベル値を持っており、０ではないため、次
に探索する画素の基準をこの位置Ｎｏ、１の画素におき
、この８近傍について上記と同様に探索する。そして、
領域の境界に沿った各画素について上記の処理を行い、
探索開始画素に戻るまで同様の処理を各画素について繰
り返す。

また、この探索の処理において、次の規則に従った処理
を行うことにより、ラベル値ｉの自身の領域の周囲長ｏ
ｂｉおよびラベル値ｊの隣接する領域との共通境界長ｃ
ｂｌｊを求めることが出来る。

つまり、現在位置の上下左右の４近傍に隣接する領域に
ラベル値ｊが存在すれば、共通境界長ｃｂｉｊをカウン
トするカウンタに１を加算する。

同時に、自己の周囲長ｏｂｉをカウントするカウンタに
１を加算する。また、現在位置の４近傍に自身のラベル
値ｉと同一のラベル値の画素が存在しない場合には、自
己の周囲長のカウンタに１を加算する。

次に、求めた周囲長および共通境界長に基づき、逆り字
マスク操作式手法における計算と同様にして各領域間の
接続度を求める。これと同時に前述と同様にして特徴量
リストを作成する。この特徴量リストの接続ラベルには
各領域間の接続関係が記述され、複数の領域の併合関係
が判断される。

つまり、本手法によっても、各領域のラベルの付は替え
操作を行わなくとも各領域の併合関係が判明する。なお
、上記の境界探査は右回りに行ったが、境界探査を左回
りに実行する場合には、第３８図（ｂ）に示される左回
り用の画素参照テーブルを用いることにより、右回りと
同様にして処理を行うことが可能である。

このように画素参照テーブルを用いることにより、速い
境界探査が可能になる。つまり、探索の基準となる画素
の８近傍の全ての画素について調査する必要は無い。ま
た、領域の境界部付近の画素のみを探索すれば良く、領
域内の全ての画素について探索する必要が無くなる。従
って、処理時間は短縮される。

以上説明した各手法によれば、従来のようにラベルの付
は替え走査を行わずに各分割領域間の併合関係を判断す
ることが出来る。つまり、「テンプレート画像を用いた
繰返しきい値処理による走行コースの抽出手法」で得ら
れた道路候補領域と、「明るさの違いに注目した走行コ
ース上の影や高輝度部分の抽出手段」で得られた低輝度
および高輝度領域とが併合され、現実に即した走行コー
ス領域を得ることが出来る。

次に、「走行可能範囲を求める手段」について説明する
。本手段は、「テンプレート画像を用いた繰返しきい値
処理による走行コースの抽出手法」、［繰返しきい値処
理における特徴量ヒストグラムの形状に基づくしきい値
設定手段」、「明るさの違いに注目した走行コース上の
影や高輝度部分の抽出手段」によって求められた走行コ
ース画像から最終的な走行可能範囲、すなわち、道路端
座機を求めるものである。

第４０図は本手法による走行コース認識システムの処理
全体の流れを示すフローチャートである。

まず、カラーカメラ入力装置によって走行コースの画像
情報を取り込み、取り込まれたＲ、Ｇ、８画像を前述の
ようにして明度！、彩度Ｓの各画像に変換する。変換さ
れた各画像に基づき、カラー処理装置において明度Ｉを
特徴量とするヒストグラムおよび彩度Ｓを特徴量とする
ヒストグラムを前述のように作成する（ステップ４００
１）。次に、作成した各ヒストグラムに基づき、「テン
プレート画像を用いた繰返しきい値処理による走行コー
スの抽出手法」により道路候補領域を抽出し、小領域を
除去する（ステップ４００２）。

次に、本手法により、抽出した道路候補領域の道路端の
点列を評価する（ステップ４００３）。

そして、この道路端の点４列の評価結果に基づき、抽出
した道路候補領域は単調路か否かを判断する（ステップ
４００４）。道路らしい単調路である場合には、さらに
、求まった複数の各点列間の関係を比較し、評価する（
ステップ４００５）。そして、この評価結果を最終的に
出力する（ステップ４００６）。この後、今回入力され
た画像に対する点列は求められたものとし、次の画像に
対する処理を実行する。

また、ステップ４００４での判断結果が道路らしさが低
くて単調路でない場合には、「明るさの違いに注目した
走行コース上の影や高輝度部分の抽出手段」、により、
低輝度領域が有ればこれを抽出する（ステップ４００７
）。そして、求めた低輝度領域と道路候補領域とを併合
し、本手法により道路端の点列を評価する（ステップ４
００８）。

この道路端の点列の評価結果に基づき、抽出した道路候
補領域は単調路か否かを判断する（ステップ４００９）
。単調路である場合には、ステップ４００５以降の処理
を実行し、次の画像に対する処理に移行する。

また、単調路でない場合には、次に、「明るさの違いに
注目した走行コース上の影や高輝度部分の抽出手段」に
より、高輝度領域が有ればこれを抽出する（ステップ４
０１０）。そして、求めた高輝度領域と道路候補領域と
を併合し、本手法により道路端の点列を評価する（ステ
ップ４０１１）。この道路端の点列の評価結果に基づき
、抽出した道路候補領域は単調路か否かを判断する（ス
テップ４０１２）。単調路である場合には、ステップ４
００５以降の処理を実行し、次の画像に対する処理に移
行する。単調路でない場合には、低輝度領域および高輝
度領域を道路候補領域に併合し、３領域を併合した領域
から得られる道路端の点列を評価する（ステップ４０１
３）。

この後ステップ４００５移行の処理を実行し、次の画像
に対する処理に移行する。

次に、上記の道路候補領域の道路端の点列座標を求める
手法について以下に説明する。

例えば、第４１図に示される画像領域が得られた場合を
想定する。図の左上を原点とし、Ｘ座標は水平方向を右
に向かって正とし、Ｘ座標は垂直方向を下に向かって正
とする。この画像に示された道路領域には切れ込みが存
在し、また、ノイズ等により画像情報が得られなかった
箇所が散在する。同図に示される画像の各画素にラベリ
ング処理が行われ、この処理結果、得られる画素領域が
第４２図のように示されたものとする。同図の斜線部は
ラベル値が０ではなく、あるラベル値を持った画素とす
る。なお、斜線のない画素はラベル値がＯの背景領域に
位置する画素である。また、３Ｘ３個の画素を囲む枠４
２０１はウィンドウＷであり、ウィンドウＷの中に存在
する斜線画素（０でない画素値を有する画素）の数はヒ
ストグラムの値になる。図示に位置する場合のウィンド
ウＷによるヒストグラムの値は５である。また、図示の
ウィンドＷは３×３のウィンドウになっているが、５Ｘ
５等の他の大きさのウィンドウであっても良い。

まず、ウィンドウＷを画像の中央部から左に向けて水平
に走査する。なお、画像の中央部からウィンドウＷを走
査するのは、処理の開始時だけである。移動しながら各
位置におけるウィンドウＷのヒストグラムの値を求める
。このヒストグラム値を監視しながらウィンドウＷを移
動し、所定のしきい値以下のヒストグラム値が連続して
得られた場合、つまり、ウィン°ドウＷ内の斜線画素の
密度が低くな・った場合、ウィンドウＷは道路領域から
外れたものと判断する。そして、ヒストグラム値が所定
のしきい値以下になった最初のウィンドウＷの位置を左
側の道路端の点列座標ＸＬとする。

次に、ウィンドウＷを右側へ向けて水平走査し、ウィン
ドウＷ内のヒストグラム値が連続して所定のしきい値以
下になった場合、このヒストグラム値の変化する最初の
ウィンドウＷの位置を右側の道路端の点列座標ＸＲとす
る。

次に、ウィンドウＷの位置するＹ座標を１つ減らし、ウ
ィンドウＷを画像の上方へ移動して水平走査位置をずら
す。そして、上記の最初の水平走査により得られた道路
端座標ＸＬ、ＸＲから道路領域の中央位置を式（ＸＲ−
ＸＬ）／２の計算をすることにより求める。この中央位
置をウィンドウＷの走査開始位置とし、ウィンドウＷを
左右に走査する。この走査においても上記と同様にして
ウィンドウＷ内のヒストグラム値を監視し、ヒストグラ
ム値の変化する位置を道路端の座標とする。

以下、水平走査位置のＹ座標が地平線位置になるまで同
様の処理を繰り返すことにより、左右の道路端の一連の
点列座標を得ることが出来る。

また、このウィンドウＷの走査において、走査開始位置
のウィンドウＷから得られるヒストグラム値が最初から
所定のしきい値以下であり、しかも、ウィンドウＷを左
側へ走査して得られるヒストグラム値が連続して所定の
しきい値以下の場合には、中央位置が道路端座標になっ
てしまう。しかし、この場合にはウィンドウＷの走査方
向を逆の右側に変える。そして、所定のしきい値以上の
ヒストグラム値が連続して得られた場合には、最初に所
定のしきい値以上のヒストグラム値が得られたウィンド
ウＷの位置を左側の道路端の座標とする。右側の道路端
の座標は、ウィンドウＷをさらに右側に走査し、ヒスト
グラム値の変化する位置を求めることにより判明する。

次に、このように求めた道路端の点列座標は領域の境界
付近に存在するため、各点を繋ぐことにより得られる境
界線は一様に滑らかなものではない。このため、ある１
点の前後に位置する各点とこの１点とがなす角度を点列
の全点について計算し、この分散値を滑らかさの基準と
する。また、得られた角度が鋭角のときはその点は除去
して計算する。このように左右の道路端の各点列座標を
平滑化した後、これら点列座標を実空間へ射影変換する
。この射影変換は自律走行車に取り付けたカラーカメラ
の俯角、高さ、焦点距離に基づいて行われる。

さらに、この射影変換後の点列において、左右の点列を
一組として左右の各点列間の距離、つまり、道路幅を求
める。そして、この道路幅が走行車の車体幅より狭くな
る点の数を数え、点列の全点数に対するこの狭い幅の点
数を計算する。全点数に対する狭い幅の点数の比率が小
さい場合には、狭い幅の点は道路端の点としてはふされ
しくないため、これら各点は除去する。

また、この道路端の点列の評価に際して、最初に求めた
一組の左右端によって定まる道路幅と差の少ない左右の
組を数える。差の少ない左右の組みが全部の組みに対し
て占める比率が大きい場合、つまり、左右の道路端列が
ある程度平行している場合には、道路らしさとしての評
価は最も高くなり、単調路として判断される。このよう
に単調路として判断される場合には、第４０図に示され
たフローチャートのステップ４００３，４００８゜４０
１］の処理をしなくても道路端を得ることが出来る。

次に、自立走行車が道路端に極端に近付き過ぎた場合に
おける、道路左右端の点列の補正手段について説明する
。第４３図（ａ）〜（ｄ）は自律走行車が道路端に近付
く過程を示している。同図（ａ）は自律走行車が曲率の
きついカーブ手前に位置している場合を示している。こ
の場合には、自律走行車に取り付けられたカラーカメラ
には、左側の道路端りおよび右側の道路端Ｒが視野内に
捕らえられている。道路のカーブの曲率がきり場合、同
図（ａ）に位置していた自律走行車は同図（ｂ）に示さ
れる位置に移動する。この場合、右側の道路端Ｒはカメ
ラの視野から消える。

さらに、自律走行車は同図（ｃ）に示される位置に移動
し、テンプレートに占める道路外領域の比率は段々高く
なる。図示の斜線部は道路外領域を示している。さらに
、自律走行車は同図（ｄ）に示される位置に移動する。

この場合、カメラの視野には左側の道路端および道路外
領域の左側の境界部が捕らえられている。また、テンプ
レート画像に占める道路外領域の占める比率は高くなり
、道路外領域が走行路コースと誤認される。この結果、
左側の道路端は右側の道路端Ｒとして誤認され、道路外
領域の左側の境界は左側の道路端りと誤認される。

しかし、順次撮像される画像情報から得られる道路端の
点列は、前回画像における右側の点列が今回画像におい
て極端に左側に位置する点列になることはない。また、
逆に、前回画像における左側の点列が今回画像において
極端に右側に位置する点列になることはない。従って、
１処理サイクル前の画像情報から得た点列情報を記憶保
持しておき、今回の画像情報から得た点列とこの前回の
画像情報から得た点列との距離を後述するように計算す
る。そして、例えば、前回求めた右側の道路端の点列と
今回求めた右側の道路端の点列との距離が離れており、
前回の右側点列が今回の左側点列に近い場合には、左右
の道路端の位置が逆転したものと判断する。そして、今
回得た道路端の右側と左側とを入れ替える。

これを第４３図に示される画像を用いて説明する。同図
（ｃ）の画像を前回得られた画像とし、左側の道路端の
点列をＬ　ｉ−１と表現する。同図（ｄ）の画像を今回
求めた画像とし、誤認している左側の道路端の点列をＬ
ｌ、誤認している右側の道路端の点列をＲ１と表現する
。左右の道路端の点列が逆転しているか否かの判断は、
前回の点列Ｌ　ｉ−１が今回の点列Ｌｉ、Ｒｊのうちど
ちらに近いかを判断することにより行う。前回の点列Ｌ
ｉ−１が今回の点列Ｒ１に近い場合には、左右の道路端
の点列は逆転したものと判断する。

−膜内に、この点列の近さの判断は次のように行う。つ
まり、今回の画像から得た左側の点列を１グループ、右
側の点列をもう１つのグループとし、前回の左側または
右側の点列がこれら各グループのうちのどちらのグルー
プに近いかを判断することにより行う。このどちらのグ
ループに近いかの判断は、以下に詳述するマハラノビス
の汎距離によって決定する。第４４図はこのマハラノビ
スの汎距離を説明するための図である。

前回の画像情報による左側点列Ｌｌ−１（または右側点
列Ｒ１−１）の点を（ｘ、ｙ）、今回の画像情報による
左側点列Ｌｌの点を（ｘ　ｌｊ、　　ｙ　ｌｊ）、今回
の画像情報による右側点列Ｒｉの点を（ｘ　２ｊ。

Ｙ　２ｊ）とする。前回の点列の点（ｘ、ｙ）が今回の
点列Ｌ１とＲｉ　とのうちのどちらに近いかは、マハラ
ノビスの汎距離を点列Ｌｉ−１（または点列Ｒ１−１）
の全点に対して以下のように計算し、距離の短い点が多
く属すほうの点列に近いものとする。また、今回の画像
により求まった点列が直線の時には、この直線までの距
離を計算する。

まず、点列Ｌｌ上の各点について、Ｘ方向成分の平均値
μｍ１．　　ｙ方向成分の平均値μｍ２．Ｘ方向成分の
分散値σ１１．ｙ方向成分の分散値σ１２．ｘ。

ｙ各方向の共分散値σ１１２および相関係数ρ１を求め
る。ここで、ｎｉは点列Ｌｌ上に位置する点の数である
。なお、点列Ｒｉ上の各点についても以下の式と同様な
式により求めることが出来る。

μｌｌ−Σｘｌｊ／　ｎｌ　、　　μｌ２−Σｙ　ｌｊ
／　ｎ　１σ１１２−Σ（ｘｌｊ−Ｒ１１）　２／　（
ｎｌ　−１）σ１２２−Σ（７問−μｍ２）　２／　（
ｎｌ　−１）σ１１２−Σ（ｘｌｊ−μｌｌ）　　（ｙ
ｌｊ−μｌ２）　／（ｎｌ　−１） ρ１−σ１１２　／σＩＩＸ　σ１２ これら各数値に基づいて、前回の点列の点（ｘ。

ｙ）と今回の点列Ｌｌの点（ｘ　ｌｊ、　　ｙ　ｌｊ）
との間のマハラノビスの汎距離Ｄｉを次式により求める
ことが出来る。

Ｄｉ　２−　＋　［（ｘ−μｌｌ）　／（７１１］　２
＋　［ＣＹ一 −μ　１２）／　　σ　１２コ　　　　　　２　　ρ　
ｌ　　　［（ｘ　　−μ　ｌｌ）　　／σ　１１コメ、
［（ｙ　　−μ　１２）　／　σ　１１コ　）　／（１
−ρ　ｌ）２また、同様に前回の点列の点（ｘ、ｙ）と
今回の点列Ｒｉの点（ｘ　２ｊ、　　ｙ　２ｊ）との間
のマハラノビスの汎距離Ｄ２を次式により求めることが
出来る。

Ｄ２２−　　（［（ｘ−μ２１）　／ｃｙ２１］　２＋
　［（Ｙ一μ２２）／σ２２］２ρ２　［（Ｘ−μ２１
）／σ　２１］Ｘ’［（ｙ　　−μ　２２）　／　σ　
２２コ　　）　　ハ　１−　ρ　２）２上記の各式に基
づいて各汎距離を計算した結果、Ｄｉ２〉Ｄ２２が成立
する場合には、前回の点（ｘ、ｙ）は今回の右側の道路
端の点列Ｒ１に近いことになる。また、Ｄｌ　＞Ｄ２２
が成立しない場合には、逆に、前回の点（ｘ、ｙ）は今
回の左側の道路端の点列Ｌ＋に近いことになる。

以上のように画像分割処理の結果得られた道路候補領域
か、ノイズなどによって不明瞭な輪郭の領域になっても
、本手法による前記のウィンドウのヒストグラム値の変
化に基づけば、道路の端点を確実に得ることか出来る。

これは、本手法か領域を基にしてその端点を探索してい
るためであり、本手法によれば領域の左右端を明確に区
別することが出来る。

また、「明るさの違いに注目した走行コース上の影や高
輝度領域の抽出手段」で求められた低輝度領域は、走行
コースが全体的に暗い場合には、道路外に位置する場合
もある。このような場合に道路外の低輝度領域と道路領
域とが併合される場合があり、道路候補領域の輪郭の形
状が複雑化する。しかし、本手法により、得られた道路
端の点列データを平滑化することにより、複雑な輪郭の
領域は大局的に評価され、上記のような低輝度領域は無
視され、自動車が走行する上で同等支障の無い道路端の
情報を得ることが出来る。

また、「テンプレート画像を用いた繰返しきい値処理に
よる走行コースの抽出手法」によれば、自律走行車が曲
率のきつい道路の左または右に極端に近付いた場合、テ
ンプレートが道路外に出てしまってそこを道路とみなし
てしまう場合がある。

この場合には道路端の左右の認識を誤ってしまう。

しかし、上述の本手法によれば、道路の左右端のデータ
を誤って認識しても、直ぐにこの認識は補正され、常に
信頼性の高い道路端の情報を得ることが出来る。

次に、本発明の特徴である「多様な形状の走行コースの
内部表現手法」、つまり、得られた道路端の多様な点列
を構造化して表現する手法について説明する。

本手法は、「テンプレート画像を用いた繰返しきい値処
理による走行コースの抽出手段」で得られた走行コース
の画像と、「明るさの違いに注目した走行コースからの
影や高輝度部分の抽出手段」で得られた画像と、「複数
の領域の併合手段」で求めた特徴間リストに基づき、画
像のラベル変位箇所を検知しながら領域の境界点のスト
ラフチャを作成し、前後方向のリンクを付け、境界の属
性を付与することによって、走行コースをコンピュータ
内部に表現し、走行のための有効な点列群を求めるもの
である。「複数の領域を併合する手段」において作成さ
れた領域と領域との記述を表した特徴間リストを利用し
て、高速に領域の端点が得られ、道路端、路肩端１分岐
路および合流路は計算機の内部に構造化されたリストに
よって表現される。

第１図は道路の構造化処理の概略を示すフローチャート
である。

まず、カラーカメラ入力装置などの各ハードウェアの初
期設定時に領域境界点ストラフチャのＸ方向のリストを
作成する（ステップ４５０１）。

次に、各領域に付けられたラベル値のＸ方向の変化箇所
を検出してＸ方向のリストを作成し、各境界点のＸ方向
についてリンクする（ステップ４５０２）。そして各領
域の特徴間リストの接続ラベルを考慮して領域の左端お
よび右端にその属性を付与し、各領域の左右端を区分す
る（ステップ４５０３）。次に、後述する穴などの属性
を各境界点に付与しながら、画面の前後方向（Ｘ方向）
の各境界点の関連付けを行い、各境界点のＸ方向につい
てリンクする（ステップ４５０４）。また、道路領域が
分岐したり、合流したりする場合が有り、これら各場合
に各領域の境界の連続性を判断し、各境界点に付与され
た属性の付は替えを行う（ステップ４５０５）。この後
、各領域の境界点の点列の開始位置を選択し、有効点列
を検出する（ステップ４５０６）。

以上の各処理について以下に詳述する。

ステップ４５０１の処理について、第４６図を参照して
説明する。

同図（ａ）は、実空間上における道路面（水平面と仮定
する）を画像上に射影変換する際の原理を示す図である
。道路面４６０１は等間隔（１１）に区分され、道路領
域および道路上の各区分線は遠方の１点に向けて画像４
６０２上に射影され、カラーカメラのビューボートが得
られる。同図（ｂ）はこのようにして得られた画像の詳
細を示す図である。画像上には道路領域の境界線４６０
３および区分線４６０４が射影変換されている。実空間
上における区分線は間隔ρの等間隔であったが、画像上
においては道路領域の遠方に行くに従ってその間隔が詰
まっている。この各区分線４６０４が位置するｙ座標を
求め、同図（ｃ）に示されるＸ方向の領域境界点ストラ
フチャ４６０５を作成する。

この領域境界点ストラフチャ４６０５の６枠は、道路領
域の境界線４６０３のうちの左端の境界線と区分線４６
０４との交点に位置する各境界点に対応している。６枠
は、図示の矢印に示されるポインタによって相互の連結
関係が表現されている。

これらの各枠内には各境界点の特徴が、同図（ｄ）に示
されるリスト４６０６として記述されている。

まず、求めたｙ座標の６値がリスト４６０６に記述され
、Ｘ方向のリストが作成される。このリスト４６０６に
は、上記のｙ座標の他に各境界点が有する後述する各特
徴が記述される。

つまり、Ｘ座標１点列開始点ｉＤを表す属性１゜実空間
における隣接点間距離を表す属性２１着目する境界点と
右隣の境界点との連結関係を表す右隣へのポインタ、左
隣の境界点との連結関係を表す左隣へのポインタ、Ｘ方
向における画面手前の境界点との連結関係を表す手前へ
のポインタおよび画面後方の次の境界点との連結関係を
表す次へのポインタが記述される。

次にステップ４５０２の処理について、第４７図を参照
して説明する。

同図（ａ）に示される画像４７０１は撮像された画像に
ついてラベリング処理が実行された画像である。このラ
ベリング処理により、道路領域を構成する各領域のそれ
ぞれにはラベル値が付けられる。各区分線と領域の境界
との交点のうち、○印が付された交点は、ラベル値が変
化するラベル変位箇所である。まず、ステップ４５０１
の処理で求めたリストの各ｙ座標位置において水平方向
、つまり、Ｘ方向に画像を走査する。この走査において
、ラベル値がＯである背景領域からラベル値が０ではな
い道路領域に移動した場合、または、ラベル値が０では
ない道路領域からラベル値が０である背景領域に移動し
た場合、新しい領域境界点ストラフチャを作成する。

この領域境界点ストラフチャは同図（ｂ）に示される。

図示のように、各領域の境界と区分線との交点に位置す
る各境界点に対応して、新たにＸ方向に枠が設けられる
。この新たな６枠は、既に前述のステップで作成された
Ｘ方向の領域境界点ストラフチャの６枠と連結される。

この連結関係は図示の矢印に表されるポインタにより表
現され、このポインタにより６枠は水平方向にリンクさ
れている。

次に、ステップ４５０３の処理について、第４８図を参
照して説明する。

ステップ４５０２の処理で作成された領域境界点ストラ
フチャの水平方向の各点の組が同一領域に存在するか否
かを判断する。同一領域であるが否かの判断は、前述の
「複数の領域の併合手法」において求めた特徴量リスト
に基づいて行われる。

隣接する各点が同一領域に存在する場合、左側に位置す
る境界点は左エツジ、右側に位置する境界点は右エツジ
とし、この属性を各リストに記述する。この属性により
、領域の左右端を区別することが出来る。また、この左
エツジから右エツジまでの実空間における距離を演算し
、同様に各リストに記述する。この距離演算には、前述
の射影変換と逆の処理である逆射影変換処理を実行し、
画像から現実の道路領域を求める必要がある。

第４８図（ａ）に示される画像について、エツジの識別
方法を具体的に説明する。道路領域４８０１は３つの領
域Ａ、Ｂ、Ｃが併合されて表現されている。ここで、前
述の特徴量リストの接続ラベルは同図（ｂ）のように示
されている。つまり、領域Ａの接続ラベル欄には領域Ｃ
が記述されており、領域Ｂの接続ラベル欄には何も記述
されておらず、領域Ｃの接続ラベル欄には領域Ａが記述
されている。このため、領域Ａと領域Ｃとは併合すべき
同一領域であることが判別され、また、領域Ｂは領域Ａ
と領域Ｂとで形成される領域とは異なる領域であること
が判別する。

従って、各境界点を区分線４８０２に沿って水平方向に
画像走査した場合、○印の付された境界点ａ、ｂ、ｃ、
ｄがラベル変位箇所として求まる。

従って、境界点ａと境界点すとは同一領域上の点として
存在しており、境界点ａは左エツジ、境界点すは右エツ
ジという属性が付与され、領域境界点ストラフチャのリ
ストに記述される。また、境界点Ｃと境界点ｄはそのラ
ベル値が同じであるために同一領域に存在しており、境
界点Ｃは左エツジ、境界点ｄは右エツジという属性が付
与され、領域境界点ストラフチャのリストに記述される
。

次に、ステップ４５０４の処理について、第４９図およ
び第５０図を参照して説明する。

第４９図（ａ）に示される画像において、左側の境界線
と各区分線との交点に位置する各境界点をａｔ、ａｉ＋
ｔ、右側の境界線と各区分線との交点に位置する各境界
点をｂｌ、ｂｌ＋１とする。ここで、領域境界点ストラ
フチャのｙ方向で１番目とｉ＋１番目の各境界点が同一
領域に存在するか否かを判断し、同一領域ならば前後の
リンクを行う。つまり、境界点ａ１とａ　ｉ＋１とが同
一領域に有るか否か、また、境界点ｂ１とｂ　Ｉ＋１と
が同一領域に有るか否かを判断する。図示の場合には、
各境界点は同一領域に有るため、同図（ｂ）に示される
領域境界点ストラフチャにおいて、太い線で示されるポ
インタにより画面の前後に位置する各境界点がリンクさ
れる。

また、左エツジと右エツジとの間に存在する内部点が有
るならば、第５０図に示されるように、領域の境界を追
跡する。同図（ａ）は、処理の対象とする道路領域５０
０１の中央部に車線区分線である白線５００２が描かれ
ている画像である。

この白線５００２のラベル値はＯである。ここで、各区
分線に沿って水平方向に画像を走査すると、白線５００
２部において、同図（ｂ）に示される内部点Ｅ　１１．
　　Ｅ　１ｉ＋ｌ、　　Ｅ　２Ｌ　　Ｅ　２ｉ＋１が得
られる。

従って、領域の境界を追跡して各内部点の関係を探査す
−る。内部点Ｅｌｆから白線５００２の境界線に沿って
この境界を追跡すると内部点ＥＩＩ＋１に達する。また
、内部点Ｅ２１から境界を追跡すると内部点Ｅ　２ｉ＋
１に達する。このように隣接する内部点Ｅ　１１．　　
Ｅ　２１が、より上に位置する区分線上の次の内部点Ｅ
　１ｉ＋ｌ、　　Ｅ　２ｉ＋１に連続している時、左側
に位置する内部点Ｅｌｉを内部点左エツジ、右側に位置
する内部点Ｅ２＋を内部点右エツジという属性を付ける
。

また、境界を追跡して内部点がより上の区分線上の内部
点に連続せずに隣接する内部点に達する時は、隣接する
各内部点に穴という属性を付与する。つまり、内部点Ｅ
　ｌｉ＋Ｉから境界を追跡すると、隣接する内部点Ｅ　
２ｉ＋１に達する。この場合、各内部点Ｅ　ＩＤＩ、　
　Ｅ　２ｉ＋１に穴という属性を付与する。

以上の処理をリストの各ｙ座標に沿ってこのｙ座標が地
平線位置５００３に達するまで行う。また、この際、内
部点左エツジから内部点右エツジまでの実空間上におけ
る距離りを演算する。この演算は、実空間上における右
エツジ点のＸ座標値から実空間上における左エツジ点の
Ｘ座標値を引き算することにより求まる。

次に、ステップ４５０５の処理について、第５１図を参
照して説明する。

以上の各ステップの処理による属性の付与の方法では、
道路がＹ字状に分岐したり、道路が合流する場合には正
しい属性が付与されない。つまり、各境界点の前後方向
の関連付けが正しく行われない場合がある。このため、
このような場合に本ステップにおいて、境界を追跡して
境界の評価を修正する。

例えば、ここまでの各ステップの処理により、第５１図
（ａ）−に示される画像が得られたとする。

この画像における道路領域５１０１はＹ字状に分岐して
おり、本道５１０２と分岐路５１０３とに分かれている
。画面の下側から上側に向かって各区分線（ｉ、ｉ＋１
．ｉ＋２．・・・）は画像走査され、また、各区分線に
おいて画面左側から右側へ画像走査される。この走査に
より、左端の境界線と各区分線との交点に位置する境界
点にはａという符号が付けられ、左端の境界線から一つ
右に位置する境界線と区分線との交点に位置する境界点
にはｂという符号が付けられ、左端の境界線から二つ右
に位置する境界線と区分線との交点に位置する境界点に
はＣという符号が付けられる。この結果、同図（ｂ）に
示される領域境界点ストラフチャが得られる。

この領域境界点ストラフチャによる各境界点の関連付け
は図から理解されるように現実の道路の境界に合致して
おらず、各境界点には正しい属性が付与されていない。

このため、内部点から領域の境界を追跡し、次の点が左
または右の領域端に存在する境界点てあれば、この内部
点と次の点とは連結しているものと判断し、これら各点
のリンクの付は替えを行う。同図の場合にあっては、内
部点ｃ　ｉ＋４から領域の境界を追跡する。追跡すると
次の点はａ　ｉ＋５であり、この点は左の領域端である
ため、リンクの付は替えを行う。つまり、ａ１＋５以降
の各境界点に付けられた属性を内部点Ｃ＋＋４と同じＣ
の属性とする。このリンクの付は替え処理により、同図
（ｃ）に示される領域境界点ストラフチャが得られる。

このストラフチャは現実の道路の境界に合致したものと
なっている。

同図（ｄ）および（ｅ）は、このリンクの付は替え処理
の前および後の領域境界の状態をベクトル表現によって
示した図である。つまり、同図（ｄ）はリンクの付は替
え前のベクトル状態であり、同図（ｂ）の領域境界点ス
トラフチャに基づいて各境界線の連結関係をベクトルに
より表現したものである。属性ａが付けられたベクトル
および属性Ｃが付けられたベクトルは現実の道路の境界
に対応したものとなっていない。同図（ｅ）はリンクの
付は替え処理を実行した後のベクトル状態であり、同図
（ｃ）の修正された領域境界点ストラフチャに基づいて
各境界線の連結関係をベクトルにより表現したものであ
る。属性ａが付けられたベクトルの終端部分は上述のよ
うに修正され、属性Ｃに付は替えられている。このため
、各ベクトルａ、ｂ、ｃによって表現される道路領域の
境界は現実のものに即した形状になっている。

同図（ｆ）および（ｇ）は、道路が合流する場合の領域
境界の状態を上記と同様にしてベクトルにより表現した
図である。同図（ｆ）はリンクの付は替え前の領域境界
をベクトルによって表現したものである。属性ｄが付け
られたベクトルは、属性ｅおよびｆが付けられたベクト
ルが形成する合流路の入り口を塞いでいる。同図（ｇ）
は、前述と同様なリンクの付は替え処理後の領域境界を
ベクトルによって表現したものである。属性ｄが付けら
れたベクトルの始端部分はリンクの付は替え処理により
、属性ｆに修正され、領域境界は現実の合流路に合致し
たものとなっている。

次に、ステップ４５０６の処理について、第５２図を参
照して説明する。

例えば、同図（ａ）に示される道路画像を想定する。こ
の道路画像には道路領域５２０１があり、道路領域５２
０１の左側には白線５２０２で区切られた路肩５２０３
がある。この道路画像の各領域の境界線と区分線との交
点には境界点が付けられ、同図（ｂ）に示される道路端
および路肩端の点列が得られる。なお、画像の縁に掛か
る点は点列から除いである。以上の各ステップの操作に
より得られたｙ方向の各領域境界点ストラフチャのリン
クを画像下部に相当するところから上部へ辿る。そして
、領域境界点ストラフチャのリンクが所定個数以上ある
場合には、この領域境界点ストラフチャのリンクの画像
下部に相当するところに点列の開始点という属性を付け
る。図示の点列の開始点はΔ印で示されている。

開始点という属性が付いているストラフチャのうち、領
域境界の左エツジから右エツジまでの実空間における距
離が走行車の車幅以上のストラフチャの組を道路端とす
る。同図（ｂ）の場合には、点列５２０４および点列５
２０５に相当するストラフチャの組が道路端となる。ま
た、道路端の隣にストラフチャの組があり、このストラ
フチャ群と道路端との間の距離が道路端を表すストラフ
チャ群の幅より狭く、かつ、ストラフチャ群と他方の道
路端との間の距離が車幅より広く、しかも、ストラフチ
ャ群の相互の実距離が２０ｃｍ前後で連続する場合には
、このストラフチャ群は白線を形成するものとする。そ
して、ストラフチャ群と一方の道路端とに挾まれたとこ
ろは白線で区分された路肩とみなす。

同図（ｂ）の点列においては、点列５２０６および点列
５２０７に相当するストラフチャの組により白線が形成
され、この白線と道路端５２０４との間が路肩とみなさ
れる。

ところで、前述した「走行可能範囲を求める手段」は領
域を主体として走行コースを認識するものであり、画像
処理の結果得られる道路領域が１つの領域となることが
前提である。同手段によれば、単調路や分岐路の道路端
を識別することは可能である。しかし、白線によって分
断された領域、特に、道路と路肩とに分断された場合に
は、それらを区別して取り扱うことは困難である。これ
は、同手段が領域の内部からウィンドウを走査して領域
境界を探査するため、同時に道路端と路肩端とを識別で
きないからである。

しかし、以上のように、ラベル画像を画像の下部から上
部まで水平に走査し、局所的な領域の境界追跡を行って
各領域のラベル値の変位箇所を求めることにより、領域
の境界を知ることが出来る。

これと共に、領域間の関係をストラフチャにおいて更新
し、領域の境界点を構造化することにより、道路領域は
計算機内部に構造化して表現される。

従って、この「多様な形状の走行コースの内部表現手法
」によれば、路肩や走行車線等の複数の領域の境界端座
標が得られ、領域境界を容易に検出することが出来、「
走行可能範囲を求める手段」のように対象とする領域が
単一領域に限定されない。さらに、上記の白線によって
分断された路肩等をも識別することが出来る。

また、従来の領域境界手法に比べてメモリ容量は少なく
て済み、自立走行車が自動走行するのに十分な走行コー
スの走行可能範囲を、逐次的な境界探査や多角形近似を
行って評価するといった処理をすることなく得ることが
出来る。さらに、走行コースが単調路で無く、道路が分
岐していたり、合流していたりする場合においても、こ
れら分岐路や合流路の形状を統一的に表現することがで
き、走行コースの境界を正確に識別することが可能であ
る。

以上説明したように「多様な形状の走行コースの内部表
現手法」によれば、リストに記述された属性により、各
領域の境界点の連結関係が構造化されたストラフチャに
おいて表現され、このストラフチャから対象領域の境界
が識別される。このため、従来のように求まる点列群の
数が多いため、対象領域の境界を多角形で近似し、余分
な点を間引く処理が無くなる。また、従来のように各領
域の全ての境界画素を逐次的に一つ一つ追跡する必要は
無くなり、所定の境界画素のみについて処理することに
より、対象領域が識別される。従って、処理時間は短縮
され、自立走行車の自動走行に適した領域識別方法が提
供される。

〔発明の効果〕

以上説明したように本発明によれば、リストに記述され
た属性により、各領域の境界点の連結関係が構造化され
たストラフチャにおいて表現され、このストラフチャか
ら対象領域の境界が識別される。このため、従来のよう
に求まる点列群の数が多いため、対象領域の境界を多角
形で近似し、余分な点を間引く処理が無くなる。また、
従来のように各領域の全ての境界画素を逐次的に一つ一
つ追跡する必要は無くなり、所定の境界画素のみについ
て処理することにより、対象領域が識別される。従って
、処理時間は短縮され、自立走行車の自動走行に適した
領域識別方法が提供される。

【図面の簡単な説明】

第１図は本発明の一実施例による「多様な形状の走行コ
ースの内部表現手法」における道路領域の構造化処理の
概略を示すフローチャート、第２図は走行路領域を抽出
するカラー画像処理の概略の流れを示すフロチャート、
第３図はＦＲＯＭテーブルを用いたカラー画像のＩＳＨ
変換処理」におけるＩＳＨ変換処理のアルゴリズムを示
すブロック図、第４図および第５図および第６図および
第７図のそれぞれはこのＩＳＨ変換処理の処理例を従来
の処理例と比較して説明するための図、第８図は［繰返
しきい値処理における特徴量ヒストグラムの形状に基づ
くしきい値設定手段」におけるカラー画像の前処理の概
略を示すフローチャート、第９図はこの前処理における
ピーク・谷の状態を説明するための図、第１０図はこの
前処理におけるテーブル値の推移を説明するための図、
第１１図は走行路の認識処理の概要を示すフローチャー
ト、第１２図は「テンプレート画像を用いた繰返しきい
値処理による走行コースの抽出手段」における走行路抽
出の処理の詳細を示すフローチャート、第１３図はこの
道路候補領域の抽出処理における各過程を説明するため
の図、第１４図は「明るさの違いに注目した走行コース
からの影や高輝度部分の抽出手段」における種々の入力
画像に対する処理の概要を説明するための図、第１５図
はこの手段における影や高輝度部分の説明をするための
明度ヒストグラムの一例を示すグラフ、第１６図は「ラ
ベリング処理装置」のラベリングボード構成図、第１７
図はラベリング処理のゼネラルフローチャート、第１８
図は多値人力ラベリング方式を説明するための図、第１
９図はランを用いたラベリング方式を説明するための図
、第２０図はラベリング処理の画像走査で使用されるウ
ィンドウを示す図、第２１図はラベリングプロセッサＫ
ＬＰの構成図、第２２図および第２３図および第２４図
および第２５図および第２６図および第２７図のそれぞ
れはラベリング処理の画像走査で行われるウィンドウ処
理を示すフローチャート、第２８図はラベリングメモリ
ＫＬＭの構成図、第２９図は最終的に付与されるラベル
値を整合する処理を説明するための図、第３０図は特徴
抽出プロセッサＫＬＣの構成図、第３１図は１スキャン
ラベリング方式を説明するための図、第３２図は「複数
の領域の併合手段」においてラベル領域を探査するため
に使用される逆り字マスクを示す図、第３３図は第３２
図に示された逆り字マスクを用いた領域境界探査を説明
する際に使用される分割領域の一例を示す図、第３４図
は逆り字マスク走査式手法により求まったラベル領域境
界探査界長領域の周囲長が記憶されるラベル間境界長マ
ドリスクを示す図、第３５図は各領域間の接続関係およ
び各ラベル領域の有する特微量が記述される特微量リス
トを示す図、第３６図は第３５図に示された特微量リス
トに記述された各特微量を有するラベル領域の一例、第
３７図は境界探査式手法において着目される画素の近傍
に付される参照画素位置Ｎｏ、を示す図、第３８図は境
界探査式手法において使用される画素参照テーブルを示
す図、第３９図は第３８図に示された画素参照テーブル
の使用方法を説明する際に用いられる画素領域の一例を
示す図、第４０図は「走行可能範囲を求める手段」にお
ける走行コース認識システムの処理の流れを示すフロー
チャート、第４１図はこの手段の説明において使用され
る取り込み画像でのウィンドウの移動を示す図、第４２
図は対象領域におけるウィンドウおよびヒストグラムの
値を説明するための図、第４３図は曲率のきついカーブ
で走行車が道路端に近付き過ぎた場合に生じる道路端の
識別の逆転を説明するための図、第４４図は第４３図に
示された道路端の認識の逆転を防止するために求めた点
列群の関係をマハラノビスの汎距離を用いて補正する手
法を説明するための図、第４５図はカラー画像処理装置
全体の概略構成を示すブロック図、第４６図は「多様な
形状の走行コースの内部表現手法」におけるｙ方向リス
トと領域境界点ストラフチャとを説明するための図、第
４７図はラベル変位箇所と領域境界点ストラフチャとを
説明するための図、第４８図は領域境界の属性を説明す
るための図、第４９図は領域境界点の前後方向のリンク
処理を説明するための図、第５０図は内部点エツジおよ
び穴という属性を説明するための図、第５１図は一旦付
与された属性の付は替え処理を説明するための図、第５
２図は道路端および路肩端の検出を説明するための図で
ある。 １０１・・・カラーカメラ、１０２・・・ＩＳＨ変換部
、１０３・・・カラー処理部、１０４・・・ラベリング
ハード、１０５・・・ＣＰＵ処理部、１４８・・・ラベ
ル画像、１４９・・・特徴量りスト１．１５０・・・道
路位置座標、１５１・・・点列画像、４６０３・・・道
路領域の境界線、４６０４・・・区分線、４６０５・・
・ｙ方向の領域境界点ストラフチャ、

Claims (1)

1. 【特許請求の範囲】 １、画像分割された各領域にラベル付けされた画像を一
   定方向の区分線により区分し、該一定方向に直交する方
   向のリストを前記区分線毎に作成し、 前記区分線に沿って画像走査して前記各領域のラベル値
   の変化点を識別することにより該区分線と前記各領域の
   境界線との交点に位置する境界点を求めて前記一定方向
   におけるリストを該境界点毎に作成し、 各領域のラベル値の接続関係に基づいて前記一定方向に
   おける前記区分線に沿った前記境界点の属性を求めて前
   記一定方向のリストに該属性を記述し、 各領域のラベル値の接続関係に基づいて前記一定方向に
   直交する方向における前記分割領域の境界線に沿った前
   記境界点の属性を求めて前記一定方向のリストに該属性
   を記述し、前記各リストに記述された前記属性に基づい
   て前記一定方向に直交する方向のリストの連結長さを求
   め、該長さが所定長さ以上のリストに対応する前記境界
   点の点列を対象領域の境界に該当するものと判断し、 対象領域の境界を識別することを特徴とする画像処理に
   おける対象領域識別方法。 ２、対象領域の境界端の間に内部点が存在する場合、該
   内部点から前記一定方向に直交する方向に沿って分割領
   域の境界を追跡し、次に現れる境界点が別の内部点であ
   り、該別の内部点が前記区分線上で隣接するさらに別の
   内部点に連結している場合には、これら各内部点により
   前記対象領域中に別の領域が形成されているものと認識
   することを特徴とする請求項１記載の対象領域識別方法
   。 ３、対象領域の境界端の間に内部点が存在する場合、こ
   の内部点から前記一定方向に直交する方向に沿って分割
   領域の境界を追跡し、次に現れる境界点が対象領域の境
   界端に有る境界点である場合には、前記内部点と該境界
   点とは連結関係にあるものと判断し、該境界点と該境界
   点を求める以前に求めた境界点との連結関係を切断し、
   該境界点と前記内部点とを連結することにより、求めた
   対象領域の境界を修正することを特徴とする請求項１ま
   たは請求項２記載の対象領域識別方法。