JPH08287400A

JPH08287400A - 境界直線検出装置

Info

Publication number: JPH08287400A
Application number: JP7085526A
Authority: JP
Inventors: Motohiko Chikuma; 元彦竹間
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1995-04-11
Filing date: 1995-04-11
Publication date: 1996-11-01

Abstract

(57)【要約】【目的】テンプレートマッチングを用いず、高精度で
撮像対象物における境界直線を検出することを可能にす
る。【構成】撮像装置２１からのアナログビデオ信号２２
がＡ／Ｄ変換回路２３を経由してディジタルの濃淡画像
データ２４としてフレームメモリ２５に記憶される。こ
のフレームメモリ２５から、現フレームの濃淡画像デー
タ２６が読み出されて境界直線候補点回路２８に送られ
る。また、直線方程式算出回路３２から出力された前フ
レームの濃淡画像データ２６において設定された境界直
線の方程式データ３３を基に直線検出範囲設定回路３４
が、現フレームに対する検出範囲データ３５を定める。
このデータ３５と現フレームの濃淡画像データ２６を基
に境界直線候補点回路２８は、現フレームの濃淡画像デ
ータ２６の境界直線候補点群データ３１を作成し、直線
方程式算出回路３２が新たな境界直線を作成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、航空機の自律的着陸
誘導システムの画像処理装置において、滑走路の境界直
線を検出する境界直線検出装置に関する。

【０００２】

【従来の技術】航空機の自律的着陸誘導システムの画像
処理装置に適用される境界直線検出装置は、航空機が地
上側の滑走路に対して安全、かつ正確に着陸を行なうた
めに必要不可欠なものとなっている。

【０００３】図１３に、従来において用いられている境
界直線検出装置の構成を示す。同図に示すように、撮像
装置１によって外界の画像が撮像され、アナログビデオ
信号２が得られる。このアナログビデオ信号２は、Ａ／
Ｄ変換回路３によりディジタルの濃淡画像データ４に変
換されてフレームメモリ５に一画面ずつ一時的に保持さ
れる。また、フレームメモリ５から読み出された現フレ
ームの濃淡画像データ６は、直線検出領域設定回路７に
入力される。この直線検出領域設定回路７は、Ｈｏｕｇ
ｈ変換に要する処理時間を短縮するために、滑走路及び
その周囲に存在する芝生等との境界直線を検出する領域
を設定するものであり、前フレームで設定された検出領
域画像データと、上記現フレームの濃淡画像データ６と
の間でテンプレートマッチングを行なう。

【０００４】次に直線検出領域設定回路７は、上記現フ
レームの濃淡画像データ６上に図１４に示すような検出
領域画像８を設定し、微分演算回路９に出力する。この
微分演算回路９は、検出領域画像８内において輝度値に
対する微分演算を行ない、微分画像データ１０をＨｏｕ
ｇｈ変換回路１１に出力する。Ｈｏｕｇｈ変換回路１１
は、微分画像データ１０からＨｏｕｇｈ変換によって図
１４に示すような境界直線を検出し、境界直線方程式デ
ータ１２を出力する。

【０００５】

【発明が解決しようとする課題】図１３に示す従来の境
界直線検出装置においては、前フレームで設定された検
出領域画像８と、現フレームの濃淡画像データ６との間
で行なわれるテンプレートマッチングが失敗すると、以
降の処理に支障をきたし、正確に境界直線を検出してい
くことができない。また、微分画像データ１０は、濃淡
画像データ６に含まれるノイズの影響を受けやすいた
め、上記したＨｏｕｇｈ変換によって検出された図１４
に示す境界直線（点線部分）と、現フレームの濃淡画像
データ６上の境界直線との間にずれが生じてしまうとい
う問題がある。

【０００６】この発明は上記実情に鑑みてなされたもの
で、テンプレートマッチングを用いず、フレームメモリ
から時系列に取り出される濃淡画像データから、滑走路
とその周囲物との境界を表わす境界直線を高精度に検出
していくことが可能な境界直線検出装置を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】この発明は、追尾対象物
を撮像する撮像装置と、この撮像装置によって得られた
アナログビデオ信号をディジタル変換処理するＡ／Ｄ変
換回路と、このＡ／Ｄ変換回路から出力されたディジタ
ルの画像データを１フレームずつ記憶するフレームメモ
リと、このフレームメモリから読み出されたディジタル
の画像データが初期画像データであるか否かを判断する
初期画像判定回路と、この判定回路から出力された初期
画像データ上に、上記追尾対象物における境界直線を検
出するための検出範囲を設定する初期検出範囲設定回路
と、上記フレームメモリから読み出された任意のフレー
ムの画像データ上において検出された境界直線を基に、
上記フレームメモリから送られる上記任意のフレームの
画像データの次フレームの画像データ上に境界直線を検
出するための検出範囲を設定する直線検出範囲設定回路
と、この直線検出範囲設定回路から出力された上記検出
範囲の内部に含まれる各画素における平均値、分散値、
分離度の統計的特徴量を算出し、この特徴量から上記次
フレームの画像データ上における追尾対象物とその周囲
物との境界直線を構成する可能性の高い画素を境界直線
候補点群データとして抽出する境界直線候補点検出回路
と、この境界直線候補点検出回路から出力された上記境
界直線候補点群データの２次元座標を基に、上記境界直
線の直線方程式を算出する直線方程式算出回路とを具備
したことを特徴とする。

【０００８】

【作用】撮像装置によって追尾対象物が撮像され、アナ
ログビデオ信号としてＡ／Ｄ変換回路に送られる。この
Ａ／Ｄ変換回路は、入力されたアナログビデオ信号をデ
ィジタル変換処理して１フレーム毎にフレームメモリに
記憶させる。

【０００９】次に、このフレームメモリから１フレーム
毎に画像データが読み出され、初期画像判定回路及び境
界直線候補点検出回路に送出される。上記初期画像判定
回路は、送られてきた画像データが初期画像、つまり第
１フレームの画像であるか否かを判定する。もし、初期
画像であるならば、上記判定回路は、上記データを初期
検出範囲設定回路に出力する。この初期検出範囲設定回
路は、入力された初期画像データ上に、境界直線を検出
するための検出範囲を設定して境界直線候補点検出回路
に出力する。

【００１０】この境界直線候補点検出回路は、入力され
た上記検出範囲の内部に含まれる各画素における平均
値、分散値、分離度の統計的特徴量を算出して上記初期
画像データ上における境界直線を構成する候補点群デー
タを抽出し、直線方程式算出回路に出力する。この直線
方程式算出回路は、上記候補点群データの２次元座標か
ら上記初期画像データ上における境界直線の方程式デー
タを算出する。

【００１１】次に、フレームメモリからは、上記初期画
像データの次フレームの画像データが読み出され、境界
直線候補点検出回路に入力される。一方、直線検出範囲
設定回路は、上記方程式データを基にして、上記次フレ
ームの画像データ上における境界直線を検出するための
検出範囲を設定し、上記境界直線候補点検出回路に出力
する。この候補点検出回路は、上記した過程と同様にし
て、次フレームの画像データ上に設定された検出範囲内
に境界直線を構成する候補点群データを抽出する。この
データは、直線方程式算出回路に送られ、上記次フレー
ムの画像データにおける境界直線の方程式が算出され
る。

【００１２】即ち、上記した処理が繰り返されてフレー
ムメモリから読み出される最新の画像データに対する境
界直線が求められる。上記のように、候補点群データの
抽出に統計的な特徴量を用いているため、ノイズに強
く、かつ、高精度に追尾対象物に関する境界直線の検出
処理を行なうことが可能となる。

【００１３】

【実施例】以下、図面を参照してこの発明の一実施例を
説明する。図１は、この発明の一実施例に係る境界直線
検出装置の回路構成を示すブロック図である。

【００１４】図１に示す撮像装置２１は、追尾対象物を
撮像し、アナログビデオ信号２２をＡ／Ｄ変換器２３に
送出する。Ａ／Ｄ変換器２３は、撮像装置２１から得ら
れたアナログビデオ信号２２をディジタルの濃淡画像デ
ータ２４に変換し、フレームメモリ２５に送る。フレー
ムメモリ２５は、送られてきたディジタルの濃淡画像デ
ータ２４を１フレーム（画面）単位で一時的に保持す
る。また、フレームメモリ２５からは、現フレームの濃
淡画像データ２６が、１画面ずつ読み出されて初期画像
判定回路２７及び境界直線候補点検出回路２８に入力さ
れる。初期画像判定回路２７は、初期検出範囲設定回路
２９に接続されており、フレームメモリ２５から入力さ
れた濃淡画像データ２６に対し、最初の画像であるか否
かの判定を行なう。これにより、判定対象とする濃淡画
像データ２６が、第１フレームの画像である場合には、
初期画像判定回路２７は、その画像を初期検出範囲設定
回路２９に送出する。また、第１フレームの画像でない
場合には、その画像は、初期画像判定回路２７から初期
検出範囲設定回路２９に送られない。

【００１５】初期検出範囲設定回路２９は、初期画像判
定回路２７から送られた第１フレームの濃淡画像データ
２６上に、初期検出範囲データ３０を設定し、境界直線
候補点検出回路２８に出力する。

【００１６】境界直線候補点検出回路２８は、フレーム
メモリ２５から入力された第１フレームの濃淡画像デー
タ２６と、初期検出範囲設定回路２９により設定された
初期検出範囲データ３０を基に、第１フレームの濃淡画
像データ２６上における境界直線を構成する候補点を検
出する。即ち、境界直線候補点検出回路２８は、上記初
期検出範囲データ３０内において、第１フレームの濃淡
画像データ２６における境界直線を構成する候補点を検
出し、境界直線候補点群データ３１として直線方程式算
出回路３２に出力する。この直線方程式算出回路３２
は、境界直線候補点群データ３１の座標値から最小二乗
法を用いて上記境界直線に関する直線方程式データ（こ
の場合は第１フレームの直線方程式データ）３３を外部
に出力する。また、この直線方程式データ３３は、外部
に出力されると同時に直線検出範囲設定回路３４に対し
て前フレーム（画面）のデータとして出力される。つま
り、第１フレームの直線方程式データ３３は、新たにフ
レームメモリ２５から読み出される現フレーム、即ち第
２フレームの濃淡画像データ２６における境界直線を検
出するための処理に使用される。

【００１７】即ち、直線検出範囲設定回路３４は、前フ
レームの境界直線の直線方程式データ３３を基に、現フ
レーム（第２フレーム以降）の濃淡画像データ２６上に
おける前フレームの境界直線の位置を算出する。そし
て、この位置を基にして現フレームの濃淡画像データ２
６に対して検出範囲データ３５を設定し、境界直線候補
点検出回路２８に送出する。この境界直線候補点検出回
路２８は、新たにフレームメモリ２５から送られる現フ
レーム（第２フレーム以降）の濃淡画像データ２６上の
境界直線を構成する候補点を上記検出範囲データ３５内
において検出し、現フレームの濃淡画像データ２６の境
界直線候補点群データ３１として直線方程式算出回路３
２に出力する。この直線方程式算出回路３２は、上記し
た動作を繰り返して第２フレーム以降の濃淡画像データ
２６に関する境界直線の直線方程式データ３３を出力す
る。

【００１８】次に、初期検出範囲設定回路２９の構成及
び機能について、図２を用いて説明する。図２は、初期
検出範囲設定回路２９の構成図である。

【００１９】同図（ａ）に示す初期検出範囲設定回路２
９内のラベル画像生成回路４１に対し、初期画像判定回
路２７によって最初の画面（第１フレーム）であると判
定された第１フレームの濃淡画像データ２６が入力され
る。ラベル画像生成回路４１は、入力された第１フレー
ムの濃淡画像データ２６を２値化してラベリングを行な
い、同図（ｂ）に示すラベル画像データ４２を生成して
滑走路領域検出回路４３に出力する。滑走路領域検出回
路４３は、ラベル画像データ４２から、予め定義された
面積及び縦横比等に合致するラベル領域を選択する。ま
た、滑走路領域検出回路４３は、上記ラベル領域の外接
長方形の位置とサイズを同図（ｃ）に示す滑走路領域デ
ータ４４として処理範囲設定回路４５に出力する。

【００２０】この処理範囲設定回路４５には、滑走路領
域データ４４の上下方向及び水平方向のサイズを縮小・
拡大処理するためのオフセット値が予め定義されてい
る。処理範囲設定回路４５は、入力された同図（ｃ）に
示す滑走路領域データ４４の上下方向及び水平方向のサ
イズを上記したオフセット値を用いてそれぞれ縮小・拡
大して同図（ｄ）に示す上記した初期検出範囲データ３
０を求め、境界直線候補点検出回路２８に出力する。実
際には、処理範囲設定回路４５は図３に示すように、滑
走路Ａ部分を含む初期検出範囲データ３０の検出範囲を
左右に分割して得られた初期検出範囲データ３０ａ，３
０ｂを、それぞれ上記滑走路Ａの左側境界直線、右側境
界直線を検出するためのデータとして境界直線候補点検
出回路２８に送出する。なお、滑走路Ａの周囲には、芝
生Ｂが存在している。

【００２１】また、初期検出範囲設定回路２９は、ラベ
ル画像生成回路４１、滑走路領域検出回路４３、処理範
囲設定回路４５によって構成される。次に、上記した境
界直線候補点検出回路２８の構成及び機能について図４
を用いて説明する。

【００２２】図４は、境界直線候補点検出回路２８の構
成図である。同図に示すように、境界直線候補点検出回
路２８内の輝度データ切り出し回路５１に対して、現フ
レームの濃淡画像データ２６及び初期検出範囲データ３
０、そして直線検出範囲設定回路３４から送出される検
出範囲データ３５が入力される。この輝度データ切り出
し回路５１は、現フレームの濃淡画像データ２６上に設
定された初期検出範囲データ３０、あるいは検出範囲デ
ータ３５内にある複数の画素を１フレームにおける各走
査ライン毎に取り出す。また、上記複数の画素は、それ
ぞれ輝度値（明るさの度合）を持っている。即ち、輝度
データ切り出し回路５１は、上記画素の集まりを候補点
検出に必要な輝度データ５２として切り出す。この輝度
データ５２は、上記した各走査ライン毎に出力される一
次元データであり、初期検出範囲データ３０、あるいは
検出範囲データ３５の走査ライン数分、局所領域設定回
路５３に対して繰り返し出力される。

【００２３】局所領域設定回路５３は、輝度データ５２
内に含まれている各画素に対して局所領域を定める。即
ち、この領域は、局所領域輝度データ５４として局所領
域特徴量算出回路５５に出力される。また、上記した局
所領域は、予め設定しておく必要がある。局所領域特徴
量算出回路５５は、局所領域輝度データ５４から平均値
や分散値、分離度等の統計的な特徴量を算出し、局所領
域特徴量データ５６として候補点判定回路５７に出力す
る。候補点判定回路５７は、入力された局所領域特徴量
データ５６を基に、上記した現フレームの濃淡画像デー
タ２６における境界直線を構成する画素、つまり候補点
を検出していく。これにより、検出された複数の候補点
が、上記した境界直線候補点群データ３１として候補点
判定回路５７から直線方程式算出回路３２に送られる。

【００２４】また、候補点判定回路５７には、局所領域
特徴量算出回路５５によって局所領域輝度データ５４
を、詳細を後述する領域１と領域２に分割した際、その
輝度平均値の関係が上記した左側境界直線を検出する場
合には、「暗／明」として組み込まれている。また、右
側境界直線を検出する場合には、「明／暗」として組み
込まれている。

【００２５】次に上記実施例の動作について説明する。
図１において、撮像装置２１は追尾対象物、つまり、図
３に示す滑走路Ａ及びその周囲に存在する芝生Ｂを含む
外界画像を撮像し、アナログビデオ信号２２としてＡ／
Ｄ変換器２３に送る。Ａ／Ｄ変換器２３においては、送
られてきたアナログビデオ信号２２がｎビットのディジ
タルの濃淡画像データ２４に変換され、フレームメモリ
２５に１フレーム（画面）ずつ出力されて記憶される。
そして、記憶された濃淡画像データ２４は、フレームメ
モリ２５から、濃淡画像データ２６として１フレームず
つ読み出されて初期画像判定回路２７及び境界直線候補
点検出回路２８に送出される。

【００２６】次に、初期画像判定回路２７は、入力され
た濃淡画像データ２６が、初期画像、即ち第１フレーム
の濃淡画像データ２６であるか否かの判定を行なう。こ
れにより、第１フレームの濃淡画像データ２６であると
判定された場合には、そのデータが、初期検出範囲設定
回路２９に送られる。また、もし第１フレームの濃淡画
像データ２６でない場合には、そのデータは初期検出範
囲設定回路２９には送出されない。初期画像判定回路２
７によって初期画像であると判定された第１フレームの
濃淡画像データ２６は、初期検出範囲設定回路２９に出
力される。

【００２７】次に、図２（ａ）に示す初期検出範囲設定
回路２９内のラベル画像生成回路４１に入力された第１
フレームの濃淡画像データ２６は、２値化されてラベリ
ング処理され、同図（ｂ）に示すラベル画像データ４２
として滑走路領域検出回路４３に送られる。上記ラベル
画像データ４２から、滑走路領域検出回路４３は、予め
定義した面積及び縦横比等に合致するラベル領域を選択
する。次に、滑走路領域検出回路４３は、上記ラベル領
域の外接長方形の位置とサイズを同図（ｃ）に示す滑走
路領域データ４４として処理範囲設定回路４５に送出す
る。

【００２８】この処理範囲設定回路４５は、入力された
滑走路領域データ４４の上下サイズ及び水平方向サイズ
をオフセット値を用いて、それぞれ縮小・拡大する。こ
れにより、処理範囲設定回路４５により、同図（ｄ）及
び図３に示す滑走路Ａ部分を含む初期検出範囲データ３
０が作成される。次に、処理範囲設定回路４５は、初期
検出範囲データ３０を左右に分割し、図３に示す滑走路
Ａと芝生Ｂとの左側境界直線及び右側境界直線を求める
ための初期検出範囲データ３０ａ，３０ｂを作成する。
処理範囲設定回路４５は、作成した初期検出範囲データ
３０ａ，３０ｂを上記図１に示す境界直線候補点検出回
路２８に出力する。

【００２９】次に、上記初期検出範囲データ３０ａ，３
０ｂは、境界直線候補点検出回路２８内の輝度データ切
り出し回路５１に入力される。一方、この輝度データ切
り出し回路５１には、上記したように、フレームメモリ
２５から送られた第１フレームの濃淡画像データ２６が
入力されている。輝度データ切り出し回路５１は、入力
された第１フレームの濃淡画像データ２６と初期検出範
囲データ３０ａ，３０ｂとを重ね合わせ、上記した輝度
データ５２の切り出しを行なう。即ち、初期検出範囲デ
ータ３０ａ，３０ｂ内に含まれる複数の画素を各走査ラ
イン毎に取り出す。また、この走査ラインの数量は、初
期検出範囲データ３０ａ，３０ｂの上下方向に含まれる
本数分である。切り出された輝度データ５２は、上記各
走査ライン毎に局所領域設定回路５３に送られる。次
に、この局所領域設定回路５３は、入力された各走査ラ
イン毎の輝度データ５２内にある各画素に対して局所領
域を設定し、その領域を局所領域輝度データ５４とす
る。次に、上記した輝度データ切り出し回路５１及び局
所領域設定回路５３の処理について、図５を用いて更に
詳しく説明する。

【００３０】図５は、輝度データ切り出し回路５１によ
って図３に示す第１フレームの濃淡画像データ２６の初
期検出範囲データ３０ａ，３０ｂ内における任意の１走
査ラインについての輝度値の変化特性を示す図である。

【００３１】同図における横軸は、上記１走査ライン上
の複数の画素の並びを表しており、縦軸は、上記各画素
の持つ輝度値を示している。同図に示す輝度値の変化特
性は、上記した１走査ラインが上記図３に示す芝生Ｂ及
び滑走路Ａ部分を含んでいるため、両端部（芝生Ｂに相
当する部分）よりも、中央部（滑走路Ａに相当する部
分）の輝度値が高くなっている。また、この輝度値につ
いては、８ビットの濃淡画像データ２６の場合、０〜２
５５の輝度で表される。

【００３２】即ち、輝度データ切り出し回路５１は、図
５に示す上記１走査ラインの輝度値の変化特性における
左側の部分、即ち、輝度値が急に上昇している箇所を含
む範囲を輝度データ５２として抽出し、局所領域設定回
路５３に送出する。そして、局所領域設定回路５３は、
同図に示すように、輝度データ５２内にある各画素につ
いて局所領域輝度データ５４（但し、同図では、１つの
対象画素に対する局所領域輝度データ５４のみを示して
いる）を設定して局所領域特徴量算出回路５５に出力す
る。

【００３３】また、上記輝度値の変化特性の右側の部
分、つまり輝度値が急に下降している箇所を含む範囲
が、上記変化特性の左側の部分に関する輝度データ５２
が抽出された後、輝度データ（図示せず）として取り出
され、局所領域設定回路５３に送られる。そして上記し
たように、上記変化特性の左側の部分について複数の局
所領域輝度データ５４が設定された後、上記特性の右側
に関して複数の局所領域輝度データ（図示せず）が設定
され、図４に示す局所領域特徴量算出回路５５に出力さ
れる。

【００３４】上記輝度データ切り出し回路５１は、上記
した過程と同じ操作を初期検出範囲データ３０ａ，３０
ｂにおける走査ライン数分繰り返すが、ここでは、１走
査ラインに関して検出された２つの輝度データ（図５に
示す輝度値の変化特性の左側と右側における輝度デー
タ）５２各々に対して複数設定された局所領域輝度デー
タ５４が、局所領域特徴量算出回路５５に出力された後
の処理について説明する。

【００３５】局所領域特徴量算出回路５５は、入力され
た上記図５に示す第１フレームの濃淡画像データ２６の
１走査ラインの輝度値の変化特性の左側及び右側部分に
おける輝度データ５２の各々に対し、複数設定された局
所領域輝度データ５４各々について、図６に示すように
領域分割を行なう（但し、図６では、上記した左側部分
に関する輝度データ５４の領域分割のみを示してい
る）。次に、局所領域特徴量算出回路５５は、同図に示
す領域１及び領域２、そして局所領域全体の輝度値に対
する平均値や分散値、分離度等の統計的な特徴量を各局
所領域輝度データ５４毎に算出する。また、上記局所領
域全体とは、領域１と領域２とを合わせた局所領域輝度
データ５４の全範囲を意味している。

【００３６】また、局所領域特徴量算出回路５５内で行
なわれる処理について、上記図６と共に図７を併用して
詳しく説明する。図７は、任意の１つの局所領域輝度デ
ータ５４の構成を説明する図である。

【００３７】図７（ａ）に示す濃淡画像データ（この場
合は第１フレームのデータ）２６を基に、上記した処理
が行なわれることにより、図７（ｂ）に示す局所領域輝
度データ５４（実際には、複数の輝度データ５４）が取
り出されて局所領域特徴量算出回路５５に入力される。
また、同図（ｂ）に示すように、局所領域輝度データ５
４は、対象画素を中心として左右に広がる画素の集まり
である。また、領域１と領域２、局所領域全体は面積で
はなく、上記局所領域輝度データ５４に関する一次元の
長さを意味している。

【００３８】即ち、図７（ｂ）に示す局所領域輝度デー
タ５４は、ここでは、図５に示す輝度データ５２の左端
に最初に設定されたデータ（図５には示していない）５
４であり、上記局所領域特徴量算出回路５５は、図７
（ｂ）に示す領域１、領域２内の各々に存在する画素の
輝度平均値μ₁ 及びμ₂ を求める。μ₁ については、領
域１内の画素数をｎ₁ とした場合、以下の演算により求
めている。

【００３９】 μ₁ ＝（領域１内の各画素の輝度値の総和）／ｎ₁ …（１）また、μ₂ は、領域２内の画素数をｎ₂ とすると、以下
の演算により算出される。

【００４０】 μ₂ ＝（領域２内の各画素の輝度値の総和）／ｎ₂ …（２）また、ここでは局所領域全体の画素数をｎとしている。
そして、このｎに対する領域１内の画素数ｎ₁ の割合を
ω₁ （ω₁ ＝ｎ₁ ／ｎ）とし、上記ｎに対する領域２内
の画素数ｎ₂ の割合をω₂ （ω₂ ＝ｎ₂ ／ｎ）とする
と、局所領域特徴量算出回路５５は、領域１と領域２の
クラス間分散値σ_B ² を以下の演算式を用いて求める。

【００４１】 σ_B ² ＝ω₁ ω₂ （μ₁ −μ₂ ）² …（３）また、局所領域輝度データ５４、即ち、局所領域全体の
輝度の分散値をσ² とすると、図６、図７（ｂ）に示す
対象画素位置の分離度ηは、以下の式により算出され
る。

【００４２】 η＝σ_B ² ／σ² …（４）次に、局所領域特徴量算出回路５５は、上記した処理
を、図５に示す変化特性の左側部分の輝度データ５２内
に設定された他の局所領域輝度データ５４全てに対して
行なった後、上記特性の右側部分についても同様の処理
を行なう。これにより算出された上記変化特性の左側及
び右側部分の輝度データ５２各々に対して設定された複
数の局所領域輝度データ５４それぞれにおける領域１内
の輝度平均値μ₁ 及び領域２内の輝度平均値μ₂ 、領域
１と領域２のクラス間分散値σ_B ²、そして上記対象画
素位置の分離度ηを局所領域特徴量データ５６として候
補点判定回路５７に出力する。

【００４３】この候補点判定回路５７は、入力された各
局所領域特徴量データ５６を基にして上記図３に示す第
１フレームの濃淡画像データ２６における滑走路Ａと芝
生Ｂとの左側境界直線を構成する候補点の判定処理を行
なった後に、右側境界直線を構成する候補点の判定を行
なう。この判定の処理について図８に示すフローチャー
トを用いて詳細に説明する。

【００４４】即ち、候補点判定回路５７は、入力された
各局所領域輝度データ５４に対応する局所領域特徴量デ
ータ５６について、まず、上記図５の変化特性の左側部
分に示す輝度データ５２内に設定される最初の局所領域
輝度データ５４（但し、このデータ５４は図５には示さ
ず）内の対象画素位置の分離度ηが、所定のしきい値以
上であるか否かを判定する（ステップＡ１）。もし、上
記しきい値以上であるならば、次に、候補点判定回路５
７は、上記局所領域特徴量データ５６の領域１と領域２
の明暗条件の判定を行なう（ステップＡ２）。即ち、こ
の時は、左側境界直線を検出する処理であるため、予め
記憶されている領域１と領域２の輝度平均値の関係が
「暗／明」であるか否かを判定する。これにより、上記
輝度平均値の関係が「暗／明」であるならば、次に、上
記領域１の分散値と領域２の分散値が、所定のしきい値
以下であるか否かを判定する（ステップＡ３）。これに
より、上記した２つの分散値が所定のしきい値以下であ
った場合、候補点判定回路５７は、上記領域１と領域２
の輝度平均値の差を調べる。

【００４５】次に、候補点判定回路５７は、次の局所領
域輝度データ５４について、ステップＡ１〜Ａ３までの
処理を行ない、領域１と領域２の輝度平均値の差を調べ
る。候補点判定回路５７は、上記した操作を（左側部分
の）輝度データ５２内に存在する全ての局所領域輝度デ
ータ５４に対応する局所領域特徴量データ５６について
行なう。次に、候補点判定回路５７は、上記した左側部
分の輝度データ５２内の全ての局所領域輝度データ５４
について求めた領域１と領域２の輝度平均値の差をそれ
ぞれ比較する。これにより、領域１と領域２との輝度平
均値の差が最大である局所領域輝度データ５４内の対象
画素を上記した滑走路の左側境界直線を構成する候補点
として抽出する（ステップＡ４）。

【００４６】この候補点が抽出された後、候補点判定回
路５７は、上記した右側部分の輝度データ５２内に設定
された全ての局所領域輝度データ５４各々に対応する局
所領域特徴量データ５６について、上記した操作を繰り
返すが、ステップＡ２の処理についてのみ、領域１と領
域２の輝度平均値の関係が「明／暗」であるか否かを判
定する。上記した処理の結果、滑走路の左側境界直線を
構成する候補点が抽出される。

【００４７】また、上記ステップＡ１〜Ａ３までの処理
において、いずれか１つの判定条件でも満足しなかった
場合、候補点判定回路５７は、調査対象の局所領域輝度
データ５４内の対象画素は候補点でないものと判断す
る。そして、次の局所領域輝度データ５４について、再
びステップＡ１〜Ａ３の操作が繰り返される。

【００４８】また、上記した候補点の検出過程におい
て、上記ステップＡ４の処理を満足しなかった場合、つ
まり、輝度データ５２内において候補点が全く検出され
なかった時には、輝度データ切り出し回路５１は、図９
（左側境界直線の候補点の検出例）に示すように輝度デ
ータ５２の検出範囲を左右に拡大する。そして、拡大し
た左右の検出範囲について、局所領域設定回路５３、局
所領域特徴量算出回路５５、候補点判定回路５７によっ
て再び上記した処理が行なわれ、候補点の検出処理が実
行される。この時、もし左側に拡大した範囲内で候補点
が検出された場合には、次の走査ラインにおける候補点
の検出の際に、元の輝度データ５２の検出範囲に上記し
た左側に拡大した範囲のみが加えられ、検出処理が行な
われる。

【００４９】即ち、輝度データ切り出し回路５１、局所
領域設定回路５３、局所領域特徴量算出回路５５、候補
点判定回路５７によって上記した処理が行なわれたこと
により、図３に示す第１フレームの濃淡画像データ２６
の初期検出範囲データ３０ａ，３０ｂにおける最初の１
走査ラインについての、上記した滑走路と芝生との左側
及び右側境界直線の候補点がそれぞれ求められる。

【００５０】次に、輝度データ切り出し回路５１は、取
り込んだ初期検出範囲データ３０ａ，３０ｂについて、
次の１走査ラインにおける輝度値の変化特性から輝度デ
ータ５２を検出（検出範囲は最初の１走査ラインの場合
に同じ）して局所領域設定回路５３に送出する。そし
て、局所領域設定回路５３、局所領域特徴量算出回路５
５、候補点判定回路５７によって上記した過程と同様な
処理が行なわれ、上記候補点判定回路５７には、該当す
る走査ラインについての左側及び右側境界直線の候補点
が抽出される。

【００５１】以下同様にして、上記初期検出範囲データ
３０ａ，３０ｂにおける全走査ラインについて、上記し
た過程と同様な処理が実行されることにより、左側境界
直線を構成する複数の候補点、そして右側境界直線を構
成する複数の候補点が候補点判定回路５７により抽出さ
れる。抽出された左側境界直線及び右側境界直線の各々
を構成する複数の候補点は、候補点判定回路５７によっ
て境界直線候補点群データ３１として上記図１に示す直
線方程式算出回路３２に送られる。

【００５２】次に、直線方程式算出回路３２は、入力さ
れた境界直線候補点群データ３１の座標値から、最小二
乗法を用いて左側及び右側境界直線の直線方程式データ
３３を出力する。この直線方程式データ３３は、外部に
出力されると同時に、直線検出範囲設定回路３４に出力
される。この直線検出範囲設定回路３４は、入力された
上記直線方程式データ３３から、現フレームの濃淡画像
データ（ここでは第２画面以降のデータ）２６上におけ
る前フレーム（ここでは第１フレーム）の境界直線の位
置を算出する。そして、この境界直線を中心線として走
査ライン方向に、一定幅の上記検出範囲データ３５を設
定して境界直線候補点検出回路２８に送出する。この検
出範囲データ３５の幅Ｗ_n は、次式により設定される。

【００５３】Ｗ_n ＝ｄ_xn-1＋Ｎ …（５）ここで、ｄ_xn-1は、前々フレームと前フレームとの間に
境界直線が走査ライン方向に移動した画素数であり、Ｎ
は任意の定数である。

【００５４】次に、フレームメモリ２５から読み出され
た現フレーム（この場合は第２フレーム）の濃淡画像デ
ータ２６が、境界直線候補点検出回路２８内の輝度デー
タ切り出し回路５１に取り込まれる。即ち、この輝度デ
ータ切り出し回路５１においては、図１０に示すよう
に、上記検出範囲データ３５と現フレームの濃淡画像デ
ータ２６が重ね合わせられる。そして、輝度データ切り
出し回路５１、局所領域設定回路５３、局所領域特徴量
算出回路５５、候補点判定回路５７によって上記した過
程と同様の処理が繰り返され、候補点判定回路５７にお
いてこの場合、図１０に示す検出範囲データ３５内にお
ける滑走路の左側及び右側境界直線の各々を構成してい
る候補点が抽出される。そしてこの候補点が、境界直線
候補点群データ３１として直線方程式算出回路３２に出
力され、現フレーム（第２フレーム）の濃淡画像データ
２６における新たな直線方程式データ３３が作成されて
直線検出範囲設定回路３４に送出される。上記した過程
を繰り返して第３フレーム以降の濃淡画像データ２６に
ついての境界直線が検出される。

【００５５】この実施例において述べた追尾対象物、つ
まり滑走路の境界について、図１１（ａ）に示すよう
に、滑走路の部分の輝度とその周囲の芝生の部分の輝度
は、共に一様である。つまり輝度の分散値が小さいた
め、境界直線上の画素に対する局所領域の輝度値は、同
図（ｂ）に示すように輝度値の変化が平坦になる。即
ち、上記した分散値から、上記局所領域輝度データ５４
内の対象画素の左右の輝度値が一様であるか否かを判定
することができる。またこの時、局所領域全体の分散値
より領域１、領域２の分散値は小さくなる。即ち、この
場合、上記図４に示す局所領域特徴量算出回路５５によ
って行なわれる分散値の判定処理は、領域１及び領域２
の分散値について調べれば良い。

【００５６】逆に、領域１または領域２の分散値が、局
所領域全体の分散値より大きい場合は、上記領域１、領
域２、そして局所領域全体の分散値が、上記判定処理を
行なうための対象となる。これについての例を図１２に
示す。同図は、領域２の分散値が局所領域全体の分散値
より大きい場合についての分散値の算出を説明する図で
ある。同図においては、画素３を対象画素としており、
画素１，２を領域１、そして画素３，４を領域２として
おり、領域１、領域２、局所領域全体の輝度分散値は、
それぞれ「０」，「４．０」，「２．２５」である。し
かし、この例が成り立つのは、局所領域幅が極端に狭い
（同図では４画素）という特殊な場合であり、局所領域
幅を広く取ると、領域１と領域２の分散値が局所領域全
体の分散値より大きくなることは殆どない。従って、実
際の処理では局所領域幅を広く（１０画素以上）として
いるため、上記した判定処理は、領域１と領域２の分散
値を基にして行なわれている。

【００５７】上記したように、追尾対象物である滑走路
における左側及び右側境界直線の各々を構成する候補点
の検出に、初期検出範囲データ３０または検出範囲デー
タ３５内に設定される局所領域輝度データ５４の領域１
及び領域２の輝度平均値や分散値、分離度等の統計的な
特徴量を用いるため、微分演算を行なわずに上記した境
界直線を求めることができる。従って、ノイズに強く、
高精度に上記滑走路における境界直線を検出することが
可能となる。また、テンプレートマッチングを用いずに
境界直線の検出処理を行なうので、上記滑走路の四隅、
即ち滑走路コーナ等の特徴のある箇所が濃淡画像データ
２６上に存在しなくても、上記検出処理ができる。ま
た、従来の検出処理において発生していたテンプレート
マッチングの失敗により、Ｈｏｕｇｈ変換によって検出
した境界直線と濃淡画像データ上の境界直線との間のず
れもなくなり、この点においても高精度な検出処理が可
能となる。

【００５８】

【発明の効果】以上説明したようにこの発明によれば、
境界直線候補点回路によって濃淡画像データの各走査ラ
イン上の検出範囲内に含まれる各画素における平均値、
分散値、そして分離度等の統計的特徴値を算出し、この
特徴値から境界直線候補点を検出するため、微分演算を
基にして生成される微分画像データと比較してノイズに
強く、高精度に境界直線を検出することが可能である。
また、境界直線の位置のみを扱うため、従来におけるテ
ンプレートマッチングを行なうために必要であった滑走
路における特徴のある箇所が濃淡画像データ上に存在し
なくても最新の境界直線を検出することが可能である。

【図面の簡単な説明】

【図１】この発明の一実施例に係る境界直線検出装置の
構成を示すブロック図。

【図２】同実施例における初期検出範囲設定回路の構成
図。

【図３】同実施例における第１フレームの濃淡画像デー
タ（初期画像）に対する検出範囲データの設定を説明す
る図。

【図４】同実施例における境界直線候補点検出回路の構
成を示すブロック図。

【図５】境界直線候補点検出回路内において、任意の１
走査ラインにおける輝度データの抽出及び局所領域輝度
データの設定を説明する図。

【図６】図５に示す輝度値の変化特性の左側部分に関す
る局所領域輝度データにおける領域分割について説明す
る図。

【図７】局所領域輝度データの構成について説明する
図。

【図８】候補点判定回路内において行なわれる処理を説
明するフローチャート。

【図９】輝度データにおける検出範囲の拡大について説
明する図。

【図１０】第２フレーム以降の濃淡画像データ上に検出
範囲データが設定されることを説明する図。

【図１１】滑走路境界の輝度値の変化について説明する
図。

【図１２】局所領域輝度データ内の領域１、領域２の輝
度の分散値が、局所領域全体の分散値よりも大きい場合
の一例を示す図。

【図１３】従来における境界直線検出装置のブロック構
成図。

【図１４】従来の境界直線検出装置において検出された
第１フレームの濃淡画像データ上に、初期検出範囲デー
タが設定されることを説明する図。

【符号の説明】

２１撮像装置２３Ａ／Ｄ変換器２５フレームメモリ２７初期画像判定回路２８境界直線候補点検出回路２９初期検出範囲設定回路３２直線方程式算出回路３４直線検出範囲設定回路４１ラベル画像生成回路４３滑走路領域検出回路４５処理範囲設定回路５１輝度データ切り出し回路５３局所領域設定回路５５局所領域特徴量算出回路５７候補点判定回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ // Ｇ０５Ｄ 1/12 9061−5Ｈ 15/70

Claims

【特許請求の範囲】

【請求項１】追尾対象物を撮像する撮像装置と、この
撮像装置によって得られたアナログビデオ信号をディジ
タル変換処理するＡ／Ｄ変換回路と、このＡ／Ｄ変換回
路から出力されたディジタルの画像データを１フレーム
ずつ記憶するフレームメモリと、このフレームメモリか
ら読み出されたディジタルの画像データが初期画像デー
タであるか否かを判断する初期画像判定回路と、この判
定回路から出力された初期画像データ上に、上記追尾対
象物における境界直線を検出するための検出範囲を設定
する初期検出範囲設定回路と、上記フレームメモリから
読み出された任意のフレームの画像データ上において検
出された境界直線を基に、上記フレームメモリから送ら
れる上記任意のフレームの画像データの次フレームの画
像データ上に境界直線を検出するための検出範囲を設定
する直線検出範囲設定回路と、この直線検出範囲設定回
路から出力された上記検出範囲の内部に含まれる各画素
における平均値、分散値、分離度の統計的特徴量を算出
し、この特徴量から上記次フレームの画像データ上にお
ける追尾対象物とその周囲物との境界直線を構成する可
能性の高い画素を境界直線候補点群データとして抽出す
る境界直線候補点検出回路と、この境界直線候補点検出
回路から出力された上記境界直線候補点群データの２次
元座標を基に、上記境界直線の直線方程式を算出する直
線方程式算出回路とを具備したことを特徴とする境界直
線検出装置。