JPH0417099A

JPH0417099A - 交通流計測画像処理装置

Info

Publication number: JPH0417099A
Application number: JP12093190A
Authority: JP
Inventors: Hiromichi Taniguchi; 谷口　博通; Haruki Furusawa; 古澤　春樹; Akinobu Seki; 関　明伸
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-05-10
Filing date: 1990-05-10
Publication date: 1992-01-21

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】し産業上の利用分野］この発明は、画像処理を用いて、路上を走行する車両の
車速や車間距離を計測する交通流計測画像処理装置に関
するものである。

［従来の技術］近年、交通管制のための情報を得る手段として１”■カ
メラを用いた交通流計測装置が実用化されている。第８
図は、奥山他　「画像処理応用交通流計測システムのア
ーキテクチャ」、情報処理学会第３７回（昭和５３年後
期）全国大会、６Ｔ−６に記載された従来の交通流計測
画像処理装置の構成図である。図において、（］）は撮
（ｆ４器で例えばＴＶカメラ、（２）はＴＶカメラ（１
）を制御す６７Ｖ力メラ制御回路、（３）はデジタル化
された撮〔象信号を取り込むフレームメモリ、（４）は
車両抽出回路、（５）は奥行き情報管理テーブル５（６
）は重両情報計測回路である。

次に動作について説明する。′ｒＶカメラ（１）は′「
■カメラ制御回路（２）に従って任意のフレーム間隔で
走行車両を撮像する。フレームメモリ（３）は、Ｔ’　
Ｖカメラ（１）の撮像信号をデジタルに変換したデータ
を取り込む。車両抽出回路（４）は、フレームメモリ（
３）のデータを処理し、屯両を抽出する。奥行き情報管
理テーブル（５）は、ｌ”　Ｖカメラ（１）から道路上
のある地点までの３次元距離（奥行き）と、その地点の
画面上の座欄値との対応を示す管理テーブルで、第９図
（ａｌ　で示すように１′Ｖカ、メラ（＋１を設置した
後、画面に写されている道路上一定高さのいくつかの点
（ｐｉ〜ｐ６）を選び、それぞれの点に対する実際の３
次元距離を人力し、それらを補間することによって画面
座標に対する奥行き情報を求めて格納する。第９図ｆｂ
）は第９図（ａ）の各座標を横軸とし、奥行（ｍ）を縦
軸に示すグラフであり、画面上の座標と、それぞれの点
に対する実際の３次元距離の関係を示すものである。車
両情報計測回路（６）では、複数フレームにわたって、
重両抽出回路（４）で得られた車両の画面」二の座標か
ら奥行き情報管理テーブル（５）を用いて実際の位置を
求める。この処理を複数フレームにわたって行なうこと
により５各車両の速度や車間距離を計測する。

［発明が解決しようとする課題］従来の交通流計測画像処理装置は以上のように構成され
ているので、振動やメインデナンス作業の際に′ｒ■カ
メラの角度が変化した場合、奥行き情報管理テーブルを
新たに設定しなおさなＣＪればならないといつｌｊ１題
があった。

この発明は一１二記のような問題を解消するためになさ
れたもので、振動やメーインデナンスによ−）で１”　
Ｖカメラの角度が変化した場合でも自動的に奥行き情報
を求め、速やかに副側が続行できる交通流計測画像処理
装置を得ることを目的とする。

［課題を解決するためのＬ段］この発明による交通流計２１１１１画像処理装置は、走
行車両を任、αのフレーム間隔で撮像する撮像器、走行
車両の特徴点を複数個設定し、撮像信号から特徴点を抽
出する特徴点抽出回路、１Ｍ数フレームにわたって同一
特徴点を抽出して特徴点列とし、特徴点列の画面座標を
結ぶことによ−）て出来る軌跡を特徴点の各々に対して
求め、それらの軌跡群から撮像器の消失点を求める消失
点検出回路、及び消失点を用いて撮像器の振れ角を求め
る撮像パラメータ検出回路を備えたものである。

［作用］この発明における特徴点抽出回路は、走行車両の複数個
の特徴点を複数フレームにわたって抽出し、消失点検出
回路は同一特徴点の複数フレームにわたる画面座標のデ
ータを結ぶことによってできる軌跡を各特徴点に対して
求め５それらの軌跡群から撮像器の消失点を求める。こ
の消失点を用いて撮像器の振れ角を計算し、振れ角に基
いて奥行座標を補正する。

［実施例］以Ｆ、この発明の一実施例を図について説明する。第１
図はこの発明の一実施例による交通流工１測画像処理装
置を示す構成図であり、（７）は特徴点抽出回路、（８
）は消失点検出回路、（９）はＴＶカメラ（１）の振れ
角などを検出する撮像パラメタ検出回路、（１０）はス
クリーン座標から３次元座標を求める３次元座標変換回
路である。

次に動作について説明する。ＴＶカメラ（１）は１”■
カメラ制御回路（２）に従って任意のフレーム間隔で走
１１車両を撮像する。フレームメモリ（３）は、Ｔ　Ｖ
カメラ（１）の撮像信号をデジタルに変換したデータを
取り込む。重両抽出回路（４）は、フレ−ムメモリ（３
）のデータを処理し、車両を抽出する。例えば、第２図
は直線路を走行する車の様子を１”■カメラ（１）で撮
像したものである。（２１１ａ）　、　　（２０ｂ）は
道路両端、（２１ａ）、　ｆ２１ｂｌは特徴点の一例と
して、市の後部ホンネットの最下部両端であり、（２２
）は消失点−である。第３図は、道路（２３）と平行に
２軸を取った３次元座標系を表した図で各軸は右手系で
取られている（　Ｏｗ　−Ｘ　ｗ　Ｙ　ｗ７、　ｗ　）
。第４図は、スクリーン（２４）を含むスクリン座標系
を表した図で各軸は左下系で取られている（　ＯＳ＝　
Ｘ　ｓ　Ｙ　ｓ　Ｚ　ｓ）　、第５図は゛ｒｖカメラの
設定条件によるスクリーン座標系と３次元座標系との関
係をｉトシた図で、（５０）はＹｗ回りの、Ｘｗに対す
るＸｓの角度で横振れ角と呼び、（５１）はＸｓ回りの
、Ｙｗに対するＹｓの角度で縦振れ角と呼ぶことに１−
る。第２図のように３次元の実１１↓界で互いに平行な
直線群を′ｒ■カメラ（１）で撮像すると、これらの直
線群は、１点で交わることが知られており、この交点は
消失点（２２）と呼ばれている。この消失点（２２）の
画面位置座標は、撮像型自身のパラメータ（素子サイズ
、焦点距離）と横振れ角（５ｆｌ　ｌ、縦振れ角（５１
）及び画面サイズによって一意に決まる。逆に消失点（
２２）の画面位置座ケ５．撮像系パラメータ、及び画面
サイズが決まれば、撮像器の横振れ角（５０）、及び縦
振れ角（５１）は計算することができる。このとき撮像
系パラメータ、及び画面サイズは固定と考えられるので
、消失点（２２）の画面位置座標がわかれば、撮像器（
１）の横振れ角（５０）、及び縦振れ角（５りはただち
に求まる事になる。

第７図はこの実施例に係る特徴点抽出回路（７）と消失
点検出回路（８）の処理を示すフローチャトであり、ブ
ロック（３０）は特徴点抽出回路（７）における処理を
示し、ブロック（３りは消失点検出回路（８）における
処理を示す。特徴点抽出回路（７）において、ステップ
（３２）で第２図に示すようにｌフレームの走行車両を
撮像する。次に、ステップ（３３）で、最低２点の特徴
点のスクリーンにおける座標を求める。即ち、第２図の
スクリーンで走行車両の後部ボンネットの最下部両端（
２０ａ）　、　　（２０ｂ）の座標を求める。ステップ
（３４）で必要シーン分あるかどうか判定し、必要シー
ン分以下の時は（モ意のフレーム間隔だけ時間遅れの後
（ステップ（３５））、ステップ（３２）で次のフレー
ムを撮像する。

この実施例ではフレーム間隔を１７３０秒程度１撮像す
るが、特徴点を得るのは、これを間引いて６フレ一ム間
隔程度で行なっている。

ステップ（３４）の判定で必要シーン分あると判断した
時、後部ボンネットの最Ｆ部両端（２１１ａ）　、　　
（２０ｂｌ　に関しての２組の特徴点列が得られること
になる。この特徴点列の画面座標を結ぶことによって出
来る軌跡は第６図における軌跡（６０）　（ｉ’ｌ　、
　　（６１）（ｉ）［ｉ＝１．２．　　・・ｎ］のよう
に直線（６２ａ）　、　　（６２ｂ）となる。従って消
失点検出回路（８）では、ステップ（３５）で２組の特
徴点列に対して直線近似を行なう。さらにステップ（３
７）で２直線（５２ａＬ、　　（５２ｂ）の交点を求め
て消失点（２２）とする。

道路上を走行する車は、狭い領域内では道路に平行にほ
ぼ直線的に移動すると考えられる。従って車両自身のあ
る特徴点に着目し、複数シーンにまたがってその画面上
での座標１直を求め、それらの点を直線近似することに
よって一つの直線が得られる。第６図で示すように、２
つの特徴点の軌跡（６０ｉ）　、　ｆ６１ｉ１　　［ｉ
　＝１．２．　・・＋、　ｎ　　］が描く２つの直線（
６２ａ）　、　　（６２ｂ）の交点を計算すれば消失点
（２２）の画面座標が求まることになる。

次に、撮像パラメータ検出回路（９）は消失点座標から
ＴＶ右カメラ１）の槓振れ角（５ａ）、縦振れ角（５１
）を求める。３次元座標変換回路（１０）は、］゛■カ
■カメラの焦点距離、素子サイズ、３次元位置座標、横
振れ角、縦振れ角を用いて、画面上の任意の座標に対し
て、その座標の３次元座標での高さを仮定して（例えば
、路面上ならＯｍとする）、その座標の３次元の奥行き
座標を計算する。特徴屯抽出から撮像パラメータ検出ま
での一連の処理は、一定の周期で繰り返される。車両情
報計測回路（６）　は、複数シーンにわたって、車両抽
出回路（４）で得られた車両の実際の位置を、３次元座
標変換回路（１０）を用いて求め、それらの情報より各
小雨の速度や車間距離を計測する。

消失点を用いてＴ’　Ｖカメラ（Ｉｌｌの横振れ角、縦
振れ角を求める方法、ｊｌＤびに画面上の任意の座標に
対して、その座標の３次元ＵＫ標での高さを仮定して、
その座標の３次元の奥行き座標を計算する方法について
は、例えば、山［Ｊ冨士夫著「コンピュータデイスプレ
ィによる図形処理工学」、日刊工業斬１１ｆ１社（１９
８１Ｑｌに詳しく紹介されている。ここではその説明に
ついでは省略する。

」二記実施例では、撮像器のパラメータを自動的に求め
ることを可能にしたので、１゛Ｖカメラの角度変化が生
じても奥行き情報を逐次求めることができ、これを用い
て車速なとの４測精度を向上できると共に、メインテナ
ンスを容易にできる。

なお、上記実施例では、特徴点に車両の後部ボンネット
の最下部両端を選んだが、テールランプやヘッドランプ
など、特徴点として抽出されるものならなんでもよく、
また道路との羽行性があるものなら、車両の持つ特徴点
以外の特徴点を用いてよい。この場合、例えば街路灯の
列などを用いる場合は、複数フレームから軌跡を求める
必要はなく、ｌフレームで実現できる。

また、消失点を求めるにあたって、２木の直線の交点と
したが５２個以上の特徴点を設定し、複数組の交点を用
いて求めてもよい。

また５、に記実施例では特徴点抽出回路（７）と消失点
検出回路（８）をソフトウェアによって構成したが、ハ
ードウェアで実現してもよい。

［発明の効果］以上のように、この発明によれば、車両を撮像し、その
撮像信号を処理して交通流をａｔ　ｌｉｌ’ｌする交通
流計測画像処理装置において、走行車両を任意のフレー
ム間隔で撮像する撮像器、走行車両の特徴点を複数個設
定し、撮像信号から特徴点を抽出する特徴点抽出回路、
複数フレームにわたって同一・特徴点を抽出して特徴点
列とし、この特徴点列の画面座標を結ぶことによって出
来る軌跡を特徴点の各々に対して求め、それらの軌跡群
から撮像器の消失°点を求める消失点検出回路、及び消
失点を用いて撮像器の振れ角を求める撮像パラメータ検
出回路を備えたことにより、撮像器のパラメタを自動的
に求めることを司能にしたので、ゴＶカメラの角度変化
が生しても奥行き情報を逐次求、めることができ、それ
により重速なとの、ｅｌ”　１ｌｌｌｌ精度を上げたり
、メインテナンスを容易にできる交通流計測画像処理装
置が得られる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による交通流計？■１画像
処理装置を示す構成図、第２図は道路上を走行才る車を
′］゛Ｖカメラで撮像した画像を示す説明図５第３図は
３次元座標系を示す説明図、第４図はスクリーン座標系
を示す説明図、第５１￥１はＩ”Ｖカメラの横振れ角、
縦振れ角を示す説明図、第６図は消失点を求める方法を
示す説明図、第７図は実施例に係る特徴点抽出回路と消
失点検出回路における処理を示すフローチャート、第８
図は従来の交通流計測画像処理装置を示す構成図、第９
図（ａｌ　、　　ｆｂｌ　は従来の奥行き情報の作成方
法を示す説明図である。（１）・・パ１”■カメラ、（７）・・・特徴点抽出回
路、（８）　　・・・消失点検出回路、（９）・・・撮
像バラ・メータ検出回路。なお、図中、同一符号は同一、または相当部分を示す。

Claims

【特許請求の範囲】

車両を撮像し、その撮像信号を処理して交通流を計測す
る交通流計測画像処理装置において、走行車両を任意の
フレーム間隔で撮像する撮像器、上記走行車両の特徴点
を複数個設定し、上記撮像信号から上記特徴点を抽出す
る特徴点抽出回路、複数フレームにわたって同一特徴点
を抽出して特徴点列とし、この特徴点列の画面座標を結
ぶことによって出来る軌跡を上記特徴点の各々に対して
求め、それらの軌跡群から上記撮像器の消失点を求める
消失点検出回路、及び上記消失点を用いて上記撮像器の
振れ角を求める撮像パラメータ検出回路を備えた交通流
計測画像処理装置。