JPH10105689A - 移動体挙動検知装置 - Google Patents

Abstract

(57)【要約】 【解決手段】 予め車両のいないとき撮影した背景画像
フレーム１５と直前に撮影した前画像フレーム１４との
差分値を２値化して、２値化差分画像１６を作成する。
そして、この２値化差分画像１６を、車両領域マスク画
像作成部１０から得た個別車両領域マスク画像１７，１
８でマスクし、このマスク領域を切り出してテンプレー
トを作成する。 【効果】 こうして切り取った車両毎のテンプレートは
雑音が除去されて正確なので、現画像フレームとのマッ
チングを行うことで、各車両の動きベクトルを高精度で
検出できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両等の移動体を
カメラを用いて撮影し、その挙動を調べるための移動体
の挙動検知装置に関する。

【０００２】

【従来の技術】道路交通容量の拡大、交通事故の抑制あ
るいは省エネルギー等を目的として、次世代道路交通シ
ステムの研究が盛んに進められている。こうしたシステ
ムでは、道路上を走行する車両を撮影し、車両毎にその
挙動を検知する技術が要求される。この目的のために次
のような技術が紹介されている（文献：安居院 猛，塚
中 正太，長橋 宏：画像処理による通行車両の抽出：
信学春季全大，Ｄ−６２７（１９９４））。この種のシ
ステムでは予め車両の映っていない道路を撮影し、所定
の時間間隔で繰り返し道路上を走行する車両を撮影す
る。そして、各撮影された画像を比較することによって
車両毎の動きベクトルを求める。

【０００３】

【発明が解決しようとする課題】ところで、上記のよう
な従来の車両挙動検知装置には次のような解決すべき課
題があった。従来のシステムでは、道路上に車両が存在
するかどうかを、道路のみを撮影した画像と道路上を走
行する車両を撮影した画像の差分値を求めるようにして
判断する。しかしながら、雑音等が混入すると差分画像
が乱れ、検知した画像の位置や輪郭が乱れることから、
誤検出が発生するという問題があった。また、新たに画
面の隅に入ってきた車両は画面中に車両の一部だけしか
撮影されないため、検出精度が悪くなるという問題があ
った。

【０００４】

【課題を解決するための手段】本発明は以上の点を解決
するため次の構成を採用する。 〈構成１〉移動体を撮影するカメラと、移動体と共にそ
の背景を撮影した現画像フレームと、現画像フレームの
撮影直前に移動体と共にその背景を撮影した前画像フレ
ームと、背景を撮影した背景画像フレームとを保持する
記憶部と、上記背景画像フレームと前画像フレームとの
差分を２値化して２値化差分画像を得る２値化部と、前
画像フレームと２値化差分画像により、各移動体の画像
を含む小領域の画像から成るテンプレートを得るテンプ
レート作成部と、このテンプレートと現画像フレームと
のマッチングにより、各移動体の動きベクトルを検出す
る動きベクトル検出部と、動きベクトルを検出したとき
のテンプレートの輪郭から、現画像フレーム中の各移動
体の画像以外の部分をマスクするためのマスク画像を得
るマスク画像作成部とを備え、上記テンプレート作成部
は、上記マスク画像作成部から受け入れたマスク画像に
より、２値化差分画像の不要部分をマスクして、各移動
体のテンプレートを得ることを特徴とする移動体挙動検
知装置。

【０００５】〈構成２〉構成１において、画像内に移動
体が進入する一部分に背景ブロック領域を設定し、２値
化部は、前画像フレームと背景ブロック領域の画像によ
り２値化差分画像を得て、テンプレート作成部はこの２
値化差分画像の不要部分をマスク画像でマスクし、テン
プレートを作成することを特徴とする移動体挙動検知装
置。

【０００６】〈構成３〉構成１または２において、動き
ベクトル検出部は、現画像フレームに、その周辺部分を
除外した所定の検知領域を設定し、この検知領域内での
み、テンプレートを用いたマッチングを行うことを特徴
とする移動体挙動検知装置。

【０００７】〈構成４〉構成１または２において、動き
ベクトル検出部は、移動体の移動方向にテンプレートを
移動する場合に、テンプレートを伸縮しながらマッチン
グを行うことを特徴とする移動体挙動検知装置。

【０００８】〈構成５〉構成１において、既に記憶した
背景画像フレームと、移動体のいない前画像フレームと
に差分を生じたとき、記憶部は、既に記憶した背景画像
フレームと移動体のいない前画像フレームとを交換する
ことを特徴とする移動体挙動検知装置。

【０００９】〈構成６〉構成２において、既に記憶した
背景ブロック領域の画像と、移動体のいない前画像フレ
ームの該当部分とに差分を生じたとき、記憶部は、既に
記憶した背景ブロック領域の画像と移動体のいない前画
像フレームの該当部分とを交換することを特徴とする移
動体挙動検知装置。

【００１０】〈構成７〉構成５または６において、２値
化差分画像を利用して、前画像フレーム中の移動体の無
い背景部分の画像を抽出して、交換の対象となる前画像
フレームを得る背景画像領域作成部を備えたことを特徴
とする移動体挙動検知装置。

【００１１】〈構成８〉構成１または２において、テン
プレート作成部が、２値化差分画像と、既に作成されて
記憶されたマスク画像とを用いて、テンプレートを作成
する場合に、２値化差分画像の移動体を含む領域とマス
ク画像の移動体を含む領域の間の内分線を、テンプレー
トの輪郭に選定することを特徴とする移動体挙動検知装
置。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を具体
例を用いて説明する。 〈具体例１〉図１は、本発明の移動体挙動検知装置具体
例を示すブロック図である。この装置は、カメラ１、Ａ
／Ｄ変換部２、現画像フレーム記憶部３、前画像フレー
ム記憶部４、背景画像フレーム記憶部５、差分器６、２
値化部７、テンプレート作成部８、動きベクトル検出部
９及び車両領域マスク画像作成部１０から構成される。

【００１３】カメラ１は、道路の比較的高い位置から車
両を撮影できるように図示しない適当なフレーム等によ
って固定配置されている。カメラ１は走行している車両
を道路と共に撮影して、その撮影した画像をアナログ信
号として出力する。Ａ／Ｄ変換部２は、カメラ１から入
力したアナログ信号をディジタル信号に変換するための
装置である。現画像フレーム記憶部３は、ディジタル化
された後の現画像フレーム１３を一時的に格納するため
のメモリである。前画像フレーム記憶部４は、直前に撮
影された現画像フレームを前画像フレーム１４として一
時格納しておくメモリである。背景画像フレーム記憶部
５は、道路上に走行車両がない場合に予め撮影した背景
画像フレーム１５を格納しておくメモリから構成され
る。

【００１４】差分器６は、前画像フレーム記憶部４から
前画像フレーム１４を受け入れ、背景画像フレーム記憶
部５から背景画像フレーム１５を受け入れて、両者の差
分値を出力する回路である。また、２値化部７は、設定
された閾値を基準とし差分器６の出力を２値化する装置
である。こうして、２値化部７は２値化差分画像１６を
出力する。テンプレート作成部８は、後で説明するテン
プレートを生成し、動きベクトル検出部９に供給する装
置である。動きベクトル検出部９は、各車両のテンプレ
ートと一致する画像を現画像フレーム１３中で検出して
テンプレートに対応する車両の動きベクトルを得るため
の装置である。車両領域マスク画像作成部１０は、次の
動きベクトル検出に適する車両領域マスク画像を生成す
る装置である。

【００１５】図２は、図１に示した現画像フレーム記憶
部３に格納された現画像フレーム１３と、前画像フレー
ム記憶部４に格納された前画像フレーム１４と、背景画
像フレーム記憶部５に記憶された背景画像フレーム１５
とを示した図である。この図に示すように、背景画像フ
レーム１５と前画像フレーム１４との差分をとれば、前
画像フレーム中の２台の車両の画像が取り出される。そ
の画像から各車両１台分の画像を切り離して、現画像フ
レーム１３とのマッチングを行えば、その車両が前画像
フレームからどれだけ移動したかを検出できる。

【００１６】図３には、図１に示した差分器６の出力説
明図を示す。また、図４には、図１に示した２値化部７
の出力説明図を示す。図１に示した差分器６は、前画像
フレーム１４と背景画像フレーム１５とを受け入れて両
者の絶対値差分をとる。差分器６は、図２に示した前画
像フレーム１４と背景画像フレーム１５について、画素
単位であるいは後に説明するブロック単位で差分値をと
り、所定の閾値で２値化する。これで図３のような絶対
値差分ブロック１９を得る。更に周辺が背景と考えられ
る孤立した差分が“０”にならない有値のブロックは、
自動的に背景と同一のブロックに置き換えるといった雑
音消去処理をして明瞭な車両部分の映像を得るようにす
るとよい。

【００１７】図４のように２値化部７の出力は、２値化
差分画像１６の中に実際の車両の画像領域２１のみが残
された内容となる。このような画像を得るために２値化
部は、例えば図３に示すように、差分器の出力を適当な
大きさのブロックに分割し、そのブロック内の全ての画
素値を積分して、その積分値が所定の閾値より大きいか
どうかでブロック全体を“１”にするか“０”にするか
という処理を行う。これによって、背景画像部分は全て
白に、車両の存在する部分は全て黒になるような画像処
理が可能となる。その結果が図４に示したとおりのもの
である。

【００１８】図５では、２値化部７の出力した２値化差
分画像１６を元にして、図１に示すテンプレート作成部
８が、テンプレートを生成する場合の説明を行う。図１
に示したテンプレート作成部８は、図４に示した２値化
差分画像１６を受け入れると共に、車両毎に元の画像フ
レームからどの部分を切り取れば、その車両の画像が得
られるかを指定するための、個別車両領域マスク画像２
２−１や２２−２を受け入れる。これらはいずれも図５
（ａ）、（ｂ）に示すように、背景領域２４の一部に窓
状に車両領域２３を配置している。このような個別車両
領域マスク画像２２−１，２２−２は、走行する車両１
台分ごとに作成される。

【００１９】図５（ａ）に示す個別車両領域マスク画像
２２−１により、２値化差分画像中の１台の車両を切り
出す領域が決定する。こうして、２値化差分画像中から
不要信号を排除し、前画像フレームから１台の車両のテ
ンプレートを切り出す。図５（ｃ）に、そのテンプレー
トの例を示す。その後は、動きベクトル検出部９は、そ
のテンプレートを動かして現画像フレーム１３とのマッ
チングを行い、前画像フレームから現画像フレームまで
の車両の移動方向を示す動きベクトルを検出する。車両
領域マスク画像作成部１０は、動きベクトル検出後のテ
ンプレートの位置と輪郭の情報を動きベクトル検出部９
から受け入れて個別車両領域マスク画像２２−１，２２
−２を生成する。こうすれば、テンプレート以外の領域
の不要信号を一切排除できるようなマスクを得ることが
できる。

【００２０】図６には、テンプレート作成部の動作フロ
ーチャートを示す。図に示すように、まずテンプレート
作成部８は、ステップＳ１で２値化部７から出力される
２値化差分画像を受け入れ、ステップＳ２でここに車両
があるかどうかを判断する。２値化差分画像全体のデー
タが全て“０”であれば車両がない。この場合にはその
まま処理を終了する。一方車両があると判断するとステ
ップＳ３に移り、個別車両マスク画像を受け入れる。そ
して、これらを用いてステップＳ４で前画像フレームか
らテンプレートを切り出し、ステップＳ５でそのテンプ
レートを出力する。なお、車両領域マスク画像作成部１
０は、動きベクトル検出部９で使用したテンプレートの
数、及びその後に新たに進入してきた車両がある場合に
はその数を加えて個別車両領域マスク画像を生成する。

【００２１】図７には、上記の図６のステップＳ５の動
作を更に詳細に説明したフローチャートを示す。テンプ
レート作成部８は、まず始めに２値化差分画像の中の各
画素を連結しているもの同士でラベル付けを行う（ステ
ップＳ１）。即ち、図４に示したような２値化差分画像
１６の中に点在する黒画素の各かたまりにこれらを区別
するためのラベル付けを行う。そして、ステップＳ２に
おいて、Ｎが“０”より大きいかどうかを判断する。即
ち、画像中に車両が存在しているかどうかを判断する。
車両が存在すればステップＳ３に進み、パラメータｉを
“０”に設定する。このパラメータｉは、１台分ずつテ
ンプレートを生成する際に各テンプレートに付与するカ
ウンタである。

【００２２】ステップＳ４では、２値化差分画像１６か
ら個別車両領域マスク画像により不要信号を除去する。
即ち、個別車両領域マスク画像中の車両領域と２値化差
分画像１６中に存在するラベル領域が一部重なった場合
ラベル領域以外の信号を除去する。ステップＳ５では、
前画像フレーム１４からテンプレートの切り出しを行
う。つまり、ステップＳ４で重なった２値化差分画像１
６中のラベル領域の部分と同位置の部分のみを前画像フ
レーム１４から切り出し、これをテンプレートとしてい
る。次に、ステップＳ６とステップＳ７によって車両の
数だけ処理を繰り返すと、全ての車両についてテンプレ
ートが生成できる。ステップＳ８では、２値化差分画像
内で残ったラベルの中で、画像両端のラベルのみを新た
に進入してきた車両と判断して対応する同位置の部分を
前画像フレーム１４から切り出し、新規のテンプレート
として出力する。これによって、雑音部分をラベルと判
断してテンプレートを作成するのを防止できる。以上の
処理によって、全ての車両についてテンプレートが生成
される。

【００２３】次に、図８に示す動きベクトル検出部の動
作フローチャートを説明する。図８のステップＳ１は、
車両が１つでもあれば動きベクトル検出を行うためのス
テップである。ステップＳ２では、パラメータｉとパラ
メータｅとを初期化する。そして、ステップＳ３におい
て、車両のテンプレートを受け入れる。次のステップＳ
４において、現画像フレームとテンプレートの間で、パ
ターンマッチングによる動きベクトルの検出を行う。即
ち、現画像フレーム中に、そのテンプレートと一致する
画像が存在するかどうかを比較処理等によって検出す
る。そのテンプレートは、例えば図２に示すように、車
両が画面の下から上に向かうにつれて、次第に小さくな
るようであれば、テンプレートを伸縮しながらマッチン
グを行う。そして、ステップＳ５において、最もマッチ
したときの動きベクトルを出力する。

【００２４】マッチングによりテンプレートの画像上の
位置座標が検出されると、前画像フレーム１４中の同一
のテンプレートの位置座標と比較することによって、前
フレームから現フレームに移るまでの間、車両がどの方
向にどの距離だけ移動したかという動きベクトルを得る
ことができる。次のステップＳ６において、最もマッチ
したときのテンプレートが車両検知領域から外れたかど
うかを判断する。後で説明するように、例えば画像全体
についてテンプレートマッチングを行うとすれば、画像
の周辺部分で車両の一部だけしか画像中に現れていない
ようなものについてまで処理を行わなければならない。
こうすると、雑音等によって誤検出をするおそれがあ
る。そこで、画像全体でなく、周辺部分を除いた中央部
分のみをマッチングの対象とする。

【００２５】この車両検知領域というのはその中央部分
で、後で図１０を用いて更に詳しく説明する。この範囲
からテンプレートがずれた場合には、その車両は挙動検
知の対象としない。そこで、ステップＳ８で減算用のパ
ラメータとして準備されたｅをインクリメントする。一
方、マッチングが車両検知領域内で行われた場合には、
最もマッチしたときのテンプレートを後処理等のために
出力する（ステップＳ７）。その後、ステップＳ９でパ
ラメータｉをインクリメントして、次の車両の処理に進
む（ステップＳ１０）。ステップＳ２〜ステップＳ１０
を車両分だけ繰り返し、その処理が終了すると、ステッ
プＳ１１において、車両検知領域外に外れた車両数分だ
け全体の車両数を減少させて処理を終了する。

【００２６】なお、上記のテンプレートマッチング処理
は、予め画像中で定めた範囲についてのみ行うようにし
たり、あるいは同一車両に対する過去の複数の動きベク
トルから次の移動距離や方向を推定し、その範囲で行う
ようにするとよい。これによって、マッチング処理の演
算量と演算時間を最適化できる。過去の動きベクトルか
ら推定した範囲にテンプレートを動かすためには、例え
ばｉ番目の車両に対する過去の複数のベクトルをｍｖ
（ｉ，１），ｍｖ（ｉ，２），…，ｍｖ（ｉ，ｎ）とし
たとき、（１）式の基準ベクトルｍｖ（ｉ，０）を求め
る。 ｍｖ（ｉ，０）＝Σ _p=1 ⁿ （α（ｐ）×ｍｖ（ｉ，ｐ）） 但し：α（ｐ）＞０且つΣ _p=1 ⁿ α（ｐ）＝１ …（１） このｍｖ（ｉ，０）を中心に前後左右の適当な範囲をテ
ンプレートを動かす範囲とすればよい。

【００２７】また、テンプレートを上下に動かす場合
に、テンプレートを伸縮する方法としては、動かした大
きさに応じて適当な量の画素を間引いてテンプレートを
縮小したり、補間するようにして拡大すればよい。マッ
チング処理は現画像フレームとテンプレートとの間でテ
ンプレートを動かしながら画素の差分の絶対値平均を求
める。その絶対値平均が最小の場合に、マッチングが終
了したと判断すればよい。

【００２８】車両検知領域から外れているかどうかとい
う判断は、例えば画面の内側に一定の車両検知領域を設
定した場合に、車両検知領域の内側の画素の値は“１”
とし、車両検知領域の外側の画素の値を“０”とする判
定画像を生成する。そして、この判定画像と個別車両領
域マスク画像の対応する画素同士についてその論理積を
求める。このとき例えば黒画素の場合は“０”、白画素
の場合は“１”とする。こうすれば、論理積画像の各画
素の値が全て“０”であれば、この個別車両領域マスク
画像中の車両は車両検知領域を外れていることになる。
即ち、個別車両領域マスク画像中の図５に示す車両領域
２３が車両検知領域内部に存在する場合には、この部分
の画素が全て“１”となり、その他の画素は全て“０”
となる。一方、この車両領域が車両検知領域外に一部は
み出すと、この部分の画素の値は“０”となる。従っ
て、全てがはみ出した場合には全て“０”となり、車両
検知領域を外れていることが判断できる。これによっ
て、車両のごく一部しか画面中に現れていない場合に、
これをあえて動きベクトル処理の対象とすることによっ
て、誤検出を生じるのを防止できる。

【００２９】〈具体例１の効果〉以上説明したように、
具体例１の装置によれば、予め背景画像フレームと前画
像フレームを用いて２値化差分画像を得ると共に個別車
両領域マスク画像を利用して、車両毎に不要な雑音成分
を除いたテンプレートを生成して動きベクトル検出に使
用するので、個々の車両の動き検出を高い精度で誤りな
く検知できる。また、テンプレートによるマッチング処
理の際に、テンプレートの移動量に対応させてテンプレ
ートを拡大あるいは縮小するようにすれば、画像中で接
近するほど大きく撮影され遠ざかるほど小さく撮影され
る車両について、高い精度で動きベクトルの検出ができ
る。また、実際にカメラで撮影した画像よりも一回り小
さい、周辺部分を除外した車両検知領域を設定し、車両
検知領域を外れた車両については動きベクトルの検出を
行わないようにすれば、テンプレートマッチングによっ
て検出誤りを生じるような対象を除外し、信頼性の高い
挙動検知が可能となる。なお、本発明の装置は、具体例
１及び以下で説明するその他の具体例についても、車両
に限られず、カメラで撮影をすることができ、時間的に
変化する挙動を検知することの必要なあらゆる移動体に
対して実施することが可能である。

【００３０】〈具体例２〉図９に、具体例２の装置のブ
ロック図を示す。この装置は、具体例１の装置と比較し
た場合に、差分器６に対して、背景ブロック領域画像を
供給するための背景ブロック領域画像記憶部２９を接続
した点が異なる。その他の部分については、図１と全く
同様の構成であって、重複する説明を省略する。

【００３１】図１０には、背景ブロック領域の処理説明
図を示す。図１０（ａ）は、カメラによって撮影された
画面３０を示している。車両の進行方向は左側の矢印に
示されている。この道路は２車線で、いずれの車両も画
面下から画面上に向かって進行するものとする。この場
合に、図中、一点鎖線で示した領域を車両検知領域３３
に設定する。この車両検知領域３３は、先に説明したと
おり、この範囲にテンプレートがある場合に動きベクト
ルの検出を行おうとする制限領域である。従って、画面
の周囲の所定の幅だけ除外したものを車両検知領域３３
としている。一方、この例では、新たな車両が画面３０
に現れるのは、画面の下側からである。そこで、処理を
軽減するために、この具体例では背景ブロック領域３１
を新たに設定し、新たな車両の領域については、この背
景ブロック領域３１での差分によってテンプレートを作
成する。そして、その他の車両領域は、個別車両領域マ
スク画像を利用して後述するようにテンプレートを作成
する。

【００３２】（ｂ）には、車両の存在しない背景ブロッ
ク領域画像３１−１を示した。また、（ｃ）には、車両
の一部が存在する前画像フレームのブロック３１−２を
示した。更に、（ｄ）には、その後撮影した現画像フレ
ームのブロック３１−３を示した。背景ブロック領域画
像３１−１と前画像フレームのブロック３１−２とを使
用すれば、図１で説明した具体例１と同様にして２値化
差分画像を得ることができ、更に個別車両領域マスク画
像を得ることができる。

【００３３】この具体例２において、テンプレート作成
部８は図７のステップＳ５の切り出し動作とは異なる動
作を行う。即ち、テンプレート作成部８は、個別車両領
域マスク画像（ｉ）の車両領域が背景ブロック領域３１
外に存在する場合、そのままこの領域について前画像フ
レームからテンプレートを切り出す。また、個別車両領
域マスク画像（ｉ）の車両領域が背景ブロック領域３１
内に全てある場合、具体例１と同様に２値化差分画像の
ラベル領域と同じ領域について前画像フレームからテン
プレートを切り出す。

【００３４】これに対し、個別車両領域マスク画像
（ｉ）の車両領域の一部が背景ブロック領域３１内に含
まれている場合、背景ブロック領域３１の部分のテンプ
レートを、２値化差分画像の重なったラベル領域から切
り出し、それ以外の部分を個別車両領域マスク画像
（ｉ）の車両領域から切り出し、両切り出したテンプレ
ートをつなぎ合わせて動きベクトル検出部９に供給する
テンプレートとする。動きベクトルの検出動作自体は、
具体例１と全く同様のため、重複する動作説明は省略す
る。

【００３５】〈具体例２の効果〉以上により、初めて画
面に現れる車両に対して、画像の一部分に限定して背景
ブロック領域３１を設定し、これを用いて部分的な個別
車両領域マスク画像等の生成処理をすれば、演算処理量
が大幅に減少する効果がある。また、上記の例のよう
に、車両が大きく写る部分に限定して処理をすると、更
に検出精度の向上が期待できる。しかも、いずれの場合
にも、処理データ量を少なくして演算速度を向上させた
りする効果がある。

【００３６】背景ブロック領域はこの他に、各種の領域
に設定できる。図１１と図１２に、背景ブロック領域の
例説明図を示す。例えば、図１１のように道路が上りと
下りとある場合、画面の下側部分と上側部分とにハッチ
ングを付したような背景ブロック領域３１を設定してい
る。このように車両が画面から現れるような部分におい
て背景ブロック領域３１を設定することによって、新た
に進入した車両を上下線共に抽出できる。また、図１２
に示す例では、車両の移動を車両の側面から撮影する画
像を用いて検出している。この場合には、画像の左端と
右端とに背景ブロック領域３１を設ける。これによっ
て、同様の効果を得ることができる。

【００３７】〈具体例３〉図１３には、具体例３の装置
のブロック図を示す。この装置は、図１に示した装置に
新たに背景画像フレーム作成部４０を追加したものであ
る。その他の部分については、図１に示したものと全く
同様である。背景画像フレーム作成部４０は、前画像フ
レーム記憶部４から前画像フレームを受け入れ、２値化
部７から出力される２値化差分画像を受け入れて背景画
像フレームを更新処理する部分である。

【００３８】図１４に、背景画像フレーム作成部のブロ
ック図を示す。ここには、２個の背景画像フレーム記憶
部４１，５を設けている。これまで使用してきた背景画
像フレームは背景画像フレーム記憶部５に格納してあ
る。一方、新たに撮影した前画像フレームを背景画像フ
レーム記憶部４１に一時記憶する。更に、２値化差分画
像記憶部４３に、図１３に示す２値化部７の出力を記憶
する。

【００３９】この回路において、これまで使用していた
背景画像フレームと前画像フレームとは差分器６と２値
化部７により処理され、２値化差分画像が得られる。そ
の２値化差分画像を２値化差分画像記憶部４３に格納
し、その内容が例えばオールゼロの場合は“０”、一部
に“１”を含む場合は“１”を選択スイッチ部４４に供
給する。このようにすれば、前画像フレームの内容と背
景画像フレームの内容とが一致しない場合に、新たに背
景画像フレーム記憶部に格納した前画像フレームの内容
を選択スイッチ部４４から出力するようになる。これに
よって、新たに撮影された前画像フレームが背景画像フ
レームとして、背景画像フレーム記憶部５に再格納され
る。

【００４０】なお、前画像フレーム中に車両が全くいな
い場合にはこの処理でよいが車両がいる場合には、その
車両の画像以外の部分だけ背景画像を書き換えればよ
い。一部分だけ書き換える際、どの部分を書き換えるか
は、２値化差分画像を利用すればよい。

【００４１】〈具体例３の効果〉以上のように、背景が
時間の経過とともに変化するような場合であっても、背
景画像フレーム記憶部の内容の全部又は一部をその都度
更新するので、車両の動きベクトル検出精度をより高く
することができる。これは、天候やその他の自然現象に
よって道路の映像が変化するような場合においても、車
両の検出を正確に行うために有効に機能する。

【００４２】〈具体例４〉図１５には、具体例４の装置
のブロック図を示す。この装置は、図１３に示した具体
例３の装置の背景画像フレーム作成部４０及び背景画像
フレーム記憶部５を、背景ブロック領域画像作成部４５
と背景ブロック領域画像記憶部２９に置き換えたもので
ある。その他の部分については、具体例３の装置と同一
である。この背景ブロック領域画像作成部４５は、図１
４に示した具体例３の背景画像フレーム作成部４０と同
様の機能を有する。

【００４３】図１６には、背景ブロック領域画像作成部
のブロック図を示した。この図に示すように、背景ブロ
ック領域画像作成部４５は、背景ブロック領域画像記憶
部４６と、選択スイッチ部４９と、２値化差分画像記憶
部４８とから構成されている。この構成によって、具体
例３と同様に、背景ブロック領域部分の状態が時間と共
に変化するような場合に、その内容を更新できる。即
ち、これまでの背景ブロック領域画像を背景ブロック領
域画像記憶部２９に記憶しておく一方、新たな画像を前
画像フレームから背景ブロック領域画像記憶部４６に取
り入れ、２値化部７の出力する２値化差分画像を２値化
差分画像記憶部４８に取り入れて、その内容に従って選
択スイッチ部４９を動作させる。これによって、これま
での背景ブロック領域の内容と新たに撮影した背景ブロ
ック領域とが異なる場合には、背景ブロック領域画像記
憶部２９に記憶された内容を更新する。もちろん、一部
の書き換えも可能である。

【００４４】〈具体例４の効果〉具体例３と同様に、背
景が時間の経過と共に変化する場合、背景ブロック画像
をその都度更新し、高い精度で車両の動きベクトル検出
が可能となる。

【００４５】〈具体例５〉以上の具体例におけるテンプ
レート作成部は、２値化差分画像中の分割された車両領
域と、個別車両領域マスク画像の車両領域とが一部重な
った部分について、２値化差分画像中の車両領域を切り
出してテンプレートを作成している。本具体例５では、
更に精度の高いテンプレートを作成するために、２値化
差分画像中の車両領域を、個別車両領域マスク画像の車
両領域で補正する方式を説明する。

【００４６】図１７は、２値化差分画像中の、ある車両
領域を補正する方式の説明図である。この処理は、例え
ばこの図に示すような手順で行われる。図１に示した車
両領域マスク画像作成部１０から出力されるこれまでの
個別車両領域マスク画像の車両領域５１を図１７におい
て実線の円で示す。また、この車両領域５１に重なった
２値化差分画像の車両領域５２をハッチングを付した円
で示す。この場合に、両者を重ねたとき、両者の輪郭線
を内分する内分線５３を求める。内分点は対応する点の
中央とすればよい。これは、図中破線で示した。この内
分線５３に該当する円を、補正された個別車両領域マス
ク画像の車両領域５４として新たなテンプレート切り出
しに使用する。

【００４７】図１７の例１では、個別車両領域マスク画
像の車両領域５１が２値化差分画像の車両領域５２より
も広くなっている。例２ではこれと逆の関係になってい
る。いずれの場合にも内分線５３を求めて、適切な大き
さの新たな補正された個別車両領域マスク画像の車両領
域５４を得る。例３の場合には、個別車両領域マスク画
像の車両領域５１と２値化差分画像の車両領域５２の位
置がシフトしている。このような場合にも輪郭線の対応
する点の中間点をプロットして結び、内分線５３を得
る。この内分線５３は車両領域５１と５２を等間隔
（１：１）に内分するものに限定されない。その他、こ
れら車両領域５１，５２を任意の整数Ａ，Ｂで内分する
ようにしてもよい。

【００４８】〈具体例５の効果〉こうして、より正確に
移動体のテンプレートを前画像フレームから切り出すこ
とができる。なお、上記いずれの実施例においても、既
に説明したように、挙動検知の対象は車両に限定され
ず、人や動物、その他の移動体全てに適用できる。ま
た、車両の進行方向は一方のみとしたが、センターライ
ンを挟んで相互通行しているような路面をカメラで撮影
し、各種の方向へ移動する車両の挙動検知も同様の方法
で可能となる。また、具体例３や具体例４の選択スイッ
チ部４４や選択スイッチ部４９を動作させる信号は、差
分出力画像の平均値やあるいはαを０と１の間の実数と
した場合の加重加算値αａ＋（１−α）ｂとしてもよ
い。但し、画素値を（ａ，ｂ）とする。

【図面の簡単な説明】

【図１】本発明の移動体挙動検知装置ブロック図であ
る。

【図２】（ａ）は現画像フレーム、（ｂ）は前画像フレ
ーム、（ｃ）は背景画像フレームである。

【図３】差分器の出力説明図である。

【図４】２値化部の出力説明図である。

【図５】個別車両領域マスク画像の説明図である。

【図６】テンプレート作成部の動作フローチャート（そ
の１）である。

【図７】テンプレート作成部の動作フローチャート（そ
の２）である。

【図８】動きベクトル検出部の動作フローチャートであ
る。

【図９】具体例２の装置のブロック図である。

【図１０】背景ブロック領域の処理説明図である。

【図１１】背景ブロック領域の例説明図（その１）であ
る。

【図１２】背景ブロック領域の例説明図（その２）であ
る。

【図１３】具体例３の装置のブロック図である。

【図１４】背景画像フレーム作成部のブロック図であ
る。

【図１５】具体例４の装置のブロック図である。

【図１６】背景ブロック領域画像作成部のブロック図で
ある。

【図１７】個別車両領域マスク画像の補正の説明図であ
る。

【符号の説明】

１ カメラ ３ 現画像フレーム記憶部 ４ 前画像フレーム記憶部 ５ 背景画像フレーム記憶部 ６ 差分器 ７ ２値化部 ８ テンプレート作成部 ９ 動きベクトル検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 浩司 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 移動体を撮影するカメラと、 移動体と共にその背景を撮影した現画像フレームと、現
   画像フレームの撮影直前に移動体と共にその背景を撮影
   した前画像フレームと、背景を撮影した背景画像フレー
   ムとを保持する記憶部と、 前記背景画像フレームと前画像フレームとの差分を２値
   化して２値化差分画像を得る２値化部と、 前画像フレームと２値化差分画像により、各移動体の画
   像を含む小領域の画像から成るテンプレートを得るテン
   プレート作成部と、 このテンプレートと現画像フレームとのマッチングによ
   り、各移動体の動きベクトルを検出する動きベクトル検
   出部と、 動きベクトルを検出したときのテンプレートの輪郭か
   ら、現画像フレーム中の各移動体の画像以外の部分をマ
   スクするためのマスク画像を得るマスク画像作成部とを
   備え、 前記テンプレート作成部は、前記マスク画像作成部から
   受け入れたマスク画像により、２値化差分画像の不要部
   分をマスクして、各移動体のテンプレートを得ることを
   特徴とする移動体挙動検知装置。
2. 【請求項２】 請求項１において、 画像内に移動体が進入する一部分に背景ブロック領域を
   設定し、 ２値化部は、前画像フレームと背景ブロック領域の画像
   により２値化差分画像を作成し、 前記テンプレート作成部は、前記マスク画像で前記２値
   化差分画像の不要部分をマスクして、各移動体のテンプ
   レートを作成することを特徴とする移動体挙動検知装
   置。
3. 【請求項３】 請求項１または２において、 動きベクトル検出部は、現画像フレームに、その周辺部
   分を除外した所定の検知領域を設定し、この検知領域内
   でのみ、テンプレートを用いたマッチングを行うことを
   特徴とする移動体挙動検知装置。
4. 【請求項４】 請求項１または２において、 動きベクトル検出部は、移動体の移動方向にテンプレー
   トを移動する場合に、テンプレートを伸縮しながらマッ
   チングを行うことを特徴とする移動体挙動検知装置。
5. 【請求項５】 請求項１において、 既に記憶した背景画像フレームと、移動体のいない前画
   像フレームとに差分を生じたとき、 記憶部は、既に記憶した背景画像フレームと移動体のい
   ない前画像フレームとを交換することを特徴とする移動
   体挙動検知装置。
6. 【請求項６】 請求項２において、 既に記憶した背景ブロック領域の画像と、移動体のいな
   い前画像フレームの該当部分とに差分を生じたとき、 記憶部は、既に記憶した背景ブロック領域の画像と移動
   体のいない前画像フレームの該当部分とを交換すること
   を特徴とする移動体挙動検知装置。
7. 【請求項７】 請求項５または６において、 ２値化差分画像を利用して、前画像フレーム中の移動体
   の無い背景部分の画像を抽出して、交換の対象となる前
   画像フレームを得る背景画像領域作成部を備えたことを
   特徴とする移動体挙動検知装置。
8. 【請求項８】 請求項１または２において、 テンプレート作成部が、２値化差分画像と、既に作成さ
   れて記憶されたマスク画像とを用いて、テンプレートを
   作成する場合に、 ２値化差分画像の移動体を含む領域とマスク画像の移動
   体を含む領域の間の内分線を、テンプレートの輪郭に選
   定することを特徴とする移動体挙動検知装置。