JPH09114977A - 画像処理方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 照明強度の変化や対象物の種類にかかわら
ず、対象物を正しく抽出する。 【解決手段】 テレビカメラ１１を観測位置に向けて配
備し、観測位置に現れる移動体を抽出する。背景画像メ
モリ２には、あらかじめ観測位置に移動体が存在しない
状態を撮像して得た画像データが格納されており、抽出
処理時の画像データは局所相関回路３へと入力される。
局所相関回路３は、入力される画像データおよび背景画
像メモリ２内の背景画像データの双方に５×５の局所領
域を設定して走査し、各走査位置における画像データを
用いた正規化相関演算を実行する。２値化回路４は、算
出された相関値を所定のしきい値で２値化し、図示しな
い制御部などへ出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、テレビカメラを所定
の観測位置に向けて撮像を行い、得られた画像から特定
の対象物を抽出する画像処理方法およびその装置に関す
る。

【０００２】

【従来の技術】特定の観測位置に向けてテレビカメラを
設置し、このテレビカメラからの入力画像を用いて移動
体などの対象物を抽出する方法として、従来、観測対象
となる入力画像とあらかじめ前記観測位置に対象物が存
在しない状態を撮像して得られた背景画像との濃度差分
値を用いる方法（以下「背景差分法」という）や、観測
対象となる入力画像と１段階前に得られた入力画像との
濃度差分値を用いる方法（以下「時間差分法」という）
などが、提案されている。

【０００３】図８は、上記背景差分法が導入された画像
処理装置の構成例を示すもので、スイッチ３１，背景画
像メモリ３２，差分回路３３，２値化回路３４などから
構成されている。スイッチ３１は、テレビカメラ（図示
せず）から得られた濃淡画像データ（以下単に「画像デ
ータ」という）の出力先を切り換えるためのもので、抽
出処理に先立ちテレビカメラにより観測位置に対象物が
存在しない状態が撮像されるとき、図示しない制御部に
よる制御を受けてオン動作する。これによりテレビカメ
ラからの画像データは、背景画像データ（図１０に一例
を示す）として背景画像メモリ３２に格納されるもの
で、この後スイッチ３１はオフに切り換えられる。

【０００４】スイッチ３１がオフ動作することにより、
以後の画像データは差分回路３３へと入力される。この
差分回路３３は、入力された画像データと前記背景画像
メモリ３２内の背景画像データとの濃度差分値を算出す
るためのもので、両画像データ間の対応する画素毎に濃
度差分の絶対値を算出し、その算出結果を２値化回路３
４へと出力する。２値化回路３４は、入力された各絶対
値を所定のしきい値で２値化し、その結果を各画素毎に
出力する。

【０００５】図１１は、観測位置に対象物（図示例では
人物）が現れた段階で得られた入力画像を、図１２は、
この入力画像について前記図１０の背景画像との差分処
理および２値化回路３４による２値化処理を行った後の
画像（以下「抽出画像」という）を、それぞれ示すもの
で、抽出画像では、対象物の画像Ａに相当する画素群Ａ
´のみが黒画素として表されている。

【０００６】図９は、時間差分法が導入された画像処理
装置の構成例を示すもので、上記と同様の差分回路３
３，２値化回路３４のほかに、フレームバッファ３５な
どを構成として含んでいる。

【０００７】テレビカメラからの画像データは、前記差
分回路３３およびフレームバッファ３５に同時に入力さ
れるもので、差分回路３３は、現時点で入力された画像
データとフレームバッファ３５により１フレーム分遅延
された入力画像データとの濃度差分値の算出処理を行
う。この処理は、前記図８と同様、両画像データ間の対
応する画素毎に濃度差分の絶対値を算出するもので、２
値化回路３４は各画素毎の絶対値を２値化処理し、その
結果を画素毎に出力することにより抽出画像を生成す
る。

【０００８】

【発明が解決しようとする課題】しかしながら、図８の
「背景差分法」を用いた画像処理装置の場合、背景画像
の撮像時と処理対象の画像の撮像時とで、撮像領域を照
らす照明強度に大きな変化があると、処理対象の画像中
の対象物以外の部分と、背景画像データの対応部分との
濃度差が大きくなり、図１３に示すような誤抽出結果を
招くという問題がある。

【０００９】このような照明強度の変化による誤抽出を
防ぐため、前記２値化回路３４に設定するしきい値を高
くすることも考えられるが、この場合、図１４に示すよ
うに対象物に相当する部分まで抽出されなくなる虞があ
る。

【００１０】また、照明強度の変化による誤抽出を防ぐ
他の方法として、背景画像メモリの内容を所定時間毎に
更新して、撮像領域の環境の変化に対応させることも提
案されている。しかしながらこの方法では、背景画像の
更新速度を遅くすると、照明強度の急激な変化に対応し
きれなくなり、図１３と同様の結果を招く。逆に、背景
画像の更新速度を速くすると、動きの遅い移動体を抽出
できなくなるという問題が生じる。

【００１１】次に、図９の「時間差分法」を用いる場
合、対象物が動きの遅い移動体であると、１フレーム前
の画像データとの間にしきい値を越える濃度差分が生じ
ず、対象物が移動する様子を抽出できなくなる。また、
この方法でも、照明強度の急激な変化に対応することは
不可能である。

【００１２】この発明は、上記問題点に着目してなされ
たもので、照明強度の変化や対象物の種類にかかわら
ず、対象物を正しく抽出することができる画像処理方法
およびその装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】請求項１の発明は、テレ
ビカメラを所定の観測位置に向けて撮像を行い、得られ
た画像データを入力してその入力画像から特定の対象物
を抽出する画像処理方法であって、前記観測位置に対象
物の存在しない背景画像をあらかじめ記憶しておき、入
力画像上の所定の領域内の画像データとこの画像データ
に対応する背景画像上の画像データとの正規化相関演算
を行った後、その演算結果を用いて入力画像上の前記領
域内に対象物に該当する画像データが存在するか否かを
判別することを特徴とする。

【００１４】請求項２の発明は、テレビカメラを所定の
観測位置に向けて撮像を行い、得られた画像データを入
力してその入力画像から特定の対象物を抽出する画像処
理装置であって、前記観測位置に対象物の存在しない背
景画像データを記憶する背景画像記憶手段と、前記入力
画像上の所定の領域内の画像データとこの画像データに
対応する背景画像上の画像データとを抽出する画像デー
タ抽出手段と、前記画像データ抽出手段により抽出され
た両画像データにつき正規化相関演算を実行する演算手
段と、前記演算手段により算出された相関値により入力
画像上の前記領域内に対象物に該当する画像データが存
在するか否かを判別する判別手段とを備えて成る。

【００１５】請求項３の発明では、前記画像データ抽出
手段は、入力画像上に所定の大きさの局所領域を設定し
て走査し、各走査位置毎に局所領域内の入力画像データ
とこの画像データに対応する背景画像上の画像データと
を順次抽出する。

【００１６】請求項４の発明は、テレビカメラを所定の
観測位置に向けて撮像を行い、得られた画像データを入
力してその入力画像から特定の対象物を抽出する画像処
理装置であって、前記観測位置に対象物の存在しない背
景画像データを記憶する背景画像記憶手段と、前記入力
画像から複数個の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された各特徴点につい
て、それぞれ特徴点を含む所定の局所領域内の画像デー
タとこの画像データに対応する背景画像上の画像データ
とを抽出する画像データ抽出手段と、各特徴点毎に前記
画像データ抽出手段により抽出された両画像データにつ
き正規化相関演算を実行する演算手段と、前記演算手段
により算出された各相関値を用いて対象物に該当する特
徴点を特定して対象物を判別する判別手段とを備えて成
る。

【００１７】請求項５の発明では、前記特徴点抽出手段
は、入力画像中のエッジを構成する画素を特徴点として
抽出する。

【００１８】請求項６の発明は、複数台のテレビカメラ
を所定の観測位置に向けてそれぞれ撮像を行い、得られ
た各テレビカメラの画像データを同時に入力して対象物
の認識処理を行う画像処理装置であって、各テレビカメ
ラ毎に前記観測位置に対象物の存在しない背景画像デー
タを記憶する背景画像記憶手段と、各テレビカメラから
の入力画像につき、それぞれ複数個の特徴点を抽出する
特徴点抽出手段と、前記特徴点抽出手段により抽出され
た各入力画像毎の各特徴点について、それぞれ特徴点を
含む所定の局所領域内の画像データとこの画像データに
対応する背景画像上の画像データとを抽出する画像デー
タ抽出手段と、各特徴点毎に前記画像データ抽出手段に
より抽出された両画像データ間の正規化相関演算を実行
する演算手段と、前記演算手段により算出された各相関
値を用いて各入力画像毎に対象物に該当する特徴点を特
定する特定手段と、前記特定手段により特定された特徴
点について、各入力画像間での対応付けを行う対応付け
手段と、前記対応付け手段により対応付けられた各特徴
点について３次元計測を行って、各特徴点の３次元座標
を抽出する座標抽出手段と、前記座標抽出手段により抽
出された各特徴点の３次元座標を用いて対象物の３次元
的形状を判別する判別手段とを備えて成る。

【００１９】

【作用】請求項１および２の発明では、入力画像、背景
画像それぞれの対応する領域内の画像データについて、
正規化相関演算を行った結果を用いて対象物の判別処理
を行う。正規化相関演算は、照明変動があってもその影
響を受けないため、演算結果は領域内に対象物が存在す
るか否かを反映したものとなる。

【００２０】請求項３の発明では、入力画像全体に局所
領域が走査され、各走査位置毎に上記の処理が行われ
る。

【００２１】請求項４の発明では、入力画像から複数個
の特徴点を抽出し、各特徴点についてそれぞれ特徴点を
含む所定の局所領域内の画像データとこれに対応する背
景画像データとを抽出して正規化相関演算を実行し、そ
の結果を用いて対象物に該当する特徴点を特定する。

【００２２】請求項５の発明では、入力画像中のエッジ
を構成する画素を特徴点として抽出することにより、対
象物の輪郭部分を抽出する。

【００２３】請求項６の発明では、複数台のテレビカメ
ラにより得られた入力画像について、それぞれ請求項４
と同様の処理を行った後、各入力画像間で対象物に該当
する点として特定された特徴点の対応付けを行って、そ
の対応付けの結果を用いて各特徴点の３次元座標を抽出
し、さらに、その抽出結果により対象物の３次元的形状
を判別する。

【００２４】

【発明の実施の形態】請求項１〜３の発明を実施するた
めの構成例として図１〜３の画像処理装置を、また請求
項４，５を実施するための構成例として図４の画像処理
装置を、さらに請求項６を実施するための構成例として
図５の画像処理装置を、それぞれあげ、以下に各画像処
理装置についての詳細な説明を展開する。

【００２５】

【実施例】図１は、この発明の第１実施例にかかる画像
処理装置の構成を示す。この画像処理装置は、テレビカ
メラ１１（以下、単に「カメラ１１」という）を所定の
観測位置に向けて撮像を行うことにより得られた濃淡画
像データ（以下「対象画像データ」という）と、予め観
測位置に抽出対象物が存在しない状態を撮像して得られ
た背景画像データとを用いて、観測対象位置に人間など
動きのある対象物（以下「移動体」という）が現れるか
否かを認識するためのもので、スイッチ１、背景画像メ
モリ２、局所相関回路３、および２値化回路４などを構
成として含んでいる。

【００２６】スイッチ１は、図示しない制御部によって
ＯＮ／ＯＦＦの切換えが行われるもので、前記した図８
と同様、抽出処理に先立つ背景画像データの取込み時に
オン動作して、背景画像メモリ２への背景画像データの
格納が行われる。この後、スイッチ１はオフに切り換え
られ、対象画像データが局所相関回路３へと入力され
る。

【００２７】局所相関回路３は、カメラ１１から得た対
象画像データおよび背景画像メモリ２内の背景画像デー
タに、それぞれ所定の大きさの局所領域を設定して走査
し、各走査位置毎に両画像データ間の正規化相関演算を
実行するためのもので、各走査位置で算出された相関値
Ｒは順次２値化回路４へと入力される。２値化回路４
は、入力された相関値Ｒを所定のしきい値に基づき２値
化処理するためのもので、図示しない制御部は、この処
理結果を用いて対象画像データ内に対象物に相当するデ
ータが存在するか否かなどを判別する。

【００２８】この実施例における局所相関回路３は、図
２に示すように、カメラから入力された対象画像データ
Ｇ_I と、背景画像メモリ２から入力された背景画像デー
タＧ_M に対し、それぞれ縦横５画素ずつの局所領域
Ｒ_I ，Ｒ_M を設定し、この局所領域Ｒ_I ，Ｒ_M を各画像
データＧ_I ，Ｇ_M の左上から水平方向に同タイミングで
走査させると共に、各走査位置における局所領域Ｒ_I ，
Ｒ_M 内の画像データを用いて、両局所領域間の正規化相
互相関演算を実行する。

【００２９】図３は、前記局所相関回路３の詳細な構成
を示すもので、対象画像走査部５，背景画像走査部６，
正規化相関演算部７などを含んでいる。前記対象画像走
査部５および背景画像走査部６は、それぞれ４個のライ
ンバッッファＬＢと４行×５列に配列された２０個のフ
リップフロップＦＦとにより構成されており、対象画像
走査部５の各行，各列からは前記局所領域Ｒ_I 内の各画
素の濃度データＩ₀ 〜Ｉ₂₄が、背景画像走査部６の各
行，各列からは前記局所領域Ｒ_M 内の各画素の濃度デー
タＭ₀ 〜Ｍ₂₄が、それぞれ抽出される。これら抽出され
た各濃度データは正規化相関演算部７に入力され、つぎ
の（１）式に基づく演算を実行することにより、両局所
領域Ｒ_I ，Ｒ_M 間の相関値Ｒが求められる。なお次式に
おいて、ｎは２５である。

【００３０】

【数１】

【００３１】前記した図１１の対象画像データを、上記
の画像処理装置に入力して図１０の背景画像データとの
照合を行った場合、対象画像データ内の背景に相当する
部分における相関値Ｒは高くなるが、移動体（人物）の
画像Ａの部分における相関値Ｒは低くなり、２値化回路
４による処理結果として、対象物に相当する画素のみが
黒画素に変換された抽出画像データ（図１２に示す）が
得られる。正規化相関演算は照明の変動に影響されるこ
となく常に安定した結果が得られるので、たとえ対象画
像データの入力時の照明が背景画像データの入力時から
大きく変動していても、対象物の画像のみを正確に抽出
することができる。

【００３２】なお上記の実施例では、対象画像データの
全画素を処理対象として背景画像データとのマッチング
処理を行っているが、これに限らず、まず入力された対
象画像データからエッジ構成点などの特徴点を抽出し、
この抽出された特徴点を含む局所領域について背景画像
とのマッチング処理を行なうようにしてもよい。

【００３３】図４は、この第２の方法を実現するための
装置構成例を示すもので、ＣＰＵ１７を制御主体とし、
スイッチ１２，エッジ抽出部１３，エッジ画像メモリ１
４，背景画像メモリ１５，画像メモリ１６，エッジ座標
メモリ１８，特徴点座標メモリ１９などを構成として含
んでいる。

【００３４】スイッチ１２は、ＣＰＵ１７を主体とする
制御部による制御をうけて、背景画像メモリ１５，画像
メモリ１６のいずれかに接続を切り換えるもので、これ
により背景画像メモリ１５には背景画像データが、画像
メモリ１６には対象画像データがそれぞれ格納される。

【００３５】エッジ抽出部１３は、カメラからの対象画
像データを入力して画像中のエッジ成分を抽出し、エッ
ジ構成点のみが黒画素で表されるエッジ画像を生成する
ためのもので、生成されたエッジ画像はエッジ画像メモ
リ１４内に格納され、さらにこのエッジ画像中のエッジ
構成点の座標がエッジ座標メモリ１８に格納される。

【００３６】この実施例では、前記第１の実施例の正規
化相関演算部７や２値化回路４の機能を実現するための
プログラムを図示しないＲＯＭなどに格納しており、Ｃ
ＰＵ１７は、前記エッジ座標メモリ１８を参照して、前
記画像メモリ１６内の対象画像データおよび背景画像メ
モリ１５内の背景画像データに対し、各エッジ構成点に
対応する画素を中心とする５×５の局所領域を順次設定
し、両局所領域内の画像データについて前記プログラム
に基づく正規化相関演算処理と２値化処理とを行ってい
る。さらにＣＰＵ１７は、各エッジ構成点毎に求められ
た相関値Ｒを所定のしきい値と比較し、相関値Ｒがしき
い値を下回る結果を得たエッジ構成点のみを前記移動体
の輪郭を構成する特徴点（以下「移動体特徴点」とい
う）であると判別し、その座標を前記特徴点座標メモリ
１９内に格納して移動体の認識処理などに使用する。

【００３７】図５は、この発明の第３実施例にかかる画
像処理装置を示す。この画像処理装置は、２台のカメラ
１１ａ，１１ｂからの画像データを取り込んで、観測位
置における移動体の３次元形状を認識できるもので、第
２実施例の構成を２組合わせた構成のほか、モデルメモ
リ２０および３次元座標メモリ２１を具備している。な
お図中、第２実施例と共通する構成のうち、ＣＰＵ１７
およびエッジ座標メモリ１８は、カメラ１１ａおよびカ
メラ１１ｂからの両画像データの処理に共通して使用さ
れるが、その他の構成は、各カメラ１１ａ，１１ｂ毎に
設けられている。

【００３８】よって、図中、第２実施例と共通する各構
成には同様の符号を付与し、カメラ１１ａからの画像デ
ータの処理に係る構成には符号の末尾にａを、カメラ１
１ｂからの画像データの処理に係る構成には符号の末尾
にｂを付加することで、その説明を省略する。なお、前
記カメラ１１ａ，１１ｂは、ともに観測位置に向けて固
定配備されると共に、各光軸が互いに平行になるように
位置調整がなされている。

【００３９】３次元座標メモリ２１は、後述する移動体
特徴点の対応付け処理および３次元計測処理により求め
られた各移動体特徴点の３次元座標を記憶するためのも
ので、モデルメモリ２０には、この画像処理装置が認識
対象とする移動体についての複数種の３次元モデルが格
納されている。ＣＰＵ１７は、３次元座標メモリ２１内
の各特徴点により特定される物体の形状をモデルメモリ
２０内の各３次元モデルと照合し、その照合結果により
観測対象における移動体の種別などを認識する。

【００４０】図６は、前記第２実施例の画像処理装置の
処理手順を示す。まずステップ１（図中「ＳＴ１」で示
す）でカメラ１１からの背景画像データが背景画像メモ
リ１５内に格納されると、前記スイッチ１２の切換えが
なされ、以後の対象画像データは画像メモリ１６へと導
かれる（ステップ２）。

【００４１】この対象画像データは、同時にエッジ抽出
部１３にも与えられており、前記したエッジ構成点の抽
出がなされてエッジ画像が生成される。図１５は、前記
図１１の対象画像データについて生成されたエッジ画像
を示すもので、人物の画像Ａの輪郭部分や背景に置かれ
た物体の輪郭部分が抽出されている。

【００４２】１フレーム分の対象画像データが画像メモ
リ１６内に格納され、また同時にこの画像データに対応
するエッジ画像データがエッジ画像メモリ１４に格納さ
れると、ＣＰＵ１７は、つぎのステップ３で、このエッ
ジ画像中の各エッジ構成点の座標を抽出し、これをエッ
ジ座標メモリ１８へと格納する。

【００４３】つぎのステップ４でＣＰＵ１７は、前記画
像メモリ１６および背景画像メモリ１５に対し、前記エ
ッジ座標メモリ１８内に格納された所定の座標データに
ついて、それぞれこの座標データにより特定される画素
を中心とする５×５の局所領域内の画像データを抽出し
た後、続くステップ５で、抽出された両画像データにつ
いて前記（１）式を実行することにより、両局所領域間
の正規化相関演算を実行する。

【００４４】つぎにＣＰＵ１７は、前記ステップ５で算
出された相関値Ｒを所定のしきい値Ｔｈと比較し、この
相関値Ｒがしきい値Ｔｈを下回るとき、処理対象のエッ
ジ構成点は移動体特徴点であると判断してその座標を前
記特徴点メモリ１９内に格納する（ステップ７）。

【００４５】上記ステップ４〜７の処理は、前記エッジ
座標メモリ１８内に座標データが格納されるすべてのエ
ッジ構成点について行われるもので、この処理が終了す
るとステップ８の判定が「ＹＥＳ」となってステップ９
へと移行する。

【００４６】ステップ９で、ＣＰＵ１７は、前記特徴点
座標メモリ１９に格納された各座標データから観測対象
位置に対象となる移動体が存在するか否かなどを認識す
る。図１６は、前記図１５のエッジ画像について相関演
算処理と２値化処理とを行った結果を示す。図示例の場
合、人物の画像部分の各エッジ構成点上に設定された局
所領域における相関値は低くなるが、他のエッジ構成点
上に設定された局所領域における相関値は高くなり、結
果として、人物の画像Ａの輪郭部分が抽出されることに
なる。ＣＰＵ１７は、この抽出結果により観測対象位置
に移動体が存在するものと認識し、その認識結果を図示
しないＲＡＭなどに格納する。

【００４７】上記の処理は、１フレーム分の対象画像デ
ータの入力毎に行われるもので、ＣＰＵ１７は、各画像
入力時における認識結果の時間的な推移から移動体の動
きや移動方向などを認識する。

【００４８】図７は、前記第３実施例にかかる画像処理
装置の処理手順を示す。ステップ１〜３までの処理は、
カメラ１１ａからの画像データおよびカメラ１１ｂから
の画像データについて、それぞれ並行して行われてお
り、ステップ１で、各カメラ１１ａ，１１ｂからの背景
画像データがそれぞれ背景画像メモリ１５ａ，１５ｂに
格納された後、続くステップ２で各スイッチ１２ａ，１
２ｂが切り換えられ、画像メモリ１６ａ，１６ｂへの対
象画像データの入力が行われる。

【００４９】つぎのステップ３は、各対象画像データ毎
に前記図６のステップ３〜ステップ８と同様の処理を行
うもので、その結果、各対象画像データ内で移動体特徴
点として判別されたエッジ構成点の座標のみが特徴点座
標メモリ１９ａ，１９ｂに格納される。

【００５０】つぎにＣＰＵ１７は、第１，第２の各対象
画像データ間で抽出された移動体特徴点を一対一に対応
づける処理を実行する（ステップ４）。この処理は、例
えば、第１のカメラ１１ａからの対象画像データの所定
の移動体特徴点（説明の都合上Ｐi とする）に着目し、
第２の対象画像データ内で前記移動体特徴点Ｐi と同一
のエピポーラライン上に位置する複数個の移動体特徴点
（説明の都合上ｑ1 ，ｑ2 ・・・とする）を抽出した
後、各点およびその近傍の数画素分の濃度データをテン
プレートマッチングするなどすることにより移動体特徴
点Ｐi に最も類似度の高い移動体特徴点ｑi を対応点と
して決定するものである。

【００５１】上記の対応付け処理が完了すると、ＣＰＵ
１７は、対応づけられた各移動体特徴点について３次元
計測の原理を適用し、各移動体特徴点の３次元座標を算
出して前記３次元座標メモリに格納する（ステップ
５）。

【００５２】すべての移動体特徴点についての３次元座
標が求められると、ＣＰＵ１７は、これら３次元座標に
より特定される物体の形状を前記モデルメモリ２０内の
各３次元モデルと照合し、抽出結果に最も近いモデルを
認識結果として採用する（ステップ６）。なおこの照合
処理としては、例えば、３次元モデル毎に、モデルの構
成点と３次元座標メモリ２１内の各移動体特徴点との間
で、対応する点毎に求めたユークリッド距離を平均し、
その平均値を相互に比較するなどの方法が用いられる。

【００５３】上記の処理は、第２実施例と同様、１フレ
ーム分の対象画像データが入力される毎に繰り返し行わ
れるもので、ＣＰＵ１７は、各画像入力時における認識
結果の推移に基づき、移動体の形状や移動方向などを認
識する。

【００５４】なお第２，第３の各実施例では、対象画像
の特徴点としてエッジ構成点を用いたが、これに限ら
ず、例えば画像内で濃度データが所定の範囲内にある画
素などを対象としてもよい。また第１実施例〜第３実施
例では、移動体を抽出対象としているが、抽出対象はこ
れに限らず、ある静止物体が観測位置から消えるなどの
事象を抽出対象としてもよい。

【００５５】

【発明の効果】請求項１および２の発明では、入力画
像、背景画像それぞれの対応する領域内の画像データに
ついて、正規化相関演算を行った結果を用いて対象物の
判別処理を行い、その演算結果を用いて観測位置に対象
物が存在するか否かを判別するので、照明変動や対象物
の動く速度などの影響を受けることなく、観測位置に対
象物が存在するか否かを正確に判別することができ、画
像処理の精度を向上させることができる。

【００５６】請求項３の発明では、入力画像全体に局所
領域を走査して、各走査位置における局所領域内の画像
データと対応する背景画像データとを抽出して上記の処
理を行うので、対象物の詳細な構成を抽出することがで
きる。

【００５７】請求項４の発明では、入力画像から複数個
の特徴点を抽出し、各特徴点についてそれぞれ特徴点を
含む所定の局所領域内の画像データとこれに対応する背
景画像データとを抽出して正規化相関演算を実行し、そ
の結果を用いて対象物に該当する特徴点を特定するの
で、対象物を高速で抽出することができる。

【００５８】請求項５の発明では、入力画像中のエッジ
を構成する画素を特徴点として抽出するので、対象物の
輪郭部分を正確に抽出することができる。

【００５９】請求項６の発明では、複数台のテレビカメ
ラにより得られた入力画像について、それぞれ請求項４
と同様の処理を行った後、各入力画像間で対象物に該当
する点として特定された特徴点の対応付けを行って、そ
の対応付けの結果を用いて各特徴点の３次元座標を抽出
し、さらに、その抽出結果により対象物の３次元的形状
を判別するよう構成したので、対象物の形状や向きを正
確に抽出することが可能である。

【図面の簡単な説明】

【図１】この発明の第１実施例にかかる画像処理装置の
構成を示すブロック図である。

【図２】対象画像と背景画像との照合方法を示す説明図
である。

【図３】局所相関回路の詳細な構成を示すブロック図で
ある。

【図４】この発明の第２実施例にかかる画像処理装置の
構成を示すブロック図である。

【図５】この発明の第３実施例にかかる画像処理装置の
構成を示すブロック図である。

【図６】第２実施例の画像処理装置の処理の流れを示す
フローチャートである。

【図７】第３実施例の画像処理装置の処理の流れを示す
フローチャートである。

【図８】従来の画像処理装置の構成例を示すブロック図
である。

【図９】従来の画像処理装置の他の構成例を示すブロッ
ク図である。

【図１０】背景画像の例を示す図である。

【図１１】対象画像の例を示す図である。

【図１２】抽出画像の一例を示す図である。

【図１３】抽出画像の一例を示す図である。

【図１４】抽出画像の一例を示す図である。

【図１５】図１１の対象画像をエッジ抽出処理して得ら
れるエッジ画像を示す図である。

【図１６】移動体特徴点の抽出例を示す図である。

【符号の説明】

２，１５，１５ａ，１５ｂ 背景画像メモリ ３ 局所相関回路 ４ ２値化回路 ７ 正規化相関演算回路 １１，１１ａ，１１ｂ カメラ １３，１３ａ，１３ｂ エッジ抽出部 Ｒ_I ，Ｒ_M 局所領域

Claims (6)

【特許請求の範囲】
1. 【請求項１】 テレビカメラを所定の観測位置に向けて
   撮像を行い、得られた画像データを入力してその入力画
   像から特定の対象物を抽出する画像処理方法であって、 前記観測位置に対象物の存在しない背景画像をあらかじ
   め記憶しておき、入力画像上の所定の領域内の画像デー
   タとこの画像データに対応する背景画像上の画像データ
   との正規化相関演算を行った後、その演算結果を用いて
   入力画像上の前記領域内に対象物に該当する画像データ
   が存在するか否かを判別することを特徴とする画像処理
   方法。
2. 【請求項２】 テレビカメラを所定の観測位置に向けて
   撮像を行い、得られた画像データを入力してその入力画
   像から特定の対象物を抽出する画像処理装置であって、 前記観測位置に対象物の存在しない背景画像データを記
   憶する背景画像記憶手段と、 前記入力画像上の所定の領域内の画像データとこの画像
   データに対応する背景画像上の画像データとを抽出する
   画像データ抽出手段と、 前記画像データ抽出手段により抽出された両画像データ
   につき正規化相関演算を実行する演算手段と、 前記演算手段により算出された相関値により入力画像上
   の前記領域内に対象物に該当する画像データが存在する
   か否かを判別する判別手段とを備えて成る画像処理装
   置。
3. 【請求項３】 前記画像データ抽出手段は、入力画像上
   に所定の大きさの局所領域を設定して走査し、各走査位
   置毎に局所領域内の入力画像データとこの画像データに
   対応する背景画像上の画像データとを順次抽出する手段
   である請求項２に記載された画像処理装置。
4. 【請求項４】 テレビカメラを所定の観測位置に向けて
   撮像を行い、得られた画像データを入力してその入力画
   像から特定の対象物を抽出する画像処理装置であって、 前記観測位置に対象物の存在しない背景画像データを記
   憶する背景画像記憶手段と、 前記入力画像から複数個の特徴点を抽出する特徴点抽出
   手段と、 前記特徴点抽出手段により抽出された各特徴点につい
   て、それぞれ特徴点を含む所定の局所領域内の画像デー
   タとこの画像データに対応する背景画像上の画像データ
   とを抽出する画像データ抽出手段と、 各特徴点毎に前記画像データ抽出手段により抽出された
   両画像データにつき正規化相関演算を実行する演算手段
   と、 前記演算手段により算出された各相関値を用いて対象物
   に該当する特徴点を特定して対象物を判別する判別手段
   とを備えて成る画像処理装置。
5. 【請求項５】 前記特徴点抽出手段は、入力画像中のエ
   ッジを構成する画素を特徴点として抽出する請求項４に
   記載された画像処理装置。
6. 【請求項６】 複数台のテレビカメラを所定の観測位置
   に向けてそれぞれ撮像を行い、得られた各テレビカメラ
   の画像データを同時に入力して対象物の認識処理を行う
   画像処理装置であって、 各テレビカメラ毎に前記観測位置に対象物の存在しない
   背景画像データを記憶する背景画像記憶手段と、 各テレビカメラからの入力画像につき、それぞれ複数個
   の特徴点を抽出する特徴点抽出手段と、 前記特徴点抽出手段により抽出された各入力画像毎の各
   特徴点について、それぞれ特徴点を含む所定の局所領域
   内の画像データとこの画像データに対応する背景画像上
   の画像データとを抽出する画像データ抽出手段と、 各特徴点毎に前記画像データ抽出手段により抽出された
   両画像データ間の正規化相関演算を実行する演算手段
   と、 前記演算手段により算出された各相関値を用いて各入力
   画像毎に対象物に該当する特徴点を特定する特定手段
   と、 前記特定手段により特定された特徴点について、各入力
   画像間での対応付けを行う対応付け手段と、 前記対応付け手段により対応付けられた各特徴点につい
   て３次元計測を行って、各特徴点の３次元座標を抽出す
   る座標抽出手段と、 前記座標抽出手段により抽出された各特徴点の３次元座
   標を用いて対象物の３次元的形状を判別する判別手段と
   を備えて成る画像処理装置。