JPS62125478A - 移動物体像を抽出する方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は動画像処理方法に係り、特に、光軸に垂直な平
面内で移動する撮像素子より、実時間で連続的に入力さ
れる動画像から、移動している物体のエツジ像を抽出す
る処理に好適な移動物体像を抽出する画像処理方法に関
する。

〔発明の背景〕

従来の移動物体像に関する画像処理装置は、連続して入
力される動画像の各１面素に関する時間微分、あるいは
、類似の演算により得られた値を利用して処理を行なっ
ていた。重子回路により時間微分、あるいは、類似の演
算を実行することは、回路構成が而単になるため、極め
て高速に行なう事ができる。しかし、時間破骨、あるい
は、類似の演算によって得られた値のみから、移動物体
の像を抽出する事は、困難である。例えば、無地の背景
の前で、円形の領域が移動した場合、進行方向の前部と
後部に符号の異なった三ケ月形の領域が、出力されるが
この・１渭報により円形の領域を抽出する事は、困帷で
ある。

又、別の方法は従来、撮像素子から得られた像を記憶装
置に−たん、蓄えて、次に、記憶装置から一枚ずつ画像
を取り出し、各画像間の対応点を算出することによって
移動物体像を抽出するものである。この方法では対応点
が見つかる場合には、それの移動量を正確に算出するの
で、正確に移動物体像を抽出することができるが、その
処理に要する時間は長くなる。まだ、ｍ体の回転、変形
等がある鳴合ンこは、対応点を検出する事が非常に碓し
くなる。

その他にも、あらかじめ移動物体の像が含まれない背景
だけの像を、装置内に記憶しておき、連続的に入力され
る像と背景像とを比較する事によって移動物体像を抽出
する方法が知られている。

この方法は、撮像素子が移動したり、背景が変化する場
合には、全く使用する事ができない。特開昭５９−８０
８７号公報には、背景像を更新する機構が含まれている
。これは移動物本の像が含まれていない瞬間の像を次々
に装置内に取り込み、それを背景像として記憶するもの
である。これは背景の時間的にゆるやかな変化を、誤っ
て移動物体としない工夫である。しかし、この方法では
、し１］えば、常に移動物体が撮像範囲内に存在すれば
、背量の更新は一切行なわれないし、瞬間的に背景が大
きく変化した場合などには、対応する事ができない。又
、この方法を用いても、撮像素子が移動する場合には、
対応する事ができない。

〔発明の目的〕

本発明の目的は、光軸に垂直な平面内で移動する撮像素
子より得られる動画像から、実時間で高哨度に、移動物
体のエツジ像を抽出する事のできる、画像処理装置を提
供することにある。

〔発明の概要〕

本発明は撮像素子から得られる入力画像の不変な部分、
もしくはゆっくりと変化する特徴成分をとらえて、それ
を背景として記憶し、新たに入力された画像にこの背景
像が対応するように、背景像を上下、左右に移動させて
、この移動によって入力画像に対応している背量の記憶
データと時々刻々入力される画像の特徴量とを比較する
ことＫより、移動物体に関する情報を抽出するようにし
たものである。

〔発明の実施例〕

以下、本発明の一実施例を図に従って詳細に説明する。

第１図に本発明の実施例を示寸。図示した矢線ば、デー
タの流れのみを示し、制御線は省略する。

まづ、全構成要素の意味を説明してから、その詳細な動
きを述べる。

１０１は、光軸に垂直な平面で移動する背景中に移動物
体を含んだ所定の撮１求範囲を提える撮像素子である。

１０２は図示していないＡ　／　Ｄ変換器でディジタル
信号に変換された画（象データを一フレール分だけ記憶
する画像記憶装置である、１０３は１０２に記憶した画
像のエツジ強調像を抽出する機構でろり、１０４は１０
３から出力されるエツジ像を−フレール分だけ蓄える画
像記憶装置である。１０５は撮像素子によって一度に捉
える事のできる範囲と等しい大きさの背景にあたる画像
のエツジ像を−７レール分だけ蓄え、画１禾の上と下、
および右と左が連結した構造となっており、画像を平行
移動させる事ができる画像記憶装置である。１０６は、
１０４に１０５が対応するよう、１０５を平行移動させ
る量を算出する機構である。１０７は、１０６からのデ
ータを基にして、１０４と１０５の対応領域に記憶した
二つの１ｉｋｉ渾の対応画素を比較し、移動物体のエツ
ジ像を出力すると同時に、１０５の記憶データの更新を
行なう＠構である。

第１図において１ａは撮像素子からの出力で、普通のビ
デオ信号であり、１ｂは入力画隙のディジタル信号で特
徴抽出機構１０３へ一画素づつ順次転送されるデータで
ある。１ｃは入力画像データ１ｂのエツジ渫に関するデ
ータを一画素づつ順次記憶装ｆＩｔ１０４に転送される
データである。１ｄはｌｔｈ像記憶装置１０４に記憶し
たエツジ像に関するデーター画素づつ、順次、転送され
る。

ｌｅｉ画像記憶装置１０５に記憶した背景のエツジ像に
関するデータで一画素づつ順次１０６に転送される。１
ｆは１０５をどれだけ平行移動させれば１０４に重なる
かを示す信号値である。１ｇは１ｄと同様な、画像記憶
装置１０４に記憶したエツジ像に関するデータで一画素
づつ順次１０７に転送される。１ｈは１０４に対応する
ように平行移動された１０５のデータが、一画素づつ順
次１０７に転送されるデータでめる、１１は１０７によ
って更新された、対応領域に関する背景のエツジ像のデ
ータで一画素づつ順次１０５に転送される。１ｊは移＠
物体像に関するデータで一画素づつ、順次、転送される
ディジタル信号である。

光軸に垂直な平面内で移動する撮像素子１０１が第２図
、２０１．２０２．２０３に示すような情景を捉えた場
合、１０２．１０３で処理が行なわれて、それぞれのエ
ツジ像が１０４に蓄えられる。１０５は入力画像に対応
した背景像を記憶し、後述する特殊な構造を持った画像
記憶装置であり、入力画像２０１．２０２．２０３に対
応して、それぞれ２０４．２０５．２０６を想起する。

１０６は１０５に対して、入力画像に対応する様な背景
像を想起するための信号を合成する機構である。

１０７ば、１０４．１０５から出力された情報に基づい
て、２０１．２０２．２０３から移動物体のエツジ像、
２０７．２０８．２０９を出力する。

次に、細部の構造及び動作の説明を行なう。撮像素子１
０１は画像を捉え光軸に垂直な平面内で移動することが
でき、通常のビデオ信号を１０２に出力する。捉えた画
像には、静止した背景中に移動物体が含まれている。

画像記憶装置１０２は、１０１より入力されたビデオ信
号を、図示していないＡ／Ｄ変換器を通してディジタル
値に変換した後に、その値を一画面分だけ蓄える通常の
記憶装置である。

特徴抽出機構１０３は、１０２から順次、画素データを
取り込み、エツジを抽出した後、その結果を１０４に順
次蓄える。人間が物体を認識する際に、輪郭線が非常に
大きな役割りを果す事が心理学の分野に於いて、一般に
、知られているが、１０３ば、この知見に基づいて設置
した物であり、移動物体のエツジ像を得るために設置し
た物である。画像処理の分野では、輪郭（明るさが空間
的に急激に変化している部分）を抽出するだめに従来よ
り第３図（ｂ）に示したような空間フィルタが用いられ
ている。第３図の各数値は畳み込み積分の係数を表わし
ている。一般に、物体の境界では明るさが急激に変化し
ており、その付近でこのフィルタを適用すると、畳み込
み積分の値は、正、又は、負の大きな値になる。また、
物体の内部では明るさがゆっくりと変化゛しているので
畳み込み積分の出力は零に近い値となる。１０２に記憶
された画像データの全画素の回りでこの畳み込み演算を
行なうことにより輪郭線の抽出が可能になる。

しかし、本発明で扱う様な動画像を扱う場合には、第３
図（ｂ）の空間フィルタでは次に示すような問題点が発
生する。

（１）フレーム間の同期信号のズレにより画像には、し
ばしば、一画素程度ｑズレが生じる。

（２）画像には各種の要因により独立した一画素にノイ
ズが重畳されているが、第３図（ｂ）のフィルタは、こ
のノイズを強調するように作用する。

そこで本発明では動画像において移動物体のエツジ像を
抽出するのに適したフィルタとして、第３図（ａ）に示
したような空間フィルタを適用する。第３図（ａ）のフ
ィルタでは、画像のフレーム間同期や、独立ノイズ対策
として重み係数の広がりを第３図（ｂ）に比べて犬きく
した。空間フィルタの演算装置は、十六個の掛は算器を
備えており、画像に対する１６近傍の積和演算を高速に
実行する公知の処理装置である。

第１図中の画像記憶装［１０４は、１０３から出力され
る、１０２のエツジ像を一１面面分だけ蓄える、記憶装
置である。

第１図中の画像記憶装置１０５は、１０１が一度に捉え
る事のできる範囲と等しい範囲のエツジ像を一両面分だ
け蓄える事ができ、画面の上下、あるいは左右が連続し
た構造になっており、容易に１面像を平行移動する事の
できる特殊な構造を持った画像記憶装置である。

画Ｉ＃！は普通、第４図に示すように記憶装置の連続し
た番地を持つ領域に蓄えられる。従って、蓄えられたー
［象の左右は普通連結している。この記憶装置に番地計
算機構として第５図に示す機構を付加するとＪｊ傷記憶
面の上下が連結した構造となり、さらに、記憶しである
画像を仮想的に平行移動する事ができる。５０１と５０
４は画像上のＸ座標、ｙ座標の入力値であり、５０２と
５０５は実際の記憶装置上のどの位置に画像の原点が来
るかを示す値である。ｙ座標値は５０８によって一ライ
ン分の長さ倍され、その値とＸ座標値を加算する事によ
って、記憶装置上での番地が計算される。算出された値
は、５１０によって一画面の大きさを法とした剰余が計
算される。この剰余演Ｘは、例えば、画面が２５６Ｘ２
５６で構成されてｂた場合、５０９の出力の、二重表示
で下位１６ビツトを出力するだけで良く、極めて容易に
実現できる。この機構によφ、記憶装置上に蓄えだ画像
情報の原点を容易に移動させる事ができ、結果として画
像を平行移動させる事ができる。

第１図中の対応領域指示機構は１０４．１０５との相関
関数を計算する事により、１０４に対応させるために必
要な、１０５の移動方向を算出し指示する機構である。

一般に、相関々数の計算には、多くの手間がかかり、高
速にこれを実行するＫは非常に多くの手間がかかり、且
つ、多くの・・−ドウエアを必要とする。そこで、本実
施例では次に示すような仮定を設け、少ない））−ドウ
エアで高速な相関演′Ｘを可能としている。

（１）画像処理速度は、撮像素子の移動速度に比べて、
十分に速いため、相続く画像間における、背景の移動量
は、取り込んだ画像上でたかだか一画素である。

前述の仮定により、相関をとる範囲を前回の対応画像か
ら一画素ずれた範囲【限定する。ずれの方向としては上
下、左右、右上、右下、左上、左下の穴方向を考え、こ
れに位置不変のケースも考え九近傍に関して相関を計算
する。これらの相関値の中で最も大きな値を示した方向
に、背景像をずらし、入力画像に対応するように変換す
る。画像が入力されるたびにこれを繰り返す事によって
、人力画像に対応した背景像を常に出力する事ができる
。

第１図中の比較及び背景のエツジ１更ｆｒ機構１０７は
、１０４の各画素と、１０６によって示された平行移動
の方位に従って移動した１０５の背景のエツジ像の対応
画素とを、比較して移動物体像に関する情報を出力する
機構と、１０５に：記憶した背景に関するエツジ像を、
１０４の画像を基にして更新する機能をもつ。１０７は
１０４．１０５から対応する画素を順次入力し、それぞ
れ入力された値が正である場合は、その値を、負である
場合はＯとして、１０４と１０５の信号の差を計算する
。１０４から入力される画像には、背景と移動物本のエ
ツジが含まれ、１０５から入力される画像には背景のエ
ツジのみが含まれる。このエツジ像の正部分に関して、
対応画素ごとに１０４の出力から１０５の出力を引き、
その結果が正ならばその値を移動物体像に関するエツジ
像として出力し、負であればＯを出力する。第６図にそ
れぞれの信号の処理過程を模式的に示す。入力画像と背
景像は、上段に示すような輝度レベルの信号が与えられ
たものとする。横軸は空間軸であり、縦軸は光の強さを
示す軸である。入力画像と背景像のエツジ像、及びエツ
ジ像の正部分が図の様に得られる。ここで１０４の出力
から１０５の出力を引くと、入力画像には存在し背景画
像には存在しないエツジ（つまり、移動物本に関するエ
ツジ）は正の値を示し、入力画像には存在せず、背景画
像には存在するエツジ（これは移動物体によって覆い隠
された背景のエツジを示す）は負の値を示す。従って、
このデータの正部分をとれば、移動物本に関するエツジ
像が得られる。この情報をそのまま出力すれば良い。

更に、１０６け１０４と、１０５との各画素に関する荷
重平均を新たに１０５の値とすることによって、背景の
エツジ像を形成したり、あるいは、更新したシする。

以上の構成による装置が、移動物体１象を抽出する様子
を以下模式的に示す。第７図の７０６が１０５に蓄えら
れている背景像である。破線で示しであるのは、まだ、
完全に背景像が形成されていない事を示している。画像
７０１が入力されると、１０６により、７０２〜７１０
との相関値が計算される。今回の場合、画像の平行移動
によって生じたノイズ（屋根の断片）や、人影にもかか
わらず、７０１〜７０７間の相関値が最も高い値を示す
。従って、１０５に蓄えてあった画像を平行移動した後
に、７０１と各画素ごとに比較する。

結果として、７０１に含まれる人影だけが移動物体像と
して抽出される。次に、７０１を用いて、背景像１０５
全更新する。この背景１象が構成される様子を第８図に
示す。８０１．８０２．８０３．８０４は入力画像のエ
ツジ像を示し、８０５．８８０６．８０７．８０８は背
景のエツジ像が形成される様子を示す。最初、背景のエ
ツジ像を蓄える画像記憶装置はクリアされているものと
する。

人と家を含む入力画像８０１が入力されると、それの像
が８０５の様に少しだけ背景像として記憶される。次例
い鳥と家を含む入力画像８０２が入力されると、第７図
に示す様に、相関値が計算され、その値に従って８０５
が平行移動され、その画像が８０２によって更新される
。つまり、８０６の様に引き続き存在している家の像は
強調され、鳥の像は少しだけ記憶され、今回は存在して
いない人の像が弱まっている。同様に徳と家を含む入力
画像８０３が入力された場合、家の像はさらに強調され
る。最終的には、撮像素子の移動にかかわらず、背景の
エツジ像として８０８が形成される。

本実施列によれば、光軸に垂直な平面内での撮像素子の
移動にかかわらず、移動物体のエツジ像のみを抽出する
ことのできる画像処理装置を構成することができる。

なお、本実施列では撮像素子の移動量を画面上で一画素
と、仮定したが、二画素、二画素・・・に対しても同様
の機構が設計でき、移動物体像を抽出する装置が構成で
きる。

〔発明の効果〕

本発明によれば、大型計算機等の犬がかりな装置を使用
することなく、かつ、高速に移動物体のエツジ像を抽出
する事ができるので、移動物体に関する画像処理、ある
いは、移動物体の認識等の前処理として利用する事がで
きる。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は入力
画像から移動物体像が抽出される様子を示す画面図、第
３図はエツジ抽出を行う際に用いた空間フィルタの係数
を示す図、第４図は画像記憶装置の構成図、第５図は番
地情報構成機構のブロック図、第６図は移動物体のエツ
ジ像が形成される様子を示す図、第７図は相関値を計算
する対象となる画像を示した図、第８図は背景像が形成
される様子を示す画面図である。 １０１・・・撮像素子、１０２・・・入力画像記憶装置
、１０３・・・エツジ抽出機構、１０４・・−エツジ像
記憶装置、１０５・・・背景像のエツジ強調像記憶装置
、１０６・・・対応領域指示機構、１０７・・・比較機
構及び背景のエツジ強調像更新機構。 ｙ、＝：＞ニー７ −一一 第１目 ＋ｎ１ 罷′１図 乃３目 （α） 策　に Ｖ孫の討４±古太 佑５（２）

Claims (4)

【特許請求の範囲】
1. １．連続に入力される画像から移動物体像を抽出する方
   法において、前記入力画像の特徴量を抽出し、その特徴
   量と、前記入力画像に対応する領域を算出する機構を備
   えている背景の特徴量を記憶する機構に蓄えられた量と
   を比較し、この結果に基づき、移動物体像を抽出するこ
   とを特徴とする移動物体像を抽出する方法。
2. ２．特許請求の範囲第１項記憶面の上端と下端、左端と
   右端が連続した構造になつており、前記背景の特徴量と
   、前記入力画像の特徴量との相関値を計算する事によつ
   て、前記背景の特徴量から、前記入力画像に対応した領
   域を算出し、前記背景の特徴量を蓄える記憶面が、前記
   入力画像に対応するように、前後左右に平行移動する事
   を特徴とする移動物体像を抽出する方法。
3. ３．特許請求の範囲第１項または第２項において、前記
   入力画像のエツジを抽出した画像を出力することを特徴
   とする移動物体像を抽出する方法。
4. ４．特許請求の範囲第１項、第２項または第３項におい
   て、前記入力画像と、前記算出された対応領域の特徴量
   との差分により、前記移動物体像を抽出する機構、前記
   二つの出力値の荷重平均値により前記記憶された背景の
   対応領域の特徴量を更新することを特徴とする移動物体
   像を抽出する方法。