JPH07105383A

JPH07105383A - 物体検出装置

Info

Publication number: JPH07105383A
Application number: JP5246986A
Authority: JP
Inventors: Shinji Domoto; 真二道本
Original assignee: Nabco Ltd
Current assignee: Nabco Ltd
Priority date: 1993-10-01
Filing date: 1993-10-01
Publication date: 1995-04-21

Abstract

(57)【要約】【目的】移動物体検出装置において、照明変動等の外
乱要因を無視することのできる時間的に連続した２枚の
入力画像の輪郭を微分処理により強調することにより、
移動物体を影や背景輝度変化の影響を受けずに検出す
る。移動物体の重心位置を比較して移動方向を検出す
る。【構成】限定領域内の時間的に連続した２枚の画像を
取り込む画像入力手段と、２枚の入力画像を微分する微
分処理手段と、微分処理手段で得られた２枚の画像を比
較して差分画像を出力する差分処理手段と、差分処理手
段から得られた物体画像にラベル付けするラベリング処
理手段と、差分画像と微分処理手段から得られた個々の
画像との論理積により個々の物体画像を得る画像処理手
段と、画像処理手段で得られた個々の画像の物体の重心
を求る重心算出手段と、同じラベルの物体画像の重心か
ら移動方向または移動ベクトルを得る重心処理手段とを
備え、前記画像入力手段は各２枚の同じ物体画像が差分
処理手段で連結物体画像となるように画像を取り込む時
間を規制されたこと。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、カメラからの画像入
力を処理することにより移動物体についての情報を検出
するようにした物体検出装置に関する。

【０００２】

【従来の技術】この種の従来技術としては、本出願人が
先に提案した特願平４−３５９９２８号に記載の装置が
ある。この従来装置は、図５に示すように、限定領域内
の時間的に連続したｔ、ｔ＋Δｔにおける２枚の画像を
取り込む画像入力手段１１と、２枚の入力画像を微分す
る微分処理手段１２、１３と、該微分処理手段１２、１
３で得られた２枚の画像を比較して差分画像を出力する
差分処理手段１４と、差分画像と微分処理手段１４から
得られた個々の画像を２値化処理してからその論理積に
より個々の物体画像を得る画像処理手段１５とを備えた
ものと、この画像処理手段１５で得られた個々の画像の
物体の重心を求めこれら重心から物体の移動方向を算出
する重心比較手段３０とを備えることを特徴とするもの
である。

【０００３】以上の構成からなる先に提案の物体検出装
置によれば、外乱要因を無視することのできる時間的に
連続した２枚の入力画像を用い、それらの入力画像の輪
郭を微分処理により強調するという手段を採用すること
によって、限定領域に進入してきた移動物体を影や背景
輝度変化の影響を受けずに確実に検出すること、ならび
に、連続画像となっているラベル付けした同じ物体画像
の重心から移動物体の移動方向又は移動ベクトルを検出
することができる。

【０００４】

【発明が解決しようとする課題】しかしながら、ラベル
付けは同じ物体画像が連続画像となってから行うもので
あるので、早い段階での移動物体の個数がカウントする
ことが出来ないという問題点がある。また、画像処理手
段で得られた個々の移動物体について重心を求め、連続
画像となっている移動物体が同一物体であると認識して
これら連続画像となっている２つの物体画像の重心か
ら、移動物体の移動方向又は移動ベクトルを検出してい
るために、演算処理時間が多くかかるという問題点があ
る。更に又、画像処理手段で得られたある物体画像に最
も隣接した物体画像が同じ物体の連続画像と認識してい
るために、限定領域内における移動物体の個数が多い場
合には、Δｔの設定いかんで誤判断をすることが生じる
おそれがあるという問題点がある。

【０００５】この発明は以上の問題点に鑑みてなされた
ものであり、２枚の画像を取り込んだ早い段階でのラベ
リングを行うと共に、同じラベルの２つの物体画像の重
心から移動方向又は移動ベクトルを求めるようにして演
算処理時間の短縮を図り、更に、取り込んだ２枚の物体
画像が連結画像となるようにすることによって同じ移動
物体についての誤判断が生じないようにすることを目的
としてなされたものである。

【０００６】

【課題を解決するための手段】この発明の請求項１の手
段は、限定領域内の時間的に連続した２枚の画像を取り
込む画像入力手段と、２枚の入力画像を微分する微分処
理手段と、微分処理手段で得られた２枚の画像を比較し
て差分画像を出力する差分処理手段と、差分処理手段か
ら得られた物体画像にラベル付けするラベリング処理手
段とからなる。

【０００７】この発明の請求項２の手段は、限定領域内
の時間的に連続した２枚の画像を取り込む画像入力手段
と、２枚の入力画像を微分する微分処理手段と、微分処
理手段で得られた２枚の画像を比較して差分画像を出力
する差分処理手段と、差分処理手段から得られた物体画
像にラベル付けするラベリング処理手段と、差分画像と
微分処理手段から得られた個々の画像との論理積により
個々の物体画像を得る画像処理手段と、画像処理手段で
得られた個々の画像の物体の重心を求る重心算出手段
と、同じラベルの物体画像の重心から移動方向または移
動ベクトルを得る重心処理手段とを備えてなる。

【０００８】この発明の請求項３の手段は、前記画像入
力手段が各２枚の同じ物体画像が差分処理手段で連結物
体画像となるように画像を取り込む時間を規制されたも
のである。

【０００９】

【作用】上記請求項１の手段によると、画像入力手段で
は、時間的に連続した各２枚の同じ物体画像がが取り込
まれる。そして、微分処理手段では２枚の入力画像に微
分操作が施され、画像の濃度が急激に変化する輪郭が強
調される。したがって、微分処理手段では濃度勾配の緩
やかな影の輪郭が消失する。差分処理手段では微分処理
された２枚の画像の画素ごとの明度差が比較されて静止
物体が消去され移動物体のみが抽出される。そして、ラ
ベリング処理手段によって、このように抽出された移動
物体毎にラベルが付される。このラベルは、例えば、移
動物体１、移動物体２─というような識別符号が付さ
れ、物体の個数が早い段階で認識される。

【００１０】前記請求項２の手段によると、請求項１の
ラベリング処理手段によってラベル付けされた個々の移
動物体について、差分処理された２枚の画像の比較によ
り得られた移動物体についての差分画像と、２枚の個々
の入力画像の両方についての微分処理された個々の画像
との論理積が求められて、移動物体の２枚の画像が得る
画像処理手段がなされる。そして、画像処理手段により
得られた移動物体の２枚の画像の個々の重心が算出さ
れ、同じラベルの付いた移動物体の２つの重心から移動
方向または移動ベクトルが得られる。

【００１１】前記請求項３の手段によると、前記画像入
力手段において各２枚の同じ物体画像が差分処理手段で
連結物体画像となるように画像を取り込む時間を規制す
ると、連結画像となっている物体が同一物体として容易
に認識できるので、最も隣接する物体を同一物体として
認識する場合と比較して演算処理時間が短縮され、ま
た、移動物体が多い場合でも誤判断が発生し難い。

【００１２】

【実施例】この発明の実施例について説明する。この実
施例で使用する移動物体検出装置１は、図１に示すよう
に、床面から所定の高さのところに設置され所定の撮像
角度θを備えたカメラＣと、このカメラＣにより撮像さ
れる限定領域ａ内の時間的に連続した２枚の画像を取り
込むための画像入力回路（画像入力手段）１１と、２枚
の入力画像を微分する画像記憶回路（微分処理手段）１
２，１３と、画像記憶回路１２，１３で得られた２枚の
画像を比較して差分画像を出力する画像比較部（差分処
理手段）１４と、この差分画像と画像記憶回路１２，１
３から得られた画像との論理積により物体画像を得る画
像演算部（画像処理手段）１５と、を備える。そして、
中央処理装置１６はこれらの各手段の制御と、出力装置
１７への作動指令を発して、モニタ装置１８によりモニ
タされるようにしている。１９はこれらの処理過程にお
いて一時的にデータを記憶する記憶回路（記憶手段）で
ある。

【００１３】次に、この移動物体検出装置１を使用して
画像を処理する処理手順について、図２及び図３に基づ
いて説明する。

【００１４】ある時刻ｔで画像入力回路１１で取り込ん
だ移動物体10A 、10B 、10C と静止物体２０を含む入力
画像Ｐ１が、微分処理手段１２で微分処理され、時刻ｔ
＋Δｔで画像入力回路１１に取り込んだ移動物体10A
’、10B ’、10C ’と静止物体２０’を含む入力画像
Ｐ２が、微分処理手段１３でそれぞれ別個に微分処理さ
れ、画像Ｄ１及び画像Ｄ２を得る。このように時間的に
連続した２枚の入力画像Ｐ１，Ｐ２を用いて微分処理す
ることにより、照明変動などの外乱要因の影響を無視で
きるようになる。また、微分処理により画像の濃度が急
激に変化する輪郭を強調することができるため、濃度勾
配の緩やかな移動物体10A 、10B 、10C の影101A，101
B，101C 及び移動物体10A ’、10B ’、10C ’の影101
A’，101B’，101C’や静止物体２０，２０’の影201
，201 ’の輪郭は消失する。従って、入力画像Ｐ１，
Ｐ２の微分操作により、影のない前記画像Ｄ１，Ｄ２が
得られる。この時点では、移動物体10A 、10B 、10C 、
10A ’、10B ’、10C ’と静止物体２０，２０’の双方
の物体が、画像Ｄ１，Ｄ２にそれぞれ存在している。な
お、移動物体は３個、静止物体は１個で説明している
が、それぞれの個数は限定されないのは勿論である。

【００１５】前記微分処理手段１２，１３で得られた２
枚の画像Ｄ１，Ｄ２が差分処理手段１４により比較され
て、共通の静止物体２０，２０’の輪郭が消去されてか
ら、２値化処理されて、画像Ｄ１中に存在している３つ
の移動物体10A 、10B 、10Cと、画像Ｄ２中に存在して
いる同じ移動物体である３つの移動物体10A ’、10
B’、10C ’の輪郭が、それぞれ対応して重複して連結
した連結物体画像となる１つの画像Ｄ３が得られる。こ
れは、画像Ｄ１、Ｄ２において対応する同じ移動物体
が、差分処理手段で連結物体画像となるように画像を取
り込む時間Δｔが規制されていることにより生ずるもの
である。

【００１６】このようにして得られた３つの連結物体画
像に対して、それぞれ100A,100B,100Cというような識別
のためのラベルが付されるラベリング処理手段が行われ
る。

【００１７】また、微分処理された前記２枚の画像Ｄ
１，Ｄ２は、それぞれ単独で２値化処理されて、移動物
体10A 、10B 、10C と静止物体２０の双方の輪郭を含む
図外の画像Ｂ１，移動物体10A ’、10B ’、10C ’と静
止物体２０’の双方の輪郭を含む図外の画像Ｂ２が得ら
れる。

【００１８】画像処理手段１５においては、前記画像Ｄ
３と画像Ｂ１及び画像Ｄ３と画像Ｂ２の論理積をとり、
それぞれ移動物体10A 、10B 、10C 及び10A ’、10B
’、10C ’の輪郭のみの画像Ｄ１’及び画像Ｄ２’を
得る。これにより、時刻ｔと時刻ｔ＋Δｔにおける時間
的に連続した同一の移動物体10A 、10B 、10C 及び10A
’、10B ’、10C ’の輪郭を確実に画像Ｄ１’及び画
像Ｄ２’にそれぞれ別々に検出することができる。

【００１９】次に、これら画像Ｄ１’及び画像Ｄ２’中
の移動物体10A 、10B 、10C 及び10A ’、10B ’、10C
’の重心を算出する重心算出処理を行う。これは、そ
れぞれの移動物体10A 、10B 、10C 及び10A ’、10B
’、10C ’の輪郭の画像Ｄ１’及び画像Ｄ２’に於け
る重心座標を求めることによって行う。

【００２０】この移動物体10A 、10B 、10C 及び10A
’、10B ’、10C ’のそれぞれの重心座標を求める手
法について図４に基づいて説明する。最初に行うノイズ
消去操作は、画像中のノイズ成分を取り除く操作であ
る。すなわち、２値画像Ｄ１’、Ｄ２’中には移動物体
データに関係のないノイズデータが含まれている。移動
物体を表す画像データは隣接するデータとの連結性を持
ち、ノイズは連結性を持たない孤立点である。従って、
この孤立点を消去する操作がノイズ消去操作である。

【００２１】膨張処理は、移動物体10A 、10B 、10C 及
び10A ’、10B ’、10C ’の輪郭線を強調する処理であ
る。すなわち、微分処理による輪郭線の強調を行って
も、移動物体10A 、10B 、10C 及び10A ’、10B ’、10
C ’の輪郭形状を完全に求めることはできない。特に物
体と物体とが生成する影の境界線は明瞭には検出され
ず、波線状態となってしまう。そこでノイズ消去後の画
像において、移動物体10A、10B 、10C 及び10A ’、10B
’、10C ’の輪郭形状を明瞭にするため膨張処理を行
う。膨張処理では、例えば明画素の周囲８点に明画素が
１つ以上存在する場合、隣接する８点全てを明画素にす
る。

【００２２】重心座標演算は、輪郭線データ数、Ｘ座標
データ、Ｙ座標データなどを因子とする演算式を用いて
行う。

【００２３】上記のようにして、画像Ｄ１’，Ｄ２’の
それぞれにおいて重心座標を算出した後、画像処理手段
１５による演算処理により、これら３つの同一の移動物
体10A 、10B 、10C 及び10A ’、10B ’、10C ’の輪郭
を１つの画像Ｄ４に２重に抽出して現す。これは前記し
たように処理に用いた連続画像Ｐ１，Ｐ２の入力時間差
Δｔによって移動物体が移動しているため現れるもので
ある。したがって、移動物体10A 、10B 、10C の移動方
向または移動ベクトルは、先に求めた６つの移動物体10
A 、10B 、10C 及び10A ’、10B ’、10C ’の画像Ｄ
１，Ｄ１’の重心座標から、重心比較してこの重心の変
位により求めることが可能である。この場合において、
同じラベル例えば100Aの２つの物体画像10A 、10A ’の
重心比較により、移動方向または移動ベクトルを求め
る。他のラベルを付された100B、100Cについても同様に
して移動方向または移動ベクトルを求める。

【００２４】

【発明の効果】以上の説明からも明らかなように、請求
項１の手段によると、画像入力手段、微分処理手段、差
分処理手段に続いてラベリング処理手段を行うことによ
って、早い段階での移動物体毎にラベルが付されるため
に、物体の個数のカウントが早くできる利点がある。

【００２５】更に、請求項２の手段によると、請求項１
のラベリング処理手段によってラベル付けされた個々の
移動物体についての重心が算出され、同じラベルの付い
た移動物体の２つの重心から移動方向または移動ベクト
ルが得られるため、従来のように、画像処理手段で得ら
れた個々の移動物体について重心を求め、連続画像とな
っている移動物体が同一物体であると認識してこれら連
続画像となっている２つの物体画像の重心から、移動物
体の移動方向又は移動ベクトルを検出する場合と比較し
て、演算処理時間の大幅な短縮を図ることができる。

【００２６】更に又、請求項３の手段によると、連結画
像となっている物体が同一物体として容易に認識できる
ので、最も隣接する物体を同一物体として認識する場合
と比較して演算処理時間が短縮され、また、移動物体が
多い場合でも誤判断が発生し難い。

【００２７】このようなこの発明の効果を利用して、例
えば、自動扉における扉の開閉を制御する装置、ベルト
コンベア等のように移動速度がある程度決められている
生産設備における物体認識装置などに応用できる。

【図面の簡単な説明】

【図１】この発明の実施例による移動物体検出装置の構
成図である。

【図２】動作手順説明図である。

【図３】図２に対応する模式図である。

【図４】重心座標の算出手順説明図である。

【図５】従来例の構成図である。

【符号の説明】

ａ限定領域１１画像入力手段１２，１３微分処理手段１４差分処理手段１５画像処理手段

Claims

【特許請求の範囲】

【請求項１】限定領域内の時間的に連続した２枚の画
像を取り込む画像入力手段と、２枚の入力画像を微分す
る微分処理手段と、微分処理手段で得られた２枚の画像
を比較して差分画像を出力する差分処理手段と、差分処
理手段から得られた物体画像にラベル付けするラベリン
グ処理手段とからなる物体検出装置。
【請求項２】限定領域内の時間的に連続した２枚の画
像を取り込む画像入力手段と、２枚の入力画像を微分す
る微分処理手段と、微分処理手段で得られた２枚の画像
を比較して差分画像を出力する差分処理手段と、差分処
理手段から得られた物体画像にラベル付けするラベリン
グ処理手段と、差分画像と微分処理手段から得られた個
々の画像との論理積により個々の物体画像を得る画像処
理手段と、画像処理手段で得られた個々の画像の物体の
重心を求る重心算出手段と、同じラベルの物体画像の重
心から移動方向または移動ベクトルを得る重心処理手段
とを備えてなる物体検出装置。
【請求項３】前記画像入力手段は各２枚の同じ物体画
像が差分処理手段で連結物体画像となるように画像を取
り込む時間を規制されたことを特徴とする請求項１又は
２に記載の物体検出装置。