JPH10271488A

JPH10271488A - 動体検出方法及び動体検出装置

Info

Publication number: JPH10271488A
Application number: JP9150997A
Authority: JP
Inventors: Hideyuki Matsumoto; 英之松本; Akinori Koketsu; 昭徳纐纈; Akio Yoshino; 昭夫吉野; Shunichi Komaki; 俊一小牧
Original assignee: USC Corp
Current assignee: USC Corp
Priority date: 1997-03-26
Filing date: 1997-03-26
Publication date: 1998-10-09

Abstract

(57)【要約】【課題】動体検出に関する処理の正確さと迅速化とロ
バスト性の向上とを図り、迅速で効率良い動体検出を行
う。【解決手段】撮像手段により得られた入力フレームに
コントラスト補正を施す。コントラスト補正は、先ず各
ＧＯＰのうちの時間軸上最初のフレームに対してＬＵＴ
作成を行う。次いで、上記最初のフレームで作成したＬ
ＵＴを用いて残りのフレームを量子化する。更に、コン
トラスト補正後のフレームを２段階に亙ってスキップ処
理する。最後に、動体検出用フレームを構成する画素
の座標データの変化と移動方向とに基づいて動体の判別
を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、一連の動画像中
から動体のみを抽出する動体検出方法及び動体検出装置
に係り、特に、動体検出に係わる処理を正確かつ迅速に
行え、しかもロバスト性を向上させることのできる動体
検出方法及び動体検出装置に関する。

【０００２】

【従来の技術】セキュリティシステムの一つとして、従
来から監視装置が広く知られている。従来の公知である
監視装置は、ディスプレイに映し出された画像を監視者
人が見続け、この監視者の判断により、不審人物（動
体）の検出を行うものであった。このため、動体を検出
する作業は面倒で、場合によっては見落とすこともあ
り、確実性にかけるものであった。

【０００３】かかる現状に鑑みて、本発明者は、先に動
体検出方法及び動体検出装置を発明した（特願平８−２
１４１１４号）。先ず、この先発明に係る動体検出方法
及び動体検出装置について、簡単に説明する。

【０００４】上記先発明の動体検出方法とその装置のう
ち、方法の発明は、先ず、撮像手段により得られた入力
フレームの量子化方向を交互に反転することにより、図
８に示すように、ポジフレーム１とネガフレーム２とを
交互に出力する。そして、順方向に隣接するポジフレー
ム１とネガフレーム２とに共通する静止部分３の濃度値
を均一化することにより、動体検出用フレーム４を出力
する。

【０００５】この動体検出用フレーム４においては、上
記静止部分３の濃度値が均一となっているため、動体部
分５が浮かび上がってくる。尚、図８に「和／２」と記
載してあるのは、各フレーム１，２の濃度値を減算する
処理を表している。即ち、上記動体検出用フレーム４を
出力する場合、上記ポジフレーム１とネガフレーム２と
を、単に重ね合わせただけでは、２画面分の濃度情報を
持つため、極端に濃度値の高い画像になってしまう。こ
のため、適切な量の定数値を減算する。

【０００６】先発明の動体検出方法は、上述のように構
成されるため、量子化方向を交互に反転することにより
得られたポジフレーム１とネガフレーム２とのうち、時
間の流れに沿って隣接するポジフレーム１とネガフレー
ム２とを重ね合わせ、これら各フレーム１、２に共通す
る静止部分の濃度値を均一化すれば、この静止部分が打
ち消されるため、動体部分５を抽出することができる。

【０００７】また、装置の発明は、従来知られたＣＣＤ
カメラと同様、光入力を電荷信号に変換し、蓄積する光
電変換手段を備えている。この光電変換手段は、入力さ
れた光情報を、その輝度が所定値以上のものをハイレベ
ルとし、所定値未満のものをローレベルとして（正論理
で）量子化する第一の量子化と、その輝度が所定値以上
のものをローレベルとし、所定値未満のものをハイレベ
ルとして（負論理で）量子化する第二の量子化とを交互
に施す。

【０００８】即ち、この光電変換手段１０は、図９に示
すように、レンズ１１、撮像素子１２を介して入力され
た光情報を、信号処理回路１３によって正論理で濃度値
を電荷に変換する。次いで、同じくこの信号処理回路１
３により上記電荷を蓄えたまま、負論理で濃度値を電荷
に変換する。そして、上記第一の量子化を施された（正
論理で電荷に変換された）画像フレームと、この第一の
量子化に続く第二の量子化を施された（負論理で電荷に
変換された）画像フレームとを比較し、両者で同じ輝度
の画素を打ち消し合わせることにより、動体と見做され
るこれら両者で異なる輝度の画素を抽出自在としたもの
である。この一連の処理を終えたならば、電荷を解放
し、同様の処理を繰り返す。尚、図９で符号１４は同期
回路、符号１５は撮像素子１２を駆動させるための素子
駆動回路である。

【０００９】先発明の動体検出装置は、上述のように構
成されるため、光情報が入力されると、この入力された
光情報は、光電変換手段１０によって第一の量子化と第
二の量子化とを交互に施される。これら第一、第二の各
量子化の量子化方向は、互いに逆であるため、上記第一
の量子化を施された画像フレームと、この第一の量子化
に続く第二の量子化を施された画像フレームとを重ね合
わせれば、これら各フレームに共通する静止部分である
両者で同じ輝度の画素が互いに打ち消し合うため、動体
と見做される、これら両フレームで異なる輝度の画素を
抽出できる。

【００１０】ところで、上述した先発明に係る動体検出
方法及び動体検出装置においては、いずれもポジフレー
ム（第一の量子化を施された画像フレーム）及びネガフ
レーム（第二の量子化を施された画像フレーム）を得る
ための量子化（第一、第二の量子化）を施す前に、予め
デフォルト設定での量子化を施し、このデフォルト設定
で量子化されたフレームに対して輝度の補正を行い、モ
ニタ等のディスプレイに表示される画像が上記監視者等
にとって見やすいものとなるようにしている。すなわ
ち、上記先発明に係る方法及び装置は、上述したように
セキュリティシステムを構成する監視装置として利用さ
れるが、この場合、暗やみの中で監視することが多いた
め、上記ディスプレイに映し出される映像は、そのまま
では極めて暗く、このディスプレイを監視している監視
者にとってモニタしづらいものとなってしまう。このた
め、上述したようなコントラスト補正を施す。

【００１１】上記コントラスト補正は、従来、以下のよ
うに行っている。即ち、先ず、デフォルト設定での量子
化を行い、次いで、全画素走査によるＬＵＴ（Ｌｏｏ
ｋＵｐＴａｂｌｅ）を作成し、このＬＵＴ参照による
再量子化を行うことで行っている。上記ＬＵＴは、入力
され、デフォルト設定で量子化されたフレームを構成す
る画素のうちの所望値以上の輝度を予め設定した輝度に
変換し、所望のコントラストを得る操作処理を言う。

【００１２】また、上述した先発明に係る動体検出方法
及び動体検出装置においては、上記ポジフレームとネガ
フレームとに共通する静止部分を抽出する際に、所謂パ
ターンマッチングと称される処理を行っている。このパ
ターンマッチングは、各種部材の位置決め、文字認識、
欠陥検査等に広く利用されており、ＦＡ（ファクトリー
オートメーション）の中核となる画像技術である。先発
明におけるパターンマッチングは、上記ポジフレームと
ネガフレームとを重ね合わせた画像フレーム（動体検出
用フレーム）に、動体が存在するか否かを迅速に判断す
るために行うものであり、濃淡画像による相関を用いて
その処理を行う。このようなパターンマッチングは、周
知のように、図５に示すようなスキップ処理とベクトル
生成処理と判定処理（ベクトル連結処理）とから構成さ
れる。このうち、上記スキップ処理は、濃度値等によっ
て動体が存在しないと推定される画像フレームに、次の
ベクトル生成処理行程を省略させるために行うものであ
る。従って、このスキップ処理を確実に行えれば、動体
検出に要する時間が短縮される。更に、有効にスキップ
処理を行うことは、ロバスト性の向上を図ることがで
き、この点からも好ましい。

【００１３】更に、上記ベクトル連結処理は、動体部分
の形状や大きさを割り出すために行う。従来知られてい
るベクトル連結処理は、上記動体検出用フレームを構成
する画素の、それぞれの動体検出用フレームにおける座
標データの変化を検出し、変化のある画素（及びその近
傍の画素）によって構成される部分を動体とみなすもの
であった。具体的に説明すると次のとおりである。すな
わち、上記動体検出用フレームを構成する画素の、それ
ぞれの動体検出用フレームにおける座標データの変化を
検出することにより、座標データに変化のある画素が、
図７（Ａ）の斜線を付したものであり、座標データに変
化のない画素が白地のものであるとすると、図７（Ｂ）
に示すように、３個の動体Ａ、Ｂ、Ｃが存在すると認識
する。

【００１４】

【発明が解決しようとする課題】しかしながら、上述し
た従来のコントラスト補正や、スキップ処理、ベクトル
連結処理には、夫々以下のような不都合若しくは改良す
べき余地が存在する。即ち、上記コントラスト補正は、
前述したような手順を踏む必要があるため、画像処理に
係る処理時間が増大してしまうことが避けられない。

【００１５】また、上記パターンマッチングのうちのス
キップ処理には、処理速度の観点から改良の余地があ
り、この点を改良することにより、動体検出に要する時
間の短縮及びロバスト性の向上を図ることが望まれてい
た。

【００１６】更に、ベクトル連結処理に関して、以下の
ような不都合が存在する。即ち、上記座標データの変化
により動体を構成する部分であると判断された画素のう
ちには、被検出対象（例えば、不審人物）以外のものが
含まれることがある。例えば、蛍光灯等の照明装置によ
る外乱や風雨等の自然現象による外乱に起因して、上記
被検出対象以外のものであっても、この被検出対象と同
様の動体であると判断される場合がある。このように、
被検出対象以外のものであっても、この被検出対象と同
様の動体であると認識されることは、動体検出に要する
処理が徒に多くなり、処理速度の低下を招来する。ま
た、確実な動体検出を阻害することにもなる。

【００１７】更に、単に座標データの変化によって動体
の有無を判断する場合、独立した二つ以上の被検出対象
が存在した際でも、これら各被検出対象が隣接する状態
（例えば、スクラムを組んで密談しているような状態）
になると、これら複数の被検出対象が実際よりも少なく
（例えば、一つであると）判断されることもある。すな
わち、従来構造においては、図６（Ａ）（Ｂ）に示すフ
レームからは図６（Ｃ）に示す一の動体Ａのみが検出さ
れる。尚、図６（Ａ）は２つの動体４０、４１が互いに
近づく向きに移動していることを示すフレームであり、
同図（Ｂ）は、時間が進行して、これら動体４０、４１
が隣接する状態になったことを示すフレームである。こ
の結果、図６（Ｃ）では２つの動体４０、４１が、一の
動体４２として認識されてしまう。このように、実際に
は複数の動体が存在するにも拘らず、検出される動体の
個数が減少されてしまうことは、好ましいことではな
い。上述のように、上記被検出対象以外のものでも、こ
の被検出対象と同様の動体であると認識されたり、複数
の動体が存在するにも拘らず検出される動体は、実際よ
りも少なくなる、といった不都合を防止する技術は、現
在知られてはおらず、その対策が望まれていた。

【００１８】この発明は、上述したコントラスト補正
や、スキップ処理、ベクトル連結処理に係る各種不都合
をいずれも解消すべく創案されたもので、その目的とす
るところは、動体検出に係わる処理を正確かつ迅速に行
え、しかも、ロバスト性を向上させることのできる動体
検出方法及び動体検出装置を提供しようとするものであ
る。

【００１９】

【課題を解決するための手段】この発明に係る動体検出
方法及び動体検出装置のうち、請求項１に記載した動体
検出方法に係る発明は、撮像手段により得られた入力フ
レームの量子化方向を交互に反転して再量子化すること
によりポジフレームとネガフレームとを交互に出力し、
更に、順方向に隣接するポジフレームとネガフレームと
に共通する静止部分の濃度値を均一化することにより動
体部分を抽出する動体検出方法に関する。特に、この発
明の動体検出方法においては、先ず、所望数の入力フレ
ームから成る入力フレーム群のうちの時間軸上最初のフ
レームに対して上記コントラスト補正を施して再量子化
し、上記入力フレーム群のうちの残りのフレームに対し
ては上記最初のフレームで得られたコントラスト補正情
報を用いて再量子化する第一のコントラスト補正を施
す。

【００２０】次いで、パターンマッチングの一として、
以下のスキップ処理を施す。即ち、上記第一のコントラ
スト補正を施すことによって得られる動体検出用フレー
ムのうちの少なくとも１枚をサーチ対象フレームとし、
このサーチ対象フレームを構成する全画素から最大濃度
値と最低濃度値とを算出して、それぞれを第一の閾値及
び第二の閾値とするとともに、上記最大濃度値と最低濃
度値との差分を算出して第三の閾値とする。これととも
に、上記動体検出用フレームのうち上記サーチ対象フレ
ームを除く残りのフレームをテンプレートフレームと
し、これらテンプレートフレームを構成する全画素から
最大濃度値と最低濃度値とを算出し、これらテンプレー
トフレームから得られた最大濃度値並びに最低濃度値
が、それぞれ上記第一の閾値並びに第二の閾値を越えて
いるか否かを比較判別する。そして、これら最大濃度値
並びに最低濃度値がいずれも上記第一、第二の各閾値を
越えない場合に、上記テンプレートフレームには動体が
存在しないものと判断する。一方、上記テンプレートフ
レームから得られた最大濃度値及び最低濃度値が、いず
れも上記第一、第二の各閾値を越えた場合には、上記テ
ンプレートフレームから得られた最大濃度値と最低濃度
値との差分と、上記第三の閾値と、を比較し、上記差分
が上記第三の閾値よりも小さければ上記テンプレートフ
レームには動体が存在しないと判断する。更に、上記テ
ンプレートフレームから得られた最大濃度値及び最低濃
度値が、いずれも上記第一、第二の各閾値を越えた場合
で、上記差分が上記第三の閾値以上である場合に、上記
テンプレートフレームに動体が存在すると判断する。

【００２１】これとともに、上記動体検出用フレームを
構成する画素の、それぞれの動体検出用フレームにおけ
る座標データの変化と、これら画素の、それぞれの動体
検出用フレームにおける移動方向と、を検出し、これら
座標データの変化と移動方向とがほぼ一致する全ての画
素から構成される物体を一の動体とみなす、ベクトル連
結処理を施す。

【００２２】上述のような第一のコントラスト補正を施
すことにより、従来、コントラストの補正に必要であっ
たディフォルト設定での量子化並びに全画素走査による
上記ＬＵＴの作成を省略できる。この結果、処理手順の
短縮化を図れ、その分、処理速度が向上する。

【００２３】また、前記動体検出用フレームおいては、
時間的に前のフレームに対して動きのない箇所は中間濃
度値となる（例えば、８ビット濃淡画像では、１２８前
後）。上記スキップ処理は、このような特性を利用し
て、テンプレートフレームを構成する画素中に、予め求
めておいた第一、第二の各閾値よりも突出した画素が存
在するか否かを検出する。このような検出は、先ず、テ
ンプレートフレームの画素中に、上記第一、第二の各閾
値を越える濃度値が存在するか否かを調べ、この濃度値
が第一、第二の各閾値を越えない場合には、テンプレー
トフレーム内に動体は存在しないと判断する。更に、上
記第一、第二の閾値を越えた場合には、ピーク値による
判定を行う。すなわち、サーチ対象フレームによって得
られる第三の閾値と、テンプレートフレームによって得
られる上記差分とを比較し、この差分値が第三の閾値よ
りも小さければ、テンプレートフレームに動体が存在し
ないと判断する。このように、この発明においては、２
段階に亙ってスキップ処理を施すため、パターンマッチ
ング処理の高速化とロバスト性の向上とを図れる。

【００２４】更に、上記ベクトル連結処理は、上述した
ように構成されるため、前述したような外乱等に起因し
て被検出対象でないにも拘らず、この被検出対象と同様
の動体であると認識されることが防止される。即ち、上
記外乱等によって動体であるとみなされた物体は、時間
の進行に伴う変移に秩序性が少ない。従って、前記座標
データの変化に加え、画素の移動方向を加味することに
より、時間の進行に伴う変移に秩序性が小さいものは、
動体とはみなされなくなる。しかも、上記移動方向を加
味することにより、複数の動体が隣接する等によって実
際の動体数よりも少なく認識されることも防止できる。
この結果、余分なデータ処理を行う手間が省略され、動
体検出処理の高速化と確実さとを向上させることができ
る。

【００２５】この発明のうちの請求項２に記載した動体
検出方法に係る発明は、上述した請求項１に記載した動
体検出方法における第一のコントラスト補正に代えて、
以下のような第二のコントラスト補正を行う。即ち、所
望数の入力フレームから成る入力フレーム群のうちの時
間軸上最初のフレームに対して上記コントラスト補正を
行って再量子化し、このフレームに続くフレームに対し
ては、当該フレームの前のフレームにおけるコントラス
ト補正情報を用いて再量子化することを特徴としてい
る。

【００２６】上述のように構成することにより、上述し
た請求項１に記載の動体検出方法における第一のコント
ラスト補正に比較すれば劣るものの、コントラスト補正
に必要であったディフォルト設定での量子化並びに各フ
レームの全画素走査によるＬＵＴの作成を簡略化でき
る。この結果、処理手順の短縮化を図れ、その分、処理
速度が向上する。

【００２７】更に、本発明に係る動体検出方法及び動体
検出装置のうち、請求項３に記載した動体検出装置に係
る発明は、光入力を量子化して電荷信号に変換する光電
変換手段を備えている。この光電変換手段は、入力され
た光情報を、その輝度が所定値以上のものをハイレベル
とし、所定値未満のものをローレベルとして量子化する
第一の量子化と、その輝度が所定値以上のものをローレ
ベルとし、所定値未満のものをハイレベルとして量子化
する第二の量子化とを交互に施し、上記第一の量子化を
施された画像フレームとこの第一の量子化に続く第二の
量子化を施された画像フレームとを比較し、両者で同じ
輝度の画素を打ち消し合わせることにより、動体と見做
される、これら両者で異なる輝度の画素を抽出自在とし
ている。更に、この動体検出装置においては、第一のコ
ントラスト補正手段と、スキップ処理手段と、ベクトル
連結処理手段とを備えている。

【００２８】上記第一のコントラスト補正手段は、所望
数の入力フレームから成る入力フレーム群のうちの時間
軸上最初のフレームに対して上記コントラスト補正を行
って再量子化し、上記入力フレーム群のうちの残りのフ
レームに対しては上記最初のフレームで得られたコント
ラスト補正情報を用いて再量子化する機能を有するもの
である。

【００２９】上記スキップ処理手段は、上記第一のコン
トラスト補正を施すことによって得られる動体検出用フ
レームのうちの少なくとも１枚をサーチ対象フレームと
し、このサーチ対象フレームを構成する全画素から最大
濃度値と最低濃度値とを算出して、それぞれを第一の閾
値及び第二の閾値とするとともに、上記最大濃度値と最
低濃度値との差分を算出して第三の閾値とし、上記動体
検出用フレームのうち上記サーチ対象フレームを除く残
りのフレームをテンプレートフレームとし、これらテン
プレートフレームを構成する全画素から最大濃度値と最
低濃度値とを算出し、これらテンプレートフレームから
得られた最大濃度値並びに最低濃度値が、それぞれ上記
第一の閾値並びに第二の閾値を越えているか否かを比較
判別し、これら最大濃度値並びに最低濃度値がいずれも
上記第一、第二の各閾値を越えない場合に、上記テンプ
レートフレームには動体が存在しないものと判断し、上
記テンプレートフレームから得られた最大濃度値及び最
低濃度値が、いずれも上記第一、第二の各閾値を越えた
場合に、上記テンプレートフレームから得られた最大濃
度値と最低濃度値との差分と、上記第三の閾値と、を比
較し、上記差分が上記第三の閾値よりも小さければ上記
テンプレートフレームには動体が存在しないと判断し、
上記テンプレートフレームから得られた最大濃度値及び
最低濃度値が、いずれも上記第一、第二の各閾値を越え
た場合で、上記差分が上記第三の閾値以上である場合
に、上記テンプレートフレームに動体が存在すると判断
する機能を有している。

【００３０】上記ベクトル連結処理手段は、上記動体検
出用フレームを構成する画素の、それぞれの動体検出用
フレームにおける座標データの変化と、これら画素の、
それぞれの動体検出用フレームにおける移動方向と、を
検出し、これら座標データの変化と移動方向とがほぼ一
致する全ての画素から構成される物体を一の動体とみな
す機能を有している。

【００３１】上述のように構成される動体検出装置を用
いて動体の検出を行う場合、第一のコントラスト補正手
段は、所望数の入力フレームから成る入力フレーム群の
うちの時間軸上最初のフレームに対して上記コントラス
ト補正を行って再量子化し、上記入力フレーム群のうち
の残りのフレームに対しては上記最初のフレームで得ら
れたコントラスト補正情報を用いて再量子化する。この
ため、従来、コントラスト補正に必要であったディフォ
ルト設定での量子化並びに全画素走査によるＬＵＴの作
成を省略できる。この結果、処理手順の短縮化を図れ、
その分、処理速度が向上する。

【００３２】また、上記スキップ処理手段は、以下のよ
うな作用を行う。即ち、前記動体検出用フレームおいて
は、時間的に前のフレームに対して動きのない箇所は中
間濃度値となる特性を利用して、テンプレートフレーム
を構成する画素中に、予め求めておいた第一、第二の各
閾値よりも突出した画素が存在するか否かを検出する。
このような検出は、先ず、テンプレートフレームの画素
中に、上記第一、第二の各閾値を越える濃度値が存在す
るか否かを調べ、この濃度値が第一、第二の各閾値を越
えない場合には、テンプレートフレーム内に動体は存在
しないと判断する。更に、上記第一、第二の閾値を越え
た場合には、ピーク値による判定を行う。すなわち、サ
ーチ対象フレームによって得られる第三の閾値と、テン
プレートフレームによって得られる上記差分とを比較
し、この差分値が第三の閾値よりも小さければ、テンプ
レートフレームに動体が存在しないと判断する。このよ
うに、この発明においては、２段階に亙ってスキップ処
理を施すため、パターンマッチング処理の高速化と、ロ
バスト性の向上とを図れる。

【００３３】更に、上記ベクトル連結処理手段は以下の
ように作用する。即ち、前記外乱等によって動体である
とみなされた物体は、時間の進行に伴う変移に秩序性が
少ない。従って、前記座標データの変化に加え、画素の
移動方向を加味することにより、時間の進行に伴う変移
に秩序性が小さいものは、動体とはみなされなくなる。
しかも、上記移動方向を加味することにより、複数の動
体が隣接する等によって実際の動体数よりも少なく認識
されることも防止できる。この結果、余分なデータ処理
を行う手間が省略され、動体検出処理の高速化と確実さ
とを向上させることができる。これら各処理手段におけ
る効果が相俟って、動体検出に関わる処理が正確かつ迅
速に行えるようになる。

【００３４】また、請求項４に記載した動体検出装置に
係る発明は、上述した請求項３に記載した動体検出装置
における第一のコントラスト補正手段に代えて、所望数
の入力フレームから成る入力フレーム群のうちの時間軸
上最初のフレームに対して上記コントラスト補正を行っ
て再量子化し、このフレームに続くフレームに対して
は、当該フレームの前のフレームにおけるコントラスト
補正情報を用いて再量子化する機能を有する、第二のコ
ントラスト補正手段を備えたことを特徴としている。

【００３５】上述のように構成される動体検出装置を用
いて動体の検出を行う場合、第二のコントラスト補正手
段は、所望数の入力フレームから成る入力フレーム群の
うちの時間軸上最初のフレームに対して上記コントラス
ト補正を行って再量子化し、このフレームに続くフレー
ムに対しては、当該フレームの前のフレームにおけるコ
ントラスト補正情報を用いて再量子化する。このため、
上述した請求項３に記載の動体検出装置における第一の
コントラスト補正手段に比較すれば劣るものの、コント
ラスト補正に必要であったディフォルト設定での量子化
並びに各フレームの全画素走査によるＬＵＴの作成を簡
略化できる。この結果、処理手順の短縮化を図れ、その
分、処理速度が向上する。

【００３６】

【発明の実施の形態】次に、この発明の実施の第１形態
例について説明する。この第１形態例は、従来から広く
普及しているパーソナルコンピュータを利用して動体検
出装置を構成したものである。即ち、図１に示すよう
に、前記図９に示す構成各回路１３、１４を一のボード
３３上に組みつけ、このボード３３を、パーソナルコン
ピュータの拡張スロットに装着自在とする。上記ボード
３３には、この発明の特徴部分をなす、第一のコントラ
スト補正、スキップ処理、ベクトル連結処理を含む、前
処理及びパターンマッチングを行う機能を設けている。
尚、この発明はコントラスト補正、スキップ処理、ベク
トル連結処理を施す部分に特徴があり、その他の構成並
びに作用は、前述した先発明に係る構造と同様である。
以下に、先ず前述した先発明構造と同等部分について簡
単に説明し、次いでこの発明の特徴部分について説明す
る。

【００３７】本形態例に係る動体検出装置は、従来知ら
れたＣＣＤカメラと同様、前記図９に示すように光入力
を電荷信号に変換し、蓄積する光電変換手段１０を備え
ている。この光電変換手段１０は、次のように構成され
ている。すなわち、図９に示すように、光情報を入力す
るレンズ１１と、撮像素子（ＣＣＤ）１２と、信号処理
回路１３と、同期回路１４と、上記撮像素子１２を駆動
させるための駆動手段１５とを備える。上記信号処理回
路１３は、ノイズを除去し、映像信号のみを取り出す回
路であるＣＤＳ１６を含んでいる。このような構成は、
従来から知られたＣＣＤカメラと同様である。上記レン
ズ１１と撮像素子１２とが特許請求の範囲に記載した撮
像手段を成す。

【００３８】更に、本形態例に係る動体検出装置におい
ては、上記信号処理回路１３に動体検出処理回路１７を
設けている。この動体検出処理回路１７は、図１０に示
すように、入力された光情報をＡ／Ｄ変換するＡ／Ｄ変
換器１８と、動体検出処理を施すための各種前処理を行
う前処理回路１９と、正論理により濃度値を電荷に変換
し、更に、この電荷に変換された画像フレームを蓄積す
るためのフレームメモリ２０と、負論理により濃度値を
電荷に変換する反転回路２１と、これらフレームメモリ
２０と反転回路２１とによりそれぞれ得られた画像フレ
ームを合成する合成回路２２と、この合成回路２２によ
り得られた信号をＤ／Ａ変換して出力するＤ／Ａ変換器
２３と、を備えている。符号２４は、入力された信号の
一部をスルー出力信号として送り出すための分配器であ
る。

【００３９】上記フレームメモリ２０は、上記前処理回
路１９を介して送られてきた、Ａ／Ｄ変換後の信号を、
その輝度が所定値以上のものをハイレベルとし、所定値
未満のものをローレベルとして（正論理で）量子化する
第一の量子化を施す。そして、この第一の量子化を施さ
れた画像データを蓄積する。一方、上記反転回路２１
は、上記Ａ／Ｄ変換後の信号を、その輝度が所定値以上
のものをローレベルとし、所定値未満のものをハイレベ
ルとして（負論理で）量子化する第二の量子化とを施
す。即ち、上記フレームメモリ２０では、入力された信
号を正論理で濃度値を電荷に変換し、上記反転回路２１
では、入力された信号を負論理で濃度値を電荷に変換す
る。

【００４０】そして、上記フレームメモリ２０に蓄積さ
れた画像フレームと、上記反転回路２１により第二の量
子化を施された画像フレームとを、合成回路２２に送
り、この合成回路２２で両者を合成し比較する。この合
成回路２２において、上記両者で同じ輝度の画素を打ち
消し合わせる。言い換えれば、両者の静止部分の濃度を
均一化する。この場合の処理は、上記前処理回路１９か
ら与えられたしきい値に基づいて行われる。上記合成回
路２２における処理により、Ｄ／Ａ変換を施されて出力
された出力信号においては、上記静止部分の濃度が均一
化されているとともに、動体と見做されるこれら両者で
異なる輝度の画素が抽出されたものとなっている。従っ
て、出力された信号中には、上記動体が浮かび上がった
状態となっている。上記合成回路２２に画像フレーム信
号を送った後のフレームメモリ２０及び反転回路２１
は、次の信号を入力し、同様の処理を行う。又、上記合
成回路２２は、出力信号を送り出すことによって、新た
な入力を待つべく待機する。

【００４１】更に、本形態例に係る動体検出装置は、上
記前処理回路１９に、コントラスト補正回路を設けてい
る。このコントラスト補正回路は、図３に示すように、
先ず、各ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）
のうちの時間軸上最初のフレーム３０に対してＬＵＴ作
成を行い、上記各ＧＯＰのうちの残りのフレーム３１に
対しては上記最初のフレーム３０で作成したＬＵＴを用
いて量子化するように機能する。尚、上記ＧＯＰは圧縮
処理の一規範であるMPEGにおける概念であるが、このＧ
ＯＰが特許請求の範囲に記載したフレーム群に相当す
る。また、上記コントラスト補正回路が、特許請求の範
囲に記載した第一のコントラスト補正手段を成す。

【００４２】また、本形態例においては、上記ボード３
３上に、上述したスキップ処理手段を設けている。この
スキップ処理手段は、図示しない演算回路（MPU ）によ
り構成することができる。その作用は、図４のフローチ
ャートに示すとおりである。即ち、前処理を施された画
像フレームのうちの少なくとも１枚をサーチ対象フレー
ム３４とし、このサーチ対象フレーム３４を構成する全
画素から最大濃度値（ＳＨ）と最低濃度値（ＳＬ）とを
算出して、それぞれを第一の閾値ＳＨ及び第二の閾値Ｓ
Ｌとする。これとともに、上記最大濃度値（ＳＨ）と最
低濃度値（ＳＬ）との差分（ＳＰＰ）を算出して第三の
閾値ＳＰＰとする（ステップ１）。

【００４３】また、ステップ１と並行するステップ２と
して、上記画像フレームのうち上記サーチ対象フレーム
３４を除く残りのフレームをテンプレートフレーム３５
とし、これらテンプレートフレーム３５を構成する全画
素から最大濃度値ＤＨと最低濃度値ＤＬとを算出する。
このように、サーチ対象フレーム３４及びテンプレート
フレーム３５において、それぞれ各値ＳＨ、ＳＬ、Ｄ
Ｈ、ＤＬを求めたならば、ステップ３として、これらテ
ンプレートフレーム３５から得られた最大濃度値ＤＨ並
びに最低濃度値ＤＬが、それぞれ上記第一の閾値ＳＨ並
びに第二の閾値ＳＬを越えているか否かを比較判別す
る。そして、これら最大濃度値ＤＨ並びに最低濃度値Ｄ
Ｌがいずれも上記第一、第二の各閾値ＳＨ、ＳＬを越え
ない場合（ＤＨ＜ＳＨ、且つＤＬ＞ＳＬ）に、上記テン
プレートフレーム３５には動体が存在しないものと判断
し、ベクトル生成処理をスキップする（ステップ４）。

【００４４】一方、上記テンプレートフレーム３５から
得られた最大濃度値ＤＨ及び最低濃度値ＤＬが、いずれ
も上記第一、第二の各閾値ＳＨ、ＳＬを越えた場合（Ｄ
Ｈ＞＝ＳＨ、かつ、ＤＬ＜＝ＳＬ）には、次のステップ
５に進み、上記テンプレートフレーム３５から得られた
最大濃度値ＤＨと最低濃度値ＤＬとの差分ＤＰＰと、上
記第三の閾値ＳＰＰと、を比較する。尚、上記差分ＤＰ
Ｐは、ステップ２で予め算出しておく。そして、上記差
分ＤＰＰが上記第三の閾値ＳＰＰよりも小さければ（Ｄ
ＰＰ＜ＳＰＰ）、上記テンプレートフレーム３５には動
体が存在しないと判断し、上記ステップ４に跳んでベク
トル生成処理をスキップする。

【００４５】これに対して、上記テンプレートフレーム
３５から得られた最大濃度値ＤＨ及び最低濃度値ＤＬ
が、いずれも上記第一、第二の各閾値ＳＨ、ＳＬを越え
た場合（ＤＨ＞＝ＳＨ、かつ、ＤＬ＜＝ＳＬ）で、上記
差分ＤＰＰが上記第三の閾値ＳＰＰ以上（ＤＰＰ＞＝Ｓ
ＰＰ）である場合には、上記テンプレートフレーム３５
に動体が存在すると判断し、ステップ６のベクトル生成
処理に進む。

【００４６】更に、上記ベクトル生成処理の後、ベクト
ル連結処理を行うが、このためにベクトル連結処理手段
を設けている。このベクトル連結処理手段も、上記スキ
ップ処理手段と同様、演算回路（スキップ処理手段と同
一のもので良い）により構成できる。このベクトル連結
処理手段は、上記動体検出用フレームを構成する各画素
のうちの、それぞれの動体検出用フレームにおける座標
データの変化を検出する。すなわち、位置の動体検出用
フレームにおける各画素が、時間の進行に伴ってその座
標位置がどのように変化しているかを検出する。上記座
標位置（座標データ）は、動体検出用フレームに仮想的
にX ―Y 直交座標を設定し、これによりその位置を検出
する。これとともに、これら各画素の、それぞれの動体
検出用フレームにおける移動方向を検出する。すなわ
ち、各画素の移動ベクトルを検出する。このベクトル
は、隣接する動体検出用フレームにおける各画素のそれ
ぞれの座標データから容易に求めることができる。そし
て、これら座標データの変化と移動方向とが、それぞれ
ほぼ一致する全ての画素から成る物体を一の動体とみな
すものである。

【００４７】図面に基づいて説明すると、従来構造にお
けるベクトル連結処理では、図６（Ａ）（Ｂ）に示すよ
うな動体検出用フレーム３１、３１から、同図（Ｃ）に
示すような、単一の動体４２が存在しているフレーム３
２しか得られない。これに対し、本形態例における動体
検出方法においては、上記座標データの変化とともに移
動方向を検出して、当該画像に動体が存在するか否かを
判断するため、図６（Ａ）（Ｂ）のフレーム３１、３１
からは同図（Ｄ）に示すように、正確に二つの被検出対
象である動体４３、４４が検出される。勿論、前述した
照明装置や風雨による外乱の影響は、その秩序性の小さ
さに伴って排除されるため、動体として認識されること
はない。

【００４８】本形態例の動体検出方法は、上述のように
構成されるため、動体の有無を判定するための処理を迅
速かつ確実に行える。即ち、上記コントラスト補正回路
は、各ＧＯＰのうちの時間軸上最初のフレーム３０に対
してＬＵＴ作成を行い、上記各ＧＯＰのうちの残りのフ
レーム３１に対しては上記最初のフレーム３０で作成し
たＬＵＴを用いて量子化する。従って、従来、コントラ
スト補正に必要であったディフォルト設定での量子化並
びに全画素走査によるＬＵＴの作成を省略できる。この
結果、処理手順の短縮化を図れ、その分、処理速度が向
上する。上記LUT が特許請求の範囲に記載したコントラ
スト補正情報に相当する。

【００４９】また、上記スキップ処理手段においては、
２段階に亙ってスキップ処理を施すため、パターンマッ
チング処理の高速化とロバスト性の向上とを図れる。更
に、テンプレートフレーム３５の各濃度値が各閾値を越
えているか否かを、高濃度側と低濃度側との両側に亙っ
て検出するため、偶発的なデータスキップの可能性を排
除できる。更に、第一、第二、第三の各閾値を、サーチ
対象フレーム３４の全画素から求めるため、これら各閾
値自体も入力画像条件に適した値を取ることが可能であ
る。

【００５０】尚、上記第一、第二、第三の各閾値ＳＨ、
ＳＬ、ＳＰＰは、以下の式により算出する。

【００５１】

【数１】

【００５２】

【数２】

【００５３】

【数３】

【００５４】但し、上記数１、数２、数３において、Ａ
ｖｅはサーチ対象フレームの全画素数をｎ、各画素の濃
度値をｘとした場合の平均値を表し、ρは分散を表して
いる。上記平均値Ａｖｅは数４により、上記分散ρは数
５により与えられる。尚、上記ＤＨ、ＤＬ、ＤＰＰも同
様にして算出する。

【００５５】

【数４】

【００５６】

【数５】

【００５７】この形態例の動体検出方法は、上述したよ
うに構成されるため、前述したような外乱等によって被
検出対象でないにも拘らず、この被検出対象と同様の動
体であると認識されることが防止される。また、複数の
被検出対象が存在するにも拘らず、検出される動体が実
際よりも少なくなることもない。この結果、余計なデー
タ処理を行う手間が省略され、動体検出処理の高速化と
確実さとを向上させることができる。

【００５８】更に、この形態例に係る動体検出装置は、
上記前処理回路１９等に設けた演算装置（ＭＰＵ、ＣＰ
Ｕ）等に、上述した各処理手段を組み込むことで構成で
きる。尚、図１に示す構成の場合、ボード３３はＰＣＩ
バスを利用しているが、ＯＳＡバス等、従来知られたバ
スを利用できることは言うまでもない。図１で符号３６
はディスプレイである。上記ボード３３には、上記前処
理とパターンマッチング（スキップ処理及びベクトル連
結処理）とを行う機能を設けることは言うまでもない。

【００５９】尚、本形態例に係る動体検出装置において
は、入力画像を、グレースケールとする。入力画像がフ
ルカラー画像であっても動体の検出を行えるが、フルカ
ラー画像は細かな色差や彩度差を表現可能であるため、
出力画像に余分な情報を載せてしまう。このため、入力
画像としてはグレースケールが好ましい。また、上述し
た本形態例の装置により動体の検出を行う場合、当該装
置の位置及びアングル、更に焦点距離は、固定されてい
る必要がある。これらが変化した場合、この変化による
ずれが全て抽出されてしまうからである。

【００６０】また、同様の考え方で、図２に示すような
構成とすることもできる。すなわち、ボード３３a に、
前述した構成各回路１３、１４とともにビデオコントロ
ール回路等を設けるとともに、パーソナルコンピュータ
が備えるRAM にビデオコントロール用等のソフトウエア
を記憶させ、判定結果の出力等を自在とすることができ
る。この例の場合、前記スルー出力信号をビデオデッキ
３７に流すとともにモニタ用のディスプレイ３８にその
映像を表示させる。更に、上記コントラスト補正等を行
った映像信号を上記ディスプレイ３６に流し、この映像
をディスプレイ３６に表示させる。この図２に示す構成
の場合、モニタ用のディスプレイ３８にはＣＣＤカメラ
が写し出すそのままの映像が表示されるが、上記パーソ
ナルコンピュータのディスプレイ３６にはコントラスト
補正された明度及び輝度の高い映像が表示される。この
際の補正処理は上述したように迅速に行われるため、上
記モニタ用のディスプレイ３８の表示画面に対して大き
なタイムラグが生じることはない。

【００６１】より具体的には、上記CCD カメラにカメラ
アダプタを接続し、このカメラアダプタから上記ボード
３３a を介してハードディスク等の記録手段に、静止画
像等として記録する。これとともに、このカメラアダプ
タからビデオデッキ３７を介して上記モニタ用のディス
プレイ３８に映像を流す。上記ビデオデッキ３７として
は従来知られたものを使用でき、このビデオデッキ３７
によっても当該映像を記録する。更に、本第２形態例の
場合、ボード３３a に動体検出をより効果的に行える機
能を組み込むこともできる。例えば、検出範囲を赤い線
で囲んだり、動体の移動方向を矢印表示したりすること
ができる。このような機能は、従来知られた画像処理技
術により、容易に行える。

【００６２】尚、上述した各形態例においては、各ＧＯ
Ｐの内の時間軸上最初のフレームに対してＬＵＴ作成を
行い、上記各ＧＯＰのうちの残りのフレームに対しては
上記最初のフレームで作成したＬＵＴを用いて量子化す
る、コントラスト補正回路（第一のコントラスト補正手
段）を用いた例について説明したが、これとは別に、コ
ントラスト補正回路を、時間軸上最初のフレームに対し
てＬＵＴ作成を行い、上記フレームに続くフレームに対
しては、当該フレームの前のフレームにおけるＬＵＴを
用いて量子化するように構成する（第二のコントラスト
補正手段）こともできる。このようなコントラスト補正
回路を設けた場合、上述した形態例のコントラスト補正
回路に比較すればその処理速度は劣るものの、コントラ
スト補正に必要であったディフォルト設定での量子化並
びに各フレームの全画素走査によるＬＵＴの作成を簡略
化でき、やはり、処理手順の短縮化を図れ、その分、処
理速度が向上する。

【００６３】尚、この発明に係る動体検出方法及び動体
検出装置は、上記図示の例に限らず、種々の構成を取る
ことが可能である。例えば、ボード３３、３３ａに組み
込むことなく（パーソナルコンピュータを利用すること
なく）、独立した装置とすることができる。

【００６４】

【発明の効果】この発明に係る動体検出方法及び動体検
出装置は、上述のように構成され作用するため、処理速
度を向上させることができ、迅速で確実な動体検出を行
うことが可能になる。また、ロバスト性の向上も図るこ
とができるとともに、偶発的なスキップの可能性を排除
できる。

【図面の簡単な説明】

【図１】この発明の実施の第１形態例を説明するための
図である。

【図２】この発明の実施の第２形態例を説明するための
図である。

【図３】この発明に係る第一のコントラスト補正を説明
するための図である。

【図４】この発明に係るスキップ処理を説明するための
フローチャートである。

【図５】パターンマッチングを説明するための図であ
る。

【図６】この発明に係るベクトル連結処理を説明するた
めの図である。

【図７】従来構造におけるベクトル連結処理を説明する
ための図である。

【図８】動体検出処理の基本原理を説明するための略図
である。

【図９】先発明構造を示すブロック図である。

【図１０】動体検出処理回路の構成を示すブロック図で
ある。

【符号の説明】

１２撮像素子１３信号処理１７動体検出処理回回路２０フレームメモリ２１反転回路２２合成回路３０，３１，３２フレーム３３，３３ａボード３４サーチ対象フレーム３５テンプレートフレーム４０，４１，４２，４３，４４動体

───────────────────────────────────────────────────── フロントページの続き (72)発明者小牧俊一東京都品川区大崎１丁目６番４号株式会社ユーエスシー内

Claims

【特許請求の範囲】

【請求項１】撮像手段により得られた入力フレームの
量子化方向を交互に反転して再量子化することによりポ
ジフレームとネガフレームとを交互に出力し、更に、順
方向に隣接するポジフレームとネガフレームとに共通す
る静止部分の濃度値を均一化することにより動体部分を
抽出する動体検出方法であって、所望数の入力フレーム
から成る入力フレーム群のうちの時間軸上最初のフレー
ムに対して上記コントラスト補正を施して再量子化し、
上記入力フレーム群のうちの残りのフレームに対しては
上記最初のフレームで得られたコントラスト補正情報を
用いて再量子化する第一のコントラスト補正を施し、次
いで、上記第一のコントラスト補正を施すことによって
得られる動体検出用フレームのうちの少なくとも１枚を
サーチ対象フレームとし、このサーチ対象フレームを構
成する全画素から最大濃度値と最低濃度値とを算出し
て、それぞれを第一の閾値及び第二の閾値とすると共
に、上記最大濃度値と最低濃度値との差分を算出して第
三の閾値とし、上記動体検出用フレームのうち上記サー
チ対象フレームを除く残りのフレームをテンプレートフ
レームとし、これらテンプレートフレームを構成する全
画素から最大濃度値と最低濃度値とを算出し、これらテ
ンプレートフレームから得られた最大濃度値並びに最低
濃度値が、それぞれ上記第一の閾値並びに第二の閾値を
越えているか否かを比較判別し、これら最大濃度値並び
に最低濃度値がいずれも上記第一、第二の各閾値を越え
ない場合に、上記テンプレートフレームには動体が存在
しないものと判断し、上記テンプレートフレームから得
られた最大濃度値及び最低濃度値が、いずれも上記第
一、第二の各閾値を越えた場合に、上記テンプレートフ
レームから得られた最大濃度値と最低濃度値との差分
と、上記第三の閾値と、を比較し、上記差分が上記第三
の閾値よりも小さければ上記テンプレートフレームには
動体が存在しないと判断し、上記テンプレートフレーム
から得られた最大濃度値及び最低濃度値が、いずれも上
記第一、第二の各閾値を越えた場合で、上記差分が上記
第三の閾値以上である場合に、上記テンプレートフレー
ムに動体が存在すると判断する、スキップ処理を施し、
かつ、上記動体検出用フレームを構成する画素の夫々の
動体検出用フレームにおける座標データの変化と、これ
ら画素の夫々の動体検出用フレームにおける移動方向
と、を検出し、これら座標データの変化と移動方向とが
ほぼ一致する全ての画素から構成される物体を一の動体
とみなすベクトル連結処理を施すことを特徴とする動体
検出方法。
【請求項２】前記第一のコントラスト補正に代えて、
所望数の入力フレームから成る入力フレーム群のうちの
時間軸上最初のフレームに対して上記コントラスト補正
を行って再量子化し、このフレームに続くフレームに対
しては当該フレームの前のフレームにおけるコントラス
ト補正情報を用いて再量子化する第二のコントラスト補
正を施すことを特徴とする請求項１に記載の動体検出方
法。
【請求項３】光入力を量子化して電荷信号に変換する
光電変換手段を備え、この光電変換手段は、入力された
光情報を、その輝度が所定値以上のものをハイレベルと
し、所定値未満のものをローレベルとして量子化する第
一の量子化と、その輝度が所定値以上のものをローレベ
ルとし、所定値未満のものをハイレベルとして量子化す
る第二の量子化とを交互に施し、上記第一の量子化を施
された画像フレームとこの第一の量子化に続く第二の量
子化を施された画像フレームとを比較し、両者で同じ輝
度の画素を打ち消し合わせることにより、動体と見做さ
れる、これら両者で異なる輝度の画素を抽出自在とした
動体検出装置であって、第一のコントラスト補正手段
と、スキップ処理手段と、ベクトル連結処理手段とを備
え、上記第一のコントラスト補正手段は、所望数の入力
フレームから成る入力フレーム群のうちの時間軸上最初
のフレームに対して上記コントラスト補正を行って再量
子化し、上記入力フレーム群のうちの残りのフレームに
対しては上記最初のフレームで得られたコントラスト補
正情報を用いて再量子化する機能を有するものであり、
上記スキップ処理手段は、上記第一のコントラスト補正
手段によるコントラスト補正を施すことによって得られ
る動体検出用フレームのうちの少なくとも１枚をサーチ
対象フレームとし、このサーチ対象フレームを構成する
全画素から最大濃度値と最低濃度値とを算出して、それ
ぞれを第一の閾値及び第二の閾値とするとともに、上記
最大濃度値と最低濃度値との差分を算出して第三の閾値
とし、上記動体検出用フレームのうち上記サーチ対象フ
レームを除く残りのフレームをテンプレートフレームと
し、これらテンプレートフレームを構成する全画素から
最大濃度値と最低濃度値とを算出し、これらテンプレー
トフレームから得られた最大濃度値並びに最低濃度値
が、それぞれ上記第一の閾値並びに第二の閾値を越えて
いるか否かを比較判別し、これら最大濃度値並びに最低
濃度値がいずれも上記第一、第二の各閾値を越えない場
合に、上記テンプレートフレームには動体が存在しない
ものと判断し、上記テンプレートフレームから得られた
最大濃度値及び最低濃度値が、いずれも上記第一、第二
の各閾値を越えた場合に、上記テンプレートフレームか
ら得られた最大濃度値と最低濃度値との差分と、上記第
三の閾値と、を比較し、上記差分が上記第三の閾値より
も小さければ上記テンプレートフレームには動体が存在
しないと判断し、上記テンプレートフレームから得られ
た最大濃度値及び最低濃度値が、いずれも上記第一、第
二の各閾値を越えた場合で、上記差分が上記第三の閾値
以上である場合に、上記テンプレートフレームに動体が
存在すると判断する機能を有しており、上記ベクトル連
結処理手段は、上記動体検出用フレームを構成する画素
の、それぞれの動体検出用フレームにおける座標データ
の変化と、これら画素の、それぞれの動体検出用フレー
ムにおける移動方向と、を検出し、これら座標データの
変化と移動方向とがほぼ一致する全ての画素から構成さ
れる物体を一の動体とみなす機能を有するものであるこ
とを特徴とする動体検出装置。
【請求項４】前記第一のコントラスト補正手段に代え
て、所望数の入力フレームから成る入力フレーム群のう
ちの時間軸上最初のフレームに対して上記コントラスト
補正を行って再量子化し、このフレームに続くフレーム
に対しては、当該フレームの前のフレームにおけるコン
トラスト補正情報を用いて再量子化する機能を有する、
第二のコントラスト補正手段を備えたことを特徴とす
る、請求項３に記載の動体検出装置。