JP4832894B2

JP4832894B2 - 画像センサ

Info

Publication number: JP4832894B2
Application number: JP2005377350A
Authority: JP
Inventors: 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2005-12-28
Filing date: 2005-12-28
Publication date: 2011-12-07
Anticipated expiration: 2025-12-28
Also published as: JP2007180933A

Description

本発明は、監視空間を撮像した画像を用いて侵入者を検出することを目的とした画像センサに関する。

監視空間を撮像するカメラ等の撮像装置を用いて撮像して得た画像情報に背景差分処理等を施して、監視空間への移動体の侵入を検出する画像センサが提案されている。背景差分処理は、監視を開始した直後に得た侵入者が存在しない監視空間を撮像した画像を背景画像として記憶しておき、新たに監視空間を撮像した入力画像と背景画像とにおける対応する画素の差が所定値以上である画素の集合を侵入者等の物体による変化によって生じた変化領域として抽出する。

特許文献１には、背景差分処理により監視空間に侵入した侵入者等の移動物体を検出する技術が開示されている。監視を開始する際に背景画像を初期化すると共に、変化領域がほとんど抽出されない場合や監視時の入力画像の大部分が変化領域として抽出された場合に背景画像を入力画像にて更新することにより監視空間の照明状況の変化に対応させている。また、順次撮像された入力画像を背景差分処理し、これによって抽出された変化領域を移動物体の候補とし、それらの変化領域とさらに前に撮像された入力画像に対する背景差分処理により抽出された変化領域との位置を比較して、対応し合う変化領域の位置に変動が見られた場合には移動物体であると判定する。

特開２００１−００８１８９号公報

しかしながら、上記従来技術のように、背景画像を入力画像により初期化又は更新すると監視空間に移動物体が存在しているときに撮像された画像が背景画像となってしまうおそれがある。このような背景画像を用いて背景差分処理を行うと移動物体を検出し損ねる可能性がある。

例えば、図９（ａ）に示すように、時刻ｔ０に監視を開始する際に撮像された入力画像を背景画像Ｐ１０として、この時点で監視空間に侵入者が既に存在しており、入力画像に侵入者による画像領域Ａ０が含まれていた場合について説明する。その後、時刻ｔ１には侵入者がカメラから遠ざかる方向に移動していた場合、図９（ｂ）に示すように、時刻ｔ１に新たに監視空間を撮像した入力画像Ｐ１１には背景画像Ｐ１０における侵入者の画像領域Ａ０に対応する領域Ａ１に内包されるように侵入者による画像領域Ｂ１が含まれる。このような場合、入力画像Ｐ１１と背景画像Ｐ１０との背景差分処理を行うと、図９（ｃ）に示すように、画像領域Ｂ１を内包する画像領域Ａ０が変化領域Ｃ１として抽出される。さらに、時刻ｔ２には侵入者がカメラからさらに遠ざかる方向に移動していた場合、図９（ｄ）に示すように、時刻ｔ２に新たに監視空間を撮像した入力画像Ｐ１２には背景画像Ｐ１０における侵入者の画像領域Ａ０に対応する領域Ａ１に内包されるように侵入者による画像領域Ｂ２が含まれる。このような場合、入力画像Ｐ１２と背景画像Ｐ１０との背景差分処理を行うと、図９（ｅ）に示すように、画像領域Ｂ２を内包する画像領域Ａ０が変化領域Ｃ２として抽出される。

このとき、位置や形状の変化検出を緩やかにしていると、時刻ｔ１における変化領域Ｃ１と時刻ｔ２における変化領域Ｃ２との画像内での位置や形状の変化はないと判断し、移動物体による変化領域であるとみなせず、侵入者を検出することができない場合もある。

また、監視空間にトラック等の大きな移動物体が侵入し、入力画像の大部分が変化領域として抽出された場合、この入力画像によって背景画像が更新されると異常な背景画像となり同様の問題が生ずる可能性がある。

一方、背景画像を更新しない場合には、監視空間の照明環境の変化による影響を避けることができず、侵入者の検出の感度及び精度が低下するおそれがある。

また、上記従来技術では、変化領域がほとんど抽出されない場合に背景画像を更新する。しかしながら、上記のように異常な背景画像が得られた場合、背景差分処理によって変化領域が抽出され続けることになるので背景画像は更新されず、背景画像を正常に戻すためには人為的に初期化を行う必要がある。

本発明は、上記従来技術の問題を鑑み、上記課題の少なくとも１つを解決することができる画像センサを提供することを目的とする。

本発明は、監視空間を撮像した監視画像を順次取得して、互いに取得時刻が異なる監視画像間の差分処理により抽出された変化領域に基づいて監視空間に存在する移動物体を検出する画像センサであって、所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、を備え、前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状を比較して、前記位置及び前記形状が略一致している場合に前記背景画像に移動物体による異常領域が含まれていると判定することを特徴とする。

ここで、前記背景画像に移動領域による異常領域が含まれていると判定された場合、当該背景差分領域を前記異常領域であるとして当該異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって変化領域を抽出し、前記異常領域外の背景差分領域については当該背景差分領域を前記変化領域として抽出することが好適である。このような処理を行って前記変化領域を抽出することによって前記背景画像内に移動物体による異常領域が存在する場合においても移動物体を検出することが可能となる。

また、前記背景異常領域検出部は、更に前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記背景差分領域の前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することが好適である。このような判定処理を行うことによって、前記背景画像内に含まれる移動物体による異常領域を適確に抽出することができる。

また、前記背景画像に移動領域による異常領域が含まれていると判定された場合、当該背景差分領域を前記異常領域であるとして当該異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって変化領域を抽出し、前記異常領域から前記変化領域を除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることが好適である。このように背景画像を更新することによって、背景画像に含まれる異常領域内の画像を移動物体による画像ではない正常な画像に更新することができる。これによって、移動物体を適確に検出できる確率を高めることができる。

本発明によれば、移動物体による画像領域を含む異常な背景画像を検出することができる。これにより、移動物体による画像領域を含む異常な背景画像を自動的に正常化させ、移動物体を検出することを可能とする。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。

本発明の実施の形態における画像センサ１００は、図１に示すように、撮像部１０、画像入力インターフェース（Ｉ／Ｆ）１２、変化領域抽出部１４、ラベリング処理部１６、追跡処理部１８、背景異常領域検出部２０、背景異常領域設定部２２、背景画像設定部２４、特徴量算出部２６、異常判定部２８、記憶部３０及び出力部３２を含んで構成される。

画像入力インターフェース（Ｉ／Ｆ）１２、変化領域抽出部１４、ラベリング処理部１６、追跡処理部１８、背景異常領域検出部２０、背景異常領域設定部２２、背景画像設定部２４、特徴量算出部２６、異常判定部２８、記憶部３０を含む装置本体は、ＣＰＵ、メモリ、入出力装置等を含む基本的なコンピュータの構成によって実現することができる。なお、本実施の形態では、被検出対象を侵入者として説明を行うが、他の被検出物体に置き換えても同様に処理を行うことができる。

画像センサ１００は、画像監視を開始させる操作や設定されたタイミングにて侵入者検知を開始する。撮像部１０は、ＣＣＤ撮像素子を備えたカメラを含んで構成される。撮像部１０は、監視対象となる監視空間の画像を所定の時間間隔にて撮像して、監視空間の明るさを電圧値又は電流値で表す電気信号に変換して画像入力Ｉ／Ｆ１２へ出力する。画像入力Ｉ／Ｆ１２は、増幅器及びアナログ／デジタル変換器を含んで構成される。画像入力Ｉ／Ｆ１２は、撮像部１０から電気信号を受けて、その電気信号を増幅器で増幅した後にアナログ／デジタル変換器でデジタル信号に変換して所定の時間間隔にて監視画像（以下、他の画像と区別するために入力画像という）を生成する。入力画像は、明るさを２５６階調で表現した輝度値（画素値）の集合となる。生成された入力画像は、変化領域抽出部１４及び背景画像設定部２４へ送られる。

なお、画像は、カラー画像から輝度信号を抜き出した画像、又は、カラー画像からカラー成分の１つを抜き出した画像でもよい。撮像部１０で取得される画像は、静止画、動画を問わず、両方を取得してもよい。なお、ＣＣＤ撮像素子の代わりにＣＭＯＳ撮像素子等の光電変換素子を用いることもできる。

また、画像のダイナミックレンジを自動的に調整する自動利得制御（ＡＧＣ）機能を持たせることが好ましい。例えば、画像全体が２５６階調（０〜２５５階調）のダイナミックレンジを可能な限り広く用いるように調整を行うことが好適である。

変化領域抽出部１４は、背景異常領域設定部２２から背景異常領域の設定情報を受けて、その設定情報に基づいて変化領域の抽出処理を行う。背景異常領域設定部２２において背景異常領域が設定されていない場合、変化領域抽出部１４では、背景画像設定部２４において生成され、記憶部３０に記憶されている背景画像を読み出し、画像入力Ｉ／Ｆ１２から得た入力画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。また、背景異常領域設定部２２において背景異常領域が設定されている場合、背景異常領域として設定されている画像領域については画像入力Ｉ／Ｆ１２から新たに得た入力画像と、それより前に得た過去の入力画像（直前又は所定数だけ前のフレームの入力画像）との間で対応する画素同士の差分値を算出するフレーム間差分処理を行い、背景異常領域として設定されている画像領域以外の領域については画像入力Ｉ／Ｆ１２から新たに得た入力画像と背景画像との間で対応する画素同士の差分値を算出する背景差分処理を行う。過去の入力画像は必要に応じて記憶部３０に格納及び保持しておき、記憶部３０から読み出して用いることが好適である。背景差分処理又はフレーム間差分処理された画像について、各画素についての差分値の絶対値が所定の二値化閾値以上である場合は画素値“１”を有する変化画素、所定の二値化閾値より小さい場合は画素値“０”を有する無変化画素とする２値化画像を生成する。このとき、膨張や収縮あるいは微小面積除去（独立した変化画素の除去）等のフィルタリング処理を施してノイズを除去した２値化画像を生成することが好適である。これにより、新たに得られた入力画像と背景画像及び過去の入力画像との間で輝度値の変動が二値化閾値以上であった画素からなる変化領域が抽出される。変化領域の位置及び形状の情報は記憶部３０に格納及び保持される。

ラベリング処理部１６では、変化領域抽出部１４の背景差分処理又はフレーム間差分処理によって得られた２値化画像内において纏まって１つの群を構成する変化画素の領域を変化領域としてグループ化し、各変化領域を識別するために固有のラベルを付与して「物体候補領域」とするラベリング処理を行う。追跡処理部１８では、ラベリング処理された物体候補領域のトラッキング処理を行う。トラッキング処理では、過去の入力画像に対する２値化画像から抽出された物体候補領域を含む周囲に設定されたトラッキングの検索範囲内に現在の入力画像に対する２値化画像から抽出された物体候補領域が存在するか否かを判定し、該当する物体候補領域が存在する場合には、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の物体を撮像した画像領域であると推定して物体候補領域同士を対応付ける。

背景異常領域検出部２０は、所定のフレーム間で追跡処理部１８において対応付けられた物体候補領域の位置及び形状が略一致すると共に、所定のフレーム間の互いに対応する画素の画素値が前記物体候補領域内において所定以上変化している場合にその物体候補領域を「背景異常領域」として検出する。この処理は、背景差分処理によって抽出され、追跡処理部１８において対応付けられた物体候補領域の総てについて各々行われる。背景異常領域検出部２０における処理については詳細に後述する。

背景異常領域設定部２２は、背景異常領域検出部２０で検出された背景異常領域に基づいてフレーム間差分を実行する領域を設定する。背景異常領域の設定は画素単位で行われる。背景異常領域設定部２２で設定された背景異常領域の位置及び形状の情報は変化領域抽出１４へ設定情報として出力されると共に、記憶部３０に格納及び保持される。

背景画像設定部２４は、背景画像生成部と背景画像更新部とを含んで構成される。背景画像生成部は、監視処理開始時又は所定のタイミングで撮像済みの入力画像を背景画像として記憶部３０に格納する、又は、入力画像と記憶部３０に格納された背景画像とを加重加算した画像を新たな背景画像として記憶部３０に格納する等の処理により背景画像を生成又は更新する。背景画像更新部は、背景異常領域設定部２２において設定された背景異常領域に基づいて部分的に背景画像を更新する。背景画像設定部２４における処理については詳細に後述する。

特徴量算出部２６は、追跡処理部１８において複数のフレームの入力画像に対して同一物体を撮像した領域として対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量を算出する。ここでは、物体候補領域の移動距離、移動軌跡、連続出現回数等を算出する。ただし、これらに限定されるものではなく、物体候補領域の輝度平均値や輝度分散値等の画像特徴量、物体候補領域の面積，縦横比，重心位置等の幾何的な特徴量、背景画像との正規化相関値や差分平均値等の比較値を特徴量として算出してもよい。

具体的には、異なる時刻に撮像された入力画像について追跡処理部１８で同一物体を撮像した領域として対応付けられた物体候補領域の間の距離に基づいて移動距離を求める。すなわち、同一の物体としてラベリングされた物体候補領域について記憶されている画像内の位置座標（重心座標）を記憶部から読み出して、この位置座標と、対応する現入力画像の物体候補領域の位置座標（重心座標）との間の実距離を物体の実距離移動量として算出する。

また、過去に得られた複数の入力画像について追跡処理部１８で同一物体を撮像した領域として対応付けられた物体候補領域の重心座標の速度ベクトルの変化を移動軌跡として算出する。また、過去に得られた複数の入力画像について追跡処理部１８で同一物体を撮像した領域として連続して判断された画像（フレーム）数を連続出現回数として算出する。

異常判定部２８は、特徴量算出部２６で算出された特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する移動体判定部として機能する。異常判定部２８において侵入者による物体候補領域が少なくとも１つ存在すると判定された場合には出力部３２へ異常信号が出力される。

具体的には、特徴量算出部２６から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。移動距離は、所定の閾値以上である場合には「人らしい」と判定することができる。また、移動軌跡は、直線又は滑らかな曲線を描く場合には「人らしい」と判定することができ、ジグザクに大きく変化する場合には「人以外の物体」と判定することができる。また、連続出現回数は、所定の閾値以上に連続している場合には「人らしい」と判定することができ、所定の閾値より小さく断続的である場合には「人以外の物体」と判定することができる。そこで、過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。

なお、侵入者の存在の有無を判定する処理はこれに限定されるものでなく、他の画像特徴量、幾何的な特徴量、背景画像との比較値等を所定の閾値と比較して判定してもよい。また、適宜複数の特徴量を組み合わせて、それらの判定結果の論理積又は論理和により判定してもよい。

記憶部３０は、画像センサ１００の各処理に利用される情報、すなわち、入力画像、背景画像、各種の閾値、物体候補領域に関する情報、背景異常領域に関する情報を格納及び保持する。これらの情報は、画像センサ１００の各部からの要求に応じて適宜読み出し及び更新される。記憶部３０は、半導体メモリ、磁気ディスク装置、光ディスク装置等の記憶装置を含んで構成される。

出力部３２は、異常判定部２８から異常信号を受けると異常を外部へ知らせる手段として機能する。例えば、ブザー等により周囲に警告を発したり、監視センタに対して撮像画像やアラーム信号を送信したりする。

以下、図２のフローチャートを参照して、画像センサ１００による侵入者検出処理について説明する。フローチャートの各処理は、コンピュータにおいて実行可能な制御プログラムとすることによって、画像センサ１００を構成するコンピュータの各処理部で実行させることができる。

ステップＳ１０では、監視開始時に撮像部１０により撮像された現在の入力画像（以下、現入力画像という）が画像入力Ｉ／Ｆ１２を介して背景画像設定部２４へ入力され、背景画像設定部２４においてその入力画像が背景画像として初期設定される。ステップＳ１２では、撮像部１０により現入力画像が画像入力Ｉ／Ｆ１２を介して変化領域抽出部１４及び背景画像設定部２４へ入力される。

ステップＳ１４では、変化領域抽出部１４において現入力画像から変化領域が抽出される。ステップＳ１４は図３に示すようにサブルーチン化されている。ステップＳ１４−１では、現入力画像に含まれる各画素を特定するためのカウンタＣが初期化される。ここでは、現入力画素に含まれる各画素はそれぞれ固有の番号が付与されておりカウンタＣの値によって特定されるものとする。ステップＳ１４−２では、カウンタＣによって特定される画素が背景異常領域に設定されているか否かが判定される。変化領域抽出部１４は、背景異常領域設定部２２から設定情報を受けて、カウンタＣによって特定される画素が背景異常領域に設定されているか否かを判定し、カウンタＣによって特定される画素が背景異常領域に設定されている場合にはステップＳ１４−３に処理を移行させ、背景異常領域に設定されていない場合にはステップＳ１４−４に処理を移行させる。

ステップＳ１４−３では、カウンタＣで特定される画素について現入力画像とそれより前に得た過去の入力画像（直前又は所定数だけ前のフレームの入力画像）との間で対応する画素値同士の差分値が算出される。一方、ステップＳ１４−４では、記憶部３０に記憶されている背景画像が読み出され、カウンタＣで特定される画素について入力画像と背景画像との間で対応する画素値同士の差分値が算出される。その後、処理はステップＳ１４−５へ移される。ステップＳ１４−５では、ステップＳ１４−３又はステップＳ１４−４で算出された差分値の絶対値が所定の二値化閾値以上である場合は画素値“１”を有する変化画素、所定の二値化閾値より小さい場合は画素値“０”を有する無変化画素とする２値化処理が行われる。

ステップＳ１４−６では、画像内の総ての画素について処理が終了したか否かが判定される。総ての画素について処理が終了していれば処理をメインルーチンのステップＳ１６へ戻し、総ての画素について処理が終了していなければステップＳ１４−７においてカウンタＣを１増加させてステップＳ１４−２から処理を繰り返す。

ステップＳ１６では、ラベリング処理部１６において上記のようにラベリング処理が行われる。ステップＳ１８では、追跡処理部１８において上記のように追跡処理が行われる。ここで、纏まった変化画素が特有のラベル番号を付された「物体候補領域」として設定される。以下、現入力画像に対する物体候補領域を現物体候補領域という。

ステップＳ２０では、背景異常領域検出部２０において背景異常領域の検出処理が行われる。なお、本処理は、ステップＳ１６において、物体候補領域として抽出された領域のうち背景差分処理により抽出された領域（背景差分領域）のみを対象とし、フレーム間差分処理によって抽出された領域（フレーム間差分領域）は対象としない。ステップＳ２０は図４に示すようにサブルーチン化されている。ステップＳ２０−１では、物体候補領域のラベル番号を特定するためのカウンタＭ、各物体候補領域の位置及び形状に関する記録情報、背景異常領域連続回数を示すカウンタＫ（Ｍ）が初期化される。ここでは、ステップＳ１６において背景差分処理によって抽出された各物体候補領域に１から順にラベル番号が割り振られているものとし、カウンタＭを１に初期設定する。また、過去に既に割り当てられていたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタＫ（Ｍ）はそのまま維持され、新たに割り付けられたラベル番号の物体候補領域に対する背景異常領域連続回数を示すカウンタＫ（Ｍ）を０に初期設定する。

ステップＳ２０−２では、過去のラベリング処理において物体候補領域として抽出されていなかった新規の物体候補領域であるか否かが判定される。ステップＳ１８の追跡処理におけるトラッキング処理で、物体候補領域の領域のサイズ、形状等の特徴量の類似度に基づいて過去に同一の物体を撮像した画像領域である物体候補領域が存在するとされた場合にはステップＳ２０−３へ処理を移行させ、そうでない場合にはステップＳ２０−１３へ処理を移行させる。

ステップＳ２０−３では、背景異常領域候補が検出される。ステップＳ２０−３の処理は、図５に示すフローチャートに沿って行われる。ここでは、追跡処理部１８で検出された現物体候補領域と記憶部３０に記憶されている直前（１フレーム前）の入力画像に対して得られた物体候補領域との形状、位置及び画像について比較し、形状、位置及び画像の内容の一致度により物体候補領域が背景が異常である背景異常領域の候補となるか否かを判定する。

ステップＳ３０−１では、物体候補領域の形状を求める。ラベル番号がカウンタＭと一致する現物体候補領域に外接する矩形領域を求め、その矩形領域の幅Ｗ１及び高さＨ１を算出する。さらに、ステップＳ１８における追跡処理によってその現物体候補領域に対応付けられる直前の入力画像における物体候補領域に外接する矩形領域を求め、その矩形領域の幅Ｗ２及び高さＨ２を算出する。これらの値は記憶部３０に格納及び保持される。ステップＳ３０−２では、２つの物体候補領域の形状が一致しているか否かを判定する。具体的には、２つの物体候補領域の幅Ｗ１とＷ２の差が予め定めた幅閾値以下であり、かつ、高さＨ１とＨ２の差が予め定めた高さ閾値以下である場合には形状が一致するものと判定してステップＳ３０−３へ処理を移行させ、そうでない場合には形状が一致しないものと判定してステップＳ２０−４へ処理を移行する。

なお、外接矩形の幅及び高さを用いずに、２値化領域の形状一致度を測るハウスドルフ距離を算出して、そのハウスドルフ距離が予め定められた閾値以下であれば形状が一致すると判定してもよい。

ステップＳ３０−３では、物体候補領域の移動量を求める。ラベル番号がカウンタＭと一致する現物体候補領域とそれに対応付けられる直前の入力画像に対する物体候補領域とが重なり合う領域の画素数を求める。そして、カウンタＭで特定される現物体候補領域の全画素数に対する重なり合う領域の画素数の割合Ｒ１、及び、それに対応付けられた直前の入力画像における物体候補領域の全画素数に対する重なり合う領域の画素数の割合Ｒ２を算出する。ステップＳ３０−４では、移動量に基づいて２つの物体候補領域の位置が一致しているか否かが判定される。割合Ｒ１が所定の第１割合閾値以上であり、かつ、割合Ｒ２が所定の第２割合閾値以上である場合には２つの物体候補領域の位置が一致しているものと判定してステップＳ３０−５へ処理を移行させ、そうでない場合には位置が一致していないものと判定してステップＳ２０−４へ処理を移行させる。

なお、重畳領域の画素数の割合を用いずに、２つの物体候補領域の重心座標の距離が予め定められた閾値以下である場合には位置が一致すると判定してもよい。

ステップＳ３０−５では、２つの物体候補領域の画像の一致度を判定するために輝度差を算出する。現入力画像におけるカウンタＭで特定される現物体候補領域内の画素と直前の入力画像においてカウンタｎで特定される物体候補領域内の画素のうち対応する画素の輝度差が所定の輝度閾値以上である画素の数を求める。そして、その画素数の現物体候補領域の全画素数に対する割合Ｄ１、及び、それに対応付けられた直前の入力画像の物体候補領域の全画素数に対する割合Ｄ２を算出する。ステップＳ３０−６では、輝度差の割合Ｄ１，Ｄ２に基づいて２つの物体候補領域の画像の内容が一致しているか否かが判定される。割合Ｄ１が所定の第１輝度差閾値以上であり、かつ、割合Ｄ２が所定の第２輝度差閾値以上である場合には２つの物体候補領域の画像の内容に変化があるものと判定してステップＳ３０−７へ処理を移行させ、そうでない場合には画像の内容に変化がないものと判定してステップＳ２０−４へ処理を移行させる。

なお、輝度差の割合を用いずに、２つの物体候補領域の相関が予め定められた閾値以下である場合には変動があると判定してもよい。また、２つの物体候補領域の平均二乗誤差が予め定められた閾値以上である場合には変動があると判定してもよい。

ステップＳ３０−７では、カウンタＭで特定される現物体候補領域を背景異常領域候補と判定する。その後、処理をステップＳ２０−４へ移行させる。

ステップＳ２０−４では、カウンタＭで特定される現物体候補領域が背景異常領域候補とされたか否かを判定する。現物体候補領域が背景異常領域候補とされた場合にはステップＳ２０−５へ処理を移行させ、そうでない場合にはステップＳ２０−１１へ処理を移行させる。ステップＳ２０−５では、新たに設定された背景異常領域候補の位置及び形状を記憶部３０に記憶させる。ステップＳ２０−６では、カウンタＭに対する背景異常領域連続回数のカウンタＫ（Ｍ）がインクリメントされる。ステップＳ２０−７では、カウンタＭに対する背景異常領域連続回数のカウンタＫ（Ｍ）が所定の連続回数閾値以上となったか否かが判定される。カウンタＫ（Ｍ）が所定の連続回数閾値以上であればステップＳ２０−８へ処理を移行させ、そうでなければステップＳ２０−１３へ処理を移行させる。

ステップＳ２０−８では、過去に撮像された複数の入力画像に基づいて背景異常領域の判定処理が行われる。ステップＳ２０−８の処理は、図６に示すフローチャートに沿って行われる。ここでは、過去Ｎ回（Ｎフレーム）の入力画像に亘ってカウンタＭで特定される物体候補領域が背景異常領域候補として記憶された際の位置及び形状が不変であるか否かが判定される。すなわち、背景異常領域候補の抽出処理によって現物体候補領域と１つ前のフレームの物体候補領域との位置や形状の不変性は判定できるが、複数のフレーム間において微小な変化が蓄積されて、より長い時間としては物体候補領域の位置や形状が大きく変化している可能性がある。そこで、複数の入力画像を用いて長い時間での変化について判定する。ここで、Ｎの値はステップＳ２０−７における連続回数閾値以下の値に設定される。

ステップＳ３２−１では、過去Ｎ回の入力画像において背景異常領域候補とされたカウンタＭで特定される物体候補領域の外接矩形の位置、幅及び高さを記憶部３０から読み出す。それらの外接矩形領域の論理和を算出することによって、過去Ｎ回においてそれらの背景異常領域候補が画像内で掃過した領域（掃過領域Ｗ１）を求める。また、過去Ｎ回における背景異常領域候補の外接矩形領域の幅及び高さの平均値を算出することによって平均外接矩形領域Ｗ２を求める。ステップＳ３２−２では、掃過領域Ｗ１と平均外接矩形領域Ｗ２とが一致するか否かを判定する。掃過領域Ｗ１と平均外接矩形領域Ｗ２との幅の差が所定の閾値以下であり、かつ、高さの差が所定の閾値以下である場合にはステップＳ３２−３へ処理を移行させ、そうでない場合にはステップＳ２０−９へ処理を移行させる。ステップＳ３２−３では、背景異常領域候補とされているカウンタＭで特定される現物体候補領域を背景異常領域として設定し、処理をステップＳ２０−９へ移行させる。

また、過去の複数の入力画像毎に背景異常領域候補の検出処理を行わず、総ての入力画像における物体候補領域の位置、形状及び画像を記憶部３０に記憶させておき、これらの情報に基づいて複数の入力画像を用いて背景異常領域であるか否かを判定することも可能である。

ステップＳ２０−９では、ステップＳ２０−８において背景異常領域候補が背景異常領域として設定されたか否かが判定される。背景異常領域に設定された場合にはステップＳ２０−１０へ処理を移行させ、そうでない場合にはステップＳ２０−１１へ処理を移行させる。ステップＳ２０−１０では、背景異常領域として設定された現物体候補領域の位置及び形状を記憶部３０に記憶させる。なお、処理を簡単にするために、背景異常領域として設定された現物体候補領域の外接矩形を新たに背景異常領域とし、その位置及び形状を記憶部３０に記憶させてもよい。

ステップＳ２０−１１では、カウンタＭで特定される物体候補領域は背景異常領域ではなく、侵入者の可能性がある有意な物体を撮像した有意物体候補領域として設定する。ステップＳ２０−１２では、有意物体候補領域とされたカウンタＭで特定される物体候補領域の位置及び形状の記録情報を消去し、さらに背景異常領域候補連続回数Ｋ（Ｍ）を０に初期化する。ステップＳ２０−１３では、他の物体候補領域が存在するか否かが判定される。まだ処理が済んでいない他の物体候補が存在する場合には、ステップＳ２０−１４においてカウンタＭをインクリメントしてステップＳ２０−２から処理を繰り返し、そうでない場合には、ステップＳ２２へ処理を移行させる。

ステップＳ２２では、ステップＳ２０における背景異常領域の検出処理結果に応じて背景画像設定部２４において背景画像の更新処理が行われる。ステップＳ２２は図７に示すようにサブルーチン化されている。ステップＳ２２−１では、強制全画面更新条件を満たすか否かが判断される。強制全画面更新条件とは、背景差分処理による変化画素数の全画素数に対する割合が所定の閾値以上になった場合に成り立つ条件とする。このような条件が満たされる場合、監視空間の急激な照明の変動等が起こったものと考えられるので、背景画像の全画面を最新の入力画像に更新することが好ましい。強制全画面更新条件が満たされる場合には、ステップＳ２２−２では記憶部３０に保持されている背景画像を現在の入力画像で更新して処理をステップＳ２４へ移行させる。強制全画面更新条件が満たされない場合には、ステップＳ２２−３へ処理を移行させる。

ステップＳ２２−３では、背景差分による変化領域が存在するか否かが判定される。ステップＳ１４の背景差分処理において背景差分領域が抽出された場合にはステップＳ２２−５へ処理を移行させ、そうでなかった場合にはステップＳ２２−４において背景画像の全画素を更新する。ステップＳ２２−４における背景画像の全画素の更新処理は、現在の背景画像と現入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に０．８を掛け、現入力画像の画素の輝度値に０．２を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップＳ２２−４の更新処理後、処理をステップＳ２４へ移行させる。ステップＳ２２−５では、変化領域以外の画素の更新処理を行う。記憶部３０からステップＳ１４において抽出された変化領域の位置及び形状の情報を読み出し、その変化領域を除く領域に相当する現在の背景画像と入力画像の画素の輝度値にそれぞれ重み付けをして対応する画素同士の輝度値を足し合わせる処理とすることが好適である。例えば、現在の背景画像の画素の輝度値に０．８を掛け、現入力画像の画素の輝度値に０．２を掛け、対応する画素の輝度値を足し合わせて新たな背景画像を算出する。なお、背景画像を現在の入力画像で更新するものとしてもよい。ステップＳ２２−５の更新処理後、処理をステップＳ２２−６へ移行させる。

ステップＳ２２−６では、ステップＳ２０において背景異常領域が設定されたか否かが判定される。背景異常領域が設定されている場合にはステップＳ２２−７へ処理を移行させ、そうでない場合にはステップＳ２４へ処理を移行させる。ステップＳ２２−７では、フレーム間差分領域及び背景異常領域に基づいて背景画像の更新処理を行う。ここでの更新処理は、背景画像における背景異常領域からフレーム間差分領域を除いた領域に相当する画素のみについて行われる。記憶部３０からステップＳ２０において抽出された背景異常領域及びステップＳ１４において抽出されたフレーム間の変化領域の位置及び形状の情報を読み出し、背景異常領域内でフレーム間の変化領域でない領域に相当する現在の背景画像の画素の輝度値を入力画像の画素の輝度値で更新する。これによって、背景画像内の異常な領域のみを現在の入力画像の領域と入れ替えて正常化させることができる。なお、フレーム間差分領域の外接矩形を算出し、背景画像における背景異常領域から該外接矩形を除いた領域の画素を更新対象とすることで処理量を削除してもよい。ステップＳ２２−７の更新処理後、処理をステップＳ２４へ移行させる。

ステップＳ２４では、特徴量算出部２６において特徴量が算出される。上記のように、追跡処理部１８において複数フレーム間で対応付けられた物体候補領域の「人らしさ」を示すパラメータである特徴量が算出される。例えば、物体候補領域の移動距離、移動軌跡、連続出現回数等である。

ステップＳ２６では、異常判定部２８において侵入者の検出処理が行われ、監視空間に侵入者が存在するか否かが判定される。具体的には、特徴量算出部２６から物体候補領域の移動距離、移動軌跡、連続出現回数を受けて、これらの特徴量に基づいて各物体候補領域が侵入者によるものか否かを判定する。過去の複数の入力画像についての物体候補領域の移動距離が所定の閾値以上であり、連続出現回数が所定の閾値以上であり、移動軌跡が所定の閾値以上に滑らかであるという条件を満足する場合に監視空間に侵入者が存在すると判定する。侵入者が存在した場合にはステップＳ２８へ処理を移行させ、そうでない場合にはステップＳ１２から処理を繰り返す。

ステップＳ２８では、監視空間の異常を示す異常出力処理を行う。異常判定部２８は出力部３２へ異常を示す異常信号を出力する。これによって、ブザー等により周囲に警告が発せられたり、監視センタに対して撮像画像やアラーム信号が送信されたりする。

以上のように、本実施の形態によれば、移動物体による画像領域を含む異常な背景画像を検出することができ、移動物体による画像領域を含む異常な背景画像を自動的に正常化させることができる。したがって、侵入者等の移動物体の検出の感度及び確度を向上させることができる。

以下、図８を参照して実施例について説明する。図８は、上からセンシング開始時、時刻１〜５における入力画像、背景画像、変化領域抽出部１４で抽出される抽出画像、背景異常領域、背景異常領域の検出結果及び異常判定結果を示している。また、監視空間において侵入者は撮像部１０から近い領域から遠い領域に移動しており、センシング開始時、時刻１〜５における入力画像にはその侵入者が撮像されている。

時刻１〜３に得られる入力画像では、侵入者の画像（ハッチングで示す）はセンシング開始時に得られた背景画像に含まれる侵入者の画像と完全に重なっている。したがって、抽出画像における変化領域（ハッチングで示す）は背景画像に含まれる侵入者の画像と一致するものとなる。ここで、背景異常領域の抽出のための背景異常領域候補連続回数の閾値が３に設定されているものとすると、時刻３において抽出画像に含まれる変化領域は背景異常領域として設定される。

時刻４及び５における抽出画像の生成処理においては、時刻３において背景異常領域に設定された領域（ハッチングされた領域）ではフレーム間差分処理が実行され、その他の領域では背景差分処理が行われる。その結果、時刻４及び５においては、入力画像における侵入者の画像が背景画像における侵入者の画像と完全に重なっているにも関わらず、時刻１〜３における抽出画像における変化領域と異なる変化領域が抽出される。また、時刻５においては、背景画像内の侵入者の画像領域における時刻４における抽出画像の変化領域の外接矩形領域以外の領域が時刻４における入力画像と置き換えられる。

以上のような処理が行われることによって、時刻５では、時刻４の抽出画像における変化領域と時刻５の抽出領域における変化領域との特徴量の差に基づいて異常が検出され、異常判定の警報が発報される。

なお、上記の実施形態においては、画像センサ１００は背景異常領域を検出すると背景異常領域内においてフレーム間差分処理を行い、また、背景画像を正常化するための更新処理を行うものとしたが、フレーム間差分処理や更新処理を行わずに背景異常領域が検出された時点で出力部３２により外部へ異常を出力する構成としてもよい。このような構成にすると侵入者を検知する精度を維持したまま処理量を低減することができる。

すなわち、背景異常領域検出部２０から出力部３２への背景異常領域を検出した旨を通知する構成とし、変化領域抽出部１４の処理（図３）においてステップＳ１４−２，Ｓ１４−３を省略してＳ１４−１及びＳ１４−７からＳ１４−４へ移行するものとし、背景異常領域検出部２０の処理（図４）においてＳ２０−９とＳ２０−１０の間に出力部３２へ通知処理を付加し、背景画像設定部２４の処理（図７）においてＳ２２−６及びＳ２２−７を省略する。

本発明の実施の形態における画像センサの構成を示すブロック図である。本発明の実施の形態における監視処理を示すフローチャートである。本発明の実施の形態における変化領域抽出処理を示すフローチャートである。本発明の実施の形態における背景異常領域検出処理を示すフローチャートである。本発明の実施の形態における背景異常領域候補検出処理を示すフローチャートである。本発明の実施の形態における背景異常領域判定処理を示すフローチャートである。本発明の実施の形態における背景画像更新処理を示すフローチャートである。本発明の実施の形態における監視処理の実施例を示す図である。従来の監視処理を説明する図である。

符号の説明

１０撮像部、１４変化領域抽出部、１６ラベリング処理部、１８追跡処理部、２０背景異常領域検出部、２２背景異常領域設定部、２４背景画像設定部、２６特徴量算出部、２８異常判定部、３０記憶部、３２出力部、１００画像センサ。

Claims

監視空間を撮像した監視画像を順次取得して、互いに取得時刻が異なる監視画像間の差分処理により抽出された変化領域に基づいて監視空間に存在する移動物体を検出する画像センサであって、
所定時刻より前に取得した監視画像に基づいて背景画像を生成する背景画像生成部と、
前記所定時刻後に複数取得した監視画像と前記背景画像との差分処理により背景差分領域を抽出する背景差分領域抽出部と、
前記複数の監視画像における背景差分領域を比較して、前記背景画像に移動物体による異常領域が含まれているか否かを判定する背景異常領域検出部と、
を備え、
前記背景異常領域検出部は、前記複数の監視画像における背景差分領域の位置及び形状を比較して、前記位置及び前記形状が略一致している場合に前記背景画像に移動物体による異常領域が含まれていると判定することを特徴とする画像センサ。
請求項１に記載の画像センサにおいて、
前記背景異常領域検出部は、更に前記複数の監視画像の互いに対応する画素の画素値を背景差分領域内において比較して、前記背景差分領域の前記位置及び前記形状が略一致し、かつ、前記画素値が所定値以上に変動している場合に前記背景画像に移動物体による異常領域が含まれていると判定することを特徴とする画像センサ。
請求項２に記載の画像センサにおいて、
前記背景画像に移動領域による異常領域が含まれていると判定された場合、当該背景差分領域を前記異常領域であるとして当該異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって変化領域を抽出し、前記異常領域外の背景差分領域については当該背景差分領域を前記変化領域として抽出することを特徴とする画像センサ。
請求項２に記載の画像センサにおいて、
前記背景画像に移動領域による異常領域が含まれていると判定された場合、当該背景差分領域を前記異常領域であるとして当該異常領域内においては異なる時刻に撮像された監視画像間の差分処理によって変化領域を抽出し、
前記異常領域から前記変化領域を除外した領域を新たに取得した監視画像により更新して新たな背景画像を生成する背景画像更新部を備えることを特徴とする画像センサ。