JP2003199099A - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮像手段の自動露出機能を有効利用しつつ
も、監視対象物の鮮明な像を検出しつつ、背景部分で誤
判定の少なくし、高い精度で進入対象物の検出が行える
ようにする。 【解決手段】 物体検出部１０３内には予め異なる絞り
により撮像された背景画像を格納させておく。そして、
監視時に撮像部１０１より撮像して得た画像について物
体検出する際には、そのときの絞り制御部１０２の絞り
値に基づき最適な背景画像を選択し、それと監視時の画
像とを比較することで、撮影視野内の対象物を抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法及び装
置並びに記憶媒体に関し、特に動画像の中から対象物を
検出する画像処理方法及び装置、並びにその方法を実行
するコンピュータプログラム及びそれを記憶するコンピ
ュータ可読記憶媒体に関するものである。

【従来の技術】動画像処理における対象物検出方法とし
て、背景差分方式という手法が知られている。これは、
予め撮影した背景画像と実際の入力画像とを比較するこ
とにより、変化点を検出するものである。以下、簡単に
その原理を説明する。画像平面上の座標（ｘ，ｙ）にお
ける点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像
の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ
（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対
値をある閾値Ｔｈと比較する。

【０００２】判定式の例を示すと次の通りである。 ｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ … （１） 上記式（１）において差分絶対値が閾値Ｔｈ以下なら、
ＰｃとＰｂとの差が小さいことを意味することになるか
ら、Ｐｃは背景と判定される。また、差分絶対値が閾値
Ｔｈを超えている場合は、検出対象とみなされる。画面
上のすべての点において、上記の判定を行うことで、１
フレーム分の検出が完了する。

【０００３】これを更に表示画像の例で説明する。図１
０（ａ）は背景画像の一例であり、図１０（ｂ）は監視
中の撮像画像を示している。背景画像上のある点Ｐ１ｂ
と、同じ位置の監視画面上の点Ｐ１ｃの値を比較する
と、差分絶対値は０もしくは０に近い値となるため、上
記式（１）が満足することになり、Ｐ１ｃの位置は背景
と判定される。

【０００４】一方、別の点Ｐ２ｂとＰ２ｃを比較する
と、差分絶対値が大きくなるため背景ではない、すなわ
ち、対象物（オブジェクト）と判定される。

【０００５】対象物中にあると判断された画素を仮に
“１”、背景中にあると判断された画素を“０”と定義
し、撮影画像上のすべての点について行った結果が図１
０（ｃ）である。図中黒で表されている部分が背景、白
で表される部分が対象物体を表している。

【０００６】

【発明が解決しようとする課題】しかしながら、背景差
分方式には、背景となるシーンと、撮影するカメラにそ
れぞれ制約条件が必要となる。背景となるシーンの基本
的な条件としては、動くものを含んでいてはならない。
つまりＰｂ（ｘ，ｙ）は時間に関わらず一定でなければ
ならない。実際には、背景となる範囲に動物体がない場
合でも、天候などの照明条件の変化は、背景の画素値が
変動する要因となる。また、カメラ側の条件としては、
対応点の位置ずれをおこさないよう、三脚等で撮影方向
が固定されている必要がある。さらに、フォーカス、絞
り、ホワイトバランスなどのカメラパラメータの変化も
対応点同士の差分を大きくする方向に働く。そのため、
背景撮影時と物体検出時のカメラパラメータは揃えてお
く必要がある。

【０００７】上記の条件は、実際の利用形態によって
は、実用に耐えられない厳しい制約となることもありう
る。例えば監視カメラ用途を考える際、監視対象領域が
屋内の場合は、背景に動物体を含まないように設定する
ことや照明条件を一定にすることは、それほど困難なこ
とではない。また、カメラ位置を固定することも実用上
の障害とはならない。ただし、カメラパラメータのう
ち、フォーカスに関しては、固定した際に、実用上の問
題を生じる。以下、図１１を用いて詳しく説明する。

【０００８】現在多くのカメラが自動露出機能を有して
いる。これは、絞りを制御することにより、撮像画像の
明るさの自動調整を行うものである。背景画像を生成す
る際には、当然背景の明るさによって絞り値が決まるわ
けだが、監視時に進入物があると、進入物の明るさが画
像全体の明るさに影響を与えてしまう。図１１（ａ）
は、背景画像に関して、自動露出補正を行ったときの明
るさを示している。図１１（ｂ）は、進入物が背景に比
べ暗い場合の例である。進入物の明るさを上げるため、
背景部分の明るさも上がってしまっている。図１１
（ｃ）は、進入物が背景に比べ明るい場合の例である。
進入物の明るさを下げるため、背景部分の明るさも下が
ってしまっている。

【０００９】このように実際の画像は、図１１（ｂ）で
説明したものとは異なり、背景部分同士の差分絶対値を
計算しても、大きな差が生じ、背景ではないと誤判定さ
れてしまう場合がある。

【００１０】また、自動露出補正機能を使わずに、背景
画像の明るさを合わせたまま、絞り値をロックして、差
分を計算することも考えられる。このときは、背景部分
同士はほぼ同じ値となり、誤判定を防ぐことはできる。
しかしながら、対象物のほうの露出は最適なものとはな
らず、人物の顔が暗くてわからなかったり、名札の文字
が白トビしてしまって読めなかったり、という別の問題
を生じる。これでは監視という本来の目的からは、逸脱
したものとなってしまう。

【００１１】本発明は、かかる問題点に鑑みなされたも
のであり、撮像手段の自動露出機能を有効利用しつつ
も、監視対象物の鮮明な像を検出しつつ、背景部分で誤
判定を少なくし、高い精度で進入対象物の検出が行える
画像処理装置及び方法、並びにコンピュータプログラム
及びコンピュータ可読記憶媒体を提供しようとするもの
である。

【００１２】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の画像処理装置は以下の構成を備え
る。すなわち、撮影視野内の像の明るさに応じて露出補
正する機能を有する撮像手段の、前記撮像視野内にある
対象物を示す情報を抽出する画像処理装置であって、前
記撮像手段によって、予め複数の露出による背景画像を
格納する格納手段と、前記格納手段に格納された背景画
像の１つを選択する選択手段と、前記撮像手段で撮像し
て得られた画像と前記選択手段で選択された背景画像と
の差分を検出することで、前記撮像手段の撮影視野内
の、背景以外の対象物体の存在する位置を示す情報を抽
出する抽出手段とを備える。

【００１３】また、他の発明の画像処理装置は以下の構
成を備える。すなわち、撮影視野内の像の明るさに応じ
て露出補正する機能を有する撮像手段の、前記撮像視野
内にある対象物を示す情報を抽出する画像処理装置であ
って、前記撮像手段によって得た背景画像を格納する背
景画像格納手段と、前記撮像手段で撮像して得られた画
像の、前記背景画像格納手段に格納された背景画像に対
するオフセットを検出するオフセット検出手段と、該オ
フセット検出手段で検出したオフセットを、前記背景画
像格納手段からの背景画像に重畳付加し、新たな背景画
像を生成する背景画像生成手段と、該背景画像生成手段
で生成された新たな背景画像と、前記撮像手段で撮像し
て得られた画像との差分を検出することで、前記撮像手
段の撮影視野内の、背景以外の対象物体の存在する位置
を示す情報を抽出する抽出手段とを備える。

【００１４】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１５】図１は本発明の実施形態における画像処理
装置の構成を示すブロック図である。

【００１６】図１において、撮像部１０１は被写体の光
学像を電気信号に変換し、所定形式のビデオ信号として
出力する部分である。絞り制御部１０２は、撮像部の絞
りの制御を行う部分であり、撮像画像の明るさの調整を
行う。撮像部の詳細な説明は、公知であるためここでは
省略する。撮像部から出力されるビデオ信号は、物体検
出部１０３の入力信号となる。物体検出部１０３は、背
景画像の生成と選択、差分処理等の機能を有し、絞り制
御部１０２との通信機能も備えている。出力は、画像デ
ータと、物体の存在するか否かの検出結果である２値デ
ータである。物体検出部１０３の詳細は、後に説明す
る。

【００１７】これらの出力データは画像符号化部１０４
で符号化することにより、帯域の狭い回線での通信や、
容量の少ない蓄積メディアへの記録が行える。動画像の
符号化技術で高い符号化効率を得られる方式としては、
国際標準規格のＭＰＥＧ−４ビジュアル符号化がある。

【００１８】図１２は、この符号化方式のブロック図を
示すものである。輝度、色差の画像信号と符号化したい
物体の形状を表す形状データ（上記２値データ）の２種
類を入力し、圧縮後のビットストリームを出力とする。
本発明の検出技術と高能率の符号化技術の組み合わせに
より、高精度・高画質の監視システムを実現することが
できる。

【００１９】図１２において、まずイントラモードで
は、各ブロックをＤＣＴ部１３０１において離散コサイ
ン変換（ＤＣＴ）し、量子化部１３０２にて量子化す
る。量子化されたＤＣＴ係数と量子化幅は、可変長符号
化部１３１２で可変長符号化される。

【００２０】インターモードでは、動き検出部１３０７
において時間的に隣接する別のＶＯＰの中からブロック
マッチングをはじめとする動き検出方法により動きを検
出し、動きベクトル予測部１３０８で対象マクロブロッ
クに対して誤差のもっとも小さい予測マクロブロックを
検出する。誤差の最も小さい予測マクロブロックへの動
きを示す信号が動きベクトルである。予測マクロブロッ
クを生成するために参照する画像を参照ＶＯＰと呼ぶ。
検出された動きベクトルに基づき、参照ＶＯＰを動き補
償部１３０６にて動き補償して、最適な予測マクロブロ
ックを取得する。次に対象となるマクロブロックと対応
する予測マクロブロックとの差分を求め、この差分信号
に対してＤＣＴ部１３０１でＤＣＴを施し、ＤＣＴ変換
係数を量子化部１３０２で量子化する。

【００２１】一方、形状データは、形状符号化ＣＡＥ(C
ontext-based Arithmetic Encoding)部１３０９で符号
化される。ただし、ここで実際にＣＡＥ符号化が行われ
るのは境界ブロックのみであり、ＶＯＰ内のブロックや
ＶＯＰ外のブロックはヘッダ情報のみが可変長符号化部
１３１２に送られる。また、ＣＡＥ符号化が施される境
界ブロックは、画像データと同様に、インターモードに
おいては、動き検出部１３０７による動き検出を行い、
動きベクトル予測（１３０８）を行う。そして、動き補
償した形状データと前フレームの形状データとの差分値
に対しＣＡＥ符号化を行う。

【００２２】次に、物体検出部１０３における処理の詳
細を以下３つの実施形態で説明する。

【００２３】＜第１の実施形態＞本発明の第１の実施形
態について、図２から図５を用いて説明する。図２は第
１の実施形態における物体検出処理のブロック図、図３
は背景画像生成のフローチャート、図４は生成された背
景画像の例、図５は背景画像選択方法のフローチャート
である。

【００２４】まず背景生成の部分から説明する。図３の
ステップＳ３０１にて、撮像部１０１の露出補正を自動
に設定し、撮像部１０１から入ってくる背景画像の明る
さを調整する。露出補正できたところで、その時の絞り
をその位置で固定する（ステップＳ３０２）。そして、
このときの絞り値を絞り制御部１０２より読出し、メモ
リ等に記録し（ステップＳ３０３）、そのときの画像を
入力する（ステップＳ３０４）。次にステップＳ３０５
にて、入力画像から背景画像を１フレーム分生成する。
このときの入力画像は、１フレームのみでも、複数フレ
ームから平均処理して１フレームを生成してもよい。い
ずれにしても、ひとつの絞り値と、ひとつの背景画像を
組としたデータの生成となる。そして、これらのデータ
セットをいくつか用意する。このため、ステップＳ３０
６にて、ループ処理を行う。必要フレーム数（背景画像
の数）に満たない場合は、絞り値のロックを解除し、絞
り値をわざとずらした状態で固定する。ステップＳ３０
３に戻りこのときの絞り値を記録し、ステップＳ３０
４、Ｓ３０５にて新たな背景画像を生成する。このよう
に絞り値を少しずつ変えながら、そのときの絞り値と背
景画像データを記録していく。必要フレーム数になった
ところで、背景画像生成の一連の処理を終える。

【００２５】図４は、上記の方法で生成した背景画像の
例を示している。図４（ｂ）は背景に最適な明るさの画
像であり、同図（ａ）はそれより少し明るい画像、同図
（ｃ）は（ｂ）より少し暗い画像をそれぞれ示してい
る。

【００２６】図２のブロック図において、制御部２０１
は各ブロック間の制御を行う回路である。また、絞り制
御部との通信部分を有し、露出に関するコマンドの送受
信を行う。具体的には、自動露出のオン・オフ、絞り値
の指定および取得などである。入力信号は、撮像部から
出力される画像データであり、必要に応じてフォーマッ
ト変換や、ノイズ除去処理などが施される。背景画像生
成時は、入力データは、背景画像生成部２０２に入力さ
れる。また、このときの絞り値も、制御部２０１を通じ
て、画像データと共に記録される。これらのデータセッ
トは、背景画像選択処理部２０３に記憶される。記憶媒
体は、メモリでもハードディスクでもよい。背景画像生
成時には、背景画像選択処理部２０３や、背景差分処理
部２０４は、制御部２０１からの信号によって、出力動
作を停止させている。背景画像の伝送または記録が必要
なときは、出力側のスイッチ回路２０５をＡ側に設定し
て出力する。出力画像は、１フレームの画像データなの
で、先に説明したＭＰＥＧ−４の符号化でなくとも、Ｊ
ＰＥＧ符号化等の静止画符号化を用いることもできる。
なお、検出した物体のみの記録、伝送で構わない場合
は、背景画像を画像符号化部に送る必要はない。

【００２７】次に、これら複数の背景画像が用意されて
いる状態で、物体の検出を行う際に、どの背景画像を用
いるかの選択処理について、図５（ａ）のフローチャー
トを使って説明する。

【００２８】まずステップＳ５０１にて、絞りをオート
にしておき、ステップＳ５０２で絞り値の変化を検出す
る。物体が検出されるまでは、絞り値は背景に最適化さ
れたままなので、変化は検出されない。監視領域内に物
体が進入すると、物体を含んだ画像での自動露出を行う
ため、絞り値の変化が検出される。このときステップＳ
５０３で検出した新たな絞り値と同じ絞り値を持つ背景
画像を選択する。同じ絞り値の背景画像が見つからない
場合は、一番近い値の背景画像を選択する。

【００２９】かかる処理では、進入物体が、たまたま、
露出を変化させない明るさを有する場合、ステップＳ５
０３に進むことがなくなり、不都合な面がある。

【００３０】そこで、かかる問題点を解決する他の例を
図５（ｂ）のフローチャートを使って説明する。

【００３１】絞りをオートにしておく最初のステップＳ
５１１は、先の例と同じである。次にステップＳ５１２
にて、入力画像と背景画像との間で差分検出を行う。こ
のとき用いる背景画像は、最初に生成した最適露出の画
像である。したがって、物体が検出されるまでは、差分
値はほとんど生じない。監視領域内に物体が進入する
と、物体を含んだ画像での自動露出を行うため、及び、
その物体と背景との差が大きいため、１画面全体におけ
る差分値の合算結果は大きなものとなる。このとき、ス
テップＳ５１３にて絞り値を検出し、ステップＳ５１４
にて、この絞り値と同じ絞り値を持つ背景画像を選択す
る。同じ絞り値の背景画像が見つからない場合は、一番
近い値の背景画像を選択する。この方法は、画像処理で
絞り値の変化を検出しているため、絞り値取得にかかる
通信時間を削減することができ、システム全体のパフォ
ーマンス向上が期待できる。

【００３２】これを表示画像の例で説明する。図４で説
明した複数の背景画像が用意されており、物体が進入し
たときの画像が図１１（ｂ）であったとすると、このと
きの絞り値から、図４（ａ）が差分比較用の背景画像と
して選択される。図１１（ｂ）と図４（ａ）の画素値の
比較は、先に説明した図１０（ａ）と図１０（ｂ）の比
較と同じ関係になるので、図１０（ｃ）と等価の結果を
得ることができる。

【００３３】図２のブロック図を用いた説明を行う。背
景画像は既に生成されているため、背景画像生成部２０
２の出力動作は、制御部２０１によって停止させてい
る。背景画像選択処理部２０３では、制御部２０１を経
由して絞り値を得、変化があればこれと同じ絞り値を持
つ背景画像を選択し、背景差分処理部２０４に出力す
る。なお、絞り値の変化の検出に、入力画像を用いない
場合は、背景画像選択処理部２０３に監視画像を入力す
る必要はない。この入力は、図５（ｂ）のフローチャー
トで説明したような場合に必要となる。背景差分処理部
２０４では、新たに選択された背景画像と入力監視画像
との間で、比較、判定処理を行い、結果を形状データと
して出力する。このとき、スイッチ回路２０５はＢ側の
設定となり、画像データと形状データの組が画像符号化
部１０５に送られることとなる。ＭＰＥＧ−４ビジュア
ル符号化では、画像データは抽出された部分だけが符号
化されるため、画像フレーム全体を符号化する場合に比
べ、大幅なデータ圧縮が可能となる。

【００３４】上記の通り本第１の実施形態によれば、複
数の背景画像の中から、物体検出時の絞り値と同じ絞り
値を持つ背景画像を選択し、差分処理を行うことから、
背景部分における判定誤差をなくし、かつ、進入物体に
も適正な露出である精度の高い検出処理を行うことがで
きる。また、高精度の検出処理結果を利用し、検出対象
の符号化を行うことで、高能率の監視システムを実現す
ることができる。

【００３５】＜第２の実施形態＞本発明の第２の実施形
態について説明する。第１の実施形態では、絞り値の情
報を背景画像データとセットで保持していくものであっ
たが、第２の実施形態においては、絞り値の情報が得ら
れない場合の例を説明する。以下、図４および図６から
図８を用いて詳細に説明する。

【００３６】図６は第２の実施形態における物体検出処
理のブロック図、図７は背景画像生成のフローチャー
ト、図８は背景画像選択方法のフローチャートである。

【００３７】まず背景生成の部分から説明する。図７の
ステップＳ７０１にて、露出補正を自動に設定し、撮像
部から入ってくる背景画像の明るさを調整する。露出補
正できたところで、絞りをその位置で固定する（ステッ
プＳ７０２）。次にステップＳ７０３にて、入力画像か
ら背景画像を１フレーム分生成する。このときの入力画
像は、１フレームのみでも、複数フレームから平均処理
して１フレームを生成してもよい。これで１つ目の背景
画像の生成は完了である。

【００３８】ステップＳ７０４は、必要なフレーム数
（背景画像の数）になるまでループ処理を行うための判
定ステップである。このため、２枚目以降の背景画像
は、ステップＳ７０５にて、先に説明したステップＳ７
０２で得られた画像に対して輝度調整処理により行う。
色空間がＲＧＢの場合は、３つの値を同じ比率で上げる
もしくは下げることにより明るさを変更する。色空間が
Ｙ、Ｃｂ、Ｃｒの時は、Ｙの値のみを上げるもしくは下
げることにより明るさを変更する。このようにして、必
要フレーム数の背景画像が生成できたら、ステップＳ７
０４のループを抜け、背景画像生成の一連の処理を終え
る。

【００３９】図４は、上記の方法で生成した背景画像の
例を示しており、第１の実施形態にて行った説明と同様
である。図４（ｂ）は背景に最適な明るさの画像であ
り、同図（ａ）はそれより少し明るい画像、同図（ｃ）
は同図（ｂ）より少し暗い画像をそれぞれ示している。

【００４０】図６のブロック図において、制御部６０１
は各ブロック間の制御を行う回路である。また、絞り制
御部との通信部分を有し、露出に関するコマンドの送受
信を行う。具体的には、自動露出のオン・オフである。
図２の場合と異なり、絞り値の設定および取得などのデ
ータは得られない。入力信号は、撮像部から出力される
画像データであり、必要に応じてフォーマット変換や、
ノイズ除去処理などが施される。背景画像生成時は、入
力データは、基準背景画像生成部６０２に入力される。
基準背景画像生成部６０２からの出力は、最適露出の１
フレームの背景画像であり、検出用背景画像生成部６０
３では、この基準背景画像から複数の背景画像の生成を
行う。生成した複数の背景画像は、検出用背景画像選択
処理部６０４に記憶される。記憶媒体は、メモリでもハ
ードディスクでもよい。背景画像生成時には、検出用背
景画像選択処理部６０４や、背景差分処理部６０５は、
制御部６０１からの信号によって、出力動作を停止させ
ている。背景画像の伝送または記録が必要なときは、出
力側のスイッチ回路６０６をＡ側に設定して、出力す
る。背景画像は、１フレームの画像データなので、先に
説明したＭＰＥＧ−４の符号化でなくとも、ＪＰＥＧ符
号化等の静止画符号化を用いることもできる。なお、検
出した物体のみの記録、伝送で構わない場合は、背景画
像を画像符号化部に送る必要はない。

【００４１】次に、これら複数の背景画像が用意されて
いる状態で、物体の検出を行う際に、どの背景画像を選
択するかの処理について、図８（ａ）のフローチャート
を使って説明する。

【００４２】まずステップＳ８０１にて、絞りをオート
にしておき、ステップＳ８０２で差分の検出をする。こ
のとき用いる背景画像は、最初に生成した最適露出の画
像である。したがって、物体が検出されるまでは、差分
値はほとんど生じない（適当な閾値を設定しておく）。
監視領域内に物体が進入すると、物体を含み、且つ、そ
の物体を含んだ画像での自動露出になるために、大きな
差分値が検出される。このときステップＳ８０３にて、
背景画像と監視画像の比較を行い一致度を計算する。一
致度の計算方法は、後述する。ステップＳ８０５では、
次の背景画像を選択し、ステップＳ８０３に戻り入力監
視画像との一致度計算を行う。ステップＳ８０４のルー
プ処理にて、予め用意したすべての背景画像との一致度
計算ができたかどうかを判定し、すべての計算が終わっ
た時点で、次のステップＳ８０６に進む。ステップＳ８
０６では、一致度を計算したすべての背景画像の中から
最も一致度の高かった背景を１つ選択する。この背景画
像を差分処理用の画像として一連の処理を終える。この
方法は、物体進入時の最初のフレームにおいて、画面全
体に大きな差分値を生じるため、絞り値情報が得られな
くても、変化に対し確実な検出が期待できる。

【００４３】次に背景画像選択の他の方法を図８（ｂ）
のフローチャートを使って説明する。

【００４４】まず最初のステップＳ８１１で、絞りを背
景に合った状態のまま固定にしておく。次にステップＳ
８１２にて、入力画像と背景画像との間で差分検出を行
う。背景画像は、最適露出の画像であるので、物体が検
出されるまでは、差分値はほとんど生じない。監視領域
内に物体が進入すると、物体の存在する部分で、大きな
差分値が検出される（ステップＳ８１１で露出を固定し
ているので、純粋に物体の存在する領域に依存すること
になる）。このとき、ステップＳ８１３にて絞りをオー
トに設定し、入力監視画像の露出を最適化する。ステッ
プＳ８１４にて、このときの背景画像と監視画像の比較
を行い一致度を計算する。ステップＳ８１６では、次の
背景画像を選択し、ステップＳ８１４に戻り入力監視画
像との一致度計算を行う。ステップＳ８１５のループ処
理にて、予め用意したすべての背景画像との一致度計算
ができたかどうかを判定し、すべての計算が終わった時
点で、次のステップＳ８１７に進む。ステップＳ８１７
では、一致度を計算したすべての背景画像の中から最も
一致度の高かった背景を１つ選択し、一連の処理を終え
る。この方法は、物体進入時の最初のフレームにおいて
も、背景画像の露出が合っているために、精度の高い形
状データを出力できる。

【００４５】なお、上記例では、ステップＳ８１２で大
きな差分が検出できたということは、その大きな差分が
ある画素近傍に物体が存在することを意味する。換言す
れば、差分が小さい部分或いは領域もこの時点で判明し
ていることになる。従って、背景画像を選択する場合に
は、この差分の小さい領域のみに着目し、その差分が最
も小さいものを背景画像として選択するようにすると、
更に効率良く選択できるであろう。

【００４６】さて、表示画像の例について説明する。以
下の説明は、第１の実施形態にて行った説明と同様であ
る。図４で説明した複数の背景画像が用意されており、
物体が進入したときの画像が図１１（ｂ）であったとす
ると、このときの背景の一致度から、図４（ａ）が差分
比較用の背景画像として選択される。図１１（ｂ）と図
４（ａ）の画素値の比較は、先に説明した図１０（ａ）
と図１０（ｂ）の比較と同じ関係になるので、図１０
（ｃ）の結果を得ることができる。

【００４７】ここまでの処理を、図６のブロック図で説
明する。背景画像は既に生成されているため、基準背景
画像生成部６０２及び検出用背景画像生成部６０３の出
力動作は、制御部６０１によって停止させている。検出
用背景画像選択処理部６０４では、入力監視画像と複数
の背景画像との一致度を測定し、一致度の最も高い背景
画像を選択し、背景差分処理部６０５に出力する。背景
差分処理部６０５では、選択された背景画像と入力監視
画像との間で、比較、判定処理を行い、結果を形状デー
タとして出力する。このとき、スイッチ回路６０６はＢ
側の設定となり、画像データと形状データの組が画像符
号化部１０５に送られることとなる。ＭＰＥＧ−４ビジ
ュアル符号化では、画像データは抽出された部分だけが
符号化されるため、画像フレーム全体を符号化する場合
に比べ、大幅なデータ圧縮が可能となる。

【００４８】次に一致度の検出方法について詳細に説明
する。一致の度合いを調べるための最も簡単な方法は、
画像間の差分の和を求めるものである。（２）式はその
一例である。 ｋｉ ＝ Σ｜Ｐｃ（ｘ，ｙ）−Ｐｂｉ（ｘ，ｙ）｜ … （２） ｉ＝１，…，Ｎ（Ｎは背景画像の数） ここで、Ｐｃ（ｘ，ｙ）は、入力した監視画像の画素値
であり、Ｐｂｉ（ｘ，ｙ）は、ｉ番目の背景画像の画素
値である。ｋｉはこの画素間の差分絶対値の総和であ
る。ｋ１からｋＮの中で最小のものが、検出用背景画像
となる。

【００４９】また、全画素を対象に計算する場合は、画
像中に進入物の画素も含まれてしまうことから、背景部
分同士の一致度が一番高くならない場合もある。このと
きは、画像の一部を用いた一致度検出も可能である。あ
らかじめ、監視領域内で進入物が表示されない領域がわ
かっている場合は、その領域内で一致度検出を行えばよ
い。図９の（ａ）はこの例を示しており、９０１の斜線
領域（比較的高い部分）は、進入物が表示されない領域
なので、この領域を一致度検出の対象としている。ま
た、進入物が表示されない領域があらかじめ特定できな
い場合には、複数の小領域を設定し、これらの一致度の
関係から求めることもできる。図９（ｂ）は、表示画面
上にＡ１からＡ５の５ヶ所の小領域を設定した例であ
る。これら５ヶ所の一致度をそれぞれ求めると、背景部
分の画素のみを含む領域Ａ１、Ａ２、Ａ４、Ａ５は、お
互いに近い値となり、進入物の画素を含む領域Ａ３だけ
大きく異なる値となる。そこで、一致度判定の対象領域
をＡ３以外で行うことにより、簡便で高い精度の一致度
検出が可能となる。

【００５０】上記の通り本第２の実施形態によれば、１
つの背景画像から輝度調整処理により複数の背景画像を
生成し、背景画像選択時には、監視画像と複数の背景画
像との間で一致度の最も高いものを選択した後、差分処
理を行うことから、背景部分における判定誤差をなく
し、かつ、進入物体にも適正な露出である精度の高い検
出処理を行うことができる。また、高精度の検出処理結
果を利用し、検出対象の符号化を行うことで、高能率の
監視システムを実現することができる。

【００５１】＜第３の実施形態＞本発明の第３の実施形
態について説明する。第１の実施形態では、絞り値の情
報を背景画像生成時と背景画像選択時に利用するもので
あり、第２の実施形態では、背景画像の生成と背景画像
の選択をそれぞれ画像処理で行うものであった。しかし
ながら、背景画像の選択時にはカメラパラメータが得ら
れないが、背景画像の生成時には、カメラコントロール
ができる場合が考えられる。このときは、背景画像の生
成に第１の実施形態で説明した、図３のフローチャート
を用い、背景画像の選択には、第２の実施形態で説明し
た図８のフローチャートを用いる組み合わせを実現する
ことが可能である。

【００５２】上記の通り本第３の実施形態によれば、背
景生成時に絞り値を変えながら複数の背景画像を生成
し、背景画像選択時には、監視画像と複数の背景画像と
の間で一致度の最も高いものを選択した後、差分処理を
行うことから、背景部分における判定誤差をなくし、か
つ、進入物体にも適正な露出で、精度の高い検出処理を
行うことができる。また、高精度の検出処理結果を利用
し、検出対象の符号化を行うことで、高能率の監視シス
テムを実現することができる。

【００５３】［第４、第５の実施形態の説明］以上は複
数の背景画像を用意しておき、そのいずれかを用いて処
理するものであったが、１つの背景画像とオフセット情
報に基づいて背景画像を生成する場合に適用した例を、
第４、第５の実施形態として説明する。

【００５４】＜第４の実施形態＞図１３は第４の実施形
態における画像処理装置の構成を示すブロック図であ
る。撮像部１１０１は被写体の光学像を電気信号に変換
し、所定形式のビデオ信号として出力する部分である。
カメラ制御部１１０２は、ズーム、パン、チルト、フオ
ーカス、露出、ホワイトバランスといったカメラの特性
を制御する部分である。個々の機能の詳細な説明は、公
知であるためここでは省略する。撮像部から出力される
ビデオ信号は、物体検出部１１０３の入力信号となる。
物体検出部１１０３は、背景画像の生成と選択、差分処
理等の機能を有し、カメラ制御部１１０２との通信機能
も備えている。本実施形態では、カメラ制御のうち露出
を制御する絞り値に関する情報の送受を行う。物体検出
部１１０３の出力は、画像データと２値の検出結果のデ
ータである。物体検出部１１０３の詳細は、後に説明す
る。これらの出カデータは画像符号化部１１０４で符号
化することにより、帯域の狭い回線での通信や、容量の
少ない蓄積メディアヘの記録が行える。動画像の符号化
技術で高い符号化効率を得られる方式としては、国際標
準規格のＭＰＥＧ−４ビジュアル符号化がある（図１２
参照）。

【００５５】図１４は、物体検出部１１０３の詳細なブ
ロック図である。

【００５６】まず背景画像生成時の信号処理の流れを説
明する。制御部１２０１は各ブロック間の制御を行う回
路である。また、カメラ制御の１つである絞り制御部と
の通信部分を有し、露出に関するコマンドの送受信を行
う。具体的には、自動霧出のオン・オフ、絞り値の設定
および取得などである。入力信号は、撮像部から出力さ
れる画像データであり、必要に応じてフオーマット変換
や、ノイズ除去処理などが施される。背景画像生成時
は、入カデータは、背景画像生成部１２０２に入力され
る。生成された背景画像は、オフセットデータ生成部１
２０３に記憶される。また、このとき制御部１２０１を
経由して取得した絞り値の情報も併せて記憶する．記憶
媒体は、メモリでもハードディスクでもよい。また、背
景画像の生成と同時に、開値データ生成部１２０４で、
開値データの生成も行ない、その結果を背景処理部１２
０５に入力する。背景画像生成時には、オフセットデー
タ生成部１２０３からの出力や、背景差分処理部１２０
５の出力は、制御部１２０１からの信号によって、停止
させている。

【００５７】背景画像の伝送または記録が必要なとき
は、出力側のスイッチ回路１２０５をＡ側に設定して出
力する。出力画像は、１フレームの画像データなので、
先に説明したＭＰＥＧ−４の符号化でなくとも、ＪＰＥ
Ｇ符号化等の静止画符号化を用いることもできる。な
お、検出した物体のみの記録、伝送で構わない場合は、
背景画像を画像符号化部に送る必要はない。

【００５８】背景画像生成の手順について、図１５のフ
ローチャートを用いて説明する。

【００５９】先ず、ステップＳ１３０１において、絞り
をオートに設定し、撮像部１１０１から入ってくる背景
画像の露出を自動調整する。ステップＳ３０２にて、こ
のときの絞り値をメモリ等に記憶しておく。

【００６０】そして、ステップＳ１３０３では、１フレ
ーム分の画像を入力し、ステップＳ１３０４で予め設定
してある枚数（背景画像生成に必要な枚数）に達するま
で繰り返す。

【００６１】こうして、必要枚数の画像の入力が行われ
ると、ステップＳ１３０５において、ノイズが含まない
状態に近い背景画像を生成する。具体的には、入力した
画像に対し、各画素位置の平均値を算出し、それをその
画素位置における画素値とする。

【００６２】ステップＳ１３０６では、閾値の計算を行
う。先に示した式（１）では、１フレーム中の各画素が
移動物体内の画素であるか否かを判定するための閾値Ｔ
ｈが一律固定であったが、本実施形態では各画素位置毎
に閾値を設定する。この理由の１つは、先に示したよう
にノイズの発生を考慮するものである。

【００６３】実施形態では、次のようにして閾値を決定
する。

【００６４】今、背景画像を生成するのに必要な枚数を
ｎ個とし、そのうちのｉ番目のフレーム中の画素位置
ｘ、ｙにおける画素値をＰ(x,y,i)として定義したと
き、その画素位置ｘ、ｙにおける閾値Ｔｈ(x,y)を次の
ようにして算出する。 Ｔｈ(x,y)＝ＭＡＸ｛Ｐ(x,y,1),Ｐ(x,y,2),…,Ｐ(x,y,n)｝ −ＭＩＮ｛Ｐ(x,y,1),Ｐ(x,y,2),…,Ｐ(x,y,n)｝ （３） ここで、ＭＡＸ（…）は最大値を返す関数で、ＭＩＮ
（…）は最小値を返す関数である（ただし、比較器、ラ
ッチ等を用いて回路構成にすることもできる）。

【００６５】すなわち、上記式（３）は、或る画素に着
目したとき、その画素の時間軸に対するふらつきの幅を
算出もしくは検出することを示しているに他ならない。
そして、この算出もしくは検出処理を全画素について求
める。

【００６６】制御部１２０１は、以上のようにして求め
た背景画像データを背景画像生成部１２０２に格納し、
閾値Ｔｈ（ｘ、ｙ）は閾値データ生成部１２０４に格納
する。

【００６７】そして、上記のようにして、実際に背景画
像が用意された後の監視実行時の信号処理の流れは次の
ようになる。

【００６８】制御部１２０１から監視動作の信号が送ら
れると、背景画像生成部１２０２と閾値データ生成部１
２０４への書き込みは不能にする（内容を保持する）。

【００６９】入カデータは監視対象の画像であり、オフ
セットデータ生成部１２０３と背景差分処理部１２０５
に供給される。オフセットデータ生成部１２０３では、
先に生成した背景画像（背景画像生成部１２０２からの
画像）の予め設定してある位置の画素（物体が入らない
箇所で１つ乃至複数の画素）と、入力された監視画像の
同位置の画素に基づきオフセットデータ（差分）を算出
し、その差分値を背景画像生成部１２０２から出力され
る画像データの各画素に足しこむことで、新たな背景画
像を生成し、それを背景差分処理部２０５に出力する。

【００７０】背景差分処理部２０５では、入力された監
視画像とオフセットのついた背景画像中の画素と、それ
に同期して閾値データ生成部１２０４から出力される閾
値とを比較し、２値の形状データとして出力する。監視
実行時には、スイッチ回路２０６はＢ側に設定し、画像
データと形状データの組が画像符号化部１０４へ出力さ
れることとなる。

【００７１】図５のフローチャートを用いて、オフセッ
トデータ生成の詳細を説明する。

【００７２】まずステップＳ１８０１で背景画像を入力
する。このときステップＳ１８０２で絞りはオートに設
定しておく。ステップＳ１８０３で絞り値の変化の検出
を行う。絞り値に変化がなければ、そのまま背景画像を
出力（ステップＳ５０７）し、処理を終える。

【００７３】一方、絞り値の変化を検出した場合は、ス
テップＳ１８０４に進み、監視画像を入力する。そし
て、ステップＳ１８０５において、入力した画像中の予
め設定してある位置の画素の値と、登録した背景画像と
のオフセット（差分）を算出する。算出するオフセット
値に信頼性を高めるため、複数の画素同士の差分を算出
し、その平均値を最終的な差分値とすることが望まれ
る。

【００７４】具体的には、次のようにする。ここでは、
入力監視画像の輝度値をＰｃ（ｘ，ｙ）、背景画像の輝
度値をＰｂ（ｘ，ｙ）とすると、単純差分値Ｄ（ｘ，
ｙ）は次式（４）のようになる。 Ｄ（ｘ，ｙ）＝Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ） （４） 従って、その平均値Ｄａｖｇは、 Ｄａｖｇ＝ΣＤ（ｘ，ｙ）／Ｍ （５） となる。このＤａｖｇを求めるオフセット値とする。た
だし、ｘ、ｙは先に説明したように、物体が入ることが
ない領域内のものである。Ｍはこの領域内の画素数を示
すことになるいずれにしても差分値（上記のＤａｖｇ）
が算出されると、ステップＳ１８０６において、背景画
像生成部１２０２から出力される画像データの各画素に
対して、その差分値を加算（重畳）して新たな背景画像
を生成する。

【００７５】新たな背景画像の画素位置ｘ、ｙの輝度値
Ｐｂｎｅｗ（ｘ，ｙ）は、次式（６）のようになる。 Ｐｂｎｅｗ（ｘ，ｙ）＝Ｐｂ（ｘ，ｙ）＋Ｄａｖｇ （６） そして、ステップＳ１８０７で、その加算結果Ｐｂｎｅ
ｗを背景差分処理部１２０５に出力する。

【００７６】なお、オフセット値Ｄａｖｇは正負両方の
値になり得る。その値が正の場合、新たな背景画像は明
るくなり、負の場合は暗くなる。したがって、物体の進
入したときの画像が図２３（ｂ）であったとすると、同
図２３（ａ）の背景画像には正のオフセット値が重畳さ
れ、図１６（ａ）に示す画像が新たな背景画像となる。
物体の進入したときの画像が図２３（ｃ）であった場合
は、図２３（ａ）の背景画像には負のオフセット値が重
畳され、図１６（ｂ）に示す画像が新たな背景画像とな
る。

【００７７】また、全画素を対象にオフセット値を計算
する場合は、処理画像中に進入物の画素も含まれてしま
うことから、値が正確に求まらない場合もある。そこ
で、進入物が入らない領域、例えば、図９（ａ）に示す
如く画像の上部の領域を仕様する。

【００７８】或いは、差分値のヒストグラムをとること
でも実現できる。背景部分同士では、差分値はある程度
の分布内に収まり、背景と対象物との差分値では大きな
値になることが予想される。そこでヒストグラムの分布
から、２値化処理により、背景部分と思われる差分値の
みを平均化する。

【００７９】また、先の実施形態で説明したように、図
９（ｂ）に示す領域Ａ１から５の例えば５箇所の領域を
設定し、各領域の差分値について、分散値を求める。小
領域内に進入物を含んでいない場合、分散値は小さくな
る。図の例では、Ａ３だけ分散値が大きくなり、他の小
領域Ａｌ、Ａ２、Ａ４、Ａ５での分散値は小さくなる。
分散値の小さい領域のみの差分値を使ってオフセット値
を決めれば、誤差の少ないオフセット値を得ることがで
きる。また、処理の簡略化のために、分散値の代わりに
差分値の総和を利用することもできる。

【００８０】次に背景画像の更新を通知する手順につい
て、図１８のフローチャートを用いて説明する。この処
理は、背景差分処理の実行時に行われる。まず、背景差
分処理の結果として物体を検出したか否かをステップＳ
１９０１にて判定する。物体を検出していない場合は、
そのときの背景画像にオフセット値が重畳されているか
どうかの判定を行う（ステップＳ１９０２）。物体を検
出していないにもかかわらず、オフセット値がある場合
は、照明条件が変化したと考えられるため、新しい照明
条件での背景画像を生成するほうが望ましい。ステップ
Ｓ１９０３にて、制御部１２０１に背景画像の更新を通
知する。制御部１２０１では、背景画像更新通知を受け
取ると、システムを先に説明した背景画像生成時の状態
に設定し、再度背景画像生成の処理を開始する。上記の
通り本第１の実施形態によれば、カメラの絞り値より露
出の変化を検出することで、背景画像に重畳するオフセ
ット値を設定し、差分処理時の背景部分における判定誤
差をなくすことができる。また、背景画像の変化を照明
条件の変化によるものか、進入物によるものかの識別も
行うことで、常に正確な背景画像を用意することができ
る。したがって進入物体に対し適正な露出でかつ精度の
高い検出処理を行うことができる。また、高精度の検出
処理結果を利用し、検出対象の符号化を行うことで、高
能率の監視システムを実現することができる。

【００８１】＜第５の実施形態＞第５の実施形態を、図
１６および図１９乃至図２２を用いて説明する。上記第
４の実施形態では、露出の変化をカメラの絞り値の情報
から検出するものであったが、第５の実施形態において
は、絞り値の情報が得られない場合の例を説明する。

【００８２】図１９は本実施形態における画像処理装置
の構成を示すブロック図である。第４の実施形態で説明
した図１３のブロック図との違いは、物体検出部２００
３が、カメラ制御部２００２とのインターフェイスを持
たないことにある。

【００８３】図２０は、物体検出部２００３の詳細なブ
ロック図である。制御部２１０１がカメラ制御部２００
２との通信機能を持たないことが、図１４のブロック図
との違いである。

【００８４】まず背景画像生成時の信号処理の流れを説
明する。制御部２１０１は各ブロック間の制御を行うも
のである。入力信号は、撮像部から出力される画像デー
タであり、必要に応じてフォーマット変換や、ノイズ除
去処理などが施される。

【００８５】背景画像生成時は、入カデータは、背景画
像生成部２１０２に入力される。生成された背景画像
は、オフセットデータ生成部２１０３に記憶される。記
憶媒体は、メモリでもハードディスクでもよい。また、
背景画像の生成と同時に、閾値データ生成部２１０４
で、閾値データの生成も行ない、その結果を背景差分処
理部２１０５に供給する。背景画像生成時には、オフセ
ットデータ生成部２１０３からの出力や、背景差分処理
部２１０５の出力は、制御部２１０１からの信号によっ
て、停止させている。背景画像の伝送または記録が必要
なときは、出力側のスイッチ２１０６をＡ側に設定して
出力する。出力画像は、１フレームの画像データなの
で、先に説明したＭＰＥＧ−４の符号化でなくとも、Ｊ
ＰＥＧ符号化等の静止画符号化を用いることもできる。
なお、検出した物体のみの記録、伝送で構わない場合
は、背景画像を画像符号化部に送る必要はない。

【００８６】背景画像生成の手順は図２１のフローチャ
ートに示す通りである。第４の実施形態で説明した図１
５のフローチャートに対し、カメラ制御の部分をなくし
た処理になっている。画像処理の部分は同じなので説明
は省略する。

【００８７】次に背景画像が用意された後の監視実行時
の信号処理の流れについて、図２０のブロック図を用い
て説明する。

【００８８】制御部２１０１から監視動作の信号が送ら
れると、背景画像生成部２１２と閾値データ生成部２１
０４への書き込みは停止する。入力データは監視対象の
画像であり、オフセットデータ生成部２１０３と背景差
分処理部２１０５に入力される。オフセットデータ生成
部２１０３では、第４の実施形態と同様、先に生成した
背景画像と、入力された監視画像からオフセットデータ
を生成し、それを背景画像に重畳することで、新たな背
景画像を作成し、それを背景差分処理部２１０５に出力
する。背景差分処理部２１０５では、入力された監視画
像とオフセットのついた背景画像との比較を開値データ
を用いて行い、その結果を２値の形状データとして出力
する。監視実行時には、スイッチ回路２１０６はＢ側に
設定し、画像データと形状データの組が画像符号化部１
０４へ出力されることとなる。

【００８９】図２２のフローチャートを用いて、オフセ
ットデータ生成の詳細を説明する。

【００９０】まずステップＳ２３０１で背景画像を入力
する。次にステップＳ２３０２で、監視画像を入力す
る。毎回監視画像を入力する点が、第４の実施形態で説
明した図１７のフローチャートと大きく異なる部分であ
る。監視画像を入力したら、背景画像との間で、オフセ
ット値の算出を行う（ステップＳ２３０３）。オフセッ
ト値なしの場合は、ステップＳ２３０５を省略し、ステ
ップＳ２３０６にて入力した背景画像をそのまま、或い
はオフセット値＝０として出力する。オフセット値あり
の場合は、ステップＳ２３０５にて、背景画像にオフセ
ット値を重畳し、これを新たな背景画像として、ステッ
プ２３０６にて出力する。本実施形態では、オフセット
値の有無で露出の変化を検出している。オフセット値の
生成方法および背景画像の更新通知手順は、第４の実施
形態と同様である。

【００９１】上記の通り本第４の実施形態によれば、画
像処理により露出の変化を検出することで、背景画像に
重畳するオフセット値を設定し、差分処理時の背景部分
における判定誤差をなくすことができる。また、背景画
像の変化を照明条件の変化によるものか、進入物による
ものかの識別も行うことで、常に正確な背景画像を用意
することができる。したがって進入物体に対し適正な露
出でかつ精度の高い検出処理を行うことができる。ま
た、高精度の検出処理結果を利用し、検出対象の符号化
を行うことで、高能率の監視システムを実現することが
できる。

【００９２】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ、インタフェイス機
器、スキャナ、ビデオカメラなど）から構成されるシス
テムに適用しても、一つの機器からなる装置（例えば、
複写機、ファクシミリ装置など）に適用してもよい。

【００９３】また、本発明の目的は、前述した各実施形
態の機能を実硯するソフトウェアのプログラムコードを
記録した記憶媒体（または記録媒体）を、システムある
いは装置に供給し、そのシステムあるいは装置のコンピ
ュータまたはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読出し実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が前述した実施形
態の機能を実現することになり、そのプログラムコー
ド、及び、それを記憶した記憶媒体は本発明を構成する
ことになる。また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオベレーテ
イングシステム（ＯＳ）などが実際の処理の一部または
全部を行い、その処理によって前述した実施形態の機能
が実現される場合も含まれることは言うまでもない。こ
こでプログラムコードを記憶する記憶媒体としては、例
えば、フロッピー（登録商標）ディスク、ハードディス
ク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカ
ード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、
光磁気ディスク、ＭＯなどが考えられる。

【００９４】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張力一
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。本発明を上記記
憶媒体に適用する場合、その記憶媒体には、先に説明し
た各フローチャートに対応するプログラムコードが格納
されることになる。

【００９５】上記の通り本発明に係る実施形態によれ
ば、あらかじめ複数の背景画像を生成し、監視時に入力
監視画像と複数の背景画像との間で背景部分の一致度の
最も高いものを選択した後、差分処理を行うことから、
背景部分における判定誤差をなくし、かつ、進入物体に
も適正な露出で、精度の高い画像処理方法及び装置並び
に記憶媒体を提示することができる。

【００９６】また、他の実施形態によれば、露出の変化
を検出することで、背景画像に重畳するオフセット値を
設定し、差分処理時の背景部分における判定誤差をなく
すことができる。また、背景画像の変化を照明条件の変
化によるものか、進入物によるものかの識別も行うこと
で、常に正確な背景画像を用意することができる。した
がって進入物体に対し適正な露出でかつ精度の高い検出
処理を行うことができる。

【００９７】また、高精度の検出処理結果を利用し、検
出対象の符号化を行うことで、高能率の監視システムを
実現する画像処理方法及び装置並びに記憶媒体を提示す
ることができる。

【００９８】

【発明の効果】以上説明したように本発明によれば、撮
像手段の自動露出機能を有効利用しつつも、監視対象物
の鮮明な像を検出しつつ、背景部分で誤判定の少なく
し、高い精度で進入対象物の検出が行えるようになる。

【図面の簡単な説明】

【図１】実施形態における画像処理装置の構成を示すブ
ロック図である。

【図２】第１の実施形態における物体検出部のブロック
図である。

【図３】第１の実施形態における背景画像生成のフロー
チャートである。

【図４】実施形態における複数の背景画像を説明する図
である。

【図５】第１の実施形態における背景画像選択のフロー
チャートである。

【図６】第２の実施形態における物体検出部のブロック
図である。

【図７】第２の実施形態における背景画像生成のフロー
チャートである。

【図８】第２の実施形態における背景画像選択のフロー
チャートである。

【図９】第２、第３の実施形態における背景画像選択を
説明する図である。

【図１０】背景差分処理による物体検出を説明する図で
ある。

【図１１】背景差分処理による物体検出の問題点を説明
する図である。

【図１２】ＭＰＥＧ−４ビジュアル符号化のブロック図
である。

【図１３】第４の実施形態における画像処理装置のブロ
ック構成図である。

【図１４】第４の実施形態における物体検出部のブロッ
ク構成図である。

【図１５】第４の実施形態における背景画像生成処理手
順を示すフローチャートである。

【図１６】第４の実施形態における背景画像とオフセッ
ト付加による背景画像とを示す図である。

【図１７】第４の実施形態におけるオフセット付加処理
手順を示すフローチャートである。

【図１８】背景画像更新処理手順を示すフローチャート
である。

【図１９】第５の実施形態における画像処理装置のブロ
ック構成図である。

【図２０】第５の実施形態における物体検出部のブロッ
ク構成図である。

【図２１】第５の実施形態における背景画像生成手順を
示すフローチャートである。

【図２２】第５の実施形態におけるオフセット付加処理
手順を示すフローチャートである。

【図２３】背景差分処理による物体検出時における露出
変化による画像の例を示す図である。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/238 Ｈ０４Ｎ 5/238 Ｚ

Claims (23)

【特許請求の範囲】
1. 【請求項１】 撮影視野内の像の明るさに応じて露出補
   正する機能を有する撮像手段の、前記撮像視野内にある
   対象物を示す情報を抽出する画像処理装置であって、 前記撮像手段によって、予め複数の露出による背景画像
   データを格納する格納手段と、 前記格納手段に格納された背景画像データの１つを選択
   する選択手段と、 前記撮像手段で撮像して得られた画像データと前記選択
   手段で選択された背景画像データとの差分を検出するこ
   とで、前記撮像手段の撮影視野内の、背景以外の対象物
   体の存在する位置を示す情報を抽出する抽出手段とを備
   えることを特徴とする画像処理装置。
2. 【請求項２】 前記格納手段には、各露出の値と背景画
   像データとを対応づけて格納されることを特徴とする請
   求項第１項に記載の画像処理装置。
3. 【請求項３】 前記選択手段は、前記撮像手段の露出状
   態に関する情報を入力する入力手段を含み、該入力手段
   の入力した情報に基づいて、該当する露出値を有する背
   景画像データを選択することを特徴とする請求項第２項
   に記載の画像処理装置。
4. 【請求項４】 前記選択手段は、前記撮像手段で得られ
   た画像データと、前記格納手段に格納されている各露出
   毎の背景画像データとの一致度を算出手段を含み、該算
   出手段で算出した一致度が最大となる背景画像データを
   選択することを特徴とする請求項第１項に記載の画像処
   理装置。
5. 【請求項５】 前記算出手段は、前記撮像手段の視野内
   に予め設定した所定の複数の部分的な領域について差分
   を算出することを特徴とする請求項第４項に記載の画像
   処理装置。
6. 【請求項６】 前記抽出手段は、画素毎に、背景画素で
   あるか、背景以外の対象物体であるかを識別する２値情
   報を抽出することを特徴とする請求項第１項乃至第５項
   のいずれか１項に記載の画像処理装置。
7. 【請求項７】 前記撮像手段で得られた画像情報と前記
   抽出手段で抽出された情報を符号化手段に出力する手段
   を更に備えることを特徴とする請求項第１項乃至第６項
   のいずれか１項に記載の画像処理装置。
8. 【請求項８】 前記符号化手段はＭＰＥＧ−４符号化方
   式により符号化することを特徴とする請求項第７項に記
   載の画像処理装置。
9. 【請求項９】 撮影視野内の像の明るさに応じて露出補
   正する機能を有する撮像手段の、前記撮像視野内にある
   対象物を示す情報を抽出する画像処理方法であって、 前記撮像手段によって、予め複数の露出による背景画像
   データを所定の記憶手段に格納する格納工程と、 前記記憶手段に格納された背景画像データの１つを選択
   する選択工程と、 前記撮像手段で撮像して得られた画像データと前記選択
   工程で選択された背景画像データとの差分を検出するこ
   とで、前記撮像手段の撮影視野内の、背景以外の対象物
   体の存在する位置を示す情報を抽出する抽出工程とを備
   えることを特徴とする画像処理方法。
10. 【請求項１０】 撮影視野内の像の明るさに応じて露出
    補正する機能を有する撮像手段の、前記撮像視野内にあ
    る対象物を示す情報を抽出する画像処理装置用のコンピ
    ュータプログラムであって、 前記撮像手段によって、予め複数の露出による背景画像
    データを格納する格納手段と、 前記格納手段に格納された背景画像データの１つを選択
    する選択手段と、 前記撮像手段で撮像して得られた画像データと前記選択
    手段で選択された背景画像データとの差分を検出するこ
    とで、前記撮像手段の撮影視野内の、背景以外の対象物
    体の存在する位置を示す情報を抽出する抽出手段ととし
    て機能するコンピュータプログラム。
11. 【請求項１１】 請求項第９項に記載のコンピュータプ
    ログラムを格納することを特徴とするコンピュータ可読
    記憶媒体。
12. 【請求項１２】 撮影視野内の像の明るさに応じて露出
    補正する機能を有する撮像手段の、前記撮像視野内にあ
    る対象物を示す情報を抽出する画像処理装置であって、 前記撮像手段によって得た背景画像データを格納する背
    景画像格納手段と、 前記撮像手段で撮像して得られた画像データの、前記背
    景画像格納手段に格納された背景画像データに対するオ
    フセットを検出するオフセット検出手段と、 該オフセット検出手段で検出したオフセットを、前記背
    景画像格納手段からの背景画像データに重畳付加し、新
    たな背景画像データを生成する背景画像生成手段と、 該背景画像生成手段で生成された新たな背景画像データ
    と、前記撮像手段で撮像して得られた画像データとの差
    分を検出することで、前記撮像手段の撮影視野内の、背
    景以外の対象物体の存在する位置を示す情報を抽出する
    抽出手段とを備えることを特徴とする画像処理装置。
13. 【請求項１３】 前記背景画像格納手段は、前記撮像手
    段で撮像した背景画像を時間軸に対して複数枚撮像して
    得た背景画像の平均値画像を背景画像として格納するこ
    とを特徴とする請求項第１２項に記載の画像処理装置。
14. 【請求項１４】 前記抽出手段は、 時間軸に対して複数の背景画像データを前記撮像手段で
    撮像した際、各画素位置毎の時間軸に対するふらつき幅
    を検出し、当該ふらつき幅を閾値情報として格納する閾
    値情報格納手段と、 前記撮像手段で得られた画像と前記新たな背景画像との
    同じ位置の画素値の差分の大小を判断する場合、前記閾
    値情報格納手段に格納された、対応する画素位置におけ
    る閾値に基づいて判断することを特徴とする請求項第１
    ２項又は第１３項に記載の画像処理装置。
15. 【請求項１５】 前記撮像手段の絞り値を検出する検出
    手段を更に備え、 前記検出手段により絞り値の変化があった場合に、前記
    抽出手段は前記背景画像生成手段で生成された新たな背
    景画像を参照することを特徴とする請求項第１２項乃至
    第１４項のいずれか１項に記載の画像処理装置。
16. 【請求項１６】 前記オフセット検出手段は、前記撮像
    手段の視野内に予め設定した所定の複数の部分的な領域
    について差分を算出することでオフセットを検出するこ
    とを特徴とする請求項第１２項に記載の画像処理装置。
17. 【請求項１７】 前記抽出手段は、画素毎に、背景画素
    であるか、背景以外の対象物体であるかを識別する２値
    情報を抽出することを特徴とする請求項第１２項乃至第
    １６項のいずれか１項に記載の画像処理装置。
18. 【請求項１８】 更に、前記背景画像格納手段に格納す
    る背景画像を更新する更新手段を備え、 当該更新手段による更新処理は、前記撮像手段の撮影視
    野内の、背景以外の対象物体の存在がせず、従前の背景
    画像とのオフセット或いは絞りの変化が検出された場合
    に実行することを特徴とする請求項第１２項に記載の画
    像処理装置。
19. 【請求項１９】 前記撮像手段で得られた画像情報と前
    記抽出手段で抽出された情報を符号化手段に出力する手
    段を更に備えることを特徴とする請求項第１２項乃至第
    １８項のいずれか１項に記載の画像処理装置。
20. 【請求項２０】 前記符号化手段はＭＰＥＧ−４符号化
    方式により符号化することを特徴とする請求項第１９項
    に記載の画像処理装置。
21. 【請求項２１】 撮影視野内の像の明るさに応じて露出
    補正する機能を有する撮像手段の、前記撮像視野内にあ
    る対象物を示す情報を抽出する画像処理方法であって、 前記撮像手段によって得た背景画像を所定の記憶手段に
    格納する背景画像格納工程と、 前記撮像手段で撮像して得られた画像の、前記記憶手段
    に格納された背景画像に対するオフセットを検出するオ
    フセット検出工程と、 該オフセット検出工程で検出したオフセットを、前記記
    憶手段からの背景画像に重畳付加し、新たな背景画像を
    生成する背景画像生成工程と、 該背景画像生成工程で生成された新たな背景画像と、前
    記撮像手段で撮像して得られた画像との差分を検出する
    ことで、前記撮像手段の撮影視野内の、背景以外の対象
    物体の存在する位置を示す情報を抽出する抽出工程とを
    備えることを特徴とする画像処理方法。
22. 【請求項２２】 撮影視野内の像の明るさに応じて露出
    補正する機能を有する撮像手段の、前記撮像視野内にあ
    る対象物を示す情報を抽出する画像処理装置用のコンピ
    ュータプログラムであって、 前記撮像手段によって得た背景画像を格納する背景画像
    格納手段と、 前記撮像手段で撮像して得られた画像の、前記背景画像
    格納手段に格納された背景画像に対するオフセットを検
    出するオフセット検出手段と、 該オフセット検出手段で検出したオフセットを、前記背
    景画像格納手段からの背景画像に重畳付加し、新たな背
    景画像を生成する背景画像生成手段と、 該背景画像生成手段で生成された新たな背景画像と、前
    記撮像手段で撮像して得られた画像との差分を検出する
    ことで、前記撮像手段の撮影視野内の、背景以外の対象
    物体の存在する位置を示す情報を抽出する抽出手段とと
    して機能することを特徴とするコンピュータプログラ
    ム。
23. 【請求項２３】 請求項第２２項に記載のコンピュータ
    プログラムを格納することを特徴とするコンピュータ可
    読記憶媒体。