JP4367177B2 - 監視装置 - Google Patents

Description

本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する監視装置及び方法、プログラム、記録媒体並びに監視システムに関する。

近年、一つの建物の中に複数のスクリーンを設置したいわゆるシネマコンプレックスと呼ばれる複合映画館が各地でオープンしている。この複合映画館において観客が持参した入場券を確認する担当者は、通常、建物の入口付近に配置されているが、各スクリーンが設置された映写室毎には配置されていない場合が多い。このため、館内に入場した観客による映写室間の自由な出入りを許すことになり、特に映写室毎に別途入場料金を課す料金体系を採用する複合映画館において極めて不合理となる。

従って各複合映画館では、入場料金を払うことなく映写室間を自由に出入りする観客を随時監視すべく監視員の増員等を図らんとしてきたが、コストパフォーマンス性が悪かった。

また各複合映画館では、各座席に設置されたスイッチを介して、着席状況の自動的な判別を試みようとしてきた。この方法では、上記スイッチを、押圧入力により電気信号を生成する圧電素子として構成し、観客の着席に応じた押圧入力により生成された電気信号を後段のシステムで検出することにより着席状況を自動的に判別する。しかしながら、各映写室の座席数に応じたスイッチを購入し、これを座席毎に設置する必要があるため、コストや労力の削減を図ることができなかった。また圧電素子としてのスイッチの信頼性にばらつきがあるため、着席状況を精度よく判別することができなかった。

このため、信頼性が高くコストパフォーマンス性にも優れた監視を実現するために、カメラの撮影方向を順にシフトさせながら撮影対象を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリングシステムが提案されている（例えば、特許文献１参照。）。また、設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

特開平１０−１０８１６３号公報 特開２０００−２４３０６２号公報

ところで、上述の如く記録媒体に記録された画像を利用して、撮影範囲における何らかの変化を検出する場合に、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察しなければならなかった。特に監視員は、細かい画像の変化や、微小な対象物の出現等につき常に識別しなければならず、過大な労力や時間を必要とし、さらには、かかる監視員の眼に依存するシステムであるが故に、かかる状況変化の見落としが生じる危険性もあった。

また座席上において、監視対象としての観客以外に、荷物や運搬物等が積まれる場合もあることから、これを容易に識別し、あくまで監視対象における収容位置への収容のみに焦点を当てた状況解析を実現する必要もあった。即ち、所望の監視対象を監視員自身が取捨選択することにより、不要な移動被写体の累積的な監視を回避するとともに、解析の利便性を向上させる必要性もあった。

さらに、光源の照度変動や周囲の明るさ等の微妙な変動による影響を受けた場合には、全く同一の移動被写体であっても、単に輝度レベルを比較するのみでは変化を検出することができず、監視の有効性を担保することができないという問題点もあった。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、監視員の労力の負担を軽減し、所望の監視対象における収容位置への収容を精度よく識別することができる監視装置及び方法、プログラム、記録媒体並びに監視システムを提供することにある。

本発明は、上述した課題を解決するために、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する際に、監視対象である移動被写体が着席する座席を含み、当該移動被写体が着席する座席に発生する差異を検出するための差異検出枠を撮影範囲内で操作者の操作によって任意に設定し、設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出し、検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較し、当該比較の結果、差異検出枠内に差異が検出された場合には、差異検出枠内に差異が検出されたことを示す情報と生成されたパノラマ画像とを同一画面上に表示する。

即ち、本発明を適用した監視装置は、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置において、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、上記検出枠設定手段によって設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手段と、上記差異検出手段により検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手段と、上記比較手段でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示制御手段とを備える。

また、本発明を適用した監視装置は、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置において、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、上記撮影範囲で定義される任意の座標に存在する単位画像の上記差異検出枠内における基準画素位置に対して、当該単位画像よも前に撮像されたパノラマ画像の同一座標に存在する単位画像を少なくとも１画素ずつずらしながら正規化相関値を計算することにより最大の相関が得られるターゲット位置を特定し、特定したターゲット位置と基準画素位置との間で得られる輝度ベクトルを抽出する処理を上記検出枠設定手段によって設定された全ての差異検出枠に関して実行する輝度ベクトル抽出手段と、上記輝度ベクトル抽出手段によって抽出された輝度ベクトルの方向を順次識別し、当該識別の結果、識別した輝度ベクトルの方向と、当該輝度ベクトルよりも前に識別した同一画素位置の輝度ベクトルの方向とが一致しているかを判別する輝度ベクトル方向判別手段と、上記輝度ベクトル方向判別手段による判別の結果、両者間における輝度ベクトルの変化が検出された場合に、当該画素位置に何らかの差異が検出されたと判定する差異検出手段と、上記差異検出手段によって差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示制御手段とを備える。

更に、本発明を適用した監視方法は、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視方法において、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定ステップと、上記検出枠設定ステップで設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出ステップと、上記差異検出ステップで検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較ステップと、上記比較ステップでなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示する表示ステップとを含む。

また、本発明を適用したプログラムは、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する処理をコンピュータに実行させるためのプログラムにおいて、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定手順と、上記検出枠設定手順で設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手順と、上記差異検出手順で検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手順と、上記比較手順でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示手順とを含む処理をコンピュータに実行させる。

更に、本発明を適用した記録媒体は、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する処理をコンピュータに実行させるためのプログラムが記録された記録媒体において、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定手順と、上記検出枠設定手順で設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手順と、上記差異検出手順で検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手順と、上記比較手順でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示手順とを含む処理をコンピュータに実行させるためのプログラムが、コンピュータ読み取り可能な状態で記録されている。

また、本発明を適用した監視システムは、撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置と、上記パノラマ画像を表示する表示画面を有する端末装置と、上記監視装置及び上記端末装置と通信ネットワークを介して接続され、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、上記検出枠設定手段によって設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手段と、上記差異検出手段により検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手段と、上記比較手段でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを上記端末装置の有する表示画面上に表示させる表示制御手段とを備える制御装置とを備える。

本発明は、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する際に、監視対象としての移動被写体が収容される収容位置を捉えるように撮影範囲を設定し、生成したパノラマ画像を構成する一の単位画像と当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、検出した輝度レベルの差異を上記移動被写体の輝度レベルに応じて予め設定された閾値と比較し、比較した結果に基づき生成したパノラマ画像と共に所定の情報を表示面に表示する。

これにより、監視装置から注意喚起された場合に始めてその詳細につき確認すれば足りるため、監視労力を大幅に低減させることができる。また、あくまで監視対象における収容位置への収容のみに焦点を当てた状況解析を実現することができ、ひいては解析の利便性を向上させることができる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、上記画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、カメラユニット２並びに監視装置５,端末装置９間で双方向通信を実現するためのネットワーク８とを備えている。

この監視システム１におけるカメラユニット２は、図２に示すように、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。

カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。

監視装置５は、図２に示すように、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、この画像入出力部１３に接続され、上記画像信号に基づく動画像を生成する演算処理部１５と、演算処理部１５に接続され上記画像信号を記録するサーバ５３と、ユーザが監視装置５を制御するための操作部１６とを備えている。

この監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて画像を送信する。なお監視装置５の構成の詳細については、後述する。

ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。

端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。

次に、本発明を適用した監視システム１におけるカメラユニット２,監視装置５について詳細に説明する。

図３は、カメラユニット２,監視装置５の詳細な構成を示している。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに監視装置５の各構成要素が接続されている。

カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部３ａ、Pan部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。

また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。

また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。

また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。

Tilt部３ａ並びにPan部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。

レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。

ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。

バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。

サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。

画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。

グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。

ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。

次に本発明を適用した監視システム１における撮像動作について説明をする。

図４は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。

同様にＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。

ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚のパノラマ状の全体画像（パノラマ画像）が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。

図５は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

また表示画面４５上においてマウス６０を介した入力動作を実行することにより、拡大画像表示部７１に表示されている単位画像につき撮影倍率を拡大又は縮小させ、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御、各種モードの設定を行うことができる。ちなみに、全体画像表示部７０において表示される全体画像の履歴は、履歴表示部８１を介して表示され、全体画像表示部７０に表示される全体画像の濃淡については、濃淡表示部８２を介して表示される。また拡大画像表示部７１に表示されている単位画像につき変更された撮影倍率は、倍率表示部８３を介して表示される。

また、この表示画面４５上に表示されている差異検出ボタン８４がマウス６０を介してクリックされると、後述の差異検出時において、生成された全体画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異が検出される。

この差異検出は、サーバ５３に記録されている単位画像から構成される全体画像につき、基準となる全体画像との間で輝度レベルを比較することにより実行する。ここで画像上の差異を検出する全体画像を比較全体画像といい、基準となる全体画像を基準全体画像という。

図６(a)に示すように、基準全体画像を全体画像ａ１とした場合において、比較全体画像としての全体画像ａ２につき画像上に生じた差異を検出する場合には、全体画像ａ２を構成する単位画像と、全体画像ａ１を構成する単位画像との間で輝度レベルを比較する。この輝度レベルの比較は、図６(a)に示すように、同一座標（１，１）、（２，１）、（３，１）、・・・、（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基準全体画像に対する比較全体画像の輝度レベルの変化を、各撮影方向に応じて検出することができる。

ＣＰＵ５６は、比較全体画像（全体画像ａ２）と基準全体画像（全体画像ａ１）との間で、例えば座標（Ｍ，Ｎ）にある単位画像の輝度レベルを比較する場合には、先ず、これら二つの単位画像をサーバ５３から読み出す。次にＣＰＵ５６は、例えば図６(b)に示すように、読み出した二つの単位画像間において同一位置にある各画素(ｍ,ｎ)につき輝度レベルを比較する。この輝度レベルの比較は、同一位置にある画素(ｍ,ｎ)につき、輝度レベルの差分を求めるようにしてもよい。ＣＰＵ５６は、読み出した単位画像間の輝度レベルの差異を、各画素につき求めた輝度レベルの差分値を介して検出することができる。ちなみに、この各画素間の輝度レベルの比較は、単位画像を構成する全ての画素につき実行してもよいし、単位画像を構成する一部の画素のみに対して実行するようにしてもよい。

ちなみに、本発明では、比較全体画像を構成する一部の単位画像のみについて、上述の如く輝度レベルを比較してもよい。このときユーザは、マウス６０等を用いて、所望の単位画像を指定することにより、かかる指定された単位画像のみにつき輝度レベルの差異を検出することが可能となる。

なお、次のタイミングにおいてサーバ５３に全体画像ａ３を構成する単位画像が記録された場合には、当該全体画像ａ３が比較全体画像となり、基準全体画像としての全体画像ａ１の間で、同一撮影方向における単位画像間で差異が検出されることになる。さらに次のタイミングにおいて、サーバ５３に全体画像ａ４を構成する単位画像が記録された場合には、当該全体画像ａ４が比較全体画像となり、基準全体画像としての全体画像ａ１の間で、同一撮影方向における単位画像間で差異が検出されることになる。

次に、本発明を適用した監視システム１により着席状況を監視する手順につき図７を用いて説明をする。

先ずステップＳ１１以降において、観客の着席前におけるいわゆる空席状態の全体画像を取得する。ステップＳ１２において監視装置５は、操作部１６を介したユーザの命令に基づいて、移動被写体（観客）が着席する座席を全て捉えることができるように撮影範囲を設定し、また撮影画角ｕを決定する。

次にステップＳ１３へ移行し、監視システム１は、かかる空席状態の全体画像の撮像を実行し、これをサーバ５３へ記録する。このサーバ５３に記録された全体画像が基準全体画像となる。基準全体画像は、画像圧縮部５４により順次読み出されてディスプレイ６における全体画像表示部７０に表示されることになる。

次にステップＳ１４へ移行し、ユーザ（監視員）は、全体画像表示部７０に表示されている基準全体画像を視認しつつ、操作部１６を介して画像上の差異を検出する領域（以下、差異検出枠という。）を設定する。図８は、ユーザにより設定された差異検出枠の一例を示している。空席状態の基準全体画像の各座席位置に対して差異検出枠（ＩＤ−１〜ＩＤ−８）が設定されていることが分かる。

ちなみに、この差異検出枠については任意に設定することができ、例えば指定席についてのみ着席状況を監視する場合には、かかる指定席のみに差異検出枠を設定するようにしてもよい。また本実施例では、設定される差分検出枠として、上記取得した基準全体画像のBitmap上に矩形を表示する場合につき説明しているが、かかる場合に限定されるものではなく、円形や不均等枠を表示するようにしてもよい。また各差異検出枠にＩＤ番号（ＩＤ−ｎ）を付す場合には、これを座席番号と一義的に連関させることにより、データベース上における照合の便宜を図るようにしてもよい。更に、この差異検出枠を設ける場合に限定されることなく、例えば全体画像を構成する全ての単位画像につき輝度レベルの差異を検出するようにしてもよい。

次に、ステップＳ１５へ移行し、観客の着席時における全体画像を取得する。この全体画像の撮像については、上述したステップＳ１１において設定した撮影範囲内で、かつ同一の撮影画角ｕの下、実行する。このステップＳ１５における全体画像の撮像タイミングは、例えばこの撮影システム１を映画館に設置する場合であれば、上映時となるが、使用状況に応じて任意に決定できるようにしてもよい。また短い時間間隔で観客が移動する場合に、特定の時点のみ全体画像を取得するだけでは差異検出の実効が図れないことから、連続して何枚かの全体画像を取得するようにしてもよい。

次にステップＳ１５へ移行し、監視システム１は、かかる着席時の全体画像の撮像を実行し、これをサーバ５３へ記録する。このサーバ５３に記録された全体画像が比較全体画像となる。この比較全体画像は、画像圧縮部５４により順次読み出されてディスプレイ６における全体画像表示部７０に表示されることになる。

ここで、この表示画面４５上に表示されている差異検出ボタン８４がマウス６０を介してクリックされると、基準全体画像と比較全体画像との間で、同一撮影方向上の単位画像間で輝度レベルの差異が検出される。検出された輝度レベルの差異の中から、差異検出枠を構成する画素における輝度レベルの差異を抽出する。なお、この監視装置５において、差異検出ボタン８４がマウスクリックされた場合に、輝度レベルの差異を検出する場合のみならず、所定の間隔毎に差異検出されるようにしてもよいし、またカメラ部４における撮像の都度、差異検出するようにしてもよい。

このとき、監視装置５は、基準全体画像並びに比較全体画像を構成する全ての単位画像間において輝度レベルの差異を比較する場合に限定されるものではなく、例えば差異検出枠が設定された単位画像のみに焦点をあてて差異検出を行うようにしてもよい。例えば図９に示すように、差異検出枠ＩＤ−ｎが単位画像（１,１）、（２,１）、（１,２）、（２,２）にかけて設定されている場合には、当該単位画像（１,１）、（２,１）、（１,２）、（２,２）のみについて、同一撮影方向上の単位画像間で輝度レベルの差異を検出し、他の単位画像（３,１）、（１,３）、（２,３）については、かかる差異検出を省略することができる。これにより、処理速度を高速化することができ、高効率な差異検出を実現することができる。

差異検出枠を含む各単位画像につき輝度レベルの差異検出がなされた後、ステップＳ１７へ移行する。このステップＳ１７では、ステップＳ１６において検出された輝度レベルの差異を予め設定された閾値と比較する。

ここで、差異検出枠の輝度レベルの差異を、各画素につき求めた輝度レベルの差分値を介して検出した場合には、当該差分値が閾値を超えているか否か判別する。その結果、求めた差分値が閾値を超えている場合には、当該差異検出枠内にある画像領域において、基準全体画像と比較して何らかの差異が生じたことを判別する。これに対して、求めた差分値が閾値以下の場合には、当該差異検出枠内にある画像領域において、基準全体画像と比較しても差異が生じなかったことを判別する。

また、この判別に用いる閾値を、撮影対象としての観客の輝度レベルに応じて設定しておくことにより、差異検出枠が設定されている各座席に観客が着席したときに、求めた差分値が閾値を超えることになる。また空席のときには、求めた差分値が閾値以下となる。

図１０は、ステップＳ１４において差異検出枠（ＩＤ−１〜ＩＤ−８）が設定された座席のいくつかにおいて観客が着席した状態を撮像した比較全体画像を示している。この図１０に示すように、観客が着席した座席における差異検出枠ＩＤ−３,ＩＤ−４,ＩＤ−６,ＩＤ−７については、基準全体画像と比較して観客の輝度レベルが重畳されるため、求められた差分値が閾値を超えることになる。これに対して、空席における差異検出枠ＩＤ−１,ＩＤ−２,ＩＤ−５,ＩＤ−８については、基準全体画像と比較して輝度レベルが変化することはなく、求められた差分値が閾値以下となる。

監視装置５は、求められた差分値が閾値を超えている場合のみに、その差異検出枠のみについて監視員に注意を喚起して、観客の着席を通知すべく、ディスプレイ６上に表示される全体画像と共に何らかの情報を表示する（ステップＳ１８）。これにより、監視員は、監視装置５から注意喚起された場合に始めてその詳細につき確認すれば足りるため、監視労力を大幅に低減させることができる。このとき、表示する情報として全体画像表示部７０に表示されている差異検出枠中にハッチングや色彩を施すようにしてもよい。また、差異検出枠毎に予め識別情報を入力しておき、求められた差分値が閾値を超えている場合のみにこれを表示するようにしてもよい。これにより、識別情報として座席の予約状況を予め入力しておき、観客の着席を検知した場合に当該座席の予約状況を識別情報として表示することが可能となる。

また、監視装置５は、このステップＳ１７における比較結果や観客、座席の輝度レベル等の各種情報を累積的に記憶しておき、ステップＳ１７において新たに取得された比較結果にこれらを照らし合わせてこれをディスプレイ６を介して表示してもよい。 また監視装置５は、例えば図１０に示すように、差異検出枠ＩＤ−３,ＩＤ−６,ＩＤ−７において予約済みを示す識別情報が割り当てられており、差異検出枠ＩＤ−４において未予約を示す識別情報が割り当てられている場合に、それぞれの予約状況を出力画面４５上に同時に表示してもよい。このとき、求められた差分値が閾値以下の差異検出枠についても、未着席であることを示す”empty”の文字を出力画面４５上において同時に表示してもよい。

監視員は、差異検出枠の色彩や識別情報の表示を視認することにより、例えば未予約の座席に観客が座っていることを容易に識別することができる。また、監視員がディスプレイ６における表示画面４５を視認していない場合においても、監視装置５側において、これを履歴として残しておくこともできる。これにより、監視員が観客の着席状況を事後的に解析することができる。

さらにこの監視装置５は、ステップＳ１７における比較結果をディスプレイ６を介して表示する場合に加え、図１１に示す手順に基づいて、ネットワーク８を介して他の端末装置９へ送信するようにしてもよい。

先ずステップＳ３１において、端末装置９を操作する各ユーザは、ネットワーク８に接続されている監視装置５にアクセスする。

次にステップＳ３２に移行し、監視装置５は、自身のサーバ５３に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これを端末装置９へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク８、端末装置９を介して、端末ディスプレイ１０上に表示される。

次にステップＳ３３へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。端末装置９は、ユーザによる選択操作に応じて、全体画像送信要求Ｃ１を監視装置５へ送信する。

ステップＳ３４において、監視装置５は、かかる全体画像送信要求Ｃ１を受けて、ユーザにより選択された全体画像並びにその累積差異情報をサーバ５３から読み出し、これを端末装置９へ送信する。送信された全体画像は、上述の如く累積差異情報と重ね合わせてネットワーク８、端末装置９を介して、端末ディスプレイ１０に表示される（ステップＳ６５）。これにより、遠隔地からの監視も実現可能となる。

このような監視システム１を、いわゆるシネマコンプレックスと呼ばれる複合映画館の各映写室内に設置することもできる。図１２(a)は、観客の着席前におけるいわゆる空席状態の基準全体画像を取得した結果を示している。各座席につき個別に差異検出枠を設定することができることが分かる。また図１２(b)は、差異検出枠が設定された映写室内の一の座席に観客が座った場合につき示している。この図１２(b)に示すように、座席毎に設定された差異検出枠は、当該座席に座った観客の輝度レベル分だけ差異が生じ、求められた差分値が閾値を超える結果、ハッチングや色彩が施されて監視員に対して注意喚起される。監視員は、出力画面４５上において注意喚起された差異検出枠を視認するのみで、予約されていない座席に観客が着いたことを容易に識別することができる。これにより、特に映写室毎に別途入場料金を課す料金体系を採用する複合映画館において、館内に入場した観客による映写室間の自由な出入りを逐一チェックすることができる。

即ち、この監視システム１は、画素の輝度レベルを介して観客の着席状況を監視することができるため、圧電素子が内蔵されたスイッチを用いる場合と比較して極めて精度よく、僅かな変化までも正確に捉えることができる。また観客の輝度レベルに応じた閾値をより精度よく設定しておくことにより、例えば座席に荷物や他の運搬物等が置かれた場合であってもこれを容易に識別し、あくまで監視対象として観客に焦点を当てた監視を実現することができる。即ち、所望の監視対象に応じた閾値を最適化することにより、監視員自身が監視対象を取捨選択することができ、不要な移動被写体の累積的な監視を回避するとともに、解析の利便性を向上させることもできる。

また、本発明を適用した監視システム１では、上映中に置いて映写室内における照明が消されている状態であっても、スクリーンの照明のみに基づいて撮像を実行することができる。これにより取得することができる全体画像は見かけ上暗くなるが、観客の着席に応じたわずかな輝度レベルの変化を検出することができる。このため、スクリーンの照明のみに基づいて撮像する場合を想定して上記閾値を予め設定しておき、当該設定した閾値との比較により、わずかな輝度レベルの変化であってもこれを見逃すことなく捉えて、観客の着席を随時監視することができる。即ち、本発明を適用した監視システム１では、更に撮影環境に応じた閾値を予め最適化することにより解析の利便性を向上させることができる。

本発明を適用した監視システム１では、暗い場所における撮像を実行する場合において、更に検出精度を向上させるべく、赤外線カットフィルタを用いて撮像を行うようにしてもよい。以下、この赤外線カットフィルタを介して撮像を行う場合につき、Nightモードという。通常の明るい場所において撮像した画像については、Ｒ、Ｇ、Ｂ、Ｇｒｅｙ要素のデータを元に差分検出を行うが、このNightモードでは、Ｇｒｅｙ要素のデータのみを元に差分検出を行う。これは、Nightモード画像が主として明るさのみのデータとなるためである。

図１３は、かかるＮｉｇｈｔモードが導入された場合における差異検出手順を示している。上述したステップＳ１６に移行して差異検出枠内において差分検出が開始された場合（ステップＳ７１）には、ステップＳ７２へ移行し、得られた画像からＮｉｇｈｔモードに移行するか否か決定する。その結果、Ｎｉｇｈｔモードに入ることを決定した場合には、ステップＳ７４へ移行し、それ以外の場合にはステップＳ７３へ移行する。

ステップＳ７３へ移行した場合には、撮像した画像につきＲ、Ｇ、Ｂ、Ｇｒｅｙ要素のデータを元に差分検出を実行し、その後ステップＳ７５へ移行する。これに対して、ステップＳ７４へ移行した場合には、撮像した画像につき、Ｇｒａｙデータのみを元に差分検出を実行し、その後ステップＳ７５へ移行する。

ステップＳ７５では、検出された輝度レベルの差異を予め設定された閾値と比較する。これ以降の処理は、上述したステップＳ１６と同様であるため、説明を省略する。

また監視システム１は、この撮影対象の輝度レベルや撮影環境に応じた閾値の最適化を図ることにより、複合映画館の映写室内の適用に限定されることなく、例えば図１４に示すようにスタジアムの座席状況についても同様に監視することができる。先ず、広角撮影を実行することにより図１４(a)に示すような広範囲の座席を撮像する。この撮像した座席において、例えば図１４(a)中に示す点線枠内が特別指定席である場合には、当該領域を拡大し、図１４(b)に示すように座席毎に差異検出枠を設定する。また、スタジアムが屋内型か屋外型かに応じて明るさも異なってくることから、撮影環境に応じて予め閾値を最適化しておくようにしてもよい。

また本発明を適用した監視システム１では、カメラユニット２を例えばオープンスペースの駐車場に設置することにより、センサを用いることなく、各駐車スペースの空き状況を取得することができる。かかる場合において、カメラ部４の撮影方向、撮影画角は、空き状況を取得する駐車場を含むように調整し、監視する自動車の輝度レベルに応じて予め閾値を設定しておく。また差異検出枠は、駐車スペース毎に設定しておく。これにより、各駐車スペースにつき空き状況を監視することができる。また、低照度下においても監視の実効を図ることができる本システム１では、特に昼夜に限らず空き状況を随時監視することができる。

また本発明を適用した監視システム１では、カメラユニット２を例えば電車内に設置することにより、予約乗車券を確認することができる。かかる場合において、カメラ部４の撮影方向、撮影画角は、予約席を含むように調整し、予約乗車券の確認を当該予約席に座っている乗客を監視することにより実現すべく、乗客の輝度レベルに応じて予め上記閾値を設定しておく。また差異検出枠は、座席毎に設定しておく。これにより、車掌が座席を巡回して乗客が持参する切符を逐一確認する手間を省くことができる。特に差異検出枠における輝度レベルの比較結果を無線通信網としてのネットワーク８を介して外部の端末装置９へ送信することにより、路線を走行する全ての電車につき、座席の空き状況を中央で監視することもできる。

即ち本発明は、観客や自動車、乗客等の移動被写体であればいかなるものを監視対象としてもよく、また当該監視対象が収容される座席や駐車スペース等の収容位置を捉えるように上記撮影範囲を設定しておけば、いかなる状況監視に対して適用可能となる。

また、本発明を適用した監視システム１では、上述した単位画像間における輝度レベルの比較を、Ｒ,Ｇ,Ｂの原色成分毎に実行してもよい。この輝度レベルの比較は、上述の如く、同一座標（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基準全体画像に対する比較全体画像の各原色成分における輝度レベルの変化を、換言すれば、各原色成分における輝度レベルの差分値を撮影方向毎に検出することができる。

また、本発明を適用した監視システム１では、上述した単位画像間において輝度レベルを比較する代わりに、正規化相関値に基づくベクトルを順次検出するようにしてもよい。

かかる場合において演算処理部１５では、一方の単位画像の差異検出枠内における基準画素位置に対して、他方の単位画像を少なくとも１画素ずつずらしながら正規化相関値を計算することにより最大の相関が得られるターゲット位置を特定する。次にこのターゲット位置と基準画素位置との間で得られるベクトル（以下、輝度ベクトルという。）を抽出していく。演算処理部１５は、かかる動作を上述した差異検出枠全てにつき実行する。

次に演算処理部１５は、この求めた輝度ベクトルの方向を順次識別していく。そして識別した輝度ベクトルの方向が、以前識別した同一画素位置の輝度ベクトルの方向と一致しているか否か判別する。その結果、両者間における輝度ベクトルの変化が検出された場合には、当該画素位置につき何らかの差異が検出されたものとして判断する。一方、両者間における輝度ベクトルの変化が検出されなかった場合には、当該画素位置につき何ら差異が生じていないものとして判断する。

ちなみにこの正規化相関値は、比較する画素が共に明るい領域を構成している場合には高くなり、何れか一方が明るい領域を構成しているものの他方が暗い領域を構成している場合には低くなる。このため、これら正規化相関値に基づく輝度ベクトルを識別することにより、ただ全体的に明るいだけで何ら変化がない画像領域については、輝度ベクトルの方向が変化していないため差異が生じていないものとして判断することができる。また全体的に暗くて輝度レベルの差分は少ないが何らかの変化が生じている領域については、輝度ベクトルの方向が変化するため、差異部分と判断することができる。

これにより、この輝度ベクトルを順次検出し得る監視システム１では、光源の照度変動や周囲の明るさ等の微妙な変動による影響を受ける場合においても、監視の有効性を担保することができる。

更に本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。

本発明を適用した監視システムの構成を示す図である。 本発明を適用した監視システムの構成につき更に説明するための図である。 カメラユニット,監視装置のブロック構成図である。 カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。 ディスプレイ上の表示画面の構成例を示す図である。 本発明を適用した監視システムの動作について説明するための図である。 輝度レベルの差異を比較する手順につき説明するためのフローチャートである。 ユーザにより設定された差異検出枠の一例を示す図である。 差異検出枠が設定された単位画像のみに焦点をあてて差異検出を行う場合につき説明するための図である。 予約状況を示す識別情報を全体画像と共に出力画面上に示す場合につき説明するための図である。 ステップＳ１７における比較結果を端末装置へ送信する手順を示すフローチャートである。 複合映画館に設置された本発明に係る監視システムにより取得した全体画像を示す図である。 Ｎｉｇｈｔモードを導入した監視システムにおける差分検出手順を示すフローチャートである。 スタジアムの座席状況を監視する場合につき説明するための図である。

符号の説明

１ 監視システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 監視装置、６ ディスプレイ、８ ネットワーク、９ 端末装置、１０ 端末ディスプレイ、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス

Claims (14)

1. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置において、
   監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、
   上記検出枠設定手段によって設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手段と、
   上記差異検出手段により検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手段と、
   上記比較手段でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示制御手段と
   を備える監視装置。
2. 上記比較手段は、上記差異検出手段により検出された輝度レベルの差異を、さらに撮影環境に応じて予め設定された閾値と比較する請求項１記載の監視装置。
3. 上記輝度レベルの差異を検出する単位画像を選択するための選択手段をさらに備える請求項１記載の監視装置。
4. 上記設定された閾値を調整するための調整手段をさらに備える請求項１記載の監視装置。
5. 上記比較手段による比較結果を、接続された通信網を介して他の電子機器へ送信する送信手段を備える請求項１記載の監視装置。
6. 上記パノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段を更に備える請求項１記載の監視装置。
7. 上記撮像された単位画像を記録媒体へ記録するサーバをさらに備える請求項１記載の監視装置。
8. 上記差異検出手段は、
   上記検出枠設定手段によって設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間でＲ要素、Ｇ要素、及びＢ要素を少なくとも含む複数の要素を用いて輝度レベルの差分値を算出する第１の動作モードと、Ｇｒｅｙ要素のみを用いて輝度レベルの差分値を算出する第２の動作モードとを切り換えることによって輝度レベルの差異を検出する請求項１記載の監視装置。
9. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置において、
   監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、
   上記撮影範囲で定義される任意の座標に存在する単位画像の上記差異検出枠内における基準画素位置に対して、当該単位画像よも前に撮像されたパノラマ画像の同一座標に存在する単位画像を少なくとも１画素ずつずらしながら正規化相関値を計算することにより最大の相関が得られるターゲット位置を特定し、特定したターゲット位置と基準画素位置との間で得られる輝度ベクトルを抽出する処理を上記検出枠設定手段によって設定された全ての差異検出枠に関して実行する輝度ベクトル抽出手段と、
   上記輝度ベクトル抽出手段によって抽出された輝度ベクトルの方向を順次識別し、当該識別の結果、識別した輝度ベクトルの方向と、当該輝度ベクトルよりも前に識別した同一画素位置の輝度ベクトルの方向とが一致しているかを判別する輝度ベクトル方向判別手段と、
   上記輝度ベクトル方向判別手段による判別の結果、両者間における輝度ベクトルの変化が検出された場合に、当該画素位置に何らかの差異が検出されたと判定する差異検出手段と、
   上記差異検出手段によって差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示制御手段と
   を備える監視装置。
10. 上記輝度ベクトル抽出手段は、上記座席を含む差異検出枠が設定された単位画像間で上記正規化相関値を求める請求項１１記載の監視装置。
11. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視方法において、
    監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定ステップと、
    上記検出枠設定ステップで設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出ステップと、
    上記差異検出ステップで検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較ステップと、
    上記比較ステップでなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示する表示ステップと
    を含む監視方法。
12. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する処理をコンピュータに実行させるためのプログラムにおいて、
    監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定手順と、
    上記検出枠設定手順で設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手順と、
    上記差異検出手順で検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手順と、
    上記比較手順でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示手順と
    を含む処理をコンピュータに実行させるためのプログラム。
13. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する処理をコンピュータに実行させるためのプログラムが記録された記録媒体において、
    監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で任意に設定する検出枠設定手順と、
    上記検出枠設定手順で設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手順と、
    上記差異検出手順で検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手順と、
    上記比較手順でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを同一画面上に表示させる表示手順と
    を含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
14. 撮影方向を順次変化させて撮影範囲を撮像した複数の単位画像から生成されたパノラマ画像を監視する監視装置と、
    上記パノラマ画像を表示する表示画面を有する端末装置と、
    上記監視装置及び上記端末装置と通信ネットワークを介して接続され、監視対象である移動被写体が着席する座席を含み、上記移動被写体が着席する座席に発生する差異を検出するための差異検出枠を上記撮影範囲内で操作者の操作によって任意に設定可能な検出枠設定手段と、上記検出枠設定手段によって設定された差異検出枠が含まれる全ての単位画像に関し、上記撮影範囲で定義される任意の座標に存在する単位画像と、当該単位画像よりも前に撮像されたパノラマ画像の同一座標に存在する単位画像との間で輝度レベルの差分値を順次検出することによって輝度レベルの差異を検出する差異検出手段と、上記差異検出手段により検出された輝度レベルの差異と、上記移動被写体としての人間の輝度レベルに応じて予め設定された閾値とを比較する比較手段と、上記比較手段でなされた比較の結果、上記差異検出枠内に差異が検出された場合には、上記差異検出枠内に差異が検出されたことを示す情報と上記生成されたパノラマ画像とを上記端末装置の有する表示画面上に表示させる表示制御手段とを備える制御装置と
    を備える監視システム。

Images