JP2009100259A - 監視カメラおよび画像監視システム - Google Patents

Abstract

【課題】本発明は、異常発生箇所の画像データを高精度に解析することが可能な監視カメラおよび画像監視システムを提供することを目的とする。
【解決手段】本発明による監視カメラ２は、水平ｍ画素、垂直ｎラインのｍ×ｎ画素の画像データを複数ブロックに分割するＣＰＵ２６と、各複数ブロックの状態変化の有無を検知する画像データ処理部２３、ＣＰＵ２６と、画像データをデジタル圧縮する画像データ圧縮部２４と、圧縮した画像データを伝送するＬＡＮ接続部２５とを備え、状態変化のブロック数が所定値未満の時、画像データは水平ｐ（＜ｍ）画素、垂直ｑ（＜ｎ）ラインのｐ×ｑ画素の画像データに変換後に第１のデジタル圧縮して伝送し、状態変化のブロック数が所定値以上の時、少なくとも状態変化を検知したブロックを含む特定ブロックのみをｐ×ｑ画素より多くかつｍ×ｎ画素以下の画像データに変換後に第２のデジタル圧縮して伝送することを特徴とする。
【選択図】図１

Description

本発明は、監視エリアを撮像している画像の状態変化を検知する監視カメラおよび画像監視システムに関する。

従来の画像監視システムは、通常状態では監視エリアの画像を静止画として圧縮送信し、異常状態を検知すると動画として圧縮送信することによって、異常時のみ時間軸上に詳細データを送信するため伝送路の負担が軽減されて回線使用コストを削減している（例えば、特許文献１参照）。

特開平７−１２１７８９号公報

特許文献１に記載の画像監視システムは、異常を検知した箇所の動画の画像解像度が通常の静止画の解像度と略同一であるため、異常発生箇所をより高精度に解析することに対する効果は小さい。

本発明は、これらの問題を解決するためになされたもので、異常発生箇所の画像データを高精度に解析することが可能な監視カメラおよび画像監視システムを提供することを目的とする。

上記の課題を解決するために、本発明による監視カメラは、水平にｍ画素、垂直にｎラインからなるｍ×ｎ画素の監視エリアの画像データを複数のブロックに分割する手段と、複数のブロックの各々に対して状態変化の有無を検知する手段と、画像データをデジタル圧縮する手段と、圧縮された画像データを伝送する手段とを備え、状態変化のブロック数が所定値未満のとき、画像データは水平にｐ（＜ｍ）画素、垂直にｑ（＜ｎ）ラインからなるｐ×ｑ画素の画像データに変換した後に第１のデジタル圧縮して伝送し、状態変化のブロック数が所定値以上のとき、少なくとも状態変化を検知したブロックを含む特定ブロックのみをｐ×ｑ画素より多くかつｍ×ｎ画素以下の画像データに変換した後に第２のデジタル圧縮して伝送することを特徴とする。

本発明は、請求項１に記載のように、状態変化のブロック数が所定値未満のとき、画像データは水平にｐ（＜ｍ）画素、垂直にｑ（＜ｎ）ラインからなるｐ×ｑ画素の画像データに変換した後に第１のデジタル圧縮して伝送し、状態変化のブロック数が所定値以上のとき、少なくとも状態変化を検知したブロックを含む特定ブロックのみをｐ×ｑ画素より多くかつｍ×ｎ画素以下の画像データに変換した後に第２のデジタル圧縮して伝送するため、異常発生箇所の画像データを高精度に解析することができる。

本発明の実施形態について、図面を用いて以下に説明する。

図１は、本発明の実施形態による画像監視システム１の構成図である。図１に示すように、画像監視システム１は、監視エリアを撮影してネットワーク配信が可能な監視カメラ２と、監視カメラ２で撮影した画像データを入力して記録や表示処理などを行なう機能を有する監視端末装置３と、監視端末装置３にて処理された画像データを表示する表示装置４とから構成される。

監視カメラ２は、可視光を集光するレンズユニット２１と、ＣＣＤやＣＭＯＳなどで構成され、レンズユニット２１によって集光された可視光を画像データに変換するイメージセンサー２２と、イメージセンサー２２から入力された画像データの解像度調整やＣＰＵ２６とともに状態変化検知処理を行なう画像データ処理部２３と、画像データ処理部２３から入力された画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって情報量制御、すなわちデジタル圧縮を行なう画像データ圧縮部２４と、監視端末装置３との間でデジタルデータの送受信を行なうＬＡＮ接続部２５と、各部２２〜２５の制御を行うとともに、水平にｍ画素、垂直にｎラインからなるｍ×ｎ画素の監視エリアの画像データを複数のブロックに分割し、複数のブロックの各々に対して状態変化の有無を検知するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６とから構成される。

監視端末装置３は、監視カメラ２によって撮影されて処理された画像データや画像データの付加情報などをＬＡＮなどの伝送網を介して送受信するＬＡＮ接続部３１と、ＣＰＵやメモリーで構成され、各構成要素を制御する制御部３２と、受信した圧縮画像データを記録する記憶装置３３と、デジタル圧縮された画像データに復号化処理を行なうとともに、画像データに対して特定ブロック部の画像データを書き換える圧縮データ伸張部３４と、表示装置４に画像を表示させるための表示ドライバー３５とから構成される。

ここで、監視カメラ２におけるレンズユニット２１は、焦点距離が３〜９ｍｍの固定焦点、バリフォーカル、数１０ｍｍの望遠レンズなど設置環境に応じて多様である。なお、本発明においてこれらの仕様が特定されるものではない。

また、イメージセンサー２２は、レンズユニット２１によって集光された可視光をＣＣＤやＣＭＯＳなどのセンサーアレーで画素ごとの画像データに変換し、内蔵しているＡＤ変換器によってデジタル信号に変換している。変換画素サイズは、一般的には水平に６４０画素、垂直に４８０ラインのＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）対応であるが、近年は高精細画の要求と半導体プロセスの進歩とから水平１２８０画素、垂直１０２４ラインのＳＸＶＧＡ（Ｓｕｐｅｒ ｅＸｔｅｎｄｅｄ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）対応の撮像素子も使用されている。なお、本発明の実施形態では、水平に１２８０画素、垂直に９６０ラインのＶＧＡの４倍密度撮像素子を使用した白黒画像について説明する。

画像データ処理部２３は、イメージセンサー２２から入力された画像データについて、内部に設けられたバッファメモリーに１２８０画素、９６０ラインからなる１フレーム分を一時的に蓄えて、画像監視システム１で制御された解像度の設定や、画像データの変化から状態変化を検知する、少なくとも２種類の処理を行なう。

次に、解像度設定の必要性と解像度設定の処理について簡単に説明する。

本発明の実施形態による画像監視システム１は、監視カメラ２と監視端末装置３とを直結しているが、複数の監視カメラ２をＬＡＮを介して監視端末装置３に接続することも想定される。ＬＡＮの実行伝送容量が５０Ｍｂｐｓ程度の条件下において、監視カメラ２と監視端末装置３とを直結した場合には、２５Ｍｂｐｓ程度に画像圧縮されたメガピクセル画像でも高レートで授受可能である。しかし、監視カメラ２の台数が多くなると、監視端末装置３が各監視カメラ２から送信される画像を正確に取得するためには画像データの情報量を減らすために解像度またはコマ数を落とす必要がある。監視画像システム１では、異常発生の瞬間の画像データを確実に得る必要があるため極端に少ないコマレートは不適切である。従って、通常時は解像度をＶＧＡや３２０×２４０画素のＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）とした方が適切である。

図２および図３は、本発明の実施形態による画像データの画素配置を示す図である。本発明の実施形態では、図２に示すような画像データ処理部２３のバッファメモリーに蓄えられている１２８０×９６０画素のＳＸＶＧＡ解像度をライン方向および垂直方向ともにそれぞれ奇数値の画素のみをサンプルし、図３に示すような６４０×４８０画素のＶＧＡ解像度として画像データ圧縮部２４に出力する。なお、図３において、●は有効画素を示し、×はリジェクトした画素を示している。また、図３では奇数値の画素のみをサンプルしたが偶数値の画素のみをサンプルしてもよく、他の方法としては左右上下４画素から求めた平均値で６４０×４８０画素を生成すればより高品位な画像になる。

画像監視システム１は、監視エリアの異常状態を確実に検出することが重要であるため、一般的には監視員が表示装置を常時モニタすることが考えられる。しかし、異常状態はいつ発生するのか分からないため、常時モニタのみでは見落としやすくなってしまう。本発明の実施形態では、画像情報の変化から状態変化を自動的に検出し、異常発生時の前後の画像を所定期間記録するアラーム記録や、監視カメラ２から監視端末装置３へ伝送する画像の条件を切り替えるトリガを生成している。

次に、状態変化を検知する処理について詳細に説明する。

画像データ処理部２３内のバッファメモリーに一時的に保存されている１２８０画素×９６０ラインからなる１フレーム分の画像データを、ＣＰＵ２６の処理によって１６画素×１６ラインを１ブロックとする８０×６０のエリアに分割する。そして、各ブロック内の画像データの輝度信号値を平滑化し、各ブロックごとの平滑画像データとしてＣＰＵ２６内の現在画レジスタに一時保存する。また、ＣＰＵ２６内には直前画レジスタがあり、現在画レジスタに平滑画像データを保存するとともに現在画レジスタに保存されていた直前の平滑画像データを直前画レジスタに移している。直前画レジスタに保存された平滑画像データと現在画レジスタに保存された平滑画像データとを比較し、例えば図４に示すような通常状態から図５に示すような異常状態へと画面が状態変化した場合には、所定値以上の輝度信号変化があるブロックに対して状態変化”有”と判断してフラッグ”１”を立てる。上記の方法で８０×６０の全ブロックに対して状態変化の有無をチェックし、フラッグ”１”のブロックの連なり度数や絶対数が所定値以上になった画像データについては状態変化”有”として検知信号を生成する。

本発明の実施形態では、１６画素×１６ラインを１ブロックとする８０×６０のエリアに分割したが、画像信号のエッヂノイズや自然界の微小な変動による過剰な状態変化の検知をフィルタリングするために重要なことである。また、状態変化の有無を検知する対象となるブロックサイズを、画像データ圧縮時の情報源符号化単位と同じあるいは整数倍となるように設定すれば、圧縮画像データと状態変化を検知する対象となるブロックとの相関を得ることができる。本発明の実施形態では、画像の圧縮にＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を採用しており、圧縮符号化は８画素×８ラインを１ブロックとするＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）符号化方式である。従って、状態変化の有無を検知する対象となるブロックサイズ（１６×１６）は、画像データ圧縮時の情報源符号化単位（８×８）の整数倍となっており、１６×１６からなる画像データをＶＧＡ解像度で画像圧縮する場合のＤＣＴ符号化ブロック（８×８）に対応付けている。

画像データ圧縮部２４は、画像データ処理部から入力された画像データを、ＤＣＴ符号化方式やエントロピー符号化方式を採用したＪＰＥＧ方式によって情報量を圧縮する。ＣＰＵ２６にて状態変化が検知されなかった画像データは、６４０×４８０画素のＶＧＡ解像度画像データとして画像データ圧縮部２４に入力され、画像データの情報量を３０Ｋ〜４０Ｋバイトに圧縮してＬＡＮ接続部２５に出力する。

ＬＡＮ接続部２５は、画像データ圧縮部２４から入力された圧縮画像データや、ＣＰＵ２６にて検知した状態変化検知信号などの付加情報を、所定のＬＡＮプロトコルに従って処理して監視端末装置３のＬＡＮ接続部３１に送信する。

監視端末装置３は、監視カメラ２と伝送路を介してＬＡＮ接続部３１で接続されており、デジタル圧縮された画像データに復号化処理を行なって画像表示させるとともに、画像データに対して状態変化”有”の特定ブロック部の画像データを置き換えて画像表示する。

制御部３２はＣＰＵやメモリーなどで構成され、ＬＡＮ接続部３１から入力された圧縮画像データや付加情報の処理を行なう。記憶装置３３は、受信した圧縮画像データを記録する。圧縮データ伸張部３４では、圧縮画像データに対して復号化処理を行なってＶＧＡ解像度の画像データに戻す。圧縮データ伸張部３４にて復号化された画像データは、表示ドライバー３５によって表示装置４に表示される。なお、圧縮データ伸張部３４は、復号化された画像データを処理するために数Ｍバイトのビデオメモリーを備えており、該ビデオメモリー内に直前に受信した状態変化”無”画面のＶＧＡ解像度の画像データを保存しておくための直前ＶＧＡ画保存領域を設けている。

次に、監視エリアの状態変化が検知される状況、および監視カメラ２において状態変化”有”画面が検知されたときの動作について説明する。

画像監視システム１において、監視員による常時モニタにより異常を迅速かつ正確に把握する体制がとられており、画面に大きく映し出される異常状態は容易に発見できるが、図５に示すような無人の敷地の遠くに現れた侵入者を見落とすことが多く、仮に発見できたとしても人物の特定が困難であるという問題がある。本発明の実施形態による状態検知処理で異常の検知をしてアラーム発報することによって、監視員が見落とす頻度が大幅に改善されるものの、異常物が小さくて特定できないという問題があった。

本発明の実施形態では、異常物が含まれるエリアの解像度を上げることによって、小さい異常物を特定することを実現する。図５に示すように無人の敷地内への侵入者（異常）によって状態変化が生じると、画像データの１６画素×１６ラインの１ブロックを状態変化検知ブロック単位とする全８０×６０ブロックのうちの状態変化が生じたブロックに対して検知フラッグ”１”がセットされる。なお前述の通り、状態変化検知ブロックは状態変化”無”時のＶＧＡ解像度で画像圧縮された画像データのＤＣＴ符号化ブロックに対応付けている。

監視カメラ２の画像データ処理部２３では、図６に示すように、状態変化”有”を検知した画面の検知フラッグ”１”がセットされているブロックを含む斜線ブロックを特定エリアの画像とし、最大解像度であるＳＸＶＧＡの画素に対応付けて画像データ圧縮部２４に出力する。

なお、画像データ処理部２３から出力された画像データは、解像度をＶＧＡからＳＸＶＧＡに変更したことによって単位エリアの情報量が４倍になるが、圧縮処理を特定エリアに限定して行なうため、状態変化”無”のときのＶＧＡ解像度の画像データ量よりも少なくなる。従って、画像データ圧縮部２４はＳＸＶＧＡ解像度の特定エリア画像に対する圧縮率をＶＧＡ解像度の画像データより下げることが可能となるため、解像度と相俟ってより高品位な圧縮画像データの生成が可能である。すなわち、水平にｍ画素、垂直にｎラインからなるｍ×ｎ画素の監視エリアの画像データがある場合において、状態変化”無”
（状態変化のブロック数が所定値未満）のとき、画像データは水平にｐ（＜ｍ）画素、垂直にｑ（＜ｎ）ラインからなるｐ×ｑ画素の画像データに変換した後にデジタル圧縮（第１のデジタル圧縮）し、状態変化”有”（状態変化のブロック数が所定値以上）のとき、少なくとも状態変化を検知したブロックを含む特定ブロックのみをｐ×ｑ画素より多くかつｍ×ｎ画素以下の画像データに変換した後にデジタル圧縮（第２のデジタル圧縮）する。

ＣＰＵ２６では、画像圧縮された特定エリアの画像データを、状態変化”無”時のＶＧＡ解像度の画像データエリアに対応付けて張り替えるための付加情報を生成する。生成された付加情報は圧縮画像データに関連付けられてＬＡＮ接続部２５からＬＡＮなどの伝送網を介して監視端末装置３に送信される。

監視カメラ２から送信された圧縮画像データおよび付加情報は、監視端末装置３のＬＡＮ接続部３１から受信され、制御部３２によって記憶装置３３に記憶したり、圧縮データ伸張部３４で復号化処理を行なう。

状態変化”無”時では、圧縮データ伸張部３４にてＶＧＡ解像度の画像データに戻し、表示ドライバー３５によって表示装置４に画像表示する。すなわち、第１のデジタル圧縮された画像データを復号化処理し第１の画像表示する。一方、状態変化”有”時では、
圧縮データ伸張部３４にてＳＸＶＧＡ解像度の画像データに戻し、圧縮データ伸張部３４内のビデオメモリー（直前ＶＧＡ画保存領域）に保存されている直前のＶＧＡ解像度の画像データに対して、付加情報から求めた特定エリア部の画像データを置き換えた後に表示ドライバー３５によって表示装置４に画像表示する。すなわち、第２のデジタル圧縮された特定ブロック部の画像データを復号化処理し第１の画像表示の対応部分に置き換えて第２の画像表示する。

以上のことから、監視エリアの異常時に撮像した特定エリアの解像度は通常時の４倍の解像度であり、画像データの圧縮率も通常時より低いため高精細な画像表示が可能である。従って、通常時の画像データに対して異常時の特定エリア部分を置き換えて画像表示し、異常が生じた特定エリアの画像を拡大表示することによって高精度に画像データを解析することでき、より正確な異常状態の検知を確認することが可能となる。

なお、本発明の実施形態では白黒画像について説明したが、ＲＧＢや色差コンポネント（Ｙ、Ｃｂ、Ｃｒ）信号によるカラー画像データについても、色差信号を輝度信号と関連付けて同様に区分し、特定エリアを設定して同様の処理を行なえば異常エリアの高精細表示が得られる。

本発明の実施形態による画像監視システムの構成図である。 本発明の実施形態による画像データの画素配置を示す図である。 本発明の実施形態による画像データの画素配置を示す図である。 本発明の実施形態による状態変化なし時の状態変化検知マップを示す図である。 本発明の実施形態による状態変化あり時の状態変化検知マップを示す図である。 本発明の実施形態による状態変化あり時の特定エリア画像を示す図である。

符号の説明

１ 画像監視システム、２ 監視カメラ、３ 監視端末装置、４ 表示装置、２１ レンズユニット、２２ イメージセンサー、２３ 画像データ処理部、２４ 画像データ圧縮部、２５ ＬＡＮ接続部、２６ ＣＰＵ、３１ ＬＡＮ接続部、３２ 制御部、３３ 記憶装置、３４ 圧縮データ伸張部、３５ 表示ドライバー。

Claims (4)

1. 水平にｍ画素、垂直にｎラインからなるｍ×ｎ画素の監視エリアの画像データを複数のブロックに分割する手段と、
   前記複数のブロックの各々に対して状態変化の有無を検知する手段と、
   前記画像データをデジタル圧縮する手段と、
   前記圧縮された画像データを伝送する手段と、
   を備え、
   前記状態変化のブロック数が所定値未満のとき、前記画像データは水平にｐ（＜ｍ）画素、垂直にｑ（＜ｎ）ラインからなるｐ×ｑ画素の画像データに変換した後に第１のデジタル圧縮して伝送し、前記状態変化のブロック数が所定値以上のとき、少なくとも状態変化を検知したブロックを含む特定ブロックのみをｐ×ｑ画素より多くかつｍ×ｎ画素以下の画像データに変換した後に第２のデジタル圧縮して伝送することを特徴とする、監視カメラ。
2. 前記第１のデジタル圧縮よりも、前記第２のデジタル圧縮の方が低圧縮率であることを特徴とする、請求項１に記載の監視カメラ。
3. 前記状態変化の有無を検知する対象となるブロックサイズは、画像データ圧縮時の情報源符号化単位と同じあるいは整数倍とすることを特徴とする、請求項１に記載の監視カメラ。
4. 請求項１に記載の監視カメラと、
   前記監視カメラと伝送路を介して接続された監視端末装置と、
   を備え、
   前記監視端末装置は、前記第１のデジタル圧縮された画像データを復号化処理し第１の画像表示するとともに、前記第２のデジタル圧縮された前記特定ブロック部の画像データを復号化処理し前記第１の画像表示の対応部分に置き換えて第２の画像表示することを特徴とする、画像監視システム。

Images