JP2009044538A - 監視システムおよびこれに用いる撮像装置 - Google Patents

Abstract

【課題】伝送データ量を抑えつつ、撮影した画像を高解像度化して表示する監視システムを実現すること。
【解決手段】撮像装置１は、画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行うフレーム選択部１２を備える。監視センタ３は、伝送された複数の画像フレームを用いて高解像処理を行う高解像処理部３１を備える。ここにフレーム選択部１２は、参照するフレームからの動きがないことを示す動きなしフレームを生成する動きなしフレーム生成部１２５を備え、間引き処理を行った画像フレームの位置に動きなしフレームを挿入して伝送する画像データとする。
【選択図】図１

Description

本発明は、撮像装置で撮影した画像データを監視センタに伝送して表示する監視システムに係り、特に、伝送データ量を抑えつつ高解像度で表示する技術に関するものである。

従来の監視システムでは、監視場所に設定されたカメラで撮影した画像をＭＰＥＧなどの符号化技術を用いて圧縮し、圧縮したデータをセンタに伝送して表示し、監視場所の異常を検出する。その際用いられるカメラは、通常のテレビ規格のものではその解像度は最大でも６４０×４８０ピクセルであり、被写体の詳細な認識が困難となることがある。そこで監視画像の画質や解像度を向上させる方法として高精細カメラを用いることが考えられるが、カメラのコストがアップしまた伝送するデータ量が増大するので、実用的とは言えない。

そこで、撮影した画像を高解像処理し、また伝送するデータ量の増大を抑えるために、例えば次のような技術が提案されている。

特許文献１には、入力された複数のデジタル画像から入力画像以上の解像度を持つ１枚の高解像画像を出力する技術（以下、超解像処理と呼ぶ）が開示されている。これは、同一の信号について、標本化位置を変えて同一の標本化間隔でｎ回の標本化によって得られるｎ組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、ナイキスト周波数以上の原信号の高周波成分を復元するものである。

特許文献２には、超解像処理を適用した監視映像記録システムが開示される。ここでは、カメラからの映像データを圧縮処理し、圧縮処理中に生成するマクロブロックやフレームデータや動きベクトルを用いて超解像処理を行い、生成した高精細画像データを記憶装置に送信して書き込む構成としている。

特許文献３には、リアルタイムに画像データを受信し、受信した画像フレームを変換・加工して送信するフレームレート制御方法が開示される。ここでは、送信上限フレームレートが規定されている場合、フレーム送信後にフレーム間引き期間を設けて一定時間フレームを間引くことで、送信上限フレームレートを超えないように制御するようにしている。

特開平８−３３６０４６号公報 特開２００５−１５０８０８号公報 特開２００２−１２５２２６号公報

監視システムにおいて、表示する画像を高解像度化しつつ伝送するデータ量を抑えることは、簡単には実現できない。なぜなら特許文献１などに記載される高解像処理を適用しようとすると、生成した高解像画像は当然ながらデータ量が増大し、また処理のために連続する複数の画像フレームを必要とする。特許文献２に記載の監視映像記録システムのように、生成した高解像画像を記憶装置にそのまま送信すれば、データ量が増大し許容値を超える恐れがある。一方、データ量を下げるため、特許文献３のようなフレーム間引きを行って送信し、受信側で高解像処理を行うことも考えられる。しかしながら、高解像処理を行うには処理対象フレームに前後する複数のフレームを必要とするので、単純な間引き処理では高解像化を行うことができない。

本発明は上記の課題を鑑み、伝送データ量を抑えながら高解像処理を実現する監視システム及びこれに用いる撮像装置を提供することにある。

本発明は、撮像装置で撮影した画像データを伝送部を介して監視センタに伝送して表示する監視システムであって、撮像装置は、画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行うフレーム選択部を備え、監視センタは、伝送された複数の画像フレームを用いて高解像処理を行う高解像処理部を備える。

ここにフレーム選択部は、参照するフレームからの動きがないことを示す動きなしフレームを生成する動きなしフレーム生成部を備え、間引き処理を行った画像フレームの位置に動きなしフレームを挿入して伝送する画像データとする。

また撮像装置は、フレーム選択部の間引き処理を制御する第１の切替制御部を備え、監視センタは、高解像処理部の高解像処理を制御する第２の切替制御部を備える。第１及び第２の切替制御部は、伝送部を介して処理条件について互いに通知する。

本発明は、撮影した画像データを監視センタに伝送する撮像装置であって、画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行うフレーム選択部を備え、フレーム選択部にて間引き処理を行った画像データを伝送する。

本発明によれば、伝送データ量を抑えつつ、撮影した画像を高解像度化して表示する監視システムを実現することができる。

以下、図面を参照し、本発明の実施の形態を説明する。

図１は、本発明による監視システムの一実施例を示す構成図である。
撮像装置１で撮影した監視領域の画像を、伝送部２を介して監視センタ３へ伝送し、監視場所の異常を検出する。なお、撮像装置１を複数台設置して、１つの監視センタ３で監視してもよい。

撮像装置１は、レンズや撮像素子などからなり被写体を撮影する撮像部（カメラ）１１と、撮影した画像を圧縮符号化し、一部の画像フレームを間引きして画像データを送信するフレーム選択部１２を有する。伝送部２は、ＬＡＮあるいはインターネット回線などを使用する。監視センタ３は、受信した画像データを復号化するとともに画像を高解像処理する高解像処理部３１と、高解像処理を行った画像を表示するモニタである表示部３２を備える。

本実施例の監視システムでは、撮像装置１から監視センタ３へ伝送するデータ量の削減と、監視センタ３における画像の高解像処理とを同時に実現する。すなわち、送信側である撮像装置１にて画像フレームを間引いて送信することで、伝送データ量を削減し伝送部２への負担を軽減する。言い換えれば、伝送部２の伝送能力の許容範囲内でより多くの撮像装置１を接続できることになる。画像フレームの間引きについては、高解像処理に必要なフレームを選択して送信するので、受信側である監視センタ３では正常に高解像処理を実行し高画質の画像を表示することができる。

図２は、フレーム選択部１２の構成の一例を示す図である。
符号化部１２１は、撮像部１１からの画像信号Ｆ０をＭＰＥＧ−２などの符号化方式で符号化し、連続する画像フレーム列Ｆ１を生成する。出力切替部１２２はＯＮ／ＯＦＦスイッチ（Ｓｗ）からなり、画像フレーム列Ｆ１の一部を間引き処理を行い断続する画像フレーム列Ｆ３を生成する。フレーム送信部１２４は生成した画像フレーム列Ｆ３を伝送部２へ送出する。

カウンタ１２３は入力する画像フレーム列Ｆ１のフレーム数をカウントし、出力切替部１２２に対し、フレーム間引きのためのスイッチ制御信号を送る。制御信号は、所定枚数Ｎの連続するフレーム列を所定間隔Ｌで選択して断続フレーム列を生成させるものである。このとき連続枚数Ｎは、高解像処理部３１にて高解像処理を行うために必要な複数の枚数とする。

図３は、フレーム選択部１２により生成した画像フレームの一例を示す図である。（ａ）は符号化画像フレーム列Ｆ１、（ｂ）は比較用の従来の出力画像フレーム列Ｆ２、（ｃ）は本実施例による出力画像フレーム列Ｆ３を示す。

従来はデータ量削減のため、（ｂ）のように一定間隔でフレームの間引きを行い、１枚ごとに孤立したフレーム列Ｆ２としていた。この場合、間引き後のフレーム列Ｆ２ではフレーム間の画像の動き量が大きくなるため、受信側で高解像処理を行う場合、処理が困難になることが予想される。すなわち、動きの激しい画像を合成することで、画質が逆に劣化してしまうことがある。

これに対し本実施例では、（ｃ）のように所定枚数Ｎの連続するフレームを所定間隔Ｌで残すように間引きし、断続するフレーム列Ｆ３とする。この例では、Ｎ＝４、Ｌ＝１６としている。この場合、連続するＮ枚のフレームではフレーム間の画像の動き量は小さいので、受信側ではこの連続するフレームを用いて高解像処理を正常に実行できる。また、入力するフレーム列の途中を間引きしているので、フレーム数を減少させ伝送するデータ量を削減することができる。
このように本実施例によれば、伝送データ量を抑えながら高解像処理を実現することができる。

図４は、高解像処理部３１による高解像処理について説明する図である。この処理の代表として、特許文献１に記載される超解像処理の手法について説明する。まず（ａ）のように、隣接する複数（ここでは３枚）の原画像４００〜４０２を準備し、小数精度で位置合わせを行う。（ｂ）は、基準位置とする画像４００に対して他の画像４０１、４０２を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像４０３を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、ぼけの少ない高解像画像を生成することができる。

なお、本実施例における高解像処理部３１は、特許文献１に記載される超解像処理に限定するものでない。すなわち、動きのある連続する複数の画像を用いて高解像化する処理であれば、本実施例に適用可能である。

次に、本発明の他の実施例として、画像フレームに変更を加えて伝送する場合について説明する。

図５は、フレーム選択部１２の他の構成の一例を示す図であり、前記図２の構成に対し、動きなしフレーム生成部１２５を追加して構成したものである。
符号化部１２１は、撮像部１１からの画像信号Ｆ０をＭＰＥＧ−２などの符号化方式で符号化し、連続する画像フレーム列Ｆ４を生成する。動きなしフレーム生成部１２５は、この画像フレーム列Ｆ４に同期して、参照するフレームからの動きがないこと（差分量＝０）を示すフレーム列Ｆ５を生成する。ＭＰＥＧ−２符号化においては、フレームデータ量は動きがない場合に最も小さくなる。

出力切替部１２２は、切替スイッチ（Ｓｗ）により、符号化部１２１からのフレーム列Ｆ４と、動きなしフレーム生成部１２５からのフレーム列Ｆ５とのいずれかを選択して、伝送するフレーム列Ｆ６を生成する。すなわち、フレーム列Ｆ４から間引いたフレームの位置に、動きなしフレーム列Ｆ５で挿入してフレーム列Ｆ６を合成する。フレーム送信部１２４は合成した画像フレーム列Ｆ６を伝送部２へ送出する。

このときカウンタ１２３は、入力する画像フレーム列Ｆ４のフレーム数をカウントし、出力切替部１２２に対し、フレーム選択のためのスイッチ制御信号を送る。制御信号は、フレーム列Ｆ４から連続してＮ枚、フレーム列Ｆ５から連続してＭ枚ずつ交互に選択させるものである。なお、フレーム選択では、後述するようにフレームの種類（Ｉ，Ｐ，Ｂの区別）を識別し、フレーム列Ｆ４から選択するＮ枚のフレームにはＩフレームが含まれるように制御し、高解像処理部３１ではこのＮ枚のフレームを用いて高解像処理を行うものとする。

図６は、図５のフレーム選択部１２により生成した画像フレームの一例を示す図である。（ａ）は入力する原画像フレーム列Ｆ０、（ｂ）はＭＰＥＧ−２符号化後の画像フレーム列Ｆ４、（ｃ）は本実施例による出力画像フレーム列Ｆ６を示す。

図６において、「Ｉ」はＩフレーム、「Ｐ」はＰフレーム、「Ｂ」はＢフレームを示している。Ｉフレームは単独で復号可能、Ｐフレームは時系列において以前のＩフレーム又はＰフレームを参照することで復号可能、Ｂフレームは以前と以後のＩフレーム又はＰフレームの双方を参照することで復号可能となるフレームである。また、「Ｐ０」、「Ｂ０」は動きなしフレームであることを示す。

（ｂ）の符号化フレーム列Ｆ４において、Ｉフレームを先頭とするＮ＝４枚の連続フレーム（区間１）を高解像処理対象のフレームとして選択し、それに続くＭ＝１２枚のフレーム（区間２）について間引きする。そして、間引きしたフレームについては、動きなしフレームＦ５（Ｐ０，Ｂ０）を差し替えて挿入する。その結果、（ｃ）に示すフレーム列Ｆ６を合成して伝送する。

本実施例によれば、伝送するフレーム列Ｆ６にはフレームの欠落箇所がなくフレーム間隔が一定で伝送される。よって受信側では、従来のＭＰＥＧ復号処理回路をそのまま用いて画像を復元することができる。また、伝送するフレーム列Ｆ６のうち、動きなしフレームによる挿入（差し替え）部分のデータ量は微小であるから、この場合も伝送するデータ量を削減することができる。

図７は、本発明による監視システムの他の実施例を示す構成図である。本実施例では、前記図１の構成において、撮像装置１内に切替制御部１３を、また監視センタ３内に切替制御部３３を追加し、それぞれの切替制御部１３，３３は伝送部２を介して通信可能となっている。

撮像装置１内の切替制御部１３は、フレーム選択部１２におけるフレーム間引きの実行／停止を切り替えるとともに、フレーム間引きの条件（連続するフレーム枚数Ｎと間引きの間隔Ｌ）を設定する。監視センタ３内の切替制御部３３は、高解像処理部３１における高解像処理の実行／停止を切り替えるとともに、高解像処理の条件（使用するフレーム枚数Ｎと処理フレームの間隔Ｌ）を設定する。そしてそれぞれの切替制御部１３，３３は、伝送部２を介してその処理条件を互いに通知することで、それぞれの処理を連携させ、円滑にかつ最適に実行することができる。

例えば監視センタ３において、表示部３２に表示される被写体の画像状態に応じて、解像度を向上させるためにフレーム枚数Ｎを増加させることや、動きのある被写体に対する追従性を向上させるため伝送する画像の間隔Ｌを短くさせる場合、その要求を撮像装置１へ通知することが可能となる。また、同一の撮像装置を複数の異なる方式の監視センタと組み合わせたシステムを構成することも可能となる。

以上述べた各実施例によれば、伝送部であるネットワークなどの許容範囲内で、撮影した画像を高画質、高解像度化して表示する監視システムを実現することができる。

本発明による監視システムの一実施例を示す構成図（実施例１）。 フレーム選択部１２の構成の一例を示す図。 フレーム選択部１２により生成した画像フレームの一例を示す図。 高解像処理部３１による高解像処理について説明する図。 フレーム選択部１２の他の構成の一例を示す図（実施例２）。 図５のフレーム選択部１２により生成した画像フレームの一例を示す図。 本発明による監視システムの他の実施例を示す構成図（実施例３）。

符号の説明

１…撮像装置
２…伝送部
３…監視センタ
１１…撮像部
１２…フレーム選択部
１３，３３…切替制御部
３１…高解像処理部
３２…表示部
１２１…符号化部
１２２…出力切替部
１２３…カウンタ
１２４…フレーム送信部
１２５…動きなしフレーム生成部。

Claims (7)

1. 撮像装置で撮影した画像データを伝送部を介して監視センタに伝送して表示する監視システムにおいて、
   上記撮像装置は、上記画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行うフレーム選択部を備え、
   上記監視センタは、伝送された複数の画像フレームを用いて高解像処理を行う高解像処理部を備えることを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記フレーム選択部は、参照するフレームからの動きがないことを示す動きなしフレームを生成する動きなしフレーム生成部を備え、
   前記間引き処理を行った画像フレームの位置に上記動きなしフレームを挿入して伝送する画像データとすることを特徴とする監視システム。
3. 請求項１または２に記載の監視システムにおいて、
   前記フレーム選択部は、撮像した画像をＭＰＥＧ方式にて圧縮符号化する符号化部を備え、
   前記連続する複数の画像フレームには単独で復号可能なＩフレームを含むように間引き処理を行うことを特徴とする監視システム。
4. 請求項１に記載の監視システムにおいて、
   前記高解像処理部は、前記連続する複数の画像フレームを位置合わせして１枚の画像を合成し、目的の解像度で再度サンプリングすることで高解像度の画像を生成するものであることを特徴とする監視システム。
5. 請求項１に記載の監視システムにおいて、
   前記撮像装置は、前記フレーム選択部の間引き処理を制御する第１の切替制御部を備え、
   前記監視センタは、前記高解像処理部の高解像処理を制御する第２の切替制御部を備え、
   該第１及び第２の切替制御部は、前記伝送部を介して処理条件について互いに通知することを特徴とする監視システム。
6. 撮影した画像データを監視センタに伝送する撮像装置において、
   上記画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行うフレーム選択部を備え、
   該フレーム選択部にて間引き処理を行った画像データを伝送することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記フレーム選択部は、参照するフレームからの動きがないことを示す動きなしフレームを生成する動きなしフレーム生成部を備え、
   前記間引き処理を行った画像フレームの位置に上記動きなしフレームを挿入して伝送する画像データとすることを特徴とする撮像装置。

Images