JP2004128646A

JP2004128646A - 監視システムおよび制御装置

Info

Publication number: JP2004128646A
Application number: JP2002286807A
Authority: JP
Inventors: Hiromi Shinohara; 篠原　宏実
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-22

Abstract

【課題】単一の撮影対象を撮影する際に、撮影に最適なカメラを選択し、複数の角度と複数の倍率で撮影するように制御し、無駄のないカメラ選択と利便性の高い追尾可能な監視システムを提供する。
【解決手段】通常、複数のカメラは予め設定された撮影範囲を撮影している。異常対象１−２０を撮影する場合、カメラ１−１〜１−８の中で撮影に適した複数のカメラを用いて撮影対象１−２０を複数の画角で撮影する。撮影に適していないと判断されたカメラはそのまま撮影を続ける。この際、マスターカメラとして適したものを随時切り換えることにより便利性の高い監視カメラとなる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ監視システム、装置に関し、複数台のカメラによって同一の撮影対象を検出、追尾して撮影するのに好適なものであり、例えば監視システム、セキュリティシステム、インテリジェントビルディングシステム等の産業分野に利用できるものである。
【０００２】
【従来の技術】
従来、ズーム制御機能及び自動合焦機能及び姿勢制御可能な複数のカメラを用いて常時単一の撮影対象の追尾をする監視システムが知られている（例えば、特許文献１参照）。
【０００３】
この種のシステムにおいて、カメラの方向制御及び姿勢制御は一つのカメラの位置情報から他の全てのカメラを動作させるのが一般的である。また、追尾対象の動きに応じて撮影画面内の撮影対象の大きさを一定に保つようにカメラの方向制御及びズーム制御をするのが一般的である。
【０００４】
【特許文献】
特開２００１−２５００３号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記従来技術では単一の撮影対象を撮影するのに適したカメラを選択する手段がなく、撮影対象を撮影するのに適さないカメラまで制御及び追尾をするといった問題がある。
【０００６】
また、撮影対象までの距離に応じてズーム制御をする際、撮影対象が複数の大きさで撮影されるようにカメラを選択、制御する手段はない。このため、撮影画面に対し撮影対象を大きくなるようズーム制御したときの撮影対象確認と、撮影画面に対し撮影対象を小さくなるようズーム制御したときの撮影対象の周囲状況確認が一度に行えないという問題がある。
【０００７】
さらに、撮影画面に対し撮影対象を大きくなるようズーム制御したとき撮影対象に急激な距離変化があると撮影対象を追尾することができなくなるという問題がある。また、撮影対象とその周辺での様子を一度に監視することができなくなるといった問題がある。
【０００８】
本発明は、上記のような事情に鑑みてなされたものであり、単一の撮影対象を撮影する際に撮影に最適な複数のカメラを選択し、複数の角度と複数の倍率で撮影するよう制御し、便利性の高い追尾可能なカメラ監視システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本願第１の発明は、ズーム制御機能及び自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、カメラ制御手段が、複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、カメラ制御手段は、外部から要求があった場合に、複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする。
【００１０】
本願第２の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、カメラ制御手段が、複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、カメラ制御手段は、複数のカメラのうちいずれかのカメラが撮影範囲内で異常を検出した場合に、複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする。
【００１１】
ここで、カメラ制御手段は、外部からの要求があったとき、一のカメラからの撮影対象位置情報に応じて、撮影対象が複数の大きさで撮影されるように撮影に適したカメラを選択し、撮影方向及びズーム倍率を調整することができる。
【００１２】
また、カメラ制御手段は、撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラを、一のカメラから他のカメラに自動的に切り替えることができる。
【００１３】
本願第３の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、外部から要求があった場合には撮影対象を撮影させることを特徴とする。
【００１４】
本願第４の発明は、ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、撮影範囲内で異常を検出した場合には撮影対象を撮影させることを特徴とする。
【００１５】
ここで、外部からの要求があったとき、カメラからの撮影対象位置情報に応じて、撮影対象の撮影に適したカメラか否かを決定し、撮影する場合には撮影方向及びズーム倍率を調整することができる。
【００１６】
また、撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラとして適当か否かを判断し、この判断結果に応じて自動的にカメラを切り替えることもできる。
【００１７】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施の形態について説明する。
【００１８】
（第１実施形態）
本発明の第１実施形態では、複数台のカメラの姿勢（撮影方向）を外部制御可能にしたカメラ制御システムにおいて、１つのカメラを選択して撮影対象の撮影及び撮影対象の位置計測を行う。そして、撮影対象の位置情報を他の撮影に適した複数のカメラに送信して、他の複数のカメラを制御することにより、これら複数台のカメラのうち、特定の複数台のカメラが複数のズーム倍率で同時に同一の撮影対象を撮影するカメラ制御システムを構築する。
【００１９】
また、撮影対象を撮影しているスレーブカメラのうちの一つをマスターカメラに自動的に切り替える切替処理を実現する。
【００２０】
以下では、本実施形態のハードウェア構成、制御原理、及び処理手順について説明する。
【００２１】
以下に、本実施形態のハードウェア構成とカメラ制御の原理及び処理手順を説明する。
【００２２】
図１に、本実施形態の全体ハードウェア構成を示す。１つのカメラモジュールは、カメラ制御装置（１−９、１−１０、１−１１、１−１２、１−１３、１−１４、１−１５、１−１６）と、そのカメラ制御装置により姿勢制御が可能なカメラ（１−１、１−２、１−３、１−４、１−５、１−６、１−７、１−８）とが対になって構成されている。そして、これらの複数組（１−９と１−５、１−２と１−１０、１−３と１−１１、１−４と１−１２、１−５と１−１３、１−６と１−１４、１−７と１−１５、１−８と１−１６）が夫々ネットワーク１−１７に接続されている。
【００２３】
なお、図１では８組のカメラモジュールを例示しているが、カメラモジュールは、３組以上であれば何組でも可能である。ネットワーク１−１７には、カメラ操作端末１−１８が接続され、オペレータ１−１９は、そのカメラ操作端末１−１８により、ネットワーク１−１７を通じて、同時に１つ又は複数のカメラの映像を見ることができ、且つ、そのうちの１つのカメラモジュールを制御することができる。
【００２４】
ここでは、ネットワーク１−１７としてＬＡＮを想定しているが、これ以外でも、Ｅｔｈｅｒ　ＮＥＴ、ＡＴＭ、Ｃ／ＦＤＤＩ等、伝送方式は限定されない。
【００２５】
各カメラ制御装置１−９〜１−１６は、映像ソフトウェアとカメラ制御ソフトウェアを搭載している。映像ソフトウェアは、カメラから映像を取り込み、それをネットワーク１−１７に送信する機能を持つ。また、カメラ制御ソフトウェアは、各カメラに割り当てられた役割に応じて、カメラの姿勢を直接制御する機能、撮影対象（１−２０）の位置情報を与えた時に、撮影するのに適したカメラ１−１〜１−９でその撮影対象１−２０を複数の大きさで撮影するように姿勢制御を行う機能、及び、その撮影対象１−２０の位置を計測して、その結果をカメラ制御端末１−１０や他のカメラに伝える機能を持つ。
【００２６】
一方、カメラ操作端末１−１８は、各カメラモジュールからの映像や各種情報の受信及び表示、オペレータ１−１９のカメラ切り替え命令やカメラ制御命令の入力及びカメラ制御装置への転送等の機能を持つハードウェア並びにソフトウェアを搭載している。
【００２７】
以上のシステムにおいて、以降、オペレータ１−１９が直接操作を行うカメラモジュールを「マスターカメラ」と呼び、オペレータ１−１９が直接操作を行わないカメラモジュールを「スレーブカメラ」と呼ぶ。全てのカメラモジュールは同一のハードウェア及びソフトウェアを持ち、使用状況に応じてマスターカメラかスレーブカメラになる。
【００２８】
図２に、各カメラモジュール及びカメラ制御端末のハードウェア内部構成を示す。
【００２９】
各カメラモジュールのハードウェアは、カメラ２−１とカメラ制御装置２−６から構成される。これらは、図１のカメラ１−１〜１−８のうちの１つ、及び、それに対応するカメラ制御装置１−９〜１−１６の１つを夫々図示したものである。
【００３０】
カメラ２−１は、画像を入力する撮影系２−２、撮影の際の各種光学的パラメータを制御する光学的パラメータ制御装置２−３、及び、姿勢制御装置２−４を具備している。ここで、光学的パラメータとは、フォーカス、アイリス、ゲイン、シャッタースピード、ホワイトバランス等を指す。
【００３１】
光学的パラメータ制御装置２−３と姿勢制御装置２−４は、信号線を介して、カメラ制御装置２−６に接続されており、そのカメラ制御装置２−６と通信することによって、各種光学的パラメータや水平（パン）及び垂直（チルト）方向の現在角度の取得並びに設定（制御）が可能である。制御信号方式としては、代表的なものとして、ＲＳ−２３２ＣやパラレルＩＯ等が有るが、それらに限定されるものではない。
【００３２】
カメラ２−１の撮影系２−２から出力される映像出力信号は、ビデオキャプチャーボード２−１２によってデジタル化されて、ネットワーク２−１８（図１のネットワーク１−１７と同じもの）に送られる。ビデオキャプチャーボード２−１２はＶＲＡＭを兼ねており、例えば、モニター２−１３に、カメラの映像とコンピュータの出力とを重畳して表示することができる。出力信号の形式には、ＮＴＳＣ方式やＹ／Ｃ分離方式等が有るが、それらには限定されない。
【００３３】
カメラ制御装置２−６は、ＣＰＵ２−７、ＲＡＭ２−８、ＲＯＭ２−９、二次記憶装置２−１０、カメラとの通信を行う入出力ポート（Ｉ／Ｏ）２−１１、及び、上述したビデオキャプチャーボード２−１２を具備する。また、ネットワーク２−１８を通じて外部からカメラ制御命令を実行したり、外部に映像やカメラの状態を転送したりする通信装置２−１７を具備する。更に、保守・点検用のために、必要に応じて、キーボード２−１４や、マウス等のポインティングデバイス２−１５が接続される。
【００３４】
これらのＣＰＵ２−７、ＲＡＭ２−８、ＲＯＭ２−９、二次記憶装置２−１０、Ｉ／Ｏ２−１１、、ビデオキャプチャーボード２−１２、通信装置２−１７、キーボード２−１４、及び、ポインティングデバイス（マウス）２−１５は全てバス２−１６に接続される。
【００３５】
このようなカメラ制御装置２−６は、汎用のコンピュータシステムにより実現することができる。
【００３６】
カメラ制御装置２−６は、キーボード２−１４及びマウス２−１５からの入力、又は、ネットワーク２−１８を介して外部から受信した制御信号を、制御信号線を通じて、カメラ２−１の光学的パラメータ制御装置２−３及び姿勢制御装置２−４に送信し、それらの装置を制御する。
【００３７】
カメラ制御端末２−１９（図１のカメラ制御端末１−１０と同じもの）のハードウェア構成は、上述したカメラ制御装置２−６の構成において、ビデオキャプチャーボード２−１２を単なるＶＲＡＭ２−２４に変更したこと、及び、接続されているカメラを制御するために必要であったＩ／Ｏ２−１１を除いたこと以外は、上述したカメラ制御装置２−６と同じである。
【００３８】
すなわち、ＣＰＵ２−２０、ＲＯＭ２−２１、ＲＡＭ２−２２、二次記憶装置２−２３、ＶＲＡＭ２−２４、通信装置２−２９、及び、バス２−２８を具備しており、モニター２−２５、キーボード２−２６、及び、ポインティングデバイス（マウス）２−２７が接続される。このカメラ制御端末２−１９も、ネットワークインターフェース及びグラフィック表示機能を有する市販のコンピュータシステムを用いて実現が可能である。
【００３９】
次に、図１を参照して、本実施形態によるカメラ制御方法を説明する。
【００４０】
図１の例では、８組のカメラモジュールが存在する。三次元ワールド座標上での各カメラの位置及び姿勢は既知であるとする。撮影対象１−２０はカメラ前方を移動している。オペレータ１−１１は、まず最初に、カメラ操作端末１−１８のカメラ操作ソフトを用いてマスターカメラを選択し、そのマスターカメラの視線方向を指示して、カメラの制御を行う。
【００４１】
全てのカメラモジュールは、オートフォーカス（自動合焦機能）を利用した距離測定機能を有しており、画像中の或る領域に存在する対象までの距離を計測できる。自動合焦機能の対象となる画像領域は、マスターカメラにおいてはオペレーター１−１９が指定する。また、スレーブカメラでは画像中央に固定する。マスターカメラの視線（方位）方向、撮影対象１−２０の三次元ワールド座標における位置を計測することができる。
【００４２】
ここで、自動合焦機能機能を利用した距離測定方法について説明する。
【００４３】
自動合焦機能機能は、光学的パラメータ制御装置１−９〜１−１６に具備されるものであり、画像中の部分領域画像に対してフォーカスレンズ駆動モータの最適な制御位置を求め、合焦させるものである。このようなフォーカスその他の光学的パラメータの最適化を目的として設定される画像中の部分領域を、以下、「検出領域」と称する。
【００４４】
自動合焦機能動作では、検出領域画像の高周波成分のエネルギーが最大となるようにフォーカスレンズ駆動モータの位置を制御する方式が一般的に知られている。このような自動合焦機能機能は、市販のカメラに実装されている機能を用いて実現が可能である。
【００４５】
そして、フォーカスレンズ駆動モータの制御位置から距離を求める方法としては、予め距離が既知である対象に対して自動合焦機能動作を行い、最適化後のモータの駆動パルス値と距離との関係を測定してこれを表として保持する方法や、光学系の設計から解析的に求める方法等がある。また、ズーム倍率を上げての自動合焦機能機能により撮影対象位置計測精度を向上させるように被写体までの距離を算出する方法もある。
【００４６】
次に、本実施形態におけるカメラ制御の処理動作について説明する。図１を用いて概略を説明すれば、まず、選択したマスターカメラにおいて撮影対象１−２０の位置を計測する。三次元ワールド座標での撮影対象１−２０の位置が決まれば、マスターカメラは、撮影対象１−２０の位置情報をカメラ操作端末１−１８及びスレーブカメラに転送する。
【００４７】
スレーブカメラのカメラ制御装置上のカメラ制御ソフトウェアは、スレーブカメラの三次元ワールド座標上での位置及び姿勢が既知であることから、スレーブカメラから見て撮影対象１−２０がどの方向にあるかを計算する。この結果に基づいて撮影に適したスレーブカメラかどうかを判断し、撮影に適していると判断した場合、スレーブカメラを制御する。さらに制御するカメラは撮影に適したワイド側もしくはテレ側の画角に合わせる。
【００４８】
このように、マスターカメラを選択し、撮影対象１−２０に向けて制御することで、人手を介することなく撮影に適したスレーブカメラを撮影対象１−２０に向けることができ、さらにカメラに適した画角にあわせる。以下、具体的に説明する。
【００４９】
図３は、カメラ操作端末３−２０のユーザインターフェースを構成するＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の一例を示す。画面には、マスターカメラの映像表示部３−１（図３では撮影対象３−２が映し出されている）、自動合焦機能の対象領域である検出領域３−３、カメラを操作するためのカメラ操作ボタン３−４、自動ズーム制御ボタン３−５、プログラム終了ボタン３−６、撮影対象３−２の位置表示３−７、カメラ選択ボタン３−８が表示されている。
【００５０】
制御を開始するにあたり、オペレータは、まずマスターカメラを選択する。これは、カメラ選択ボタン３−７のうち所望のカメラ番号をマウス等によって指定することにより行われる。
【００５１】
マスターカメラを選択したら、オペレータは、「直接操作」若しくは「対象の指定操作」によりマスターカメラを操作する。
【００５２】
直接操作とは、操作ボタン３−４を使用する方法であり、上下左右、ホームポジションへの移動等の制御を行うことができる。この場合、検出領域３−３の位置は、例えば中央に固定されたまま変化しない。
【００５３】
対象の指定操作とは、検出領域３−３を移動させることによりカメラを制御する方法であり、マウス等のポインティングデバイスを用いてドラッグ操作により検出領域３−３の移動操作を行う。検出領域３−３を画像上の撮影対象３−２に重ね合わせることにより、マスターカメラのカメラ制御装置において自動合焦機能を用いた距離計測を行い、距離と撮影位置とから後述する手法による位置計測を行う。
【００５４】
そして、撮影対象３−２の位置情報をカメラ操作端末１−１８を通じて各スレーブカメラに送信することにより、各スレーブカメラが撮影に適したカメラかどうかを判断し、最終的に各スレーブカメラの操作制御を行う。
【００５５】
次に、図４に従って、マスターカメラにおける撮影対象の位置計測、及びスレーブカメラにおける姿勢制御目標値の計算について説明する。
【００５６】
まず、マスターカメラにおける撮影対象の位置計測について述べる。図４（ａ）において、マスターカメラの視点は三次元座標空間上の点Ｃｍ（Ｘｍ，Ｙｍ，Ｚｍ）にあり、スレーブカメラの視点は点Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）にある。又、撮影対象は点Ｐｔ（Ｘｔ，Ｙｔ，Ｚｔ）にある。
【００５７】
ここで、オペレータが、図３に示す画面上で撮影対象３−２に検出領域３−３を重ね合わせたとする。図４（ｂ）は、マスターカメラの画像座標系を表示したものである。
【００５８】
ここでは、画像座標を画像の左上を原点とし、右にＸ軸の正方向、下にＹ軸の正方向をとる。検出領域３−３の画像座標を（ｕｆ，ｖｆ）、画像中心の座標を（ｕｃ，ｖｃ）、とし、レンズの焦点距離をｆｍ［ｍｍ］とすると、マスターカメラから見た撮影対象の方向θｆ、φｆは、下記の式（１）のように表される。
θｆ＝ｔａｎ−１｛ｋＸ｜ｕｆ−ｕｃ｜／ｆｍ｝
φｆ＝ｔａｎ−１｛ｋＹ｜ｖｆ−ｖｃ｜／ｓｑｒｔ［｛ｋＸ｜ｕｆ−ｕｃ｜｝２＋ｆｍ２］｝…（１）
ただし、ｓｑｒｔ（Ｘ）はＸの平方根である。又、ｋＸ、ｋＹは１画素の大きさ（横幅、縦幅）であり、単位は［ｍｍ／ｐｉｘｅｌ］である。これはＣＣＤ撮影素子のサイズ、有効画素数、及び画像平面のサイズ等から計算することができる。
【００５９】
問題の簡素化のために、マスターカメラ座標系のＸＹＺ各軸は三次元ワールド座標系のＸＹＺ各軸と平行であり、パン方向の回転角はＹ軸の正方向を原点とし、Ｚ軸周りにＸ軸の正方向への回転角として定義する。又、チルト方向の回転角はＸＹ平面からの仰角であると定義する。
【００６０】
このように定義すると、図４（ａ）の三次元ワールド座標系において撮影対象の座標（Ｘｔ，Ｙｔ，Ｚｔ）は、マスターカメラからの距離ｒｍｔ、マスターカメラの視点の位置（Ｘｍ，Ｙｍ，Ｚｍ）、マスターカメラの姿勢（マスターカメラから見た撮影対象の方向）θｆ、φｆを用いて、下記の式（２）のように表される。
【００６１】
【数１】

【００６２】
マスターカメラの初期位置及び初期姿勢は、実測により求める。又、動作中の姿勢変化分については、カメラとの通信によって得た値を使用する。一般に三次元空間中においてカメラの位置及び姿勢を求める手法をカメラのキャリブレーションと呼び、公知の研究例［Ｒ．Ｙ．Ｔｓａｉ，｀｀Ａｎ　ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ａｃｃｕｒａｔｅ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｆ３Ｄ　ｍａｃｈｉｎｅ　ｖｉｓｉｏｎ｀｀，　Ｐｒｏｃ．ｏｆ　ＣＶＰＲ，ｐｐ．３６４−３７４，１９８６］をはじめとして多くの研究例がある。
【００６３】
本実施形態では、マスターカメラはオペレータの操作に応じて視線方向を変更するが、このときに視点の位置とパン・チルト軸の回転中心とがずれている場合、視点の位置が変化する。
【００６４】
しかし、カメラの機構が既知であれば、公知の手法による正確なキャリブレーションにより、カメラの回転運動に伴う視点の移動を計算することが可能である。なお、厳密にはズームやフォーカス変更に伴うレンズ位置の変化によっても視点は変化するが、本実施形態ではその変化分は無視する。
【００６５】
次に、スレーブカメラにおける姿勢制御目標値の計算について述べる。上記のようにして得られた撮影対象の位置情報（撮影対象の座標（Ｘｔ，Ｙｔ，Ｚｔ））からスレーブカメラのパン・チルト制御値θｓｔ、φｓｔを求めると、下記の式（３）のように表される。ここで、スレーブカメラ座標系の原点は点Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）であり、ＸＹＺ各軸はマスターカメラ座標系のＸＹＺ各軸と平行に設定する。
θｓｔ＝ｔａｎ−１｛（Ｘｔ−Ｘｓ）／（Ｙｔ−Ｙｓ）｝
φｓｔ＝ｔａｎ−１｛（Ｚｔ−Ｚｓ）／ｓｑｒｔ［（Ｘｔ−Ｘｓ）２＋（Ｙｔ−Ｙｓ）２］｝…（３）
パン・チルト制御値θｓｔ、φｓｔが求まれば、その角度を制御目標値としてスレーブカメラを制御するようにカメラ制御装置から指令を送ればよい。
【００６６】
図５は、カメラ制御装置５−９〜５−１６が撮影対象の撮影にするカメラの選択方法の一例を示す。図５では８組のカメラモジュールが存在する。撮影対象５−２０が領域ａ→ｂ→ｃ→ｄ→ｅの位置に連続的に移動していく様子を示す。またカメラ５−１〜５−８の方向は撮影対象５−２０がＢの位置にいるときのものであり、細い点線は撮影範囲を示している。矢印のでているカメラ５−１〜５−３、５−５〜５−８はこのとき撮影対象５−２０を撮影していることを示す。
【００６７】
今撮影対象５−２０がＢの位置にいて、オペレータ５−１９が図３のＧＵＩ画面でマスターカメラとして５−６を選び、検出領域３−３を撮影対象３−２に重ねたとする。するとマスターカメラが撮影対象５−２０のＢの位置情報をカメラ操作端末を通じて各スレーブカメラに送信する。
【００６８】
撮影に適したカメラかどうかは撮影対象５−２０の位置Ｂから判断する。画角については、テレ画角で撮影するカメラは撮影対象が何であるか判断するため、さまざまな撮影角度から撮影するようにする。また、マスターカメラはワイド画角で撮影しているカメラでありかつ撮影対象Ｂに近いものが選択される。これはオペレータのマスターカメラを選択する手間を省き、検出領域の操作をしやすくするためである。
【００６９】
この場合、まず撮影対象５−２０から距離の短いカメラ５−１〜５−３，５−５〜５−７は撮影に適したカメラと判断され、撮影対象５−２０から距離の長いカメラ５−４、５−８は撮影に適さないカメラと判断される。さらに、撮影に適したカメラと判断されたカメラのうち、撮影対象５−２０との距離がより近いほうのカメラ５−１、５−２、５−５、５−６は撮影画面に対し撮影対象５−２０が大きくなるようテレ側の画角で撮影し、また撮影対象５−２０から少し離れたカメラ５−３，５−７は撮影画面に対し撮影対象５−２０の周囲状況がわかるようワイド側の画角で撮影する。
【００７０】
このように制御をすると例えば図５の撮影対象５−２０のＡ、Ｂ、Ｃ、Ｄ、Ｅの位置におけるカメラ５−１〜５−８の方向制御と画角は図６のように制御することができる。ここで図６において「Ｔ」は撮影対象５−２０を追尾しテレ側の画角に制御、「Ｗ」は撮影対象５−２０を追尾しワイド側の画角に制御、「指」はあらかじめ設定された範囲を撮影するよう制御されることを示す。
【００７１】
ただし、図６の制御は一例であってテレ側の画角で多くの角度から撮影したい場合には撮影対象５−２０に遠いカメラでも撮影に適するカメラと判断しテレ側の画角で撮影してもよい。その場合にはさらに撮影対象５−２０に遠いカメラがワイド画角で撮影するよう制御する。またテレ側の画角で撮影するカメラとワイド側の画角で撮影するカメラの台数をあらかじめ決めておいてもよい。また撮影対象５−２０が一定の大きさより大きく撮影できるカメラを選択しても良い。
【００７２】
以上述べた原理により、オペレータの制御するマスターカメラを用いて撮影対象の位置計測を行い、その結果を使用して撮影に適したスレーブカメラかどうかを判断する。撮影に適していると判断したカメラのみ、さらにズームレンズを広角側と望遠側のどちらかに動作するよう制御することにより、各スレーブカメラを撮影対象の方向に向け適した画角で撮影することができる。
【００７３】
以下、図７、８のフローチャートを用いて、本実施形態のカメラ制御システムの制御処理手順について説明する。
【００７４】
図７は、カメラ操作端末上で動作するカメラ操作ソフトウェアによる処理を示す。まず、処理開始後において、初期化処理を行う（ステップＳ７０１）。これは、図５に示したＧＵＩの表示を初期化する等の処理である。次に、ステップＳ７０２に移行して、入力イベント待ちループに入る。入力イベントには、カメラ操作端末のＧＵＩを通じてのオペレータの制御入力と、マスターカメラからのメッセージとが存在する。
【００７５】
ＧＵＩにおいてカメラの方向ボタン３−４が押された場合や、検出領域３−３を画像中の撮影対象３−２に重ね合わせる操作がされた場合、カメラ移動入力イベントが発生する（ステップＳ７０３）。
【００７６】
この場合、ステップＳ７０４において、マスターカメラの姿勢を変更するモータの制御コマンドを作成する。方向ボタン３−４による入力である場合、単に一定角度回転を行う制御コマンドを生成する。又、検出領域３−３を移動させる入力である場合、上記式（１）におけるθｆ、φｆはカメラの光軸を基準にした対象の角度変位なので、この値θｆ、φｆを移動目標角度とする制御コマンドを生成する。制御コマンド生成後、ステップＳ７０５において、当該制御コマンドをマスターカメラに送信する。
【００７７】
ＧＵＩにおいてマスター選択ボタン３−７が押された場合、マスター選択イベントが発生する（ステップＳ７０６）。この場合、ステップＳ７０７において、制御コマンドを送信するマスターカメラを指定されたカメラに変更する。又、映像受信ソフトウェアにも受信を行うカメラの変更を指示する。
【００７８】
本実施形態では、各カメラの映像受信ソフトウェアはネットワーク上に映像を送り続けて受信側で選択する構成としたが、カメラ操作ソフトウェアからの映像受信要求があるときのみ送信側で映像を送信する方式をとってもよい。
【００７９】
マスターカメラは、後述するようにカメラ制御を行った後に、撮影対象の位置計測を行い、その結果をカメラ操作端末のカメラ操作ソフトウェアに送信する。このメッセージをカメラ操作ソフトウェアが受け取った場合（ステップＳ７０８）、撮影対象の位置に関する表示３−７の更新を行う（ステップＳ７０９）。
【００８０】
ＧＵＩにおいて終了ボタン３−５が押された場合、終了イベントが発生する（ステップＳ７１０）。この場合、ステップＳ７１１において、終了処理として全てのカメラモジュールに処理の終了を告知して、システムを終了する。
【００８１】
図８は、各カメラ制御装置上で動作するカメラ制御ソフトウェアによる処理を示す。マスターカメラとスレーブカメラとは同一のプログラムにより動作し、メッセージの種類に応じてその役割を変更する。
【００８２】
まず、あらかじめ設定された方向を撮影するようカメラの初期化を行い（ステップＳ８２０）、その後メッセージ待ちを行う（ステップＳ８２１）。なんらかのメッセージがあった場合には、ステップＳ８２２、８２３、８２８においてその内容を確認する。
【００８３】
終了イベントであった場合（ステップＳ８２２）、カメラ制御ソフトウェアを終了する。
【００８４】
イベントがモータの回転角度を指定する制御コマンドであった場合（ステップＳ８２３）、マスターカメラとしての動作命令である。この場合、ステップＳ８２４において、制御コマンドに従ってモータの制御を行い、ステップＳ８２５において、上述した手法により撮影対象の位置計測を行う。その計測結果は、カメラ操作端末のカメラ操作ソフトウェアに送信する（ステップＳ８２６）。又、スレーブカメラにも制御命令及び制御情報として送信する（ステップＳ８２７）。
【００８５】
イベントが三次元ワールド座標を指定しての姿勢制御命令であった場合（ステップＳ８２８）、スレーブカメラとしての動作命令である。この場合、ステップＳ８２９において、指定された位置を撮影するのに適したカメラかどうかを判断する。適していればステップＳ８３０において、指定された位置を向くようなカメラの姿勢と撮影画角を計算し、ステップＳ８３１において、モータの制御を行う。この際に、スレーブカメラの移動角度は、上記式（３）で求められるθｓｔ、φｓｔを採用する。
【００８６】
ステップＳ８２７、ステップＳ８３１の後、ステップＳ８３２においてマスターカメラに変更するかどうかを判別する。例えばオペレーター５−１９が検出領域を指定するのに撮影対象の周囲状況が分かった方がいいときには撮影対象５−２０がＢの位置のときワイド画角で撮影していて最もＢに近いカメラをマスターカメラとする。それ以外のカメラはスレーブカメラに切り替える。
【００８７】
また、ステップＳ８２９においてカメラを制御する必要がないと判断された場合にはあらかじめ設定された設定位置へモータの制御を行い（ステップＳ８３５）、スレーブカメラに切り替える。
【００８８】
以上にイベントに対する処理を行ったならば、ステップＳ８２１に戻って設定された撮影範囲を撮影しながらイベント待ちを行う。
【００８９】
以上に説明した本実施形態によれば、姿勢制御可能な複数台のカメラをネットワークで接続し、そのうちの１つのカメラをオペレータが制御するマスターカメラとして選択して制御を行い、残りのカメラをスレーブカメラとしてマスターカメラから得られた情報に従って撮影対象の撮影に適したカメラのみ制御するようにしている。
【００９０】
これにより、システム上で撮影対象を追尾するのに適したカメラのみ姿勢制御及びズーム制御をし、それ以外のカメラは監視を続けるため、柔軟な制御が可能なカメラ制御システムを構築することができる。
【００９１】
また、撮影対象を撮影しているスレーブカメラのうちの一つをマスターカメラに自動的に切り替えることで、撮影対象が急激な動作をしても撮影画面から撮影対象を見失わずに済み、より広い範囲を対象として検出領域を設定できる。
【００９２】
（第２実施形態）
本発明の第２実施形態では、上述した第１実施形態と同様の構成において、マスターカメラとスレーブカメラで異常検出をすることにより、いずれかのカメラで異常が検出されたとき他のカメラとオペレータに位置情報を送信する機能をもたせる。
【００９３】
この結果、オペレータがわざわざ異常検出してカメラの姿勢制御を指示しなくても、各カメラで異常検出し撮影対象の動作にあわせて追尾することができ、なおかつ撮影対象を撮影しているカメラのうちの一つをマスターカメラに自動的に切り替えるカメラ切替処理を実現する。
【００９４】
本実施形態におけるハードウェア構成、全てのカメラ及びカメラの制御装置等の構成は、図１及び図２に示した第１実施形態と同じであるので、その説明は省略する。なお、本実施形態においても、上述した第１実施形態同様、カメラモジュールは３組以上あればよい。
【００９５】
図５、９を参照して、監視システム内のいずれかのカメラにおいて異常検出し、マスターカメラが切り替わっていく様子を説明する。なお、撮影するカメラの選択方法及び画角の選択方法は第１実施形態と同様に行うものとする。
【００９６】
なお、異常検出手段については公知の技術である背景差分に基づく手法を利用する。これは、この手法が移動物体を簡便に検出する技術であるからであり、その他の検出方法を私用しても本実施形態は実現することができる。
【００９７】
この図９は前述した図１、５と略同じものであり、図９は図５の撮影対象５−２０が通過する領域ａ〜ｅを図５のようにカメラ５−１〜５−８が配置されていた場合に領域ごとに姿勢制御及びズーム制御を変えるための割り振りを示す。領域の区切りはカメラ同士の直線を結んだ線分である。
【００９８】
図５において、撮影対象５−２０が左方向から近づいてきたとして、領域ａ→ｂ→ｃ→ｄ→ｅの位置に連続的に移動していくときのマスターカメラの切り替えを以下に説明する。
【００９９】
まず図５のカメラ５−１、５−２において異常検出可能な領域ａに撮影対象５−２０が入るとこれを異常とみなして背景差分の方法により最初にカメラ５−１もしくはカメラ５−５が異常検出をする。撮影対象５−２０を異常として異常検出すると、撮影対象５−２０を向くように姿勢制御し撮影対象５−２０の位置を計測する。
【０１００】
そして、ネットワーク５−１７を介して異常を検出したカメラ５−１もしくはカメラ５−５からカメラ操作端末５−１８へその旨と撮影対象５−２０の位置情報で構成される異常情報を伝える。異常情報を受け取ったカメラ操作端末は最初に異常情報を伝えてきたカメラ（ここではカメラ５−１とする）から受け取った撮影対象５−２０の位置情報及び既に異常検出の旨をシステム内の全てのカメラに送信する。
【０１０１】
もしカメラ５−１と５−５が同時に撮影対象５−２０を検出し、両方のカメラが検出情報を送信したとしてもカメラ操作端末５−１８が先に５−１の異常情報を受け取っているならば、５−１８の異常情報は無視される。
【０１０２】
カメラ制御装置５−１〜５−８は撮影対象５−２０の位置情報を受け取るとカメラ５−１、５−５がテレ画角にて、カメラ５−２及びカメラ５−６がワイド画角にて撮影対象を撮影する。この場合、例えば撮影対象５−２０が図５の領域ａにいるときはカメラ５−６がマスターカメラとなるが、撮影対象５−２０の位置によりカメラ５−２にも切り替えられる。その他のカメラは撮影対象までの距離が遠いので撮影に適さないカメラと判断され、設定された撮影範囲を撮影しつづける。
【０１０３】
撮影対象が５−２０が異常検出領域ａにいる間はマスターカメラ５−６から撮影対象５−２０の位置が随時送信されてくるので、カメラ５−１、５−２、５−５、５−６は受信した位置に方向制御をし、撮影対象の追尾を続ける。
【０１０４】
次に撮影対象が５−２０が異常検出領域ｂに達するとカメラ５−１，５−２，５−５，５−６はテレ画角で撮影し、カメラ５−３、５−７はワイド画角で撮影し、他のカメラ５−４，５−８のみ設定された撮影範囲を撮影する。この場合、例えば撮影対象５−２０が図５の領域ｂにいるときはカメラ５−７がマスターカメラとなるが、撮影対象５−２０の位置によりカメラ５−３にも切り替えられる。
【０１０５】
撮影対象が異常検出領域ｂにいる間はマスターカメラ５−７から撮影対象５−２０の位置が随時送信されてくるので、カメラ５−１〜５−３、５−５〜５−７は受信した位置に方向制御をし、撮影対象の追尾を続ける。
【０１０６】
以下、撮影対象５−２０が異常検出領域ｃ、ｄ、ｅに移動したときも同様に制御が行われる。
【０１０７】
次に、本実施形態のカメラ制御システムの制御処理について説明する。カメラ操作端末上で動作するカメラ操作ソフトウェアによる処理は、基本的には第１実施形態と同じであり、その相違点のみを図７を用いて説明する。本実施形態では、ステップＳ７０８において位置情報と共に異常検出された旨を情報として受け取る。
【０１０８】
そして、ステップＳ７０９において、既に異常が検出されているかどうかをチェックする。始めて検出された場合には、ステップＳ７０４において制御命令を作成する。位置情報は各マスターカメラから断続的に入手できるが、いずれか１つのカメラからの情報が入力されるたびに図３に示したＧＵＩの位置情報３−６を更新する。
【０１０９】
次に、各カメラ制御装置上で動作するカメラ制御ソフトウェアによる処理を説明する。図１０は第１実施形態で説明した図８と基本的には同一であるので相違点のみを説明する。
【０１１０】
動作が異なるのは、ステップＳ１０１１〜ステップＳ１０１５に示す異常検出をする場合であり、それ以外のステップＳ１０１０〜ステップＳ１０３０については図８に示したステップＳ８２０〜ステップＳ８３６と同様である。
【０１１１】
システム上の全てのカメラはステップＳ１０１１において異常検出を行い、異常が検出されなければステップＳ１０１６においてメッセージを受信する。異常が検出された場合にはステップＳ１０１２においてシステム内の他のカメラで既に異常検出されていれば、ステップＳ１０１６においてメッセージを受信する。システム全体で初めての異常検出であればステップＳ１０１３で異常と判断された撮影対象を撮影し、ステップＳ１０１４において撮影対象の位置を計測する。そしてステップＳ１０１５において撮影対象の位置情報と異常検出の旨をカメラ制御端末へ送信する。
【０１１２】
以上述べた本実施形態によれば、システム内の全てのカメラにおいて異常検出が可能になり、人の手を介さなくとも異常撮影対象の追尾が可能になる。
【０１１３】
なお、上記の実施形態において示した各部の計上及び構造は、いずれも本発明を実施するにあたっての具体化の本の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、さまざまな形で実施することができる。
【０１１４】
【発明の効果】
本願第１の発明である監視システムによれば、カメラ制御に無駄がなく臨機応変に監視可能な監視システムを構築することができる。
【０１１５】
また、本願第２の発明である監視システムによれば、カメラ制御に無駄がなく異常検出に人手を介さずに監視可能な、便利性の高い監視システムを構築することができる。
【０１１６】
ここで、外部からの要求があったとき、カメラから撮影対象の位置に応じて撮影対象が複数の大きさで撮影されるようにカメラを選択し、その撮影方向及びズーム倍率を調整することにより、撮影画面に撮影対象が大きく写っている複数の画像からは、ある事件における犯人の特定等に役立ち、撮影対象の周囲状況が分かるように撮像した画像からは犯人の動きを見逃すことなく周囲状況を把握できる等、一度の制御で撮影対象の特定と周囲状況把握の両方が行える、という優れた効果がある。
【０１１７】
また、撮影対象の位置に応じて、撮影対象位置情報を抽出するカメラを一のカメラから他のカメラに自動的に切り替えることで、常に撮影対象の位置を算出するのに適したカメラを選択することが可能になり追尾に役立つという、優れた効果がある。
【０１１８】
以上述べたように本発明によれば、単一の撮影対象を撮影する際に撮影に最適な複数のカメラを選択し、複数の角度と複数の倍率で撮影するよう制御し、便利性の高い追尾可能な監視システムを提供することができる
【図面の簡単な説明】
【図１】第１実施形態における監視システムの構成を示す図である。
【図２】カメラ、カメラ制御装置、及びカメラ操作端末の構成を示す図である。
【図３】カメラ操作端末のユーザインターフェースを構成するＧＵＩ（Ｇｒａｐｈｉｃａｌ　ＵｓｅｒＩｎｔｅｒｆａｃｅ）の一例を示す図である。
【図４】撮影対象の位置計測及びカメラ制御目標値の計算の原理を説明するための図である（ａ、ｂ）。
【図５】第１実施形態における監視システムの構成を示す図である。
【図６】第１実施形態における撮影対象の位置と、カメラのズーム倍率の関係を示す図である。
【図７】第１実施形態におけるカメラ操作ソフトウェアによる処理を示すフローチャートである。
【図８】第１実施形態におけるカメラ制御ソフトウェアによる処理を示すフローチャートである。
【図９】第２実施形態における撮影対象の存在領域を表す図である。
【図１０】第２実施形態におけるカメラ制御ソフトウェアによる処理を示すフローチャートである。
【符号の説明】
１−１〜１−８　　　　　　カメラ
１−９〜１−１６　　　　カメラ制御装置
１−１７　　　　　　　　　　　ネットワーク
１−１８　　　　　　　　　　　カメラ操作端末
１−１９　　　　　　　　　　　オペレータ
１−２０　　　　　　　　　　　撮影対象
２−１　　　　　　　　　　　　　　カメラ
２−２　　　　　　　　　　　　　　撮影系
２−３　　　　　　　　　　　　　　光学的パラメータ制御装置
２−４　　　　　　　　　　　　　　姿勢制御装置
２−６　　　　　　　　　　　　　　カメラ制御装置
２−７　　　　　　　　　　　　　　ＣＰＵ
２−８　　　　　　　　　　　　　　ＲＡＭ
２−９　　　　　　　　　　　　　　ＲＯＭ
２−１０　　　　　　　　　　　二次記憶装置
２−１１　　　　　　　　　　　Ｉ／Ｏ
２−１２　　　　　　　　　　　　ビデオキャプチャボード
２−１３　　　　　　　　　　　　モニタ
２−１４　　　　　　　　　　　キーボード
２−１５　　　　　　　　　　　マウス等のポインティングデバイス
２−１６　　　　　　　　　　　　バス
２−１７　　　　　　　　　　　通信部
２−１８　　　　　　　　　　　ネットワーク
２−１９　　　　　　　　　　　カメラ制御装置
２−２０　　　　　　　　　　　ＣＰＵ
２−２１　　　　　　　　　　　　ＲＯＭ
２−２２　　　　　　　　　　　　ＲＡＭ
２−２３　　　　　　　　　　　　二次記憶装置
２−２４　　　　　　　　　　　ビデオＲＡＭ
２−２５　　　　　　　　　　　モニタ
２−２６　　　　　　　　　　　キーボード
２−２７　　　　　　　　　　　マウス等のポインティングデバイス
２−２８　　　　　　　　　　　バス
２−２９　　　　　　　　　　　通信部

Claims

ズーム制御機能及び自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、前記カメラ制御手段が、複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、
前記複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、
前記カメラ制御手段は、外部から要求があった場合に、前記複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする監視システム。
ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能な複数のカメラと、これらのカメラの動作を制御するカメラ制御手段とを備え、前記カメラ制御手段が、前記複数のカメラのうち所定の一のカメラから得られる撮影対象の撮影対象位置情報を用いて他のカメラの撮影方向を制御する監視システムであって、
前記複数のカメラのうち各カメラが、あらかじめ設定された撮影範囲を撮影可能であり、
前記カメラ制御手段は、前記複数のカメラのうちいずれかのカメラが撮影範囲内で異常を検出した場合に、前記複数のカメラのうち所定の複数のカメラが撮影対象を撮影するように制御することを特徴とする監視システム。
前記カメラ制御手段は、外部からの要求があったとき、前記一のカメラからの撮影対象位置情報に応じて、撮影対象が複数の大きさで撮影されるように撮影に適したカメラを選択し、撮影方向及びズーム倍率を調整することを特徴とする請求項１又は２に記載の監視システム。
前記カメラ制御手段は、撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラを、前記一のカメラから他のカメラに自動的に切り替えることを特徴とする請求項１から３のいずれかに記載の監視システム。
ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、
前記カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、外部から要求があった場合には撮影対象を撮影させることを特徴とする制御装置。
ズーム制御機能、自動合焦機能及び撮影対象位置情報取得手段を有し、姿勢制御可能であって撮影画像の変化による異常検出可能なカメラを制御する制御装置において、
前記カメラに対し、あらかじめ設定された撮影範囲を撮影させるとともに、撮影範囲内で異常を検出した場合には撮影対象を撮影させることを特徴とする制御装置。
外部からの要求があったとき、前記カメラからの撮影対象位置情報に応じて、撮影対象の撮影に適したカメラか否かを決定し、撮影する場合には撮影方向及びズーム倍率を調整することを特徴とする請求項５又は６に記載の制御装置。
撮影対象の位置に応じて、撮影対象位置情報を外部に送信するカメラとして適当か否かを判断し、この判断結果に応じて自動的にカメラを切り替えることを特徴とする請求項５から７のいずれかに記載の制御装置。