JP3833232B2 - 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体 - Google Patents

Description

本発明は、撮像装置からの映像信号を取り込んでネットワークを介してクライアントに配送する撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体に関するものである。

インターネット等のネットワークを介してビデオカメラを接続し、このビデオカメラにより撮像された映像や音声等のメデイアデータを、そのネットワークを介して複数のクライアントに送信する映像伝送システムが開発されている。このような映像伝送システムでは、そのビデオカメラの操作制御権を複数のクライアントが要求している時は、その内のいずれかのクライアントに排他的に順次与えられる。

しかし、従来のこのような伝送システムでは、そのメデイアデータを送信するクライアントがそのビデオカメラの制御権を有しているか否かに拘らず、全てのクライアントに対して同じ圧縮或は画像処理などを行って送信していた。このため、例えばカメラ制御権を有しているクライアントの場合には、カメラの動作を制御するためにもっと解像度の高い映像を見たい場合でも、通常の映像しか見ることができず、また、カメラの制御権を有していないクライアントではそれほど解像度の高い映像を見る必要がなく、単に高速にリアルタイムで映像を表示したいにもかかわらず、そのような切り換えを行うことはできなかった。

またクライアント側では、ジッタバッファを用いて映像パケットを蓄積し、その蓄積されたパケットを用いてフレーム映像を作成する。一方、カメラ制御権を有するクライアントにおいてカメラ制御を良好に行うためには、可能な限りリアルタイムに映像を再生して、撮像している対象物の映像をできるだけリアルタイムに認識できるのが望ましい。

本発明は上記従来例に鑑みてなされたもので、上記従来技術の問題点を解決することを目的とする。

本願発明の特徴は、映像要求に応じて送信される映像に応じた信号を受取るクライアント装置において、その受信した信号を記憶するジッタ吸収用バッファの容量を指示できる撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体を提供することにある。

上記目的を達成するために本発明の撮像制御装置は以下のような構成を備える。即ち、 クライアント装置からの映像要求に応じて、撮像装置により撮像した映像に応じた信号を送信する撮像制御装置であって、
映像に応じた信号を前記クライアント装置に送信する送信手段と、
前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信手段と、を有することを特徴とする。

上記目的を達成するために本発明の撮像制御方法は以下のような工程を備える。即ち、 クライアント装置からの映像要求に応じて、撮像装置により撮像した映像に応じた信号を送信する撮像制御方法であって、
映像に応じた信号を前記クライアント装置に送信する送信工程と、
前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定工程と、
前記判定工程の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信工程と、を有することを特徴とする。

上記目的を達成するために本発明の撮像システムは以下のような構成を備える。即ち、 撮像装置により撮像した映像をネットワークを介してクライアント装置に送信する撮像制御装置と複数のクライアント装置を含む撮像システムであって、
前記撮像制御装置は、映像に応じた信号を前記クライアント装置に送信する送信手段と、
前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信手段とを有し、
前記クライアント装置は、前記制御信号送信手段から送信される指示に従って前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を切り換えることを特徴とする。

本発明によれば、映像信号を受取るクライアント装置において、撮像装置で撮像した映像の信号を受信する際、その信号を記憶するジッタ吸収用バッファの記憶容量を、撮像装置の制御権に応じて切り換えることができるという効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。尚、以下に説明する実施の形態は、特許請求の範囲に係る発明を限定するものでなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［実施の形態１］
本実施の形態では、カメラ映像を受信して表示を行っているカメラ・クライアント（以下、単にクライアント）が、そのカメラの制御権を有しているクライアントであれば、ネットワークを介して送信する映像信号（映像及び音声等を含むメデイアデータを含む）の処理方法を変えることができるようにするものである。即ち、そのカメラよりの映像を受信しているクライアントが制御権を有しているクライアントであれば、映像の劣化の少ない低圧縮符号化を行って送信し、制御権を有していないクライアントに対しては、高圧縮符号化した映像データを送信する。

図１は本発明の実施の形態の撮像システムの構成を示すブロック図で、ここでは１つ或は複数のカメラサーバ装置１００と複数のクライアント装置２００とがネットワーク２１０を介して接続されている。

図１において、１００はカメラサーバ装置を示し、２００はクライアント装置（ユーザが操作可能な表示操作端末）である。カメラサーバ装置１００は、ビデオカメラ１０３からの映像信号を取り込み、ネットワーク２１０を介してクライアントへの配送を行うとともに、各クライアントからのカメラ制御の指令をネットワーク２１０を介して受け付けると、それに応じてビデオカメラ１０３を制御する。尚、この実施の形態では、ネットワーク２１０に接続されるクライアント装置の数は制限されない。

クライアント装置２００は、カメラサーバ装置１００からの映像配送を要求し、そのカメラサーバ装置１００からの映像を見ると共に、カメラ制御要求をカメラサーバ装置１００に対して出力することによりカメラ制御を行う。尚、ここでは、カメラサーバ装置１００のビデオカメラ１０３の制御は、各クライアントが順次行うことができるが、常に１つのクライアント装置だけが、その制御権を有して制御を行うことができるように排他制御されているものとする。

次に、カメラサーバ装置１００の構成について説明する。

カメラサーバ装置１００は、ビデオカメラ１０３、ビデオカメラ１０３の雲台のパン・チルトおよびズーム倍率等を制御するカメラ制御装置１０５、ビデオカメラ１０３からの映像を取り込むビデオキャプチャ装置１０４、このビデオキャプチャ装置１０４で取り込んだ映像データをネットワーク２１０上に配送するネットワーク・インターフェース（Ｉ／Ｆ）１０７、上記各ユニットを制御するＣＰＵ１０１および主記憶装置１０２、および制御プログラムや各種データを格納するための２次記憶装置１０６を備えている。尚、ビデオカメラ制御装置１０５は、ネットワーク・インターフェース１０７を通じてクライアント装置より送られてくるカメラ制御命令を受け取り、ビデオカメラ１０３のパン・チルト・ズーム等を制御できるように構成されているものとする。またビデオキャプチャ装置１０４は、ビデオカメラ１０３からの映像ＮＴＳＣ信号を取り込み、Ａ／Ｄ変換した後、圧縮してネットワーク・インターフェース１０７に渡すものとする。ここでの映像圧縮方式としては、MotionＪＰＥＧ等があるが、本発明はこれに限定されるものではない。１０８は前述の各ユニットと接続するためのシステムバスである。

次に、クライアント装置２００の構成を説明する。

カメラサーバ装置１００から配送されてきた圧縮映像データは、ネットワーク・インターフェース（Ｉ／Ｆ）２０４を通じて受信され、ＣＰＵ２０１の制御の下に伸長され、ディスプレイ２０３の画面上に表示される。尚、このディスプレイ２０３の画面上には、受信した映像を表示するウインドウに加えて、制御権の獲得要求を発行するためのユーザインターフェース画面が表示されるものとする。２０２はＣＰＵ２０１により実行される制御プログラム等を記憶している主記憶、２０６は例えばマウス等のポインティングデバイス及びキーボード等を備える入力部、２０５は、ＣＰＵ２０１により実行される各種プログラムやデータなどを記憶している、ハードディスクなどの二次記憶装置である。また、２０７はこれら各ユニット同士を接続するシステムバスである。

図２は、本実施の形態１のビデオキャプチャ装置１０４の構成を示すブロック図である。

このビデオキャプチャ装置１０４は、ビデオカメラ１０３よりの映像信号をいずれの圧縮部で圧縮するかを選択するセレクタ３０１、高圧縮符号化を行う圧縮部３０２、低圧縮符号化を行う３０３を備えている。

即ち、ビデオカメラ１０３の制御権を有さないクライアント装置に映像信号を送信する時は、セレクタ３０１に映像信号を圧縮部３０２に送り圧縮部３０２で高圧縮動画像符号化を行う。これにより制御権を有していないクライアント装置には、符号化データ量は少ないが再生される映像の品質が低下した映像が送信される。これに対しカメラ制御権を有しているクライアント装置に対しては、圧縮部３０３で低圧縮動画像符号化を行って送信する。これにより、制御権を有しているクライアント装置には、符号化データ量は多くなるが、再生される映像の品質が良好となる圧縮映像信号が送られることになる。

こうしてカメラ制御権を有していないクライアント装置では通常の映像が再生され、カメラ制御権を有していてカメラ制御を行うクライアント装置では、カメラ制御がし易い高品質の画像が再生される。

図４は、本実施の形態の主記憶１０２に設けられた送信先テーブル１１１の構成を説明するための図である。

この送信先テーブル１１１には、映像を送信しているクライアント名と、それに対応して制御権の「有／無」が登録されている。

図５は、カメラサーバ装置１００よりクライアント装置２００に送信される映像データのデータフォーマットで、ヘッダとして送信先アドレス５００、及びその映像データ５０１が記憶されている。

図６は、本実施の形態のカメラサーバ装置１００における処理を示すフローチャートで、この処理を実行する制御プログラムは主記憶１０２に記憶されている。尚、このプログラムは二次記憶装置１０６に記憶され、主記憶１０２にロードされて実行されても良い。

この処理はクライアント装置よりの映像信号の要求、或はタイマイベントの発生などにより、クライアント装置への映像送信を行う際に起動される。まずステップＳ１で、そのクライアント装置が制御権を有しているかどうかを調べ、制御権を有しているときはステップＳ２に進み、図２のセレクタ３０１により、ビデオカメラ１０３からの映像信号を圧縮部３０３に出力して低圧縮符号化を行う。そしてその圧縮した映像信号を、図５のフォーマットでネットワーク・インターフェース１０７を介してクライアント装置に送信する。

一方、そのクライアント装置が制御権を有していない時はステップＳ４に進み、セレクタ３０１により圧縮部３０２を選択して圧縮し、その圧縮した映像信号をネットワーク・インターフェース１０７を介してクライアント装置に送信する（Ｓ３）。

［実施の形態２］
図３は、本発明の実施の形態２に係るクライアント装置の構成を示すブロック図である。

このクライアント装置は、ネットワークＩ／Ｆ１０７よりの映像信号をいずれのジッタ吸収用バッファを通して受信するかを選択するセレクタ３１０、ジッタ吸収用の大きなバッファ３１１、ジッタ吸収用の小さなバッファ３１２を備えている。

そしてカメラサーバ１００は、ビデオカメラ１０３の制御権を与えないクライアント装置には大きなジッタ吸収用のバッファを用いるように指示する制御パケットを送信するとともに映像信号を送信する。この制御パケットに応じてクライアント装置は、セレクタ３１０によりジッタを吸収するために大きめのバッファを選択する。これにより制御権を有していないクライアント装置では、ディレイが大きい映像がデコードされて表示される。これに対しカメラサーバ１００は、カメラ制御権を与えているクライアント装置に対しては、小さなジッタ吸収用バッファを用いるように指示する制御パケットを送信するとともに、その映像信号を送信する。この制御パケットに応じてクライアント装置は、セレクタ３１０によりジッタ吸収用の小さいサイズのバッファを選択する。これにより、制御権を有しているクライアント装置では、ジッタ吸収用のバッファを小さくして映像デコーダによりデコード再生することができる。こうしてカメラ制御を行うクライアント装置にて、よりレスポンスの良い、すなわちディレイの少ない映像が再生・表示される。

図７は、本発明の実施の形態２のクライアント装置における処理を示すフローチャートである。この処理プログラムは主記憶装置２０２に記憶されている。尚、このプログラムについても二次記憶装置２０５に記憶され、主記憶装置２０２にロードされて実行されても良い。この処理はクライアント装置からの映像信号の要求に応じて、カメラサーバ装置１００が起動することにより行われる。

まず自端末宛の制御用パケットを受信することにより、自端末がカメラ制御権を有するかどうかを判定する（Ｓ１１）。もしカメラ制御権を有していれば、カメラサーバ１００から受信する映像信号を、ジッタ吸収のための小容量バッファに記憶させる（Ｓ１２）。そしてそのバッファに記憶された映像信号をフレーム単位にデコードし（Ｓ１３）、そのデコードされた映像信号をディスプレイ２０３に表示する（Ｓ１５）。この制御は通信終了もしくは予め定められたカメラ制御権の消失により終了する。また自端末宛の制御パケットによりカメラ制御権を有し得ない場合は（Ｓ１１）、ジッタ吸収のために大容量バッファを用いる（Ｓ１４）。

なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

以上説明したように本実施の形態によれば、カメラ制御権を有するクライアント端末宛ての映像データの処理方法を、カメラ制御権を有さないクライアント端末宛ての映像データのそれと異なるように制御するようにしたため、カメラ制御を行い易くなるという効果がある。

また本実施の形態によれば、カメラ制御権を有していないクライアント装置では、高速に映像を表示して確認でき、またカメラ制御権を有しているクライアント装置では、カメラ制御がし易い映像を表示できるという効果がある。

本発明の実施の形態の映像送信システムの構成を示すブロック図である。 本発明の実施の形態１のビデオキャプチャ装置の構成を示すブロック図である。 本発明の実施の形態２のクライアント装置の構成を示すブロック図である。 本発明の実施の形態の送信先テーブルの構成を示す図である。 本実施の形態の映像データのデータフォーマットを示す図である。 本実施の形態のカメラサーバ装置における処理を示すフローチャートである。 本発明の実施の形態２のクライアント装置における処理を示すフローチャートである。

符号の説明

１００ カメラサーバ装置
１０１，２０１ ＣＰＵ
１０２，２０２ 主記憶
１０３ ビデオカメラ
１０５ カメラ制御装置
１０６，２０５ 二次記憶装置
１１１ 送信先テーブル
２００ カメラ・クライアント
２１０ ネットワーク
３０２，３０３ 圧縮部

Claims (12)

1. クライアント装置からの映像要求に応じて、撮像装置により撮像した映像に応じた信号を送信する撮像制御装置であって、
   映像に応じた信号を前記クライアント装置に送信する送信手段と、
   前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定手段と、
   前記判定手段の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信手段と、
   を有することを特徴とする撮像制御装置。
2. 前記制御信号送信手段は、前記クライアント装置に制御権を与えていない場合に、大容量のジッタ吸収用バッファを指示することを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御信号送信手段は、前記クライアント装置に制御権を与えている場合に小容量のジッタ吸収用バッファを指示することを特徴とする請求項１に記載の撮像制御装置。
4. クライアント装置からの映像要求に応じて、撮像装置により撮像した映像に応じた信号を送信する撮像制御方法であって、
   映像に応じた信号を前記クライアント装置に送信する送信工程と、
   前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定工程と、
   前記判定工程の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信工程と、
   を有することを特徴とする撮像制御方法。
5. 前記制御信号送信工程では、前記クライアント装置に制御権を与えていない場合に、大容量のジッタ吸収用バッファを指示することを特徴とする請求項４に記載の撮像制御方法。
6. 前記制御信号送信工程では、前記クライアント装置に制御権を与えている場合に小容量のジッタ吸収用バッファを指示することを特徴とする請求項４に記載の撮像制御方法。
7. 撮像装置により撮像した映像をネットワークを介してクライアント装置に送信する撮像制御装置と複数のクライアント装置を含む撮像システムであって、
   前記撮像制御装置は、映像に応じた信号を前記クライアント装置に送信する送信手段と、
   前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定手段と、
   前記判定手段の判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信手段とを有し、
   前記クライアント装置は、前記制御信号送信手段から送信される指示に従って前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を切り換えることを特徴とする撮像システム。
8. 前記制御信号送信手段は、前記クライアント装置に制御権を与えていない場合に大容量のジッタ吸収用バッファを指示することを特徴とする請求項７に記載の撮像システム。
9. 前記制御信号送信手段は、前記クライアント装置に制御権を与えている場合に小容量のジッタ吸収用バッファを指示することを特徴とする請求項７に記載の撮像システム。
10. クライアント装置からの映像要求に応じて、撮像装置により撮像した映像に応じた信号を送信する撮像制御方法を実行するプログラムを記憶した記憶媒体であって、
    映像に応じた信号を前記クライアント装置に送信する送信モジュールと、
    前記撮像装置の制御権を前記クライアント装置に与えるか否かを判定する判定モジュールと、
    前記判定モジュールの判定結果に応じて、前記クライアント装置における前記映像に応じた信号を復号するために一時記憶するジッタ吸収用バッファの記憶容量を指示する制御信号送信モジュールと、
    を有することを特徴とする記憶媒体。
11. 前記制御信号送信モジュールでは、前記クライアント装置に制御権を与えていない場合に大容量のジッタ吸収用バッファを指示することを特徴とする請求項１０に記載の記憶媒体。
12. 前記制御信号送信モジュールでは、前記クライアント装置に制御権を与えている場合に小容量のジッタ吸収用バッファを指示することを特徴とする請求項１０に記載の記憶媒体。

Images