JP2000209569A - 遠隔監視装置および遠隔監視方法ならびに遠隔監視システム - Google Patents

Abstract

(57)【要約】 【課題】 異常発生の状況が直観的に把握することがで
きる遠隔監視装置を提供。 【解決手段】 遠隔情報監視装置は、カメラ122 の出力
画像データが画像符号化部103 および動体検出部104 に
入力されて、それぞれ符号化データおよび動体情報が生
成されて、シーン記憶部105 から出力されるシーン初期
データと符号化データと動体情報とがデータ送信部106
から送信され、遠隔情報受信装置102ではこれらが受信
されるとその受信内容に応じて、シーン初期データの場
合には、３次元空間の平常時の状態がシーン合成部110
にて生成され、対応するグラフィック表示がモニタ111
に表示され、符号化データの場合には、画像復号部108
にて復号されてその動画像がモニタ111 に表示され、動
体情報の場合には、グラフィック表示に動体情報に応じ
たオブジェクトが挿入され、さらに動画像表示にマーカ
画像が合成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信を利用し
て遠隔地の状況を監視する遠隔監視装置および遠隔監視
方法ならびに遠隔監視システムに関するものである。

【０００２】

【従来の技術】一般に、画像通信を利用して遠隔地の状
況を監視する場合、各遠隔地に配置された遠隔情報送信
装置がビデオカメラの画像を符号化し、これをISDN (in
tegrated services digital network)などの通信路を経
由して監視センターに伝送する。通信コストを低減した
り、遠隔地での異常を早期に検出するためには、非通信
時に侵入物検出を行い、侵入物が検出された時にビデオ
カメラの画像を、オペレータが在中する監視センタに自
動発呼で伝送させるという方法が有効である。たとえば
特開平9-307876号公報には、監視カメラからの画像デー
タをフレーム内予測符号化およびフレーム間予測符号化
するコーデックと、コーデックにて得られる動きベクト
ルに基づいて画像の変化量を検出する侵入物検出部と、
侵入物が検出された場合に自動発呼指示を出力する自動
発呼制御部と、自動発呼制御部からの自動発呼指示に従
って監視センタに接続し、コーデックからの符号化画像
を伝送するネットワークインタフェースとを監視地点に
備える遠隔監視方式が記載されている。このような構成
により従来例では、非通信時に動きベクトルに基づく動
体検出を行い、その結果、動体が検出された場合に監視
カメラの画像を監視センタに自動発呼で伝送する。

【０００３】

【発明が解決しようとする課題】しかし、このような遠
隔監視システムでは、監視センタにて待機しているオペ
レータが各遠隔地に設置された監視カメラで写された画
像のみをモニタ上で観察するため、遠隔地に異常が発生
した際の正確な状況を直観的に把握しにくいという問題
があった。たとえば、監視地点で侵入物が検出されて、
その画像が監視センタ内のモニタに表示されたとして
も、なにがどのように異常なのかを迅速かつ明快に判断
することは困難であった。

【０００４】本発明は、監視対象空間内での異常発生の
状況を直観的に把握できる優れたユーザインタフェース
を有する遠隔監視装置および遠隔監視方法ならびに遠隔
監視システムを提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明は上述の課題を解
決するために、監視対象の情報を伝送路を介して接続さ
れる受信装置に送信する送信装置と、送信装置からの情
報を受信して監視対象の情報を出力する受信装置とによ
り、監視対象の状況を監視する遠隔監視装置において、
送信装置は、３次元実空間を撮像する撮像手段にて生成
される画像データに基づいて、監視対象の３次元実空間
における動体を検出し、動体に応じた動体情報を出力す
る動体検出手段と、画像データを符号化し、符号化され
た符号化データを出力する第１の符号化手段と、符号化
データおよび動体情報を伝送データに変換して、伝送デ
ータを伝送路を介して受信装置に伝送する情報送信手段
とを含み、受信装置は、情報送信手段から送信される伝
送データを受信し、伝送データに応じて符号化データお
よび動体情報を、対応する出力先に出力する情報受信手
段と、符号化データを復号する復号手段と、３次元実空
間をモデル化したモデルデータおよび更新されたモデル
データを再生し、モデルデータに応じたグラフィック画
像と、画像データに応じた画像を表示手段に表示させる
再生手段とを含むことを特徴とする。

【０００６】また、本発明は上述の課題を解決するため
に、監視センタの設置場所より遠隔地に、監視対象を撮
像するカメラを設置し、遠隔地側から監視対象の状況を
伝送路を介して監視センタに送信し、監視センタにて監
視する遠隔監視方法において、遠隔地側から、監視対象
の３次元実空間を２次元画像に変換して符号化し監視セ
ンタに伝送するとともに、３次元実空間中の動体を検出
して動体の動体情報を監視センタに伝送し、監視センタ
は、符号化された２次元画像を復号して再生し、動体情
報に基づいて、３次元実空間のモデルデータを更新して
再生することを特徴とする。

【０００７】また、本発明は上述の課題を解決するため
に、送信装置と、受信装置とが伝送路を介して接続さ
れ、送信装置の撮像手段にて撮像した画像を受信装置に
て監視する遠隔監視システムにおいて、送信装置は、画
像データを入力して受信装置へ送信する第１の送信手段
と、入力画像に監視対象領域が存在することを判定し受
信装置へ送信する第２の送信手段とを備え、受信装置
は、送信装置から送信される画像データに応じた画像を
表示する表示手段と、画像データのフレームに対象領域
が存在するとき、対象領域の状態を監視支援データとし
て受信装置の操作者に示す手段を備え、遠隔送信装置ま
たは遠隔受信装置に、対象領域の状態を求める手段を備
えることを特徴とする。

【０００８】また、本発明は上述の課題を解決するため
に、送信装置と受信装置とが伝送路を介して接続され、
送信装置の撮像手段にて撮像した画像を受信装置にて監
視する遠隔制御方法において、送信装置から受信装置に
画像データを送信し、入力画像に監視対象領域が存在す
ることを判定すると判定結果を遠隔受信装置に送信し、
受信装置は、画像データを受信して画像データに応じた
画像を表示し、画像データが遠隔監視対象の存在するフ
レームであるとき、検出された対象領域の状態を監視支
援データとして受信装置の操作者に示し、送信装置また
は受信装置は、対象領域の状態を求めることを特徴とす
る。

【０００９】

【発明の実施の形態】次に添付図面を参照して本発明に
よる遠隔監視装置およびその方法の実施例を詳細に説明
する。図１を参照すると同図には、遠隔監視装置の一実
施例が示されている。この遠隔監視装置は、遠隔情報送
信装置101 と、遠隔情報受信装置102とを含み、これら
装置はISDN等の通信網を介して接続される。

【００１０】遠隔情報送信装置101 は、監視カメラ122
と、画像符号化部103 と、動体検出部104 と、シーン記
憶部105 と、データ送信部106 とを含み、遠隔情報受信
装置102 は、データ受信部107 と、画像復号部108 と、
座標変換部109 と、シーン合成部110 と、モニタ111 と
を含む。

【００１１】監視カメラ122 は、実空間を撮像して動画
像データを生成し、生成したデータを画像符号化部103
および動体検出部104 に出力する。本実施例における監
視カメラ122 は、画角がほぼ 180°もしくは 180°以上
の全周魚眼レンズ（図示せず）を装着し、このレンズに
よって３次元実空間の光学情報が２次元平面の撮像面に
投影される。レンズの焦点面に配設される撮像素子は、
撮像面に結像される光学像を光電変換し、露光量に応じ
た画像信号を生成する。その撮像面にはカラーフィルタ
が形成され、カメラ122 は、カラーフィルタに応じたカ
ラー画像信号を生成するが、これに限らず、たとえばカ
ラーフィルタを廃し、モノクロ画像信号を生成するよう
にしてもよい。カメラ122 は生成した画像信号をアナロ
グ・ディジタル(A/D) 変換し、順次撮像される動画像デ
ータを画像符号化部103 および動体検出部104 に出力す
る。なお、レンズは全周魚眼レンズに限らず、たとえば
対角線画角が 180°程度の魚眼レンズなど超広角レンズ
でもよい。

【００１２】図２にカメラ122 の投影動作を示す。同図
(a) は、３次元実空間中のカメラ配置状態の一例を示す
ものであり、カメラ122 が地面205 に配置されている。
図示するように、地面205 上に２つの直交する座標軸x,
y を設定し、ｘｙ空間に直交する方向に座標軸ｚを設定
すると、カメラ122 は、位置(0,0,0) に、ｚ軸の正方向
を向いて配置される。また、任意のオブジェクトＰ 202
は、ｘ軸からの方位角θおよび仰角に応じたｚ軸からの
角度φの方向に配置される。同図(b) は同図(a) の３次
元実空間に対して投影されたカメラ122 の出力画像を示
す。図示するように、ＸＹ画像空間上でのオブジェクト
Ｐの位置204 は、曲座標表現で角度θおよび距離２Ｒφ
／πの位置に近似できる。すなわち、３次元実空間中の
オブジェクトの方位角は出力画像中のＸ軸からの角度に
一致し、一方、オブジェクトの角度φは出力画像中の原
点からの距離に比例する。以上から、３次元実空間でｚ
値が正の領域は、出力画像において半径Ｒの領域203 内
に投影される。なお、実際に用いる魚眼レンズの特性に
よっては上記の投影特性が厳密には当てはまらない場合
もあるので、この場合には、あらかじめレンズの特性を
計測し、これに基づいて、上記の投影特性が成り立つよ
うに動画像データを補正する。この補正処理は、カメラ
122 内部で行ってもよく、また後述する座標変換部109
が行ってもよい。なおこの説明では、地面205 上にカメ
ラ122 を配置させたが、これに限らず、たとえば、監視
対象が建物内である場合は、その天井部分にカメラ122
を地面に向けて設置してもよく、またカメラ122 を壁等
に設置してもよい。

【００１３】画像符号化部103 は、カメラ122 から出力
される動画像データと、動体検出部104 より供給される
動きベクトルとに基づいて現フレームに対応する予測フ
レームを計算し、この予測フレームと現フレームの動画
像データとの差分を算出する。画像符号化部103 は、算
出された差分データ、動きベクトルおよび符号化モード
を符号化し、生成された符号化ストリームをデータ送信
部106 に出力する。符号化方式は、たとえば、いわゆる
MPEG方式などのビデオ符号化方式が適用される。

【００１４】動体検出部104 は、カメラ122 より動画像
データを入力して、動きベクトルを画像符号化部103 に
出力し、動体データをデータ送信部106 に出力する。動
体検出部104 は、動画像データのフレームを所定サイズ
のブロックに分割し、各ブロック毎に動きベクトルを検
出する。図３に示すフレーム301 は現在入力された現フ
レーム、フレーム302 は直前に入力された前フレームを
表す。動体検出部104は、動きベクトルを検出するにあ
たって、現フレーム301 中の任意のブロック303 に対
し、前フレーム302 中から最も画素パターンが一致する
領域を検出する。たとえば、ブロック303 の位置が(x,
y) である場合、前フレーム302 中の位置(x,y) を中心
とする所定の範囲内で、両フレームの画素データの比較
を行い、ブロック303 に対して最もパターンが一致する
領域305 を検出する。このとき、ブロック303 の位置に
相当する前フレーム302 中のブロック304 と領域305 と
の位置のずれを計算し、これを動きベクトル306 とす
る。動体検出部104 は検出した動きベクトルを画像符号
化部103 に出力する。

【００１５】図１に戻ってシーン記憶部105 は、カメラ
122 にて撮像される平常時における撮像画像に応じたシ
ーン初期データを記憶するメモリ部である。このシーン
初期データは、遠隔情報送信装置101 の設置された場所
にてカメラ122 にて撮像される３次元実空間の平常時の
状態をモデル化したデータであり、３次元空間中に存在
するオブジェクトの位置、形状、テクスチャや、各オブ
ジェクト毎の補足的情報（テキスト情報、オーディオ情
報など）を含む。このシーン初期データは、あらかじめ
撮像および処理されてシーン記憶部105 内に記憶されて
いる。シーン記憶部105 は、遠隔情報送信装置101 の初
期動作時に、記憶したシーン初期データを読み出してデ
ータ送信部106 に出力する。

【００１６】データ送信部106 は、画像符号化部103 よ
り符号化ストリームを入力し、動体検出部104 より動体
データを入力し、シーン記憶部105 よりシーン初期デー
タを入力し、これらを伝送データとしてISDN等のネット
ワークを介して遠隔情報受信装置102 のデータ受信部10
7 に送信する。

【００１７】データ受信部107 は、データ送信部106 か
ら送信される伝送データを受信して、伝送データに応じ
て符号化ストリームおよびシーン初期データを再生す
る。データ受信部107 は、再生した符号化ストリームを
画像復号部108 に出力し、シーン初期データをシーンデ
ータとしてシーン合成部110 に出力する。画像復号部10
8 は、入力される符号化ストリームを復号してその復号
データを座標変換部109に出力する。

【００１８】座標変換部109 は、画像復号部108 より復
号データを入力し、シーン合成部110 より表示領域情報
を入力して、カメラ122 の魚眼レンズにて歪曲されてい
る画像の復号データを平行投影処理によるデータに変換
し、これを座標変換データとしてシーン合成部110 に出
力する。

【００１９】この変換処理の概略を図４に示すと、画像
復号部108 より入力された復号データ401 が、画角 180
°の３次元実空間が円形の画像領域に投影されている。
復号データ401 中に設定される領域402 はシーン合成部
110 より入力された表示領域情報を示す領域であり、こ
の表示領域情報は４つの座標データ（図中、Ａ，Ｂ，
Ｃ，Ｄ各点の座標データ）からなる。画像復号部108
は、この４つの座標データで指定されるドーナツ形状の
一部を切り出した形状の領域を長方形の領域403 に変換
して、これを座標変換データとしてシーン合成部110 に
出力する。これにより、上記座標変換データは、カメラ
122 の魚眼レンズによる歪曲を解除した、平行投影によ
る画像データとなる。

【００２０】シーン合成部110 は、データ受信部107 よ
りシーンデータを入力し、座標変換部109 より座標変換
データを入力して、座標変換部109 に表示領域情報を出
力し、モニタ111 に表示データを出力する。シーン合成
部110 の出力はモニタ111 に接続され、モニタ111 は、
シーン合成部110 より表示データを入力し、これを表示
する。

【００２１】以上のような構成で、本実施例における遠
隔監視装置の動作を説明する。遠隔情報送信装置101 が
動作を開始すると、まず、シーン記憶部105 よりデータ
送信部106 にシーン初期データが出力され、その後、カ
メラ122 が動作を開始すると、３次元実空間の光学情報
を２次元平面に投影し、これを光電変換し、A/D 変換
し、対応する動画像データを出力する。

【００２２】次に、動体検出部104 は、カメラ122 より
動画像データを入力すると、動画像データのフレームを
所定サイズのブロックに分割し、各ブロック毎に動きベ
クトルを検出する。動体検出部104 は、ブロック毎の動
きベクトルを検出すると、これを画像符号化部103 に出
力する。また、動体検出部104 は、フレーム全体にわた
って動きベクトルの総和を求める。動体検出部104 は、
これが所定の閾値より大きい場合に、各ブロック毎の動
きベクトルに基づいて動体の重心を求め、その位置情報
を動体データとしてデータ送信部106 に出力する、な
お、動体検出部104 は、各ブロックの動きベクトルに基
づき、動体の大きさや領域を求め、これらの情報を含む
動体データを生成してもよい。

【００２３】次に、画像符号化部103 は、カメラ122 よ
り動画像データを入力し、動体検出部104 よりブロック
毎の動きベクトルを入力すると、前フレームの動画像デ
ータと動きベクトルとから現フレームに対応する予測フ
レームを計算し、現フレームの動画像データとの差分を
求める。画像符号化部103 は、この差分データと動きベ
クトルなどを符号化することにより、動画像データの時
間方向の冗長な情報を削除して、符号化による圧縮効率
を高める。以上の動作により、画像符号化部103 は符号
化ストリームを計算し、これをデータ送信部106 に出力
する。

【００２４】データ送信部106 は、遠隔情報送信装置10
1 の初期動作時にシーン記憶部105からシーン初期デー
タを入力し、これを伝送データとして遠隔情報受信装置
102のデータ受信部107 に送信する。また、データ送信
部106 は、画像符号化部103より符号化ストリームを入
力すると、これを伝送データとしてデータ受信部107に
送信する。また、データ送信部106 は、動体検出部104
より動体データを入力すると、これを伝送データとして
データ受信部107 に送信する。

【００２５】以上の動作により、この第１の実施例の遠
隔情報送信装置101 は、動作開始時にはシーン初期デー
タを遠隔情報受信装置102 に送信し、それ以降は、魚眼
レンズ付きのカメラ122 の動画像データを符号化して遠
隔情報受信装置102 に送信し、さらに、動体が検出され
た場合に動体データを遠隔情報受信装置102 に送信す
る。

【００２６】遠隔情報受信装置102 では、受信した伝送
データがシーン初期データである場合のステップ(A) 、
伝送データが符号化ストリームである場合のステップ
(B) および伝送データが動体データである場合のステッ
プ(C) のいずれかを判定し、判定結果に応じた処理動作
を行う。

【００２７】伝送データがシーン初期データである場合
(A) において、データ受信部107 は、シーン初期データ
をシーンデータとしてシーン合成部110 に出力し、シー
ン合成部110 は、受け取ったシーンデータに基づいて遠
隔情報送信装置101 が設置された３次元実空間の平常時
の状態をグラフィクス表現により再構成し、これを２次
元平面に投影したグラフィクスの表示データに変換し
て、この表示データをモニタ111 に出力する。また、シ
ーン合成部110 は、シーン初期データに応じた表示領域
情報として所定の初期値を座標変換部109 に出力する。
モニタ111 は、シーン合成部110 より表示データを入力
して、これをCRT ディスプレイやLCD ディスプレイなど
の表示デバイスに表示する。

【００２８】次に伝送データが符号化ストリームである
場合(B) におけるデータ受信部107は、符号化ストリー
ムを画像復号部108 に出力し、画像復号部108 は、上記
符号化ストリームを復号して、その復号データを座標変
換部109 に出力する。座標変換部109 は、画像復号部10
8 より復号データを入力し、シーン合成部110 より表示
領域情報を入力し、カメラ122 の魚眼レンズにより歪曲
された復号データを平行投影によるデータに変換し、こ
れを座標変換データとしてシーン合成部110 に出力す
る。シーン合成部110 は、座標変換部109 より座標変換
データを入力すると、これを動画像の表示データとして
モニタ111 に出力して、シーン合成部110から出力され
る表示データに応じた画像を表示する。

【００２９】次に伝送データが動体データである場合
(C) におけるデータ受信部107 は、動体データをシーン
データとしてシーン合成部110 に出力する。シーン合成
部110は、上記シーンデータに基づいて、ステップ(A)
の場合に作成したグラフィクスの表示データを修正す
る。上記シーンデータには、画像復号部108 より出力さ
れる復号画像における動体の重心位置の情報が含まれて
いる。シーン合成部110 は表示データを修正するに当た
って、動体の重心位置に基づき、カメラ122 の位置から
動体をみた場合の方位角および仰角に応じた角度を計算
する。これは、図２(b) における点Ｐ(X,Y) と方位角θ
および角度φの位置関係から計算される。次に、シーン
合成部110 は、動体の方位角と仰角に応じた角度に基づ
いて、グラフィクスの表示データ中に、動体の存在範囲
を示すオブジェクトを追加する。また、すでに表示デー
タ中に動体の存在範囲を示すオブジェクトが存在する場
合には、このオブジェクトの向きを修正する。シーンデ
ータ中に動体の大きさや領域を表す情報が含まれる場合
には、動体の存在範囲を示すオブジェクトの大きさや形
状を変化させるようにしてもよい。

【００３０】また、シーン合成部110 は、動体の重心位
置に基づいて、復号データ上の該重心位置を中心として
設定し、さらに図４に示したような表示領域402 を設定
する。シーン合成部110 は、この領域を表す４つの座標
データを求め、表示領域情報として座標変換部109 に出
力する。さらに、シーン合成部110 は、シーンデータに
基づいて、ステップ(B) の場合に作成された動画像の表
示データ中の動体位置に、動体を指し示すマーカ画像を
合成する。シーンデータ中に動体の大きさや領域を含む
場合には、マーカ画像の大きさや形状を変化させるよう
にしてもよい。シーン合成部110 は、修正された表示デ
ータをモニタ111 に出力する。モニタ111 は、シーン合
成部110 より表示データを入力してこれを表示する。

【００３１】ここで図５を参照すると、同図にはシーン
合成部110 によって作成される表示データによるモニタ
表示例が示されている。この図において、表示画面501
内の左方にはグラフィクス表示502 が配置され、右方に
は動画像表示505 が配置されている。グラフィクス表示
502 には、シーン記憶部105 に記憶されたモデル中のオ
ブジェクト群503 と、動体の存在範囲を示すオブジェク
ト504 とを含む。動画像表示505 には、カメラ122 によ
り撮影された動画像中に検出された動体506 と、動体の
位置を示すマーカ画像507 とを含む。

【００３２】なお、シーン合成部110 を、ポインティン
グデバイスなどのオペレータによる操作指示を入力する
入力手段を含むように構成する場合、シーン合成部110
は、オペレータの指示に応じて画像変換処理し、動画像
の表示をパン、チルト、ズームしたり、表示領域を設定
し直してグラフィクス表示の視点を変更することができ
る。

【００３３】以上の動作により、第１の実施例における
遠隔監視装置101 は、遠隔情報送信装置101 から遠隔情
報受信装置102 にシーン初期データが受信され、これを
再構成してグラフィクスオブジェクト503 を表示し、遠
隔情報送信装置101 より符号化ストリームが受信されて
動画像505,506 が表示され、遠隔情報送信装置101 より
動体データが受信されて、グラフィクス表示504 と、動
画像表示の中に挿入した動体を指し示すオブジェクト50
7 とが表示される。

【００３４】このように、本実施例では、遠隔情報送信
装置101 があらかじめ遠隔地のシーンデータを遠隔情報
受信装置102 に送信したのち、動画像データを符号化し
て順次送信する。このとき、遠隔情報送信装置101 が動
体を検出して、動画像中の動体の位置を遠隔情報受信装
置102 に送信すると、これを受信した遠隔情報受信装置
102 が、シーンデータ中の動体の存在範囲を計算し、こ
れをグラフィクス表示する。したがって、遠隔地の監視
対象空間全体の状況をグラフィクス表示し、これを動体
の動画像表示と組み合わせることによって、遠隔地での
異常発生の状況を直観的に把握でき、非常時の対応がと
りやすくなる。さらに、魚眼レンズ付きのカメラで広い
画角の映像を入力し、これに基づき動体検出および状況
表示を行うので、監視対象空間中の異常状態を即座に知
ることができる。

【００３５】次に図６を参照して遠隔監視装置の第２の
実施例を説明する。本実施例における遠隔監視装置は、
図１に示した第１の実施例と同様に遠隔情報送信装置60
1 と遠隔情報受信装置602 とがISDN等の通信網を介して
接続されるシステムである。遠隔情報送信装置601 は、
監視カメラ622 と、画像符号化部603 と、動体検出部60
4 と、シーン記憶部605 と、シーン更新部612 と、デー
タ送信部606 とを含む。また、遠隔情報受信装置602
は、データ受信部607 と、画像復号部608 と、シーン合
成部610 と、モニタ611 とを含む。

【００３６】監視カメラ622 は、動体検出部604 よりカ
メラ制御データを入力し、実空間を撮像して動画像デー
タを画像符号化部603 および動体検出部604 に出力す
る。本実施例における監視カメラ622 は、上下左右等の
向きを変更可能な雲台の上にカメラ622 の撮像部が設置
されている。この雲台の向きは、平常時は自動で変更さ
れ、動体検出部604 からカメラ制御信号が入力される
と、その制御信号に応じた向きに調節される。また撮像
部に装着されるレンズは、監視対象に応じて通常の広角
レンズやズームレンズなどを使用してよい。カメラ622
の他の点については図１に示した監視カメラ122 と同じ
構成でよい。

【００３７】画像符号化部603 は、監視カメラ622 より
動画像データを入力し、動体検出部604 より動きベクト
ルを入力し、これらを符号化した符号化ストリームをデ
ータ送信部606 に出力する。

【００３８】動体検出部604 は、カメラ622 より動画像
データを入力して、動きベクトルを画像符号化部603 に
出力し、動体データをシーン更新部612 に出力し、カメ
ラ制御データをカメラ622 に出力する。動体検出部204
は、カメラ622 より動画像データを入力すると、図１に
示した動体検出部104 と同様に、動画像データのフレー
ムを所定サイズのブロックに分割し、各ブロック毎に動
きベクトルを検出し、これを画像符号化部603 に出力す
る。さらに動体検出部604 は、フレーム全体わたり動き
ベクトルの総和を求め、これが所定の閾値より大きい場
合に、各ブロック毎の動きベクトルに基づいて動体の重
心を求め、その位置情報とカメラ622 の向きの情報とを
動体データとしてシーン更新部612 に出力する。なお、
動体検出部604 は、各ブロックの動きベクトルに基づ
き、動体の大きさや領域を求め、これらを動体データに
含めるようにしてもよい。さらに、動体検出部604 は、
動体の中心がフレーム中央に写るようにするための雲台
の向きを計算し、その計算結果をカメラ制御データとし
てカメラ622 に出力する。

【００３９】カメラ622 の出力に接続された画像符号化
部603 は、図１に示した画像符号化部103 と同様に、カ
メラ622 より動画像データを入力し、動体検出部604 よ
りブロック毎の動きベクトルを入力すると、これらに基
づいて符号化ストリームを計算し、これをデータ送信部
606 に出力する。

【００４０】シーン記憶部605 は、図１に示したシーン
記憶部105 と同様に、カメラ622 にて撮像される平常時
における撮像画像に応じたシーン初期データを記憶し、
シーン初期データをデータ送信部606 に出力し、シーン
記憶データをシーン更新部612 に入出力する。

【００４１】シーン更新部612 は、動体検出部604 より
動体データを入力し、シーン記憶データをシーン記憶部
605 に入出力し、シーン更新データをデータ送信部606
に出力する。シーン更新部612 は、動体検出部604 より
動体データを入力すると、そのうち動体の位置情報とカ
メラ622 の向き情報に基づき、動体が存在する方向を計
算する。シーン更新部612 は、シーン記憶部605 よりシ
ーン記憶データを入力する。このシーン記憶データは遠
隔情報送信装置601 が動作を開始した際にはシーン初期
データと一致している。

【００４２】シーン更新部612 は、シーン記憶データ中
に動体に該当するオブジェクトが含まれているかどうか
を判定する。シーン記憶部605 のシーン記憶データ中に
動体に該当するオブジェクトが存在しない場合、シーン
更新部612 は、計算された動体の向きに基づいて動体に
該当するオブジェクトを生成し、これをシーン更新デー
タとしてデータ送信部606 に出力するとともに、シーン
記憶データにこのオブジェクトを追加して、これをシー
ン記憶部605 に出力する。シーン記憶部605 は、この更
新されたデータを新しいシーン記憶データとして記憶す
る。

【００４３】一方、シーン記憶データ中に動体に該当す
るオブジェクトを検出した場合、シーン更新部612 は、
オブジェクトの向きの更新情報をシーン更新データとし
てデータ送信部606 に出力するとともに、シーン記憶デ
ータ中のこのオブジェクトの向きを変更して、これをシ
ーン記憶部605 に出力する。シーン記憶部605 は、この
更新されたデータを新しいシーン記憶データとして記憶
する。

【００４４】なお、シーン更新部612 は、動体検出部60
4 より入力される動体データのうち動体の大きさや領域
を考慮して、シーン記憶データやシーン更新データに含
める動体オブジェクトの大きさおよび形状を変えてもよ
い。また、シーン更新部612は、動体検出部604 より入
力される動体データそのものをシーン更新データに含め
るように構成してもよい。

【００４５】図７を参照して動体が存在する位置への向
きをシーン更新部612 にて算出する処理を説明する。こ
の例はカメラ622 が配置された３次元実空間をｘｙｚ座
標系で表し、原点Ｏ 701にカメラ622 を設置した場合で
ある。現在カメラ622 は方位角α、仰角に応じた角度β
の方向702 に向けられている。この方向702 にＹ軸をと
ると、カメラ622 が撮像した画像はＹ軸に直交したＸＺ
平面上のスクリーン703 に配置することができる。この
とき、ｘｙｚ座標系の原点Ｏと、ＸＹＺ座標系の原点
Ｏ’との距離は、カメラレンズの焦点距離ｆに相当す
る。このとき、カメラ622 が撮像する画像は、Ｙ値が正
の領域に存在する３次元空間を原点Ｏに向かって投影し
たときのスクリーン703 上の投影像と考える。したがっ
て、スクリーン703 上の任意の点Ｐ 704 に対しては、
点Ｐの位置(X,Y) とカメラの向き（α，β）とを用い
て、ｘｙｚ座標系の原点Ｏからみた点Ｐの向き、すなわ
ち方位角θと角度φとを計算することができる。シーン
更新部612 は、この原理に基づいて動体が存在する位置
への方向を計算する。さらにシーン更新部612 は、シー
ン記憶部605 よりシーン記憶データを入力する機能を有
し、遠隔情報送信装置601が動作を開始した際にはシー
ン初期データを入力する。

【００４６】図６に戻ってデータ送信部606 は、遠隔情
報送信装置601 の動作開始時にはシーン記憶部605 から
シーン初期データを入力し、これを伝送データとして遠
隔情報受信装置602 のデータ受信部607 に送信する。ま
た、データ送信部606 は、画像符号化部603 より符号化
ストリームを入力するとこれを伝送データとしてデータ
受信部607 に送信する。また、データ送信部606 は、シ
ーン更新部212 よりシーン更新データを入力するとこれ
を伝送データとしてデータ受信部607 に送信する。

【００４７】遠隔情報受信装置602 のデータ受信部607
は、データ送信部606 より伝送データを受信し、画像復
号部608 に符号化ストリームを出力し、シーン合成部61
0 にシーンデータを出力する。画像復号部608 は、デー
タ受信部607 より符号化ストリームを入力し、シーン合
成部610 に復号データを出力する。シーン合成部610
は、データ受信部607 よりシーンデータを入力し、画像
復号部608 より復号データを入力し、モニタ611 に表示
データを出力する。モニタ611 は、シーン合成部610 よ
り表示データを入力しこれを表示する。

【００４８】以上のような構成で、本実施例における遠
隔監視装置の動作を説明する。遠隔情報送信装置601 が
動作を開始すると、まず、データ送信部606 は、シーン
記憶部605 より読み出されるシーン初期データを遠隔情
報受信装置602 に送信する。

【００４９】その後、カメラ622 が動作を開始し、３次
元実空間の光学情報が２次元平面の撮像素子に投影さ
れ、これが光電変換およびA/D 変換されて、結像した光
学像に対応する動画像データが出力される。カメラ622
の向きは、平常時には自動的に変更されるが、動体検出
部604 からカメラ制御データがカメラ622 に入力される
とカメラ制御データに従ってその向きが変更される。

【００５０】次に、動体検出部604 は、カメラ622 より
動画像データを入力すると、図１に示した実施例の動体
検出部104 と同様に、動画像データのフレームを所定サ
イズのブロックに分割し、各ブロック毎の動きベクトル
を検出する。動体検出部604は、検出した動きベクトル
を画像符号化部603 に供給する。さらに動体検出部604
では、フレーム全体わたる動きベクトルの総和が求めら
れる。この総和が所定の閾値より大きい場合が発生する
と、各ブロック毎の動きベクトルに基づいて、動体の重
心が算出され、その重心の位置情報とカメラ622 の向き
の情報とが動体データとして動体検出部604 からシーン
更新部612 に出力される。なお、動体検出部604 は、各
ブロックの動きベクトルに基づいて、動体の大きさや領
域を求め、これらを動体データに含めるようにしてもよ
い。

【００５１】動体検出部204 は、さらに、動体の中心が
フレームの中央に写るためのカメラ604 の雲台の向きを
計算し、この計算結果がカメラ制御データとしてカメラ
622に出力され、検出された動体がフレームの中央部分
にくるようにカメラ622 の向きが制御される。次に、画
像符号化部203 は、図１に示した実施例の画像符号化部
103 と同様に、カメラ622 より動画像データが入力さ
れ、動体検出部604 よりブロック毎の動きベクトルが入
力されると、これらに基づいて符号化ストリームを計算
し、この計算結果をデータ送信部606 に出力する。

【００５２】一方、シーン更新部612 では、動体検出部
604 より動体データが入力されると、そのうち動体の位
置情報とカメラ622 の向き情報に基づいて、動体が存在
する方向が計算される。また、シーン更新部612 、シー
ン記憶部605 から読み出されるシーン記憶データを入力
し、このシーン記憶データは遠隔情報送信装置601 が動
作を開始した際にはシーン初期データと一致している。

【００５３】シーン更新部612 は、シーン記憶データ中
に動体に該当するオブジェクトが含まれているかどうか
を判定する。シーン記憶データ中に動体に該当するオブ
ジェクトが存在しない場合、シーン更新部612 は、計算
された動体の向きに基づいて動体に該当するオブジェク
トを生成し、これをシーン更新データとしてデータ送信
部606 に出力するとともに、シーン記憶データにこのオ
ブジェクトを追加して、これをシーン記憶部605 に出力
する。シーン記憶部605 は、この更新されたデータを新
しいシーン記憶データとして記憶する。

【００５４】一方、シーン記憶データ中に動体に該当す
るオブジェクトを検出した場合、シーン更新部612 は、
オブジェクトの向きの更新情報をシーン更新データとし
てデータ送信部606 に出力するとともに、シーン記憶デ
ータ中のこのオブジェクトの向きを変更して、これをシ
ーン記憶部605 に出力する。シーン記憶部605 は、この
更新されたデータを新しいシーン記憶データとして記憶
する。

【００５５】データ送信部606 は、遠隔情報送信装置60
1 の初期動作時にシーン記憶部605からシーン初期デー
タが入力されると、これを伝送データとしてデータ受信
部607 に送信する。また、データ送信部606 は、画像符
号化部603 より符号化ストリームを入力すると、これを
伝送データとしてデータ受信部607 に送信する。また、
データ送信部606 は、シーン更新部612 よりシーン更新
データを入力すると、これを伝送データとしてデータ受
信部607 に送信する。

【００５６】以上の動作により、遠隔情報送信装置601
は、動作開始時にはシーン初期データを遠隔情報受信装
置602 に送信し、それ以降は、カメラ622 の動画像デー
タを符号化して遠隔情報受信装置602 に送信し、さら
に、動体が検出された場合にシーンの更新データを遠隔
情報受信装置602 に送信する。

【００５７】遠隔情報受信装置602 では、データ受信部
607 にて受信される伝送データに応じた処理動作が行わ
れる。まず、伝送データがシーン初期データである場合
(A)では、データ受信部607 は、シーン初期データをシ
ーンデータとしてシーン合成部210 に出力し、シーンデ
ータを受信したシーン合成部610 は、そのシーンデータ
に基づいて遠隔情報送信装置601 が設置された３次元実
空間の平常時の状態をグラフィクス表現により再構成
し、これを２次元平面に投影したグラフィクスの表示デ
ータを生成する。この表示データはモニタ611 に出力さ
れて、表示データに応じたグラフィクス画像が表示され
る。

【００５８】次に、データ受信部607 にて受信される伝
送データが符号化ストリームであった場合(B) には、デ
ータ受信部607 は、符号化ストリームを画像復号部608
に出力し、画像復号部608 では、その符号化ストリーム
が復号されて、その復号結果が復号データとしてシーン
合成部610 に出力される。シーン合成部610 は、画像復
号部608 より復号データを入力すると、これを動画像の
表示データとしてモニタ611 に出力し、モニタ611 は、
入力される表示データに応じた動画像を表示する。

【００５９】次に、伝送データがシーン更新データであ
った場合(C) には、データ受信部607 は、シーン更新デ
ータをシーンデータとしてシーン合成部610 に出力す
る。シーン合成部210 では、供給されるシーンデータに
基づいて、上記(A) の場合に作成したグラフィクスの表
示データを更新し、更新された表示データをモニタ611
に出力する。これによりグラフィクス画像が更新され
る。

【００６０】以上により、本実施例の遠隔情報受信装置
602 は、図５に示したような画面表示を行うことができ
る。このように遠隔情報受信装置602 は、遠隔情報送信
装置601 よりシーン初期データを受信し、これを再構成
してグラフィクスオブジェクトを表示し、遠隔情報送信
装置601 より符号化ストリームを受信して動画像を表示
し、遠隔情報送信装置601 よりシーン更新データを受信
して、グラフィクス表示の中に、動体を指し示すオブジ
ェクトを挿入する。

【００６１】以上説明したように、この第２の実施例で
は、遠隔情報送信装置601 があらかじめ遠隔地のシーン
データを遠隔情報受信装置602 に送信したのち、動画像
データを符号化して順次送信する。このとき、遠隔情報
送信装置601 は動体を検出すると、動体の３次元配置を
推定してこれを遠隔情報受信装置602 に送信し、遠隔情
報受信装置602 がこれをグラフィクス表示する。したが
って、遠隔地の監視対象空間全体の状況をグラフィクス
表示し、これを動体の動画像表示と組み合わせることに
よって、遠隔地での異常発生の状況を直観的に把握で
き、非常時の対応が取りやすくなる。また本第２の実施
例では、遠隔情報受信装置202 が動体の３次元配置を直
接受信する点で図１に示した実施例とは異なり、このよ
うな構成により、遠隔情報受信装置が設置される監視セ
ンタが各遠隔監視点の正確なカメラ位置を把握できない
場合や、遠隔監視点のカメラが自動的にパンやチルトな
どの撮像制御を行う場合であっても、監視対象空関中の
異常発生箇所を即座に知ることができる。

【００６２】次に図８を参照して他の実施例を説明す
る。同図には遠隔監視装置の第３の実施例が示されてい
る。本実施例における遠隔監視装置は、図１に示した第
１の実施例と同様に遠隔情報送信装置801 と遠隔情報受
信装置802 とがISDN等の通信網を介して接続されるシス
テムである。遠隔情報送信装置801 は、監視カメラ822
と、画像符号化部803 と、動体検出部804 と、シーン記
憶部805 と、高品質画像符号化部812 と、データ記憶部
813 と、データ送信部806 とを含む。遠隔情報受信装置
802 は、データ受信部807 と、画像復号部808 と、座標
変換部809 と、シーン合成部810 と、モニタ811 とを含
む。

【００６３】監視カメラ822 は、図１に示した監視カメ
ラ122 と同じ構成でよく、魚眼レンズを備えており、実
空間を撮像して生成した動画像データを、画像符号化部
803、動体検出部804 および高品質画像符号化部812 に
出力する。

【００６４】画像符号化部803 は、カメラ822 より動画
像データを入力して、符号化ストリームをデータ送信部
806 に出力する。本実施例における画像符号化部803
は、動体検出部804 にて生成される動きベクトルを用い
ずに、フレーム内の画素データに基づいてそのフレーム
の符号化ストリームを計算する。画像符号化部803 は、
１フレームの符号化ストリームをデータ送信部806 に出
力すると、その後所定フレーム数分だけ処理を休止した
のち符号化処理を再開する。この結果、画像符号化部80
3 は、一定の時間間隔で、動画像データのフレームを間
引いた静止画像の符号化ストリームをデータ送信部806
に出力する。

【００６５】動体検出部804 は、図１に示した動体検出
部104 と同様の構成でよく、カメラ822 より動画像デー
タを入力して、動きベクトルを高品質画像符号化部812
に出力し、動体データをデータ送信部806 およびデータ
記憶部813 に出力する。

【００６６】また、シーン記憶部805 についても図１に
示したシーン記憶部105 と同様の構成でよく、シーン初
期データをデータ送信部806 に出力する。

【００６７】高品質画像符号化部812 は、図１に示した
画像符号化部103 と同様の構成でよく、カメラ822 から
出力される動画像データと、動体検出部804 から出力さ
れる動きベクトルとをそれぞれ入力して符号化し、符号
化された高品質符号化ストリームをデータ記憶部813 に
出力する。

【００６８】データ記憶部813 は、動体検出部804 より
動体データを入力し、高品質画像符号化部812 より高品
質符号化ストリームを入力し、また、遠隔情報受信装置
802のシーン合成部810 より蓄積データ伝送命令を受信
し、データ送信部806 に蓄積データを出力する。詳しく
はデータ記憶部813 は、動体データおよび高品質符号化
ストリームが入力されるとこれら情報を記憶する。デー
タ記憶部813 には一定時間Ｔ分の記憶容量の記憶手段が
備られ、現在より過去にさかのぼる期間Ｔの動体データ
と高品質符号化ストリームとが記憶されるように記憶制
御される。また、データ記憶部813 は、遠隔情報受信装
置812 のシーン合成部810 より蓄積データ伝送命令を受
信すると、記憶している動体データと高品質符号化スト
リームとを蓄積データとしてデータ送信部806 に出力す
る。

【００６９】データ送信部806 は、遠隔情報送信装置80
1 の初期動作時にシーン記憶部805からシーン初期デー
タを入力すると、これを伝送データとして遠隔情報受信
装置802 のデータ受信部807 に送信する。また、データ
送信部806 は、画像符号化部803 より符号化ストリーム
を入力すると、これを伝送データとしてデータ受信部80
7 に送信する。また、データ送信部806 は、動体検出部
804 より出力される動体データを入力すると、これを伝
送データとしてデータ受信部807 に送信する。また、デ
ータ送信部806 は、データ記憶部813 から読み出された
蓄積データを入力し、これを伝送データとしてデータ受
信部807 に送信する。

【００７０】一方、遠隔情報受信装置802 のデータ受信
部807 は、遠隔情報送信装置801 から送信された伝送デ
ータを受信すると、その伝送データに応じて符号化スト
リームを画像復号部808 に出力し、シーンデータをシー
ン合成部810 に出力する。

【００７１】画像復号部808 は、図１に示した座標変換
部109 と同様に、入力される符号化ストリームを復号し
て、座標変換部809 に復号データを出力する。座標変換
部809 は、入力される復号データと、シーン合成部810
から供給される表示領域情報とに基づいて座標変換デー
タを生成し、生成された座標変換データをシーン合成部
810 に出力する。

【００７２】シーン合成部810 は、図１に示したシーン
合成部101 と同様に、データ受信部807 よりシーンデー
タを入力し、座標変換部809 より座標変換データを入力
すると表示領域情報を生成し、座標変換部809 に表示領
域情報を出力するとともに、データ記憶部813 に蓄積デ
ータ伝送命令を送信し、モニタ811 に表示データを出力
する。モニタ811 は、シーン合成部310 から受信される
表示データに応じた画像を表示する。

【００７３】以上のような構成で第３の実施例における
遠隔情報送信装置801 の動作を説明する。遠隔情報送信
装置801 が動作を開始すると、まず、遠隔情報送信装置
が設置された３次元実空間の平常時の状態をモデル化し
たデータシーン初期データがシーン記憶部805 からデー
タ送信部806 に出力される。その後、カメラ822 が動作
を開始すると、３次元実空間の光学情報を２次元平面に
投影した光学像が光電変換およびA/D 変換され、カメラ
822 から撮像画像に応じた動画像データが出力される。

【００７４】次に、動体検出部804 は、入力される動画
像データのフレームを分割した各ブロック毎に動きベク
トルを検出し、検出した動きベクトルが高品質画像符号
化部812 に出力される。また、動体検出部804 は、図１
に示した動体検出部104 と同様に動体データを計算し、
算出結果がデータ送信部806 とデータ記憶部813 とに出
力される。高品質画像符号化部812 では、動画像データ
がカメラ822 から入力され、動体検出部304 よりブロッ
ク毎の動きベクトルが入力されると、これらに基づいて
符号化ストリームを計算し、これを高品質符号化ストリ
ームとしてデータ記憶部813 に出力する。

【００７５】データ記憶部813 は、入力される動体デー
タと、高品質符号化ストリームとを記憶する。また、デ
ータ記憶部813 は、遠隔情報受信装置812 のシーン合成
部810 から送信された蓄積データ伝送命令を受信する
と、記憶している動体データと高品質符号化ストリーム
とを蓄積データとしてデータ送信部806 に出力する。

【００７６】一方、画像符号化部803 は、カメラ822 よ
り動画像データを入力すると、これに基づいて符号化ス
トリームを計算し、これをデータ送信部806 に出力す
る。但し、画像符号化部803 は、動きベクトルを用いる
ことなく、フレーム内の画素データに基づいてこのフレ
ームの符号化ストリームを計算する。データ送信部806
は、遠隔情報送信装置801 の初期動作時にシーン記憶部
805 からシーン初期データを入力すると、これを伝送デ
ータとしてデータ受信部807 に送信する。また、データ
送信部806 は、画像符号化部803 より符号化ストリーム
を入力すると、これを伝送データとしてデータ受信部80
7 に送信する。また、データ送信部806 は、動体検出部
804 より動体データを入力すると、これを伝送データと
してデータ受信部807 に送信する。また、データ送信部
806 は、データ記憶部813 より蓄積データを入力する
と、これを伝送データとしてデータ受信部807 に送信す
る。

【００７７】以上の動作により、第３の実施例における
遠隔情報送信装置801 は、動作開始時にはシーン初期デ
ータを遠隔情報受信装置802 に送信し、それ以降は、魚
眼レンズ付きのカメラ822 の、一定期間ごとの静止画像
データを符号化して遠隔情報受信装置802 に送信し、動
体が検出された場合に動体データを遠隔情報受信装置80
2 に送信し、遠隔情報受信装置812 の命令を受信した場
合に過去のカメラ822の動画像データを符号化した符号
化ストリームと動体データとからなる蓄積データを遠隔
受信装置802 に送信する。

【００７８】遠隔情報受信装置802 では、伝送データが
シーン初期データである場合(A) において、データ受信
部807 は、受信したシーン初期データをシーンデータと
してシーン合成部810 に出力する。シーン合成部810
は、そのシーンデータに基づいて遠隔情報送信装置801
が設置された３次元実空間の平常時の状態をグラフィク
ス表現により再構成し、これを２次元平面に投影したグ
ラフィクスの表示データをモニタ811 に出力する。ま
た、シーン合成部810 は、表示領域情報として所定の初
期値を座標変換部809 に出力する。モニタ811 は、シー
ン合成部810 から出力される表示データに応じた画像を
表示する。

【００７９】また、伝送データが符号化ストリームであ
る場合(B) において、データ受信部807 は符号化ストリ
ームを画像復号部808 に出力し、画像復号部808 は、そ
の符号化ストリームを復号して、その結果を復号データ
として座標変換部809 に出力する。座標変換部809 は、
入力される復号データと表示領域情報とにより、カメラ
822 の魚眼レンズにより歪曲された復号データを平行投
影によるデータに変換し、これを座標変換データとして
シーン合成部810 に出力する。シーン合成部810 は、座
標変換部809 より座標変換データを入力すると、これを
実画像の表示データとしてモニタ811 に出力し、その画
像を表示させる。

【００８０】また、伝送データが動体データである場合
(C) において、データ受信部807 は、動体データをシー
ンデータとしてシーン合成部810 に出力する。シーン合
成部810 は、そのシーンデータに基づいて、上記(A) の
場合に作成したグラフィクスの表示データを修正し、上
記(C) の場合に作成された実画像の表示データを修正し
てこの表示データをモニタ811 に出力するとともに、表
示領域情報を計算して座標変換部809 に出力する。さら
にシーン合成部810 は、オペレータの指示などの必要に
応じて遠隔情報送信装置801 のデータ記憶部813 に蓄積
データ伝送命令を送信する。

【００８１】また、伝送データが蓄積データである場合
(D) データ受信部807 は、蓄積データに含まれる高品質
符号化ストリームに対しては、これを符号化ストリーム
として画像復号部808 に出力する。この場合、遠隔情報
受信装置802 の画像復号部808 、座標変換部809 、シー
ン合成部810 およびモニタ811 の動作は前記(B) の場合
と同じである。また、データ受信部807 は、蓄積データ
に含まれる動体データに対しては、これをシーンデータ
としてシーン合成部810 に出力する。この場合、遠隔情
報受信装置802 のシーン合成部810 およびモニタ811 の
動作は前記(C)の場合と同じである。

【００８２】以上の(A) 〜(D) の場合における動作によ
り、モニタ811 の表示画面には、図１に示した第１の実
施例と同様の、図５のような表示が得られることにな
る。なお、シーン合成部810 は、前記(D) の場合の表示
を別の表示ウインドウを用意して表示するようにしても
よい。また、シーン合成部810 を、ポインティングデバ
イスなどのオペレータの入力手段を含むように構成して
もよい。この場合、シーン合成部810 は、オペレータの
指示に応じて動画像の表示をパン、チルト、ズームした
り、グラフィクス表示の視点を変更したり、任意の時刻
に遠隔情報送信装置801 の蓄積データの伝送を要求する
ことができる。

【００８３】以上の動作により、第３の実施例における
遠隔情報受信装置802 は、遠隔情報送信装置801 よりシ
ーン初期データを受信し、これを再構成してグラフィク
スオブジェクトを表示し、遠隔情報送信装置801 より符
号化ストリームを受信して一定周期の静止画像を表示
し、遠隔情報送信装置801 より動体データを受信して、
グラフィクス表示と静止画像表示の中に、動体を指し示
すオブジェクトを挿入するとともに、必要に応じて遠隔
情報送信装置801 に蓄積データの伝送を要求して、その
データを受信し、これに基づいて動体の動画像表示とグ
ラフィクス表示を行う。

【００８４】以上のように、第３の実施例では、遠隔情
報送信装置801 があらかじめ遠隔地のシーンデータを遠
隔情報受信装置802 に送信したのち、動画像データを一
定の時間間隔毎に符号化して送信する。このとき、遠隔
情報送信装置801 が動体を検出して、動画像中の動体の
位置を含む動体データを遠隔情報受信装置802 に送信す
ると、これを受信した遠隔情報受信装置802 が、シーン
データ中の動体の存在範囲を計算し、これをグラフィク
ス表示する。したがって、遠隔地の監視対象空間全体の
状況をグラフィクス表示し、これを動体の実画像表示と
組み合わせることによって、遠隔地での異常発生の状況
を直観的に把握でき、非常時の対応が取りやすくなる。
また、平常時に遠隔情報装置801 から遠隔情報受信装置
802 に伝送されるデータは、動体データと一定時間間隔
毎の静止画像であるので、動画像を伝送する場合に比べ
伝送量を大幅に削減でき、通信コストを抑えられるとい
う効果がある。

【００８５】さらに、遠隔情報受信装置802 が動体デー
タを受信すると、必要に応じて遠隔情報送信装置801 に
蓄積データの伝送を要求し、遠隔情報送信装置801 が蓄
積された高品質な動画像の情報や動体検出の情報を遠隔
情報受信装置802 に伝送するので、通信網の帯域が充分
ではない場合に、遠隔地での異常発生の状況を詳細に把
握できる。また、第１の実施例と同様に、魚眼レンズ付
きのカメラで広い画角の映像を入力し、これに基づき動
体検出および状況表示を行うので、監視対象空間中の異
常を即座に知ることができる。

【００８６】次に図９を参照して他の実施例を説明す
る。同図には遠隔監視装置の第４の実施例が示されてい
る。本実施例における遠隔監視装置は、複数の遠隔情報
送信装置901,913,914,915 と、遠隔情報受信装置902 と
を含み、各送信装置と受信装置902 とは、ISDN等の通信
網を介して接続される。遠隔情報送信装置913,914,915
はそれぞれ遠隔情報送信装置901 と同じ構成でよいので
遠隔情報送信装置901 について説明する。

【００８７】遠隔情報送信装置901 は、監視カメラ922
と、画像符号化部903 と、動体検出部904 と、シーン記
憶部905 と、データ送信部906 とを含み、また、遠隔情
報受信装置902 は、データ受信部907 と、画像復号部90
8 と、座標変換部909 と、シーン合成部910 と、モニタ
911 と、画像選択部912 とを含む。本実施例における遠
隔情報送信装置901 は、受信装置902 から送信される画
像選択データに応じた動作を行う点で図１に示した遠隔
情報送信装置101 と異なるが、遠隔情報送信装置901 の
その他の部分については送信装置101 と同様の構成でよ
いのでその説明を省略する。

【００８８】詳しくは、監視カメラ922 の出力に接続さ
れる画像符号化部903 は、カメラ922 より動画像データ
を入力し、動体検出部904 より動きベクトルを入力し、
画像選択部912 より画像選択データを受信し、符号化ス
トリームをデータ送信部906に出力する。本実施例にお
ける画像符号化部903 は、遠隔情報受信装置902 の画像
選択部912 より送信される画像選択データを受信する
と、その画像選択データに応じた符号化制御を行う。こ
の画像選択データは、複数の遠隔情報送信装置のうちい
ずれの遠隔情報送信装置が選択されているかを示す遠隔
地選択データと、動体の重心位置データと、動体の領域
データとを含み、画像符号化部903 は、その遠隔地選択
データが自己の遠隔情報送信装置401 を選択することを
示さない場合には、符号化動作を休止し、符号化ストリ
ームを出力しないように構成されている。一方、遠隔地
選択データが遠隔情報送信装置401 の選択を示す場合
に、画像符号化部903 は、そのとき符号化の動作が休止
状態であれば符号化の動作を再開し、入力される動画像
データに対応する符号化ストリームをデータ送信部906
に出力する。このとき、画像符号化部903 は、動体の重
心位置データまたは動体の領域データに基づいて、動体
の画像領域のブロックを他の領域に比べて高画質になる
よう符号化制御を行う。これにより、動体部分の画質を
高くし、かつ画像全体の符号量を低く抑える。

【００８９】データ送信部906 は、遠隔情報送信装置90
1 の初期動作時にシーン記憶部905からシーン初期デー
タを入力すると、これを伝送データとして遠隔情報受信
装置902 のデータ受信部907 に送信する。また、データ
送信部906 は、画像符号化部903 より符号化ストリーム
を入力すると、これを伝送データとしてデータ受信部90
7 に送信する。また、データ送信部906 は、動体検出部
904 より動体データを入力すると、これを伝送データと
してデータ受信部907 に送信する。本実施例におけるデ
ータ送信部906 は、伝送データを送信する際、自己の遠
隔情報送信装置901 の識別番号を伝送データ内に付加し
て送信を行う。この識別番号は、画像選択部912 より供
給される画像選択データ中の遠隔地選択データに対応す
るものであり、各遠隔情報送信装置901,913,914,915 ご
とに異なる値が設定される。

【００９０】遠隔情報受信装置902 のデータ受信部907
は、複数の遠隔情報送信装置のデータ送信部より送信さ
れる伝送データを受信して、その伝送データに応じて、
画像復号部908 に符号化ストリームを出力し、シーン合
成部910 にシーンデータを出力する。

【００９１】画像復号部908 は、データ受信部907 より
出力される符号化ストリームを復号して、座標変換部90
9 に復号データを出力する。座標変換部909 は、画像復
号部908 より復号データを入力し、シーン合成部910 よ
り表示領域情報を入力し、シーン合成部910 に座標変換
データを出力する。

【００９２】シーン合成部910 は、データ受信部907 よ
りシーンデータを入力し、座標変換部909 より座標変換
データを入力し、座標変換部909 に表示領域情報を出力
し、画像選択部912 に動体選択データを出力し、モニタ
911 に表示データを出力する。

【００９３】画像選択部912 は、シーン合成部910 より
動体選択データを入力し、遠隔情報送信装置901 の画像
符号化部903 に画像選択データを送信する。モニタ911
は、シーン合成部910 より表示データを入力し、これを
表示する。

【００９４】以上の構成で、第４の実施例における遠隔
情報送信装置901 の動作を説明する。遠隔情報送信装置
901 が動作を開始すると、まず、シーン記憶部905 より
データ送信部906 にシーン初期データを出力する。その
後、カメラ922 が動作を開始すると、３次元実空間の光
学情報を２次元平面に投影した光学像が光電変換および
A/D 変換され、その光学像に対応する動画像データが画
像符号化部903 および動体検出部904 に入力される。

【００９５】動体検出部904 は、動画像データが入力さ
れると、動画像データのフレームを所定サイズのブロッ
クに分割し、各ブロック毎に動きベクトルを検出して、
これを画像符号化部903 に出力する。また、動体検出部
904 は動体データを求めてデータ送信部906 に出力す
る。画像符号化部903 は、カメラ922 より動画像データ
を入力し、動体検出部904 よりブロック毎の動きベクト
ルを入力して、符号化ストリームを計算し、その演算結
果をデータ送信部906 に出力する。画像符号化部903
は、遠隔情報受信装置902 の画像選択部912 より画像選
択データを受信すると、その画像選択データに応じた符
号化制御を行う。自己の遠隔情報送信装置901 を選択す
ることを示さない遠隔地選択データが入力されると、画
像符号化部903 は、符号化の動作を休止し、符号化スト
リームを出力しない。逆に、遠隔地選択データが自己の
遠隔情報送信装置901 を選択することを示す場合には、
符号化の動作が休止の状態であれば符号化の動作を再開
し、動画像データを符号化した符号化ストリームをデー
タ送信部906 に出力する。このとき、画像符号化部903
は、動体の重心位置データまたは動体の領域データに基
づいて動体の画像領域を他の画像領域に比べ高画質にな
るように符号化を制御する。

【００９６】データ送信部906 は、遠隔情報送信装置90
1 の初期動作時にシーン記憶部905からシーン初期デー
タを入力し、これに自己の識別番号を付加した伝送デー
タを遠隔情報受信装置902 のデータ受信部907 に送信す
る。また、データ送信部906は、画像符号化部903 より
符号化ストリームを入力すると、これ自己の識別番号を
付加した伝送データをデータ受信部907 に送信する。ま
た、データ送信部906は、動体検出部904 より動体デー
タを入力すると、これに自己の識別番号を付加した伝送
データをデータ受信部907 に送信する。このように、本
実施例における遠隔情報送信装置901 は、動作開始時に
はシーン初期データを遠隔情報受信装置902 に送信し、
それ以降は、魚眼レンズ付きのカメラ922 の動画像デー
タを符号化して遠隔情報受信装置902 に送信し、さら
に、動体が検出された場合に動体データを遠隔情報受信
装置902 に送信する。さらに、遠隔情報送信装置901
は、遠隔情報受信装置902 より画像選択データを受信し
た場合には、画像選択データに応じた符号化処理の動作
制御を行う。

【００９７】次に遠隔情報受信装置902 の動作を説明す
ると、まず受信した伝送データがシーン初期データであ
る場合(A) 、データ受信部907 は、シーン初期データを
シーンデータとしてシーン合成部910 に出力する。シー
ン合成部910 は、そのシーンデータに基づいて、遠隔情
報送信装置が設置された３次元空間の平常時の状態をグ
ラフィクス表現により再構成し、これを２次元平面に投
影したグラフィクスの表示データをモニタ911 に出力す
る。この際、シーン合成部910 は、各遠隔情報送信装置
(901,913,914,915) の各々からのシーン初期データを合
成して表示データを作成する。各遠隔情報送信装置(90
1,913,914,915) からのシーン初期データは、それぞれ
監視する空間全体のうちの一部分の領域を表すものであ
る場合には、これらを合成することによって、監視空間
全体のシーンを構成することになる。また、シーン合成
部910 は、表示領域情報として所定の初期値を座標変換
部909 に出力する。モニタ911 は、シーン合成部910 よ
り表示データを入力して、表示データに応じた画像を表
示する。

【００９８】次に伝送データが符号化ストリームである
場合(B) 、データ受信部907 は、符号化ストリームを画
像復号部908 に出力し、画像復号部908 は、符号化スト
リームを復号して、その結果を復号データとして座標変
換部909 に出力する。

【００９９】座標変換部909 は、画像復号部908 より復
号データを入力し、シーン合成部910 より表示領域情報
を入力して、カメラ922 により歪曲された復号データを
平行投影によるデータに変換し、これを座標変換データ
としてシーン合成部910 に出力する。

【０１００】シーン合成部410 は、座標変換部409 より
座標変換データを入力すると、これを動画像の表示デー
タとしてモニタ411 に出力する。モニタ411 は、シーン
合成部410 より表示データを入力して、これをＣＲＴデ
ィスプレイなどの表示デバイスに表示する。

【０１０１】次に伝送データが動体データである場合
(C) 、データ受信部907 は、動体データをシーンデータ
としてシーン合成部910 に出力する。シーン合成部910
は、図１に示したシーン合成部110 と同様に、入力され
るシーンデータに基づいて、前記(A) の場合に作成した
グラフィクスの表示データを修正し、前記(B) の場合に
作成された動画像の表示データを修正し、この表示デー
タをモニタ911 に出力するとともに、表示領域情報を計
算してその計算結果を座標変換部909 に出力する。さら
に、シーン合成部910 は、動体データに含まれる動体の
位置や領域の情報を動体選択データとして画像選択部91
2 に出力し、また、伝送データ中に含まれる遠隔情報送
信装置(901,913,914,915) のいずれかの識別番号も併せ
て画像選択部912 に出力する。

【０１０２】画像選択部912 は、動体選択データに対応
する画像選択データを用意し、これを全遠隔情報送信装
置(901,913,914,915) に同報送信する。モニタ911 に、
シーン合成部910 より表示データが入力されると、その
画像を表示する。その結果、モニタ911 の表示画面に
は、第１の実施例と同様に、図５に示したような表示が
出力される。なお、本実施例においてもシーン合成部91
0 を、ポインティングデバイスなどのオペレータの入力
手段を含むように構成してもよい。この場合、シーン合
成部910 は、オペレータの指示に応じて動画像の表示を
パン、チルト、ズームしたり、グラフィクス表示の視点
を変更する。

【０１０３】以上、第４の実施例における遠隔情報受信
装置902 は、遠隔情報送信装置901よりシーン初期デー
タを受信し、これを再構成してグラフィクスオブジェク
トを表示し、遠隔情報送信装置901 より符号化ストリー
ムを受信して動画像を表示し、遠隔情報送信装置901 よ
り動体データを受信して、グラフィクス表示と動画像表
示の中に、動体を指し示すオブジェクトを挿入するとと
もに、すべての遠隔情報送信装置に符号化制御のための
画像選択データを送信する。

【０１０４】こののように第４の実施例では、各遠隔情
報送信装置はあらかじめ遠隔地のシーンデータを遠隔情
報受信装置902 に送信したのち、動体を検出すると動体
の位置および領域を遠隔情報受信装置902 に通知し、こ
れを受信した遠隔情報受信装置902 が、シーンデータ中
の動体の存在範囲を計算し、これをグラフィクス表示す
る。さらに、遠隔情報受信装置902 は、動体検出の通知
を受けると、動画像データの伝送を行う遠隔情報送信装
置の選択および品質制御の情報をすべての遠隔情報送信
装置に同報送信することにより、対応する遠隔情報送信
装置が指定された品質で動画像データを伝送する。した
がって、遠隔地の監視対象空間全体の状況をグラフィク
ス表示し、これを動体の動画像表示と組み合わせること
によって、遠隔地での異常発生の状況を直観的に把握で
き、非常時の対応が取りやすくなる。さらに、各遠隔情
報送信装置の符号化制御を遠隔情報受信装置402 が自動
で行なうので、伝送量を抑えて通信コストを低減でき、
また、動体部分を高品質に伝送することにより遠隔情報
受信装置902 が異常発生の状況を詳細に知ることができ
る。また、第１の実施例と同様に、魚眼レンズ付きのカ
メラで広い画角の映像を入力し、これに基づき動体検出
および状況表示を行うので、監視対象空間中の異常を即
座に知ることができる。

【０１０５】これまで第１の実施例〜第４の実施例につ
いて説明してきたが、図８に示した第３の実施例では、
画像符号化部803 を、カメラ822 からの動画像データを
一定時間間隔毎に取り出した静止画像データとして符号
化するよう構成したが、利用する通信網の帯域に比較し
て符号量が充分抑えられるならば他の符号化方法を用い
てもよい。たとえば、画像符号化部803 を、カメラ822
からの動画像データを動画像のまま符号化し、該符号化
に当たっては、フレーム内の空間解像度を低下させるこ
とによって符号量を抑えてもよい。この場合にも、第３
の実施例と同様の効果が期待できる。

【０１０６】また、第３の実施例では、遠隔情報受信装
置802 が遠隔情報送信装置801 に蓄積データ伝送命令を
通知することによって、遠隔情報送信装置801 が蓄積さ
れた高品質画像符号化ストリームと動体データとを遠隔
情報受信装置802 に伝送する場合について説明したが、
他の構成として、遠隔情報送信装置801 が動体検出と同
時に、画像符号化部802 からの符号化ストリームに代え
て、高品質画像符号化部812 からの高品質符号化ストリ
ームやデータ蓄積部813 からの蓄積データを遠隔情報受
信装置802 に伝送するよう構成してもよい。この場合、
遠隔地で動体が検出されると、伝送される情報が自動的
に高品質な情報に切り替えられるので、第３の実施例と
同様、通信コストの低減と情報の品質向上が期待でき
る。

【０１０７】また、第１〜第４の実施例では、遠隔情報
送信装置(101,601,801,901) の監視カメラ(122,622,82
2,922) を、魚眼レンズ付きのカメラやパンチルト制御
機能付きのカメラで構成する場合について説明したが、
これに限らず、動体検出部(104,604,804,904) における
動体検出精度を向上させるために、他の構成を用いても
よい。たとえば、一定間隔に２つのレンズを配した両眼
カメラを用いると、これによって得られる２つの画像デ
ータから、画像中のオブジェクトの、奥行き方向の状態
を推定できる。したがって、両眼カメラに合わせて動体
検出部を構成すれば、オブジェクトの奥行き情報から、
動体検出の確からしさやその正確な領域を知ることがで
き、本発明による遠隔監視装置の性能を高めることがで
きる。

【０１０８】また、第１〜第４の実施例では、動体検出
部(104,604,804,904) を、動画像データをブロックに分
割した際の動きベクトルに基づいて動体を検出するよう
に構成したが、動体検出を従来公知の方法を用いて実現
してもよい。

【０１０９】また、第４の実施例では、遠隔情報受信装
置902 の画像選択部912 が遠隔情報送信装置の識別番号
を設定して対象とするすべての遠隔情報送信装置に同報
送信し、これを対応する遠隔情報送信装置(101,601,80
1,901) のいずれかが動画像データを伝送する場合につ
いて説明したが、遠隔情報受信装置902 の装置構成によ
っては、遠隔情報送信装置の識別番号は同時に複数個あ
ってもよい。この場合、遠隔情報受信装置902 の画像復
号部908 および座標変換部909 およびシーン合成部910
を、複数の遠隔情報送信装置からの符号化ストリームに
対応して処理可能に構成し、複数個の識別番号に対応す
る。これにより、遠隔地の複数箇所で同時に異常が発生
した場合であっても、遠隔情報受信装置902 はこれらの
異常発生箇所の動画像をそれぞれ表示できる。

【０１１０】次に図10を参照して、遠隔監視装置の第５
の実施例を説明する。図10には本実施例における遠隔監
視装置が示され、遠隔監視装置は複数の遠隔情報送信装
置1001,1013,1014,1015 と遠隔情報受信装置1002とが、
ISDN等の通信網に接続されるシステムである。遠隔情報
送信装置1013,1014,1015は遠隔情報送信装置1001とほぼ
同じ構成でよいので遠隔情報送信装置1001について説明
する。

【０１１１】遠隔情報送信装置1001は、監視カメラ922
と、画像符号化部1103と、動体検出部904 と、シーン記
憶部905 と、データ送信部906 とを含み、また、遠隔情
報受信装置1002は、データ受信部907 と、画像復号部90
8 と、座標変換部909 と、シーン合成部910 と、モニタ
911 と、符号化データ選択部1008とを含み、図９に示し
た実施例の構成と同じ構成には同一の参照符号を付して
その詳細説明を省略する。

【０１１２】画像符号化部1003は、図１に示した画像符
号化部103 と同様に、カメラ922 から出力される動画像
データを、動体検出部904 より供給されるブロックごと
の動きベクトルにしたがって符号化ストリームを計算
し、その符号化ストリームをデータ送信部906 に出力す
る。

【０１１３】動体検出部904 は、カメラ922 から出力さ
れる動画像データにしたがって、ブロックごとの動きベ
クトルを算出して画像符号化部903 に出力し、動体の位
置情報を示す動体データをデータ送信部906 に出力す
る。シーン記憶部905 は、シーン初期データをデータ送
信部906 に出力する。データ送信部906 は、画像符号化
部1003より符号化ストリームを入力し、動体検出部904
より動体データを入力し、シーン記憶部905 よりシーン
初期データを入力し、データ受信部907 に伝送データを
送信する。データ送信部906 は、自己の遠隔情報送信装
置1001に固有に割り当てられた識別番号を伝送データ内
に付加して送信する。この識別番号は、各送信装置100
1,1013,1014,1015 ごとに異なる値に設定される。

【０１１４】遠隔情報受信装置1002のデータ受信部907
は、データ送信部906 より伝送データを受信し、画像復
号部908 に符号化ストリームを出力し、シーン合成部91
0 にシーンデータを出力する。

【０１１５】符号化データ選択部1008は、入力される符
号化ストリームの中から復号対象となる復号対象符号化
ストリームを選択し、選択された符号化ストリームを画
像復号部908 に出力する。符号化データ選択部1008は、
画像復号部908 の単位時間当たりの計算量が所定の計算
量以下になるよう符号化ストリームを選択する。符号化
データ選択部1008は、連続して入力される符号化ストリ
ームの中から復号対象符号化ストリームを、画像復号部
908 の計算集中度合いに適応した形で適宜選択する。動
体フレームの符号化ストリームはシステムの中で重要性
が高いので、入力される動体データはすべてのフレーム
に対して復号する。一方、動体データでないフレームの
符号化ストリームは、システムの中で重要性が低いの
で、すべてのフレームに対して復号する必要はなく、フ
レーム間引きをした状態で復号しても問題はない。むし
ろ、画像復号部908 の計算量を軽減する効果をもたら
す。ある１つの遠隔情報送信装置から動体データが出力
されているときに、他の遠隔情報送信装置から動体フレ
ームでないフレームの符号化ストリームが出力されてい
るときは、たとえば連続する５フレーム毎に１フレーム
分の符号化ストリームを選択して復号対象符号化ストリ
ームとして画像復号部908 に出力する。動体データの符
号化ストリームは重要性が高いので、この場合符号化デ
ータ選択部1008は、すべてそのままの形で画像復号部90
8 に出力する。

【０１１６】画像復号部908 は、符号化データ選択部10
08から出力された復号対象符号化ストリームを復号し、
座標変換部909 に復号データを出力する。座標変換部90
9 は、画像復号部908 より復号データを入力し、シーン
合成部910 より表示領域情報を入力し、図１に示した実
施例と同様にシーン合成部910 に座標変換データを出力
する。

【０１１７】シーン合成部910 は、図１に示した実施例
と同様に、データ受信部907 よりシーンデータを入力
し、座標変換部909 より座標変換データを入力し、座標
変換部909 に表示領域情報を出力し、モニタ911 に表示
データを出力する。モニタ911は、シーン合成部910 よ
り表示データを入力し、これを表示する。

【０１１８】以上のような構成で本実施例における遠隔
情報監視装置の動作を説明する。まず、遠隔情報送信装
置1001が動作を開始すると、まず、シーン記憶部905 よ
りデータ送信部906 にシーン初期データが出力される。
その後、監視カメラ922 が動作を開始し、３次元実空間
の光学情報を２次元平面に投影した光学像に対応する動
画像データがカメラ922 から出力される。このカメラ92
2 のレンズは、第１の実施例と同様に魚眼レンズであ
り、出力される動画像データは、魚眼レンズの特性に応
じて歪曲して投影されたデータとなる。

【０１１９】次に、動体検出部904 は、カメラ922 より
動画像データを入力すると、動画像データのフレームを
所定サイズのブロックに分割し、各ブロック毎に動きベ
クトルを検出して、これを画像符号化部903 に出力す
る。さらに動体検出部904 は、動体データを求めてデー
タ送信部906 に出力する。次に、画像符号化部1003は、
カメラ922 より動画像データを入力し、動体検出部904
よりブロック毎の動きベクトルを入力して、符号化スト
リームを計算し、これをデータ送信部906 に出力する。

【０１２０】データ送信部906 は、遠隔情報送信装置90
1 の初期動作時にシーン記憶部905からシーン初期デー
タを入力すると、これに自己の装置の識別番号を付加し
た伝送データを生成して遠隔情報受信装置1002のデータ
受信部907 に送信する。また、データ送信部906 は、画
像符号化部1003より符号化ストリームを入力すると、こ
れに自己の装置の識別番号を付加して伝送データを生成
しデータ受信部907 に送信する。また、データ送信部90
6 は、動体検出部904 より動体データを入力すると、こ
れに自己の装置の識別番号を付加して伝送データを生成
しデータ受信部907 に送信する。

【０１２１】以上の動作により、第５の実施例における
遠隔情報送信装置1001は、動作開始時にはシーン初期デ
ータを遠隔情報受信装置1002に送信し、それ以降は、魚
眼レンズ付きのカメラ922 の動画像データを符号化して
遠隔情報受信装置1002に送信し、さらに、動体が検出さ
れた場合に動体データを遠隔情報受信装置1002に送信す
る。他の遠隔情報送信装置1013,1014,1015についても同
様である。

【０１２２】次に、遠隔情報受信装置1002の動作を説明
すると、まず、データ受信部907 にて受信される伝送デ
ータがシーン初期データである場合(A) データ受信部90
7 は、シーン初期データをシーンデータとしてシーン合
成部910 に出力する。シーン合成部910 は、シーンデー
タに基づいて遠隔情報送信装置の置かれた３次元実空間
の平常時の状態をグラフィクス表現により再構成し、こ
れを２次元平面に投影したグラフィクスの表示データを
モニタ911 に出力する。この際、シーン合成部910 は、
各遠隔情報送信装置(1001,1013,1014,1015) の各々から
のシーン初期データを合成して表示データを作成する。
各遠隔情報送信装置からのシーン初期データは、それぞ
れ監視する空間全体のうちの一部分の領域を表すもので
あるから、これらを合成することによって、監視空間全
体のシーンを構成する。また、シーン合成部910 は、表
示領域情報として所定の初期値を座標変換部909 に出力
する。これによりモニタ911 には、シーン合成部910 か
ら出力された表示データに応じた画像が表示される。

【０１２３】次に、伝送データが符号化ストリームであ
る場合(B) データ受信部907 は、符号化ストリームを符
号化データ選択部1008に出力する。符号化データ選択部
1008は、画像復号部908 の単位時間当たりの計算量を所
定の計算量以下になるよう、連続して入力される符号化
ストリームから選択した復号対象符号化ストリームを画
像復号部908 に出力する。たとえば、ある１つの遠隔情
報送信装置から動体データが出力され、さらに他の遠隔
情報送信装置から動体フレームでないフレームの符号化
ストリームが出力されているときは、符号化データ選択
部1008は、たとえば連続する複数フレーム毎に１フレー
ム分の符号化ストリームを選択し、これを復号対象符号
化ストリームとして画像復号部908 に供給する。

【０１２４】この結果、画像復号部908 では、動体フレ
ームの符号化ストリームについてはすべてのフレームに
対して復号し、動体データでないフレームの符号化スト
リームは、フレーム間引きをした状態で復号する。この
ように画像復号部908 にて復号対象符号化ストリームが
復号されると、その復号データは座標変換部909 に出力
される。

【０１２５】座標変換部909 は、画像復号部908 から出
力される復号データと、シーン合成部910 から出力され
る表示領域情報とを入力して、カメラ922 の魚眼レンズ
によって歪曲されている画像の復号データを平行投影に
よるデータに変換し、これを座標変換データとしてシー
ン合成部910 に出力する。シーン合成部910 では、この
座標変換データを動画像の表示データとしてモニタ911
に出力し、その画像を表示させる。

【０１２６】次に、伝送データが動体データである場合
(C) データ受信部907 は、動体データをシーンデータと
してシーン合成部910 に出力する。シーン合成部910
は、シーンデータに基づいて、前記(A) の場合に作成し
たグラフィクスの表示データを修正し、前記(B) の場合
に作成された動画像の表示データを修正し、この表示デ
ータをモニタ911 に出力するとともに、表示領域情報を
計算して座標変換部909に出力する。表示データがモニ
タ911 に入力されると、モニタ911 には、第１の実施例
と同様に、図５に示すような画像が表示される。なお、
シーン合成部910を、ポインティングデバイスなどのオ
ペレータの入力手段を含むように構成してもよい。この
場合、シーン合成部910 は、オペレータの指示に応じて
動画像の表示をパン、チルト、ズームしたり、グラフィ
クス表示の視点を変更するとよい。

【０１２７】以上の動作により、本実施例における遠隔
情報受信装置1002は、遠隔情報送信装置1001よりシーン
初期データを受信し、これを再構成してグラフィクスオ
ブジェクトを表示し、遠隔情報送信装置1001より符号化
ストリームを受信して動画像を表示し、遠隔情報送信装
置1001より動体データを受信して、グラフィクス表示と
動画像表示の中に、動体を指し示すオブジェクトを挿入
する。また、符号化データ選択部1008により、画像復号
化部908 の計算量を必要最低限に制御することができ
る。

【０１２８】以上のように、第５の実施例では、画像復
号部908 にて復号するデータが、重要性が高い場合には
毎フレーム復号し、重要性が低い場合はフレーム間引き
した符号化ストリームを入力して復号することにより、
画像復号部908 の単位時間当たりの計算量を必要最小限
にする構成としたので、低コストで高性能な遠隔情報受
信装置が実現できる。また、遠隔情報送信装置は単純な
構成で実現できる。したがって遠隔監視装置の低コスト
化および高性能化が期待できる。

【０１２９】次に図11を参照して、遠隔情報監視装置の
第６の実施例を説明する。同図には、遠隔情報送信装置
1101と、遠隔情報受信装置1102とを含む遠隔情報監視装
置が示され、これらは、たとえばISDN等の通信網にて接
続される。

【０１３０】遠隔情報送信装置1101は、監視カメラ122
と、画像符号化部103 と、動体検出部1104と、シーン記
憶部105 と、オーディオデータ記憶部1121と、データ送
信部1122とを含み、また、遠隔情報受信装置1102は、デ
ータ受信部1123と、画像復号部108 と、座標変換部109
と、シーン合成部110 と、モニタ111 と、オーディオ復
号部1124と、スピーカ1125とを含む。これらの構成にお
いて図１に示した実施例における構成と同じ構成は、同
一の参照符号を付してその詳細説明を省略する。

【０１３１】本実施例における動体検出部1104は、図１
に示した実施例と同様にして監視カメラ122 より出力さ
れる動画像データに基づいて動きベクトルおよび動体デ
ータを生成する。動体検出部1104は、生成した動きベク
トルを画像符号化部103 に出力し、生成した動体データ
をオーディオデータ記憶部1121とデータ送信部1122に出
力する。

【０１３２】オーディオデータ記憶部1121には、遠隔情
報受信装置1102にて監視業務を行っているオペレータに
対して聞かせるオーディオデータが圧縮符号化された状
態で格納されている。たとえば、動体検出時に「侵入物
検出」などの音声を発生および示すための音声データや
効果音データをデータ記憶部1121に予め格納しておく。
オーディオデータ記憶部1121に格納されたオーディオ符
号化ストリームは、動体検出部1104から供給される動体
検出を示す情報に応動してデータ送信部1122に出力され
る。

【０１３３】データ送信部1122は、画像符号化部103 よ
り符号化ストリームを入力し、動体検出部1104より動体
データを入力し、シーン記憶部105 よりシーン初期デー
タを入力し、データ受信部1123に伝送データを送信す
る。データ送信部1122は、遠隔情報送信装置1101の初期
動作時にシーン記憶部105 からシーン初期データを入力
すると、これを伝送データとして遠隔情報受信装置1102
のデータ受信部107 に送信する。また、データ送信部11
22は、画像符号化部103 より画像符号化ストリームを入
力すると、これを伝送データとしてデータ受信部1123に
送信する。データ送信部1122は、オーディオデータ記憶
部1121よりオーディオ符号化ストリームを入力すると、
これを伝送データとしてデータ受信部1123に送信する。
また、データ送信部1122は、動体検出部1104より動体デ
ータを入力すると、これを伝送データとしてデータ受信
部1123に送信する。

【０１３４】遠隔情報受信装置1102のデータ受信部1123
は、データ送信部1122より伝送データを受信し、伝送デ
ータが画像符号化ストリームである場合には画像復号部
108に画像符号化ストリームを出力し、シーンデータで
ある場合にはシーン合成部110 にシーンデータを出力す
る。また、データ受信部1123は、受信した伝送データが
オーディオ符号化ストリームである場合には、そのスト
リームをオーディオ復号部1124に出力する。オーディオ
復号部1124は、データ受信部1123よりオーディオ符号化
ストリームを入力するとこれを復号し、スピーカ1125に
オーディオ復号データを出力する。画像復号部108 は、
データ受信部1123より符号化ストリームを入力するとこ
れを復号し、座標変換部109 に復号データを出力する。
座標変換部109 は、画像復号部108 より復号データを入
力し、シーン合成部110 より表示領域情報を入力し、シ
ーン合成部110 に座標変換データを出力する。シーン合
成部110 は、データ受信部1123よりシーンデータを入力
し、座標変換部109 より座標変換データを入力し、座標
変換部109 に表示領域情報を出力し、モニタ111 に表示
データを出力する。モニタ111 は、シーン合成部110 よ
り表示データを入力し、これを表示する。

【０１３５】以上のような構成で本実施例における遠隔
情報監視装置の動作を説明する。まず、遠隔情報送信装
置1101が動作を開始すると、まず、シーン記憶部105 よ
りシーン初期データが読み出されてデータ送信部1122に
入力され、その伝送データが遠隔情報受信装置1102に送
信される。カメラ122 から出力される動画像データは画
像符号化部103 および動体検出部1104に順次入力され
て、ブロック毎の動きベクトルが画像符号化部103 に入
力される。また、動体検出部104 にて算出された動体デ
ータは、データ送信部106 およびオーディオデータ記憶
部1121に入力される。

【０１３６】画像符号化部103 は、動画像データおよび
動きベクトルから符号化ストリームを計算し、これをデ
ータ送信部1122に出力する。オーディオデータ記憶部12
21は、動体検出部1104から供給される動体データに応動
して、格納しているオーディオを符号化ストリームを乱
してデータ送信部1122に出力する。

【０１３７】データ送信部1122は、遠隔情報送信装置11
01の初期動作時にシーン記憶部105からシーン初期デー
タを入力すると、これを伝送データとして遠隔情報受信
装置1102のデータ受信部1123に送信する。また、データ
送信部1122は、画像符号化部103 より符号化ストリーム
を入力すると、これを伝送データとしてデータ受信部11
23に送信する。データ送信部1122は、オーディオデータ
記憶部1121よりオーディオ符号化ストリームを入力する
と、これを伝送データとしてデータ受信部1123に送信す
る。また、データ送信部1122は、動体検出部1104より動
体データを入力すると、これを伝送データとしてデータ
受信部1123に送信する。

【０１３８】以上の動作により、第６の実施例における
遠隔情報送信装置1101は、動作開始時にはシーン初期デ
ータを遠隔情報受信装置1102に送信し、それ以降は、魚
眼レンズ付きのカメラ122 の動画像データを符号化して
遠隔情報受信装置1102に送信し、さらに、動体が検出さ
れた場合に動体データおよびオーディオ符号化ストリー
ムを遠隔情報受信装置1102に送信する。

【０１３９】一方、遠隔情報受信装置1102では、伝送デ
ータがシーン初期データである場合(A) 図１に示した実
施例における遠隔情報受信装置102 と同様の動作が行わ
れる。次に、伝送データが符号化ストリームである場合
(B) 画像データを符号化した符号化ストリームであると
きは、遠隔情報受信装置1102は、上記遠隔情報受信装置
102 と同様の動作を行う。また、伝送データが動体検出
タイミングに同期して入力されるオーディオデータを符
号化した符号化ストリームであるときには、オーディオ
復号部1124は、このオーディオ符号化ストリームを復号
してD/A 変換し、アナログのオーディオデータとしてス
ピーカ1125に出力する。オーディオデータの符号化方法
については、たとえば、直前サンプルとのレベル差分値
を符号化する方法が適用される。次に、伝送データが動
体データである場合(C) は、遠隔情報受信装置1102は、
第１の実施例における遠隔情報受信装置102 と同様の動
作をする。

【０１４０】このように本実施例では、動体検出時に画
像表示だけでなく、制御音声や効果音などのオーディオ
を出力する構成としたので、受信装置側にて監視業務を
行うオペレータは、監視が必要なタイミングでオーディ
オ信号による監視支援情報を受けることができ、常にモ
ニタを目視する負担が軽減される。目視監視業務に占有
されることなく、必要な監視業務を遂行できる。よっ
て、監視支援オーディオ情報によりユーザの負担を軽減
できる高性能な遠隔監視装置の実現が期待できる。

【０１４１】本実施例では、オーディオデータを圧縮符
号化した形で伝送したが、オーディオデータは動画デー
タと比較すると極めて少ないデータ量であるので、符号
化しない原データの状態で伝送するように構成し、受信
側のオーディオ復号部1124を必要としない構成として、
低コスト化を図る方法も可能である。

【０１４２】次に図12を参照して遠隔情報監視装置の第
７の実施例を説明する。同図には、遠隔情報送信装置12
01と、遠隔情報受信装置1202とを含む遠隔情報監視装置
が示され、これらは、たとえばISDN等の通信網にて接続
される。

【０１４３】遠隔情報送信装置1201は、監視カメラ122
と、画像符号化部103 と、動体検出部104 と、シーン記
憶部105 と、データ送信部106 とを含み、これらは図１
に示した遠隔情報送信装置101 と同じ構成でよい。一
方、遠隔情報受信装置1202は、データ受信部107 と、画
像復号部108 と、座標変換部109 と、シーン合成部110
と、モニタ111 とを含み、これらは図１に示した遠隔情
報受信装置102 における各構成と同様の構成でよい。

【０１４４】本実施例における遠隔情報受信装置1202
は、さらに、オーディオデータ記憶部1224と、その出力
に接続されたスピーカ1125とを含む。なお、データ受信
部107は、受信される伝送データが動体データである場
合には、シーンデータとしてシーン合成部110 に出力す
るとともに、オーディオデータ記憶部1224に動体データ
を出力してオーディオデータ記憶部1224を起動する。オ
ーディオデータ記憶部1224には、制御語や効果音などの
ような監視支援に使用されるオーディオデータが記憶媒
体に格納されており、入力される動体データの入力時刻
に同期してして記憶情報を読み出す。オーディオデータ
記憶部1224は読み出されたオーディオデータをD/A 変換
し、変換された音声情報をスピーカ1125に出力する。オ
ーディオデータ記憶部1224を起動する情報は、動体デー
タに限らず、動体が検出されたことを示す情報であれば
よく、オーディオデータ記憶部1224はその情報をトリガ
としてオーディオデータを記憶媒体から読み出す。

【０１４５】以上のような構成で本実施例における遠隔
情報監視装置の動作を説明する。まず、遠隔情報送信装
置1201の動作については図１に示した実施例と同様の動
作が行われる。したがってこの第７の実施例における遠
隔情報送信装置1201は、動作開始時にはシーン初期デー
タを遠隔情報受信装置1202に送信し、それ以降は、魚眼
レンズ付きの監視カメラ122 の動画像データを符号化し
て遠隔情報受信装置1202に送信し、さらに、動体が検出
された場合に動体データを遠隔情報受信装置1202に送信
する。

【０１４６】一方、遠隔情報受信装置1202の動作を説明
すると、伝送データがシーン初期データである場合(A)
遠隔情報受信装置1202は、図１に示した第１の実施例と
同様に動作する。また、伝送データが符号化ストリーム
である場合(B) には、遠隔情報受信装置1202は、画像復
号部108 、座標変換部109 およびシーン合成部110 につ
いては、前記第１の実施例と同じ動作をする。しかし、
データ受信部107 より動体を検出したことを示す動体デ
ータがオーディオデータ記憶部1224に入力されると、そ
れと同時に、オーディオデータ記憶部1324に格納されて
いるオーディオデータが読み出され、D/A 変換してオー
ディオ信号としてスピーカ1125に出力される。伝送デー
タが動体データである場合(C) は遠隔情報受信装置1202
は第１の実施例同様に動作する。

【０１４７】本実施例では、動体検出時に画像表示だけ
でなく、オーディオデータを受信装置側だけで出力する
構成とした。受信装置のオペレータは、監視が必要なタ
イミングでオーディオ信号による監視支援を受けること
ができ、常にモニタを目視する負担が軽減される。目視
監視業務に占有されることなく、必要な監視業務を遂行
できる。また、受信側のみにオーディオ処理機能を持た
せることによって、監視支援オーディオ情報によりユー
ザの負担を軽減できる高性能な遠隔監視装置の実現が期
待できる。なお、本実施例では、オーディオデータを圧
縮符号化しない原データの形で記憶したが、圧縮符号化
した状態で記憶し、読み出したデータを復号する回路を
追加する構成も可能である。

【０１４８】次に図13を参照して遠隔情報監視装置の第
８の実施例を説明する。同図には、遠隔情報送信装置13
01と、遠隔情報受信装置1302とを含む遠隔情報監視装置
が示され、これらは、たとえばISDN等の通信網にて接続
される。

【０１４９】本実施例における遠隔情報送信装置1301
は、監視カメラ122 と、動体検出部104 と、シーン記憶
部105 の各出力が接続される動体同定部1321とを備え、
データ送信部1322が、動体同定部1321から出力される同
定結果を伝送データとして送信する点で図１に示した第
１の実施例とは異なり、その他の点は図１に示した遠隔
情報送信装置101 と同様の構成でよい。

【０１５０】動体同定部1321は、監視カメラ122 から出
力される動画像データと、動体検出部104 から出力され
る動体データとに基づいて、検出された動体の種類を推
定し、その推定結果を動体同定結果としてデータ送信部
1322へ出力する。動体同定部1321は、動体と判定された
一連のフレームの動領域の形状、濃度および色等の情報
を参照して、動体の種類を推定する。

【０１５１】動体同定部1321の詳細な機能構成を図14を
参照して説明すると、動体同定部1321は、監視の対象に
よって決定される監視対象物の標準的形状、濃度および
色情報を、予め動体同定部1321に参照データ1401として
格納しておく記憶部を有し、監視対象物の大きさを所定
の大きさに正規化して格納する。

【０１５２】動体同定部1321は、入力される動画像デー
タと、動体データに含まれる動領域の位置情報とから任
意形状の動領域1402を決定する。本実施例では動領域に
存在するすべての画素を含む矩形領域1402のデータを類
似度計算に用いる。動体同定部1321は、決定された矩形
領域1402の大きさを、動体同定部1321に予め格納されて
いる参照用データ1401の大きさに正規化する。

【０１５３】動体同定部1321は、前記類似度計算用に決
定された矩形領域1402を所定のブロック数で分割する。
動体同定部1321は、前記ブロック分割されたブロック毎
に、入力画像データと、参照画像として格納されている
参照データと間の部分類似度を計算し、該部分類似度計
算をすべての分割されたブロックに対して行い、計算さ
れた部分類似度の総和を算出する。動体同定部1321は、
算出された総和を入力画像データと参照データ間の類似
度とする。

【０１５４】動体同定部1321は、すべての参照データ14
01との類似度計算を行い、該類似度が最大となる参照デ
ータに与えられるカテゴリを同定カテゴリとする。該同
定カテゴリとの類似度計算結果を同定類似度とする。動
体同定部1321は、同定カテゴリおよび同定類似度を動体
同定結果としてデータ送信部1322に出力する。

【０１５５】部分類似度は、形状類似度および濃度類似
度の総和とする。形状類似度は分割されたブロックにお
ける各画素について、前記動領域に含まれる画素である
か否かを動体同定部1321にて判定し、参照データの同位
置画素と一致するかを求める。動体同定部1321は、各ブ
ロック内のすべての画素に対しそれぞれ前記判定を行
い、参照データと一致した画素数を所定の値で正規化し
た値を形状類似度とする。濃度類似度は、ブロック内の
各画素の濃度と参照データの同位置画素間の差分絶対値
を動体同定部1321にて求め、該ブロック内のすべての画
素に対する差分絶対値の総和を算出する。動体同定部13
21は、該算出された総和を所定の値で正規化し、その値
を濃度類似度とする。

【０１５６】一方、遠隔情報受信装置1302は、画像復号
部108 と、座標変換部109 と、シーン合成部110 と、モ
ニタ111 とを含み、これらは図１に示した遠隔情報受信
装置102 における各構成と同じ構成でよい。また、遠隔
情報受信装置1302のデータ受信部1323は、データ送信部
1322より送信された伝送データを受信し、その伝送デー
タに応じて、画像復号部108 に符号化ストリームを出力
し、オーディオデータ記憶部1324に動体データと動体同
定結果とを出力し、シーン合成部110 にシーンデータを
出力する。

【０１５７】データ受信部1323の出力に接続されたオー
ディオデータ記憶部1324は、入力される動体データと動
体同定結果とに基づいて、これら情報の入力時刻に同期
して予め格納された複数種類のオーディオデータの中か
ら前記動体同定結果に対応する１種類のオーディオデー
タを選択して読み出す。オーディオデータ記憶部1324こ
うして読み出したオーディオデータをD/A 変換してスピ
ーカ1225に出力し、そのオーディオ信号を出力させる。

【０１５８】以上のような構成で本実施例における遠隔
情報送信装置1301の動作を説明する。遠隔情報送信装置
1301が動作を開始すると、シーン記憶部105 からシーン
初期データがデータ送信部に出力されてその伝送データ
が遠隔情報受信装置1302に送信され、カメラ122 から出
力される動画像データが画像符号化部103 、動体検出部
104 および動体同定部1321に入力される。

【０１５９】動体検出部104 では、動画像データに基づ
いてブロック毎の動きベクトルが検出され、これが画像
符号化部103 および動体同定部1421に出力される。さら
に動体検出部104 にて動体データが算出されて、算出さ
れた動体データが動体同定部1321およびデータ送信部13
22に入力される。

【０１６０】画像符号化部103 は、入力される動画像デ
ータと動きベクトルとに基づいて符号化ストリームを計
算し、これをデータ送信部1322に出力する。データ送信
部1422は、画像符号化部103 より符号化ストリームを入
力すると、これを伝送データとしてデータ受信部1323に
送信し、また、動体検出部104 より動体データを入力す
ると、これを伝送データとしてデータ受信部1323に送信
する。また、データ送信部1322は、動体同定部1321より
動体同定結果を入力すると、これを伝送データとしてデ
ータ受信部1323に送信する。

【０１６１】動体同定部1321では、動体検出部104 から
出力される動体データと、カメラ122 から出力される動
画像データとに基づいて、検出された動体の種類を推定
し、その結果を動体同定結果としてデータ送信部1322に
出力する。

【０１６２】以上の動作により、第８の実施例の遠隔情
報送信装置1301は、動作開始時にはシーン初期データを
遠隔情報受信装置1302に送信し、それ以降は、魚眼レン
ズ付きのカメラ122 の動画像データを符号化して遠隔情
報受信装置1302に送信し、さらに、動体が検出された場
合に、動体データおよび動体同定結果を遠隔情報受信装
置1302に送信する。

【０１６３】次に遠隔情報受信装置1302の動作を説明す
ると、まず、受信した伝送データがシーン初期データで
ある場合(A) には図１に示した実施例と同様の動作が行
われる。

【０１６４】また、受信した伝送データが符号化ストリ
ームである場合(B) 動体を含まない画像データについて
は、図１に示した第１の実施例と同じ動作をする。ま
た、画像データに動体が含まれている動体フレームであ
るとき、動体同定結果がオーディオデータ記憶部1324に
入力され、動体同定結果に応じたオーディオデータがス
ピーカ1125に出力される。伝送されたフレームが動体フ
レームであるか否かは、たとえば符号化ストリームを復
号した際、それに含まれる動きベクトルに基づいて判定
する。具体的には、各フレームにおける動きベクトルの
分散値を演算してその演算結果の値に応じて値が大きい
場合にそのフレームを動体フレームであると判断する。
この場合、フレームに動体が含まれていない場合には演
算結果は０に近い値となって、動体を含まないフレーム
を判断することができる。

【０１６５】オーディオデータ記憶部1324には、動体同
定部1321に格納されているのと同じ監視対象物の内容を
示す音声データが予め格納されている。動体同定結果に
含まれる同定類似度が所定の閾値を上回るとき、オーデ
ィオデータ記憶部1324から同定カテゴリを示すオーディ
オデータが読み出され、D/A 変換処理を受けてスピーカ
1125に出力される。該類似度が所定の閾値を下回る場合
には、同定不可能であることを示すオーディオデータを
オーディオデータ記憶部1324に予め格納しておくことに
より読み出し、これをD/A 変換してスピーカ1125に出力
する。伝送データが動体データである場合(C) は前記第
１の実施例と同様の動作が行われる。

【０１６６】以上説明したように本実施例では、動領域
の内容を推定し、推定結果、信頼度に基づく結果を受信
装置側でオーディオデータとして支援情報として出力す
る構成とした。受信装置側のオペレータは、監視が必要
なタイミングでオーディオ信号により入力画像の内容を
示す情報として監視支援を受けることができ、常にモニ
タを目視する負担が軽減される。したがって目視監視業
務に占有されることなく、必要な監視業務を遂行でき
る。よって、動領域同定機能によりユーザの負担を軽減
できる高性能な遠隔監視装置が提供される。

【０１６７】次に図15を参照して遠隔情報監視装置の第
９の実施例を説明する。同図には、遠隔情報送信装置15
01と、遠隔情報受信装置1502とを含む遠隔情報監視装置
が示され、これらは、たとえばISDN等の通信網にて接続
される。

【０１６８】本実施例における遠隔情報送信装置1501
は、監視カメラ122 と、画像符号化部103 と、動体検出
部104 と、シーン記憶部105 と、データ送信部106 とを
含み、これらは図１に示した実施例における遠隔情報送
信装置101 と同様の構成でよいのでその詳細説明を省略
する。また、遠隔情報受信装置1502は、データ受信部15
21と、画像復号部108 と、座標変換部109 と、シーン合
成部110 と、モニタ111と、動体同定部1421と、オーデ
ィオデータ記憶部1324と、スピーカ1125とを含む。

【０１６９】遠隔情報受信装置1502のデータ受信部1521
は、遠隔情報送信装置1501から送信される伝送データを
受信して、その受信データに応じて、符号化ストリーム
を画像復号部108 および動体同定部1421に出力し、シー
ンデータをシーン合成部110に出力する。

【０１７０】画像復号部108 は、データ受信部1323より
出力される符号化ストリームを復号し、その復号結果の
復号データを座標変換部109 および動体同定部1421に出
力する。画像復号部108 は、復号した符号化ストリーム
のフレームが動体フレームであるか否かを判断する機能
を有し、その判断結果を動体同定部1421に通知する。

【０１７１】動体同定部1421は、画像データが動体フレ
ームであると判断されると、データ受信部1521から動体
データを入力した後復号した動画像データを併せて入力
し、図13に示した第８の実施例における動体同定部1321
と同様にして動体同定結果を得る。動体同定部1421は、
動体同定結果をオーディオデータ記憶部1324に出力す
る。

【０１７２】オーディオデータ記憶部1324には、動体同
定部1421に格納されているのと同じ監視対象物の内容を
示す音声データがあらかじめ格納されている。動体同定
部1421から供給される動体同定結果に含まれる同定類似
度が所定の閾値を上回るとき、オーディオデータ記憶部
1324は、同定カテゴリを示すオーディオデータを読み出
し、これをD/A 変換してオーディオ信号をスピーカ1125
に出力する。該類似度が所定の閾値を下回る場合には、
オーディオデータ記憶部1324は、同定不可能であること
を示すオーディオデータを読み出してD/A 変換後スピー
カ1125に出力する。このようにオーディオデータ記憶部
1324は、動体同定部1421より動体同定結果を入力し、該
入力時刻に同期して、予め格納された複数種類のオーデ
ィオデータの中から動体同定結果を参照し、１種類のオ
ーディオデータを選択して読み出し、そのオーディオ信
号を出力する。座標変換部109 およびシーン合成部110
は、図１に示した同一の参照符号の各構成と同じ構成で
よい。

【０１７３】以上のような構成で、第９の実施例におけ
る遠隔情報受信装置1502の動作を説明１する。なお、遠
隔情報送信装置1501の動作については前述の第１の実施
例における遠隔情報送信装置101 の動作と同じ動作でよ
いのでその説明を省略する。遠隔情報受信装置1402のデ
ータ受信部1423にて受信される伝送データがシーン初期
データである場合(A) と、伝送データが動体データであ
る場合(C) は、前述の第１の実施例における遠隔情報受
信装置と同様の動作が行われる。

【０１７４】次に、伝送データが符号化ストリームであ
る場合(B) について説明すると、画像復号部108 、座標
変換部109 およびシーン合成部110 は、第１の実施例と
同じ動作でよい。とくに、受信した符号化ストリームを
復号した動画像データが動体フレームであるとき、動体
同定部1421に動体データが入力された後、図13に示した
第８の実施例におけるで説明した方法と同様に、画像復
号部108 から出力される画像データを併せて動体同定部
1421に入力して、動体同定結果をオーディオデータ記憶
部1324に送る。この結果、オーディオデータ記憶部1324
では、動体同定結果に含まれる同定類似度が所定の閾値
を上回るときには同定カテゴリを示すオーディオデータ
を読み出し、また、該類似度が所定の閾値を下回るとき
には同定不可能であることを示すオーディオデータを読
み出す。読み出されたデータはアナログのオーディオ信
号に変換されてスピーカ1125に出力される。

【０１７５】このように本実施例では、動領域の内容を
推定し、推定結果、信頼度に基づく結果を受信装置側で
求めて、オーディオデータによる支援情報を出力する構
成とした。受信装置側のオペレータは、監視が必要なタ
イミングで出力されるオーディオ信号によって入力画像
の内容を示す情報が得られ、監視支援を受けることがで
き、このため常にモニタを目視する負担が軽減する。こ
の結果、目視監視業務のみに占有されることなく他に必
要な監視業務を遂行できる。本実施例のシステムでは、
動体同定部を受信側に備えることにより、送信側と受信
側との処理量がバランスよくとられる。すなわち、送信
側の画像符号化処理量は受信側の画像復号処理量の数倍
であるが、動体同定部を受信側に置くことにより送信側
の処理量増加を防止した監視システムが構築される。よ
って、動領域の同定機能により監視者の負担を軽減でき
る高性能な遠隔監視装置が提供される。

【０１７６】

【発明の効果】このように本発明によれば、監視対象空
間全体の状況をグラフィクス表示し、さらに動体の動画
表示を行う組み合わせにより、遠隔地の等の監視地点で
の異常発生状況および異常発生箇所を、受信装置側の監
視者が直感的に把握することができる。このため、監視
対象の広い範囲内における異常が即座に認識され、非常
時における対応がとりやすい。また、モニタ表示を集中
して、長時間見つめている必要がなく、遠隔監視業務を
行う監視者の負担が軽減される。

【０１７７】このように、本発明は、監視対象空間内で
の異常発生の状況が直観的に把握できるという優れたユ
ーザインタフェースが提供される。

【図面の簡単な説明】

【図１】本発明が適用された第１の実施例における遠隔
監視装置のブロック図である。

【図２】監視カメラの投影動作を説明する概念図であ
る。

【図３】座標変換部の動作を説明する概念図である。

【図４】動きベクトルの検出方法を説明する図である。

【図５】シーン合成部による表示例を示す図である。

【図６】遠隔監視装置の第２の実施例を示すブロック図
である。

【図７】シーン更新部の動作を説明する図である。

【図８】遠隔監視装置の第３の実施例を示すブロック図
である。

【図９】遠隔監視装置の第４の実施例を示すブロック図
である。

【図１０】遠隔監視装置の第５の実施例を示すブロック
図である。

【図１１】遠隔監視装置の第６の実施例を示すブロック
図である。

【図１２】遠隔監視装置の第７の実施例を示すブロック
図である。

【図１３】遠隔監視装置の第８の実施例を示すブロック
図である。

【図１４】動体同定部の動作を説明する図である。

【図１５】遠隔監視装置の第９の実施例を示すブロック
図である。

【符号の説明】

101 遠隔情報送信装置 102 遠隔情報受信装置 103 画像符号化部 104 動体検出部 105 シーン記憶部 106 データ送信部 107 データ受信部 108 画像復号部 109 座標変換部 110 シーン合成部 111 モニタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C054 CF06 CG05 DA01 DA09 EA03 EG01 EG06 EH00 EH07 FC12 FC13 FD00 FD03 FE14 GB14 GB16 GD05 HA18 5C059 KK00 MA00 NN01 NN28 PP00 PP01 PP04 PP12 PP13 PP19 RA01 RC00 RC11 RC16 SS06 TA36 TC12 TC31 TD11 UA38

Claims (40)

【特許請求の範囲】
1. 【請求項１】 監視対象の情報を伝送路を介して接続さ
   れる受信装置に送信する送信装置と、該送信装置からの
   情報を受信して前記監視対象の情報を出力する前記受信
   装置とにより、前記監視対象の状況を監視する遠隔監視
   装置において、 前記送信装置は、３次元実空間を撮像する撮像手段にて
   生成される画像データに基づいて、前記監視対象の３次
   元実空間における動体を検出し、該動体に応じた動体情
   報を出力する動体検出手段と、 前記画像データを符号化し、符号化された符号化データ
   を出力する第１の符号化手段と、 前記符号化データおよび前記動体情報を伝送データに変
   換して、該伝送データを前記伝送路を介して前記受信装
   置に伝送する情報送信手段とを含み、 前記受信装置は、前記情報送信手段から送信される伝送
   データを受信し、該伝送データに応じて前記符号化デー
   タおよび前記動体情報を、対応する出力先に出力する情
   報受信手段と、 前記符号化データを復号する復号手段と、 前記３次元実空間をモデル化したモデルデータおよび更
   新されたモデルデータを再生し、該モデルデータに応じ
   たグラフィック画像と、前記画像データに応じた画像を
   表示手段に表示させる再生手段とを含むことを特徴とす
   る遠隔監視装置。
2. 【請求項２】 請求項１に記載の遠隔監視装置におい
   て、前記動体検出手段は、前記画像データの表す２次元
   画像中より動体を検出し、該２次元画像における動体の
   存在範囲を示す位置情報を含む動体情報を出力し、 前記再生手段は、前記動体情報に基づいて前記動体の３
   次元構造を計算して、前記３次元実空間のモデルデータ
   に前記動体を表すオブジェクトを付加して再生すること
   を特徴とする遠隔監視装置。
3. 【請求項３】 請求項２に記載の遠隔監視装置におい
   て、前記動体情報は前記動体の大きさ情報を含み、前記
   再生手段は、該動体情報に応じて前記動体の存在範囲を
   示すオブジェクトの大きさを変化させることを特徴とす
   る遠隔監視装置。
4. 【請求項４】 請求項２に記載の遠隔監視装置におい
   て、前記動体情報は前記動体の領域情報を含み、前記再
   生手段は、該動体情報に応じて前記動体の存在範囲を示
   すオブジェクトの形状を変化させることを特徴とする遠
   隔監視装置。
5. 【請求項５】 請求項１に記載の遠隔監視装置におい
   て、前記送信装置は、前記モデルデータを記憶するモデ
   ルデータ記憶手段と、 該モデルデータ記憶手段の記憶情報を前記動体検出部か
   らの情報に基づいて更新させるモデルデータ更新手段と
   を含み、 該モデルデータ更新手段は、前記動体検出手段にて検出
   される動体情報に基づいて前記モデルデータを更新する
   とともに、該動体の３次元配置を推定して該推定結果を
   前記動体情報として出力し、 前記再生手段は、前記動体情報に基づいて、前記モデル
   データに動体のオブジェクトを付加して再生することを
   特徴とする遠隔監視装置。
6. 【請求項６】 請求項１ないし４のいずれかに記載の遠
   隔監視装置において、前記送信装置は、前記画像データ
   を高品質に符号化する第２の符号化手段と、該第２の符
   号化手段にて符号化された符号化データを記憶するデー
   タ記憶手段とを含み、該データ記憶手段は、前記受信装
   置からの要求を受け取るかもしくは前記動体検出手段に
   て動体が検出されると、記憶した前記符号化データを読
   み出して前記情報送信手段に供給し、 該情報送信手段は、前記データ記憶手段から読み出され
   た符号化データを前記受信装置に送信することを特徴と
   する遠隔監視装置。
7. 【請求項７】 請求項６に記載の遠隔監視装置におい
   て、前記データ記憶手段は、前記動体情報を前記符号化
   データとともに記憶して、前記符号化データを読み出す
   際に前記動体データとともに読み出して前記情報送信手
   段に供給し、該情報送信手段は、該データ記憶手段から
   読み出された符号化データおよび動体情報を前記受信装
   置に送信することを特徴とする遠隔監視装置。
8. 【請求項８】 請求項６または７に記載の遠隔監視装置
   において、前記第１の符号化手段は、前記画像データの
   フレームを一定間隔ごとに間引きして、間欠的な画像フ
   レームを前記情報送信手段に出力して送信させることを
   特徴とする遠隔監視装置。
9. 【請求項９】 請求項１ないし５のいずれかに記載の遠
   隔監視装置において、前記受信装置は、前記動体情報に
   基づいて、前記第１の符号化手段における符号化を制御
   するためのパラメータを計算して前記送信装置に通知す
   る符号化パラメータ送信手段を備え、前記第１の符号化
   手段は、前記受信装置から送信されるパラメータに基づ
   いて符号化の品質制御を行うことを特徴とする遠隔監視
   装置。
10. 【請求項１０】 請求項１ないし９のいずれかに記載の
    遠隔監視装置において、前記再生手段は、前記復号手段
    にて復号された２次元画像中に、前記動体情報に応じた
    動体を指示するマーカを合成して表示させることを特徴
    とする遠隔監視装置。
11. 【請求項１１】 請求項１ないし１０のいずれかに記載
    の遠隔監視装置において、前記画像データは、前記撮像
    手段のレンズによって、広い画角の３次元空間を歪曲し
    て２次元平面に撮像した画像データであり、 前記再生手段は、前記２次元画像を再生する際、前記レ
    ンズにより歪曲された投影変換の歪曲特性を解除するこ
    とを特徴とする遠隔監視装置。
12. 【請求項１２】 請求項１ないし１０のいずれかに記載
    の遠隔監視装置において、前記動体検出手段は、前記動
    体が検出されない場合に、前記撮像手段の撮像方向を自
    動的に変更させることを特徴とする遠隔監視装置。
13. 【請求項１３】 請求項１ないし１２のいずれかに記載
    の遠隔監視装置において、前記送信装置は、監視対象に
    応じて複数が配置され、各送信装置に割り当てられた識
    別情報を前記伝送データに付加して送信し、 前記受信装置の情報受信手段は、該複数の送信装置から
    の伝送データを受信し、該受信装置は、前記複数の送信
    装置のいずれかを前記識別情報により選択する選択情報
    を出力する選択手段を含み、 前記送信装置の第１の符号化手段は、前記選択情報に応
    動して該送信装置における前記画像データを符号化する
    ことを特徴とする遠隔監視装置。
14. 【請求項１４】 請求項１３に記載の遠隔監視装置にお
    いて、前記選択情報は、前記動体に関する位置情報を含
    み、前記第１の符号化手段は、前記位置情報に応じた画
    像品質となる符号化処理を行うことを特徴とする遠隔監
    視装置。
15. 【請求項１５】 請求項１３に記載の遠隔監視装置にお
    いて、前記送信装置は、監視対象に応じて複数が配置さ
    れ、各送信装置に割り当てられた識別情報を前記伝送デ
    ータに付加して送信し、 前記情報受信手段は、該複数の送信装置から送信される
    伝送データを受信し、 前記受信装置は、前記伝送データのうち符号化データ
    を、前記動体情報に応じて選択的に前記復号手段に供給
    して該復号手段における処理量を制御することを特徴と
    する遠隔監視装置。
16. 【請求項１６】 請求項１ないし１５のいずれかに記載
    の遠隔監視装置において、前記送信装置は、前記動体の
    状態に応じた音声データを記憶する第１の音声記憶手段
    であって、前記動体情報に応じた音声データを読み出し
    て出力する第１の音声記憶手段を含み、 前記情報送信手段は、前記第１の音声記憶手段から読み
    出される音声データを送信し、 前記情報受信手段は、前記音声データを復号して該音声
    データの表す音声を出力することを特徴とする遠隔監視
    装置。
17. 【請求項１７】 請求項１ないし１５のいずれかに記載
    の遠隔監視装置において、前記受信装置は、動体の状態
    に応じた音声データを記憶する第２の音声記憶手段であ
    って、前記情報受信手段にて受信される動体情報に応じ
    た音声データを読み出して出力する第２の音声データ記
    憶手段を含むことを特徴とする遠隔監視装置。
18. 【請求項１８】 請求項１に記載の遠隔監視装置におい
    て、前記送信装置は、前記画像データと前記動体情報と
    に基づいて、前記動体の種類を推定する第１の動体同定
    手段であって、前記動体の種類を複数の参照データとの
    類似度に応じて推定する同定結果を出力する第１の動体
    同定手段を含み、 前記情報送信手段は、前記同定結果を前記受信装置に送
    信し、 前記受信手段は、前記同定結果に応じた情報を出力する
    ことを特徴とする遠隔監視装置。
19. 【請求項１９】 請求項１に記載の遠隔監視装置におい
    て、前記受信装置は、前記復号手段にて復号される画像
    データと、前記情報受信手段にて受信される動体情報と
    に基づいて、前記動体の種類を推定する第２の動体同定
    手段であって、前記動体の種類を複数の参照データとの
    類似度に応じて推定する同定結果を出力する第２の動体
    同定手段を含み、該同定結果に応じた情報を出力するこ
    とを特徴とする遠隔監視装置。
20. 【請求項２０】 監視センタの設置場所より遠隔地に、
    監視対象を撮像するカメラを設置し、該遠隔地側から該
    監視対象の状況を伝送路を介して前記監視センタに送信
    し、該監視センタにて監視する遠隔監視方法において、 遠隔地側から、前記監視対象の３次元実空間を２次元画
    像に変換して符号化し前記監視センタに伝送するととも
    に、前記３次元実空間中の動体を検出して該動体の動体
    情報を前記監視センタに伝送し、 前記監視センタは、符号化された２次元画像を復号して
    再生し、前記動体情報に基づいて、前記３次元実空間の
    モデルデータを更新して再生することを特徴とする遠隔
    監視方法。
21. 【請求項２１】 請求項２０に記載の遠隔監視方法にお
    いて、前記遠隔地側にて、前記２次元画像中より動体を
    検出し、該２次元画像中の前記動体の位置、大きさ、領
    域のいずれかを含む動体情報を前記監視センタに伝送
    し、 該監視センタにて受信される前記動体情報に基づいて前
    記動体の３次元構造を推定し、３前記次元実空間のモデ
    ルデータに該動体を表すオブジェクトを付加して再生す
    ることを特徴とする遠隔監視方法。
22. 【請求項２２】 請求項２０に記載の遠隔監視方法にお
    いて、前記遠隔地側にて、前記２次元画像中より動体を
    検出し、該動体の３次元構造を推定して動体情報として
    前記監視センタに伝送し、 監視センタにて受信される動体情報に基づいて前記３次
    元実空間のモデルデータに前記動体を表すオブジェクト
    を付加して再生することを特徴とする遠隔監視方法。
23. 【請求項２３】 請求項２０ないし２２のいずれかに記
    載の遠隔監視方法において、 前記遠隔地から２次元画像を符号化して伝送するととも
    に、これとは別に２次元画像をより高品質に符号化して
    該符号化データを該遠隔地側にて記憶し、該遠隔地にて
    動体が検出された場合もしくは前記監視センタからの要
    求があった場合に前記記憶した符号化データを前記監視
    センタに伝送することを特徴とする遠隔監視方法。
24. 【請求項２４】 請求項２０ないし２２のいずれかに記
    載の遠隔監視方法において、 前記遠隔地から２次元画像を符号化して伝送するととも
    に、これとは別に２次元画像をより高品質に符号化して
    該符号化データと前記動体情報とを該遠隔地側にて記憶
    し、該遠隔地にて動体が検出された場合もしくは前記監
    視センタからの要求があった場合に前記記憶した符号化
    データと動体情報とを前記監視センタに伝送することを
    特徴とする遠隔監視方法。
25. 【請求項２５】 請求項２０ないし２３のいずれかに記
    載の遠隔監視方法において、前記監視センタ側にて、前
    記遠隔地側から送信される動体情報に基づいて、該遠隔
    地側にて符号化処理する際の符号化制御情報を計算し、
    該計算結果を該遠隔地側に通知し、該遠隔地側は、前記
    ２次元画像を符号化する際、該通知される符号化制御情
    報に基づいて符号化品質を制御することを特徴とする遠
    隔監視方法。
26. 【請求項２６】 請求項２０ないし２５のいずれかに記
    載の遠隔監視方法において、前記監視センタは、前記動
    体を示すマーカを前記動体情報に基づいて前記復号した
    ２次元画像に合成して再生することを特徴とする遠隔監
    視方法。
27. 【請求項２７】 請求項２０ないし２６のいずれかに記
    載の遠隔監視方法において、 前記遠隔地側の前記カメラのレンズによって前記３次元
    実空間を２次元画像に投影変換する際、広い画角の３次
    元空間を歪曲して２次元平面に撮像し、前記監視センタ
    は、前記２次元画像を再生する際、前記歪曲された投影
    変換の歪曲特性を解除することを特徴とする遠隔監視方
    法。
28. 【請求項２８】 請求項２７に記載の遠隔監視方法にお
    いて、前記監視センタは、前記２次元画像を再生する
    際、前記３次元空間中の部分領域にて前記動体が検出さ
    れない場合、前記部分領域を移動させて、該移動された
    部分領域の２次元画像を再生することを特徴とする遠隔
    監視方法。
29. 【請求項２９】 送信装置と、受信装置とが伝送路を介
    して接続され、前記送信装置の撮像手段にて撮像した画
    像を受信装置にて監視する遠隔監視システムにおいて、 前記送信装置は、画像データを入力して前記受信装置へ
    送信する第１の送信手段と、 前記入力画像に監視対象領域が存在することを判定し前
    記受信装置へ送信する第２の送信手段とを備え、 前記受信装置は、前記送信装置から送信される画像デー
    タに応じた画像を表示する表示手段と、 前記画像データのフレームに前記対象領域が存在すると
    き、該対象領域の状態を監視支援データとして該受信装
    置の操作者に示す手段を備え、 前記遠隔送信装置または前記遠隔受信装置に、前記対象
    領域の状態を求める手段を備えることを特徴とする遠隔
    監視システム。
30. 【請求項３０】 請求項２９に記載の遠隔監視システム
    において、前記受信装置における画像データ表示は、前
    記対象領域が入力されている画像については高画質表示
    を行い、前記対象領域が入力されていない画像について
    は低画質表示を行うことを特徴とする遠隔監視システ
    ム。
31. 【請求項３１】 請求項２９に記載の遠隔監視システム
    において、前記対象領域が入力されているとき、該対象
    領域の状態に応じた音声信号を前記受信装置から出力す
    ることを特徴とする遠隔監視システム。
32. 【請求項３２】 請求項３１に記載の遠隔監視システム
    において、前記出力される音声信号は前記送信装置に記
    憶されている音声データに基づいて生成され、該送信装
    置は、前記対象領域の状態を判定する判定結果に応じた
    音声データを前記受信装置に送信し、該受信装置は、前
    記音声データに応じた音声信号を出力することを特徴と
    する遠隔監視システム。
33. 【請求項３３】 請求項３１に記載の遠隔監視システム
    において、前記出力される音声信号は前記受信装置に記
    憶されている音声データに基づいて生成され、該受信装
    置は、前記対象領域の状態を判定する判定結果に応じた
    音声データを読み出して、該音声データに応じた音声信
    号を出力することを特徴とする遠隔監視システム。
34. 【請求項３４】 請求項３１ないし３３のいずれかに記
    載の遠隔監視システムにおいて、入力画像の動領域と、
    予め格納されている所定の監視対象画像の標準的な参照
    データと間の類似度を算出して前記対象領域の状態を求
    めることを特徴とする遠隔監視システム。
35. 【請求項３５】 送信装置と受信装置とが伝送路を介し
    て接続され、前記送信装置の撮像手段にて撮像した画像
    を受信装置にて監視する遠隔監視方法において、 前記送信装置から前記受信装置に画像データを送信し、
    前記入力画像に監視対象領域が存在することを判定する
    と該判定結果を前記遠隔受信装置に送信し、 前記受信装置は、前記画像データを受信して該画像デー
    タに応じた画像を表示し、該画像データが遠隔監視対象
    の存在するフレームであるとき、検出された対象領域の
    状態を監視支援データとして該受信装置の操作者に示
    し、 前記送信装置または前記受信装置は、前記対象領域の状
    態を求めることを特徴とする遠隔監視方法。
36. 【請求項３６】 請求項３５に記載の遠隔監視方法にお
    いて、前記受信装置における画像表示は、前記対象領域
    が入力されている画像については高画質表示を行い、前
    記対象領域が入力されていない画像については低画質表
    示を行うことを特徴とする遠隔監視方法。
37. 【請求項３７】 請求項３５に記載の遠隔監視方法にお
    いて、前記対象領域が入力されているとき、該対象領域
    の状態に応じた音声信号を前記遠隔受信装置から出力す
    ることを特徴とする遠隔監視方法。
38. 【請求項３８】 請求項３５に記載の遠隔監視方法にお
    いて、前記出力される音声信号は前記送信装置に記憶さ
    れている音声データに基づいて生成され、該送信装置
    は、前記対象領域の状態を判定する判定結果に応じた音
    声データを前記受信装置に送信し、該受信装置は、前記
    音声データに応じた音声信号を出力することを特徴とす
    る遠隔監視方法。
39. 【請求項３９】 請求項３５に記載の遠隔監視方法にお
    いて、前記出力される音声信号は前記受信装置に記憶さ
    れている音声データに基づいて生成され、該受信装置
    は、前記対象領域の状態を判定する判定結果に応じた音
    声データを読み出して、該音声データに応じた音声信号
    を出力することを特徴とする遠隔監視方法。
40. 【請求項４０】 請求項３７ないし３９のいずれかに記
    載の遠隔監視方法において、入力画像の動領域と、予め
    格納されている所定の監視対象画像の標準的な参照デー
    タとの間の類似度を算出して前記対象領域の状態を求め
    ることを特徴とする遠隔監視方法。