JPH06339056A - ビデオカメラ駆動装置 - Google Patents

Abstract

(57)【要約】 【目的】 赤外線カメラ等の熱感知センサ等を必要とせ
ずに、被写体を自動追尾することができるビデオカメラ
駆動装置を提供する。 【構成】 発言者表示モニタ５に表示されている映像の
一部（例えば、発言者の顔の一部）を注目領域として指
定すると、この領域の動きベクトルが領域固有ベクトル
として算出され、これを示す領域固有ベクトル情報Ｓ１
４が制御角演算部１５に供給される。これにより、領域
固有ベクトル情報Ｓ１４がカメラ固定台の水平方向およ
び垂直方向の角度を示す角度ベクトル情報Ｓ１５に変換
される。次に、カメラ固定台駆動部３は、カメラ固定台
の水平方向および垂直方向の角度を、各々角度ベクトル
情報Ｓ１５に従って変化させる。その結果、ビデオカメ
ラ４の角度が発言者の動きに追従して制御され、発言者
の映像がモニタ５の中央に表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、テレビ会議
システムにおいて、発言者が、常時、モニタ上の所定位
置に表示されるように、この発言者の動きに合わせてビ
デオカメラを駆動するビデオカメラ駆動装置に関する。

【０００２】

【従来の技術】近年、ビデオカメラによって発言者を撮
影し、その映像を通信ネットワークを介して会議の相手
先に伝送するシステム、いわゆるテレビ会議システムが
種々開発されている。このテレビ会議システムにおいて
は、発言者が、常に、モニタの所定位置に表示されるよ
うにすることが望まれる。

【０００３】この要望に応えるためには、発言者の動き
に合わせて、ビデオカメラを駆動する装置が必要とな
る。このビデオカメラ駆動装置としては、従来、特開平
４−１０３２８５号に記載されるような装置が開発され
ている。この装置は、同一対象を撮影する赤外線カメラ
とビデオカメラとを一体にし、赤外線カメラが捉えた発
言者の熱に基づいて、両カメラの水平方向および垂直方
向の角度を制御するようになっており、詳しくは、以下
のような機能を有している。

【０００４】まず、発言者の発する熱を赤外線カメラで
捉え、その熱の高低を所定ブロック数のます目状キャラ
クタに変換し、これを標準のキャラクタと比較する。こ
の標準キャラクタは、発言者の映像が、例えば、テレビ
モニタの中心になった状態を想定して設定されている。
そして、赤外線カメラの出力信号に基づくキャラクタが
標準キャラクタに近づくように、赤外線カメラの角度を
調整する。

【０００５】

【発明が解決しようとする課題】このような構成によれ
ば、赤外線カメラと一体になっているビデオカメラの角
度も、発言者の動きに追随して補正され、発言者の映像
が、常時、テレビモニタの中央に表示される。

【０００６】しかしながら、このような構成では、赤外
線カメラを使って被写体の動きを検出しなければならな
いため、装置が大規模になり、高価になってしまうとい
う問題があった。

【０００７】この発明は、上述した課題を解決するため
になされたもので、赤外線カメラを必要とせず、小型化
かつ低廉化を図ることができるビデオカメラ駆動装置を
提供することを目的としている。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、この発明は、モニタに表示された被写体の所定の領
域を指定する領域指定手段と、この領域指定手段により
指定された領域の動きベクトルを算出する動きベクトル
算出手段と、この動きベクトル算出手段により算出され
た動きベクトルに基づいて、被写体がモニタ上の所定位
置に表示されるように、ビデオカメラを駆動するカメラ
駆動手段とを設けるようにしたものである。

【０００９】

【作用】上記構成においては、まず、領域指定手段によ
り、モニタに表示された被写体の所定の領域が指定され
る。この指定がなされると、動きベクトル算出手段によ
り、上記指定領域の動きベクトルが逐次算出される。そ
して、この算出出力の基づいて、ビデオカメラが駆動さ
れる。これにより、ビデオカメラの角度が被写体の動き
に合わせて補正され、被写体が、常時、モニタの所定位
置、例えば、中央に表示される。

【００１０】

【実施例】

Ａ：実施例の構成 以下、図面を参照してこの発明の実施例について説明す
る。

【００１１】図１は、本発明の一実施例の構成を示すブ
ロック図である。なお、この実施例は、本発明をテレビ
会議システムに適用した実施例である。

【００１２】図において、カメラ移動要求用スイッチ１
は、会議の各出席者の卓上の決められた位置に置かれて
おり、出席者によって操作されると、ビデオカメラ４の
移動要求を示すカメラ移動要求情報Ｓ１をカメラ移動要
求用制御角演算部２に送出する。

【００１３】カメラ移動要求用制御角演算部２は、カメ
ラ移動要求信号Ｓ１を受けると、カメラ移動要求用スイ
ッチ１の近傍を撮影するためのビデオカメラ４の角度を
示すカメラ移動要求用角度ベクトル情報Ｓ２をカメラ固
定台駆動部３に出力する。

【００１４】カメラ固定台駆動部３は、カメラ固定台
（図示略）を駆動するもので、このカメラ固定台にビデ
オカメラ４が取り付けられている。カメラ固定台駆動部
３は、カメラ移動要求用角度ベクトル情報Ｓ２または後
述する角度ベクトル情報Ｓ１５に基づいて、カメラ固定
台を駆動し、ビデオカメラ４の角度を制御する。ビデオ
カメラ４は被写体を撮影し、その画像信号を発言者表示
モニタ５および符号化部１６に出力する。

【００１５】符号化部１６は、ビデオカメラ４から供給
される画像信号に種々の処理を施し、ネットワークＮＴ
を介して会議の相手側発言者に転送するものであり、図
に破線で囲んだ部分の構成要素を有している。まず、Ａ
Ｄ変換部６は、ビデオカメラ４から供給される画像信号
をディジタル信号に変換し、この結果得られる画像デー
タを現フレームバッファ７に供給する。現フレームバッ
ファ７は、現時点における１フレーム分の画像データ
（以下、現画面データＳ７という）を蓄えるものであ
り、蓄えた現画面データＳ７を動きベクトル演算部９お
よびＤＣＴ・量子化部１０に供給する。動きベクトル演
算部９は、一つ前の再生画像データを記憶している前フ
レームバッファ８が出力する前画面再生データＳ８およ
び現フレームバッファ７が出力する現画面データＳ７に
基づいて、Ｍ×Ｍ画素からなるマクロブロックの動きベ
クトル情報Ｓ９を算出する。ＤＣＴ・量子化部１０は、
動きベクトル情報Ｓ９、現画面データＳ７および前画面
再生データＳ８に基づいて、所定の処理（詳細は後述）
を行い、その出力信号Ｓ１０をエントロピー符号化部１
１および逆量子化・ＩＤＣＴ部１２に供給する。逆量子
化・ＩＤＣＴ部１２は、ＤＣＴ・量子化部１０と逆の処
理を行うものであり、その処理結果は１画面分前の再生
画像データとなる。この逆量子化・ＩＤＴ部１２が出力
する画像データは前フレームバッファ８に蓄積される。
エントロピー符号化部１１は、信号の統計的な性質を利
用して情報圧縮を行うハフマンの符号化などを行い、そ
の出力信号は符号化画像データＳ１１として出力され
る。

【００１６】また、注目領域指定部１３は、発言者表示
モニタ５に表示された発言者の注目すべき領域を操作者
の操作に従って指定するものであり、指定された注目領
域を示す注目領域指定情報Ｓ１３を領域固有動きベクト
ル演算部１４に出力する。領域固有動きベクトル演算部
１４は、注目領域指定情報Ｓ１３と動きベクトル情報Ｓ
９に基づいて領域固有動きベクトル情報Ｓ１４を作成
し、制御角演算部１５に供給する。

【００１７】次に、復号化部１７は、会議の相手先から
ネットワークＮＴを介して供給される符号化データを復
調し、この結果得られる復調データを出力する。この復
調データは、ＤＡ変換部１８によってアナログ信号に変
換され、相手画像表示モニタ１９に供給される。相手画
像表示モニタは１９は、ＤＡ変換部１８から供給される
復調アナログ信号に基づいて、会議の相手の映像を映し
出す。

【００１８】Ｂ：実施例の動作 次に、上述した構成によるこの実施例の動作を説明す
る。

【００１９】まず、ある出席者が卓上に備え付けられて
いるカメラ移動要求スイッチ１を押すと、カメラ移動要
求情報Ｓ１がカメラ移動要求用制御角演算部２に伝えら
れる。カメラ移動要求制御角演算部２では、予め各カメ
ラ移動要求用スイッチ１に割り当てられた場所を記憶し
ており、その位置へビデオカメラの撮影箇所を移動させ
るべく、カメラ固定台の水平角および垂直角情報を含む
カメラ移動要求用角度ベクトル情報Ｓ２を出力する。カ
メラ固定台駆動部３は、カメラ移動要求用角度ベクトル
情報Ｓ２に従ってカメラ固定台の水平角および垂直角を
変化させる。これにより、ビデオカメラ４は、撮影対
象、例えば、カメラ移動要求用スイッチ１を押した発言
者の像を捉える。ビデオカメラ４で撮影した画像は、そ
の場で発言者表示モニタ５によって表示され、また、符
号化部１６によって情報圧縮された後に、ネットワーク
ＮＴを介して相手先に転送される。相手先では、転送さ
れた符号化データＳ１１を復号して再生する。

【００２０】次に、発言者表示モニタ５に表示されてい
る画像に対し、注目領域指定部１３により、注目領域の
指定を行う。この指定は、注目領域指定部１３に設けら
れているマウス等のポインティングデバイスによって行
い、例えば、図２に示すように、発言者の顔の一部など
を指定する。図において、Ｒは注目領域であり、Ｐは、
注目領域Ｒを指定するポインタである。

【００２１】注目領域指定部１３が出力する注目領域指
定情報Ｓ１３は、注目領域Ｒを一意的に表す情報として
作成される。例えば、注目領域Ｒを長方形で指定する場
合は、１つの頂点の水平座標および垂直座標と、水平お
よび垂直方向の各辺の長さを示す情報とする。

【００２２】（符号化部１６の動作）次に、符号化部１
６の処理内容について説明する。なお、この実施例にお
ける符号化部１６の符号化処理方法は、ＣＣＩＴＴ勧告
Ｈ．２６１に規定されている符号化方式等と同様であ
る。

【００２３】始めに、ビデオカメラ４から出力される画
像データは、ＡＤ変換部６においてディジタル信号に変
換された後に、現フレームバッファ７に格納される。動
きベクトル演算部９は、画像圧縮技術である動き補償予
測を行うために現画面データＳ７、前画面再生データＳ
８を用いてＭ×Ｍ画素（Ｍは正の整数）からなる各マク
ロブロックに対して、動きベクトルを検出する。

【００２４】この動きベクトルの検出は、次のようにし
てなされる。まず、図３に示すように、現フレーム画面
の各マクロブロックＭＢ１ごとに、前フレーム画面にお
いて、このマクロブロックＭＢ１と同じ位置にあるマク
ロブロックＭＢ２を囲む探索領域ＳＡを設定する。次
に、この探索領域ＳＡからマクロブロックと同じＭ×Ｍ
画素の大きさを持つマクロブロックＭＢ３を切り出す。
次に、このブロックＭＢ３のデータとマクロブロックＭ
Ｂ１のデータの類似度を算出する。以上の処理を、探索
領域ＳＡから切り出すことが可能なすべてのマクロブロ
ックＭＢ３について行ない、類似度が最も大きいマクロ
ブロックＭＢ３を検出する。最後に、この類似度が最も
大きいマクロブロックＭＢ３の位置とマクロブロックＭ
Ｂ２の位置との差を求める。この差がマクロブロックＭ
Ｂ１の動きベクトルｖである。

【００２５】ここで、動きベクトルｖの向きは、マクロ
ブロックＭＢ２から探索領域ＳＡ内の最大類似マクロブ
ロックＭＢ３に向いており、被写体の実際の動きとは逆
方向になっている。なお、動きベクトルｖの成分は、
「１」が画素１個分の距離を表すように定義されてい
る。

【００２６】以上のようにして、動きベクトル演算部９
からは、現フレーム画面の各マクロブロックＭＢ１の動
きベクトルｖが動きベクトル情報Ｓ９として出力され
る。そして、ＤＣＴ・量子化部１０は、動きベクトル情
報Ｓ９に基づき、現フレーム画面の各マクロブロックＭ
Ｂ１に対応する前フレーム再生画面のＭ×Ｍ画素領域
（マクロブロックＭＢ３）を、各マクロブロックＭＢ１
の動きベクトルｖと逆方向に動かした後に、この領域内
の画像データと現フレーム画面のマクロブロックＭＢ１
との濃度差分値を求める。そして、ＤＣＴ・量子化部１
０は、この差の大小に応じて、差分値自体をＤＣＴ（離
散コサイン変換）・量子化して出力するか、あるいは、
現フレーム画面のマクロブロックＭＢ１そのものをＤＣ
Ｔ・量子化して出力する。なお、離散コサイン変換は、
直交変換の一種であり、量子化は量子化ステップと呼ば
れる整数で割った商を求めることであり、どちらも符号
圧縮の基本的技術として一般的に用いられている。ま
た、前述の濃度差分値として出力されるマクロブロック
をinter マクロブロック、現画面そのものとして出力さ
れるマクロブロックをintra マクロブロックという。

【００２７】次に、エントロピー符号部１１では、信号
Ｓ１０に対し、統計的な性質を利用して情報圧縮を行
い、その出力を符号化画像データＳ１１として出力す
る。

【００２８】また、逆量子化・ＩＤＣＴ部１２は、ＤＣ
Ｔ・量子化部１０の出力信号Ｓ１０に対して、逆量子
化、および逆ＤＣＴなどの処理を行う。この場合、inte
r マクロブロック、intra マクロブロックの違いに応じ
た処理を行った後、前フレームバッファ８にその出力を
転送する。

【００２９】（領域固有ベクトル演算部１４の動作）次
に、領域固有ベクトル演算部１４の動作を説明する。Ｃ
ＣＩＴＴのＨ．２６１で規定されている符号化方式等で
は、前述したように、各マクロブロックＭＢ１に対して
の動きベクトルｖの算出が必須となる。そこで、領域固
有動きベクトル演算部１４では、符号化部１６内の動き
ベクトル演算部９で計算された各マクロブロックＭＢ１
に対する動きベクトル情報Ｓ９を用いて、前記注目領域
Ｒ固有の動きベクトルＶを算出するようにしている。

【００３０】すなわち、領域固有ベクトル演算部１４で
は、注目領域指定部１３が出力する注目領域指定情報Ｓ
１３と動きベクトル演算部９が出力する各マクロブロッ
クＭＢ１の動きベクトル情報Ｓ９を受け、次式から領域
固有動きベクトルＶを算出し、これを注目領域固有動き
ベクトル情報Ｓ１４として出力する。

【００３１】

【数１】 ここで、数１右辺の分子は、注目領域Ｒに含まれている
画素を含む各マクロブロック（以下、注目領域に属する
マクロブロックという）ＭＢ１（ｉ）（ｉ＝１〜Ｎ）の
動きベクトルｖｉと、そのマクロブロックＭＢ１（ｉ）
に含まれ、かつ、注目領域Ｒにも含まれる画素の数ｍｉ
との積を、注目領域Ｒに属している全てのマクロブロッ
クＭＢ１（１）〜ＭＢ１（Ｎ）について求め、その総和
をとったものである。また、数１右辺の分母は、注目領
域Ｒに属する各マクロブロックＭＢ１（ｉ）に含まれ、
かつ、注目領域Ｒに含まれる画素の数ｍｉを、注目領域
Ｒに属する全てのマクロブロックＭＢ１（１）〜ＭＢ１
（Ｎ）について総和したものである。

【００３２】したがって、数１右辺の分数は、注目領域
Ｒに属するマクロブロックＭＢ１（１）〜ＭＢ（Ｎ）の
平均的な動きベクトルｖを表すことになる。また、数１
右辺の負号は、動きベクトルの向きを反転するものであ
り、この結果、数１により求められた領域固有動きベク
トルＶは、注目領域Ｒの実際の動きを示すベクトルにな
る。すなわち、注目領域Ｒ内の撮影対象が領域固有ベク
トルＶの分だけ移動したことになる。

【００３３】そして、領域固有ベクトルＶを示す領域固
有ベクトル情報Ｓ１４は、制御角演算部１５に供給さ
れ、カメラ固定台の水平方向の角度および垂直方向の角
度を示す角度ベクトル情報Ｓ１５に変換される。この角
度ベクトル情報Ｓ１５は、次のようにして求められる。

【００３４】まず、カメラ固定台を水平旋回させたとき
に、モニタ上の中心に映る物体がモニタ上で１画素分だ
け移動したときの回転角をΦとする。そして、領域固有
ベクトルＶの水平成分がｍであれば、角度ベクトル情報
Ｓ１５の水平角成分をｍΦで近似する。垂直角成分も同
様にして計算される。

【００３５】次に、カメラ固定台駆動部３は、カメラ固
定台の水平方向および垂直方向の角度を、各々角度ベク
トル情報Ｓ１５の水平角成分および垂直角成分だけ変化
させる。これにより、ビデオカメラ４の撮影角度が発言
者の動きに合わせて補正され、注目領域Ｒに映っている
映像が、常に、モニタ（相手画像表示モニタ１９および
発言者表示モニタ５）のほぼ中央に位置決めされる。

【００３６】なお、新たにカメラ移動要求スイッチ１が
押され、これに応じてカメラ移動要求用角度ベクトル情
報Ｓ２が出力されると、カメラ固定台駆動部３は、カメ
ラ移動要求用角度ベクトル情報Ｓ２を優先させ、これに
応じてカメラ固定台を駆動する。したがって、角度ベク
トル情報Ｓ１５による制御が行われていても、カメラ移
動要求スイッチ１が押されると、そのカメラ移動要求ス
イッチ１について予め記憶されている撮影位置となるよ
うに、カメラ固定台が駆動される。この後、注目領域指
定部１３によって再び注目領域Ｒが設定されるまで、角
度ベクトル情報Ｓ１５は無視され、注目領域Ｒが設定さ
れると、再び、角度ベクトル情報Ｓ１５による制御がな
される。

【００３７】以上詳述したこの実施例によれば、動きベ
クトルを利用して、被写体の動きを検出するようになっ
ているので、赤外線カメラを利用して被写体の動きを検
出する構成に比べ、装置の小型化、低廉化を図ることが
できる。

【００３８】また、画像圧縮の際に必要とされるマクロ
ブロックＭＢ１の動きベクトルｖを利用して、注目領域
Ｒの領域固有動きベクトルＶを算出するようになってい
るので、領域固有動きベクトル演算部１４の構成を簡易
化することができる。

【００３９】さらに、注目領域Ｒに属するマクロブロッ
クＭＢ１（１）〜ＭＢ１（Ｎ）の動きベクトルｖｉ〜ｖ
Ｎに所定の平均化処理を施すことにより、領域固有動き
ベクトルＶを算出するようになっているので、精度の高
い領域固有動きベクトルＶを得ることができる。

【００４０】Ｃ：変形例 上述した実施例においては、注目領域Ｒの平均的な動
きベクトルｖを求め、この動きベクトルｖの逆向きのベ
クトルを領域固有動きベクトルＶとしたが、これに代え
て、例えば、注目領域Ｒの中心のマクロブロックＭＢ１
（ｉ）の動きベクトルｖｉを求めたり、あるいは、注目
領域Ｒに属する全マクロブロックＭＢ１（１）〜ＭＢ１
（Ｎ）の動きベクトルｖ１〜ｖＮのうち，最も数の多い
ものを求めるようにしてもよい。

【００４１】上述した実施例においては、角度ベクト
ル情報Ｓ１５は、画面毎に求められたが、これを複数画
面周期で求めるようにしてもよい。例えば、３０画面分
の角度ベクトルの和を角度ベクトル情報Ｓ１５として、
３０画面に１回出力するようにしてもよい。

【００４２】上述した実施例においては、画像圧縮の
際に必要とされるマクロブロックＭＢの動きベクトルｖ
を利用して注目領域の動きベクトルＶを計算するので、
テレビ会議システムの構成を共用できる利点があるが、
画像圧縮が本来備わっていないシステム等に本発明を適
用する場合は、同様の処理を行う部分を別途作成すれば
よい。

【００４３】上述した実施例においては、ビデオカメ
ラ４の角度を制御したが、ビデオカメラ４を前後、左
右、上下方向に移動させる制御を加えることもできる。

【００４４】

【発明の効果】以上説明したように、この発明によれ
ば、モニタ上に指定した領域の動きベクトルに基づいて
ビデオカメラを駆動するようにしたので、赤外線カメラ
のような特別なセンサを用いずに、発言者などの被写体
を自動追尾することができる。したがって、テレビ会議
システム等に用いて極めて好適であるとともに、装置を
小型化かつ低廉化することができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】同実施例における注目領域の設定を示す概略図
である。

【図３】同実施例における動きベクトルの算出過程を示
す概念図である。

【符号の説明】

１…カメラ移動要求用スイッチ、２…カメラ移動要求用
制御角演算部、３…カメラ固定台駆動部、４…ビデオカ
メラ、５…発言者表示モニタ、６…ＡＤ変換部、７…現
フレームバッファ、８…前フレームバッファ、９…動き
ベクトル演算部、１０…ＤＣＴ・量子化部、１１…エン
トロピー符号化部、１２…逆量子化・ＩＤＣＴ部、１３
…注目領域指定部、１４…領域固有ベクトル演算部、１
５…制御角演算部、１６…符号化部、１７…復号化部、
１８…ＤＡ変換部、１９…相手画像表示モニタ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 被写体がモニタ上の所定位置に表示され
   るように、この被写体の動きに合わせてビデオカメラを
   駆動するビデオカメラ駆動装置において、 前記モニタに表示された前記被写体の所定の領域を指定
   する領域指定手段と、 この領域指定手段により指定された領域の動きベクトル
   を算出する動きベクトル算出手段と、 この動きベクトル算出手段により算出された動きベクト
   ルに基づいて、前記被写体が前記モニタ上の所定位置に
   表示されるように、前記ビデオカメラを駆動するカメラ
   駆動手段とを具備したことを特徴とするビデオカメラ駆
   動装置。
2. 【請求項２】 前記動きベクトル算出手段は、 画面を所定のブロックに細分化し、各ブロックごとに動
   きベクトルを算出する第１の動きベクトル算出手段と、 この第１の動きベクトル算出手段により算出された動き
   ベクトルのうち、前記領域指定手段により指定された領
   域に存在する複数のブロックの動きベクトルに対して、
   所定の平均化処理を施すことにより、前記指定領域の動
   きベクトルを算出する第２の動きベクトル算出手段とを
   具備するように構成されていることを特徴とする請求項
   １記載のビデオカメラ駆動装置。