JPH10294890A

JPH10294890A - 自動／手動撮影カメラシステム

Info

Publication number: JPH10294890A
Application number: JP9103031A
Authority: JP
Inventors: Taiichiro Kato; 大一郎加藤; Mitsuo Yamada; 光▲穂▼ 山田; Kazuo Abe; 一雄阿部; Akio Ishikawa; 秋男石川; Takao Tsuda; 貴生津田; Junji Numazawa; 潤二沼澤; Takahito Suzuki; 尊人鈴木; Hiroyuki Okamoto; 浩幸岡本; Hiroyuki Kuwabara; 裕之桑原
Original assignee: OYO KEISOKU KENKYUSHO KK; Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: OYO KEISOKU KENKYUSHO KK; Japan Broadcasting Corp
Priority date: 1997-04-21
Filing date: 1997-04-21
Publication date: 1998-11-04

Abstract

(57)【要約】【課題】３次元空間内を移動する対象を自動追尾して
撮影することができると共に、人間系による修正を可能
として最適なカメラワークで撮影することができる自動
／手動撮影カメラシステムを提供する。【解決手段】カメラ操作者の視野に相当する広角画像
を撮影するセンサカメラと、外部制御信号により自動操
作が可能であると共に、手動による遠隔制御が可能な撮
影用カメラと、予め登録された色情報に基づいて前記セ
ンサカメラで撮影された広角画像内の静止体又は移動体
の中から撮影対象の被写体を認識すると共に、前記被写
体の３次元空間内の現在位置を逐次計測する３次元位置
計測部と、前記３次元位置計測部の計測情報に基づいて
前記被写体の３次元空間内の動きを解析する動き解析部
と、前記動き解析部で解析した被写体の動きおよび前記
遠隔制御で前記撮影用カメラを駆動制御するカメラワー
ク制御部とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビカメラを使
用して撮影した画像から対象の３次元位置を計測し、そ
の対象を自動追尾して無人で撮影することができると共
に、カメラマンの撮影技術をも加味して制御できるよう
にした自動／手動撮影カメラシステムに関する。

【０００２】

【従来の技術】従来、カメラ操作者が直接テレビジョン
カメラを操作せず、被写体を自動追尾して撮影すること
ができるようにしたカメラシステムでは、水平及び垂直
方向に回動可能で外部からの制御信号により制御可能な
撮影用カメラ（ロボットカメラ）を用い、被写体の動き
に合わせて撮影用カメラを駆動制御するようにしてい
る。被写体を認識する方法としては、例えば、被写体
（あるいは被写体と共に移動する物体）に予め検知マー
クを付けておき、撮影画像を処理してその検知マークを
認識する方法や、赤色など特定の色を被写体として認識
する方法が採られている。そして、認識した被写体が画
面の枠内の所定位置に位置するように撮影用カメラを駆
動制御することで、被写体を自動追尾して撮影するよう
にしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ような自動追尾方法の場合、次の例に示すように、画面
上での被写体の動きは“ぎこちない動き”となる。例え
ば図７に示すように被写体１が時点ｔ１から時点ｔ３ま
で同図のような軌跡で移動したとする。その場合、図８
（Ａ）に示すように、先ず時点ｔ１では、画面ＶＤ（ｔ
１）上の目標位置に被写体１が位置するように撮影用カ
メラの向きを補正する。その後、次の時点ｔ２までは同
図（Ｂ）のように被写体１が画面ＶＤ（ｔ１〜ｔ２）上
に表示される。次の時点ｔ２では、再度、同図（Ｃ）の
ように画面ＶＤ（ｔ２）上の目標位置に被写体１が位置
するように撮影用カメラの向きを補正する。同様に、図
８（Ｄ）のように被写体が動いた場合も、目標位置との
ずれ量を補正する。すなわち、被写体の位置が所定位置
からずれたら、そのずれ量を補正するという動作を繰り
返すため、認識間隔の大きさに応じてぎこちない動きが
増大する。また、円滑なカメラワークを実現するには被
写体の認識間隔を小さくすれば良いが、そのための情報
処理量が増えるため、制御装置の処理負荷が増大するこ
とになる。

【０００４】また、上述のような１台の撮影用カメラで
被写体を自動追尾するためには、カメラの画枠内に被写
体が存在しないと機能しないため、目的とする被写体が
カメラの画枠内に入ってきた時に、はじめて自動制御に
よるカメラ操作が開始されるようになっていた。そのた
め、カメラが被写体を捕らえるまでは手動でカメラ操作
を行なわなければならず、また、被写体の移動速度に追
いつけずに画枠内からはずれてしまった場合、自動追尾
不能になるという問題があった。

【０００５】一方、広い視野領域で撮影し、その領域の
一部を拡大して撮影できるようにしたカメラシステムと
して、広角画像撮影用とその画像の一部をなす画像撮影
用の２個のテレビジョンカメラを備え、前者の無人カメ
ラを用いて広い視野を撮影し、カメラ操作者がその撮影
画像を見ながら、後者の撮影用カメラを遠隔操作（例え
ばパンニング，チルティング，ズーム）等により操作し
て、目的とする被写体を撮影するようにしたカメラシス
テムが実現されている。かかるカメラシステムでは、無
人カメラによる撮影画像をモニターするときのカメラ操
作者の視線の動きを検出し、その動きを撮影用カメラの
操作信号に変換してカメラ制御に反映する機能を備える
ことで、直接カメラを操作せずに撮影するようにしてい
る（特開平７−２４０８６８号公報参照）。しかしなが
ら、このような撮影方法では、広い視野領域で被写体を
捕らえることができるという利点はあるが、カメラ操作
者が間接的に操作する必要があり、自動追尾による無人
での撮影を行なうことができなかった。

【０００６】本発明は上述のような事情からなされたも
のであり、本発明の目的は、３次元空間内を移動する対
象を自動追尾して撮影することができると共に、人間系
による修正を可能として最適なカメラワークで撮影する
ことができる自動／手動撮影カメラシステムを提供する
ことにある。

【０００７】

【課題を解決するための手段】本発明は、自動操作およ
び手動操作で撮影カメラを効率的に制御する自動／手動
撮影カメラシステムに関するものであり、本発明の上記
目的は、カメラ操作者の視野に相当する広角画像を撮影
するセンサカメラと、外部制御信号により自動操作が可
能であると共に、手動による遠隔制御が可能な撮影用カ
メラと、予め登録された色情報に基づいて前記センサカ
メラで撮影された広角画像内の静止体又は移動体の中か
ら撮影対象の被写体を認識すると共に、前記被写体の３
次元空間内の現在位置を逐次計測する３次元位置計測部
と、前記３次元位置計測部の計測情報に基づいて前記被
写体の３次元空間内の動きを解析する動き解析部と、前
記動き解析部で解析した被写体の動きおよび前記遠隔制
御で前記撮影用カメラを駆動制御するカメラワーク制御
部とを設けることによって達成される。

【０００８】更に、前記動き解析部で解析した被写体の
動きのベクトル情報から前記被写体の次の瞬間の動きを
予測する動き予測部を設け、前記カメラワーク制御部
が、前記動き予測部で予測した被写体の動きに応じて前
記撮影用カメラを自動的に駆動制御するようにしたり、
前記撮影用カメラの画面内での最適被写体位置と現在位
置とのズレ量に応じて前記最適被写体位置を変動させる
補正関数を予め設定しておき、前記カメラワーク制御部
が前記補正関数に従って前記最適被写体位置を変動させ
るようにすることによって、より効果的に達成される。
また、前記動き解析部で解析した被写体の動き解析情報
を時系列に記録する解析情報記録手段と、前記被写体の
動き解析情報から前記被写体の現在位置，速度，軌跡の
各要素のうち少なくとも１要素を含む表示データを作成
し、前記被写体の撮影映像と共に表示することもでき
る。

【０００９】

【発明の実施の形態】本発明では、カメラ操作者の眼に
相当するセンサカメラにより撮影した広角映像の中から
撮影すべき被写体を自動認識すると共に、３次元空間内
での被写体の位置と動きを計測し、被写体の動きに応じ
て撮影用カメラを駆動制御することで、被写体の自動撮
影を行なうようにしている。また、被写体の動きを予測
して撮影する機能を備えることで、滑らかなカメラワー
クを可能にすると共に、制御系の処理負荷を軽減できる
ようにしている。さらに、不安定な制御（ブレ制御等）
を加味する機能を備えることで、一流カメラマンの実際
のカメラワークに近い、知的なカメラワーク制御を可能
としている。即ち、本発明では、被写体の自動追尾によ
る無人撮影ができると共に、あたかも一流カメラマンが
直接操作しているかのような臨場感の高いカメラワーク
を実現することができる。

【００１０】以下、図面に基づいて本発明の好適な実施
形態について詳細に説明する。

【００１１】図１は本発明の自動／手動撮影カメラシス
テムの概略構成を示しており、３次元空間を移動する被
写体を捕らえるためのカメラ１００（以下、「センサカ
メラ」と呼ぶ）と、自動操作が可能であると共に、手動
でも操作が可能な撮影用カメラ２００をそれぞれ１台ず
つ備えたシステムの例を示している。センサカメラ１０
０は、カメラ操作者の両眼に相当するカメラであり、同
図のように撮影対象の被写体１を含む広角映像を撮影す
る。このセンサカメラ１００は、１台もしくは２台以上
使用され、例えば、１台のセンサカメラ１００の視野領
域を越えて移動する被写体１を追尾して撮影する場合に
は複数のセンサカメラ１００が使用され、その場合には
撮影範囲（計測範囲）が分割され、各分割範囲の所定位
置に１台ずつもしくは２台ずつセンサカメラが配置され
る。撮影用カメラ２００は、外部からの制御信号により
カメラのパンニング，チルティング，ズーム，フォーカ
ス等の調整が可能な駆動機構部（雲台）２１０と、被写
体を撮影して映像信号に変換する撮像部２２０とが一体
的に構成されたカメラであり、パン軸及びチルト軸の回
動制御により真下を除くほぼ全域の空間が撮影できるよ
うになっている。また、撮影用カメラ２００は、カメラ
マンが操作するリモ−トコントロ−ラ６００によって
も、手動でパンニング，チルティング等の修正ができる
ようになっている。

【００１２】３次元位置計測装置３００は、センサカメ
ラ１００の撮影された広角画像ＶＤ１内の静止体又は移
動体の中から撮影対象の被写体１を認識（例えば被写体
１の色情報により認識）すると共に、被写体１の現在位
置を逐次計測する装置であり、撮影用カメラ２００の予
め定められた視点を原点とした三次元空間内での被写体
１の現在位置（３次元座標情報），被写体１の大きさを
示す情報（画像抽出部分の面積情報）等を計測情報ＰＤ
として出力する。この計測情報ＰＤは入出力インタフェ
ースを介してデータ解析装置５００に入力される。

【００１３】データ解析装置５００は、３次元位置計測
装置３００からの計測情報ＰＤを基に被写体１の動きを
解析し、被写体１の動きに応じて撮影用カメラ２００の
カメラワークを自動的に制御する装置であり、駆動制御
部４００を介して駆動信号ＭＳを送出し、撮影用カメラ
２００のカメラワークを制御する。即ち、データ解析装
置５００では、３次元位置計測装置３００の計測情報Ｐ
Ｄに基づいて被写体１の現在位置を認識すると共に、被
写体１の動き（各時点の位置，方位角，加速度等）を解
析して次の瞬間の動きを予測し、この予測情報と現時点
の撮影用カメラ２００の向きを示す情報等とに基づいて
撮影用カメラ２００のパンニング，チルティング角度偏
差及びズーム等の調整量を演算し、駆動制御データ（速
度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へ
と撮影用カメラ２００を駆動制御することで、被写体１
を自動追尾して撮影するようにしている。また、データ
解析装置５００は、被写体１の動作の解析情報を記録及
び表示する手段を備えており、図１中の撮影画像ＶＤ２
の表示例のように、撮影用カメラ２００の撮影画像と共
に解析情報２（被写体位置，速度，軌跡等）を表示でき
るようになっている。

【００１４】次に、各装置の構成例を示してより詳細に
説明する。先ず、撮影用カメラ２００と駆動制御部４０
０の構成について説明する。図２は、図１の撮影用カメ
ラ２００及び駆動制御部４００の構成例を示しており、
撮影用カメラ２００は、モータ２１３，２１４の駆動に
よるパン軸２１１及びチルト軸２１２の回動により撮像
部２２０の向き（水平及び垂直方向）が調整され、各モ
ータ２１５の駆動により撮像部２２０のズーム，フォー
カス，アイリスが調整されるようになっている。本例で
は、モータ２１５にはステップモータ（パルスモ−タ）
を使用し、モータ２１３，２１４には、高トルクを発生
するダイレクトドライブモータを使用している。

【００１５】駆動制御部４００は、雲台のモータ２１３
〜２１５を駆動する制御ＣＰＵ４１０，モータドライバ
４２０等から構成され、上位制御部（図１の構成例では
データ解析装置５００）からの駆動制御データ（速度指
令）Ｖｃｏｍと、リモ−トコントロ−ラ６００からの遠
隔制御信号ＲＳとに従って撮影用カメラ２００の駆動制
御を並列的に行なう。即ち、駆動制御部４００は、上位
制御部からの駆動制御データ（速度指令）Ｖｃｏｍ、リ
モ−トコントロ−ラ６００からの遠隔制御信号ＲＳ及び
データベース４０１のパラメータＰＤＤ（各モータの駆
動制御用パラメータ）を基に、各モータ２１３〜２１５
の駆動信号ＭＳ１〜ＭＳ３を制御ＣＰＵ４１０によって
生成／出力し、モータドライバ４２０を介してサーボ制
御による撮影用カメラ２００の制御を行なう。上位制御
部からの駆動制御データＶｃｏｍ及びリモ−トコントロ
−ラ６００からの遠隔制御信号ＲＳは予め定められた重
みづけ係数に従って論理和的に入力され、駆動制御デー
タＶｃｏｍに遠隔制御信号ＲＳを加味（加減算）した形
態で撮影用カメラ２００を駆動制御する。

【００１６】具体的には、パンニング、チルティング、
ズーミングは、上位制御部からの駆動制御データＶｃｏ
ｍに遠隔制御信号ＲＳに基づくオフセットを付加するこ
とにより手動修正可能としている。フォーカス、アイリ
スについてはカメラ単体の自動調整機能をＯＦＦし、上
位制御部からの駆動制御データＶｃｏｍにより制御する
ようにした上で、パンニング等と同様に遠隔制御信号Ｒ
Ｓに基づくオフセットを付加することにより手動修正可
能としている。

【００１７】次に、３次元位置計測装置３００及びデー
タ解析装置５００の構成について説明する。図３は、図
１の３次元位置計測装置３００及びデータ解析装置５０
０の主要部の構成例をブロック図で示している。図３に
おいて、３次元位置計測装置３００は、センサカメラ１
００で撮影された広角画像ＶＤ１内の静止体又は移動体
の中から撮影対象の被写体１を認識する被写体認識部３
１０と、被写体１の３次元空間内の現在位置（３次元座
標）を計測する３次元座標計測部３２０とから構成され
る。３次元位置計測装置３００の計測情報ＰＤは、デー
タ解析装置５００内の動き解析部５１０に入力される。
データ解析装置５００は、３次元位置計測装置３００か
らの計測情報ＰＤにより被写体１の動きを解析し、被写
体１の現時点までの直近の動きベクトルを求める動き解
析部５１０と、この動き解析部５１０で求めた動きベク
トルを基に被写体１の次の動きを予測し、次の動きベク
トルを求めて被写体速度Ｖ等の予測情報を送出する動き
予測部５２０と、この動き予測部５２０からの予測情
報、撮影用カメラ２００の方位角／画角を検出する検出
部（図示せず）からの検出情報ＳＤ等に基づいてカメラ
ワークの分析及び決定を行ない、駆動制御データ（速度
指令）Ｖｃｏｍを出力して撮影用カメラ２００のカメラ
ワークを制御するカメラワーク制御部５３０と、動き解
析部５１０で解析した被写体動作の解析情報を記録する
解析情報記録部５４０と、解析情報を撮影画像と共にあ
るいは単独でモニタ表示する解析情報表示部５５０とか
ら構成される。

【００１８】図４はリモ−トコントロ−ラ６００の外観
例を示しており、全体的には直方体状の形状をして上面
に操作部が設けられている。撮影用カメラ２００のチル
ティングを操作するジョイスティック６０１が設けら
れ、パンニングを操作する回動可能な円盤状の操作盤６
０２が設けられ、カメラマンが簡易にパンニング及びチ
ルティングを操作して調整できるようになっている。更
にズ−ムを調整するズ−ムスイッチ６０３、フォ−カス
を調整するフォ−カススイッチ６０４、アイリスを調整
するアイリススイッチ６０５が個別に設けられ、それぞ
れ適宜調整できるようになっている。

【００１９】上述のような構成において、具体例を示し
てシステム全体の動作例を説明する。図５は、センサカ
メラ１００及び撮影用カメラ２００の配置設置例を示し
ており、例えば、同図に示すようなスキーの滑降競技を
撮影する場合、滑降コースが被写体（スキー選手）１の
移動領域となり、滑降開始地点から滑降終了地点までの
全領域もしくは一部の領域が自動撮影の対象となる。図
５の例では、２台のセンサカメラ１００Ａ，１００Ｂと
１台の撮影用カメラ２００とを配置し、一部の領域を撮
影範囲として撮影する場合を例としている。また、被写
体１の３次元位置は、１台のセンサカメラ１００の撮影
画像の情報を基に求めることができるが、ここでは、１
計測範囲に２台のセンサカメラ１００Ａ，１００Ｂを用
い、三角測量の原理で被写体１の３次元座標を求める場
合の構成を例としている。

【００２０】ここで、図１の構成例のように１計測範囲
に１台のセンサカメラを用いる形態では、例えば２点間
を移動したときの被写体１の移動量及び大きさの変化量
の検出値に基づいて被写体１の位置を示す３次元座標を
算出することになり、計測時点ごとに３次元座標を求め
ることができず、リアルタイムに計測情報を提供できな
いという欠点がある。そのため、上記の点や計測装置の
処理負荷の点では、図５の例のように１計測範囲に２台
のセンサカメラを用いる形態の方が好ましい。

【００２１】以下、図２〜図５を参照して動作例を説明
する。図５において、センサカメラ１００Ａ，１００Ｂ
で撮影された映像信号ＶＤ１はそれぞれ３次元位置計測
装置３００に入力される。図３において、３次元位置計
測装置３００内の被写体認識部３１０は、映像信号ＶＤ
１をデジタル化した１フレーム分の２次元座標系の画像
データから撮影対象の被写体１を認識する。被写体１の
認識は、例えば画像データの各画素の色度と、被写体認
識データとして予め設定されている複数色のそれぞれの
閾値（色度の範囲：下限の閾値〜上限の閾値）とを比較
し、閾値内を“１”，範囲外を“０”として画素単位に
２値化する。その際、２次元座標系（Ｘ，Ｙ座標系）に
て連続する当該色の部分を抽出して計数し、計数値を面
積Ｓとする。そして当該色の部分が複数存在する場合に
は、例えば、面積Ｓの大きい部分を撮影対象の被写体１
と認識する。但し、設定されている色で被写体１を必ず
特定できるような撮影条件では大きさによる認識処理は
必要ないため、色だけで認識すれば良い。

【００２２】３次元座標計測部３２０では、被写体認識
部３１０で求めた面積Ｓから、抽出部分の重心位置を演
算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中
心位置は、２台のセンサカメラ１００の画像データＶＤ
からそれぞれ演算する。続いて、算出した２つの中心位
置Ｃ１（ｘ，ｙ），Ｃ２（ｘ，ｙ）と、センサカメラ１
００及び撮影用カメラ２００の位置情報とから、被写体
１の３次元空間内の位置（撮影用カメラ２００の予め定
められた視点を原点とした被写体１の３次元座標）を三
角測量の原理で算出し、算出した３次元位置情報Ｃ
（ｘ，ｙ，ｚ）と被写体１の大きさを示す情報（上記の
面積Ｓ）を計測情報ＰＤとして出力する。この計測情報
ＰＤは、データ解析装置５００内の動き解析部５１０に
入力される。

【００２３】動き解析部５１０では、３次元位置計測装
置３００からの計測情報ＰＤにより被写体１の動きを解
析し、解析情報を動き予測部５２０及び解析情報記録部
５４０に送出する。例えば、今回の計測情報ＰＤｔｎ
（３次元座標情報）と前回の計測情報ＰＤｔ（ｎ−１）
により、前回の計測時点を起点とする動きベクトルを求
め、求めた動きベクトルの情報（時刻、方位角、距離、
速度等）を解析情報として送出する。動き予測部５２０
では、動き解析部５１０からの解析情報に基づいて被写
体１の次の瞬間の動きを予測する。

【００２４】ここで、被写体の次の瞬間の動き予測する
方法について第１及び第２の例を示して説明する。な
お、計測間隔と動きベクトルの解析間隔とは必ずしも等
しくないが、ここでは、等しいものする。先ず、第１の
例として、直近の２つの計測情報ＰＤｔｎ，ＰＤｔ（ｎ
−１）を基に予測する方法について説明する。図６
（Ａ）に示すように、被写体の前回（時点ｔ１）の計測
位置がＰ１（ｘ，ｙ，ｚ）で、今回（時点ｔ２）の計測
位置がＰ２（ｘ，ｙ，ｚ）である場合、Ｐ１（ｘ，ｙ，
ｚ）とＰ２（ｘ，ｙ，ｚ）から方位と速度Ｖとを求め
（本例では動き解析部５１０にて算出）、同一方向に同
一速度で動くものと予測して、Ｐ２→ＦＰの動きベクト
ルを求める。ここで、ＦＰ（ｘ，ｙ，ｚ）は、（ｔ２−
ｔ１）時間経過した時点ｔ３での次の移動位置である。

【００２５】続いて、第２の例として、直近の３つの計
測情報ＰＤｔｎ，ＰＤｔ（ｎ−１），ＰＤｔ（ｎ−２）
を基に予測する方法について説明する。図６（Ｂ）に示
すように、被写体の前前回（時点ｔ１）の計測位置がＰ
１（ｘ，ｙ，ｚ），前回（時点ｔ２）の計測位置がＰ２
（ｘ，ｙ，ｚ），今回（時点ｔ３）の計測位置がＰ３
（ｘ，ｙ，ｚ）であったとする。この場合、各時点ｔ１
〜ｔ３の座標から動きベクトルＰ１→Ｐ２，Ｐ２→Ｐ３
を求める。そして、求めた２つの動きベクトルからＰ３
→ＦＰの動きベクトルを求める。この方法では、方位角
の変化及び加速度を考慮して予測することになる。計測
間隔が極めて短い場合には、前者の方法で充分である。
尚、予測に用いる計測情報の量を多くして更に先の動き
を予測するようにしても良い。以上のようにして求めた
被写体の動きの予測情報は、カメラワーク制御部５３０
に入力される。

【００２６】カメラワーク制御部５３０では、画面内の
被写体位置情報動き予測部５２０からの予測情報、撮影
カメラ２００の現時点の方位角／画角を検出する検出部
からの検出情報ＳＤに基づいて、撮影用カメラ２００の
方向，移動量及び移動速度を決定する。その際、被写体
の画枠内の最適位置、大きさ等の制御パラメータに従っ
てカメラワークを決定し、パンニング及びチルティング
の各速度指令を生成すると共に、撮影用カメラ２００の
ズーム，フォーカス，アイリスを調整するための速度指
令を生成し、駆動制御データＶｃｏｍとして出力し、駆
動制御部４００を介して撮影用カメラ２００を駆動制御
する。尚、カメラワーク制御部５３０における不安定な
制御（ブレ制御等）を補償する機能については後述す
る。

【００２７】一方、動き解析部５１０からの解析情報
（被写体の動きベクトルの情報）を受けた解析情報記録
部５４０では、解析情報を撮影対象の被写体毎に記憶手
段に時系列に記録する。その際、撮影画像ＶＤ２と共に
解析情報を表示するモードであれば、解析情報を解析情
報表示部５５０に送出する。解析情報表示部５５０で
は、解析情報に基づいて被写体の現在の位置及び速度、
軌跡等を示す表示データを作成し、例えば図３中の撮影
画像ＶＤ３の表示例に示すように、撮影画像ＶＤ２と合
成表示する。また、撮影後に表示するモードであれば、
例えば、予め登録された理想の軌跡や速度のデータと比
較して表示するなど、被写体の動きを分析するための情
報を表示あるいはプリント出力する。その際、撮影画像
（１場面，動画の一部，あるいは全て）と合成表示する
ようにしても良い。

【００２８】以上のように、被写体の次の瞬間の動きを
予測して、次の動作位置へと撮影用カメラ２００の駆動
制御を行なうことにより、従来の自動撮影システムに見
られる映像の動きのぎこちなさは解消されることにな
る。また、撮影用カメラ２００を複数設置し、撮影用カ
メラ２００を切り換えながら撮影する構成とした場合、
被写体の動きの予測情報を利用することにより、各視野
領域の境界をまたがって移動する被写体を連続的に自動
追尾して撮影することが可能となる。また、計測範囲を
分割して各センサカメラ１００を配置する構成では、３
次元位置計測装置３００で被写体の動きを予測し、計測
範囲を切り換えながら計測処理を行なうことで、計測範
囲をまたがって移動する被写体の計測を連続的に行なう
ことができる。さらに、従来のシステムと比較して被写
体位置の計測間隔を大きくとることができるので、情報
処理量が減り、制御系の処理負荷が軽減される。

【００２９】ところで、撮影用カメラ２００の映像の動
きが滑らか過ぎると人工的な映像となり、返って画像か
ら臨場感が失われることになる。そこで、本発明では、
次のような不安定な制御（ブレ制御等）を補償する機能
をカメラワーク制御部５３０に備えることで、カメラマ
ンの手のぶれや意図的な操作により生じるタイムラグを
補償して、カメラワークを調整するようにしている。例
えば、画面内での最適被写体位置と現在位置とのズレの
大きさに応じて不安定さを増加させるように、ズレ量に
応じて最適被写体位置を変動させるブレ制御用の補正関
数を予めテーブルに設定しておき、カメラワークを決定
する際、画面内での最適被写体位置と現在位置とのズレ
量を比較し、ズレ量の許容値を越えた場合、ズレ量に応
じて撮影用カメラ２００の駆動速度の補正（通常の補
正）を行なうと共に、上記ブレ制御用の補正関数で補正
して撮影用カメラ２００の駆動速度を制御するようにす
る。

【００３０】また、図５に示したスキーの滑降競技を撮
影する場合の例のように、被写体が移動するコースが決
まっている場合には、一流カメラマンが実際に撮影用カ
メラ２００を操作して被写体を追尾した時の操作情報か
ら、ブレ制御やズーム制御の補正関数を設定するように
しても良い。この場合、コースの通過地点の位置情報を
設定すると共に、通過地点に対応させて補正関数を設定
しておき、コースの通過地点に応じて制御するようにし
ても良い。

【００３１】更に、本発明ではデータ解析装置５００か
らの駆動制御データＶｃｏｍの他に、リモ−トコントロ
−ラ６００からも遠隔制御信号ＲＳを手動で発生させて
撮影用カメラ２００の駆動を修正できる。従って、カメ
ラマンは全くの自動操作ではなく、自分のカメラワ−ク
を取り入れた撮影を実現できる。

【００３２】尚、上述した実施の形態においては、被写
体の動きの解析機能をデータ解析装置５００に設ける場
合を例として説明したが、３次元位置計測装置３００側
に設ける構成としても良い。また、上述のリモ−トコン
トロ−ラの形状等は任意であり、撮影用カメラを操作す
ることが可能なものであれば良い。

【００３３】

【発明の効果】以上に説明したように、本発明の自動／
手動撮影カメラシステムによれば、センサカメラの広角
画像から撮影対象の被写体を認識してその３次元位置を
逐次計測し、計測情報から解析した被写体の動きに応じ
て撮影用カメラを駆動制御するようにしているので、広
範囲の３次元空間内を移動する対象を自動追尾して無人
で、しかもカメラマンのカメラワ−クを取り入れて撮影
することができる。そのため、カメラマンが撮影できな
いような位置（例えば、木の上，コンサート会場のハイ
ポジション，災害現場等）からでも、迫力のある映像を
自動的に、しかも臨場感をもって撮影することができる
ようになり、一流カメラマンを越えるカメラワークを実
現することができる。また、被写体の次の瞬間の動きを
予測して撮影用カメラを駆動制御するようにしているの
で、撮影映像内の被写体の不自然な動きを無くすことが
できる。さらに、被写体の動作の解析情報を撮影画像の
付加情報として表示することができるので、新しい映像
効果をもたらすことができると共に、被写体の詳細な動
きを分析することができるようになる。

【図面の簡単な説明】

【図１】本発明の自動／手動撮影カメラシステムの概略
の構成例を示すブロック図である。

【図２】図１の撮影用カメラ２００と駆動制御部４００
の構成例を示すブロック図である。

【図３】図１の３次元位置計測装置３００とデータ解析
装置５００の構成例を示すブロック図である。

【図４】本発明に用いるリモ−トコントロ−ラの一例を
示す外観図である。

【図５】本発明システムに用いるセンサカメラと撮影用
カメラの配置構成の一例を示す図である。

【図６】本発明システムにおける被写体の動きの予測方
法の具体例を説明するための図である。

【図７】従来のカメラシステムにおける被写体の自動追
尾の方法の一例を説明するための図である。

【図８】従来のカメラシステムにおける被写体の自動追
尾の方法の一例を説明するための図である。

【符号の説明】

１被写体１００センサカメラ２００撮影用カメラ２１０駆動機構部（雲台）２２０撮像部３００３次元位置計測装置３１０被写体認識部３２０３次元座標計測部４００駆動制御部４０１データベース４１０制御ＣＰＵ４２０モータドライバ５００データ解析装置５１０動き解析部５２０動き予測部５３０カメラワーク制御部５４０解析情報記録部５５０解析情報表示部６００リモ−トコントロ−ラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者阿部一雄東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者石川秋男東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者津田貴生東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者沼澤潤二東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者鈴木尊人東京都大田区北千束３丁目26番12号株式会社応用計測研究所内 (72)発明者岡本浩幸東京都大田区北千束３丁目26番12号株式会社応用計測研究所内 (72)発明者桑原裕之東京都大田区北千束３丁目26番12号株式会社応用計測研究所内

Claims

【特許請求の範囲】

【請求項１】カメラ操作者の視野に相当する広角画像
を撮影するセンサカメラと、外部制御信号により自動操
作が可能であると共に、手動による遠隔制御が可能な撮
影用カメラと、予め登録された色情報に基づいて前記セ
ンサカメラで撮影された広角画像内の静止体又は移動体
の中から撮影対象の被写体を認識すると共に、前記被写
体の３次元空間内の現在位置を逐次計測する３次元位置
計測部と、前記３次元位置計測部の計測情報に基づいて
前記被写体の３次元空間内の動きを解析する動き解析部
と、前記動き解析部で解析した被写体の動きおよび前記
遠隔制御で前記撮影用カメラを駆動制御するカメラワー
ク制御部とを備えたことを特徴とする自動／手動撮影カ
メラシステム。
【請求項２】前記動き解析部で解析した被写体の動き
のベクトル情報から前記被写体の次の瞬間の動きを予測
する動き予測部を備え、前記カメラワーク制御部は、前
記動き予測部で予測した被写体の動きに応じて前記撮影
用カメラを自動的に駆動制御するようになっている請求
項１に記載の自動／手動撮影カメラシステム。
【請求項３】前記撮影用カメラの画面内での最適被写
体位置と現在位置とのズレ量に応じて前記最適被写体位
置を変動させる補正関数を予め設定しておき、前記カメ
ラワーク制御部は、前記補正関数に従って前記最適被写
体位置を変動させるようになっている請求項１又は２に
記載の自動／手動撮影カメラシステム。
【請求項４】前記動き解析部で解析した被写体の動き
解析情報を時系列に記録する解析情報記録手段と、前記
被写体の動き解析情報から前記被写体の現在位置，速
度，軌跡の各要素のうち少なくとも１要素を含む表示デ
ータを作成し、前記被写体の撮影映像と共に表示する解
析情報表示手段とを備えた請求項１乃至３のいずれかに
記載の自動／手動撮影カメラシステム。
【請求項５】前記カメラワーク制御部から出力される
制御信号は、パンニング，チルティング，フォーカス，
ズーム及びアイリスの各要素のうち少なくとも１要素の
制御信号を含んでいる請求項１乃至４のいずれかに記載
の自動／手動撮影カメラシステム。