JP2017204795A - 追尾装置 - Google Patents

Abstract

【課題】追尾開始時の取得映像を良好なものとする自動追尾撮影システムを提供する。
【解決手段】追尾処理装置４０は、あらかじめ設定された範囲を監視する第１のカメラ２０ａから出力された画像に基づいて追尾すべき被写体を認識し、認識した被写体の速度を算出し、算出した速度から被写体の移動する位置を予測し、予測した被写体位置に基づき、撮影光軸や撮影画角を変化させることができる第２のカメラ２０ｂの撮影光軸を被写体に向けるように制御する。そして、第２のカメラから出力された画像に基づいて追尾すべき被写体を認識し、認識した被写体が、第２のカメラの撮影画面の中央に捕捉されるように撮影光軸もしくは撮影画角を雲台１０で制御する。第２カメラにより被写体を捕捉した後は、第２カメラの撮影光軸や撮影画角を制御して被写体の追尾撮影を行うように構成する。
【選択図】図１

Description

本発明は、追尾対象物を自動で追尾する自動追尾装置に関し、特に複数台のカメラを連携させて追尾対象物を追尾する自動追尾雲台カメラシステムに関する。

近年、雲台カメラをズーム・パン・チルト制御することで、被写体を自動で追尾する自動追尾雲台カメラシステムが提案されている。

上記の分野の従来技術として、特許文献１には、オペレータが操作器から画面上に追尾被写体の目標位置を設定し、自動追尾時にはその位置に被写体を画面内において相対的に停止するように雲台を制御することが開示されている。

また特許文献２には、広角なレンズを搭載し撮影範囲の広い固定カメラと、固定カメラよりも狭い画角を持ち駆動制御により光軸を傾けることができる望遠カメラを連携させて追尾撮影を行う手法が提案されている。

特開平８−７４２９６号公報 特許第４１８８３９４号公報

固定カメラにより被写体を認識し、認識した被写体の座標情報に基づいて望遠カメラを制御することで、広い探索範囲と被写体の拡大画像の両立が可能となっている。

しかしながら、上述の特許文献１に開示された従来技術では、被写体がカメラの画角内に入っていない場合には、追尾を開始することができないといったことがある。特に、一つの被写体を追尾中に別方向から新たな被写体が現れた場合には、画像認識によって新たな被写体を認識することができないため、追尾を開始することができなかった。

特許文献２に開示された従来技術では、広角固定カメラの画像によって被写体を認識することができるため広い範囲の被写体を探索することができる。

しかし、認識した被写体を望遠カメラの画角内に捕捉する動作を行っている間に被写体が大きく移動すると、捕捉動作に無駄な動きが発生してしまうことがある。さらに捕捉動作中に被写体が広角カメラの画角外に出てしまった場合には、望遠カメラによる追尾撮影を開始することが出来ない可能性もある。

そこで、本発明は、複数台のカメラを連携させて被写体を追尾する自動追尾雲台カメラシステムにおいて、認識した被写体が雲台カメラで捕捉する動作中に移動してしまう場合においても、無駄な動作なく短時間で追尾を開始することを目的とする。

上記の目的を達成するために、本発明に係る自動追尾装置は、
少なくとも一台の、あらかじめ設定された範囲を監視する第１のカメラと、
少なくとも一台の、ズーム・パン・チルトの少なくともいずれか一つを駆動する雲台装置に搭載され、撮影光軸もしくは撮影画角を変化させることができる第２のカメラと、
前記第１、第２のカメラから出力された画像信号から追尾すべき被写体を認識し、前記第２のカメラを動作させ前記被写体を追尾するための制御演算を行う追尾処理装置と、
から構成される自動追尾装置において、
前記追尾処理装置は、
前記第１のカメラから出力された画像に基づいて追尾すべき被写体を認識する第１カメラ被写体認識手段と、
前記第１カメラ被写体認識手段が認識した前記被写体の速度を算出する被写体速度算出手段と、
前記被写体速度算出手段が算出した速度から前記被写体の移動する位置を予測する被写体位置予測手段と、
前記被写体位置予測手段が予測した被写体位置に基づき、前記被写体に前記第２のカメラの撮影光軸を向けるように前記雲台装置を制御する被写体捕捉手段と、
前記第２のカメラから出力された画像に基づいて追尾すべき被写体を認識する第２カメラ被写体認識手段と、
前記第２カメラ被写体認識手段が認識した前記被写体が、前記第２のカメラの撮影画面の中央に捕捉されるように前記雲台装置を駆動制御する第２カメラ追尾制御手段とを有し、
前記第２カメラ被写体認識手段が被写体を認識した後は、前記被写体捕捉手段に代えて前記第２カメラ追尾制御手段により前記雲台装置を制御し前記被写体の追尾撮影を行うことを特徴とする。

本発明に係る自動追尾カメラの制御装置および自動追尾カメラの制御方法によれば、認識した被写体が雲台カメラで捕捉する動作中に移動してしまう場合においても、無駄な動作なく短時間で追尾を開始することが出来る。

実施例１における追尾システムの構成図である。 実施例１におけるカメラの配置を示した説明図である。 実施例１における処理の流れを示すフローチャートである。 実施例１の手法の効果を示した説明図である。 実施例２における追尾システムの構成図である。 実施例２における処理の流れを示すフローチャートである。 実施例２の手法の効果を示した説明図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
以下、図１を参照して、本発明の第１の実施例による構成について説明する。

本実施例の追尾システムは、雲台１０、第１のカメラ２０ａ、第２のカメラ２０ｂ、第１のレンズ３０ａ、第２のレンズ３０ｂおよび追尾処理装置４０から構成される。図２で示されるように、本実施例においては、第１のカメラ２０ａは固定された広角のカメラを使用し、第２のカメラ２０ｂは雲台１０によりパン・チルト・ズーム駆動可能なカメラを使用している。図２の、Ａ、Ｂはそれぞれ第１のカメラ２０ａ、第２のカメラ２０ｂの画角を示している。２台のカメラはそれぞれ追尾処理装置４０と信号線で接続され、画像信号や制御信号を通信している。

雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、パンモータ１４ａ、チルトモータ１４ｂ、ズーム制御部１５ａ、フォーカス制御部１５ｂ、カメラ制御部１６から構成される。

被写体追尾時において、雲台１０は、まず追尾処理装置通信部１２で追尾処理装置４０からの操作信号を受信する。受信した操作信号を雲台ＣＰＵ１１が解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部１３ａ・ｂを制御することによって、パン・チルトモータ１４ａ・ｂを駆動させる。ズーム・フォーカスの駆動命令であった場合には、ズーム・フォーカス制御部１５ａ・ｂを制御することによって、レンズ３０を駆動させる。各種カメラの制御命令であった場合には、カメラ制御部１６を制御し、カメラ２０を制御する。

追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。上記の内追尾処理装置ＣＰＵ４５は、第１カメラ被写体認識部４５ａ、第２カメラ被写体認識部４５ｂ、被写体速度算出部４５ｃ、被写体位置予測部４５ｄ、被写体捕捉制御部４５ｅ、被写体追尾制御部４５ｆを機能として含み、これら機能を統括制御している。

追尾処理装置４０は、まず第１のカメラ２０ａ、第２のカメラ２０ｂから受信した映像信号を画像処理部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対して輝度パターンによるテンプレートマッチングを行うことで、被写体の有無を判定する。画像処理メモリ４２の中の基準画像との類似度が、あらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在すると判定し、その結果を追尾処理装置ＣＰＵ４５に送る。

一方、画像処理プロセッサ４３は、閾値THを超える領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。追尾処理装置ＣＰＵ４５内の第１カメラ被写体認識部４５ａ、第２カメラ被写体認識部４５ｂは、それぞれ対応したカメラの画面内に被写体が存在する場合、撮影する画面内において長方形の形状として認識された被写体領域の4頂点の座標を算出する。第１のカメラ２０ａにおいて被写体が観測された場合は、抽出した被写体情報を被写体速度算出部４５ｃ、被写体位置予測部４５ｄに送る。そして、第２のカメラ２０ｂにおいて被写体が観測された場合は、抽出した被写体情報を被写体追尾制御部４５ｆに送る。

また、追尾処理装置ＣＰＵ４５は、雲台間通信部４７と追尾処理装置間通信部１２を通じて、雲台ＣＰＵ１１から現在の雲台位置情報を取得することが出来る。この雲台位置情報は、雲台ＣＰＵ１１がパン制御部１３ａ、チルト制御部１３ｂ、ズーム制御部１５ｂからフィードバックを受け、情報を保持しているものである。第１のカメラ２０ａで被写体を観測した場合、被写体速度算出部４５ｃは、雲台位置情報と前記画面内における被写体の移動量から、被写体の速度を算出する。被写体位置予測部４５ｄは、算出した被写体速度と雲台位置情報、第１カメラ被写体認識部４５ａが抽出した被写体情報をもとに被写体の移動予測をたてる。

そして、被写体捕捉制御部４５ｅは、立てられた被写体の移動予測から被写体を第２のカメラ２０ｂの画面内に捕捉するために必要な駆動速度を算出し、雲台ＣＰＵ１１に制御命令を送る。第２のカメラ２０ｂで被写体を観測した場合は、第２カメラ被写体認識部４５ｂが抽出した被写体情報をもとに、被写体追尾制御部４５ｆが被写体を画面中央に留めるように追尾するための雲台の駆動速度を算出し、雲台ＣＰＵ１１に対して制御命令を送る。

以下に、本実施例における追尾処理装置ＣＰＵ４５の基本処理の流れについて、図３のフローチャートをもとに説明する。

追尾処理が開始されると、まず、第１カメラ被写体認識部４５ａが前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するかを判定する（Ｓ１０１）。被写体が存在しない場合には、検出処理を繰り返す。存在する場合にはその位置を算出すする（Ｓ１０２）。次に、被写体速度算出部４５ｃが被写体の移動速度を算出し（Ｓ１０３）、その情報をもとに被写体位置予測部４５ｄが被写体の移動予測をたてる（Ｓ１０４）。そして、被写体捕捉制御部４５ｅは、立てられた被写体の移動予測をもとに最短時間で第２のカメラ２０ｂの画面に被写体を捕捉するための雲台１０の駆動速度を算出し、捕捉制御を行う（Ｓ１０５）。

第２カメラ被写体認識部４５ｂは、第２のカメラ２０ｂの画面に被写体を捕捉できたかを判定し（Ｓ１０６）、捕捉できていない場合はＳ１０２〜Ｓ１０５の処理を繰り返す。捕捉できた場合には、被写体捕捉制御部４５ｅは捕捉制御をし、代わりに、第２カメラ被写体認識部４５ｂが被写体情報を取得し（Ｓ１０７）、被写体追尾制御部４５ｆが被写体を第２のカメラ２０ｂの画面中央に留めるように追尾制御を行う（Ｓ１０８）。最後に、追尾を終了するかを判定し（Ｓ１０９）、追尾を終了しない場合は、Ｓ１０７〜Ｓ１０９を繰り返す。追尾を終了する場合にはＳ１０１の処理に戻り被写体を再探索する。

以上のように、本実施例においては、第１のカメラ２０ａの画像から被写体の移動予測をたて、その予測をもとに雲台を制御し、最短の時間で第２のカメラの画面内に被写体を捕捉するように制御する。図４は、本実施例を用いた場合の効果を示している。まず、被写体を第１のカメラ２０ａで認識したのち、第２のカメラ２０ｂで被写体を撮影するべく捕捉制御を行う。図４ａで示す従来技術では、常に被写体の現在位置に向けて捕捉制御を行うため、捕捉制御動作中に被写体が移動してしまうと最短距離で被写体を捉える事が出来なくなってしまう。

また、捕捉が完了する前に被写体が第１のカメラ２０ａの画面外に出てしまうと、被写体の現在位置が取得できなくなってしまうため、捕捉制御を行うことができなくなってしまう。しかし、本実施例を適用した場合には、図４ｂのように被写体の移動予測を用いて最短距離で雲台１０を駆動制御するため、無駄な動作なく第２のカメラ２０ｂで被写体を捕捉することができる。また、捕捉完了前に被写体が第１のカメラ２０ａの画面外に出てしまった場合にも、保持している被写体の移動予測を用いて雲台１０を制御することで、被写体捕捉制御を継続することができる。

本実施例においては、第１のカメラ２０ａを広角で固定されたカメラとしているが、雲台のような駆動装置を用いて駆動させてもよい。また用いるカメラを２台としているが、第１、第２のカメラの役割に相当するカメラを複数台ずつ用いてもよい。被写体を認識する手法を画像認識としているが、他の認識手段、例えばレーダーを利用した被写体認識等を用いてもよい。また、被写体を認識する領域を長方形としたが、この形状は特に限定されるものではない。

さらに、被写体の速度算出を被写体の画面上における大きさと雲台位置情報を用いて行うとしたが、別の手法によって算出してもよい。また、追尾処理装置４０において、画像処理プロセッサ４３、雲台間通信部４６と追尾処理装置ＣＰＵ４５を別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵メモリを用いてもよい。また、追尾処理装置４０の機能については、雲台１０内部に組み込んでもよいし、雲台ＣＰＵ１１に統合してもよい。

［実施例２］
以下、本発明の第２の実施例について説明する。

本実施例におけるシステムの構成を図５に示す。実施例１と比較して追尾処理装置ＣＰＵ４５内の機能構成に被写体サイズ予測部４５ｆが追加されている。追尾の基本処理のフローは図６に示す。

まず、実施例１と同様に、第１カメラ被写体認識部４５ａが被写体の存在有無を判定し（Ｓ２０１）、被写体が存在しない場合には検出処理を繰り返す。存在する場合にはその位置とサイズを算出する（Ｓ２０２）。次に、被写体速度算出部４５ｃが被写体の移動速度を算出し（Ｓ２０３）、被写体サイズ変化速度算出部４５ｄが被写体の画面上におけるサイズ変化速度を算出する（Ｓ２０４）。そして被写体の移動速度をもとに被写体位置予測部４５ｅが被写体の移動予測をたて（Ｓ２０５）、被写体サイズ変化速度をもとに被写体サイズ予測部４５ｆが第２のカメラ２０ｂで撮影した場合の被写体のサイズを予測する（Ｓ２０６）。

そして、被写体捕捉制御部４５ｇは立てられた被写体の移動予測とサイズ予測をもとに、最短時間で被写体を捉え、かつ捉えた時点から最適なサイズで被写体を追尾撮影することができるように雲台１０の駆動速度を算出し、捕捉制御を行う（Ｓ２０７）。以降の処理Ｓ２０８〜Ｓ２１１については、実施例１におけるＳ２０６〜Ｓ２０９と同様である。

以上のように、本実施例においては、第１のカメラ２０ａの画像から被写体の移動予測に加えて画面上における被写体のサイズ予測をたて被写体捕捉制御に利用する。このことによって第２のカメラで捕捉した時点から被写体を最適なサイズで追尾撮影を開始することができる。図７は、本実施例を用いた場合の効果を示している。被写体を第１カメラ被写体認識手段４５ａで認識すると、第２のカメラ２０ｂで被写体を撮影するべく捕捉制御を行う。

図７ａに示す従来技術では、被写体のサイズ情報を取得していないため、第２のカメラ２０ｂで被写体を捉えた時点では、画角に対し被写体サイズが合っていないことがある。画面上で被写体が小さすぎるか大きすぎる場合には、被写体画像がテンプレートと適合せず、第２カメラ被写体認識部４５ｂによる被写体認識に支障が出る可能性もある。しかし、本実施例を適用した場合には、図７ｂのように、被写体のサイズ予測を用いて雲台のズーム駆動を行いながら捕捉制御をするため、第２のカメラ２０ｂで捕捉した時点から最適な画角で撮影することができる。

本実施例の派生するシステムは、実施例１に記載した派生するシステムと同様である。

１ 操作器、１０ 雲台、２０ａ・２０ｂ カメラ、３０ａ・３０ｂ レンズ、
４０ 追尾処理装置

Claims (2)

1. 少なくとも一台の、あらかじめ設定された範囲を監視する第１のカメラと、
   少なくとも一台の、ズーム・パン・チルトの少なくともいずれか一つを駆動する雲台装置に搭載され、撮影光軸もしくは撮影画角を変化させることができる第２のカメラと、
   前記第１、第２のカメラから出力された画像信号から追尾すべき被写体を認識し、前記第２のカメラを動作させ前記被写体を追尾するための制御演算を行う追尾処理装置と、
   から構成される自動追尾装置において、
   前記追尾処理装置は、
   前記第１のカメラから出力された画像に基づいて追尾すべき被写体を認識する第１カメラ被写体認識手段と、
   前記第１カメラ被写体認識手段が認識した前記被写体の速度を算出する被写体速度算出手段と、
   前記被写体速度算出手段が算出した速度から前記被写体の移動する位置を予測する被写体位置予測手段と、
   前記被写体位置予測手段が予測した被写体位置に基づき、前記被写体に前記第２のカメラの撮影光軸を向けるように前記雲台装置を制御する被写体捕捉手段と、
   前記第２のカメラから出力された画像に基づいて追尾すべき被写体を認識する第２カメラ被写体認識手段と、
   前記第２カメラ被写体認識手段が認識した前記被写体が、前記第２のカメラの撮影画面の中央に捕捉されるように前記雲台装置を駆動制御する第２カメラ追尾制御手段とを有し、
   前記第２カメラ被写体認識手段が被写体を認識した後は、前記被写体捕捉手段に代えて前記第２カメラ追尾制御手段により前記雲台装置を制御し前記被写体の追尾撮影を行うことを特徴とする自動追尾装置。
2. 前記追尾処理装置は、
   前記第１カメラ被写体認識手段が認識した被写体のサイズの変化速度を算出する被写体サイズ変化速度算出手段と、
   前記被写体サイズ変化速度算出手段が算出した速度から前記被写体のサイズを予測する被写体サイズ予測手段とを有し、
   前記被写体捕捉手段は、
   前記被写体サイズ予測手段が予測した被写体の予測サイズに適合するように前記第２のカメラの画角を制御することを特徴とする請求項１に記載の自動追尾装置。