JP6574645B2 - 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、追尾対象を追尾して撮像する撮像装置を制御するための技術に関するものである。

パン・チルト制御可能な監視カメラに動体検出機能を搭載し、撮像画面中で検出した動体を画面中央付近に捉え続けるようにパン・チルトを制御する自動追尾機能を有する監視カメラが考案されている。

特許文献１には、自動追尾装置において、追尾中の物体が画面上に表示される大きさが小さい場合にはズームを望遠方向に制御して画面に大きく表示されるようにする技術が開示されている。また、特許文献１には、物体を見失ったときには、ズームを広角側に制御して物体を捜索するズーム制御方法も開示されている。

特許文献２には、物体を見失ったときに、レンズ部をワイド方向にズーム動作させる方法や、物体の位置を予測して予測位置にパン・チルト制御する方法、スキャン動作する方法が開示されている。

特開平３−２６１８０号公報 特開平７−３０７９５号公報

しかし、従来技術のように、追尾中の物体を見失ったときにズームを広角側に制御して物体を捜索すると、画面上の物体サイズが小さくなり過ぎてしまい、物体を検出できなくなることがある。

また、物体の位置を予測する方法では、追尾の可否が予測の精度によるため、予測を誤ったときに追尾ができないことがある。また、パン・チルトを制御してカメラが撮像できる範囲を広げてスキャンする方法では、パン・チルトを制御することによりパン・チルト移動した方向と逆方向に新たな死角が生じてしまう。これにより、そこにいる物体を発見できなくなるという課題や、離れた位置をスキャンすることにより追尾していた動体とは異なる動体を発見して追尾してしまう可能性が高くなる。

本発明はこのような問題に鑑みてなされたものであり、撮像映像上の追尾対象のサイズが小さくなり過ぎるために該追尾対象を検出できずに追尾できなくなるという問題を軽減するための技術を提供する。

本発明の一様態は、追尾対象を追尾して撮像する撮像装置を制御する制御装置であって、前記撮像装置によって撮像された撮像映像中に写っている追尾対象のサイズを記録する記録手段と、前記撮像映像から追尾対象を検出できる状態から検出できない状態になると、所定の倍率でズームアウトした場合における撮像映像における前記追尾対象の予測サイズを前記記録手段によって記録されたサイズに基づいて求め、該予測サイズが所定サイズよりも大きければ前記所定の倍率でズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索する探索手段とを備えることを特徴とする。

本発明の構成によれば、撮像映像上の追尾対象のサイズが小さくなり過ぎるために該追尾対象を検出できずに追尾できなくなるという問題を軽減することができる。

撮像装置の構成例を示すブロック図。 追尾対象を見失う原因について説明するための図。 検出可能サイズについて説明する図。 撮像装置による追尾対象の追尾撮像動作のフローチャート。 ステップＳ４０６における処理の詳細を示すフローチャート。 撮像装置による追尾対象の追尾撮像動作のフローチャート。 撮像装置による追尾対象の追尾撮像動作のフローチャート。 ステップＳ７１３における処理の詳細を示すフローチャート。 制御装置のハードウェア構成を示すブロック図。 撮像装置の外観を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。一例として、撮像装置内に制御装置を有する例を説明するが、制御装置は、撮像装置の外部に設けてもよい。

［第１の実施形態］
本実施形態では、追尾対象を追尾して撮像する撮像装置において、次のような構成を有することを特徴とする撮像装置の一例について説明する。この撮像装置は、撮像映像中に写っている追尾対象のサイズを記録する。そして、この撮像装置は、撮像映像から追尾対象を検出できなかった場合には、所定の倍率でズームアウト後の撮像映像における追尾対象の予測サイズを上記のサイズに基づいて求める。そして、この撮像装置は、該予測サイズが所定サイズよりも大きければ所定の倍率でズームアウトし、該ズームアウト後の撮像映像から追尾対象を探索する。そして以降は、この探索した追尾対象を追尾して撮像することになる。

先ず、本実施形態に係る制御装置を有する撮像装置の構成例について、図１のブロック図を用いて説明する。なお、図１に示した構成は、以下に説明する撮像装置の動作を実現可能な構成の一例に過ぎず、図１に示した構成に限るものではない。また、図１に示した構成は、以下に説明する撮像装置の動作を実現するための主要な構成を示したに過ぎず、例えば、電源系統に係る構成や、ユーザインターフェースに係る構成など、以下の説明において主要ではない構成についてはその図示を省略している。なお、制御装置としての機能は、一例として、システム制御部１０３及び画像解析部１１０によって実現される。

撮像部１０１は、外界の光を光電変換により映像信号に変換するためのものであり、該映像信号は後段の画像処理部１０２に対して出力される。光電変換を行うための撮像素子として、例えば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いることができる。また、撮像素子としてＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いてもよい。

画像処理部１０２は、撮像部１０１から出力された映像信号に対して周知の様々な画像処理を施すことで撮像映像を生成する。例えば、画像処理部１０２は、映像信号をデジタル化して、他の装置で再生可能な映像データ（撮像映像）に変換する。画像処理部１０２が映像信号を映像データに変換するために、ＭＰＥＧ２等の周知の種々のフォーマットの映像データを採用することができる。また、画像処理部１０２は、該撮像映像を適宜圧縮符号化しても構わない。

画像解析部１１０は、周知のパターンマッチング等の技術を用いて、画像処理部１０２により生成された撮像映像から追尾対象となる特定の被写体を検出するための処理を行う。例えば、特定の被写体として人物を検出する。画像解析部１１０は、追尾対象として登録された特定の人物を検出するようにしてもよい。また、画像解析部１１０は、単に動く物体（動体）を特定の被写体として検出するものであってもよい。

レンズ駆動部１０４は、フォーカスレンズ及びズームレンズの駆動系及びその駆動源のモータ等により構成される。レンズ駆動部１０４の動作制御は、レンズ制御部１０５によって行われる。レンズ制御部１０５は、システム制御部１０３からの指示に従ってレンズ駆動部１０４の動作制御を行う。

パン動作駆動部１０６は、撮像装置のパン動作を行うためのメカ駆動系及び駆動源のモータ等により構成され、一例として、図１０に示すように、撮像方向（撮像レンズの光軸）２２をパン方向に３６０度回転させることができる。すなわち、所定のパン軸２０を回転軸として、撮像装置の撮像方向２２を回転させることができる。パン動作駆動部１０６の動作制御は、パン動作制御部１０７によって行われる。パン動作制御部１０７は、システム制御部１０３からの指示に従ってパン動作駆動部１０６の動作制御を行う。

チルト動作駆動部１０８は、撮像装置のチルト動作を行うためのメカ駆動系及び駆動源のモータ等により構成され、一例として、図１０に示すように、パン軸２０と垂直なチルト軸２１周りに撮像方向２２を回転させる。すなわち、撮像方向２２を、パン軸２０と垂直な方向から１８０度まで回転させることができる。チルト動作駆動部１０８の動作制御は、チルト動作制御部１０９によって行われる。チルト動作制御部１０９は、システム制御部１０３からの指示に従ってチルト動作駆動部１０８の動作制御を行う。

システム制御部１０３は、プロセッサ（例えばＣＰＵやＤＳＰ）とメモリ（例えばＲＡＭ）とを有しており、該プロセッサが該メモリに格納されているコンピュータプログラムやデータを用いて処理を実行することで、撮像装置を構成する各部の動作制御を行う。これにより結果としてシステム制御部１０３は、撮像装置が行うものとして後述する各処理を実行若しくは制御する。例えば、システム制御部１０３は、画像処理部１０２に対して画質調整の指示を行ったり、レンズ制御部１０５に対してズームやフォーカス制御の指示を行ったりする。また、システム制御部１０３は、パン動作制御部１０７及びチルト動作制御部１０９に対してそれぞれパン動作及びチルト動作の指示を行ったりする。

通信インターフェース部１１１は、外部の機器との間のデータ通信を行うものである。例えば、通信インターフェース部１１１は、画像処理部１０２により生成された撮像映像を外部の機器に対して送信したり、外部の機器から送信された、撮像装置のパン、チルト、ズームなどの撮像パラメータや撮像装置の設定データを受信したりする。

図１の構成によれば、画像解析部１１０は、画像処理部１０２により生成された各フレームの撮像映像を参照し、隣接する２フレーム間で映像の差分を求めることで、フレームから動体を検出することができる。もちろん、フレームから動体を検出する方法はこれ以外の方法であってもよい。システム制御部１０３は、画像解析部１１０が検出した動体のフレーム内における位置に基づいて、動体がフレームの中央位置に規定のサイズで写るように、パン角、チルト角、ズームの変更量を求める。なお、パン角、チルト角、ズームの全ての変更量を常に求める必要はなく、状況によっては、そのうちの１つの変更量を求めたり、２つの変更量を求めたりすることもある。

そしてシステム制御部１０３は、パン角の変更量を求めた場合には、撮像装置のパン角が、該求めたパン角の変更量だけ変更するように、パン動作制御部１０７に指示する。また、システム制御部１０３は、チルト角の変更量（移動量）を求めた場合には、撮像装置のチルト角が、該求めたチルト角の変更量だけ変更するように、チルト動作制御部１０９に指示する。また、システム制御部１０３は、ズームの変更量を求めた場合には、撮像装置のズームが、該求めたズームの変更量だけ変更するように、レンズ制御部１０５に指示する。これにより撮像装置は、追尾対象を追尾して撮像することができる。

しかし、撮像装置のパン角やチルト角の変更中においては、追尾対象の移動によっては該追尾対象を見失う（画像解析部１１０が撮像映像から追尾対象を検出できない）こともある。このようなケースが生じる原因について、図２を用いて、撮像映像上の被写体位置とパン・チルト移動量との関係から説明する。

なお、以下の説明において、水平方向を基準として説明するが、撮像装置の設置される姿勢に応じて、適宜、異なる基準とすることができる。以下の説明においては、一例として、パン軸２０が鉛直方向を向くように撮像装置が天井に取り付けられているものとして説明する。つまり、撮像装置が天井から下方向を撮像するものとする。また、図２（Ａ）、２（Ｂ）、２（Ｃ）において、画面の横方向とチルト軸２１とが平行であるものとする。

図２（Ａ）は、撮像方向（撮像レンズの光軸の方向）が水平方向に近い場合における撮像装置の撮像範囲（撮像映像）を表している。撮像映像上の被写体Ｐ１，Ｐ２，Ｐ３がフレームの中央位置にくるようにするためのパン角の変更量（パン移動角度）はそれぞれ左方向（上方向から見て反時計周り）にθｐ１，θｐ２，θｐ３となり、チルト角の変更量（チルト移動角度）は略０となる。また、被写体Ｔ１，Ｔ２，Ｔ３に対するパン移動角度は０となり、チルト移動角度はそれぞれ上方向にθｔ１，θｔ２，θｔ３となる。

図２（Ｂ）、（Ｃ）は何れも、チルト位置が垂直下方向に近く、天井に取り付けられた撮像装置の撮像レンズの光軸が鉛直方向（真下方向）を向いている場合における該撮像装置の撮像範囲（撮像映像）を表している。このとき、撮像映像内における上下方向へ撮像方向２２を移動させるにはチルト角を変更させることとなる。一方、撮像映像内における横方向への移動は、パン方向への移動のみで直接移動することはできない。このとき、パン方向の移動は撮像映像の中央を中心とした回転となる。

図２（Ｂ）に示す如く、被写体Ｔ１，Ｔ２，Ｔ３がフレームの中央位置にくるようにするためのパン移動角度は０、チルト移動角度は画面の上方向にθｔ１，θｔ２，θｔ３となり、図２（Ａ）と同じである。一方、図２（Ｃ）に示す如く、被写体Ｐ１，Ｐ２，Ｐ３がフレームの中央位置にくるようにするためのパン移動角度は上方向から見て反時計周りに９０度となり、チルト移動角度は画面の上方向にθｔ１，θｔ２，θｔ４となる。図２（Ｃ）に示す如く、レンズが真下方向（パン軸２０の方向）を向いているときのパン・チルト移動角度は大きくなる場合がある。

特定の被写体を追尾するパン・チルトを変更させる際の速度（所定時間あたりに変更する角度）は、速度が速過ぎるとパン・チルト移動中における撮像映像は見づらくなるため、一定の角速度とすることが多い。そうすると、パン角度が大きければ大きいほどパン移動に必要な移動時間は長くなり、チルト角度が大きければ大きいほどチルト移動に必要な移動時間が長くなる。移動中は被写体の検出を行うことが難しい。そのため、パン・チルトの移動時間が長ければ長いほど、その間に被写体が画角の外に出たり、被写体が撮像装置から遠ざかって画面上でのサイズが検出可能サイズ（最小検出サイズ）よりも小さくなったりする可能性が高くなる。その結果、移動後に被写体を見失う確率が高くなる。

次に、特定の被写体の検出可能サイズについて図３を用いて説明する。画像解析部１１０は、撮像映像を規定サイズのブロックを単位に分割し、ブロック単位で被写体の検出処理を行う。例えば、横1280画素×縦720画素の撮像映像を、８画素×８画素のサイズを有するブロックを単位にして被写体の検出処理を行う。この場合、撮像映像は、横１６０ブロック×縦９０ブロックのサイズを有することになる。

画像解析部１１０は、時間的に隣接する２フレーム間で対応するブロック間の差分を計算し、差分値が所定値以上のブロックに基づいて追尾対象を決定する。例えば、連続して、ひとかたまりになっているブロックを差分ブロックとして追尾対象とする。しかし、撮像映像の明るさの微小な変化や撮像装置の取り付け部の微小な振動等によるノイズを除去するために、求めた差分ブロックのうち、サイズが小さい差分ブロックについてはノイズブロックと判断する。ノイズブロックは、被写体の検出対象とはならないブロックで、特定の被写体は非ノイズブロックから検出することになる。ここで、４ブロック未満の大きさの動体が検出された場合には、該動体はノイズと見なす。図３（Ａ）にノイズと見なされる差分ブロックの出現パターンを示す。４つの出現パターンそれぞれの動体の高さと幅の組み合わせは（１，１），（２，１），（１，２），（２，２）となる。また、図３（Ｂ）にノイズと見なされないブロックの最小サイズの出現パターンを示す。これらの出現パターンそれぞれの動体の高さと幅の組み合わせは（４，１），（１，４），（３，２），（２，３），（２，２）となる。高さと幅の組み合わせ（２，２）は、出現ブロックが３個でノイズと見なされるパターンと、ひとかたまりの差分ブロックが４個でノイズと見なされないパターンと、がある。ズームアウトし過ぎにより被写体を見失う可能性を減らすために、（２，２）の組み合わせはノイズと見なされる組み合わせとし、高さ方向のブロック数と幅方向のブロック数の合計が５ブロック以上であるときに、それを動体として検出可能と判定する。つまり、この例では、検出可能サイズ（最小検出サイズ）は、高さ方向のブロック数と幅方向のブロック数の合計が５ブロックとなるサイズである。

以上のように、本実施形態において、画像解析部１１０は、あるサイズ（基準サイズ）より小さいサイズの物体（動体）はノイズであると判断する。そして、画像解析部１１０はノイズであると判断した物体は追尾対象としない。よって、検出可能サイズとは、追尾対象としないと判断するための基準となるサイズに基づいて定まるサイズである。なお、余裕を持たせて、ノイズであると判断するための基準サイズよりも少し大きなサイズを後述の検出可能サイズとしてもよい。例えば、ノイズであると判断する基準となるサイズを１．１倍したサイズを検出可能サイズとしてもよい。

次に、撮像装置による追尾対象の追尾撮像動作について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに従った処理の開始段階では、撮像装置のパン角、チルト角、ズームの何れも変更中ではないものとする。

ステップＳ４０１では、画像解析部１１０は、時間的に隣接する２フレーム間で対応するブロック同士の差分を求め、該差分に基づいて追尾対象となる被写体（追尾対象）の検出処理を行う。そして、ステップＳ４０２にて、画像解析部１１０は、追尾対象となる被写体が撮像映像に含まれているかを判断する。画像解析部１１０が追尾対象となる被写体を検出した場合には、処理はステップＳ４０３に進み、追尾対象を検出できなかった場合には、処理はステップＳ４０６に進む。

画像解析部１１０は、動体（ノイズブロック以外の差分ブロック）を追尾対象としてもよいし、特定の物体（例えば人物）として判定した被写体を追尾対象としてもよい。また、画像解析部１１０は、動体かつ特定の物体を追尾対象としてもよい。また、画像解析部１１０は、特定の物体のうち、図示しない記録部に予め登録されている対象（例えば不審人物）を追尾対象としてもよい。その他にも、画像解析部１１０は、所定の領域に侵入した特定の物体を追尾対象としてもよい。

ステップＳ４０３では、システム制御部１０３は、現在のパン角及び／又はチルト角（パン角及びチルト角のうちの少なくとも一方）と、画像解析部１１０が検出した追尾対象のフレーム内における位置と、に基づいて、追尾対象がフレームの中央位置に写るようにパン角及び／又はチルト角の変更量を求める。そしてシステム制御部１０３は、現在のパン角及び／又はチルト角を、求めたパン角及び／又はチルト角の変更量だけ変更すべく、パン動作制御部１０７及び／又はチルト動作制御部１０９（パン動作制御部１０７及びチルト動作制御部１０９のうちの少なくとも一方）に指示する。これによりパン動作制御部１０７及び／又はチルト動作制御部１０９は、現在のパン角及び／又はチルト角をシステム制御部１０３から指示された変更量だけ変更するようにパン動作駆動部１０６及び／又はチルト動作駆動部１０８を制御する。

ステップＳ４０４では、システム制御部１０３は、追尾対象が規定のサイズで写るように、ズームの変更量を求める。例えば、システム制御部１０３は先ず、撮像映像中の追尾対象のサイズが、撮像映像のサイズに対して適切か否かを判断する。例えば、撮像映像の画面の高さ（縦の画素数）に対する追尾対象の高さ（縦方向の画素数）が第１の割合（例えば６０％）を超えているのか否か、撮像映像の横幅（横方向の画素数）に対する追尾対象の横幅（横方向の画素数）が第１の割合を超えているのか否か、を判断する。その結果、撮像映像の高さに対する追尾対象の高さが第１の割合を超えている、若しくは撮像映像の横幅に対する追尾対象の横幅が第１の割合を超えている場合、システム制御部１０３は、ズームアウトが必要と判断する。また、撮像映像の高さに対する追尾対象の高さが第２の割合（例えば１５％）を下回っているのか否か、撮像映像の横幅に対する追尾対象の横幅が第２の割合を下回っているのか否か、を判断する。その結果、撮像映像の高さに対する追尾対象の高さが第２の割合を下回っている、若しくは撮像映像の横幅に対する追尾対象の横幅が第２の割合を下回っている場合、システム制御部１０３は、ズームインが必要と判断する。

そしてシステム制御部１０３は、現在の撮像装置のズームが、該求めたズームの変更量だけ変更するように、レンズ制御部１０５に指示する。レンズ制御部１０５は、システム制御部１０３から指示された変更量だけズーム制御を行うよう、レンズ駆動部１０４を制御する。

ステップＳ４０５では、システム制御部１０３は、ステップＳ４０１で検出した追尾対象のサイズと、ステップＳ４０４におけるズームイン又はズームアウトの率（ズーム率）と、から、ズーム制御後の撮像映像における追尾対象のサイズを求める。例えば、ステップＳ４０４においてズームインし、そのズームインが１．４倍の拡大であるとすると、ズームイン前の追尾対象の高さが撮像映像の高さの１５％であれば、ズームイン後の撮像映像における追尾対象の高さは、撮像映像の高さの２１％となる。また、ステップＳ４０４においてズームアウトし、そのズームアウトが画角を縦横１５０％に拡大するものであるとする。このとき、ズームアウト前の追尾対象の高さが撮像映像の高さの６０％であれば、ズームアウト後の撮像映像における追尾対象の高さは、撮像映像の高さの４０％となる。

そしてシステム制御部１０３は、このようにして求めた、ズーム制御後の撮像映像における追尾対象のサイズを、システム制御部１０３が有するメモリ若しくは不図示の外部のメモリに記録する。

一方、ステップＳ４０６では、追尾対象を検出している状態から検出していない状態となった場合、見失った追尾対象を検索するための処理（被写体探索処理１）が行われる。ステップＳ４０６における処理の詳細について、図５のフローチャートを用いて説明する。

ステップＳ５０１では、画像解析部１１０は、ステップＳ４０５でメモリに記録したサイズ、すなわち、追尾対象を見失う前（例えば直前）における撮像映像上の追尾対象のサイズを読み出す。

ステップＳ５０２では、画像解析部１１０は、次のような処理を行う。すなわち、仮に現フレームの撮像映像上にステップＳ５０１で読み出した追尾対象サイズを有する追尾対象が写っており、この状態から更にズームアウトした場合に、該追尾対象が撮像映像上でどのようなサイズに縮小されるのかを求める。例えば、読み出した追尾対象のサイズが縦Ｈ画素×横Ｗ画素であるとすると、該追尾対象サイズを上記のブロック単位で表現すれば、縦Ｈ／８ブロック×横Ｗ／８ブロックとなる。ここで、１回のズームアウトで撮像される画角が縦横それぞれ３／２倍に広がると、ズームアウト後における追尾対象サイズは上記のブロック単位で、縦Ｈ／１２ブロック×横Ｗ／１２ブロックとなる。Ｈ＝３２，Ｗ＝６４とすると、ズームアウト後における追尾対象のサイズは、縦８／３ブロック×横１６／３ブロックとなる。

ステップＳ５０３では、画像解析部１１０は、ステップＳ５０２で求めた追尾対象のブロック単位のサイズと、検出可能サイズ（所定サイズ）と、の大小比較を行う。この大小比較の結果、ステップＳ５０２で求めた追尾対象のブロック単位のサイズが検出可能サイズよりも大きい場合には、処理はステップＳ５０４に進む。一方、ステップＳ５０２で求めた追尾対象のブロック単位のサイズが検出可能サイズ以下であれば、処理はステップＳ５０８に進む。

上記の例では、ステップＳ５０２で求めた追尾対象のブロック単位のサイズは縦８／３ブロック＋横１６／３ブロック＝８ブロック、検出可能サイズ＝５であるから、処理はステップＳ５０４に進むことになる。

ステップＳ５０４では、システム制御部１０３はレンズ制御部１０５を制御して、レンズ駆動部１０４にズームアウトを行わせる。このときのズームアウトの量はステップＳ５０２において追尾対象のサイズを算出するために使用したズームアウトの量（上記の例では、画角が縦横それぞれ３／２倍になるズームアウト量）である。

ステップＳ５０５では、画像解析部１１０は、ステップＳ４０５でメモリに記録した追尾対象サイズを消去し、代わりに、ステップＳ５０２で求めた追尾対象のサイズ（最近求めた追尾対象のサイズ）を該メモリに記録する。この記録するサイズは、上記のブロック単位のサイズであってもよいし、縦横の画素数で表したサイズであってもよい。

ステップＳ５０６では、画像解析部１１０は、上記のステップＳ４０１と同様の処理により、画像処理部１０２により生成された撮像映像から追尾対象を検出するための処理を行う。この撮像映像は、上記のステップＳ５０４で行ったズームアウト後の撮像映像である。もし該ズームアウト後の撮像映像中に追尾対象が写っている場合、この撮像映像上における追尾対象のサイズは少なくとも検出可能サイズより大きいことになる。よって、ズームアウト後の撮像映像中の追尾対象のサイズの問題に起因して該追尾対象を検出できない、という問題は起きないと考えられる。

そして、ステップＳ５０７にて、画像解析部１１０は追尾対象の被写体を検出できたか判断し、画像解析部１１０が撮像映像から追尾対象を検出することができた場合には、ステップＳ４０７に進む。一方、ステップＳ５０６において画像解析部１１０が撮像映像から追尾対象を検出することができなかった場合には、ステップＳ５０２に進み、ステップＳ５０５でメモリに記録した追尾対象のサイズを用いて以降の処理を行う。このとき、ステップＳ５０２では、「ステップＳ５０１で読み出した追尾対象サイズ」の代わりに「ステップＳ５０５でメモリに記録した追尾対象のサイズ」を用いることになる。この「ステップＳ５０５でメモリに記録した追尾対象のサイズ」とは、ステップＳ５０２においては前回求めた追尾対象のサイズとして取り扱われることになる。

つまり、画像解析部１１０は、ズームアウト後の撮像映像に対する探索の結果、該撮像映像から追尾対象を検出することができなかった場合には、更にズームアウトした後の撮像映像における追尾対象の予測サイズを前回求めた予測サイズに基づいて求める。そして、該更にズームアウトした後の撮像映像における追尾対象の予測サイズが所定サイズよりも大きければズームアウトし、該ズームアウト後の撮像映像から追尾対象を探索することとなる。

一方、ステップＳ５０８では、システム制御部１０３はレンズ制御部１０５を制御して、レンズ駆動部１０４に一回分だけのズームアウトを行わせる。このときのズームアウトの量は、ステップＳ５０２で求めた追尾対象のブロック単位のサイズ≒検出可能サイズとなるようなズームアウト量である。

そしてステップＳ５０９では、画像解析部１１０は、上記のステップＳ４０１と同様の処理により、画像処理部１０２により生成された撮像映像から追尾対象を検出するための処理を行う。この撮像映像は、上記のステップＳ５０８で行ったズームアウト後の撮像映像である。

図４に戻って、ステップＳ４０７において画像解析部１１０が撮像映像から追尾対象を検出することができたかどうか判断し、検出できた場合には、ステップＳ４０３に進む。一方、画像解析部１１０が撮像映像から追尾対象を検出することができなかった場合には、ステップＳ４０８に進む。ステップＳ４０８では、システム制御部１０３は、メモリに記録されている追尾対象のサイズを消去する。

以上のように、システム制御部１０３と画像解析部１１０とが協働して探索手段として機能する。

このように、本実施形態によれば、追尾中に被写体を見失ったときに、直前の記憶している被写体の大きさに基づいて算出された、ズームアウトした場合における追尾対象のサイズ（予測サイズ）と動体を検出可能な最小サイズとを比較し、その比較結果に応じて、ズームアウトするか判断することにより、ズームアウトし過ぎにより被写体を検出できなくなることを防ぐことができる。

［第２の実施形態］
本実施形態では、追尾対象を見失う前（例えば直前）のパン角・チルト角の変更量が規定の量よりも大きい場合に、第１の実施形態と同様にして、見失った追尾対象を探索するためにズームアウトを実行する。

そして、追尾対象を見失う前（例えば直前）のパン角・チルト角の変更量が規定の量以下の場合に、見失った追尾対象を探索するためにズームアウトを実行しない。このようにすることで、追尾対象が画面から外れたのではなく、画面上で検出可能サイズよりも小さくなったり、追尾対象が停止したと想定される場合に、不要なズームアウト処理をすることを防ぐことができる。以下では第１の実施形態との差分について重点的に説明し、以下で特に述べない事項は、第１の実施形態と同様であるものとする。

撮像装置による追尾対象の追尾撮像動作について、図６のフローチャートを用いて説明する。なお、図６において、図４に示した処理ステップと同じステップには同じステップ番号を付しており、該ステップに係る説明は省略する。

ステップＳ６０４では、システム制御部１０３は、ステップＳ４０３で求めたパン角及び／又はチルト角の変更量をメモリに記録する。ステップＳ６０７では、システム制御部１０３は、ステップＳ６０４でメモリに記録したパン角及び／又はチルト角の変更量を読み出す。このとき、実際にパン・チルトを変更させてもよい。

ステップＳ６０８では、システム制御部１０３は、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が規定の量よりも大きいか否かを判断する。この判断の結果、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が規定の量よりも大きい場合には、処理はステップＳ４０６に進む。この場合は、追尾対象の移動が速いと想定されるため、追尾対象が画面から外れてしまった可能性が高い。

一方、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が規定の量以下であれば、処理はステップＳ４０１に進む。この場合、追尾対象の移動は遅いと想定されるため、追尾対象が画面から外れたのではなく、画面上で検出可能サイズよりも小さくなった可能性が高い。例えば、パン角又はチルト角の変更量が、撮像映像の画角の幅（横方向の画角の大きさ）の１／４以上に相当する量であれば、処理はステップＳ４０６に進み、撮像映像幅の画角の１／４未満に相当する量であれば、処理はステップＳ４０１に進む。

ステップＳ６１１では、システム制御部１０３は、メモリに記録されている追尾対象のサイズと、ステップＳ６０４でメモリに記録したパン角及び／又はチルト角の変更量とを消去する。

このように、本実施形態によれば、追尾中に追尾対象を見失ったときに、直前の記憶しているパン角及び／又はチルト角の変更量が大きいときにズームアウト動作を行なうことにより、不要なズームアウト処理を行う回数を低減することができる。つまり、追尾対象を見失う前（例えば直前）のパン角・チルト角の変更量が規定の量以下の場合に、見失った追尾対象を探索するためにズームアウトを実行しないことで、不要なズームアウト処理を行う回数を低減することができる。

［第３の実施形態］
本実施形態では、第２の実施形態に加えて、追尾対象を見失う直前のパン角・チルト角の変更量が第２の規定の量よりも小さい場合には、見失った追尾対象を探索するためにズームインを実行する。以下では第２の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第２の実施形態と同様であるものとする。

撮像装置による追尾対象の追尾撮像動作について、図７のフローチャートを用いて説明する。なお、図７において、図４，６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

なお図７のステップＳ６０８では、第２の実施形態では「規定の量」と呼称していたものを「第一の閾値」と呼称している点のみが第２の実施形態のステップＳ６０８と異なり、実質的な処理は、第２の実施形態で説明したステップＳ６０８の処理と同じである。ステップＳ６０８において、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が第一の閾値以下であれば、処理はステップＳ７１２に進む。

ステップＳ７１２では、システム制御部１０３は、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が、第二の閾値よりも小さいか否かを判断する。なお、第二の閾値は第一の閾値よりも小さいものとする。この判断の結果、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が第二の閾値よりも小さい場合には、処理はステップＳ７１３に進む。一方、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が第二の閾値以上であれば、処理はステップＳ４０１に進む。例えば、パン角の変更量が撮像映像幅の画角の１／８（第２の閾値）以下で且つチルト角の変更量が撮像映像高さ方向の画角の１／８（第２の閾値）以下である、という条件が満たされた場合には、処理はステップＳ７１３に進む。一方、この条件が満たされていない場合には、処理はステップＳ４０１に進む。

ステップＳ７１２の判断の結果、ステップＳ６０７で読み出したパン角及び／又はチルト角の変更量が第二の閾値以上のときは、追尾対象が低速で移動している可能性がある。フレーム間の差分で物体を検出すると、このようなゆっくりと移動しているか停止している物体は、物体が画面内に映っているのに検出されない可能性がある。よって、ズームインは行わない。このように、不要なズームインを行うことを防ぐことができる。ズームインを行い過ぎると、画面内での物体の見かけ上の移動速度が速くなり過ぎたり、物体の見かけ上のサイズが大きくなって画面からはみ出す恐れがある。不要なズームインを防ぐことによって、検出精度も高めることができる。

ステップＳ７１３では、見失った追尾対象を検索するための処理（被写体探索処理２）が行われる。ステップＳ７１３における処理の詳細について、図８のフローチャートを用いて説明する。

ステップＳ８０１では、画像解析部１１０は、ステップＳ４０５でメモリに記録したサイズ、すなわち、追尾対象を見失う前(例えば直前)における撮像映像上の追尾対象サイズを読み出す。

ステップＳ８０２では、画像解析部１１０は先ず、ステップＳ８０１で読み出した追尾対象サイズを上記のブロック単位で表した場合に、縦Ａブロック×横Ｂブロックであるとすると、該追尾対象サイズに対応するブロック数（Ａ×Ｂ）を求める。そしてシステム制御部１０３は、求めたブロック数が、検出可能サイズの定数倍以下であるか否かを判断する。例えば、検出可能サイズを第１の実施形態と同様に「５」とし、定数を「２」とすると、求めたブロック数が、５×２＝１０以下であるか否かを判断する。

この判断の結果、求めたブロック数が、検出可能サイズの定数倍以下である場合には、処理はステップＳ８０３に進み、求めたブロック数が、検出可能サイズの定数倍よりも大きい場合には、処理はステップＳ４０７に進む。

ステップＳ８０３では、システム制御部１０３はレンズ制御部１０５を制御して、レンズ駆動部１０４に一回分だけのズームインを行わせる。

ステップＳ８０４では、画像解析部１１０は、ズームイン後の撮像映像上の追尾対象のサイズを求める。ステップＳ８０２で求めた追尾対象サイズに対応するブロック数をＮ、ステップＳ８０３で行ったズームインの量をＭとすると、（Ｎ×Ｍ）を、ズームイン後の撮像映像上の追尾対象のサイズとして求める。そして画像解析部１１０は、ステップＳ４０５でメモリに記録した追尾対象サイズを消去し、代わりに、本ステップで求めた追尾対象のサイズを該メモリに記録する。

ステップＳ８０５では、画像解析部１１０は、上記のステップＳ４０１と同様の処理により、画像処理部１０２により生成された撮像映像から追尾対象を検出するための処理を行う。この撮像映像は、上記のステップＳ８０３で行ったズームイン後の撮像映像である。

そして、ステップＳ８０５において画像解析部１１０が撮像映像から追尾対象を検出することができた場合には、処理はステップＳ８０６を介してステップＳ４０７に進む。一方、ステップＳ８０５において画像解析部１１０が撮像映像から追尾対象を検出することができなかった場合には、処理はステップＳ８０６を介してステップＳ８０２に進み、ステップＳ８０４でメモリに記録した追尾対象のサイズを用いて以降の処理を行う。

このように、本実施形態によれば、追尾中に追尾対象を見失ったときに、直前の記憶しているパン角及び／又はチルト角の変更量が小さいときにズームイン動作を行なうことにより、撮像装置から遠くに離れた追尾対象を発見し追尾することが可能となる。

［第４の実施形態］
図１に示した全ての機能部をハードウェアで構成しても構わないが、システム制御部１０３の一部をソフトウェア（コンピュータプログラム）で実装しても構わない。また、各実施形態における画像処理部１０２、画像解析部１１０、レンズ制御部１０５、パン動作制御部１０７、及びチルト動作制御部１０９についても、プロセッサとメモリとで実現してもよい。以上の構成は、１つのプロセッサと、１つのメモリとで実現してもよいし、複数のプロセッサや複数のメモリで実現してもよい。

ここで、図９を用いて、上述の構成をプロセッサとメモリとで実現した場合の撮像装置のコンピュータのハードウェア構成例を説明する。一例として、プロセッサとしてＣＰＵを用い、メモリとしてＲＡＭを用いた例を説明する。

ＣＰＵ９１は、ＲＡＭ９２やＲＯＭ９３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記の各部が行う処理を実行する。

ＲＡＭ９２は、コンピュータプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ９２は、ＣＰＵ９１が各処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ９２は、例えば、フレームメモリとして機能したり、その他の各種の記録エリアとして機能する。

ＲＯＭ９３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。９４は上述の各部を繋ぐバスである。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、以上説明した各実施形態はその一部若しくは全部を適宜組み合わせても構わない。

１０３：システム制御部 １１０：画像解析部 １０５：レンズ制御部

Claims (8)

1. 追尾対象を追尾して撮像する撮像装置を制御する制御装置であって、
   前記撮像装置によって撮像された撮像映像中に写っている追尾対象のサイズを記録する記録手段と、
   前記撮像映像から追尾対象を検出できる状態から検出できない状態になると、所定の倍率でズームアウトした場合における撮像映像における前記追尾対象の予測サイズを前記記録手段によって記録されたサイズに基づいて求め、該予測サイズが所定サイズよりも大きければ前記所定の倍率でズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索する探索手段と
   を備えることを特徴とする制御装置。
2. 前記探索手段は、前記所定の倍率のズームアウト後の撮像映像に対する探索の結果、該撮像映像から追尾対象を検出することができなかった場合には、更にズームアウトした後の撮像映像における追尾対象の予測サイズを前回求めた予測サイズに基づいて求め、該更にズームアウトした後の撮像映像における追尾対象の予測サイズが所定サイズよりも大きければズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索することを特徴とする請求項１に記載の制御装置。
3. 前記探索手段は、基準サイズよりも小さい物体を追尾対象とせず、
   前記所定サイズは、前記基準サイズに基づくサイズである
   ことを特徴とする請求項１又は２に記載の制御装置。
4. 前記記録手段は、前記追尾対象が撮像映像内で所定のサイズで写るようにズームを制御した後で撮像した撮像映像中に写っている該追尾対象のサイズを記録することを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
5. 前記探索手段は、前記撮像映像から追尾対象を検出できなかった場合、直前の撮像装置のパン角及びチルト角のうちの少なくとも一方の変更量が所定の量よりも大きい場合、ズームアウト後の撮像映像における追尾対象の予測サイズを前記記録手段によって記録されたサイズに基づいて求め、該予測サイズが所定サイズよりも大きければズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
6. 前記探索手段は、前記撮像映像から追尾対象を検出できなかった場合、直前の撮像装置のパン角及びチルト角のうちの少なくとも一方の変更量が所定の量よりも小さい場合において、撮像映像における追尾対象のサイズが所定のサイズよりも小さいときにズームインし、該ズームイン後の撮像映像から前記追尾対象を探索することを特徴とする請求項１乃至５の何れか１項に記載の制御装置。
7. 追尾対象を追尾して撮像する撮像装置の制御方法であって、
   前記撮像装置によって撮像された撮像映像中に写っている追尾対象のサイズを記録させる記録工程と、
   前記撮像映像から追尾対象を検出できる状態から追尾対象を検出できない状態になると、所定の倍率でズームアウトした場合における撮像映像における前記追尾対象の予測サイズを前記記録工程で記録されたサイズに基づいて求め、該予測サイズが所定サイズよりも大きければ前記所定の倍率でズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索する探索工程と
   を有することを特徴とする撮像装置の制御方法。
8. 追尾対象を追尾して撮像する撮像装置を制御する制御装置のコンピュータを、
   前記撮像装置によって撮像された撮像映像中に写っている追尾対象のサイズを記録させる記録手段、
   前記撮像映像から追尾対象を検出できる状態から追尾対象を検出できない状態になると、所定の倍率でズームアウトした場合における撮像映像における前記追尾対象の予測サイズを前記記録手段によって記録されたサイズに基づいて求め、該予測サイズが所定サイズよりも大きければ前記所定の倍率でズームアウトし、該ズームアウト後の撮像映像から前記追尾対象を探索する探索手段
   として機能させることを特徴とするプログラム。

Images