JP2000050145A

JP2000050145A - 自動追尾装置

Info

Publication number: JP2000050145A
Application number: JP11145558A
Authority: JP
Inventors: Kenichi Hagio; 健一萩尾; Satoshi Furukawa; 聡古川; Minoru Yoshida; 稔吉田; Eiichi Fukui; 栄一福井; Juichi Kawashima; 寿一川島
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1998-05-26
Filing date: 1999-05-25
Publication date: 2000-02-18

Abstract

(57)【要約】【課題】追尾対象を確実に精度よく追尾できる自動追
尾装置を提供する。【解決手段】近赤外領域の光を透過し可視光を遮断す
る赤外透過フィルタ１１を具備し、所定領域を撮像する
少なくとも一つの撮像手段１０と、前記撮像手段１０が
出力する映像信号から同期信号を抽出する同期信号抽出
手段２０と、前記同期信号を受信し近赤外領域の光を点
滅発光させる赤外発信器４１と、前記映像信号を入力す
る画像入力手段３１と、入力画像を処理することによっ
て追尾対象が保持あるいは装着した赤外発信器４１の画
面上の位置座標を検出する発信器位置座標検出手段３２
と、前記発信器位置座標検出手段３２が検出した赤外発
信器４１の画面上の位置座標から前記赤外発信器４１の
３次元位置を算出する発信器位置検出手段３３とを有す
る自動追尾装置とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動追尾装置に関
する。

【０００２】

【従来の技術】自動追尾装置は、例えば披露宴会場や各
種宴会場において、花嫁等をＴＶカメラで自動的に連続
撮影したり、照明を前記花嫁等の追尾対象の動きに合わ
せて自動的に照射する用途に利用することができるもの
である。

【０００３】そして、近年、ＴＶカメラを利用した自動
追尾装置が種々提案されている。これらの自動追尾装置
は大別すると、不特定の追尾対象を追尾するものと、追
尾したい対象が予め決まっているものの２種類がある。

【０００４】前者は画面上の追尾対象の特徴、例えば色
や形状などを記憶し、順次入力される画像中から記憶し
た追尾対象の特徴と最も一致度が高い位置を検出する方
法である。この種の具体的手法としてはテンプレートマ
ッチングがある。テンプレートマッチングは、追尾対象
にあたる領域の画像データをテンプレートとして記憶
し、順次入力される画像をテンプレートと同じサイズの
ブロックに分け、画素毎にテンプレートとブロックの画
素値の差分の絶対値を計算して累積し、最も累積値が小
さいブロックの位置を対象の位置とするものである。

【０００５】後者は追尾対象に装着した色票や赤外発信
器等のマーカを明るさや色といった特徴で二値化処理
し、抽出することで追尾対象の位置を算出するものであ
る。

【０００６】

【発明が解決しようとする課題】ところで、テンプレー
トマッチングを利用した従来の追尾装置は、テンプレー
トとブロックの相対的に同じ座標の画素値の差分をとる
ため、追尾対象の形状が変化すると（例えば、追尾対象
が人間の場合など）、正しい位置での差分の累積値が大
きくなり正しく追尾できなくなるという問題があった。
また追尾対象と形状が類似した物体が多く存在する環境
においては追尾精度が低くなるという問題があった。

【０００７】以上のようなテンプレートマッチングの問
題点を解決するために、追尾対象の色情報を抽出し、例
えばヒストグラムとして特徴量を持つ手法が提案されて
いる。しかしこの手法は、ヒストグラムが形状に依存し
ない、色情報は比較的照明変化に強い等の特徴がある
が、追尾中に照明との距離や角度が変化するなどしてや
はり色情報は変化するため、記憶していた色情報を抽出
できず追尾が困難になる問題があった。

【０００８】一方、マーカを二値化処理することで追尾
する方法において、マーカとして赤外発信器を使う場
合、赤外光は人には見えないため出力パワーを大きくす
ることができ、その赤外光を安定して受光できれば追尾
も安定して行えるという特徴がある。しかし、マーカは
追尾対象自体や他の物体によって隠れてしまい見えなく
なる場合があり、それを防ぐためには多数のマーカ（赤
外発信器）を装着しなければならないという問題があっ
た。また使用環境によっては写真機の測距装置やハロゲ
ンランプなど赤外発信器以外にも赤外成分を持つ光源が
存在する場合があり、赤外発信器以外からの赤外光を追
尾してしまい、追尾対象を追尾できなくなってしまうこ
とがあった。

【０００９】また、一般に、画像処理は非常に多い量の
画像データをあつかうものであり、追尾時に制御対象
（例えばスポット照明）を併行して制御する場合、画像
処理を行なう時間間隔を極力短くすべく、専用の画像処
理ハードウェアを投入するようになってしまうので、高
価なシステムになってしまうという問題点もあった。

【００１０】また、追尾エリア範囲を広くしたい場合、
上記のような自動追尾装置を複数セット使用することに
なるのだが、従来では各自動追尾装置セットの互いの間
で受け持ちの追尾エリア範囲が共通しているエリアがあ
った場合、同一の追尾対象（披露宴会場での花嫁など）
について、異なる複数の位置情報が発生してしまい、複
数セットの自動追尾装置のあいだで、取得した位置情報
の調停を行なう必要もでてきた。

【００１１】本発明は上記の問題点を解決するためにな
されたものであり、その主たる目的とするところは、追
尾対象を確実に精度よく追尾できる自動追尾装置を提供
することにある。

【００１２】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１記載の発明では、近赤外領域の光を透過
し可視光を遮断する赤外透過フィルタを具備し、所定領
域を撮像する少なくとも一つの撮像手段と、撮像手段が
出力する映像信号から同期信号を抽出する同期信号抽出
手段と、同期信号を受信し近赤外領域の光を点滅発光さ
せる赤外発信器と、映像信号を入力する画像入力手段
と、入力画像を処理することによって追尾対象が保持あ
るいは装着した赤外発信器の画面上の位置座標を検出す
る発信器位置座標検出手段と、発信器位置座標検出手段
が検出した赤外発信器の画面上の位置座標から赤外発信
器の３次元位置を算出する発信器位置検出手段とを有す
る。

【００１３】請求項２記載の発明では、請求項１記載の
自動追尾装置において、撮像手段に、赤外発信器の中心
波長と透過波長を略一致させたバンドパスフィルタを具
備する。

【００１４】請求項３記載の発明では、請求項１記載の
自動追尾装置において、発信器位置座標検出手段におい
て、赤外発信器が発光しているタイミングのフィールド
又はフレームの画像と、赤外発信器が消えているタイミ
ングのフィールド又はフレームの画像に対して明るい領
域を膨張させるフィルタ処理を施した画像とを差分処理
することで、赤外発信器の画面上の位置を検出する。

【００１５】請求項４記載の発明では、請求項１記載の
自動追尾装置において、発信器位置座標検出手段におい
て、画面上の処理領域を限定し、かつ動的に制御する。

【００１６】請求項５記載の発明では、請求項４記載の
自動追尾装置において、発信器位置座標検出手段におい
て、所定時間内での演算が可能なデータ量を決定し、画
面上でのデータ量にみあう所定の単一の大きさの処理領
域を設定し、処理領域を画面上の任意の位置に移動設定
する制御を行なうことを特徴とする。

【００１７】請求項６記載の発明では、請求項４記載の
自動追尾装置において、発信器位置座標検出手段におい
て、撮像手段と現在の追尾対象との間の距離に応じて、
画面上の処理領域のデータ量を間引きすることを特徴と
する。

【００１８】請求項７記載の発明では、請求項４記載の
自動追尾装置において、発信器位置座標検出手段におい
て、赤外発信器の発光タイミングのフィールドまたはフ
レームの画像を間引きした処理領域と、赤外発信器の発
光が消えているタイミングのフィールドまたはフレーム
の画像を間引きした処理領域と、に対して、明るい領域
を膨張させるフィルタ処理を施した画像を差分処理する
ことで、赤外発信器の画面上の位置を検出することを特
徴とする。

【００１９】請求項８記載の発明では、請求項１乃至７
のいずれか１つに記載の自動追尾装置において、発信器
位置座標検出手段が複数使用される場合、複数の発信器
位置座標検出手段の各出力信号を全て１つの値に統一修
正する調停手段を有することを特徴とする。

【００２０】請求項９記載の発明では、近赤外領域の光
を透過し可視光を遮断する赤外透過フィルタを具備し、
所定領域を撮像する少なくとも一つの第１の撮像手段
と、可視領域の光を撮像する少なくとも一つの第２の撮
像手段と、第１の撮像手段が出力する映像信号から同期
信号を抽出する同期信号抽出手段と、同期信号を受信し
近赤外領域の光を点滅発光させる赤外発信器と、映像信
号を入力する第１の画像入力手段と、入力画像を処理す
ることによって追尾対象が保持あるいは装着した赤外発
信器の画面上の位置座標を検出する発信器位置座標検出
手段と、発信器位置座標検出手段が検出した赤外発信器
の画面上の位置座標から赤外発信器の３次元位置を算出
する発信器位置検出手段と、第２の撮像手段が出力する
映像信号を入力する第２の画像入力手段と、入力画像に
おいて発信器位置検出手段で算出した３次元位置を第２
の撮像手段の画面座標系に変換して得た座標の近傍の画
像特徴を獲得記憶する特徴値記憶手段と、特徴値を記憶
後は第２の撮像手段によって入力される画像中から記憶
した特徴値との類似度を算出する類似度算出手段と、発
信器位置検出手段が算出した３次元位置と類似度算出手
段が算出した類似度から対象の３次元位置を算出する対
象位置検出手段とを有する。

【００２１】請求項１０記載の発明では、請求項９記載
の自動追尾装置において、特徴値記憶手段において、対
象に色の特徴がある場合は色を記憶し、色の特徴がない
場合は明るさを記憶する。

【００２２】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００２３】（実施形態１）本発明の第１の実施形態を
図１乃至図５、及び図９，図１０に基づいて説明する。
図１は自動追尾装置のブロック図、図２は同上の動作説
明図、図３は同上の要部の動作説明図、図４は同上の動
作を説明するためのイメージ図、図５は同上の動作を説
明するためのイメージ図である。本自動追尾装置は、図
１に示す撮像手段１０としてモノクロＣＣＤカメラを備
え、この撮像手段１０の前面には赤外透過フィルタ１１
とレンズ１２とを備えている。更に撮像手段１０には、
同期信号抽出手段２０と、画像処理装置３０が接続して
あり、画像処理装置３０は制御対象５０に位置出力をす
るようにしてある。

【００２４】一方、追尾対象４０には、赤外発信器４１
が装着してあり、当該赤外発信器４１は、同期信号抽出
手段２０からの同期信号を受信して、映像信号と同期し
て赤外光を発光するようにしてある。

【００２５】赤外発信器４１は、発光部と同期信号受信
部とを具備して構成し、発光部は、赤外領域、例えば８
９０ｎｍ付近に出力のピークを持つ赤外発光ダイオード
などで構成する。同期信号受信部は、撮像手段１０が出
力する映像信号に同期した信号を受信し、発光部の発光
を制御する。この同期信号は、例えば映像信号の１フレ
ームの開始タイミングに合わせる。この場合の発光制御
信号の例を図２に示す。撮像手段１０はインターレース
走査をしており、赤外発信器４１は１フィールド（１
６．７ｍＳ）毎にオン、オフを繰り返すように制御して
いる。この発光制御方法をとる理由の１つは、他の赤外
光と識別できるようにするためであり、もう１つは検出
すべき複数の追尾対象を扱うことができるようにするた
めである。

【００２６】次に同期信号抽出手段２０は、撮像手段１
０が出力する映像信号に含まれる同期信号を分離してそ
の信号を赤外発信器４１へ送信する。使い勝手を考慮し
て、この同期信号は無線信号としている。もちろん有線
信号であってもかまわない。

【００２７】撮像手段１０は、赤外透過フィルタ１１を
具備しているので、可視光をカットすることができ、赤
外発信器４１以外の光はほとんど撮像手段１０に入らな
いようにしてある。ここで、図３の動作説明図（感度と
波長の関係図）に示すようにモノクロＣＣＤカメラの相
対感度Ａと、赤外透過フィルタ１１の透過率Ｂと、赤外
発信器４１の相対出力Ｃの各特性は同図に示すような特
性を有するもので構成し、これらを総合した図３の編み
かけ部分の感度で撮像手段１０に赤外光を入力するよう
に構成している。この構成により、略７００ｎｍから１
０００ｎｍの波長の光だけを透過するように構成してあ
る。

【００２８】次に、図１に示す画像処理装置３０の内部
構成について説明する。まず画像入力手段３１には、撮
像手段１０が出力する映像信号をＡＤ変換してデジタル
信号が入力される。赤外発信器４１が点滅している状態
における入力画像例は、図４のようになる。赤外発信器
４１は前述したように、１フィールド毎に点滅するよう
にしているので、図４のようにライン形状で、１ライン
間隔で分布する。一方、点滅を繰り返すように発光制御
された赤外発信器４１以外の赤外光（赤外ノイズと呼
ぶ）の代表的な画像例を図５に示す。赤外ノイズは発光
制御されていないので、各ラインに連続して分布する。

【００２９】発信器位置座標検出手段３２は、上記のよ
うな分布の差異を利用することで赤外発信器４１からの
赤外光の像と、赤外ノイズの像とを識別し、赤外発信器
４１の像だけを抽出する。識別方法の例を図９，図１０
に示す。発信器位置座標検出手段３２は、入力画像を、
奇数フィールド画像と、偶数フィールド画像に分割す
る。この例では、赤外発信器４１は奇数フィールドで点
灯するように制御されている。そして各フィールドを所
定のしきい値で二値化処理する。赤外発信器４１の像の
場合は奇数フィールド画像は点灯しているので二値化処
理によって領域が抽出されるが、偶数フィールドでは消
えているため二値化処理によって領域が抽出されない。
一方、赤外ノイズの像の場合は奇数偶数両フィールド画
像が点灯しているので領域が抽出される。よって二値画
像に対してラベリング処理を行い、ラベル付けられた領
域毎に、重心位置及び面積を算出すると、赤外ノイズで
は両フィールド画像の近い位置に領域が存在するが、赤
外発信器４１では近傍に領域が存在しない。このことを
利用して赤外発信器４１の像の位置座標を求めることが
できる。

【００３０】発信器位置検出手段３３は、発信器位置座
標検出手段３２が算出した赤外発信器４１の像の位置座
標、及び撮像手段１０の取付け位置，姿勢から赤外発信
器４１の３次元位置を算出する。３次元位置は２台以上
の撮像手段で赤外発信器４１の像の位置座標を求めるこ
とにより三角測量の原理から求められる。

【００３１】以上のようにして検出した赤外発信器４１
の３次元位置方向に、照明装置のような制御対象５０を
向けて自動追尾を行う。

【００３２】（実施形態２）本発明の第２の実施形態を
図６及び図７に基づいて説明する。図６は自動追尾装置
のブロック図、図７は要部の動作説明図である。本自動
追尾装置は、撮像手段１０に、赤外発信器４１の中心波
長と、透過波長を略一致させたバンドパスフィルタ１３
を具備したものである。この構成は、第１の実施の形態
の自動追尾装置のように赤外発信器４１の点滅を利用す
る場合に有効である。例えば、照明自動追尾装置に応用
する場合、赤外発信器４１には照明装置が発する赤外成
分を含んだ光が照射されることになる。このとき赤外発
信器４１がオフの状態であっても、赤外発信器４１付近
の照明装置の光の反射によってオン状態と区別がつかな
い場合がある。このような状態を避けるためには赤外発
信器４１の像が反射光に対して相対的に明るい必要があ
る。

【００３３】ここで、図７の動作説明図（感度と波長の
関係図）に示すようにモノクロＣＣＤカメラの相対感度
Ａと、赤外透過フィルタ１１とバンドパスフィルタ１３
とを組み合わせたフィルタの透過率Ｂと、赤外発信器４
１の相対出力Ｃの各特性は同図に示すような特性を有す
るもので構成し、これらを総合した図７の編みかけ部分
の感度で撮像手段１０に赤外光を入力するように構成し
ている。この構成により、略８７０ｎｍから９１０ｎｍ
の波長の光だけを透過するように構成してある。

【００３４】このような構成にすることにより、赤外発
信器４１の発する光に対しては、図３に示したようにバ
ンドパスフィルタ１３を用いないものと比べ、絶対的な
感度が落ちるが、赤外ノイズと比較した場合の相対的な
感度は向上する場合が多い。これは赤外ノイズの原因と
なる照明の分光感度が比較的ブロードに分布するため
に、特に７００ｎｍ〜８５０ｎｍ付近の光が赤外透過フ
ィルタを透過し赤外ノイズとして入力されることに起因
する。従ってバンドパスフィルタ１３によりこれらの波
長の光の入力を抑圧することによって、赤外発信器４１
に照明が当たるような状況においても安定した自動追尾
を行うことができるのである。

【００３５】（実施形態３）本発明の第３の実施形態を
図８乃至図１５に基づいて説明する。図８は自動追尾装
置の動作を説明するフローチャート、図９乃至図１５は
動作を説明するイメージ図である。本実施の形態のブロ
ック構成は、図１又は図６に示すものであるが、図６を
用いて説明する。赤外発信器４１、同期信号抽出手段２
０、撮像手段１０の動作は第１の実施の形態と同様であ
る。図８に示すように、画像処理装置３０は、起動時に
初期設定を行う（Ｓｔｅｐ０）。これは赤外発信器４１
の点滅パターンが図２に示すように奇数フィールドで点
灯し偶数フィールドで消灯するのか、またはその逆なの
かを設定する。ここでは図２に示すように奇数フィール
ドで点灯するものとする。

【００３６】自動追尾が開始されると（Ｓｔｅｐ１）、
画像入力手段３１は、撮像手段１０が出力する映像信号
をＡＤ変換しデジタルデータとして入力する（Ｓｔｅｐ
４）。このとき赤外発信器４１を入力した画像例を図４
に示す。赤外発信器４１は既に説明したように、１フィ
ールド毎に点滅するようにしているのでこのように１ラ
インにおいて分布する。一方、発光制御された赤外発信
器４１以外の赤外光（赤外ノイズと呼ぶ）の代表的な画
像例を図５に示す。赤外ノイズは発光制御されていない
のでこのように連続的にラインに分布する。入力した画
像を発信器位置座標検出手段３２は奇数フィールド画像
（赤外発信器が存在するフィールド）と偶数フィールド
画像（赤外発信器が存在しないフィールド）に分割する
（Ｓｔｅｐ５）。図９、図１０にそれぞれ赤外発信器４
１及び赤外ノイズのフィールド分割後の画像を示す。

【００３７】ついで対象のいないフィールド画像（偶数
フィールド）に対して明るい領域を拡大する膨張処理を
行う（Ｓｔｅｐ６）。膨張処理は例えば、３×３の最大
値フィルタを用いる。膨張処理後の画像をそれぞれ図１
１、図１２に示す。奇数フィールド画像から膨張処理後
の偶数フィルタ画像を引算する差分処理を行う（Ｓｔｅ
ｐ７）。差分処理で負の値になる画素は０にしておけ
ば、データ幅は同じで済む。差分処理後の画像を図１
３、図１４に示す。図１３は画像処理後の赤外発信器４
１の像、図１４は画像処理後の赤外ノイズの像である。
図１５に膨張処理をしない場合の赤外ノイズの差分画像
を示す。このように赤外発信器４１の存在しないフィー
ルド画像に対して膨張処理を行うことで赤外ノイズが除
去される。以後、差分画像を二値化し（Ｓｔｅｐ８）、
重心座標を算出しその重心座標を赤外発信器４１の位置
座標とする（Ｓｔｅｐ９）。

【００３８】発信器位置検出手段３３は、発信器位置座
標検出手段３２が算出した赤外発信器４１の像の位置座
標及び撮像手段１０の取付け位置，姿勢から赤外発信器
４１の３次元位置を算出する（Ｓｔｅｐ１０）。３次元
位置は２台以上の撮像手段で赤外発信器４１の像の位置
座標を求めることにより三角測量の原理から求められ
る。１台の撮像手段から入力される画像でしか赤外発信
器４１の位置座標を検出できなかった場合でも赤外発信
器４１の高さを仮定することで３次元位置座標を算出可
能である。

【００３９】以上のようにして得た３次元位置座標の方
向に、制御対象５０を制御することで（Ｓｔｅｐ１１）
自動追尾を行う。

【００４０】（実施形態４）本発明の第４の実施形態を
図１６に基づいて説明する。図１６は自動追尾装置の動
作を説明する説明図である。本実施の形態のブロック構
成は、図１又は図６に示すものであるが、ここでは図６
を用いて説明する。発信器位置座標検出手段３２におい
て、入力画像全体で処理を行わずに処理領域を必要最小
限に限定することで処理時間の短縮及び赤外ノイズの影
響を軽減するものである。図１６に処理領域算出におけ
る動作の説明図を示す。

【００４１】図１６に示すように、まず赤外発信器４１
を持った追尾対象の移動速度を最大値Ｖｍａｘと仮定す
る。ついでプログラム中で３次元位置算出にかかった処
理時間をＴｃを測定する。赤外発信器４１は最大でＲ＝
Ｖｍａｘ×Ｔｃ（図１６の中の半径Ｒの球内）だけ移動
している。その球の画面上での最大点、最下点、最右
点、最左点を結んでできる矩形領域を処理領域とする。
矩形としたのは、処理の容易さを重視したものであるが
円や楕円でもかまわない。

【００４２】もし赤外発信器４１を発見できなかった場
合は継続して処理時間Ｔｃを計測して、同様に処理領域
を算出する。このとき処理時間は長くなるので、追尾対
象の移動領域は広くなりそれに対応して処理領域は広く
なる。赤外発信器４１を検出できた時点で処理時間をリ
セットすることで柔軟に処理領域を算出することができ
る。

【００４３】（実施形態５）本発明の第５の実施形態を
図１９と図２０に基づいて説明する。図１９は処理領域
の画面範囲制限の仕方をあらわす説明図、図２０は図１
９の処理をあらわす説明図である。

【００４４】上述の第４の実施形態で説明したように、
追尾対象の移動最大速度と処理サイクル時間などから、
追尾対象の移動可能なる範囲を限定することで、その画
面上への投影結果である処理領域を、限定する。ただ
し、追尾対象の数が多い場合は、処理すべきデータの量
が当然ながら増加するので、追尾対象と赤外線カメラの
間の距離が近い場合や、追尾対象が非検出となった場
合、追尾対象の移動可能なる範囲が拡大したことになる
ので、当然ながら処理領域も広げる必要がある。このよ
うに、測定条件によっては、発信器位置座標検出手段３
２にかかる演算量増大なる負荷がかかってくる。

【００４５】本実施例では、所定の時間内に処理可能な
データ量が画面全体のデータ量よりもかなり少ない場合
に、図１９、図２０にあらわすように、処理可能なデー
タ量に収まる処理領域を、移動させながら領域限定の処
理を行なうのである。

【００４６】たとえば、追尾対象が４人であって、１人
当たりの要求処理サイクル時間がｔ _cであった場合、時
刻Ｔでは、前回検出済みの追尾対象１の３次元位置を画
面に投影し、同位置を探索基準点としてこの探索基準点
を画面上の中心として処理を行なう。追尾対象１が検出
できた場合には、上記の処理を継続するが、追尾対象１
が検出できなかった場合には、追尾対象１についての次
回の処理サイクルである時間Ｔ＋４* ｔ_cが経過する
と、今度は処理領域を例えば左上に移動させて再び同じ
処理を行なう。同様に、追尾対象１が検出できるまで、
時間４* ｔ_cが経過するたびに、処理領域を右横、左
下、というように、変えて処理を行なっていく。

【００４７】このように、或る追尾対象が非検出状態で
あっても、他の追尾対象の処理に与える影響を極力抑
え、かつ、順番待ちではあるが画面上の任意の場所を探
索するようにできる。

【００４８】なお、処理領域の移動位置やその順序は、
当然ながら任意に設定でき、本実施例を限定するもので
はない。

【００４９】（実施形態６）本発明の第６の実施形態を
図２１乃至図２３に基づいて説明する。図２１乃至図２
３は処理データ量を間引く処理をあらわす説明図であ
る。

【００５０】上述の第５の実施形態で説明したように、
追尾対象と赤外カメラとの間の距離が近い場合や、追尾
対象が非検出となってしまった場合には、追尾対象の移
動可能なる範囲が拡大しているため、処理領域も大きく
する必要がある。図２１に、追尾対象と赤外カメラとの
間の距離と、処理データ数（画素数）との関係を、追尾
対象の非検出となった回数をパラメータにしてあらわ
す。これらは、赤外カメラの取り付け高さや向きやレン
ズの焦点距離などに依存する量であるが、追尾対象と赤
外カメラとの間の距離が近くなると、急激にデータ量が
増加する傾向にあることをあらわす。本実施例では、追
尾対象と赤外カメラとの間の距離が所定の閾値Ｔｈ_dist
以下の場合に、図２１、図２２に示すように、Ｘ，Ｙ両
方向ともに１／２にデータ量を間引く処理を行なう。こ
れにより、図２３に示すように、処理可能なデータの量
に依存する処理領域で処理できるための条件が緩和され
る。距離が近い場合は、分解能が高いため、間引き処理
に因る分解能の低下の影響は少ない。

【００５１】（実施形態７）本発明の第７の実施形態を
図２４に基づいて説明する。図２４は処理をあらわすフ
ローチャートである。

【００５２】赤外発信器４１、同期信号抽出手段２０、
撮像手段１０の各動作は、上述の第１の実施の形態のも
のと、同様である。

【００５３】画像処理装置３０は起動時に初期設定を行
なう（Ｓｔｅｐ０）。これは、赤外発信器４１の点滅パ
ターンが図２に示すように奇数フィールドで点灯し偶数
フィールドで消灯するのか、またはその逆なのか、を設
定するのである。ここでは、図２に示すように奇数フィ
ールドで点灯し偶数フィールドで消灯するものとする。
自動追尾を開始すると（Ｓｔｅｐ１）、画像入力手段３
１は撮像手段１０が出力する映像信号をＡ／Ｄ変換し、
デジタルデータとして入力する（Ｓｔｅｐ２）。このと
き赤外発信器４１を入力した画像例は図４のようなもの
である。赤外発信器４１は既に説明したように、１フィ
ールド毎に点滅するようにしているので、１ラインおい
て分布するように、データを得る。一方、発光制御され
た赤外発信器４１以外の赤外光（いわゆる赤外ノイズ）
の代表的な画像例が図５であるが、赤外ノイズは発光タ
イミングを制御されていないので、このように連続的に
分布する。ここで、前回検出した発信器の３次元位置と
赤外カメラの取り付け位置から、それらの間の距離を算
出できる。この距離算出結果と、予め設定した閾値Ｔｈ
_distとを比較する（Ｓｔｅｐ５）。もし、閾値Ｔｈ_dist
よりも距離算出結果のほうが大きければ、発信器位置座
標検出手段３２は、入力された画像を奇数フィールド画
像（発信器が存在するフィールド）と、偶数フィールド
画像（発信器が存在しないフィールド）とに分割する。
一方、閾値Ｔｈ_distよりも距離算出結果のほうが小さけ
れば、発信器位置座標検出手段３２は、入力された画像
を奇数フィールド画像（発信器が存在するフィールド）
と、偶数フィールド画像（発信器が存在しないフィール
ド）とに分割した後、１／２に間引きする（Ｓｔｅｐ
６）。図９、１０に、それぞれ、発信器および赤外ノイ
ズのフィールド分割後の画像をあらわす。閾値Ｔｈ_dist
よりも距離算出結果のほうが小さい場合には、１／２に
間引きした後、画像が縮小される。次いで、追尾対象の
いないフィールド画像（偶数フィールド）に対しては、
明るい領域を拡大する膨張処理を行なう（Ｓｔｅｐ
７）。この膨張処理は、例えば、３×３の最大値フィル
タを用いる。膨張処理後の画像をそれぞれ図１１、図１
２に示した。奇数フィールド画像から膨張処理後の偶数
フィールド画像を引き算する差分処理を行なう（Ｓｔｅ
ｐ８）。差分処理で負の値になる画素は０値としておけ
ば、データ幅は変更せずに済む。差分処理後の画像を、
図１３、図１４に示す。図１３は画像処理後の赤外発信
器の像、図１４は画像処理後の赤外ノイズの像である。
図１５に、膨張処理を施さない場合の赤外ノイズの差分
画像を示す。このように赤外発信器の存在しないフィー
ルド画像に対して膨張処理を行なうことで、フィールド
画像間の明るい領域の位置の差に因り生ずる差分領域
（赤外ノイズ）を除去できる。以後、差分画像を二値化
し（Ｓｔｅｐ９）、重心座標を算出しその重心座標を発
信器の位置座標とする（Ｓｔｅｐ１０）。ここで、最大
値フィルタのサイズを大きくすることによって、除去可
能な明るい領域の許容差が大きくなる。また、図２５に
示すように、間引き処理した画像にフィルタリング処理
することで、フィルタサイズを大きくしたのと同様の効
果を得ることができる。発信器位置検出手段３３は発信
器位置座標検出手段３２が算出した赤外発信器の像の位
置座標および撮像手段１０の取り付け位置や姿勢から、
赤外発信器の３次元位置を、算出する（Ｓｔｅｐ１
１）。３次元位置は２台以上の撮像手段で発信器の像の
位置座標を三角測量の原理で求めるのである。１台の撮
像手段から入力される画像でしか発信器の位置座標を検
出できなかった場合でも、発信器の高さを仮定すること
で、３次元位置座標を算出可能となる。このようにして
得た３次元位置座標のほうへ、制御対象５０を向き制御
することで（Ｓｔｅｐ１２）自動追尾となる。

【００５４】（実施形態８）本発明の第８の実施形態を
図２５乃至図２７に基づいて説明する。複数の画像処理
装置、ここでは、画像処理装置３０_-1、画像処理装置３
０_-2、を例示し、追尾エリアを拡大させるとき、これら
の画像処理装置３０_-1、画像処理装置３０_-2の間で共通
の追尾エリアがあったとして、その共通の追尾エリアに
追尾対象が存在すると、画像処理装置３０_-1、画像処理
装置３０_-2ともに追尾対象を検出し、３次元位置を算出
する。しかしながら、これら２つの算出結果には誤差が
含まれ、一致しないのがふつうである。これら２つの算
出結果をそのままの値で制御対象５０に出力すると、ふ
らつき（データの断列）が発生する。そこで、両装置間
のデータ値の調停を行なうために、調停手段６０を設け
ている。調停手段６０は、複数の画像処理装置３０_-1、
３０_-2の３次元位置座標を入力されると、図２７に示す
ように同一の追尾対象の３次元位置座標を修正する。

【００５５】調停手段６０は、画像処理装置３０_-1から
の出力を受けて採用しつづけるのであるが、時刻ｔ＋３
の場合のように、画像処理装置３０_-1からの出力がふら
つくすなわちデータ値が不安定で確定できなければ、画
像処理装置３０_-2の出力を採用する。画像処理装置３０
_-1からの出力がふらつかなければ、画像処理装置３０ _-1
からの出力を採用しつづけ、画像処理装置３０_-1からの
出力がふらついた時点だけは、画像処理装置３０_-2の出
力を採用するのである。

【００５６】（実施形態９）本発明の第９の実施形態を
図１７に基づいて説明する。図１７は自動追尾装置のブ
ロック図である。本実施の形態では、追尾対象４０は、
赤外発信器４１を肩や胸などに装着し、自動追尾装置は
赤外領域の光のみを透過するフィルタ付きの第１の撮像
手段（モノクロＣＣＤカメラなど）１０で画像を入力
し、この赤外発信器４１の３次元位置を算出することで
自動追尾を実現する。また、赤外発信器４１が隠れた
り、他の赤外ノイズが存在するなどの影響を軽減するた
め第２の撮像手段（カラーＣＣＤカメラなど）１５で画
像を入力し、その画像処理結果も利用するような構成と
する。

【００５７】赤外発信器４１、同期信号抽出手段２０の
動作は第１の実施の形態と同様である。第１の撮像手段
１０は第１の実施の形態と同様の構成にして赤外領域の
波長をもつ光のみ透過した画像を出力する。

【００５８】第１の画像入力手段３１は、第１の実施の
形態と同様に、画像を入力する。発信器位置座標検出手
段３２は、第３の実施の形態のように、分布の差異を利
用して赤外発信器４１と赤外ノイズの像とを識別して赤
外発信器４１の像だけを抽出する。

【００５９】発信器位置検出手段３３は当初、発信器位
置座標検出手段３２が算出した赤外発信器４１の像の位
置座標及び撮像手段１０の取付け位置、姿勢から赤外発
信器４１の３次元位置を算出する。

【００６０】第２の画像入力手段３４は、発信器位置検
出手段３３が３次元位置を算出した後で、第２の撮像手
段１５が撮像する画像の入力を開始する。本実施の形態
では第２の撮像手段１５はカラーカメラとする。特徴値
記憶手段３６は発信器位置検出手段３３が算出した３次
元位置を撮像手段１５の取付け位置、方向、焦点距離等
を用いて、画像入力手段３４が入力した画面上に投影す
る。ついで投影した点の近傍（例えば投影点を中心に人
間の大きさにあたる領域）の画像データを処理し、追尾
対象の画像上の特徴量を算出して記憶する。特徴量の例
としては色情報（色相など）や画像データそのもの（パ
ターン）など一般の画像処理に利用されるものでよい。
このように本実施の形態では赤外発信器４１をもつ追尾
対象の画像上の特徴を人手を介さずに自動で獲得するこ
とができる。

【００６１】類似度算出手段３５は、特徴値記憶手段３
６が特徴値を記憶した後、画像入力手段３４が入力する
カラー画像を探索し、各探索位置の画像の特徴量と記憶
した特徴量との類似度を算出する。発信器位置検出手段
３３は、類似度算出手段３５が類似度の算出を開始した
後はこの類似度を用い、例えば赤外発信器４１の像の候
補が複数あった場合に、その３次元位置を投影した座標
における類似度がより高い方を選択するなどしてその信
頼性を上げる。

【００６２】以上のようにして検出した赤外発信器４１
の３次元位置方向に制御対象５０、例えば照明装置を向
けることにより自動追尾を行うのである。

【００６３】（実施形態１０）本発明の第１０の実施形
態を図１７及び図１８に基づいて説明する。図１７は自
動追尾装置のブロック図、図１８は動作を説明するフロ
ーチャートである。

【００６４】本実施の形態の自動追尾装置のブロック図
は図１７に示すものである。第９の実施形態で示した特
徴値記憶手段３６において、色の特徴量があれば色情報
を記憶し、なければ輝度情報を記憶する。追尾対象が色
情報を有している場合、比較的変動が少ない安定した特
徴として利用できるため、その情報の有無をまず判断す
る。もし存在しなければ、輝度情報を利用する。特徴値
記憶手段３６における処理フローチャートを図１８に示
す。以下、図１７及び図１８を用いて本実施の形態の特
徴的な処理の方法について説明する。

【００６５】特徴値記憶手段３６は、第９の実施の形態
と同様に、画像入力手段３４が入力した画面上で赤外発
信器４１の３次元位置を投影した点の近傍（例えば投影
点を中心に人間の大きさにあたる領域）の画像データ
（例えばＲＧＢデータ）を獲得する。この画像データを
ＨＳＶ変換する（Ｓｔｅｐ３）。ここでＨは色相、Ｓは
彩度、Ｖは輝度を表す。この変換方式自体は一般的なも
のでいくつかの方法がある。以下獲得した画像データを
順次処理していく。まずＶ値（輝度値）が所定の値以上
であるかどうか判断する（Ｓｔｅｐ５）。これはＶ値が
小さいとき、次のステップで利用するＳ値（彩度）の誤
差が大きくなるために行う。Ｖ値が所定の値以上であれ
ば、Ｓ値（彩度）が所定の値以上がどうかを判断する
（Ｓｔｅｐ６）。これはＳ値が大きいほど色情報が鮮や
かであることを意味するので色情報が利用可能かどうか
の判断材料となる。もしＳ値が所定の値以上であれば、
Ｈ値（色相）によってカウントｃｎｔ（Ｈ）をインクリ
メントする。このカウンタはどの色が何画素存在するか
を示すものである。Ｈは通常実数値なので整数値に変換
し、適当な分解能（例えば６４）にするとよい。全ての
画素について処理を終了すれば、ｃｎｔ（Ｈ）の最大値
が所定以上であるかどうか判断する（Ｓｔｅｐ８）。こ
れはある程度の面積をもった色でないと安定して抽出で
きないからである。所定以上であれば、その色情報を用
いることとし（Ｓｔｅｐ９）、そうでないければ、安定
して抽出できる色情報がないため輝度情報（例えば平均
輝度等）を用いる（Ｓｔｅｐ１０）。

【００６６】

【発明の効果】請求項１記載の発明によれば、赤外発信
器を撮像手段の映像信号と同期させて点滅制御するの
で、他の光源の影響を受けにくい安定した発信器の検出
が可能である。更にフィールド単位で点滅制御するよう
にすれば、広く普及しているＮＴＳＣ方式等のインター
レース走査型のＴＶカメラを用いることができるため安
価な装置が提供できる。また画像１フレームで、位置を
検出することが可能になるため処理の高速化やメモリの
削減によるローコスト化が可能であるという効果を奏す
る。

【００６７】請求項２記載の発明によれば、請求項１記
載の発明の効果に加えて、バンドパスフィルタにより、
赤外透過フィルタを透過した赤外発信器以外の近赤外領
域の光のエネルギーを低下させることができる。これに
より赤外発信器のＳ／Ｎが向上し、赤外発信器に光が照
射しているような環境においても発信器を検出しやすく
なり、追尾の信頼性向上が可能であるという効果を奏す
る。

【００６８】請求項３記載の発明によれば、請求項１記
載の発明の効果に加えて、簡単な画像処理で、従来では
難しかったフィールド画像間の差分処理での赤外ノイズ
に起因するごみ領域の除去が可能になるため、ローコス
ト化、追尾の信頼性向上が可能となるという効果を奏す
る。

【００６９】請求項４記載の発明によれば、請求項１記
載の発明の効果に加えて、画面上の処理領域を限定し、
動的に制御するので処理領域に生じるノイズ領域の影響
を軽減し、かつ処理時間の短縮を図ることが可能となる
という効果を奏する。

【００７０】請求項５記載の発明によれば、請求項４記
載の発明の効果に加えて、発信器位置座標検出手段にお
いて、所定時間内での演算が可能なデータ量を決定し、
画面上でのデータ量にみあう所定の単一の大きさの処理
領域を設定し、処理領域を画面上の任意の位置に移動設
定する制御を行なうようにしたため、所定の時間に演算
可能なデータ量に見合った画面上の処理領域を設定する
ので、処理データ量が一定となり、したがって処理サイ
クル時間を一定に保つことができる。さらに処理領域を
画面上の適当な位置に設定するよう制御するので、追尾
対象が検出できない状態が生じても、一定の処理サイク
ル時間で追尾対象が移動可能な探索し検出することがで
きる。

【００７１】請求項６記載の発明によれば、請求項４記
載の発明の効果に加えて、発信器位置座標検出手段にお
いて、撮像手段と現在の追尾対象との間の距離に応じ
て、画面上の処理領域のデータ量を間引きするようにし
たため、撮像手段と現在の追尾対象との間の距離が短い
場合に、画面を間引いて処理データ量を削減でき、処理
がはやくなる。

【００７２】請求項７記載の発明によれば、請求項４記
載の発明の効果に加えて、発信器位置座標検出手段にお
いて、赤外発信器の発光タイミングのフィールドまたは
フレームの画像を間引きした処理領域と、赤外発信器の
発光が消えているタイミングのフィールドまたはフレー
ムの画像を間引きした処理領域と、に対して、明るい領
域を膨張させるフィルタ処理を施した画像を差分処理す
ることで、赤外発信器の画面上の位置を検出するように
したため、データ量を削減しつつ、ノイズ光に対して、
通常の差分処理では除去できなかったゴミ領域を、小さ
いサイズのフィルタで除去可能となり、ひいては追尾精
度や速度などの信頼性が向上する。

【００７３】請求項８記載の発明によれば、請求項１乃
至７のいずれか１つに記載の発明の効果に加えて、発信
器位置座標検出手段が複数使用される場合、複数の発信
器位置座標検出手段の各出力信号を全て１つの値に統一
修正する調停手段を有するようにしたため、追尾対象の
ふらつきにも対処できる。

【００７４】請求項９記載の発明によれば、万一、第１
の撮像手段だけでは発信器とノイズの区別がつかない場
合があっても、安定して対象を追尾可能となり、また自
動で追尾対象の特徴量を獲得するため、信頼性の向上と
操作性の向上を図ることができるという効果を奏する。

【００７５】請求項１０記載の発明によれば、請求項９
記載の発明の効果に加えて、追尾対象の画像上の特徴に
応じて獲得する特徴量を決定するので、追尾の信頼性が
向上するという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の自動追尾装置のブ
ロック図である。

【図２】同上の動作の説明図である。

【図３】同上の動作の説明図である。

【図４】同上の動作を説明するためのイメージ図であ
る。

【図５】同上の動作を説明するためのイメージ図であ
る。

【図６】本発明の第２の実施の形態の自動追尾装置のブ
ロック図である。

【図７】同上の動作の説明図である。

【図８】本発明の第３の実施の形態の動作を示すフロー
チャートである。

【図９】同上の動作を説明するイメージ図である。

【図１０】同上の動作を説明するイメージ図である。

【図１１】同上の動作を説明するイメージ図である。

【図１２】同上の動作を説明するイメージ図である。

【図１３】同上の動作を説明するイメージ図である。

【図１４】同上の動作を説明するイメージ図である。

【図１５】同上の動作を説明するイメージ図である。

【図１６】本発明の第４の実施の形態の動作を示す説明
図である。

【図１７】本発明の第９の実施の形態のブロック図であ
る。

【図１８】本発明の第１０の実施の形態の動作を示すフ
ローチャートである。

【図１９】本発明の第５の実施の形態の説明図である。

【図２０】本発明の第５の実施の形態の説明図である。

【図２１】本発明の第６の実施の形態の説明図である。

【図２２】本発明の第６の実施の形態の説明図である。

【図２３】本発明の第６の実施の形態の説明図である。

【図２４】本発明の第７の実施の形態の説明図である。

【図２５】本発明の第８の実施の形態の説明図である。

【図２６】本発明の第８の実施の形態の説明図である。

【図２７】本発明の第８の実施の形態の説明図である。

【符号の説明】

１０撮像手段、第１の撮像手段１１赤外透過フィルタ１２レンズ１３バンドパスフィルタ１５第２の撮像手段２０同期信号抽出手段３０画像処理装置３１画像入力手段、第１の画像入力手段３２発信器位置座標検出手段３３発信器位置検出手段３４第２の画像入力手段３５類似度算出手段３６特徴値記憶手段４０追尾対象４１赤外発信器５０制御対象６０調停手段

フロントページの続き (72)発明者吉田稔大阪府門真市大字門真1048番地松下電工株式会社内 (72)発明者福井栄一大阪府門真市大字門真1048番地松下電工株式会社内 (72)発明者川島寿一大阪府門真市大字門真1048番地松下電工株式会社内

Claims

【特許請求の範囲】

【請求項１】近赤外領域の光を透過し可視光を遮断す
る赤外透過フィルタを具備し、所定領域を撮像する少な
くとも一つの撮像手段と、前記撮像手段が出力する映像
信号から同期信号を抽出する同期信号抽出手段と、前記
同期信号を受信し近赤外領域の光を点滅発光させる赤外
発信器と、前記映像信号を入力する画像入力手段と、入
力画像を処理することによって追尾対象が保持あるいは
装着した赤外発信器の画面上の位置座標を検出する発信
器位置座標検出手段と、前記発信器位置座標検出手段が
検出した赤外発信器の画面上の位置座標から前記赤外発
信器の３次元位置を算出する発信器位置検出手段とを有
することを特徴とする自動追尾装置。
【請求項２】前記撮像手段に、赤外発信器の中心波長
と透過波長を略一致させたバンドパスフィルタを具備し
たことを特徴とする請求項１記載の自動追尾装置。
【請求項３】前記発信器位置座標検出手段において、
赤外発信器が発光しているタイミングのフィールド又は
フレームの画像と、赤外発信器が消えているタイミング
のフィールド又はフレームの画像に対して明るい領域を
膨張させるフィルタ処理を施した画像とを差分処理する
ことで、赤外発信器の画面上の位置を検出することを特
徴とする請求項１記載の自動追尾装置。
【請求項４】前記発信器位置座標検出手段において、
画面上の処理領域を限定し、かつ動的に制御することを
特徴とする請求項１記載の自動追尾装置。
【請求項５】前記発信器位置座標検出手段において、
所定時間内での演算が可能なデータ量を決定し、画面上
での前記データ量にみあう所定の単一の大きさの処理領
域を設定し、前記処理領域を画面上の任意の位置に移動
設定する制御を行なうことを特徴とする請求項４記載の
自動追尾装置。
【請求項６】前記発信器位置座標検出手段において、
前記撮像手段と現在の追尾対象との間の距離に応じて、
画面上の処理領域のデータ量を間引きすることを特徴と
する請求項４記載の自動追尾装置。
【請求項７】前記発信器位置座標検出手段において、
前記赤外発信器の発光タイミングのフィールドまたはフ
レームの画像を間引きした処理領域と、前記赤外発信器
の発光が消えているタイミングのフィールドまたはフレ
ームの画像を間引きした処理領域と、に対して、明るい
領域を膨張させるフィルタ処理を施した画像を差分処理
することで、前記赤外発信器の画面上の位置を検出する
ことを特徴とする請求項４記載の自動追尾装置。
【請求項８】前記発信器位置座標検出手段が複数使用
される場合、複数の前記発信器位置座標検出手段の各出
力信号を全て１つの値に統一修正する調停手段を有する
ことを特徴とする請求項１乃至７のいずれか１つに記載
の自動追尾装置。
【請求項９】近赤外領域の光を透過し可視光を遮断す
る赤外透過フィルタを具備し、所定領域を撮像する少な
くとも一つの第１の撮像手段と、可視領域の光を撮像す
る少なくとも一つの第２の撮像手段と、前記第１の撮像
手段が出力する映像信号から同期信号を抽出する同期信
号抽出手段と、前記同期信号を受信し近赤外領域の光を
点滅発光させる赤外発信器と、前記映像信号を入力する
第１の画像入力手段と、入力画像を処理することによっ
て追尾対象が保持あるいは装着した赤外発信器の画面上
の位置座標を検出する発信器位置座標検出手段と、発信
器位置座標検出手段が検出した赤外発信器の画面上の位
置座標から赤外発信器の３次元位置を算出する発信器位
置検出手段と、前記第２の撮像手段が出力する映像信号
を入力する第２の画像入力手段と、前記入力画像におい
て前記発信器位置検出手段で算出した３次元位置を第２
の撮像手段の画面座標系に変換して得た座標の近傍の画
像特徴を獲得記憶する特徴値記憶手段と、特徴値を記憶
後は第２の撮像手段によって入力される画像中から記憶
した特徴値との類似度を算出する類似度算出手段と、前
記発信器位置検出手段が算出した３次元位置と類似度算
出手段が算出した類似度から対象の３次元位置を算出す
る対象位置検出手段とを有することを特徴とする自動追
尾装置。
【請求項１０】前記特徴値記憶手段において、対象に
色の特徴がある場合は色を記憶し、色の特徴がない場合
は明るさを記憶すること特徴とする請求項９記載の自動
追尾装置。