JPH0797295B2 - ターゲットトラッキングシステム - Google Patents
ターゲットトラッキングシステムInfo
- Publication number
- JPH0797295B2 JPH0797295B2 JP8609690A JP8609690A JPH0797295B2 JP H0797295 B2 JPH0797295 B2 JP H0797295B2 JP 8609690 A JP8609690 A JP 8609690A JP 8609690 A JP8609690 A JP 8609690A JP H0797295 B2 JPH0797295 B2 JP H0797295B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- displacement
- axes
- tracking system
- angular displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Control Of Position Or Direction (AREA)
- Manipulator (AREA)
Description
【発明の詳細な説明】 A.発明の目的 １） 産業上の利用分野 本発明は、所定の空間領域内で変位するターゲットの変
位をトラッキング（検出）するためのターゲットトラッ
キングシステムに関する。
位をトラッキング（検出）するためのターゲットトラッ
キングシステムに関する。
このようなターゲットトラッキングシステムは、マニピ
ュレータの操作者またはヘッドアップディスプレイの使
用者等の頭部に装着したターゲットの変位をトラッキン
グする際に使用することができる。
ュレータの操作者またはヘッドアップディスプレイの使
用者等の頭部に装着したターゲットの変位をトラッキン
グする際に使用することができる。
２） 従来の技術 従来、原子炉内や不衛生な作業環境で作業を行う場合、
マニピュレータが使用されている。このマニピュレータ
は、遮蔽壁または遮蔽窓等で隔離された作業環境内に配
置され作業用マニピュレータと、操作室内に配置された
操作用マニピュレータとから構成されている。そして、
マニピュレータの操作者には、作業用マニピュレータ側
の撮像カメラで撮像された視覚情報が与えられるように
なっている（参考例、特開昭61-209889号公報）。
マニピュレータが使用されている。このマニピュレータ
は、遮蔽壁または遮蔽窓等で隔離された作業環境内に配
置され作業用マニピュレータと、操作室内に配置された
操作用マニピュレータとから構成されている。そして、
マニピュレータの操作者には、作業用マニピュレータ側
の撮像カメラで撮像された視覚情報が与えられるように
なっている（参考例、特開昭61-209889号公報）。
このようにマニピュレータの操作者に視覚情報を与える
ようにしたものは、操作者の頭部の変位（位置変位およ
び回転角変位）に応じて前記撮像カメラを変位させるこ
とにより、操作者に臨場感（操作者がその場で実際に操
作しているような感覚）を与えることができる。そのた
めには、操作者の頭部の変位（動き）を高速にトラッキ
ングする必要がある。
ようにしたものは、操作者の頭部の変位（位置変位およ
び回転角変位）に応じて前記撮像カメラを変位させるこ
とにより、操作者に臨場感（操作者がその場で実際に操
作しているような感覚）を与えることができる。そのた
めには、操作者の頭部の変位（動き）を高速にトラッキ
ングする必要がある。
前記頭部の変位をトラッキングするための方法として
は、機械的リンク機構による機械式、頭部に磁界を発生
させる機器を取り付け頭部の動きに伴う周囲の磁場の変
化を利用する磁気式、操作者の頭部に取り付けたターゲ
ットを複数のカメラで撮像し画像データを処理する光学
式等がある。
は、機械的リンク機構による機械式、頭部に磁界を発生
させる機器を取り付け頭部の動きに伴う周囲の磁場の変
化を利用する磁気式、操作者の頭部に取り付けたターゲ
ットを複数のカメラで撮像し画像データを処理する光学
式等がある。
３） 発明が解決しようとする課題 しかしながら、前記機械式では操作者に装着感を与える
こととなり、快適とはいえない。また、前記磁気式では
環境条件に左右され易く、前記従来の光学式では前記画
像データの処理に時間がかかるので直交する３軸方向の
変位およびそれらの軸周りの角変位を高速で検出するこ
とは困難であった。
こととなり、快適とはいえない。また、前記磁気式では
環境条件に左右され易く、前記従来の光学式では前記画
像データの処理に時間がかかるので直交する３軸方向の
変位およびそれらの軸周りの角変位を高速で検出するこ
とは困難であった。
本発明は、前述の事情に鑑み、操作者に装着感を与え
ず、環境条件に左右され難く、しかも高速で操作者の頭
部の変位をトラッキングできるようにすることを課題と
する。
ず、環境条件に左右され難く、しかも高速で操作者の頭
部の変位をトラッキングできるようにすることを課題と
する。
B.発明の構成 １） 課題を解決するための手段 前記課題を解決するために、本発明のターゲットトラッ
キングシステムは、所定の空間領域内で変位するターゲ
ットと、このターゲットを視界に入れるように配置され
た複数の撮像手段と、前記複数の撮像手段で撮像した前
記ターゲットの画像データから前記ターゲットの互いに
直交する３軸方向の変位およびそれらの軸周りの角変位
を算出するヘッドモーション演算部とを備えたターゲッ
トトラッキングシステムにおいて、 前記３軸の中の所定の２軸周りのターゲットの角変位を
直接検出する角変位センサを前記ターゲットに固定し、
前記所定の２軸以外の１軸周りの角変位のみ前記ヘッド
モーション演算部により算出するようにしたことを特徴
とするターゲットトラッキングシステム。
キングシステムは、所定の空間領域内で変位するターゲ
ットと、このターゲットを視界に入れるように配置され
た複数の撮像手段と、前記複数の撮像手段で撮像した前
記ターゲットの画像データから前記ターゲットの互いに
直交する３軸方向の変位およびそれらの軸周りの角変位
を算出するヘッドモーション演算部とを備えたターゲッ
トトラッキングシステムにおいて、 前記３軸の中の所定の２軸周りのターゲットの角変位を
直接検出する角変位センサを前記ターゲットに固定し、
前記所定の２軸以外の１軸周りの角変位のみ前記ヘッド
モーション演算部により算出するようにしたことを特徴
とするターゲットトラッキングシステム。
２） 作用 前述の特徴を備えた本発明のターゲットトラッキングシ
ステムは、所定の２軸周りの角変位がターゲットに固定
された前記角変位センサによって検出されるので、前記
所定の２軸周りの角変位を画像データ処理により求める
必要がなくなる。このため、画像データ処理に必要な時
間が短くなるので、ターゲットの変位を高速に検出する
ことができるようになる。
ステムは、所定の２軸周りの角変位がターゲットに固定
された前記角変位センサによって検出されるので、前記
所定の２軸周りの角変位を画像データ処理により求める
必要がなくなる。このため、画像データ処理に必要な時
間が短くなるので、ターゲットの変位を高速に検出する
ことができるようになる。
３） 実施例 以下、図面により本発明の実施例を説明する。
第１図は本発明のターゲットトラッキングシステムの全
体図、第２図は同システムの機能説明図、である。
体図、第２図は同システムの機能説明図、である。
第１図において、マニピュレータ（図示せず）の操作者
Ｍの頭部にはヘルメットＨが装着され、ヘルメットＨに
はターゲットＴが装着されている。このターゲットＴは
前後方向（Ｘ軸方向）に延びる棒状部分を有し、その前
後端には発光ダイオードから構成された検出ポイントT
1,T2が設けられている。また、前記ターゲットＴ内部に
は２軸ジンバル機構とそれらの軸周りの角変位を検出す
るための角変位センサS1（第２図参照）が内蔵されてい
る。この角変位センサS1は前記Ｘ軸（ロール軸）周りの
角度信号（すなわちロール角変位φ）を検出するセンサ
（図示せず）と、Ｙ軸（ピッチ軸、すなわち、左右方向
の軸）周りの角度信号（すなわちピッチ変位θ）を検出
するセンサ（図示せず）とを有している。ピッチ／ロー
ル変位処理部S2は前記角度信号θ，φを適当な大きさに
増幅して前記ターゲットＴのピッチ角変位θおよびロー
ル角変位φを出力している。
Ｍの頭部にはヘルメットＨが装着され、ヘルメットＨに
はターゲットＴが装着されている。このターゲットＴは
前後方向（Ｘ軸方向）に延びる棒状部分を有し、その前
後端には発光ダイオードから構成された検出ポイントT
1,T2が設けられている。また、前記ターゲットＴ内部に
は２軸ジンバル機構とそれらの軸周りの角変位を検出す
るための角変位センサS1（第２図参照）が内蔵されてい
る。この角変位センサS1は前記Ｘ軸（ロール軸）周りの
角度信号（すなわちロール角変位φ）を検出するセンサ
（図示せず）と、Ｙ軸（ピッチ軸、すなわち、左右方向
の軸）周りの角度信号（すなわちピッチ変位θ）を検出
するセンサ（図示せず）とを有している。ピッチ／ロー
ル変位処理部S2は前記角度信号θ，φを適当な大きさに
増幅して前記ターゲットＴのピッチ角変位θおよびロー
ル角変位φを出力している。
第１図において、前記ターゲットＴの検出ポイントT1,T
2を撮像するCCDカメラA,BはＸ軸方向に離れて配置され
ている。これらのCCDカメラで得られた画像データはヘ
ッドモーション演算部S3に入力されている。ヘッドモー
ション演算部S3は、前記撮像された画像データからＸ
軸、Ｙ軸およびＺ軸（鉛直軸）方向の変位X,YおよびＺ
を算出するとともにヨー変位ψを算出している。
2を撮像するCCDカメラA,BはＸ軸方向に離れて配置され
ている。これらのCCDカメラで得られた画像データはヘ
ッドモーション演算部S3に入力されている。ヘッドモー
ション演算部S3は、前記撮像された画像データからＸ
軸、Ｙ軸およびＺ軸（鉛直軸）方向の変位X,YおよびＺ
を算出するとともにヨー変位ψを算出している。
前述のように２台の撮像カメラで得られた画像データか
ら対象物が置かれている空間の座標系（X,Y,Z座標系）
におけるターゲットの変位を算出する技術は従来公知で
あり、たとえば、「現代自動制御双書10、ロボット工
学」（初版、昭和52年、コロナ社発行、P94〜97）にも
記載されている。したがって、ターゲットＴの検出ポイ
ントT1,T2の座標の初期値（時刻ｔ＝０のときの値）お
よび時刻ｔ＝ｔのときの値を算出することができる。前
記ヨー変位ψは、ターゲットＴの検出ポイントT1とT2と
を結ぶ線分のXY平面上の写像がｔ＝０のときに対しｔ＝
ｔのときにどれだけ回転しているかによって表される。
したがって、ターゲットＴの検出ポイントT1,T2の座標
からヨー変位ψを算出することができる。
ら対象物が置かれている空間の座標系（X,Y,Z座標系）
におけるターゲットの変位を算出する技術は従来公知で
あり、たとえば、「現代自動制御双書10、ロボット工
学」（初版、昭和52年、コロナ社発行、P94〜97）にも
記載されている。したがって、ターゲットＴの検出ポイ
ントT1,T2の座標の初期値（時刻ｔ＝０のときの値）お
よび時刻ｔ＝ｔのときの値を算出することができる。前
記ヨー変位ψは、ターゲットＴの検出ポイントT1とT2と
を結ぶ線分のXY平面上の写像がｔ＝０のときに対しｔ＝
ｔのときにどれだけ回転しているかによって表される。
したがって、ターゲットＴの検出ポイントT1,T2の座標
からヨー変位ψを算出することができる。
次に、前記実施例の作用を説明する。
第２図に示すように、角変位センサS1により検出された
角度信号（θ，φ）はピッチ／ロール変位処理部S2で適
当な大きさに増幅されてピッチ変位θ、ロール変位φと
して出力される。一方前記CCDカメラA,Bで撮像されたタ
ーゲットＴの検出ポイントT1,T2の初期の位置（ｔ＝０
のときの位置）P1,P2が時刻ｔ＝ｔのときにP1′,P2′に
変位した場合、前記ヘッドモーション演算部S3は、３次
元座標演算を行って前記ターゲットＴの検出ポイントT
1,T2の位置P1,P2,P1′,P2′の座標を算出する。前記各
位置P1,P2,P1′,P2′が次のようであるとする。
角度信号（θ，φ）はピッチ／ロール変位処理部S2で適
当な大きさに増幅されてピッチ変位θ、ロール変位φと
して出力される。一方前記CCDカメラA,Bで撮像されたタ
ーゲットＴの検出ポイントT1,T2の初期の位置（ｔ＝０
のときの位置）P1,P2が時刻ｔ＝ｔのときにP1′,P2′に
変位した場合、前記ヘッドモーション演算部S3は、３次
元座標演算を行って前記ターゲットＴの検出ポイントT
1,T2の位置P1,P2,P1′,P2′の座標を算出する。前記各
位置P1,P2,P1′,P2′が次のようであるとする。
P1（X1,Y1,Z1）、 P2（X2,Y2,Z2）、 P1′（X1′,Y1′,Z1′）、 P2′（X2′,Y2′,Z2′）、 これらの検出ポイントT1,T2の位置P1,P2,P1′,P2′の座
標から、前記ターゲットＴの検出ポイントT1,T2の中間
の位置（すなわちターゲットＴの位置）のX,Y,Z方向の
変位X,Y,Zは次式で算出される。
標から、前記ターゲットＴの検出ポイントT1,T2の中間
の位置（すなわちターゲットＴの位置）のX,Y,Z方向の
変位X,Y,Zは次式で算出される。
また、前記検出ポイントT1,T2の位置P1,P2を結ぶ線分の
XY平面上の写像とP1′,P2′を結ぶ線分XY平面上の写像
とのなす角度すなわち、ヨー変位が、前記検出ポイント
T1,T2の位置P1,P2,P1′,P2′の座標から算出される。
XY平面上の写像とP1′,P2′を結ぶ線分XY平面上の写像
とのなす角度すなわち、ヨー変位が、前記検出ポイント
T1,T2の位置P1,P2,P1′,P2′の座標から算出される。
したがって、この実施例は、ターゲットＴの２個の検出
ポイントT1,T2を撮像して得られる画像データを処理す
ることにより、X,Y,Z変位およびヨー変位を検出するこ
とができる。
ポイントT1,T2を撮像して得られる画像データを処理す
ることにより、X,Y,Z変位およびヨー変位を検出するこ
とができる。
ところで、前記実施例のようにCCDカメラA,Bおよびター
ゲットＴの検出ポイントT1,T2をともにＸ軸方向に配置
した場合、P1,P2を結ぶ線分およびP1′,P2′を結ぶ線分
のXY平面上の写像の長さは長いのでヨー変位ψの算出精
度は充分であるが、YZ平面上の写像の長さは小さいので
ロール変位の算出は困難であるかまたは算出できたとし
ても不正確なものとなる。また、CCDカメラA,Bおよびタ
ーゲットＴの配置方向を変更すると、ピッチ変位の算出
に不都合が生じる。したがって、ターゲットＴとこれを
撮像するCCDカメラA,Bのみによって全ての変位（X,Y,Z,
θ，φ，ψ）を精度よく算出するためには、ターゲット
Ｔ上に検出ポイントT1,T2と、このT1,T2を結ぶ線分に直
交する検出ポイントT3,T4を設け、この検出ポイントT3,
T4についてもX,Y,Z変位を算出する必要が生じてくる。
ゲットＴの検出ポイントT1,T2をともにＸ軸方向に配置
した場合、P1,P2を結ぶ線分およびP1′,P2′を結ぶ線分
のXY平面上の写像の長さは長いのでヨー変位ψの算出精
度は充分であるが、YZ平面上の写像の長さは小さいので
ロール変位の算出は困難であるかまたは算出できたとし
ても不正確なものとなる。また、CCDカメラA,Bおよびタ
ーゲットＴの配置方向を変更すると、ピッチ変位の算出
に不都合が生じる。したがって、ターゲットＴとこれを
撮像するCCDカメラA,Bのみによって全ての変位（X,Y,Z,
θ，φ，ψ）を精度よく算出するためには、ターゲット
Ｔ上に検出ポイントT1,T2と、このT1,T2を結ぶ線分に直
交する検出ポイントT3,T4を設け、この検出ポイントT3,
T4についてもX,Y,Z変位を算出する必要が生じてくる。
しかしながらこの場合、検出ポイントの数が２倍になる
ので、画像データの処理時間が２倍になり、高速処理が
困難になる。
ので、画像データの処理時間が２倍になり、高速処理が
困難になる。
以上の説明から、撮像手段を用いた光学式のターゲット
トラッキングシステムは、３種に分類することができ、
その得失は第４図の表に示すようになる。なお、第４図
の表において、Δは問題点があることを示している。
トラッキングシステムは、３種に分類することができ、
その得失は第４図の表に示すようになる。なお、第４図
の表において、Δは問題点があることを示している。
以上、本発明の実施例を詳述したが、本発明は、前記実
施例に限定されるものではなく、特許請求の範囲に記載
された本発明を逸脱することなく種々の設計変更を行う
ことが可能である。
施例に限定されるものではなく、特許請求の範囲に記載
された本発明を逸脱することなく種々の設計変更を行う
ことが可能である。
例えば、本発明はマニピュレータの操作者のヘッドに装
着されたターゲット以外のターゲットをトラッキングす
る場合にも使用することが可能である。また、２つの撮
像手段をＸ軸（前後軸）方向以外の軸方向に離して配置
することも可能である。その場合には、角変位センサに
よって直接検出する角度変位はヨー変位以外の変位とす
ることも可能である。さらに、CCDカメラ以外の撮像手
段を採用することも可能である。
着されたターゲット以外のターゲットをトラッキングす
る場合にも使用することが可能である。また、２つの撮
像手段をＸ軸（前後軸）方向以外の軸方向に離して配置
することも可能である。その場合には、角変位センサに
よって直接検出する角度変位はヨー変位以外の変位とす
ることも可能である。さらに、CCDカメラ以外の撮像手
段を採用することも可能である。
C.発明の効果 前述の本発明のターゲットトラッキングシステムでは、
所定の軸周りの角変位は角変位センサによって検出され
るので、前記所定軸周りの角変位を画像データ処理によ
り求める必要がなくなる。このため、画像データ処理に
必要な時間が短くなるので、ターゲットの変位を高速に
検出することができるようになる。
所定の軸周りの角変位は角変位センサによって検出され
るので、前記所定軸周りの角変位を画像データ処理によ
り求める必要がなくなる。このため、画像データ処理に
必要な時間が短くなるので、ターゲットの変位を高速に
検出することができるようになる。
また、リンクを用いた機械式のトラッキングシステムの
ように操作者に不快な装着感を与えることもなく、さら
に、磁気式のように環境条件に左右されることもない。
ように操作者に不快な装着感を与えることもなく、さら
に、磁気式のように環境条件に左右されることもない。
第１図は本発明のターゲットトラッキングシステムの全
体図、第２図は同システムの機能説明図、第３図は従来
システムの機能説明図、第４図は本発明の実施例と従来
例との機能の相違を説明するための表である。 A,B……撮像手段（CCDカメラ）、S1……角変位センサ、
S3……ヘッドモーション演算部、Ｔ……ターゲット、
体図、第２図は同システムの機能説明図、第３図は従来
システムの機能説明図、第４図は本発明の実施例と従来
例との機能の相違を説明するための表である。 A,B……撮像手段（CCDカメラ）、S1……角変位センサ、
S3……ヘッドモーション演算部、Ｔ……ターゲット、
Claims (1)
- 【請求項１】所定の空間領域内で変位するターゲット
と、このターゲットを視界に入れるように配置された複
数の撮像手段と、前記複数の撮像手段で撮像した前記タ
ーゲットの画像データから前記ターゲットの互いに直交
する３軸方向の変位およびそれらの軸周りの角変位を算
出するヘッドモーション演算部とを備えたターゲットト
ラッキングシステムにおいて、 前記３軸の中の所定の２軸周りのターゲットの角変位を
直接検出する角変位センサを前記ターゲットに固定し、
前記所定の２軸以外の１軸周りの角変位のみ前記ヘッド
モーション演算部により算出するようにしたことを特徴
とするターゲットトラッキングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8609690A JPH0797295B2 (ja) | 1990-03-31 | 1990-03-31 | ターゲットトラッキングシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8609690A JPH0797295B2 (ja) | 1990-03-31 | 1990-03-31 | ターゲットトラッキングシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03286211A JPH03286211A (ja) | 1991-12-17 |
| JPH0797295B2 true JPH0797295B2 (ja) | 1995-10-18 |
Family
ID=13877179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8609690A Expired - Lifetime JPH0797295B2 (ja) | 1990-03-31 | 1990-03-31 | ターゲットトラッキングシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0797295B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE504846C2 (sv) * | 1994-09-28 | 1997-05-12 | Jan G Faeger | Styrutrustning med ett rörligt styrorgan |
| US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| US7382400B2 (en) | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
-
1990
- 1990-03-31 JP JP8609690A patent/JPH0797295B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03286211A (ja) | 1991-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7818091B2 (en) | Process and device for determining the position and the orientation of an image reception means | |
| EP2543482B1 (en) | Information processing apparatus and information processing method | |
| EP4155873B1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| CN105222772B (zh) | 一种基于多源信息融合的高精度运动轨迹检测系统 | |
| CN110880189B (zh) | 联合标定方法及其联合标定装置和电子设备 | |
| JP4422777B2 (ja) | 移動体姿勢検出装置 | |
| JP4899217B2 (ja) | 前庭動眼反射の原理を用いる眼球運動制御装置 | |
| US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
| JP6906821B2 (ja) | 移動ロボット | |
| JP2611173B2 (ja) | 魚眼レンズを用いた測位方法およびその装置 | |
| JP2004015965A (ja) | 球面モータ | |
| JP2003065714A (ja) | カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置 | |
| JPH0797295B2 (ja) | ターゲットトラッキングシステム | |
| TWI748234B (zh) | 三維重建裝置、三維重建系統、三維重建方法、以及記錄三維重建程式的記錄媒體 | |
| CN110355758B (zh) | 一种机器跟随方法、设备及跟随机器人系统 | |
| JP2019148926A (ja) | 情報処理装置、移動体システム、撮像システム及び情報処理方法 | |
| JP2002007030A (ja) | 運動検出装置及び操作入力装置 | |
| JPS643661Y2 (ja) | ||
| JPH03174668A (ja) | 全方位観測装置 | |
| JP2005218783A (ja) | ゴルフスイング計測システムおよびゴルフクラブ | |
| JPH0973543A (ja) | 画像処理装置 | |
| JPH07136959A (ja) | ロボット位置決め方法 | |
| JP3056764B2 (ja) | 移動体用位置及び姿勢測定装置 | |
| JPH0926308A (ja) | 非接触三次元変位検出装置 | |
| JP3499117B2 (ja) | ３次元情報復元装置及びその方法 |