JPH1184307A

JPH1184307A - 頭部装着型の光学装置

Info

Publication number: JPH1184307A
Application number: JP9236374A
Authority: JP
Inventors: Kiyohide Sato; 清秀佐藤; Toshiichi Oshima; 登志一大島; Hiroyuki Yamamoto; 裕之山本
Original assignee: M R SYST KENKYUSHO KK
Current assignee: M R SYST KENKYUSHO KK
Priority date: 1997-09-01
Filing date: 1997-09-01
Publication date: 1999-03-26

Abstract

(57)【要約】【課題】作業者の移動に追随して移動するカメラを
備えた頭部装着型の光学装置を提案する。【解決手段】本体に組み込まれ、画像を眼球に導く第
１の光学系（２１４，２１３）と、本体に固定され、前
記頭部前方に視野を有するカメラ（２４０）とを具備す
る光学的ＨＭＤ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばヘッドマウ
ントデイスプレイなどに用いられる頭部装着型の光学装
置に関し、特に、装着者の頭部位置を精度良く検出する
ためにカメラ等の画像取得手段を合わせ持つ光学装置に
関する。

【０００２】

【従来の技術】近年、現実空間と仮想空間の繋ぎ日のな
い結合を目的とした複合現実感（以下、「ＭＲ」(Mixed
Reality)と称す）に関する研究が盛んになっている。
ＭＲは、従来、現実空間と切り離された状況でのみ体験
可能であったバーチャルリアリティ（以下ＶＲと略す）
の世界と現実空間との共存を目的とし、ＶＲを増強する
技術として注目されている。

【０００３】ＭＲの応用としては、患者の体内の様子を
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。ＭＲの応用として
は、患者の体内の様子を透視しているように医師に提示
する医療補助の用途や、工場において製品の組み立て手
順を実物に重ねて表示する作業補助の用途など、今まで
のＶＲとは質的に全く異なった新たな分野が期待されて
いる。

【０００４】これらの応用に対して共通に要求されるの
は、現実空間と仮想空間の間の“ずれ”をいかにして取
り除くかという技術である。“ずれ”は、位置ずれ、時
間ずれ、質的ずれに分類可能であり、この中でも最も基
本的な要求といえる位置ずれの解消については、従来か
ら多くの取り組みが行われてきた。ビデオカメラで撮影
された映像に仮想物体を重畳するビデオシースルー(Vid
eo-See-Through)方式のＭＲの場合、位置合せの問題
は、そのビデオカメラの３次元位置を正確に求める問題
に帰結される。

【０００５】半透過型のＨＭＤ(Head Mount Display)を
用いる光学シースルー(Optic-See-Through)方式のＭＲ
の場合における位置合せの問題は、ユーザーの視点の３
次元位置を求める問題といえ、それらの計測法として
は、磁気センサや超音波センサ、ジャイロといった３次
元位置方位センサ利用が一般的であるが、これらの精度
は必ずしも十分とはいえず、その誤差が位置ずれの原因
となる。

【０００６】一方、ビデオシースルー方式の場合には、
このようなセンサを用いずに画像情報を元に画像上での
位置合わせを直接行う手法も考えられる。この手法では
位置ずれを直接取り扱えるため位置合わせが精度よく行
える反面、実時間性や信頼性の欠如などの問題があっ
た。近年になって、位置方位センサと画像情報の併用に
より、両者の欠点を互いに補って精度よい位置合わせを
実現する試みが報告されている。

【０００７】１つの試みとして、「Dynamic Registrati
on Correction in Video-Based-Augmented Reality Sys
tems」(Bajura MichaelとUlrich Neuman, IEEE Compute
r Graphics and Applications 15, 5, pp. 52-60, 199
5)（以下、第１文献と呼ぶ）は、ビデオシースルー方式
のＭＲにおいて、磁気センサの誤差によって生じる位置
ずれを画像情報によって補正する手法を提案した。

【０００８】また、「Superior Augmented Reality Reg
istration by Integrating Landmark Tracking and Mag
netic Tracking」(State Andrei等, Proc. of SIGGRAPH
96,pp. 429-438, 1996)（以下、第２文献と呼ぶ）は、
さらにこの手法を発展させ、画像情報による位置推定の
曖昧性をセンサ情報によって補う手法を提案した。上記
従来例は、位置方位センサのみを用いてビデオシースル
ー方式のＭＲを構築した場合、そのセンサの誤差が原因
となって画像上での位置ずれが生じることに鑑みて、そ
の位置ずれを画像情報から検出するためには、その手掛
かりとなるような、３次元位置が既知であるランドマー
クを現実空間に設定する。

【０００９】センサ出力に誤差が含まれていないとする
と、画像上で実際に観測されるランドマークの座標Ｑ_I
と、センサ出力に基づいて得られたカメラ位置とランド
マークの３次元位置から導きだされるランドマークの観
測予測座標Ｐ_Iとは、同一となるはずである。しかし、
実際にはセンサ出力に基づいて得られたカメラ位置は正
確ではないため、Ｑ_IとＰ_Iは一致しない。このＰ_IとＱ_I
のずれは、ランドマーク位置における仮想空間と現実空
間の位置ずれを表しており、このために、画像からラン
ドマーク位置を抽出することで、ずれの向きと大きさが
算出できる。

【００１０】このように、画像上での位置ずれを定量的
に計測することで、位置ずれを解消するようなカメラ位
置の補正が可能となる。方位センサと画像を併用する最
も単純な位置合わせ方式は、１点のランドマークを用い
たセンサ誤差の補正と考えられ、画像上のランドマーク
の位置ずれに応じてカメラ位置を平行移動または回転さ
せる手法が第１文献によって提案されている。

【００１１】第１図に、１点のランドマークを用いた位
置ずれ補正の基本的な考え方を示す。以下では、カメラ
の内部パラメータを既知として、歪みなどの影響を除外
した理想的な撮像系によって画像撮影が行われているも
のと仮定する。カメラの視点位置をＣ、画像上でのラン
ドマークの観測座標をＱ_I、現実空間のランドマーク位
置をＱ_Iとすると、点Ｑ_Iは点Ｃと点Ｑ_Iを結ぶ直線ｌ_Q上
に存在する。一方、位置方位センサによって与えられる
カメラ位置からは、カメラ座標系におけるランドマーク
位置Ｐ_Cと、その画像上での観測座標Ｐ_Iが推測できる。
以下では、点Ｃから点Ｑ_I、Ｐ_Iへの３次元ベクトルを、
それぞれｖ_l、ｖ₂と表記する。この方法では、補正後の
ランドマークの観測予測座標符Ｐ^' _IがＱ_Iに一致するよ
うに（すなわち、カメラ座標系における補正後のランド
マーク予測位置Ｐ ^' _Cが、直線ｌ_Q上に乗るように）、カ
メラと物体の相対的な位置情報を修正する事によって、
位置ずれが補正される。

【００１２】ランドマークの位置ずれを、カメラ位置の
回転によって補正することを考える。これは、二つのベ
クトルｖ_l、ｖ₂の成す角θだけカメラが回転するよう
に、カメラの位置情報に修正を加えることで実現でき
る。実際の計算では、上記ベクトルｖ_l、ｖ₂を正規化し
たベクトルｖ_ln、ｖ_2nを用いて、その外積ｖ_ln×ｖ_2nを
回転軸に、内積ｖ_1n・ｖ_2nを回転角として、点Ｃを中心
にカメラを回転させる。

【００１３】ランドマークの位置ずれを、カメラ位置の
相対的な平行移動によって補正することを考える。これ
は、仮想世界中の物体位置をｖ＝ｎ（ｖ₁−ｖ₂）だけ平
行移動させることで実現できる。ここでｎは、次式によ
って定義されるスケールファクタである。

【００１４】

【数１】

【００１５】ここで、｜ＡＢ｜は点Ａと点Ｂの間の距離
を示す記号とする。また、カメラが−ｖだけ平行移動す
るようにカメラの位置情報に修正を加えることでも、同
様の補正が可能となる。これは、この操作によって、相
対的に仮想物体がｖだけ移動したことに等しくなるため
である。以上の２つの手法は、ランドマーク上での位置
ずれを２次元的に一致させる手法であり、３次元的に正
しい位置にカメラ位置を補正することはできない。しか
し、センサ誤差が小さい場合には十分な効果が期待でき
る。また、補正のための計算コストは非常に小さなもの
であり、実時間性に優れた手法である。

【００１６】

【発明が解決しようとする課題】しかしながら、上記文
献に示された手法は、ビデオシースルー方式に限定され
ており、光学的シースルー方式の複合現実感装置へ適用
するためには、好適ではなかった。光学的シースルー方
式では、位置合わせの問題がビデオシースルー方式に比
して遥かに重要になってくるからである。

【００１７】

【課題を解決するための手段】本発明はこのような事態
に鑑みてなされたもので、その目的は、作業者の移動に
追随して移動するカメラを備えた光学装置を提案するこ
とを目的とする。上記課題を達成するための、本発明
の、光学的シースルーの頭部に装着される光学装置は、
本体と、前記本体に組み込まれ、画像を眼球に導く第１
の光学系と、前記本体に固定され、前記頭部前方に視野
を有するカメラとを具備することを特徴とする。

【００１８】本発明の好適な一態様に拠れば、３次元の
位置と姿勢を検出するための３次元位置姿勢センサと、
前記画像を表示する液晶表示パネルとを更に有する。本
発明の好適な一態様に拠れば、前記３次元位置センサ
は、磁界変化を検出する磁気センサであり、前記磁気セ
ンサは前記液晶表示部から空間的に離間して前記本体に
固定されている。

【００１９】本発明の好適な一態様である頭部装着型光
学装置は、光学的シースルー型の光学装置であって、前
記本体に組み込まれ、外部環境からの光を眼球に導く第
２の光学系と、前記画像を表示する表示部とを有するこ
とにより、前記眼球には、前記第１の光学系からの前記
画像の光と、前記第２の光学系からの環境の光が入光す
ることを特徴とする。

【００２０】

【発明の実施の形態】以下、本発明の、複合現実感の提
示手法及びＨＭＤをエアーホッケーゲーム装置に適用し
た実施形態に係わるシステムを説明する。エアーホッケ
ーゲームは相手の存在する対戦型のゲームであり、通
常、下部から圧縮空気を供給してパックを浮かして、こ
のパックを打ち合い、相手のゴールにパックを入れたら
得点が入る。得点の多い方を勝者とするゲームである。
本実施形態のＭＲを適用したエアホッケーゲームは、パ
ックを仮想３次元画像として現実環境のテーブルに重畳
してプレーヤーに提示して、現実のマレットで打ち合う
ものである。

【００２１】〈ゲーム装置の構成〉第２図は、本実施形
態のシステムのゲーム装置部分を側面から見た図であ
る。複合現実感のエアーホッケーゲームは、テーブル１
０００を挟んで、二人の対戦者２０００，３０００が手
にマレット（２６０Ｌ，２６０Ｒ）をもって向かい合
う。二人の対戦者２０００，３０００は頭部にヘッドマ
ウントデイスプレイ２１０Ｌ，２１０Ｒ（以下ＨＭＤと
略す）を装着する。本実施形態のマレットはその先端に
赤外線発光器を有している。本実施形態では、画像処理
によりマレット位置を検出するが、マレットの形状や色
に特徴があるのであれば、それらの特徴を用いたパター
ン認識による検出も可能である。

【００２２】実施形態のＨＭＤ２１０は、第４図に示す
ようにシースルー型である。両対戦者２０００，３００
０は、ＨＭＤ２１０Ｌ，２１０Ｒを装着していても、テ
ーブル１０００の表面を観察することができる。ＨＭＤ
２１０には後述の画像処理システムから三次元仮想画像
が入力される。従って、対戦者２０００，３０００は、
ＨＭＤ２１０の光学系（第２図には不図示）を通した現
実空間の映像に重ねて、ＨＭＤ２１０の表示画面に表示
された三次元画像を見ることとなる。

【００２３】第３図は、左側プレーヤ２０００が自身の
ＨＭＤ２１０Ｌからみた映像を示す。二人のプレーヤは
仮想のパック１５００を打ち合う。パック１５００を打
つのはプレーヤ２０００が手に握っている現実のマレッ
ト２６０Ｌを用いる。プレーヤ２０００は手にマレット
２６０Ｌを握っている。相手プレーヤ３０００の直前に
はゴール１２００Ｒが見える。画像処理システム（第３
図には不図示）は、ゴール１２００Ｒが相手方近傍に見
えるように、三次元ＣＧを生成してＨＭＤ２４０Ｌに表
示する。

【００２４】対するプレーヤ３０００も、ＨＭＤ２１０
Ｒを介してプレーヤ３０００の近傍にゴール１２００Ｌ
を見ることとなる。パック１５００も不図示の画像処理
システムにより生成されて、各々のＨＭＤに表示され
る。〈磁気センサつきＨＭＤ〉第４図は、ＨＭＤ２１０の構
成を示す。このＨＭＤ２１０は、例えば特開平７−３３
３５５１号のＨＭＤの本体に、磁気センサ２２０を支柱
２２１を介して取り付けたものである。図中、２１１は
ＬＣＤ表示パネルである。ＬＣＤ表示パネルからの光
は、光学部材２１２に入射し、全反射面２１４にて反射
して、凹面ミラー２１３の全反射面にて反射して、全反
射面２１４を透過して観察者の目に届く。

【００２５】磁気センサ２２０は、本実施形態では、Po
lhemus社の磁気センサFastrackを用いた。磁気センサは
磁気ノイズに弱いので、支柱２２１により、ノイズ発生
源である表示パネル２１１及びカメラ２４０から離間し
た。尚、第４図に示したＨＭＤに磁気センサ及び（又
は）カメラを取り付ける構成は、光学的シースルー方式
のＨＭＤに限られず、ビデオシースルー方式のＨＭＤで
あっても、磁気センサ及び（又は）カメラを、頭部位置
及び姿勢を正確に検出する目的で、そのＨＭＤに装着す
ることは可能である。

【００２６】第２図において、夫々のＨＭＤ２１０はバ
ンド（不図示）によってプレーヤの頭部に固定される。
プレーヤの夫々の頭部には、第４図に示すように磁気セ
ンサ２２０が、第２図に示すようにＣＣＤカメラ２４０
（２４０Ｌ，２４０Ｒ）が、それぞれ固定されている。
カメラ２４０の視界はプレーヤの前方に設定されてい
る。エアホッケーゲームの場合には、それぞれテーブル
１０００の上面を見ることとなるので、カメラ２４０も
テーブル１０００の表面の画像を撮像する。磁気センサ
２２０（２２０Ｌ，２２０Ｒ）は、交流磁界発生源２５
０が発する交流磁界の変化をセンスする。

【００２７】プレーヤがテーブル１０００の表面を見る
ために斜め下方を向くと、ＨＭＤ２１０を通した視界に
は、テーブル１０００の表面と、前述の仮想のパック１
５００、現実のマレット２６０（２６０Ｌ，２６０
Ｒ）、仮想のゴール１２００（１２００Ｌ，１２００
Ｒ）が見える。また、プレーヤが、頭部を、水平二次元
平面内において水平移動させ、あるいはティルティング
運動、ヨー運動、ローリング運動を行わせると、その変
化は先ず磁気センサ２２０によって検出され、併せて、
頭部の姿勢変化に伴ってＣＣＤカメラ２４０が撮像する
画像の変化として観測される。

【００２８】〈複数のマーカ〉夫々のマレット２６０は
その先端に赤外線発光器を有しており、マレット位置は
この赤外線を検出するＣＣＤカメラ２３０によってその
二次元平面位置を知ることができる。ＣＣＤカメラ２４
０はマーカ画像と呼ばれる画像を出力する。

【００２９】第５図はテーブル１０００上に配置された
マーカの一例を示す。第５図において、○印で示した５
つのランドマーク即ちマーカ（１６００〜１６０４）は
プレーヤ２０００の頭部位置を補助的に検出するために
用いられるマーカを示し、□印で示した５つのランドマ
ーク即ちマーカ（１６５０〜１６５４）はプレーヤ３０
００の頭部位置を補助的に検出するために用いられるマ
ーカを示す。マーカをこのように複数配置すると、頭部
の位置、特に姿勢によって、どのマーカが見えるかが決
まる、換言すれば、各々のプレーヤの装着されたＣＣＤ
カメラ２４０が写す画像中におけるマーカを特定し、画
像内での位置を検出できれば、プレーヤの頭部姿勢を検
出する磁気センサの出力信号の補正に用いることができ
る。

【００３０】二人のプレーヤ（２０００，３０００）に
対してそれぞれ割り当てられたマーカ群（１６００〜１
６０８）とマーカ群１６５０〜１６５８）とは、それぞ
れ、異なる色に着色されている。本実施形態では、左側
プレーヤ（＃１プレーヤ）のためのマーカは赤色に、右
側プレーヤ（＃２プレーヤ）のためのマーカは緑色に着
色されている。画像処理におけるマーカの区別を容易に
するためである。

【００３１】本実施形態の大きな特徴は、マーカを複数
配置した点にある。複数配置することによって、プレー
ヤがテーブル１０００上で本エアホッケーゲームの動作
範囲内で行動する限りにおいて、少なくとも１つのマー
カがＣＣＤカメラ２４０の視野内に入ることが保証され
る。第６図は、プレーヤが頭部を色々と移動した場合に
おいて、頭部の移動に伴って、マーカを検出する画像処
理範囲が移動する様子が描かれてる。同図に示すよう
に、１つの画像には少なくとも１つのマーカが入ってい
る。換言すれば、マーカの数、マーカ間の間隔等は、テ
ーブル１０００の大きさ、カメラ２４０の視野角、ゲー
ムの性質に基づくプレーヤの移動範囲の大きさに応じて
設定されるべきである。この場合、プレーヤから遠方で
あればあるほど、広い範囲が視野に入るので、マーカ間
の間隔を広くして良い。これは、近傍にあるマーカ間の
画像中での間隔距離と、遠方にあるマーカ間の画像中で
の距離とを同じくするためである。同じフレーム内に不
必要に複数のマーカが撮像されるのを防ぐためである。

【００３２】〈ＭＲ画像生成システム〉第７図は、第２
図に示したゲーム装置における三次元画像の生成提示シ
ステムの構成を示す。この画像生成提示システムは、左
側プレーヤ２０００のＨＭＤ２４０Ｌ及び右側プレーヤ
３０００のＨＭＤ２４０Ｒの夫々の表示装置に、三次元
の仮想画像（第３図のパック１５００，ゴール１２０
０）を出力するものである。三次元の仮想画像の生成
は、画像生成部５０５０Ｌ，５０５０Ｒに拠って行われ
る。本実施形態では、画像生成部５０５０の夫々に米国
SiliconGraphics社製のコンピュータシステムONYX2を用
いた。

【００３３】画像生成部５０５０は、ゲーム状態管理部
５０３０が生成するパック位置情報等と、２つの補正処
理部５０４０Ｌ，５０４０Ｒが生成する補正後の視点位
置・頭部方向に関する情報とを入力する。ゲーム状態管
理部５０３０および補正処理部５０４０Ｌ，５０４０Ｒ
の夫々はコンピュータシステムONYX2により構成され
た。

【００３４】テーブル１０００の中央上空に固定された
ＣＣＤカメラ２３０は、テーブル１０００の表面を全て
視野に納める。カメラ２３０によって取得されたマレッ
ト情報はマレット位置計測部５０１０に入力される。こ
の計測部５０１０は、同じく、SiliconGraphics社製O2
コンピュータシステムにより構成された。計測部５０１
０は、二名のプレーヤのマレット位置、即ち、手の位置
を検出する。手の位置に関する情報はゲーム状態管理部
５０３０に入力されて、ここで、ゲーム状態が管理され
る。即ち、ゲーム状態・ゲームの進行は基本的にはマレ
ットの位置によって全てが決定される。

【００３５】SiliconGraphics社製コンピュータシステ
ムO2により構成された位置姿勢検出部５０００は、２つ
の磁気センサ２２０Ｌ，２２０Ｒの出力を入力して、各
プレーヤの視点位置及び頭部姿勢を検出し、補正処理部
５０４０Ｌ，５０４０Ｒに出力する。一方、各プレーヤ
の頭部に固定されたＣＣＤカメラ２４０Ｌ，２４０Ｒは
マーカ画像を取得し、このマーカ画像は、夫々、マーカ
位置検出部５０６０Ｌ，５０６０Ｒにおいて処理され、
夫々のカメラ２４０の視野に納まっているマーカの位置
が検出される。マーカ位置に関する情報は補正処理部５
０４０（５０４０Ｌ，５０４０Ｒ）に入力される。

【００３６】ここで、２つのマーカ位置検出部５０６０
（５０６０Ｌ，５０６０Ｒ）はO2コンピュータシステム
により構成された。〈マレット位置計測〉第８図乃至第
１０図は、マレット位置を計測する制御手順を示すフロ
ーチャートである。

【００３７】エアホッケーゲームでは、プレーヤは自身
のマレットを他のプレーヤの領域まで進めることはな
い。そのために、左側プレーヤ２０００（右側プレーヤ
３０００）のマレット２６０Ｌ（２６０Ｒ）を探索する
処理は、第１１図に示すように、左側フィールドの画像
データＩ_L（画像データＩ_R）に処理を集中すればよい。
固定位置にあるＣＣＤカメラ２３０が取得した画像を第
１１図に示すように２つの分割することは容易である。

【００３８】従って、第８図のフローチャートにおい
て、プレーヤ＃１（プレーヤ２０００）のマレット２６
０Ｌの探索についてはステップＳ１００で、プレーヤ＃
２（プレーヤ３０００）のマレット２６０Ｒの探索につ
いてはステップＳ２００で処理が行われる。そこで、便
宜上、右側プレーヤのマレットの探索（ステップＳ２０
０）を例にして説明する。

【００３９】先ず、ステップＳ２１０でＴＶカメラ２３
０から多値画像を取得する。ステップＳ２１２では、右
半分の画像データＩ_Rについてサブルーチン「ローカル
領域での探索」を行う。その詳細は第９図に示される。
ステップＳ２１２で画像座標系でのマレット位置の座標
（ｘ，ｙ）が見つかると、ステップＳ２１４からステッ
プＳ２２０に進み、画像座標系でのマレット位置座標
（ｘ，ｙ）を次式に従ってテーブル１０００の座標系
（第１３図を参照）の座標位置（ｘ’，ｙ’）に変換す
る。

【００４０】

【数２】

【００４１】ここで、Ｍ_Tは画像座標系とテーブル座標
系とをキャリブレーションするための３×３の変換行列
で、既知である。ステップＳ２２０で得られた座標位置
（ｘ’，ｙ’）はゲーム状態管理部５０３０に送られ
る。ローカル領域でマレットがみつからなかったなら
ば、ステップＳ２１６で「グローバル領域での探索」を
行う。「グローバル領域での探索」でマレットが見つか
ったならば、ステップＳ２２０でその座標位置をテーブ
ル座標系に変換する。尚、ローカル又はグローバル領域
で探索された座標位置は、次のフレームでのローカル領
域におけるマレットの探索に用いられる。

【００４２】第９図はマレットをローカル領域で探索す
る処理（ステップＳ２１２の詳細）を示す。但し、この
処理は便宜上右側フィールドにおける探索処理を示す
が、左側フィールドにおけるマレットの探索処理につい
ても実質的に同様である。ステップＳ２２０で、次式で
定義される大きさ（２Ａ＋１）×（２Ｂ＋１）画素の矩
形領域を抽出する。

【００４３】

【数３】

【００４４】ここで、Ｉ_x，Ｉ_yは探索領域Ｉ_R中の任意
の座標値であり、Ａ，Ｂは探索領域の大きさを決める定
数であって、かかる探索領域は第１２図のようになる。
ステップＳ２３０は、ステップＳ２２０で定義された矩
形領域中の全ての画素（ｘ，ｙ）について、特徴の評価
値Ｉ_S（ｘ，ｙ）が一定の条件を満足するものを抽出す
る工程である。マレットを探索する目的では、特徴量と
は、画素値（赤外光の強度値）の類似度が好適である。
本実施形態では、マレットには赤外線発光器を用いてい
るので、その赤外光の強度の特徴を有するものは、一応
マレットと判断する。

【００４５】即ち、ステップＳ２３２では、類似度Ｉ_S
が所定の閾値以上にマレットに近い画素を見つける。そ
のような画素を見つけると、カウンタＮに発生度数の累
積値を記憶する。また、そのような画素のｘ座標値及び
ｙ座標値をレジスタSUMx及びSUMyに累積記憶する。即
ち、

【００４６】

【数４】

【００４７】とする。ステップＳ２３０を終了すると、
第１２図の領域中でマレットからの赤外光のパターンに
類似している全ての画素の個数Ｎ、及び座標値の累積値
SUMx，SUMyが得られる。Ｎ＝０であればステップＳ２３
６で結果“Not Found”が出力される。Ｎ＞０であれ
ば、マレットらしいものが見つかったのであり、ステッ
プＳ２３８で、マレットの位置（Ｉ_x，Ｉ_y）を、

【００４８】

【数５】

【００４９】に従って演算する。そして、マレット位置
（Ｉ_x，Ｉ_y）をテーブル座標系に変換した座標値を渡
す。第１０図は、ステップＳ２１６のグローバル領域探
索の詳細手順を示す。第１０図のステップＳ２４０で、
右側フィールドの画像Ｉ_R中の、

【００５０】

【数６】

【００５１】を満足する画素の中で、特徴の評価値Ｉｓ
の最大値をレジスタMaxに記憶する。ここで、Ｃ，Ｄは
探索の粗さを決める定数であり、WidthおよびHeightは
その定義を第１５図に示す。即ち、ステップＳ２４２
で、特徴量Ｉ_Sが閾値記憶レジスタMaxに記憶されている
閾値を超えるか否かを判断する。そのような画素が見つ
かったならば、ステップＳ２４４で、その特徴量を新た
な閾値とすべく、ステップＳ２４４で、

【００５２】

【数７】

【００５３】とする。ステップＳ２４６では、グローバ
ル探索で見つかった最もマレットらしい画素（Ｉ_x，Ｉ
_y）の座標値をステップＳ２２０に渡す。このようにし
て、マレットを画像中で見つけ、その座標値をテーブル
座標系に変換したものをゲーム状態管理部５０３０に渡
す。〈ゲーム状態管理〉第１３図は、本実施形態のエアホッ
ケーゲームのゲームフィールドを示す。このフィールド
は、テーブル１０００の上の２次元平面上に定義され、
ｘ，ｙ軸を有する。また、左右の２つの仮想的ゴールラ
イン１２００Ｌ，１２００Ｒと、第１３図において上下
方向に設けられた仮想的壁１３００ａ，１３００ｂとを
有する。仮想的ゴールライン１２００Ｌ，１２００Ｒと
仮想的壁１３００ａ，１３００ｂとは、その座標値は既
知であり、移動することはない。このフィールドの中
で、マレット２６０Ｒ，２６０Ｌの移動に応じて、パッ
ク１５００の仮想画像が移動する。

【００５４】パック１５００は、現在位置の座標情報Ｐ
_pと速度情報ｖ_pとを有し、左マレット２６０Ｌは現在位
置の座標情報Ｐ_SLと速度情報ｖ_SLとを有し、右マレット
２６０Ｒは現在位置の座標情報Ｐ_SRと速度情報ｖ_SRとを
有する。第１４図は、ゲーム状態管理部５０３０におけ
る処理手順を説明するフローチャートである。

【００５５】ステップＳ１０において、パック１５００
の初期位置Ｐ_p0及び初期速度ｖ_p0を設定する。尚、パッ
クは速度ｖ_pで等速度運動を行う。また、パックは、壁
又はスティックに当たると完全弾性衝突を行う、即ち、
速度方向が反転する。ゲーム状態管理部５０３０は、マ
レット位置計測部５０１０が計測した各マレットの位置
情報Ｐ_Sから速度情報ｖ_Sを得る。

【００５６】ステップＳ１２は、ゲームでの勝敗が決定
する（ステップＳ５０で一方が３点を先取する）迄の間
は、Δｔ時間毎に実行される。すると、ステップＳ１２
では、パックの位置は、

【００５７】

【数８】

【００５８】に更新される。初期位置及び初期速度設定
後におけるパックの位置は、一般には、

【００５９】

【数９】

【００６０】で表される。ステップＳ１４では、更新さ
れたパック位置Ｐ_pがプレーヤの＃１側（左プレーヤ）
のフィールドにあるか否かを調べる。パック１５００が
左プレーヤ側にある場合について説明する。ステップＳ
１６では、現在のパック位置が左プレーヤのスティック
１１００Ｌと干渉する位置にあるか否かを調べる。パッ
ク１５００がスティック１１００Ｌと干渉する位置にあ
るとは、左プレーヤ２０００がマレット２６０Ｌをパッ
クに衝突させるようなマレット操作を行ったことを意味
するから、パック１５００の運動を反転させるために、
ステップＳ１８で、パック１５００の速度ｖ_pのｘ方向
速度成分の符号を反転させて、ステップＳ２０に進む。

【００６１】尚、単に速度ｖ_pのｘ方向速度成分の符号
を反転させる代わりに、

【００６２】

【数１０】

【００６３】として、パックが、スティックの操作速度
を重畳されて反対方向に進むようにしても良い。一方、
現在のパック位置が左プレーヤのスティック１１００Ｌ
と干渉する位置にない場合（ステップＳ１６でＮＯ）に
は、そのままステップＳ２０に進む。ステップＳ２０で
は、パックの位置Ｐ_i+1が仮想壁１３００ａ又は１３０
０ｂと衝突する位置にあるか否かを調べる。ステップＳ
２０の判断がＹＥＳの場合には、ステップＳ２２でパッ
クの速度のｙ成分を反転させる。

【００６４】次ぎにステップＳ２４で、現在のパック位
置が左プレーヤのゴールライン内にあるか否かを調べ
る。ＹＥＳの場合には、ステップＳ２６で相手側のプレ
ーヤ、即ち、右（＃２）プレーヤの得点を加算する。ス
テップＳ５０では、いずれかの得点が３点以上先取した
かを調べる。３点以上であればゲームを終了する。ステ
ップＳ１４での判断で、パックの位置Ｐ_pが右プレーヤ
側（＃２プレーヤ側）にある場合には、ステップＳ３０
以下を実行する。ステップＳ３０〜ステップＳ４０は、
ステップＳ１６〜ステップＳ２６と実質的に動作は同じ
である。

【００６５】かくして、ゲームの進行状態は管理され
る。ゲームの進行状態は、パックの位置、スティックの
位置であり、前述したように、画像生成部５０５０（５
０５０Ｌ，５０５０Ｒ）に入力される。〈頭部位置の補正〉第１６図は、補正処理部５０４０
（５０４０Ｌ，５０４０Ｒ）における処理の制御手順の
全体を示す。補正処理部５０４０における補正とは、誤
差を有すると思われる磁気センサによって得られた視点
位置及び頭部姿勢データを、ＣＣＤカメラ２４０から得
られた画像中のマーカ位置により、カメラ２４０の位置
（頭部の位置に密接に関連するものでもある）の補正値
を求め、その補正値を用いて、最終的に、視点のビュー
イング変換行列を変更することにより補正するものであ
る。

【００６６】即ち、ステップＳ４００では、磁気センサ
２２０の出力に基づいて、カメラのビューイング変換行
列（４×４）を計算する。ステップＳ４１０では、カメ
ラ２４０の理想的透視変換行列（既知）及び各マーカの
三次元位置（既知）に基づいて、各マーカの観測座標を
予測する。マーカ位置検出部５０６０（５０６０Ｌ，５
０６０Ｒ）は、プレーヤの頭部に取り付けられたカメラ
２４０（２４０Ｌ，２４０Ｒ）から得た画像中でマーカ
を追跡している。従って、マーカ位置検出部５０６０は
検出したマーカ位置を、補正処理部５０４０（ステップ
Ｓ４２０において）に渡す。補正処理部５０４０（５０
４０Ｌ，５０４０Ｒ）は、ステップＳ４２０において、
渡されたマーカ位置情報に基づいて、観測しているマー
カ、即ち補正の基準となるマーカを判別する。ステップ
Ｓ４３０では、カメラ２４０の位置の補正値を算出し
て、この補正値に基づいて、ステップＳ４４０で、視点
のビューイング変換を補正し、補正された変換行列を画
像生成部５０５０（５０５０Ｌ，５０５０Ｒ）に渡す。

【００６７】第１７図はマーカ位置検出部５０６０にお
ける処理手順である。ステップＳ５００では、カメラ２
４０が取得したカラー画像を取り込む。その後に、ステ
ップＳ５０２では、「ローカル領域探索」を、ステップ
Ｓ５０６では「グローバル領域探索」を行って、カメラ
座標系によって表されたマーカ位置（ｘ，ｙ）を検出す
る。ステップＳ５０２の「ローカル領域探索」、ステッ
プＳ５０６の「グローバル領域探索」は、手順として
は、マレット探索における「ローカル領域探索」（第９
図）、「グローバル領域探索」（第１０図）に実質的に
同じであるので、図示を省略する。

【００６８】但し、マーカ探索のための特徴量Ｉ_S（ス
テップＳ２３２の）として、プレーヤ＃１（左）につい
て、注目画素の画素値の、

【００６９】

【数１１】

【００７０】を用いる。プレーヤ＃１については、マー
カ（１６００〜１６０４）には赤色を用いているので、
この特徴量は赤らしさの程度を表す。また、プレーヤ＃
２（右）については緑色のマーカ（１６５０〜１６５
４）を用いているので、

【００７１】

【数１２】

【００７２】を用いる。また、グローバル探索における
特徴量Ｉ_S（ｘ，ｙ）についても上記２つの量を用い
る。ステップＳ５０２及びステップＳ５０６で得られた
マーカの座標値は、ステップＳ５１０で、歪みを補正す
るための行列Ｍ（例えば３×３の大きさを有する）を用
いて歪みのない理想的な画像座標系に変換する。この時
の変換式は、

【００７３】

【数１３】

【００７４】である。次ぎに、第１６図のステップＳ４
１０の処理の詳細について、第１８図を用いて説明す
る。前述したように、ステップＳ４００では世界座標系
からカメラ座標系への変換行列Ｍ_C（４×４のビューイ
ング変換行列）が得られている。一方、カメラ座標系か
ら画像座標系への変換行列Ｐ_C（４×４）も既知の値と
して与えられている。また、注目するマーカの三次元座
標位置（Ｘ，Ｙ，Ｚ）も既知として与えられている。

【００７５】周知のように、角度ｒをカメラ２４０の位
置でのＺ軸方向の回転(roll)とし、角度ｐをカメラ２４
０の位置でのＸ軸方向の回転(pitch)とし、角度φをカ
メラ２４０の位置でのＺ軸方向の回転(yaw)とすると、

【００７６】

【数１４】

【００７７】であり、ｄをカメラ２４０の焦点距離、ｗ
をカメラの撮像面の幅、ｈを同じく高さとすると、Ｐ_C
は、

【００７８】

【数１５】

【００７９】で表される。ステップＳ５２０では、注目
マーカの座標位置（Ｘ，Ｙ，Ｚ）を、次式に従って、画
像座標系での位置（ｘ_h，ｙ_h，ｚ_h）に変換する。

【００８０】

【数１６】

【００８１】ステップＳ５２２では、マーカの観測予測
位置ｘ，ｙとして、

【００８２】

【数１７】

【００８３】を得る。次ぎに、ステップＳ４２０におけ
る「マーカ判別」の処理を説明する。第１９図は、テー
ブル１０００上において、一方のプレーヤのカメラ２４
０が画像６００を取得した場合を示す。テーブル１００
０上に設けられているマーカを、例えばＭ₁〜Ｍ₇とし、
△印で表す。このマーカの三次元位置Ｍ_iは既知であ
る。画像６００内には、マーカＭ₂，Ｍ₃，Ｍ₆，Ｍ₇が含
まれている。一方、各マーカＭ_iの観測予測位置はステ
ップＳ５２０で求められたものであり、それをＰ_iとす
る。また、Ｑは、マーカ位置検出部５０６０が検出し、
検出部５０６０から渡されたマーカ位置を示す。

【００８４】ステップＳ４２０の「マーカの判別」は、
マーカ位置検出部５０６０が検出したマーカ位置Ｑが、
どのＰ_i（即ち、どのＭ_i）に対応するかを判断するもの
である。第１９図において、ベクトルｅ_iを、検出され
たマーカ位置Ｑから各マーカの予測位置Ｐ_iに向かうベ
クトルの長さ、即ち、距離を表すものとする。ステップ
Ｓ４２０の詳細を第２０図に示す。即ち、第２０図の処
理は、画像６０００内に入るマーカｉ（ｉ＝０〜ｎ）の
距離ｅ_iのうち、最小値を示すマーカを探索し、そのマ
ーカの識別子ｉを出力するものである。即ち、

【００８５】

【数１８】

【００８６】である。第１９図の例では、Ｐ₂間での距
離ｅ₂が一番短いので、マーカＭ₂を磁気センサ出力の補
正に用いるデータとする。かくして、プレーヤがどのよ
うに移動しても、その活動範囲（フィールド）内では、
カメラ２４０はいずれかの１つ以上のマーカを画像中に
捉えるので、従来のように、フィールドの大きさを狭く
限定する必要が無くなる。

【００８７】尚、ステップＳ４３０，ステップＳ４４０
での処理は、第１図において説明した処理と同じであ
る。〈変形例１〉本発明は上述の実施例にのみ適用されるも
のではない。上記実施形態では、画像中にマーカを検出
する処理は、第１７図に示すように、最初に見つかった
ものを追跡対象のマーカとしていた。そのために、例え
ば、第２１図に示すように、あるフレームでマーカＭ₁
を含む画像８００が得られた場合に、その後のフレーム
の画像領域８１０には、マーカが領域８１０の端部では
あるがその領域８１０内に含まれている場合には、マー
カＭ_iを補正処理の基準用のマーカとして決定すること
に不都合はない。しかし、その後のフレームで、例えば
画像８２０が得られ、その領域内にはマーカＭ_iが外
れ、代わりにマーカＭ₂を含む場合には、補正のための
基準マーカはそのマーカＭ₂に変更せざるを得ない。こ
のようなマーカの変更は追跡に失敗した場合にも必要と
なり、位置ずれの補正には、新たに追跡されたマーカが
利用される。

【００８８】このように補正に使用するマーカを切り替
えることの問題点として、その切り替わりの際に、補正
値の急激な変化が原因となって、仮想物体が不自然に移
動してしまう場合がある。そこで、補正値の時間的整合
性を保つために、前フレームまでの補正値を次の補正値
の設定に反映させることを変形例として提案する。

【００８９】即ち、あるフレームでの補正値（世界座標
系での平行移動を表す３次元ベクトル）をｖ^t、前フレ
ームでの補正値をｖ^'t-1としたとき、次式で求められる
ｖ^'tを新たな補正値とする。

【００９０】

【数１９】

【００９１】ここでαは、過去の情報の影響の度合いを
定義する０≦α＜１の定数である。上記式の意味すると
ころは、前フレームでの補正値ｖ^'t-1に拠る寄与度をα
とし、今回のフレームで得られた補正値ｖ^tを（１−
α）の寄与度で用いるというものである。このようにす
ることにより、補正値の急激な変化が緩和され、三次元
仮想画像の急激な変化（不自然な移動）が解消する。新
たな補正値αを適当な値に設定することで、マーカの切
り替わりによる不自然な物体の移動を防ぐことができ
る。

【００９２】〈変形例２〉上記実施形態では、画像中に
マーカを検出する処理は、第１７図に示すように、ロー
カル探索でマーカを発見できなかった場合、前回のフレ
ームでのマーカの位置に関わらず、全画面中で最も類似
度の高い点を追跡対象のマーカとしていた。ここで、マ
ーカの探索を、前のフレームで見つかったマーカの位置
を中心にして、マーカ探索を行う変形例を提案する。こ
れは、プレーヤの移動に伴う画像フレームの移動があっ
ても、マーカは前フレームに存在した位置から大きくず
れていない位置に存在する可能性が高いからである。

【００９３】第２２図は、前回のフレームにおいて見つ
かったマーカを今回のフレームに探索する原理を説明す
る。このような探索経路で探索を行い、ある閾値以上の
類似度を持つ点を見つけたら、この点を追跡対象のマー
カとするのである。〈変形例３〉上記実施形態は光学式ＨＭＤを用いたもの
であったが、本発明は光学式ＨＭＤの適用に限定される
ものではなく、ビデオシースルー方式のＨＭＤにも適用
可能である。

【００９４】〈変形例４〉上記実施形態は、エアホッケ
ーゲームに適用したものであったが、本発明はエアホッ
ケーゲームに限られない。本発明は、複数人の作業（例
えばマレット操作）を、１つのカメラ手段により撮像し
て捉えるので、その複数人の作業を１つの仮想空間に再
現することが可能である。従って、本発明は、２人以上
の作業者を前提とした協調作業（例えば、複数人による
設計作業のＭＲプレゼンテーション、あるいは複数人の
対戦型ゲーム）の実施例にも好適である。

【００９５】本発明の、複数のマーカに基づいた頭部姿
勢位置を補正する処理は、複数人の協調作業にのみ好適
であることはない。一人の作業者（あるいはプレーヤ）
に複合現実感を提示するシステムにも適用可能である。

【００９６】

【発明の効果】以上説明したように本発明の光学装置に
因れば、作業者前方の画像を取得するためのカメラが作
業者の頭部位置に装着されているので、この画像を用い
て作業者の三次元位置が変動する場合においても、追随
して作業者の姿勢を精度良く計測することが可能とな
る。

【図面の簡単な説明】

【図１】従来技術において、および本発明の実施形態
に適用されている、カメラ位置の補正の原理を説明する
図。

【図２】本発明の実施形態に用いられているゲーム装
置の構成を示す側面図。

【図３】第２図のゲーム装置で左側プレーヤの視界に
見えるシーンを説明する図。

【図４】第２図のゲーム装置に用いられているＨＭＤ
の構成を説明する図。

【図５】第２図のゲーム装置のテーブルに設けられた
マーカの配置を説明する図。

【図６】第５図のテーブル上で、プレーヤの移動につ
れて、プレーヤの頭部に装着されたカメラに捉えられる
画像中に含まれるマーカの変遷を説明する図。

【図７】実施形態のゲーム装置のための、三次元画像
生成装置の構成を説明する図。

【図８】実施形態のマレット位置計測部に因る処理手
順を説明するフローチャート。

【図９】実施形態のマレット位置計測部に因る処理手
順の一部サブルーチン（ローカル探索）を説明するフロ
ーチャート。

【図１０】実施形態のマレット位置計測部に因る処理
手順の一部サブルーチン（グローバル探索）を説明する
フローチャート。

【図１１】第８図のフローチャートの処理において用
いられる処理対象領域の分割を説明する図。

【図１２】第８図のフローチャートの処理において用
いられる対象領域の設定手法を示す図。

【図１３】本実施形態のゲームにおける仮想ゲームフ
ィールドの構成を説明する図。

【図１４】実施形態のゲーム状態管理部におけるゲー
ム管理の制御手順を説明するフローチャート。

【図１５】マレット検出ための手法を説明する図。

【図１６】実施形態における補正処理部の処理手順を
全体的に説明するフローチャート。

【図１７】第１６図のフローチャートの一部（マーカ
の追跡）を詳細に説明するフローチャート。

【図１８】第１６図のフローチャートの一部（マーカ
位置の予測）を詳細に説明するフローチャート。

【図１９】補正のために使用される基準となるマーカ
の検出の原理を説明する図。

【図２０】基準となるマーカの検出の原理を説明する
フローチャート。

【図２１】実施形態の変形例に適用される基準マーカ
の変遷を説明する図。

【図２２】実施形態の変形例に適用されるマーカ探索
の原理を説明する図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者山本裕之横浜市西区花咲町６丁目145番地横浜花咲ビル株式会社エム・アール・システム研究所内

Claims

【特許請求の範囲】

【請求項１】光学的シースルーの頭部に装着される光
学装置であって、本体と、前記本体に組み込まれ、画像を眼球に導く第１の光学系
と、前記本体に固定され、前記頭部前方に視野を有するカメ
ラとを具備する頭部装着型の光学装置。
【請求項２】前記頭部の３次元の位置と姿勢を検出す
るための３次元位置姿勢センサと、前記画像を表示する
液晶表示パネルとを更に有することを特徴とする請求項
１に記載の頭部装着型の光学装置。
【請求項３】前記３次元位置センサは、磁界変化を検
出する磁気センサであり、前記磁気センサは前記液晶表
示部から空間的に離間して前記本体に固定されたことを
特徴とする請求項１に記載の頭部装着型の光学装置。
【請求項４】光学的シースルー型の光学装置であっ
て、前記本体に組み込まれ、外部環境からの光を眼球に導く
第２の光学系と、前記画像を表示する表示部とを有することにより、前記眼球には、前記第１の光学系からの前記画像の光
と、前記第２の光学系からの環境の光が入光することを
特徴とする請求項１に記載の頭部装着型の光学装置。