JP2000276613A - 情報処理装置および情報処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 現実空間と仮想空間とを融合した、違和感の
ない画像を提供する。 【解決手段】 ３次元位置方向算出部３において、光学
シースルー型表示部１の３次元空間における位置が算出
されるとともに、視点位置方向算出部５において、ユー
ザの視点が算出され、仮想物体座標変換部８において、
光学シースルー型表示部１の位置およびユーザの視点に
基づいて、仮想画像の座標変換が行われる。そして、こ
の座標変換後の仮想画像が、光学シースルー型表示部１
に供給され、現実空間の画像とともに表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置およ
び情報処理方法に関し、特に、現実空間と仮想空間とを
融合した、違和感のない画像を提供することができるよ
うにする情報処理装置および情報処理方法に関する。

【０００２】

【従来の技術】現実空間と仮想空間との融合を行う技術
は、複合現実感（ＭＲ（Mixed Reality））と呼ばれ、
その中でも、現実空間に、仮想空間の情報を重畳して表
示する技術は、オーギュウメンテッドリアリティ（ＡＲ
（Augmented Reality））と呼ばれる。

【０００３】ＡＲを実現する方法としては、例えば、透
過型のＨＭＤ（Head Mounted Display）を利用して、表
示越しに見える現実世界の風景に、仮想的な物体の画像
を重畳して表示する光学シースルーと呼ばれるものや、
ビデオカメラ等で撮像された実際の物体の画像と、仮想
的な物体の画像とを重畳して表示するビデオシースルー
と呼ばれるものがある。なお、これらについての詳細
は、例えば、「佐藤清秀他、”現実世界と仮想空間の位
置合わせ手法”、画像の認識・理解シンポジウム、平成
１０年７月」等に記載されている。

【０００４】

【発明が解決しようとする課題】ところで、ＨＭＤを使
用してＡＲを実現する場合においては、ＨＭＤは、ユー
ザの頭部に装着されることから、ユーザの動きに対し
て、虚像を提供するためのディスプレイとユーザの視点
との位置関係がほとんど変化しない。即ち、ＨＭＤにお
いては、ディスプレイとユーザの視点との位置関係はほ
ぼ固定であり、現実の物体の画像（実画像）と、仮想的
な物体の画像（仮想画像）とを重畳した違和感のない画
像を提供することができる。

【０００５】しかしながら、ＨＭＤは、頭部に装着して
使用することから、ユーザの頭部を拘束し、煩わしさを
感じさせる。そこで、本件出願人は、例えば、特開平１
０−５１７１１号公報において、ユーザの頭部を拘束せ
ずに、現実空間と仮想空間とを融合した画像を提供する
装置として、ビデオシースルー型の携帯型ディスプレイ
を提案している。

【０００６】この携帯型ディスプレイは、平板形状のも
のであり、例えば、ユーザが手に持った状態で使用され
る。このため、携帯型ディスプレイに対するユーザの視
点の位置や方向は、ユーザの姿勢や使用状況等によって
変化する。

【０００７】一方、この携帯型ディスプレイにおいて
は、それに装着されているビデオカメラで撮像された実
画像が表示される。従って、ユーザが、ビデオカメラの
光軸線上（真後ろ）から、画面を見た場合には、ユーザ
の視点から現実世界を見た画像を見ることができるが、
それ以外の場合には、ユーザの視点とは無関係な画像を
見ることとなる。即ち、ユーザは、自身の視点から見え
る実画像と異なる実画像を見ることになり、違和感を感
じることになる。

【０００８】このように、ユーザの視点を考慮しないこ
とによる実画像の違和感は、例えば、携帯型ディスプレ
イを、ビデオシースルー型ではなく、光学シースルー型
とすることにより解消することができるが、その場合で
も、仮想画像について生じる違和感を解消することはで
きない。即ち、ユーザの視点を考慮しない場合には、仮
想画像は、携帯型ディスプレイに対して固定の位置に視
点を想定して表示される。その結果、ユーザの視点が、
想定した視点と異なる場合には、ユーザが見る仮想画像
は、違和感のあるものとなる。

【０００９】従って、ユーザの視点を考慮しない場合に
は、実画像と仮想画像とを重畳してた画像（合成画像）
も、違和感のあるものとなる。

【００１０】なお、本件出願人は、例えば、特開平１０
−４９２９０号公報において、任意の視点からの鳥瞰図
を作成して表示するものを提案しているが、これは、ユ
ーザの視点を考慮したものではなく、この方法により、
実画像と仮想画像とを重畳して、違和感のない合成画像
を提供することは困難である。

【００１１】本発明は、このような状況に鑑みてなされ
たものであり、現実空間と仮想空間とを融合した、違和
感のない画像を提供することができるようにするもので
ある。

【００１２】

【課題を解決するための手段】本発明の情報処理装置
は、表示手段の３次元空間における位置を算出する表示
位置算出手段と、ユーザの視点を算出する視点算出手段
と、表示手段の位置およびユーザの視点に基づいて、仮
想画像を変換する仮想画像変換手段とを含むことを特徴
とする。

【００１３】本発明の情報処理方法は、表示手段の３次
元空間における位置を算出する表示位置算出ステップ
と、ユーザの視点を算出する視点算出ステップと、表示
手段の位置およびユーザの視点に基づいて、仮想画像を
変換する仮想画像変換ステップとを含むことを特徴とす
る。

【００１４】上記構成の情報処理装置および情報処理方
法においては、表示手段の３次元空間における位置が算
出されるとともに、ユーザの視点が算出される。そし
て、表示手段の位置およびユーザの視点に基づいて、仮
想画像が変換される。

【００１５】

【発明の実施の形態】図１は、本発明を適用した携帯型
表示装置の第１実施の形態の構成（機能的構成）を示し
ている。

【００１６】光学シースルー型表示部１は、例えば、透
明なＬＣＤ（Liquid Crystal Display）などでなる光学
シースルー型のＬＣＤで、レンダリング部９から供給さ
れる仮想画像を表示する他、その表示画面を介して、現
実空間が見えるようになっている。従って、光学シース
ルー型表示部１においては、その表示画面を介して見え
る実画像と、レンダリング部９からの仮想画像とを重畳
した合成画像が表示される。なお、光学シースルー型表
示部１は、いわゆるノート型パソコン（パーソナルコン
ピュータ）程度の大きさの平板形状の筐体に収められて
いる。また、後述する各ブロックも、その筐体に収めら
れており、これにより、携帯型表示装置は、携帯に便利
なようになっている。なお、この携帯型表示装置は、ユ
ーザが、片手または両手で持って、あるいは、スタンド
等により固定して使用される。

【００１７】３次元位置方向センサ２は、光学シースル
ー型表示部１に固定されており、所定の基準面に対する
光学シースルー型表示部１の位置、および傾き等の姿勢
を算出するための出力を、３次元位置方向算出部３に供
給するようになされている。３次元位置方向算出部３
は、３次元位置方向センサ２の出力に基づいて、所定の
基準面に対する光学シースルー型表示部１の位置、およ
び傾き等の姿勢を算出し、仮想物体座標変換部８に供給
するようになされている。

【００１８】ここで、光学シースルー型表示部１の位置
や姿勢を算出する方法としては、直交コイルでなるソー
スコイルおよび位置センサを用いて、磁界を検出するも
のがある。即ち、例えば、ソースコイルを基準面とする
位置（例えば、光学シースルー表示部１を介して見える
実際の物体の位置）に設置し、３次元位置方向センサ２
として位置センサを用いることにより、３次元位置方向
算出部３において、光学シースルー型表示部１の位置や
姿勢を算出することが可能となる。このようにして光学
シースルー型表示部１の位置や姿勢を算出する方法につ
いては、例えば、前述の特開平１０−５１７１１号公報
に、その詳細が開示されている。また、直交コイルを用
いて、物体の位置や姿勢を算出する装置としては、例え
ば、Polhemus社の3SPACE（商標）がある。

【００１９】なお、光学シースルー型表示部１の位置や
姿勢の算出は、その他、例えば、超音波を利用して行う
ことも可能である。超音波を利用して、物体の位置や姿
勢を算出する装置としては、例えば、Stereo Graphics
社のCrystal EYES（商標）がある。

【００２０】視点位置方向センサ４は、例えば、光学シ
ースルー型表示部１に固定されており、所定の基準面に
対するユーザの視点（視点の方向または３次元空間にお
ける位置（座標））を算出するための出力を、視点位置
方向算出部５に供給するようになされている。視点位置
方向算出部５は、視点位置方向センサ４の出力に基づい
て、所定の基準面に対するユーザの視点を算出し、仮想
物体座標変換部８に供給するようになされている。

【００２１】ここで、ユーザの視点は、例えば、ユーザ
に、直交コイルであるソースコイル付きの眼鏡をかけて
もらい、視点位置方向センサ４として直交コイルである
位置センサを用いることにより、３次元位置方向算出部
３における場合と同様にして算出することができる。

【００２２】また、ユーザの視点は、例えば、視点位置
方向センサ４として、ＣＣＤ（Charge Coupled Devic
e）ビデオカメラを採用し、視点位置方向算出部５にお
いて、ＣＣＤビデオカメラが出力する画像を認識するこ
とによって算出することができる。具体的には、例え
ば、「八木 他、”画像情報処理のための共通プラット
フォームの構築”、情処研報Vol.98, No 26 ISSN0919-6
072 98-CVM-110-9, 1998.3.19」に記載されているよう
に、画像認識を行うことにより、撮像された画像からユ
ーザの顔の領域を切り出し、そこから目の位置をステレ
オ処理などによって抽出することで、視点を算出するこ
とができる。あるいは、ユーザの顔に、所定のマーカを
付してもらい、そのマーカーの位置を画像処理により求
めることで、視点を算出することもできる。

【００２３】仮想物体データ蓄積部６は、仮想物体の形
状およびテクスチャのデータを記憶している。仮想物体
生成部７は、仮想物体データ蓄積部６に記憶されている
データに基づいて、所定の３次元空間における仮想的な
物体（仮想物体）を生成し、仮想物体座標変換部８に供
給するようになされている。仮想物体座標変換部８は、
３次元位置方向算出部３からの光学シースルー型表示部
１の位置および姿勢、並びに視点位置方向算出部５から
のユーザの視点に基づいて、仮想物体の座標変換を、幾
何計算によって行い、その座標変換後の仮想物体を、レ
ンダリング部９に供給するようになされている。レンダ
リング部９は、仮想物体座標変換部８からの座標変換後
の仮想物体のデータに基づいてレンダリングを行い、そ
の仮想物体のレンダリング結果としての３次元ＣＧ（Co
mputer Graphics）（仮想画像）を、光学シースルー型
表示部１に供給するようになされている。

【００２４】ここで、仮想画像としての３次元ＣＧのレ
ンダリングの手法としては、例えば、イメージベースド
レンダリング（image based rendering）や、ジオメト
リベースドレンダリング（geometry based rendering）
等を採用することができる。

【００２５】次に、図２は、図１の携帯型表示装置の電
気的構成例を示している。

【００２６】基準カメラ１１および検出カメラ１２は、
例えば、ＣＣＤビデオカメラであり、図２の実施の形態
においては、視点位置方向センサ４を構成している。基
準カメラ１１または検出カメラ１２は、ユーザを、異な
る視点方向から撮像し、その結果得られるユーザの画像
を、Ａ／Ｄ（Analog/Digital）変換器１３または１４に
それぞれ供給するようになされている。Ａ／Ｄ変換器１
３または１４は、基準カメラ１１または検出カメラ１２
からのアナログ信号の画像を、ディジタルの画像データ
に変換し、フレームメモリ１５または１６にそれぞれ供
給するようになされている。フレームメモリ１５または
１６は、Ａ／Ｄ変換器１３または１４からの画像データ
をそれぞれ記憶するようになされている。

【００２７】ＣＰＵ（Central Processing Unit）１７
は、携帯型表示装置を構成する図２の各ブロックを制御
する他、図１に示した各ブロックが行う処理を行うよう
になされている。即ち、ＣＰＵ１７は、ＲＳ−２３２Ｃ
／ＲＳ−４２２コントローラ２０を介して供給される３
次元位置方向センサ２の出力に基づいて、光学シースル
ー型表示部１の位置や姿勢を算出するようになされてい
る。また、ＣＰＵ１７は、上述したようにしてフレーム
メモリ１５および１６に記憶された画像に基づいて、ユ
ーザの視点の位置または方向を算出するようになされて
いる。さらに、ＣＰＵ１７は、図１の仮想物体生成部７
による仮想物体の生成や、仮想物体座標変換部８による
座標変換、レンダリング部９によるレンダリング等を行
うようになされている。

【００２８】ＲＯＭ（Read Only Memory）１８は、ＩＰ
Ｌ（Initial Program Loading）のプログラムなどを記
憶している。ＲＡＭ（Random Access Memory）１９は、
ＣＰＵ１７が上述したような処理を行うためのプログラ
ムや、ＣＰＵ１７の動作上必要なデータを記憶するよう
になされている。ＲＳ−２３２Ｃ／ＲＳ−４２２コント
ローラ２０は、３次元位置方向センサ２との間で、ＲＳ
−２３２ＣまたはＲＳ−４２２の規格等に準拠したシリ
アル通信を行い、３次元位置方向センサ２の出力を、バ
スを介して、ＣＰＵ１７に供給するようになされてい
る。

【００２９】ＬＣＤコントローラ２１は、ＣＰＵ１７の
制御の下、ＶＲＡＭ（Video RAM）２２を用いて、ＬＣ
Ｄである光学シースルー型表示部１の表示を制御するよ
うになされている。ＶＲＡＭ２２は、光学シースルー型
表示部１が表示する画像データを一時記憶するようにな
されている。即ち、表示すべき画像データは、ＬＣＤコ
ントローラ２１を介してＶＲＡＭ２２に書き込まれ、Ｌ
ＣＤコントローラ２１が、ＶＲＡＭ２２に記憶された画
像データを光学シースルー型表示部１に供給することに
より、画像が表示されるようになされている。

【００３０】ストレージコントローラ２３は、例えば、
ＨＤ（Hard Disk）やＦＤ（FloppyDisk）等の磁気ディ
スク２４や、ミニディスク（商標）等の光磁気ディスク
２５、ＣＤ−ＲＯＭ（Compact Disc ROM）等の光ディス
ク２６、ＲＯＭやフラッシュメモリ等の不揮発性メモリ
２７に対するアクセスを制御するようになされている。
磁気ディスク２４、光磁気ディスク２５、光ディスク２
６、不揮発性メモリ２７は、仮想物体の形状やテクスチ
ャのデータを記憶しており、これらのデータは、ＣＰＵ
１７によって、ストレージコントローラ２３を介して読
み出されるようになされている。なお、磁気ディスク２
４等には、ＣＰＵ１７が上述したような処理を行うため
のプログラム等も記憶されている。

【００３１】通信コントローラ２８は、電波や赤外線等
による無線通信、およびイーサネット（商標）等による
有線の通信を制御するようになされている。例えば、仮
想物体の形状やテクスチャのデータ、ＣＰＵ１７が各種
の処理を行うためのプログラム等は、この通信コントロ
ーラ２８を介して通信を行うことにより、外部の装置か
ら取得することも可能となっている。

【００３２】図２の実施の形態においては、視点位置方
向センサ４が、基準カメラ１１および検出カメラ１２の
２つのＣＣＤビデオカメラで構成され、ＣＰＵ１７で
は、この２つの基準カメラ１１および検出カメラ１２の
画像を用いて、ステレオ処理を行うことで、ユーザの視
点の３次元空間における位置が算出されるようになされ
ている。

【００３３】ここで、ステレオ処理について説明する。

【００３４】ステレオ処理は、２つ以上の方向（異なる
視線方向）からカメラで同一対象物を撮影して得られる
複数の画像間の画素同士を対応付けることで、対応する
画素間の視差や、カメラから対象物までの距離、対象物
の形状を求めるものである。

【００３５】即ち、基準カメラ１１および検出カメラ１
２で物体を撮影すると、基準カメラ１１からは物体の投
影像を含む画像（基準カメラ画像）が得られ、検出カメ
ラ１２からも物体の投影像を含む画像（検出カメラ画
像）が得られる。いま、図３に示すように、物体上のあ
る点Ｐが、基準カメラ画像および検出カメラ画像の両方
に表示されているとすると、その点Ｐが表示されている
基準カメラ画像上の位置と、検出カメラ画像上の位置、
つまり対応点とから、基準カメラ１１と検出カメラ１２
との間の視差を求めることができ、さらに、三角測量の
原理を用いて、点Ｐの３次元空間における位置（３次元
位置）を求めることができる。

【００３６】従って、ステレオ処理では、まず、対応点
を検出することが必要となるが、その検出方法として
は、例えば、エピポーラライン（Epipolar Line）を用
いたエリアベースマッチング法などがある。

【００３７】即ち、図３に示すように、基準カメラ１１
においては、物体上の点Ｐは、その点Ｐと基準カメラ１
１の光学中心（レンズ中心）Ｏ１とを結ぶ直線Ｌ上の、
基準カメラ１１の撮像面Ｓ１との交点ｎａに投影され
る。

【００３８】また、検出カメラ１２においては、物体の
点Ｐは、その点Ｐと検出カメラ１２の光学中心（レンズ
中心）Ｏ２とを結ぶ直線上の、検出カメラ１２の撮像面
Ｓ２との交点ｎｂに投影される。

【００３９】この場合、直線Ｌは、光学中心Ｏ１および
Ｏ２、並びに点ｎａ（または点Ｐ）の３点を通る平面
と、検出カメラ画像が形成される撮像面Ｓ２との交線Ｌ
２として、撮像面Ｓ２上に投影される。点Ｐは、直線Ｌ
上の点であり、従って、撮像面Ｓ２において、点Ｐを投
影した点ｎｂは、直線Ｌを投影した直線Ｌ２上に存在
し、この直線Ｌ２が、エピポーララインと呼ばれる。即
ち、点ｎａの対応点ｎｂが存在する可能性のあるのは、
エピポーララインＬ２上であり、従って、対応点ｎｂの
探索は、エピポーララインＬ２上を対象に行えば良い。

【００４０】ここで、エピポーララインは、例えば、撮
像面Ｓ１に形成される基準カメラ画像を構成する画素ご
とに考えることができるが、基準カメラ１１と検出カメ
ラ１２の位置関係が既知であれば、その画素ごとに存在
するエピポーララインはあらかじめ求めておくことがで
きる。

【００４１】エピポーララインＬ２上の点からの対応点
ｎｂの検出は、例えば、次のようなエリアベースマッチ
ングによって行うことができる。

【００４２】即ち、エリアベースマッチングでは、図４
（Ａ）に示すように、基準カメラ画像上の点ｎａを中心
（例えば、対角線の交点）とする、例えば長方形状の小
ブロック（例えば、横×縦が５画素×５画素のブロッ
ク）である基準ブロックが、基準カメラ画像から抜き出
されるとともに、図４（Ｂ）に示すように、検出カメラ
画像に投影されたエピポーララインＬ２上の、ある点を
中心とする、基準ブロックと同一の大きさの小ブロック
である検出ブロックが、検出カメラ画像から抜き出され
る。

【００４３】ここで、図４（Ｂ）の実施の形態において
は、エピポーララインＬ２上に、検出ブロックの中心と
する点として、点ｎｂ１乃至ｎｂ６の６点が設けられて
いる。この６点ｎｂ１乃至ｎｂ６は、図３に示した３次
元空間における直線Ｌの点であって、基準点からの距離
が、例えば１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点そ
れぞれを、検出カメラ１２の撮像面Ｓ２に投影した点
で、従って、基準点からの距離が１ｍ，２ｍ，３ｍ，４
ｍ，５ｍ，６ｍの点にそれぞれ対応している。

【００４４】エリアベースマッチングでは、検出カメラ
画像から、エピポーララインＬ２上に設けられている点
ｎｂ１乃至ｎｂ６それぞれを中心とする検出ブロックが
抜き出され、各検出ブロックと、基準ブロックとの相関
が、所定の評価関数を用いて演算される。そして、点ｎ
ａを中心とする基準ブロックとの相関が最も高い検出ブ
ロックの中心の点ｎｂが、点ｎａの対応点として求めら
れる。

【００４５】ここで、基準ブロックと検出ブロックとの
相関性を評価する評価関数としては、例えば、基準ブロ
ックを構成する画素と、それぞれの画素に対応する、検
出ブロックを構成する画素の画素値の差分の絶対値の総
和や、画素値の差分の自乗和、正規化された相互相関(n
ormalized cross correlation)などを用いることができ
る。

【００４６】いま、評価関数として、画素値の差分の絶
対値の総和を用いることとすると、基準カメラ画像上の
所定の点（ｘ，ｙ）（座標（ｘ，ｙ）の画素）について
の、検出カメラ画像上のある点（ｘ’，ｙ’）との間の
相関は、例えば、次式で表される評価値（エラー値）ｅ
（ｘ，ｙ）によって評価される。

【００４７】

【数１】 ・・・（１） 但し、式（１）において、ｅ（ｘ，ｙ）は、基準カメラ
画像上の画素（ｘ，ｙ）、と、検出カメラ画像上の画素
（ｘ’，ｙ’）との間の相関を示す評価値（エラー値）
を表す。さらに、ＹＡ（ｘ＋ｉ，ｙ＋ｊ）は、基準カメ
ラ画像上の点（ｘ＋ｉ，ｙ＋ｊ）における画素の画素値
としての、例えば輝度を表し、ＹＢ（ｘ’＋ｉ，ｙ’＋
ｊ）は、検出カメラ画像上の点（ｘ’＋ｉ，ｙ’＋ｊ）
における画素の輝度を表す。また、Ｗは、基準ブロック
および検出ブロックを表し、ｉ，ｊ∈Ｗは、点（ｘ＋
ｉ，ｙ＋ｊ）または点（ｘ’＋ｉ，ｙ’＋ｊ）が、それ
ぞれ、基準ブロックまたは検出ブロック内の点（画素）
であることを表す。

【００４８】なお、式（１）で表される評価値ｅ（ｘ，
ｙ）は、基準カメラ画像上の画素（ｘ，ｙ）と、検出カ
メラ画像上の画素（ｘ’，ｙ’）との間の相関が大きい
ほど小さくなり、従って、評価値ｅ（ｘ，ｙ）を最も小
さくする検出カメラ画像上の画素（ｘ’，ｙ’）が、基
準カメラ画像上の画素（ｘ，ｙ）の対応点として求めら
れる。

【００４９】いま、式（１）に示したような、相関が高
いほど小さな値をとる評価値を用いた場合に、エピポー
ララインＬ２上の点ｎｂ１乃至ｎｂ６それぞれについ
て、例えば、図５に示すような評価値（評価関数の値）
が得られたとする。ここで、図５においては、点ｎｂ１
乃至ｎｂ６に対応する３次元空間上の点それぞれにあら
かじめ付された、基準点からの距離に対応する距離番号
を横軸として、各距離番号（に対応するエピポーラライ
ンＬ２上の点ｎｂ１乃至ｎｂ６）に対する評価値を、図
示してある。

【００５０】図５に示したような評価値でなる評価曲線
が得られた場合には、評価値が最も小さい（相関が最も
高い）距離番号３に対応するエピポーララインＬ２上の
点が、点ｎａの対応点として検出される。なお、図５に
おいて、距離番号１乃至６に対応する点それぞれについ
て求められた評価値（図５において●印で示す）のうち
の最小値付近のものを用いて補間を行い、評価値がより
小さくなる点（図５において×印で示す３．３ｍに対応
する点）を求めて、その点を、最終的な対応点として検
出することも可能である。

【００５１】なお、基準カメラ１１の撮像面Ｓ１上の点
ｎａと、その光学中心Ｏ１を結ぶ直線Ｌ上の点を、検出
カメラ１２の撮像面Ｓ２に投影した点ｎｂ１乃至ｎｂ６
の設定は、例えば、基準カメラ１１および検出カメラ１
２のキャリブレーション時に行うことができる（キャリ
ブレーションの方法は、特に限定されるものではな
い）。そして、このような設定を、基準カメラ１１の撮
像面Ｓ１を構成する画素ごとに存在するエピポーラライ
ンごとに行い、エピポーラライン上に設定された点（以
下、適宜、設定点という）までの距離（基準点からの距
離）に対応する距離番号と、基準点からの距離とを対応
付ける距離番号／距離テーブルをあらかじめ作成してお
けば、対応点となる設定点を検出し、その設定点に対応
する距離番号を、距離番号／距離テーブルを参照して変
換することで、即座に、基準点からの距離（物体上の点
までの距離の推定値）を求めることができる。即ち、い
わば、対応点から、直接、距離を求めることができる。
但し、距離は、対応点を検出後、視差を求めて、その視
差から算出することも可能である。

【００５２】なお、基準カメラ１１および検出カメラ１
２で撮像する対象物が、例えば、人の顔である場合に
は、基準カメラ１１と検出カメラ１２とから見える顔の
向きが異なることがある。この場合、対応点どうしの基
準ブロックおよび検出ブロックを、そのまま用いて、両
者の相関を計算しても、その相関が大きくならないこと
があり、その結果、正しい対応点が求められないことが
ある。そこで、基準ブロックと検出ブロックとの相関
は、例えば、検出ブロックを、基準カメラ１１から見た
ものとなるように射影変換した後に計算するのが望まし
い。

【００５３】また、図２の実施の形態では、１台の基準
カメラ１１と、１台の検出カメラ１２とを用いることと
したが、検出カメラは、複数台用いることが可能であ
る。この場合、マルチベースラインステレオ（Multi Ba
seline Stereo）法による評価値を求めて、その評価値
に基づき、距離を求める、即ち、いわゆる多眼ステレオ
処理により距離画像を求めることとなる。

【００５４】ここで、マルチベースラインステレオ法
は、１の基準カメラ画像と、複数の検出カメラ画像とを
用い、その複数の検出カメラ画像それぞれについて、基
準カメラ画像との間の相関を表す評価値を求め、それぞ
れの評価値どうしを、同一の距離番号について加算し、
その加算値を、最終的な評価値として用いることにより
高精度に距離を求めるもので、その詳細については、例
えば、奥富正敏、金出武雄、「複数の基線長を利用した
ステレオマッチング」、電子情報通信学会論文誌D-II V
ol.J75-D-II No.8 pp.1317-1327 1992年8月に記載され
ている。マルチベースラインステレオ法は、例えば、基
準カメラ画像および検出カメラ画像が、繰り返しパター
ンを有する場合に、特に有効である。

【００５５】さらに、図２の実施の形態では、２台のＣ
ＣＤビデオカメラである基準カメラ１１と検出カメラ１
２によって、視点位置方向センサ４を構成するようにし
たが、視点位置方向センサ４は、１台のＣＣＤビデオカ
メラで構成することも可能である。但し、複数台のＣＣ
Ｄビデオカメラを用いる場合には、ステレオ処理によっ
て、ユーザの視点の３次元空間における位置を求めるこ
とができるが、１台のＣＣＤビデオカメラを用いる場合
には、そのような３次元的な位置（距離）を求めること
は困難となる。即ち、１台のＣＣＤビデオカメラを用い
る場合には、視点の方向（例えば、光学シースルー表示
部１を基準とする視点の方向）は求めることができる
が、３次元空間における位置を求めることは困難とな
る。

【００５６】次に、図６のフローチャートを参照して、
図１の携帯型表示装置の動作について説明する。

【００５７】まず最初に、ステップＳ１において、光学
シースルー型表示部１の位置と姿勢が算出されるととも
に、ユーザの視点が算出される。即ち、３次元位置方向
算出部３において、３次元位置方向センサ２の出力に基
づいて、光学シースルー型表示部１の位置と姿勢が算出
され、仮想物体座標変換部８に供給される。同時に、視
点位置方向算出部５において、視点位置方向センサ４の
出力に基づいて、ユーザの視点（の位置または方向）が
算出され、仮想物体座標変換部８に供給される。

【００５８】一方、仮想物体生成部７では、仮想物体デ
ータ蓄積部６に記憶されたデータに基づいて、所定の３
次元空間における仮想物体が生成され、仮想物体座標変
換部８に供給される。仮想物体座標変換部８では、ステ
ップＳ２において、光学シースルー型表示部１の位置と
姿勢、およびユーザの視点に基づいて、所定の３次元空
間における仮想物体の座標変換が行われ、その変換後の
仮想物体のデータが、レンダリング部９に供給される。
レンダリング部９では、ステップＳ３において、仮想物
体座標変換部８からのデータにしたがい、仮想物体のレ
ンダリングが行われ、光学シースルー型表示部１に供給
される。光学シースルー型表示部１では、ステップＳ４
において、レンダリング部９からの仮想物体の画像（仮
想画像）が表示される。そして、ステップＳ１に戻り、
以下、同様の処理が繰り返される。

【００５９】これにより、光学シースルー型表示部１に
は、図６および図７に示すように、実画像と仮想画像と
を重畳した違和感のない画像が表示される。

【００６０】即ち、例えば、いま、ユーザが、図７
（Ａ）に示すように、光学シースルー型表示部１の表示
画面の真正面から、実在するテーブルを見ているとし、
このとき、レンダリング部９において、仮想物体の仮想
画像がレンダリングされ、これにより、光学シースルー
型表示部１において、図７（Ｂ）に示すように、実在す
るテーブルの上に、三角錐形状の仮想物体がのっている
画像が表示されたとする。

【００６１】この場合、図７（Ｃ）に示すように、ユー
ザが、光学シースルー型表示部１の表示画面の正面から
左に移動し、これにより、視点を左に移動すると、光学
シースルー型表示部１を介して見える実在するテーブル
は、その表示画面の左側に移動するが、これに伴い、光
学シースルー型表示部１において表示されていた仮想物
体も、左側に移動される。その結果、ユーザは、図７
（Ｄ）に示すように、視点が左に移動したことに伴い、
テーブルおよびそれにのっている仮想物体も左に移動し
た、違和感のない画像を見ることができる。

【００６２】さらに、図７（Ｅ）に示すように、ユーザ
が、光学シースルー型表示部１の表示画面の正面から右
に移動し、これにより、視点を右に移動すると、光学シ
ースルー型表示部１を介して見える実在するテーブル
は、その表示画面の右側に移動するが、これに伴い、光
学シースルー型表示部１において表示されていた仮想物
体も、右側に移動される。その結果、ユーザは、図７
（Ｆ）に示すように、視点が右に移動したことに伴い、
テーブルおよびそれにのっている仮想物体も右に移動し
た、違和感のない画像を見ることができる。

【００６３】また、図７（Ａ）に示したように、ユーザ
が、光学シースルー型表示部１の表示画面の正面のある
位置から、実在するテーブルと仮想物体を見ている場合
において、図８（Ａ）に示すように、光学シースルー型
表示部１から遠ざかり、これにより、視点の位置が遠方
に移動すると、光学シースルー型表示部１を介して見え
る実在するテーブルがその表示画面を占める面積は大き
くなるが、これに伴い、光学シースルー型表示部１にお
いて表示されていた仮想物体も、拡大される。その結
果、ユーザは、図８（Ｂ）に示すように、視点が遠方に
移動したことに伴い、テーブルおよびそれにのっている
仮想物体が、光学シースルー型表示部１の表示画面の中
で大きくなった、違和感のない画像を見ることができ
る。

【００６４】さらに、ユーザが、図８（Ｃ）に示すよう
に、光学シースルー型表示部１に近づき、これにより、
視点の位置も近づくと、光学シースルー型表示部１を介
して見える実在するテーブルがその表示画面を占める面
積は小さくなるが、これに伴い、光学シースルー型表示
部１において表示されていた仮想物体も、縮小される。
その結果、ユーザは、図８（Ｄ）に示すように、視点
が、光学シースルー型表示部１に近づいたことに伴い、
テーブルおよびそれにのっている仮想物体が、光学シー
スルー型表示部１の表示画面の中で小さくなった、違和
感のない画像を見ることができる。

【００６５】なお、図７に示したように、視点の方向が
変わった場合に対処するだけであれば、視点位置方向算
出部５において、視点の方向を算出だけで、基本的には
十分であるが、図８に示したように、視点までの距離が
変わった場合にまで対処するには、視点位置方向算出部
５において、視点の３次元的な位置（３次元空間におけ
る、例えば、ユーザの左眼と右眼との中点の位置など）
を算出する必要がある。

【００６６】次に、図１の携帯型表示装置では、仮想物
体座標変換部８において、光学シースルー型表示部１の
位置と姿勢、およびユーザの視点に基づいて、仮想物体
の座標変換が行われ、その変換後の仮想物体が、光学シ
ースルー型表示部１に表示されることにより、ユーザか
ら見て違和感のない仮想画像が提供されるが、この仮想
物体座標変換部８における座標変換について説明する。

【００６７】いま、３次元空間における座標を扱うロー
カル座標系として、例えば、図９に示すように、光学シ
ースルー型表示部１の表示画面の左上の点を原点とし、
表示画面の左から右方向をｘ軸と、表示画面の上から下
方向をｙ軸と、手前から奥方向をｚ軸と、それぞれする
（ＸＬ，ＹＬ，ＺＬ）を定義する。さらに、光学シース
ルー型表示部１の表示画面に表示を行うための２次元平
面における座標を扱う表示画面座標系として、例えば、
その表示画面の左上の点を原点とし、表示画面の左から
右方向をｘ軸と、表示画面の上から下方向をｙ軸と、そ
れぞれする（ｕ，ｖ）を定義する。

【００６８】この場合において、ローカル座標系におけ
るユーザの視点の座標を、Ａ（ＶＸＬ，ＶＹＬ，ＶＺ
Ｌ）と表す。また、仮想物体のローカル座標系における
座標を、Ｂ（ＯＸＬ，ＯＹＬ，ＯＺＬ）と表す。さら
に、仮想物体の所定の３次元座標系（仮想物体生成部７
で生成される仮想物体の３次元座標系）（以下、適宜、
基準座標系という）における座標を、（ＯＸ，ＯＹ，Ｏ
Ｚ）と表す。

【００６９】光学シースルー型表示部１が動くと、ロー
カル座標系であるＸＬ軸、ＹＬ軸、ＺＬ軸が動くことに
なるが、このローカル座標系と、基準座標系との関係
は、３次元位置方向算出部３において算出される光学シ
ースルー型表示部１の位置および姿勢に基づいて求める
ことができる。ローカル座標系と基準座標系との関係が
分かれば、基準座標系における点（ＯＸ，ＯＹ，ＯＺ）
は、次式に示すアフィン変換によるスケーリング、回
転、平行移動によって、ローカル座標系の点Ｂ（ＯＸ
Ｌ，ＯＹＬ，ＯＺＬ）に変換することができる。

【００７０】

【数２】 ・・・（２） 但し、式（２）において、ｍ１１乃至ｍ３３は、スケー
リングおよび回転のファクタで、ＴＸ，ＴＹ，ＴＺは平
行移動のファクタである。

【００７１】仮想物体のローカル座標系における座標Ｂ
（ＯＸＬ，ＯＹＬ，ＯＺＬ）が求まれば、ユーザの視点
から見た点Ｂ、即ち、仮想物体の表示画面座標系におけ
る座標（ｕ，ｖ）は、図１０に示すように求めることが
できる。

【００７２】ここで、図１０は、図９をＹＬ軸方向から
見た状態（ＹＬ軸方向を進行方向にして見た状態）を示
している。

【００７３】図１０において、視点の位置ＡからＺＬ軸
に垂らした垂線と、仮想物体の位置ＢからＸＬ軸に垂ら
した垂線との交点をＣとし、さらに、仮想物体の位置Ｂ
からＸＬ軸に垂らした垂線と、ＸＬ軸との交点をＤとす
る。さらに、直線ＡＢと、ＸＬ軸との交点、即ち、ユー
ザの視点から仮想物体を見たときに、点Ｂが表示画像上
に撮影される点をＥとする。

【００７４】この場合、点Ｅのローカル座標系における
ｚ座標は０となるが、そのｘ座標とｙ座標が、仮想物体
の表示画面座標系におけるｘ座標とｙ座標になる。即
ち、仮想物体の表示画面座標系における座標（ｕ，ｖ）
は、点Ｅのローカル座標系におけるｘ座標とｙ座標に等
しいから、これを、ユーザの視点の位置Ａ（ＶＸＬ，Ｖ
ＹＬ，ＶＺＬ）と、仮想物体の位置Ｂ（ＯＸＬ，ＯＹ
Ｌ，ＯＺＬ）から求めれば良い。

【００７５】いま、図１０において、三角形ＡＢＣとＥ
ＢＤとは相似であるから、線分ＤＥおよびＣＡの比と、
線分ＢＤおよびＢＣの比とは等しく、従って、次式が成
り立つ。

【００７６】 （ｕ−ＯＸＬ）／（ＶＸＬ−ＯＸＬ）＝ＯＺＬ／（ＯＺＬ−ＶＺＬ） ・・・（３） 式（３）を、ｕについて解くと、次式が得られる。

【００７７】 ｕ＝ＯＺＬ（ＶＸＬ−ＯＸＬ）／（ＯＺＬ−ＶＺＬ）＋ＯＸＬ ・・・（４） また、図９をＸＬ軸方向から見ると、ｖについても、ｕ
における場合と同様にして、次式が得られる。

【００７８】 ｖ＝ＯＺＬ（ＶＹＬ−ＯＹＬ）／（ＯＺＬ−ＶＺＬ）＋ＯＹＬ ・・・（５） 式（４）および（５）により、ユーザの視点から見た仮
想物体の表示画面座標系における座標（ｕ，ｖ）を求め
ることができる。

【００７９】次に、図１１は、本発明を適用した携帯型
表示装置の第２実施の形態の構成を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、省略す
る。即ち、図１１の携帯型表示装置は、光学シースルー
型表示部１に替えて、ビデオシースルー型表示部３１が
設けられ、さらに、画像入力部３２および入力画像座標
変換部３３が新たに設けられている他は、基本的に、図
１における場合と同様に構成されている。

【００８０】ビデオシースルー型表示部３１は、例え
ば、ＬＣＤで構成され、レンダリング部９から供給され
る、実画像と仮想画像とを重畳した合成画像を表示する
ようになっている。なお、ビデオシースルー型表示部３
１は、光学シースルー型表示部１と同様に、平板形状の
筐体に収められているが、その表示画面を介して、現実
空間が見えるようにはなっていない。

【００８１】画像入力部３２は、例えば、ＣＣＤビデオ
カメラなどで構成され、ビデオシースルー型表示部３１
の裏面（表示画面とは反対側の面）に、その裏面と垂直
な方向（ビデオシースルー型表示部３１の正面から見て
向側）が撮像方向となるように固定されている。そし
て、画像入力部３２は、ビデオシースルー型表示部３１
の裏面側の現実空間にある実際の物体を撮像し、その結
果得られる実画像を、入力画像座標変換部３３に供給す
るようになされている。

【００８２】入力画像座標変換部３３には、上述したよ
うに、画像入力部３２から実画像が供給される他、３次
元位置方向算出部３からビデオシースルー型表示部３１
の位置および姿勢が供給されるとともに、視点位置方向
算出部５からユーザの視点が供給されるようになされて
いる。そして、入力画像座標変換部３３は、画像入力部
３２からの実画像の座標を、３次元位置方向算出部３か
らのビデオシースルー型表示部３１の位置および姿勢、
並びに視点位置方向算出部５からのユーザの視点等に基
づいて、幾何計算により変換し、レンダリング部９に供
給するようになされている。

【００８３】従って、図１の携帯型表示装置では、光学
シースルー型表示部１を介して見える現実空間に、仮想
画像が重畳されて表示されるようになされていたが、図
１１の携帯型表示装置では、画像入力部３２で撮像され
た現実空間の実画像に、仮想画像が重畳されて表示され
るようになされている。

【００８４】なお、図１１の携帯型表示装置の電気的構
成は、画像入力部３２としてのＣＣＤビデオカメラが追
加され、ＣＰＵ１７が、入力画像座標変換部３３におけ
る処理をも行うこと等を除けば、図２に示した図１の携
帯型表示装置の電気的構成と同様なので、その説明は省
略する。

【００８５】次に、図１２のフローチャートを参照し
て、図１１の携帯型表示装置の動作について説明する。

【００８６】まず最初に、ステップＳ１１において、ビ
デオシースルー型表示部３１の位置と姿勢が算出される
とともに、ユーザの視点が算出される。即ち、３次元位
置方向算出部３において、３次元位置方向センサ２の出
力に基づいて、ビデオシースルー型表示部３１の位置と
姿勢が算出され、仮想物体座標変換部８および入力画像
座標変換部３３に供給される。同時に、視点位置方向算
出部５において、視点位置方向センサ４の出力に基づい
て、ユーザの視点（の位置または方向）が算出され、仮
想物体座標変換部８および入力画像座標変換部３３に供
給される。

【００８７】一方、仮想物体生成部７では、仮想物体デ
ータ蓄積部６に記憶されたデータに基づいて、所定の３
次元空間における仮想物体が生成され、仮想物体座標変
換部８に供給される。同時に、画像入力部３２では、ビ
デオシースルー型表示部３１の裏面方向の現実空間が撮
像され、その結果得られる実画像が、入力画像座標変換
部３３に供給される。

【００８８】そして、ステップＳ１２では、仮想物体座
標変換部８において、ビデオシースルー型表示部３１の
位置と姿勢、およびユーザの視点に基づいて、所定の３
次元空間における仮想物体の座標変換が行われ、その変
換後の仮想物体のデータが、レンダリング部９に供給さ
れる。また、ステップＳ１２では、入力画像座標変換部
３３において、ビデオシースルー型表示部３１の位置と
姿勢、およびユーザの視点、さらには、画像入力部３２
の所定の基準面に対する位置と姿勢に基づいて、画像入
力部３２からの実画像の座標変換が行われ、その変換後
の実画像のデータが、レンダリング部９に供給される。

【００８９】即ち、ビデオシースルー型表示部３１を用
いた携帯型表示装置では、光学シースルー型表示部１を
用いた携帯型表示装置のように、ビデオシースルー型表
示部３１を介して現実空間を見ることはできないため、
画像入力部３２で撮像された現実空間がビデオシースル
ー型表示部３１に表示されるが、画像入力部３２が出力
する実画像を、そのままビデオシースルー型表示部３１
に表示したのでは、ビデオシースルー型表示部３１に表
示される現実空間と、ユーザの視点から見える現実空間
とが異なる場合があり、違和感を感じることになる。そ
こで、入力画像座標変換部３３においては、ビデオシー
スルー型表示部３１の位置と姿勢、およびユーザの視点
だけでなく、画像入力部３２の位置と姿勢にも基づい
て、画像入力部３２からの実画像が、ユーザの視点から
見て違和感のないものに座標変換される。

【００９０】レンダリング部９は、仮想物体座標変換部
８から仮想物体のデータを受信するとともに、入力画像
座標変換部３３から実画像を受信すると、ステップＳ１
３において、仮想物体のレンダリングを行う（仮想画像
を描画する）。さらに、レンダリング部９は、その仮想
画像と、入力画像座標変換部３３からの実画像とを合成
し、その結果得られる合成画像を、ビデオシースルー型
表示部３１に供給する。ビデオシースルー型表示部３１
では、ステップＳ１４において、レンダリング部９から
の合成画像が表示され、ステップＳ１に戻り、以下、同
様の処理が繰り返される。

【００９１】以上のように、図１１の携帯型表示装置で
は、仮想物体座標変換部８において、ビデオシースルー
型表示部３１の位置と姿勢、およびユーザの視点に基づ
いて、仮想物体の座標変換が行われるとともに、入力画
像座標変換部３３において、ビデオシースルー型表示部
３１の位置と姿勢、ユーザの視点、および画像入力部３
２の位置と姿勢に基づいて、実画像の座標変換が行わ
れ、それらが合成される。そして、その合成画像が、ビ
デオシースルー型表示部３１に表示される。従って、ユ
ーザから見て違和感のない合成画像を提供することがで
きる。

【００９２】なお、図１１の実施の形態では、画像入力
部３２は、上述したように、ビデオシースルー型表示部
３１に固定されている。従って、画像入力部３２の位置
と姿勢は、ビデオシースルー型表示部３１の位置と姿勢
から求めることができ、入力画像座標変換部３３は、そ
のようにして、画像入力部３２の位置と姿勢を求めるよ
うになされている。

【００９３】ところで、画像入力部３２が撮像する現実
空間の範囲が狭いと（画像入力部３２の撮像範囲が、ビ
デオシースルー型表示部１に表示可能な範囲と同一であ
ると）、入力画像座標変換部３３において座標変換が行
われることにより、ビデオシースルー型表示部３１にお
いて、その表示画面全体に、実画像が表示されない場合
があり、この場合、ユーザに違和感を感じさせることに
なる。そこで、画像入力部３２には、ある程度広範囲の
現実空間を撮像させ、これにより、ビデオシースルー型
表示部３１が表示可能な範囲の実画像より広い範囲の実
画像を出力させるようにすることができる。この場合、
入力画像座標変換部３３による座標変換によって、ビデ
オシースルー型表示部３１の表示画面全体に、実画像が
表示されなくなることを防止することができる。

【００９４】なお、広範囲の現実空間を撮像する方法と
しては、例えば、魚眼レンズ等を用いる方法がある。具
体的には、例えば、六角錐ミラーを用いた全方位画像セ
ンサを利用することにより、広範囲の現実空間の実画像
を得ることができる。なお、六角錐ミラーを用いた全包
囲画像センサを利用することによる、広範囲の画像の作
成方法については、例えば、「川西 他、”六角錘ミラ
ーを用いた全方位画像センサによる全周ステレオパノラ
マ動画像の作成、画像の認識・理解シンポジウム、平成
１０年７月」などに、その詳細が記載されている。

【００９５】次に、図１３を参照して、入力画像座標変
換部３３において行われる実画像の座標変換について説
明する。

【００９６】いま、上述した図９および図１０における
場合と同様に、ビデオシースルー型表示部３１の表示画
面の左上の点を原点とするローカル座標系と表示画面座
標系とを考え、さらに、画像入力部３１についてのカメ
ラ座標系として、その光学中心を原点とし、互いに直交
する３軸を、ｘ軸、ｙ軸、ｚ軸とそれぞれする（ＸＲ，
ＹＲ，ＺＲ）を定義する。

【００９７】なお、ここでは、説明を簡単にするため、
ローカル座標系と、カメラ座標系とは、平行移動の関係
にあるものとする。即ち、ここでは、ＸＲ軸、ＹＲ軸、
ＺＲ軸は、Ｘｃ軸、Ｙｃ軸、Ｚｃ軸とそれぞれ平行であ
るとする。

【００９８】この場合において、現実空間にある物体の
点Ｆが、ローカル座標系において（Ｘｄ，Ｙｄ，Ｚｄ）
で表され、カメラ座標系において（Ｘｃ，Ｙｃ，Ｚｃ）
で表されるものとすると、両者の関係は、次式で表され
る。

【００９９】

【数３】 ・・・（６） 但し、Ｔｘ，Ｔｙ，Ｔｚは、ローカル座標系とカメラ座
標系との間の並進関係を表し、これは、画像入力部３２
が、ビデオシースルー型表示部３１に固定されているこ
とから、あらかじめ求めておくことができる。また、後
述するように、画像入力部３２が固定されていなくて
も、Ｔｘ，Ｔｙ，Ｔｚは、画像入力部３２の位置・姿勢
を検出することにより、その位置・姿勢と、ビデオシー
スルー型表示部３１の位置・姿勢とから求めることがで
きる。

【０１００】一方、画像入力部３２における撮像面につ
いて、その光軸との交点を原点とし、ＸＲ軸またはＹＲ
軸と平行な軸それぞれをｘ軸またはｙ軸とするスクリー
ン座標系を考え、点Ｆが、スクリーン座標系における点
（Ｕｃ，Ｖｃ）に投影されるとする。この場合、カメラ
座標系における点Ｆ（Ｘｃ，Ｙｃ，Ｚｃ）と、スクリー
ン座標系における点（Ｕｃ，Ｖｃ）との関係は、次式で
表される。

【０１０１】

【数４】 ・・・（７） 但し、ｆｃは、画像入力部３２の光学系の焦点距離を表
す。なお、画像入力部３２が出力する実画像をそのまま
表示した場合には、式（７）で表される点（Ｕｃ，Ｖ
ｃ）に、点Ｆが表示されることになる。

【０１０２】また、ローカル座標系におけるユーザの視
点を（Ｘｅ，Ｙｅ，Ｚｅ）とし、この視点（Ｘｅ，Ｙ
ｅ，Ｚｅ）から見た場合に、点Ｆが、表示画面座標系の
点（Ｕｄ，Ｖｄ）に投影されるとする。この場合、ロー
カル座標系における点Ｆ（Ｘｄ，Ｙｄ，Ｚｄ）と、表示
画面座標系における点（Ｕｄ，Ｖｄ）との関係は、次式
で表される。

【０１０３】

【数５】 ・・・（８） 従って、式（６）乃至（８）より、入力画像座標変換部
３３では、次式にしたがって、実画像の座標変換を行う
ことにより、ユーザの視点から点Ｆを見た場合の表示画
面座標系における点（Ｕｄ，Ｖｄ）を求めることができ
る。

【０１０４】

【数６】 ・・・（９） なお、ローカル座標系における物体の点Ｆの位置（Ｘ
ｄ，Ｙｄ，Ｚｄ）は、あらかじめ分かっているものとす
る。但し、物体の点Ｆの位置（Ｘｄ，Ｙｄ，Ｚｄ）が分
からない場合は、その物体が平面状になっていると仮定
することで、実画像の座標変換を行うための変換式を求
めることができる。

【０１０５】また、ここでは、ローカル座標系とカメラ
座標系とが、平行移動の関係にあるものとしたが、ロー
カル座標系とカメラ座標系との関係に、回転が加わって
いる場合は、式（６）を、式（２）に示したアフィン変
換の式とすることで、上述における場合と同様にして、
実画像の座標変換を行うための変換式を求めることがで
きる。

【０１０６】次に、図１４は、本発明を適用した携帯型
表示装置の第３実施の形態の構成を示している。なお、
図中、図１１における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、省略
する。即ち、図１４の携帯型表示装置は、図１１におけ
る場合に比較して、入力部位置方向算出部４１が新たに
設けられ、その出力が入力画像座標変換部３３に供給さ
れるようになっている。さらに、図１４の携帯型表示装
置においては、画像入力部３２が、ビデオシースルー型
表示部３１に取り付けられているが、固定ではなく、可
動式になっている。

【０１０７】即ち、画像入力部３２は、例えば、図１５
に示すように、ビデオシースルー型表示部３１の裏面の
所定の範囲を移動させることができるようになさてお
り、さらに、その撮像方向も変えられる（回転できる）
ようになっている。なお、図１４の実施の形態では、画
像入力部３２は、手動で動かすことができるようになさ
れている。

【０１０８】従って、図１４の携帯型表示装置では、図
１１における場合のように、画像入力部３２が固定され
ていないから、画像入力部３２の位置と姿勢は、ビデオ
シースルー型表示部３１の位置と姿勢から求めることは
できない。

【０１０９】そこで、図１４の実施の形態においては、
画像入力部３２に、入力位置方向算出部４１が取り付け
られており、入力位置方向算出部４１は、所定の基準面
に対する画像入力部３２の３次元的な位置と姿勢を算出
し、入力画像座標変換部３３に供給するようになされて
いる。

【０１１０】図１１の実施の形態では、画像入力部３２
が、ビデオシースルー型表示部３１に固定されているこ
とから、ユーザの視点の方向が、画像入力部３２の撮像
方向と極端に異なると、そのユーザの視点から見た場合
に違和感のない実画像を得ることが困難になる場合もあ
るが、画像入力部３２が可動式の場合には、ユーザが、
画像入力部３２を、その撮像方向がユーザの視点の方向
に合致するように動かすことによって、そのような問題
を解消することができる。

【０１１１】次に、図１６は、本発明を適用した携帯型
表示装置の第４実施の形態の構成を示している。なお、
図中、図１４における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、省略
する。即ち、図１６の携帯型表示装置は、可動式の画像
入力部３２、およびそれに取り付けられた入力部位置方
向算出部４１が、ビデオシースルー型表示部３１に取り
付けられているのではなく、それから離れた位置に設置
されている。

【０１１２】以上のように構成される携帯型表示装置に
おいては、例えば、ビデオシースルー型表示部３１と、
撮像しようとしている被写体との間に、何らかの障害物
がある場合には、その障害物を避けて、画像入力部３２
を設置することにより、障害物がない状態の現実空間を
撮像することができる。具体的には、例えば、携帯型表
示装置がある部屋の隣の部屋に、画像入力部３２を設置
することにより、携帯型表示装置において、その隣の部
屋を撮像した実画像と仮想画像との合成画像を提供する
ことが可能となる。なお、画像入力部３２および入力部
位置方向算出部４１の出力は、有線の他、無線によっ
て、入力画像座標変換部３３に供給することが可能であ
る。

【０１１３】次に、図１７は、本発明を適用した携帯型
表示装置の第５実施の形態の構成を示している。なお、
図中、図１４における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、省略
する。即ち、図１７の携帯型表示装置は、入力画像座標
変換部３３および入力部位置方向算出部４１が削除さ
れ、制御部５１が新たに設けられている他は、図１４に
おける場合と基本的に同様に構成されている。

【０１１４】従って、図１７においても、画像入力部３
２は、可動式となっているが、画像入力部３２は、手動
で動くのではなく、制御部５１によって制御（姿勢制
御）されるようになされている。

【０１１５】即ち、制御部５１には、視点位置方向算出
部５が出力するユーザの視点が供給されるようになされ
ており、制御部５１は、画像入力部３２を、その撮像方
向が、ユーザの視点の方向に一致するように移動させる
ようになされている。従って、この場合、画像入力部３
２が出力する実画像は、ユーザの視点から現実空間を見
た場合のものと一致しているから、その座標変換を行う
必要はないため、入力画像座標変換部３３を設けずに済
むようになる。

【０１１６】次に、図１８は、本発明を適用した携帯型
表示装置の第６実施の形態の構成を示している。なお、
図中、図１１における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、省略
する。即ち、図１８の携帯型表示装置は、入力画像座標
変換部３３が削除され、距離算出部６１および入力画像
合成部６２が新たに設けられているとともに、１つの画
像入力部３２に替えて、複数であるＮ（Ｎは２以上）個
の画像入力部３２１乃至３２Ｎが設けられている他は、
図１１における場合と同様に構成されている。

【０１１７】画像入力部３２１乃至３２Ｎは、例えば、
図１９に示すように、ビデオシースルー型表示部３１の
裏面に、その裏面方向を、異なる視点位置から撮像する
ように（ステレオ処理をするのに最適なように）取り付
けられており、従って、そのような異なる視点位置から
撮像したビデオシースルー型表示部３１の裏面の現実空
間の実画像を出力する。この複数の実画像は、距離算出
部６１および入力画像合成部６２に供給される。

【０１１８】距離算出部６１は、画像入力部３２１乃至
３２ＮからのＮ枚の実画像から、上述したステレオ処理
を行うことで、現実空間の物体の３次元的な位置を求
め、レンダリング部９および入力画像合成部６２に供給
する。この場合、レンダリング部９では、現実空間の物
体までの距離を考慮して、仮想画像のレンダリングが行
われる。従って、この場合、仮想物体と、実際の物体と
の前後関係を考慮した合成画像を得ることができる。

【０１１９】一方、入力画像合成部６２には、上述した
ように、画像入力部３２１乃至３２ＮからＮ枚の実画像
が供給されるとともに、距離算出部６１から現実空間の
物体の位置が供給される他、３次元位置方向算出部３か
らビデオシースルー型表示部３１の位置および姿勢が供
給されるとともに、視点位置方向算出部５からユーザの
視点が供給される。

【０１２０】入力画像合成部６２は、現実空間の物体の
位置、ビデオシースルー型表示部３１の位置および姿
勢、並びにユーザの視点に基づいて、Ｎ枚の実画像（Ｎ
方向それぞれから物体を見たときの実画像）を合成（ブ
レンディング）し、これにより、ユーザの視点から現実
空間を見た場合に得られる実画像を生成して、レンダリ
ング部９に供給する。

【０１２１】従って、この場合、ユーザの視点から見て
違和感のない実画像を得ることができる。また、この場
合、Ｎ方向から見たＮ枚の実画像から、ユーザの視点か
ら物体を見た場合に得られる実画像が生成されるので、
図１１の実施の形態における場合のように、１の方向か
ら見た１枚の実画像を用いて、ユーザの視点から物体を
見た場合に得られる実画像を生成する場合に比較して、
いわゆるオクルージョン（隠れ）の問題を解消すること
ができる。

【０１２２】なお、図１８の実施の形態においては、Ｎ
枚の実画像を、Ｎ個の画像入力部３２１乃至３２Ｎによ
って得るようにしたが、Ｎ枚の実画像は、１以上の画像
入力部を移動させることによって得るようにすることも
可能である。但し、その場合の画像入力部の移動位置お
よび姿勢は、あらかじめ設定しておくか、測定するよう
にする必要がある。

【０１２３】また、Ｎ枚の実画像を用いて、ユーザの視
点から現実空間を見た場合に得られる実画像を生成する
ことは、例えば、図１３で説明したようにして行うこと
ができるが、この場合、スクリーン座標系がＮ個存在す
ることとなり、従って、図１３において、物体の点Ｆ
は、そのＮ個のスクリーン座標系に投影されることにな
る。その結果、Ｎ個のスクリーン座標系上における、物
体の投影点が得られることとなるが、このような場合
は、そのＮ個の投影点をブレンディングして、表示画面
座標系における点（Ｕｄ，Ｖｄ）を算出するために用い
る、いわば最終的なスクリーン座標系上の投影点（Ｕ
ｃ，Ｖｃ）を求めるようにすれば良い。

【０１２４】次に、図２０は、本発明を適用した携帯型
表示装置の第７実施の形態の構成を示している。なお、
図中、図１１における場合と対応する部分については、
同一の符号を付してあり、以下では、その説明は、省略
する。即ち、図２０の携帯型表示装置は、距離算出部６
１および距離センサ７１が新たに設けられている他は、
図１１における場合と、基本的に同様に構成されてい
る。

【０１２５】距離センサ７１は、例えば、レンジファイ
ンダなどの、いわばアクティブなセンサであり、レーザ
光を照射して三角測量の原理により、物体までの距離を
計測するための信号を出力するようになされている。距
離センサ７１の出力は、距離算出部６１に供給され、距
離算出部６１では、距離センサ７１の出力に基づいて、
物体までの距離（物体の３次元的な位置）が算出され、
レンダリング部９および入力画像座標変換部３３に供給
される。

【０１２６】入力画像変換部３３では、距離算出部６１
からの物体の３次元的な位置に基づいて、図１３で説明
したように、画像入力部３２からの実画像の座標変換が
行われる。一方、レンダリング部９では、現実空間の物
体までの距離を考慮して、仮想画像のレンダリングが行
われる。

【０１２７】従って、この場合においても、図１８にお
ける場合と同様に、仮想物体と、実際の物体との前後関
係を考慮した合成画像を得ることができる。

【０１２８】以上のように、ユーザの視点を算出し、そ
のユーザの視点を考慮して、仮想画像を変換したり、実
画像を変換したりするようにしたので、ユーザに対し
て、現実空間と仮想空間とを融合した、違和感のない画
像を提供することが可能となる。その結果、携帯型表示
装置に、例えば、特開平１０−５１７１１号公報に開示
されているような、仮想物体を操作するための操作部を
設けた場合には、現実空間を基礎とした状態において、
仮想物体に対する作業を、違和感なく行うことが可能と
なる。

【０１２９】以上、本発明を、光学シースルー型表示部
１を用いた携帯型表示装置と、ビデオシースルー型表示
部３１を用いた携帯型表示装置とに適用した場合につい
て説明したが、ビデオシースルー型表示部３１を用いた
携帯型表示装置においては、撮像した実画像を処理する
必要があることから、その処理時間分のレイテンシーに
よって、実画像が撮像されてから、その実画像が表示さ
れるまでに、数フレーム程度の遅延が生じる。これに対
して、光学シースルー型表示部１を用いた携帯型表示装
置では、そのような遅延が生じることはない。

【０１３０】なお、本実施の形態では、表示装置を携帯
型としたが、本発明は、携帯型の表示装置の他、例え
ば、机等に設置して用いられるような据置型の表示装置
にも適用可能である。

【０１３１】また、仮想物体の仮想画像においては、例
えば、特開平１０−５１７１１号公報に開示されている
ように、仮想物体の影を付すことが可能である。

【０１３２】さらに、例えば、複数の携帯型表示装置を
用いる場合には、例えば、特開平１０−５１７１１号公
報に開示されているように、その複数の携帯型表示装置
に、共通の仮想物体を表示させるとともに、その仮想物
体に対する各携帯型表示装置における操作を、すべての
携帯型表示装置に反映させるようにすることが可能であ
る。

【０１３３】

【発明の効果】以上の如く、本発明の情報処理装置およ
び情報処理方法によれば、表示手段の３次元空間におけ
る位置が算出されるとともに、ユーザの視点が算出さ
れ、その表示手段の位置およびユーザの視点に基づい
て、仮想画像が変換される。従って、ユーザから見て、
違和感のない画像を提供することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した携帯型表示装置の第１実施の
形態の構成例を示すブロック図である。

【図２】図１の携帯型表示装置のハードウェア構成例を
示すブロック図である。

【図３】エピポーララインを説明するための図である。

【図４】基準カメラ画像および検出カメラ画像を示す図
である。

【図５】評価値の推移を示す図である。

【図６】図１の携帯型表示装置の動作を説明するための
フローチャートである。

【図７】ユーザの視点の位置と、各位置において表示さ
れる画像との関係を示す図である。

【図８】ユーザの視点の位置と、各位置において表示さ
れる画像との関係を示す図である。

【図９】ローカル座標系と表示画面座標系とを説明する
ための図である。

【図１０】図１の仮想物体座標変換部８による座標変換
を説明するための図である。

【図１１】本発明を適用した携帯型表示装置の第２実施
の形態の構成例を示すブロック図である。

【図１２】図１１の携帯型表示装置の動作を説明するた
めのフローチャートである。

【図１３】図１１の入力画像座標変換部３３による座標
変換を説明するための図である。

【図１４】本発明を適用した携帯型表示装置の第３実施
の形態の構成例を示すブロック図である。

【図１５】画像入力部３２が可動式であることを示す図
である。

【図１６】本発明を適用した携帯型表示装置の第４実施
の形態の構成例を示すブロック図である。

【図１７】本発明を適用した携帯型表示装置の第５実施
の形態の構成例を示すブロック図である。

【図１８】本発明を適用した携帯型表示装置の第６実施
の形態の構成例を示すブロック図である。

【図１９】画像入力部３２１乃至３２Ｎによって複数の
実画像が撮像される様子を示す図である。

【図２０】本発明を適用した携帯型表示装置の第７実施
の形態の構成例を示すブロック図である。

【符号の説明】

１ 光学シースルー型表示部， ２ ３次元位置方向セ
ンサ， ３ ３次元位置方向算出部， ４ 視点位置方
向センサ， ５ 視点位置方向算出部， ６仮想物体デ
ータ蓄積部， ７ 仮想物体生成部， ８ 仮想物体座
標変換部，９ レンダリング部， １１ 基準カメラ，
１２ 検出カメラ， １３，１４Ａ／Ｄ変換器， １
５，１６ フレームメモリ， １７ ＣＰＵ， １８
ＲＯＭ， １９ ＲＡＭ， ２０ ＲＳ−２３２Ｃ／Ｒ
Ｓ−４２２コントローラ，２１ ＬＣＤコントローラ，
２２ ＶＲＡＭ， ２３ ストレージコントローラ，
２４ 磁気ディスク， ２５ 光磁気ディスク， ２
６ 光ディスク，２７ 不揮発性メモリ， ２８ 通信
コントローラ， ３１ ビデオシースルー型表示部，
３２，３２１乃至３２Ｎ 画像入力部， ３３ 入力画
像座標変換部， ４１ 入力部位置方向算出部， ５１
制御部， ６１ 距離算出部，６２ 入力画像合成
部， ７１ 距離センサ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 Ｈ０４Ｎ 13/00 ５Ｃ０２３ Ｇ０９Ｇ 3/20 ６６０ 13/04 ５Ｃ０６１ ６８０ Ｇ０６Ｆ 15/20 Ｄ ５Ｃ０８０ Ｈ０４Ｎ 5/262 15/62 ３６０ 13/00 ４１５ 13/04 15/66 ４５０ 15/72 ４５０Ａ (72)発明者 芦ヶ原 隆之 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2F065 AA04 AA06 AA31 BB05 CC16 FF05 FF67 JJ03 JJ05 JJ26 PP01 QQ00 QQ03 QQ13 QQ23 QQ24 QQ25 QQ27 QQ28 QQ38 QQ41 QQ42 SS13 5B049 AA01 DD01 DD05 EE07 EE41 FF03 FF04 FF09 GG04 GG07 5B050 BA04 BA09 CA01 DA02 EA07 EA13 EA19 EA27 FA01 FA19 GA08 5B057 CA08 CA13 CA16 CB08 CB13 CB16 CC02 CD14 CE08 CH08 DA07 DB02 DB09 DC02 DC09 5B080 BA02 BA08 DA06 FA08 GA00 5C023 AA10 AA16 AA18 AA38 AA40 BA01 BA12 CA03 CA06 DA04 DA08 EA03 5C061 AA21 AA29 AB12 AB24 5C080 AA10 BB05 DD01 EE29 JJ01 JJ02 JJ05 JJ07

Claims (20)

【特許請求の範囲】
1. 【請求項１】 実際の物体の画像である実画像と、仮想
   的な物体の画像である仮想画像とを重畳して表示するた
   めの情報処理を行う情報処理装置であって、 画像を表示する表示手段と、 前記表示手段の３次元空間における位置を算出する表示
   位置算出手段と、 ユーザの視点を算出する視点算出手段と、 前記表示手段の位置およびユーザの視点に基づいて、前
   記仮想画像を変換する仮想画像変換手段と、 変換後の前記仮想画像を、前記表示手段に表示させるた
   めの描画を行う描画手段とを含むことを特徴とする情報
   処理装置。
2. 【請求項２】 前記表示手段は、光学シースルー型の表
   示装置であり、その表示装置を介して見える実画像と、
   前記仮想画像とを重畳して表示することを特徴とする請
   求項１に記載の情報処理装置。
3. 【請求項３】 前記実際の物体を撮像して、前記実画像
   を出力する撮像手段をさらに含み、 前記表示手段は、前記撮像手段が出力する前記実画像
   と、前記仮想画像とを重畳して表示することを特徴とす
   る請求項１に記載の情報処理装置。
4. 【請求項４】 前記表示手段の位置およびユーザの視点
   に基づいて、前記撮像手段が出力する前記実画像を変換
   する実画像変換手段をさらに含み、 前記表示手段は、変換後の前記実画像と、変換後の前記
   仮想画像とを重畳して表示することを特徴とする請求項
   ３に記載の情報処理装置。
5. 【請求項５】 前記撮像手段は、所定の位置に固定され
   ていることを特徴とする請求項３に記載の情報処理装
   置。
6. 【請求項６】 前記撮像手段は、前記表示手段に固定さ
   れていることを特徴とする請求項５に記載の情報処理装
   置。
7. 【請求項７】 前記撮像手段は、前記表示手段から離れ
   た位置に設置されていることを特徴とする請求項３に記
   載の情報処理装置。
8. 【請求項８】 前記撮像手段は、前記表示手段が表示可
   能な範囲の実画像より広い範囲の実画像を出力すること
   を特徴とする請求項３に記載の情報処理装置。
9. 【請求項９】 前記表示手段の位置、ユーザの視点、お
   よび撮像手段の位置に基づいて、前記撮像手段が出力す
   る前記実画像を変換することを特徴とする請求項３に記
   載の情報処理装置。
10. 【請求項１０】 前記撮像手段は、可動式になっている
    ことを特徴とする請求項３に記載の情報処理装置。
11. 【請求項１１】 前記撮像手段の３次元空間における位
    置を算出する撮像位置算出手段と、 前記表示手段の位置、ユーザの視点、および撮像手段の
    位置に基づいて、前記撮像手段が出力する前記実画像を
    変換する実画像変換手段とをさらに含むことを特徴とす
    る請求項９に記載の情報処理装置。
12. 【請求項１２】 前記ユーザの視点に基づいて、前記撮
    像手段を制御する制御手段をさらに含むことを特徴とす
    る請求項３に記載の情報処理装置。
13. 【請求項１３】 複数の前記撮像手段を含み、 複数の前記撮像手段の出力から、前記表示手段に表示さ
    せる前記実画像を生成する生成手段をさらに含むことを
    特徴とする請求項３に記載の情報処理装置。
14. 【請求項１４】 前記実際の物体までの距離を算出する
    距離算出手段をさらに含み、 前記仮想画像変換手段は、前記表示手段の位置、ユーザ
    の視点、および実際の物体までの距離に基づいて、前記
    仮想画像を変換することを特徴とする請求項３に記載の
    情報処理装置。
15. 【請求項１５】 前記距離算出手段は、複数の前記実画
    像に基づいて、前記実際の物体までの距離を算出するこ
    とを特徴とする請求項１４に記載の情報処理装置。
16. 【請求項１６】 前記視点算出手段は、前記ユーザを撮
    像し、その結果得られる画像を認識することによって、
    前記ユーザの視点を算出することを特徴とする請求項１
    に記載の情報処理装置。
17. 【請求項１７】 前記視点算出手段は、前記ユーザを撮
    像し、その結果得られる画像を用いてステレオ処理を行
    うことによって、前記ユーザの視点を算出することを特
    徴とする請求項１に記載の情報処理装置。
18. 【請求項１８】 前記視点算出手段は、ユーザの視点の
    方向または視点の３次元空間における位置を算出するこ
    とを特徴とする請求項１に記載の情報処理装置。
19. 【請求項１９】 携帯型の装置であることを特徴とする
    請求項１に記載の情報処理装置。
20. 【請求項２０】 実際の物体の画像である実画像と、仮
    想的な物体の画像である仮想画像とを重畳して表示する
    ための情報処理を行う情報処理装置の情報処理方法であ
    って、 前記情報処理装置は、画像を表示する表示手段を含み、 前記表示手段の３次元空間における位置を算出する表示
    位置算出ステップと、ユーザの視点を算出する視点算出
    ステップと、 前記表示手段の位置およびユーザの視点に基づいて、前
    記仮想画像を変換する仮想画像変換ステップと、 変換後の前記仮想画像を、前記表示手段に表示させるた
    めの描画を行う描画ステップとを含むことを特徴とする
    情報処理方法。