JP2000222116A - 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置 - Google Patents

Abstract

(57)【要約】 【課題】表示画面の位置を認識して観察者の視聴する画
像に仮想体の画像を立体的に再現性よく合成する。 【解決手段】画像表示装置の画面上の表示画像に２次元
マトリクスコードを示す情報画像を部分的に挿入して表
示する。表示された２次元マトリクスコードを示す情報
画像を直交する２つの方向に流すように撮像する。得ら
れた画像信号に基づいて表示画像の位置を認識して、観
察者の視聴する表示画像に、仮想体の画像を表示画像の
位置に応じて立体的に合成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、表示画像の位置
認識方法とその位置認識装置および仮想画像立体合成装
置に関する。詳しくは、画像表示装置の画面上の表示画
像に２次元マトリクスコードを示す情報画像を部分的に
挿入させて表示したり、表示画像の四隅にバーコードを
表示するものとし、この２次元マトリクスコードを示す
情報画像やバーコードから表示画面の位置を認識して、
観察者の視聴する画像表示装置の表示画像に仮想体の画
像を再現性良く立体的に合成するものである。

【０００２】

【従来の技術】近年、表示技術の向上に伴い、バーチャ
ル・リアリティ（仮想現実感）、すなわち作り出された
仮想の空間があたかも現実に存在するように観察者に知
覚させることができる立体表示装置が実用化されてい
る。

【０００３】この種の立体表示装置は、例えば縦横数ｍ
程度の大きさの映写空間を設けて、各々の面に表示装置
が配置され、各々の表示装置から恐竜、怪獣や武器など
の仮想体の画像が立体表示される。そして、観察者は液
晶シャッター付きの眼鏡をかけ、その映写空間に立つ
と、あたかも、各々の表示装置で表示された仮想体と同
じ場所に居るようなされる。

【０００４】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。

【０００５】

【発明が解決しようとする課題】ところで、従来方式の
物体の位置認識方法では、観察者が実空間上で手にする
武器などの物体の位置の認識を行う場合に、その物体を
含む背景画像を撮影してその物体の輪郭部を抽出し、こ
の抽出された輪郭パターンと予め記憶されているその物
体に関する基準パターンとを比較して物体の位置の認識
が行われる。

【０００６】従って、その物体の位置を認識して、仮想
空間上に撮影された物体を合成しようとした場合には、
物体の位置の認識や合成に係る計算量が多くなり、例え
ばコンピュータ装置での負荷が重くなる。

【０００７】このため、例えば、観察者の視聴する受像
機の受信画面上に、テレビ番組のキャラクタなどを仮想
的に飛び出させ、さらに観察者の手のひらでそのキャラ
クタを遊ばせるような仮想現実感を可能とするために
は、受信画面上にキャラクタなどを仮想的に飛び出させ
る処理や手の位置の認識処理等が複雑であると共に処理
での計算量が多くなったりして、装置のコストアップに
つながるという問題がある。

【０００８】そこで、本発明は表示画面の位置を認識し
て観察者の視聴する画像に仮想体の画像を立体的に再現
性よく合成するための表示画像の位置認識方法とその位
置認識装置および仮想画像立体合成装置を提供するもの
である。

【０００９】

【課題を解決するための手段】この発明に係る表示画像
の位置認識方法は、画像表示装置の画面上の表示画像に
２次元マトリクスコードを示す情報画像を部分的に挿入
して表示するものとし、画像表示装置の表示画面を直交
する２つの方向に流すように撮像して２次元マトリクス
コード画像の画像信号を生成し、二次元マトリクスコー
ド画像の画像信号を処理して表示画像の位置を認識する
ものである。また、画像表示装置の画面の四隅にバーコ
ードを表示するものとし、四隅のバーコードを撮像し、
撮像された四隅のバーコード画像の画像信号を処理して
表示画像の位置を認識するものである。

【００１０】表示画像の位置認識装置は、２次元マトリ
クスコードを示す情報画像を表示画像に部分的に挿入し
て表示する画像表示手段と、画像表示手段で表示された
画像を直交する２つの方向に流すように撮像して２次元
マトリクスコード画像の画像信号を得る撮像手段と、撮
像手段で得られた画像信号を処理して表示画像の位置を
認識する演算手段を備えるものである。また、表示画像
の四隅にバーコードを表示する画像表示手段と、表示画
像をバーコードと共に撮影して画像信号を得る撮像手段
と、撮像手段で得られた画像信号を処理して表示画像の
位置を認識する演算手段を備えるものである。

【００１１】さらに、仮想画像立体合成装置は、観察者
の視聴する表示画像に仮想体の画像を立体的に合成する
装置であって、観察者の視聴する画像表示装置の表示画
面上で任意の基準面を認識する面認識手段と、面認識手
段により認識された仮想空間の基準面上に仮想体の画像
を合成する合成手段とを備え、面認識手段は、２次元マ
トリクスコードを示す情報画像が表示画像に部分的に挿
入されている画像を、直交する２つの方向に流すように
撮影して２次元マトリクスコード画像の画像信号を得る
撮像手段と、撮像手段で得られた画像信号を処理して表
示画像の位置を認識する演算手段を有するものである。
また、観察者の視聴する表示画像に仮想体の画像を立体
的に合成する装置であって、観察者の視聴する画像表示
装置の表示画面上で任意の基準面を認識する面認識手段
と、面認識手段により認識された仮想空間の基準面上に
仮想体の画像を合成する合成手段とを備え、面認識手段
は、表示画像の四隅に表示されたバーコードを表示画像
と共に撮影して画像信号を得る撮像手段と、撮像手段で
得られた画像信号を処理して表示画像の位置を認識する
演算手段を備えるものである。

【００１２】この発明においては、画像表示装置の画面
上の表示画像に２次元マトリクスコードを示す情報画像
が部分的に挿入して表示される。また、この２次元マト
リクスコードを示す情報画像の挿入位置は所定の周期で
変更される。さらに、２次元マトリクスコード画像の第
１の方向の端部を示す第１の情報画像と、第１の方向直
交する第２の方向の端部を示す第２の情報画像と、２次
元マトリクスコード内容を示す第３の情報画像で、２次
元マトリクスコードを示す情報画像が構成される。また
各情報画像は異なる色で表示され、あるいは単一色のレ
ベル差で表示される。このようにして表示された２次元
マトリクスコードを示す情報画像を直交する２つの方向
に流すように撮像し、得られた画像信号に基づいて表示
画像の位置の認識が行われる。さらに、２次元マトリク
スコードを示す情報画像に変えて表示画像の四隅にバー
コードが表示されて、このバーコード表示によって表示
画面おＮ位置の認識が行われる。

【００１３】

【発明の実施の形態】以下、この発明について図面を参
照しながら詳細に説明する。図１は仮想画像立体合成シ
ステムの構成の実施の一形態を示す斜視図である。この
仮想画像立体合成システムでは、例えば観察者の聴取す
るテレビ画像にＴＶ番組のキャラクタなどの仮想体画像
を合成して立体的に表示するものであり、基準面設定用
の画像表示装置１０及びヘッドマウントディスプレイ装
置（以下「ＨＭＤ装置」という）２０を有している。こ
の画像表示装置１０は、例えば観察者が視聴できる位置
であって、ＨＭＤ装置２０の撮影範囲内に入るように配
置される。

【００１４】この画像表示装置１０は、陰極線管や液晶
表示パネル、プラズマディスプレイパネル等を用いて構
成されており、実空間上の画像表示装置１０の画面の位
置を認識するための２次元マトリクスコード（２次元バ
ーコード）を生成するための情報が、表示画像に部分的
に挿入されて表示される。

【００１５】ここで、２次元マトリクスコードを用いた
仮想現実感の原理について説明する。２次元マトリクス
コードは、図２Ａに示すような例えば正方形の２次元マ
トリクスコードが用いられる。この２次元マトリクスコ
ードを撮影して得られた画像が図２Ｂに示すような場
合、コード枠の４頂点を正方形の頂点に射影する変換行
列が算出される。

【００１６】実空間中の平面上の点（ｘi，ｙi，０）
と、並進や回転運動によって移動し、透視変換で画像座
標系に射影した点を（Ｘi，Ｙi）とすると、下記に示す
式（１）および式（２）の関係が成り立つ。なお「ａ
1」〜「ａ8」は係数であり、図２Ａに示すような正方形
の２次元マトリクスコードをカメラで撮影して図２Ｂに
示す画像が得られるものとしたときには、ビデオカメラ
の位置や方向、焦点距離等のパラメータを示している。

【００１７】

【数１】

【００１８】ここで、実空間中の点と、この点と対応す
る画像座標系の点が４組、すなわち実空間中の点（ｘ
1，Ｙ1）（ｘ2，Ｙ2）（ｘ3，Ｙ3）（ｘ4，Ｙ4）と、こ
の点と対応する画像座標系の点（Ｘ1，Ｙ1）（Ｘ2，Ｙ
2）（Ｘ3，Ｙ3）（Ｘ4，Ｙ4）が４組み存在すれば、式
（３）の方程式を解くことによって、係数「ａ1」〜
「ａ8」を算出できる。

【００１９】

【数２】

【００２０】特に、（ｘ1，Ｙ1）（ｘ2，Ｙ2）（ｘ3，
Ｙ3）（ｘ4，Ｙ4）を一辺の長さ１の正方形の４つの頂
点とすると、求めた係数「ａ1」〜「ａ8」を用いて、画
面上の頂点を正方形の各頂点に射影することができる。

【００２１】このようにして、撮影された２次元マトリ
クスコードの画像から正方形のコード画像を復元するこ
とができるので、この復元されたコード画像から２次元
マトリクスコードで示された情報を得ることができる。

【００２２】また、撮影された２次元マトリクスコード
の外枠の各辺に相当する方向ベクトルをＶ0〜Ｖ3、対角
線に相当する方向ベクトルをＶ4，Ｖ5とすると、２次元
マトリクスコードの外枠が例えば正方形であるときに
は、隣接する２辺および２つの対角線がそれぞれ直交す
ることから式（４）が成り立つ。なお式（４）におい
て、「・」はベクトルの内積を示している。

【００２３】

【数３】

【００２４】このため、方向ベクトルＶ0〜Ｖ5を２次元
マトリクスコードが含まれる平面の画像座標系における
法線ベクトルＶｎで表現し、Ｅ（Ｖn）が「０」となる
法線ベクトルＶｎ0を求め、さらに、求めた法線ベクト
ルＶｎ0から方向ベクトルＶ0〜Ｖ5を再計算すること
で、式（５）に示す変換行列によって実空間中の点の座
標（ｘ，ｙ，ｚ）Tとカメラの座標系での座標（Ｘ，
Ｙ，Ｚ）Tを関係付けることができる。

【００２５】

【数４】

【００２６】但し、ｅx，ｅy，ｅzはカメラの回転を表
す成分、ｅtはカメラの移動を表す成分で、式（６）〜
（９）で示すものである。

【００２７】

【数５】

【００２８】なお、「dist」はカメラ原点から矩形状の
２次元マトリクスコードの中心までの距離を示してお
り、Ｖｐはカメラ原点と画像上の矩形状の２次元マトリ
クスコードの中心座標を結ぶ方向ベクトルを示してい
る。また「Ｎ」は正規化演算であることを示している。

【００２９】このようにしてカメラの位置や姿勢を推定
することができるので、カメラの位置情報や姿勢情報を
利用して、撮影画面上に３次元的に整合された物体をオ
ーバレイすることができる。

【００３０】ここで、画像表示装置１０では、２次元マ
トリクスコードが図３Ａに示すような２値のマトリクス
から成るものであるときには、図３Ｂに示すように、本
来の領域内に２次元マトリクスコードの各行列の情報を
表示する領域が設けられて、図３Ｃに示すように２次元
マトリクスコードの情報が画面上に部分的に挿入されて
表示される。

【００３１】次に、図１に示すＨＭＤ装置２０について
説明する。このＨＭＤ装置２０の本体部２１内には画像
処理装置３０が設けられ、流し撮りＣＣＤ装置２２，２
３から出力された画像データを処理して２次元マトリク
スコードの読み取りや座標系の推定等の処理がなされ
る。また、通常のＣＣＤ撮像装置２４が設けられてお
り、画像表示装置１０の画面が撮影される。さらに、Ｈ
ＭＤ装置２０には表示手段２５が設けられて、この表示
手段２５で表示された画像によって仮想現実感を得るこ
とができる。なお、ＨＭＤ装置２０の本体部２１にはベ
ルト２６が取り付けられており、表示手段２５の画像を
見ることができる位置でＨＭＤ装置２０を観察者に固定
して取り付けることができる。

【００３２】流し撮りＣＣＤ装置２２では、画像表示装
置１０の画面上に表示されている２次元マトリクスコー
ドの情報を所定の撮像方向に流すように撮像される。ま
た、流し撮りＣＣＤ装置２３は、流し撮りＣＣＤ装置２
２と同様に構成されると共に、流し撮りＣＣＤ装置２２
に対して直交するように設けられる。

【００３３】ここで、流し撮りとは、流し撮りＣＣＤ装
置において、同一フィールド期間中に複数回、後述する
光電変換素子（フォトダイオードなど）から信号電荷を
読み出して撮像信号を得る撮影モードをいう。

【００３４】流し撮りＣＣＤ装置２２，２３として、垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りＣＣＤ装置２２，２３として
電荷蓄積部を有するフレーム転送方式の二次元撮像デバ
イスを使用した場合には、同一フィールド期間中に複数
回、光電変換素子から電荷蓄積部に信号電荷が読み出さ
れる。

【００３５】ここで、インターライン転送方式の流し撮
りＣＣＤ装置２２の構成について説明する。なお、流し
撮りＣＣＤ装置２３は流し撮りＣＣＤ装置２２と同様に
構成されており、流し撮りＣＣＤ装置２３に関する説明
は省略する。

【００３６】流し撮りＣＣＤ装置２２は、図４に示すよ
うにレンズ２２１を有しており、撮影画像がレンズ２２
１によって撮像素子２２３の撮像面上に結像される。な
お、レンズ２２１として魚眼レンズを用いるものとすれ
ば、観察者が視聴する基準面設定用の画像表示装置１０
などを広範囲に撮影することができる。

【００３７】なお、レンズ２２１の前面に薄膜フィルタ
２２２を取り付けて、この特定波長の光を透過させて撮
像素子２２３に照射するものとしてもよい。この薄膜フ
ィルタ２２２は、例えばＴｉＯ2膜又はＳｉＯ2膜を多層
に積み上げた構造とされており、各層の厚みを制御する
ことで、赤色、緑色、青色などを通す光透過帯域（透過
率対波長）を自由に設定することができる。また上述の
構成は撮像素子２２３の表面に設けるものとしてもよ
い。

【００３８】図５は撮像素子２２３の構成を示してお
り、基板２２４上には、１画素を構成する光電変換素子
としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｐ、ｊ＝１
〜ｑ）がｐ行×ｑ列のマトリクス状に配置されている。

【００３９】この基板２２４の列方向には電荷転送部と
してｑ本の垂直転送部２２５が設けられ、フォトダイオ
ードＰＨｉｊから読み出した信号電荷が垂直読み出し信
号Ｓ１に基づいて垂直方向（流し撮り方向）に転送され
る。この垂直転送部２２５には水平転送部２２６が接続
され、その信号電荷が水平読み出し信号Ｓ２に基づいて
水平方向に転送されるので、出力端子２２７に流し撮り
信号ＳOUTが出力される。この例では、流し撮りをする
ために、少なくとも、同一フィールド期間中に複数回、
フォトダイオードＰＨｉｊから垂直転送部２２５に信号
電荷が読み出される。

【００４０】同様に、流し撮りＣＣＤ装置２３からも流
し撮り信号ＳOUTが出力されて、例えば流し撮りＣＣＤ
装置２２によって縦方向に流し撮りして得られた流し撮
り信号と、流し撮りＣＣＤ装置２３によって横方向に流
し撮りして得られた流し撮り信号とから、２次元マトリ
クスコードの升目状のブロックを判別することができ
る。

【００４１】例えば、図３Ｃに示す２次元マトリクスコ
ードを正面から流し撮りＣＣＤ装置２２，２３によって
撮影すると、流し撮りＣＣＤ装置２２によって縦方向に
流し撮りが行われて、図６Ａに示すような画像を得るこ
とができる。また、流し撮りＣＣＤ装置２２と同様に構
成された流し撮りＣＣＤ装置２３を、流し撮りＣＣＤ装
置２２に対して９０度傾けることにより横方向に流し撮
りが行われて、図６Ｂに示すような画像を得ることがで
きる。この図６Ａと図６Ｂに示す画像を、画像の向きを
合わせてマージすると図６Ｃに示すような画像を得るこ
とができ、この図６Ｃの画像を処理することで図３Ａに
示す２次元マトリクスコードの升目状のブロックを判別
することができる。また、図３Ｃに示す２次元マトリク
スコードを例えば斜め方向から流し撮りＣＣＤ装置２
２，２３によって撮影すると、流し撮りＣＣＤ装置２２
によって縦方向に流し撮りが行われて、図７Ａに示すよ
うな画像を得ることができる。また、流し撮りＣＣＤ装
置２３によって横方向に流し撮りが行われて、図７Ｂに
示すような画像を得ることができる。この図７Ａと図７
Ｂに示す画像を、画像の向きを合わせてマージすると図
７Ｃに示すような画像を得ることができる。ここで、交
点の抽出を行うと共に各升目が二値のブロック、例えば
白あるいは黒のブロックのいずれであるかを検出して２
次元マトリクスコードの升目状のブロックを判別するこ
とができる。なお、画像をマージするときには、流し撮
りＣＣＤ装置２２と流し撮りＣＣＤ装置２３の間隔を考
慮することで、すなわち視差の影響を考慮することで正
しく画像をマージすることができる。

【００４２】続いて、非透過型のＨＭＤ装置２０の回路
構成について説明する。図１および図８に示すＨＭＤ装
置２０は、上述した流し撮りＣＣＤ装置２２，２３と通
常のＣＣＤ撮像装置２４を有すると共に、表示手段２５
としての右眼表示用のＬＣＤ２７や左眼表示用のＬＣＤ
２８と、画像処理装置３０を有している。

【００４３】図９は、画像処理装置３０の構成を示して
おり、画像処理装置３０の内部バス４１には、内部イン
タフェース（Ｉ／Ｏ）４２、画像処理部４４、ＣＰＵ４
５、ＲＯＭ４６、ＲＡＭ４７、Ｅ²ＰＲＯＭ（電気的な
書き込み及び消去が可能な読み出し専用メモリ）４８及
び外部インタフェース４９が接続されている。流し撮り
ＣＣＤ装置２２，２３、通常のＣＣＤ撮像装置２４、右
眼表示用のＬＣＤ２７及び左眼表示用のＬＣＤ２８は内
部インタフェース４２を介して内部バス４１に接続され
る。

【００４４】この内部バス４１には記録媒体としてＥ²
ＰＲＯＭ４８が接続され、観察者の聴取するテレビ画像
に３Ｄポリゴン１００の画像を立体的に合成するアルゴ
リズムが格納されている。例えば、Ｅ²ＰＲＯＭ４８に
は、観察者の視聴する表示画面上で任意に設定されたＴ
Ｖ画面を撮像して仮想空間上にそのＴＶ画面を表示する
と共に、その仮想空間上に３Ｄポリゴン１００の画像を
重ね合わせて合成するアルゴリズムが格納される。従っ
て、このアルゴリズムを実行することによって、簡易
に、しかも、少ない計算量で実空間上のＴＶ画面を認識
することができる。

【００４５】これにより、実空間上のＴＶ画面の属する
位置に、あたかも、３Ｄポリゴン１００が存在するよう
に画像処理することができるので、バーチャルキャラク
タ育成ゲーム装置などの仮想画像立体合成システムを再
現性良く構成することができる。

【００４６】この例では、内部バス４１に外部インタフ
ェース４９が接続されている。この外部インタフェース
４９には外部入力端子５０が設けられ、ＲＳ−２３２Ｃ
通信プロトコルによるビデオ信号やデジタル放送信号な
どが入力できるようになされている。また、他の機能装
置、例えば３Ｄ映像処理装置などに接続できる外部入力
端子５１が設けられており、Ｅ²ＰＲＯＭ４８などには
格納されていない、例えば、ＴＶ放送時のキャラクタ画
像を３Ｄ映像加工処理した後のステレオ画像が供給され
る。

【００４７】更に、内部バス４１にはＲＯＭ４６が接続
され、この仮想画像立体合成システムを制御するための
システムプログラムや、メモリの読み出し手順などの制
御情報などが格納される。内部バス４１にはワーキング
用のＲＡＭ４７が接続され、システムプログラムやキャ
ラクタ画像を表示する表示情報が一時記録される。ま
た、内部バス４１にはＣＰＵ４５が接続され、内部イン
タフェース４２、画像処理部４４、ＲＯＭ４６、ＲＡＭ
４７及びＥ²ＰＲＯＭ４８の入出力の制御や、流し撮り
ＣＣＤ装置２２、２３、ＬＣＤ２７及びＬＣＤ２８の入
出力の制御が行われる。

【００４８】この内部インタフェース４２には演算手段
として画像処理部４４が接続され、例えば、流し撮りＣ
ＣＤ装置２２，２３や通常のＣＣＤ撮像装置２４からの
撮像信号が、ＣＰＵ４５の制御命令と共に内部インタフ
ェース４２を介して、画像処理部４４に取り込まれる。
この画像処理部４４で所定の画像処理がなされ、再び、
内部インタフェース４２を介してＨＭＤ装置２内のＬＣ
Ｄ２７及びＬＣＤ２８などに転送される。このため、Ｌ
ＣＤ２７及びＬＣＤ２８の表示によって観察者の画像表
示装置１０の実像と、３Ｄポリゴン１００の画像とが観
察者の眼球に導かれて、観察者の属する背景像と３Ｄポ
リゴン１００とが頭の中で合成される。

【００４９】なお、ＨＭＤ装置２０は非透過型のものに
限られるものではなく、例えば図１０に示すように透過
型のものであっても良い。この透過型のＨＭＤ装置２０
では、通常のＣＣＤ撮像装置２４は搭載されていない。
従って、透過型のヘッドマウントディスプレイは、流し
撮りＣＣＤ装置２２，２３と、外界像取り込み用の液晶
シャッタ６１と、画像表示素子としてのＬＣＤ６２を有
している。

【００５０】例えば、観察者の眉間に相当する位置に
は、流し撮りＣＣＤ装置２２，２３が配置され、観察者
が基準面設定用の画像表示装置１０に目を向けると、画
像表示装置１０の２次元マトリクスコードの情報が流し
撮りされる。そして、観察者の左目及び右目に相当する
位置には液晶シャッタ６１が設けられ、例えば、液晶シ
ャッタ６１が開かれると、その液晶シャッタ６１を通過
した観察者が視聴する画像表示装置１０の受信画像（実
像）が直接眼球に導かれる。

【００５１】また、ＨＭＤ装置２０内の観察者の左目又
は右目の脇に位置する部分には、ＬＣＤ６２が取付けら
れ、上述のＨＭＤ装置２０と同様にしてキャラクタ画像
が表示される。図示しないが、液晶シャッタ６１と、Ｌ
ＣＤ６２との間には偏光ビームスプリッタなどの光学手
段が設けられ、観察者の画像表示装置１０の実像と、３
Ｄポリゴン１００の画像とが観察者の眼球に導くように
なされている。これにより、観察者の属する背景像と３
Ｄポリゴン１００とが頭の中で合成される。

【００５２】次に、動作について説明する。この例で
は、観察者の聴取する画像表示装置１０の画面に３Ｄポ
リゴン１００の画像を立体的に合成する場合であって、
画像表示装置１０の画面上には、図１１に示すように元
の表示画像（以下「元画像」という）に対して２次元マ
トリクスコード情報が部分的に挿入されて表示される。
また、２次元マトリクスコード情報は、通常の映像を見
やすくするために、流し撮りＣＣＤ装置２２，２３によ
って判別可能であると共に表示サイズが小さいものとさ
れる。

【００５３】観察者は図１に示したＨＭＤ装置２０を頭
部に装着する。そして、図１２に示すフローチャートの
ステップＳＴ１で、画像表示装置１０をオン状態とし
て、観察者が画像表示装置１０の方向を向くことで、３
Ｄポリゴン１００の画像を合成しようとする基準面（表
示画面）が設定される。

【００５４】次に、ステップＳＴ２では、ＨＭＤ装置２
０の流し撮りＣＣＤ装置２２，２３によって画像表示装
置１０の画面が撮影されて、流し撮りＣＣＤ装置２２，
２３からの撮像信号（輝度信号）を画像処理部４４で画
像処理すると共に２値化して２次元マトリクスコード画
像が生成される。

【００５５】ここで、２次元マトリクスコード情報を所
定色で表示すると共に、薄膜フィルタをレンズに取り付
けて、この所定色の光を透過させて撮像素子２２３に照
射させて、上述の図６および図７と同様に処理すると共
に、流し撮りによって生成された所定色の連結領域は２
次元マトリクスコード画像に含まれるものであることか
ら、各連結領域を含む外接四角形によって２次元マトリ
クスコード画像を特定することができる。例えば、２次
元マトリクスコードの端部側ブロックが図２Ａに示すよ
うに黒ブロックとされているときには、黒ブロックの連
結領域を含む外接四角形によって２次元マトリクスコー
ド画像を特定することができる。なお、２次元マトリク
スコード画像が含まれている可能性の低い背景画像（領
域）を除去することにより、良好な２次元マトリクスコ
ードを得ることができる。また、通常のＣＣＤ撮像装置
２４を使用して実空間上のＴＶ画面を撮影してＬＣＤ２
７及びＬＣＤ２８にステレオ画像を表示する。

【００５６】ステップＳＴ３では、観察者の視聴する画
像表示装置１０の画面を認識するために画像処理する。
画像処理部４４では、上述したように２次元マトリクス
コード画像の四隅の４頂点を、カメラの座標系から空間
の座標系に変換することにより、少ない計算量で容易に
画像表示装置１０の画面の位置や流し撮りＣＣＤ装置２
２，２３の姿勢等を求めることができる。

【００５７】ステップＳＴ４では、ステップＳＴ３で求
められた画像表示装置１０の画面の位置や流し撮りＣＣ
Ｄ装置２２，２３の姿勢等に基づき、画像表示装置１０
画面を基準として３Ｄポリゴン１００の画像の合成が行
われる。このとき、観察者が装着したＨＭＤ装置２０で
は、ＬＣＤ２７によって画像表示装置１０の表示画像と
３Ｄポリゴン１００の画像とを合成したステレオ画像の
一方が観察者の右の眼球に導くようになされると共に、
画像表示装置１０の元画像と３Ｄポリゴン１００の画像
とを合成したステレオ画像の他方がＬＣＤ２８によって
観察者の左の眼球に導くようになされる。

【００５８】従って、図１３に示す観察者６０の視聴す
る画像表示装置１０の画面上では３Ｄポリゴン１００’
の２次元画像が表示されているだけであるのに、図１４
に示す仮想空間ではその画面から外部へ３Ｄポリゴン１
００を出現させることができる。この例では、雪だるま
の３Ｄポリゴン１００の他に、雪の３Ｄポリゴン１００
Ａなども観察者６０に降り注ぐようになされる。

【００５９】つまり、観察者６０の視聴する画像表示装
置１０の元画像と、仮想空間上に出現した雪だるまなど
の３Ｄポリゴン１００が頭の中で合成されるので、実空
間上の画面の中に二次元表示されている雪だるまが、３
Ｄポリゴン１００の雪だるまとなって画面外へ、あたか
も飛び出すような画像を立体的に合成することができ
る。

【００６０】また、２次元マトリクスコード情報の挿入
位置を、例えばフレーム毎に変更させることにより、２
次元マトリクスコード情報で欠けてしまう元画像の位置
が変化されるので、２次元マトリクスコード情報の部分
的に挿入して表示させても、元画像を見やすく表示する
ことができる。

【００６１】ところで、上述の実施の形態では、流し撮
りＣＣＤ装置２２，２３で所定色の２次元マトリクスコ
ードの情報を判別するものとしたが、例えば赤、緑、青
の色彩を認識できるように各色に対応したＣＣＤ装置を
設けるものとしてもよい。この場合、赤色用のＣＣＤ装
置では、赤色識別薄膜フィルタがレンズの前面に取り付
けられて赤色の光が取り込まれる。また、緑色用のＣＣ
Ｄ装置や青色用のＣＣＤ装置では、緑色識別薄膜フィル
タや青色識別薄膜フィルタがレンズの前面に取り付けら
れて、緑色や青色の光が取り込まれる。

【００６２】ここで、図１５Ａに示すように、Ｘ軸方向
を水平走査方向としたとき、走査線の最上部あるいは最
下部のどちらかに緑色領域が設けると共に、水平走査開
始あるいは走査終了部分のどちらかに青色領域をＹ軸方
向に設け、さらに１つのブロックの範囲内に２値判別の
ための赤領域を設けて、画像表示装置１０の画面上に表
示する。

【００６３】このような画面を各色に対応したＣＣＤ装
置で撮影すると共に、緑色用のＣＣＤ装置と青色用のＣ
ＣＤ装置を直交して設けて流し撮りを行うことにより、
緑色用のＣＣＤ装置によって図１５Ｂに示す画像を得る
ことができると共に、青色用のＣＣＤ装置によって図１
５Ｃに示す画像を得ることができる。さらに、赤色用の
ＣＣＤ装置によって図１５Ｄに示す画像を得ることがで
きるので、緑色用のＣＣＤ装置で得られた画像と青色用
のＣＣＤ装置で得られた画像を画像の向きを合わせて合
成することで、升目状のブロックを検出することができ
ると共に、赤色用のＣＣＤ装置で得られた画像に基づい
て、検出されたブロック内が赤領域であるか否かを判別
して図１５Ｅに示す２次元マトリクスコードを得ること
ができる。

【００６４】このようにして２次元マトリクスコード画
像が認識されると、上述した方法で２次元マトリクスコ
ード画像の四隅の４頂点をカメラの座標系から空間の座
標系に変換することができる。このため、上述の場合と
同様にして、観察者の聴取する画像表示装置１０の画面
上に３Ｄポリゴン１００の画像を立体的に合成すること
ができる。

【００６５】また、赤、緑、青の色を用いるだけでなく
単色の領域を設けるものとし、単色の領域の色のレベル
を３段階に分けて、赤、緑、青の各色に対応させるもの
とすれば、上述の場合と同様にして３Ｄポリゴン１０の
画像を立体的に合成することができる。

【００６６】ところで、上述の実施の形態では、画像表
示装置１０の画面に２次元マトリクスコードの情報を部
分的に挿入して表示するものとしたが、図１６に示すよ
うに、画面の４隅に予めバーコードを表示するものとし
たり、画面の４隅近傍にバーコードシールを貼着するも
のとしてもよい。

【００６７】この場合、通常のＣＣＤ撮像装置２４を用
いて撮影が行われると共に、通常のＣＣＤ撮像装置２４
から得られた撮像信号に基づき画像処理部４４では、４
隅のバーコードから４頂点を設定すると共に、この４頂
点をカメラの座標系から空間の座標系に変換して画像表
示装置１０の画面の位置やＣＣＤ撮像装置２４の姿勢等
を認識できる。このため、上述の場合と同様にして、観
察者の聴取する画像表示装置１０の画面上に３Ｄポリゴ
ン１００の画像を立体的に合成することができる。な
お、バーコードは三原色を用いて生成するものとしても
良く、また単色で色のレベルを変化させて生成するもの
としても良い。

【００６８】また、上述の実施の形態では流し撮りＣＣ
Ｄ装置２２，２３に関してインターライン転送方式の二
次元撮像デバイスを使用する場合について説明したが、
フレーム転送方式の二次元撮像デバイスを使用する場合
であっても同様な効果を得ることができる。

【００６９】

【発明の効果】以上説明したように、この発明によれ
ば、画像表示装置の画面上の表示画像に２次元マトリク
スコードを示す情報画像が部分的に挿入されて表示さ
れ、この２次元マトリクスコードを示す情報画像から表
示画像の位置が認識される。このため、表示画像を視聴
しながら表示画像の位置を判別することができると共
に、観察者の視聴する表示画像に、仮想体の画像を表示
画像の位置に応じて立体的に合成することができる。

【００７０】また、２次元マトリクスコードを示す情報
画像の挿入位置が所定の周期で変更されるので、２次元
マトリクスコードを示す情報画像を見えないようにする
ことができる。

【００７１】さらに、２次元マトリクスコード画像の第
１の方向の端部を示す第１の情報画像と、第１の方向直
交する第２の方向の端部を示す第２の情報画像と、２次
元マトリクスコード内容を示す第３の情報画像で、２次
元マトリクスコードを示す情報画像が構成されるので、
これらの情報画像を利用して２次元マトリクスコード画
像の輪郭等の検出が容易となり、表示画像の位置を簡単
に認識できる。また、各情報画像を異なる色とすれば、
各情報画像の判別が容易である。また各情報画像を単一
色とレベル差で表示するものとすれば、単一色を表示画
像と異なる色に設定することで、正しく情報画像を判別
できる。さらに、２次元マトリクスコードを示す情報画
像に変えて表示画像の四隅にバーコードを表示するもの
とすれば、簡単な構成で表示画像の位置を認識すること
ができる。

【図面の簡単な説明】

【図１】仮想画像立体合成システムの構成を示す斜視図
である。

【図２】２次元マトリクスコードと撮影画像を示す図で
ある。

【図３】２次元マトリクスコードの表示方法を説明する
ための図である。

【図４】流し撮りＣＣＤ装置の構成を示す図である。

【図５】撮像素子の構成を示す斜視図である。

【図６】２次元マトリクスコードの升目状ブロックの判
別方法を説明するための図である。

【図７】２次元マトリクスコードを斜め方向から撮影し
たときの升目状ブロックの判別方法を説明するための図
である。

【図８】非透過型のＨＭＤ装置を正面から見た概念図で
ある。

【図９】画像処理装置の構成を示す図である。

【図１０】透過型のＨＭＤ装置を正面から見た概念図で
ある。

【図１１】画像表示装置の表示画像を示す図である。

【図１２】仮想画像立体合成システムの動作を示すフロ
ーチャートである。

【図１３】ＨＭＤ装置の非装着時の画像を示す図であ
る。

【図１４】ＨＭＤ装置の装着時の仮想画像を示す図であ
る。

【図１５】複数色の２次元マトリクスコードを用いた場
合の動作を説明するための図である。

【図１６】画面の位置認識用のコードの他の表示方法を
説明するための図である。

【符号の説明】

１０・・・画像表示装置、２０・・・ヘッドマウントデ
ィスプレイ装置、２１・・・本体部、２２，２３・・・
流し撮りＣＣＤ装置、２４・・・ＣＣＤ装置、２５・・
・表示手段、２６・・・ベルト、２７，２８，６２・・
・ＬＣＤ、３０・・・画像処理装置、４１・・・内部バ
ス、４２・・・内部インタフェース、４４・・・画像処
理部、４５・・・ＣＰＵ、４６・・・ＲＯＭ、４７・・
・ＲＡＭ、４８・・・Ｅ²ＰＲＯＭ、４９・・・外部イ
ンタフェース、５０，５１・・・外部入力端子、６１・
・・液晶シャッタ、１００，１００’，１００Ａ・・・
ポリゴン

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA09 DA07 EA09 EA19 EA28 FA02 FA05 FA06 5B087 AA00 AD02 AE00 BC05 BC19 BC26 CC25 CC26 CC33 DE02 5E501 AA30 AC15 BA20 CA10 CB14 EB05 EB15 FA14 FA36 FA46 FB43

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像表示装置の画面上の表示画像に２次
   元マトリクスコードを示す情報画像を部分的に挿入して
   表示するものとし、 前記画像表示装置の表示画面を直交する２つの方向に流
   すように撮像して２次元マトリクスコード画像の画像信
   号を生成し、 前記二次元マトリクスコード画像の画像信号を処理して
   前記表示画像の位置を認識することを特徴とする表示画
   像の位置認識方法。
2. 【請求項２】 前記２次元マトリクスコードを示す情報
   画像の挿入位置を所定の周期で変更することを特徴とす
   る請求項１記載の表示画像の位置認識方法。
3. 【請求項３】 前記２次元マトリクスコードを示す情報
   画像は、前記２次元マトリクスコード画像の第１の方向
   の端部を示す第１の情報画像と、前記第１の方向直交す
   る第２の方向の端部を示す第２の情報画像と、前記２次
   元マトリクスコード内容を示す第３の情報画像から成る
   ことを特徴とする請求項１記載の表示画像の位置認識方
   法。
4. 【請求項４】 前記第１から第３の情報画像は、異なる
   色を用いて表示することを特徴とする請求項３記載の表
   示画像の位置認識方法。
5. 【請求項５】 前記第１から第３の情報画像は、単一色
   のレベルを変えて表示することを特徴とする請求項３記
   載の表示画像の位置認識方法。
6. 【請求項６】 画像表示装置の画面の四隅にバーコード
   を表示するものとし、 前記四隅のバーコードを撮像し、 撮像された前記四隅のバーコード画像の画像信号を処理
   して前記表示画像の位置を認識することを特徴とする表
   示画像の位置認識方法。
7. 【請求項７】 ２次元マトリクスコードを示す情報画像
   を表示画像に部分的に挿入して表示する画像表示手段
   と、 前記画像表示手段で表示された画像を直交する２つの方
   向に流すように撮像して２次元マトリクスコード画像の
   画像信号を得る撮像手段と、 前記撮像手段で得られた画像信号を処理して前記表示画
   像の位置を認識する演算手段を備えることを特徴とする
   表示画像の位置認識装置。
8. 【請求項８】 前記撮像手段には、複数の光電変換素子
   を２次元的に配した二次元撮像デバイスが使用され、 前記光電変換素子から得られた信号電荷を所定の方向に
   転送するときに、 少なくとも、同一フィールド期間中に複数回、前記光電
   変換素子から前記信号電荷を読み出すようになされたこ
   とを特徴とする請求項７記載の表示画像の位置認識装
   置。
9. 【請求項９】 前記二次元撮像デバイスの撮像面側に
   は、前記２次元マトリクスコードを示す情報の色を透過
   する特性のフィルタを設けたことを特徴とする請求項８
   に記載の表示画像の位置認識装置。
10. 【請求項１０】 表示画像の四隅にバーコードを表示す
    る画像表示手段と、 前記表示画像を前記バーコードと共に撮影して画像信号
    を得る撮像手段と、 前記撮像手段で得られた画像信号を処理して前記表示画
    像の位置を認識する演算手段を備えることを特徴とする
    表示画像の位置認識装置。
11. 【請求項１１】 観察者の視聴する表示画像に仮想体の
    画像を立体的に合成する装置であって、 前記観察者の視聴する画像表示装置の表示画面上で任意
    の基準面を認識する面認識手段と、 前記面認識手段により認識された仮想空間の基準面上に
    仮想体の画像を合成する合成手段とを備え、 前記面認識手段は、２次元マトリクスコードを示す情報
    画像が表示画像に部分的に挿入されている画像を、直交
    する２つの方向に流すように撮影して２次元マトリクス
    コード画像の画像信号を得る撮像手段と、前記撮像手段
    で得られた画像信号を処理して前記表示画像の位置を認
    識する演算手段を有することを特徴とする仮想画像立体
    合成装置。
12. 【請求項１２】 前記合成手段は、 観察者の視聴する画像表示装置の表示画像を撮像する撮
    像手段と、 前記撮像手段による撮影画像と予め準備された仮想体の
    画像と合成したステレオ画像の一方を表示する第１の画
    像表示素子と、 前記ステレオ画像の他方を表示する第２の画像表示素子
    とを有したヘッドマウントディスプレイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記第１の画像表示素子によるステレオ画像と、前記第
    ２の画像表示素子によるステレオ画像とを重ね合わせて
    観察者の眼球に導くようになされたことを特徴とする請
    求項１１に記載の仮想画像立体合成装置。
13. 【請求項１３】 前記合成手段は、 観察者の視聴する画像表示装置の表示画像を取り込むた
    めに入射光の開閉をする液晶シャッタと、 前記外界像に合成するための仮想体の画像を表示する画
    像表示素子と、 前記画像表示素子による仮想体の画像と、前記液晶シャ
    ッタを通過した前記受像機のＴＶ画像とをその観察者の
    眼球に導く光学手段とを有したヘッドマウントディスプ
    レイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
    頭部に装着され、 前記液晶シャッタを開いたときは、 前記液晶シャッタを通過した前記画像表示装置の表示画
    像に、前記画像表示素子による仮想体の画像を重ね合わ
    せて観察者の眼球に導くようになされたことを特徴とす
    る請求項１１に記載の仮想画像立体合成装置。
14. 【請求項１４】 観察者の視聴する表示画像に仮想体の
    画像を立体的に合成する装置であって、 前記観察者の視聴する画像表示装置の表示画面上で任意
    の基準面を認識する面認識手段と、 前記面認識手段により認識された仮想空間の基準面上に
    仮想体の画像を合成する合成手段とを備え、 前記面認識手段は、表示画像の四隅に表示されたバーコ
    ードを前記表示画像と共に撮影して画像信号を得る撮像
    手段と、 前記撮像手段で得られた画像信号を処理して前記表示画
    像の位置を認識する演算手段を備えることを特徴とする
    仮想画像立体合成装置。