JPH09146692A

JPH09146692A - 画像表示装置

Info

Publication number: JPH09146692A
Application number: JP7301785A
Authority: JP
Inventors: Keiju Okabayashi; 桂樹岡林
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-11-20
Filing date: 1995-11-20
Publication date: 1997-06-06

Abstract

(57)【要約】【課題】本発明は、表示画面上のポインタカーソルの位
置を移動させる手段を備えた画像表示装置に関し、ユー
ザに頭部の位置や姿勢を強制することなく、しかも表示
画面のポインタカーソルを移動させるための操作子を操
作することなく、そのポインタカーソルを表示画面上で
移動させる。【解決手段】顔面ないし頭部にターゲットマークを固定
して、あるいは顔面の特徴点を追跡して、顔面の位置お
よび姿勢（６自由度）を測定し、顔の向いた方向にポイ
ンタカーソルを移動させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示画面上のポイ
ンタカーソルの位置を移動させる手段を備えた画像表示
装置に関する。

【０００２】

【従来の技術】現在の計算機は、Ａｐｐｌｅ社のＭａｃ
ｉｎｔｏｓｈやマイクロソフト社のＷｉｎｄｏｗｓなど
に見られるようにポインタカーソル（以下、カーソルと
称す）とアイコンを使ったインターフェースが一般的で
ある。従来から、このカーソルを移動させるためのデバ
イスとしてはマウスを筆頭に、トラックボールやジョイ
スティック、タブレット、タッチパネルなどがある。マ
ウスが今のところ最良のインタフェースのようである。

【０００３】しかし、Ｘウィンドウなどのウィンドウ環
境でプログラムを開発したりする場合、ウインドウの切
り換え時にはキーボードから手を離さなければならず、
煩わしく感じる。また、プログラム開発時以外でも、例
えば、ワードプロセッサでテキストを入力するような場
合、キーボードから手を離す動作は煩わしく、入力の効
率も低下する。キーボードから手を離さなくてよいイン
タフェースとしてはトラックボールやジョイスティッ
ク、また最近では、タッチパネルを応用したパッド（Ａ
ｐｐｌｅＰｏｗｅｒＢｏｏｋやアルプス電気グラン
ドポイントなど）をキーボード上やキーボード付近に設
置したものがあるが、操作性に問題がある。

【０００４】キーボードから手を離すことなく、また特
別のデバイス操作を必要としないカーソル移動方式とし
て、以下に説明するようにいくつか提案がなされてい
る。特開昭６２−１４３１２４号公報には、ユーザーの
頭部にジャイロを使ったセンサを付けて、左右方向の頭
の動き（頭の中心軸回りの左右の回転と思われる）と上
下方向の動き（上下方向の回転運動になると推測できる
が、上記文献に詳細な記述なし）を検出して、その動き
によって、カーソルの位置を移動させようという提案が
ある。

【０００５】この手法では、センサが検出しているの
は、頭の上下左右の運動のみであるため、ごく限られた
条件（ユーザーの顔の位置がかならずディスプレイの正
面に位置するなど）でしか、顔が向いた方向にカーソル
が追従しない。換言すれば、ユーザが、頭を上下左右い
ずれにも振らずに、並進でのみ、頭位置を移動させた場
合、カーソルは追従しない。人によって、頭とディスプ
レイとの位置関係はまちまちであるので、このような方
式では、ユーザに、頭を置く位置や姿勢を強要すること
になり、ユーザにとって苦痛であり、しかもカーソルを
ユーザの直感に合った思いどおりの位置に移動させるこ
とはできない。

【０００６】また、特開昭５９−１１７６３１号公報に
は、上記の方式とほぼ類似の提案があり、センサが異な
るだけである。この提案では上下の検出に重力を用いた
センサを、左右の検出に、超音波を使ったセンサを用い
ている。この提案も基本的には上記の文献（特開昭６２
−１４３１２４号公報）に提案された方式と同じなの
で、上記した説明と同様の問題がある。

【０００７】さらに、特開平３−１７６７１８号公報に
は、ディスプレイ上部に付けた発光素子をユーザの頭に
つけたビデオカメラでとらえ、画像処理により発光素子
から照射されたスポット光の位置を知ることにより、カ
ーソルを移動させる方式が提案されている。この提案も
顔が向いた方向にカーソルを正確に移動させるために
は、ユーザの頭位置を拘束しなければならず、ユーザが
自由な位置や姿勢で作業することはできない。

【０００８】以上の提案はユーザの頭の振り（上下左
右）を用いたものであるが、それ以外にも、特開昭６１
−２２６８２７号公報や特開平２−２１２９１８号公報
には、ユーザの視線を検出してその方向にポインタカー
ソルを移動させる方式が提案されている。前者はハーフ
ミラーやレンズなどからなる視線検出センサをヘルメッ
トに付け、それをユーザがかぶせることによって視線方
向を検出し、視線方向にポインタカーソルを移動させる
ものである。この提案では、視線検出センサがついたヘ
ルメットをユーザにかぶることを強いているため、使い
勝手が悪いという問題がある。また、ハーフミラを通し
てディスプレイを見ることになり、画面が見えにくくな
る恐れがある。後者には、ディスプレイ上部に付けたビ
デオカメラによってユーザの黒目の動きを検出すること
により、視線を検出するとあるが、具体的な処理方法等
全く記述がなく、たとえ目の中の黒目の位置が検出でき
たとしても顔の向き等も視線方向に関係してくるため、
どのようにして視線を検出しようというのか全く不明で
ある。

【０００９】

【発明が解決しようとする課題】本発明は、上記事情に
鑑み、ユーザに、頭部の位置や姿勢を強制することな
く、例えばディスプレイ画面を観察しながらキーボード
操作を行なうといった通常の作業で起こり得る位置や姿
勢の変化を許容し、しかも表示画面のポインタカーソル
を移動させるための操作子を操作することなく、そのポ
インタカーソルを表示画面上で移動させることのできる
画像表示装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成する本発
明の画像表示装置は、画像を表示する表示画面を有し、
その表示画面上に、その表示画面上のポイントを指示す
るポインタカーソルを含む画像を表示する表示手段と、
前記表示画面上に表示されたポインタカーソルの位置を
移動させるポインタカーソル移動手段とを備えた画像表
示装置において、表示画面に対向する顔面の位置および
姿勢を測定する６自由度顔方位測定手段と、その６自由
度顔方位測定手段により測定された顔面の位置および姿
勢に応じた、表示画面上のポインタカーソルの目標位置
を計算するポインタカーソル目標位置計算手段とを備
え、上記ポインタカーソル移動手段が、ポインタカーソ
ル目標位置計算手段で求められた上記目標位置にポイン
タカーソルを移動させるものであることを特徴とする。

【００１１】本発明の画像表示装置は、表示画面に対向
する顔面の位置および姿勢、すなわち６自由度を測定す
る６自由度測定手段を備えたため、その顔面が測定領域
から外れない限り、その位置や姿勢を自由に動かして
も、表示画面上のポインタカーソルを顔の向いた方向
に、すなわち直感に適合した所望の位置に移動させるこ
とができる。

【００１２】ここで、上記本発明の画像表示装置におい
て、上記６自由度顔方位測定手段は、所定の方向から観
察したときの形状が姿勢に応じて変化する、顔面側に固
定されるターゲットマークと、そのターゲットマークを
撮影することによりそのターゲットマークを所定の方向
からみたときの画像を表わす画像データを得る撮像手段
と、上記画像データに基づいて、顔面の位置および姿勢
を演算する顔方位演算手段とを備えたものであってもよ
い。

【００１３】この方式の場合、顔面側、例えば眼鏡や頭
部にターゲットマークを固定する必要があるが、このタ
ーゲットマークは、顔面の位置および姿勢を正確に測定
することができる程度のものでよいため、重さも軽くて
済み、ユーザに煩わしさを与えることは少ない。一方、
このようなターゲットマークを用いることにより顔面の
位置や姿勢を正確に測定することができる。

【００１４】あるいは、上記本発明の画像表示装置にお
いて、上記６自由度顔方位測定手段が、顔面を撮影する
ことによりその顔面を所定の方向からみたときの画像を
表わす画像データを得る撮像手段と、その画像データに
基づいて、撮像手段で得られた画像上にあらわれた少な
くとも４つの特徴点の、その画像上の位置を追跡する特
徴点追跡手段と、この特徴点追跡手段で求められた上記
少なくとも４つの特徴点の画像上の位置に基づいて、顔
面の位置および姿勢を演算する顔方位演算手段とを備え
たものであってもよい。

【００１５】この方式の場合、顔ないし頭部には上記タ
ーゲットマークを含め、何も装着する必要はなく、ユー
ザは煩わしさから完全に開放される。ここで、上記本発
明の画像表示装置において、ポインタカーソルの表示位
置の変動を抑制するポインタカーソル変動抑制手段を備
えることが好ましい。ポインタカーソルの位置が顔面な
いし頭部の位置や姿勢の変動に敏感に反応して変動する
と見ずらい画面となるおそれがある。また、顔面の位置
や姿勢の測定分解能や測定誤差等に起因してポインタカ
ーソルの位置変動（振動）が生じるおそれがあるので、
そこで、ポインタカーソル変動制御手段を備え、ユーザ
がポインタカーソルの位置の移動を意図しないような、
顔面ないし頭部の、位置や姿勢の細かな変動、あるい
は、顔面の位置や姿勢の測定誤差等に起因するポインタ
カーソルの位置変動が防止されるようにそのポインタカ
ーソルの位置変動を抑制することにより、画面の見やす
さの向上が図られる。

【００１６】また、上記本発明の画像表示装置におい
て、ポインタカーソルを、６自由度顔方位測定手段で測
定された顔面の位置および姿勢に応答して移動させるか
否かを指示入力する操作子を備えることが好ましい。こ
の場合に、複数の操作キーが配置されたキーボードを備
え、そのキーボードに配置された複数の操作キーのうち
の少なくとも１つの操作キーが上記操作子であってもよ
い。

【００１７】実際の作業にあたっては、その作業に応じ
てポインタカーソルを移動させる必要のある場合と、移
動させる必要のない、あるいは移動させてはならない場
合がある。上記操作子を備えると、そのような複数の場
合に適合した、使い勝手がさらに向上した画像表示装置
が実現する。

【００１８】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１〜図３は、本発明の画像形成装置の各実
施形態の概略構成を示すブロック図である。図１は、本
発明の基本的な実施形態を示すブロック図であり、この
図１に示すように、６自由度顔方位測定手段１により、
ディスプレイ５に対面してキーボード６を操作している
ユーザの顔の向き（位置と姿勢）が測定され、ポインタ
ーカーソル目標位置計算手段２が、そのユーザの顔の向
きに基づいてカーソルの移動目標位置を計算し、ポイン
タカーソル移動手段３が計算機４を制御して、ディスプ
レイ５に表示されたカーソルを、計算により求めた目標
位置に移動させる。

【００１９】図２は、カーソルが不必要に変動するのを
抑えるカーソル変動抑制手段７を備えた構成である。ま
た、図３はユーザの顔の向きに応じてカーソルを移動さ
せるか否かを指示する操作子８を備えた例である。本発
明を計算機システムに適用した場合のイメージ図を図４
に示す。本発明の各実施形態によれば、この図４に示す
ようにユーザの顔が向いた方向に正確にカーソルを追従
させることができる。

【００２０】以下、図１〜図３に示す実施形態における
各手段を詳細に説明する。まず、ユーザの顔の向きか
ら、ディスプレイ５のスクリーン上のカーソル移動目標
位置を求める手法について述べる。図５に、顔座標形と
スクリーン座標形の関係を示す。顔の向きからカーソル
位置を求めるには、ユーザの顔が向いた方にカーソルを
移動させればよい。具体的には、顔の平面（実際には平
面ではないが平面に近似する）に垂直なベクトルを方向
ベクトルとする直線がディスプレイの面（スクリーン平
面」と呼ぶことにする）と交差する点にカーソルを移動
させる。ここでは、顔の向き（６自由度（ｘ，ｙ，ｚ，
ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ））からカーソル位置
（２自由度（ｘ，ｙ））を求める方法について説明す
る。図６に、ｒｏｌｌ（ロール）、ｐｉｔｃｈ（ピッ
チ）、ｙａｗ（ヨー）の定義を示す。

【００２１】スクリーン座標形の原点から顔座標形の原
点へのベクトルＶｓｆを、Ｖｓｆ＝［ｘ_f ，ｙ_f ，ｚ
_f ，φ，θ，ψ］（姿勢はＰＲＹ（ｐｉｔｃｈ，ｒｏｌ
ｌ，ｙａｗ）表現）とすると、マトリックス表現では、

【００２２】

【数１】

【００２３】顔座標形で表現した顔座標形のｚ軸方向の
単位ベクトルは［０，０，１，０］であるので、スクリ
ーン座標形で表現した顔座標形のｚ軸方向の方向ベクト
ルＶｚｆｓは

【００２４】

【数２】

【００２５】となる。ここで、

【００２６】

【数３】

【００２７】とおくと、Ｖｚｆｓ＝［ａ，ｂ，ｃ，０］
を方向ベクトルとし、顔座標形の原点を通る直線の方程
式は、

【００２８】

【数４】

【００２９】となり、この直線とスクリーン座標形のｘ
ｙ平面が交わる点が、求めたいカーソルの位置Ｐ_c ＝
（ｘ_c ，ｙ_c ，０）である。したがって、Ｐ_c をこの直
線の方程式に代入し整理すると、

【００３０】

【数５】

【００３１】（１）、（２）式より、スクリーン座標形
で表現した顔座標形の位置および姿勢Ｖｓｆ＝［ｘ_f ，
ｙ_f ，ｚ_f ，φ，θ，ψ］から、カーソルを移動させる
位置（ｘ_c ，ｙ_c ）が計算できる。ターゲットマークを
用いた実施形態を図７に示す。図のように、ユーザの顔
の周囲の一部（図では頭部）にターゲットマークをつ
け、ディスプレイ上部に取り付けたけたカメラでそのタ
ーゲットマークをとらえ、視覚処理ボードに搭載された
視覚追跡システムでユーザの顔の向き（位置と姿勢）を
リアルタイム計測する。尚、モニタは、カメラで撮影さ
れた画像を表示するためのものである。ここで用いる視
覚追跡システムは、例えば、「特許協力条約に基づいて
国際公開された日本語特許出願（国際公開番号Ｗ０９３
／１５３７６）」に記載されているシステムである。こ
のシステムを使ったターゲットマークの計測方法を以下
に示す。

【００３２】図８に、ここで使用するターゲットマーク
を示す。図のように黒い円の上部に一定量シフトして白
い三角形を配置する。このターゲットマークは、このタ
ーゲットマークを見る視点が変化すると図９のように三
角形と円の位置関係が変化することを利用して、姿勢の
ずれを検出するためのものである。この三角形と円のず
れの量は投影ヒストグラムから容易に得ることができ
る。

【００３３】ターゲットマークの検出はある大きさのウ
ィンドウを画面上で走らせて、そのウインドウ内の投影
ヒストグラムを調べることにより行う。この様子を図１
０に示す。ターゲットマークであるか否かは、ターゲッ
トマークの場合、ｘ，ｙともに、投影ヒストグラムにピ
ークを２つ持つことで判定することができる。図１１に
ｘ、ｙ方向の偏差の求め方を示す。この図に示すよう
に、ターゲットマークの中心位置と、あらかじめ設定し
た目標位置との差（１ｘ，１ｙ）が画像座標形上のｘｙ
偏差である。実際に必要なのはカメラ座標形上の偏差な
ので、この値（ｌｘ，ｌｙ）をカメラ座標形に変換す
る。なお、ターゲットマークの中心の座標もｘｙ投影ヒ
ストグラムから求める。

【００３４】ｚ方向の偏差は、図１１に示すように、タ
ーゲットマークの、目標とするｚの値に対応するマーク
面積と、測定した面積との差により求める。次に、姿勢
（ロール、ピッチ、ヨー）方向の偏差の求め方を示す。
まず、ピッチとヨー方向の偏差の求め方を示す。これら
は、ターゲットマークを構成する下の黒円と上の白三角
形との位置関係から求める。カメラの視点が傾いた場合
は、三角マークが円の中心よりもずれて見える。このず
れがピッチ、ヨー方向の偏差である。三角形と円のずれ
も投影ヒストグラムから求める。この方法を図１３に示
す。まず、ｘ投影ヒストグラムからピークとなる点を求
める（図１２中Ｘｐ１、Ｘｐ２）。このＸｐ１とＸｐ２
の間が三角形の部分である。この三角形の部分がマーク
全体のどの部分に位置するかを求めればよい。つまり、
マーク全体の中心Ｘｂｃと三角形の中心Ｘｐｃとの差Ｌ
ｙａｗがヨー方向の偏差である。同様にして、ｙ投影ヒ
ストグラムからピッチ方向の偏差Ｌｐｉｔｃｈを求め
る。

【００３５】最後に、ロール方向の偏差の求め方を示
す。これを図１４に示す。ロール方向の偏差は、ロール
方向の回転により三角形の１頂点（図１４図中Ａ）のｘ
位置が三角形の中心線からずれることを利用する。この
ロール方向の偏差もｘ投影ヒストグラムから求める。つ
まり、図１４に示すように、Ｘｐ１とＸｐ２の中点Ｘｐ
ｃとＸ１ｐとの差が、求めるロール方向の偏差Ｌｒｏｌ
ｌである。

【００３６】以上のようにして求めた偏差は、ピクセル
数で示されたものである。これを絶対的なスケール（位
置はミリメートル、姿勢はラジアン）に、実測により求
めた変換関数により変換する。この変換関数の求め方を
以下に示す。まず、図１５に示すように、ターゲットマ
ークに固定された座標形のｚ軸方向の各点に対して、先
ず、ｚ軸の値（カメラとターゲットマークとの距離）と
その時のターゲットマークの画面上での偏差Ｌｚ（ピク
セル数）を計測する。次に、ｘ，ｙ軸方向正負に数点移
動させ、その時の移動量Ｄｘ、Ｄｙとマークの画面上で
の偏差Ｌｘ、Ｌｙ（ピクセル数）を計測する。さらに、
カメラをターゲットマークの座標形のｘ，ｙ，ｚ軸回り
に数点回転させ、そのときの移動量Ｄｙａｗ，Ｄｐｉｔ
ｃｈ，Ｄｒｏｌｌとマークの画面上での偏差を計測す
る。以上の計測をｚ軸方向の各点において行う。

【００３７】上記の測定により以下の関係が求まる。（１）カメラとターゲットマークとの距離（ｚで近似）
と画面上でのターゲットマークの面積との関係。（２）カメラとターゲットマークとの距離が一定の場合
の各軸方向（ｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａ
ｗ）の実座標における偏差と画面上での偏差との関係。（３）カメラとターゲットマークとの距離に対する
（２）の関係の挙動。

【００３８】図１６はこれらの関係を示すグラフであ
る。図１６（ｂ）に示すように（２）の関係は原点を通
る直線で近似でき、この直線の傾きが図１６（ｃ）のよ
うにｚに応じて変化する。この図はｙの挙動について示
したものであるが、他の各軸（ｚを除く）についても同
じ挙動を示すので、各軸方向それぞれについて近似式Ａ
_* ＝ｇ_* （ｚ）が求まる。

【００３９】以上の結果から、図１７に示す手順で、画
像処理で得られた偏差Ｌ_* （ピクセル）から実座標での
偏差Ｄ_* （ミリ、ラジアン）に変換することができる。
図１８は、ディスプレイから目を保護する眼鏡にターゲ
ットマークを取り付けた例である。こうすることによ
り、ユーザは保護用眼鏡をつけることを意識しターゲッ
トマークをつけることは意識せずにすむため、煩わしさ
がなくなる。図１９は、ヘッドセットにマークをつけた
例である。この場合もターゲットマークをつけるという
煩わしさは無い。

【００４０】図２０に、顔の特徴点を追跡する特徴点追
跡手段を備えた例を示す。ここでは、図２０に示す特徴
点追跡ボードに組み込まれたアルゴリズムに従って、例
えば図２１に示すような顔の特徴点をリアルタイムで追
跡して、それら特徴点の画像上での位置を求める。この
例では両目尻と口の左右の端を特徴点としているが、４
つの特徴点の相互の位置関係がわかっていれば、これら
の特徴点は顔のどの部分でもよい。特徴点の画像上での
位置から顔の向きを計算する方法は、顔を平面であると
近似すれば、４点透視問題を解けば求まる。

【００４１】この４点透視問題のアルゴリズムについ
て、公知ではあるが、以下に説明しておく。（座標系）座標系を図２２のように設定する。基準とな
る座標系を画面上に設定する。このとき、原点Ｏは、光
軸と画面が交わる位置に取り、視線方向をＺ軸、視線に
向かって左をＸ軸、上方をＹ軸とする右手系を設定す
る。また、焦点は、Ｚ軸負の方向にｆだけ離れたところ
に存在するとし、モデル化を行う。実際の透視変換マト
リクスは、実際のレンズ系を考慮する必要があるが、こ
こでは、シンプルなモデル化を行っている。

【００４２】対象物（ユーザの顔）の座標系としては、
計測に利用する４つの特徴点の内の一点を、対象物座標
原点Ｏ′とする。４点が存在する平面の法線方向をＺ′
軸とし、Ｘ′，Ｙ′軸に関しては、座標系が右手系を構
成するように取る。このように構成した座標系Ｏ′に於
いて、Ｏ′から他の３つの特徴点の３本のベクトルをそ
れぞれＡ（ａ１，ａ２，０）、Ｂ（ｂ１，ｂ２，０）、
Ｃ（ｃ１，ｃ２，０）とする（各点は、Ｘ′Ｙ′平面内
に存在する）。

【００４３】また、各特徴点の画像面上への投影点は、
原点Ｏから対象物座標原点の投影点までのベクトルを、
Ｏ１（ｏ１，ｏ２，０）、また、各特徴点の投影点まで
のベクトルを、α（α１，α２，０）、β（β１，β
２，０）、γ（γ１，γ２，０）とする。以上により、
各特徴点と画面上の投影された特徴点の、各の座標系に
対する表現が可能となる。（座標変換）まず、対象物座標原点からのベクトルＡ，
Ｂ，Ｃと、画像面上での特徴点ベクトルα，β，γとを
結びつける変換行列を求める。以後、ベクトルは、第四
成分を１に規格化した同時座標表示によって表現する。

【００４４】図２２からわかる通り、座標系Ｏ′−Ｘ′
Ｙ′Ｚ′は、座標系Ｏ−ＸＹＺをＸ軸方向にｓ，Ｙ軸方
向にｔ，Ｚ軸方向にｕだけ平行移動し、更にそれを回転
させたものと理解できる。よって、ベクトルＡ，Ｂ，Ｃ
とベクトルα，β，γとは、平行移動・回転を表す変換
行列Ｔと、透視変換ＰｚＰを表す変換行列との積による
行列で結びつく。また、Ｕは、単位の変換行列で、ｐ＝
ｆ／Ｆ（ｆ：画素数で表される焦点距離、Ｆ：メートル
等の単位で表される焦点距離）は、単位長さ当たりの画
素数である。

【００４５】すなわち、Ｘ＝Ｐ_z ＰＴＵ・Ｘ′ ・・・・・（３）ここに、Ｘ′は、Ｏ′−Ｘ′Ｙ′Ｚ′系で表示したベク
トルであり、ＸはそれをＸ−Ｙ面に透視変換したベクト
ルをＯ−ＸＹＺ系で表示したものである。また、Ｐ_z ，
Ｐ，Ｔ，Ｕは、それぞれ次のような行列である。

【００４６】

【数６】

【００４７】今、Ｔは、Ｏ′＝Ｘ′Ｙ′Ｚ′系およびＯ
−ＸＹＺ系の間の平行移動・回転を表し、

【００４８】

【数７】

【００４９】（８）〜（１０）式は、それぞれＯ′−
Ｘ′Ｙ′Ｚ′系のＸ′軸、Ｙ′軸、Ｚ′軸の各単位ベク
トルをＯ−ＸＹＺ系で成分表示したものである。Ｐは焦
点距離ｆの透視変換、Ｐ_z はＸ−Ｙ面への投影変換を表
す。ここで、Ｐ_z ＰＴＵを計算すると、結局次の変換式
が得られる。

【００５０】

【数８】

【００５１】（成分関係式）（１１）式において、Ｘ′
にＡ，Ｂ，Ｃを、Ｘにα，β，γを代入する。すなわ
ち、

【００５２】

【数９】

【００５３】これらのうち、（１１），（１３），（１
６）式により、

【００５４】

【数１０】

【００５５】となり、まとめると

【００５６】

【数１１】

【００５７】（２０）式は、同時座標表示であるため、
以下のように変形できる。

【００５８】

【数１２】

【００５９】ここで、対象物座標原点Ｏ′の投影点Ｏ１
は、以下の様に表すことができる。

【００６０】

【数１３】

【００６１】（２１）式の両辺を比較し、（２３），
（２４）式を代入し、整理すると、

【００６２】

【数１４】

【００６３】となる。ここで、（１１），（１４），
（１７）式及び（１１），（１５），（１８）式につい
ても同様に変形整理すると、以下のようになる。

【００６４】

【数１５】

【００６５】以上の式を整理すると、次のような線形方
程式が得られる。

【００６６】

【数１６】

【００６７】ここで、（３１）式中の６×６のマトリク
スＭと呼ぶ。よって、（３１）式から以下のようにな
る。

【００６８】

【数１７】

【００６９】ここで、ｎ_x'＝（ｎ₁₁，ｎ₂₁，ｎ₃₁）^T ，
ｎ_Y'＝（ｎ₁₂，ｎ₂₂，ｎ₃₂）^T は、（３２）式から求め
ることができる。また、ｓ，ｔ，ｕは、以下のようにし
て、求める。まずｎ_x'のノルムは、単位ベクトルである
ので、

【００７０】

【数１８】

【００７１】となり、（３２）式から、Ｑが導かれ以下
となる。

【００７２】

【数１９】

【００７３】よって

【００７４】

【数２０】

【００７５】となり、（２３），（２４），（３５）式
から、

【００７６】

【数２１】

【００７７】となる。（Ｏ′，Ａ，Ｂ，Ｃの空間配置）（３２），（３６），
（３７），（３８）式から、座標系Ｏ′−Ｘ′Ｙ′Ｚ′
と座標系Ｏ−ＸＹＺとの間の変換式が、すべて決定さ
れ、以下の式で表すことができる。

【００７８】

【数２２】

【００７９】ここで、Ａを変換マトリクスと呼び、Ａ
は、

【００８０】

【数２３】

【００８１】で与えられる。なお、Ｘ′は、画素値に変
換されているものとする。（距離・姿勢表現方法）上記のように定式化を行い、導
出した変換マトリクスＡにより、対象物の位置・姿勢を
表現できる。しかし、このようなマトリクスの表現形式
では、特に、操作者に対象物の姿勢を、直観的に示すこ
とができない。そこで、以下では、ｒｏｌｌ−ｐｉｔｃ
ｈ−ｙａｗ表現形式について、変換マトリクスＡからの
導出方法を示す。（ｒｏｌｌ−ｐｉｔｃｈ−ｙａｗ表現形式）上記の変換
マトリクスＡを（４０）式に示す。

【００８２】

【数２４】

【００８３】ここで、変換マトリクス中のｎ₁₁〜ｎ
₃₃は、求める回転成分を表している。変換マトリクスＡ
を用いて、Ｚ軸、Ｙ軸、Ｘ軸回りの回転角（ｒｏｌｌ，
ｐｉｔｃｈ，ｙａｗ角、以下ＲＰＹ（φ，θ，ψ）で示
す。）を求める。今、Ｘ軸、Ｙ軸、Ｚ軸の回転マトリク
スを以下のように表現する。

【００８４】

【数２５】

【００８５】ｒｏｌｌ−ｐｉｔｃｈ−ｙａｗは、もとの
座標系のｘ軸回りの回転ψ、ついでｙ軸回りの回転θ、
最後にｚ軸回りの回転φを行い回転を表現する。このこ
とから、（４１），（４２），（４３）式の表現を用い
るとＲＰＹ（φ，θ，ψ）は、以下になる。

【００８６】

【数２６】

【００８７】また、ＲＰＹ（φ，θ，ψ）は、（４０）
式の回転成分を表しているので、

【００８８】

【数２７】

【００８９】となる。よって、（４４），（４５）式か
ら、

【００９０】

【数２８】

【００９１】となり、

【００９２】

【数２９】

【００９３】となる。ここで（４４）は、以下のように
変形できる。

【００９４】

【数３０】

【００９５】（５０）式の左辺は、ｎ₁₁〜ｎ₃₃及び（４
８）式のφの結果から既知となる。

【００９６】

【数３１】

【００９７】（５０）式の左辺の（１，１）及び（３，
１）要素と（５１）式から、

【００９８】

【数３２】

【００９９】となり、

【０１００】

【数３３】

【０１０１】以上、（４８），（４９），（５３）式か
ら、角回転角ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ角を求める
ことができる。以上で、４点透視問題のアルゴリズムに
ついての説明を終了する。前述したターゲットマークを
用いる方法、もしくは顔の特徴点を追跡する方法のいず
れにおいても、ターゲットマークの位置・姿勢（また
は、顔特徴点の原点の位置・姿勢）はカメラ座標形で計
測されるので、それをスクリーン座標形に変換する必要
がある。また、マークの座標形（顔特徴点の原点の座標
系）も顔座標形からずれているため変換が必要となる。
すでに示した式（１）、（２）を使用するためには、ス
クリーン座標形で表現した顔座標形の位置と姿勢を表わ
すマトリックスＭｓｆを求めればよい。図２３にマーク
座標形（顔特徴点原点座標形）とカメラ座標形を加えた
座標形の関係を示す。マーク座標形（顔特徴点原点座標
形）とカメラ座標形を加えて一般化すると以下のように
なる。

【０１０２】Ｍｓｃ、Ｍｃｍ、Ｍｍｆを図２３のように
定めると、求めたいスクリーン座標形で表現した顔座標
形の位置姿勢を示すマトリックスＭｓｆは、以下のよう
な式で計算できる。Ｍｓｆ＝Ｍｓｃ・Ｍｃｍ・Ｍｍｆ …（５４）ここで、Ｍｓｃはカメラを設置した位置であるので既知
である。また、Ｍｍｆはマークと顔の位置関係であるの
で既知である。Ｍｃｍは視覚計測により得られる。した
がって、Ｍｓｆはこれらから計算でき、こうして求めた
Ｍｓｆから、前述した（１）、（２）を用いて、カーソ
ル位置を求める。このように、（５４）式を用いれば、
マーク座標形（顔特徴点座標形）とカメラ座標形の位置
と姿勢を任意に決めることができる。

【０１０３】視覚計測の分解能が不足している場合や、
ノイズにより計測に誤差が生じた場合は、そのようなデ
ータから計算されたカーソル目標位置が影響を受け、カ
ーソルが細かく変動することが予想される。このような
場合に、カーソルの変動を抑制するフィルタの構成例を
以下に示す。

【０１０４】

【数３４】

【０１０５】この式は、過去のカーソル指令値のいくつ
か（ｋで数が決まる）と重み付け（ｍで決まる）した現
在のカーソル指令値を平均してノイズの影響を拡散す
る。ｍを大きく取ると、ノイズ拡散の度合いが大きくな
り、ノイズの影響が少なくなるが、応答性が劣化する。
このようなフィルタを用いればカーソルの細かな変動を
低減させることは可能であるが、完全に止めることはで
きない。また、必要のないとき（ユーザがカーソルを移
動する意思がないとき）は、カーソルは静止しているこ
とが望ましい。この問題は、ユーザが必要な時にオンに
なるスイッチをキーボード上に設けることで解決でき
る。図２４のようにスイッチの状態（ＯＮ，ＯＦＦ）を
ＰＩＯ（パラレル入出力インターフェース）で読み込ん
で、スイッチがＯＮ状態の時（ＰＩＯのビットが１のと
き）だけカーソルが移動するようにする。図２５は、こ
のスイッチをスペースキーの下に配置したキーボードの
例である。スペースキー以外のキーは図示省略されてい
る。このように、スペースキーの下に配置すれば、キー
操作の頻度の少ない親指でスイッチを操作できるため、
効率的である。また、この例では、物理的にスイッチを
設けたが、キーボード上に既にあるキーにこの機能を割
りつけてもよい。例えば、ｃｏｎｔｒｏｌ−ｘやｓｈｉ
ｆｔ−ｓｐａｃｅなどのようにである。

【０１０６】

【発明の効果】以上説明したように、本発明の画像表示
装置は、表示画面に対向する顔面の位置および姿勢を測
定するものであるため、ユーザに顔面ないし頭部の自由
の動きを許容し、しかもその顔の向いた位置にポインタ
カーソルを移動することができる。

【図面の簡単な説明】

【図１】本発明の画像形成装置の一実施形態の概略構成
を示すブロック図である。

【図２】本発明の画像形成装置の他の実施形態の概略構
成を示すブロック図である。

【図３】本発明の画像形成装置のもう一つの実施形態の
概略構成を示すブロック図である。

【図４】本発明を計算機システムに適用した場合のイメ
ージ図である。

【図５】顔座標形とスクリーン座標形の関係を示す図で
ある。

【図６】ロール、ピッチ、ヨーの定義を示す図である。

【図７】ターゲットマークを用いた実施形態を示す図で
ある。

【図８】ターゲットマークの構造を示す図である。

【図９】視点の変化に対するターゲットマークの見え方
の例を示す図である。

【図１０】ターゲットマークの検出法を示す模式図であ
る。

【図１１】ｘ，ｙ方向の偏差の検出方法を示す図であ
る。

【図１２】ｚ方向の偏差の検出法を示す図である。

【図１３】ヨー、ピッチ方向の偏差の検出法を示す図で
ある。

【図１４】ロール方向の偏差の検出方法を示す図であ
る。

【図１５】偏差の実測法の説明図である。

【図１６】ターゲットマークの位置、姿勢とカメラによ
る測定結果との対応を示す図である。

【図１７】ピクセル数で示された偏差を実座標での偏差
に変換するフローを示す図である。

【図１８】眼鏡にターゲットマークを取り付けた例を示
す図である。

【図１９】ヘッドセットにターゲットマークを取り付け
た例を示す図である。

【図２０】特徴点値跡手段を備えた実施形態を示す図で
ある。

【図２１】顔特徴点の例を示す模式図である。

【図２２】４点透視問題における座標系を示す図であ
る。

【図２３】座標系、Ｆａｃｅ，Ｍａｒｋ，Ｃａｍ，Ｓｃ
ｒｅｅｎの関係を示す図である。

【図２４】顔の向きによりカーソルを移動させるか否か
を定めるスイッチを備えた実施形態を示す図である。

【図２５】顔の向きによりカーソルを移動させるか否か
を定めるスイッチ例を示す図である。

Claims

【特許請求の範囲】

【請求項１】画像を表示する表示画面を有し、該表示
画面上に、該表示画面上のポイントを指示するポインタ
カーソルを含む画像を表示する表示手段と、前記表示画
面上に表示されたポインタカーソルの位置を移動させる
ポインタカーソル移動手段とを備えた画像表示装置にお
いて、前記表示画面に対向する顔面の位置および姿勢を測定す
る６自由度顔方位測定手段と、前記６自由度顔方位の測定手段により測定された顔面の
位置および姿勢に応じた、前記表示画面上のポインタカ
ーソルの目標位置を計算するポインタカーソル目標位置
計算手段とを備え、前記ポインタカーソル移動手段が、前記ポインタカーソ
ル目標位置計算手段で求められた前記目標位置にポイン
タカーソルを移動させるものであることを特徴とする画
像表示装置。
【請求項２】前記６自由度顔方位測定手段が、所定の
方向から観察したときの形状が姿勢に応じて変化する、
前記顔面側に固定されるターゲットマークと、前記ター
ゲットマークを撮影することにより該ターゲットマーク
を所定の方向からみたときの画像を表わす画像データを
得る撮像手段と、前記画像データに基づいて、前記顔面
の位置および姿勢を演算する顔方位演算手段とを備えた
ことを特徴とする請求項１記載の画像表示装置。
【請求項３】前記６自由度顔方位測定手段が、前記顔
面を撮影することにより該顔面を所定の方向からみたと
きの画像を表わす画像データを得る撮像手段と、前記画
像データに基づいて、前記撮像手段で得られた画像上に
あらわれた少なくとも４つの特徴点の、該画像上の位置
を追跡する特徴点追跡手段と、前記特徴点追跡手段で求
められた前記少なくとも４つの特徴点の画像上の位置に
基づいて、前記顔面の位置および姿勢を演算する顔方位
演算手段とを備えたことを特徴とする請求項１記載の画
像表示装置。
【請求項４】前記ポインタカーソルの表示位置の変動
を抑制するポインタカーソル変動抑制手段を備えたこと
を特徴とする請求項１記載の画像表示装置。
【請求項５】前記ポインタカーソルを、前記６自由度
顔方位測定手段で測定された顔面の位置および姿勢に応
答して移動させるか否かを指示入力する操作子を備えた
ことを特徴とする請求項１記載の画像表示装置。
【請求項６】複数の操作キーが配置されたキーボード
を備え、該キーボードに配置された複数の操作キーのう
ちの少なくとも１つの操作キーが前記操作子であること
を特徴とする請求項５記載の画像表示装置。