JP2025123769A - 視線誘導方法および視線誘導プログラム - Google Patents

Abstract

【課題】視線を確実に誘導する。
【解決手段】情報処理装置１は、三次元の仮想空間の領域のうち、ユーザの視点から見た領域の画像を表示装置２に表示させ、画像におけるユーザの視線位置を検出して、画像における視線位置に所定の視線位置画像４を表示させ、視線位置画像４が表示された状態において、ユーザの視線の移動が所定の移動条件を満たすかを判定し、移動条件を満たした場合、ユーザの視線の方向と、仮想空間に設定された目標位置６ａとの相対的な位置関係に基づいて、視線位置画像４を視線位置から目標位置６ａの方向に所定量ずらして表示させる。
【選択図】図１

Description

本発明は、視線誘導方法および視線誘導プログラムに関する。

近年、仮想現実（Virtual Reality：ＶＲ）技術が様々な分野に応用されつつある。例えば、作業現場を再現した三次元の仮想空間を示す画像を、ユーザが装着するヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）に表示させる。ユーザの頭部の向きや位置に基づいて、ユーザの視点から見た仮想空間の状況を描画することで、ユーザはあたかも作業空間にいるような体験をすることができる。このような技術は、技術の習得やスキル向上のための訓練や教育に利用されている。

また、仮想空間の画像を表示する技術に関しては、次のような提案がある。例えば、ユーザが視線を向けるべき方向にユーザを案内するための案内画像を、表示画像上に表示させる画像処理装置が提案されている。また、表示画像の端部にあらかじめ設定された周辺視野領域に、視線誘導のための運動刺激画像を合成表示させる視線誘導装置も提案されている。

特開２０１９－１１４８２２号公報 特開２０２３－１６０６２３号公報

ところで、仮想空間の表示中において特定の方向にユーザの視線を誘導する方法としては、上記の案内画像のように、視線誘導のための明示的な画像を表示する方法が考えられる。この方法は、視線を比較的確実に誘導できる反面、ユーザの没入感が低下する可能性があることから、視線を自然に誘導したいという用途には向かない。一方で、視線を暗示的に誘導する方法では、視線を確実に誘導することが難しい。

１つの側面では、本発明は、視線を確実に誘導することが可能な視線誘導方法および視線誘導プログラムを提供することを目的とする。

１つの案では、コンピュータが、三次元の仮想空間の領域のうち、ユーザの視点から見た領域の画像を表示装置に表示させ、画像におけるユーザの視線位置を検出して、画像における視線位置に所定の視線位置画像を表示させ、視線位置画像が表示された状態において、ユーザの視線の移動が所定の移動条件を満たすかを判定し、移動条件を満たした場合、ユーザの視線の方向と、仮想空間に設定された目標位置との相対的な位置関係に基づいて、視線位置画像を視線位置から目標位置の方向に所定量ずらして表示させる、視線誘導方法が提供される。

また、１つの案では、上記の視線誘導方法と同様の処理をコンピュータに実行させる視線誘導プログラムが提供される。

１つの側面では、視線を確実に誘導できる。

第１の実施の形態に係る表示制御システムの構成例および処理例を示す図である。 第２の実施の形態に係る作業訓練システムの構成例を示す図である。 情報処理装置が備える処理機能の構成例を示す図である。 視線誘導処理の例を示す図である。 視線誘導の全体処理手順を示すフローチャートである。 事前準備処理の第１の例を示す図である。 事前準備処理の第２の例を示す図である。 事前準備処理の手順の例を示すフローチャートである。 水平方向に対する視線誘導の例を示す図である。 ユーザの位置および視線方向の移動に応じた視線誘導の処理例を示す図である。 視線誘導処理の手順の例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る表示制御システムの構成例および処理例を示す図である。図１に示す表示制御システムは、情報処理装置１と表示装置２を含む。

情報処理装置１は、例えば、パーソナルコンピュータ、サーバ装置などのコンピュータ装置である。情報処理装置１は、三次元の仮想空間を示す画像を描画し、その画像を表示装置２に表示させてユーザに視認させる。この画像表示では、情報処理装置１は、仮想空間におけるユーザの頭部の方向および位置を取得し、これらの方向および位置に基づいて、仮想空間の領域のうちユーザの視点から見た領域の画像を描画する。ユーザの頭部の方向や位置が変化した場合、その変化に応じて画像の表示内容が変化する。表示装置２は、例えば、ユーザの頭部に装着されるＨＭＤであってもよいし、デスクなどに載置される一般的なディスプレイであってもよい。

以下、情報処理装置１の処理について説明する。
情報処理装置１は、上記のように、ユーザの視点から見た仮想空間の領域の画像を表示させる。これとともに、情報処理装置１は、表示された画像におけるユーザの視線位置を検出する。ユーザの視線位置は、例えば、ユーザの視線を検出する専用のセンサを用いて検出される。あるいは、ユーザの頭部の前方方向が、視線位置として検出されてもよい。前者の場合、表示された画像において視線位置が変動し得るが、後者の場合、表示された画像内の固定的な位置（例えば、画像の中心）に視線位置が配置される。

情報処理装置１は、表示された画像における視線位置に、所定の視線位置画像を表示させる。図１に示す画像３ａは、ユーザの視点から見た仮想空間の領域を描画した画像の例である。この画像３ａ上の視線位置には、一例として点状の視線位置画像４が表示されている。この例のように、視線位置画像は、ユーザが確実に視認可能であるが、ユーザによる画像の視認に大きな支障が生じないような小さい画像であることが望ましい。

情報処理装置１は、検出された視線位置に視線位置画像を表示させながら、ユーザの視線の移動が所定の移動条件を満たすかを判定する。この移動条件は、表示された視線位置画像がユーザの視線位置であることをユーザに意識付けるための条件である。

例えば、図１に示す画像３ｂには、建物５ａ～５ｃが表示されている。そして、ユーザの視線が建物５ａ～５ｃのすべてを捉えた場合（視線位置が移動して建物５ａ～５ｃのすべてに配置された場合）に、移動条件を満たしたと判定される。この場合、例えば、ユーザの視線位置が建物５ａ～５ｃのそれぞれに配置されるたびに、対応する建物の画像が強調表示され、建物５ａ～５ｃのすべてに視線位置が配置されて移動条件が満たされると、その旨がユーザに通知される。

情報処理装置１は、上記の移動条件を満たしたと判定すると、仮想空間上に設定された目標位置に対してユーザの視線を誘導する視線誘導処理を実行する。この視線誘導処理では、情報処理装置１は、ユーザの視線の方向と、仮想空間における目標位置との相対的な位置関係に基づき、視線位置画像を、検出された視線位置から目標位置の方向に所定量ずらして表示させる。

図１に示す画像３ｃでは、橋脚６の側面に目標位置６ａが設定されている。また、画像３ｃにおいて、目標位置６ａは、検出された視線位置より右下側に位置している。この場合、視線位置画像４は例えば、検出された視線位置より右下側に所定量ずれた位置に表示される。図１に示す拡大画像３ｄは、画像３ｃにおける視線位置を中心とした矩形領域を拡大して示したものである。この拡大画像３ｄでは、視線位置に表示された場合の視線位置画像４ａを破線によって示しており、視線位置画像４が視線位置の視線位置画像４ａより右下側にずれて表示されていることがわかる。

上記の画像３ｃおよび拡大画像３ｄで示した視線誘導処理では、視線の誘導のための明示的な画像が表示されない。このため、ユーザの視線を目標位置６ａの方向に自然に誘導することができる。ただし、表示された視線位置画像４がユーザの視線位置を示すことをユーザが十分に認識していないと、視線を確実に誘導することは難しい。

そこで、情報処理装置１は、視線誘導処理の開始前に、画像３ｂで示したように、検出された視線位置に視線位置画像４を表示した状態で、所定の移動条件を満たすまでユーザに視線を移動させる。これによって、視線位置画像４がユーザの視線位置を示すことがユーザ自身に十分に意識付けられる。そして、この後に視線位置画像４を視線位置からずらす上記の視線誘導処理が実行されると、ユーザの脳が一度形成した「視線位置画像４が視線位置である」という認識を維持しようとして、視線が視線位置画像４の位置に誘導される。その結果、ユーザの視線を確実に誘導することができる。

〔第２の実施の形態〕
次に、上記の情報処理装置１の処理を作業訓練システムに適用した場合について説明する。

図２は、第２の実施の形態に係る作業訓練システムの構成例を示す図である。作業訓練システムは、情報処理装置１００とＨＭＤユニット２００を含む。なお、情報処理装置１００は図１の情報処理装置１の一例であり、ＨＭＤユニット２００は図１の表示装置２の一例である。

この作業訓練システムは、ＨＭＤユニット２００を装着したユーザに、作業現場を示す画像を視認させて、作業の訓練や教育を受けさせることを可能としたシステムである。情報処理装置１００は、作業現場を再現した三次元の仮想空間を示す三次元データを記憶し、三次元データに基づいて仮想空間を示す画像を描画し、その画像をＨＭＤユニット２００に表示させる。

ＨＭＤユニット２００は、ユーザの頭部に装着される。ＨＭＤユニット２００は、ディスプレイ２０１、方向・位置センサ２０２および視線センサ２０３を備える。ディスプレイ２０１は、非透過方式のＨＭＤであり、情報処理装置１００から送信された画像データに基づいて画像を表示する。ディスプレイ２０１としては、右眼用と左眼用とがそれぞれ設けられてもよい。方向・位置センサ２０２は、ユーザの頭部の方向（頭部前方を示す方向）および位置を検出するためのセンサであり、例えば、加速度センサと角速度センサ（ジャイロ）を含む。視線センサ２０３は、ユーザの視線方向を検出するためのセンサである。視線センサ２０３は、例えば近赤外線カメラである。この場合、近赤外線カメラによって角膜上の光の反射点と眼球とが撮影され、それらの変動から視線の向きや位置が推定される。

次に、図２を用いて、情報処理装置１００のハードウェア構成について説明する。情報処理装置１００は、例えば、図２に示すようなコンピュータとして実現される。情報処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を備える。

プロセッサ１０１（プロセッサ回路）は、情報処理装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、情報処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

ＨＤＤ１０３は、情報処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

ＧＰＵ１０４には、ディスプレイ１１１が接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像をディスプレイ１１１に表示させる。ディスプレイ１１１としては、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１１２が接続されている。入力インタフェース１０５は、入力装置１１２から出力される信号をプロセッサ１０１に送信する。入力装置１１２としては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１１３が脱着される。読み取り装置１０６は、可搬型記録媒体１１３に記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１１３としては、光ディスク、半導体メモリなどがある。

通信インタフェース１０７は、他の機器との間でデータを送受信する。本実施の形態では、例として、通信インタフェース１０７は無線通信を行い、ＨＭＤユニット２００と無線によって通信できるようになっている。なお、他の例として、ＵＳＢ（Universal Serial Bus）等の通信ケーブルを介して情報処理装置１００とＨＭＤユニット２００とが接続されてもよい。

以上のようなハードウェア構成によって、情報処理装置１００の処理機能を実現することができる。
図３は、情報処理装置が備える処理機能の構成例を示す図である。情報処理装置１００は、記憶部１２０、方向・位置検出部１３１、視線検出部１３２、仮想空間表示部１３３および視線誘導処理部１３４を備える。

記憶部１２０は、ＲＡＭ１０２，ＨＤＤ１０３など、情報処理装置１００が備える記憶装置に確保される記憶領域である。記憶部１２０には、三次元データ１２１が記憶される。三次元データ１２１は、作業の訓練や教育の対象となる作業現場を仮想化した仮想空間の三次元形状を示すデータである。三次元データ１２１は、例えば、仮想空間に設定された複数の特徴点の三次元座標を示す点群データや、点群データに基づく各ポリゴンに貼り付けられるテクスチャ画像のデータを含む。なお、仮想空間は、現実の作業現場を仮想化した空間であってもよいし、訓練や教育のために作成された架空の作業現場を示す空間であってもよい。

方向・位置検出部１３１、視線検出部１３２、仮想空間表示部１３３および視線誘導処理部１３４の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

方向・位置検出部１３１は、方向・位置センサ２０２の検出結果に基づいて、ユーザの頭部の方向および位置を検出する。なお、ユーザの頭部の方向および位置は、方向・位置センサ２０２による実測値に基づく計算の代わりに、ユーザの操作に応じて検出されてもよい。例えば、スティック状入力装置やキー入力装置を用いて、ユーザが仮想空間におけるユーザ自身の頭部の方向および位置を上下左右方向に仮想的に変化させてもよい。

視線検出部１３２は、視線センサ２０３の検出結果に基づいて、ユーザの視線の方向を検出する。
仮想空間表示部１３３は、三次元データ１２１と、ユーザの頭部の方向および位置とに基づいて作業現場の仮想空間を示す画像を描画し、その画像をＨＭＤユニット２００のディスプレイ２０１に表示させる。

この画像表示では、ユーザの頭部の方向および位置が仮想空間の座標上に関連付けられ、これらの方向および位置に基づき、ユーザの視点から見た仮想空間の状況が画像上に再現される。例えば、仮想空間上の三次元形状の物体は、ユーザの頭部の方向および位置に応じた姿勢および位置で画像上に配置される。また、ユーザの頭部の方向や位置が変化した場合、その変化に応じて画像上の物体の姿勢や位置も変化する。これにより、ユーザは、あたかも作業現場に実際に存在し、作業現場で移動しながらその環境を視認しているような体験をすることができる。

なお、仮想空間表示部１３３は、仮想空間の画像を、頭部を中心とした全周画像、全天周画像、全天球画像のいずれかの画像、またはそれらの画像の一部（例えば、頭部前方を中心とした一定の視界領域の画像）として描画してもよい。

仮想空間表示部１３３による上記のような画像表示により、ユーザは、実際の作業現場に赴くことなく、作業現場の状況を詳しく把握できる。これにより、作業現場における作業についての訓練や教育を、オフィスなど、作業現場とは別の場所でユーザに受けさせることができる。また、訓練や教育のために適切な作業現場を示す三次元データを用意して、その作業現場についての訓練や教育をユーザに受けさせることもできる。

なお、情報処理装置１００は、例えば、ユーザの手の動きを検出することで、作業現場における作業をユーザに疑似的に体験させることができるようにしてもよい。
本実施の形態では、仮想空間上にユーザが注目すべき対象物が設定される。そして、情報処理装置１００は、訓練または教育の対象となる作業として、設定された対象物を見つけるという作業をユーザに実施させる。視線誘導処理部１３４は、ユーザの視線の方向に対する対象物の相対位置に基づいて、ユーザの視線を対象物の方へ誘導する視線誘導処理を実行する。

以下、視線の誘導先となる上記の対象物を「目標対象物」と記載する場合がある。仮想空間上に設定された目標対象物に関するデータは、例えば、三次元データ１２１に含まれる。

仮想空間上で上記のような作業や技術をユーザが確実かつ効率的に習得できるようにするためには、自己操作感を保持したまま訓練や教育を受けさせることが有効である。例えば、作業の工程を示す画像をユーザに見せるといった受動的な学習でなく、ユーザ自身が自らの意思でその作業を行っているという感覚を持たせるような学習が重要となる。

例えば、上記の目標対象物を見つける作業のスキルが低いユーザは、仮想空間の中から目標対象物を簡単に見つけることはできない。このようなケースにおいて、視線誘導処理部１３４の処理によってユーザの視線を目標対象物の方向に誘導することで、あたかもユーザ自身が目標対象物を見つけたような感覚をユーザに与えることができる。これにより、ユーザのスキルの習得・向上の効果を高めることができる。

ここで、仮想空間の画像表示時における視線誘導の方法としては、矢印などの視線誘導のための画像を明示的に表示する方法が考えられる。しかし、この方法は、映像コンテンツに対する没入感を低下させる可能性があり、その結果としてユーザの自己操作感も低下させる可能性がある。したがって、視線を暗示的に誘導することが望ましいが、その場合には、目的の方向に視線を確実に誘導することが難しいという問題がある。

本実施の形態では、まず、視線を暗示的に誘導する方法として、以下のような方法が用いられる。視線誘導処理部１３４は、ユーザの視線位置を表す視線位置画像を、仮想空間を描画した画像上に常時表示する。そして、視線誘導処理部１３４は、視線位置画像を目標対象物が存在する方向に対して、本来の位置より所定量ずらして表示する。この方法によれば、視線が誘導されたことをユーザが自覚しにくいため、視線を目標対象物の方向に自然に誘導することが可能となる。

図４は、視線誘導処理の例を示す図である。
まず、視線位置を示す視線位置画像の表示について説明する。前述のように、仮想空間表示部１３３は、ユーザの頭部の方向および位置に基づき、ユーザの視点から見た仮想空間の状況を示す画像を描画して、ＨＭＤユニット２００のディスプレイ２０１に表示させる。図４に示す画像２１０は、このようにして仮想空間の一部を描画した画像の一例である。画像２１０は、仮想空間の領域のうち、ユーザの頭部の前方を中心とした一定の視野領域の状況を示している。このため、画像２１０の中心がユーザの頭部の前方方向を示している。

また、視線誘導処理部１３４は、視線検出部１３２の検出結果に基づいて、画像２１０における視線位置（注視点の位置）を検出する。視線位置は、検出された視線方向と画面とが交差する位置となる。視線誘導処理部１３４は、画像２１０における視線位置に視線位置画像２１１を表示する。視線位置画像２１１は、例えば図４のように、視線位置を中心とした点状の画像（ポイント画像）として表示される。この点状の画像は、ユーザが十分に視認可能であるが、背景の仮想空間の視認には大きな影響を与えない程度の小さい半径を有する画像であり、所定の色で描画される。

次に、視線誘導について説明する。目標対象物が設定されて視線誘導処理が開始されると、視線位置画像２１１は、本来の視線位置より目標対象物の方向に所定量ずらした位置に表示される。視線誘導処理部１３４は、最初は水平方向に対する視線誘導を実行し、その後に必要に応じて垂直方向に対する視線誘導を実行する。

ここで、最初に水平方向にのみ視線誘導を行う理由は、「ＶＲ酔い」といわれるような症状を発生させにくくするためである。人間の平衡感覚が主に内耳の前の庭系によって制御されていることから、人間は視認している画像の水平方向の動きより垂直方向の動きに敏感である。このため、一般的に人間は、視認している画像の水平方向の動きより垂直方向の動きが生じた方が酔いやすい。視線誘導処理部１３４は、できるだけ視線を水平方向にのみ誘導し、垂直方向に対する誘導を最小限に留めるようにすることで、ユーザが酔いを感じにくくする。

図４では、ユーザの作業の一例として、仮想空間上に設けられた橋梁におけるひび割れの点検作業を想定しており、橋脚２１２におけるひび割れ発生箇所が目標対象物２１３に設定されている。画像２１０には、目標対象物２１３の画像が写り込んでいる。この例では、目標対象物２１３はユーザの視線位置の右上方向に位置している。このため、視線誘導処理部１３４はまず、ユーザの視線を右方向に誘導する処理を実行する。

図４では、画像２１０の領域のうち、検出された視線位置を中心とした拡大画像２１０ａを示している。この拡大画像２１０ａでは、検出された本来の視線位置を示す視線位置画像２１１が点線によって示されている。この拡大画像２１０ａに示すように、視線誘導処理部１３４はまず、視線位置画像２１１ａを視線位置より右方向に所定量ずらして表示する。これにより、ユーザの視線を右方向に誘導する。

また、視線誘導処理部１３４は、例えば、視線位置の水平方向の座標が目標対象物２１３の位置の近傍に達したが、垂直方向の座標が目標対象物２１３の位置の近傍には達していない場合に、ユーザの視線を垂直方向に誘導する処理を実行する。図４に示す拡大画像２１０ｂは、視線位置の水平方向の座標が目標対象物２１３の位置の近傍に達したが、垂直方向の座標が目標対象物２１３の位置の近傍には達していない状態の例を示す。拡大画像２１０ｂの中心が、検出された視線位置となっており、拡大画像２１０ｂには本来の視線位置を示す視線位置画像２１１ｂが点線によって示されている。この拡大画像２１０ｂでは、目標対象物２１３がユーザの視線位置の右上方向に位置しているので、視線誘導処理部１３４は、視線位置画像２１１を視線位置より上方向に所定量ずらして表示する。これにより、ユーザの視線を上方向に誘導する。

なお、図４の例では、目標対象物２１３がユーザの視界の中に含まれる（すなわち、表示された画像の中に含まれる）場合を例示した。しかし、目標対象物２１３がユーザの視界の外に存在する場合でも、視線位置と目標対象物２１３との相対的な位置関係に基づいて、視線位置画像２１１を視線位置からずらす視線誘導処理が行われる。

以上の視線誘導処理によれば、視線の誘導のための明示的な画像を表示することなく、ユーザの視線を目標対象物２１３の方向に自然に誘導することができる。このため、映像コンテンツに対する没入感の低下を抑制し、その結果としてユーザの自己操作感の低下も抑制できる。したがって、効率的に作業スキルを習得・向上させることが可能となる。その一方で、上記の視線誘導処理では、表示された視線位置画像がユーザの視線位置を示すことをユーザ自身が十分に認識していないと、視線を確実に誘導することが難しいという課題がある。

図５は、視線誘導の全体処理手順を示すフローチャートである。上記の課題を解決するために、視線誘導処理部１３４は、視線位置画像を視線位置よりずらして表示する視線誘導処理（ステップＳ１２）を実行する前に、視線位置画像がユーザの視線位置を示すことをユーザに十分に意識付けるための事前準備処理（ステップＳ１１）を実行する。

事前準備処理（ステップＳ１１）では、視線誘導処理部１３４は、検出された視線位置に視線位置画像を表示した状態で、所定の移動条件を満たすまでユーザに視線を移動させる。これにより、視線位置画像がユーザの視線位置を示すことがユーザ自身に十分に意識付けられる。そして、この後に視線位置画像を視線位置からずらす上記の視線誘導処理（ステップＳ１２）が実行されると、ユーザの脳が一度形成した「視線位置画像が視線位置である」という認識を維持しようとして、視線が視線位置画像の位置に誘導される。その結果、視線誘導のための画像を明示的に表示していないにもかかわらず、ユーザの視線を目標対象物の方向に確実に誘導することが可能となる。

以下、事前準備処理の例について説明する。
図６は、事前準備処理の第１の例を示す図である。移動条件の一例としては、仮想空間上に設定された１以上の所定の対象物をユーザが視認する、という条件を適用可能である。図６に示す画像２２０には、対象物の例として４つの建物２２１ａ～２２１ｄが写っている。視線誘導処理部１３４は、ユーザの視線が２２１ａ～２２１ｄのすべてを捉えた場合（視線位置が移動して建物２２１ａ～２２１ｄのすべてに配置された場合）に、移動条件を満たしたと判定する。なお、視線位置が対象物に配置されることは、例えば、視線位置が対象物の領域に重なった場合に判定されてもよいし、視線画像２２２が対象物の領域の一部と重なった場合に判定されてもよい。

図６の場合、視線誘導処理部１３４は、例えば、ユーザの視線位置が建物２２１ａ～２２１ｄのそれぞれに配置されるたびに、ユーザに対して視覚的なフィードバックを与える。例えば、視線位置が配置された建物の画像が強調表示される。強調表示としては、例えば、建物の色を変化させる、建物の輪郭線を太く表示するなどの方法が用いられる。あるいは、視線位置が配置された建物の名称が表示されてもよい。また、ユーザの視線位置が建物２２１ａ～２２１ｄのそれぞれに配置されるたびに、ユーザに対して聴覚的なフィードバックが与えられてもよい。例えば、視線位置が配置された建物の名称を示す音声が出力される。このような視覚的または聴覚的なフィードバックにより、ユーザの脳が刺激され、視線位置画像がユーザ自身の視線位置であるという強い認識をユーザに形成することが可能となる。

なお、視線誘導処理部１３４は、上記のように所定の対象物のすべてを視線が捉えた場合ではなく、例えば、設定された複数の対象物のうち一定数の対象物を視線が捉えた場合に、移動条件を満たしたと判定してもよい。あるいは、視線誘導処理部１３４は、設定された複数の対象物のうち一定数以上の対象物を視線が捉え、かつ、事前準備処理の開始から一定時間以上が経過した場合に、移動条件を満たしたと判定してもよい。また、視認対象となる対象物は、作業空間上に配置されている対象物の中から選択されて設定されてもよいし、事前準備処理時に視認対象とするために専用に設けられたもの（例えば、専用のマーカなど）であってもよい。

図７は、事前準備処理の第２の例を示す図である。移動条件の他の例としては、ユーザによる視線移動により所定のタスクの実行が完了する、という条件を適用可能である。図７は、視線移動により所定の図形を描くというタスクが実行される例を示している。

図７に示す画像２３０では、ユーザの視線画像２３１が左上から右上、右下、左下に移動して元の位置に戻っており、これにより四角形が描かれている。視線誘導処理部１３４は、例えば、このような視線画像２３１の移動に伴って移動軌跡２３２ａ～２３２ｄを表示して、視線移動によって描かれた図形をユーザに視認させる。視線誘導処理部１３４は、四角形が描かれたと判定した時点で、移動条件を満たしたと判定する。

また、視線誘導処理部１３４は、図６のようにあらかじめ設定された複数の対象物に指定した順に視線を移動させることで、図形を描かせてもよい。さらに、視線誘導処理部１３４は、タスクのパフォーマンスを評価することで、視線位置画像がユーザ自身の視線位置であるという認識の形成度合いを計測できる。そこで、視線誘導処理部１３４は、タスクのパフォーマンスとして、図形の描画にかかった時間や正確性を評価し、評価結果から推定した認識の形成度合いが所定値以上になった場合に、移動条件を満たしたと判定してもよい。

以上のように、視線の移動に伴う視線位置画像の移動によってユーザに所定のタスクを実行させることで、ユーザの脳が刺激され、視線位置画像がユーザ自身の視線位置であるという強い認識をユーザに形成することが可能となる。

なお、移動条件の他の例として、視線が一定時間以上移動する、視線が例えば水平方向に一定の角度以上移動する、などの条件を適用することも可能である。
図８は、事前準備処理の手順の例を示すフローチャートである。図８の処理は、図５のステップＳ１１に対応する。

［ステップＳ２１］仮想空間表示部１３３は、三次元データ１２１と、ユーザの頭部の方向および位置とに基づいて、ユーザの視点から見た仮想空間を示す画像を描画し、その画像をＨＭＤユニット２００のディスプレイ２０１に表示させる。

［ステップＳ２２］視線検出部１３２は、視線センサ２０３の検出結果に基づいて、ユーザの視線の方向を検出する。視線誘導処理部１３４は、ユーザの頭部の方向および位置と、検出された視線の方向とに基づいて、表示された画像における視線位置を検出する。視線誘導処理部１３４は、検出された視線位置に視線位置画像を描画する。

［ステップＳ２３］視線誘導処理部１３４は、視線の移動条件を満たしたかを判定する。移動条件を満たしていない場合、処理がステップＳ２１に進められる。なお、ステップＳ２１～Ｓ２３の処理は、例えば、画像のフレーム周期で実行される。一方、移動条件を満たした場合、事前準備処理が終了する。

次に、視線誘導処理について説明する。以下の説明では、仮想空間の水平方向にＸ軸とＺ軸をとり、垂直方向にＹ軸をとる。Ｚ軸は、ユーザの頭部の前方方向に対してとられ、Ｘ軸はユーザの右方向にとられ、Ｙ軸はユーザの上方向にとられるものとする。

図９は、水平方向に対する視線誘導の例を示す図である。図９では例として、仮想空間が全天球画像として描画されるものとする。この場合、視線位置や誘導目標となる目標位置は、ユーザの頭部を中心とした球体面上の座標として表される。以下の説明では、視線位置Ｐｅの座標を（ｘｅ，ｙｅ，ｚｅ）とし、目標位置Ｐｔの座標を（ｘｔ，ｙｔ，ｚｔ）とする。

なお、以下の説明では、目標対象物が描画される画像領域内の所定の一点が、目標位置に設定されるものとする。例えば、目標位置は、目標対象物が内接する矩形領域の中心点の位置に設定される。

図９は、ユーザの頭部の上側から下方向を見た場合を示している。図９の上側の状態では、一例として、検出された視線位置ＰｅがＺ軸上にあり、目標位置Ｐｔがユーザの頭部の右後方にあるものとする。この場合、目標位置Ｐｔが視線位置Ｐｅより相対的に右側に位置するので、視線位置画像は視線位置Ｐｅより右側に所定量ずらして表示される。

図９の下側では、視線誘導処理時における視線位置画像の中心点をＰｅ’として示している。視線位置画像の中心点Ｐｅ’は、例えば、検出された視線位置Ｐｅから、ユーザの頭部の位置を中心として角度θ１だけずらした位置に設定される。図９の下側の例では、中心点Ｐｅ’は視線位置Ｐｅより右側に角度θ１だけずらした位置に設定されて、この中心点Ｐｅ’に視線位置画像が表示される。一方、図示しないが、目標位置Ｐｔが視線位置Ｐｅより相対的に左側に位置する場合には、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより左側に角度θ１だけずらした位置に設定される。

また、垂直方向に対する視線誘導では、目標位置Ｐｔが視線位置Ｐｅより相対的に上側に位置する場合には、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより上側に角度θ２だけずらした位置に設定される。一方、目標位置Ｐｔが視線位置Ｐｅより相対的に下側に位置する場合には、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより下側に角度θ２だけずらした位置に設定される。ここで、角度θ１，θ２に関しては、θ１＝θ２であってもよい。しかし、前述のように人間は水平方向の画像の動きより垂直方向の画像の動きの方が敏感であることから、θ１＞θ２とすることで、ユーザが酔いを感じにくくすることができる。

なお、上記の説明では、検出された視線位置Ｐｅからの視線位置画像のシフト量を角度θ１，θ２で規定したが、他の例として、シフト量は表示された画像内の画素数で規定されてもよい。

次に、視線誘導処理を終了するための誘導終了条件と、垂直方向の視線誘導を開始するための垂直誘導開始条件について説明する。
視線誘導処理部１３４は、例えば、視線位置Ｐｅの水平方向および垂直方向に対する各座標が、目標対象物の近傍に一定時間停留した場合に、視線誘導処理を終了する。具体的には、例えば、下記の式（１－１），（１－２）の両方の条件を時間Ｔ１の間続けて満たした場合に、誘導終了条件をクリアしたと判定して視線誘導処理を終了する。
ｘｔ－Δｘ＜ｘｅ＜ｘｔ＋Δｘ ・・・（１－１）
ｙｔ－Δｙ＜ｙｅ＜ｙｔ＋Δｙ ・・・（１－２）
また、視線誘導処理部１３４は、例えば、視線位置Ｐｅの水平方向の座標が、目標対象物の近傍に一定時間停留したが、視線位置Ｐｅの垂直方向の座標が目標対象物の近傍に位置していない場合に、垂直方向の視線誘導を開始する。具体的には、例えば、下記の式（２）の条件を時間Ｔ２の間続けて満たしたが、式（１－２）の条件を満たしていない場合に、垂直誘導開始条件をクリアしたと判定して垂直方向の視線誘導を開始する。
ｘｔ－Δｘｈ＜ｘｅ＜ｘｔ＋Δｘｈ ・・・（２）
上記の式（１－１），（１－２）と式（２）との間では、例えば、Δｘ≧Δｘｈ，Δｙ≧ΔｙｈとなるようにΔｘ，Δｙ，Δｘｈ，Δｙｈが設定されればよい。

図１０は、ユーザの位置および視線方向の移動に応じた視線誘導の処理例を示す図である。図１０では、水平方向に対する視線誘導について例示する。
図１０の例では、仮想空間に橋梁２４１および橋脚２４２が配置され、橋脚２４２の側面に目標位置Ｐｔが設定されている。このような仮想空間において、ユーザの頭部位置がＰｈ１からＰｈ４まで移動したとする。なお、頭部位置Ｐｈ１～Ｐｈ４において示された矢印は、ユーザの視線方向を示す。

頭部位置Ｐｈ１では、目標位置Ｐｔが視線位置Ｐｅより相対的に右側に位置するので、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより右側に角度θ１だけずらした位置に設定される。その結果、ユーザの視点は右側に誘導され、ユーザの頭部が頭部位置Ｐｔ２に移動する。

頭部位置Ｐｈ２では、目標位置Ｐｔが視線位置Ｐｅより相対的に右側に位置するので、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより右側に角度θ１だけずらした位置に設定される。その結果、ユーザの視点は右側に誘導され、ユーザの頭部が頭部位置Ｐｔ３に移動する。

頭部位置Ｐｈ３では、目標位置Ｐｔが視線位置Ｐｅより相対的に左側に位置するので、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅより左側に角度θ１だけずらした位置に設定される。その結果、ユーザの視点は左側に誘導され、ユーザの頭部が頭部位置Ｐｔ４に移動する。

頭部位置Ｐｈ４では、視線位置Ｐｅと目標位置Ｐｔとの関係が前述の式（１－１），（１－２）を用いた誘導終了条件を満たしたとする。この場合、視線誘導処理が終了し、視線位置画像の中心点Ｐｅ’は視線位置Ｐｅに配置される。なお、誘導終了条件を満たした場合には、視線誘導処理が終了されるだけでなく、視線位置画像の表示も終了されてもよい。

なお、上記の式（１－１），（１－２），（２）では、目標位置を一点に設定した場合の条件を示したが、目標位置は水平方向と垂直方向にそれぞれ長さを有する三次元領域であってもよい。この場合、例えば、この三次元領域におけるＸ座標の最小値ｘｔ１および最大値ｘｔ２と、Ｙ座標の最小値ｙｔ１および最大値ｙｔ２とを用いて、次のように誘導終了条件および垂直誘導開始条件が設定されてもよい。

誘導終了条件は、下記の式（１－１ａ），（１－２ａ）の両方の条件を時間Ｔ１の間続けて満たす場合である。
ｘｔ１－Δｘ＜ｘｅ＜ｘｔ２＋Δｘ ・・・（１－１ａ）
ｙｔ１－Δｙ＜ｙｅ＜ｙｔ２＋Δｙ ・・・（１－２ａ）
垂直誘導開始条件は、下記の式（２ａ）の条件を時間Ｔ２の間続けて満たしたが、式（１－２ａ）の条件を満たしていない場合である。
ｘｔ１－Δｘｈ＜ｘｅ＜ｘｔ２＋Δｘｈ ・・・（２ａ）
図１１は、視線誘導処理の手順の例を示すフローチャートである。図１１の処理は、図５のステップＳ１２の処理に対応する。

［ステップＳ３１］仮想空間表示部１３３は、三次元データ１２１と、ユーザの頭部の方向および位置とに基づいて、ユーザの視点から見た仮想空間を示す画像を描画し、その画像をＨＭＤユニット２００のディスプレイ２０１に表示させる。

［ステップＳ３２］視線検出部１３２は、視線センサ２０３の検出結果に基づいて、ユーザの視線の方向を検出する。視線誘導処理部１３４は、ユーザの頭部の方向および位置と、検出された視線の方向とに基づいて、表示された画像における視線位置を検出する。また、視線誘導処理部１３４は、視線誘導の目標位置を検出する。

視線誘導処理部１３４は、視線位置に対する目標位置の水平方向および垂直方向の相対位置を検出する。この検出では、視線位置と目標位置とが一致していない場合、視線位置より目標位置が右方向と左方向のどちらに位置するかと、各位置の水平方向に対する座標の差分値とが検出される。また、視線位置より目標位置が上方向と下方向のどちらに位置するかと、各位置の垂直方向に対する座標の差分値とが検出される。

［ステップＳ３３］視線誘導処理部１３４は、ステップＳ３２での水平方向に対する相対位置の検出結果に基づいて視線位置画像の描画位置を算出し、その描画位置に視線位置画像を描画する。視線位置より目標位置が右方向に位置する場合、視線位置より、ユーザの頭部を中心とした角度θ１だけ右方向の位置に視線位置画像が描画される。一方、視線位置より目標位置が左方向に位置する場合、視線位置より、ユーザの頭部を中心とした角度θ１だけ左方向の位置に視線位置画像が描画される。これにより、ユーザの視線が水平方向に誘導される。

［ステップＳ３４］視線誘導処理部１３４は、直近の時間Ｔ１におけるステップＳ３３での水平方向および垂直方向に対する各相対位置の検出結果に基づいて、視線の移動状況が誘導終了条件を満たしたかを判定する。誘導終了条件を満たしていない場合、処理がステップＳ３５に進められ、誘導終了条件を満たした場合、視線誘導処理が終了する。なお、後者の場合でも、仮想空間表示部１３３による仮想空間の画像の描画処理は継続されてよい。

［ステップＳ３５］視線誘導処理部１３４は、直近の時間Ｔ２におけるステップＳ３３での水平方向に対する相対位置の検出結果と、直近のステップＳ３３での垂直方向に対する相対位置の検出結果とに基づいて、垂直誘導開始条件を満たしたかを判定する。垂直誘導開始条件を満たしていない場合、処理がステップＳ３１に進められる。この場合、ステップＳ３１～Ｓ３５のループ処理は、例えば、フレーム周期で実行される。一方、垂直誘導開始条件を満たした場合、処理がステップＳ３６に進められる。

［ステップＳ３６］仮想空間表示部１３３は、三次元データ１２１と、ユーザの頭部の方向および位置とに基づいて、ユーザの視点から見た仮想空間を示す画像を描画し、その画像をＨＭＤユニット２００のディスプレイ２０１に表示させる。

［ステップＳ３７］視線検出部１３２は、視線センサ２０３の検出結果に基づいて、ユーザの視線の方向を検出する。視線誘導処理部１３４は、ユーザの頭部の方向および位置と、検出された視線の方向とに基づいて、表示された画像における視線位置を検出する。また、視線誘導処理部１３４は、視線誘導の目標位置を検出する。視線誘導処理部１３４は、ステップＳ３２と同様の手順で、視線位置に対する目標位置の水平方向および垂直方向の相対位置を検出する。

［ステップＳ３８］視線誘導処理部１３４は、ステップＳ３７での垂直方向に対する相対位置の検出結果に基づいて視線位置画像の描画位置を算出し、その描画位置に視線位置画像を描画する。視線位置より目標位置が上方向に位置する場合、視線位置より、ユーザの頭部を中心とした角度θ２だけ上方向の位置に視線位置画像が描画される。一方、視線位置より目標位置が下方向に位置する場合、視線位置より、ユーザの頭部を中心とした角度θ２だけ下方向の位置に視線位置画像が描画される。これにより、ユーザの視線が垂直方向に誘導される。

この後、処理がステップＳ３４に進められ、直近の時間Ｔ２におけるステップＳ３７での水平方向および垂直方向に対する各相対位置の検出結果に基づいて、視線の移動状況が誘導終了条件を満たしたかが判定される。なお、ステップＳ３４～Ｓ３８のループ処理は、例えば、フレーム周期で実行される。

なお、ステップＳ３８では、垂直方向だけでなく、水平方向に対しても視線位置より視線位置画像をずらす処理が行われてもよい。少なくとも、Δｘｈ＞Δｘと設定されている場合には、ステップＳ３８ではこのように水平方向に対する視線誘導も行われることが望ましい。

以上説明した第２の実施の形態によれば、没入感や自己操作感が保持された自然な視線誘導を、確実に行うことができる。このため、訓練・学習対象の作業のスキルをユーザに効率的に習得・向上させることができる。

なお、上記の第２の実施の形態では、ユーザの視線の方向は視線センサ２０３の検出結果に基づいて算出されていた。しかし、ユーザの視線の方向は、ユーザの頭部の前方方向とされてもよい。この場合、表示された画像における視線位置は、画像の中心となる。

また、情報処理装置１００によって実行される上記処理の少なくとも一部は、ＨＭＤユニット２００が備える図示しないプロセッサによって実行されてもよい。例えば、図３に示した処理機能のすべてをＨＭＤユニット２００が備える場合、上記処理はＨＭＤユニット２００単体で実現される。

また、上記の第２の実施の形態ではＶＲにおける視線誘導について説明したが、第２の実施の形態の処理を複合現実（Mixed Reality）や拡張現実（Augmented Reality）における視線誘導に適用することも可能である。

なお、上記の各実施の形態に示した装置（例えば、情報処理装置１，１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 情報処理装置
２ 表示装置
３ａ～３ｃ 画像
３ｄ 拡大画像
４，４ａ 視線位置画像
５ａ～５ｃ 建物
６ 橋脚
６ａ 目標位置

Claims (5)

1. コンピュータが、
   三次元の仮想空間の領域のうち、ユーザの視点から見た領域の画像を表示装置に表示させ、
   前記画像における前記ユーザの視線位置を検出して、前記画像における前記視線位置に所定の視線位置画像を表示させ、
   前記視線位置画像が表示された状態において、前記ユーザの視線の移動が所定の移動条件を満たすかを判定し、
   前記移動条件を満たした場合、前記ユーザの視線の方向と、前記仮想空間に設定された目標位置との相対的な位置関係に基づいて、前記視線位置画像を前記視線位置から前記目標位置の方向に所定量ずらして表示させる、
   視線誘導方法。
2. 前記移動条件は、前記仮想空間に配置された１以上の所定のオブジェクトのそれぞれに、前記ユーザの視線が移動したことを示す、
   請求項１記載の視線誘導方法。
3. 前記移動条件は、前記ユーザの視線移動に伴う前記視線位置画像の移動によって所定のタスクが実行されたことを示す、
   請求項１記載の視線誘導方法。
4. 前記移動条件を満たした場合、前記視線位置画像を前記視線位置から水平方向にずらして表示させ、
   前記視線位置の水平方向の座標が、水平方向に対して前記目標位置の近傍に達したことを示す所定の水平位置条件を満たしたが、前記視線位置の垂直方向の座標が、垂直方向に対して前記目標位置の近傍に達したことを示す所定の垂直位置条件を満たしていない場合に、前記視線位置画像を前記視線位置から垂直方向にずらして表示させる、
   請求項１記載の視線誘導方法。
5. コンピュータに、
   三次元の仮想空間の領域のうち、ユーザの視点から見た領域の画像を表示装置に表示させ、
   前記画像における前記ユーザの視線位置を検出して、前記画像における前記視線位置に所定の視線位置画像を表示させ、
   前記視線位置画像が表示された状態において、前記ユーザの視線の移動が所定の移動条件を満たすかを判定し、
   前記移動条件を満たした場合、前記ユーザの視線の方向と、前記仮想空間に設定された目標位置との相対的な位置関係に基づいて、前記視線位置画像を前記視線位置から前記目標位置の方向に所定量ずらして表示させる、
   処理を実行させる視線誘導プログラム。