WO2019073689A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

本技術の一形態に係る情報処理装置は、取得部と、移動部とを備える。前記取得部は、ユーザの眼に関する眼情報を取得する。前記移動部は、前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる。これにより、例えばＨＭＤ等を利用するユーザに対して高品質な視聴体験を実現することが可能となる。これにより、例えばＨＭＤ等を利用するユーザに対して高品質な視聴体験を実現することが可能となる。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、ＨＭＤ（Head Mount Display）等の画像表示装置に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

　特許文献１には、ユーザの視線を検出して、画像の表示を制御する技術について記載されている。例えばＨＭＤに搭載されたカメラによりユーザの眼球が撮影され、その画像に基づいてユーザの視線方向とＨＭＤ上の注視点とが算出される。注視点を中心として高画質な部分画像が表示され、部分画像の周辺には低画質な画像が表示される。これによりユーザが高精度に認知できる領域を基準に、画像の表示を制御することが可能となる（特許文献１の明細書段落［００５１］［００５２］［００６０］［００６６］図１、３等）。

　特許文献２には、ユーザの位置と焦点位置とに基づいて、複数の異なる位置から被写体を撮影した複数の画像データが適宜選択されて合成される。合成された画像データは、提示用画像としてディスプレイに表示される。これにより人間にとって自然な（よりリアルな）画像である、注目点の周囲がぼやけたピンボケ画像（所定の被写界深度をもった画像）を表示させることが可能となる（特許文献２の明細書段落［００５９］［００７４］［００７５］［００９８］図１０～１３等）。

特開２０１６－１９１８４５号公報 特開２００５－２２７９５０号公報

　今後も、ＨＭＤ等を利用した仮想現実（ＶＲ：Virtual Reality）や拡張現実感（ＡＲ：Augmented Reality）の体験は普及していくと考えられ、高品質な視聴体験を実現可能とする技術が求められている。

　以上のような事情に鑑み、本技術の目的は、ユーザに対して高品質な視聴体験を実現可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、移動部とを備える。
　前記取得部は、ユーザの眼に関する眼情報を取得する。
　前記移動部は、前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる。

　この情報処理装置では、ユーザの眼に関する眼情報に基づいて、画像表示機構の少なくとも一部が移動される。これにより、例えばＨＭＤ等を利用するユーザに対して高品質な視聴体験を実現することが可能となる。

　前記画像表示機構は、前記画像光を出射するディスプレイと、前記ディスプレイから出射された前記画像光を前記ユーザの眼に導くレンズ系とを有してもよい。この場合、前記移動部は、前記ディスプレイ及び前記レンズ系の少なくとも一方を移動させてもよい。

　前記眼情報は、前記ユーザの眼を撮影した眼画像を含んでもよい。

　前記眼情報は、前記眼画像における前記ユーザの眼の形状、サイズ、位置、傾き、及び虹彩パターンの少なくとも１つを含んでもよい。

　前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられてもよい。この場合、前記眼情報は、前記ＨＭＤの撮像機構により前記ユーザの眼を撮影した前記眼画像を含んでもよい。

　前記情報処理装置は、さらに、前記画像表示機構に対して前記ユーザの眼が所定の状態である場合の前記眼情報である基準眼情報を記憶する記憶部を備えてもよい。この場合、前記移動部は、前記取得された眼情報及び前記基準眼情報に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記所定の状態は、前記画像表示機構により表示される基準画像が、前記眼画像内で前記ユーザの眼に対して所定のサイズ及び位置にて配置される状態を含んでもよい。

　前記基準眼情報は、前記画像表示機構に対して前記ユーザの眼が前記所定の状態である場合に、前記ユーザの眼を撮影した基準眼画像を含んでもよい。この場合、前記移動部は、前記眼画像と前記基準眼画像との差分に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態に近づくように、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態とは異なる他の状態となるように、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記情報処理装置は、さらに、前記画像表示機構による画像表示を制御する表示制御部を備えてもよい。この場合、前記表示制御部は、前記取得された眼情報に基づいて、前記画像表示機構により表示される画像の表示位置を移動させてもよい。

　前記移動部は、前記画像表示機構により表示されるコンテンツの内容に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記移動部は、前記ユーザの視聴時間に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記情報処理装置は、さらに、前記ユーザの状態に関する状態情報を取得する状態取得部を備えてもよい。この場合、前記移動部は、前記取得された状態情報に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　前記情報処理装置は、さらに、前記移動部による前記画像表示機構の少なくとも一部に対する移動量に基づいて、生体センサによる検出結果の信頼度を判定する判定部を備えてもよい。

　前記情報処理装置は、さらに、前記取得された眼情報に基づいて、前記ＨＭＤの装着状態を制御することが可能な装着状態制御部を備えてもよい。

　前記情報処理装置は、さらに、前記取得された眼情報に基づいて、前記ユーザに所定の情報を通知する通知部を備えてもよい。

　前記眼情報は、前記ユーザの左眼を撮影した左眼画像、及び前記ユーザの右眼を撮影した右眼画像を含んでもよい。この場合、前記移動部は、前記左眼画像又は前記右眼画像に基づいて、前記画像表示機構の少なくとも一部を移動させてもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザの眼に関する眼情報を取得することを含む。前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部が移動される。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　ユーザの眼に関する眼情報を取得するステップ。
　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させるステップ。

　以上のように、本技術によれば、ユーザに対して高品質な視聴体験を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係る画像表示装置であるＨＭＤの構成例を示す図である。 図１に示すディスプレイユニットの内部の構成例を説明するための模式図である。 本実施形態に係るＨＭＤの機能的な構成例を示すブロック図である。 ユーザの眼に関する眼情報の一例を説明するための模式図である。 ＨＭＤにより実行される基本動作の概要を示すフローチャートである。 ＨＭＤの使用開始時に実行される処理例を示すフローチャートである。 初期位置の設定例を示すフローチャートである。 図７に示す初期位置の設定例を説明するための模式図である。 初期位置の設定後のＨＭＤの動作例を示すフローチャートである。 ずれ量に応じたレンズ系の移動例を示す模式図である。 ＨＭＤにより実行可能な他の処理の概要を示すフローチャートである。 他の実施形態に係るＨＭＤの外観を示す斜視図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［画像表示装置の構成］
　図１は、本技術の一実施形態に係る画像表示装置であるヘッドマウントディスプレイ（ＨＭＤ）の構成例を示す図である。図１ＡはＨＭＤ１００の外観を模式的に示す斜視図であり、図１ＢはＨＭＤ１００を分解した様子を模式的に示す斜視図である。図２は、図１に示すディスプレイユニット１３の内部の構成例を説明するための模式図である。なおＨＭＤ１００は、本技術に係る情報処理装置としても機能する。

　ＨＭＤ１００は、基体部１０と、装着バンド部１１と、ヘッドフォン部１２と、ディスプレイユニット１３と、カバー部１４と、撮像機構１５とを有する。

　基体部１０は、ユーザの左右の眼１（１ａ及び１ｂ）の前方に配置される部材であり、ユーザの前頭部と当接される前頭支持部１６が設けられる。

　装着バンド部１１は、ユーザの頭部に装着される。図１に示すように、装着バンド部１１は、側頭バンド１７と、頭頂バンド１８とを有する。側頭バンド１７は、基体部１０に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド１８は、側頭バンド１７に接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。

　本実施形態では、側頭バンド１７及び頭頂バンド１８の各々の保持力を自動的に調整可能なバンド調整機構２５（図３参照）が備えられている。バンド調整機構２５が動作することで、基体部１０から外部に出ている側頭バンド１７の長さが変更され、頭部を保持する保持力が変更される。またバンド調整機構２５が動作することで、頭頂バンド１８の長さが変更され、頭部を保持する保持力が変更される。なお側頭バンド１７に対する頭頂バンド１８の角度が変更可能であってもよい。

　バンド調整機構２５の構成は限定されず、例えばモータ、圧電素子、ワイヤ、ヒンジ、ソレノイド、又は形状記憶合金（ＳＭＡ）等を用いた任意のアクチュエータ機構により構成される。

　ヘッドフォン部１２は、基体部１０に接続され、ユーザの左右の耳を覆うように配置される。ヘッドフォン部１２には、左用及び右用のスピーカが設けられる。ヘッドフォン部１２の位置は、手動又は自動により制御可能となっている。そのための構成は限定されず、任意の構成が採用されてよい。

　ディスプレイユニット１３は、基体部１０に挿入され、ユーザの眼１の前方に配置される。図２に示すように、ディスプレイユニット１３には、画像光を出射してユーザの眼１に導く画像表示機構２０が構成される。

　本実施形態では、画像表示機構２０として、画像光を出射するディスプレイ２１と、ディスプレイ２１から出射された画像光をユーザの眼１に導くレンズ系２２とを有する。ディスプレイ２１としては、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた任意の表示デバイスが用いられてよい。ディスプレイ２１に画像が表示される場合に、ディスプレイ２１から出射される光が画像光に相当する。

　なお画像光は、ディスプレイ２１から拡散して出射される。すなわち画像光は、拡散光として出射される。例えば拡散して出射される画像光が、レンズ系２２によりユーザの眼１に適切に導かれることで、画像光により構成される画像を焦点が合った状態で視認可能となる。

　レンズ系２２は、左眼１ａの前方に配置される左眼用レンズ系２２ａと、右眼１ｂの前方に配置される右眼用レンズ系２２ｂとを有する。各々のレンズ系２２の構成は任意であり、１枚のレンズが配置される場合に限定されず、フレネルレンズ等の種々のレンズや光学フィルタ等の任意の光学部材が複数配置されてもよい。

　図２にて矢印を用いて模式的に示すように、本実施形態では、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの各々を移動可能な駆動機構２６（図３参照）が備えられている。駆動機構２６が動作することで、ディスプレイ２１の位置や姿勢（向き）、左眼用レンズ系２２ａの位置や姿勢（向き）、及び右眼用レンズ系２２ｂの位置や姿勢（向き）を、互いに独立して任意に変更させることが可能である。

　例えば図２に示すように、ユーザの眼１からディスプレイ２１を見た場合の上下方向をＸ方向、左右方向をＹ方向、奥行き方向（ディスプレイ２１に向かう方向）をＺ方向とする。駆動機構２６は、ディスプレイ２１や各レンズ系２２に対して、各軸方向に沿った平行移動や各軸を基準とした回転等の駆動動作を実行することが可能である。駆動機構２６の具体的な構成は限定されず、上記したような任意のアクチュエータ機構が用いられてよい。

　本実施形態において、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂは、画像表示機構２０の一部に相当する。すなわちディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂを移動させることは、画像表示機構２０の少なくとも一部を移動させることに相当する。

　撮像機構１５は、ユーザの左眼１ａを撮影する左眼用カメラ２３ａと、ユーザの右眼１ｂを撮影する右眼用カメラ２３ｂとを有する。左眼用カメラ２３ａ及び右眼用カメラ２３ｂは、ＨＭＤ１００の所定の位置、具体的には基体部１０の所定の位置にそれぞれ設置される。従って、ユーザの眼１に対する基体部１０の相対的な位置が変化すると、ユーザの眼１に対する左眼用カメラ２３ａ及び右眼用カメラ２３ｂの相対的な位置も変化する。

　なお左眼用カメラ２３ａ及び右眼用カメラ２３ｂは、ユーザの左眼１ａ及び右眼１ｂを直接的に、すなわち左眼用レンズ系２２ａ及び右眼用レンズ系２２ｂを介することなく、撮影可能な位置にそれぞれ配置される。例えば下方側から斜めに向くように、左眼用カメラ２３ａ及び右眼用カメラ２３ｂが配置される。もちろん他の方向からユーザの眼１に向けて左右のカメラが配置されてもよい。

　左眼用カメラ２３ａ及び右眼用カメラ２３ｂとしては、例えばＣＭＯＳ（Complementary etal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線照明を搭載した赤外線カメラが用いられてもよい。

　図１に示すカバー部１４は、基体部１０に取付けられ、ディスプレイユニット１３を覆うように構成される。このように構成されたＨＭＤ１００は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイとして機能する。ユーザはＨＭＤ１００を装着することで、例えば仮想現実（ＶＲ）等を体験することが可能となる。

　図３は、本実施形態に係るＨＭＤ１００の機能的な構成例を示すブロック図である。ＨＭＤ１００は、さらに、操作ボタン２７と、通信部２８と、コネクタ２９と、記憶部３０と、センサ部３１と、コントローラ３２とを有する。

　操作ボタン２７は、例えば基体部１０の所定の位置に設けられる。操作ボタン２７により、電源のＯＮ／ＯＦＦの操作、、画像表示や音声出力に関する機能やネットワーク通信機能等のＨＭＤ１００が有する種々の機能に関する操作を実行することができる。

　通信部２８は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。

　コネクタ２９は、他のデバイスとの接続のための端子である。例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の端子が設けられる。また充電時には、充電用のドッグ（クレードル）の充電端子とコネクタ２９とが接続されて充電が行われる。

　センサ部３１は、圧力センサ３４、近接センサ３５、９軸センサ３６、ＧＰＳ３７、及び生体センサ３８を含む。圧力センサ３４は、例えば図１に示す側頭バンド１７及び頭頂バンド１８の所定の位置に設けられる。圧力センサ３４により、側頭バンド１７及び頭頂バンド１８から頭部に加えられる圧力を測定すること可能である。

　近接センサ３５は、装着バンド部１１の内周側の所定の位置に設けられ、その検出結果は、ＨＭＤ１００の装着の有無の判定に用いられる。９軸センサ３６は、３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサを含む。９軸センサ３６により、ＨＭＤ１００の、３軸における加速度、角速度、及び方位を検出することが可能である。ＧＰＳ３７は、ＨＭＤ１００の現在位置の情報を取得する。これらのセンサは、例えば基体部１０の所定の位置に設けられる。もちろん他の位置に設けられてもよい。

　生体センサ３８は、ユーザの生体情報を取得する。例えば生体センサ３８として、脳波センサ、筋電センサ、脈拍センサ、発汗センサ、温度センサ、血流センサ、体動センサ等が設けられる。これらのセンサは、検出端子部が体の所定の位置に接触するように、ＨＭＤ１００の所定の位置に設けられる。例えば脳波センサは、頭部の所定の位置に接触可能に設けられる。脈拍センサは、首の血管に接触可能な位置に設けられる。

　センサ部３１として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばＨＭＤ１００を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。

　記憶部３０は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）等が用いられる。記憶部３０には、ＨＭＤ１００の全体の動作を制御するための制御プログラム４０が記憶される。また記憶部３０には、機構駆動テーブル４１が記憶される。機構駆動テーブル４１は、ユーザの眼情報に基づいて画像表示機構２０の少なくとも一部を移動させる場合に参照されるテーブルであり、詳しくは後述する。制御プログラム４０及び機構駆動テーブル４１を、ＨＭＤ１００にインストールする方法は限定されない。

　コントローラ３２は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ３２は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部３０に記憶されている制御プログラム４０をＲＡＭにロードして実行することにより、種々の処理が実行される。

　コントローラ３２として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific IntegratedCircuit）等のデバイスが用いられてもよい。

　本実施形態では、コントローラ３２のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして画像解析部４３、ずれ算出部４４、機構駆動部４５、表示制御部４６、バンド調整部４７、状態解析部４８、信頼度判定部４９、及び通知部５０が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

　画像解析部４３は、撮像機構１５により撮影されたユーザの眼画像を解析する。すなわち左眼用カメラ２３ａにより撮影された左眼画像、及び右眼用カメラ２３ｂにより撮影された右眼画像を取得し、これらの画像を解析する。画像解析部４３に入力される左眼画像及び右眼画像、画像解析部４３の解析の結果検出される種々の特徴パラメータのいずれもが、本実施形態においてユーザの眼１に関する眼情報に含まれる。これらの眼情報に基づいて、例えばユーザの眼１の位置を動的に推定することが可能である。本実施形態において、画像解析部４３は、取得部として機能する。

　図４は、ユーザの眼１に関する眼情報の一例を説明するための模式図である。例えば眼情報として、眼画像５５におけるユーザの眼１Ｐの形状、サイズ、位置、及び傾き等が検出可能である。具合的には、ユーザの眼領域５６が検出され、その形状、サイズ、位置、傾きが検出される。例えば図４に示すように、ユーザの眼１Ｐの長軸５７のサイズｔが、ユーザの眼領域５６のサイズとして用いられてもよい。またユーザの眼１Ｐの長軸５７の水平方向に対する傾きが、ユーザの眼領域５６の傾きとして用いられてもよい。

　なおユーザの眼１Ｐの長軸５７は、ユーザの顔の上下方向（例えば頭頂部から顎に向かう方向）が略鉛直方向となり、顔の横方向（例えば両耳の同じ高さの位置を結ぶ方向）が略水平方向となる場合の、ユーザの眼１の右端部の位置と、左端部の位置とを略水平方向に結ぶ軸である。

　またユーザの眼領域５６の全体が眼画像５５内に含まれているか否か、上下左右のどの方向に眼領域５６が欠損しているか、といった情報も、ユーザの眼１に関する眼情報に含まれる。その他、眼情報として、視線方向、瞳孔の大きさ、虹彩のパターン、まつ毛の態様等、任意の情報が検出されてもよい。

　なお眼画像を解析して特徴パラメータを検出する方法は限定されず、任意のセグメンテーション技術や任意の画像解析技術が用いられてよい。またＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network:畳み込みニューラルネットワーク）、ＭＬＰ（Multilayer Perceptron：多層パーセプトロン）等のＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）を用いた機械学習アルゴリズムが用いられてもよい。

　ずれ算出部４４は、画像解析部４３により取得されたユーザの眼情報に基づいて、ユーザの眼１の初期状態からのずれ量を算出する。ユーザの眼１の初期状態、及び初期状態からのずれについては、後に説明する。

　機構駆動部４５は、駆動機構２６に制御信号を出力する。機構駆動部４５から出力される制御信号に基づいて、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの各々が移動される。本実施形態において、ずれ算出部４４及び機構駆動部４５は、移動部として機能する。

　表示制御部４６は、画像表示機構２０による画像表示を制御する。表示制御部４６により、例えば表示される画像の補正や、表示される画像の表示位置の移動等、任意の画像処理及び表示制御が実行される。

　バンド調整部４７は、バンド調整機構２５に制御信号を出力する。バンド調整部４７から出力される制御信号に基づいて、側頭バンド１７及び頭頂バンド１８の各々の保持力が調整される。本実施形態において、バンド調整部４７は、ＨＭＤ１００の装着状態を制御可能な装着状態制御部として機能する。

　状態解析部４８は、センサ部３１からの検出結果に基づいて、ユーザやＨＭＤ１００の状態に関する種々の状態情報を取得する。例えばユーザの状態情報として、睡眠状態であるか否かの情報や、体温、脈拍数、脳波状態、筋肉の動き、発汗量、集中状態等の生体情報が取得される。またユーザの現在地の情報、さらに詳しく屋内であるか、屋外であるか、会議中であるか等の情報も取得可能である。

　またユーザが行う運動に関する運動情報が取得される。例えば歩行中、走行中、電車にて移動中、運転中等の情報が取得される。運動しているスポーツの種類等の情報も取得可能である。また座っているか、立っているか、前屈みか、横を向いているか、上を向いているか等の、姿勢に関する情報が取得される。これらのユーザの状態情報は、例えば機械学習で得られたパラメータ等を用いた行動解析等の、任意の行動解析技術により取得可能である。

　またＨＭＤ１００の機器状態の情報としては、例えば実行中の機能、動作モード、ユーザに対する装着の有無、ユーザに対する装着位置、バッテリー残量、充電ドックとの接続、機器の温度等の、種々の情報が取得される。また使用環境の情報として、温度、湿度、現在位置、天候、日時等の種々の情報を取得することも可能である。これらの情報を取得するためのセンサやデバイス等が、適宜ＨＭＤ１００に設けられればよい。また状態解析方法は限定されず、例えば機械学習アルゴリズムが用いられてもよい。状態解析部４８は、本実施形態において、状態取得部として機能する。

　信頼度判定部４９は、センサ部３１による検出結果の信頼度を判定する。この判定については、後に説明する。

　通知部５０は、ユーザに種々の情報を通知する。例えばディスプレイ２１への画像やテキストの表示、ヘッドフォン部１２からの音声出力、基体部１０やカバー部１４の外部の所定の位置を所定の色で光らせる（点滅させる）、任意のバイブレーション機構により基体部１０等を振動させる等の任意の方法にて、所定の情報の通知が実現される。例えばＨＭＤ１００の使用に関する情報や、コンテンツに関する情報、センサ部３１による検出結果に関する情報等、任意の情報を通知可能である。

　［画像表示装置の動作］
　本実施形態に係る画像表示装置であるＨＭＤ１００の動作を説明する。図５は、ＨＭＤ１００により実行される基本動作の概要を示すフローチャートである。まず画像解析部４３により、ユーザの眼１ａ及び１ｂに関する眼情報が取得される（ステップ２０１）。当該取得された眼情報に基づいて、視聴状態の変更及び所定の情報の通知が実行される（ステップ１０２）。

　視聴状態の変更は、例えば左右のレンズ系２２ａ及び２２ｂの移動、ディスプレイ２１の移動、画像の表示位置の移動、装着バンド部１１の調整等の、コンテンツを視聴している状態が変更される任意の処理が含まれる。また所定の警報等を通知すること自体も、視聴状態の変更といえる。

　すなわち本実施形態のＨＭＤ１００では、ユーザの眼１に関する眼情報に基づいて、種々の処理が実行される。これによりユーザに対して高品質な視聴体験を実現することが可能となる。以下、図５に示す基本動作を応用した具体的な実施例を説明する。

　図６は、ＨＭＤ１００の使用開始時に実行される処理例を示すフローチャートである。ユーザがＨＭＤ１００の電源をＯＮにすると、まずＨＭＤ１００がユーザの頭部に装着済であるか否かが判定される（ステップ２０１）。この判定は、図３に示す状態解析部４８により、近接センサ２４の検出結果に基づいて実行される。

　ＨＭＤ１００が未装着である場合には（ステップ２０１のＮｏ）、図３に示す通知部５０により、その旨がユーザに通知される（ステップ２０２）。通知方法は限定されず、例えばヘッドフォン部１２から音声が出力されもよいし、基体部１０やカバー部１４の外側に所定の色光が出力されてもよい。あるいはディスプレイ２１の全体が点滅するといった処理が実行されてもよい。もちろんバイブレーション機構による基体部１０等の振動により、ユーザへの通知が実行されてもよい。

　ＨＭＤ１００が装着済みである場合には（ステップ２０１のＹｅｓ）、ユーザの眼領域の探索が開始される（ステップ２０３）。具体的には、図３に示す画像解析部４３により、左眼１ａの眼領域５６及び右眼１ｂの眼領域５６の検出が実行される。そして左右の眼領域５６が全く検出できない状態であるか否かが判定される（ステップ２０４）。

　左右の眼領域５６が全く検出できない場合は（ステップ２０４のＹｅｓ）、ＨＭＤ１００が物理的に動いているか否かが判定される（ステップ２０５）。この判定は、状態解析部４８により、例えば９軸センサの検出結果に基づいて実行される。

　その他、ステップ２０５の判定処理として、センサ部３１に指紋撮影等に使われる近接型カメラを設け、当該近接型カメラによりユーザの皮膚等を撮影し、皮膚模様の移動方向・距離が測定されてもよい。例えばキャリブレーション時からの累積移動距離によって移動距離を推測することも可能である。また遠い場所に置かれたカメラ(ＩｏＴ等も含む)で撮影された画像に基づいて、ＨＭＤ１００が物理的に動いているか否かが判定されてもよい。例えばＨＭＤ１００をかけた顔に対して顔検出を実施し、ＨＭＤに装着されたＬＥＤマーカーの位置を検出する。顔検出の結果とＨＭＤのＬＥＤマーカーの位置関係から物理的に動いたかを判定可能である。

　ＨＭＤ１００が動いている場合は（ステップ２０５のＹｅｓ）、ＨＭＤ１００が停止するまで待機する（ステップ２０６）。すなわちユーザやＨＭＤ１００の状態が落ち着くまで待機する。そして所定の時間の待機後、ステップ２０３に戻る。ＨＭＤ１００が動いていない場合は（ステップ２０５のＮｏ）、左眼用カメラ２３ａ及び右眼用カメラ２３ｂでユーザの眼１を撮影可能なように、装着状態の変更を促す旨の指示が通知される（ステップ２０７）。例えば手動でＨＭＤ１００の位置を補正して欲しい旨のアナウンス等を出力する。その後、ステップ２０３に戻る。

　左右の眼領域５６が全く検出できない状態ではない場合（ステップ２０４のＮｏ）、左右の眼領域５６の全てが検出可能であるか否かが判定される（ステップ２０８）。左右の眼領域５６に欠損する領域がある場合は（ステップ２０８のＮｏ）、欠損領域に基づいて、ＨＭＤ１００が左右上下のどの方向にどのぐらいずれているかが推定される（ステップ２０９）。

　バンド調整部４７により、ステップ２０９にて推定されたずれ量に基づいて制御信号が生成され、バンド調整機構２５に出力される。すなわち左眼用カメラ２３ａ及び右眼用カメラ２３ｂでユーザの眼１を撮影可能な装着状態となるように、バンド調整機構２５に制御信号が出力される。そしてバンド調整機構２５により、装着バンド部１１の側頭バンド１７及び頭頂バンド１８の長さや位置が変更される（ステップ２１０）。

　例えばステップ２０９にて左右方向にずれが生じている旨が推定された場合、側頭バンド１７の長さ等が調整される。上下方向にずれが生じている旨が推定された場合、頭頂バンド１８の長さ等が調整される。もちろんこのような処理の限定される訳ではない。なお図６中に記載の側頭部側のバンドが側頭バンド１７に相当し、頭頂部側のバンドが頭頂バンド１８に相当する。装着バンド部１１の調整が終わると、ステップ２０３に戻る。

　左右の眼領域５６の全てが検出可能である場合は（ステップ２０８のＹｅｓ）、初期位置の設定が実行される（ステップ２１１）。

　図７は、初期位置の設定例を示すフローチャートである。図８は、図７に示す初期位置の設定例を説明するための模式図である。初期位置の設定とは、ＨＭＤ１００の使用開始時において、画像表示機構２０に対するユーザの左右の眼１の状態を、適正にコンテンツを視聴可能な初期状態に設定することである。本実施形態において、上記の適正にコンテンツを視聴可能な初期状態は、「ユーザの眼が所定の状態である場合」に相当する。また初期状態は、所定の視聴状態ともいえる。

　まずディスプレイ２１の所定の位置に基準画像６０が表示される（ステップ３０１）。例えば図８Ａに示すように、ディスプレイ２１の略中央に、緑色等の所定の色が付された点画像が基準画像６０として表示される。そしてその状態で撮影された左右の眼画像５５が解析される（ステップ３０２）。

　左右の眼画像５５内で、基準画像６０Ｐがユーザの左右の眼１Ｐに対して、所定のサイズ及び位置にて配置されるか否かが判定される。具体的には、基準画像６０Ｐのサイズ及び位置が、所定の状態であるか否かが判定される（ステップ３０３）。本実施形態では、図８Ｂに示すように、左右の眼画像５５内において、基準画像６０Ｐが瞳孔の中心にて最も小さく明瞭に表示されるか否かが判定される。この状態は、拡散して出射された基準画像６０の画像光が最も小さく結像された状態であり、ユーザの左右の眼１がディスプレイ２１に表示された基準画像６０に対して焦点が合っている状態に相当する。すなわちこの状態は、上記した初期状態が実現されている状態となる。

　左右の眼画像５５内において、基準画像６０Ｐのサイズ及び位置が所定の状態でない場合には、左右のレンズ系２２ａ及び２２ｂが移動される（ステップ３０４）。すなわち機構駆動部４５により制御信号が生成され、駆動機構２６に出力される。駆動機構２６は、入力された制御信号に基づいて、左右のレンズ系２２ａ及び２２ｂを移動させる。

　例えば図８Ｃに示す基準画像６０ＰＡのように、瞳孔の中心に対して右側にずれており、サイズが広がっている場合には、焦点が合っていないとされる。そして焦点が合っている状態（図８Ｂに示す状態）となるように、レンズ系２２がＸＹＺ軸を基準として適宜移動される。図８Ｃの基準画像６０ＰＢのように、瞳孔の中心に対して左側にずれており、サイズが広がっている場合も同様に、焦点が合っている状態となるように、レンズ系２２がＸＹＺ軸を基準として適宜移動される。

　例えばレンズ系２２をＺ方向に移動させることで、基準画像６０Ｐのサイズを制御することが可能である。またレンズ系２２をＸＹ平面方向にて平行移動させたり、各軸に沿って傾けたりすることで、基準画像６０Ｐの位置を制御することが可能である。その他、基準画像６０Ｐのサイズ及び位置を制御可能な、任意の駆動方法が実行されてよい。

　なおステップ３０３及び３０４が、所定の回数だけ繰り返された結果、基準画像６０Ｐが中心位置にて最も小さくなった場合に、ステップ３０３の所定の状態（すなわち初期状態）が実現されたと判定されてもよい。あるいは、位置及びサイズに対して、所定の許容範囲が設定され、基準画像６０Ｐのサイズ及び位置が当該許容範囲に含まれた場合に、ステップ３０３の所定の状態（すなわち初期状態）が実現されたと判定されてもよい。

　基準画像６０Ｐが所定の状態であると判定された場合、すなわち初期状態が実現された場合は（ステップ３０３のＹｅｓ）、左右の眼領域５６のサイズ、位置及び傾きが記憶部３０に記憶される（ステップ３０５）。例えば図４に示す眼領域５６の長軸５７のサイズ（例えばピクセル数）が、眼領域５６のサイズとして記憶される。また長軸５７の位置及び傾き（例えばピクセルの座標値）が眼領域５６の位置及び傾きとして記憶される。もちろんこれに限定されず、眼領域５６全体のサイズ及び位置がそのまま記憶されてもよい。

　本実施形態において、初期状態となった場合に取得される眼情報、すなわち初期状態となった場合に撮像される眼画像や、当該眼画像から算出される種々の特徴パラメータは、基準眼情報に相当する。また初期状態となった場合に撮像される眼画像は、基準眼画像に相当する。

　このように初期位置の設定を実行することで、ユーザの顔や頭部の形状に関する個人差や、左右の眼の間の距離の個人差の影響を十分に防ぐことが可能であり、ＨＭＤ１００を使用する各々のユーザに対して、高品質な視聴体系を実現することが可能となる。

　なお基準画像６０の形状、サイズ、色等は限定されず、任意に設計されてよい。例えば建造物、車両又は気球の画像、所定のロゴマーク等が、基準画像６０として表示されてもよい。また眼画像５５内における基準画像６０Ｐに対して設定される、初期状態が実現されたと判定される条件も限定されない。すなわち基準画像６０Ｐのサイズや位置についての条件は任意に設定されてよく、またサイズや位置以外のパラメータ（輝度値やぼやけ度）等が、初期状態の実現に関する条件として採用されてもよい。

　例えば、図８に示す点画像のような単純な形状の基準画像６０では、眼画像５５内での基準画像６０Ｐのサイズにて、初期状態が実現されたか否かが判定される。一方、気球等の複雑な形状の基準画像６０が用いられる場合では、眼画像５５内での基準画像６０Ｐのサイズのみならずフォーカス（ぼやけ具合）に基づいて、初期状態が実現されたか否かを判定することが可能である。もちろんこれに限定される訳ではない。

　またステップ３０４にて、初期状態を実現するために、ディスプレイ２１が移動されてもよい。あるいは基準画像６０の表示位置が移動されてもよい。例えば基準画像６０の表示位置を変更して初期位置の設定が実行される場合は、初期状態が実現された場合の基準画像６０の位置に応じた位置で、コンテンツ画像等が表示されればよい。

　初期位置の設定は、コンテンツを視聴前の焦点や表示位置の設定処理といえる。本技術では、以下に示すように、コンテンツの開始時のみならず、コンテンツの実行時（視聴時）も、動的に視聴状態の変更が実行可能である。

　図９は、初期位置の設定後のＨＭＤ１００の動作例を示すフローチャートである。ステップ４０１～ステップ４１０は、図６に示すステップ２０１～２１０と略同様である。初期位置の設定が終了した直後は、ほとんどの場合、ステップ４０８のＹｅｓからステップ４１１に進む。なおコンテンツの視聴中、仮想現実（ＶＲ）内にてユーザが歩いたり走ったりすることも十分にあり得る。その場合、ＨＭＤ１００がずれてしまう場合も考えられるが、ステップ４０１～ステップ４１０を実行することで、自動的にステップ４１１まで進ませることが可能である。

　ステップ４１１では、図３に示すずれ算出部４４により、眼領域５６の長軸５７の傾きが、初期状態における長軸５７の傾きと比べて、変化があるか否かが判定される。長軸５７の傾きに変化がある場合は、表示制御部４６により、ディスプレイ２１に表示されている画像（コンテンツ画像）の表示位置が移動される。具体的には、長軸５７の傾きの変化に応じた回転角度で、ディスプレイ２１に対する表示座標軸が回転される（ステップ４１２）。これによりＨＭＤ１００の回転ずれ等により発生する画像の傾きを補正することが可能となる。

　長軸５７の傾きに変化がない場合は、ずれ算出部４４により、眼領域５６の形状、サイズ及び位置が、初期状態における眼領域５６の形状、サイズ及び位置と比べて、変化があるか否かが判定される（ステップ４１３）。眼領域５６の形状、サイズ及び位置に変化がない場合は、視聴状態の変更は実行されず、ステップ４０３に戻る。

　眼領域５６の形状、サイズ及び位置に変化ある場合には、機構駆動部４５により当該変化に応じた制御信号が生成され、駆動機構２６に出力される。これによりディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの各々の位置や角度が調整される（ステップ４１４）。具体的には、画像表示機構２０に対するユーザの眼１の状態が、初期状態に近づくように、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの各々の位置や角度が調整される。

　そのために本実施形態では、記憶部３０に記憶されている機構駆動テーブル４１が参照される。機構駆動テーブル４１は、ずれ算出部４４により算出されたずれ量と、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの移動量とが関連付けられたテーブルである。機構駆動テーブル４１は、キャリブレーション等によりあらかじめ作成されて、記憶部３０に記憶されている。

　例えば左右の眼の各々に対して、ずれ量と、ディスプレイの移動量及びレンズ系の移動量との組み合わせとの関係を示す２次元ルックアップテーブルが作成される。あるいはずれ量、ディスプレイの移動量、及びレンズ系の移動量との関係を示す３次元ルックアップテーブルが作成されてもよい。またディスプレイを移動させる条件やレンズ系を移動させる条件等が定められており、どのデバイスを移動させるかが適宜判断されてもよい。この場合、判断された結果に応じて使用される複数のテーブル情報が作成されてもよい。

　もちろんテーブル情報が用いられずに、ディスプレイ２１やレンズ系２２の移動が実行されてもよい。例えばずれ量に基づいて、その都度移動量が演算により算出され、適宜駆動機構２６の動作が制御されてもよい。

　図１０は、ずれ量に応じたレンズ系２２の移動例を示す模式図である。例えば図１０Ａに示すように、眼画像５５における眼領域５６のサイズが、初期状態での眼領域５６のサイズよりも小さくなったとする。この場合、左眼用カメラ２３ａ及び右眼用カメラ２３ｂが設置されている基体部１０が、ユーザの眼１から離れる方向に移動していることになる。このずれの影響を補正するために、すなわち初期状態に近づけるために、左右のレンズ系２２がユーザの眼に近付けられる。

　図１０Ｂに示すように、眼画像５５における眼領域５６のサイズが、初期状態での眼領域５６のサイズよりも大きくなったとする。この場合、左眼用カメラ２３ａ及び右眼用カメラ２３ｂが設置されている基体部１０が、眼１に近づく方向に移動していることになる。このずれの影響を補正するために、すなわち初期状態に近づけるために、左右のレンズ系２２がユーザの眼から遠ざけられる。

　図１０Ｃに示すように、眼画像５５における眼領域５６の位置が、初期状態での眼領域５６の位置からずれたとする。この場合、左眼用カメラ２３ａ及び右眼用カメラ２３ｂが設置されている基体部１０が、ＸＹ平面において移動していることになる。このずれの影響を補正するために、すなわち初期状態に近づけるために、左右のレンズ系２２の位置がＸＹ平面方向においてずれを解消する方向に移動される。あるいは左右のレンズ系２２の角度を調整することで、眼領域５６の位置のずれを補正することもあり得る。

　すなわち本実施形態では、初期状態で撮影された基準眼画像と、コンテンツ視聴中に撮影される眼画像との差分に基づいて、画像表示機構２０の少なくとも一部が移動される。なおずれに応じて画像表示機構２０の少なくとも一部を移動させる方法は、図１０に例示する方法に限定されず、任意の駆動方法（補正方法）が実行されてよい。例えば左右の眼領域５６のサイズが略等しくなるように、ディスプレイ１２やレンズ系２２が移動される、といった処理もあり得る。

　このように、本実施形態に係るＨＭＤ１００では、ユーザの眼１に関する眼情報に基づいて、視聴状態の変更及び所定の通知が実行される。すなわち眼情報に基づいて、画像表示機構２０の少なくとも一部の移動、装着バンド部１１の調整、及び所定の情報の通知が実行される。これにより、例えばＨＭＤ１００を利用するユーザに対して高品質な視聴体験を実現することが可能となる。

　今後も、ＨＭＤ等を利用した仮想現実（ＶＲ）や拡張現実感（ＡＲ）の体験は普及していくと考えられる。また使用されるＨＭＤの軽量化も進むと予想され、ＨＭＤのずれの影響を効果的に補正することは非常に重要となる。例えばユーザが手動でＨＭＤを動かして調整するアナログ的な方法では、焦点が合っており画像が適正な位置で視聴な位置にあわせるのが難しく、またどこが一番適正な位置であるかを自分で判断することも難しい。その結果、ＨＭＤの位置調整に試行錯誤してしまい、コンテンツの視聴が妨げられる可能性も非常に高い。

　本実施形態では、コンテンツの視聴中においても、ユーザの眼１に関する眼情報に基づいて、自動的にレンズ系２２の移動等が実行される。これによりコンテンツの視聴を妨げることなく、例えばユーザが気付かないうちにずれの影響を補正することも可能となる。この結果、非常に高品質な視聴体験を実現することが可能となる。また手動による調整が必要となる場合にも、眼情報に基づいてずれ量を判断し、ユーザに適正な調整方法を通知することも可能である。また一番適正な位置であるか否かを通知することも可能である。すなわちユーザに対して有効なガイドを実行することが可能となる。

　ユーザへの通知方法の例を挙げる。例えば自動調整の範囲を超えたずれであると判定された場合、ユーザにずれが生じていることを通知し、調整を促す。これにより、意図しない装着状態が維持されてしまうことを防止することが可能となる。具体的には、ディスプレイ２１への画像やテキストの表示、ヘッドフォン部１２からの音声出力、バイブレーション機構による基体部１０等の振動等を実行する。

　例えばコンテンツの視聴中においては、画像がぼやけてしまうと、ユーザは当該ぼやけに気付く。従ってストレートにユーザに伝えることも有効である。例えばぼやけていても見えるぐらいの大きさのテキスト、ぼやけていても認識可能な画像、記号、マーク等を用いて、通知（Notification）や警報（Alert）を表示する。あるいは音声や上記したバーブレーション等により、通知や警報を実行する。

　ユーザの視聴を妨げないように自然に通知をすることも重要である。例えばあまり強調的ではない短い通知が実行される。またはセンサ部３１によるセンサ結果からユーザの状態を判定して、通知方法に反映させることも可能である。例えば発汗や脳波等の状態に基づいて、ユーザが通知に気付いているかどうかを判定する。ユーザが通知に気付いていない場合に、段階的に通知を強調する、あるいは他の通知方法を実行する。例えば音声で通知しても気付かない場合には、バイブレーション機能を併用する、等である。

　通知に全く気付いていないと判定される場合、そもそもコンテンツを視聴していない可能性も考えられる。この場合、例えばユーザの覚醒度を測定し、その測定結果に基づいて通知方法を適宜変更させる。例えば覚醒させるために通知を強調する、反対にコンテンツをオフする、ＨＭＤ１００自体の電源をオフする等の処理が考えられる。

　ＨＭＤ１００が左右にずれていると判定された場合、コンテンツを利用してユーザに瞬間的に頭部を動かすようにガイドし、ずれを直すといったことも可能である。例えば音響を利用して、右耳から左耳へすばやく音を移動させる。またはディスプレイ２１に左右にすばやく移動する画像を表示させる。このコンテンツにより何かが画面上を動いたとユーザに感じさせ、ユーザはその何かを追うために瞬間的に頭部を動かす。これにより頭部の動きをガイドすることも可能である。さらに音響と画像移動の両方を利用して、ユーザに瞬間的に頭部を動かすようにガイドすることも可能である。

　装着バンド部１１の保持力を変化させて、ＨＭＤ１００のずれを直すことも可能である。例えばユーザからの所定のボタン操作、頭部の移動（加速度の付与）、音声入力をトリガーとして、装着バンド部１１の片方側を緩めて、反対側を閉めることで、ＨＭＤ１００自身全体が移動し、正常な位置に戻すといったことも可能である。

　図１１は、ＨＭＤ１００により実行可能な他の処理の概要を示すフローチャートである。ステップ５０１に示すように、ユーザの状態、表示されるコンテンツの内容、視聴時間に関する情報が取得される。そしてステップ５０２に示すように、これらの情報に基づいて、視聴状態の変更及び所定の通知が実行される。

　すなわち眼情報とは異なる情報に基づいて、画像表示機構２０の少なくとも一部を移動させる処理等が実行されてもよい。もちろんこれらの情報と、眼情報とが組み合わされて、視聴状態の変更及び所定の通知が実行されてもよい。これにより高品質な視聴体験を実現することが可能となる。

　また上記では、ずれが発生した場合に、初期状態に近づくように、レンズ系２２等が移動された。この場合に限定されず、画像表示機構２０に対するユーザの眼１の状態が、初期状態とは異なる他の状態となるように、ディスプレイ２１やレンズ系２２の移動が実行されてもよい。すなわちあえて焦点がぼやけるような視聴状態への変更や、画像の表示位置がずれるように視聴状態が変更されてもよい。

　例えばコンテンツがゲーム等である場合に、水中や粉じん環境ではピントをわざとはずして視界をぼかすといったことも可能である。例えばレースゲームの前方走行車の粉じんがかかった場合や、水中にダイビングした場合等である。またＶＲ内にて適切なアイテム（例えばメガネ等）の付け外しに応じて視界のぼやけ具合を調整することも可能である。

　またコンテンツ中のアバターの体調や覚醒状態に応じて視界のぼやけ具合を調整することも可能である。例えばユーザの状態をセンシングしてアバターに反映させるといったことや、コンテンツ内のアバターの状態に応じてぼやけ具合を調整するといったことも可能である。例えば格闘ゲームやシューティングゲーム等において、ダメージやひん死の状態のとき、視界をぼやけさせる等である。右眼を殴られた場合は、右眼のみぼやけさせることも可能である。また眠気が強い状態である場合に、視界ぼやけさせるといったことも可能である。

　このようにコンテンツの内容に応じて視聴状態を変更させることで、コンテンツの臨場感を向上させることが可能となり、高品質な視聴体験を実現することが可能となる。

　またメディカルの分野等において、老眼、近視、乱視、視聴各障害者の視野体験等を実現することも可能である。例えばＨＭＤ１００を装着するユーザが、体験したい視野を選択すると、その視野が実現されるように、眼情報に基づいてレンズ系２２等が移動される。例えば近視の場合は焦点距離が近くなるように移動され、遠視の場合は焦点距離が遠くなるようにレンズ系２２等が移動される。老眼の場合は、物体の距離に応じて適宜移動される。なおレンズ系２２等を移動することで、ＨＭＤ１００を装着する際の視度を自動的に調整することも可能である。

　また本技術を、日常使用されるメガネへ適用することも可能である。例えば眼情報に基づいてメガネに設けられたレンズ等を移動させることで、矯正度数や視野等の変更を精度よく実行することが可能である。

　コンテンツの視聴時間に基づいて、視聴状態が変更される。例えば規定時間を超えてコンテンツを利用した場合には、視界をぼかして、ユーザに疲れを自覚してもらい休憩を促すことが可能となる。例えばコンテンツの設定時間（９０分等）に近づくにつれて、徐々に近視状態にして（焦点距離を近くして）、疲れ眼を実感させる。これはテレビの電力モードに相当するとも言える。またこの際に、生体情報（脳波、脈拍、血流等）により、疲れているか否かがを判断することも可能である。またディスプレイ２１の隅に「疲れ眼モードに入ります」といった表示をすることも可能である。また例えば規定時間を超えた利用があった場合や生体情報により疲れていると判断された場合等に、疲れ眼を癒すための画像や音楽等のコンテンツをユーザに提供することも可能である。

　ユーザの状態に関する状態情報に基づいて、視聴状態が変更される。上記した覚醒度に応じた処理や、生体情報に応じた処理である。例えばＨＭＤ１００を装着するユーザの体調をモニタリングする機構等が備えられている場合は、そのモニタリング結果を利用して表示状態が変更されてもよい。例えば生体情報によりユーザが疲れていると判断された場合、徐々に近視状態にして（焦点距離を近くして）、疲れ眼を実感させる。またディスプレイ２１の隅に「疲れ眼モードに入ります」といった表示をすることも可能である。また疲れ眼を癒すための画像や音楽等のコンテンツをユーザに提供することも可能である。

　図３に示す信頼度判定部４９について説明する。信頼度判定部４９は、ディスプレイ２１や左右のレンズ系２２に、初期状態からの移動量（補正量）に基づいて、生体センサ３８により検出結果の信頼度を判定する。例えばレンズ系２２の移動量が大きいほど、ＨＭＤ１００が頭部に対してずれていると判定される。すなわち脳波センサや筋電センサ等の検出端子部が、体の所定の位置に十分に接触していない可能性が高いとして、検出される信号の信頼度を低く設定する。これにより生体センサ３８の検出結果を有効に利用することが可能となる。

　例えば９軸センサ３６によりＨＭＤ１００の揺れ等を検出することが可能であるが、生体センサ３８の検出端子部が皮膚に十分に接触しているか否かは判定できない。本実施形態では、機構駆動部４５による画像表示機構２０の少なくとも一部に対する移動量に基づいて、検出端子部が皮膚に十分に接触しているか否かを判定し、検出結果の信頼度を判定することが可能である。

　なお、例えば腕時計、ネックレス、指輪等の形態からなる他のウェアラブルデバイスの生体センサから得られる生体情報や、他のウェアラブルデバイスにて判定される生体センサの皮膚への接触に関する判定結果に基づいて、生体センサ３８の検出結果の信頼度が判定されてもよい。もちろんウェアラブルデバイスに分類されない他の端末により取得される生体情報等に基づいて、生体センサ３８の検出結果の信頼度が判定されてもよい。

　眼情報と、他の情報とが組み合わされて利用される場合は、利用される情報に重み付けが付されてもよい。重み付けの方法は限定されず、任意に設定されてよい。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記では、画像表示機構２０の少なくとも一部を移動させる例として、ディスプレイ２１、左眼用レンズ系２２ａ、及び右眼用レンズ系２２ｂの各々を移動可能な場合を例に挙げた。これに限定されず、ディスプレイ２１のみが移動可能な場合や、左右のレンズ系２２のみが移動可能な場合もあり得る。また画像表示機構２０を構成する他の部材が移動可能であってもよい。また視聴状態の変更として、画像表示機構２０の一部の移動のみが可能な場合もあり得る。

　機構駆動部４５によりレンズ系２２等が頻繁に移動される場合には、装着バンド部１１の締め具合が緩いと判定されてもよい。締め具合が緩いと判定された場合は、例えば眼情報に基づいて装着バンド部１１が自動的に調整される。あるいは装着バンド部１１の調整を促す旨の通知が実行される。

　本技術を利用することで、あえて装着バンド部１１の締め具合を緩くした状態での、コンテンツの視聴も可能となる。例えば図９に示す処理を高速で実行することで、締め具合がゆるいことによるＨＭＤ１００のずれの影響を防止することが可能である。これにより装着バンド部１１をきつく締める必要がなくなり、ユーザへの装着負荷を十分に低減することが可能となる。また装着バンド部１１を細かく調整するための機構が不要となるので、装置の簡素化、小型化、軽量化が実現される。また装着の手間を軽減される。

　またピント調整にかかる時間、すなわち初期状態に戻すまでの時間に基づいて、駆動機構２６等の経年劣化等を推定することも可能である。

　図１２は、他の実施形態に係るＨＭＤの外観を示す斜視図である。ＨＭＤ２００は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザの頭部に装着されて使用される。ＨＭＤ２００は、フレーム２１０、左右のレンズ２２２ａ及び２２２ｂ、左眼用ディスプレイ２２１ａ及び右眼用ディスプレイ２２１ｂ、左眼用カメラ２２３ａ及び右眼用カメラ２２３ｂを有する。またフレーム２１０の内部や所定の位置には、図３に示すのと略同様のコントローラやセンサ部等が構成されている。

　左右のレンズ２２２ａ及び２２２ｂは、ユーザの左眼及び右眼の前方にそれぞれ配置される。左眼用及び右眼用ディスプレイ２２１ａ及び２２１ｂは、ユーザの視野を覆うように、左右のレンズ２２２ａ及び２２２ｂにそれぞれ設けられる。

　左眼用及び右眼用ディスプレイ２２１ａ及び２２１ｂは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。ＨＭＤ２００を装着するユーザは、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感（ＡＲ）等を体験することが可能となる。

　なお、左眼用及び右眼用ディスプレイ２２１ａ及び２２１ｂの外側（ユーザの眼とは反対の側）に、調光素子（図示省略）等が設けられてもよい。調光素子は、当該素子を透過する光の量を調節可能な素子である。調光素子を設けることで、例えば各ディスプレイを透過してユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実（ＶＲ）等を体験することが可能となる。

　左眼用及び右眼用ディスプレイ２２１ａ及び２２１ｂとしては、例えば透過型の有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。また調光素子としては、例えば透過率を電気的に制御可能な調光ガラス、調光シート、及び液晶シャッター等が用いられる。本実施形態にでは、左右のレンズ２２２ａ及び２２２ｂと、左眼用及び右眼用ディスプレイ２２１ａ及び２２１ｂにより、画像表示機構が実現される。

　左眼用及び右眼用カメラ２２３ａ及び２２３ｂは、ユーザの左眼及び右眼を撮像可能な任意の位置に設けられる。例えば左眼用及び右眼用カメラ２２３ａ及び２２３ｂにより撮影された左眼及び右眼の画像に基づいて、ユーザの眼に関する眼情報が取得される。

　図１２に示すＨＭＤ２００では、フレーム２１０に対して、左右のレンズ２２２ａ及び２２２ｂの各々が移動可能に構成され、駆動機構により移動される。またフレーム２１０自体も移動可能に構成され、保持力が変更可能となっている。眼情報に基づいて、左右のレンズ２２２ａ及び２２２ｂの各々の、位置や傾きを適宜変更することで、上記の実施形態と同様に、高品質な視聴体験を実現することが可能である。

　このようにＡＲグラス等の透過型のＨＭＤにも、本技術は適用可能である。例えばＡＲの体験時においては、眼情報に基づいて透過型ディスプレイに表示されるコンテンツ画像の表示位置を変更することで、現実の世界とコンテンツ画像とのずれを高精度に補正することも可能となる。すなわちＡＲでは、現実の景色に重畳される仮想世界の座標軸を高精度に変更することが可能となる。

　この点に着目すると、ＶＲでは、主にコンテンツに対する焦点のずれを直すのに有効であり、ＡＲでは、主にコンテンツの位置のずれを直すことに有効であるといえる。もちろんそのような目的に限定される訳ではない。

　本技術を適用可能な分野は限定されない。例えばゲーム、医療（手術用のＨＭＤ等）、モータスポーツ（ドライバーのヘルメット等）、ゴルフ等のスポーツ、工場等における検査等、
作業中のユーザの視界に情報を表示させる任意の分野に、本技術は適用可能である。

　上記では、本技術に係る情報処理装置の一実施形態として、画像表示装置であるＨＭＤを例に挙げた。しかしながら、ＨＭＤとは別に構成され、有線又は無線を介してＨＭＤに接続される任意のコンピュータにより、本技術に係る情報処理装置が実現されてもよい。例えばクラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。あるいはＨＭＤと他のコンピュータとが連動して、本技術に係る情報処理方法が実行されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば眼情報の取得や画像表示機構の少なくとも一部の移動の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）ユーザの眼に関する眼情報を取得する取得部と、
　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる移動部と
　を備える情報処理装置。
（２）前記画像表示機構は、前記画像光を出射するディスプレイと、前記ディスプレイから出射された前記画像光を前記ユーザの眼に導くレンズ系とを有し、
　前記移動部は、前記ディスプレイ及び前記レンズ系の少なくとも一方を移動させる
　（１）に記載の情報処理装置。
（３）前記眼情報は、前記ユーザの眼を撮影した眼画像を含む
　（１）又は（２）に記載の情報処理装置。
（４）前記眼情報は、前記眼画像における前記ユーザの眼の形状、サイズ、位置、傾き、及び虹彩パターンの少なくとも１つを含む
　（３）に記載の情報処理装置。
（５）前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
　前記眼情報は、前記ＨＭＤの撮像機構により前記ユーザの眼を撮影した前記眼画像を含む
　（３）又は（４）に記載の情報処理装置。
（６）前記画像表示機構に対して前記ユーザの眼が所定の状態である場合の前記眼情報である基準眼情報を記憶する記憶部をさらに備え、
　前記移動部は、前記取得された眼情報及び前記基準眼情報に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（１）から（５）のうちいずれか１つに記載の情報処理装置。
（７）前記所定の状態は、前記画像表示機構により表示される基準画像が、前記眼画像内で前記ユーザの眼に対して所定のサイズ及び位置にて配置される状態を含む
　（６）に記載の情報処理装置。
（８）前記眼情報は、前記ユーザの眼を撮影した眼画像を含み、
　前記基準眼情報は、前記画像表示機構に対して前記ユーザの眼が前記所定の状態である場合に、前記ユーザの眼を撮影した基準眼画像を含み、
　前記移動部は、前記眼画像と前記基準眼画像との差分に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（６）又は（７）に記載の情報処理装置。
（９）前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態に近づくように、前記画像表示機構の少なくとも一部を移動させる
　（８）に記載の情報処理装置。
（１０）前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態とは異なる他の状態となるように、前記画像表示機構の少なくとも一部を移動させる
　（８）又は（９）に記載の情報処理装置。
（１１）前記画像表示機構による画像表示を制御する表示制御部をさらに備え、
　前記表示制御部は、前記取得された眼情報に基づいて、前記画像表示機構により表示される画像の表示位置を移動させる
　（１）から（１０）のうちいずれか１つに記載の情報処理装置。
（１２）前記移動部は、前記画像表示機構により表示されるコンテンツの内容に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（１）から（１１）のうちいずれか１つに記載の情報処理装置。
（１３）前記移動部は、前記ユーザの視聴時間に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（１）から（１２）のうちいずれか１つに記載の情報処理装置。
（１４）　前記ユーザの状態に関する状態情報を取得する状態取得部をさらに備え、
　前記移動部は、前記取得された状態情報に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（１）から（１３）のうちいずれか１つに記載の情報処理装置。
（１５）前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
　前記情報処理装置は、さらに、前記移動部による前記画像表示機構の少なくとも一部に対する移動量に基づいて、生体センサによる検出結果の信頼度を判定する判定部を備える
　（１）から（１４）のうちいずれか１つに記載の情報処理装置。
（１６）前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
　前記情報処理装置は、さらに、前記取得された眼情報に基づいて、前記ＨＭＤの装着状態を制御することが可能な装着状態制御部を備える
　（１）から（１５）のうちいずれか１つに記載の情報処理装置。
（１７）前記取得された眼情報に基づいて、前記ユーザに所定の情報を通知する通知部をさらに備える
　（１）から（１６）のうちいずれか１つに記載の情報処理装置。
（１８）前記眼情報は、前記ユーザの左眼を撮影した左眼画像、及び前記ユーザの右眼を撮影した右眼画像を含み、
　前記移動部は、前記左眼画像又は前記右眼画像に基づいて、前記画像表示機構の少なくとも一部を移動させる
　（１）から（１７）のうちいずれか１つに記載の情報処理装置。
（１９）ユーザの眼に関する眼情報を取得し、
　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる
　ことをコンピュータシステムが実行する情報処理方法。
（２０）ユーザの眼に関する眼情報を取得するステップと、
　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させるステップと
　をコンピュータシステムに実行させるプログラム。

　１（１ａ、１ｂ）…ユーザの眼
　１１…装着バンド部
　１２…ディスプレイ
　１３…ディスプレイユニット
　１５…撮像機構
　１７…側頭バンド
　１８…頭頂バンド
　２０…画像表示機構
　２１…ディスプレイ
　２２（２２ａ、２２ｂ）…レンズ系
　２３ａ、２２３ａ…左眼用カメラ
　２３ｂ、２２３ｂ…右眼用カメラ
　２５…バンド調整機構
　２６…駆動機構
　３０…記憶部
　３１…センサ部
　３２…コントローラ
　３８…生体センサ
　５５…眼画像
　５６…眼領域
　５７…長軸
　６０…基準画像
　１００、２００…ＨＭＤ
　２２１ａ…左眼用ディスプレイ
　２２１ｂ…右眼用ディスプレイ
　２２２ａ…左レンズ
　２２２ｂ…右レンズ

Claims (20)

1. 　ユーザの眼に関する眼情報を取得する取得部と、
   　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる移動部と
   　を備える情報処理装置。
2. 　前記画像表示機構は、前記画像光を出射するディスプレイと、前記ディスプレイから出射された前記画像光を前記ユーザの眼に導くレンズ系とを有し、
   　前記移動部は、前記ディスプレイ及び前記レンズ系の少なくとも一方を移動させる
   　請求項１に記載の情報処理装置。
3. 　前記眼情報は、前記ユーザの眼を撮影した眼画像を含む
   　請求項１に記載の情報処理装置。
4. 　前記眼情報は、前記眼画像における前記ユーザの眼の形状、サイズ、位置、傾き、及び虹彩パターンの少なくとも１つを含む
   　請求項３に記載の情報処理装置。
5. 　前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
   　前記眼情報は、前記ＨＭＤの撮像機構により前記ユーザの眼を撮影した前記眼画像を含む
   　請求項３に記載の情報処理装置。
6. 　前記画像表示機構に対して前記ユーザの眼が所定の状態である場合の前記眼情報である基準眼情報を記憶する記憶部をさらに備え、
   　前記移動部は、前記取得された眼情報及び前記基準眼情報に基づいて、前記画像表示機構の少なくとも一部を移動させる
   　請求項１に記載の情報処理装置。
7. 　前記所定の状態は、前記画像表示機構により表示される基準画像が、前記眼画像内で前記ユーザの眼に対して所定のサイズ及び位置にて配置される状態を含む
   　請求項６に記載の情報処理装置。
8. 　前記眼情報は、前記ユーザの眼を撮影した眼画像を含み、
   　前記基準眼情報は、前記画像表示機構に対して前記ユーザの眼が前記所定の状態である場合に、前記ユーザの眼を撮影した基準眼画像を含み、
   　前記移動部は、前記眼画像と前記基準眼画像との差分に基づいて、前記画像表示機構の少なくとも一部を移動させる
   　請求項６に記載の情報処理装置。
9. 　前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態に近づくように、前記画像表示機構の少なくとも一部を移動させる
   　請求項８に記載の情報処理装置。
10. 　前記移動部は、前記画像表示機構に対する前記ユーザの眼の状態が、前記所定の状態とは異なる他の状態となるように、前記画像表示機構の少なくとも一部を移動させる
    　請求項８に記載の情報処理装置。
11. 　前記画像表示機構による画像表示を制御する表示制御部をさらに備え、
    　前記表示制御部は、前記取得された眼情報に基づいて、前記画像表示機構により表示される画像の表示位置を移動させる
    　請求項１に記載の情報処理装置。
12. 　前記移動部は、前記画像表示機構により表示されるコンテンツの内容に基づいて、前記画像表示機構の少なくとも一部を移動させる
    　請求項１に記載の情報処理装置。
13. 　前記移動部は、前記ユーザの視聴時間に基づいて、前記画像表示機構の少なくとも一部を移動させる
    　請求項１に記載の情報処理装置。
14. 　前記ユーザの状態に関する状態情報を取得する状態取得部をさらに備え、
    　前記移動部は、前記取得された状態情報に基づいて、前記画像表示機構の少なくとも一部を移動させる
    　請求項１に記載の情報処理装置。
15. 　前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
    　前記情報処理装置は、さらに、前記移動部による前記画像表示機構の少なくとも一部に対する移動量に基づいて、生体センサによる検出結果の信頼度を判定する判定部を備える
    　請求項１に記載の情報処理装置。
16. 　前記画像表示機構は、前記ユーザが装着可能なＨＭＤ（Head Mount Display）に設けられ、
    　前記情報処理装置は、さらに、前記取得された眼情報に基づいて、前記ＨＭＤの装着状態を制御することが可能な装着状態制御部を備える
    　請求項１に記載の情報処理装置。
17. 　前記取得された眼情報に基づいて、前記ユーザに所定の情報を通知する通知部をさらに備える
    　請求項１に記載の情報処理装置。
18. 　前記眼情報は、前記ユーザの左眼を撮影した左眼画像、及び前記ユーザの右眼を撮影した右眼画像を含み、
    　前記移動部は、前記左眼画像又は前記右眼画像に基づいて、前記画像表示機構の少なくとも一部を移動させる
    　請求項１に記載の情報処理装置。
19. 　ユーザの眼に関する眼情報を取得し、
    　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させる
    　ことをコンピュータシステムが実行する情報処理方法。
20. 　ユーザの眼に関する眼情報を取得するステップと、
    　前記取得された眼情報に基づいて、画像光を出射し前記ユーザの眼に導く画像表示機構の少なくとも一部を移動させるステップと
    　をコンピュータシステムに実行させるプログラム。

Images