WO2019176577A1

WO2019176577A1 - 情報処理装置、情報処理方法、および記録媒体

Info

Publication number: WO2019176577A1
Application number: PCT/JP2019/008001
Authority: WO
Inventors: 洋史湯浅; 相木　一磨
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-03-14
Filing date: 2019-03-01
Publication date: 2019-09-19
Anticipated expiration: 2020-09-14
Also published as: KR20200130810A; EP3767432A4; US11631380B2; JPWO2019176577A1; US20210020141A1; EP3767432A1; KR102779553B1; JP7173126B2

Abstract

本技術は、周辺の明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにする情報処理装置、情報処理方法、および記録媒体に関する。本技術の一実施形態に係る情報処理装置は、実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、実空間の明るさに閾値より大きい変化が生じた場合、実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、オブジェクトの形状を表す形状情報の環境情報に基づく表示制御を行う表示制御部とを備えるものである。本技術は、前方の風景に重ねて情報を表示させるHMDに適用することができる。

Description

情報処理装置、情報処理方法、および記録媒体

　本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにした情報処理装置、情報処理方法、および記録媒体に関する。

　ユーザの目の前の風景に画像や文字などの情報を重ねて表示させるAR(Augmented Reality)が注目されている。ARを実現するためのデバイスとして、情報を表示させるための映像光を外光に重畳してユーザに視認させる、透過型のHMD(Head Mounted Display)がある。

　特許文献１には、外光の急激な低下を検知した場合に映像光の輝度を即座に下げることで、外界の視認性を妨げないようにする技術が開示されている。外界の視認性を妨げることなく、映像光による情報の表示が輝度を下げた状態で続けられる。

特開２０１７－６８０００号公報

　外光が急激に低下した場合、ユーザの視覚には暗順応が生じ、暗い環境を視認出来るまでには一定の時間がかかる。ユーザは、暗い環境を視認出来るまでの間、外界の情報を認知することができなくなる。

　また、外光が急激に低下した場合、ユーザの安全性の観点からは、外光が低下するまでに表示していた情報と同じ情報を視認させ続ける必要がない。

　本技術はこのような状況に鑑みてなされたものであり、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができるようにするものである。

　本技術の一側面の情報処理装置は、実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部とを備える。

　本技術の一側面においては、実空間に存在するオブジェクトを含む環境に関する情報である環境情報が取得され、実空間の明るさに閾値より大きい変化が生じた場合、実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、オブジェクトの形状を表す形状情報の環境情報に基づく表示制御が行われる。

　本技術によれば、明るさが急に変化した場合に、周辺の環境をユーザに迅速に視認させることができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係る情報処理システムの構成例を示す図である。右目側光学系の近傍の構成を示す図である。ユーザの見え方の例を示す図である。ユーザの見え方の他の例を示す図である。透過率と表示輝度の設定例を示す図である。危険時用情報の表示例を示す図である。危険時用情報の表示に用いられる透過率と表示輝度の設定例を示す図である。表示輝度の変化の例を示す図である。表示輝度の変化の他の例を示す図である。 HMDを外したときの見え方の例を示す図である。色温度の調整の例を示す図である。 HMDの構成例を示すブロック図である。 HMDの表示処理について説明するフローチャートである。図１３のステップＳ６において行われる危険時用情報表示処理について説明するフローチャートである。危険時用情報の強調表示の例を示す図である。危険時用情報の強調表示の他の例を示す図である。表示輝度の設定例を示す図である。危険度の評価に用いられる評価値の例を示す図である。危険度に応じた表示例を示す図である。透過率と表示輝度の設定例を示す図である。透過率と表示輝度の設定例を示す他の図である。 HMDの構成例を示すブロック図である。図２２の構成を有するHMDによる表示制御処理について説明するフローチャートである。 HMDの他の構成例を示すブロック図である。図２４の構成を有するHMDによる表示制御処理について説明するフローチャートである。 HMDのさらに他の構成例を示すブロック図である。図２６の構成を有するHMDによる表示制御処理について説明するフローチャートである。 HMDのさらに他の構成例を示すブロック図である。図２８の構成を有するHMDによる表示制御処理について説明するフローチャートである。コンピュータの構成例を示すブロック図である。

　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（周辺の明るさが急激に変化した場合の例）
　２．第２の実施の形態（周辺の明るさが緩やかに変化した場合の例）

＜＜第１の実施の形態　周辺の明るさが急激に変化した場合の例＞＞
＜情報処理システムについて＞
　図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。

　図１の情報処理システムは、情報処理装置としてのHMD(Head Mounted Display)１と、コンテンツ配信サーバ２が、インターネットなどのネットワーク３を介して接続されることによって構成される。HMD１とコンテンツ配信サーバ２の間のデータの送受信が、スマートホンやタブレット端末などの、ユーザが有する携帯端末を介して行われるようにしてもよい。

　HMD１は、透過型の表示デバイスを備えた眼鏡型のウェアラブル端末である。HMD１を頭部に装着したユーザの右目の前には、外光とともに各種の情報の光（映像光）をユーザの右目に導く右目側光学系１Ｒが設けられ、左目の前には、外光とともに各種の情報の光をユーザの左目に導く左目側光学系１Ｌが設けられる。

　HMD１は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたデータを受信する。HMD１は、コンテンツ配信サーバ２から送信されてきたデータに基づいて、画像や文字などの各種の情報を表示（描画）し、ユーザに提示する。

　ユーザは、自分の前方の風景に重ねて、各種の情報を見ることになる。このように、HMD１はAR(Augmented Reality)に用いられるウェアラブル端末である。

　HMD１における投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。

　HMD１が表示する情報は、コンテンツ配信サーバ２から送信されてきたデータに基づいて表示される情報に限られるものではない。例えば、HMD１に搭載されたメモリに記憶された情報がHMD１において表示される。また、ユーザの携帯端末に記憶されているデータやPC(Personal Computer)に記憶されているデータがHMD１により取得され、各種の情報が表示される。

　図２は、右目側光学系１Ｒの近傍の構成を示す図である。主な構成について説明する。

　図２に示すように、右目側光学系１Ｒは、透明部材によって構成される導光板１２の表面側に、ガラスなどの透明基板１３が貼り付けられることによって構成される。右目側光学系１Ｒを固定するリムから延びるテンプル部（図示せず）には表示部１１が設けられ、右目側光学系１Ｒの表面側の、左目側光学系１Ｌ寄りの位置には、調光素子１４が設けられる。

　一点鎖線で囲んで示すように、表示部１１は、表示デバイス２１、偏光ビームスプリッタ２２、光源２３、およびレンズ２４から構成される。

　表示デバイス２１は、LCD(Liquid Crystal Display)などにより構成される反射型の表示デバイス、もしくは、有機EL(Electro Luminescence）ディスプレイなどの自発光表示デバイスにより構成される。表示デバイス２１には、ユーザに提示する、画像、文字などの各種の情報が表示される。表示デバイス２１は、例えばカラー表示に対応したデバイスである。

　偏光ビームスプリッタ２２は、光源２３からの光の一部を反射して表示デバイス２１に導くとともに、表示デバイス２１より出射された光の一部を通過させ、レンズ２４を介して導光板１２に導く。

　導光板１２の内部には、偏向部１２Ａと、誘電体積層膜が多数積層された多層積層構造体である偏向部１２Ｂが構成される。偏向部１２Ａは、アルミニウム膜などにより構成され、偏向部１２Ｂを構成する誘電体積層膜は、例えば、高誘電率材料としてのTiO₂膜、低誘電率材料としてのSiO₂膜から構成される。

　偏光ビームスプリッタ２２を介して導かれた表示デバイス２１からの出射光は、偏向部１２Ａにおいて、導光板１２の内部に向けて反射される。偏向部１２Ａにおいて反射された光は、導光板１２の内部を全反射することによって伝播し、偏向部１２Ｂにおいて反射された後、ユーザの右目Ｅ_Rに向かって出射される。これにより、表示デバイス２１の表示内容を表す映像光がユーザの右目Ｅ_Rに導かれる。

　調光素子１４は、エレクトロクロミック素子４１を透明電極４２、透明電極４３で挟むことによって構成される。透明電極４２、透明電極４３に印可する電圧に応じて、エレクトロクロミック素子４１の酸化反応、還元反応が生じ、透過率が制御される。

　透明電極４２、透明電極４３に印可する電圧は、例えば、HMD１に設けられた照度センサにより検出された、周辺の照度に応じて制御される。周辺の照度に応じて透過率が調整された調光素子１４を透過して、外部からの光がユーザの右目Ｅ_Rに導かれる。

　左目側光学系１Ｌ側にも、図２に示すような構成と同じ構成が位置を対称にして設けられる。左目側光学系１Ｌに設けられた表示デバイスには、右目側光学系１Ｒの表示デバイス２１の表示内容と同じ内容の情報が表示され、映像光がユーザの左目に届けられる。

　このような構成を有するヘッドマウントディスプレイの詳細については、例えば、特開２０１２－２５２０９１号公報、特開２０１３－５２０１号公報に開示されている。

　このように、HMD１における情報の表示は、表示部１１の表示輝度と調光素子１４の透過率をそれぞれ調整して行われる。表示輝度は、情報を表示するために表示部１１において用いられる輝度である。

　表示部１１の表示輝度を表示内容やユーザの視覚特性に応じて調整し、適宜、輝度を抑えることにより、表示デバイス２１の寿命を延ばすことが可能になる。また、調光素子１４の透過率を調整し、外光の変化を適宜和らげることにより、情報の視認性を確保することが可能になる。

＜情報の表示例＞
　図３は、ユーザの見え方の例を示す図である。

　図３に示す状態は、いずれの情報も表示されていない状態である。この場合、外光の大部分が目に直接届き、図３に示すように、目の前の実際の風景をユーザは視認することになる。

　図３の例においては、ユーザが家のベッドルームにいるものとされている。ユーザから見て右側には２つのベッドが並び、左奥には椅子やテーブルが置かれている。

　なお、ユーザが実際に見る風景は、破線の矩形で囲んで示すような広い範囲の風景である。図３の略中央に枠Ｆで囲んで示す風景は、ユーザの視野全体に含まれる風景のうち、HMD１によって情報を重畳して表示することが可能な範囲の風景である。

　すなわち、HMD１の表示可能範囲は、ユーザの視野全体のうちの一部の範囲となる。その一部の範囲を用いて、各種の情報の表示が行われる。以下、HMD１の表示可能範囲内のユーザの見え方について説明する。

　図４は、ユーザの見え方の他の例を示す図である。

　図４のＡは、バイクの画像が仮想オブジェクトＯとして表示された場合の見え方を示している。HMD１により表示されたオブジェクトについては、ユーザは、目の前に実在するオブジェクトに重畳して、仮想的なオブジェクトとして視認することになる。仮想オブジェクトＯは、二次元の画像であってもよいし、立体視が可能な三次元の画像であってもよい。

　図４のＡの例においては、透過率が５０％であり、表示輝度が５０％とされている。

　実際にあるベッドなどの周辺物（オブジェクト）を示す線がぼかした状態で示されていることは、ベッドルームにある周辺物が、透過率を抑えた調光素子１４を介して見えていることを表す。また、仮想オブジェクトＯを示す線が薄い色で示されていることは、表示輝度が抑えられていることを表す。

　図４のＢは、透過率を１０％、表示輝度を１００％とした状態の見え方を示している。図４のＡより周辺物がぼかした状態で示されていることは、図４のＢにおける透過率が、図４のＡにおける透過率より低いことを表す。

　このような透過率と表示輝度の調整は、ユーザがいる場所を含む周辺の明るさに応じて行われる。周辺の明るさは、例えば、HMD１に設けられた照度センサにより検出された照度に基づいて判断される。HMD１に設けられたカメラにより撮像された画像の輝度に基づいて周辺の明るさが判断されるようにしてもよい。

　図５は、透過率と表示輝度の設定例を示す図である。

　図５の横軸は周辺の明るさを表し、縦軸は表示内容の視認性を表す。

　例えば、周辺の明るさが照度ｎ１である場合、透過率を５０％、表示輝度を５０％とする組み合わせが用いられる。周辺の明るさが照度ｎ１である場合、図４のＡに示すような状態で情報の表示が行われる。

　なお、透過率の最大値が５０％となっている理由は、調光素子１４そのものの最大透過率が、材料の制限により７０％程度であり、また、導光板１２の出射側の反射膜の透過率が７５％程度であるためである。これらの制限から、HMD１の最大の透過率が例えば５０％となる。

　以下においては、適宜、調光素子１４の透過率を制御するものとして説明するが、調光素子１４の透過率を制御することを通じて、HMD１の全体の透過率が制御されることになる。

　また、周辺の明るさが照度ｎ２である場合、透過率を２０％、表示輝度を４０％とする組み合わせが用いられる。透過率を５０％、表示輝度を５０％とする組み合わせが用いられる状態から、透過率を２０％、表示輝度を４０％とする組み合わせが用いられる状態への遷移と、その逆の遷移は、それぞれ、周辺の明るさが閾値となる明るさになったときに生じる。各状態の遷移については後に詳述する。

　周辺の明るさが照度ｎ３である場合、透過率を２０％、表示輝度を６０％とする組み合わせが用いられ、周辺の明るさが照度ｎ４である場合、透過率を２０％、表示輝度を８０％とする組み合わせが用いられる。

　周辺の明るさが照度ｎ５である場合、透過率を１０％、表示輝度を６０％とする組み合わせが用いられ、周辺の明るさが照度ｎ６である場合、透過率を１０％、表示輝度を８０％とする組み合わせが用いられる。周辺の明るさが照度ｎ７である場合、透過率を１０％、表示輝度を１００％とする組み合わせが用いられる。

　周辺の明るさが明るいほど、調光素子１４の透過率は、より低くなるように段階的に調整される。

　このような、透過率と表示輝度の組み合わせに関する情報がHMD１には予め設定されている。HMD１は、周辺の明るさを例えば所定の間隔で検出し、検出した明るさに応じた組み合わせを用いて、透過率と表示部１１の表示輝度を調整する。

　図５に示すような組み合わせを用いた透過率と表示輝度の調整は通常時にのみ行われる。急に暗くなるなどの危険時には、通常時とは異なる設定を用いて、透過率と表示輝度が調整される。

　例えば、周辺の明るさが、閾値として設定された変化量以上、低下した場合、危険時であると判断され、危険時用情報の表示が行われる。

＜危険時用情報の表示例＞
　図６は、危険時用情報の表示例を示す図である。

　図６の左端に示す状態は、通常時の状態である。図５の透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。なお、図６の左端の例においては、いずれの情報も表示されていない。

　ここで、白抜き矢印＃１の先に示すように停電が発生するなどして、周辺の明るさが急に低下した場合、白抜き矢印＃２の先に示すように、周辺物の輪郭を強調するための描画が行われる。HMD１の表示モードが、通常時用の表示モードから危険時用の表示モードに切り替わり、それまで表示されていた情報に代えて、周辺物の輪郭を表す情報が危険時用情報として表示される。

　図６の右端の例においては、ベッド、椅子、テーブル、壁面の窓などのそれぞれの周辺物の輪郭を表す線の画像が、暗い風景に重畳して表示されている。縁や尖った部分などを含む輪郭を表す線の画像は所定の色で表示される。

　すなわち、通常時、HMD１においては、周辺の明るさを検出するだけでなく、カメラにより撮像された画像を解析することによって周辺物を認識し、周辺物の輪郭を構成する特徴点の情報を取得することが繰り返し行われている。周辺物の特徴点の情報は、環境情報としてHMD１のメモリに繰り返し格納される。周辺物の特徴点には、階段の踏み板の角などの、ユーザからの距離が急激に変わる点の情報も含まれる。

　また、通常時、HMD１においては、周辺物の特徴点の情報、加速度センサにより検出された加速度、および、ジャイロセンサにより検出された角速度などに基づいて、ユーザの位置と姿勢を推定することが繰り返し行われている。

　なお、これらの処理は通常時に行われるため、危険時表示のために処理の負荷や電力の消費を特段増加させるものではない。

　周辺の明るさが急に低下した場合、直前に取得された周辺物の特徴点の情報と、位置と姿勢を含むユーザの状態を表す情報に基づいて、図６の右端に示すような、周辺物の輪郭を表す情報の表示が行われることになる。

　図７は、危険時用情報の表示に用いられる透過率と表示輝度の設定例を示す図である。

　図７の横軸は時刻を表す。図７のＡは周辺照度の変化を表し、図７のＢは透過率の変化を表す。図７のＣは表示部１１の表示輝度の変化を表す。

　図７のＡに示すように、例えば、時刻ｔ１において停電が発生し、周辺照度が閾値以上低下した場合、図７のＢに示すように、最大透過率になるように調整される。また、時刻ｔ１のタイミングで、周辺物の輪郭を表す情報の表示が開始される。

　透過率は、時刻ｔ１から所定の時間経過後に最大透過率になる。最大透過率とする状態は所定の時間だけ継続される。

　また、図７のＣに示すように、表示部１１の表示輝度については、時刻ｔ１の直後の時刻ｔ２までは、時刻ｔ１以前の表示輝度と同じ表示輝度が設定される。表示開始直後、周辺物の輪郭を表す情報は、その前に表示されていた情報と同じ表示輝度を用いて表示されることになる。

　時刻ｔ２以降、表示輝度は、時間の経過に伴って徐々に下げるように調整される。

　図８は、表示輝度の変化の例を示す図である。

　図８の横軸は時刻を表し、縦軸は表示輝度を表す。

　上述したように、周辺物の輪郭を表す情報の表示開始直後の時刻ｔ２以降、表示部１１の表示輝度は徐々に低下する。図８の破線Ｌ１１は表示輝度を表す。

　また、実線Ｌ１は、ユーザの暗順応特性を表す。暗順応は、周辺の環境が明るい環境から暗い環境に変化した場合に、時間の経過とともに視力が徐々に確保される、視覚の変化である。

　実線Ｌ１で示す暗順応特性は、ユーザが視認するのに必要な最低限の明るさの時間変化を表す。各時刻において、実線Ｌ１で示す輝度より高い表示輝度で表示される情報については、ユーザは視認することができ、実線Ｌ１で示す輝度より低い表示輝度で表示される情報については、ユーザは視認することができない。

　図８に示すように、周辺物の輪郭を表す情報の表示に用いられる表示輝度は、徐々に低下するものの、常時、暗順応が生じているユーザにとって視認可能な値として設定される。

　これにより、ユーザは、停電によって周辺が急激に暗くなり、暗順応が生じている間でも、周辺物の輪郭を表す情報を視認することが可能になる。

　例えば図９の破線で示すように、時刻ｔ２のタイミングで表示輝度を急激に下げるとした場合、表示輝度が、暗順応特性により表される最低限の輝度を超えることになる時刻ｔ３までは、周辺物の輪郭を表す情報をユーザは視認することができない。図８に示すようにして表示輝度を徐々に低下させることにより、暗い環境を視認出来るまで周辺物の輪郭を表す情報を視認することができないといったことを防ぐことが可能になる。

　暗順応特性は、例えば一般的な人の特性として設定される。後述するように、年齢、視力などのユーザの属性に応じて暗順応特性が設定され、設定された暗順応特性に応じて表示輝度が調整されるようにしてもよい。

　このように、周辺が急に暗くなった場合に周辺物の輪郭を表す情報が表示されることにより、ユーザは、家具の角などの、周辺にある危険なものを把握することができる。

　また、周辺物の輪郭を表す情報が表示輝度を徐々に下げながら表示されるため、周辺物の輪郭を表す情報の表示が、暗順応を妨げてしまうといったことを防ぐことが可能となる。例えば、ユーザは、ある程度時間が経過すれば、HMD１を外したとしても、周辺の環境をすぐに視認することが可能になる。

　図１０は、HMD１を外したときの見え方の例を示す図である。

　図１０の上段は、表示輝度を変化させない場合の見え方を示し、下段は、図８を参照して説明したようにして表示輝度を変化させた場合の見え方を示す。

　表示輝度を変えずに、周辺物の輪郭を表す情報の表示が行われた場合、一定の表示輝度の情報がユーザの目に届き続け、暗順応が生じにくくなる。従って、白抜き矢印＃１１の先に示すようにユーザがHMD１を外した場合、暗順応ができていないために、周辺の環境が見えづらいままになってしまうことが起こりうる。

　白抜き矢印＃２１の先に示すように、周辺物の輪郭を表す情報の表示輝度を暗順応特性に合わせて抑えることにより、そのような、暗順応ができていないために、周辺の環境が見えづらいままになってしまうといったことを防ぐことが可能になる。HMD１を外した場合、白抜き矢印＃２２の先に示すように、それまでの間に暗順応できているため、ユーザは周辺の環境を視認することが可能となる。

　周辺物の輪郭を表す情報の表示に用いられる表示輝度を、図８に示すように曲線状（非線形）に変化させるのではなく、直線状（線形）に変化させるようにしてもよい。また、連続的に変化させるのではなく、段階的に変化させるようにしてもよい。

　表示輝度が調整されるだけでなく、色温度が調整されるようにしてもよい。

　図１１は、色温度の調整の例を示す図である。

　周辺物の輪郭を表す情報の表示開始直後の時刻ｔ２以降、色温度は、徐々に上昇するように調整される。図１１の破線Ｌ２１は、表示部１１が描画に用いる色温度を表す。実線Ｌ１はユーザの暗順応特性を表す。

　図１１に示すように、表示開始直後は、色温度が低い色で周辺物の輪郭を表す情報を表示し、時間の経過に伴って徐々に色温度を上げていくことにより、ユーザの暗順応を妨げずに、視認性を確保することが可能となる。人間の目の特性上、暗くなった直後に青色成分が強い色、すなわち色温度が高い色のものを見た場合、それにより暗順応が妨げられてしまうが、そのようなことを防ぐことが可能になる。

　以上のようにして危険時用情報を表示させるHMD１の処理についてはフローチャートを参照して後述する。

＜HMDの構成＞
　図１２は、HMD１の構成例を示すブロック図である。

　図１２に示すように、HMD１は、制御部５１、モーションセンサ５２、カメラ５３、照度センサ５４、通信部５５、メモリ５６、および映像表示部５７から構成される。モーションセンサ５２は、加速度センサ７１とジャイロセンサ７２から構成される。モーションセンサ５２、カメラ５３、照度センサ５４については、HMD１に設けられるのではなく、ユーザが持つ携帯端末などの外部の装置に設けられるようにしてもよい。

　制御部５１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。制御部５１は、ROMやメモリ５６に記憶されているプログラムを実行し、HMD１の全体の動作を制御する。所定のプログラムを実行することにより、制御部５１においては、位置・姿勢推定部８１、周辺環境認識部８２、撮像制御部８３、表示制御部８４、およびカウンタ８５が実現される。

　位置・姿勢推定部８１は、カメラ５３により撮像された画像、加速度センサ７１により検出された加速度、および、ジャイロセンサ７２により検出された角速度に基づいて、ユーザの状態を推定する。ユーザの状態の推定には、適宜、周辺環境認識部８２により認識された周辺物の特徴点の情報も用いられる。

　例えば、位置・姿勢推定部８１には、各位置の周辺物に関する情報が用意されている。位置・姿勢推定部８１は、周辺環境認識部８２により認識された周辺物や、カメラ５３により撮像された画像に写る周辺物に基づいて、ユーザの位置を推定する。

　また、位置・姿勢推定部８１には、ユーザの姿勢毎の、加速度、角速度に関する情報が用意されている。位置・姿勢推定部８１は、加速度センサ７１により検出された加速度とジャイロセンサ７２により検出された角速度に基づいて、ユーザの姿勢を推定する。

　このように、位置・姿勢推定部８１が推定するユーザの状態には、ユーザの位置とユーザの姿勢のうちの少なくともいずれかが含まれる。位置と姿勢の推定結果を表す情報は表示制御部８４に供給される。

　周辺環境認識部８２は、カメラ５３により撮像された画像を解析することによって、周辺に実在する物（周辺物）の位置、形状、特徴点などを認識する。適宜、周辺物までの距離、周辺物が置かれている高さ、周辺物の種類なども認識される。周辺環境認識部８２に対しては、これらの各内容の認識に用いるための情報が用意されている。周辺環境認識部８２は、周辺の物理的な環境に関する情報である環境情報を取得する取得部として機能する。

　周辺環境認識部８２は、周辺物の位置、形状、特徴点、距離、高さ、および種類のうちの少なくともいずれかに関する情報を含む環境情報を表示制御部８４に出力する。周辺物の位置は、例えば、HMDの位置を基準とした周辺物の相対的な位置を表し、撮像画像に基づいて取得される。周辺物にビーコンなどの通信機器をあらかじめ設置しておき、通信機器からの信号に基づいてHMDにより位置が取得されるようにしてもよい。周辺環境認識部８２から出力された環境情報に含まれる周辺物の特徴点の情報は、位置・姿勢推定部８１にも供給され、適宜、ユーザの位置と姿勢の推定に用いられる。

　撮像制御部８３は、カメラ５３を制御し、ユーザの目の前の風景を繰り返し撮像する。

　また、撮像制御部８３は、周辺が急に暗くなったことを照度センサ５４から供給されたデータに基づいて検出した場合、利得を上げるとともに露光時間を長くするように、カメラ５３の撮像素子を制御する。撮像素子の設定を変更することにより、周辺が急に暗くなった場合でも、周辺環境の認識などに用いられる適切な画像を撮像し続けることが可能になる。

　表示制御部８４は、映像表示部５７の表示部１１と調光素子１４を制御し、画像やテキストなどの各種の情報を表示させる。表示制御部８４には、図５を参照して説明したような透過率と表示輝度の組み合わせを表す情報が用意されている。表示制御部８４による表示は、例えば、外部の装置から送信され、通信部５５において受信されたデータ、または、メモリ５６から読み出されたデータに基づいて行われる。

　また、表示制御部８４は、周辺が急に暗くなったことを照度センサ５４から供給されたデータに基づいて検出した場合、表示モードを危険時用の表示モードとして、危険時用情報の表示を開始する。表示制御部８４は、危険時用情報の表示を開始した後、カウンタ８５から供給されるカウント値により表される時間の経過に伴って表示輝度を調整したり、色温度を調整したりして、危険時用情報の表示を制御する。

　カウンタ８５は、時間経過を表すカウント値を表示制御部８４に出力する。

　モーションセンサ５２の加速度センサ７１は、HMD１の加速度を検出し、検出した加速度の情報を位置・姿勢推定部８１に出力する。

　ジャイロセンサ７２は、HMD１の角速度を検出し、検出した角速度の情報を位置・姿勢推定部８１に出力する。

　カメラ５３は、例えばHMD１の正面の所定の位置に設けられ、ユーザの前方の風景を撮像する。カメラ５３は、撮像することによって得られた画像を位置・姿勢推定部８１と周辺環境認識部８２に出力する。

　照度センサ５４は、照度を検出し、周辺の明るさを表す照度の情報を撮像制御部８３と表示制御部８４に出力する。

　通信部５５は、無線LAN、Bluetooth（登録商標）などの通信モジュールである。通信部５５は、ユーザが持っている携帯端末やコンテンツ配信サーバ２などの外部の装置と通信を行う。通信部５５による通信によって、ユーザに提示する情報が取得される。

　メモリ５６は、フラッシュメモリなどの記憶媒体である。メモリ５６には、制御部５１のCPUが実行するプログラム、ユーザに提示する情報などの各種のデータが記憶される。

　映像表示部５７は、表示部１１、調光素子１４により構成される。映像表示部５７は、表示制御部８４による制御に従って動作し、右目側光学系１Ｒと左目側光学系１Ｌの各部を介して、所定の情報の映像光を外光とともにユーザの両目に届ける。

　なお、HMD１には、ユーザにより操作されるボタン、音を出力するスピーカ、ユーザの音声を検出するマイクなども設けられる。

＜HMDの動作＞
　ここで、図１３のフローチャートを参照して、以上のような構成を有するHMD１の表示処理について説明する。

　ステップＳ１において、表示制御処理が行われる。ステップＳ１において行われる表示制御処理は、周辺の明るさの変化が小さい通常時の処理である。表示制御処理の詳細については後述する。表示制御処理により、図４を参照して説明したような状態で所定の情報が表示される。

　ステップＳ２において、周辺環境認識部８２は、カメラ５３により撮像された画像を解析することによって、周辺物の位置、形状、特徴点などを認識する。認識結果を含む環境情報は表示制御部８４に供給される。

　ステップＳ３において、位置・姿勢推定部８１は、カメラ５３により撮像された画像、加速度センサ７１により検出された加速度、および、ジャイロセンサ７２により検出された角速度に基づいて、ユーザの位置と姿勢を推定する。位置と姿勢の推定結果を表す情報は表示制御部８４に供給される。

　ステップＳ４において、照度センサ５４は周辺照度を検出する。周辺照度を表す情報は表示制御部８４に供給される。

　周辺環境認識部８２による周辺物の位置、形状、特徴点などの認識処理、位置・姿勢推定部８１によるユーザの位置と姿勢の推定処理、および、照度センサ５４による周辺照度の検出処理は繰り返し行われる。

　ステップＳ５において、表示制御部８４は、周辺照度が一定以上下がったか否かを判定する。周辺照度が一定以上下がったとステップＳ５において判定された場合、処理はステップＳ６に進む。

　ステップＳ６において、危険時用情報表示処理が行われる。危険時用情報表示処理は、上述したように、それまで表示していた情報の表示を終了し、危険時用情報を表示する処理である。危険時用情報表示処理の詳細については図１４のフローチャートを参照して後述する。

　危険時用情報表示処理が行われた後、または、ステップＳ５において、周辺照度が一定以上下がっていないと判定された場合、ステップＳ１に戻り、以上の処理が繰り返される。

　例えば、各種の情報の表示を終了することがユーザにより指示された場合、または、ユーザがHMD１を外したことが検出された場合、図１３の処理は終了となる。

　次に、図１４のフローチャートを参照して、図１３のステップＳ６において行われる危険時用情報表示処理について説明する。

　ステップＳ１１において、表示制御部８４は、透過率が最大になるように調光素子１４を制御する。

　ステップＳ１２において、表示制御部８４は、周辺環境認識部８２により認識された周辺物の輪郭を表す情報を描画する。周辺物の輪郭を表す線の画像は、例えば、位置・姿勢推定部８１により推定されたユーザの位置と姿勢に応じて、実在する周辺物の輪郭に重なる位置に表示される。

　ステップＳ１３において、表示制御部８４は、カウンタ８５により計測されたカウント値に基づいて、一定時間が経過したか否かを判定する。

　一定時間が経過したとステップＳ１３において判定した場合、ステップＳ１４において、表示制御部８４は、表示輝度を下げるとともに色温度を上げて、輪郭を表す情報の描画を続ける。

　ステップＳ１４において表示輝度と色温度を調整した後、または、ステップＳ１３において一定時間が経過していないと判定した場合、ステップＳ１５において、表示制御部８４は、周辺照度が一定以上であるか否かを判定する。

　周辺照度が一定以上ではないとステップＳ１５において判定した場合、ステップＳ１２に戻り、周辺物の輪郭を表す情報の表示が続けられる。

　停電が解消することによって周辺照度が一定以上になったとステップＳ１５において判定された場合、図１３のステップＳ６に戻り、それ以降の処理が行われる。

　以上の処理により、停電等が生じ、周辺が急に暗くなった場合であっても、周辺の環境をユーザに迅速に視認させることが可能になる。また、表示輝度や色温度を暗順応特性に応じて制御することにより、ユーザの暗順応を妨げずに、表示物の視認性を確保することが可能となる。

　以上においては、危険時用情報として、周辺物の輪郭を表す情報が表示されるものとしたが、周辺物の表面を表す情報、周辺物の特徴点を表す情報などの、周辺物の形状を表す各種の情報が表示されるようにしてもよい。周辺物の輪郭を表す線も、周辺物の形状を表す情報である。周辺物の形状を表す形状情報には、周辺物の輪郭を表す線、周辺物の表面を表す線や色、周辺物の特徴点を表すマークなどの、各種の色、形状、模様の情報が含まれる。

＜変形例＞
・危険時用情報の表示例１
　実空間にある周辺物の輪郭だけではなく、暗闇において視認できないものの、危険時に必要となる情報を予め認識しておき、照度が急に低下したときにそれらの情報が表示されるようにしてもよい。危険時に必要となる情報には、例えば、部屋の出口、階段、広域避難所等の避難経路、懐中電灯の置き場などの情報がある。

　危険時に必要となる情報を認識する方法としては、カメラ５３により撮像された画像に基づいて物体認識を行う方法がある。また、地図情報をHMD１に予め与えておき、GPS(Global Positioning System)により測定された位置に応じて、危険時に必要となる情報を認識する方法がある。

・危険時用情報の表示例２
　輪郭だけでなく、周辺物全体の形状を表す情報が表示されるようにしてもよい。このとき、例えば輪郭については強調表示が行われる。強調表示には、例えば、階調を変えたり、表示色を変えたり、太さを変えたり、点滅させたり、線の種類を破線や波線にしたりするなどの、各種の方法が用いられる。

　ユーザの視感度情報が予め与えられている場合、輪郭の強調表示が、ユーザの視感度情報に応じて表示方法を変えて行われるようにしてもよい。例えば、ユーザが低波長領域の色の視認性が低い場合、高波長領域の色が輪郭の強調表示に用いられる。

・危険時用情報の表示例３
　図１５は、危険時用情報の強調表示の例を示す図である。

　図１５の左上に示す状態は、周辺物の輪郭をそのまま表示する状態である。図１５の左上の例においては、周辺物の輪郭を表す線の画像が暗い風景に重畳して表示されている。

　白抜き矢印＃５１の先に示すように、周辺物の輪郭を表す線のうち、ベッド、椅子、テーブルなどの危険度の高い部分の輪郭を表す線が、破線によって強調表示されるようにしてもよい。

　白抜き矢印＃５２の先に示すように、壁や窓等の、危険度の低い部分の輪郭を表す線の画像が非表示とされるようにしてもよい。

　白抜き矢印＃５３の先に示すように、周辺物までの距離に応じて、輪郭を表す線が色分けして表示されるようにしてもよい。この場合、例えば、最も近い位置にあるベッドの輪郭を表す線が最も目立つ色で表示され、次に近い位置にある椅子とテーブルの輪郭を表す線が、次に目立つ他の色で表示される。

・危険時用情報の表示例４
　図１６は、危険時用情報の強調表示の他の例を示す図である。

　図１６の左上に示す状態は、周辺物の輪郭をそのまま表示する状態である。

　白抜き矢印＃６１の先に示すように、周辺物の輪郭を表す線が、危険度に応じて階調を変えて表示されるようにしてもよい。

　白抜き矢印＃６２の先に示すように、周辺物の輪郭を表す線が、危険度に応じて太さを変えて表示されるようにしてもよい。

　白抜き矢印＃６３の先に示すように、輪郭を表す線だけでなく、角や特徴点が強調表示されるようにしてもよい。角や特徴点の強調表示は、例えば、目立つ色、目立つ形状、点滅等を用いて行われる。特徴点は、周りの部分と比べて、輝度や形状が大きく変化する部分であり、例えば、撮像された画像を解析することによって特定される。

　このように、輪郭を表す線は、線の種類、色、階調、太さを含む各要素を適宜組み合わせて表示される。

・危険時用情報の表示例５
　暗い環境において周辺照度が一瞬だけ上がるような場合、表示輝度は、一度高くなってから、徐々に下がるように調整される。

　図１７は、表示輝度の設定例を示す図である。

　図１７のＡは周辺照度の変化を表し、図１７のＢはユーザにとって視認しやすい輝度を表す。図１７のＣは表示輝度を表す。

　例えば暗い夜道を歩いている状態で、図１７のＡに示すように、近くを走行する自動車のヘッドライトが目に入るなどして時刻ｔ１１において一瞬だけ明るくなった場合、図１７のＢに示すように、目がくらむため、どの輝度も視認しにくくなる。その後、視認しやすい輝度が一時的に上がり、再度、暗順応するまでは周辺を視認しづらい状態になる。

　図１７のＣに示すように、時刻ｔ１１の直後において、周辺物の輪郭の表示輝度を一度高くし、徐々に下げるように制御することにより、再度の暗順応を妨げずに、周辺物の輪郭を表示し続けることが可能になる。

　このように、周辺の明るさが急に低下したとき以外のタイミングで危険時用情報が表示されるようにしてもよい。

・危険時用情報の表示例６
　周辺物の輪郭表示を行わない場合があってもよい。例えば、天井や、天井に設置されている照明などの、ユーザの背の高さより高い位置にある周辺物は、ユーザが動いたとしてもぶつかる可能性が少ない。このような高い位置にある周辺物については、輪郭を表す線が表示されないようにしてもよい。

・危険時用情報の表示例７
　外光の強度が低い場合、ユーザの移動速度も落ちると考えられる。遠くにある周辺物については輪郭を表す線を表示させず、近くにある周辺物についてのみ、輪郭を表す線を表示させることにより、移動時の危険を低減させることができる。

　また、大型家具や柱といった、位置が変わらない周辺物については輪郭を表す線を表示させず、地震があったときに移動する可能性がある、本棚やキャスタ付きの棚などの周辺物についてのみ、輪郭を表す線を表示させ、注意喚起するようにしてもよい。位置が変わる可能性があるか否かについても、周辺環境の認識時にカメラ５３により撮像された画像に基づいて特定される。

　このように、オブジェクトとしての周辺物の種類に応じて、危険時用情報の表示が制御される。周辺物の種類には、大型／小型などの大きさの種類、高い／低いなどの高さの種類、重い／軽いなどの重さの種類、可動／固定などの設置の仕方に応じた種類、材質の種類などが含まれる。

・危険時用情報の表示例８
　実空間の風景に重畳して表示させることができる位置にない周辺物の情報が危険時用情報として表示されるようにしてもよい。例えば、表示部１１の表示可能範囲（図３の枠Ｆの範囲）外であって、カメラ５３の撮影可能範囲内にある周辺物の情報を元に、避難経路がある方向の情報や、火災時に火が出ている方向の情報が表示されるようにしてもよい。また、それらの情報が、スピーカを使って、音声によって通知されるようにしてもよい。

・危険時用情報の表示例９
　周辺環境をユーザが視認できる場合、広域避難場所への経路やユーザの視野外の情報といった、直接視認できない情報のみを表示させ、周辺物の輪郭を表示させないようにしてもよい。暗順応の速度の情報や、年齢、視力といったユーザの属性に関する情報を予め入力しておき、それらの情報を用いて、周辺環境をユーザが視認できるか否かの判断が行われるようにしてもよい。

・環境の認識の例
　カメラ５３の撮像素子でも検出できないほど外光が低下した場合、カメラ５３を用いた周辺物の情報の取得が停止されるようにしてもよい。この場合、周辺物の情報の更新は、最後に取得された周辺物の情報を、加速度センサ７１とジャイロセンサ７２によるユーザの運動状態の推定結果を用いて更新するようにして行われる。

　また、撮像素子のゲインを上げたカメラ５３によって撮像された画像に基づいて取得された情報と、取得済みの周辺物の情報とを組み合わせて情報の提示が行われるようにしてもよい。

　例えば、カメラ５３によって撮像された画像からは認識できない、物陰に隠れた家具などの物に関する情報が表示されるようにしてもよい。ユーザからは見えない場所にある周辺物の情報を取得済みの情報に基づいて表示することにより、ユーザが動いている場合であっても、奥にある周辺物にぶつかることを回避させることができる。

・危険時用情報の表示例１０
　ユーザが直接視認することができない周辺物に関する情報が危険時用情報として表示されるようにしてもよい。例えば、近くにある物の後ろに隠れた物の情報を表示させることで、近くにある物を踏み越えたり避けたりしたときに、その物の先にある物にぶつかることを回避させることができる。

・危険時用情報の表示例１１
　暗い環境下におけるユーザの危険性の度合いを表す危険度を算出し、算出した危険度に応じて、危険時用情報の表示が制御されるようにしてもよい。危険度は、例えば、位置、姿勢などのユーザの状態、環境情報により表される周辺の環境に基づいて求められる。

　また、階段のような上下方向の移動が発生する箇所や、ユーザと周辺物との距離による危険度合いに応じて、表示色や階調を変えて危険時用情報が表示されるようにしてもよい。これにより、動いているユーザに、つまずき防止を促したり、近くにある物への注意を促したりすることが可能となる。

　図１８は、危険度の評価に用いられる評価値の例を示す図である。

　図１８に示す表は、「ユーザの姿勢」、「ユーザの移動速度」、「周辺物の凹凸」、および「ユーザの位置（周辺物との距離）」のそれぞれの状況に応じた評価値を示す表である。評価値は「０」、「１」、「２」の３段階で表され、数値が高いほど危険度が高い。

　「ユーザの姿勢」の評価値として示されるように、ユーザが座っている場合、評価値として「０」が設定され、立ち止まっている場合、評価値として「１」が設定される。また、ユーザが動いている場合、評価値として「２」が設定される。

　「ユーザの移動速度」の評価値として示されるように、ユーザが1km/h未満の速度で移動している場合、評価値として「０」が設定され、1km/h以上、3km/h以下の速度で移動している場合、評価値として「１」が設定される。また、ユーザが3km/hを超える速度で移動している場合、評価値として「２」が設定される。

　「周辺物の凹凸」の評価値として示されるように、周辺物の凹凸が10cm未満である場合、評価値として「０」が設定され、10cm以上である場合、評価値として「１」が設定される。

　「ユーザの位置」の評価値として示されるように、周辺物までの距離が2mを超えている場合、評価値が「０」として設定され、1m以上、2m以下である場合、評価値として「１」が設定される。周辺物までの距離が1m未満である場合、評価値として「２」が設定される。

　このように、危険度の評価に用いられる評価値がそれぞれの状況に応じて設定される。

　各周辺物の危険度は、例えば評価値の合計として求められる。例えば、ユーザが1km/h以上、3km/h以下の速度で動いており、10cm以上の凹凸が表面にある周辺物が、1m以上、2m以下の距離にある場合、その周辺物の危険度は「５」として求められる。

　図１９は、危険度に応じた表示例を示す図である。

　図１９の例においては、周辺物の輪郭を表す情報の表示方法の項目として、線の種類、線の点滅のあり／なし、階調、色、太さ、特徴点表示のあり／なし、特徴点の点滅のあり／なしが示されている。

　例えば、危険度が「０」である場合、線の種類が実線として設定され、線の点滅のあり／なしが、なしとして設定される。また、階調が最大値の半分として設定され、色が緑として設定される。太さが1pix（１画素）として設定され、特徴点表示のあり／なしが、なしとして設定される。特徴点の点滅のあり／なしが、なしとして設定される。

　危険度が「１～２」の場合、または「３以上」である場合も、同様にして各項目の内容が設定され、周辺物の輪郭を表す情報の表示が行われる。

　このように、危険度が高いほど、より強調した形で、輪郭を表す情報が表示される。

・危険時用情報の出力例
　照度の急な低下を検出すること以外にも、サイレンの音をマイクにより検出したり、火災の発生を温度センサにより検出したりすることをトリガとして、危険時用情報の表示が行われるようにしてもよい。外部の装置から送信されてきた情報に基づいて災害の発生が検出され、そのことをトリガとして危険時用情報が表示されるようにしてもよい。

・表示タイミングの例
　外光強度がある一定値以上になった場合、ユーザが周辺環境を視認できる状況に戻ったとして、危険時用情報の表示が終了されるようにしてもよい。

　また、HMD１に搭載された装着検出用の近接センサによってユーザがHMD１を外したことが検出されたタイミングで、危険時用情報の表示が停止されるようにしてもよい。

　ユーザにより指示されたタイミングや、ユーザが広域避難所に到着したことがGPSにより測定された位置情報に基づいて検出されたタイミングで、危険時用情報の表示が停止されるようにしてもよい。

・表示輝度の調整の例
　暗順応の速度は、年齢によって変化することが知られている。具体的には、成人の場合、年齢を重ねる毎に暗順応の速度が低下する傾向にあることが知られている。

　ユーザの年齢の情報を予め設定しておくことができるようにしてもよい。この場合、表示輝度の低下速度は、ユーザの年齢に応じた暗順応特性に従って調整される。年齢だけでなく、視力、性別などの各種のユーザの属性に応じて暗順応特性が設定され、設定された暗順応特性に応じて表示輝度が調整されるようにしてもよい。

　ユーザが静止している場合と動いている場合とで特性が切り替えられるといったように、ユーザの状態に応じた特性に従って表示輝度が調整されるようにしてもよい。

・環境の認識の例
　カメラ５３により撮像された画像に基づいて周辺環境が認識されるものとしたが、他のセンサを用いて、周辺環境が認識されるようにしてもよい。

　例えば、赤外線を利用したToF(Time of Flight)センサを用いて周辺環境が認識されるようにしてもよい。ToFセンサを用いることにより、可視光を検出可能な撮像素子を搭載したカメラ５３では認識できないほど暗い環境においても、周辺環境を認識することが可能となる。

・環境情報の取得
　周辺の環境を表す環境情報がカメラにより撮像された画像に基づいて取得されるものとしたが、ネットワークを介して接続されるサーバから取得されるようにしてもよい。例えば、周辺物として存在するソファの型番情報が取得されている場合、型番情報に基づいて、ソファの形状の情報がサーバから取得されるようにしてもよい。ソファの型番情報は、例えばソファに内蔵された装置と通信を行うことによって取得されるようにしてもよいし、HMD１の位置情報に基づいて特定されるようにしてもよい。

＜＜第２の実施の形態　周辺の明るさが緩やかに変化した場合の例＞＞
　危険時用情報の表示が行われる危険時以外の通常時においては、図５を参照して説明した透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。

＜透過率と表示輝度の設定例＞
　図２０は、透過率と表示輝度の設定例を示す図である。

　図２０に示す透過率と表示輝度の組み合わせは、図５を参照して説明した組み合わせと同様である。図５の説明と重複する説明については適宜省略する。図２０の横軸は周辺の明るさを表し、縦軸は表示内容の視認性を表す。周辺の明るさは、輝度または照度により表される。

　上述したように、透過率は、１０％、２０％、５０％の３段階で設定される。一方、透過率と組み合わせて用いる表示輝度は、４０％、５０％、６０％、８０％、１００％の５段階で設定される。透過率は、表示輝度の段階数より少ない段階数で調整されることになる。

　これらの透過率と表示輝度を用いて７種類の組み合わせが設定される。

　図２０の左から順に示すように、状態ｓ１は、透過率を５０％、表示輝度を５０％とする組み合わせが用いられる状態である。

　状態ｓ２乃至ｓ４は、透過率を２０％として、それぞれ、表示輝度を４０％、６０％、８０％とする組み合わせが用いられる状態である。状態ｓ１のときより低い透過率が設定されるため、状態ｓ２乃至ｓ４においては、ユーザの目に届く外光がより抑えられることになる。

　状態ｓ５乃至ｓ７は、透過率を１０％として、それぞれ、表示輝度を６０％、８０％、１００％とする組み合わせが用いられる状態である。状態ｓ２乃至ｓ４のときより低い透過率が設定されるため、状態ｓ５乃至ｓ７においては、ユーザの目に届く外光がより抑えられることになる。

　表示輝度の調整は、表示部１１（表示デバイス２１）の表示期間を表すパルスのDuty比を調整することによって行われる。図１２の表示制御部８４は、所定のDuty比のパルスからなる制御信号を出力することによって表示部１１の表示輝度を調整する。制御信号を構成するパルスのDuty比は、表示部１１の表示輝度に対応する。

　例えば、Duty比が５０％のパルスからなる制御信号が表示制御部８４から出力された場合、表示部１１の表示輝度として５０％が設定される。また、Duty比が１００％のパルスからなる制御信号が表示制御部８４から出力された場合、表示部１１の表示輝度として１００％が設定される。

　透過率が１段階低くなると、Duty比もそれまでのDuty比よりも低く、すなわち、表示輝度が暗く設定される。これは、透過率が１段階下がると、調光素子１４によって制限されていた外光がさらに制限され、ユーザの目に入射する光量が少なくなることにより、画像の表示輝度を下げた方が好ましいためである。このような制御を行うことにより、表示デバイス２１の劣化を抑えることができる。

　図２０の矢印＃１０１として示すように、状態ｓ１から状態ｓ２への遷移は、周辺の明るさが明るさｎ１２より暗い状態において、明るさｎ１２に変化したときに生じる。一方、矢印＃１１１として示す、状態ｓ２から状態ｓ１への遷移は、周辺の明るさが明るさｎ１１より明るい状態において、明るさｎ１１に変化したときに生じる。

　状態ｓ１から状態ｓ２への遷移が生じる明るさｎ１２は、状態ｓ２から状態ｓ１への遷移が生じる明るさｎ１１より明るい値として設定される。

　また、矢印＃１０２として示すように、状態ｓ２から状態ｓ３への遷移は、周辺の明るさが明るさｎ１４より暗い状態において、明るさｎ１４に変化したときに生じる。一方、矢印＃１１２として示す、状態ｓ３から状態ｓ２への遷移は、周辺の明るさが明るさｎ１３より明るい状態において、明るさｎ１３に変化したときに生じる。

　状態ｓ２から状態ｓ３への遷移が生じる明るさｎ１４は、状態ｓ３から状態ｓ２への遷移が生じる明るさｎ１３より明るい値として設定される。

　他の状態間の遷移についても同様である。例えば、矢印＃１０６として示すように、状態ｓ６から状態ｓ７への遷移は、周辺の明るさが明るさｎ２２より暗い状態において、明るさｎ２２に変化したときに生じる。一方、矢印＃１１６として示す、状態ｓ７から状態ｓ６への遷移は、周辺の明るさが明るさｎ２１より明るい状態において、明るさｎ２１に変化したときに生じる。

　状態ｓ６から状態ｓ７への遷移が生じる明るさｎ２２は、状態ｓ７から状態ｓ６への遷移が生じる明るさｎ２１より明るい値として設定される。

　このように、透過率の調整には、図２０の双方向の矢印で示すようにヒステリシス特性が設定される。

　ヒステリシス特性を持たせた形で透過率が調整されることにより、少しの照度変化によって透過率が頻繁に変わり、ユーザが不快に感じてしまうことを防ぐことが可能となる。

　すなわち、明るい状態から暗い状態に変化するときの、透過率を上昇させる閾値と、暗い状態から明るい状態に変化するときの、透過率を低下させる閾値とに差をつけることにより、透過率が頻繁に変化することを防ぐことができる。

　透過率の調整だけでなく、表示輝度の調整にもヒステリシス特性が設定される。これにより、表示輝度の調整を、外光の変化に合わせて、より自然な形で行うことが可能となる。

　図２１は、透過率と表示輝度の設定例を示す他の図である。

　図２１の上段は、横軸を周辺の明るさ、縦軸を透過率としたときの透過率の変化を表す。なお、上述したように、ここでいう透過率は、調光素子１４の透過率を調整することによって実現される、HMD１全体の透過率である。また、図２１の下段は、横軸を周辺の明るさ、縦軸を表示部１１の表示輝度としたときの表示輝度の変化を表す。

　透過率は、図２０を参照して説明したように、周辺が暗い状態から明るい状態に変化する場合、明るさｎ１２のときに５０％から２０％に変化し、明るさｎ１８のときに２０％から１０％に変化する。また、透過率は、周辺が明るい状態から暗い状態に変化する場合、明るさｎ１７のときに１０％から２０％に変化し、明るさｎ１１のときに２０％から５０％に変化する。

　表示輝度は、図２０を参照して説明したように、周辺が暗い状態から明るい状態に変化する場合、明るさｎ１２のときに５０％から４０％に変化し、明るさｎ１４のときに４０％から６０％に変化する。また、表示輝度は、明るさｎ１６のときに６０％から８０％に変化し、明るさｎ１８のときに８０％から６０％に変化する。表示輝度は、明るさｎ２０のときに６０％から８０％に変化し、明るさｎ２２のときに８０％から１００％に変化する。

　また、表示輝度は、周辺が明るい状態から暗い状態に変化する場合、明るさｎ２１のときに１００％から８０％に変化し、明るさｎ１９のときに８０％から６０％に変化する。また、表示輝度は、明るさｎ１７のときに６０％から８０％に変化し、明るさｎ１５のときに８０％から６０％に変化する。表示輝度は、明るさｎ１３のときに６０％から４０％に変化し、明るさｎ１１のときに４０％から５０％に変化する。

　通常時、HMD１においては、このような透過率と表示輝度の組み合わせを用いて、各種の情報の表示が行われる。周辺の明るさに応じた透過率と表示輝度の制御は、例えば、ユーザが動いている速度などの、ユーザの状態に応じた間隔で行われる。

　ここで、HMD１などのウェアラブル端末を屋外で使用する場合、外光が非常に強いことによって、表示が見えづらくなることがある。このような状況に対して、例えば、特開２０１２－２５２０９１号公報や特開２０１３－５２０１号公報には、透過率を照度センサの出力値に基づいて制御する技術が開示されている。

　調光素子として例えばエレクトロクロミック素子を用いることが考えられる。エレクトロクロミック素子は、材料の酸化反応・還元反応を利用することにより、透過率を変化させるものである。

　イオンの拡散などの化学反応を利用した調光素子は、液晶シャッターなどの素子と比較すると、透過率の変化の応答速度が数秒程度といったように遅い。応答速度が遅いことにより、明るい場所から暗い場所に移動した場合、透過率の上昇が遅れ、数秒間、ユーザの視界が暗いままになるといった状況が起こりうる。

　応答速度が遅いことの対策として、明るさの検出周期を短くするといった対策が考えられる。しかし、明るさの検出周期を短くした場合、明るさの短時間の変化にも連動して透過率が変化してしまうことになる。透過率が頻繁に変化することになって、ユーザが不快に感じてしまうことがある。

　すなわち、明るさの変化が起こるときには調光素子を素早く応答させた方が好ましいが、透過率の変化が頻繁に起こりすぎるとユーザが不快に感じることがある。

　HMD１においては、ユーザに不快感を与えるのを防ぐために、透過率と表示輝度の制御をユーザの状態に応じた間隔で行うなどの各種の処理が行われる。

＜構成例１＞
　図２２は、HMD１の構成例を示すブロック図である。

　図２２に示す構成のうち、図１２を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　なお、図２２には、HMD１の一部の構成のみが示されている。図２２のHMD１には、図１２を参照して説明した他の構成も含まれる。図２４、図２６、図２８に示す構成についても同様である。

　図２２の制御部５１は、位置・姿勢推定部８１と表示制御部８４から構成される。表示制御部８４は、透過率制御部１０１と表示輝度制御部１０２から構成される。

　位置・姿勢推定部８１は、モーションセンサ５２から供給されたセンサデータを解析し、ユーザの状態を推定する。位置・姿勢推定部８１が推定するユーザの状態には、ユーザの動きの種類と、ユーザの動きの速さのうちの少なくともいずれかが含まれる。位置・姿勢推定部８１に対しては、モーションセンサ５２を構成する加速度センサ７１により検出された加速度、ジャイロセンサ７２により検出された角速度の情報がセンサデータとして供給される。

　例えば、明るさの変化を伴わない、首振りなどの動きが生じている状況、体が動かずにHMD１が動いている状況などの動きの種類の分類は、加速度の変化に基づいて行われる。また、加速度の積分値によって、ユーザの動きの速さが検出される。地磁気センサがモーションセンサ５２に設けられ、方角に関する情報に基づいてユーザの動きの速さなどが検出されるようにしてもよい。

　位置・姿勢推定部８１は、ユーザの動きの種類とユーザの動きの速さを表す情報を透過率制御部１０１と表示輝度制御部１０２に出力する。

　透過率制御部１０１は、位置・姿勢推定部８１から供給された情報によりユーザの状態を特定し、照度センサ５４により検出された周辺照度の読み出し間隔を調整する。照度センサ５４による周辺照度の検出は、所定の周期で繰り返し行われる。

　透過率制御部１０１は、調整した読み出し間隔に従って周辺照度を読み出し、周辺照度を読み出す毎に、調光素子１４の透過率を、図２０等を参照して説明したようにして制御する。周辺照度の読み出し間隔を制御することにより、調光素子１４の透過率の制御を行う間隔も制御されることになる。

　例えば、透過率制御部１０１は、ユーザが静止している場合、周辺照度の読み出しを、１秒以上といったような長い間隔で行う。ユーザが静止している場合、周辺の環境が急変するような状況はあまりなく、透過率制御部１０１は、透過率を制御する間隔をそれほど短くする必要がない。

　１秒以上といったような長い間隔で透過率を制御することにより、前方を一瞬遮られたような場合でも、調光素子１４の透過率の制御が行われないため、ユーザに不快感を与えてしまうのを防ぐことができる。

　また、透過率制御部１０１は、ユーザが歩いている場合、周辺照度の読み出しを、0.1秒といったような短い間隔で行う。ユーザが歩いている場合、明るい屋外から暗い屋内に移動するなどの、明るさが異なる場所に移動することが想定されるため、透過率制御部１０１は、周辺照度の読み出し間隔を短く設定する。

　0.1秒以上といったような短い間隔で透過率を制御することにより、調光素子１４の応答速度が遅い場合であっても、遅延感の無い動作を行わせることが可能となる。

　表示輝度制御部１０２は、透過率制御部１０１と同様にして、周辺照度の読み出し間隔と、表示輝度の制御の間隔を制御する。

　すなわち、表示輝度制御部１０２は、位置・姿勢推定部８１から供給された情報によりユーザの状態を特定し、周辺照度の読み出し間隔を調整する。表示輝度制御部１０２は、調整した読み出し間隔に従って周辺照度を読み出し、周辺照度を読み出す毎に、表示部１１の表示輝度を、図２０等を参照して説明したようにして制御する。

　例えば、表示輝度制御部１０２は、ユーザが静止している場合、周辺照度の読み出しを、１秒以上といったような長い間隔で行う。また、表示輝度制御部１０２は、ユーザが歩いている場合、周辺照度の読み出しを、0.1秒といったような短い間隔で行う。

　ここで、図２３のフローチャートを参照して、図２２の構成を有するHMD１による表示制御処理について説明する。

　ステップＳ１０１において、モーションセンサ５２の加速度センサ７１は、HMD１の加速度を検出し、ジャイロセンサ７２は、HMD１の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部８１に供給される。

　ステップＳ１０２において、位置・姿勢推定部８１は、モーションセンサ５２から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度を表す情報は透過率制御部１０１と表示輝度制御部１０２に供給される。

　ステップＳ１０３において、表示制御部８４（透過率制御部１０１と表示輝度制御部１０２）は、位置・姿勢推定部８１から供給された情報によりユーザの状態を特定し、照度センサ５４により検出された周辺照度の読み出し間隔を決定する。

　ステップＳ１０４において、表示制御部８４は、決定した読み出し間隔に従って周辺照度を読み出す。

　ステップＳ１０５において、表示制御部８４は、周辺照度が低下して閾値以下になったか否かを判定する。

　周辺照度が閾値以下になったとステップＳ１０５において判定した場合、ステップＳ１０６において、表示制御部８４は、透過率と表示輝度を制御する。すなわち、図２０、図２１を参照して説明した、周辺照度が閾値より低下したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　一方、周辺照度が閾値以下になっていないとステップＳ１０５において判定した場合、ステップＳ１０７において、表示制御部８４は、周辺照度が上昇して閾値以上になったか否かを判定する。

　周辺照度が閾値以上になったとステップＳ１０７において判定した場合、ステップＳ１０８において、表示制御部８４は、透過率と表示輝度を制御する。すなわち、図２０、図２１を参照して説明した、周辺照度が閾値より上昇したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　周辺照度が閾値以上になっていないとステップＳ１０７において判定された場合、または、ステップＳ１０６，Ｓ１０８の処理が行われた後、ステップＳ１０１に戻り、以上の処理が繰り返される。

　以上のように、周辺照度の読み出し間隔をユーザの動きの速さに基づいて決定することにより、ユーザが歩行している場合であっても、明るさの変化に対して遅延なく、透過率と表示輝度の調整を行うことが可能となる。

　透過率と表示輝度の調整を遅延なく行うことにより、歩行時のユーザの安全性を確保することができる。

　また、静止時には、透過率と表示輝度が頻繁に変わることがなくなるため、短時間の明るさの変化に対して反応することがなくなり、透過率と表示輝度の不快な変化の発生を抑えることができる。また、透過率と表示輝度の制御を行う間隔を長くすることによって、演算リソースの削減が可能となり、消費電力の削減や、画像のレンダリングなどにリソースを分配することが可能となる。

　このような表示制御処理が、図１３のステップＳ１において行われる。図２５、図２７、および図２９を参照して説明する表示制御処理も同様に、図１３のステップＳ１において行われる処理となる。

　照度センサ５４により検出された周辺照度の読み出し間隔が調整されるのではなく、照度センサ５４による周辺照度の検出間隔が調整されるようにしてもよい。

＜構成例２＞
　図２４は、HMD１の他の構成例を示すブロック図である。

　図２４に示すHMD１の制御部５１の構成は、位置・姿勢推定部８１に代えて画像解析部１１１が設けられている点で、図２２に示す構成と異なる。画像解析部１１１に対しては、カメラ５３により撮像された画像が供給される。カメラ５３による撮像は、所定の周期で繰り返し行われる。

　図２４のHMD１においては、カメラ５３により撮像された画像を解析することによって所定の時間経過後の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。

　画像解析部１１１は、現在の画像の中心輝度と、直前に撮像された画像の中心輝度とを比較することによって明るさの変化を検出する。中心輝度は、画像の中心を含む所定の範囲の輝度である。明るさの変化が、画像全体の輝度を用いて検出されるようにしてもよい。

　ユーザの正面方向とカメラ５３の撮影方向が一致するため、移動しようとしているユーザは、移動方向、すなわち画像の中心部を向いていると考えられる。画像中心部の輝度は、所定時間後の画像全体の輝度を表しているといえる。

　画像解析部１１１は、画像中心部の方向をユーザの移動方向とし、画像中心部の輝度である中心輝度を、所定時間経過後の明るさを表す輝度として算出する。画像解析部１１１は、中心輝度の情報を透過率制御部１０１と表示輝度制御部１０２に出力する。

　透過率制御部１０１は、画像解析部１１１から供給された情報により表される中心輝度に基づいて、調光素子１４の透過率を、図２０等を参照して説明したようにして制御する。中心輝度に応じて処理が行われることにより、透過率がいわば先取り的に制御されることになる。

　表示輝度制御部１０２は、画像解析部１１１から供給された情報により表される中心輝度に基づいて、表示部１１の表示輝度を、図２０等を参照して説明したようにして制御する。中心輝度に応じて処理が行われることにより、表示部１１の表示輝度が先取り的に制御されることになる。

　ここで、図２５のフローチャートを参照して、図２４の構成を有するHMD１による表示制御処理について説明する。

　ステップＳ１１１において、カメラ５３は、周辺環境の撮像を行う。

　ステップＳ１１２において、画像解析部１１１は、カメラ５３により撮像された画像の中心輝度を算出する。

　ステップＳ１１３において、表示制御部８４は、中心輝度が低下して閾値以下になったか否かを判定する。

　中心輝度が閾値以下になったとステップＳ１１３において判定した場合、ステップＳ１１４において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、輝度が閾値より低下したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　一方、中心輝度が低下して閾値以下になっていないとステップＳ１１３において判定した場合、ステップＳ１１５において、表示制御部８４は、中心輝度が上昇して閾値以上になったか否かを判定する。

　中心輝度が閾値以上になったとステップＳ１１５において判定した場合、ステップＳ１１６において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、輝度が閾値より上昇したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　中心輝度が閾値以上になっていないとステップＳ１１５において判定された場合、または、ステップＳ１１４，Ｓ１１６の処理が行われた後、ステップＳ１１１に戻り、以上の処理が繰り返される。

　以上の処理により、カメラ５３により撮像された画像に基づいて、ユーザが所定時間経過後にいると推測される環境の明るさを予測することにより、遅延なく、透過率と表示輝度の調整を行うことが可能となる。

＜構成例３＞
　図２６は、HMD１のさらに他の構成例を示すブロック図である。

　図２６に示すHMD１の制御部５１の構成は、位置・姿勢推定部８１と撮像制御部８３が設けられている点で、図２４に示す構成と異なる。図２６のHMD１においては、カメラ５３による撮像間隔が、ユーザの状態に応じて調整される。また、カメラ５３により撮像された画像から周辺の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。

　位置・姿勢推定部８１は、モーションセンサ５２から供給されたセンサデータを解析し、ユーザの動きの種類と、ユーザの動きの速さを検出する。位置・姿勢推定部８１は、ユーザの動きの種類とユーザの動きの速さを表す情報を撮像制御部８３に出力する。

　撮像制御部８３は、位置・姿勢推定部８１から供給された情報によりユーザの状態を特定し、カメラ５３による撮像間隔を調整する。

　例えば、撮像制御部８３は、ユーザが静止している場合、周辺の撮像を、１秒以上といったような長い間隔で行う。また、透過率制御部１０１は、ユーザが歩いている場合、周辺の撮像を、0.1秒といったような短い間隔で行う。調整された間隔に従ってカメラ５３により撮像された画像は画像解析部１１１に供給される。

　画像解析部１１１は、図２４の画像解析部１１１と同様に、カメラ５３により撮像された画像の中心輝度に基づいて、明るさの変化を検出する。

　ここで、図２７のフローチャートを参照して、図２６の構成を有するHMD１による表示制御処理について説明する。

　ステップＳ１２１において、モーションセンサ５２の加速度センサ７１は、HMD１の加速度を検出し、ジャイロセンサ７２は、HMD１の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部８１に供給される。

　ステップＳ１２２において、位置・姿勢推定部８１は、モーションセンサ５２から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度を表す情報は撮像制御部８３に供給される。

　ステップＳ１２３において、撮像制御部８３は、位置・姿勢推定部８１から供給された情報によりユーザの状態を特定し、カメラ５３による撮像間隔を決定する。

　ステップＳ１２４において、カメラ５３は、撮像制御部８３により決定された撮像間隔に従って周辺環境の撮像を行う。

　ステップＳ１２５において、画像解析部１１１は、カメラ５３により撮像された画像の中心輝度を算出する。

　ステップＳ１２６において、画像解析部１１１は、中心輝度が、予め設定されている時間であるｄ秒前の輝度から、ΔＬだけ低下したか否かを判定する。ΔＬは所定の輝度を表す。

　ｄ秒前の輝度からΔＬだけ低下したとステップＳ１２６において判定した場合、ステップＳ１２７において、画像解析部１１１は、現在のユーザの速度に基づいて、Ｔ秒後の画像全体の輝度を予測する。例えば、カメラ５３により撮像された画像のうち、現在のユーザの速度に応じた範囲が設定され、設定された範囲の輝度が、Ｔ秒後の画像全体の予測輝度として求められる。

　ステップＳ１２８において、画像解析部１１１は、予測輝度が閾値以下であるか否かを判定する。

　予測輝度が閾値以下であるとステップＳ１２８において判定した場合、ステップＳ１２９において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、輝度が閾値より低下したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　一方、ステップＳ１２６において、中心輝度がｄ秒前の輝度からΔＬだけ低下していないと判定した場合、ステップＳ１３０において、画像解析部１１１は、中心輝度が、ｄ秒前の輝度からΔＬだけ上昇したか否かを判定する。

　ｄ秒前の輝度からΔＬだけ上昇したとステップＳ１３０において判定した場合、ステップＳ１３１において、画像解析部１１１は、現在のユーザの速度に基づいて、Ｔ秒後の画像全体の輝度を予測する。

　ステップＳ１３２において、画像解析部１１１は、予測輝度が閾値以上であるか否かを判定する。

　予測輝度が閾値以上であるとステップＳ１３２において判定した場合、ステップＳ１３３において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、輝度が閾値より上昇したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　予測輝度が閾値以上ではないとステップＳ１３２において判定された場合、ステップＳ１２１に戻り、以上の処理が繰り返される。ｄ秒前の輝度からΔＬだけ上昇していないとステップＳ１３０において判定された場合、または、ステップＳ１２９，Ｓ１３３の処理が行われた場合も同様に、ステップＳ１２１に戻り、以上の処理が繰り返される。

　以上の処理により、透過率と表示輝度をユーザの移動に追随して調整するだけでなく、所定時間経過後の環境の明るさをユーザの状態に応じて予測して、透過率と表示輝度を調整することが可能となる。

　ユーザが歩行している場合と走っている場合とで、Ｔ秒の設定が切り替えられるようにしてもよい。例えば、ユーザが走っている場合、歩行している場合より短い時間だけ先の時間の明るさが予測される。

＜構成例４＞
　図２８は、HMD１のさらに他の構成例を示すブロック図である。

　図２８に示すHMD１の制御部５１の構成は、撮像制御部８３の代わりに周辺環境認識部８２とロケーション情報処理部１２１が設けられている点で、図２６に示す構成と異なる。図２８のHMD１においては、ロケーション情報に基づいて所定の時間経過後の周辺の明るさが予測され、予測された明るさの変化に応じて、透過率と表示輝度が制御される。ロケーション情報は、ユーザの位置の情報である。

　位置・姿勢推定部８１は、モーションセンサ５２から供給されたセンサデータを解析し、ユーザの動きの種類と、ユーザの動きの速さを検出する。位置・姿勢推定部８１は、ユーザの動きの種類とユーザの動きの速さを表す情報を画像解析部１１１とロケーション情報処理部１２１に出力する。

　画像解析部１１１は、ユーザの動きの種類とユーザの動きの速さが位置・姿勢推定部８１により検出されることに応じて、カメラ５３により撮像された画像を解析し、画像に写っている、周辺の環境の特徴を抽出する。画像解析部１１１は、周辺の環境の特徴に関する情報をロケーション情報処理部１２１に出力する。画像解析部１１１により抽出された周辺の環境の特徴は、現在位置の推定に用いられる。

　ロケーション情報処理部１２１は、画像解析部１１１から供給された情報により表される特徴に基づいて現在位置を推定する。ロケーション情報処理部１２１に対しては、例えば、地図情報とともに、地図上の各位置の特徴に関する情報が予め与えられている。

　ロケーション情報処理部１２１は、画像解析部１１１から供給された情報により表される特徴と、予め与えられている各位置の特徴とを照合することによって、現在位置を推定する。現在位置の推定は、適宜、位置・姿勢推定部８１により検出されたユーザの状態に応じて位置を補正することによって行われる。

　ロケーション情報処理部１２１は、現在位置から所定の時間経過後の位置を、位置・姿勢推定部８１により検出されたユーザの状態に応じて推定し、推定結果を表す情報を、現在位置の情報とともに周辺環境認識部８２に出力する。

　周辺環境認識部８２は、照度センサ５４により検出された周辺照度を現在位置の周辺照度として特定する。

　また、周辺環境認識部８２は、ロケーション情報処理部１２１から供給された情報により表される、所定の時間経過後の位置における周辺照度を推定する。周辺環境認識部８２に対しては、例えば、地図情報とともに、地図上の各位置の周辺照度に関する情報が予め与えられている。

　周辺環境認識部８２は、予め与えられている各位置の周辺照度に関する情報を参照し、ロケーション情報処理部１２１により推定された位置の周辺照度を特定する。例えば、現在からＴ秒後の位置の周辺照度が周辺環境認識部８２により予測される。

　ここで、図２９のフローチャートを参照して、図２８の構成を有するHMD１による表示制御処理について説明する。

　ステップＳ１４１において、モーションセンサ５２の加速度センサ７１は、HMD１の加速度を検出し、ジャイロセンサ７２は、HMD１の角速度を検出する。加速度の情報および角速度の情報はモーションデータとして位置・姿勢推定部８１に供給される。

　ステップＳ１４２において、位置・姿勢推定部８１は、モーションセンサ５２から供給されたモーションデータを解析し、ユーザの動きの種類を推定するとともに、ユーザの動きの速度を算出する。ユーザの動きの種類とユーザの動きの速度の情報は画像解析部１１１とロケーション情報処理部１２１に供給される。

　ステップＳ１４３において、カメラ５３は、周辺環境の撮像を行う。撮像された画像は画像解析部１１１に供給される。

　ステップＳ１４４において、画像解析部１１１は、カメラ５３により撮像された画像を解析し、画像に写っている、周辺の環境の特徴を抽出する。周辺環境の特徴に関する情報はロケーション情報処理部１２１に供給される。

　ステップＳ１４５において、ロケーション情報処理部１２１は、画像解析部１１１から供給された情報により表される特徴に基づいて現在位置を推定する。

　ステップＳ１４６において、周辺環境認識部８２は、照度センサ５４により検出された現在位置の周辺照度を取得する。

　ステップＳ１４７において、周辺環境認識部８２は、周辺照度が一定以上低下したか否かを判定する。

　例えば周辺照度が急に低下したことから、周辺照度が一定以上低下したとステップＳ１４７において判定された場合、ステップＳ１４８において、図１４を参照して説明した危険時用情報表示処理が行われる。

　周辺照度が一定値以上低下していないとステップＳ１４７において判定された場合、または、ステップＳ１４８において危険時用情報表示処理が行われた場合、処理はステップＳ１４９に進む。

　ステップＳ１４９において、周辺環境認識部８２は、現在のユーザの速度に基づいて、Ｔ秒後の位置の周辺照度を予測する。

　ステップＳ１５０において、周辺環境認識部８２は、Ｔ秒後の位置の周辺照度が低下して閾値以下になるか否かを判定する。

　Ｔ秒後の位置の周辺照度が閾値以下になるとステップＳ１５０において判定された場合、ステップＳ１５１において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、周辺照度が閾値より低下したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　一方、ステップＳ１５０において、Ｔ秒後の位置の周辺照度が閾値以下にならないと判定した場合、ステップＳ１５２において、周辺環境認識部８２は、Ｔ秒後の位置の周辺照度が上昇して閾値以上になるか否かを判定する。

　Ｔ秒後の位置の周辺照度が閾値以上になるとステップＳ１５２において判定された場合、ステップＳ１５３において、表示制御部８４は、透過率と表示輝度を制御する。図２０、図２１を参照して説明した、周辺照度が閾値より上昇したときの組み合わせを用いて、透過率制御部１０１により調光素子１４の透過率が調整され、表示輝度制御部１０２により表示部１１の表示輝度が調整される。

　Ｔ秒後の周辺照度が閾値以上にならないとステップＳ１５２において判定された場合、ステップＳ１４１に戻り、以上の処理が繰り返される。ステップＳ１５１，Ｓ１５３の処理が行われた場合も同様に、ステップＳ１４１に戻り、以上の処理が繰り返される。

　以上の処理により、ユーザが歩行している場合であっても、所定時間経過後にユーザがいると推測される位置の周辺照度を予測し、周辺照度の変化に対して遅延なく、透過率と表示輝度の調整を行うことが可能となる。

　画像を解析することによって現在位置の推定が行われるものとしたが、GPSなどを用いて現在位置の推定が行われるようにしてもよい。GPSを用いることにより、制御部５１は、トンネルの出入り口付近などでの急な照度変化を予測し、透過率と表示輝度を事前に変化させることが可能となる。

　GPSを用いる場合、測位結果の精度に関する対策が必要となる。例えば、GPSの測定結果の推移から得られた速度と、モーションセンサ５２により検出されたセンサデータに基づいて算出された速度に一定以上の乖離がある場合、モーションセンサ５２により検出されたセンサデータに基づいて算出された速度に基づいて、測位結果が補正されるようにしてもよい。

＜変形例＞
　以上の表示制御は、メガネ型のウェアラブル端末ではなく、スマートホン、タブレット端末などの携帯端末に適用可能である。

　例えば、携帯端末のカメラにより撮像された画像に重ねて所定の画像を表示させる場合、カメラにより撮像された画像の透過度が調光素子１４の透過度と同様にして調整され、重ねて表示される画像の表示輝度が表示部１１の表示輝度と同様にして調整される。

　表示の制御を行う制御部（表示制御部８４）と表示部（映像表示部５７）がHMD１の内部に設けられるものとしたが、それらの構成がHMD１の外部に設けられるようにしてもよい。この場合、表示制御部が行う制御には、調光素子と表示部に対する直接の制御だけでなく、表示のための制御信号を表示部に対して出力することも含まれる。制御信号は、表示する画像データそのものである場合もあるし、画像の表示を指示する信号だけの場合もある。

・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

　図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部と
　を備える情報処理装置。
（２）
　前記表示制御部は、前記形状情報を表示させた後、輝度を変化させて前記形状情報を表示させる
　前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記形状情報の輝度の変化を、ユーザの属性に応じて、または、前記ユーザの位置と姿勢のうちの少なくともいずれかを含む前記ユーザの状態に応じて制御する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記形状情報として、前記オブジェクトの輪郭線を表示させる
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記取得部は、前記オブジェクトの位置、前記オブジェクトまでの距離、前記オブジェクトの高さ、および、前記オブジェクトの種類のうちの少なくともいずれかに関する情報を前記環境情報として取得する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記表示制御部は、前記環境情報に基づいて特定される前記オブジェクトの危険度に応じて、前記形状情報の表示を制御する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記表示制御部は、前記形状情報としての前記オブジェクトの輪郭線を、種類、太さ、色、および階調のうちの少なくともいずれかを前記危険度に応じて変えて表示させる
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記表示制御部は、前記形状情報として、前記オブジェクトの特徴点を表す情報を表示させる
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記実空間の光を所定の透過率でユーザの目に導く調光部をさらに備え、
　前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、透過率を上げるように前記調光部を制御する
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記実空間を撮像する撮像部と、
　前記閾値より大きい明るさの変化が生じた場合、利得を上げるとともに露光時間を長くするように前記撮像部を制御する撮像制御部と
　をさらに備える前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記表示制御部は、前記形状情報を表示させた後、色温度を徐々に上げて前記形状情報を表示させる
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、明るさの変化が生じる前に表示させていた情報に代えて、前記形状情報を表示させる
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記表示制御部は、前記実空間の明るさが所定の明るさになった場合、前記形状情報の表示を終了させる
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　情報処理装置が、
　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
　情報処理方法。
（１６）
　コンピュータに、
　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
　処理を実行させるためのプログラムを記録した記録媒体。

　また、本技術は、以下のような構成をとることもできる。
（Ａ）
　実空間の光を所定の透過率でユーザの目に導く調光部と、
　前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と、
　前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う表示制御部と
　を備える情報処理装置。
（Ｂ）
　前記表示制御部は、前記ユーザが静止している場合、前記ユーザが動いている場合より長い間隔で前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ａ）に記載の情報処理装置。
（Ｃ）
　前記表示制御部は、前記ユーザが動いている場合、前記ユーザの移動速度が速いほど短くなるように前記間隔を調整する
　前記（Ａ）または（Ｂ）に記載の情報処理装置。
（Ｄ）
　前記表示制御部は、予め設定された組み合わせに従って、前記調光部の透過率と前記所定の情報の輝度を制御する
　前記（Ａ）乃至（Ｃ）のいずれかに記載の情報処理装置。
（Ｅ）
　前記表示制御部は、前記調光部の透過率を、前記所定の情報の輝度の切り替えに用いる段階数より少ない段階数で調整する
　前記（Ｄ）に記載の情報処理装置。
（Ｆ）
　複数の前記組み合わせのうちの第１の組み合わせを用いて前記所定の情報の表示を行う第１の状態から、前記実空間の明るさがより明るい場合に用いる第２の組み合わせを用いて前記所定の情報の表示を行う第２の状態に遷移するときの閾値となる前記実空間の明るさと、前記第２の状態から前記第１の状態に遷移するときの閾値となる前記実空間の明るさは、異なる明るさとして設定される
　前記（Ｄ）または（Ｅ）に記載の情報処理装置。
（Ｇ）
　前記第１の状態から前記第２の状態に遷移するときの閾値となる前記実空間の明るさは、前記第２の状態から前記第１の状態に遷移するときの閾値となる前記実空間の明るさより明るい
　前記（Ｆ）に記載の情報処理装置。
（Ｈ）
　照度センサをさらに備え、
　前記表示制御部は、前記照度センサにより検出された前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ａ）乃至（Ｇ）のいずれかに記載の情報処理装置。
（Ｉ）
　前記実空間を撮像する撮像部をさらに備え、
　前記表示制御部は、前記撮像部により撮像された画像を解析することによって特定された前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ａ）乃至（Ｇ）のいずれかに記載の情報処理装置。
（Ｊ）
　前記表示制御部は、前記ユーザの状態としての移動速度に基づいて予測された所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ａ）乃至（Ｇ）のいずれかに記載の情報処理装置。
（Ｋ）
　前記表示制御部は、前記ユーザの移動速度が速い場合、前記ユーザの移動速度が遅い場合より短い時間を前記所定の時間として予測された、前記所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ｊ）に記載の情報処理装置。
（Ｌ）
　前記表示制御部は、さらに、前記ユーザの状態としての前記ユーザの位置に基づいて予測された、前記所定の時間経過後の前記実空間の明るさに応じて、前記調光部の透過率と前記所定の情報の輝度とを制御する
　前記（Ｊ）または（Ｋ）に記載の情報処理装置。
（Ｍ）
　前記実空間を撮像する撮像部と、
　前記撮像部により撮像された画像を解析することによって特定された前記ユーザの位置に基づいて、前記実空間の明るさを予測する予測部と
　をさらに備える前記（Ｌ）に記載の情報処理装置。
（Ｎ）
　現在位置を測定する測位部と、
　前記測位部により測定された前記ユーザの位置に基づいて、前記実空間の明るさを予測する予測部と
　をさらに備える前記（Ｌ）に記載の情報処理装置。
（Ｏ）
　前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
　前記（Ａ）乃至（Ｍ）のいずれかに記載の情報処理装置。
（Ｐ）
　実空間の光を所定の透過率でユーザの目に導く調光部と、
　前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と
　を有する情報処理装置が、
　前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う
　情報処理方法。
（Ｑ）
　実空間の光を所定の透過率でユーザの目に導く調光部と、
　前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部と
　を有する情報処理装置のコンピュータに、
　前記調光部の透過率と、前記表示部が表示する前記所定の情報の輝度とを前記実空間の明るさに応じて制御することを、前記ユーザの状態に応じた間隔で行う
　処理を実行させるためのプログラムを記録した記録媒体。

　１　HMD，　２　コンテンツ配信サーバ，　３　ネットワーク，　１１　表示部，　１４　調光素子，　５１　制御部，　５２　モーションセンサ，　５３　カメラ，　５４　照度センサ，　５５　通信部，　５６　メモリ，　５７　映像表示部，　７１　加速度センサ，　７２　ジャイロセンサ，　８１　位置・姿勢推定部，　８２　周辺環境認識部，　８３　撮像制御部，　８４　表示制御部，　８５　カウンタ，　１０１　透過率制御部，　１０２　表示輝度制御部，　１１１　画像解析部，　１２１　ロケーション情報処理部

Claims

　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得する取得部と、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う表示制御部と
　を備える情報処理装置。
　前記表示制御部は、前記形状情報を表示させた後、輝度を変化させて前記形状情報を表示させる
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記形状情報の輝度の変化を、ユーザの属性に応じて、または、前記ユーザの位置と姿勢のうちの少なくともいずれかを含む前記ユーザの状態に応じて制御する
　請求項２に記載の情報処理装置。
　前記表示制御部は、前記形状情報として、前記オブジェクトの輪郭線を表示させる
　請求項１に記載の情報処理装置。
　前記取得部は、前記オブジェクトの位置、前記オブジェクトまでの距離、前記オブジェクトの高さ、および、前記オブジェクトの種類のうちの少なくともいずれかに関する情報を前記環境情報として取得する
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記環境情報に基づいて特定される前記オブジェクトの危険度に応じて、前記形状情報の表示を制御する
　請求項５に記載の情報処理装置。
　前記表示制御部は、前記形状情報としての前記オブジェクトの輪郭線を、種類、太さ、色、および階調のうちの少なくともいずれかを前記危険度に応じて変えて表示させる
　請求項６に記載の情報処理装置。
　前記表示制御部は、前記形状情報として、前記オブジェクトの特徴点を表す情報を表示させる
　請求項１に記載の情報処理装置。
　前記実空間の光を所定の透過率でユーザの目に導く調光部をさらに備え、
　前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、透過率を上げるように前記調光部を制御する
　請求項１に記載の情報処理装置。
　前記情報処理装置は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである
　請求項９に記載の情報処理装置。
　前記実空間を撮像する撮像部と、
　前記閾値より大きい明るさの変化が生じた場合、利得を上げるとともに露光時間を長くするように前記撮像部を制御する撮像制御部と
　をさらに備える請求項１に記載の情報処理装置。
　前記表示制御部は、前記形状情報を表示させた後、色温度を徐々に上げて前記形状情報を表示させる
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記閾値より大きい明るさの変化が生じた場合、明るさの変化が生じる前に表示させていた情報に代えて、前記形状情報を表示させる
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記実空間の明るさが所定の明るさになった場合、前記形状情報の表示を終了させる
　請求項１に記載の情報処理装置。
　情報処理装置が、
　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
　情報処理方法。
　コンピュータに、
　実空間に存在するオブジェクトを含む環境に関する情報である環境情報を取得し、
　前記実空間の明るさに閾値より大きい変化が生じた場合、前記実空間に重畳して視認可能な状態で所定の情報を表示する表示部に対して、前記オブジェクトの形状を表す形状情報の前記環境情報に基づく表示制御を行う
　処理を実行させるためのプログラムを記録した記録媒体。