JP2017182247A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017182247A
JP2017182247A JP2016065218A JP2016065218A JP2017182247A JP 2017182247 A JP2017182247 A JP 2017182247A JP 2016065218 A JP2016065218 A JP 2016065218A JP 2016065218 A JP2016065218 A JP 2016065218A JP 2017182247 A JP2017182247 A JP 2017182247A
Authority
JP
Japan
Prior art keywords
display
information processing
processing apparatus
display object
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016065218A
Other languages
English (en)
Inventor
貴広 岡山
Takahiro Okayama
貴広 岡山
遼 深澤
Ryo Fukazawa
遼 深澤
邦在 鳥居
Kuniari Torii
邦在 鳥居
近藤 一臣
Kazutomi Kondo
一臣 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016065218A priority Critical patent/JP2017182247A/ja
Priority to PCT/JP2017/007239 priority patent/WO2017169400A1/ja
Priority to US16/086,758 priority patent/US10861181B2/en
Priority to CN201780019336.4A priority patent/CN108885497B/zh
Priority to DE112017001660.6T priority patent/DE112017001660T5/de
Publication of JP2017182247A publication Critical patent/JP2017182247A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザによる表示オブジェクトの認識の容易化を図ることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う処理部を備え、処理部は、視線情報に基づいて、表示オブジェクトの表示の仕方を変える、情報処理装置が提供される。【選択図】図7

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
ユーザの視線位置に対応する表示位置を判定し、判定された表示位置に基づく位置に表示を行わせる技術が開発されている。車両の運転者の視線位置と視野特性に基づいて表示位置を判定し、判定された表示位置、または当該表示位置の近傍に警告表示を行わせる技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開平7−329657号公報
例えば、AR(Augmented Reality)技術などが利用されることによって、文字(または文字列。以下同様とする。)や画像、あるいはこれらの組み合わせなどを示す様々な表示オブジェクトを、現実空間(または、現実空間が撮像された撮像画像などの現実空間を示す画像。以下、同様とする。)に重畳して表示画面に表示することが可能である。
また、上記のように表示オブジェクトを現実空間に重畳させる場合には、重畳された表示オブジェクトが示す内容を、より容易にユーザに認識させたいというニーズがある。
本開示では、ユーザによる表示オブジェクトの認識の容易化を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う処理部を備え、上記処理部は、上記視線情報に基づいて、上記表示オブジェクトの表示の仕方を変える、情報処理装置が提供される。
また、本開示によれば、ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行うステップを有し、上記視線情報に基づいて、上記表示オブジェクトの表示の仕方が変わる、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う機能をコンピュータシステムに実現させ、上記表示させる処理を行う機能により、上記視線情報に基づいて、上記表示オブジェクトの表示の仕方が変わる、プログラムが提供される。
本開示によれば、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法の概要
図1は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、人間の視野特性の一例を示している。ここで、図1に示す“H”は水平方向を示し、図1に示す“V”は垂直方向を示している。また、図1に示す“φ”は、視線方向の方位角を示している。
人間の視野特性は、例えば下記のように分類することが可能である。
・弁別視野:人間が、任意の種類の表示オブジェクトの形状や内容を認識することができる範囲。
・ワード識別限界:人間が、文字(表示オブジェクトの一例)を読むことができる限界の範囲。
・有効視野:人間が、文字(表示オブジェクトの一例)以外の表示オブジェクトの形状を識別することができる範囲。
・その他の範囲(弁別視野、ワード識別限界、および有効視野以外の範囲):表示オブジェクトの形状や内容を識別することはできないが、表示オブジェクトがアニメーション表示されることなどによる表示オブジェクトの動きには気が付くことが可能な、範囲。
例えば特許文献1に記載の技術が用いられる場合には、弁別視野内を視線位置に応じた適正表示位置として、警告表示が行われる。ここで、上記に示すように、弁別視野内では、ユーザは、任意の種類の表示オブジェクトの形状や内容を認識することができうる。よって、例えば特許文献1に記載の技術のように、弁別視野内に警告表示を行えば、警告表示の内容をユーザに認識させることができる可能性がある。
ここで、例えば、現実空間に含まれる対象物に対応する表示オブジェクトを、現実空間に重畳して表示画面に表示させるユースケースを想定する。
本実施形態に係る表示画面としては、例えば、眼鏡型のウェアラブル装置のようなアイウェア型のウェアラブル装置(以下、単に「アイウェア」と示す場合がある。)や、HMD(Head Mounted Display)などの、ユーザの頭部に装着して用いられるウェアラブル装置の表示画面が挙げられる。HMDは、透過型の装置であってもよいし、非透過型の装置であってもよい。透過型としては、撮像デバイスにより撮像された画像を表示画面に表示させることにより電子的に外の景色を見せるビデオ透過型や、光学透過型など、任意の型が挙げられる。また、透過型を実現するための表示方式としては、例えば、ホログラム方式や、ハーフミラー方式、瞳分割方式など、透過型を実現することが可能な任意の表示方式が挙げられる。
また、本実施形態に係る表示画面は、例えば、スマートフォンや、タブレットなどの任意の装置の表示画面であってもよい。
本実施形態に係る対象物としては、例えば、人間などの生物や、物などが挙げられる。
本実施形態に係る対象物は、例えば、撮像画像に対して、顔認識技術や物体認識技術などの任意の認識技術を利用した処理が行われることによって、特定される。
また、本実施形態に係る対象物は、例えば、ユーザの位置を示す位置情報と、位置および対象物が対応付けられているデータベースとを用いて、特定されてもよい。位置情報としては、例えば、本実施形態に係る表示画面に係る装置が備える位置特定デバイスにより得られる位置データや、本実施形態に係る表示画面に係る装置に接続されている外部の位置特定デバイスより得られる位置データが挙げられる。位置特定デバイスとしては、例えば、GNSS(Global Navigation Satellite System)に係るデバイスなど、位置を特定することが可能な任意のデバイスが挙げられる。
本実施形態に係る表示オブジェクトとしては、例えば、文字や、画像(動画像または静止画像)、あるいはこれらの組み合わせなど、表示画面に表示することが可能な、任意の表示オブジェクトが挙げられる。具体例を挙げると、本実施形態に係る表示オブジェクトとしては、下記に示す例が挙げられる。なお、本実施形態に係る表示オブジェクの例が、下記に示す具体例に限られないことは、言うまでもない。
・テキストラベル(例えば、設定されている文字数以下の文字列)
・文章(例えば、文字数が設定されている文字数より多い文字列)
・アニメーションなしアイコン
・アニメーションありアイコン
・写真
・写真のサムネイル
・動画像
上記のようなユースケースを想定した場合、対象物に対応する表示オブジェクトをユーザの弁別視野内に表示させたとしても、ユーザが表示オブジェクトと対象物との関係や表示オブジェクトの内容を容易に把握することができない恐れがある。具体例を挙げると、例えば下記のような場合に、ユーザが表示オブジェクトと対象物との関係や表示オブジェクトの内容を容易に把握することができない恐れがある。
・対象物が複数存在し、各対象物にそれぞれ対応する複数の表示オブジェクトを表示させる場合(表示させる情報量が多くなる場合)
・対象物が上記その他の範囲にある場合
よって、対象物に対応する表示オブジェクトを表示させる場合には、“当該表示オブジェクトをユーザの弁別視野内に常に表示させることが、表示オブジェクトの望ましい表示方法である”とは、限らない。
そこで、本実施形態に係る情報処理装置は、“視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理”
(以下、「表示制御処理」と示す場合がある。)を行う。
また、本実施形態に係る情報処理装置が表示制御処理により表示させる表示オブジェクトの表示は、視線情報に基づいて表示の仕方が変わる。
ここで、本実施形態に係る視線情報とは、ユーザの視線を示すデータである。本実施形態に係る視線情報としては、例えば、“ユーザの視線の位置を示すデータ”や、“ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)”が挙げられる。
本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、“表示画面におけるユーザの視線の位置を示す座標データ”が挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。本実施形態に係る表示画面における基準位置は、例えば、予め設定された固定の位置であってもよいし、ユーザ操作などに基づいて設定可能な位置であってもよい。
本実施形態に係るユーザの視線の位置に関する情報が、表示画面におけるユーザの視線の位置を示す座標データである場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から、表示画面におけるユーザの視線の位置を示す座標データを取得する。また、上記の場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)することによって、表示画面におけるユーザの視線の位置を示す座標データを取得することも可能である。
本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、“瞳孔角膜反射法”などの“角膜反射法”や、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくAAM(Active Appearance Model)”などを利用した、任意の視線検出技術を用いて、ユーザの視線を検出することも可能である。
なお、本実施形態に係るユーザの視線の位置を示すデータは、上記“表示画面におけるユーザの視線の位置を示す座標データ”に限られない。
例えば、ユーザが透過型のアイウェアやHMDを装着している場合などにおいては、本実施形態に係るユーザの視線の位置を示すデータは、“ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、実オブジェクトの三次元画像と、視線検出技術を用いて特定(または推定)される視線ベクトルとに基づいて、特定(または推定)される。なお、ユーザが見ている実空間の実オブジェクトにおける位置の特定方法は、上記に限られず、ユーザが見ている実空間の実オブジェクトにおける位置を特定することが可能な任意の技術を用いることが可能である。
本実施形態に係るユーザの視線の位置に関する情報が、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データである場合、本実施形態に係る情報処理装置は、例えば、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを外部装置から取得する。また、上記の場合、本実施形態に係る情報処理装置は、例えば、視線検出技術などを用いてユーザが見ている実空間の実オブジェクトにおける位置を特定(または推定)することによって、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを取得することも可能である。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像が表示される方向が撮像された撮像画像データ(表示画面側から表示画面に対向する方向が撮像された撮像画像データ)が挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータは、例えば、実オブジェクトの三次元画像と、ユーザの視線ベクトルの特定に係るデータであってもよい。
例えば、ユーザの視線の位置の特定に用いることが可能なデータを用いる場合、本実施形態に係る情報処理装置は、例えば上記のような本実施形態に係るユーザの視線の位置の特定方法に係る処理を行い、ユーザの視線の位置を特定する(または推定する)。
図2は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、視線情報に基づき表示オブジェクトの表示の仕方が変わる例を示している。
図2のAは、表示画面Sにおいて、対象物Oに対して表示される表示オブジェクトの一例を示している。また、図2のBは、表示画面Sにおいて、対象物Oに対して表示される表示オブジェクトの他の例を示している。
図2のAの表示画面Sと、図2のBの表示画面Sとは、例えば、HMDの表示画面(ユーザの頭部に装着して用いられるウェアラブル装置の表示画面の一例)を示している。また、図2では、ユーザの視線は、表示画面Sの中心付近に向いているものとする。
表示画面Sにおける対象物Oの上部に、対象物Oに対応する表示オブジェクトを表示させる場合を例に挙げる。
例えば図2のAに示すように、ユーザの視線の先に対象物Oが存在する場合には、本実施形態に係る情報処理装置は、例えば、“アイコン(画像の一例。以下、同様とする。)と文字とを組み合わせ”(対象物Oに対応する表示オブジェクトの一例)が、表示画面Sに表示させる。
ここで、上述した人間の視野特性より、弁別視野またはワード識別限界ではない範囲では、ユーザは、文字を識別することは困難である。よって、図2のAに示す例では、本実施形態に係る情報処理装置は、例えば、ワード識別限界に、文字を表示させ、有効視野にアイコンを表示させる。
また、例えば図2のBに示すように、ユーザの視線の先に対象物Oが存在しない場合には、“アイコン”(対象物Oに対応する表示オブジェクトの他の例)が、表示画面Sに表示される。
ここで、図2のBに示すようにユーザの視線の先に対象物Oが存在しない場合において、図2のAと同様の表示オブジェクトを表示させたとしても、ユーザが、表示された文字を認識することは、困難である。また、その他の範囲では、ユーザは、表示オブジェクトの形状を識別することは困難である。よって、図2のBに示す例では、本実施形態に係る情報処理装置は、例えば、有効視野にアイコンを表示させる。
本実施形態に係る情報処理装置は、例えば図2に示すように、視野特性を考慮して、視線情報が示すユーザの視線に基づき表示オブジェクトの表示の仕方を変える。
例えば図2に示すように、表示オブジェクトの表示の仕方が変わることによって、ユーザが表示画面Sに表示される表示オブジェクトを認識するまでに要する時間を、より短くすることが可能となる。
よって、本実施形態に係る情報処理装置は、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
[2]本実施形態に係る情報処理方法に係る処理
次に、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
上述したように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、表示制御処理(“視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理”)を行う。
本実施形態に係る情報処理装置は、選択された表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる。ここで、現実空間を示す画像としては、例えば、現実空間が撮像された撮像画像や、CG(Computer Graphics)技術により生成された現実空間が仮想的に表された画像が挙げられる。
本実施形態に係る情報処理装置は、例えば、AR技術などの表示オブジェクトを現実空間に重畳させて表示させることが可能な任意の技術や、画像処理技術などの表示オブジェクトを現実空間を示す画像に重畳させて表示させることが可能な任意の技術を用いて、表示オブジェクトを表示させる。
具体的には、本実施形態に係る情報処理装置は、表示制御処理として、例えば、下記の(2−1)に示す第1の例に係る処理と(2−2)に示す第2の例に係る処理とを行う。
(2−1)表示制御処理の第1の例:表示オブジェクトの表示の仕方の変更に係る処理
本実施形態に係る情報処理装置は、例えば、視線情報に基づいて、表示オブジェクトの表示の仕方を変える。
ここで、本実施形態に係る情報処理装置が変える表示オブジェクトの表示の仕方としては、例えば、下記の(A)〜(D)に示す例が挙げられる。
(A)表示オブジェクトの表示の仕方の変更の第1の例
本実施形態に係る情報処理装置は、表示オブジェクトのレイアウトを変えることにより、表示オブジェクトの表示の仕方を変える。
本実施形態に係る情報処理装置は、例えば図2のA、図2のBを参照して示したように、視野特性を考慮して視線情報が示すユーザの視線に基づき表示オブジェクトを配置することによって、表示オブジェクトのレイアウトを変える。
(B)表示オブジェクトの表示の仕方の変更の第2の例
本実施形態に係る情報処理装置は、表示オブジェクトに対する装飾の仕方を変えることにより、表示オブジェクトの表示の仕方を変える。
本実施形態に係る情報処理装置が変える表示オブジェクトに対する装飾の仕方としては、例えば下記に示す例が挙げられる。なお、表示オブジェクトに対する装飾の例が、下記に示す例に限られないことは、言うまでもない。
・文字(表示オブジェクトの一例)を太字にする。
・画像(表示オブジェクトの一例)に色つきの枠を付す。
・文字や画像を明滅させる。
本実施形態に係る情報処理装置は、例えば下記のように、表示オブジェクトに対する装飾の仕方を変える。
・弁別視野またはワード識別限界ではない有効視野の範囲に、文字(表示オブジェクトの一例)を表示させる場合、本実施形態に係る情報処理装置は、文字を太字にする。また、弁別視野またはワード識別限界の範囲に文字を表示させる場合には、本実施形態に係る情報処理装置は、文字を太字にしない。
・その他の範囲に画像(表示オブジェクトの一例)を表示させる場合、本実施形態に係る情報処理装置は、画像に色つきの枠を付す、または、画像を明滅させる。また、弁別視野、ワード識別限界、あるいは有効視野に画像を表示させる場合、本実施形態に係る情報処理装置は、画像に色つきの枠を付さず、また、画像を明滅させない(つまり、表示オブジェクトである画像そのものを表示させる。)。
(C)表示オブジェクトの表示の仕方の変更の第3の例
本実施形態に係る情報処理装置は、表示オブジェクトの省略の仕方を変えることにより、表示オブジェクトの表示の仕方を変える。
本実施形態に係る情報処理装置は、例えば、文字(表示オブジェクトの一例)全体が、ワード識別限界内に表示できない場合には、三点リーダ(“…”)による省略などの任意の省略形式によって、文字の省略を行う。また、例えば、文字全体がワード識別限界内に表示できる場合には、本実施形態に係る情報処理装置は、文字の省略を行わない。
(D)表示オブジェクトの表示の仕方の変更の第4の例
本実施形態に係る情報処理装置は、例えば、上記(A)に示す第1の例に係る表示の仕方の変更〜上記(C)に示す第3の例に係る表示の仕方の変更のうちの、2以上の表示の仕方の変更を組み合わせることによって、表示オブジェクトの表示の仕方を変えることも可能である。
本実施形態に係る情報処理装置は、例えば、上記(A)に示す第1の例に係る表示の仕方の変更〜上記(D)に示す第4の例に係る表示の仕方の変更に示すように、視野特性を考慮して、視線情報が示すユーザの視線に基づき表示オブジェクトの表示の仕方を変える。
なお、表示オブジェクトの表示の仕方の変更に係る処理は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、下記の(i)〜(iv)に示すような処理を行うことも可能である。
(i)
本実施形態に係る情報処理装置は、例えば、さらに状態情報に基づいて、表示オブジェクトの表示の仕方を変える。
ここで、本実施形態に係る状態情報とは、ユーザの状態を示すデータである。本実施形態に係る状態情報としては、例えば、ユーザの行動認識結果を示すデータや、ユーザの対話状態を示すデータなどが挙げられる。
ユーザの行動認識結果を示すデータは、例えば、静止、歩行、走行、階段昇降、乗り物運転など、ユーザの行動の認識結果を示す。ユーザの行動は、例えば、本実施形態に係る表示画面に係る装置が備える、加速度センサやジャイロセンサなどの動きを検出することが可能なセンサの検出結果に基づき推定される。なお、ユーザの行動は、ユーザの行動を認識することが可能な、任意の技術により推定されてもよい。ユーザの行動の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
本実施形態に係る情報処理装置は、例えば、行動と表示の仕方とが対応付けられているテーブル(または、データベース)を参照し、認識された行動に対応する表示の仕方によって、表示オブジェクトを表示させる。認識された行動に対応して表示の仕方を変える方法としては、例えば、表示オブジェクトの大きさ、省略の程度、およびアニメーションや明滅などによる動きのうちの1または2以上を、認識された行動の動きの度合いによって変える方法が、挙げられる。具体例を挙げると、本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、ユーザが移動状態にある場合、アイコン(表示オブジェクトの一例)のみのレイアウトとする。
また、ユーザの対話状態を示すデータとしては、例えば、ユーザが会話しているか否かを示すデータが挙げられる。ユーザの対話状態を示すデータは、例えば、本実施形態に係る表示画面に係る装置が備える、マイクロホンなどの音声検出デバイスの検出結果に基づいて会話が検出されることにより、推定される。ユーザの対話状態の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
本実施形態に係る情報処理装置は、例えば、ユーザの対話状態を示すデータが示す対話の状態に対応する表示の仕方によって、表示オブジェクトを表示させる。対話の状態に対応して表示の仕方を変える方法としては、例えば、ユーザの会話している場合に、表示オブジェクトの大きさ、省略の程度、およびアニメーションや明滅などによる動きのうちの1または2以上を変える方法が、挙げられる。
なお、状態情報に基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
(ii)
本実施形態に係る情報処理装置は、例えば、さらに環境情報に基づいて、表示オブジェクトの表示の仕方を変える。
ここで、本実施形態に係る環境情報とは、ユーザの周辺環境を示すデータである。本実施形態に係る周辺環境を示すデータとしては、例えば、照度を示すデータや、輝度を示すデータなどが挙げられる。
照度を示すデータとしては、例えば、本実施形態に係る表示画面に係る装置が備える照度センサの検出結果を示すデータが挙げられる。
本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、照度が所定の閾値より大きい場合には、文字(表示オブジェクトの一例)を太字とすることなどによって、表示オブジェクトをより見やすくする。なお、照度を示すデータを用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
また、輝度を示すデータとしては、例えば、本実施形態に係る表示画面に係る装置が備える輝度センサの検出結果を示すデータが挙げられる。本実施形態に係る表示画面に係る装置がアイウェアやHMDである場合、輝度センサは、ユーザが向いている方向の輝度を検出するように配置される。
本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、輝度が所定の閾値より大きい場合には、文字(表示オブジェクトの一例)を太字とすることなどによって、表示オブジェクトをより見やすくする。なお、輝度を示すデータを用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
なお、環境情報に基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
(iii)
本実施形態に係る情報処理装置は、例えば、さらに、複数の表示オブジェクトの候補の中から選択された表示オブジェクトに基づいて、表示オブジェクトの表示の仕方を変える。本実施形態に係る情報処理装置は、例えば、選択された表示オブジェクトの属性を示す属性情報に基づいて、表示オブジェクトの表示の仕方を変える。
本実施形態に係る属性情報としては、例えば、表示オブジェクトの種類、重要度、優先度のうちの1または2以上を含むデータが挙げられる。
本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野外に存在し、かつ、属性情報が示す表示オブジェクトの重要度が所定の閾値より大きい場合には、表示オブジェクトを明滅させる、色つきの枠を付けるなどによって、表示オブジェクトをより強調する。なお、属性情報を用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
なお、表示オブジェクトに基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
(iv)
本実施形態に係る情報処理装置は、例えば、上記(i)に示す処理〜上記(iii)に示す処理のうちの2以上の処理を組み合わせた処理を行うことによって、表示オブジェクトの表示の仕方を変えてもよい。
(2−2)表示制御処理の第2の例:表示オブジェクトの選択に係る処理
本実施形態に係る情報処理装置は、対象物に対応する複数の表示オブジェクトの候補の中から、表示オブジェクトを選択する。
本実施形態に係る情報処理装置は、例えば、視線情報に基づき特定される表示画面における視点位置、表示画面における対象物の位置、および視野特性を示す情報に基づいて、対象物に対応する表示オブジェクトを選択する。本実施形態に係る視野特性を示す情報としては、例えば、図1を参照して示した人間の視野特性を示すデータが挙げられる。
より具体的には、本実施形態に係る情報処理装置は、上記視点位置と上記対象物の位置との距離を算出する。そして、本実施形態に係る情報処理装置は、算出された距離と、視野特性を示す情報とに基づいて、対象物に対応する表示オブジェクトを選択する。
本実施形態に係る情報処理装置は、算出された距離から上記対象物の位置が、視野特性のどの範囲に属するかを判定する。そして、本実施形態に係る情報処理装置は、対象物に対応する複数の表示オブジェクトの候補の中から、判定された範囲に対応する表示オブジェクトを選択する。
例えば、判定された範囲が有効視野内である場合、すなわち、対象物がユーザの有効視野内に存在する場合には、本実施形態に係る情報処理装置は、文字を含む表示オブジェクトを選択する。また、例えば、判定された範囲が有効視野外である場合、すなわち、対象物がユーザの有効視野外に存在する場合には、文字が除外された表示オブジェクトを選択する。
また、複数の表示オブジェクトの候補それぞれに、優先度が設定されている場合には、本実施形態に係る情報処理装置は、優先度が高い表示オブジェクトの候補を、優先的に選択することも可能である。本実施形態に係る情報処理装置は、例えば、属性情報を参照することによって、優先度を把握することが可能である。
本実施形態に係る情報処理装置は、例えば、上記(2−1)に示す第1の例に係る処理と上記(2−2)に示す第2の例に係る処理とを行うことによって、対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。また、表示オブジェクトの表示の仕方は、視線情報などに基づいて動的に変わる。
なお、本実施形態に係る表示制御処理は、上記(2−1)に示す第1の例に係る処理と上記(2−2)に示す第2の例に係る処理とに限られない。
例えば、本実施形態に係る情報処理装置は、視線情報などに基づいて表示が動的に変わることを抑制するための処理を、さらに行ってもよい。
本実施形態に係る情報処理装置は、例えば、設定されている時間間隔ごとに、本実施形態に係る表示制御処理を行う。
本実施形態に係る時間間隔としては、例えば、設定された秒ごとや、設定されたフレーム数ごとなどが挙げられる。本実施形態に係る時間間隔は、予め設定されている固定の時間間隔であってもよいし、ユーザの操作などに基づいて変更可能な可変の時間間隔であってもよい。
設定されている時間間隔ごとに本実施形態に係る表示制御処理が行われることによって、表示画面における表示オブジェクトの表示が動的に変わる頻度は、毎フレームで本実施形態に係る表示制御処理が行われる場合よりも少なくなる。よって、設定されている時間間隔ごとに本実施形態に係る表示制御処理が行われることにより、表示画面における表示オブジェクトの表示の切り替えが抑制されるので、ユーザにかかる負荷を低減することができる。
また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る表示制御処理が行われない期間では、既に表示されている表示オブジェクトのレイアウトを維持する処理を行ってもよい。
本実施形態に係る情報処理装置は、視線情報に基づき特定される表示画面における視点位置と、表示画面における対象物の位置との距離を算出する。そして、本実施形態に係る情報処理装置は、算出された距離に基づいて、表示オブジェクトの拡大、縮小を行うことによって、既に表示されている表示オブジェクトのレイアウトを維持する。
既に表示されている表示オブジェクトのレイアウトが維持されることによって、本実施形態に係る表示制御処理が行われない期間において、既に表示されている表示オブジェクトをみるユーザが感じうる違和感の低減を図ることができる。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上述したような表示制御処理を行う。
なお、上述した表示制御処理は、便宜上、本実施形態に係る情報処理方法に係る処理を規定したものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、上述した表示制御処理を、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
[3]本実施形態に係る情報処理方法に係る処理の一例
次に、本実施形態に係る情報処理方法に係る処理の具体例を示す。
図3は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
本実施形態に係る情報処理装置は、対象物を探索して対象物を検出する(S100)。本実施形態に係る情報処理装置は、例えば、“撮像画像に対して顔認識技術や物体認識技術などの任意の認識技術に係る処理を行うこと”や、“位置情報と、位置および対象物が対応付けられているデータベースとを用いること”、あるいは、これらの組み合わせによって、対象物を検出する。
なお、ステップS100の処理は、例えば、本実施形態に係る情報処理装置と通信可能なサーバなどの、本実施形態に係る情報処理装置の外部装置において行われてもよい。ステップS100の処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、当該外部装置から取得された対象物の検出結果を利用して、後述するステップS102以降の処理を行う。
本実施形態に係る情報処理装置は、対象物が検出されたか否かを判定する(S102)。
ステップS102において対象物が検出されたと判定されない場合には、本実施形態に係る情報処理装置は、図3に示す処理を終了する。また、本実施形態に係る情報処理装置は、ステップS102において対象物が検出されたと判定された場合に、後述するステップS104以降の処理を行う。
ステップS102において対象物が検出されたと判定された場合には、本実施形態に係る情報処理装置は、視線情報に基づいて表示画面における視点位置(注視点)を算出する(S104)。本実施形態に係る情報処理装置は、例えば、視線情報から特定される視線方向の直線と、表示画面との交点を、表示画面における視点位置とする。なお、表示画面における視点位置の算出方法は、上記に限られず、本実施形態に係る情報処理装置は、表示画面における視点位置を特定することが可能な、任意の方法を用いることが可能である。
本実施形態に係る情報処理装置は、検出された対象物に対応付けられている表示オブジェクトのデータを、記憶部(後述する)などの記録媒体から読み出す(S106)。
本実施形態に係る情報処理装置は、表示画面における検出された対象物の位置を算出する(S108)。ステップS100において対象物が複数検出された場合、本実施形態に係る情報処理装置は、検出された対象物ごとに位置を算出する。
本実施形態に係る情報処理装置は、例えば、対象物が含まれる撮像画像を表示画面に表示する際の対象物の表示画面における座標を、表示画面における対象物の位置とする。なお、表示画面における対象物の位置の算出方法は、上記に限られず、本実施形態に係る情報処理装置は、表示画面における対象物の位置を特定することが可能な、任意の方法を用いることが可能である。
本実施形態に係る情報処理装置は、ステップS104において算出された表示画面における視点位置と、ステップS108において算出された表示画面における対象物の位置との距離を算出する(S110)。ステップS100において対象物が複数検出された場合には、本実施形態に係る情報処理装置は、検出された対象物ごとに距離を算出する。
本実施形態に係る情報処理装置は、ステップS110において算出された距離と、視野特性の情報とに基づいて、表示画面に表示させる表示オブジェクトを選択する(S112)。ステップS100において対象物が複数検出された場合には、本実施形態に係る情報処理装置は、例えば、対象物ごとに表示オブジェクトを選択する。そして、本実施形態に係る情報処理装置は、選択された表示オブジェクトのレイアウトを計算し、表示オブジェクトを表示画面に表示させる(S114)。なお、ステップS112の処理、およびステップS114の処理の一例については、後述する。
本実施形態に係る情報処理装置は、例えば図3に示す処理を行うことによって、対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。また、例えば図3に示す処理が行われることによって、表示オブジェクトの表示の仕方は、視線情報などに基づいて動的に変わる。
なお、本実施形態に係る情報処理方法に係る処理は、図3に示す例に限られない。
例えば、アプリケーションが、本実施形態に係る表示制御処理以外の描画を実行する場合には、例外処理として、図3に示す表示制御処理が停止されてもよい。ここで、上記の場合において表示制御処理を停止するか否かを判定するためのデータ(例えば、割り込みのオン、オフを示すフラグなど)は、例えば、アプリケーションのメタデータに含まれる。
図4A〜図4Cそれぞれは、本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。図4Aは、アイコンと文字とが組み合わされた表示オブジェクトの表示の一例を示している。また、図4Bは、文字を示す表示オブジェクトの表示の一例を示している。また、図4Cは、タイトル、文字、およびアイコンとが組み合わされた表示オブジェクトの表示の一例を示している。
対象物に対応する表示オブジェクトが表す内容としては、例えば、人に関する内容(例えば、名前、ニックネーム、出身地、写真など、あるいは、これらの組み合わせ)と、物に関する内容(例えば、“食品の栄養価”、“本の作者や表紙”、“店の名前、場所、電話番号”など)との一方または双方が、挙げられる。なお、対象物に対応する表示オブジェクトが表す内容は、上記に示す例に限られず、任意の内容であってもよい。
なお、図4A〜図4Cでは、便宜上、複数の対象物それぞれに対応する表示オブジェクトを表しているが、図4A〜図4Cに表されている表示オブジェクトの中には、視線情報に基づいて表示されない表示オブジェクトも存在しうる。
図5は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図3のステップS112の処理、およびステップS114の処理の一例を示している。また、図6は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る属性情報の一例を示している。
本実施形態に係る情報処理装置は、表示画面において選択された表示オブジェクトを表示させる表示範囲を決定する(S200)。なお、本実施形態に係る情報処理装置は、ステップS200において、表示オブジェクトを表示させる表示位置をさらに決定してもよい。
本実施形態に係る情報処理装置は、例えば、視線情報に基づき特定される表示画面における視点位置と視野特性を示す情報とに基づいて、表示画面において表示オブジェクトを表示させる表示範囲を決定する。本実施形態に係る情報処理装置は、例えば、視点位置と視野特性を示す情報とにより特定される有効視野を元に、表示範囲を決定する。
本実施形態に係る情報処理装置は、図6に示す属性情報を参照して、優先度が高いフィールドに対応する表示オブジェクトの候補から順番に、後述するステップS202〜S206の処理を行う。また、表示オブジェクトの候補が存在しない場合には、本実施形態に係る情報処理装置は、図5に示す処理を終了する。
本実施形態に係る情報処理装置は、フィールドの値が文字列であり、かつ、ステップS200において決定された表示範囲が有効視野の範囲外であるか否かを判定する(S202)。
ステップS202において、フィールドの値が文字列であり、かつ、ステップS200において決定された表示範囲が有効視野の範囲外であると判定された場合には、本実施形態に係る情報処理装置は、他のフィールドに対応する表示オブジェクトに対して、ステップS202からの処理を行う。
また、ステップS202において、フィールドの値が文字列であり、かつ、ステップS200において決定された表示範囲が有効視野の範囲外であると判定されない場合には、本実施形態に係る情報処理装置は、決定された表示範囲に表示オブジェクトを配置する(S204)。そして、本実施形態に係る情報処理装置は、表示オブジェクトの配置により、ステップS200において決定された表示範囲を超えたか否かを判定する(S206)。
ステップS206において決定された表示範囲を超えたと判定されない場合には、本実施形態に係る情報処理装置は、他のフィールドに対応する表示オブジェクトに対して、ステップS202からの処理を行う。
また、ステップS206において決定された表示範囲を超えたと判定された場合には、本実施形態に係る情報処理装置は、図5に示す処理を終了する。
本実施形態に係る情報処理装置は、図3のステップS112の処理、およびステップS114の処理として、例えば図5に示す処理を行う。例えば図5に示す処理が行われることによって、表示オブジェクトが決定された表示範囲に表示される。
なお、図3のステップS112の処理、およびステップS114の処理は、図5に示す処理に限られない。
例えば、本実施形態に係る情報処理装置は、HTML(HyperText Markup Language)のフローレイアウトを利用して、表示オブジェクトを配置することが可能である。
また、上述したように、本実施形態に係る情報処理装置は、例えば、さらに、状態情報、環境情報、および選択された表示オブジェクトのうちの、1または2以上に基づいて、表示オブジェクトの表示の仕方を変えることができる。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
図7は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、属性情報や表示オブジェクトなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図8は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する処理部110の役目を果たす。なお、処理部110は、処理部110の処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、属性情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、例えば、撮像デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
情報処理装置100は、例えば図8に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図8に示す構成に限られない。
例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、情報処理装置100は、例えば、記録媒体156や、操作入力デバイス160、表示デバイス162を備えない構成をとることが可能である。
また、例えば、図8に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のICで実現されてもよい。
再度図7を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、撮像デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部102は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、処理部110を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部110は、本実施形態に係る表示制御処理を主導的に行う役目を果たし、視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。
また、処理部110は、例えば、視線情報に基づいて、例えば上記(A)〜上記(D)に示すように、表示オブジェクトの表示の仕方を変える。処理部110は、さらに、状態情報、環境情報、および選択された表示オブジェクトのうちの、1または2以上に基づいて、表示オブジェクトの表示の仕方を変えることも可能である。
より具体的には、処理部110は、例えば、上記(2−1)に示す第1の例に係る処理と上記(2−2)に示す第2の例に係る処理とを行うことによって、選択された表示オブジェクトを表示画面に表示させ、また、表示オブジェクトの表示の仕方を動的に変える。また、処理部110は、上述したように、表示が動的に変わることを抑制するための処理などを、さらに行ってもよい。
また、処理部110は、例えば図3を参照して説明したように、対象物を検出する処理を行い、対象物が検出された場合に本実施形態に係る表示制御処理を行う。
制御部104は、例えば処理部110を備えることによって、本実施形態に係る情報処理方法に係る処理(例えば、本実施形態に係る表示制御処理)を主導的に行う。
情報処理装置100は、例えば図7に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、本実施形態に係る表示制御処理)を行う。
したがって、情報処理装置100は、例えば図7に示す構成によって、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
また、例えば図7に示す構成によって、情報処理装置100は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図7に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図7に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、上述したように、本実施形態に係る表示制御処理は、便宜上、本実施形態に係る情報処理方法に係る処理を規定したものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図7に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合や、スタンドアロンで処理を行う場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、アイウェアやHMDなどのユーザの頭部に装着して用いられるウェアラブル装置や、PC(Personal Computer)やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした情報処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる情報処理システムの一例としては、例えば、本実施形態に係る表示制御処理を行う一の装置によって、他の装置の表示画面への表示が制御されるシステムが、挙げられる。
(本実施形態に係るプログラム)
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、本実施形態に係る表示制御処理など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、ユーザによる表示オブジェクトの認識の容易化を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う処理部を備え、
前記処理部は、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方を変える、情報処理装置。
(2)
前記処理部は、前記表示オブジェクトのレイアウトを変えることにより、前記表示オブジェクトの表示の仕方を変える、(1)に記載の情報処理装置。
(3)
前記処理部は、前記表示オブジェクトに対する装飾の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、(1)、または(2)に記載の情報処理装置。
(4)
前記処理部は、前記表示オブジェクトの省略の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、(1)〜(3)のいずれか1つに記載の情報処理装置。
(5)
前記処理部は、さらに前記ユーザの状態を示す状態情報に基づいて、前記表示オブジェクトの表示の仕方を変える、(1)〜(4)のいずれか1つに記載の情報処理装置。
(6)
前記処理部は、さらに前記ユーザの周辺環境を示す環境情報に基づいて、前記表示オブジェクトの表示の仕方を変える、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)
前記処理部は、さらに選択された前記表示オブジェクトに基づいて、前記表示オブジェクトの表示の仕方を変える、(1)〜(6)のいずれか1つに記載の情報処理装置。
(8)
前記処理部は、前記視線情報に基づき特定される表示画面における視点位置、前記表示画面における前記対象物の位置、および視野特性を示す情報に基づいて、前記対象物に対応する前記表示オブジェクトを選択する、(1)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記処理部は、
前記視点位置と前記対象物の位置との距離を算出し、
算出された前記距離と、視野特性を示す情報とに基づいて、前記対象物に対応する前記表示オブジェクトを選択する、(8)に記載の情報処理装置。
(10)
複数の前記表示オブジェクトの候補それぞれには、優先度が設定され、
前記処理部は、優先度が高い前記表示オブジェクトの候補を、優先的に選択する、(8)、または(9)に記載の情報処理装置。
(11)
前記処理部は、
前記視点位置と前記視野特性を示す情報とに基づいて、前記表示画面において前記表示オブジェクトを表示させる表示範囲を決定し、
決定された前記表示範囲に、前記表示オブジェクトを表示させる、(8)〜(10)のいずれか1つに記載の情報処理装置。
(12)
前記処理部は、
前記対象物を検出する処理を行い、
前記対象物が検出された場合に、前記表示させる処理を行う、(1)〜(11)のいずれか1つに記載の情報処理装置。
(13)
前記処理部は、設定されている時間間隔ごとに、前記表示させる処理を行う、(1)〜(12)のいずれか1つに記載の情報処理装置。
(14)
前記表示させる処理が行われない期間において、前記処理部は、
前記視線情報に基づき特定される表示画面における視点位置と、前記表示画面における前記対象物の位置との距離を算出し、
算出された前記距離に基づいて、既に表示されている前記表示オブジェクトのレイアウトを維持する処理を行う、(13)に記載の情報処理装置。
(15)
前記処理部は、選択された前記表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる、(1)〜(14)のいずれか1つに記載の情報処理装置。
(16)
ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行うステップを有し、
前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、情報処理装置により実行される情報処理方法。
(17)
ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う機能をコンピュータシステムに実現させ、
前記表示させる処理を行う機能により、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、プログラム。
100 情報処理装置
102 通信部
104 制御部
110 処理部

Claims (17)

  1. ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う処理部を備え、
    前記処理部は、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方を変える、情報処理装置。
  2. 前記処理部は、前記表示オブジェクトのレイアウトを変えることにより、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  3. 前記処理部は、前記表示オブジェクトに対する装飾の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  4. 前記処理部は、前記表示オブジェクトの省略の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  5. 前記処理部は、さらに前記ユーザの状態を示す状態情報に基づいて、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  6. 前記処理部は、さらに前記ユーザの周辺環境を示す環境情報に基づいて、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  7. 前記処理部は、さらに選択された前記表示オブジェクトに基づいて、前記表示オブジェクトの表示の仕方を変える、請求項1に記載の情報処理装置。
  8. 前記処理部は、前記視線情報に基づき特定される表示画面における視点位置、前記表示画面における前記対象物の位置、および視野特性を示す情報に基づいて、前記対象物に対応する前記表示オブジェクトを選択する、請求項1に記載の情報処理装置。
  9. 前記処理部は、
    前記視点位置と前記対象物の位置との距離を算出し、
    算出された前記距離と、視野特性を示す情報とに基づいて、前記対象物に対応する前記表示オブジェクトを選択する、請求項8に記載の情報処理装置。
  10. 複数の前記表示オブジェクトの候補それぞれには、優先度が設定され、
    前記処理部は、優先度が高い前記表示オブジェクトの候補を、優先的に選択する、請求項8に記載の情報処理装置。
  11. 前記処理部は、
    前記視点位置と前記視野特性を示す情報とに基づいて、前記表示画面において前記表示オブジェクトを表示させる表示範囲を決定し、
    決定された前記表示範囲に、前記表示オブジェクトを表示させる、請求項8に記載の情報処理装置。
  12. 前記処理部は、
    前記対象物を検出する処理を行い、
    前記対象物が検出された場合に、前記表示させる処理を行う、請求項1に記載の情報処理装置。
  13. 前記処理部は、設定されている時間間隔ごとに、前記表示させる処理を行う、請求項1に記載の情報処理装置。
  14. 前記表示させる処理が行われない期間において、前記処理部は、
    前記視線情報に基づき特定される表示画面における視点位置と、前記表示画面における前記対象物の位置との距離を算出し、
    算出された前記距離に基づいて、既に表示されている前記表示オブジェクトのレイアウトを維持する処理を行う、請求項13に記載の情報処理装置。
  15. 前記処理部は、選択された前記表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる、請求項1に記載の情報処理装置。
  16. ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行うステップを有し、
    前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、情報処理装置により実行される情報処理方法。
  17. ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う機能をコンピュータシステムに実現させ、
    前記表示させる処理を行う機能により、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、プログラム。
JP2016065218A 2016-03-29 2016-03-29 情報処理装置、情報処理方法、およびプログラム Pending JP2017182247A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016065218A JP2017182247A (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法、およびプログラム
PCT/JP2017/007239 WO2017169400A1 (ja) 2016-03-29 2017-02-24 情報処理装置、情報処理方法、およびコンピュータ可読媒体
US16/086,758 US10861181B2 (en) 2016-03-29 2017-02-24 Information processing apparatus and information processing method
CN201780019336.4A CN108885497B (zh) 2016-03-29 2017-02-24 信息处理装置、信息处理方法和计算机可读介质
DE112017001660.6T DE112017001660T5 (de) 2016-03-29 2017-02-24 Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und computerlesbares Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016065218A JP2017182247A (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017182247A true JP2017182247A (ja) 2017-10-05

Family

ID=59964217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016065218A Pending JP2017182247A (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10861181B2 (ja)
JP (1) JP2017182247A (ja)
CN (1) CN108885497B (ja)
DE (1) DE112017001660T5 (ja)
WO (1) WO2017169400A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187487A1 (ja) * 2018-03-28 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2023076011A (ja) * 2021-11-22 2023-06-01 トヨタ自動車株式会社 ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992814A (zh) 2017-11-28 2018-05-04 北京小米移动软件有限公司 对象寻找方法及装置
EP4472216B1 (en) * 2018-11-29 2026-03-18 Maxell, Ltd. Video display apparatus and method
JP7841299B2 (ja) * 2022-03-16 2026-04-07 株式会社リコー 情報表示システム、情報表示方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119076B2 (ja) 1994-06-02 2000-12-18 日産自動車株式会社 車両用警報表示装置
JP4875843B2 (ja) * 2004-10-20 2012-02-15 オリンパス株式会社 情報端末装置
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8773467B2 (en) * 2011-06-13 2014-07-08 International Business Machines Corporation Enhanced asset management and planning system
JP5482808B2 (ja) * 2012-01-30 2014-05-07 コニカミノルタ株式会社 管理システム、管理サーバおよびプログラム
JP2014106445A (ja) * 2012-11-29 2014-06-09 Toshiba Corp 電子機器および表示制御方法
CN105229719B (zh) * 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
US10725300B2 (en) * 2014-07-31 2020-07-28 Seiko Epson Corporation Display device, control method for display device, and program
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105425971B (zh) * 2016-01-15 2018-10-26 中意工业设计(湖南)有限责任公司 一种眼动界面的交互方法、装置和近眼显示器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187487A1 (ja) * 2018-03-28 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7263825B2 (ja) 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2023076011A (ja) * 2021-11-22 2023-06-01 トヨタ自動車株式会社 ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム
JP7476866B2 (ja) 2021-11-22 2024-05-01 トヨタ自動車株式会社 ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム

Also Published As

Publication number Publication date
CN108885497A (zh) 2018-11-23
US10861181B2 (en) 2020-12-08
DE112017001660T5 (de) 2018-12-13
US20190066325A1 (en) 2019-02-28
WO2017169400A1 (ja) 2017-10-05
CN108885497B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US11244496B2 (en) Information processing device and information processing method
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
US20240200962A1 (en) Providing directional awareness indicators based on context
JP5732988B2 (ja) 画像処理装置、表示制御方法及びプログラム
JP2024503881A (ja) コンテキストアウェアエクステンデッドリアリティシステム
US10573062B2 (en) Method and system for providing a virtual space
WO2021046065A1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical use interfaces
JP2017182247A (ja) 情報処理装置、情報処理方法、およびプログラム
US11004273B2 (en) Information processing device and information processing method
US11960652B2 (en) User interactions with remote devices
JP2021096490A (ja) 情報処理装置、情報処理方法、およびプログラム
US20190064528A1 (en) Information processing device, information processing method, and program
JPWO2017169158A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements
CN109791432A (zh) 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间
US20220189128A1 (en) Temporal segmentation