JP2017004357A - フローティング・グラフィカルユーザインターフェース - Google Patents
フローティング・グラフィカルユーザインターフェース Download PDFInfo
- Publication number
- JP2017004357A JP2017004357A JP2015119252A JP2015119252A JP2017004357A JP 2017004357 A JP2017004357 A JP 2017004357A JP 2015119252 A JP2015119252 A JP 2015119252A JP 2015119252 A JP2015119252 A JP 2015119252A JP 2017004357 A JP2017004357 A JP 2017004357A
- Authority
- JP
- Japan
- Prior art keywords
- widget
- field
- view
- moving
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、なるべく視野をさえぎらないようにウィジェットを仮想空間上に表示することを課題とする。
本発明のその他の特徴及び利点は、後述する実施例の説明、添付の図面、及び請求の範囲から明らかなものとなる。
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態のプログラムは、以下のような構成を備える。
仮想空間中に置かれているウィジェットを用いて入力を行う入力方法であって、前記仮想空間中で注視点を移動させる注視点移動ステップと、前記ウィジェットと前記注視点を重なっているか否かを判断し、重なっている場合には前記ウィジェットを選択するウィジェット選択ステップと、前記選択されたウィジェットに対応する入力を行う入力ステップを有する、入力方法。
前記注視点移動ステップが、前記仮想空間に対する視野を移動させることによって、前記注視点を移動させる視野移動ステップの一部であることを特徴とする、項目1に記載の入力方法。
前記視野移動ステップが、計測した操作者の頭部の動きを用いて前記仮想空間に対する視野を移動させることを特徴とする、項目2に記載の入力方法。
前記ウィジェットを前記視野の中の初期状態の位置(Xfv0,Yfv0)に対応する仮想空間の位置(Xvs0,Yvs0,Zvs0)に置き、前記ウィジェットの仮想空間中の移動速度ベクトルVを0に初期化する初期化ステップと、前記ウィジェットを仮想空間中で前記移動速度ベクトルVで移動させるウィジェット移動ステップと、前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致した場合、前記移動速度ベクトルVを0と再初期化するウィジェット移動速度再初期化ステップと、前記ウィジェットが視野の外に位置するようになったことを判定するウィジェット視野外判定ステップと、前記ウィジェット視野外判定ステップが、前記ウィジェットが視野の外に位置すると判定したとき、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるウィジェット移動速度設定ステップを更に有することを特徴とする、項目2又は3に記載の入力方法。
前記ウィジェット移動速度再初期化ステップが、前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致したと判定するのは、前記ウィジェットの前記視野の中の左右方向(X方向)の前記視野の中の位置が、前記視野の中の初期状態の位置Xfv0と一致したときであり、前記ウィジェット視野外判定ステップにおいて、前記ウィジェットが視野の外に位置するようになったときとは、前記視野の中で左右方向(X方向)の外に位置するようになったときであり、前記ウィジェット移動速度設定ステップにおいて、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるとは、前記視野の中の左右方向(X方向)のみについて、前記視野の中の初期状態の位置Xfv0に戻るように仮想空間中で移動させるような値を前記移動速度ベクトルVに与えることであること、を特徴とする項目4に記載の入力方法。
前記入力ステップが、一定時間以上継続して前記ウィジェットが注視されていることを判定した時に、前記選択されたウィジェットに対応する入力を行うことを特徴とする、項目1〜5のいずれか一項に記載の入力方法。
項目1〜6のいずれか一項に記載の方法を実行するためのプログラム。
(項目8)
項目1〜6のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
仮想空間中に置かれているウィジェットを用いて入力を行う入力装置であって、前記仮想空間中で注視点を移動させる注視点移動部と、前記ウィジェットと前記注視点を重なっているか否かを判断し、重なっている場合には前記ウィジェットを選択するウィジェット選択部と、前記選択されたウィジェットに対応する入力を行う入力部を有する、入力装置。
前記注視点移動部が、前記仮想空間に対する視野を移動させることによって、前記注視点を移動させる視野移動部の一部であることを特徴とする、項目9に記載の入力装置。
前記視野移動部が、計測した操作者の頭部の動きを用いて前記仮想空間に対する視野を移動させることを特徴とする、項目10に記載の入力装置。
前記ウィジェットを前記視野の中の初期状態の位置(Xfv0,Yfv0)に対応する仮想空間の位置(Xvs0,Yvs0,Zvs0)に置き、前記ウィジェットの仮想空間中の移動速度ベクトルVを0に初期化する初期化部と、前記ウィジェットを仮想空間中で前記移動速度ベクトルVで移動させるウィジェット移動部と、前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致した場合、前記移動速度ベクトルVを0と再初期化するウィジェット移動速度再初期化部と、前記ウィジェットが視野の外に位置するようになったことを判定するウィジェット視野外判定部と、前記ウィジェット視野外判定部が、前記ウィジェットが視野の外に位置すると判定したとき、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるウィジェット移動速度設定部を更に有することを特徴とする、項目10又は11に記載の入力装置。
前記ウィジェット移動速度再初期化部が、前記ウィジェットの前記視野の中の位置が、前記 視野の中の初期状態の位置と一致したと判定するのは、前記ウィジェットの前記視野の中の左右方向(X方向)の前記視野の中の位置が、前記視野の中の初期状態の位置Xfv0と一致したときであり、前記ウィジェット視野外判定部において、前記ウィジェットが視野の外に位置するようになったときとは、前記視野の中で左右方向(X方向)の外に位置するようになったときであり、前記ウィジェット移動速度設定部において、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるとは、前記視野の中の左右方向(X方向)のみについて、前記視野の中の初期状態の位置Xfv0に戻るように仮想空間中で移動させるような値を前記移動速度ベクトルVに与えることであること、を特徴とする項目12に記載の入力装置。
前記入力部が、一定時間以上継続して前記ウィジェットが注視されていることを判定した時に、前記選択されたウィジェットに対応する入力を行うことを特徴とする、項目9〜13のいずれか一項に記載の入力装置。
以下、図面を参照して、本発明の実施の形態を説明する。なお、この実施の形態は、各種センサ(例えば、加速度センサや角速度センサ)を備え、その姿勢データを計測できるヘッドマウント・ディスプレイ(HMD)を用い、その姿勢データを用いてヘッドマウント・ディスプレイ(HMD)に表示される画像をスクロールし仮想空間上の視線の移動を実現する没入型仮想空間を前提として記述されているが、通常のディスプレイ上に仮想空間を表示し、キーボード、マウスやジョイスティックなどによる入力によって、仮想空間上の視線を移動するものに適用することもできる。
図1は、本発明によって浮遊しているように表示される小型化したウィジェットの一例を示す図であり、図2は、図1に表示されている要素を説明するとともに、ウィジェット201とカーソル202の位置の初期状態の一例について示す図である。
図1において、ウィジェット201は、無人機(ドローン)がボタンを吊り下げている形態をしているが、これは、対象となる仮想空間で浮遊していて違和感をおこさない種類のデザインを選べばよく、UFO、ロボット、昆虫、鳥、妖精やおばけなどでもよい。
姿勢データを計測できるヘッドマウント・ディスプレイ(HMD)を用いた場合であっても、その姿勢データはヘッドマウント・ディスプレイ(HMD)を装着した操作者の頭部の動きを検出するものが多く、その場合、その姿勢データによって仮想空間中の視野が移動するように制御し、注視点自体は視野の中央、すなわち、画面の中央に固定されている場合が通常である。この場合は、このカーソル202の表示は省略しても、操作上の違和感はない。
図2に示す一例では、ウィジェット201は、初期状態として、左右方向(X方向)は視野のほぼ中央に位置するが、上下方向(Y方向)は視野の中央より上側に位置している。この初期状態の位置を視野に対する座標軸で(Xfv0,Yfv0)とし、仮想空間中の位置を仮想空間中の座標軸で(Xvs0,Yvs0,Zvs0)とする。
図4は、図2の状態から、視野を右(+X方向)に移動させた状態で、その結果、ウィジェット201は視野の中で左(−X方向)に移動している。既に述べたように、ウィジェット201は、基本的には仮想空間に対して固定した位置で浮遊しているので、図2と図4を比較すれば、ウィジェット201と窓203の相対的な位置関係が変化していないことがみてとれる。
図7は、図2の状態から、視野を下(−Y方向)に移動させた状態で、その結果、ウィジェット201は視野の中で上(+Y方向)に移動している。図4と同様に、図2と図7を比較すれば、ウィジェット201と窓203の相対的な位置関係が変化していないことがみてとれる。
図4〜7に記載される視野を左右方向(X方向)に移動させた場合と、図7〜10に記載される視野を上下方向(Y方向)に移動させた場合で、ウィジェット201が視野の外側に位置した場合の処理を異ならせたのは以下の理由による。
ウィジェット201が操作の対象となるものであることを考えると、ウィジェット201の見かけの大きさが変わらないほうが望ましい。それを実現するためには、仮想空間中での操作者とウィジェット201の間の距離が保持されるように、図10に示すように、ウィジェット201は、仮想空間中で操作者を中心とした仮想球体1001の上に存在させる必要がある。
ステップS1101とステップS1102は、ウィジェット201の表示についての初期化ステップで、ウィジェット201を視野の中の初期状態の位置(Xfv0,Yfv0)に対応する仮想空間の位置(Xvs0,Yvs0,Zvs0)に置き、視野全体を描画するとともに、仮想空間上のウィジェット201の移動速度ベクトルVを0と初期化する。
次に、図12を用いて、ウィジェット201が選択されるときの処理を説明する。
ステップS1203では、ウィジェット201が一定時間以上選択状態となっているかを判断し、一定時間以上選択状態となっている場合には、ステップS1205で選択されたウィジェット201に対応した操作を実行する入力ステップである。まだ、一定時間以上選択されていない場合には、そのままステップS1103まで戻る。
図13に示すように、システム1300は、ヘッドマウント・ディスプレイ(HMD)1310、制御回路部1320、ポジション・トラッキング・カメラ(位置センサ)1330、並びに外部コントローラ1340を備える。
ウィジェット制御部1640は、図11,12で示した制御の大半をつかさどる部分である。具体的には、ウィジェット制御部1640は、ウィジェット選択部1641、入力部1642、ウィジェット移動部1643、ウィジェット移動速度再初期化部1644、ウィジェット視野外判定部1645、ウィジェット速度設定部1646を有している。ウィジェット選択部1641はウィジェット201とカーソル202が重なっているかを判断し、ウィジェット201とカーソル202が重なっていると判断されたときは、ウィジェット201を選択状態の表示に変化させる処理を行い、入力部1642はウィジェット201が一定時間以上選択状態となっているかを判断し、一定時間以上選択状態となっている場合には、選択されているウィジェット201に対応した操作を実行する。なお、ウィジェット選択部1641、入力部1642は、外部コントローラ1340からの入力を受け、それに基づいてウィジェット201が選択されたか否かを判断してもよい。ウィジェット移動部1643はウィジェット201を仮想空間上の移動速度ベクトルVで移動させる処理を行い、ウィジェット移動速度再初期化部1644はウィジェット201が視野の中での初期状態の位置に戻ったことを検知し、移動速度ベクトルVを0と再初期化する処理を行い、ウィジェット視野外判定部1645は、ウィジェット201の視野上の左右方向(X方向)の位置が視野の外に出ているかを判断する処理を行い、ウィジェット速度設定部1646はウィジェット201を視野の中での初期状態の位置に戻すために、移動速度ベクトルVに値を設定する処理を行う。
なお、図16において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される。
202 カーソル
203 窓
204 視野
1001 仮想球体
1300 システム
1310 ヘッドマウント・ディスプレイ(HMD)
1312 ディスプレイ
1314 センサ
1320 制御回路部
1330 ポジション・トラッキング・カメラ(位置センサ)
1340 外部コントローラ
1610 動き検知部
1620 視野移動部
1621 注視点移動部
1630 視野画像生成部
1640 ウィジェット制御部
1641 ウィジェット選択部
1642 入力部
1643 ウィジェット移動部
1644 ウィジェット移動速度再初期化部
1645 ウィジェット視野外判定部
1646 ウィジェット速度設定部
1650 空間情報格納部
1660 初期化部
Claims (14)
- 仮想空間中に置かれているウィジェットを用いて入力を行う入力方法であって、
前記仮想空間中で注視点を移動させる注視点移動ステップと、
前記ウィジェットと前記注視点を重なっているか否かを判断し、重なっている場合には前記ウィジェットを選択するウィジェット選択ステップと、
前記選択されたウィジェットに対応する入力を行う入力ステップを有する、
入力方法。 - 前記注視点移動ステップが、前記仮想空間に対する視野を移動させることによって、前記注視点を移動させる視野移動ステップの一部であることを特徴とする、請求項1に記載の入力方法。
- 前記視野移動ステップが、計測した操作者の頭部の動きを用いて前記仮想空間に対する視野を移動させることを特徴とする、請求項2に記載の入力方法。
- 前記ウィジェットを前記視野の中の初期状態の位置(Xfv0,Yfv0)に対応する仮想空間の位置(Xvs0,Yvs0,Zvs0)に置き、前記ウィジェットの仮想空間中の移動速度ベクトルVを0に初期化する初期化ステップと、
前記ウィジェットを仮想空間中で前記移動速度ベクトルVで移動させるウィジェット移動ステップと、
前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致した場合、前記移動速度ベクトルVを0と再初期化するウィジェット移動速度再初期化ステップと、
前記ウィジェットが視野の外に位置するようになったことを判定するウィジェット視野外判定ステップと、
前記ウィジェット視野外判定ステップが、前記ウィジェットが視野の外に位置すると判定したとき、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるウィジェット移動速度設定ステップを更に有することを特徴とする、
請求項2又は3に記載の入力方法。 - 前記ウィジェット移動速度再初期化ステップが、前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致したと判定するのは、前記ウィジェットの前記視野の中の左右方向(X方向)の前記視野の中の位置が、前記視野の中の初期状態の位置Xfv0と一致したときであり、
前記ウィジェット視野外判定ステップにおいて、前記ウィジェットが視野の外に位置するようになったときとは、前記視野の中で左右方向(X方向)の外に位置するようになったときであり、
前記ウィジェット移動速度設定ステップにおいて、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるとは、前記視野の中の左右方向(X方向)のみについて、前記視野の中の初期状態の位置Xfv0に戻るように仮想空間中で移動させるような値を前記移動速度ベクトルVに与えることであること、
を特徴とする請求項4に記載の入力方法。 - 前記入力ステップが、一定時間以上継続して前記ウィジェットが注視されていることを判定した時に、前記選択されたウィジェットに対応する入力を行うことを特徴とする、請求項1〜5のいずれか一項に記載の入力方法。
- 請求項1〜6のいずれか一項に記載の方法を実行するためのプログラム。
- 請求項1〜6のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
- 仮想空間中に置かれているウィジェットを用いて入力を行う入力装置であって、
前記仮想空間中で注視点を移動させる注視点移動部と、
前記ウィジェットと前記注視点を重なっているか否かを判断し、重なっている場合には前記ウィジェットを選択するウィジェット選択部と、
前記選択されたウィジェットに対応する入力を行う入力部を有する、
入力装置。 - 前記注視点移動部が、前記仮想空間に対する視野を移動させることによって、前記注視点を移動させる視野移動部の一部であることを特徴とする、請求項9に記載の入力装置。
- 前記視野移動部が、計測した操作者の頭部の動きを用いて前記仮想空間に対する視野を移動させることを特徴とする、請求項10に記載の入力装置。
- 前記ウィジェットを前記視野の中の初期状態の位置(Xfv0,Yfv0)に対応する仮想空間の位置(Xvs0,Yvs0,Zvs0)に置き、前記ウィジェットの仮想空間中の移動速度ベクトルVを0に初期化する初期化部と、
前記ウィジェットを仮想空間中で前記移動速度ベクトルVで移動させるウィジェット移動部と、
前記ウィジェットの前記視野の中の位置が、前記視野の中の初期状態の位置と一致した場合、前記移動速度ベクトルVを0と再初期化するウィジェット移動速度再初期化部と、
前記ウィジェットが視野の外に位置するようになったことを判定するウィジェット視野外判定部と、
前記ウィジェット視野外判定部が、前記ウィジェットが視野の外に位置すると判定したとき、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるウィジェット移動速度設定部を更に有することを特徴とする、
請求項10又は11に記載の入力装置。 - 前記ウィジェット移動速度再初期化部が、前記ウィジェットの前記視野の中の位置が、前記 視野の中の初期状態の位置と一致したと判定するのは、前記ウィジェットの前記視野の中の左右方向(X方向)の前記視野の中の位置が、前記視野の中の初期状態の位置Xfv0と一致したときであり、
前記ウィジェット視野外判定部において、前記ウィジェットが視野の外に位置するようになったときとは、前記視野の中で左右方向(X方向)の外に位置するようになったときであり、
前記ウィジェット移動速度設定部において、前記ウィジェットを前記移動させた視野の中で前記視野の中の初期状態の位置に戻るような値を前記移動速度ベクトルVに与えるとは、前記視野の中の左右方向(X方向)のみについて、前記視野の中の初期状態の位置Xfv0に戻るように仮想空間中で移動させるような値を前記移動速度ベクトルVに与えることであること、
を特徴とする請求項12に記載の入力装置。 - 前記入力部が、一定時間以上継続して前記ウィジェットが注視されていることを判定した時に、前記選択されたウィジェットに対応する入力を行うことを特徴とする、請求項9〜13のいずれか一項に記載の入力装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119252A JP5876607B1 (ja) | 2015-06-12 | 2015-06-12 | フローティング・グラフィカルユーザインターフェース |
| PCT/JP2016/061872 WO2016199492A1 (ja) | 2015-06-12 | 2016-04-13 | フローティング・グラフィカルユーザインターフェース |
| CN201680033330.8A CN107615228B (zh) | 2015-06-12 | 2016-04-13 | 浮动的图形用户界面 |
| US15/230,847 US9959679B2 (en) | 2015-06-12 | 2016-08-08 | Floating graphical user interface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015119252A JP5876607B1 (ja) | 2015-06-12 | 2015-06-12 | フローティング・グラフィカルユーザインターフェース |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016008456A Division JP6867104B2 (ja) | 2016-01-20 | 2016-01-20 | フローティング・グラフィカルユーザインターフェース |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5876607B1 JP5876607B1 (ja) | 2016-03-02 |
| JP2017004357A true JP2017004357A (ja) | 2017-01-05 |
Family
ID=55434738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015119252A Active JP5876607B1 (ja) | 2015-06-12 | 2015-06-12 | フローティング・グラフィカルユーザインターフェース |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9959679B2 (ja) |
| JP (1) | JP5876607B1 (ja) |
| CN (1) | CN107615228B (ja) |
| WO (1) | WO2016199492A1 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017054201A (ja) * | 2015-09-07 | 2017-03-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
| WO2019026713A1 (ja) * | 2017-08-04 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2019171834A1 (ja) * | 2018-03-08 | 2019-09-12 | 株式会社コナミデジタルエンタテインメント | 表示制御装置及びプログラム |
| JP2020030853A (ja) * | 2019-11-07 | 2020-02-27 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
| JP2020074061A (ja) * | 2019-08-30 | 2020-05-14 | 株式会社コナミデジタルエンタテインメント | 表示制御装置及びプログラム |
| US11036053B2 (en) | 2017-09-27 | 2021-06-15 | Cygames, Inc. | Program, information processing method, information processing system, head-mounted display device, and information processing device |
| KR20220000104A (ko) * | 2020-06-25 | 2022-01-03 | 주식회사 지노텍 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
| JP2023511905A (ja) * | 2020-01-24 | 2023-03-23 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
| JP2024535753A (ja) * | 2021-09-22 | 2024-10-02 | アップル インコーポレイテッド | 三次元環境との相互作用のためのデバイス、方法、及びグラフィカルユーザインタフェース |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170092002A1 (en) * | 2015-09-30 | 2017-03-30 | Daqri, Llc | User interface for augmented reality system |
| JP6087453B1 (ja) * | 2016-02-04 | 2017-03-01 | 株式会社コロプラ | 仮想空間の提供方法、およびプログラム |
| US10048751B2 (en) | 2016-03-31 | 2018-08-14 | Verizon Patent And Licensing Inc. | Methods and systems for gaze-based control of virtual reality media content |
| US10539797B2 (en) | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
| JP6262283B2 (ja) * | 2016-05-17 | 2018-01-17 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
| JP6238381B1 (ja) * | 2016-06-30 | 2017-11-29 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| JP6236691B1 (ja) * | 2016-06-30 | 2017-11-29 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| US10506221B2 (en) | 2016-08-03 | 2019-12-10 | Adobe Inc. | Field of view rendering control of digital content |
| US11461820B2 (en) | 2016-08-16 | 2022-10-04 | Adobe Inc. | Navigation and rewards involving physical goods and services |
| US10068378B2 (en) * | 2016-09-12 | 2018-09-04 | Adobe Systems Incorporated | Digital content interaction and navigation in virtual and augmented reality |
| JP2018061666A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社カプコン | ゲームプログラム及びゲーム装置 |
| US10430559B2 (en) | 2016-10-18 | 2019-10-01 | Adobe Inc. | Digital rights management in virtual and augmented reality |
| JP6646565B2 (ja) * | 2016-12-12 | 2020-02-14 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
| CN109863467B (zh) | 2016-10-21 | 2022-01-25 | 惠普发展公司,有限责任合伙企业 | 虚拟现实输入的系统、方法和存储介质 |
| CN106843719B (zh) * | 2016-12-22 | 2020-09-08 | 北京小鸟看看科技有限公司 | 在虚拟屏幕中实现触摸屏应用的方法和系统、vr设备 |
| JP6836060B2 (ja) * | 2017-01-31 | 2021-02-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
| JP6874448B2 (ja) * | 2017-03-17 | 2021-05-19 | 株式会社デンソーウェーブ | 情報表示システム |
| JP6603438B2 (ja) * | 2017-04-03 | 2019-11-06 | 株式会社Orso | 情報処理装置、プログラム及び方法 |
| CN118312039A (zh) * | 2017-05-23 | 2024-07-09 | 交互数字Vc控股公司 | 对ar信息进行优先化排序的系统及方法 |
| WO2018227504A1 (en) * | 2017-06-15 | 2018-12-20 | Tencent Technology (Shenzhen) Company Limited | System and method of customizing a user interface panel based on user's physical sizes |
| JP6284112B2 (ja) * | 2017-10-06 | 2018-02-28 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| JP6935921B2 (ja) * | 2017-10-06 | 2021-09-15 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| JP6312184B2 (ja) * | 2017-10-25 | 2018-04-18 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| CN108614637A (zh) * | 2018-03-01 | 2018-10-02 | 惠州Tcl移动通信有限公司 | 智能终端及其感控方法、具有存储功能的装置 |
| US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
| JP6780865B2 (ja) * | 2018-07-31 | 2020-11-04 | 株式会社コナミデジタルエンタテインメント | 端末装置、及びプログラム |
| CN112684885B (zh) * | 2020-12-25 | 2023-05-02 | 联想(北京)有限公司 | 一种显示控制方法及装置 |
| US11622100B2 (en) * | 2021-02-17 | 2023-04-04 | flexxCOACH VR | 360-degree virtual-reality system for dynamic events |
| US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
| CN120712546A (zh) * | 2023-01-24 | 2025-09-26 | 苹果公司 | 用于在三维环境中显示用户界面对象的方法 |
| US12591313B2 (en) | 2023-06-27 | 2026-03-31 | Samsung Electronics Co., Ltd. | Widget interaction for extended reality (XR) applications |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211480A (ja) * | 1998-01-23 | 1999-08-06 | Tokin Corp | 姿勢角検出装置 |
| JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
| JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
| US20140111427A1 (en) * | 2010-09-20 | 2014-04-24 | Kopin Corporation | LifeBoard - Series Of Home Pages For Head Mounted Displays (HMD) That Respond to Head Tracking |
| JP2014137616A (ja) * | 2013-01-15 | 2014-07-28 | Fujitsu Ltd | 表示制御装置、表示制御システム及び表示制御方法 |
| JP2015049498A (ja) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置 |
| JP2015090635A (ja) * | 2013-11-07 | 2015-05-11 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130117707A1 (en) * | 2011-11-08 | 2013-05-09 | Google Inc. | Velocity-Based Triggering |
| US9058053B2 (en) * | 2012-10-26 | 2015-06-16 | The Boeing Company | Virtual reality display system |
| JP2014153645A (ja) * | 2013-02-13 | 2014-08-25 | Seiko Epson Corp | 画像表示装置および画像表示装置の表示制御方法 |
| JP6149584B2 (ja) | 2013-08-01 | 2017-06-21 | セイコーエプソン株式会社 | 表示装置、表示システムおよび表示装置の制御方法 |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| US9865089B2 (en) * | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
-
2015
- 2015-06-12 JP JP2015119252A patent/JP5876607B1/ja active Active
-
2016
- 2016-04-13 CN CN201680033330.8A patent/CN107615228B/zh active Active
- 2016-04-13 WO PCT/JP2016/061872 patent/WO2016199492A1/ja not_active Ceased
- 2016-08-08 US US15/230,847 patent/US9959679B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211480A (ja) * | 1998-01-23 | 1999-08-06 | Tokin Corp | 姿勢角検出装置 |
| JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
| JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
| US20140111427A1 (en) * | 2010-09-20 | 2014-04-24 | Kopin Corporation | LifeBoard - Series Of Home Pages For Head Mounted Displays (HMD) That Respond to Head Tracking |
| JP2014137616A (ja) * | 2013-01-15 | 2014-07-28 | Fujitsu Ltd | 表示制御装置、表示制御システム及び表示制御方法 |
| JP2015049498A (ja) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置 |
| JP2015090635A (ja) * | 2013-11-07 | 2015-05-11 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017054201A (ja) * | 2015-09-07 | 2017-03-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
| US10627628B2 (en) | 2015-09-07 | 2020-04-21 | Sony Interactive Entertainment Inc. | Information processing apparatus and image generating method |
| WO2019026713A1 (ja) * | 2017-08-04 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US11036351B2 (en) | 2017-08-04 | 2021-06-15 | Sony Corporation | Information processing device and information processing method |
| US11036053B2 (en) | 2017-09-27 | 2021-06-15 | Cygames, Inc. | Program, information processing method, information processing system, head-mounted display device, and information processing device |
| WO2019171834A1 (ja) * | 2018-03-08 | 2019-09-12 | 株式会社コナミデジタルエンタテインメント | 表示制御装置及びプログラム |
| JP2019174853A (ja) * | 2018-03-08 | 2019-10-10 | 株式会社コナミデジタルエンタテインメント | 表示制御装置及びプログラム |
| JP2020074061A (ja) * | 2019-08-30 | 2020-05-14 | 株式会社コナミデジタルエンタテインメント | 表示制御装置及びプログラム |
| JP2020030853A (ja) * | 2019-11-07 | 2020-02-27 | 株式会社コナミデジタルエンタテインメント | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム |
| JP2023511905A (ja) * | 2020-01-24 | 2023-03-23 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
| JP7496424B2 (ja) | 2020-01-24 | 2024-06-06 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
| US12287916B2 (en) | 2020-01-24 | 2025-04-29 | Magic Leap, Inc. | Content movement and interaction using a single controller |
| KR20220000104A (ko) * | 2020-06-25 | 2022-01-03 | 주식회사 지노텍 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
| KR102356767B1 (ko) * | 2020-06-25 | 2022-01-28 | 주식회사 지노텍 | 증강현실 환경에서의 가상 오브젝트 제어 방법 및 이를 수행하는 사용자 단말 |
| JP2024535753A (ja) * | 2021-09-22 | 2024-10-02 | アップル インコーポレイテッド | 三次元環境との相互作用のためのデバイス、方法、及びグラフィカルユーザインタフェース |
| JP7682385B2 (ja) | 2021-09-22 | 2025-05-23 | アップル インコーポレイテッド | 三次元環境との相互作用のためのデバイス、方法、及びグラフィカルユーザインタフェース |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160364916A1 (en) | 2016-12-15 |
| JP5876607B1 (ja) | 2016-03-02 |
| CN107615228B (zh) | 2018-10-12 |
| WO2016199492A1 (ja) | 2016-12-15 |
| CN107615228A (zh) | 2018-01-19 |
| US9959679B2 (en) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5876607B1 (ja) | フローティング・グラフィカルユーザインターフェース | |
| EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
| JP7575160B2 (ja) | オブジェクトの選択の方法及びシステム | |
| JP7504253B2 (ja) | 仮想オブジェクト表示装置 | |
| US20170185261A1 (en) | Virtual reality device, method for virtual reality | |
| JP6110893B2 (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
| JP2022535315A (ja) | 自己触覚型仮想キーボードを有する人工現実システム | |
| EP3542248B1 (en) | Location globe in virtual reality | |
| KR20190009846A (ko) | 원격 호버 터치 시스템 및 방법 | |
| CN107771309A (zh) | 三维用户输入 | |
| JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
| JP6360509B2 (ja) | 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置 | |
| JP2017062559A (ja) | 仮想空間内のオブジェクトを3軸操作するためのコンピュータ・プログラム | |
| US20070200847A1 (en) | Method And Device For Controlling A Virtual Reality Graphic System Using Interactive Techniques | |
| JP6867104B2 (ja) | フローティング・グラフィカルユーザインターフェース | |
| JP6548956B2 (ja) | システム、方法、およびプログラム | |
| WO2024185451A1 (ja) | 情報処理装置、情報処理装置のシステム、情報処理装置の制御方法、プログラム | |
| JP6133344B2 (ja) | ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム | |
| JP2017004539A (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
| JP2017049960A (ja) | Hmd装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置 | |
| JP2017054320A (ja) | Hmd装置におけるセンサー類を用いたユーザーインタフェースプログラムと広告および装置 | |
| JP2017037567A (ja) | ヘッドマウントディスプレイシステムで実行される方法、プログラム、及びヘッドマウントディスプレイシステム | |
| EP4575724A1 (en) | Information processing device and information processing method | |
| KR20150144100A (ko) | 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법 | |
| JP2025181315A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150730 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150730 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5876607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |