JPH086708A - 表示装置 - Google Patents

表示装置

Info

Publication number
JPH086708A
JPH086708A JP7022787A JP2278795A JPH086708A JP H086708 A JPH086708 A JP H086708A JP 7022787 A JP7022787 A JP 7022787A JP 2278795 A JP2278795 A JP 2278795A JP H086708 A JPH086708 A JP H086708A
Authority
JP
Japan
Prior art keywords
display
display device
operator
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7022787A
Other languages
English (en)
Inventor
Nobuo Fukushima
信男 福島
Masayoshi Sekine
正慶 関根
Tomotaka Muramoto
知孝 村本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP7022787A priority Critical patent/JPH086708A/ja
Priority to US08/425,793 priority patent/US6346929B1/en
Priority to DE69528787T priority patent/DE69528787D1/de
Priority to EP95302631A priority patent/EP0679984B1/en
Publication of JPH086708A publication Critical patent/JPH086708A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【目的】 操作者の頭部に装着されるHMD(Head Moun
ted Display)型の撮像表示装置において、操作者による
操作の指示が容易に行なえ、かつ複雑な操作指示も簡単
に行なうことのできるものを提供する。 【構成】 操作対象などを示すアイコンを表示部2L,2
Rによって空間内の所定の位置にあるように仮想的に表
示させ、空間内の仮想的なアイコンに対する操作者の身
体の一部(例えば手や指)をカメラ部3L,3Rによって
撮影し、操作者の身体の一部が所定の動きを示したこと
が検出された場合に、そのアイコンに対応する処理を起
動させる。さらに視線検出手段を設け、操作者の視線が
アイコンに所定時間むけられていることが検出された場
合に、そのアイコンに対応する処理を起動させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、映像を表示する映像記
録再生装置に関し、特に表示部を頭部に装着するいわゆ
るHMD(Head Mounted Display)型の表示部を有する表
示装置に関する。
【0002】
【従来の技術】図12は、従来のHMD型の表示装置の
構成を示す斜視図である。HMD型の表示装置は、人の
頭部に装着するゴーグル型のものであって、装着者の左
右の耳に対応してそれぞれ配置されたスピーカ91L,9
Rと、装着者の眼の前方に配置され液晶表示部材など
からなる表示部92と、装着者の眼に見えるであろう画
像情報を入力するために表示部92に隣接して装着者の
両眼にそれぞれ対応して設けられたカメラ部93L,93
Rと、装着者の発する声などを入力するためのマイクロ
フォン94とによって構成されている。ここで添え字
L,Rは、それぞれ、左(耳、眼)、右(耳、眼)に対
応することを示している。さらに、装着者からの指示が
入力する操作スイッチ98(いわゆるリモコン)が設け
られており、操作スイッチ98とHMD型表示装置の本
体部とは、操作信号等を伝送するためのワイヤケーブル
97で接続されている。そして、ある映像を表示部92
に表示させたり表示を消したりするような一般的な操作
を行なう場合、装着者はその手元にある操作スイッチ9
8を操作するようになっている。
【0003】
【発明が解決しようとしている課題】しかしながら、こ
のようなHMD型の表示装置の場合、装着者の眼が表示
部によって覆われているため、装着者からは操作スイッ
チが見えず、手探りで操作スイッチを操作しなければな
らない。このため、装着者が自分で何を操作しているの
かが分からなくなったり、誤操作をしてしまったりする
ことがあり、非常に使いにくいものとなっていた。「開
始」、「終了」程度の操作を越えた複雑な操作をこのよ
うな操作スイッチによって実行することは、困難であ
る。
【0004】本発明の目的は、操作者による操作の指示
が容易に行なえ、かつ複雑な操作指示も簡単に行なうこ
とのできる表示装置を提供することにある。
【0005】
【課題を解決するための手段】本発明の表示装置は、表
示手段を有する表示装置において、物体の少なくとも一
部の動きを検知する検知手段と、操作指示の入力のため
の表示要素を前記表示手段に表示させ、前記表示要素に
対応して前記操作者の身体の一部が所定の動きをみせた
場合には前記表示要素に対応する処理を起動させる制御
手段とを有することを特徴とする。
【0006】
【作用】操作指示の入力のための表示要素を表示手段に
表示させ、検知手段が例えば操作者の身体の全体または
一部を撮影(視線の場合には眼の動きを検出)すること
によってこの表示要素に対して操作者がどのような動き
を行なったかを検知するので、物理的な実体であるスイ
ッチを操作しなくても操作者の意図する指示をこの表示
装置に与えることが可能となる。ここで操作指示のため
の表示要素とは、後述する実施例から明らかになるよう
に、操作指示を行なう対象となるものをそのままで表わ
すものあるいは図形的に表現したアイコンなどである。
この表示要素は、表示手段によって空間内のある場所
(操作者の例えば指の届く範囲内とすることが望まし
い)にあたかもそこにあるかのように表示される。表示
手段としてステレオ画像表示を行なうものを使用する場
合には、このように空間内のある場所に対して仮想的な
表示を行なうことは容易である。このように表示装置を
構成することにより、誤操作が少なくなり、操作者によ
る操作の指示が容易に行なえ、かつ複雑な操作指示も簡
単に行なうことができるようになる。
【0007】操作者の身体の一部、例えば手や指の位置
を的確に認識し、動きを正確に求めるために、撮像手段
として複眼撮像手段を用いることができる。また本発明
における物体の識別方法としては、各種のものが考えら
れるが、実現の容易さなどの観点から、例えば、予め物
体の特徴を記憶させ、記憶した特徴と入力画像との比較
によって物体の識別が行なわれるようにすることができ
る。
【0008】操作者の操作動作の検出に際しては、予め
空間的に限定された範囲内に操作者の手または指が存在
するときにその手または指の動きを検出するようにする
ことができる。このような場合には、その予め空間的に
限定された範囲内に操作者の手または指がある場合に、
表示部によるその手または指の表示の表示属性が変化す
るようにすることによって、操作者がより的確に操作を
行なうことができるようになる。
【0009】操作者の操作指示が受け付けられたことを
明示するために、表示要素に対応して操作者の身体の一
部が所定の動きをみせた場合には、受付音を発生させた
り、その表示要素の表示形態を変化させたりするとよ
い。
【0010】さらに、外部に設けられた機器に対して信
号を送信するための通信手段を設け、またその機器に対
応するカーソルが表示されるようにした上で、その機器
に対応して操作者の身体の一部が所定の動きをみせた場
合には通信手段を介してその機器に対して所定の信号が
送信されるようにすることができる。
【0011】本発明の表示装置においては、各種の低消
費電力化の手法を採用することができる。例えば、撮像
手段から入力する入力画像が所定の時間以上にわたって
変化をみせない場合に、制御手段によって電源断処理を
実行するようにしてもよい。また、撮像手段が2つ設け
られている場合には、撮像手段から入力する入力画像
が所定の時間以上にわたって変化をみせない場合に、一
方の撮像手段の動作を休止させ、さらに、一方の撮像
手段の動作が休止しているときに他方の撮像手段で撮像
された入力画像において特定の物体の動きが検出された
場合に、一方の撮像手段の動作が再開するようにするよ
うにしてもよい。通常動作モードと低消費電力動作モー
ドとを備えるようにし、前記低消費電力動作モードで
は、作動中の撮像手段においては物体の動きを検出する
のに最低限必要な回路のみが活性化されるようにしても
よい。
【0012】本発明の表示装置の形式は特に限定される
ものではないが、例えば、操作者の頭部に装着されるH
MD(Head Mounted Display)型のものとすることができ
る。
【0013】本発明のうち操作者の視線を検出する表示
装置においては、操作者の視線を基に実行したい表示要
素が判断されて実行される。例えば、操作者が実行した
い表示要素を注視すれば、操作者の視線が所定の方向に
あることが視線検知手段によって検出され、これにより
操作者が注視した表示要素が認識されて実行されること
となる。また、この表示要素の実行処理を、表示要素に
対応して操作者の視線が所定の動きをしたことを検出す
ることによって行うようにしてもよい。なお、表示要素
を注視する動作は、操作者が単に表示要素をみる動作
(関係のない表示要素を一瞬みる動作)と例えばその動
作の時間により区別される。したがって、本発明では、
操作者が関係のない表示要素を一瞬みても、その表示要
素に対して実行処理が行われることはない。
【0014】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0015】<実施例1>図1は本発明の第1の実施例
の表示装置の全体的な構成を示す斜視図、図2はこの表
示装置の構成を示すブロック図、図3はこの表示装置の
動作を示すフローチャートである。
【0016】この表示装置は、操作者の頭部に装着する
HMD(Head Mounted Display)型のものであって、図1
2に示した従来の装置と同様のものであるが、操作者の
身体の一部、例えば指先の動きを検出することにより操
作者からの指示が入力するように構成されており、した
がって、ワイヤケーブルで接続された操作スイッチは設
けられていない。そしてこの表示装置は、操作者の頭部
に実際に装着される部分である装着部10と、この装着
部10とは別に設けられる処理部5とに大別される。処
理部5は、装着部10と構造的に一体のものとすること
も可能であるが、操作者の頭部に装着される部分の重量
を軽減するために別体とすることが望ましく、典型的に
は、例えば、操作者の腰のべルト部に装着される。本実
施例の表示装置を室内で使用する場合であれば、その部
屋のどこかに設置しておいてもよい。いずれの場合で
も、装着部10と処理部5との間では、無線またはケー
ブルにより、信号などのやりとりが行なわれる。処理部
5および装着部10とも、電源としては電池等が使用さ
れる。装着部10と処理部5とがケーブルで接続される
場合には、装着部10に対して処理部5から電力を供給
するようにしてもよい。
【0017】ゴーグル型の形状である装着部10には、
操作者の左右の耳にそれぞれ対応するスピーカ1L,1R
と、操作者の左右の眼のそれぞれ前方にあって操作者に
対して画像を表示するための表示部2L,2Rと、操作者
の周囲の情景を操作者の眼の位置に即して入力するとと
もに操作者の身体の一部、典型的には手の一部(指先
6)の位置を検出するためのカメラ部3L,3Rと、操作
者の発する音声を入力するためのマイクロフォン4と
が、設けられている。ここで表示部2L,2Rは、操作者
に対してステレオ画像表示を行なえるように構成されて
おり、それぞれ、例えば、液晶表示部材などによって構
成されている。また各カメラ部3L,3Rは、操作者の眼
で見えるであろう画像情報を入力するために、各表示部
L,2Rに近接してそれぞれ操作者の左右の眼に対応し
て取り付けられている。両方のカメラ部3L,3Rによっ
て複眼撮像系が構成されている。なお、添え字L,R
は、それぞれ、左(耳、眼)、右(耳、眼)に対応して
いることを示している。
【0018】本実施例の表示装置では、操作者の例えば
指先6の動きや形をカメラ部3L,3 Rで検出し、検出さ
れた動きや形に応じて本体全体の操作が行なわれ、ま
た、外部の機器と通信が行なわれ、外部の機器の操作が
行なわれる。
【0019】次に、この表示装置の詳細なブロック構成
について、図2を用いて説明する。
【0020】各カメラ部3L,3Rは、それぞれ、レンズ
101L,101Rと、レンズ101L,101Rの焦点やズ
ーム倍率を変化させるためにこれらレンズ101L,10
Rを駆動するレンズ駆動部102L,102Rと、絞りや
シャッタなどの露光量を調節するための露光量制御部材
103L,103Rと、これら露光量制御部材103L,1
03Rを駆動制御するための駆動部104L,104Rと、
露光量制御部材103 L,103Rを通過したレンズ10
L,101Rからの光像が結像する位置に設けられCC
Dセンサなどからなり光像を電気信号に変換する固体撮
像素子105L,105Rとによって、構成されている。
【0021】各カメラ部3L,3Rの出力側には、固体撮
像素子105L,105Rから出力される左右の撮像信号
をそれぞれデジタル信号に変換するためのA/D変換器
108 L,108Rが設けられており、これらA/D変換
器108L,108Rのからのデジタルデータは、メモリ
110に記憶されるようになっている。メモリ110の
出力側には、撮像データに対して輝度信号処理や色信号
処理、ガンマ補正処理など施して通信に適したデータあ
るいはモニタなどに表示するのに適したデータに変換す
るための信号処理部111と、撮影画面の一部または全
体の動きを検出する動き検出部112と、撮影された物
体の形状などを認識する形状認識部113とが設けられ
ている。信号処理部111の出力は、外部機器と通信す
るための通信部115に入力するとともに、後述する仮
想表示用メモリ116に入力する。動き検出部112の
出力と形状認識部113の出力は、データ生成部114
に入力する。データ生成部114は、表示部2L,2R
仮想的な表示を行なうためのものであって、撮影された
指先の動き情報などをもとに、仮想的な指やカーソル、
さらには仮想操作パネルなどを表示するモデルデータを
生成する。ここで仮想的な表示とは、表示部2L,2R
よって、3次元空間内のある場所に表示対象があたかも
実在しているかのように、本当は実在していないあるい
は実在するがその場所には存在していない表示対象を表
示することをいう。データ生成部114の出力は、後述
する親子画面表示用メモリ117に入力している。
【0022】本実施例の表示装置では、表示部2L,2R
によって、親画面とこの親画面内に重畳する子画面とが
表示されるようになっている。親画面は、カメラ3L,3
Rによって撮像された、操作者の周囲の情景である。一
方、子画面は、前もって撮影された画像情報など周囲の
情景とは独立してこの表示装置によって表示させる画面
のことであり、動画であっても静止画であってもよい。
このような親画面、子画面を表示し、さらに上述した仮
想的な表示を行なうために、この表示装置には、仮想的
な表示すなわち仮想の指やカーソルまたは仮想操作パネ
ルなどを表示するための仮想表示用メモリ116と、親
画面および子画面に表示すべき画像データを一時記憶す
るための親子画面表示用メモリ117とが設けられてい
る。そして、これら仮想表示用メモリ116および親子
画像表示用メモリ117に格納された画像データが入力
される表示処理部118が設けられ、親画面、子画面、
仮想表示画面の各画像が合成されたり、必要に応じて左
右の表示部2L,2Rへの画像の分離が行なわれるように
なっている。表示処理部118からは所定の表示用信号
形式(NTSC、RGBなど)によって出力が行なわれ
る。さらに、表示タイミングなどを制御するための表示
コントローラ119が設けられ、表示コントローラから
のタイミング信号は、仮想表示用メモリ116、親子画
面表示用メモリ117、表示処理部118およびドライ
バ122に入力している。ドライバ122は、左右の表
示部2L,2Rを駆動するためのものである。左右の表示
部2L,2Rは、ドライバ122によって駆動され、表示
処理部118からの画像信号に応じて左右の画面をそれ
ぞれ表示する。
【0023】上述した各部を統合的に制御するために、
処理部5(図1)内に全体制御部123が設けられてい
る。全体制御部部123は、レンズ駆動などの撮像制御
や、表示制御、さらには各アプリケーションに応じた処
理なども実行する。また、装着部10に設けられている
マイクロフォン4や各スピーカ1L,1Rも全体制御部1
23に接続されている。さらに、装置全体に電力を供給
するための電源124が設けられている。電源124
は、典型的には電池などによって構成されている。 次
に、この表示装置の動作について、図3を用いて説明す
る。
【0024】まず、露光量制御、焦点制御が行なわれる
(ステップ151)。露光量制御部材103L,103R
を駆動しながら、撮像素子105L,105Rによって撮
像を行ない、A/D変換器108L,108Rでデジタル
値に変換してメモリ110に一時記憶させ、画面の所定
の範囲のデータのレベル(被写体の輝度レベルに相当す
る)が適当なレベルになるように露光量制御部材103
L,103Rを再度駆動するようなフィードバック制御を
行なうことにより、露光量制御が行なわれる。また、焦
点制御も同様にして、メモリ110に一時記憶されたデ
ータについて画面の所定の範囲のデータをハイパスフィ
ルタに通して高周波成分のレベルを測定し、このレベル
が最大となるようにレンズ101L,101Rを駆動する
ことによって、行なわれる。続いて、動き検出部112
および形状認識部113によって、撮像された画面か
ら、物体の動きや形状を認識する(ステップ152)。
動きや形状の認識方法としては、種々のものがあるが、
簡単には、例えば、基準となる画像のデータを用意し
て、その基準画像データと認識対象の画像との相関を求
める方法(テンプレートマッチング)などの方法があ
る。これらステップ151,152で行なう処理は、通
常のビデオカメラにおける測光、測距、手ぶれ補正など
の処理として公知であるので、ここでは詳細な説明は省
略する。
【0025】次に、認識した物体が、特定物体、例え
ば、指であるかどうかを判断する(ステップ153)。
特定物体でない場合には、特定物体を認識するまで待つ
ために、上述のステップ151に戻る。特定物体である
と判断した場合には、その特定物体が空間内の所定の範
囲内にあるかどうかを調べる(ステップ154)。特定
の範囲内にあるかどうかを調べるのは、操作者が操作の
指示を意図して所定の範囲内に指などを移動させたかど
うかを判断するためである。所定の範囲内にない場合に
は、上述と同様にステップ151に戻る。所定の範囲内
にある場合には、続いて、その特定物体が所定の動作を
したかどうかを判断する(ステップ155)。本実施例
では、操作者の例えば指が指し示す動作、手を開く動
作、手を握る動作などをしたかに応じて操作者からの指
示が入力するようになっており、ここではそのような指
示動作であるかどうかが判断される。所定の動作でなけ
れば、ステップ151に戻る。
【0026】ステップ155で所定の動作であると判断
した場合には、続いて、その動作に対応する処理を実行
する(ステップ156)。ここで処理とは、操作者の動
作で指示されたアプリケーション(例えば、ファクシミ
リ機能の呼び出しや実行)の実行などである。そして、
操作者の所定の操作に対応して、仮想的に表示されてい
るアイコンや仮想スイッチパネルの形状、大きさ、色な
どを変更し、さらに必要であればスピーカ1L,1Rを介
して音声を出力する(ステップ157)。アイコンや仮
想スイッチパネルの形状などの変更は、データ生成部1
14でその表示データを作成することによって行なわれ
る。また、指示されたアプリケーションに対応した画面
が、通信部115を通して外部機器から呼び出されるか
不図示の記憶部から呼び出され、仮想表示用メモリ11
6や親子画面表示用メモリ117に一時記憶され、表示
処理部118を介して左右の表示部2L,2Rに表示され
る。なお、このときの表示タイミング信号やメモリから
の読み出し制御は表示コントローラ119により行われ
る。
【0027】次に、電源の遮断を行なってよいかどうか
の判断がなされる(ステップ158)。例えば、所定時
間以上操作が無かったら、電源を遮断するなどの判断が
なされる。電源をそのまま保持する必要があると判断さ
れた場合は、ステップ151に戻り、電源を遮断すべき
場合には、電源を遮断して(ステップ159)、全体動
作を終了する。
【0028】次に、表示部2L,2Rを介して操作者に提
示される表示内容について説明する。まず、本体全体の
操作を行なう場合について、図4により説明する。な
お、表示部2L,2Rは操作者の左右の眼にそれぞれ対応
しており、これら表示部2L,2Rによってステレオ画像
表示がなされるが、ここでは、ステレオ画像表示された
画像を1枚の画像として説明する。
【0029】装着部10を装着すると、視野のほぼ全体
に対応して親画像22が表示され、親画像22内に親画
像より小さい子画像23が表示される。さらに、上述の
ように検出された操作者の手24が、親画像22よりは
操作者に見かけ上近い位置に、仮想的に表示される。手
24は、具体的な手の形状を表わしたもののほか、矢印
などカーソルのような形状として仮想的に表示されても
よい。仮想的に表示された手24と同様に、操作スイッ
チパネル27が仮想的に表示されている。この操作スイ
ッチパネル27は、子画面表示のコマ戻し、コマ送りを
行なう操作スイッチ25,26を表示した例であり、こ
れら操作スイッチ25,26も仮想的に表示されてい
る。
【0030】ここで親画面22には、左右のカメラ部3
L,3Rによって撮影された操作者の周囲の情景が写し出
されている。子画面23には、前もって撮影された映像
(ここでは自動車)が映し出されている。子画面23の
映像は、動画でも静止画でもよく、処理部5内に記憶装
置を設けてそこから読み出してもよいし、通信部115
を介して外部から通信によって獲得してもよい。
【0031】ここで、操作者が、子画面23の表示内容
を変更しようとする場合を考える。子画面23には静止
画が表示されているものとし、上述の特定物体として操
作者の指が選択されているものとする。次の画面を表示
したい場合すなわちコマ送りをしたい場合には、まず、
操作者は自分の指をカメラ部3L,3Rの視野内に位置さ
れる。そして、操作スイッチパネル27が仮想的に表示
されている位置(そこにあると見える位置)に指を移動
させ、操作スイッチ26を指で押す操作をする。この指
で押す操作は、カメラ部3L,3Rによって撮像され、上
述した処理にしたがって、この操作が認識され、これに
より、全体制御部123からの制御によって、次の画面
が読み出され子画面23に表示される。同様に、操作ス
イッチ25が仮想的に押された場合には、子画面23は
1つ前の画面に遷移する。すなわち、操作スイッチパネ
ル27自体は実空間には存在しないが、仮想的な表示に
対応して実空間において指を押す操作を行なうことによ
り、操作を行なったことに基づいて対応する処理が行な
われることになる。
【0032】ここで、仮想的な操作スイッチパネル27
に対する操作が所定時間行なわれなかった場合には、操
作スイッチパネル27の表示を消すようにしても良い。
そして操作者が指を所定の位置に動かすか、所定の動作
をすることにより、これをカメラ部3L,3Rを介して検
知して、再び仮想的な操作スイッチパネル27を表示す
るようにしても良い。
【0033】次に、この表示装置の外部に配置された機
器を操作する場合について、図5を用いて説明する。こ
こでは、外部の機器として、ファクシミリ、電話機が想
定され、さらにメモ帳が仮想的に設けられている場合を
考える。
【0034】表示部2L,2Rによって、仮想的に、メモ
帳を示すアイコン28、電話を示すアイコン29および
ファクシミリを示すアイコン30が表示されている。こ
こでアイコンとは、パーソナルコンピュータなどのグラ
フィカルユーザインターフェース(GUI)に用いる絵
文字と同等のものと考えてよい。また、親画面22、子
画面23の表示内容は、図4に示した場合と同様とす
る。
【0035】ここで操作者がファクシミリを用いて送信
したくなった場合を考える。すると操作者は、アイコン
28〜30の中からファクシミリのアイコン30を指で
差し示し、それをクリック(押すような動作)すればよ
い。このクリック動作は検知され、これによってファク
シミリ送信用の仮想スイッチパネル(不図示)が仮想的
に表示されるので、その指示に従って仮想スイッチを操
作すればよい。このとき、アイコンがクリックされたこ
とが検出されたら、そのアイコンの形や大きさ、色など
を変化させたり(アイコン操作の受け付け確認表示)、
スピーカ1L,1 Rから音を発生させ、操作者に操作を受
け付けたことを知らせてもよい。
【0036】ファクシミリ送信のための操作が終了した
ら、ファクシミリのアイコン30やその他のアイコン
は、画面上から消去されるようにしてもよいし、画面の
片隅など視野の邪魔にならないところに移動させてもよ
い。またはアイコンの大きさを小さくしてもよい。そし
て操作者が指を所定の位置に動かすか、所定の動作をす
ることにより、これをカメラ部3L,3Rを介して検知し
て、再びアイコンまたは仮想スイッチパネルが表示され
るようにしてもよい。
【0037】以上、ファクシミリの送信を行なう場合を
例として説明したが、電話をかける場合も同様である。
簡単に説明すると、電話機の仮想的なアイコン29を操
作者の指でクリックする動作を行なうと、全体制御部1
23は、この表示装置の外部または内部の電話機能を処
理すべきタスクとして呼び出し、マイクロフォン4とス
ピーカ1R,1Lを電話機能とリンクさせる。これによ
り、操作者と通話相手とは、通信部115を介して、こ
の表示装置とは別途設けられた電話機または通話先の電
話機を介して、音声による通信を行なうことが可能とな
る。アイコン操作の受け付け確認表示や通信終了後のア
イコンの表示の変更などについては、上述のファクシミ
リの例と同様である。
【0038】メモ帳の場合について簡単に説明する。フ
ァクシミリや電話機の例と同様に、メモ帳の仮想的なア
イコン28を指でクリックする動作を行なうと、画面上
にメモ書き用の仮想的なノートが表示される。この仮想
的なノート上に指で絵や文字を描く動作を行なうことに
より、この指の動きが検出され、検出された動きが全体
処理部23や外部の機器によって処理され、記憶や文字
認識がなされる。つまり、ペン入力コンピュータの機能
を実現できる。このとき、ペン入力コンピュータにおけ
るタッチパネルは、表示部2L,2Rによって仮想的に表
示されている。
【0039】次に、仮想的に表示されたアイコンやスイ
ッチパネルに対する動作をどのように検出するかを図
6,7を用いて説明する。
【0040】図6において、この表示装置の表示範囲4
4が実線の枠で描かれている。メモ帳、電話機およびフ
ァクシミリの各アイコン28〜30には、それぞれ検知
範囲41〜43が設定されており、これらの検知範囲4
1〜43は破線で示されている。
【0041】カメラ部3L,3Rによって指が検知された
ら、その指が表示範囲44のうちのどこにあるかを調べ
る。図示された例では、電話機のアイコン29の検知範
囲42内に指があるから、操作者は電話機を指示したも
のとみなされる。電話機のアイコン29の検知範囲42
内に指があるかないかの判断は、図7に示されるよう
に、いくつかの画像の相関を見ればよい。図7(a)はま
だ指が検知範囲42内にない場合であり、図7(b)は指
が検知範囲42内に入った場合の画像である。したがっ
て全体処理部123は、図7(a)の画像を予め記憶して
おき、連続的にカメラ部3L,3Rから画像を取り込み、
図7(a)の画像から変化があったかどうかを検出すれば
よい。指以外のものが検知範囲42内に入って誤認識と
なるのを防ぐために、図7(b)のような指がある場合の
画像も予め記億しておき、図7(b)の画像との相関が所
定以上であれば指が入ったと判断するようにしてもよ
い。
【0042】次に、仮想的に表示されているアイコンに
対して指で押す(クリック)ような動作がなされたかど
うかをどう検出するかについて、図8を用いて説明す
る。図8(a)〜(c)は、それぞれ操作者の指を撮像し指の
輪郭などの特徴を抽出した結果を示す図である。すなわ
ち、図8(a)は指で指し示している動作を示し、図8(b)
は掌を広げている状態を示し、図8(c)は手を握りしめ
ている状態を示している。
【0043】カメラ部3L,3Rによって操作者の指を撮
影し、その指がどのような形をしているかを図8(a)〜
(c)に示される画像を参照して相関を求め、判断する。
もちろん、図8(a)〜(c)に示される画像以外の画像を使
用してもよく、さらに多数の形(参照画像)を用意して
もよい。そして例えば図8(a)の形である指が、検知範
囲41〜43の枠の中に入った時に、該当するアイコン
が選択されたと判断する。次に、その指が図8(b)の形
を経て所定の時間以内に図8(c)の形になったら、該当
するアイコンの示す処理の実行を指示したと判断すれば
よい。あるいは指の動きで操作内容を判断するようにす
ることも可能である。
【0044】次に、指の動きの検出方法について、図9
を用いて説明する。
【0045】ある時刻に指を撮影した画像が図9(a)で
あり、これから所定の時間の経過後に指を撮影した画像
が図9(b)になったする。これら2つの画像から、指の
動きと速さが分かる。したがって、所定の速さ以上で指
が検知範囲41〜43の枠内に入った場合に、該当する
アイコンが選択され実行が指示されたと判断することが
できる。
【0046】ところで、本実施例では、カメラ部3L,3
RはHMD型の表示装置の装着部10に設けられている
ので、結局、操作者の頭部に装着されていることにな
る。この場合、操作者が頭を動かすと指の速度が正しく
検出されない。そこで、アイコンの指示、実行を判断す
る基準となる指の速度を、頭の動き速度に比べて十分速
く設定しておくことが望ましい。あるいは、カメラ部3
L,3Rは指以外にも周囲の情景も同時に撮影しているか
ら、周囲の情景の画像の動きと指の動きの相対速度を算
出することによって指の動きを求めてもよい。
【0047】なお、ここで述べたような、複数の画像間
の相関を求めたり、画像中の物体の動きを検出するため
の方法は、通常のビデオカメラなどに用いられている手
振れ検出、手振れ補正技術と同等のものであり、当業者
には容易に理解できるものであるので、これ以上の詳細
な説明はここでは省略する。
【0048】<実施例2>以上説明した第1の実施例の
表示装置は、操作者の身体の一部、例えば指先の動きを
検出することにより操作者からの指示が入力するように
構成されたものであったが、この指先等の動きを検出す
る構成に加えて、あるいはこの構成に代えて、操作者の
視線を検出する手段を設ければ、操作者の視線を検出す
ることにより操作者からの指示が入力するように構成す
ることもできる。以下、操作者の視線を検出することに
より操作者からの指示が入力するようにした実施例につ
いて説明する。
【0049】図10は、本発明の第2の実施例の表示装
置の構成を示すブロック図である。
【0050】この表示装置は、操作者の視線を検出する
ことにより操作者からの指示を得ることを特徴とするも
ので、そのための視線検出手段(後述する視線検知部お
よび注視点位置処理部)が設けられている以外は前述し
た第1の実施例の表示装置と同様の構成のものである。
なお、第1の実施例の表示装置と同様の構成部について
はその動作も同様であるため、図10において同じ構成
部には同じ番号を付し、その説明にていてはここでは省
略する。
【0051】操作者の視線を検出する視線検出手段は、
操作者の左右の眼の視線をそれぞれ検知する視線検知部
130L,130Rと、該視線検知部130L,130Rによ
って検知された左右の眼の視線を基に、操作者の左右の
眼が表示部2L,2Rにそれぞれ表示された仮想画面上の
どの部分をそれぞれ注視しているかを判断し、その注視
している位置を注視点として表示部2L,2Rに画像とと
もに重畳して表示するための注視点信号を発生する注視
点位置処理部131L,131Rとによって構成されてい
る。
【0052】各注視点位置処理部131L,131Rで発
生した各注視点信号は、それぞれデータ生成部114へ
入力されている。データ生成部114では、撮影された
指先の動き情報などを基に仮想的な指や仮想操作パネル
などを表示するモデルデータを生成する処理に加えて、
各注視点位置処理部131L,131Rから入力された各
注視点信号を基に仮想的な注視点を表示するモデルデー
タを生成する処理が行われる。このデータ生成部114
によって生成されたモデルデータを基に、前述の第1の
実施例の場合と同様の処理が施されて、表示部2L,2R
に注視点が表示される。
【0053】なお、本実施例の表示装置では、アイコン
または操作スイッチパネルの選択が表示部2L,2Rに表
示されている注視点を用いて行われる。すなわち、操作
者が表示されたアイコンやスイッチパネルのうちから実
行したいものを注視することにより選択が行われる。ま
た、この表示装置では、選択されたアイコン等の実行
が、操作者がアイコンを所定時間注視するか、あるいは
操作者が所定の動作(例えば、注視点とともに表示され
ている指もしくは手の所定の形状を認識させる動作、ま
たは機械的スイッチの併用)をすることによって行われ
る。
【0054】次に、操作者の左右の眼の視線の方向を検
出する処理について説明する。
【0055】図11は、視線検知方法の原理を説明する
ための図である。この視線検知方法については、特開平
5-68188号公報に詳述されている。以下、この公報に開
示される視線検知方法について簡単に説明する。
【0056】図11において、300は眼球、301は
角膜、303は虹彩である。一点破線で示したブロック
は、図10に示す視線検知部(130L,130R)であ
る。この視線検知部(130L,130R)は、赤外光を
投光する発光ダイオード(LED)などの光源161
と、該光源161から出射した光束を角膜301へ導く
ために順次配設された投光レンズ162およびハーフミ
ラー163と、角膜301にて反射しハーフミラー16
3を通過した光束の進行方向に順次配設された受光レン
ズ164およびCCD等の光電素子165とによって構
成されている。そして、この視線検知部(130L,13
R)を構成する光電素子165の出力が注視点位置処
理部(131L,131R)へ入力されている。
【0057】光源161より出射した赤外光は、投光レ
ンズ162によって平行光束となり、ハーフミラー16
3で反射されて眼球300の角膜301を照明する。角
膜301に照明された赤外光の一部はその角膜301の
表面で反射される。角膜301の表面からの反射光はハ
ーフミラー163を通過し、受光レンズ164により集
光されて光電素子165の結像面上に結像する。このと
き、光電素子165の結像面上の位置Zddには、角膜
301の表面で反射された赤外光の一部により生成され
る角膜反射像dが結像され、位置ZaaおよびZbbに
は、反射された赤外光の一部により生成される虹彩30
3の両端部の反射像a,bがそれぞれ結像される。
【0058】光電素子165の結像面上における光軸A
に対する、結像された角膜反射像dの位置Zddおよび
虹彩303の両端部の反射像a,bの位置Zaa,Zb
bの位置関係から眼球300の眼球光軸Bの回転角θb
(視線方向)を求めることができる。すなわち、注視点
位置処理部(131L,131R)において、電素子16
5からの出力からその結像面上における光軸Aと各位置
Zaa,Zbb,Zddとの位置関係を検出し、角膜3
01の反射面と受光レンズ164との距離L1および受
光レンズ164と光電素子165の結像面との距離L0
からその受光レンズ164の倍率を求めることのより、
これらから眼球光軸Bの回転角θbを求めることができ
る。
【0059】次に、この表示装置の動作について簡単に
説明する。
【0060】装着部10を装着する。このとき、表示部
L,2Rには図4に示した画像(操作者の指および操作
スイッチパネル27が仮想的に表示された画像)が表示
されており、操作者の視線方向にはその表示された画像
上に注視点が仮想的に表示されている。
【0061】いま、操作者が表示部2L,2Rに表示され
た操作スイッチパネル27のコマ戻し、コマ送りを行な
う操作スイッチ25,26のいずれかを注視すると、画
像上に表示されている注視点がその操作者の視線の移動
に連動して移動し、操作スイッチ上の注視した位置に表
示される。ここで、この注視を所定時間行うか、あるい
は操作者が所定の動作を行うことにより、注視された操
作スイッチに関する処理の実行が認識され、これによ
り、全体制御部123からの制御によって、実行が認識
された操作スイッチに関する処理(画面のコマ戻し、コ
マ送り)が行われることとなる。
【0062】以上のように、本実施例の表示装置では、
前述した第1の実施例の表示装置でいうところの表示さ
れた操作者の指の位置を、操作者の視線方向から得られ
る注視点で置き換えることにより、視線による操作者か
らの指示の入力を可能としている。
【0063】なお、本実施例では、操作者が注視してい
る位置を注視点として表示部2L,2 Rに画像とともに重
畳して表示させたものについて説明したが、注視点を表
示させなくても、同様の処理により操作スイッチ等の選
択およびその実行を行うこともできる。
【0064】さらに、本実施例では、操作スイッチ等に
関する処理の視線による実行は、その注視を所定時間行
うことにより行われているが、これに限定されるもので
はなく、例えば、操作者の視線が所定の動きをしたこと
を検出することにより行うようにしてもよい。
【0065】また、上述の表示装置において、視線検知
特性の個人差を吸収するための調整機能を設けたり、デ
ータをメモリに記憶しておくなどの処理を設けたりすれ
ば、装置の操作性をさら向上することが可能となる。
【0066】《他の実施例》本発明の表示装置は、以上
述べた各実施例以外にも種々の実施例が可能である。例
えば、上述の各実施例では、カメラ部はHMD型の本体
の表示部と一体化されていたが、カメラ部を別体のもの
として設けても良い。別体とする場合、例えば部屋のあ
る場所にカメラを設置して操作者全体を撮像すれば、指
だけでなく、操作者の身体の動き全体を検出できるとい
う利点がある。ただし、指などの細かい動きの検出は難
しくなる。また、カメラの視野と操作者の視野が一致し
ないので、操作者の視野を表示部に表示しなければなら
ないようなアプリケーションには不向きである。
【0067】また、表示部を操作者の頭部に装着しない
構成とすることも可能である。この場合、通常のテレビ
モニタのように室内にモニタを設置して操作者の指示を
カメラが撮影し、撮影された指示に従って、テレビのチ
ャンネルやビデオの操作を行なわせたり、コンピュータ
の操作を行なわせたりすることが可能である。なお、カ
メラ部の焦点調節操作や露光量の制御には、よく知られ
ている銀塩カメラやビデオカメラに用いられている制御
が用いられる。
【0068】上述の実施例では、2つのカメラ部を使用
して左右両眼からなる構成としたが、1つのカメラ部の
みを使用する構成とすることもできる。両眼構成とした
場合には立体情報(距離、形状)が得られるという利点
があるが、その必要がない場合には単眼構成として、そ
の分、軽量、小型、低コスト化を図ることもできる。ま
た、上述したHMD(Head Mounted Display)型の表示装
置の中には、表示部が透明な(光学的にシースルーな)
部材で構成され、通常時は外界の情景がそのまま見えて
いて、必要に応じて液晶などの表示内容が前面の光学面
に写し出されるタイプのもの(いわゆるヘッドアップデ
ィスプレイタイプのもの)がある。本発明はそのような
装置でも適用可能である。このような装置を用いる場
合、実際に表示部の向こう側にシースルーで見える例え
ばファクシミリに対し、そのファクシミリの部分に重ね
てマークを表示することなどによって、指示対象の明示
を行なうことができる。
【0069】表示部を用いて仮想的に表示する仮想スイ
ッチパネルやアイコンについては、表示する位置、表示
タイミング、消去タイミング、色、形、さらに音の発生
などアプリケーションに応じていろいろ変化させること
ができる。
【0070】操作の検知のための物体(特定物体)とし
ては、上述した例における指や視線だけではなく、その
他のものが使用することができる。例えば、特徴のある
物体(特定の形や色、温度を持つペンのようなもの)を
用いて、認識しやすくしてもよい。さらに、特定物体と
しては識別せず、画面の所定の範囲に、所定の時刻、所
定のアプリケーションの時に検知された物体を指示のた
めの物体(指示物体)として判断するようにしてもよ
い。この場合、認識処理が簡略化される。また、指示物
体あるいは特定物体を一度検知したらそれを追尾するよ
うにしてもよい。そうすることにより、物体認識を連続
的に行なう必要がなくなり、処理の高速化が実現でき
る。
【0071】操作の対象となるものは、上述の実施例で
はファクシミリや電話機などであったが、もちろんこれ
らに限定されるものではなく、本体に予め登録などして
認識できるようにしておけば、エアコン、インターフォ
ン、照明、さらには室内外で使用する種々の機器に対応
できる。また仮想的に表示されるアイコンとしては、通
常のコンピュータのように予め本体内に登録してあるア
イコンに限られるものではなく、実際にカメラを通して
撮影されたものをそのまま表示するようにしてもよい。
例えば、ファクシミリを部屋に設置しておき、操作者が
そちらの方向に目を向けると、カメラ部はファクシミリ
を撮影することになるので、ファクシミリが表示部に表
示されることになる。これをアイコンと同様に指で指し
示すことによって、ファクシミリに関する処理が行なわ
れるようにすればよい。このとき、ファクシミリを認識
したことを示すために、認識したファクシミリの画像の
色を変えるなどしてもよい。
【0072】上述の実施例では、表示部によって表示さ
れたものを対象として指を動かすなどの操作を行なった
ことを検出することによって、操作指示の検知が行なわ
れているが、機械的なスイッチを併用してもよい。特
に、最初に本体に電源を投入するためや初期化を行なう
ためには、機械的スイッチを使用するのが好ましい。
【0073】また上述の実施例では、入力が所定の時間
以上にわたってないときに本体の電源を遮断するように
したが、この場合、本体の全ての部分への電源を遮断し
なくてもよい。例えば、カメラ部のみの電源を遮断す
る、あるいは表示部のみを遮断というように部分的に制
御してもよい。特にカメラ部が複数あるときは、そのう
ち1つを常時駆動させておき、操作者の特定の指示がそ
のカメラによって検出されたら必要に応じて他のカメラ
部の電源を投入するようにしてもよい。また電源を完全
に遮断するのでなく、CPUなどの内部の実行速度を落
とすなどして、実質的に電力を減らすようにしてもよ
い。
【0074】
【発明の効果】以上説明したように本発明は、操作指示
の入力のための表示要素を表示手段に表示させ、操作者
を撮影することによってこの表示要素に対して操作者が
どのような動きを行なったかを検出することにより、物
理的な実体であるスイッチを操作しなくても操作者の意
図する指示をこの表示装置に与えることが可能になると
いう効果がある。したがって、操作者の頭部に装着され
た表示装置から信号線を引き出して手元のリモコン装置
を手探りで操作していたのに比べて、自分がどんな操作
をしているのかの確認がしやすく、誤操作を防止できる
という効果がある。また、スイッチへのケーブルなどの
邪魔になる部材がないので、煩わしさのない快適なユー
ザインターフェースを提供できるという効果がある。
【0075】また、操作者の指示を視線により行うもの
においては、例えば実行したい表示要素を注視すること
によりその表示要素に関する処理の実行を行うことがで
きるので、上記各効果に加えて、さらに操作性が向上す
るという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の表示装置の全体構成を示す
斜視図である。
【図2】図1の表示装置の構成を示すブロック図であ
る。
【図3】図1の表示装置の動作を示すフローチャートで
ある。
【図4】表示画面の一例を説明する図である。
【図5】指示操作の方法を説明する図である。
【図6】操作者の操作の認識方法の説明する図である。
【図7】(a),(b)は、操作者の操作の認識方法の具体的
な例を説明する図である。
【図8】(a)〜(c)は、操作指示の識別方法を説明する図
である。
【図9】(a),(b)は指の動きを検出して操作指示の識別
を行なう場合を説明する図である。
【図10】本発明の第2の実施例の表示装置の構成を示
すブロック図である。
【図11】視線検知方法の原理を説明するための図であ
る。
【図12】従来のHMD型の表示装置の構成を示す斜視
図である。
【符号の説明】
L,1R スピーカ 2L,2R 表示部 3L,3R カメラ部 4 マイクロフォン 5 処理部 6 指先 10 装着部 101L,101R レンズ 102L,102R レンズ駆動部 103L,103R 露光量制御部材 104L,104R 駆動部 105L,105R 固体撮像素子 108L,108R A/D変換部 110 メモリ 111 信号処理部 112 動き検出部 113 形状認識部 114 データ生成部 115 通信部 116 仮想表示用メモリ 117 親子画面表示用メモリ 118 表示処理部 119 表示コントローラ 122 ドライバ 123 全体制御部 124 電源部 130L,130R 視線検知部 131L,131R 注視点位置処理部 151〜159 ステップ 161 光源 162 投光レンズ 163 ハーフミラー 164 受光レンズ 165 光電素子 300 眼球 301 角膜 303 虹彩

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 表示手段を有する表示装置において、 物体の少なくとも一部の動きを検知する検知手段と、 操作指示の入力のための表示要素を前記表示手段に表示
    させ、前記表示要素に対応して前記操作者の身体の一部
    が所定の動きをみせた場合には前記表示要素に対応する
    処理を起動させる制御手段とを有することを特徴とする
    表示装置。
  2. 【請求項2】 請求項1に記載の表示装置において、 検知手段が、操作者の視線を検出する視線検出手段であ
    り、 制御手段が、表示要素に対応して操作者の視線が所定の
    方向にあることが検出、あるいは所定の動きをしたこと
    が検出された場合には、前記表示要素に対応する処理を
    起動させることを特徴とする表示装置。
  3. 【請求項3】 請求項1に記載の表示装置において、 検知手段が、撮像手段と該撮像手段から入力された画像
    信号から物体の少なくとも一部の動きを検出する検出手
    段とからなり、 制御手段が、前記検出手段で検出された操作者の身体の
    少なくとも一部の動きを前記表示手段に表示するととも
    に、操作指示の入力のための表示要素を表示手段に表示
    させ、前記表示要素に対応して前記操作者の身体の一部
    が所定の動きをみせた場合には前記表示要素に対応する
    処理を起動させることを特徴とする表示装置。
  4. 【請求項4】 請求項3に記載の表示装置において、 検知手段が、操作者の視線の方向を検出する視線検出手
    段をさらに有し、 制御手段が、前記表示要素に対応して操作者の視線が所
    定の方向にあることが検出、あるいは所定の動きをした
    ことが検出された場合には、前記表示要素に対応する処
    理を起動させることを特徴とする表示装置。
  5. 【請求項5】 請求項3または請求項4に記載の表示装
    置において、 撮像手段が複眼撮像手段であることを特徴とする表示装
    置。
  6. 【請求項6】 請求項3または請求項4に記載の表示装
    置において、 検出手段が、予め空間的に限定された範囲内に操作者の
    手または指が存在するときに前記手または指の動きを検
    出するものであることを特徴とする表示装置。
  7. 【請求項7】 請求項3または請求項4に記載の表示装
    置において、 制御手段が、予め空間的に限定された範囲内に操作者の
    手または指があることが検出された場合には、前記手ま
    たは指の表示属性を変化させるものであることを特徴と
    する表示装置。
  8. 【請求項8】 請求項3または請求項4に記載の表示装
    置において、 制御手段は、撮像手段から入力する入
    力画像が所定の時間以上にわたって変化をみせない場合
    に、電源断処理を実行するものであることを特徴とする
    表示装置。
  9. 【請求項9】 請求項3または請求項4に記載の表示装
    置において、 2つの撮像手段を有し、制御手段は、前
    記撮像手段から入力する入力画像が所定の時間以上にわ
    たって変化をみせない場合に、一方の撮像手段の動作を
    休止させるものであることを特徴とする表示装置。
  10. 【請求項10】 請求項9に記載の表示装置において、 一方の撮像手段の動作が休止しているときに他方の撮像
    手段で撮像された入力画像において特定の物体の動きが
    検出された場合に、前記一方の撮像手段の動作が再開す
    ることを特徴とする表示装置。
  11. 【請求項11】 請求項1に記載の表示装置において、 音声を発生する音声発生手段をさらに有し、表示要素に
    対応して操作者の身体の一部が所定の動きをみせた場合
    には、制御手段が前記音声発生手段を介して受付音を発
    生させることを特徴とする表示装置。
  12. 【請求項12】 請求項1に記載の表示装置において、 外部に設けられた機器に対して信号を送信するための通
    信手段をさらに備え、制御手段は前記機器に対応する表
    示要素を表示手段によって表示するともに、前記機器に
    対応して操作者の身体の一部が所定の動きをみせた場合
    には前記通信手段を介して前記機器に対して所定の信号
    を送信するものであることを特徴とする。表示装置
  13. 【請求項13】 請求項1に記載の表示装置において、 予め物体の特徴を記憶させ、記憶した特徴と入力画像と
    の比較によって物体の識別が行なわれることを特徴とす
    る表示装置。
  14. 【請求項14】 請求項1に記載の表示装置において、 通常動作モードと低消費電力動作モードとを備え、前記
    低消費電力動作モードでは、作動中の撮像手段において
    は物体の動きを検出するのに最低限必要な回路のみが活
    性化されることを特徴とする表示装置。
  15. 【請求項15】 請求項1に表示装置において、 制御手段が、表示要素に対応して操作者の身体の一部が
    所定の動きをみせた場合には前記表示要素の表示形態を
    変化させるものであることを特徴とする表示装置。
  16. 【請求項16】 請求項1に表示装置において、 表示手段が操作者の頭部に装着されるものであることを
    特徴とする表示装置。
JP7022787A 1994-04-22 1995-02-10 表示装置 Pending JPH086708A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP7022787A JPH086708A (ja) 1994-04-22 1995-02-10 表示装置
US08/425,793 US6346929B1 (en) 1994-04-22 1995-04-20 Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process
DE69528787T DE69528787D1 (de) 1994-04-22 1995-04-20 Anzeigegerät
EP95302631A EP0679984B1 (en) 1994-04-22 1995-04-20 Display apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-84578 1994-04-22
JP8457894 1994-04-22
JP7022787A JPH086708A (ja) 1994-04-22 1995-02-10 表示装置

Publications (1)

Publication Number Publication Date
JPH086708A true JPH086708A (ja) 1996-01-12

Family

ID=26360050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7022787A Pending JPH086708A (ja) 1994-04-22 1995-02-10 表示装置

Country Status (4)

Country Link
US (1) US6346929B1 (ja)
EP (1) EP0679984B1 (ja)
JP (1) JPH086708A (ja)
DE (1) DE69528787D1 (ja)

Cited By (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258943A (ja) * 1996-03-19 1997-10-03 Brother Ind Ltd 機器の補助操作装置
JPH09330042A (ja) * 1996-06-10 1997-12-22 Shimadzu Corp 頭部装着型表示装置
JPH1023319A (ja) * 1996-06-28 1998-01-23 Fujitsu Ltd 画像撮影装置
JPH1020997A (ja) * 1996-07-08 1998-01-23 Canon Inc ディスプレイ装置
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JPH10232665A (ja) * 1997-02-20 1998-09-02 Canon Inc 表示制御装置及び方法
JPH1173273A (ja) * 1997-06-27 1999-03-16 Shimadzu Corp 肢体不自由者用入力装置
JPH11174987A (ja) * 1997-12-10 1999-07-02 Shimadzu Corp 表示装置
JPH11184584A (ja) * 1997-12-19 1999-07-09 Nippon Telegr & Teleph Corp <Ntt> 仮想現実端末装置
JPH11232011A (ja) * 1998-02-09 1999-08-27 Semiconductor Energy Lab Co Ltd 情報処理装置
JPH11249772A (ja) * 1998-02-26 1999-09-17 Dainippon Printing Co Ltd 仮想環境提示装置
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2000181601A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000293279A (ja) * 1999-04-07 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ取得装置及びそのプログラムを記録した記録媒体
JP2001042983A (ja) * 1999-07-30 2001-02-16 Nippon Telegr & Teleph Corp <Ntt> マルチメディア制御装置およびそのプログラムを記録した記録媒体
JP2002023098A (ja) * 2000-07-10 2002-01-23 Shikoku Res Inst Inc 顔面装着型の赤外と可視映像の同時視認装置
JP2002290529A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
JP2002318876A (ja) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd 電子投票装置
US6526669B2 (en) * 2000-04-26 2003-03-04 Agency Of Industrial Science And Technology Ministry Of International Trade And Industry Apparatus for acquiring human finger manipulation data
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2005202965A (ja) * 2004-01-14 2005-07-28 Internatl Business Mach Corp <Ibm> 筋電センサを利用して音声ベースのデバイスを用いた口頭による伝達を開始する方法および装置
JP2005242854A (ja) * 2004-02-27 2005-09-08 Nippon Telegr & Teleph Corp <Ntt> 3次元データの表示方法・装置およびプログラム
JP2005301479A (ja) * 2004-04-08 2005-10-27 Akinori Yoshino 投影された提示者の動作による命令入力装置
JP2006074798A (ja) * 2005-09-05 2006-03-16 Olympus Corp 頭部装着型表示装置
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
JP2008017501A (ja) * 2007-07-27 2008-01-24 Fujifilm Corp 電子カメラ
KR100846210B1 (ko) * 2006-12-05 2008-07-15 한국전자통신연구원 입력 데이터 자동 인식 시스템 및 방법
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2009093489A (ja) * 2007-10-10 2009-04-30 Toshiba Tec Corp 商品処理装置及びposシステム
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置
JP2010038879A (ja) * 2008-08-08 2010-02-18 Ntt Docomo Inc 物体形状認識システム及び物体形状認識方法
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010082270A1 (ja) * 2009-01-15 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010101081A1 (ja) * 2009-03-05 2010-09-10 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010539620A (ja) * 2007-09-18 2010-12-16 ゲフェマー リサーチ アクイジションズ エルエルシー ホログラフィックユーザインターフェース通信の方法および装置
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
JP2011048440A (ja) * 2009-08-25 2011-03-10 Toshiba Tec Corp 調理補助端末及びプログラム
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP2012050837A (ja) * 2004-04-01 2012-03-15 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2012146236A (ja) * 2011-01-14 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2012199824A (ja) * 2011-03-22 2012-10-18 Kyocera Corp 撮影装置、制御方法および仮想情報表示プログラム
JP5167545B2 (ja) * 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
JP2013110764A (ja) * 2013-02-19 2013-06-06 Sony Corp 撮像表示装置、撮像表示方法
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
KR20140033144A (ko) * 2011-06-17 2014-03-17 마이크로소프트 코포레이션 용적 방식 비디오 표현 기법
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
JP2014093703A (ja) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム
WO2014109498A1 (en) * 2013-01-09 2014-07-17 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2014160412A (ja) * 2013-02-20 2014-09-04 Fuji Xerox Co Ltd 閲覧装置及び閲覧システム
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Necソリューションイノベータ株式会社 3次元ユーザインタフェース装置及び3次元操作処理方法
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
JP2014212526A (ja) * 2014-06-03 2014-11-13 株式会社ニコン ヘッドマウントディスプレイ装置
WO2014207971A1 (ja) * 2013-06-26 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置及び表示オブジェクト操作方法
WO2015030264A1 (ja) * 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置,方法およびプログラム
JP2015043209A (ja) * 2013-08-26 2015-03-05 トムソン ライセンシングThomson Licensing ヘッドマウント装置を介する表示方法
CN104469464A (zh) * 2013-09-25 2015-03-25 精工爱普生株式会社 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
JP2015069480A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム
JP2015069481A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
WO2015107625A1 (ja) * 2014-01-15 2015-07-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
TWI501130B (zh) * 2010-10-18 2015-09-21 Ind Tech Res Inst 虛擬觸控輸入系統
JP2015227919A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP2016034133A (ja) * 2015-10-08 2016-03-10 セイコーエプソン株式会社 頭部装着型表示装置
JP2016154044A (ja) * 2016-04-28 2016-08-25 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
CN106066537A (zh) * 2015-04-24 2016-11-02 松下电器(美国)知识产权公司 头戴式显示器和头戴式显示器的控制方法
WO2016190057A1 (ja) * 2015-05-22 2016-12-01 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
JP2017033334A (ja) * 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
JP2017033195A (ja) * 2015-07-30 2017-02-09 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
WO2017047212A1 (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 視線操作装置及び方法、並びに医療機器
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2017076970A (ja) * 2014-01-17 2017-04-20 カシオ計算機株式会社 システム
WO2017085974A1 (ja) * 2015-11-17 2017-05-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9665167B2 (en) 2006-10-16 2017-05-30 Sony Corporation Imaging display apparatus and method
JP2017102499A (ja) * 2015-11-30 2017-06-08 富士通株式会社 操作検出方法、操作検出装置、及び操作検出プログラム
JP2017152010A (ja) * 2013-06-09 2017-08-31 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
WO2017163648A1 (ja) * 2016-03-23 2017-09-28 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US9911230B2 (en) 2010-12-06 2018-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling virtual monitor
JP2018077876A (ja) * 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017038241A1 (ja) * 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10115235B2 (en) 2015-07-14 2018-10-30 Colopl, Inc. Method for controlling head mounted display, and system for implemeting the method
WO2018198910A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2019016378A (ja) * 2018-09-12 2019-01-31 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2020013584A (ja) * 2019-08-09 2020-01-23 株式会社ファイン 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
KR20200106483A (ko) * 2014-11-27 2020-09-14 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
US10775623B2 (en) 2012-10-24 2020-09-15 Samsung Electronics Co., Ltd Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
JP2020166040A (ja) * 2019-03-28 2020-10-08 ファナック株式会社 制御システム
US10823964B2 (en) 2017-11-02 2020-11-03 Olympus Corporation Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
US11442580B2 (en) 2014-11-27 2022-09-13 Samsung Electronics Co., Ltd. Screen configuration method, electronic device, and storage medium
JP2024086759A (ja) * 2020-10-26 2024-06-28 パイオニア株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
JP2025022924A (ja) * 2019-06-21 2025-02-14 マクセル株式会社 表示装置
JP2025508658A (ja) * 2022-01-19 2025-04-10 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法
JP2025065441A (ja) * 2021-12-13 2025-04-17 株式会社コロプラ プログラム、情報処理方法、及び携帯型端末

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US5970418A (en) * 1995-09-21 1999-10-19 International Business Machines Corporation Personal communicator including a handset phone with an integrated virtual image display
TW395121B (en) 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
EP1159657B1 (de) 1999-03-02 2003-08-20 Siemens Aktiengesellschaft Augmented-reality-system mit sprachbasierter erfassung von informationsdaten, insbesondere von serviceberichten
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
DE50000530D1 (de) * 1999-03-09 2002-10-24 Siemens Ag Eingabe-/ausgabevorrichtung für ein benutzerendgerät
US7015950B1 (en) * 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
DE60043276D1 (de) * 1999-05-27 2009-12-24 Clarion Co Ltd Schaltersteuerung in Kraftfahrzeugen
JP4168221B2 (ja) * 1999-09-06 2008-10-22 株式会社島津製作所 身体装着型表示システム
DE19953835C1 (de) * 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
JP4689029B2 (ja) * 1999-11-29 2011-05-25 キヤノン株式会社 頭部装着型表示装置及びその制御方法及び制御プログラム
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
FR2804768A1 (fr) * 2000-02-08 2001-08-10 Francois Mouly Procede d'affichage pour ordinateur et dispositif pour sa mise en oeuvre
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
IL136652A0 (en) * 2000-06-08 2001-06-14 Arlinsky David A closed-loop control system in a car
EP1182541A3 (de) * 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
US20040046747A1 (en) * 2000-09-26 2004-03-11 Eugenio Bustamante Providing input signals
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
DE10054242A1 (de) * 2000-11-02 2002-05-16 Visys Ag Verfahren zum Eingeben von Daten in ein System und Eingabeeinrichtung
DE10056291A1 (de) * 2000-11-14 2002-05-23 Siemens Ag Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US8306635B2 (en) 2001-03-07 2012-11-06 Motion Games, Llc Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction
US6603462B2 (en) * 2001-03-21 2003-08-05 Multidigit, Inc. System and method for selecting functions based on a finger feature such as a fingerprint
US20040085300A1 (en) * 2001-05-02 2004-05-06 Alec Matusis Device and method for selecting functions based on intrinsic finger features
DE10124834C2 (de) * 2001-05-22 2003-08-21 Eberhard Wahl Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens
FI20012231A7 (fi) * 2001-06-21 2002-12-22 Ismo Rakkolainen Järjestelmä käyttöliittymän luomiseksi
KR100446612B1 (ko) * 2001-07-24 2004-09-04 삼성전자주식회사 다차원 공간상에서의 정보 선택 방법 및 장치
WO2003017244A1 (en) * 2001-08-17 2003-02-27 Multidigit, Inc. System and method for selecting actions based on the identification of user's fingers
US20030043271A1 (en) * 2001-09-04 2003-03-06 Koninklijke Philips Electronics N.V. Computer interface system and method
JP2003108305A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
EP1315120A1 (de) * 2001-11-26 2003-05-28 Siemens Aktiengesellschaft Stifteingabesystem
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20050270274A1 (en) * 2002-10-09 2005-12-08 Raphael Bachmann Rapid input device
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
FR2848304A1 (fr) * 2002-12-10 2004-06-11 Ingineo Nouveau systeme audiovisuel mobile de gestion d'information
US20040178970A1 (en) * 2002-12-10 2004-09-16 Ingineo Sas Face-mounted apparatus having spectacles and a video display integrated into the spectacles
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7505862B2 (en) * 2003-03-07 2009-03-17 Salmon Technologies, Llc Apparatus and method for testing electronic systems
US7922321B2 (en) 2003-10-09 2011-04-12 Ipventure, Inc. Eyewear supporting after-market electrical components
US7500746B1 (en) 2004-04-15 2009-03-10 Ip Venture, Inc. Eyewear with radiation detection system
US8109629B2 (en) 2003-10-09 2012-02-07 Ipventure, Inc. Eyewear supporting electrical components and apparatus therefor
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4406824B2 (ja) * 2003-08-21 2010-02-03 ソニー株式会社 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US11033821B2 (en) * 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) * 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US11513371B2 (en) 2003-10-09 2022-11-29 Ingeniospec, Llc Eyewear with printed circuit board supporting messages
US11630331B2 (en) 2003-10-09 2023-04-18 Ingeniospec, Llc Eyewear with touch-sensitive input surface
EP2148504B1 (en) * 2003-12-03 2012-01-25 Nikon Corporation Information Display Device
USD523005S1 (en) 2003-12-31 2006-06-13 Eyeneo Sas Video display control unit comprising charging base and control unit box
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US11829518B1 (en) 2004-07-28 2023-11-28 Ingeniospec, Llc Head-worn device with connection region
US11644693B2 (en) 2004-07-28 2023-05-09 Ingeniospec, Llc Wearable audio system supporting enhanced hearing support
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2006060584A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
US11852901B2 (en) 2004-10-12 2023-12-26 Ingeniospec, Llc Wireless headset supporting messages and hearing enhancement
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US12535698B2 (en) 2005-10-11 2026-01-27 Ingeniospec, Llc Head-worn structure with fitness monitoring
US11733549B2 (en) 2005-10-11 2023-08-22 Ingeniospec, Llc Eyewear having removable temples that support electrical components
US12044901B2 (en) 2005-10-11 2024-07-23 Ingeniospec, Llc System for charging embedded battery in wireless head-worn personal electronic apparatus
US7800650B1 (en) * 2006-01-30 2010-09-21 John Prieto Multi-functional portable viewfinder for use with a digital camcorder
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
USD563418S1 (en) * 2006-04-20 2008-03-04 Matsushita Electric Industrial Co., Ltd. Video screen with user interface using hand image
US20070265075A1 (en) * 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
US20110014981A1 (en) * 2006-05-08 2011-01-20 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
EP1862840A1 (en) * 2006-05-29 2007-12-05 Saab Ab Image capturing device
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
JP2008288767A (ja) * 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
USD565082S1 (en) * 2007-06-15 2008-03-25 Second Sight Medical Products, Inc. Visor for a visual prosthetic apparatus
US8237780B2 (en) * 2007-10-29 2012-08-07 The Boeing Company Method and apparatus for 3D viewing
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
WO2009108645A1 (en) * 2008-02-27 2009-09-03 Sony Computer Entertainment America Inc. Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US7997723B2 (en) * 2008-12-31 2011-08-16 Nokia Corporation Display apparatus and device
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100225576A1 (en) * 2009-03-03 2010-09-09 Horizon Semiconductors Ltd. Three-dimensional interactive system and method
US20100225734A1 (en) * 2009-03-03 2010-09-09 Horizon Semiconductors Ltd. Stereoscopic three-dimensional interactive system and method
US8527657B2 (en) * 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) * 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8299938B2 (en) * 2009-09-08 2012-10-30 Rosemount Inc. Projected instrument displays for field mounted process instruments
JP5141672B2 (ja) * 2009-11-30 2013-02-13 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
SG184301A1 (en) 2010-03-30 2012-11-29 Ns Solutions Corp Information processing apparatus, information processing method and program, information processing apparatus, vacant space guidance system, vacant space guidance method and program, image display system, image display method and program
KR20120018685A (ko) * 2010-08-23 2012-03-05 주식회사 팬택 복수 사용자의 입력을 인식할 수 있는 단말기 및 그 제어방법
DE102010041348B4 (de) * 2010-09-24 2020-01-30 tooz technologies GmbH Anzeigevorrichtung
JP2014029565A (ja) * 2010-11-24 2014-02-13 Panasonic Corp 情報処理装置
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US8912979B1 (en) 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
CN103018905A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示系统及其方法
GB2494907A (en) * 2011-09-23 2013-03-27 Sony Corp A Head-mountable display with gesture recognition
CN110275607A (zh) 2011-11-21 2019-09-24 株式会社尼康 显示装置及显示控制程序
US9519092B1 (en) * 2012-03-21 2016-12-13 Google Inc. Display method
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
USD688294S1 (en) * 2012-08-09 2013-08-20 Second Sight Medical Products, Inc. Visor for a visual prosthetic apparatus
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
KR102100911B1 (ko) * 2013-08-30 2020-04-14 엘지전자 주식회사 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법
US9536493B2 (en) * 2013-09-25 2017-01-03 Samsung Electronics Co., Ltd. Display apparatus and method of controlling display apparatus
USD753704S1 (en) * 2013-11-21 2016-04-12 Microsoft Corporation Display screen with animated graphical user interface
USD745037S1 (en) * 2013-11-21 2015-12-08 Microsoft Corporation Display screen with animated graphical user interface
USD757030S1 (en) * 2013-11-21 2016-05-24 Microsoft Corporation Display screen with graphical user interface
USD759090S1 (en) * 2013-11-21 2016-06-14 Microsoft Corporation Display screen with animated graphical user interface
US20150253859A1 (en) * 2014-03-05 2015-09-10 Google Inc. System and method for physical manipulation of object and type of object as input
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
CN106164838B (zh) * 2014-04-08 2020-03-03 麦克赛尔株式会社 信息显示方法和信息显示终端
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN103984101B (zh) * 2014-05-30 2016-08-24 华为技术有限公司 显示内容控制方法和装置
WO2016013692A1 (ko) 2014-07-22 2016-01-28 엘지전자(주) 헤드 마운티드 디스플레이 및 그 제어방법
GB2535730B (en) * 2015-02-25 2021-09-08 Bae Systems Plc Interactive system control apparatus and method
US10296359B2 (en) 2015-02-25 2019-05-21 Bae Systems Plc Interactive system control apparatus and method
WO2016139850A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックIpマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
US10416776B2 (en) 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
CN109076185B (zh) * 2016-04-06 2020-04-17 纳维株式会社 显示装置
PT3260255T (pt) * 2016-06-24 2019-11-29 Zuend Systemtechnik Ag Sistema de corte de produto para corte
US20180271364A1 (en) * 2017-03-24 2018-09-27 Osaka University Method and apparatus for detecting ocular movement disorders
US20190026935A1 (en) * 2017-07-24 2019-01-24 Medivrse Bv Method and system for providing virtual reality experience based on ultrasound data
US10777048B2 (en) 2018-04-12 2020-09-15 Ipventure, Inc. Methods and apparatus regarding electronic eyewear applicable for seniors
JP6717393B2 (ja) * 2019-01-08 2020-07-01 株式会社ニコン 電子機器
US11003307B1 (en) * 2019-06-07 2021-05-11 Facebook Technologies, Llc Artificial reality systems with drawer simulation gesture for gating user interface elements
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
US11531448B1 (en) * 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments
JP1740240S (ja) * 2022-08-03 2023-03-29 建設車両用制御盤

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59132079A (ja) * 1983-01-17 1984-07-30 Nippon Telegr & Teleph Corp <Ntt> 手操作入力装置
USD287021S (en) * 1984-12-26 1986-12-02 Johnson Carlos J Combined camera and eyeglasses
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
JPH02132510A (ja) * 1988-11-12 1990-05-22 Sony Corp 入力装置
GB8922146D0 (en) * 1989-10-02 1989-11-15 Eev Ltd Thermal camera arrangement
JP2622620B2 (ja) * 1989-11-07 1997-06-18 プロクシマ コーポレイション コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム
WO1992009904A1 (en) * 1990-11-29 1992-06-11 Vpl Research, Inc. Absolute position tracker
EP1136906A3 (en) * 1990-11-30 2001-11-14 Sun Microsystems, Inc. Improved method and apparatus for creating virtual worlds
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
GB9121707D0 (en) * 1991-10-12 1991-11-27 British Aerospace Improvements in computer-generated imagery
WO1993014454A1 (en) 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
DE69204045T2 (de) * 1992-02-07 1996-04-18 Ibm Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
EP0829799A3 (en) 1992-05-26 1998-08-26 Takenaka Corporation Wall computer module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5644324A (en) * 1993-03-03 1997-07-01 Maguire, Jr.; Francis J. Apparatus and method for presenting successive images
US5694142A (en) * 1993-06-21 1997-12-02 General Electric Company Interactive digital arrow (d'arrow) three-dimensional (3D) pointing
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5491510A (en) * 1993-12-03 1996-02-13 Texas Instruments Incorporated System and method for simultaneously viewing a scene and an obscured object
US5610678A (en) * 1993-12-30 1997-03-11 Canon Kabushiki Kaisha Camera including camera body and independent optical viewfinder
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images

Cited By (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258943A (ja) * 1996-03-19 1997-10-03 Brother Ind Ltd 機器の補助操作装置
JPH09330042A (ja) * 1996-06-10 1997-12-22 Shimadzu Corp 頭部装着型表示装置
JPH1023319A (ja) * 1996-06-28 1998-01-23 Fujitsu Ltd 画像撮影装置
JPH1020997A (ja) * 1996-07-08 1998-01-23 Canon Inc ディスプレイ装置
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JPH10232665A (ja) * 1997-02-20 1998-09-02 Canon Inc 表示制御装置及び方法
JPH1173273A (ja) * 1997-06-27 1999-03-16 Shimadzu Corp 肢体不自由者用入力装置
JPH11174987A (ja) * 1997-12-10 1999-07-02 Shimadzu Corp 表示装置
JPH11184584A (ja) * 1997-12-19 1999-07-09 Nippon Telegr & Teleph Corp <Ntt> 仮想現実端末装置
JPH11232011A (ja) * 1998-02-09 1999-08-27 Semiconductor Energy Lab Co Ltd 情報処理装置
JPH11249772A (ja) * 1998-02-26 1999-09-17 Dainippon Printing Co Ltd 仮想環境提示装置
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2000181601A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000293279A (ja) * 1999-04-07 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> マルチメディアデータ取得装置及びそのプログラムを記録した記録媒体
JP2001042983A (ja) * 1999-07-30 2001-02-16 Nippon Telegr & Teleph Corp <Ntt> マルチメディア制御装置およびそのプログラムを記録した記録媒体
US6526669B2 (en) * 2000-04-26 2003-03-04 Agency Of Industrial Science And Technology Ministry Of International Trade And Industry Apparatus for acquiring human finger manipulation data
JP2002023098A (ja) * 2000-07-10 2002-01-23 Shikoku Res Inst Inc 顔面装着型の赤外と可視映像の同時視認装置
JP2002290529A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 携帯通信端末、情報表示装置、制御入力装置および制御入力方法
JP2002318876A (ja) * 2001-04-24 2002-10-31 Victor Co Of Japan Ltd 電子投票装置
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2005202965A (ja) * 2004-01-14 2005-07-28 Internatl Business Mach Corp <Ibm> 筋電センサを利用して音声ベースのデバイスを用いた口頭による伝達を開始する方法および装置
JP2005242854A (ja) * 2004-02-27 2005-09-08 Nippon Telegr & Teleph Corp <Ntt> 3次元データの表示方法・装置およびプログラム
JP2013027718A (ja) * 2004-04-01 2013-02-07 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2012050837A (ja) * 2004-04-01 2012-03-15 William C Torch 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2005301479A (ja) * 2004-04-08 2005-10-27 Akinori Yoshino 投影された提示者の動作による命令入力装置
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2006074798A (ja) * 2005-09-05 2006-03-16 Olympus Corp 頭部装着型表示装置
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
JP5167545B2 (ja) * 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
US9665167B2 (en) 2006-10-16 2017-05-30 Sony Corporation Imaging display apparatus and method
US9772686B2 (en) 2006-10-16 2017-09-26 Sony Corporation Imaging display apparatus and method
KR100846210B1 (ko) * 2006-12-05 2008-07-15 한국전자통신연구원 입력 데이터 자동 인식 시스템 및 방법
JP2008017501A (ja) * 2007-07-27 2008-01-24 Fujifilm Corp 電子カメラ
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2010539620A (ja) * 2007-09-18 2010-12-16 ゲフェマー リサーチ アクイジションズ エルエルシー ホログラフィックユーザインターフェース通信の方法および装置
JP2009093489A (ja) * 2007-10-10 2009-04-30 Toshiba Tec Corp 商品処理装置及びposシステム
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置
JP2010038879A (ja) * 2008-08-08 2010-02-18 Ntt Docomo Inc 物体形状認識システム及び物体形状認識方法
US8237655B2 (en) 2008-08-14 2012-08-07 Sony Corporation Information processing apparatus, method and program
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
US8698743B2 (en) 2008-08-14 2014-04-15 Sony Corporation Information processing apparatus, method and program
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010073928A1 (ja) * 2008-12-22 2010-07-01 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010082270A1 (ja) * 2009-01-15 2010-07-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010164784A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010206673A (ja) * 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
WO2010101081A1 (ja) * 2009-03-05 2010-09-10 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2010218405A (ja) * 2009-03-18 2010-09-30 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
JP2011048440A (ja) * 2009-08-25 2011-03-10 Toshiba Tec Corp 調理補助端末及びプログラム
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
TWI501130B (zh) * 2010-10-18 2015-09-21 Ind Tech Res Inst 虛擬觸控輸入系統
US9911230B2 (en) 2010-12-06 2018-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling virtual monitor
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2012146236A (ja) * 2011-01-14 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2012199824A (ja) * 2011-03-22 2012-10-18 Kyocera Corp 撮影装置、制御方法および仮想情報表示プログラム
KR20140033144A (ko) * 2011-06-17 2014-03-17 마이크로소프트 코포레이션 용적 방식 비디오 표현 기법
JP2013190926A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
JP2018165994A (ja) * 2012-06-14 2018-10-25 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
US9547374B2 (en) 2012-06-14 2017-01-17 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
JP2016197461A (ja) * 2012-06-14 2016-11-24 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
US10775623B2 (en) 2012-10-24 2020-09-15 Samsung Electronics Co., Ltd Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
CN103809687A (zh) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
CN103809687B (zh) * 2012-11-06 2017-10-13 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
US9448405B2 (en) 2012-11-06 2016-09-20 Sony Corporation Head mounted display, motion detector, motion detection method, image presentation system and program
US10241331B2 (en) 2012-11-06 2019-03-26 Sony Interactive Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
JP2014093703A (ja) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム
US9529442B2 (en) 2013-01-09 2016-12-27 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
WO2014109498A1 (en) * 2013-01-09 2014-07-17 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US10095030B2 (en) 2013-02-19 2018-10-09 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
JP6074494B2 (ja) * 2013-02-19 2017-02-01 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2013110764A (ja) * 2013-02-19 2013-06-06 Sony Corp 撮像表示装置、撮像表示方法
JPWO2014128749A1 (ja) * 2013-02-19 2017-02-02 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US10295826B2 (en) 2013-02-19 2019-05-21 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
WO2014128788A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US9778464B2 (en) 2013-02-19 2017-10-03 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
JPWO2014128788A1 (ja) * 2013-02-19 2017-02-02 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2014160412A (ja) * 2013-02-20 2014-09-04 Fuji Xerox Co Ltd 閲覧装置及び閲覧システム
JPWO2014141504A1 (ja) * 2013-03-11 2017-02-16 Necソリューションイノベータ株式会社 3次元ユーザインタフェース装置及び3次元操作処理方法
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Necソリューションイノベータ株式会社 3次元ユーザインタフェース装置及び3次元操作処理方法
US10007351B2 (en) 2013-03-11 2018-06-26 Nec Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
JP2018077876A (ja) * 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10514767B2 (en) 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
US10987574B2 (en) 2013-06-09 2021-04-27 Sony Interactive Entertainment Inc. Head mounted display
US10525335B2 (en) 2013-06-09 2020-01-07 Sony Interactive Entertainment Inc. Head mounted display
JP2017152010A (ja) * 2013-06-09 2017-08-31 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
US10173129B2 (en) 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
US9836199B2 (en) 2013-06-26 2017-12-05 Panasonic Intellectual Property Corporation Of America User interface device and display object operating method
US10466880B2 (en) 2013-06-26 2019-11-05 Panasonic Intellectual Property Corporation Of America User interface device and display object operating method
JPWO2014207971A1 (ja) * 2013-06-26 2017-02-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ユーザインタフェース装置及び表示オブジェクト操作方法
WO2014207971A1 (ja) * 2013-06-26 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置及び表示オブジェクト操作方法
JP2015043209A (ja) * 2013-08-26 2015-03-05 トムソン ライセンシングThomson Licensing ヘッドマウント装置を介する表示方法
JPWO2015030264A1 (ja) * 2013-08-30 2017-03-02 国立大学法人山梨大学 クリック動作検出装置,方法およびプログラム
WO2015030264A1 (ja) * 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置,方法およびプログラム
CN104469464A (zh) * 2013-09-25 2015-03-25 精工爱普生株式会社 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
JP2015069481A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム
JP2015069480A (ja) * 2013-09-30 2015-04-13 ブラザー工業株式会社 ヘッドマウントディスプレイ、及び、制御プログラム
JPWO2015107625A1 (ja) * 2014-01-15 2017-03-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
US10656424B2 (en) 2014-01-15 2020-05-19 Maxell, Ltd. Information display terminal, information display system, and information display method
US10386637B2 (en) 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
WO2015107625A1 (ja) * 2014-01-15 2015-07-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
JP2017076970A (ja) * 2014-01-17 2017-04-20 カシオ計算機株式会社 システム
JP2015227919A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP2014212526A (ja) * 2014-06-03 2014-11-13 株式会社ニコン ヘッドマウントディスプレイ装置
JP2014206990A (ja) * 2014-06-09 2014-10-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
KR20200106483A (ko) * 2014-11-27 2020-09-14 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
US11442580B2 (en) 2014-11-27 2022-09-13 Samsung Electronics Co., Ltd. Screen configuration method, electronic device, and storage medium
CN106066537B (zh) * 2015-04-24 2020-07-24 松下电器(美国)知识产权公司 头戴式显示器和头戴式显示器的控制方法
US10747488B2 (en) 2015-04-24 2020-08-18 Panasonic Intellectual Property Corporation Of America Head-mounted display apparatus worn on user's head
CN106066537A (zh) * 2015-04-24 2016-11-02 松下电器(美国)知识产权公司 头戴式显示器和头戴式显示器的控制方法
US10359982B2 (en) 2015-04-24 2019-07-23 Panasonic Intellectual Property Corporation Of America Head-mounted display apparatus worn on user's head
JP2016208370A (ja) * 2015-04-24 2016-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
WO2016190057A1 (ja) * 2015-05-22 2016-12-01 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
US10115235B2 (en) 2015-07-14 2018-10-30 Colopl, Inc. Method for controlling head mounted display, and system for implemeting the method
JP2017033195A (ja) * 2015-07-30 2017-02-09 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
JP2017033334A (ja) * 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
US10506913B2 (en) 2015-08-28 2019-12-17 Fujifilm Corporation Apparatus operation device, apparatus operation method, and electronic apparatus system
JPWO2017038241A1 (ja) * 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US10747308B2 (en) 2015-09-16 2020-08-18 Fujifilm Corporation Line-of-sight operation apparatus, method, and medical device
WO2017047212A1 (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 視線操作装置及び方法、並びに医療機器
JPWO2017047212A1 (ja) * 2015-09-16 2018-07-12 富士フイルム株式会社 視線操作装置及び方法、並びに医療機器
JP2016034133A (ja) * 2015-10-08 2016-03-10 セイコーエプソン株式会社 頭部装着型表示装置
WO2017085974A1 (ja) * 2015-11-17 2017-05-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2017102499A (ja) * 2015-11-30 2017-06-08 富士通株式会社 操作検出方法、操作検出装置、及び操作検出プログラム
WO2017163648A1 (ja) * 2016-03-23 2017-09-28 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
US10587862B2 (en) 2016-03-23 2020-03-10 Sony Interactive Entertainment Inc. Head-mounted device
JP2016154044A (ja) * 2016-04-28 2016-08-25 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US11260287B2 (en) 2017-04-28 2022-03-01 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US12370434B2 (en) 2017-04-28 2025-07-29 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JPWO2018198910A1 (ja) * 2017-04-28 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11617942B2 (en) 2017-04-28 2023-04-04 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US11896893B2 (en) 2017-04-28 2024-02-13 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
WO2018198910A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11077360B2 (en) 2017-04-28 2021-08-03 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2022028692A (ja) * 2017-04-28 2022-02-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2018032383A (ja) * 2017-07-07 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US10823964B2 (en) 2017-11-02 2020-11-03 Olympus Corporation Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
JP2019016378A (ja) * 2018-09-12 2019-01-31 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2020166040A (ja) * 2019-03-28 2020-10-08 ファナック株式会社 制御システム
US11480940B2 (en) 2019-03-28 2022-10-25 Fanuc Corporation Control system
JP2025022924A (ja) * 2019-06-21 2025-02-14 マクセル株式会社 表示装置
JP2020013584A (ja) * 2019-08-09 2020-01-23 株式会社ファイン 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
JP2024086759A (ja) * 2020-10-26 2024-06-28 パイオニア株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
JP2025065441A (ja) * 2021-12-13 2025-04-17 株式会社コロプラ プログラム、情報処理方法、及び携帯型端末
JP2025508658A (ja) * 2022-01-19 2025-04-10 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法

Also Published As

Publication number Publication date
EP0679984B1 (en) 2002-11-13
US6346929B1 (en) 2002-02-12
DE69528787D1 (de) 2002-12-19
EP0679984A1 (en) 1995-11-02

Similar Documents

Publication Publication Date Title
JPH086708A (ja) 表示装置
CN113709410B (zh) 基于mr眼镜的人眼视觉能力增强的方法、系统及设备
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN111630477B (zh) 提供增强现实服务的设备及其操作方法
US9804682B2 (en) Systems and methods for performing multi-touch operations on a head-mountable device
US9967487B2 (en) Preparation of image capture device in response to pre-image-capture signal
CN112835445B (zh) 虚拟现实场景中的交互方法、装置及系统
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20240257486A1 (en) Techniques for interacting with virtual avatars and/or user representations
JP2001154794A (ja) まばたきによるクリック機能を有するポインティング装置
JP2009010987A (ja) 電子カメラ
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
US20250208812A1 (en) Information processing apparatus, photographed image transfer and display system, and photographed image transfer and display method
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN114416237B (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP7031112B1 (ja) 眼鏡型端末
JP6565202B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR20240109553A (ko) 외부 전자 장치의 형태에 기반하여 적어도 하나의 어플리케이션을 전환하기 위한 웨어러블 장치 및 그 방법
TWM579288U (zh) Glasses type TV
JP2018107823A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法