JPH0863326A - 画像処理装置及び方法 - Google Patents

画像処理装置及び方法

Info

Publication number
JPH0863326A
JPH0863326A JP6196632A JP19663294A JPH0863326A JP H0863326 A JPH0863326 A JP H0863326A JP 6196632 A JP6196632 A JP 6196632A JP 19663294 A JP19663294 A JP 19663294A JP H0863326 A JPH0863326 A JP H0863326A
Authority
JP
Japan
Prior art keywords
image
cursor
image processing
processing
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6196632A
Other languages
English (en)
Inventor
Shunichi Ohara
俊一 大原
Masakazu Ejiri
正員 江尻
Yasuhiro Nemoto
泰弘 根本
Naoki Sasaki
直樹 佐々木
Hidefumi Otsuka
英史 大塚
Shogo Matsumoto
章吾 松本
Riyouko Satou
亮子 佐藤
Kazuji Yoshida
和司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP6196632A priority Critical patent/JPH0863326A/ja
Priority to US08/515,450 priority patent/US5801704A/en
Publication of JPH0863326A publication Critical patent/JPH0863326A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【目的】操作カーソルによる画像の処理操作を迅速かつ
容易に行うことができるようにする。 【構成】画像表示装置１０に被処理物１２と操作カーソ
ル１３を表示し、前記操作カーソルを操作者１００の手
１０１及び指の三次元的な動作に応じて操作することに
より前記被処理物の画像処理を行なう画像処理装置であ
って、前記手及び指の三次元的な動作を意味判断して処
理機能及び操作カーソルの形状を変更することにより、
該処理機能の理解を支援するようにした。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、コンピュータによるデ
ータ処理によって生成して画像表示された被処理物の画
像処理やシミュレーションを行う画像処理装置及び方法
に係り、特に、操作者の手及び指の動きを検出して被処
理物を処理する画像処理装置及び方法に関する。
【０００２】
【従来の技術】コンピュータによるデータ処理によって
生成して画像表示された被処理物（画像）の移動や加工
あるいは変形などの処理は、キーボードやマウスなどに
よってカーソルを操作して作用させることによって行っ
ている。
【０００３】また、画像表示された被処理物の処理操作
を操作者の手及び指の動きを検出して行なう処理装置及
び方法は、特開昭６２−４４８２７号公報に記載された
ように、グローブ状の入力装置を用いて操作者の手及び
指の動きを検出し、手の形状にしたカーソルを該検出結
果に応じて動かして被処理物の処理操作を行うように構
成されている。
【０００４】また、刊行物「ＰＩＸＥＬ」（Ｎｏ１３
２）ｐ２６〜ｐ２８には、グローブ状の入力装置を用い
た三次元画像の操作についての開示がある。
【０００５】
【発明が解決しようとする課題】画像表示された被処理
物の画像処理操作を行なうカーソルをキーボード操作に
よって行なう画像操作装置は、カーソルの移動方向が限
定されてしまうので自在な画像処理操作を行なうことが
難しい。また、マウスによるカーソル移動で画像の処理
操作を行なう装置は、マウスの操作方向が水平面である
のに対してカーソルの移動方向は垂直な画像表示面内で
あり、操作に実感が伴わない問題がある。更に、双方と
もに二次元的な入力操作であるために、三次元画像の処
理操作が難しい。
【０００６】一方、グローブ状の入力装置は三次元的な
操作入力を行なうことが可能であるが、カーソル形状が
手を投影したものであり、被処理物に対して処理操作を
行うときのカーソルの機能及び該被処理物に対する該カ
ーソルの作用点を明確に表示することができない欠点が
ある。
【０００７】本発明の１つの目的は、カーソルを操作す
ることによって画像（被処理物）の処理操作を迅速且つ
容易に行うことができる画像処理装置及び方法を提供す
ることにある。
【０００８】本発明の他の目的は、カーソルによる画像
の処理操作を正確に行うことができる画像処理装置及び
方法を提供することにある。
【０００９】本発明の更に他の目的は、コンピュータシ
ミュレーションにおいて、被処理物へ作用させる操作条
件の入力を迅速且つ容易に行うことができる画像処理装
置及び方法を提供することにある。
【００１０】
【課題を解決するための手段】本発明の主たる特徴は、
被処理物と操作カーソルを表示する画像表示手段と、前
記操作カーソルを操作者の手及び指の三次元的な動作に
応じて操作するカーソル生成手段と、操作カーソルの作
用に応じて処理された前記被処理物の画像データを生成
する被処理物生成手段を備えた画像処理装置において、
前記手及び指の三次元的な動作を意味判断して処理機能
及び操作カーソルの形状を変更する変更制御手段を設け
たことにある。
【００１１】本発明の他の主たる特徴は、画像を表示す
る画像表示手段と、操作者の手及び指の動作及びその三
次元的な位置を検出する三次元動作検出手段と、前記三
次元動作検出手段の検出結果に基づいて操作カーソル画
像データを生成するカーソル生成手段と、前記操作カー
ソル画像データに基づいて表示される操作カーソルで操
作する被処理物の画像データを生成する被処理物生成手
段と、前記操作カーソル画像データと被処理物画像デー
タを合成して前記画像表示手段に表示させる表示画像生
成手段とを備えた画像処理装置において、前記三次元動
作検出手段が検出した動作の形態から指示の意味を判断
する意味判断手段と、該意味判断手段の判断結果に応じ
て処理機能及び操作カーソルの形状を変更させる変更制
御手段を設けたことにある。
【００１２】本発明の更に他の主たる特徴は、画像を表
示する画像表示手段と、操作者の手及び指の動作及びそ
の三次元的な位置を検出する三次元動作検出手段と、前
記三次元動作検出手段の検出結果に基づいて操作カーソ
ル画像データを生成するカーソル生成手段と、前記操作
カーソル画像データに基づいて表示される操作カーソル
で操作する被処理物の画像データを生成する被処理物生
成手段と、前記操作カーソル画像データと被処理物画像
データを合成して前記画像表示手段に表示させる表示画
像生成手段とを備えた画像処理装置において、前記三次
元動作検出手段が検出した動作の形態から指示の意味を
判断する意味判断手段と、該意味判断手段の判断結果に
応じて処理機能及び複数種類の操作カーソルを表示する
凡例表示手段と、前記各操作カーソルに対応させて処理
操作条件を設定する条件設定手段とを設け、前記被処理
物生成手段は、前記処理操作条件に応じて被処理物の画
像データを生成するようにしたことにある。
【００１３】本発明の更に他の主たる特徴は、画像表示
手段に被処理物と操作カーソルを表示し、前記操作カー
ソルを操作者の手及び指の三次元的な動作に応じて操作
することにより前記被処理物の画像処理を行なう画像処
理方法において、前記手及び指の三次元的な動作を意味
判断して処理機能及び操作カーソルの形状を変更するこ
とにある。
【００１４】
【作用】手及び指の三次元的な動作によって画像処理機
能と該処理機能に対応する操作カーソルの選択と移動操
作を行ない、被処理物の画像処理を行なう。
【００１５】操作カーソルの形状は、処理機能を象徴す
る形で該処理機能を表示し、該処理機能の理解を支援す
る。
【００１６】また、複数の操作カーソルに操作条件を設
定して被処理物に作用させることにより、条件を視覚的
に表示した状態でシミュレーション画像を表示する。
【００１７】
【実施例】図１は、本発明になる画像処理装置の全体構
成を示す外観斜視図であり、該画像処理装置は、画像表
示装置１０の表示画面１１に表示された被処理物（画
像）１２を操作カーソル（画像）１３で操作することに
より、該被処理物に対して、変形，移動，切断，回転な
どの画像処理を行なう。そして、その特徴は、このよう
な被処理物に対する変形，移動，切断，回転などの各処
理機能の１つが選択されると、該選択された処理機能に
適した形状の操作カーソル１３を表示して操作者に認識
させることにより、該処理機能における処理操作を容易
にすることにある。
【００１８】操作者１００の手１０１と指の指示動作形
態や動きを検出するための三次元位置検出手段は、操作
者１００の手１０１に装着されて位置提示信号を発信す
る位置提示手段２１と画像表示装置１０に設置されて前
記位置提示信号を受信する３個の受信機２２ａ〜２２ｃ
を備える。
【００１９】前記位置提示手段２１は、手１０１の各指
に装着されて信号線２１ａによって電力と同期信号が与
えられる指輪状の複数の指位置発信機２１ｂと、バンド
２１ｃによって手１０１の甲に位置するように装着され
る手位置発信機２１ｄを有する。そして、各指位置発信
機２１ｂ及び手位置発信機２１ｄと受信機２２ａ〜２２
ｃは、各発信機２１ｂ，２１ｄが発信する超音波信号を
３個の受信機２２ａ〜２２ｃが３点で受信して各信号が
到達するまでの遅れ時間を計測することにより、各発信
機２１ｂ，２１ｄの三次元的な位置、すなわち手１０１
とその各指の三次元的な位置を計測（検出）するように
使用する。各発信機２１ｂ，２１ｄは、超音波信号を時
分割して発信するように同期信号によって制御し、各受
信機２２ａ〜２２ｃで受信する超音波信号の発生源を特
定し、各手１０１と各指の位置検出処理を時分割で行な
うようにする。
【００２０】また、このような三次元位置検出手段は、
前記受信機２２ｂをビデオカメラに変え、操作者の手を
撮影した画像データをコンピュータで処理してその位置
を検出するように変形した構成とすることもできる。こ
のようにすれば、操作者は、手１０１と指の位置検出の
ために手に各発信機を装着する必要がなく、装着の手間
を省くことができる利点がある。
【００２１】被処理物を表示する画像データ及びカーソ
ルを表示するカーソル画像データを生成して前記画像表
示装置１０に与えるコンピュータ３０は、前記受信機２
２ａ〜２２ｃからの受信信号，キーボード４１及びマウ
ス４２からの指令信号及び音声入力手段であるマイクロ
フォン４３からの入力信号を使用して前記カーソル画像
データ及び被処理物画像データを処理すると共に擬音発
生手段であるスピーカ４４ａ，４４ｂを制御し、また、
画像切換え同期信号を画像同期信号発信機４５に与える
ことにより三次元画像を立体的に見せる立体眼鏡４６の
切換え制御の同期信号を赤外線信号や超音波信号の形態
で発信させる。
【００２２】なお、立体眼鏡４６は、画像表示装置２０
に表示した左目用画像または右目用画像を該画像に応じ
て操作者１００が左目または右目で見るように開閉動作
する液晶シャッタを備えており、同期信号受信機４７
は、該液晶シャッタの開閉動作を制御するために前記発
信機４５からの切換え制御同期信号を受信する。
【００２３】図２は、本実施例における画像表示装置１
０の表示画面１１に表示した表示画像を示している。表
示画面１１には、被処理物１２，操作カーソル１３，標
準カーソル１４，凡例表示部１５などが表示される。
【００２４】凡例表示部１５には、機能選択番号１５１
を付して区分けされた複数種類（複数形状）の操作カー
ソル１５２とその処理機能表示文字１５３及び指による
機能選択指示形態図１５４が機能選択凡例として表示さ
れる。
【００２５】機能（操作カーソル１５２）の選択は、指
を対応する選択指示動作形態にし、またはキーボード４
１によって機能選択番号を数値入力し、更にはキーボー
ド４１またはマウス４２によって標準カーソル１４を希
望する機能欄に移動して指示することによって行う。指
の動作形態による選択指示例を示す機能選択指示形態図
１５４は、指の動作形態が近似していて間違え易い機能
選択の指示動作形態を参考情報として提供し、不慣れな
操作者による選択操作を支援する。
【００２６】図３は、本実施例において前記機能選択凡
例表示のために定義した画像処理機能と操作カーソル形
状と選択指示動作形態の関係を示している。図は、処理
機能と、正六面体の被処理物を併せて表示した操作カー
ソル形状と、それを選択するための指の選択指示動作形
態を対にして例示している。
【００２７】指示（ポイント）機能は、矢印形状の操作
カーソルであり、該機能を選択するための選択指示動作
形態は、手を握った形から人差指を伸ばした形態であ
る。指示点は矢印の先端部である。
【００２８】被処理物を押し込む方向に変形させる変形
機能は、円錐形状の操作カーソルであり、該機能を選択
するための選択指示動作形態は、手を握った形から人差
指と中指を伸ばした形態である。
【００２９】被処理物を引き出す方向に変形させる変形
機能は、先端が曲がった円錐形状の操作カーソルであ
り、該機能を選択するための選択指示動作形態は、手を
握った形から指先を曲げて人差指と中指を伸ばした形態
である。
【００３０】被処理物を移動させる移動機能は、物を掴
んでいる手の形状の操作カーソルであり、該機能を選択
するための選択指示動作形態は、物を掴む手の形態であ
る。
【００３１】被処理物を平行移動させる平行移動機能
は、ヘラ状の操作カーソルであり、該機能を選択するた
めの選択指示動作形態は開いた状態の手の形態である。
【００３２】被処理物の面を形成する面形成機能は、刷
毛状の操作カーソルであり、該機能を選択するための選
択指示動作形態は前記平行移動機能と同様に開いた状態
の手の形態である。
【００３３】被処理物を切断する切断機能は、包丁やナ
イフ等の切断器具形状であり、該機能を選択するための
選択指示動作形態は、平行移動と同様に開いた手の形態
である。
【００３４】平行移動機能と面形成機能及び切断機能の
ように、指による選択指示動作形態が同一あるいは近似
している場合は、該機能を凡例表示部に表示し、その選
択は、指による選択指示と併せて音声またはマウス等に
よる他の指示手段を併用して行うようにする。このよう
な組み合わせによる選択指示は、指による選択指示動作
形態の種類数を減少し、微妙な違いによる煩雑な選択指
示を行なうことなく多くの機能の選択を可能にする。
【００３５】被処理物を回転させる回転機能は、独楽状
の操作カーソルであり、該機能選択の指示は独楽を回す
ように親指の腹で人差指をこする選択指示動作形態であ
る。
【００３６】このように、操作カーソルの形状を、被処
理物に対する処理機能を象徴する形とすることで、操作
者は処理内容を容易に認識することが可能になる。ま
た、処理機能を選択するための指の選択指示動作形態
を、該処理機能を連想させる形態とすることにより、該
装置に熟知していない操作者でも容易に処理操作を行な
うことを可能にする。
【００３７】図４は、本実施例における画像処理機能
と、正六面体で例示した被処理物に対する操作カーソル
の動きに対応する画像処理内容と、操作カーソルに対す
る指示操作の関係を例示して示している。これは、処理
機能が選択された後に前記凡例表示部１５に操作凡例と
して表示される。
【００３８】スクロール処理機能は、操作カーソルが被
処理物の影に隠れるように移動操作されるとき、あるい
は、任意に設定された被処理物の近傍の位置に到り、更
に移動するように操作されるときに、該被処理物を反移
動方向に回転させる画像処理機能である。すなわち、影
になっている部分を指示するように操作カーソルを移動
操作すると、自動的に該被処理物を回転させて影の部分
を表にする画像処理機能である。被処理物の影の部分を
表にするための指示入力操作が簡単になる利点がある。
【００３９】面上移動処理機能は、被処理物の面内に操
作カーソルを押し込む方向のカーソル操作を行っても該
操作カーソルを該面上に留めるて移動させる機能であ
る。被処理物の面と平行な移動操作成分がある場合は、
操作カーソルはその成分に相応して該面上を移動する。
この処理機能は、被処理物の表面上の特定の位置を指示
する場合に、操作カーソルの移動を指示する指の位置が
ぶれても該操作カーソルが被処理物の内部に入り込まな
いので、該被処理物の表面上の一点を指示する操作を容
易にする。
【００４０】進行方向向き機能は、操作する手の各指の
位置関係にかかわらず、操作カーソルを常に進行方向に
向かせる機能である。例えば、右手の操作で被処理物の
左側面を指示する仕草をするのは容易ではない。この機
能は、このようなときに、操作カーソルを進行方向（右
方向）に向かせて指を進行方向（左から右）へ移動させ
ることで、該操作カーソルによる被処理物の左側面の指
示を実現する機能である。
【００４１】起立機能は、操作カーソルを被処理物の面
に接触させることにより、該被処理物をその面に対して
任意の角度で起立させる機能である。被処理物に対する
操作カーソルの指示位置を明確化したいときに使用す
る。変形処理操作の場合は、変形方向の指定が明確にな
り、正確な方向への変形が可能になる。
【００４２】ステップ移動機能は、１回の指示操作あた
りの操作カーソルの移動及び該操作カーソルによる被処
理物の処理（移動）量を特定するものである。正確ある
いは迅速な画像処理を可能にする。
【００４３】複カーソル表示機能は、被処理物をある操
作カーソルで操作している状態で他の操作カーソルを表
示させて別の操作を行なう機能である。例えば、シミュ
レーションで複数の荷重あるいは温度等を被処理物に加
える場合に、荷重等を複数の操作カーソルで指示した任
意の位置に加えることが可能になる。このような画像処
理表示画面は、シミュレーションの条件を視覚的に表示
することができるので、条件の選択やシミュレーション
の結果の理解が容易になる。
【００４４】これらの具体的な処理機能の選択とカーソ
ル操作は、指の形態による指示と併せて音声入力やマウ
ス等の他の命令手段を併用して凡例表示部上で行うこと
ができるようにされる。
【００４５】図５は、本発明になる画像処理装置におけ
るコンピュータ３０が前述のような画像処理機能を実現
するために実行する情報処理プログラムをブロック化し
た機能図である。
【００４６】コンピュータ３０は、三次元動作検出手段
３０１，意味判断手段３０２，音声認識手段３０３，命
令信号入力手段３０４，凡例画像生成手段３０５，カー
ソル生成手段３０６，画像メモリ３０７，被処理物生成
手段３０８，立体画像生成手段３０９，位置判断手段３
１０及び擬音生成手段３１１を備える。
【００４７】三次元動作検出手段３０１は、前記受信機
２２ａ〜２２ｃで受信した各送信機２１ｂ，２１ｄから
の各信号に基づいて操作者１００の手１０１と各指の三
次元的な位置を求め、更に、該位置を時系列的に監視し
て指の動作形態を求め、求めた各データを後段の意味判
断手段３０２に送る。
【００４８】音声認識手段３０３は、マイクロフォン４
３から入力する音声信号を解析して命令信号に変換す
る。この命令信号は、後段の意味判断手段３０２におけ
る判断の補助及び凡例表示部１５に表示された機能選択
あるいは操作などの指示入力を補助する。音声入力によ
って指示入力を補助することによりカーソル操作中にキ
ーボードやマウスによる指示入力を不要にすれば、カー
ソル操作効率が向上し、また、両手で操作カーソル１３
を操作することが可能となって一層複雑で実感覚に近い
操作が可能になる。また、片手による指示入力の場合で
も、命令の種類を増やすことができるため、多種類の処
理機能をもたせることが可能になる。
【００４９】意味判断手段３０２は、前記三次元動作検
出手段３０１から与えられる前記各データと音声認識手
段３０３から与えられる前記命令信号に基づいて選択指
示された機能及び動作を判断し、それに応じた制御信号
を生成する。操作カーソル１３の表示位置は、操作者の
手及び指の動作形態に応じて表示画面１１を移動するよ
うに決定する。
【００５０】命令信号入力手段３０４は、キーボード４
１及びマウス４２等からの指示入力信号に応じて命令信
号を発生する。この命令信号によって、後述する凡例画
像生成手段３０５で生成した凡例画像の表示制御及び選
択指示などを行なう。
【００５１】凡例画像生成手段３０５は、複数の画像処
理機能の選択と処理操作のために凡例表示部１５に表示
する凡例画像を生成する。この凡例画像は、手や指の指
示動作による機能選択や処理操作の参考情報を提供す
る。また、この凡例画像は、指の指示動作形態が近似し
て間違え易い機能の選択や操作中に他の処理操作を選択
するときに他の操作手段及び命令手段によって選択指示
入力することを可能にする。
【００５２】カーソル生成手段３０６は、前記意味判断
手段３０２の判断結果及び命令信号入力手段３０４から
の入力信号に応じて、選択指示された機能に応じた操作
カーソル１３及び標準カーソル１４を特定して画像メモ
リ３０７の画像データを参照し、表示位置データで指定
された位置に表示または移動するようにカーソル画像デ
ータを生成する。
【００５３】被処理物生成手段３０８は、操作カーソル
１３による処理操作の対象となる被処理物１２を表示す
る被処理物画像データを画像メモリ３０７のデータに基
づいて生成する。そして、操作カーソル１３が被処理物
１２に接触すると、該操作カーソル１３に相応する機能
とその後のカーソル操作内容と被処理物１２の特性に応
じて該被処理物１２の変形，移動，切断，回転などの画
像処理を行う。
【００５４】立体画像生成手段３０９は、画像表示装置
１０の表示画面１１に表示する立体画像表示データと切
換え制御同期信号を生成する。表示画面１１に表示する
前記立体画像は、前述したように、被処理物１２，操作
カーソル１３，標準カーソル１４及び凡例表示部１５を
含んでおり、この画像データは、凡例画像生成手段３０
５，カーソル生成手段３０６及び被処理物生成手段３０
８で生成された画像データを合成して生成する。平坦な
表示画面１１に表示した画像から操作者１００が立体感
を得るために、操作者１００の左目と右目の視差に応じ
た表示画像を交互に表示するように左目用画像データと
右目用画像データを交互に生成し、操作者１００が該２
種類の表示画像を相応する側の目で見るように立体眼鏡
４６の液晶シャッタを切換える前記切換え制御同期信号
を生成する。
【００５５】そして、画像表示手段１０は、立体画像生
成手段３０９で生成された左目用画像データと右目用画
像データに基づく画像を交互に表示して操作者１００に
提示する。また、切換え制御同期信号発信機４５は、立
体眼鏡４６が画像表示手段１０に表示された左目用画像
を左目に提供し、右目用画像を右目に提供するように、
液晶シャッタを開閉制御する前記切換え制御同期信号を
発信する。
【００５６】位置判断手段３１０は、被処理物１２の位
置と操作カーソル１３の位置の相互関係を比較して両者
の接触の有無を判断する。
【００５７】擬音生成手段３１１は、位置判断手段３１
０が被処理物１２と操作カーソル１３の接触を判断する
と、該操作カーソル１３の機能と被処理物１２の特性に
応じて接触擬音信号を生成する。生成した接触擬音信号
は、スピーカ４４ａ，４４ｂに与えて接触擬音に変換す
る。
【００５８】図６は、前記したような各機能手段を実現
するために前記コンピュータ３０が実行する情報処理の
フローチャートである。
【００５９】ステップ６０１； 図２に示したような初
期画面を表示する。凡例表示部１５には、図３を参照し
て説明したような機能選択凡例を表示するが、この実施
例は、初期状態として「指示」機能が設定されており、
従って、操作カーソル１３は「指示」対応の形状を表示
する。被処理物１２は、予め作成したものを表示する
か、何も表示しない状態から始める。
【００６０】ステップ６０２； 位置提示手段２１が稼
動状態になって各発信機２１ｂ，２１ｄからの信号を受
信した受信信号が発生すると、指の位置及び動きを検出
し、指示動作形態を検出する。
【００６１】ステップ６０３； 操作者１００の音声入
力信号を音声認識により解析し、機能選択指示またはカ
ーソル操作指示を取得する。
【００６２】ステップ６０４； 指示動作形態及び音声
入力信号を論理処理してその意味判断を行なう。
【００６３】ステップ６０５； 意味判断結果に基づい
て凡例表示部１５に表示する機能選択凡例画像の機能別
配列順序を更新する。選択指示された処理機能を最上段
に配置し、以下、近似する機能順あるいは選択指示動作
形態が近似する機能順あるいは使用する頻度が高い機能
順に並べ変える。選択指示動作形態が近似する機能順に
配列すれば選択あるいは操作指示を行なうときの参考に
することができる利点があり、使用頻度が高い機能順に
配列すれば機能選択を迅速に行なうことができる利点が
ある。
【００６４】マウス４２により標準カーソル１４を移動
して凡例表示部１５上の所望の機能欄が指示されたと
き、またはキーボード４１により機能選択番号の数値入
力がなされたときも同様とする。
【００６５】ステップ６０６； 操作者１００が意図
（選択入力）する処理機能を選択する。選択のための指
示入力は、指による指示動作形態，音声入力，キーボー
ドまたはマウス入力等による命令で行われる。その後、
意味判断に従って選択された新たな処理機能に対応する
操作カーソル１３が特定される。
【００６６】処理機能は、図３を参照して述べたよう
に、ある位置を指示するための指示機能、被処理物を移
動するための移動機能、被処理物を変形するための変形
機能、表示物体を切断するための切断機能などである。
【００６７】ステップ６０７； 選択された処理機能に
応じて、該処理機能を象徴する形状の操作カーソル１３
を表示するカーソル画像データを生成する。
【００６８】ステップ６０８； 表示画面１１に被処理
物１２を表示する被処理物画像データを生成する。この
被処理物１２は、予め作成されている画像データを画像
メモリから読出して表示し、あるいはキーボード４１ま
たはマウス４２から入力されるデータに従って生成す
る。
【００６９】ステップ６０９； 被処理物１２の画像位
置データと操作カーソル１３の画像位置データを検出す
る。
【００７０】ステップ６１０； 被処理物１２の画像位
置データと操作カーソル１３の画像位置データを比較す
ることにより、被処理物１２と操作カーソル１３の接触
の有無を判断する。
【００７１】ステップ６１１； 操作カーソル１３が被
処理物１２に接触（近接）したことを検出すると、その
後の操作カーソル１３の操作により実行される処理操作
凡例を凡例表示部１５に表示する。
【００７２】処理操作凡例は、図４を参照してその一部
を説明したが、指示機能では、移動する操作カーソル１
３がそのまま被処理物１２を通過させる通過、操作カー
ソル１３が被処理物１２内に入り込むように操作しても
該操作カーソル１３を被処理物１２の表面に留める停
止、操作カーソル１３で指示した被処理物１２を該面に
対して任意の角度をなすようにする起立、操作カーソル
１３が被処理物１２内に入り込むように操作されたとき
に操作カーソル１３を被処理物１２の表面に沿って該表
面方向成分だけ該表面上を移動する面上移動等がある。
また、変形機能には、複数の操作カーソル１３によって
条件を与えて被処理物１２を変形させるシミュレーショ
ンがある。
【００７３】ステップ６１２； 所望の画像処理に相応
しいカーソル操作の選択を行なう。選択指示は、指の選
択指示動作形態や音声入力やキーボード及びマウス入力
等で行なわれる。指の動作によって処理機能の選択と処
理操作を選択することができるので、操作カーソル１３
を操作しながらの選択指示入力も可能となる。この選択
のためにキーボードとマウス入力を使用しないようすれ
ば、選択指示入力のための手の移動や視線の移動が不要
になるので、処理操作選択を迅速に行えるようになる。
【００７４】ステップ６１３； 処理操作が選択される
と該処理操作に対応した操作カーソル１３を表示するカ
ーソル画像データを生成する。停止，起立，面上移動な
どは、手の三次元的な動作と表示画面１１での操作カー
ソル１３の操作が一対一に対応しないので機能カーソル
画像データを再生成する。
【００７５】ステップ６１４； 被処理物１２が操作カ
ーソル１３によって操作されることにより処理された後
の該被処理物１２の画像データを生成する。
【００７６】ステップ６１５； 操作カーソル１３によ
って被処理物１２を操作して処理するときに発生する擬
音発生の要否（有無）を処理機能と被処理物１２と操作
カーソル１３から判断する。
【００７７】ステップ６１６； 擬音発生が必要であれ
ば、処理機能，カーソル操作及び被処理物の特性に応じ
た擬音データを生成する。
【００７８】ステップ６１７； 擬音データに基づいた
擬音を発生するようにスピーカを制御する。この擬音
は、画面表示による視覚情報と合わせて聴覚情報を操作
者に提示するので、操作カーソル１３の操作を容易にす
ると共に該操作を正確にする効果がある。
【００７９】ステップ６１８； 操作カーソル１３の操
作と該操作に基づいて処理された被処理物１２との関係
を再構成した新しい表示画像データを生成する。
【００８０】ステップ６１９； 新しい表示画像データ
を画像表示装置１０に表示させて操作者１００に提示す
る。
【００８１】ステップ６２０； 別操作カーソル表示の
要否を確認する。複数の操作カーソルを必要とする処理
操作が選択されていれば、新しい操作カーソルの設定，
操作及び画像処理に分岐する。
【００８２】ステップ６２１； 処理操作に必要な新し
い操作カーソル１３を設定する。旧操作カーソル１３は
現状位置で静止し、あるいは新しい操作カーソルと協働
する。そして、必要な画像処理を行なって表示する。
【００８３】ステップ６２２； 処理終了が指示されて
いれば該画像処理を終了し、そうでなければ、ステップ
６０２に戻って同様な処理を繰り返す。
【００８４】なお、複数の三次元動作検出手段を用いて
処理機能の選択指示やカーソル操作指示入力を行う場合
は、各三次元動作検出手段による指示入力を識別し、そ
れぞれに対応して独立した機能選択やカーソル操作と組
み合わせによる機能選択やカーソル操作などを実行する
ことになる。
【００８５】図７は、本発明になる画像処理装置におい
て複数の操作カーソル１３ａ，１３ｂ，１３ｃを使用し
て画像処理（操作）を行なっているときの表示画面１１
を示している。この画像処理機能は、被処理物１３の変
形等のシミュレーションを行うときに好適であり、各操
作カーソル１３ａ〜１３ｃは、シミュレーション条件を
与えるために使用される。
【００８６】各操作カーソル１３ａ〜１３ｃに設定する
様々な境界条件は、キーボード４１などから入力して設
定することが可能であり、設定された境界条件１５５は
凡例表示部１５に表示される。例示した操作カーソル
は、集中荷重用操作カーソル１３ａ，分布荷重用操作カ
ーソル１３ｂ，温度用操作カーソル１３ｃである。
【００８７】そして、各操作カーソル１３ａ〜１３ｃ
は、指の指示動作形態あるいは凡例表示部１５の該当機
能を数値またはカーソルで指示することにより選択さ
れ、それぞれ任意の位置に配置される。温度用操作カー
ソル１３ｂは、作用する熱源が矢印方向に移動している
ことを示している。
【００８８】このような画像処理表示は、境界条件の設
定状況が操作カーソル１３ａ〜１３ｃによって視覚的に
表示されるため、シミュレーションの状況を把握し易く
なる利点がある。
【００８９】図８は、図７に示したシミュレーション処
理を行なうために前記ステップ６２１に組み込まれた情
報処理フローチャートを示すものである。この情報処理
は、各操作カーソル１３ａ〜１３ｃの設定及び表示処理
６２１ａと、設定終了の判断処理６２１ｂと、設定終了
後に各操作カーソル１３ａ〜１３ｃに設定された境界条
件に従って行なう被処理物１２の変形等のシミュレーシ
ョン計算処理６２１ｃと、計算結果に従った表示画像デ
ータ生成処理６２１ｄと、該表示画像データに従った画
像表示処理６２１ｅを行なう処理ステップを含む。
【００９０】図９は、本発明になる情報処理装置におけ
る位置提示手段２１の変形例を示している。図１に示し
た実施例と共通の構成部品には同一の参照符号を付して
詳細な説明を省略する。
【００９１】この変形例の特徴は、親指に装着される発
信機２１ｂの中指側に補助スイッチ手段２１ｅを設けた
ことにある。この補助スイッチ手段２１ｅは、操作カー
ソル１３の移動，停止を指示する命令等のように補助的
な命令を発生するために使用する。
【００９２】この補助スイッチ手段２１ｅのＯＮ，ＯＦ
Ｆ操作は、図１０（ａ），（ｂ）に示すように、補助ス
イッチ手段２１ｅを中指側に押し当てるか、あるいは離
しておくかで行なう。この補助スイッチ手段２１ｅによ
る命令を有効に利用して他の命令手段の使用を不要にす
れば、他の命令手段を操作するときのように視線や手の
移動が不要となり、操作カーソル１３の選択や操作性が
向上する。
【００９３】なお、発信機２１ｂ，２１ｄを発光手段と
し、受信機２３ａ〜２３ｃを光学的な二次元センサとし
ても三次元的な位置検出が可能である。
【００９４】図１１は、本発明になる情報処理装置にお
けるの位置提示手段２１の更に他の変形例を示してい
る。そして、図１２は、図１１に示した位置提示手段を
手（指）に装着した状態を示すものである。
【００９５】この変形した位置提示手段２１は、手で握
ることが可能な本体５０と、該本体５０を手の平に支持
するバンド５１と、各指に装着する装着部５２ａ〜５２
ｅと、各装着部５２ａ〜５２ｅに対応して配置される巻
き取り部材５３と、各巻き取り部材５３に巻かれてお
り、外端が伸びて装着部５２に接続されるワイヤ部材５
６と、巻き取り部材５３の回転角を検知する検知部材５
４と、本体５０の三次元的な位置を特定する図示されて
いない手位置検知手段を有する。
【００９６】ワイヤ部材５６は、巻き取り部材５３に巻
き取られている。指を伸ばすと外指に装着された装着部
５２ａ〜５２ｅに接続されたワイヤ部材５６が引き出さ
れ、その巻き取り部材５３が回転する。指を戻せば、該
巻き取り部材５３はワイヤ部材５６を巻き取るように回
転する。
【００９７】検知手段５４はこの巻き取り部材５３の回
転量を計測して各指の伸ばし量を検出し、手位置検知手
段とこの検知手段５４の検出値によって手の三次元的な
位置と各指の指示動作形態が特定される。
【００９８】光学的あるいは超音波による三次元位置検
知は、送信側と受信側の間に障害物があると位置検知が
困難になる場合がある。この実施例によれば、本体５０
に設ける手位置検知手段を磁気センサとすれば、磁気は
磁性体以外は障害物を透過するので、障害物の影響を受
けにくくなる。また、各指の位置関係は、各指と機械的
に連動する検知部材５４で検知するので外的な障害物の
影響を受けにくい利点がある。
【００９９】
【発明の効果】本発明は、カーソルを操作することによ
って画像（被処理物）の処理操作を迅速且つ容易に行う
ことができる。また、画像処理機能を象徴する形状の操
作カーソルを表示するので、処理操作を正確に行うこと
ができる。
【０１００】しかも、コンピュータによるシミュレーシ
ョンにおいては、被処理物に作用させる条件の設定を迅
速且つ容易に行うことができる。
【図面の簡単な説明】
【図１】本発明になる画像処理装置の全体構成を示す外
観斜視図である。
【図２】本発明になる画像処理装置における画像表示装
置の表示画像例である。
【図３】本発明になる画像処理装置における機能選択凡
例を示す図である。
【図４】本発明になる画像処理装置におけるカーソル操
作凡例を示す図である。
【図５】本発明になる画像処理装置の機能ブロック図で
ある。
【図６】本発明になる画像処理装置のコンピュータが実
行する情報処理のフローチャートである。
【図７】本発明になる画像処理装置が実行するシミュレ
ーション表示画像を示す図である。
【図８】図６に示したフローチャートの一部を詳述した
フローチャートである。
【図９】本発明になる画像処理装置における位置提示手
段の変形例を示す外観斜視図である。
【図１０】図９に示した位置提示手段の使用状態を示す
外観斜視図である。
【図１１】本発明になる画像処理装置における位置提示
手段の更に他の変形例を示す外観斜視図である。
【図１２】図１１に示した位置提示手段の使用状態を示
す外観斜視図である。
【符号の説明】
１０…画像表示装置、２１…位置提示手段、２２ａ〜２
２ｃ…受信機、３０…コンピュータ、３０１…三次元動
作検出手段、３０２…意味判断手段、３０６…カーソル
生成手段、３０５…凡例画像生成手段、３０８…被処理
物生成手段、３０９…立体画像生成手段。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐々木 直樹 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内 (72)発明者 大塚 英史 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内 (72)発明者 松本 章吾 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内 (72)発明者 佐藤 亮子 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内 (72)発明者 吉田 和司 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】被処理物と操作カーソルを表示する画像表
    示手段と、前記操作カーソルを操作者の手及び指の三次
    元的な動作に応じて操作するカーソル生成手段と、操作
    カーソルの作用に応じて処理された前記被処理物の画像
    データを生成する被処理物生成手段を備えた画像処理装
    置において、前記手及び指の三次元的な動作を意味判断
    して処理機能及び操作カーソルの形状を変更する変更制
    御手段を設けたことを特徴とする画像処理装置。
  2. 【請求項２】画像を表示する画像表示手段と、操作者の
    手及び指の動作及びその三次元的な位置を検出する三次
    元動作検出手段と、前記三次元動作検出手段の検出結果
    に基づいて操作カーソル画像データを生成するカーソル
    生成手段と、前記操作カーソル画像データに基づいて表
    示される操作カーソルで操作する被処理物の画像データ
    を生成する被処理物生成手段と、前記操作カーソル画像
    データと被処理物画像データを合成して前記画像表示手
    段に表示させる表示画像生成手段とを備えた画像処理装
    置において、 前記三次元動作検出手段が検出した動作の形態から指示
    の意味を判断する意味判断手段と、 前記意味判断手段の判断結果に応じて処理機能及び操作
    カーソルの形状を変更させる変更制御手段を設けたこと
    を特徴とする画像処理装置。
  3. 【請求項３】請求項２において、画像処理機能と該画像
    処理機能に対応する操作カーソルを表示する機能選択凡
    例画像データを生成する凡例画像生成手段を設けたこと
    を特徴とする画像処理装置。
  4. 【請求項４】請求項３において、前記凡例画像生成手段
    は、特定の画像処理機能を選択する指示動作形態を含む
    機能選択凡例画像データを生成することを特徴とする画
    像処理装置。
  5. 【請求項５】請求項４において、前記凡例画像生成手段
    は、指示動作形態が近似する処理機能の機能選択凡例画
    像データを生成することを特徴とする画像処理装置。
  6. 【請求項６】請求項２において、カーソル操作と該カー
    ソル操作に対応する画像処理を表示する操作凡例画像デ
    ータを生成する凡例画像生成手段を設けたことを特徴と
    する画像処理装置。
  7. 【請求項７】請求項６において、該画像処理装置は、被
    処理物と操作カーソルの接触の有無を判断する位置判断
    手段を備え、前記凡例画像生成手段は、接触判断結果に
    基づいて操作凡例画像データを生成することを特徴とす
    る画像処理装置。
  8. 【請求項８】画像を表示する画像表示手段と、操作者の
    手及び指の動作及びその三次元的な位置を検出する三次
    元動作検出手段と、前記三次元動作検出手段の検出結果
    に基づいて操作カーソル画像データを生成するカーソル
    生成手段と、前記操作カーソル画像データに基づいて表
    示される操作カーソルで操作する被処理物の画像データ
    を生成する被処理物生成手段と、前記操作カーソル画像
    データと被処理物画像データを合成して前記画像表示手
    段に表示させる表示画像生成手段とを備えた画像処理装
    置において、 前記三次元動作検出手段が検出した動作の形態から指示
    の意味を判断する意味判断手段と、 前記意味判断手段の判断結果に応じて処理機能及び複数
    種類の操作カーソルを表示する凡例表示手段と、 前記各操作カーソルに対応させて処理操作条件を設定す
    る条件設定手段とを備え、 前記被処理物生成手段は、前記処理操作条件に応じて被
    処理物の画像データを生成することを特徴とする画像処
    理装置。
  9. 【請求項９】画像表示手段に被処理物と操作カーソルを
    表示し、前記操作カーソルを操作者の手及び指の三次元
    的な動作に応じて操作することにより前記被処理物の画
    像処理を行なう画像処理方法において、 前記手及び指の三次元的な動作を意味判断して処理機能
    及び操作カーソルの形状を変更することを特徴とする画
    像処理方法。
  10. 【請求項１０】請求項９において、画像処理機能と該画
    像処理機能に対応する操作カーソルを示す機能選択凡例
    画像を表示することを特徴とする画像処理方法。
  11. 【請求項１１】請求項９において、カーソル操作と該カ
    ーソル操作に対応する画像処理を示す操作凡例画像を表
    示することを特徴とする画像処理方法。
JP6196632A 1994-08-22 1994-08-22 画像処理装置及び方法 Pending JPH0863326A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6196632A JPH0863326A (ja) 1994-08-22 1994-08-22 画像処理装置及び方法
US08/515,450 US5801704A (en) 1994-08-22 1995-08-15 Three-dimensional input device with displayed legend and shape-changing cursor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6196632A JPH0863326A (ja) 1994-08-22 1994-08-22 画像処理装置及び方法

Publications (1)

Publication Number Publication Date
JPH0863326A true JPH0863326A (ja) 1996-03-08

Family

ID=16360996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6196632A Pending JPH0863326A (ja) 1994-08-22 1994-08-22 画像処理装置及び方法

Country Status (2)

Country Link
US (1) US5801704A (ja)
JP (1) JPH0863326A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258943A (ja) * 1996-03-19 1997-10-03 Brother Ind Ltd 機器の補助操作装置
JPH10105358A (ja) * 1996-09-30 1998-04-24 Sony Corp 画像表示制御装置および方法、並びに情報記録媒体
JP2003527708A (ja) * 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
JP2005339306A (ja) * 2004-05-28 2005-12-08 Yokogawa Electric Corp データ入力装置
JP2012502364A (ja) * 2008-09-03 2012-01-26 オブロング・インダストリーズ・インコーポレーテッド データ空間の主要次元をナビゲートするための制御システム
JP2013015877A (ja) * 2011-06-30 2013-01-24 Nakayo Telecommun Inc 仮想マウスによるデータ入力方法
JPWO2012132749A1 (ja) * 2011-03-31 2014-07-24 富士フイルム株式会社 立体表示装置、指示受付方法及びプログラムならびにその記録媒体
JP2014520339A (ja) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
JP2014182717A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 情報処理装置、情報処理システム及びプログラム
JP2017134851A (ja) * 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP6244069B1 (ja) * 2017-04-17 2017-12-06 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
JP2018152915A (ja) * 2009-09-30 2018-09-27 ロヴィ ガイズ， インコーポレイテッド ３次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936610A (en) * 1993-07-27 1999-08-10 Canon Kabushiki Kaisha Control device for image input apparatus
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US6144384A (en) * 1996-02-20 2000-11-07 Yugen Kashia Aloalo International Voxel data processing using attributes thereof
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP3378900B2 (ja) * 1996-06-25 2003-02-17 富士通株式会社 オブジェクト編集方法，オブジェクト編集システム及び記録媒体
US6166718A (en) * 1996-06-18 2000-12-26 Konami Co., Ltd. Video game system with vertical array of cursor images
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europe Ltd., Maidenhead Verfahren und System zur Erkennung von Handgesten
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
WO1999042946A2 (en) * 1998-02-18 1999-08-26 Geovector Corporation Apparatus and methods for presentation of information relating to objects being addressed
US6154558A (en) * 1998-04-22 2000-11-28 Hsieh; Kuan-Hong Intention identification method
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6538649B2 (en) 1998-12-01 2003-03-25 Intel Corporation Computer vision control variable transformation
US6396476B1 (en) * 1998-12-01 2002-05-28 Intel Corporation Synthesizing computer input events
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6597382B1 (en) * 1999-06-10 2003-07-22 Dassault Systemes Knowledge-based polymorph undockable toolbar
US6647131B1 (en) 1999-08-27 2003-11-11 Intel Corporation Motion detection using normal optical flow
US7134095B1 (en) 1999-10-20 2006-11-07 Gateway, Inc. Simulated three-dimensional navigational menu system
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6654483B1 (en) 1999-12-22 2003-11-25 Intel Corporation Motion detection using normal optical flow
GB9930850D0 (en) * 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6522292B1 (en) 2000-02-23 2003-02-18 Geovector Corp. Information systems having position measuring capacity
US6938218B1 (en) 2000-04-28 2005-08-30 James Nolen Method and apparatus for three dimensional internet and computer file interface
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP2004524624A (ja) * 2001-03-01 2004-08-12 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ディスプレイ装置
US20040125076A1 (en) * 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US6991364B2 (en) * 2001-07-31 2006-01-31 The Timberland Company Same-hand control of a multi-function device
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US20030132909A1 (en) * 2002-01-11 2003-07-17 International Business Machines Corporation Pointing device attribute variance based on distance/time ratio
US7839400B2 (en) * 2002-01-25 2010-11-23 Autodesk, Inc. Volume management system for volumetric displays
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20040136062A1 (en) * 2002-05-13 2004-07-15 Avner Farkash Portable periscope
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
US6917360B2 (en) * 2002-06-21 2005-07-12 Schlumberger Technology Corporation System and method for adaptively labeling multi-dimensional images
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040219961A1 (en) * 2003-04-08 2004-11-04 Ellenby Thomas William Computer games having variable execution dependence with respect to spatial properties of a mobile unit.
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US8230366B2 (en) * 2003-10-23 2012-07-24 Apple Inc. Dynamically changing cursor for user interface
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
KR100562144B1 (ko) * 2004-04-07 2006-03-21 주식회사 팬택 무선통신 단말기에서의 핑거 이미지 디스플레이 방법
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
KR100755684B1 (ko) * 2004-08-07 2007-09-05 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US20060202974A1 (en) * 2005-03-10 2006-09-14 Jeffrey Thielman Surface
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
USD533183S1 (en) * 2005-04-22 2006-12-05 Microsoft Corporation Icon for a portion of a display screen
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8196055B2 (en) 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
US7549132B2 (en) * 2006-04-28 2009-06-16 International Business Machines Corporation Presenting identifiers and states of processes in a stacked cursor
FR2902663B1 (fr) * 2006-06-21 2011-06-10 Promiles Dispositif de telecommande d'un appareil electronique notamment pour la pratique d'un exercice physique
WO2008002630A2 (en) * 2006-06-26 2008-01-03 University Of Southern California Seamless image integration into 3d models
USD561779S1 (en) * 2006-06-30 2008-02-12 Microsoft Corporation Icon for a portion of a display screen
USD575796S1 (en) * 2006-08-18 2008-08-26 Microsoft Corporation Icon for a portion of a display screen
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8006183B1 (en) * 2006-12-08 2011-08-23 Trading Technologies International Inc. System and method for using a curser to convey information
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
AU2008280953A1 (en) 2007-08-30 2009-03-19 Next Holdings Ltd Optical touchscreen with improved illumination
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090245691A1 (en) * 2008-03-31 2009-10-01 University Of Southern California Estimating pose of photographic images in 3d earth model using human assistance
US8836646B1 (en) 2008-04-24 2014-09-16 Pixar Methods and apparatus for simultaneous user inputs for three-dimensional animation
US10180714B1 (en) 2008-04-24 2019-01-15 Pixar Two-handed multi-stroke marking menus for multi-touch devices
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
KR20120105818A (ko) 2011-03-16 2012-09-26 한국전자통신연구원 이벤트 기반의 정보입력 장치 및 방법
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
USD741361S1 (en) * 2011-06-07 2015-10-20 Cornell D. M. Judge Cornish Portion of display screen with an icon
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
USD704732S1 (en) * 2012-08-14 2014-05-13 Yahoo! Inc. Display screen with graphical user interface
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
USD822036S1 (en) * 2014-04-16 2018-07-03 Regents Of The University Of Minnesota Display screen or portion thereof with graphical user interface
DE102014106960A1 (de) * 2014-05-16 2015-11-19 Faindu Gmbh Verfahren zur Darstellung einer virtuellen Interaktion auf zumindest einem Bildschirm und Eingabevorrichtung, System und Verfahren für eine virtuelle Anwendung mittels einer Recheneinheit
DE102014107220A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Eingabevorrichtung, Rechner oder Bedienanlage sowie Fahrzeug
KR20170097898A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 디스플레이를 제어하는 전자 장치 및 이를 위한 방법
US12175065B2 (en) 2016-06-10 2024-12-24 Apple Inc. Context-specific user interfaces for relocating one or more complications in a watch or clock interface
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244827A (ja) * 1985-08-20 1987-02-26 ブィ・ピィ・エル・リサーチ・インコーポレイテッド コンピュータディスプレイ制御装置
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5524187A (en) * 1991-03-25 1996-06-04 The Trustees Of Columbia University Worlds-within-worlds nested display and interaction system and method
JP3065702B2 (ja) * 1991-04-23 2000-07-17 オリンパス光学工業株式会社 内視鏡システム
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
JP3199130B2 (ja) * 1992-03-31 2001-08-13 パイオニア株式会社 ３次元座標入力装置
JP3338992B2 (ja) * 1992-10-29 2002-10-28 株式会社日立製作所 手話／単語変換システム
US5524195A (en) * 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258943A (ja) * 1996-03-19 1997-10-03 Brother Ind Ltd 機器の補助操作装置
JPH10105358A (ja) * 1996-09-30 1998-04-24 Sony Corp 画像表示制御装置および方法、並びに情報記録媒体
JP2003527708A (ja) * 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
JP2005339306A (ja) * 2004-05-28 2005-12-08 Yokogawa Electric Corp データ入力装置
JP2012502364A (ja) * 2008-09-03 2012-01-26 オブロング・インダストリーズ・インコーポレーテッド データ空間の主要次元をナビゲートするための制御システム
JP2018152915A (ja) * 2009-09-30 2018-09-27 ロヴィ ガイズ， インコーポレイテッド ３次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法
JPWO2012132749A1 (ja) * 2011-03-31 2014-07-24 富士フイルム株式会社 立体表示装置、指示受付方法及びプログラムならびにその記録媒体
JP2014520339A (ja) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
JP2013015877A (ja) * 2011-06-30 2013-01-24 Nakayo Telecommun Inc 仮想マウスによるデータ入力方法
JP2014182717A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 情報処理装置、情報処理システム及びプログラム
JP2017134851A (ja) * 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP6244069B1 (ja) * 2017-04-17 2017-12-06 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
WO2018193509A1 (ja) * 2017-04-17 2018-10-25 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
US10591986B2 (en) 2017-04-17 2020-03-17 Optim Corporation Remote work supporting system, remote work supporting method, and program

Also Published As

Publication number Publication date
US5801704A (en) 1998-09-01

Similar Documents

Publication Publication Date Title
JPH0863326A (ja) 画像処理装置及び方法
US11237717B2 (en) Information processing device and information processing method
JP5564300B2 (ja) ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
EP2615523A1 (en) Image recognition apparatus, operation evaluation method, and program
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
JP2011054117A (ja) 情報処理装置、表示制御方法及び表示制御プログラム
KR101795204B1 (ko) 정보 처리 장치 및 기록 매체
KR20170133754A (ko) 동작 인식 기반의 스마트 글래스 장치
JP2014069629A (ja) 画像処理装置、及び画像処理システム
WO2017085974A1 (ja) 情報処理装置
JP2008040576A (ja) 画像処理システム及び該システムを備えた映像表示装置
JP6842441B2 (ja) プログラム、及び情報処理装置
JPH0976063A (ja) 溶接装置
JP7505112B2 (ja) ウェアラブル端末装置、プログラムおよび報知方法
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP2018186471A (ja) 目標位置設定装置及び音像定位装置
JP2009212582A (ja) バーチャルスタジオ用フィードバックシステム
KR20200120467A (ko) Hmd 장치 및 그 동작 방법
JP7660734B2 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN112363616A (zh) 分体式vr/ar装置
JP6751777B2 (ja) コンピュータプログラム、表示装置、頭部装着型表示装置
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN108268124A (zh) 基于头戴式显示设备的手势识别方法及装置