JPH10207618A - ユーザインタフェース装置及び指示入力方法 - Google Patents
ユーザインタフェース装置及び指示入力方法Info
- Publication number
- JPH10207618A JPH10207618A JP9009496A JP949697A JPH10207618A JP H10207618 A JPH10207618 A JP H10207618A JP 9009496 A JP9009496 A JP 9009496A JP 949697 A JP949697 A JP 949697A JP H10207618 A JPH10207618 A JP H10207618A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- input
- user interface
- interface device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 画像処理により入力を行なうユーザインタフ
ェース装置において、ユーザの操作上の負担を軽減した
より使い易いユーザインタフェース装置を提供するこ
と。 【解決手段】 入力画像の画像処理により入力を行なう
ユーザインタフェース装置であって、ポインティングを
行なうモードと、それ以外のモードとを、入力画像の画
像処理結果に基づいて切り換える手段を備えたことを特
徴とする。また、入力画像の画像処理により入力を行な
うユーザインタフェース装置であって、少なくとも、カ
ーソルの移動のモードと、選択のモードと、ダブルクリ
ックのモードとを、入力画像の画像処理結果に基づいて
切り換える手段を備えたことを特徴とする。
ェース装置において、ユーザの操作上の負担を軽減した
より使い易いユーザインタフェース装置を提供するこ
と。 【解決手段】 入力画像の画像処理により入力を行なう
ユーザインタフェース装置であって、ポインティングを
行なうモードと、それ以外のモードとを、入力画像の画
像処理結果に基づいて切り換える手段を備えたことを特
徴とする。また、入力画像の画像処理により入力を行な
うユーザインタフェース装置であって、少なくとも、カ
ーソルの移動のモードと、選択のモードと、ダブルクリ
ックのモードとを、入力画像の画像処理結果に基づいて
切り換える手段を備えたことを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理により入
力を行なうユーザインタフェース装置及び入力方法に関
する。
力を行なうユーザインタフェース装置及び入力方法に関
する。
【０００２】
【従来の技術】コンピュータの入力デバイスとして、マ
ウスが圧倒的に使われている。しかし、マウスで操作で
きることは、カーソルの移動と、メニューの選択などで
あり、あくまでも２次元のポインティングデバイスとし
ても役目に過ぎない。マウスで扱えるのは、２次元の情
報であり、３次元空間の中の物体など奥行きがあるもの
を選択することは難しい。また、アニメーションを作成
する場合、キャラクタの動きをつけるのに、マウスのよ
うな入力デバイスでは、自然な動きをつけることが難し
い。
ウスが圧倒的に使われている。しかし、マウスで操作で
きることは、カーソルの移動と、メニューの選択などで
あり、あくまでも２次元のポインティングデバイスとし
ても役目に過ぎない。マウスで扱えるのは、２次元の情
報であり、３次元空間の中の物体など奥行きがあるもの
を選択することは難しい。また、アニメーションを作成
する場合、キャラクタの動きをつけるのに、マウスのよ
うな入力デバイスでは、自然な動きをつけることが難し
い。
【０００３】３次元空間でのポインティングの難点を補
うために、ボールを所望の方向に押したり回したりして
６軸方向の情報を入力する装置や、いわゆるデータグロ
ーブやデータスーツ、サイバーグローブといった手など
にはめて使用する装置が開発されている。しかし、これ
ら装置は操作性の悪さ等のために、当初の期待程、普及
していないのが現実である。
うために、ボールを所望の方向に押したり回したりして
６軸方向の情報を入力する装置や、いわゆるデータグロ
ーブやデータスーツ、サイバーグローブといった手など
にはめて使用する装置が開発されている。しかし、これ
ら装置は操作性の悪さ等のために、当初の期待程、普及
していないのが現実である。
【０００４】これに対し、最近、ユーザは特殊な装置を
扱うことなく、手振りや身振りでユーザの意図する情報
を入力できる直接指示型の入力装置が開発されている。
扱うことなく、手振りや身振りでユーザの意図する情報
を入力できる直接指示型の入力装置が開発されている。
【０００５】例えば、光を照射し、ユーザの手による反
射光を受光し、これを画像化して特徴量抽出や形状認識
処理を行ない、手の形状に応じた制御を実行したり、手
の移動量に応じた分のカーソル移動や３次元モデルにお
ける視点の変更を行なったりするものがある。
射光を受光し、これを画像化して特徴量抽出や形状認識
処理を行ない、手の形状に応じた制御を実行したり、手
の移動量に応じた分のカーソル移動や３次元モデルにお
ける視点の変更を行なったりするものがある。
【０００６】あるいは、ユーザの手の動きをビデオ撮影
し、ビデオ映像を解析することにより、上記と同様の処
理を行なうものがある。
し、ビデオ映像を解析することにより、上記と同様の処
理を行なうものがある。
【０００７】このような装置によって、ユーザは特殊な
装置を装着などすることなく、簡易にジェスチャで入力
を行なうことができる。
装置を装着などすることなく、簡易にジェスチャで入力
を行なうことができる。
【０００８】
【発明が解決しようとする課題】しかし、この種の装置
では、カーソルの移動モード、選択のモード、ダブルク
リックのモードなどの各モードは固定的に使用され、モ
ードを変えるためにはモードを変えるための明示的な操
作が必要であり、ユーザに操作上の負担を強いる問題が
あった。
では、カーソルの移動モード、選択のモード、ダブルク
リックのモードなどの各モードは固定的に使用され、モ
ードを変えるためにはモードを変えるための明示的な操
作が必要であり、ユーザに操作上の負担を強いる問題が
あった。
【０００９】本発明は、上記事情を考慮してなされたも
ので、画像処理により入力を行なうユーザインタフェー
ス装置において、ユーザの操作上の負担を軽減したより
使い易いユーザインタフェース装置及び指示入力方法を
提供することを目的とする。
ので、画像処理により入力を行なうユーザインタフェー
ス装置において、ユーザの操作上の負担を軽減したより
使い易いユーザインタフェース装置及び指示入力方法を
提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は、入力画像の画
像処理により入力を行なうユーザインタフェース装置で
あって、ポインティングを行なうモードと、それ以外の
モードとを、入力画像の画像処理結果に基づいて切り換
える手段を備えたことを特徴とする。
像処理により入力を行なうユーザインタフェース装置で
あって、ポインティングを行なうモードと、それ以外の
モードとを、入力画像の画像処理結果に基づいて切り換
える手段を備えたことを特徴とする。
【００１１】また、本発明は、入力画像の画像処理によ
り入力を行なうユーザインタフェース装置であって、少
なくとも、カーソルの移動のモードと、選択のモード
と、ダブルクリックのモードとを、入力画像の画像処理
結果に基づいて切り換える手段を備えたことを特徴とす
る。
り入力を行なうユーザインタフェース装置であって、少
なくとも、カーソルの移動のモードと、選択のモード
と、ダブルクリックのモードとを、入力画像の画像処理
結果に基づいて切り換える手段を備えたことを特徴とす
る。
【００１２】好ましくは、選択のモードでの選択可能な
オブジェクト毎に、画像処理内容を制約した認識方法
（認識エンジン）を指定する手段をさらに備え、選択さ
れたオブジェクトについて入力画像の画像処理を行なう
にあたっては、該オブジェクトについて指定された認識
方法に従って画像処理を行なうようにしても良い。
オブジェクト毎に、画像処理内容を制約した認識方法
（認識エンジン）を指定する手段をさらに備え、選択さ
れたオブジェクトについて入力画像の画像処理を行なう
にあたっては、該オブジェクトについて指定された認識
方法に従って画像処理を行なうようにしても良い。
【００１３】好ましくは、選択のモードでの選択可能な
オブジェクト毎に、画像処理内容を制約した認識方法
（認識エンジン）を指定する手段と、カーソルで指示さ
れた表示中のオブジェクトの近傍に該オブジェクトにつ
いて指定された認識方法を示す情報を呈示する手段とを
さらに備えたても良い。
オブジェクト毎に、画像処理内容を制約した認識方法
（認識エンジン）を指定する手段と、カーソルで指示さ
れた表示中のオブジェクトの近傍に該オブジェクトにつ
いて指定された認識方法を示す情報を呈示する手段とを
さらに備えたても良い。
【００１４】好ましくは、カーソル上に所定の形状で前
記入力画像の画像処理結果を呈示する手段をさらに備え
たても良い。
記入力画像の画像処理結果を呈示する手段をさらに備え
たても良い。
【００１５】また、本発明は、反射画像を入力する第１
の装置と入力画像の画像処理により入力を行なう第２の
装置からなるユーザインタフェース装置であって、前記
第２の装置は、前記第１の装置に対して、入力画像の画
像処理内容を制約した認識方法（認識エンジン）の指定
を行なう手段を備え、前記第１の装置は、前記認識方法
の指定に基づいて所定の画像処理を行なう手段と、入力
した画像と画像処理結果とを前記第２の装置に返す手段
とを備えたことを特徴とする。
の装置と入力画像の画像処理により入力を行なう第２の
装置からなるユーザインタフェース装置であって、前記
第２の装置は、前記第１の装置に対して、入力画像の画
像処理内容を制約した認識方法（認識エンジン）の指定
を行なう手段を備え、前記第１の装置は、前記認識方法
の指定に基づいて所定の画像処理を行なう手段と、入力
した画像と画像処理結果とを前記第２の装置に返す手段
とを備えたことを特徴とする。
【００１６】好ましくは、前記第１の装置は、必要な認
識方法に適した画像処理手段（認識エンジン）を保持し
ない場合、前記第２の装置に該認識方法に適した画像処
理に必要な情報（認識エンジン）の転送を要求する手段
をさらに備え、前記第２の装置は、要求された前記情報
を、前記第１の装置に転送する手段をさらに備えても良
い。
識方法に適した画像処理手段（認識エンジン）を保持し
ない場合、前記第２の装置に該認識方法に適した画像処
理に必要な情報（認識エンジン）の転送を要求する手段
をさらに備え、前記第２の装置は、要求された前記情報
を、前記第１の装置に転送する手段をさらに備えても良
い。
【００１７】好ましくは、前記第１の装置および前記第
２の装置はそれぞれ、自装置内の所定の認識方法に適し
た画像処理に必要な情報が先にアクティブになった場
合、他装置にアクティブになった該情報を非アクティブ
にするよう通知する手段と、他装置から前記所定の認識
方法に適した画像処理に必要な情報を非アクティブにす
るよう通知を受けた場合、該情報を非アクティブにする
手段とをさらに備えても良い。
２の装置はそれぞれ、自装置内の所定の認識方法に適し
た画像処理に必要な情報が先にアクティブになった場
合、他装置にアクティブになった該情報を非アクティブ
にするよう通知する手段と、他装置から前記所定の認識
方法に適した画像処理に必要な情報を非アクティブにす
るよう通知を受けた場合、該情報を非アクティブにする
手段とをさらに備えても良い。
【００１８】また、本発明は、入力画像の画像処理によ
り入力を行なうユーザインタフェース装置による指示入
力方法であって、対象物体の入力画像を画像処理し、こ
の画像処理の結果に基づいて、ポインティングを行なう
モードと、それ以外のモードとを切り換えることを特徴
とする。
り入力を行なうユーザインタフェース装置による指示入
力方法であって、対象物体の入力画像を画像処理し、こ
の画像処理の結果に基づいて、ポインティングを行なう
モードと、それ以外のモードとを切り換えることを特徴
とする。
【００１９】また、本発明は、反射画像を入力する第１
の装置と入力画像の画像処理により入力を行なう第２の
装置からなるユーザインタフェース装置による指示入力
方法であって、前記第２の装置から前記第１の装置に対
して、入力画像の画像処理内容を制約した認識方法（認
識エンジン）の指定を行ない、前記第１の装置は、前記
認識方法の指定に基づいて所定の画像処理を行ない、こ
れら入力した画像と画像処理結果とを前記第２の装置に
返すことを特徴とする。
の装置と入力画像の画像処理により入力を行なう第２の
装置からなるユーザインタフェース装置による指示入力
方法であって、前記第２の装置から前記第１の装置に対
して、入力画像の画像処理内容を制約した認識方法（認
識エンジン）の指定を行ない、前記第１の装置は、前記
認識方法の指定に基づいて所定の画像処理を行ない、こ
れら入力した画像と画像処理結果とを前記第２の装置に
返すことを特徴とする。
【００２０】本発明によれば、カーソルの移動モード、
選択のモード、ダブルクリックのモードなどの各モード
を変えるためのユーザによる明示的な操作が不要にな
る。
選択のモード、ダブルクリックのモードなどの各モード
を変えるためのユーザによる明示的な操作が不要にな
る。
【００２１】また、ユーザの指示した点を認識処理で読
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
【００２２】さらに、必要な認識方法に適した画像処理
手段（認識エンジン）を用いれば、入力精度の向上とユ
ーザの操作性の向上が期待できる。
手段（認識エンジン）を用いれば、入力精度の向上とユ
ーザの操作性の向上が期待できる。
【００２３】また、入力画像を半透明にしてカーソルに
重ねて表示すれば、ユーザに操作状況をフィードバック
することができる。
重ねて表示すれば、ユーザに操作状況をフィードバック
することができる。
【００２４】このように本発明によれば、ユーザの操作
上の負担を軽減したより使い易いユーザインタフェース
装置を提供することができる。
上の負担を軽減したより使い易いユーザインタフェース
装置を提供することができる。
【００２５】また、本発明によれば、第１の装置側（デ
バイス側）である程度の認識処理を行なうので、負荷分
散ができ、また全体的な認識処理の速度向上を図ること
ができる。
バイス側）である程度の認識処理を行なうので、負荷分
散ができ、また全体的な認識処理の速度向上を図ること
ができる。
【００２６】また、画像入力機能を持つデバイスの高機
能化を図ることができる。
能化を図ることができる。
【００２７】なお、以上の各装置に係る発明は、方法に
係る説明としても成立する。
係る説明としても成立する。
【００２８】また、上記の発明は、相当する手順あるい
は手段をコンピュータに実行させるためのプログラムを
記録した機械読取り可能な媒体としても成立する。
は手段をコンピュータに実行させるためのプログラムを
記録した機械読取り可能な媒体としても成立する。
【００２９】
【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。
実施の形態を説明する。
【００３０】まず、第１の実施形態について説明する。
【００３１】図１は、本発明の一実施形態に係るユーザ
インタフェース装置の構成例を示す図である。
インタフェース装置の構成例を示す図である。
【００３２】本ユーザインタフェース装置は、例えば、
グラフィックユーザインタフェースを持つ計算機に適用
すると好適なものである。すなわち、表示画面上にカー
ソル、スライダーバー、スクロールバー、プルダウンメ
ニュー、ボックス、リンク、アプリケーションなどのア
イコンが表示され、ユーザが入力デバイスによりカーソ
ルの移動、アイコンの選択、アプリケーションの起動な
どの指示を入力するようなシステムであって、入力デバ
イスがマウスのような専用器具を必要とせずユーザの手
などの物体を画像処理することにより入力を受けるもの
である。
グラフィックユーザインタフェースを持つ計算機に適用
すると好適なものである。すなわち、表示画面上にカー
ソル、スライダーバー、スクロールバー、プルダウンメ
ニュー、ボックス、リンク、アプリケーションなどのア
イコンが表示され、ユーザが入力デバイスによりカーソ
ルの移動、アイコンの選択、アプリケーションの起動な
どの指示を入力するようなシステムであって、入力デバ
イスがマウスのような専用器具を必要とせずユーザの手
などの物体を画像処理することにより入力を受けるもの
である。
【００３３】本実施形態は、概略的には、ユーザの手な
どの対象物体による反射光を画像として捉えることによ
り（あるいは背景の光の対象物体による反射光を画像と
して捉えることにより）、その形状、動き、距離情報な
どを検出し、その形状等に応じた所定の制御（例えば入
出力装置に関する制御あるいはアプリケーションソフト
の起動など）を行なうもので、ユーザは手のモーション
などにより意図する入力を行なうことができる機能を提
供するものである。また、画像処理結果に応じて、カー
ソルの移動、アイコンの選択、アプリケーションの起動
などの各モードを切り替えるようにしているので、ユー
ザは各モードを切り替えるための明示的な操作を不要と
している。
どの対象物体による反射光を画像として捉えることによ
り（あるいは背景の光の対象物体による反射光を画像と
して捉えることにより）、その形状、動き、距離情報な
どを検出し、その形状等に応じた所定の制御（例えば入
出力装置に関する制御あるいはアプリケーションソフト
の起動など）を行なうもので、ユーザは手のモーション
などにより意図する入力を行なうことができる機能を提
供するものである。また、画像処理結果に応じて、カー
ソルの移動、アイコンの選択、アプリケーションの起動
などの各モードを切り替えるようにしているので、ユー
ザは各モードを切り替えるための明示的な操作を不要と
している。
【００３４】本ユーザインタフェース装置は、画像入力
部１０、画像記憶部１１、形状解釈部１２、解釈規則記
憶部１３、呈示部１４、カーソル切替部１５を備えてい
る。
部１０、画像記憶部１１、形状解釈部１２、解釈規則記
憶部１３、呈示部１４、カーソル切替部１５を備えてい
る。
【００３５】図２に、画像入力部１０の一構成例を示
す。
す。
【００３６】画像入力部１０は、例えば、ＬＥＤなどの
発光素子により近赤外線などの光を対象物体に照射する
発光部１０１と、対象物体からの反射光を２次元アレイ
状に配列された受光素子で受光する反射光抽出部１０２
と、発光部１０１および反射光抽出部１０２の動作タイ
ミングを制御するタイミング制御部１０３を有する。発
光部１０１が発光しているときに反射光抽出部１０２で
受光した光の量と、発光部１０１が発光していないとき
に反射光抽出部１０２で受光した光の量の差をとること
によって、バックグラウンドの補正を行ない、発光部１
０１からの光の対象物体による反射光の成分だけを取り
出す。なお、画像入力部１０は、発光部を持たず、ＣＣ
Ｄカメラなどの受光部のみ持つものであっても良い。
発光素子により近赤外線などの光を対象物体に照射する
発光部１０１と、対象物体からの反射光を２次元アレイ
状に配列された受光素子で受光する反射光抽出部１０２
と、発光部１０１および反射光抽出部１０２の動作タイ
ミングを制御するタイミング制御部１０３を有する。発
光部１０１が発光しているときに反射光抽出部１０２で
受光した光の量と、発光部１０１が発光していないとき
に反射光抽出部１０２で受光した光の量の差をとること
によって、バックグラウンドの補正を行ない、発光部１
０１からの光の対象物体による反射光の成分だけを取り
出す。なお、画像入力部１０は、発光部を持たず、ＣＣ
Ｄカメラなどの受光部のみ持つものであっても良い。
【００３７】図３に、表示装置２０と画像入力部１０の
筐体８と対象物体２２の関係を示す。例えば、画像入力
部１０の前にユーザの手２２を持ってきた場合、その手
からの反射光画像が得られる。このとき、反射光画像の
各画素値は、物体の性質（光を鏡面反射する、散乱す
る、吸収する、など）、物体面の向き、物体の距離、な
どに影響されるが、物体全体が一様に光を散乱する物体
である場合、その反射光量は物体までの距離と密接な関
係を持つ。手などはこのような性質を持つため、手を差
し出した場合の反射光画面は、手の距離、手の傾き（部
分的に距離が異なる）、などを反映する。したがって、
これらの情報を抽出することによって、様々な情報の入
力・生成が可能になる。
筐体８と対象物体２２の関係を示す。例えば、画像入力
部１０の前にユーザの手２２を持ってきた場合、その手
からの反射光画像が得られる。このとき、反射光画像の
各画素値は、物体の性質（光を鏡面反射する、散乱す
る、吸収する、など）、物体面の向き、物体の距離、な
どに影響されるが、物体全体が一様に光を散乱する物体
である場合、その反射光量は物体までの距離と密接な関
係を持つ。手などはこのような性質を持つため、手を差
し出した場合の反射光画面は、手の距離、手の傾き（部
分的に距離が異なる）、などを反映する。したがって、
これらの情報を抽出することによって、様々な情報の入
力・生成が可能になる。
【００３８】画像記憶部１１は、画像入力部１０から所
定時間毎（例えば１／３０秒毎、１／６０秒毎、１／１
００秒毎など）に出力される画像検出対象物体の２次元
画像を逐次記憶する。
定時間毎（例えば１／３０秒毎、１／６０秒毎、１／１
００秒毎など）に出力される画像検出対象物体の２次元
画像を逐次記憶する。
【００３９】形状解釈部１２は、画像記憶部１１に記憶
された２次元画像を、Ｎ×Ｎ（例えば６４×６４）のド
ットマトリクスとして逐次取込む。各画素は階調（例え
ば８ビット＝２５６階調）を持つものとする。
された２次元画像を、Ｎ×Ｎ（例えば６４×６４）のド
ットマトリクスとして逐次取込む。各画素は階調（例え
ば８ビット＝２５６階調）を持つものとする。
【００４０】また、形状解釈部１２は、ドットマトリク
スから所定の特徴量を抽出し、解釈規則記憶部１３に記
憶された解釈規則をもとに、形状解釈する。そして、適
合する解釈規則に応じた指示を解釈結果として出力す
る。もし適合する解釈規則がなければ、必要に応じてド
ットマトリクスからの所定の特徴量の抽出の仕方を変更
して（例えばドットマトリクスのしきい値処理を行なう
場合、そのしきい値を変更する）、再度マッチング処理
をやり直すようにしても良い。最終的に適合する解釈規
則がなければ、入力はなかったものとする。
スから所定の特徴量を抽出し、解釈規則記憶部１３に記
憶された解釈規則をもとに、形状解釈する。そして、適
合する解釈規則に応じた指示を解釈結果として出力す
る。もし適合する解釈規則がなければ、必要に応じてド
ットマトリクスからの所定の特徴量の抽出の仕方を変更
して（例えばドットマトリクスのしきい値処理を行なう
場合、そのしきい値を変更する）、再度マッチング処理
をやり直すようにしても良い。最終的に適合する解釈規
則がなければ、入力はなかったものとする。
【００４１】解釈規則記憶部１３は、形状解釈のための
解釈規則を記憶する。例えば、ドットマトリックス中に
おけるユーザの手などの対象物体の特徴量、例えば形
状、面積、最上点、重心などの所定のものと、これに応
じた指示内容が解釈規則として記憶されている。指示内
容には、アイコンの選択、アプリケーションの起動、カ
ーソル移動等がある。カーソル移動の場合には、手の移
動方向・距離に応じたカーソルの移動量も指示される。
例えば、親指と人差し指を開いて立てた状態をカーソル
移動に対応させ（この場合、例えば人差し指の先端の移
動距離・方向がカーソルの移動距離・方向に対応づけら
れる）、親指と人差し指を閉じて立てた状態を、カーソ
ルの位置するアイコンの選択に対応させ、親指と人差し
指を立て、カーソル移動の場合に対して手のひらを反転
させた状態を、カーソルの位置するアイコンに対応する
アプリケーションの起動に対応させるなどの規則が考え
られる。
解釈規則を記憶する。例えば、ドットマトリックス中に
おけるユーザの手などの対象物体の特徴量、例えば形
状、面積、最上点、重心などの所定のものと、これに応
じた指示内容が解釈規則として記憶されている。指示内
容には、アイコンの選択、アプリケーションの起動、カ
ーソル移動等がある。カーソル移動の場合には、手の移
動方向・距離に応じたカーソルの移動量も指示される。
例えば、親指と人差し指を開いて立てた状態をカーソル
移動に対応させ（この場合、例えば人差し指の先端の移
動距離・方向がカーソルの移動距離・方向に対応づけら
れる）、親指と人差し指を閉じて立てた状態を、カーソ
ルの位置するアイコンの選択に対応させ、親指と人差し
指を立て、カーソル移動の場合に対して手のひらを反転
させた状態を、カーソルの位置するアイコンに対応する
アプリケーションの起動に対応させるなどの規則が考え
られる。
【００４２】形状解釈部１２による形状解釈におけるド
ットマトリクスから特徴量の抽出の代表例は、距離情報
の抽出と、領域抽出である。物体が一様で均質な散乱面
を持つ物体であれば、反射光画像は距離画像とみなすこ
とができる。したがって、受光部から見込んだ物体の立
体形状を抽出することができる。物体が手であれば、手
のひらの傾きなどが検出できる。手のひらの傾きは部分
的な距離の違いとして現れる。また、手を移動させたと
きに画素値が変われば、距離が移動したと見ることがで
きる。また、背景のように遠い物体からの反射光はほと
んどないため、反射光画像からあるしきい値以上の領域
を切り出すという処理で、物体の形状を簡単に切り出す
ことができる。例えば、物体が手であれば、そのシルエ
ット像を切り出すのは極めて容易である。距離画像を用
いる場合でも、一度しきい値によって領域抽出をしてお
いてから、その領域内の距離情報を用いる、という場合
が多い。
ットマトリクスから特徴量の抽出の代表例は、距離情報
の抽出と、領域抽出である。物体が一様で均質な散乱面
を持つ物体であれば、反射光画像は距離画像とみなすこ
とができる。したがって、受光部から見込んだ物体の立
体形状を抽出することができる。物体が手であれば、手
のひらの傾きなどが検出できる。手のひらの傾きは部分
的な距離の違いとして現れる。また、手を移動させたと
きに画素値が変われば、距離が移動したと見ることがで
きる。また、背景のように遠い物体からの反射光はほと
んどないため、反射光画像からあるしきい値以上の領域
を切り出すという処理で、物体の形状を簡単に切り出す
ことができる。例えば、物体が手であれば、そのシルエ
ット像を切り出すのは極めて容易である。距離画像を用
いる場合でも、一度しきい値によって領域抽出をしてお
いてから、その領域内の距離情報を用いる、という場合
が多い。
【００４３】ドットマトリクスから抽出した特徴量と解
釈規則とのマッチングの手法には種々のものがある。例
えば、画像からベクトルを抽出するベクトル化、形状モ
デルにもとづいた形状の変形状態の抽出、走査線上の距
離値にもとづいたスペクトル解析などである。
釈規則とのマッチングの手法には種々のものがある。例
えば、画像からベクトルを抽出するベクトル化、形状モ
デルにもとづいた形状の変形状態の抽出、走査線上の距
離値にもとづいたスペクトル解析などである。
【００４４】もし適合する形状がなければ、例えばしき
い値を変更するなどして、再度マッチング処理をやり直
すようにしても良い。最終的に適合する形状がなけれ
ば、入力はなかったものと見なす。
い値を変更するなどして、再度マッチング処理をやり直
すようにしても良い。最終的に適合する形状がなけれ
ば、入力はなかったものと見なす。
【００４５】なお、形状解釈部１２がアプリケーション
やＯＳの機能などを起動する指示と認識した場合は、こ
れらソフトウェアを起動させるようにする。
やＯＳの機能などを起動する指示と認識した場合は、こ
れらソフトウェアを起動させるようにする。
【００４６】呈示部１４は、表示装置にて形状解釈部１
２による解釈結果を反映した呈示を行なう。例えば、カ
ーソルの移動、必要に応じてメッセージの呈示などを行
う。
２による解釈結果を反映した呈示を行なう。例えば、カ
ーソルの移動、必要に応じてメッセージの呈示などを行
う。
【００４７】カーソル切替部１５は、形状解釈部１２に
よる解釈結果に基づいてカーソルの切替えを制御する。
よる解釈結果に基づいてカーソルの切替えを制御する。
【００４８】図４〜図６に、本実施形態のユーザインタ
フェース装置の動作手順例を示す。
フェース装置の動作手順例を示す。
【００４９】まず、カーソルの制御状態Ｃを初期化（Ｃ
←０）し、選択状態Ｓを初期化（Ｓ←０）し、カーソル
情報Ｉを初期化（Ｉ←０）し、認識エンジンフラグＲを
初期化（Ｒ←０）する（ステップＳ１）。
←０）し、選択状態Ｓを初期化（Ｓ←０）し、カーソル
情報Ｉを初期化（Ｉ←０）し、認識エンジンフラグＲを
初期化（Ｒ←０）する（ステップＳ１）。
【００５０】次に、反射画像を読み込み画像記憶部１１
へ書き込む（ステップＳ２）。
へ書き込む（ステップＳ２）。
【００５１】次に、形状解釈部１２にドットマトリック
スを読み込む（ステップＳ３）。
スを読み込む（ステップＳ３）。
【００５２】次に、形状解釈部１２にてドットマトリッ
クスから抽出した特徴量と解釈規則からジェスチャの示
すモードを判定する（ステップＳ４）。
クスから抽出した特徴量と解釈規則からジェスチャの示
すモードを判定する（ステップＳ４）。
【００５３】以降は、この判定結果とパラメータ値によ
って処理が分かれる。
って処理が分かれる。
【００５４】カーソル制御のジェスチャ かつ Ｃ＝０
かつ Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ
５）、カーソル制御に入る処理であり、Ｃ←１として
（ステップＳ１１）、ステップＳ２へ戻る。
かつ Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ
５）、カーソル制御に入る処理であり、Ｃ←１として
（ステップＳ１１）、ステップＳ２へ戻る。
【００５５】カーソル制御のジェスチャは、例えば図７
に示す手の形状が認識された場合である。
に示す手の形状が認識された場合である。
【００５６】カーソル制御のジェスチャ かつ Ｃ＝１
かつ Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ
６）、カーソル移動中の処理である。この場合、まず、
ドットマトリックスより近傍点の座標（ｘ，ｙ）を算出
し（ステップＳ１２）、算出座標（ｘ，ｙ）にカーソル
を移動させる（ステップＳ１３）。そして、算出座標
（ｘ，ｙ）を保持する。Ｃｐ＝（ｘ，ｙ）とする（ステ
ップＳ１４）。ここで、Ｃｐにオブジェクトがあるなら
ば（ステップＳ１５）、そのオブジェクトの状態をセッ
ト（Ｉ←オブジェクト状態）し（ステップＳ１６）、オ
ブジェクトがなければ（ステップＳ１５）、Ｉ＝Ｏとし
て（ステップＳ１７）、ステップＳ２へ戻る。
かつ Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ
６）、カーソル移動中の処理である。この場合、まず、
ドットマトリックスより近傍点の座標（ｘ，ｙ）を算出
し（ステップＳ１２）、算出座標（ｘ，ｙ）にカーソル
を移動させる（ステップＳ１３）。そして、算出座標
（ｘ，ｙ）を保持する。Ｃｐ＝（ｘ，ｙ）とする（ステ
ップＳ１４）。ここで、Ｃｐにオブジェクトがあるなら
ば（ステップＳ１５）、そのオブジェクトの状態をセッ
ト（Ｉ←オブジェクト状態）し（ステップＳ１６）、オ
ブジェクトがなければ（ステップＳ１５）、Ｉ＝Ｏとし
て（ステップＳ１７）、ステップＳ２へ戻る。
【００５７】カーソル制御のジェスチャ かつ Ｃ＝１
かつ Ｓ＝１ならば（ステップＳ７）、カーソル制御
に戻る処理であり、Ｓ←０、Ｒ←０、Ｉ←０として（ス
テップＳ１８）、ステップＳ２へ戻る。
かつ Ｓ＝１ならば（ステップＳ７）、カーソル制御
に戻る処理であり、Ｓ←０、Ｒ←０、Ｉ←０として（ス
テップＳ１８）、ステップＳ２へ戻る。
【００５８】選択のジェスチャ かつ Ｃ＝１ かつ
Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ８）、オブジ
ェクトを選択する処理である。この場合、まず、Ｓ←１
とし（ステップＳ１９）、Ｃｐに最も近いオブジェクト
を探索し（ステップＳ２０）、探索したオブジェクトを
選択する（ステップＳ２１）。ここで、選択したオブジ
ェクトに指定の認識エンジンがあるならば（ステップＳ
２２）、Ｒ←１とし（ステップＳ２３）、ステップＳ２
に戻る。指定の認識エンジンがない場合、リンクオブジ
ェクトならば（ステップＳ２４）、リンク先へ飛び（ス
テップＳ２５）、Ｃ←０、Ｓ←０、Ｉ←０として（ステ
ップＳ２６）、ステップＳ２に戻る。リンクオブジェク
トでないならば（ステップＳ２４）、そのままステップ
Ｓ２に戻る。
Ｓ＝０ かつ Ｒ＝０ならば（ステップＳ８）、オブジ
ェクトを選択する処理である。この場合、まず、Ｓ←１
とし（ステップＳ１９）、Ｃｐに最も近いオブジェクト
を探索し（ステップＳ２０）、探索したオブジェクトを
選択する（ステップＳ２１）。ここで、選択したオブジ
ェクトに指定の認識エンジンがあるならば（ステップＳ
２２）、Ｒ←１とし（ステップＳ２３）、ステップＳ２
に戻る。指定の認識エンジンがない場合、リンクオブジ
ェクトならば（ステップＳ２４）、リンク先へ飛び（ス
テップＳ２５）、Ｃ←０、Ｓ←０、Ｉ←０として（ステ
ップＳ２６）、ステップＳ２に戻る。リンクオブジェク
トでないならば（ステップＳ２４）、そのままステップ
Ｓ２に戻る。
【００５９】選択のジェスチャは、例えば図１１に示す
手の形状が認識された場合である。
手の形状が認識された場合である。
【００６０】ここで、認識エンジンは、詳しくは後述す
るようにドットマトリックスから所定の特徴量を抽出す
るものであり、例えば、ドットマトリックス中の対象物
体形状の最上位点の垂直方向の移動量を抽出する最上位
点垂直方向エンジンなど、種々のものがある。
るようにドットマトリックスから所定の特徴量を抽出す
るものであり、例えば、ドットマトリックス中の対象物
体形状の最上位点の垂直方向の移動量を抽出する最上位
点垂直方向エンジンなど、種々のものがある。
【００６１】選択のジェスチャ かつ Ｒ＝１ならば
（ステップＳ９）、選択したオブジェクトを移動する処
理であり、認識オブジェクトに沿った認識を行い（ステ
ップＳ２７）、ステップＳ２に戻る。
（ステップＳ９）、選択したオブジェクトを移動する処
理であり、認識オブジェクトに沿った認識を行い（ステ
ップＳ２７）、ステップＳ２に戻る。
【００６２】ダブルクリックのジェスチャ かつ Ｃ＝
１ならば（ステップＳ１０）、ダブルクリックの処理で
ある。この場合、Ｃｐに最も近いオブジェクトを開き
（ステップＳ２８）、Ｃ←０、Ｓ←０、Ｉ←０、Ｒ←０
として（ステップＳ２９）、ステップＳ２に戻る。
１ならば（ステップＳ１０）、ダブルクリックの処理で
ある。この場合、Ｃｐに最も近いオブジェクトを開き
（ステップＳ２８）、Ｃ←０、Ｓ←０、Ｉ←０、Ｒ←０
として（ステップＳ２９）、ステップＳ２に戻る。
【００６３】ダブルクリックのジェスチャは、例えば図
１４に示す手の形状が認識された場合である。
１４に示す手の形状が認識された場合である。
【００６４】上記以外の場合は、他の認識処理を行い
（ステップＳ３０）、ステップＳ２に戻る。
（ステップＳ３０）、ステップＳ２に戻る。
【００６５】以下では、具体例を用いて本実施形態を説
明する。
明する。
【００６６】まず、図７のように親指と人差し指を延ば
した手の形状が認識された場合に、カーソル移動が指示
されるものとする。
した手の形状が認識された場合に、カーソル移動が指示
されるものとする。
【００６７】例えば図８（ａ）の状態で、図７の手の形
状が認識され、カーソル移動を受け付ける状態となり、
ユーザが手の形状を図７の状態で移動させると、これに
応じてカーソル２０１が表示画面上で移動する。この場
合、ユーザの手の形状のドットマトリックス中における
一定の点、例えば画像中で縦方向の位置が最も上である
最上位点（例えば人差し指の先端部に対応）、あるいは
画像中で最も受光部に近い最近点（例えば最も高階調の
点）などにおける移動量／方向が抽出される。
状が認識され、カーソル移動を受け付ける状態となり、
ユーザが手の形状を図７の状態で移動させると、これに
応じてカーソル２０１が表示画面上で移動する。この場
合、ユーザの手の形状のドットマトリックス中における
一定の点、例えば画像中で縦方向の位置が最も上である
最上位点（例えば人差し指の先端部に対応）、あるいは
画像中で最も受光部に近い最近点（例えば最も高階調の
点）などにおける移動量／方向が抽出される。
【００６８】なお、図８（ｂ）に示すように、カーソル
２０１上に入力画像２０２を半透明にして表示し、ユー
ザに認識状況をフィードバックするようにしても良い。
２０１上に入力画像２０２を半透明にして表示し、ユー
ザに認識状況をフィードバックするようにしても良い。
【００６９】カーソルがスライダーバーやリンクノード
など種々のオブジェクトの上にある場合は、その機能を
呈示するようにカーソルの形状を変える。
など種々のオブジェクトの上にある場合は、その機能を
呈示するようにカーソルの形状を変える。
【００７０】例えば図９（ａ）のように、カーソルの移
動したところにスライダーバーがある場合、カーソルの
形状を図中２０３のように変形する。なお、図９（ｂ）
のように、カーソル上に入力画像を半透明２０５にして
表示しても良い。
動したところにスライダーバーがある場合、カーソルの
形状を図中２０３のように変形する。なお、図９（ｂ）
のように、カーソル上に入力画像を半透明２０５にして
表示しても良い。
【００７１】ここで、図９（ａ）中の２０４で示される
矢印は、操作対象であるスライダーバーの操作が垂直方
向に制約されることを呈示している。すなわち、スライ
ダーバーには、垂直方向エンジンが指定されている。こ
の場合、ユーザが手をどう動かそうと、認識されるの
は、垂直方向の移動のみとなる。
矢印は、操作対象であるスライダーバーの操作が垂直方
向に制約されることを呈示している。すなわち、スライ
ダーバーには、垂直方向エンジンが指定されている。こ
の場合、ユーザが手をどう動かそうと、認識されるの
は、垂直方向の移動のみとなる。
【００７２】また例えば図１０（ａ）のように、カーソ
ルの移動したところにリンクノードがある場合、カーソ
ルの形状を図中２０６のように変形する。なお、図１０
（ｂ）のように、カーソル上に入力画像２０７を半透明
にして表示しても良い。
ルの移動したところにリンクノードがある場合、カーソ
ルの形状を図中２０６のように変形する。なお、図１０
（ｂ）のように、カーソル上に入力画像２０７を半透明
にして表示しても良い。
【００７３】次に、図７の手の形状でカーソルを所望の
位置に移動させた後、図１１のように人差し指を延ば
し、親指を閉じた手の形状が認識された場合に、カーソ
ルによって示されるオブジェクトの選択が指示されるも
のとする。これは、マウスのシングルクリックに相当す
る。
位置に移動させた後、図１１のように人差し指を延ば
し、親指を閉じた手の形状が認識された場合に、カーソ
ルによって示されるオブジェクトの選択が指示されるも
のとする。これは、マウスのシングルクリックに相当す
る。
【００７４】例えば図１２（ａ）のような状態で、図１
１の手の形状にすると、スライダバーが選択される。な
お、図中２０８で示される矢印は、操作対象であるスラ
イダーバーの操作が垂直方向に制約されることを呈示し
ている。なお、図１２（ｂ）のように、カーソル上に入
力画像２０９を半透明にして表示しても良い。
１の手の形状にすると、スライダバーが選択される。な
お、図中２０８で示される矢印は、操作対象であるスラ
イダーバーの操作が垂直方向に制約されることを呈示し
ている。なお、図１２（ｂ）のように、カーソル上に入
力画像２０９を半透明にして表示しても良い。
【００７５】また例えば図１０（ａ）の状態で、図１１
の手の形状にすると、リンクノード「会社概要」が選択
され、図１３（ａ）のように表示内容が変わる。なお、
図１３（ｂ）のように、カーソル上に入力画像２１０を
半透明にして表示しても良い。
の手の形状にすると、リンクノード「会社概要」が選択
され、図１３（ａ）のように表示内容が変わる。なお、
図１３（ｂ）のように、カーソル上に入力画像２１０を
半透明にして表示しても良い。
【００７６】次に、図７の手の形状でカーソルを所望の
位置に移動させた後、図１４のように手の形状自体は変
えずに手首を１８０度回転させた状態が認識された場合
に、カーソルによって示されるオブジェクトについてダ
ブルクリックが指示されるものとする。
位置に移動させた後、図１４のように手の形状自体は変
えずに手首を１８０度回転させた状態が認識された場合
に、カーソルによって示されるオブジェクトについてダ
ブルクリックが指示されるものとする。
【００７７】例えば図１５（ａ）において、図７の手の
形状で、「インタネット」のアイコン上のカーソルを移
動させ、続いて手を図１４のように回転させる。する
と、「インタネット」のダブルクリックが受け付けられ
る。図１５（ｂ）にアイコンを選択してアイコンが開く
直前の状態を示す。なお、図１６のように、カーソル上
に入力画像２１２を半透明にして表示しても良い。
形状で、「インタネット」のアイコン上のカーソルを移
動させ、続いて手を図１４のように回転させる。する
と、「インタネット」のダブルクリックが受け付けられ
る。図１５（ｂ）にアイコンを選択してアイコンが開く
直前の状態を示す。なお、図１６のように、カーソル上
に入力画像２１２を半透明にして表示しても良い。
【００７８】また例えば、まず図１７（ａ）のようにカ
ーソルを「ファイル」のところに移動させる。このと
き、図１７（ｂ）のように、カーソル上に入力画像２１
３を半透明にして表示しても良い。
ーソルを「ファイル」のところに移動させる。このと
き、図１７（ｂ）のように、カーソル上に入力画像２１
３を半透明にして表示しても良い。
【００７９】次に、「ファイル」を選択すると、図１８
（ａ）に示すように、プルダウンメニューが表示され
る。ここで、図中２１４で示される矢印は、操作対象で
あるプルダウンメニューの操作が垂直方向に制約される
ことを呈示している。
（ａ）に示すように、プルダウンメニューが表示され
る。ここで、図中２１４で示される矢印は、操作対象で
あるプルダウンメニューの操作が垂直方向に制約される
ことを呈示している。
【００８０】次に、図１８（ａ）のようにカーソルを
「保存」の上に位置させ、図１４のような手の形状にす
ることにより、「保存」のダブルクリックが受け付けら
れる。ここでも、図１８（ｂ）のように、カーソル上に
入力画像２１３を半透明にして表示しても良い。
「保存」の上に位置させ、図１４のような手の形状にす
ることにより、「保存」のダブルクリックが受け付けら
れる。ここでも、図１８（ｂ）のように、カーソル上に
入力画像２１３を半透明にして表示しても良い。
【００８１】「保存」がダブルクリックされると、カー
ソルの形状を例えば図１９（ａ）の２１６のように変形
する。これは、保存の選択により文書を保存する操作中
であることを示す。ここでも、図１９（ｂ）のように、
カーソル上に入力画像２１７を半透明にして表示しても
良い。
ソルの形状を例えば図１９（ａ）の２１６のように変形
する。これは、保存の選択により文書を保存する操作中
であることを示す。ここでも、図１９（ｂ）のように、
カーソル上に入力画像２１７を半透明にして表示しても
良い。
【００８２】また例えば、まず図２０（ａ）のようにカ
ーソルを「ファイル」のところに移動させ、「ファイ
ル」を選択し、さらに印刷のところに移動させ、「印
刷」を選択する。すると、「印刷」に対応するメニュー
が表示される。このとき、図２０（ｂ）のように、カー
ソル上に入力画像２１９を半透明にして表示しても良
い。
ーソルを「ファイル」のところに移動させ、「ファイ
ル」を選択し、さらに印刷のところに移動させ、「印
刷」を選択する。すると、「印刷」に対応するメニュー
が表示される。このとき、図２０（ｂ）のように、カー
ソル上に入力画像２１９を半透明にして表示しても良
い。
【００８３】次に、認識エンジンについて説明する。
【００８４】図２１に、認識エンジンに関する処理のフ
ローチャートを示す。
ローチャートを示す。
【００８５】本実施形態では、必要に応じオブジェクト
ごとに認識エンジンを指定するものとする。
ごとに認識エンジンを指定するものとする。
【００８６】認識エンジンは、ドットマトリックスから
所定の特徴量を抽出するものである。すなわち、形状解
釈部１２は、選択されたオブジェクトについて指定され
ている認識エンジンがあるならば（ステップＳ３１）、
指定された認識エンジンに従ってドットマトリックスか
ら特徴量を抽出する。認識エンジンの指定がなければ
（ステップＳ３１）、通常の認識を実行する（ステップ
Ｓ３２）。
所定の特徴量を抽出するものである。すなわち、形状解
釈部１２は、選択されたオブジェクトについて指定され
ている認識エンジンがあるならば（ステップＳ３１）、
指定された認識エンジンに従ってドットマトリックスか
ら特徴量を抽出する。認識エンジンの指定がなければ
（ステップＳ３１）、通常の認識を実行する（ステップ
Ｓ３２）。
【００８７】認識エンジンには、例えば、ドットマトリ
ックス中の対象物体形状の最近点の垂直方向の移動量を
抽出する最近点垂直方向エンジン１２１、最近点の水平
方向の移動量を抽出する最近点水平方向エンジン１２
２、最近点の斜め方向の移動量を抽出する最近点斜め方
向エンジン１２３、重心点の垂直方向の移動量を抽出す
る重心点垂直方向エンジン１２４、重心点の水平方向の
移動量を抽出する重心点水平方向エンジン１２５、重心
点の斜め方向の移動量を抽出する重心点斜め方向エンジ
ン１２６、重心点の垂直方向の移動量を抽出する重心点
垂直方向エンジン１２７、重心点の水平方向の移動量を
抽出する重心点水平方向エンジン１２８、重心点の斜め
方向の移動量を抽出する重心点斜め方向エンジン１２
９、ドットマトリックス中の対象物体形状のエッジを切
り出すエッジ切り出しエンジン１３０、ドットマトリッ
クス中の対象物体形状の面積を算出する面積算出エンジ
ン１３１、ドットマトリックス中の対象物体形状の最近
点のｘ軸回り回転角を抽出する最近点ｘ軸回り回転角エ
ンジン１３２、最近点のｙ軸回り回転角を抽出する最近
点ｙ軸回り回転角エンジン１３３、最近点のｚ軸回り回
転角を抽出する最近点ｚ軸回り回転角エンジン１３４、
重心点のｘ軸回り回転角を抽出する重心点ｘ軸回り回転
角エンジン１３５、重心点のｙ軸回り回転角を抽出する
重心点ｙ軸回り回転角エンジン１３６、重心点のｚ軸回
り回転角を抽出する重心点ｚ軸回り回転角エンジン１３
７、重心点のｘ軸回り回転角を抽出する重心点ｘ軸回り
回転角エンジン１３８、重心点のｙ軸回り回転角を抽出
する重心点ｙ軸回り回転角エンジン１３９、重心点のｚ
軸回り回転角を抽出する重心点ｚ軸回り回転角エンジン
１４０、その他、所定のエンジンの重み付け組合わせに
よる認識エンジン１４１など、種々のものが考えられ
る。
ックス中の対象物体形状の最近点の垂直方向の移動量を
抽出する最近点垂直方向エンジン１２１、最近点の水平
方向の移動量を抽出する最近点水平方向エンジン１２
２、最近点の斜め方向の移動量を抽出する最近点斜め方
向エンジン１２３、重心点の垂直方向の移動量を抽出す
る重心点垂直方向エンジン１２４、重心点の水平方向の
移動量を抽出する重心点水平方向エンジン１２５、重心
点の斜め方向の移動量を抽出する重心点斜め方向エンジ
ン１２６、重心点の垂直方向の移動量を抽出する重心点
垂直方向エンジン１２７、重心点の水平方向の移動量を
抽出する重心点水平方向エンジン１２８、重心点の斜め
方向の移動量を抽出する重心点斜め方向エンジン１２
９、ドットマトリックス中の対象物体形状のエッジを切
り出すエッジ切り出しエンジン１３０、ドットマトリッ
クス中の対象物体形状の面積を算出する面積算出エンジ
ン１３１、ドットマトリックス中の対象物体形状の最近
点のｘ軸回り回転角を抽出する最近点ｘ軸回り回転角エ
ンジン１３２、最近点のｙ軸回り回転角を抽出する最近
点ｙ軸回り回転角エンジン１３３、最近点のｚ軸回り回
転角を抽出する最近点ｚ軸回り回転角エンジン１３４、
重心点のｘ軸回り回転角を抽出する重心点ｘ軸回り回転
角エンジン１３５、重心点のｙ軸回り回転角を抽出する
重心点ｙ軸回り回転角エンジン１３６、重心点のｚ軸回
り回転角を抽出する重心点ｚ軸回り回転角エンジン１３
７、重心点のｘ軸回り回転角を抽出する重心点ｘ軸回り
回転角エンジン１３８、重心点のｙ軸回り回転角を抽出
する重心点ｙ軸回り回転角エンジン１３９、重心点のｚ
軸回り回転角を抽出する重心点ｚ軸回り回転角エンジン
１４０、その他、所定のエンジンの重み付け組合わせに
よる認識エンジン１４１など、種々のものが考えられ
る。
【００８８】図２２には、オブジェクト毎の認識エンジ
ンの記述の一例を示す。
ンの記述の一例を示す。
【００８９】以上のように本実施形態によれば、カーソ
ルの移動モード、選択のモード、ダブルクリックのモー
ドなどの各モードを変えるためのユーザによる明示的な
操作が不要になる。
ルの移動モード、選択のモード、ダブルクリックのモー
ドなどの各モードを変えるためのユーザによる明示的な
操作が不要になる。
【００９０】また、ユーザの指示した点を認識処理で読
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
【００９１】さらに、認識エンジンを用いれば、入力精
度の向上とユーザの操作性の向上が期待できる。
度の向上とユーザの操作性の向上が期待できる。
【００９２】また、入力画像を半透明にしてカーソルに
重ねて表示すれば、ユーザに操作状況をフィードバック
することができる。
重ねて表示すれば、ユーザに操作状況をフィードバック
することができる。
【００９３】このように本実施形態によれば、ユーザの
操作上の負担を軽減したより使い易いユーザインタフェ
ース装置を提供することができる。
操作上の負担を軽減したより使い易いユーザインタフェ
ース装置を提供することができる。
【００９４】次に、第２の実施形態について説明する。
【００９５】第２の実施形態は、第１の実施形態とは基
本的に同様であるが、本実施形態では、画像入力部側筐
体内（以下、デバイス側と言う）で認識処理の一部を行
ない、画像入力部１０側から本体側に入力画像のドット
マトリックスと所定の認識結果を渡すようにしたもので
ある。なお、デバイス側で行なう認識処理は、負荷の軽
い処理であることが望ましい。
本的に同様であるが、本実施形態では、画像入力部側筐
体内（以下、デバイス側と言う）で認識処理の一部を行
ない、画像入力部１０側から本体側に入力画像のドット
マトリックスと所定の認識結果を渡すようにしたもので
ある。なお、デバイス側で行なう認識処理は、負荷の軽
い処理であることが望ましい。
【００９６】図２３に、本実施形態に係るインタフェー
ス装置の一構成例を示す。
ス装置の一構成例を示す。
【００９７】図２３では、本体内に、本体制御部３２、
呈示部１４、カーソル切替部１５が配置され、デバイス
側に、画像入力部１０、画像記憶部１１、認識エンジン
制御部３０、アクティブリスト３１、いくつかの所定の
認識エンジン１２１，１２２，１４２，１４３，１４４
が配置される。
呈示部１４、カーソル切替部１５が配置され、デバイス
側に、画像入力部１０、画像記憶部１１、認識エンジン
制御部３０、アクティブリスト３１、いくつかの所定の
認識エンジン１２１，１２２，１４２，１４３，１４４
が配置される。
【００９８】本体制御部３２は、例えば、図１の形状解
釈部１２、解釈規則記憶部１３（および認識エンジンを
含む）に相当するものであるが、これに限らず、他の構
成を持つもの、他の認識処理を行なうものであっても、
認識エンジンを用いるものであれば構わない。
釈部１２、解釈規則記憶部１３（および認識エンジンを
含む）に相当するものであるが、これに限らず、他の構
成を持つもの、他の認識処理を行なうものであっても、
認識エンジンを用いるものであれば構わない。
【００９９】図２４には、垂直スライダーバー選択時の
アクティブリスト記憶部の記述の一例を示す。この場
合、カーソルエンジン１４２と最近点垂直方向エンジン
１２１が指定されていることが示される。
アクティブリスト記憶部の記述の一例を示す。この場
合、カーソルエンジン１４２と最近点垂直方向エンジン
１２１が指定されていることが示される。
【０１００】このような構成において、本体側からデバ
イス側に、アクティブにする認識エンジンのリストまた
はその反対に非アクティブにする認識エンジンのリスト
を送る。デバイス側では、このリストをアクティブリス
ト記憶部３１に格納し、認識エンジン制御部３０により
指定の認識エンジンに従って入力画像から所定の特徴量
を認識結果として抽出し、入力画像と認識結果を本体側
に返す。
イス側に、アクティブにする認識エンジンのリストまた
はその反対に非アクティブにする認識エンジンのリスト
を送る。デバイス側では、このリストをアクティブリス
ト記憶部３１に格納し、認識エンジン制御部３０により
指定の認識エンジンに従って入力画像から所定の特徴量
を認識結果として抽出し、入力画像と認識結果を本体側
に返す。
【０１０１】本実施形態によれば、デバイス側である程
度の認識処理を行なうので、負荷分散ができ、また全体
的な認識処理の速度向上を図ることができる。
度の認識処理を行なうので、負荷分散ができ、また全体
的な認識処理の速度向上を図ることができる。
【０１０２】また、画像入力機能を持つデバイスの高機
能化を図ることができる。
能化を図ることができる。
【０１０３】図２７に、本実施形態に係るインタフェー
ス装置のさらに他の構成例を示す。
ス装置のさらに他の構成例を示す。
【０１０４】図２７では、本体内に、図２５とほぼ同様
の構成であるが、本構成例は、認識エンジンが本体側と
デバイス側などの複数の場所に存在する場合、先にアク
ティブになった認識エンジンを持つ側が、同一の認識エ
ンジンを持つ他の側に、該認識エンジンを非アクティブ
にするように通信するようにしたものである。
の構成であるが、本構成例は、認識エンジンが本体側と
デバイス側などの複数の場所に存在する場合、先にアク
ティブになった認識エンジンを持つ側が、同一の認識エ
ンジンを持つ他の側に、該認識エンジンを非アクティブ
にするように通信するようにしたものである。
【０１０５】この場合のアクティブ通知の動作手順例を
図２８に、アクティブ通知受理の動作手順例を図２９に
それぞれ示す。
図２８に、アクティブ通知受理の動作手順例を図２９に
それぞれ示す。
【０１０６】まず、デバイス側で画像入力が行なわれ
（ステップＳ３９）、本体側および／またはデバイス側
で認識で実行される（ステップＳ４０）。そして、認識
実行した側は通知相手に、認識結果と画像マトリックス
とアクティブリスト（または非アクティブリスト）を送
る（ステップＳ４１）。
（ステップＳ３９）、本体側および／またはデバイス側
で認識で実行される（ステップＳ４０）。そして、認識
実行した側は通知相手に、認識結果と画像マトリックス
とアクティブリスト（または非アクティブリスト）を送
る（ステップＳ４１）。
【０１０７】次に、通知を受ける側は、認識結果と画像
マトリックスとアクティブリスト（または非アクティブ
リスト）を受理し（ステップＳ４２）、受理したアクテ
ィブリスト中でＯＮの認識エンジン（または非アクティ
ブリスト中でＯＦＦの認識エンジン）を、保持している
アクティブリスト中でＯＦＦに書き替える（ステップＳ
４３）。そして、必要に応じて他の処理を実行する（ス
テップＳ４４）。
マトリックスとアクティブリスト（または非アクティブ
リスト）を受理し（ステップＳ４２）、受理したアクテ
ィブリスト中でＯＮの認識エンジン（または非アクティ
ブリスト中でＯＦＦの認識エンジン）を、保持している
アクティブリスト中でＯＦＦに書き替える（ステップＳ
４３）。そして、必要に応じて他の処理を実行する（ス
テップＳ４４）。
【０１０８】なお、以上の各機能は、ソフトウェアとし
ても実現可能である。また、上記した各手順あるいは手
段をコンピュータに実行させるためのプログラムを記録
した機械読取り可能な媒体として実施することもでき
る。
ても実現可能である。また、上記した各手順あるいは手
段をコンピュータに実行させるためのプログラムを記録
した機械読取り可能な媒体として実施することもでき
る。
【０１０９】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。
るものではなく、その技術的範囲において種々変形して
実施することができる。
【０１１０】
【発明の効果】本発明によれば、画像処理結果に基づい
て、カーソルの移動モード、選択のモード、ダブルクリ
ックのモードなどの各モードを切り換えるので、モード
を変えるためのユーザによる明示的な操作が不要にな
る。
て、カーソルの移動モード、選択のモード、ダブルクリ
ックのモードなどの各モードを切り換えるので、モード
を変えるためのユーザによる明示的な操作が不要にな
る。
【０１１１】また、ユーザの指示した点を認識処理で読
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
み取って画面上のカーソル移動等に反映させるので、ユ
ーザの操作によるキャリブレーションが不要である。
【０１１２】このように本発明によれば、ユーザの操作
上の負担を軽減したより使い易いユーザインタフェース
装置を提供することができる。
上の負担を軽減したより使い易いユーザインタフェース
装置を提供することができる。
【０１１３】また、本発明によれば、第１の装置側（デ
バイス側）である程度の認識処理を行なうので、負荷分
散ができ、また全体的な認識処理の速度向上を図ること
ができる。
バイス側）である程度の認識処理を行なうので、負荷分
散ができ、また全体的な認識処理の速度向上を図ること
ができる。
【図１】本発明の第１の実施形態に係るインタフェース
装置の構成例を示す図
装置の構成例を示す図
【図２】画像入力部の構成例を示す図
【図３】表示装置と画像入力部の筐体と対象物体の関係
を説明するための図
を説明するための図
【図４】同実施形態のユーザインタフェース装置の動作
手順例を示すフローチャート
手順例を示すフローチャート
【図５】同実施形態のユーザインタフェース装置の動作
手順例を示すフローチャート
手順例を示すフローチャート
【図６】同実施形態のユーザインタフェース装置の動作
手順例を示すフローチャート
手順例を示すフローチャート
【図７】カーソル制御のジェスチャを示す入力画像の一
例を示す図
例を示す図
【図８】画面表示例を示す図
【図９】画面表示例を示す図
【図１０】画面表示例を示す図
【図１１】選択のジェスチャを示す入力画像の一例を示
す図
す図
【図１２】画面表示例を示す図
【図１３】画面表示例を示す図
【図１４】ダブルクリックのジェスチャを示す入力画像
の一例を示す図
の一例を示す図
【図１５】画面表示例を示す図
【図１６】画面表示例を示す図
【図１７】画面表示例を示す図
【図１８】画面表示例を示す図
【図１９】画面表示例を示す図
【図２０】画面表示例を示す図
【図２１】指定された認識エンジンに従った処理につい
て説明するための図
て説明するための図
【図２２】オブジェクト毎の認識エンジンの記述の一例
を示す図
を示す図
【図２３】本発明の第２の実施形態に係るインタフェー
ス装置の一構成例を示す図
ス装置の一構成例を示す図
【図２４】垂直スライダーバー選択時のアクティブリス
ト記憶部の記述の一例を示す図
ト記憶部の記述の一例を示す図
【図２５】本発明の第２の実施形態に係るインタフェー
ス装置の他の構成例を示す図
ス装置の他の構成例を示す図
【図２６】同実施形態のユーザインタフェース装置の動
作手順例を示すフローチャート
作手順例を示すフローチャート
【図２７】本発明の第２の実施形態に係るインタフェー
ス装置のさらに他の構成例を示す図
ス装置のさらに他の構成例を示す図
【図２８】同実施形態のユーザインタフェース装置の動
作手順例を示すフローチャート
作手順例を示すフローチャート
【図２９】同実施形態のユーザインタフェース装置の動
作手順例を示すフローチャート
作手順例を示すフローチャート
１０…画像入力部 １１…画像記憶部 １２…形状解釈部 １３…解釈規則記憶部 １４…呈示部 １５…カーソル切替部 １０１…発光部 １０２…反射光抽出部 １０３…タイミング制御部 ２０…表示装置 ８…筐体 ３０…認識エンジン制御部 ３１，３４…アクティブリスト記憶部 ３２…本体制御部 ３３…認識エンジン保存部 １２１…最近点垂直方向エンジン １２２…最近点水平方向エンジン １４２…カーソルエンジン １４３…選択エンジン １４４…ダブルクリックエンジン １５１〜１５Ｎ…認識エンジン
フロントページの続き (72)発明者 沼崎 俊一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内
Claims (10)
- 【請求項１】入力画像の画像処理により入力を行なうユ
ーザインタフェース装置であって、 ポインティングを行なうモードと、それ以外のモードと
を、入力画像の画像処理結果に基づいて切り換える手段
を備えたことを特徴とするユーザインタフェース装置。 - 【請求項２】入力画像の画像処理により入力を行なうユ
ーザインタフェース装置であって、 少なくとも、カーソルの移動のモードと、選択のモード
と、ダブルクリックのモードとを、入力画像の画像処理
結果に基づいて切り換える手段を備えたことを特徴とす
るユーザインタフェース装置。 - 【請求項３】選択のモードでの選択可能なオブジェクト
毎に、画像処理内容を制約した認識方法を指定する手段
をさらに備え、 選択されたオブジェクトについて入力画像の画像処理を
行なうにあたっては、該オブジェクトについて指定され
た認識方法に従って画像処理を行なうことを特徴とする
請求項１または２に記載のユーザインタフェース装置。 - 【請求項４】選択のモードでの選択可能なオブジェクト
毎に、画像処理内容を制約した認識方法を指定する手段
と、 カーソルで指示された表示中のオブジェクトの近傍に該
オブジェクトについて指定された認識方法を示す情報を
呈示する手段とをさらに備えたことを特徴とする請求項
１または２に記載のユーザインタフェース装置。 - 【請求項５】カーソル上に所定の形状で前記入力画像の
画像処理結果を呈示する手段をさらに備えたことを特徴
とする請求項１または２に記載のユーザインタフェース
装置。 - 【請求項６】反射画像を入力する第１の装置と入力画像
の画像処理により入力を行なう第２の装置からなるユー
ザインタフェース装置であって、 前記第２の装置は、前記第１の装置に対して、入力画像
の画像処理内容を制約した認識方法の指定を行なう手段
を備え、 前記第１の装置は、前記認識方法の指定に基づいて所定
の画像処理を行なう手段と、 入力した画像と画像処理結果とを前記第２の装置に返す
手段とを備えたことを特徴とするユーザインタフェース
装置。 - 【請求項７】前記第１の装置は、必要な認識方法に適し
た画像処理手段を保持しない場合、前記第２の装置に該
認識方法に適した画像処理に必要な情報の転送を要求す
る手段をさらに備え、 前記第２の装置は、要求された前記情報を、前記第１の
装置に転送する手段をさらに備えたことを特徴とする請
求項６に記載のユーザインタフェース装置。 - 【請求項８】前記第１の装置および前記第２の装置はそ
れぞれ、 自装置内の所定の認識方法に適した画像処理に必要な情
報が先にアクティブになった場合、他装置にアクティブ
になった該情報を非アクティブにするよう通知する手段
と、 他装置から前記所定の認識方法に適した画像処理に必要
な情報を非アクティブにするよう通知を受けた場合、該
情報を非アクティブにする手段とをさらに備えたことを
特徴とする請求項６に記載のユーザインタフェース装
置。 - 【請求項９】入力画像の画像処理により入力を行なうユ
ーザインタフェース装置による指示入力方法であって、 対象物体の入力画像を画像処理し、 この画像処理の結果に基づいて、ポインティングを行な
うモードと、それ以外のモードとを切り換えることを特
徴とする指示入力方法。 - 【請求項１０】反射画像を入力する第１の装置と入力画
像の画像処理により入力を行なう第２の装置からなるユ
ーザインタフェース装置による指示入力方法であって、 前記第２の装置から前記第１の装置に対して、入力画像
の画像処理内容を制約した認識方法の指定を行ない、 前記第１の装置は、前記認識方法の指定に基づいて所定
の画像処理を行ない、これら入力した画像と画像処理結
果とを前記第２の装置に返すことを特徴とする指示入力
方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00949697A JP3588527B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び指示入力方法 |
| US09/009,696 US6266061B1 (en) | 1997-01-22 | 1998-01-20 | User interface apparatus and operation range presenting method |
| US09/860,496 US20010024213A1 (en) | 1997-01-22 | 2001-05-21 | User interface apparatus and operation range presenting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00949697A JP3588527B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び指示入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10207618A true JPH10207618A (ja) | 1998-08-07 |
| JP3588527B2 JP3588527B2 (ja) | 2004-11-10 |
Family
ID=11721856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00949697A Expired - Fee Related JP3588527B2 (ja) | 1997-01-22 | 1997-01-22 | ユーザインタフェース装置及び指示入力方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3588527B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
| WO2003098420A1 (en) * | 2002-05-20 | 2003-11-27 | Tau Engineering, Inc. | Remote operation detection device, program, and recording medium |
| JP2004246814A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 指示動作認識装置 |
| JP2005174356A (ja) * | 2000-02-01 | 2005-06-30 | Toshiba Corp | 方向検出方法 |
| JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
| JP2009031981A (ja) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | インタフェース装置、インタフェース方法及びインタフェースプログラム |
| EP2258587A4 (en) * | 2008-03-19 | 2013-08-07 | Denso Corp | OPERATING DEVICE FOR A VEHICLE |
| WO2021199697A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
| JP2022087700A (ja) * | 2020-12-01 | 2022-06-13 | 京セラドキュメントソリューションズ株式会社 | 電子機器および画像形成装置 |
-
1997
- 1997-01-22 JP JP00949697A patent/JP3588527B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
| JP2005174356A (ja) * | 2000-02-01 | 2005-06-30 | Toshiba Corp | 方向検出方法 |
| WO2003098420A1 (en) * | 2002-05-20 | 2003-11-27 | Tau Engineering, Inc. | Remote operation detection device, program, and recording medium |
| JP2004246814A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 指示動作認識装置 |
| JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
| JP2009031981A (ja) * | 2007-07-26 | 2009-02-12 | Mitsubishi Electric Corp | インタフェース装置、インタフェース方法及びインタフェースプログラム |
| EP2258587A4 (en) * | 2008-03-19 | 2013-08-07 | Denso Corp | OPERATING DEVICE FOR A VEHICLE |
| WO2021199697A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
| JP2022087700A (ja) * | 2020-12-01 | 2022-06-13 | 京セラドキュメントソリューションズ株式会社 | 電子機器および画像形成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3588527B2 (ja) | 2004-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6266061B1 (en) | User interface apparatus and operation range presenting method | |
| US11960706B2 (en) | Item selection using enhanced control | |
| US20240272723A1 (en) | Hand gesture input for wearable system | |
| US6043805A (en) | Controlling method for inputting messages to a computer | |
| O'Hagan et al. | Visual gesture interfaces for virtual environments | |
| EP0856786B1 (en) | Window Displaying apparatus and method | |
| US5436639A (en) | Information processing system | |
| US9529523B2 (en) | Method using a finger above a touchpad for controlling a computerized system | |
| US9477874B2 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
| US20160364138A1 (en) | Front touchscreen and back touchpad operated user interface employing semi-persistent button groups | |
| US20170017393A1 (en) | Method for controlling interactive objects from a touchpad of a computerized device | |
| US9542032B2 (en) | Method using a predicted finger location above a touchpad for controlling a computerized system | |
| KR19990011180A (ko) | 화상인식을 이용한 메뉴 선택 방법 | |
| JPH05282115A (ja) | メニュー表示装置および方法 | |
| NO339941B1 (no) | System og fremgangsmåte for et gestbasert styringssystem | |
| JPH08234913A (ja) | カーソル移動制御装置 | |
| JPH10207619A (ja) | ユーザインタフェース装置及び操作範囲呈示方法 | |
| JP4608326B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
| JP3588527B2 (ja) | ユーザインタフェース装置及び指示入力方法 | |
| JP2004246814A (ja) | 指示動作認識装置 | |
| US9639195B2 (en) | Method using finger force upon a touchpad for controlling a computerized system | |
| JP4563723B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
| US20040080488A1 (en) | Method of and apparatus for inputting character using pointing device | |
| JP5456817B2 (ja) | 表示制御装置、表示制御方法、情報表示システム及びプログラム | |
| JPH03129513A (ja) | 機能選択方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070820 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120820 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120820 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |