JPH04255015A - 情報入力装置 - Google Patents

情報入力装置

Info

Publication number
JPH04255015A
JPH04255015A JP3036913A JP3691391A JPH04255015A JP H04255015 A JPH04255015 A JP H04255015A JP 3036913 A JP3036913 A JP 3036913A JP 3691391 A JP3691391 A JP 3691391A JP H04255015 A JPH04255015 A JP H04255015A
Authority
JP
Japan
Prior art keywords
information
gaze
operator
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3036913A
Other languages
English (en)
Inventor
Takanao Koike
孝尚 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP3036913A priority Critical patent/JPH04255015A/ja
Publication of JPH04255015A publication Critical patent/JPH04255015A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、パーソナルコンピュー
タ、ワードプロセッサ等の情報処理機器に対して文字等
の情報を入力させるための情報入力装置に関する。
【0002】
【従来の技術】一般に、コンピュータ等の情報処理機器
においては、文字、数字等の各種情報を入力させるため
の情報入力装置として各種キーボードが用いられている
。しかし、キーボードによる情報入力は手操作により行
なわれるものであり、円滑に入力を行なうためにはある
程度の熟練を必要とするものである。このような問題を
解決するため、最近では音声に基づいて入力を行なわせ
るようにした音声認識入力装置も検討され始めている。
【0003】
【発明が解決しようとする課題】ところが、音声認識入
力装置は、現状では、音声の認識処理に時間がかかると
ともに、その認識精度が低くて信頼性に欠けるといった
問題があり、実用化には至っていない。更に、このよう
な音声認識入力装置は入力時に必ず発声を伴うので、静
粛性に欠けるとともに機密情報の入力時には外部に漏れ
てしまうといった不都合もある。このため、使用する場
所が限定されてしまうという問題もある。
【0004】
【課題を解決するための手段】請求項1記載の発明では
、入力対象となる複数の情報が各々位置特定されて表示
された情報表示パネルを設け、この情報表示パネルを注
視するオペレータの眼球の動きを追跡監視する監視手段
を設け、この監視情報に基づきオペレータの視線方向を
抽出する視線方向抽出手段を設け、抽出された視線方向
情報に基づき前記情報表示パネル上の注視位置を判別す
る注視位置判別手段を設け、注視位置の情報の出力を指
示する指示手段を設けた。
【0005】ここに、請求項2記載の発明では、注視位
置判別手段を、出力指示された情報の表示位置を基準点
として次の注視位置への視線の移動量を算出する視線移
動量算出手段と、算出された視線移動量に基づき今回の
注視位置を特定する特定手段と、今回の注視位置の情報
の出力指示後に前記基準点を今回の情報の表示位置に変
更する基準点更新手段とを有するものとした。
【0006】請求項3記載の発明では、視線方向検出手
段を、オペレータの左眼の視線方向を抽出する左視線方
向抽出手段と、オペレータの右眼の視線方向を抽出する
右視線方向抽出手段と、これらの左右の視線方向抽出手
段による抽出結果に基づきオペレータの両眼の視線方向
を算出する視線方向算出手段とを有するものとした。
【0007】請求項4記載の発明では、視線抽出手段を
オペレータの瞳の輪郭データを抽出する輪郭データ抽出
手段を有するものとした。
【0008】さらに、請求項5記載の発明では、指示手
段をオペレータのまばたきを検出するまばたき検出手段
とした。
【0009】
【作用】情報表示パネルに配列表示された複数の情報中
で所望の情報を注視すると、視線の動きを伴う。そこで
、オペレータの眼球の動きを監視手段により監視し、こ
の情報に基づき視線方向抽出手段で視線方向を抽出し、
注視位置判別手段により情報表示パネル上の注視位置を
特定することにより、オペレータの所望する情報を特定
できる。後は、指示手段を通じてオペレータの入力意志
を伝えることにより、注視位置の情報が情報処理機器に
対して入力される。このようにして、情報自体の入力を
キーボード操作や発声を伴うことなく、熟練を要せず簡
単にして、静寂かつ確実に行なうことができる。
【0010】ここに、請求項2記載の発明によれば、出
力毎に更新される前回出力時の情報の表示位置を基準点
とした視線の相対移動量により今回の注視位置を特定す
るので、演算処理時間が短くて済み、入力時間が短縮化
される。また、請求項3記載の発明によれば、オペレー
タの左右両眼の視線方向情報を用いて注視位置を判別す
るので、正確さが増すものとなる。請求項4記載の発明
によれば、瞳の輪郭データを抽出して視線方向抽出に利
用するので、監視手段として通常のカメラ使用が可能と
なり、容易に実現し得る。さらに、請求項5記載の発明
によれば、指示手段をまばたき検出手段としたので、オ
ペレータは注視位置の移動、まばたき動作といったよう
に、手や音声を全く使用せずに行なうこともできる。
【0011】
【実施例】本発明の第一の実施例を図1ないし図6に基
づいて説明する。本実施例は、対象物を注視する場合の
人間の眼球の動きに着目すると、その視線方向を特定す
れば注視位置も特定し得ることから、その注視位置と入
力情報位置とを対応付けることにより、手や発声を伴わ
ずして、文字情報等の入力を可能としたものである。ま
ず、図1に示すようにオペレータ1の視界前面に位置さ
せて情報表示パネル2が設けられている。また、この情
報表示パネル2に対する視野外に位置してオペレータ1
の両眼の眼球の動きを撮影監視する監視手段としてのカ
メラ3が設けられている。このカメラ3からの情報は視
線方向抽出手段4と注視位置判別手段5とを備えた演算
処理装置6に取り込まれ、入力対象となる情報処理機器
7に出力し得るように接続されている。前記演算処理装
置6中には前記カメラ3からの情報に基づきオペレータ
1のまばたき動作を検出して指示手段となるまばたき検
出手段8も内蔵されている。
【0012】ここで、両眼で1点を注視した場合の視線
の様子を図2に示す。9Lは左眼、9Rは右眼、10L
は左視線方向、10Rは右視線方向、11は注視位置を
示す。図示のように、両眼の視線方向10L,10Rを
追跡判別し、両者の交点を求めることにより注視位置1
1を特定できることになる。
【0013】このための視線方向抽出方法を図3を参照
して説明する。本例は、カメラ3による眼球撮影に基づ
き、輪郭データ抽出手段(図示せず)により両眼の輪郭
及び両眼の瞳(眼球の白くない部分)の輪郭データを抽
出することにより、視線方向10を抽出するようにした
ものである。まず、眼9において眼球の白い部分と黒い
部分との境界を、瞳の輪郭として、a1,a2,a3,
a4,〜のように抽出し、各点から輪郭線に対して直交
する線を引き、これらの線の交わった点を瞳の中心点A
とする。また、眼9全体の輪郭のうち、両端部分B,C
点を求める。点B,Cを結ぶ線分と点Aとの位置関係か
ら、視線方向を算出することができる。このような抽出
処理を左右の視線方向抽出手段により行ない、両眼によ
る視線方向を抽出することにより、オペレータ1の注視
する視線方向を精度よく算出できる。もっとも、この方
法の場合、オペレータの頭の位置が固定的であることを
前提としており、頭の位置が変化すると、その分抽出精
度が低下するので、実際的には、カメラ3を眼鏡等の一
部に取付け可能な小型カメラとして、オペレータ1の眼
9とカメラ3との位置関係を固定的なものとするのがよ
い。
【0014】このようにオペレータ1により注視される
情報表示パネル2は、例えば図4に示すように、“A”
〜“Z”なるアルファベット文字、“0”〜“9”なる
数字、“(”等の記号といった、入力対象となる複数の
情報を、各々升目状の所定位置に割付けたものであり、
キーボードに代るものである。このような情報表示パネ
ル2をオペレータ1の前方に置き、入力したい情報部分
を注視させる。この時の眼球の動きをカメラ3で取り込
み、上述したようにその視線方向を抽出して注視位置を
求めることにより、どの文字情報を注視しているかを特
定し、その位置の文字情報の入力を可能とする。
【0015】ここに、オペレータ1の見つめる視線方向
決定に用いるパラメータを決めるためには、入力前に図
4に示した情報表示パネル2の4隅の文字、即ち、“A
”、“H”、“:”、“;”を注視させ、各々の文字注
視時のデータを取り込めばよい。また、入力したい文字
情報を注視した後、適宜、まばたきをし、これをまばた
き検出手段7で検出し、抽出された視線方向に基づく注
視位置の文字情報を取り込むように意志伝達させること
により、手や発声を全く用いずに所望の文字情報を連続
的に入力させることが可能となる。もっとも、入力指示
には入力指示スイッチ、フットスイッチ等を用いてもよ
い。
【0016】図5は上述したような入力時の注視位置決
定の処理を示すフローチャートであり、図6は入力前の
初期設定を含めた全体の処理を示すフローチャートであ
る。
【0017】つづいて、本発明の第二の実施例を図7な
いし図11により説明する。前記実施例で示した部分と
同一部分は同一符号を用いて示す。まず、前記実施例に
よる場合、1文字毎に視線の絶対方向(相対方向ではな
いという意味)を求めて注視位置を特定しなければなら
ず、処理時間が長めとなり、かつ、オペレータ1の頭の
位置が移動すると入力精度が悪くなりやすいものである
。そこで、本実施例は、視線の変化を前回の注視位置の
文字からの相対距離として算出し、今回の注視位置を特
定することにより、注視位置判別処理をより高精度・高
速化させたものである。
【0018】即ち、本実施例は眼球の相対移動距離から
入力文字を決定しようとするものであり、例えば図7に
示す情報表示パネル2において、“9”なる文字を入力
した後、今回は“N”なる文字を入力しようとする場合
を例にとり説明するこのような眼球の移動状況を正面か
ら見ると、図8に示すようになる。即ち、実線で示す瞳
が“9”の注視状態、破線で示す瞳が“N”の注視状態
であり、瞳の輪郭抽出から各々の中心を求めると、情報
表示パネル2上での注視位置の移動に伴い、図8に示す
ように中心もA1からA2へと移動したことになる。
【0019】いま、入力前の初期設定で情報表示パネル
2の4隅文字を順に注視した時の画像処理上の移動距離
を図9に示すようにx0,y0(情報表示パネル2上で
の実際の寸法は図7に示すように、X0,Y0とする)
とすると、A1からA2への移動距離x1,y1(図1
0参照)を情報表示パネル2上に換算した移動距離X9
N,Y9Nは、 X9N=X0・x1/x0,Y9N=Y0・y1/y0
として表される。前回の入力文字が“9”であるので、
この“9”なる文字の表示位置X9,Y9を基準点とし
て、XN=X9+X9N,YN=Y9+Y9Nなる演算
処理を行なうことにより、今回の注視位置XN,YNが
特定される。“N”の次の文字の入力に移る時には、今
回の入力文字“N”の表示位置XN,YNが次の入力文
字への移動量を算出するための基準点として変更更新さ
れる。これにより、誤差の累積が防止される。このよう
な相対移動距離方式によれば、絶対移動距離方式に比し
て高速かつ正確に注視位置の特定が可能となるとともに
、オペレータ1の頭の動きによる影響も小さいものとな
り、入力精度が向上する。
【0020】図11がこのような相対移動量を用いた注
視位置特定方式の処理を示すフローチャートであり、「
眼球移動量計算」と示す処理部分が視線移動量算出手段
に相当し、「入力文字決定」と示す処理部分が上述した
処理に基づき今回の注視位置値を特定するための特定手
段に相当し、「基準点更新」と示す処理部分が次回の相
対移動量算出のための基準点更新手段に相当する。
【0021】
【発明の効果】本発明は、上述したように対象物を注視
する場合の眼球の動きに着目し、オペレータの眼球の動
きを監視手段により監視し、この情報に基づき視線方向
抽出手段で視線方向を抽出し、注視位置判別手段により
情報表示パネル上の注視位置を特定し、指示手段による
入力指示により特定された位置の情報を入力させるよう
にしたので、入力したい情報部分を注視すればよく、情
報自体の入力をキーボード操作や発声を伴うことなく行
なうことができ、入力操作に熟練を要せず簡単となり、
かつ、音声入力に比して認識特定が確実で静寂な入力方
式となるものである。
【0022】また、請求項2記載の発明によれば、出力
毎に更新される前回出力時の情報の表示位置を基準点と
した視線の相対移動量により今回の注視位置を特定する
ようにしたので、演算処理時間が短くて済み、入力時間
を短縮化させることができるとともに、オペレータの頭
の動き等による影響も少なくなり、より正確な入力を行
なわせることができる。
【0023】請求項3記載の発明によれば、オペレータ
の左右両眼の視線方向情報を用いて注視位置を判別する
ようにしたので、一層正確な入力を行なわせることがで
きる。
【0024】請求項4記載の発明によれば、瞳の輪郭デ
ータを抽出して視線方向抽出に利用するので、監視手段
として通常のカメラ使用が可能となり、容易に実現でき
るものとなる。
【0025】さらに、請求項5記載の発明によれば、指
示手段をまばたき検出手段としたので、オペレータは注
視位置の移動、まばたき動作といったように、入力操作
全てについて手や音声を全く使用せずに行なうこともで
きる。
【図面の簡単な説明】
【図1】本発明の第一の実施例を示す概略構成図である
【図2】視線方向による注視位置特定の原理を示す模式
図である。
【図3】注視状態の眼球の様子を示す模式図である。
【図4】情報表示パネルの正面図である。
【図5】注視位置特定処理を示すフローチャートである
【図6】全体的処理を示すフローチャートである。
【図7】本発明の第二の実施例を示す情報表示パネルの
正面図である。
【図8】視線変化に伴う眼球の様子を示す模式図である
【図9】4隅の初期設定状態を示す模式図である。
【図10】注視位置変化を示す模式図である。
【図11】入力時の処理を示すフローチャートである。
【符号の説明】
1      オペレータ 2      情報表示パネル 3      監視手段 4      視線方向抽出手段 5      注視位置判別手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】  入力対象となる複数の情報が各々位置
    特定されて表示された情報表示パネルと、この情報表示
    パネルを注視するオペレータの眼球の動きを追跡監視す
    る監視手段と、この監視情報に基づきオペレータの視線
    方向を抽出する視線方向抽出手段と、抽出された視線方
    向情報に基づき前記情報表示パネル上の注視位置を判別
    する注視位置判別手段と、注視位置の情報の出力を指示
    する指示手段とよりなることを特徴とする情報入力装置
  2. 【請求項2】  出力指示された情報の表示位置を基準
    点として次の注視位置への視線の移動量を算出する視線
    移動量算出手段と、算出された視線移動量に基づき今回
    の注視位置を特定する特定手段と、今回の注視位置の情
    報の出力指示後に前記基準点を今回の情報の表示位置に
    変更する基準点更新手段とを有する注視位置判別手段と
    したことを特徴とする請求項1記載の情報入力装置。
  3. 【請求項3】  オペレータの左眼の視線方向を抽出す
    る左視線方向抽出手段と、オペレータの右眼の視線方向
    を抽出する右視線方向抽出手段と、これらの左右の視線
    方向抽出手段による抽出結果に基づきオペレータの両眼
    の視線方向を算出する視線方向算出手段とを有する視線
    方向抽出手段としたことを特徴とする請求項1又は2記
    載の情報入力装置。
  4. 【請求項4】  オペレータの瞳の輪郭データを抽出す
    る輪郭データ抽出手段を有する視線抽出手段としたこと
    を特徴とする請求項1、2又は3記載の情報入力装置。
  5. 【請求項5】  オペレータのまばたきを検出するまば
    たき検出手段を指示手段としたことを特徴とする請求項
    1,2,3又は4記載の情報入力装置。
JP3036913A 1991-02-06 1991-02-06 情報入力装置 Pending JPH04255015A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3036913A JPH04255015A (ja) 1991-02-06 1991-02-06 情報入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3036913A JPH04255015A (ja) 1991-02-06 1991-02-06 情報入力装置

Publications (1)

Publication Number Publication Date
JPH04255015A true JPH04255015A (ja) 1992-09-10

Family

ID=12483011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3036913A Pending JPH04255015A (ja) 1991-02-06 1991-02-06 情報入力装置

Country Status (1)

Country Link
JP (1) JPH04255015A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2021148509A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2021148509A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置

Similar Documents

Publication Publication Date Title
JP5317415B2 (ja) 画像出力装置、画像出力方法、および画像出力プログラム
JP4869978B2 (ja) 画像記録装置、画像記録方法、および画像記録プログラム
US20020039111A1 (en) Automated visual tracking for computer access
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US20170156585A1 (en) Eye condition determination system
US10353475B2 (en) Automated E-tran application
JP2000020196A (ja) 視線入力装置
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
CN113989832A (zh) 姿势识别方法、装置、终端设备及存储介质
JP3027521B2 (ja) 無人端末装置
WO2024010780A1 (en) Image capture devices, systems, and methods
US8044993B2 (en) Image recording apparatus, image recording method and image recording program
JP2006350705A (ja) 情報提供装置および方法並びにプログラム
Yamada et al. Eye word processor (EWP) and peripheral controller for the ALS patient
JPH04255015A (ja) 情報入力装置
US20220129069A1 (en) Information processing apparatus, information processing method, and program
Nonoka et al. Study on wearable gaze-based communication system for patients with amyotrophic lateral sclerosis (ALS)
JPH1173273A (ja) 肢体不自由者用入力装置
KR20230002093A (ko) 윙크 컨트롤 아이트래킹 기능 제어 장치 및 방법
JPH11184621A (ja) 視線入力装置
CN115349145A (zh) 学习辅助装置及学习辅助系统
Brammi et al. HCI based input device for differently abled
Bilal et al. Design a Real-Time Eye Tracker
US20240407649A1 (en) Medical image diagnostic apparatus and operation method of medical image diagnostic apparatus
Uğurlu et al. NEW TURKISH VIRTUAL KEYBOARD APPLICATION USING SIMPLE CAMERA-MOUNTED EYEGLASSES