JPH07248872A - 入力装置及び演算入出力装置 - Google Patents

Abstract

(57)【要約】 【目的】 高能率の入力装置及び演算入出力装置を実現
する。 【構成】 操作者の視線から注視点座標を読み取る手段
と、その結果から判定された注視点座標が存在する領域
を他の領域から視覚的に操作者が区別可能な表示状態に
する手段、とを有する装置とを設けるものであり、操作
者が承諾信号を入力するために併用する入力スイッチを
更に設けるものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はディジタイズ入力やメニ
ュー選択入力を高効率に行うことのできる入力装置及び
演算入出力装置に関するものである。

【０００２】

【従来の技術】ディジタイズ入力装置及びメニュー選択
入力装置としてはマウス、トラックボール、ジョイステ
ィック、タブレットを用いるものが存在する。マウス、
トラックボール及びジョイスティックは相対位置変化を
示す移動情報から座標を割り出し表示装置上のカーソル
等の座標に反映させ、タブレットはスタイラスを用いて
のタブレット上の座標をカーソル等の座標に反映させて
選択行為を行なう。

【０００３】

【発明が解決しようとする課題】マウス、トラックボー
ルやジョイスティックは選択したいメニューがメニュー
画面の端から端に亘る場合には所謂カーソル移動を行な
うのに時間を要するし、タブレットではスタイラスを使
う上にタブレット座標と表示装置の画面上の座標との対
応をとるために操作者の多少のスタイラス移動行為を必
要とする。また机上にタブレットのために広めの設置場
所を要する。

【０００４】

【課題を解決するための手段】本発明は上記の課題を解
決するために、操作者の視線から注視点座標を読み取る
手段と、その結果から判定された注視点座標が存在する
領域を他の領域から視覚的に操作者が区別可能な表示状
態にする手段、とを有する装置とを設けるものであり、
操作者が承諾信号を入力するために併用する入力スイッ
チを更に設けるものである。

【０００５】

【作用】操作者の視線を読み取ることにより表示画面に
対する操作者の注視点座標を検出すると共に、注視点座
標の存在する領域が他の領域とは視覚的に区別が操作者
にとって可能である状態に表示をすることによって操作
者が自らの注視点即ち注視選択領域が正しく認識されて
いることを確認することができ、これに呼応して操作者
が承諾信号を入力することにより上記表示画面上の選択
領域の担う情報の入力が実行されるものである。

【０００６】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。図１は本発明の実施例１における入力
装置の基本構成図である。１は表示装置、２は視線セン
サ、である。表示装置１の画面は選択肢メニューに相当
する複数個の領域に分割されている。選択肢メニューに
は表計算するためのデータを書き込むスプレッドシート
内の書き込み欄の選択等も含まれる。ここでいう領域は
分割された領域そのものでも、互いに必要な距離だけ離
して配置されたアイコンでも、図形デザインで入力する
格子点でも、またこれらの組合せ表示されたものでもよ
い。以下本発明の説明において、アイコンや格子点も含
めて領域として総称する。操作者が上記領域群の内の１
つの領域を選択注視したときに、視線センサ２で操作者
の視線を読み取って表示装置１の画面上の注視点座標を
検出して被注視領域を同定する。この同定は得られた注
視点座標と表示装置１の上の表示座標との対応関数表を
参照してなされる。注視点座標から対応する表示装置上
の座標を得て、表示装置上の当該座標を領域に含む選択
肢が決まる。引き続いて、同定された選択肢メニューの
領域自体、同定された選択肢メニュー領域以外の領域、
及び背景表示等のいづれかまたはその組み合わせについ
て、色調や輝度や大きさや形状等を適宜変化させる。こ
の変化は、大きさや模様や色調や輝度や形状や限局され
た範囲内での位置等の、時間的な振動変化のように持続
的なものでもよい。このように選択されているメニュー
選択肢を操作者にとって視覚的に目立たせるように表示
することは、操作者に対して被選択メニューのみを集中
して注視させることを促す。他に、注視点位置にカーソ
ル表示してこれをメニュー選択肢上に移動させてメニュ
ー選択させる方法もあるが、メニュー選択肢と注視点カ
ーソルの両方の一致を維持する必要性があるため疲労感
を惹起し易い。本発明では被選択メニューの注視のみを
持続すればよいので容易に操作者は入力装置が判断した
被注視領域を視覚認識した上に注視点位置の保持を行な
うことができる。ここで操作者は自らの注視点が正しく
認識されているのを知るとともに別途設けた実行スイッ
チから承諾信号を入力する。この実行スイッチは操作者
の手元に備えておくものであり、他にも必要と判断され
た補助スイッチと組み合わせて手元スイッチボックスと
して設けてもよい。このようなスイッチはマウス等にも
常備のものである。なお図形デザインにおける格子点入
力作業等では、メニュー画面が大きくて部分的にしか表
示装置１上には収まらない場合が常態的に生じ得る。こ
のようにスクロールやページ切り替えを要するときには
上記のように別途補助スイッチを設けてこれを行うよう
にする。以上により操作者は視線によりメニュー選択動
作を行うことができる。またメニュー選択行為が新たな
メニュー選択の必要性を呼ぶような階層的メニュー構造
の場合にも表示装置１の画面上に新しく次の階層のメニ
ューが表示された後に同様の視線と実行スイッチによる
メニュー選択を行えば良い。

【０００７】なお上記の表示装置１は本来出力装置であ
るのでメニュー選択の必要性のない場合は通常の表示装
置であり、メニュー画面を表示することもない。また上
記の選択肢領域は表示装置１の画面の全域を必ずしも占
める必要はなく図２（ａ）、（ｂ）に示すようであって
もよく通常の出力表示をしながらメニュー画面も表示で
きることになる。図２（ａ）は通常の領域分割された選
択肢メニューに加えて図形デザイン等に必要な格子点を
も選択肢領域として有する場合の表示画面を示す。図２
（ｂ）は注視し易いように各選択肢領域の中央部に注目
目標としてアルファベット形状のアイコンを表示したも
のである。表示装置１は更にそれ自体で記憶機能及び演
算処理機能をも合わせ持つ演算入出力装置即ちコンピュ
ータとしての機能を備えていてもよい。また視線センサ
２は図３に示すように表示装置１に固定してもよいし、
逆に眼鏡やゴーグルやヘルメットの風防のような形状に
することによって図４に示すように操作者の眼との相対
位置を固定してもよい。前者は視線センサ２の視線検出
法が角膜反射法や画像解析法等の場合に、後者はサーチ
コイル法やリムバストラック法等の場合に、適している
といえる。図３では表示装置１に視線センサ２は１つし
か設けられていないが必要に応じた個数だけ設けてよ
い。注視点検出を高精度に行うには表示装置１と視線セ
ンサ２と眼球位置即ち操作者の顔の位置の３者の位置及
び方向が相対的に固定されていることが望ましい。表示
装置１に固定したＴＶカメラからの映像から、眼球位置
及びその瞳孔の向きを検出して注視点を解析すれば、操
作者の身体的動作に伴う眼球位置の緩慢な移動が生じる
場合にも良好な注視点検出が可能である。視線センサ２
と眼球との位置関係を固定した場合には、表示装置１に
対する視線センサ２の相対位置と角度情報が必要である
が、相対位置は視線センサ２に付属させた超音波発生器
と表示装置１の３箇所以上に設けた超音波受信器により
決定し、相対角度は視線センサ２に設けたジャイロで決
定して、正しい注視点検出を行うことができる。またこ
の場合には操作者の顔の位置と方向が決定されることに
なるので眼球移動をさせない操作を行う限りにおいて、
視線センサを用いずに顔の位置及び向きの移動でメニュ
ー選択を行うことも可能である。

【０００８】また誤選択入力を避けるために、本装置が
認識した被選択領域情報は操作者による実行スイッチ入
力まで、ある調節設定可能な一定時間だけ安定であるこ
とが望ましい。このためには注視点座標は一定時間だけ
積分平均を行なった値を用いてメニュー表示座標との対
応をとればよい。即ち眼球の無意識の跳躍運動等の影響
によって、装置側が認識する被選択領域が過度に頻繁に
移り変わって、実行スイッチ入力時に誤ったメニュー選
択が生じることを避けるためである。

【０００９】誤選択入力の他の原因として、１つの領域
を集中して注視することが続けられない場合がある。ま
たメニュー選択領域を小さくできれば数多くのメニュー
選択肢を表示できて画面の切り替えやロールアップダウ
ンの手間が省けるし、また表示画面上に占めるメニュー
領域部を狭くして出力表示部を広く残すことも可能であ
る。このように１つ１つのメニュー選択肢領域を狭める
と隣接メニュー選択肢も眼に入りやすくなるため誤選択
入力を招く。これを防止するためには１つのメニュー選
択肢を１つのアイコンで表示する。例えば図２（ｂ）で
はアイコンはアルファベット１文字であるが、”Ｃ”
は”コピー命令”、”Ｄ”は”デリート命令”等と意味
付けしたり、アイコンを選択肢を象徴する図形化すれ
ば、このアイコンは選択肢内容を体現する作用をもつと
共にそのサイズも小さくすることができる。アイコンと
いう小さい選択注視対象は、小さいが故にその全体を注
視しやすくそれに応じて隣接アイコンとの間隔も狭くと
ることを可能にする。更に一旦選択したアイコンはそれ
自身が選択されたことを操作者に認識させるために前述
のようにその表示を変化させる。注視を持続するために
はこの変化が動的に継続していることが視覚上の注意を
喚起する点から望ましい。即ちアイコンの色調や輝度や
大きさや形状や模様や限局された範囲内での位置等が時
間的な振動変化のように連続的持続的であることであ
る。以上により沢山のアイコン表示要求と誤入力のない
メニュー選択とを両立することができる。なお以上のア
イコンについて述べたことは、やはり高密度表示が望ま
しい座標入力時の格子点選択について、上記アイコンを
格子点の形状に置き換えて考えても同様に成り立つ。

【００１０】図５は本発明の実施例２の入力装置の構成
図を示す。本実施例はゴーグル形態またはヘルメット形
態とすることにより図３や図４に示した実施例１の特徴
を兼備したものであり、表示装置１と視線センサ２とが
一体化されると共に操作者の眼との相対位置も完全に固
定されているので眼球の方向の検出のみによって注視点
認識が高精度に行える。本図では視線センサ２を４個設
けているが視線検出法に応じて最適位置に最適個数だけ
設ければよい。本実施例も実施例１と同様に、操作者の
視線を視線センサ２が読み取り、注視点座標がメニュー
画面上に存在すれば注視点領域の表示を操作者が視覚的
認識できるように変化させ、その変化を操作者が確認し
た上で、実行スイッチを操作してメニュー選択入力が実
行されるものである。カーソル移動時間やタブレットを
要することなしに高速なメニュー選択入力を可能にする
ものである。表示装置１は本来出力装置であるのでメニ
ュー選択の必要性のない場合は通常の表示装置であり、
メニュー画面を表示することもない。また上記の選択肢
領域は表示装置１の画面の全域を必ずしも占める必要は
なく、通常の出力表示をさせながらその一部分のみをメ
ニュー画面に占有させて表示してもよい。入力装置とし
てはメニュー選択入力に限らず座標入力や表計算入力で
のスプレッドシート内の書き込み欄の選択や、アイコン
としての格子点を細分割して被選択格子点のみを表示す
ればシューティングゲームでの攻撃目標に対する標的位
置入力にも使用することができる。表示装置１は更にそ
れ自体で記憶機能及び演算処理機能をも合わせ持つ演算
入出力装置即ちコンピュータとしての機能を備えていて
もよい。これにより極めて携帯性の高い情報処理装置を
実現することが可能になり、場所を選ばず操作できる情
報処理装置として使用することができる。更に応用ソフ
トウェアとしての記憶装置を着脱可能とすることにより
多様なソフトウェアを利用できる。インタラクティブ性
の有無に拘らず、ゲーム及びゲーム性のある映像ソフト
ウェアも楽しむことができる。またジャイロを設けるこ
とによって操作者頭部の方向角度情報を得て、これに基
づいて視野としての表示画面を移動させることによって
総合的に広い映像表示を楽しんだり、沢山のメニュー選
択肢を利用できる入力装置及び演算入出力装置とするこ
とも可能である。

【００１１】実施例３を図６に示す。本実施例は図５で
示した実施例２の表示装置１の眼下部を外界に開放する
ことにより、眼を伏せれば外界情報を眼にすることがで
きるものである。これにより外部情報を参照しながらの
操作を可能にするものである。また図５に示した実施例
２の装置を片眼にのみ装着可能な形態とすれば、残りの
片眼では外界情報を眼にすることができる。これにより
外部情報を参照しながらの操作も可能になる。またデス
クトップ型の表示装置を併用すれば本実施例をメニュー
選択入力用の補助入力装置としても使用可能である。

【００１２】ところで以上で説明した入力装置及び演算
入出力装置の注視点座標検出においては、実際の操作者
の注視する方向と装置が判断した操作者眼球の瞳孔の方
向とは必ずしも一致しない上に、この不一致の傾向にも
操作者毎の個人差が存在するため、装置側が判定する注
視点座標と表示装置１の上の表示座標との対応関数表の
作成が操作者毎に必要である。このために対応関数表作
成用の表示を行った上で、装置側が順次に指定または表
示した複数個のアイコンまたは領域を操作者が順次注視
して視線入力を行い、視線センサ情報から得られる注視
点座標と表示装置上の上記の順次指定したアイコンまた
は領域の表示座標との対応データを高精度注視点検出の
ために必要な箇所についてとれば、補間的にオフセット
調整時に直接に座標対応を取らなかった他の表示エリア
と操作者注視点との対応関数表を得る。以上により操作
者の個人差に拘りなく注視点検出を高精度に行うことが
可能になる。この対応関数表、またはこの対応関数表を
得るために補間でなく直接得た対応データを操作者個人
毎に記憶させて、操作者が代わる毎に操作個人毎の対応
データを呼び出せば、常に高精度の注視点によるメニュ
ー選択が可能になる。

【００１３】

【発明の効果】以上説明したように本発明によれば、メ
ニュー選択入力や座標点選択入力に代表される表示画面
上の領域選択による入力を、極めて高速高能率に沢山表
示された選択肢の中から確実に選択入力を可能にするこ
とができる入力装置及び演算入出力装置を実現するもの
である。キーボードに頼らない入力形式のソフトウェア
の比重が増す今日において、本発明の産業上の効果は極
めて大である。

【図面の簡単な説明】

【図１】本発明の実施例１の入力装置の基本構成図

【図２】本発明の実施例１の選択肢表示例を示す図

【図３】本発明の実施例１を基本とする入力装置構成図

【図４】本発明の実施例１を基本とする入力装置構成図

【図５】本発明の実施例２の入力装置または演算入出力
装置の構成図

【図６】本発明の実施例３の入力装置または演算入出力
装置の構成図

【符号の説明】

１ 表示装置 ２ 視線センサ

Claims (13)

【特許請求の範囲】
1. 【請求項１】画面上に各々情報を担う分割された領域群
   が存在して操作者が上記領域群の内の１領域を選択注視
   した時に、操作者の視線を読み取ることにより操作者の
   注視点座標を検出する手段と共に、その注視点座標の存
   在する領域が操作者にとって他の領域とは視覚的に区別
   可能である状態にする手段、を用いることによって操作
   者が自らの注視点が正しく認識されていることを知るこ
   とができ、これに呼応して操作者が承諾信号を入力する
   ことにより上記画面上の選択領域の担う情報が入力され
   ることを特徴とする入力装置。
2. 【請求項２】入力装置が被注視点として認識した座標と
   操作者の実際の注視点との対応関数表を操作者視線を予
   めサンプリングすることにより求め、この対応関数表に
   基づいて判定を行なうことによって、入力装置が被注視
   領域として認識した領域と操作者の実際の注視領域とを
   一致させる機能を有することを特徴とする請求項１記載
   の入力装置。
3. 【請求項３】入力装置を顔面に固定して使用できるもの
   としたことを特徴とする請求項１または２に記載の入力
   装置。
4. 【請求項４】請求項３記載の入力装置と一体化して演算
   装置、記憶装置を備えると共に入力装置が出力表示装置
   として機能することを特徴とする演算入出力装置。
5. 【請求項５】請求項３記載の入力装置の眼下部を外界に
   開放することにより、眼を伏せれば外界情報を眼にする
   ことができて、外部情報を参照しながらの操作を可能に
   することを特徴とする入力装置。
6. 【請求項６】請求項４記載の演算入出力装置において、
   入力装置の眼下部を外界に開放することにより、眼を伏
   せれば外界情報を眼にすることができて、外部情報を参
   照しながらの操作を可能にすることを特徴とする演算入
   出力装置。
7. 【請求項７】請求項３記載の入力装置を片眼にのみ装着
   可能な形態とすることにより、残りの片眼では外界情報
   を眼にすることができて、これにより外部情報を参照し
   ながらの操作を可能にすることを特徴とする入力装置。
8. 【請求項８】請求項４記載の演算入出力装置において、
   入力装置を片眼にのみ装着可能な形態とすることによ
   り、残りの片眼では外界情報を眼にすることができて、
   これにより外部情報を参照しながらの操作を可能にする
   ことを特徴とする演算入出力装置。
9. 【請求項９】表示装置上の注視点検出を、操作者の眼と
   視線センサとの相対位置を固定すると共に、表示装置に
   対する視線センサの相対位置は視線センサに付属させた
   超音波発生器と表示装置の３箇所以上に設けた超音波受
   信器により決定し、操作者の眼と視線センサとの相対角
   度は視線センサに設けたジャイロで決定して行うことを
   特徴とする請求項１から３のいずれかに記載の入力装
   置。
10. 【請求項１０】ジャイロを設けることによって操作者頭
    部の方向角度情報を得て、これに基づいて視野としての
    表示画面を移動させることによって総合的に広い映像
    や、沢山のメニュー選択肢を表示できる請求項３、５、
    ７または９に記載の入力装置。
11. 【請求項１１】ジャイロを設けることによって操作者頭
    部の方向角度情報を得て、これに基づいて視野としての
    表示画面を移動させることによって総合的に広い映像
    や、沢山のメニュー選択肢を表示できる請求項４、６ま
    たは８に記載の演算入出力装置。
12. 【請求項１２】注視すべき選択メニューが各メニュー項
    目についてメニュー間隔に比べて小さい１文字またはア
    イコンまたは格子点からなり、注視点が存在していると
    入力装置が判断した被選択メニューアイコン及び格子点
    の、色調や輝度や大きさや形状や模様や限局された範囲
    内での位置等が、時間的な振動変化のように連続的視覚
    変化をすることにより当該メニューへの注意の継続的集
    中を促して、他のメニューへの注視点移動を防ぐことを
    特徴とする請求項１、２、３、５、７または９に記載の
    入力装置。
13. 【請求項１３】注視すべき選択メニューが各メニュー項
    目についてメニュー間隔に比べて小さい１文字またはア
    イコンまたは格子点からなり、注視点が存在していると
    入力装置が判断した被選択メニューアイコン及び格子点
    の、色調や輝度や大きさや形状や模様や限局された範囲
    内での位置等が、時間的な振動変化のように連続的視覚
    変化をすることにより当該メニューへの注意の継続的集
    中を促して、他のメニューへの注視点移動を防ぐことを
    特徴とする請求項４、６、８または１１に記載の演算入
    出力装置。