JPS61243508A - 意志伝達装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［技術分野］ 本発明は意志伝達装置に関し、言葉や文字を用いたり、
あるいは電気的スイッチを押したりして自分の意志を他
人に伝えるのでなく、特定の対象物を注視するだけでそ
の人が何を意図しているかを他人に伝え得るようにした
ものである。

［従来技術］ 従来から、医療技術などの諸分野において、視線の動き
を検知してその特定注視点を識別せんとする研究が進め
られている。そのため、所謂アイカメラなどが開発され
ているが、このアイカメラは、眼球運動の固視微動など
に起因して注視対象物を特定することが困難であった。

また、−例として医療の分野におけるその他の問題点を
挙げるならば、全ての筋肉系の動きを阻害され不運にし
て眼球以外に何も動かせなくなった筋萎縮性側索硬化症
（ＡＬＳ）患者は、機能が麻痺しているので通常のよう
に言葉による意志交換ができず、且つ手なども動かすこ
とができないため文字も書けず、また緊急状態を知らせ
るためのスイッチを押すこともできなかった。

そこで、従来から患者の意志を読み取る方法として、第
１３図に示すように、文字を書いた大きなアクリルボー
ドＢを患者Ｐと付添人Ｎとの間に介在させ、ボードＢを
移動させると共に付添人Ｎの目の位置を動かすことによ
り、両者の視線を一致させ、もって、患者Ｐの意図する
文字等を判別していた。従って、付添人Ｎが判別可使な
情報量はごく僅かであり、片時も患者Ｐから離れられな
いという不便さがあった。

［目　的］ 本発明の目的は、上述の点に鑑み、視線が特定の注視点
に来たことを検出して、例えば意図した言葉を読み取っ
てその旨を表示したり、看護婦を呼んだり、テレビ・ラ
ジオ会照射器具などのオンオフ制御等を行ったりするこ
とができるようにした意志伝達装置を提供することにあ
る。

［発明の構成］ 上述の目的を達成するために、本発明に係る意志伝達装
置では、意志を伝達しようとする者に情報を提示する情
報提示手段と、該情報提示手段に提示された情報が意志
伝達者の意図した情報であるときに意志伝達者が注視す
るように設けられ有限の枠で囲まれた注視面と、該注視
面を意志伝達者が注視しているか否かを検出するための
眼球運動検出器とを備え、前記情報提示手段に提示され
た情報が意志伝達者の意図した情報であるとき意志伝達
者が前記注視面を注視することに基づいて生ずる前記眼
球運動検出器の出力を人間に認識し得る情報に変換しあ
るいは電気信号のままで意志伝達者の意図する情報とし
て取り出し、被意志伝達者または被制御装置にそれぞれ
意志伝達者の意志または該意志に基づいて制御を行うた
めの制御信号として伝達するように構成する。

［実施例］ 以下、実施例に基づいて本発明の詳細な説明する。

第１図は、本発明を適用した意志伝達装置の使用態様例
を説明する図である。本図では、眼球を動かすことのみ
が可能な患者Ｐに眼球運動センサ２を装着させ、提示用
モニタ８を見ることにより得られるセンサ出力信号を眼
球運動解析器４に導入している。ここで眼球運動センサ
２と眼球運動解析器４の双方で眼球運動検出器を構成し
ている。そして、眼球運動解析器４の出力信号は、後述
する手順に従って処理装置６により所定の処理がなされ
、その結果が再び提示用モニタ８に提示される。

第２図は、第１図に示した一実施例の全体構成を示すブ
ロック図である。本図において、第１図に示した部分と
同一の構成部分については、同一の番号をイ１しである
。

本実施例によれば、患者Ｐの眼球運動状態を検出して、 ■　プリンタにより文章を作成する； ■　ナースコールを行う； ■　照明器具・テレビ等のオン／オフを行う；といった
各種の行為および制御を行うことができる。

そこで、眼球の動きを検出して文章を作成する過程を次
に説明する。

第３図（Ａ）および（Ｂ）は、提示用モニタ８に最初に
提示される画面を示している。すなわち、最初の提示画
面においては第３図（Ａ）に示すように、「ア」行ない
し「ハ」行の片仮名文字およびその他の文字が表示され
、その次に提示される画面においては第３図（Ｂ）に示
すように、「マ」行以降の片仮名文字および数字等が表
示される。また、３番目に提示される画面には、アルフ
ァベットＡ−Ｚ等が表示される（図示せず）。

ここでは、第３図（Ａ）に示す画面が提示用モニタ８に
表示されたとき、患者Ｐがその内の一文字を選択するた
めの手順について説明する。

第３図（Ａ）に示す画面が提示用モニタ８に表示される
と、図に示すようなカーソル（本実施例では矩形の枠）
が左端の列から右端の列にかけて、数秒間隔で移動する
。この枠の移動速度は、当初の段階においては５〜ＩＯ
秒ごとに移動させ、慣れるに従って２〜３秒ごとに移動
させる（図示しない調整手段を設けておく）。

いま、第３図（Ａ）に示すように、「す」行を示す列に
カーソルＣが到来したとき、患者Ｐが画面の右端に表示
されている入力マーク１０（矩形の枠により目の形を取
り囲んでいる部分）を２００　ミリ秒以上にわたって注
視したものとする。すると、眼球運動センサ２および眼
球運動解析器４によりその旨が検知され、処理装置６は
「す」行の文字列が患者Ｐによって選択されたことを知
らせる。

すると、処理装置６は次に第４図に示すように、「す」
行のみを提示用モニタ８に表示する。

この場合にも、矩形の枠で表示されるカーソルＣは左端
から数秒間隔おきに右端へと順次移動していく。第４図
に示すこの例では、カーソルＣが片仮名文字「ソ」を指
示したとき、患者Ｐが入力マークＩＯを２００　ミリ秒
以上にわたって注視したものとする。このことにより、
処理装置６は文字「ソ」が指定Ｓれたものと判断して、
提示用モニタ８の所定領域（図示せず）にこの文字「ソ
」を表示し、再び、第３図（Ａ）に示す表示画面に戻す
。

以上の動作を繰り返すことにより患者Ｐは所望の文章を
作成し、あるいは訂正、消去等を行い、その後にプリン
タ等による印字を行わせることができる。

また、上述した各々の画面に示す「訂正」は文字１文字
を訂正する命令、「消去」は文字の消去を指示する命令
、「呼出」はナースコールを行うための命令、「空白」
は文章作成の際文字間に空白を挿入する命令、「制御」
はこれを選択することにより別途提示される所定のメニ
ュー画面（図示せず）から所望の制御（例えば、照明器
具のオン／オフやテレビのオン／才））を指示するため
の命令、「印字」は作成した文章のプリントアウトを行
うための命令である。

第３図（Ａ）、（Ｂ）および第４図に示した画面は、そ
の右端に入力マークｌＯが表示されている場合を示した
。この場合は、患者Ｐの目が安静状態（ポーラと見てい
る状態）にあるときに提示用モニタ８の左半分を見てい
ることを前提としたものであり、特定のカーソル位置に
おける文字を選択する時にのみ右端の入力マーク１０を
患者Ｐが注視することを期待した提示画面である。換言
すれば、患者Ｐの目が安静状態にあるとき、常に入力マ
ークｌＯの付近を見ているようでは、入力誤りを生じる
原因ともなり不都合である。

そこで、このような場合には第５図に示すように、入力
マーク１０を画面の左端に表示させ、目が安静状態にあ
るときには入力マーク１０を見ないようにすることがで
きる。

次に、本発明の重要な動作原理である「眼球運動の検出
Ｊについて、より詳細な説明を行う。

眼球の木質的な性能として一点のみを固視することは極
めて困難であり、その視線は絶えず動いているものであ
る（固視微動）。そこで、静止画を見たときに生じる注
視成分とその他の成分とを実験的に求めると、第６図に
示すような結果が得られる。第６図に示す横軸はある静
止画を見たときに生じる眼球運動の速度（ｄｅｇ／５ｅ
ｅ）を、縦軸はその生起率（％）を表している。本図か
ら明らかなように、注視成分は殆ど５度／秒以内に含ま
れている。従って、眼球運動速度の閾値ｖｔｈを５度／
秒と設定することにより、注視成分と運動成分とを鮮明
に分離することが可能である。

上述の実験結果から明らかなように、視線が注視点を一
時的に通りすぎたとしても、その事実をもって直ちに眼
球がその注視点を見たものと判定することはできないこ
とになる。従って、視線が提示用モニタ８の入力マーク
１０に一時的に達したとしても、患者Ｐがその入力マー
ク１０を見たものと判断することはできない。

また逆に、視線が固視微動により入力マークｌＯを一時
的にはみだしたとしても、いま眼球の位置検出を５０ミ
リ秒ごとに行うものと仮定した場合、ｄｔｈ　＝　Ｖｔ
ｈ　Ｘサンプル周期 ＝　５　（ｄｅｇ／５ｅｅ）　Ｘ　５０（ｍｓｅｃ）＝
　０．２５（ｄｅｇ） により規定される半径を有する円内に視線がある場合に
は、眼球が注視点（入力マーク１０）を見ているものと
する。すなわち、第７図に示すように、次のサンプル点
が（眼球運動速度の閾値ｖｔｈ　）　ｘ　（サンプル周
Ｍ）で規定される円周内にあるとき、円の中心にある注
視点を見ているものと判定する。よって、■サンプル時
間内にこの円周外の点まで視線が動いたときには、注視
点をはずれたものと判断する。

本発明では、かかる認識の下に、患者Ｐが提示用モこ夕
８の入力マーク１ｏを注視したか否かを判断するもので
ある。

かくして、視線が注視点（入力マーク１０）を通り過ぎ
たにすぎない場合はその眼球運動速度が５度／秒以上と
なるので、第７図に示す半径ｄｔｈで囲まれた円の範囲
外となり、カーソルＣで囲まれた部分の文字が選定され
たものとは判断しない。

第８図は、眼球運動センサ２（第１図参照）の構成を示
す模式図である。本図は眼球を頭頂部から見た状態を模
式的に示すものであり、”１２’”は赤外線発光ダイオ
ード（ＬＥＤ）　、　　“’１４”および°゛】θ°°
は眼球の角膜から反射される赤外線を検知するフォトト
ランジスタである。そして、白目と黒目の光反射率の違
いにより生ずるこれらのフォトトランジスタ１４および
１６から得られる出力電圧の差に基づき、黒目の位置（
すなわち、眼球の位置）を検出する。本図から明らかな
ように、黒目が中心にある場合にはフォトトランジスタ
１４．１８に入射する光量（反射光の）が同一となるの
で、同一レベルの出力が得られることになる。

第８図に示した眼球運動センナの出力に基づいて、患者
Ｐが入力マークＩＯを注視したか否かを判断するための
ハードウェア構成を第９図に示す。なお、以下では理解
を容易にするため、黒目が中心にあるとき（第８図参照
）患者Ｐが第３図（Ａ）の入カマークエ０を注視してい
るものとして説明をすすめる。しかし実際には、前述し
たように、入力マーク１０は安静状態において患者Ｐが
見ている場所ではないので、入力マーク１０を注視した
とき後述する差動増幅器２４の出力が零レベル出力とな
るよう、例えば増幅器にオフセットを与えるなど回路上
の配慮を行う必要がある。

第９図において、破線で囲んだ左側に示す部分は眼球運
動検出センサ２および眼球運動解析器４からなる眼球運
動検出器全体を示す。ここで、先に述べたように、　　
”１２”はＬＥＤ、”　１４　”および”１８’”はフ
ォトトランジスタである。また、”１８”および”　２
０　”はサンプル／ホールド回路、”２２”は２　ｋＨ
ｚの発振周波数を有する発振器、′°２４′’ハ［ｉｌ
＋増ｄＰｊＡＮ、’　２１３”　ハ１　ｋＨｚ　以下（
７）信号を通過させるローパスフィルタ、°２７”はゲ
イン調整用の増幅器である。

処理装置において、”　２　Ｂ　”は５０ミリ秒のサン
プル間隔で１２ビツトのディジタル信号を送出するＡ／
Ｄ変換器、“３０′”はｌサンプル周期だけ前回のサン
プリング出力を保持するラッチ回路、“′３２”はラッ
チ回路３２の出力からＡ／Ｉｌ変換器２ＢのｔＢ力を差
し引くディジタル演算器、′３４′”はディジタル演算
器３２の出力が基準値回路３６より送出される基準値Ｒ
１より小さい場合にのみレベルｒｌ」のパルスヲ送出す
るコンパレータ、３８°゛はコンパレータ３４からレベ
ルｒｌＪのパルスが送出される都度それを累積加算して
計数するカウンタ、”　４０　”はカウンタ３８の計数
値が基準値回路４２からの基準値Ｒ２を越えたときに読
み取り指示信号を送出するコンパレータであり、いずれ
も処理装置６（第２図参照）に含まれている。

次に、上記回路の動作を説明する。

患者Ｐが提示用モニタ８を見ることにより、黒目の位置
（水平方向における位置）に対応した直流出力信号がフ
ォトトランジスタ１４．１８から得られる。これら出力
信号はサンプル／ホールド回路１８．２０によってサン
プルホールドされ、差動増幅器２４に導入される。従っ
て、眼球の黒目が完全に中央にあるときには、差動増幅
器２４から零レベルの眼球運動検出出力が得られる。

差動増幅器２４の出力はローパスフィルタ２６を介して
不要なノイズ成分が除去され、ゲイン調整用増幅器２７
に導入される。この増幅器２７は、黒目が左右にそれぞ
れ１５度だけ動いたとき＋５ボルトおよび−５ボルトの
出力が得られるよう予め調節しておく。すなわち、増幅
器２７の出力電圧は＋５ポルト〜−５ボルトの範囲を有
するよう予め調整しておく。

Ａ／Ｄ変換器２８は１２ビツトのディジタル信号を出力
するので、４０８６レベルの状態を判別することが可能
である。本実施例では、黒目が左右にそれぞれ１５度（
合計３０度）移動した場合を想定しているので、ディジ
タル信号化することにより、３０（ｄｅｇ）　＋　４Ｈ
ｆ３＝　Ｏ，ＧＯ？（ｄｅｇ）の分解能が得られる。

また、第７図に関して述べたとおり、 ｖｔｈ　ｘサンプル周期 により規定される円の半径ｄｔｈは、 ５　　（ｄｅｇ／５ｅｃ）　　Ｘ　５０（ｍｓｅｃ）＝
　０．２５（ｄｅｇ）となる。これをディジタル値で表
すと、ディジタル化した場合の分解能が０．００７（ｄ
ｅｇ）であるので、 ０．２５（ｄｅｇ）　　÷０．００７（ｄｅｇ）＝３４
　　　・・・ｌＯ進表示 −ｔｏｏｏｔｏ　　　・・・２進表示 となる。よって、コンパレータ３４に導入する基準値Ｒ
１は°゛３じ　（２進表示では１０００１０）に設定す
ればよい。

ディジタル演算器３２の出力が’３４”以下である場合
には、眼球が注視点（すなわち入力マークｌＯ；第３図
（Ａ）参照）を見たことになるので、レベルｒｌＪのパ
ルスが出力される。

但し、本実施例では、患者Ｐが２００ミｌＪ秒以−にに
わたって入力マーク１０を注視した場合に限り、カーソ
ルの指示位置を判別するよう構成しであるので、４個の
出力パルスがコンパレータ３４から送出された時点（２
００ミリ秒経過に相当する）をもって、処理装置６のＣ
ＰＵ（図示せず）にカーソル位置の文字等を読み取らせ
る。従って、コンパレータ４０に導入する基準値Ｒ２と
して、Ｒ２＝４に設定しておく。

マタ、　Ｒ２＜４．すなわち入力マークｌＯを注視した
時間が２００ミリ秒に満たずしてディジタル演算器３２
の出力が“３４゛を越えたとき、この場合には患者Ｐが
意志表示（入力÷−り１０を注視すること）を途中で取
り消したものと判断し、コンパレータ３４からリセッ）
・パルスをＩｌｌ力してカウンタ３８の計数値を零にリ
セットする。

なお、これまで説明した実施例においては、水平方向に
おける眼球の運動についてのみ検出するようセンサを配
列したが、眼球の−１−下方向の動きを検出するセンサ
を併設することにより、２次元的な注視位置を瞬時に特
定することも可能である。

また、上記実施例では、医療分野における応用について
説明してきたが、頭の位置が固定されており且つ黒目の
みが動かせるという条件下にある通常の健康状態にある
人（例えば、ロケット打ち」−げ時における宇宙飛行士
）にも適用して、眼球の動きのみによる意志疎通および
種々の制御を行うことも可能である。

更に、頭の位置を固定し得ない場合にも、頭頂部または
額に超小型テレビカメラ（ＣＣＯカメラなど）を装着し
、その映像出力を判別することにより頭部の動きを検出
し、これにより眼球の動きを補償してもって眼球の動き
による意志伝達ないし各種制御等を行うことも可能であ
る。

最後に、かかる場合の応用例について概説を行う。

第１に、放送システムへの応用例を示す（第１０図参照
）。

カメラマンやＶＴＲ担当者、あるいはアメダスなどのグ
ラフィック画面担当者はタリーランプの点灯状態によっ
て当該画面がオンエア中であることを知ることができる
。しかし、オンエアされていないときには、自分のカメ
ラなどがいつスイッチされるか判らない状態にある。そ
こで、プロデューサーやテクニカルディレクターの視線
の動きを逐一カメラのビューファインダーなどに提示す
ることができれば、自分のカメラなどがスイッチされる
タイミングをいち早くかつ適確に知ることができ、スタ
ンバイ中にも安心してカメラワーりの移動や画像の調整
ができることになる。

かかる要求に対処するために、プロデューサーあるいは
テクニカルディレクターに１球運動センサＨおよび超小
型カメラ■を装着させ、カメラの出力をフレーム演算し
て頭の動きを検出し、眼球（黒目）の動きとの差を取る
ことにより相対的な視線の移動量を求め、注視対象物を
特定することが可能である。この場合には、視線の位置
とモニタ類（モニタテレビＡ−Ｇ）との関係を注視対象
判定部に予め記憶させておき、視線がどのモニタを注視
しているかを判定するための基準とする必要がある。

第２に、監視システムへの応用例を示す（第１１図参照
）。

この場合にも、モニタテレビやメータ類に対する監視熟
練者の視線の動きを予め記憶させておく必要がある。但
し、監視対象が正常であるときの対応のみならず、緊急
時における視線の動きも併せ記憶させておく必要がある
。本例では、第１１図の右側に示すように、監視カメラ
のみを備えた無大監視システムを構成し、既に記憶され
た人間の視線の動きを再現し、そのことにより、各種場
面に対応した監視を行う。

第３に、ガードマンなどとしての機能を果たす監視ロボ
ットへの応用例を示す（第１２図参照）。

第２の応用例の場合と同じく、熟練者の視線の動きを予
め記憶させ、その機能をロボットの目（カメラ）に持た
せることにより、ロボットの動きを制御するものである
。かかるシステムを構成することにより、原子炉内の安
全監視など人間が立ち入れない所で状態監視のための有
力な手段となる。

し効　果コ 以上述べたとおり、本発明によれば、アイカメラのよう
に単に視線の動きを追跡検知するのみではなく、特定の
注視点に対して実際に注視しているか否かをいち早く識
別することができるので、例えば電気的スイッチを押す
などの機械的操作を一切伴うことなく特定人の意志を第
三者に伝え、あるいは特定人の意志に従った各種の制御
を被制御対象に行わせるなど、従来具られなかった格別
の機能を実現させることができる。

【図面の簡単な説明】

第１図は本発明を適用した意志伝達装置の使用態様例を
説明する図、 第２図は第１図に示した一実施例の全体構成を示すブロ
ック図、 第３図（Ａ）および（Ｂ）、第４図、第５図はそれぞれ
提示用モニタの表示画面を示す図、 第６図は静１Ｆ画を見たときの眼球運動速度分布を示す
線図、 第７図は注視点の定義について説明する図、第８図は眼
球運動センサの構成図、 第９図は患者が提示用モニタの入力マークを注視したか
否かを判別するためのハードウェアを示すブロック図、 第１θ図〜第１２図は本発明の詳細な説明する図、 第１３図は従来技術を示す図である。 ２・・・眼球運動センサ、 ４・・・眼球運動解析器、 ６・・・処理装置、 ８・・・提示用モニタ、 １０・・・入力マーク、 １２・・・発光ダイオード、 １４．１６・・・フォトトランジスタ、１８．２０・・
・サンプル／ホールド回路、２２・・・発振器（２ｋＨ
ｚ）、 ２４・・・差動増幅器、 ２６・・・ローパスフィルタ（１ｋＨｚ）、２７・・・
ゲイン調整用増幅器、 ２８・・・Ａ／Ｄ変換器、 ３０・・・ラッチ回路、 ３２・・・ディジタル演算器、 ３４・・・コンパレータ、 ３６・・・基準値回路（Ｒ１）、 ３８・・・カウンタ、 ４０・・・コンパレータ、 ４２・・・基準値回路（Ｒ２）、 Ｐ・・・患者、 Ｃ・・・カーソル、 ｖｔｈ・・・眼球運動速度の闇値（５度／秒）、ｄｔｈ
・・・ある注視点から次のサンプル点までに到達する範
囲（ｄｔｂ　＝Ｖｔ ｈ×サンプル周期）であって、 このｄｔｈを半径とする円内にサ ンプル点が存在するときは、入 力マークｌＯを見ているものと判 代　理　人　　　弁理士　谷　　　義　−第１図 第８図 第１３図

Claims (1)

1. 【特許請求の範囲】 １）意志を伝達しようとする者に情報を提示する情報提
   示手段と、該情報提示手段に提示された情報が意志伝達
   者の意図した情報であるときに意志伝達者が注視するよ
   うに設けられ有限の枠で囲まれた注視面と、該注視面を
   意志伝達者が注視しているか否かを検出するための眼球
   運動検出器とを備え、前記情報提示手段に提示された情
   報が意志伝達者の意図した情報であるとき意志伝達者が
   前記注視面を注視することに基づいて生ずる前記眼球運
   動検出器の出力を人間に認識し得る情報に変換しあるい
   は電気信号のままで意志伝達者の意図する情報として取
   り出し、被意志伝達者または被制御装置にそれぞれ意志
   伝達者の意志または該意志に基づいて制御を行うための
   制御信号として伝達するようにしたことを特徴とする意
   志伝達装置。 ２）特許請求の範囲第１項に記載の意志伝達装置におい
   て、前記情報提示手段は陰極線管からなり、該陰極線管
   の画像表示面に１個の情報について識別可能な形態で複
   数の情報を同時に提示するようにして、前記識別可能な
   形態で提示された情報に対して意志伝達者が前記注視面
   を注視しているゆえの出力が前記眼球運動検出器から生
   じたとき、前記陰極線管の画像表示面に前記識別可能な
   形態で提示された情報のみを残し、他を消去して提示す
   るようにしたことを特徴とする意志伝達装置。 ３）特許請求の範囲第１項または第２項に記載の意志伝
   達装置において、前記眼球運動検出器により意志伝達者
   が前記注視面を注視しているか否かを検出するにあたっ
   ては、所定の注視点を中心として半径がほぼ｛眼球運動
   速度の閾値（５度／秒）｝×｛所定の注視点にあったと
   きから次の注視点となるまでの時間間隔｝の範囲内で注
   視点が変動したとしても、その変動を無視して前記所定
   の注視点を注視しているものと見なすようにしたことを
   特徴とする意志伝達装置。 ４）特許請求の範囲第１項に記載の意志伝達装置におい
   て、前記眼球運動検出器は、意志伝達者の頭部の動きに
   より補償して真の眼球の動きのみを検出するようにした
   ことを特徴とする意志伝達装置。 ５）特許請求の範囲第１項に記載の意志伝達装置におい
   て、前記情報提示手段と前記注視面とを同一手段で構成
   したことを特徴とする意志伝達装置。