JPH0738848B2 - 視線トレーサ - Google Patents
視線トレーサInfo
- Publication number
- JPH0738848B2 JPH0738848B2 JP2185282A JP18528290A JPH0738848B2 JP H0738848 B2 JPH0738848 B2 JP H0738848B2 JP 2185282 A JP2185282 A JP 2185282A JP 18528290 A JP18528290 A JP 18528290A JP H0738848 B2 JPH0738848 B2 JP H0738848B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- eye
- pattern
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
- Emergency Alarm Devices (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、皮膚表面電極から検出された眼筋筋電信号
を高速フーリエ変換して周波数解析したパターンを神経
回路網によって認識して、視線の方向を検出して視線方
向を出力する視線トレーサに関するものである。
を高速フーリエ変換して周波数解析したパターンを神経
回路網によって認識して、視線の方向を検出して視線方
向を出力する視線トレーサに関するものである。
従来、人の視線方向を検出する方法としては、第１に、
眼球に近接して装着されたLEDから放射される近赤外光
を眼球に照射し、その反射光をフォトトランジスタで受
光し、反射光の強度が眼球の場所によって違うことを利
用し、反射光の２次元的な強度分布から視線方向を検出
する方法があったが、系の構成物であるLED,眼球，受光
素子としてのフォトトランジスタの光軸の較正が簡便で
なく、較正精度によって視線方向測定時の視線角度の測
定精度が大きく左右されるという問題があった。
眼球に近接して装着されたLEDから放射される近赤外光
を眼球に照射し、その反射光をフォトトランジスタで受
光し、反射光の強度が眼球の場所によって違うことを利
用し、反射光の２次元的な強度分布から視線方向を検出
する方法があったが、系の構成物であるLED,眼球，受光
素子としてのフォトトランジスタの光軸の較正が簡便で
なく、較正精度によって視線方向測定時の視線角度の測
定精度が大きく左右されるという問題があった。
第２に、臨床医学的に眼球の動きを検査する方法とし
て、眼球に近接する筋肉上の数カ所に皮膚表面電極を貼
付し、眼球の動きを調べる眼振図があるが、この方法
は、眼球を動かす筋肉から得られる筋電信号の高周波成
分を遮断し、記録紙に記録される眼振図を測定者が肉眼
で認識し、眼球の動作方向を検出できるものであるが、
皮膚表面電極は眼球動作に直接関与する筋肉の直上に装
着する必要があった。また、眼球運動、すなわち視線方
向の角度検出はできなかった。
て、眼球に近接する筋肉上の数カ所に皮膚表面電極を貼
付し、眼球の動きを調べる眼振図があるが、この方法
は、眼球を動かす筋肉から得られる筋電信号の高周波成
分を遮断し、記録紙に記録される眼振図を測定者が肉眼
で認識し、眼球の動作方向を検出できるものであるが、
皮膚表面電極は眼球動作に直接関与する筋肉の直上に装
着する必要があった。また、眼球運動、すなわち視線方
向の角度検出はできなかった。
眼振図は眼球動作のための筋肉から得られる筋電図を検
出するものであり、筋電図と眼球の動作の関係は、従来
の筋電義手のための筋電から手動作の認識を自動的に行
う手法の応用として、（１）前記のように眼球動作に直
接関与する筋肉の直上に電極を装着する場合において
は、得られた筋電を平滑整流し、設定域値を越えたら眼
球が動作したと検出する方法、（２）得られた筋電に帯
域フィルタをかけて周波数分割した筋電の周波数スペク
トルに対して、線形識別関数によって眼球動作方向を検
出する方法が容易に考えられるが、前記線形識別関数の
性質からノイズが入ったり、数種の眼筋動作の筋電が同
時に混在すると、識別関数の学習が収束しない、もしく
は動作を認識できない、さらに筋電から眼球動作方向の
角度検出を行うことは充分にはできないという欠点があ
った。
出するものであり、筋電図と眼球の動作の関係は、従来
の筋電義手のための筋電から手動作の認識を自動的に行
う手法の応用として、（１）前記のように眼球動作に直
接関与する筋肉の直上に電極を装着する場合において
は、得られた筋電を平滑整流し、設定域値を越えたら眼
球が動作したと検出する方法、（２）得られた筋電に帯
域フィルタをかけて周波数分割した筋電の周波数スペク
トルに対して、線形識別関数によって眼球動作方向を検
出する方法が容易に考えられるが、前記線形識別関数の
性質からノイズが入ったり、数種の眼筋動作の筋電が同
時に混在すると、識別関数の学習が収束しない、もしく
は動作を認識できない、さらに筋電から眼球動作方向の
角度検出を行うことは充分にはできないという欠点があ
った。
上記、従来の技術において、第１の近赤外光を用いる方
法では、眼球とセンサの光軸設定における較正が簡便で
ないという問題点があり、第２の眼球動作における眼筋
の筋電を検出する眼振図による方法は、従来は通常は測
定者が目視でおおまかな眼球動作方向を検出するにすぎ
ず、同時に、皮膚表面電極の装着位置に厳密性が要求さ
れる問題があり、筋電義手に見られる従来の筋電認識技
術を応用する方法も容易に考えられるが、従来の方法の
応用では認識のための識別関数の収束性、認識率が悪い
等の問題があった。
法では、眼球とセンサの光軸設定における較正が簡便で
ないという問題点があり、第２の眼球動作における眼筋
の筋電を検出する眼振図による方法は、従来は通常は測
定者が目視でおおまかな眼球動作方向を検出するにすぎ
ず、同時に、皮膚表面電極の装着位置に厳密性が要求さ
れる問題があり、筋電義手に見られる従来の筋電認識技
術を応用する方法も容易に考えられるが、従来の方法の
応用では認識のための識別関数の収束性、認識率が悪い
等の問題があった。
この発明の目的は、眼筋筋電パターンを認識学習するこ
とにより視線を正確に、かつ容易に測定できる視線トレ
ーサを提供することにある。
とにより視線を正確に、かつ容易に測定できる視線トレ
ーサを提供することにある。
この発明にかかる視線トレーサは、眼筋筋電信号を検出
する眼筋筋電信号検出部と、 前記眼筋筋電信号を高速フーリエ変換して周波数解析す
る高速フーリエ変換部と、 周波数解析された前記眼筋筋電信号のバンド幅別の信号
成分レベルを数値マトリクスパターンに変換するマトリ
クスパターン変換部と、 複数のユニットとそれらユニットを結ぶ重み付のリンク
からなる学習機能を有する神経回路網で構成され、前記
数値マトリクスパターンを入力として、そのパターンに
対応する眼球の視線方向を出力する認識部と、 前記神経回路網で構成された認識部に対して学習用視線
角度教師用データを出力する視線方向角度教師用データ
生成部と、 からなるものである。
する眼筋筋電信号検出部と、 前記眼筋筋電信号を高速フーリエ変換して周波数解析す
る高速フーリエ変換部と、 周波数解析された前記眼筋筋電信号のバンド幅別の信号
成分レベルを数値マトリクスパターンに変換するマトリ
クスパターン変換部と、 複数のユニットとそれらユニットを結ぶ重み付のリンク
からなる学習機能を有する神経回路網で構成され、前記
数値マトリクスパターンを入力として、そのパターンに
対応する眼球の視線方向を出力する認識部と、 前記神経回路網で構成された認識部に対して学習用視線
角度教師用データを出力する視線方向角度教師用データ
生成部と、 からなるものである。
この発明においては、使用に際してはターゲットを目で
追いかけることによる視線方向角度教師用データ生成部
によって認識用神経回路網に教師用データを呈示し認識
部の学習を行うことにより皮膚表面電極の貼付位置の自
由度が大きく、認識部の学習後、視線方向，視線角度の
検出が左右の眼球について独立に行うことができる。
追いかけることによる視線方向角度教師用データ生成部
によって認識用神経回路網に教師用データを呈示し認識
部の学習を行うことにより皮膚表面電極の貼付位置の自
由度が大きく、認識部の学習後、視線方向，視線角度の
検出が左右の眼球について独立に行うことができる。
第１図はこの発明の一実施例の全体の構成を示すブロッ
ク図である。なお、以下の信号の添え字において、Ｌは
左側の眼球、Ｒは右側の眼球に関する記号、ｔは教師信
号、ｙはヨー角、ｐはピッチ角とする。そして、添え字
による区別が必要でないときは添え字をとる。
ク図である。なお、以下の信号の添え字において、Ｌは
左側の眼球、Ｒは右側の眼球に関する記号、ｔは教師信
号、ｙはヨー角、ｐはピッチ角とする。そして、添え字
による区別が必要でないときは添え字をとる。
第１図において、１−L1,1−R1,1−L2,1−R2は皮膚表面
電極、２はメガネフレームであって、前記各皮膚表面電
極１−L1,1−R1はメガネフレーム２の鼻あてを兼ね、ま
た、各皮膚表面電極１−L2,1−R2はメガネフレームウ２
の耳かけに位置する。３−L,3−Ｒは増幅器、４−L,4−
Ｒはローカットフィルタ、５−L,5−Ｒはハイカットフ
ィルタであり、以上で眼筋筋電信号検出部が構成され
る。６−L,6−Ｒは高速フーリエ変換部、７−L,7−Ｒは
マトリクスパターン変換部、８−L,8−Ｒは認識部、９
は視線方向角度教師用データ作成部である。また、ａ−
L1,a−L2,a−R1,a−R2は前記皮膚表面電極１−L1,1−L
2,1−R1,1−R2により検出された信号、bL,bRは筋電信
号、cL,cRは低周波成分を遮断された筋電信号、dL,dRは
それぞれ筋電信号cL,cRに対して高周波成分を遮断され
た信号、eL,eRはFFT変換された筋電の周波数解析された
信号、fL,fRは周波数解析された筋電信号のバンド幅別
の信号成分レベルの数値マトリクスパターン、θyL,θy
Rはそれぞれ左目の左右視線方向角度，右目の左右視線
方向角度、θpL,θpRはそれぞれ左目の上下視線方向角
度，右目の上下視線方向角度、θtyL,θtyRはそれぞれ
左目の左右視線角度教師用データ，右目の左右視線角度
教師用データ、θtpL,θtpRはそれぞれ左目の上下視線
方向角度教師用データ，右目の上下視線方向角度教師用
データである。
電極、２はメガネフレームであって、前記各皮膚表面電
極１−L1,1−R1はメガネフレーム２の鼻あてを兼ね、ま
た、各皮膚表面電極１−L2,1−R2はメガネフレームウ２
の耳かけに位置する。３−L,3−Ｒは増幅器、４−L,4−
Ｒはローカットフィルタ、５−L,5−Ｒはハイカットフ
ィルタであり、以上で眼筋筋電信号検出部が構成され
る。６−L,6−Ｒは高速フーリエ変換部、７−L,7−Ｒは
マトリクスパターン変換部、８−L,8−Ｒは認識部、９
は視線方向角度教師用データ作成部である。また、ａ−
L1,a−L2,a−R1,a−R2は前記皮膚表面電極１−L1,1−L
2,1−R1,1−R2により検出された信号、bL,bRは筋電信
号、cL,cRは低周波成分を遮断された筋電信号、dL,dRは
それぞれ筋電信号cL,cRに対して高周波成分を遮断され
た信号、eL,eRはFFT変換された筋電の周波数解析された
信号、fL,fRは周波数解析された筋電信号のバンド幅別
の信号成分レベルの数値マトリクスパターン、θyL,θy
Rはそれぞれ左目の左右視線方向角度，右目の左右視線
方向角度、θpL,θpRはそれぞれ左目の上下視線方向角
度，右目の上下視線方向角度、θtyL,θtyRはそれぞれ
左目の左右視線角度教師用データ，右目の左右視線角度
教師用データ、θtpL,θtpRはそれぞれ左目の上下視線
方向角度教師用データ，右目の上下視線方向角度教師用
データである。
第２図は、第１図の視線方向角度教師用データ作成部９
の構成例の詳細を示すもので、９−１は視線ターゲット
表示用ディスプレイ、９−２は頭部固定用額押え部、９
−３は頭部固定用鍔押え部、９−４は眼球一視線ターゲ
ット表示用ディスプレイ間距離測定用スケール、９−５
は測定オペレータ用移動指針、９−６は視線方向角度演
算処理部、Ｋは注視点である。
の構成例の詳細を示すもので、９−１は視線ターゲット
表示用ディスプレイ、９−２は頭部固定用額押え部、９
−３は頭部固定用鍔押え部、９−４は眼球一視線ターゲ
ット表示用ディスプレイ間距離測定用スケール、９−５
は測定オペレータ用移動指針、９−６は視線方向角度演
算処理部、Ｋは注視点である。
第３図（ａ），（ｂ）は視線方向角度教師用データ生成
を説明する図で、Ｋは注視点、Ｅ−L,E−Ｒは左眼球，
右眼球を示す。
を説明する図で、Ｋは注視点、Ｅ−L,E−Ｒは左眼球，
右眼球を示す。
第４図はメガネフレーム２の詳細を示すもので、２はメ
ガネフレームで、レンズ２−１と耳つるべ部２−２とか
らなり、皮膚表面電極１−L1,1−R1,1−L2,1−R2が設け
られる。２−３は前記電極からのリード線を示す。
ガネフレームで、レンズ２−１と耳つるべ部２−２とか
らなり、皮膚表面電極１−L1,1−R1,1−L2,1−R2が設け
られる。２−３は前記電極からのリード線を示す。
第５図は、第１図の認識部８の構成例で、８−１は認識
用入力パターン、８−２は出力パターン、８−３は学習
用教師信号パターン、８−４は神経回路網の入力層、８
−５は神経回路網の中間層、８−６は神経回路網の出力
層である。
用入力パターン、８−２は出力パターン、８−３は学習
用教師信号パターン、８−４は神経回路網の入力層、８
−５は神経回路網の中間層、８−６は神経回路網の出力
層である。
第６図は学習モード時の全体構成を示すブロック図で、
９−７はターゲット制御部で、その他は第１図，第２図
に示したものと同じである。
９−７はターゲット制御部で、その他は第１図，第２図
に示したものと同じである。
第７図，第８図はこの発明の処理の流れ図、第９図
（ａ）〜（ｃ）は筋電信号の変換の過程を示す図であ
る。
（ａ）〜（ｃ）は筋電信号の変換の過程を示す図であ
る。
以下、第１図から第９図に基づき神経回路網の学習モー
ド（Ａ）と、検出される眼球付近の筋電から視線方向角
度を認識する認識モード（Ｂ）の２つに大別してこの発
明の説明を行う。
ド（Ａ）と、検出される眼球付近の筋電から視線方向角
度を認識する認識モード（Ｂ）の２つに大別してこの発
明の説明を行う。
まず、認識部８の神経回路網の学習モードから説明を行
う。
う。
はじめに、概要を説明すると、メガネフレーム２からの
筋電位パターンを入力として、また、視線方向角度教師
用エータ生成部９で算出される視線方向角度を出力とし
て神経回路網から構成されて認識部８に送出し、認識部
８はこれらの入力と出力との対応づけを記憶する。これ
を繰り返し行うと、入力パターンに対応した視線方向角
度を認識モードにおいては出力するようになる。
筋電位パターンを入力として、また、視線方向角度教師
用エータ生成部９で算出される視線方向角度を出力とし
て神経回路網から構成されて認識部８に送出し、認識部
８はこれらの入力と出力との対応づけを記憶する。これ
を繰り返し行うと、入力パターンに対応した視線方向角
度を認識モードにおいては出力するようになる。
さて、測定オペレータたは験者に遠方を見つめてもら
い、被験者の眼球間隔l0（第３図（ａ））を測定する。
い、被験者の眼球間隔l0（第３図（ａ））を測定する。
次に第２図において、被験者はメガネフレーム２を装着
し、そのまま視線方向角度教師用データ生成部９の鍔押
え部９−３に鍔をのせ、額を額押え部９−２に軽く押し
当て頭部を固定する。オペレータは測定オペレータ用同
指針９−５を被験者の右側90度方向から眼球表面にあわ
せ、スケール９−４をよんで被験者の眼球と視線ターゲ
ット表示用ディスプレイ９−１の距離を測定する。次
に、視線を種々のターゲット位置に合わせ、同時に測定
された筋電パターンとターゲット位置から算出される視
線方向角度の関係を認識部８の神経回路網に学習させ
る。
し、そのまま視線方向角度教師用データ生成部９の鍔押
え部９−３に鍔をのせ、額を額押え部９−２に軽く押し
当て頭部を固定する。オペレータは測定オペレータ用同
指針９−５を被験者の右側90度方向から眼球表面にあわ
せ、スケール９−４をよんで被験者の眼球と視線ターゲ
ット表示用ディスプレイ９−１の距離を測定する。次
に、視線を種々のターゲット位置に合わせ、同時に測定
された筋電パターンとターゲット位置から算出される視
線方向角度の関係を認識部８の神経回路網に学習させ
る。
次に、第３図（ａ），（ｂ）によって、視線ターゲット
表示用ディスプレイ９−１に表示されるターゲットと、
視線方向角度の関係を説明する。
表示用ディスプレイ９−１に表示されるターゲットと、
視線方向角度の関係を説明する。
第３図（ａ），（ｂ）における眼球表示と視線ターゲッ
ト表示用ディスプレイ９−１の距離、左右眼球中心間隔
距離l0は前記のとおりオペレータによって測定された既
知であり、眼球半径l2は個人差はあるが、通常の人の眼
球半径l2の平均的な値を常数として使用する。いま、視
線ターゲット表示用ディスプレイ９−１上の視線ターゲ
ットが左右の眼球EL,ERの中間の正面から左に移動し、
ヨー方向に関して眼球正面左側を＋の角度、右側を−の
角度とし、l3に関して左右眼球の中間を正面左を＋、右
側を−とするとき、左目の視線方向角度θyLはヨー方向
に対しては、 であり、右目の視線方向角度θyRはヨー方向に対して
は、 である。また、第３図（ｂ）において、視線ターゲット
がディスプレイ９−１上で上方へ移動し、ピッチ方向に
関して顔面正面上方を＋の角度、下方を−の角度とし、
l4に関して水平方向を＋、下方を−とするとき、左目の
視線方向角度θpLはピッチ方向に対しては であり、右目の視線方向角度θpRはピッチ方向に対して
は、 である。
ト表示用ディスプレイ９−１の距離、左右眼球中心間隔
距離l0は前記のとおりオペレータによって測定された既
知であり、眼球半径l2は個人差はあるが、通常の人の眼
球半径l2の平均的な値を常数として使用する。いま、視
線ターゲット表示用ディスプレイ９−１上の視線ターゲ
ットが左右の眼球EL,ERの中間の正面から左に移動し、
ヨー方向に関して眼球正面左側を＋の角度、右側を−の
角度とし、l3に関して左右眼球の中間を正面左を＋、右
側を−とするとき、左目の視線方向角度θyLはヨー方向
に対しては、 であり、右目の視線方向角度θyRはヨー方向に対して
は、 である。また、第３図（ｂ）において、視線ターゲット
がディスプレイ９−１上で上方へ移動し、ピッチ方向に
関して顔面正面上方を＋の角度、下方を−の角度とし、
l4に関して水平方向を＋、下方を−とするとき、左目の
視線方向角度θpLはピッチ方向に対しては であり、右目の視線方向角度θpRはピッチ方向に対して
は、 である。
以上得られた視線方向角度は、認識部８の神経回路網へ
の教師データとして後述する正規化の後、神経回路網の
出力層８−６に与えられる。
の教師データとして後述する正規化の後、神経回路網の
出力層８−６に与えられる。
次に、主として第５図，第９図に基づき皮膚表面電極１
−L1,1−R1,1−L2,1−R2から検出される筋電信号の変換
過程を示す。前記の視線方向角度教師用データ生成部９
により被験者が視線ダーゲット表示用ディスプレイ９−
１のターゲットを目で追いかけている最中に、第１図の
皮膚表面電極１によって検出された信号ａは増幅器３−
L,3−Ｒにより左右の目に対して別々に増幅され、時系
筋電信号ｂとしてローカットフィルタ４−L,4−Ｒを通
して信号ｃとなり、さらに、ハイカットフィルタ５−L,
5−Ｒを通して信号ｄとなる。いま、信号ｄとしてロー
カット周波数50Hz、ハイカット周波数15000Hzとして測
定した例を第９図（ａ）に示す。時系列筋電信号ｄは各
眼球の動作中にある時間窓の長さ間高速フーリエ変換部
６−L,6−Ｒにとりこまれ、それぞれの眼球の動作状態
において、検出された信号ｄの1/3オクターブ周波数解
析されたパターンｅに変換される。パターンｅとして30
バンド1/3オクターブで50Hzから500Hzまで、高速フーリ
エ変換した例を第９図（ｂ）に示す。パターンｅはマト
リクス変換手段により各バンド幅ごとにその信号レベル
が数値マトリクスｆ（パターンｆ）に変換される。以
下、認識部８の神経回路網の学習について説明する。
−L1,1−R1,1−L2,1−R2から検出される筋電信号の変換
過程を示す。前記の視線方向角度教師用データ生成部９
により被験者が視線ダーゲット表示用ディスプレイ９−
１のターゲットを目で追いかけている最中に、第１図の
皮膚表面電極１によって検出された信号ａは増幅器３−
L,3−Ｒにより左右の目に対して別々に増幅され、時系
筋電信号ｂとしてローカットフィルタ４−L,4−Ｒを通
して信号ｃとなり、さらに、ハイカットフィルタ５−L,
5−Ｒを通して信号ｄとなる。いま、信号ｄとしてロー
カット周波数50Hz、ハイカット周波数15000Hzとして測
定した例を第９図（ａ）に示す。時系列筋電信号ｄは各
眼球の動作中にある時間窓の長さ間高速フーリエ変換部
６−L,6−Ｒにとりこまれ、それぞれの眼球の動作状態
において、検出された信号ｄの1/3オクターブ周波数解
析されたパターンｅに変換される。パターンｅとして30
バンド1/3オクターブで50Hzから500Hzまで、高速フーリ
エ変換した例を第９図（ｂ）に示す。パターンｅはマト
リクス変換手段により各バンド幅ごとにその信号レベル
が数値マトリクスｆ（パターンｆ）に変換される。以
下、認識部８の神経回路網の学習について説明する。
第５図の例では神経回路網は入力層８−４が10ユニッ
ト、中間層８−５が６ユニット、出力層８−６が２ユニ
ットの例を示す。入力層８−４の10ユニットは高速フー
リエ変換されたパターンｆの10バンドのレベル値に対応
し、出力層８−６の２ユニットは２個の眼球のうち、一
方の側の眼球の視線方向のヨー角とピッチ角の２つに対
応する。高速フーリエ変換の数値マトリクスｆは認識部
８の入力層８−４に入力される。同時に、認識部８の出
力層８−６にはパターンｆに対応したときの眼球の視線
方向角度データθyL,θpL,θyR,θyRが教師信号データ
θtyL,θtyL,θtyR,θtpRとして与えられる。ここで、
認識部８の神経回路網の性質から、教師データは、 のように、正規化した後に認識部８に与えるものとす
る。認識部８の神経回路網の学習は、パターンｆとパタ
ーンθｔの入力を同じ視線方向、もしくは異なる視線方
向の眼球動作に対して複数回、例えばバックプロパゲー
ション法（文献D.E.Rumelhartら、Parallel Distribute
d Processing,MIT Press 1986）で繰り返す。例えばパ
ターンｆを前記神経回路網に入力したときの神経回路網
の視線方向角度θyL,θpL,θyR,θpRと教師信号データ
θtyL,θtpL,θtyR,θtpRをそれぞれ比較して、各ユニ
ットの値ともに両者の誤差が１％以内に収まったときを
学習終了とする。以上の学習モード（Ａ）のフローをま
とめたのが第７図である。
ト、中間層８−５が６ユニット、出力層８−６が２ユニ
ットの例を示す。入力層８−４の10ユニットは高速フー
リエ変換されたパターンｆの10バンドのレベル値に対応
し、出力層８−６の２ユニットは２個の眼球のうち、一
方の側の眼球の視線方向のヨー角とピッチ角の２つに対
応する。高速フーリエ変換の数値マトリクスｆは認識部
８の入力層８−４に入力される。同時に、認識部８の出
力層８−６にはパターンｆに対応したときの眼球の視線
方向角度データθyL,θpL,θyR,θyRが教師信号データ
θtyL,θtyL,θtyR,θtpRとして与えられる。ここで、
認識部８の神経回路網の性質から、教師データは、 のように、正規化した後に認識部８に与えるものとす
る。認識部８の神経回路網の学習は、パターンｆとパタ
ーンθｔの入力を同じ視線方向、もしくは異なる視線方
向の眼球動作に対して複数回、例えばバックプロパゲー
ション法（文献D.E.Rumelhartら、Parallel Distribute
d Processing,MIT Press 1986）で繰り返す。例えばパ
ターンｆを前記神経回路網に入力したときの神経回路網
の視線方向角度θyL,θpL,θyR,θpRと教師信号データ
θtyL,θtpL,θtyR,θtpRをそれぞれ比較して、各ユニ
ットの値ともに両者の誤差が１％以内に収まったときを
学習終了とする。以上の学習モード（Ａ）のフローをま
とめたのが第７図である。
次に、神経回路網の認識モード（Ｂ）について説明す
る。認識モード（Ｂ）とは視線方向角度教師用データ生
成部９から被験者が頭を離して、自由な状態における視
線方向をメガネフレーム２に取り付けられた皮膚表面電
極１から検出される筋電位パターンを認識部８の神経回
路網が認識して視線方向角度を出力するモードである。
これを第１図および第８図に基づいて説明する。メガネ
フレーム２を装着した被験者が眼球を動かすと、眼球動
作中に検出された時系列筋電信号は時間軸上に開いた高
速フーリエ変換の時間窓ごとに離散化して周波数解析さ
れ、マトリクスパターン変換部７にパターンｅとして入
力される。パターンｅは学習モード（Ａ）時と同様にパ
ターンｆとして変換される。パターンｆは学習モード
（Ａ）で既に学習されたパターンに基づき対応する眼球
の視線方向角度θyL,θpL,θyR,θyRを出力する。ま
た、未学習のパターンに対しても、神経回路網の一般的
性質により補間した出力値を出力する。ここで、出力さ
れた視線方向角度は神経回路網の性質により０と１の間
に正規化した値であって、学習モード（Ａ）時に教師デ
ータを出力層８−６に教示したときの逆変換して角度値
として出力する。
る。認識モード（Ｂ）とは視線方向角度教師用データ生
成部９から被験者が頭を離して、自由な状態における視
線方向をメガネフレーム２に取り付けられた皮膚表面電
極１から検出される筋電位パターンを認識部８の神経回
路網が認識して視線方向角度を出力するモードである。
これを第１図および第８図に基づいて説明する。メガネ
フレーム２を装着した被験者が眼球を動かすと、眼球動
作中に検出された時系列筋電信号は時間軸上に開いた高
速フーリエ変換の時間窓ごとに離散化して周波数解析さ
れ、マトリクスパターン変換部７にパターンｅとして入
力される。パターンｅは学習モード（Ａ）時と同様にパ
ターンｆとして変換される。パターンｆは学習モード
（Ａ）で既に学習されたパターンに基づき対応する眼球
の視線方向角度θyL,θpL,θyR,θyRを出力する。ま
た、未学習のパターンに対しても、神経回路網の一般的
性質により補間した出力値を出力する。ここで、出力さ
れた視線方向角度は神経回路網の性質により０と１の間
に正規化した値であって、学習モード（Ａ）時に教師デ
ータを出力層８−６に教示したときの逆変換して角度値
として出力する。
本実施例では、皮膚表面電極１をメガネフレーム２の鼻
あておよび耳つるべ部２−２に装着した例を示したが、
皮膚表面電極１をメガネフレーム２に装着せずに単独で
貼付し、電極位置を眼球近傍のほかの場所とすること、
スキーゴーグル状のゴーグルと顔面の接触部分に皮膚表
面電極１を内蔵すること、皮膚表面電極１の対の数を増
やして各電極からの信号高速フーリエ変換処理して各バ
ンド別レベル数値パターンに変換して各眼球に対して１
対の電極からだけでなく、数対の電極からパターンを同
時に入力すること、高速フーリエ変換処理のバンド幅、
バンド数を変更すること、認識部８の神経回路網にバッ
クプロパゲーション法以外の線形分離不可能なパターン
をパターンの属性別に分離する能力を有する神経回路網
を用いること、視線方向角度教師用データ生成部９にお
ける視線方向の検出をターゲットの追跡によって行うの
でなく、眼球を正面からカメラで捉えた映像において、
眼球の黒目部分を画像抽出し、眼球の黒目の真円に対す
るゆがみから視線方向を検出して認識部８に対する視線
方向の教師用データを生成する方法はそれぞれ独立に実
施することが可能である。
あておよび耳つるべ部２−２に装着した例を示したが、
皮膚表面電極１をメガネフレーム２に装着せずに単独で
貼付し、電極位置を眼球近傍のほかの場所とすること、
スキーゴーグル状のゴーグルと顔面の接触部分に皮膚表
面電極１を内蔵すること、皮膚表面電極１の対の数を増
やして各電極からの信号高速フーリエ変換処理して各バ
ンド別レベル数値パターンに変換して各眼球に対して１
対の電極からだけでなく、数対の電極からパターンを同
時に入力すること、高速フーリエ変換処理のバンド幅、
バンド数を変更すること、認識部８の神経回路網にバッ
クプロパゲーション法以外の線形分離不可能なパターン
をパターンの属性別に分離する能力を有する神経回路網
を用いること、視線方向角度教師用データ生成部９にお
ける視線方向の検出をターゲットの追跡によって行うの
でなく、眼球を正面からカメラで捉えた映像において、
眼球の黒目部分を画像抽出し、眼球の黒目の真円に対す
るゆがみから視線方向を検出して認識部８に対する視線
方向の教師用データを生成する方法はそれぞれ独立に実
施することが可能である。
以上説明したように、この発明は、眼球近傍に装着され
た皮膚表面電極からの筋電信号を認識して視線方向角度
を出力する視線トレーサにおいて、眼筋から離れた部位
に装備された皮膚表面電極からの筋電信号は多数の筋肉
からの信号が混在する信号であるが、高速フーリエ変換
によって周波数解析することによって各筋肉別の筋活動
にある程度分離し、さらに、高速フーリエ変換されてあ
る程度筋肉活動が分離されたパターンと眼球の視線方向
角度の関係を線形分離不可能なパターンをパターンの属
性別に識別する能力を有し、学習機能を有する神経回路
網によって複数個教師あり学習し、学習後に神経回路網
によって前記電極から検出される筋電を認識して視線方
向角度を検出するので、前記神経回路網のパターン特徴
の自動化、類似パターンの高識別化、高耐性能力から、
前記学習モード時に眼筋の直上に電極が位置しなくて
も、学習用パターンが多くても、学習用パターンにノイ
ズが混入しても、学習が収束し認識モード時に電極の位
置ずれや筋電信号にノイズやアーチファクトが混入して
も、数種の筋群が並列的に動く眼球動作時に眼筋の直上
に電極が位置しなくても、数種の筋群から発生する筋電
が同時に非線形に干渉，混合して皮膚表面に到達する皮
膚表面電極から対応する眼球の動作である視線方向角度
を検出できるので、従来の眼振図の測定のように、皮膚
表面電極の貼付位置が限定されずに電極位置に関しての
自由度が大きいので、通常のメガネフレームと顔面の接
触位置に皮膚表面電極を内蔵することが可能であり、測
定時の被験者の美観をそこねにくいという利点がある。
また、視線方向認識時の視線方向の検出においては、光
学的な方向は使用しないので、光軸の調整のような較正
が必要ないという利点がある。また、左右の眼球につい
て視線方向角度を左右独立に検出できるという利点があ
る。
た皮膚表面電極からの筋電信号を認識して視線方向角度
を出力する視線トレーサにおいて、眼筋から離れた部位
に装備された皮膚表面電極からの筋電信号は多数の筋肉
からの信号が混在する信号であるが、高速フーリエ変換
によって周波数解析することによって各筋肉別の筋活動
にある程度分離し、さらに、高速フーリエ変換されてあ
る程度筋肉活動が分離されたパターンと眼球の視線方向
角度の関係を線形分離不可能なパターンをパターンの属
性別に識別する能力を有し、学習機能を有する神経回路
網によって複数個教師あり学習し、学習後に神経回路網
によって前記電極から検出される筋電を認識して視線方
向角度を検出するので、前記神経回路網のパターン特徴
の自動化、類似パターンの高識別化、高耐性能力から、
前記学習モード時に眼筋の直上に電極が位置しなくて
も、学習用パターンが多くても、学習用パターンにノイ
ズが混入しても、学習が収束し認識モード時に電極の位
置ずれや筋電信号にノイズやアーチファクトが混入して
も、数種の筋群が並列的に動く眼球動作時に眼筋の直上
に電極が位置しなくても、数種の筋群から発生する筋電
が同時に非線形に干渉，混合して皮膚表面に到達する皮
膚表面電極から対応する眼球の動作である視線方向角度
を検出できるので、従来の眼振図の測定のように、皮膚
表面電極の貼付位置が限定されずに電極位置に関しての
自由度が大きいので、通常のメガネフレームと顔面の接
触位置に皮膚表面電極を内蔵することが可能であり、測
定時の被験者の美観をそこねにくいという利点がある。
また、視線方向認識時の視線方向の検出においては、光
学的な方向は使用しないので、光軸の調整のような較正
が必要ないという利点がある。また、左右の眼球につい
て視線方向角度を左右独立に検出できるという利点があ
る。
応用分野としては、人間工学的研究や臨床医学的研究の
ためのツールとしての視線トレーサとしての利用、視覚
装置を有する遠隔ロボットの操縦時におけるロボットの
視覚装置の視線方向をロボットのオペレータが眼球動作
によって遠隔制御するための利用、航空機パイロットの
有視界による目標補足と追尾、身障者のコンピュータ操
作自助具としてのポインティングツール、フライトシミ
ュレータのビジュアルシステムにおいて、CGの演算負荷
減少のためにパイロットの視野方向付近のみ高精細画像
とするための視線トレーサとして利用、コンピュータ操
作従事者のためのカーソルポインティングツールとして
の利用、レム睡眠検出のための眼球運動計測装置として
の利用等が考えられる。
ためのツールとしての視線トレーサとしての利用、視覚
装置を有する遠隔ロボットの操縦時におけるロボットの
視覚装置の視線方向をロボットのオペレータが眼球動作
によって遠隔制御するための利用、航空機パイロットの
有視界による目標補足と追尾、身障者のコンピュータ操
作自助具としてのポインティングツール、フライトシミ
ュレータのビジュアルシステムにおいて、CGの演算負荷
減少のためにパイロットの視野方向付近のみ高精細画像
とするための視線トレーサとして利用、コンピュータ操
作従事者のためのカーソルポインティングツールとして
の利用、レム睡眠検出のための眼球運動計測装置として
の利用等が考えられる。
第１図はこの発明の一実施例を示す全体の構成図、第２
図は、第１図において視線方向角度教師用データ生成部
の構成例を示す図、第３図（ａ），（ｂ）は視線方向角
度教師用データ生成を説明する図、第４図は、第１図に
おけるメガネフレームの詳細を示す斜視図、第５図は、
第１図における認識部の神経回路網による構成例を示す
図、第６図はこの発明における学習モードの説明図、第
７図，第８図はこの発明における学習モードと認識モー
ドの処理の流れ図、第９図（ａ）〜（ｃ）は筋電信号の
変換の過程を示す図である。 図中、１は皮膚表面電極、２はメガネフレーム、３は増
幅器、４はローカットフィルタ、５はハイカットフィル
タ、６は高速フーリエ変換部、７はマトリクスパターン
変換部、８は認識部、９は視線方向角度教師用データ生
成部、Ｅは眼球である。
図は、第１図において視線方向角度教師用データ生成部
の構成例を示す図、第３図（ａ），（ｂ）は視線方向角
度教師用データ生成を説明する図、第４図は、第１図に
おけるメガネフレームの詳細を示す斜視図、第５図は、
第１図における認識部の神経回路網による構成例を示す
図、第６図はこの発明における学習モードの説明図、第
７図，第８図はこの発明における学習モードと認識モー
ドの処理の流れ図、第９図（ａ）〜（ｃ）は筋電信号の
変換の過程を示す図である。 図中、１は皮膚表面電極、２はメガネフレーム、３は増
幅器、４はローカットフィルタ、５はハイカットフィル
タ、６は高速フーリエ変換部、７はマトリクスパターン
変換部、８は認識部、９は視線方向角度教師用データ生
成部、Ｅは眼球である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 8825−4Ｃ Ａ６１Ｂ 5/10 ３１０ Ａ
Claims (1)
- 【請求項１】眼筋筋電信号を検出する眼筋筋電信号検出
部と、 前記眼筋筋電信号を高速フーリエ変換して周波数解析す
る高速フーリエ変換部と、 周波数解析された前記眼筋筋電信号のバンド幅別の信号
成分レベルを数値マトリクスパターンに変換するマトリ
クスパターン変換部と、 複数のユニットとそれらユニットを結ぶ重み付のリンク
からなる学習機能を有する神経回路網で構成され、前記
数値マトリクスパターンを入力として、そのパターンに
対応する眼球の視線方向を出力する認識部と、 前記神経回路網で構成された認識部に対して学習用視線
角度教師用データを出力する視線方向角度教師用データ
生成部と、 からなることを特徴とする視線トレーサ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185282A JPH0738848B2 (ja) | 1990-07-16 | 1990-07-16 | 視線トレーサ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185282A JPH0738848B2 (ja) | 1990-07-16 | 1990-07-16 | 視線トレーサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0473042A JPH0473042A (ja) | 1992-03-09 |
| JPH0738848B2 true JPH0738848B2 (ja) | 1995-05-01 |
Family
ID=16168113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2185282A Expired - Fee Related JPH0738848B2 (ja) | 1990-07-16 | 1990-07-16 | 視線トレーサ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0738848B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0736610A (ja) * | 1993-06-28 | 1995-02-07 | Nissan Motor Co Ltd | 提示画像制御装置 |
| DE29603944U1 (de) * | 1996-03-02 | 1996-04-25 | Hortmann GmbH, 72654 Neckartenzlingen | Vorrichtung zur Erfassung der Augenbewegungen |
| JP4722573B2 (ja) * | 2005-06-10 | 2011-07-13 | 株式会社エヌ・ティ・ティ・ドコモ | 顔面情報検出装置および顔面情報検出式通信装置 |
| JP5321951B2 (ja) * | 2008-06-30 | 2013-10-23 | いすゞ自動車株式会社 | 運転負担判定装置 |
| CN105142498B (zh) * | 2013-03-15 | 2022-10-11 | 感知技术有限公司 | 增强光学和感知数字护目镜 |
| US10893823B2 (en) * | 2015-11-10 | 2021-01-19 | Diagnosys LLC | Method and apparatus for the assessment of electrophysiological signals |
| JP7154259B2 (ja) * | 2020-08-11 | 2022-10-17 | 株式会社トプコン | 眼科装置 |
| JP7644466B2 (ja) * | 2020-08-25 | 2025-03-12 | 学校法人立命館 | 検出装置及び検出方法 |
-
1990
- 1990-07-16 JP JP2185282A patent/JPH0738848B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0473042A (ja) | 1992-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kocejko et al. | Eye mouse for disabled | |
| US5649061A (en) | Device and method for estimating a mental decision | |
| US5726916A (en) | Method and apparatus for determining ocular gaze point of regard and fixation duration | |
| US5360971A (en) | Apparatus and method for eye tracking interface | |
| US5517021A (en) | Apparatus and method for eye tracking interface | |
| US20020047987A1 (en) | Flicker and frequency doubling in virtual reality | |
| EP0468340A2 (en) | Eye directed controller | |
| CN107193383A (zh) | 一种基于人脸朝向约束的二级视线追踪方法 | |
| CN110600103B (zh) | 一种提升视力的可穿戴智能服务系统 | |
| US12383178B2 (en) | Systems and methods for using eye imaging on a wearable device to assess human health | |
| CA3091762A1 (en) | Systems and methods for detection and correction of abnormal movements | |
| Rantanen et al. | Capacitive measurement of facial activity intensity | |
| WO2024140417A1 (zh) | 可穿戴扩展现实设备的人机交互采集方法、装置和系统 | |
| CN114041793A (zh) | 一种融合多模态疲劳监测与调控的rsvp目标识别系统及方法 | |
| CN119007273B (zh) | 一种基于面部信息融合的认知障碍识别方法 | |
| JPH0738848B2 (ja) | 視線トレーサ | |
| TWI689283B (zh) | 眼睛輻輳啟用之眼睛追跡方法及系統 | |
| Bang et al. | New computer interface combining gaze tracking and brainwave measurements | |
| CN120694618A (zh) | 一种煤矿井下采掘岗位作业人员生理及身体协调性监测及表征方法 | |
| TWM522700U (zh) | 雷射測距斜視斜位角度量測裝置 | |
| CN117017235A (zh) | 一种视觉认知检测方法、装置及设备 | |
| Zhang et al. | Fatigue detection with 3D facial features based on binocular stereo vision | |
| US20250147590A1 (en) | Method and Device for Carrying Out Eye Tracking | |
| CN116522280B (zh) | 基于虚拟现实仿真采集的情绪分级识别方法及系统 | |
| Lee | Study Of Intelligent Wearables and Adaptive Systems to Measure Physiological and Physical Data for Human-Machine Interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |