JP7842405B2 - 視線入力装置及び視線入力装置用のプログラム - Google Patents

視線入力装置及び視線入力装置用のプログラム

Info

Publication number
JP7842405B2
JP7842405B2 JP2022119312A JP2022119312A JP7842405B2 JP 7842405 B2 JP7842405 B2 JP 7842405B2 JP 2022119312 A JP2022119312 A JP 2022119312A JP 2022119312 A JP2022119312 A JP 2022119312A JP 7842405 B2 JP7842405 B2 JP 7842405B2
Authority
JP
Japan
Prior art keywords
character
input
panel
eye
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022119312A
Other languages
English (en)
Other versions
JP2024016984A (ja
Inventor
竹信 宇田
Original Assignee
株式会社オレンジアーチ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オレンジアーチ filed Critical 株式会社オレンジアーチ
Priority to JP2022119312A priority Critical patent/JP7842405B2/ja
Publication of JP2024016984A publication Critical patent/JP2024016984A/ja
Application granted granted Critical
Publication of JP7842405B2 publication Critical patent/JP7842405B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 令和3年8月6日にダブル技研株式会社(神奈川県座間市栗原920-7)、株式会社みどりのまきば企画(千葉県船橋市本町4丁目38-28-613)にて公開。
特許法第30条第2項適用 令和3年8月18日にhttps://orangearch-labo.com/にて公開。
特許法第30条第2項適用 令和3年8月24日にダブル技研株式会社(神奈川県座間市栗原920-7)にて公開。
本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにする視線入力装置、及び視線入力装置用のプログラムに関する。
近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、複数の文字を画面に並べて表示させ、当該文字をユーザの視線により選択することで、患者の意思を伝達できるようにした視線入力装置が開発されている。
このような視線入力装置として、特許文献1には、例えば平仮名等の文字を示す複数の文字パネルが並んだ仮想的な文字盤を画面上に表示させ、所望の文字パネルを視線により選択して、文字を入力できるようにするものが開示されている。この視線入力装置は、カメラ等によりユーザの視線を検出し、ユーザの視線が文字盤内の1つの文字パネルに留まると当該文字パネルが示す文字の入力を受け付け、当該文字を画面上の所定領域に表示するよう構成されている。これによりユーザは、画面に表示された文字パネルを視線により1つずつ選択してメッセージを作成し、自分の意思を他人に伝えることができる。
特開2019-149031号公報
ところで従来の視線入力装置では、意図しない文字を誤って入力してしまった場合、当該入力操作を取り消すには、ユーザは文字盤の所定位置に設定されている削除ボタンに視線を移動させてこれを注視し続ける必要があり、ストレスを感じやすいという問題がある。
本発明はこのような問題に鑑みてなされたものであり、画面に表示した複数の文字パネルを視線により選択して文字を入力できるようにする視線入力装置において、入力操作の取消を簡単にできるようにすることを主たる目的とする。
すなわち本発明に係る視線入力装置は、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにするものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させることを特徴とする。
このような構成であれば、ユーザが文字パネルを見続けると、この文字パネルが文字の入力を取り消すための取消ボタンに切り替わるので、ユーザは、意図しない文字を誤って入力した際に視線を大きく移動させることなく(すなわち文字パネルの外に視線を移動させることなく)、その誤った入力操作を簡単に取り消すことができる。
前記文字入力部は、前記注視点が前記取消ボタン上に留まり続けると、受け付けた前記文字の入力の取り消しを決定するのが好ましい。
このようにすれば、文字パネルに視線を留めてから、その後大きく移動させることなく同じ位置を見続けているだけで文字入力の取消まで行えるので、取消操作をより簡単にできる。
前記表示制御部は、前記文字の入力の取り消しが決定すると、前記取消ボタンを前記文字パネルに切り替えて表示させるのが好ましい。
このようにすれば、ユーザは、文字の入力を間違って取り消してしまっても、視線を移動させることなく直ぐに文字の入力を行うことができる。
前記表示制御部は、前記取消ボタンを、前記文字パネルと同じ大きさで、かつ前記文字パネルと同じ位置に表示させるのが好ましい。
このようにすれば、文字パネルがそのまま同じ大きさでかつ同じ位置で取消ボタンに切り替わるので、入力操作の取り消しをより簡単に行うことができる。またこのようにすれば、取消ボタンを周りの文字パネルと被らないように表示できるので、ユーザは取消操作後、速やかに他の文字パネルを選ぶことができる。
前記視線入力装置は、前記表示制御部は、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルが示す文字を、予め関連付けられた他の文字に切り替えて表示させ、前記文字入力部は、前記文字パネルが示す文字が切り替わる度に文字の入力を受け付けるのが好ましい。
このような構成であれば、ユーザが所定の文字パネルを見続けると、これに関連する関連文字が切り替えて表示されるので、ユーザは視線を大きく移動させることなく所望の関連文字を選択することができ、目の負担を軽減できる。
一方でこのような構成にすると、文字パネルを見続けていると文字が切り替わり、その度に文字の入力が受け付けられるので、ユーザは意図しない文字を入力してしまいやすくなる。そのため、このような注視点が留まり続けると文字が切り替わる文字パネルがある場合に、本発明の効果が特に顕著となる。
また前記視線入力装置では、前記文字入力部は、前記注視点が前記文字パネル外に移動すると、受け付けた前記文字の入力を確定させるのが好ましい。
このような構成であれば、ユーザは、文字パネルを見続けて入力したい関連文字を選択し、文字パネルから視線を外すことでその入力を確定できるので、関連文字の入力を簡単に行うことができる。
一方で、文字パネルを見続けて文字の入力が受け付けられると、文字パネルから視線を外すと文字の入力が確定してしまうので、ユーザは意図しない文字を入力してしまいやすくなる。そのため、このような態様であれば本発明の効果がより一層顕著になる。
また前記表示制御部の具体的態様としては、前記文字パネル内に示す文字を予め関連付けられた全ての文字に切り替えて表示した後、当該文字パネルを前記取消ボタンに切り替えて表示させるものが挙げられる。
このようにすれば、ユーザは文字パネルを見続けて所望の関連文字が表示されなかった場合でも、そのまま文字パネルを見続けることで受け付けられた入力操作の取り消しを行うことができる。
前記視線入力装置の具体的態様としては、前記文字パネルに初めに示されている文字が清音の仮名文字であり、これに切り替えて表示される前記他の文字が、濁音の仮名文字、半濁音の仮名文字、拗音の仮名文字及び小書きの仮名文字から選択される1種以上であるものが挙げられる。
また本発明に係る視線入力装置用のプログラムは、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部としての機能をコンピュータに発揮させることを特徴とする。
このような視線入力装置用プログラムであれば、上記した本発明の視線入力装置用と同様の作用効果を奏することができる。
このようにした本発明によれば、画面に表示した複数の文字パネルを視線により選択して文字を入力できるようにする視線入力装置において、入力操作の取消を簡単に行うことができる。
本実施形態の視線入力装置の全体構成を模式的に示す図。 同実施形態の視線入力装置の機器構成を示す構成図。 同実施形態の視線入力装置の機器構成を示す機能ブロック図。 同実施形態の視線入力装置の表示画面の一部を示す図。 同実施形態における視線入力装置の動作を示す画面表示図。 同実施形態における視線入力装置の動作を示す画面表示図。 他の実施形態における視線入力装置の表示画面を部分的に示す図。
以下に本発明の視線入力装置の一実施形態について、図面を参照して説明する。
<視線入力装置100の構成>
本実施形態の視線入力装置100は、手足や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面31に表示された仮想的な文字盤(キーボードともいう)B上の文字をユーザの視線により選択して入力できるようにするものである。
具体的にこの視線入力装置100は、図1に示すように、ユーザの視線を検出する視線検出手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するノートパソコンCとを備えている。ディスプレイ3の画面31には、平仮名等の文字が複数並べて配置された仮想的な文字盤(以下、単に文字盤と記載する)Bと、入力された文字が表示されるメッセージパネルMとが表示されている。ユーザが文字盤B上の入力したい文字を注視し続けることで文字を入力でき、メッセージパネルM上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルM上にメッセージを表示させ、自らの意思を伝達することができる。
視線検出手段1は、ディスプレイ3の画面31に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段1は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部(不図示)とを備えている。なお、本実施形態の視線検出手段1は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ3の下部に取付けられている。
コンピュータ本体2は、構造的には図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、図3に示すように、注視点推定部21、文字データ格納部22、文字盤表示制御部23、文字入力部24、入力文字表示制御部25としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。
注視点推定部21は、視線検出手段1の検出結果に基づいて、画面31上におけるユーザの注視点Gの位置を推定するものである。具体的には、視線検出手段1から視線信号を受け付け、当該視線信号に基づいて画面31上におけるユーザの注視点Gの位置を推定する。そして推定した注視点Gの位置を示す注視点データを文字入力部24及び文字盤表示制御部23に出力する。なお本実施形態では、図1に示すように、推定した注視点Gの位置にはポインタを表示するようにしている。
文字データ格納部22は、前記メモリ202の所定領域に設定されたものであり、文字盤Bに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。
文字盤表示制御部23は、文字データ格納部22を参照して複数の文字が配列された文字盤Bを示す文字盤データを作成し、これを文字入力部24及びディスプレイ3に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。
図1に示すように、この文字盤表示制御部23は、画面31内の所定位置に文字盤Bの全体を固定して表示させる。文字盤Bには、正方形状をなす複数の文字パネルPが碁盤目状(マトリクス状)に並べて表示されており、各文字パネルPには文字(ここでは清音の平仮名文字)が1つずつ表示されている。ここでは互いに隣り合う文字パネルPが隙間なく並ぶように表示されているが、文字パネルP間には隙間があってもよい。そして各文字パネルPにおいて、各文字はその中心位置(重心位置)が各文字パネルPの中心位置と一致するように表示されている。本実施形態では各文字パネルPの領域を示す枠線が画面31上に表示されているが、この枠線は非表示であってもよい。
そして文字盤表示制御部23は、文字盤B内の所定の文字パネルP内に注視点Gが留まり続けると、当該文字パネルPが示す文字(親文字ともいう)を、予め関連付けられた文字(関連文字ともいう)に切り替えて表示させるように構成されている。
この関連文字とは、親文字についての変換候補たる文字を意味する。例えば本実施形態では、文字データ格納部22には、親文字として「清音の平仮名文字」を示すデータが格納されており、関連文字として、その「濁音文字」、「半濁音文字」、「拗音文字」及び「小書き文字」等から選択される1種以上の文字データが格納されている。例えば、親文字としての清音の平仮名文字「つ」を示す文字パネルPには、濁音文字「づ」及び小書き文字「っ」がその関連文字として紐付けられている。
文字盤表示制御部23は、関連文字が紐付けられている文字パネルP内に注視点Gが留まり続けると、文字パネルP内に示されている親文字に代えて、その関連文字を所定の順番で1つずつ切り替えて表示する。そして全ての関連文字を切り替えて表示した後、文字パネルP内に親文字を再び表示する。すなわち文字盤表示制御部23は、文字パネルP内にある親文字とこれに関連する複数の関連文字とを、繰り返し次々と表示するように構成されている。なお、文字盤表示制御部23は、関連文字が紐付けられていない文字パネルP内に注視点Gが留まり続けても、文字パネルPが示す文字を切り替えない。
各関連文字は、文字パネルP内において、親文字が表示されていた位置と略同じ位置に次々と表示される。すなわち、文字パネルP内において関連文字は、その中心位置が親文字の中心位置に一致するようにして次々と表示される。
文字盤表示制御部23による親文字及び関連文字の切り替えは、一定の時間間隔T1(例えば1秒)毎に行なわれる。具体的には、文字パネルP内に注視点Gが留まってから時間間隔T1が経過すると、親文字に代えて1つ目の関連文字が表示され、その後一定の時間間隔T1毎に関連文字が次々と切り替えて表示される。
文字入力部24は、推定された注視点Gの位置に基づいて文字の入力を受け付け、これを入力文字データとして入力文字表示制御部25に出力するものである。具体的に文字入力部24は、1つの文字パネルP内に注視点Gが留まると、当該文字パネルP内に注視点Gが留まり続けている時間(すなわち注視時間)を計測する。そして文字入力部24は、計測した注視時間が所定の時間間隔T2(例えば1秒)に達すると、当該文字パネルPが示す文字の入力を受け付ける。すなわち文字入力部24は、文字パネルP内に注視点が留まり続けることで(言い換えれば、ユーザが文字パネルPを注視し続けることで)、当該文字パネルPが示す文字に対する入力操作を受け付ける。なお、入力の受け付けを決定する時間間隔T2は、前記した文字パネルP内の文字が切り替わる時間間隔T1と同じである。
また関連文字が紐付けられている文字パネルP内に注視点Gが留まり続ける場合、文字入力部24は、文字パネルPが示す文字が切り替わる度に、文字の入力を受け付け、既に入力を受け付けている文字がある場合には、この入力受付状態にある文字を更新(変更)する。より具体的には、文字入力部24は、親文字を示す文字パネルP内に注視点Gが所定時間間隔T1留まり続け、文字パネルPが示す文字が1つ目の関連文字(第1関連文字)に切り替わると、切替前に表示されていた親文字の入力を受け付ける。そして、文字入力部24は、第1関連文字を示す文字パネルP内に注視点Gが所定時間間隔T1留まり続け、文字パネルPが示す文字が次の関連文字(第2関連文字)に切り替わると、入力を受け付けている文字を、親文字から第1文字に更新(変更)する。つまり文字入力部24は、文字パネルP内に注視点Gが留まり続け、文字パネルPに示される文字が次々切り替わる場合、切替の直前に表示されていた文字を、入力を受け付けている文字とする。
そして文字入力部24は、文字の入力を受け付けている状態で、注視点Gが文字パネルP外に移動すると(あるいは、他の文字パネルPに移動すると)、当該受け付け中の文字の入力を確定させ、入力が確定したことを示す入力確定信号を入力文字表示制御部25に出力する。
入力文字表示制御部25は、メッセージパネルMを画面31に表示させると共に、入力された文字を、メッセージパネルM内に順に表示させるものである。このメッセージパネルMには、入力が確定した文字だけでなく、入力受付中(すなわち入力確定前)の文字も表示される。入力文字表示制御部25は、文字入力部24が文字の入力を受け付けると即座に、当該文字をメッセージパネルMに表示させる。そして入力文字表示制御部25は、文字入力部24が入力を受け付けている文字を更新すると即座に、即座にメッセージパネルM内に表示している入力受付中の文字の表示を更新する。入力文字表示制御部25は、入力確定後の文字と入力受付中の文字とで表示態様を異ならせてもよく、同じにしてもよい。
しかしてこの視線入力装置100は、意図しない文字をユーザが誤って入力してしまった際に、この入力操作を簡単に取り消しできるように、文字盤表示制御部23は、文字パネルP内に注視点Gが留まり続けると、当該文字パネルPを、受け付けた文字の入力を取り消すための取消ボタンQに切り替えて表示させる。
具体的にこの文字盤表示制御部23は、文字パネルP内に注視点Gが留まり続けると、当該文字パネルPが示す文字の入力が受け付けられて以降であって、文字の入力が確定する前に、当該文字パネルPを取消ボタンQを切り替えて表示させる。図4に示すように、文字盤表示制御部23は、文字パネルPと同じ大きさで、かつ同じ位置に取消ボタンQを表示させる。
関連文字が紐付けられている文字パネルP内に注視点Gが留まり続ける場合、文字盤表示制御部23は、文字パネルP内の文字を、予め関連付けられた全ての関連文字に切り替えて表示した後、文字パネルPを取消ボタンQに切り替えて表示させる。より具体的には、最後に切り替わった関連文字が表示されてから所定時間間隔T1が経過し、当該関連文字の入力が受け付けられる(すなわち、入力受付け中の文字が更新される)と同時に又は即座に、当該文字パネルPを取消ボタンQに切り替えて表示させる。
一方で、関連文字が紐付けられていない文字パネルP内に注視点Gが留まり続ける場合、文字盤表示制御部23は、注視点Gが留まり始めて所定時間間隔T2が経過して文字の入力が受け付けられると同時に又は即座に、当該文字パネルPを取消ボタンQに切り替えて表示させる。
そして、文字入力部24は、注視点Gが取消ボタンQ上に所定時間間隔T3(例えば1s)留まり続けると、直近で受付けた文字の入力の取り消しを決定する。当該所定時間間隔T3は、文字パネルP内の文字が切り替わる時間間隔T1と同じである。一方で、所定時間間隔T3が経過する前に注視点Gが取消ボタンQから外れる(すなわち他の文字パネルPに移動すると)、受け付けている文字の入力を確定させる。そして入力文字表示制御部25は、文字入力部24が文字の入力を取り消し決定すると同時に又は即座に、メッセージパネルMに表示している入力受付け中の文字を削除する。また文字盤表示制御部23は、文字入力部24が文字の入力を取り消し決定すると同時に又は即座に、取消ボタンQを元の文字パネルPに切り替えて表示させる。
<視線入力装置100の動作>
次にこのような構成の視線入力装置100の動作について、図5及び図6を用いて説明する。
(1)関連文字が紐付いていない文字パネルの入力動作及び入力取消動作
図5(a)に示すように、関連文字が紐付いていない文字パネルP(ここでは「な」の文字パネル)内に注視点Gが留まると、当該注視点Gが文字パネルP内に留まり続けている時間(注視時間)が計測される。この際、経過時間を示すインジケータ等が文字パネルP内に表示されてもよい。
計測している注視時間が所定の時間間隔T2に達すると、文字「な」の入力が受け付けられ、図5(b)に示すようにメッセージパネルMに文字「な」が表示される。そしてこれと同時に、「な」を示していた文字パネルPが取消ボタンQに切り替わる。取消ボタンQが表示されると同時に、注視点Gが取消ボタンQ上に留まり続ける時間(注視時間)の計測が開始される。この際、経過時間を示すインジケータ等が取消ボタンQ上に表示されてもよい。
図5(c)に示すように、取消ボタンQが表示されてから所定時間間隔T3が経過する前に、注視点Gが取消ボタンQから外れて他の文字パネルP(例えば「に」の文字パネル)に移動すると、受付中の文字「な」の入力が確定し、これと同時に取消ボタンQは元の文字パネルP(「な」を示す文字パネル)に切り替わる。
一方で、図5(d)に示すように、注視点Gが取消ボタンQ上に留まり続けて所定時間間隔T3が経過すると、受け付けていた文字「な」の入力が取り消され、メッセージパネルMから入力受付中の文字「な」が削除される。そしてこれと同時に、取消ボタンQは元の文字パネルP(「な」を示す文字パネル)に切り替わる。
(2)関連文字が紐付いている文字パネルの入力動作及び入力取消動作
まず図6(a)に示すように、関連文字が紐付いている文字パネルP(ここでは「は」の文字パネル)内に注視点Gが留まると、当該注視点Gが文字パネルP内に留まり続けている時間(注視時間)が計測される。この際、経過時間を示すインジケータ等が文字パネルP内に表示されてもよい。
計測している注視時間が所定の時間間隔T1に達すると、親文字である文字「は」の入力が受け付けられ、図6(b)に示すようにメッセージパネルMに文字「は」が表示される。そしてこれと同時に、文字パネルPが示す文字が、親文字「は」から1つ目の関連文字「ば」に切り替わり、文字パネルPに対する注視時間の計測が再び開始される。
ここで図6(c)に示すように、1つ目の関連文字「ば」に切り替わってから所定時間間隔T1が経過する前に、注視点Gが他の文字パネルP(例えば「ひ」の文字パネル)に移動すると、受付中の文字「は」の入力が確定し、これと同時に文字パネルPが示す文字が親文字「は」に切り替わる。
一方で、図6(d)に示すように、文字パネルPに対する注視時間が所定時間間隔T1に達すると、入力受付中の文字が「は」から「ば」に更新(又は変更)され、メッセージパネルMに表示されている入力受付中の文字「は」が、更新後の文字「ば」に切り替わる。そしてこれと同時に、文字パネルPが示す文字が、1つ目の関連文字「ば」から2つ目の関連文字「ぱ」に切り替わり、文字パネルPに対する注視時間の計測が再び開始される。
ここで図6(e)に示すように、2つ目の関連文字「ぱ」に切り替わってから所定時間間隔T1が経過する前に、注視点Gが他の文字パネルPに移動すると、受付中の文字「ば」の入力が確定し、これと同時に文字パネルPが示す文字が親文字「は」に切り替わる。
一方で、図6(f)に示すように、文字パネルPに対する注視時間が所定時間間隔T1に達すると、入力受付中の文字が「ば」から「ぱ」に更新され、メッセージパネルMに表示されている入力受付中の文字「ば」が、更新後の文字「ぱ」に切り替わる。そしてこれと同時に、「ぱ」を示していた文字パネルPが取消ボタンQに切り替わり、注視点Gが取消ボタンQ上に留まり続ける時間(注視時間)の計測が開始される。
ここで図6(g)に示すように、取消ボタンQが表示されてから所定時間間隔T3が経過する前に、注視点Gが取消ボタンQから外れて他の文字パネルPに移動すると、受付中の文字「ぱ」の入力が確定し、これと同時に取消ボタンQは、親文字を示す元の文字パネルP(「は」を示す文字パネル)に切り替わる。
一方で、図6(h)に示すように、注視点Gが取消ボタンQ上に留まり続けて所定時間間隔T3が経過すると、受け付けていた文字「ぱ」の入力が取り消され、メッセージパネルMから入力受付中の文字「ぱ」が削除される。そしてこれと同時に、取消ボタンQは元の文字パネルP(「は」を示す文字パネル)に切り替わる。
<本実施形態の視線入力装置100の効果>
このように構成された本実施形態の視線入力装置100によれば、ユーザが文字パネルPを見続けると、この文字パネルPが文字の入力を取り消すための取消ボタンQに切り替わるので、ユーザは、意図しない文字を誤って入力した際に視線を大きく移動させることなく(すなわち文字パネルPの外に視線を移動させることなく)、その誤った入力操作を簡単に取り消すことができる。
<その他の実施形態>
なお、本発明は前記実施形態に限られるものではない。
例えば前記実施形態の視線入力装置100は画面31内に文字盤Bの全体を固定して表示させるものであったが、これに限らない。他の実施形態の視線入力装置100は、ユーザの視線に応じて画面31内で文字盤Bが移動するものであってもよい。この視線入力装置100では、図7に示すように、ユーザは視線を動かすことにより文字盤Bを画面31内で移動させ、画面31内の所定位置に設定された選択位置Sに所望の文字パネルを合わせることで、文字を入力できるようにされてよい。この実施形態では、文字盤表示制御部23は、注視点推定部21から取得した注視点データに基づき、文字盤Bを画面31内で移動させる。具体的に文字盤表示制御部23は、図7(a)に示すように、注視点Gに最も近い文字パネルPが画面31内に選択位置Sに向かうように文字盤Bを移動させる。そして図7(b)に示すように、注視点Gが留まっている文字パネルPの中心が選択位置Sに一致すると、文字盤Bの移動が停止する。そしてこの状態で文字パネルPに対する注視時間が開始され、その後は前記実施形態の視線入力装置100と同様に文字の入力動作及び入力取消動作を行うことができる。
前記各実施形態では、文字盤B内に碁盤目状に等間隔に並ぶように複数の文字パネルPが配置されていたがこれに限らない。例えば、複数の文字パネルPが放射状に配置されていたり、一列に並ぶように配置されてもよい。
また前記実施形態では、取消ボタンQは、文字パネルPと同じ大きさで同じ位置に表示されたがこれに限らない。他の実施形態では、取消ボタンQは、切り替わり前の文字パネルPよりも面積が大きくなるように表示されてもよい。
前記各実施形態での視線検出手段1は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段1はディスプレイ3やコンピュータ本体2と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ3の上部等任意の場所に取り付けられてもよい。
前記各実施形態では、コンピュータ本体2は、メモリ202に記憶させたプログラムに基づいて、注視点推定部21等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体2は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、CPU201やその周辺機器が協働することにより、注視点推定部21等としての各機能を実現するようにしてもよい。
前記各実施形態において、コンピュータ本体2及びディスプレイ3はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ3は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。
また他の実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。
100・・・視線入力装置
1 ・・・視線検出手段
21 ・・・注視点推定部
23 ・・・文字盤表示制御部
24 ・・・文字入力部
31 ・・・画面
G ・・・注視点位置
P ・・・文字パネル

Claims (9)

  1. 文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、
    前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
    推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
    前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部とを備える視線入力装置。
  2. 前記文字入力部は、前記注視点が前記取消ボタン上に留まり続けると、受け付けた前記文字の入力の取り消しを決定する請求項1に記載の視線入力装置。
  3. 前記表示制御部は、前記文字の入力の取り消しが決定すると、前記取消ボタンを前記文字パネルに切り替えて表示させる請求項2に記載の視線入力装置。
  4. 前記表示制御部は、前記取消ボタンを、前記文字パネルと同じ大きさで、かつ前記文字パネルと同じ位置に表示させる請求項1に記載の視線入力装置。
  5. 前記表示制御部は、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルが示す文字を、予め関連付けられた他の文字に切り替えて表示させ、その後当該文字パネルを前記取消ボタンに切り替えて表示させ
    前記文字入力部は、前記文字パネルが示す文字が切り替わる度に、入力を受け付けている文字を更新する請求項1に記載の視線入力装置。
  6. 前記文字入力部は、前記注視点が前記文字パネル外に移動すると、受け付けている前記文字の入力を確定させる請求項5に記載の視線入力装置。
  7. 前記表示制御部は、前記文字パネル内に示す文字を予め関連付けられた全ての文字に切り替えて表示した後、当該文字パネルを前記取消ボタンに切り替えて表示させる請求項5又は6に記載の視線入力装置。
  8. 前記文字パネルに初めに示されている文字が清音の仮名文字であり、これに切り替えて表示される前記他の文字が、濁音の仮名文字、半濁音の仮名文字、拗音の仮名文字及び小書きの仮名文字から選択される1種以上である請求項5に記載の視線入力装置。
  9. 文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のプログラムであって、
    前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
    推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
    前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部としての機能をコンピュータに発揮させる視線入力装置用のプログラム。
JP2022119312A 2022-07-27 2022-07-27 視線入力装置及び視線入力装置用のプログラム Active JP7842405B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022119312A JP7842405B2 (ja) 2022-07-27 2022-07-27 視線入力装置及び視線入力装置用のプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022119312A JP7842405B2 (ja) 2022-07-27 2022-07-27 視線入力装置及び視線入力装置用のプログラム

Publications (2)

Publication Number Publication Date
JP2024016984A JP2024016984A (ja) 2024-02-08
JP7842405B2 true JP7842405B2 (ja) 2026-04-08

Family

ID=89807190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022119312A Active JP7842405B2 (ja) 2022-07-27 2022-07-27 視線入力装置及び視線入力装置用のプログラム

Country Status (1)

Country Link
JP (1) JP7842405B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020196A (ja) 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
JP2018084875A (ja) 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
WO2019167052A1 (en) 2018-02-27 2019-09-06 Yogesh Kumar Meena A system for augmentative and alternative communication for people with severe speech and motor disabilities

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH062146B2 (ja) * 1987-03-30 1994-01-12 竹井機器工業株式会社 意志伝達装置
JPH1173274A (ja) * 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020196A (ja) 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
JP2018084875A (ja) 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
WO2019167052A1 (en) 2018-02-27 2019-09-06 Yogesh Kumar Meena A system for augmentative and alternative communication for people with severe speech and motor disabilities

Also Published As

Publication number Publication date
JP2024016984A (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
KR101695174B1 (ko) 전자장치에 수신문자입력을 위한 인체공학적 움직임 감지
JP5199459B2 (ja) ユーザの入力をリアルタイムで予測するマンマシンインターフェース
Kumar et al. Tagswipe: Touch assisted gaze swipe for text entry
US9983666B2 (en) Systems and method of providing automatic motion-tolerant calibration for an eye tracking device
US20200192567A1 (en) Virtual keyboard text entry method optimized for thumb typing, using partial word completion key entry values
US9176668B2 (en) User interface for text input and virtual keyboard manipulation
JP4084582B2 (ja) タッチ式キー入力装置
EP3175345B1 (en) Dynamic calibrating of a touch-screen-implemented virtual braille keyboard
US10620748B2 (en) Method and device for providing a touch-based user interface
US20150261310A1 (en) One-dimensional input system and method
Morimoto et al. Context switching for fast key selection in text entry applications
JP2014142882A (ja) 視線入力装置
Urbina et al. Alternatives to single character entry and dwell time selection on eye typing
JP7727978B2 (ja) 視線入力装置及び視線入力装置用のプログラム
JP7842405B2 (ja) 視線入力装置及び視線入力装置用のプログラム
Sarcar et al. Eyeboard++ an enhanced eye gaze-based text entry system in Hindi
KR102018003B1 (ko) 중증 환자를 위한 문자 입력자판
Yamada et al. One-handed character input method without screen cover for smart glasses that does not require visual confirmation of fingertip position
JP7644478B2 (ja) 文字入力装置、文字入力システム、文字入力方法及び文字入力プログラム
KR102065532B1 (ko) 한글 입력용 안구인식 키보드
KR20210025258A (ko) 중증 환자를 위한 일문 입력자판
JP2024057674A (ja) 視線入力装置及び視線入力装置用のプログラム
CN110908522A (zh) 一种适用于新型触发方式的高效能汉字输入法以及输入系统
Cachapa HexGaze: Hexagonal Virtual Keyboard with Word Prediction for Eye Typing
Mei et al. Continuous-Touch Text Entry for AR

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250421

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20250421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20250421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20260115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260318

R150 Certificate of patent or registration of utility model

Ref document number: 7842405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150