JP2013190862A - 入力装置、入力支援方法及びプログラム - Google Patents

入力装置、入力支援方法及びプログラム Download PDF

Info

Publication number
JP2013190862A
JP2013190862A JP2012054920A JP2012054920A JP2013190862A JP 2013190862 A JP2013190862 A JP 2013190862A JP 2012054920 A JP2012054920 A JP 2012054920A JP 2012054920 A JP2012054920 A JP 2012054920A JP 2013190862 A JP2013190862 A JP 2013190862A
Authority
JP
Japan
Prior art keywords
finger
proximity
display
display screen
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012054920A
Other languages
English (en)
Other versions
JP5907762B2 (ja
Inventor
Masatoshi Nakao
雅俊 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012054920A priority Critical patent/JP5907762B2/ja
Priority to US14/236,097 priority patent/US20140176510A1/en
Priority to PCT/JP2012/007026 priority patent/WO2013136391A1/ja
Publication of JP2013190862A publication Critical patent/JP2013190862A/ja
Application granted granted Critical
Publication of JP5907762B2 publication Critical patent/JP5907762B2/ja
Priority to US15/387,822 priority patent/US9891753B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援する。
【解決手段】入力装置1では、タッチパネル15は、表示部13の表示画面に対する指の近接を検知する。近接座標抽出部100は、表示画面に対する指の近接座標を抽出する。表示位置算出部120は、抽出された近接座標を基に、指の鉛直下方向における表示画面の位置を算出する。画像合成部400は、算出された表示画面の位置にタッチ操作の対象となる項目を示すポインタPTを表示する。
【選択図】図3

Description

本発明は、タッチパネルを介して入力操作を受け付ける入力装置、入力支援方法及びプログラムに関する。
近年、ユーザにとって直感的な操作が可能なタッチパネルが、携帯電話機を含む電子機器に対する入力操作を受け付けるデバイスとして用いられている。タッチパネルは電子機器の画面に対する入力操作と電子機器の処理結果の表示処理とを同一の画面内にて行うためのデバイスとして知られており、ユーザの入力操作において、タッチパネルに対する電子機器が処理可能な精度とユーザが期待する入力精度とのギャップをいかに埋めるかが重要な課題である。
電子機器が処理可能な精度とユーザが期待する入力精度とのギャップについて、図15(a)及び(b)を参照して説明する。図15(a)はタッチパネルを搭載した電子機器の画面にニュースの見出しの一覧が表示されている様子を示す図であり、図15(b)はタッチパネルを搭載した電子機器の画面上にて文字を入力する様子を示す図である。
図15(a)に示すように、ユーザは、画面上に表示されたニュースの見出しの小さな文字を読むことはできる。ところが、ユーザがハイパーリンクされたニュースの見出しのテキストをボタンとして押下する場合又は図15(b)に示すソフトウェアキーボードに文字を入力する場合では、指の大きさと画面に表示されているボタンの大きさとの差が大きいため、所望のボタンを押下することが難しいことがある。
また、タッチパネルの技術は年々進化しており、ユーザの入力操作としてタッチ操作を検知するタッチパネルの他に、ユーザの入力操作としてユーザの指の近接を検知するタッチパネルの開発が進んでいる。指の近接を検知するタッチパネルについて、例えば特許文献1の非接触型ユーザ入力装置が知られている。
特許文献1の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む構成である。送信電極と受信電極との各交差点ではコンデンサが形成され、ユーザの指先の接近に応じてコンデンサが形成されるため、指先の接近程度に応じてコンデンサの静電容量が変化する。非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。
特開2002−342033号公報
しかしながら、上述した特許文献1では、静電容量の変化を基にタッチパネルと指との距離が認識可能であることは記述されているが、図15(a)及び(b)を参照して説明した電子機器が処理可能な精度とユーザが期待する入力精度とのギャップの課題については具体的に想定されていないと考えられる。
このギャップに関する課題は、ユーザの入力操作としてタッチ操作を検知するタッチパネルにおいても、ユーザの入力操作としてユーザの指の近接を検知するタッチパネルにおいても解決されていないと考えられる。
本発明は、上述した従来の事情に鑑みてなされたものであり、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援する入力装置、入力支援方法及びプログラムを提供することを目的とする。
本発明は、入力装置であって、表示画面にデータを表示する表示部と、前記表示画面に対する指の近接を検知するタッチパネルと、前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出する表示位置算出部と、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示する表示制御部と、を備える。
また、本発明は、入力装置であって、表示画面にデータを表示する表示部と、前記表示画面に対する指の近接を検知するタッチパネルと、前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示する表示制御部と、を備える。
また、本発明は、表示画面への入力支援方法であって、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を備える。
また、本発明は、表示画面への入力支援方法であって、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を備える。
また、本発明は、表示画面への入力支援方法のプログラムであって、表示画面にデータを表示する表示部を含むコンピュータに、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を実現させる。
また、本発明は、表示画面への入力支援方法のプログラムであって、表示画面にデータを表示する表示部を含むコンピュータに、前記表示画面に対する指の近接を検知するステップと、前記検知された前記表示画面に対する指の近接座標を抽出するステップと、前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を実現させる。
上述した構成によれば、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援することができる。
本発明によれば、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援することができる。
第1の実施形態の概要を示す説明図、(a)指の近接を検知し、表示画面に表示されているボタン上にポインタを表示する様子を示す説明図、(b)指を右方向に移動させた場合のポインタの移動の様子を示す説明図、(c)指を右下方向に移動させた場合のポインタの移動の様子を示す説明図 入力装置のハードウェア構成を示すブロック図 入力装置の機能的構成を示すブロック図 指の鉛直下方向の位置がボタンとボタンとの間又はボタンの端部である場合にポインタの表示予定位置を補正する様子を示す説明図 (a)ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図、(b)ポインタの表示予定位置を補正するか否かを判定するための5つのケースの例を示す説明図 ポインタが表示されている状態において、タッチ操作の対象として仮確定されたボタンの検知範囲を示す説明図 ポインタが表示されている状態において、指の鉛直下方向への急激な移動によってポインタが表示されているボタンを変更させるタッチ操作がなされた場合に、タッチ操作の対象となるボタンとして、ポインタが表示されていたボタンを選択する様子を示す説明図 第1の実施形態の入力装置の動作を説明するフローチャート 第2の実施形態の概要を示す説明図 [G]のキーの専用検知範囲と共有検知範囲とを示す説明図 左右方向及び上下方向において各キーが接触して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す図 (a)左右方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図、(b)上下方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図 (a)ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図、(b)指の鉛直下方向におけるタッチパネル上の位置を補正するか否かを判定するための5つのケースの例を示す説明図 第2の実施形態の入力装置の動作を説明するフローチャート (a)タッチパネルを搭載した電子機器の画面にニュースの見出しの一覧が表示されている様子を示す図、(b)タッチパネルを搭載した電子機器の画面上にて文字を入力する様子を示す図
以下、本発明に係る入力装置、入力支援方法及びプログラムの各実施形態について、図面を参照して説明する。本発明に係る入力装置は、データを表示画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末である。以下、本発明に係る入力装置はスマートフォンとして説明するが、本発明に係る入力装置は上述した各電子機器に限定されない。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、入力装置の表示画面(例えば、LCD(Liquid Crystal Display))に表示されるアプリケーション毎のコンテンツの一部を選択可能とするための項目、又はコンテンツに対する所定の処理を起動可能とするための項目を「ボタン」と定義する。所定の処理は、例えば現在表示されているコンテンツに関連した内容を別画面にて表示する処理である。
「ボタン」は、アプリケーションのコンテンツとして例えばニュースの見出しが表示されている場合では、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像(例えばアイコン又はキーボードのキー)でも良いし、又は、文字列と画像との組合せでも良い。なお、「ボタン」は入力装置において起動しているアプリケーションに応じて定められる。
また、タッチパネル上の水平面を表す2軸をx軸及びy軸とし、タッチパネルの鉛直方向を表す軸をz軸とする。
更に、以下の説明において、「座標」は、タッチパネルの水平面上の位置、即ちx座標及びy座標の組合せにより定まる座標(x、y)と、この座標(x、y)とタッチパネルと指との間の鉛直方向における距離、即ち、タッチパネルからの指の高さ(z)とを用いた座標(x、y、z)との両方を含むとする。
更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置にかざす又はタッチパネルの面上から離間した空間上の位置からタッチパネルの面に対して略平行にスライドする操作を、「ホバー操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、タッチ操作となる。なお、ホバー操作において指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応する距離であることが好ましい。
更に、以下の説明において、ユーザが指を入力装置のタッチパネルに対して鉛直下方向に下ろした場合に、タッチ操作の対象となるボタンを予め決定し、ユーザに対して、タッチ操作の対象となるボタンを明確に認知させる状態を、「仮確定」と定義する。
(第1の実施形態の概要)
第1の実施形態の概要について、図1を参照して説明する。図1は、第1の実施形態の概要を示す説明図である。図1(a)は、指の近接を検知し、表示画面に表示されているボタン上にポインタを表示する様子を示す説明図である。図1(b)は、指を右方向に移動させた場合のポインタの移動の様子を示す説明図である。図1(c)は、指を右下方向に移動させた場合のポインタの移動の様子を示す説明図である。
第1の実施形態では、入力装置1は、ユーザのホバー操作によって指FNがタッチパネル15に近接し、且つ、指FNのタッチパネル15に対する近接状態の継続時間が予め規定された所定時間TMを超えたことを検知すると、指FNの鉛直下方向における表示画面DPの位置に、タッチ操作の対象として仮確定されたボタンであることを表すインジケータとしてのポインタPTを表示する(図1(a)参照)。
本実施形態では、入力装置1は、ユーザのタッチ操作の対象として仮確定するボタンを、表示画面DPにおいてポインタPTを用いて表示する。更に、入力装置1は、ポインタPTが表示画面DPに表示されている状態において、仮確定されていたボタンがユーザのタッチ操作によって実際にタッチされた場合には、仮確定されていたボタンをタッチ操作の対象として確定し、確定されたボタンに応じた処理を実行する。
例えば図1(a)では、所定時間TMを超える時間の間において指FNの近接状態が維持され、指FNの鉛直下方向における表示画面DPの位置が、[a]トピックスの5番目のニュースの見出しのハイパーリンクされた文字列「ナ」であるとする。入力装置1は、この見出しの文字列「ナ」にポインタPTを表示し、タッチ操作の対象として仮確定したことをユーザに認知させる。
また、図1(b)に示すように、ポインタPT自身が示すボタンが明確になるようにポインタPTが表示された状態において、指FNが同一のボタン上を右方向に移動した場合には、ポインタPTは、同一のボタン内、即ち、[a]トピックスの5番目のニュースの見出しのハイパーリンクされた文字列内を連続的に移動する。例えば図1(b)では、ポインタPTが文字列「ナ」の位置から文字列「ヌ」の位置に移動する。
また、図1(c)に示すように、ポインタPT自身が示すボタンが明確になるようにポインタPTが表示された状態において、指FNが或るボタン上から他のボタン上に移動(例えば、右下方向)した場合には、ポインタPTは、同一のボタンではない他のボタン、即ち[a]トピックスの5e番目のニュースの見出しのハイパーリンクされた文字列から、同トピックスの6番目のニュースの見出しのハイパーリンクされた文字列に連続的に移動する。例えば図1(c)では、ポインタPTが文字列「ナ」の位置から文字列「イ」の位置に移動する。
ここで、図4を参照して後述するように、ポインタPTは連続的に移動するだけでなく、離散的に移動することもある。離散的な移動とは、ポインタPTが或るボタンからそのボタンに隣接するボタンとの境目を越えて他のボタン(隣接するボタン)に移動することを表す。例えば、ポインタPTは、指の鉛直下方向における座標(x、y)が或るボタンと他のボタンとの間の位置であるときには両ボタン間の中間位置には表示されずに、或るボタンから他のボタンに直接ジャンプするように離散的に移動して表示される(図4参照)。
(各実施形態に共通する入力装置のハードウェア構成)
各実施形態に共通する入力装置1のハードウェア構成について、図2を参照して説明する。図2は、入力装置1のハードウェア構成を示すブロック図である。
図2に示す入力装置1は、プロセッサ11、ROM(Read Only Memory)12a、RAM(Random Access Memory)12b、記憶部12c、表示部13、タッチパネルドライバ14、タッチパネル15、電源制御部16、及びアンテナAntが接続された通信制御部17を含む構成である。プロセッサ11、ROM12a、RAM12b、記憶部12c、表示部13、タッチパネルドライバ14、電源制御部16及び通信制御部17は、バス19を介して相互にデータを入出力可能に接続されている。
プロセッサ11は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、入力装置1の総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ11は、ROM12aに格納されたプログラム及びデータを読み込んで、後述の各実施形態における種々の処理を行う。
ROM12aは、入力装置1にインストールされているアプリケーション500(図3参照)、並びに、プロセッサ11が図3に示す各部(後述参照)における処理を実行するためのプログラム及びデータを格納している。
RAM12bは、プロセッサ11の動作におけるワークメモリとして動作する。
記憶部12cは、入力装置1に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、入力装置1が取得したデータを格納する。なお、アプリケーション500は、記憶部12cに格納されても良い。また、記憶部12cは、ハードディスク又はフラッシュメモリにより構成されず、例えば、USB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)により構成されても良い。
表示部13は、例えば表示画面を有するLCD又は有機EL(Electroluminescence)を用いて構成され、プロセッサ11又はタッチパネルドライバ14から出力されたデータを表示画面に表示する。
タッチパネルドライバ14は、タッチパネル15の動作を制御してタッチパネル15に対するユーザの入力操作を監視する。例えば、タッチパネルドライバ14は、タッチパネル15がユーザの指のタッチ操作による接触又はホバー操作による近接を検知すると、接触座標(x、y)又は近接座標(x、y、z)を取得し、接触座標(x、y)又は近接座標(x、y、z)の情報をプロセッサ11、RAM12b又は記憶部12cに出力する。以下、接触座標(x、y)を「タッチ座標(x、y)」という。
タッチパネル15は、表示部13の表示画面上に搭載され、ユーザの指がタッチパネル15の水平面上をタッチ(操作)したことを検知する。また、タッチパネル15は、ユーザの指がホバー操作、即ちタッチパネル15にタッチせずに指を浮かせる操作によって指がタッチパネル15に近接したことを検知する。
なお、タッチパネル15の具体的構成は例えば上述した特許文献1に詳細に開示されているため説明を省略するが、タッチパネル15は、ホバー操作における指の高さ(z座標の値)が所定値以下、又は指の高さに応じて定まる静電容量が所定値以上となる場合に、指の近接(状態)を検知する。
電源制御部16は、入力装置1の電力供給源(例えばバッテリ)を用いて構成され、タッチパネル15への入力操作に応じて、入力装置1の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部16は、電力供給源から図2に示す各部に電力を供給して入力装置1を動作可能にする。
通信制御部17は、無線通信回路を用いて構成され、送受信用のアンテナAntを介して、プロセッサ11により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信装置から送信されたデータを受信する。また、図2では、本実施形態を含む各実施形態の説明に必要となる構成が図示されているが、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを更に含む構成でも良い。
(各実施形態に共通する入力装置の機能的構成)
次に、各実施形態に共通する入力装置1の機能的構成について、図3を参照して説明する。図3は、入力装置1の機能的構成を示すブロック図である。
図3に示す入力装置1は、近接検知部10、タッチ検知部20、画面表示部30、メモリ40、近接座標抽出部100、近接時間計測部110、表示位置算出部120、表示位置補正部130、タッチ座標抽出部200、確定操作判定部210、動作状態管理部300、画像合成部400、アプリ画面生成部410、画像生成部420及びアプリケーション500を含む構成である。
近接検知部10は、ホバー操作によってユーザの指がタッチパネル15に近接したことを検知する。近接検知部10は、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部100に出力する。
タッチ検知部20は、タッチ操作によって指がタッチパネル15にタッチしたことを検知する。タッチ検知部20は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200に出力する。なお、近接検知部10とタッチ検知部20とはタッチパネル15を用いて構成可能であり、図3では近接検知部10とタッチ検知部20とは別々の構成としているが、両者をタッチパネル15として一纏めに構成しても良い。
画面表示部30は、図2に示す表示部13に対応し、後述する画像合成部400によって生成されたポインタPTとアプリケーション用の画面(以下、「アプリ画面」という)との合成画像データを画像合成部400から取得して表示画面に表示する。
メモリ40は、図2に示す記憶部12cに対応し、少なくとも仮確定ボタン情報12c1及びボタン規定情報12c2を格納する。仮確定ボタン情報12c1は、表示画面に表示されたアプリ画面(後述参照)に表示されているボタンのうち、タッチ操作の対象として仮確定されたボタンを示す情報であって、言い換えれば、現在ポインタPTが表示されているボタンを示す情報である。
ボタン規定情報12c2は、アプリケーション500にて用いられるアプリ画面における各々のボタンの表示画面上における座標(x、y)を示す情報である。なお、メモリ40は、図2に示すRAM12bに対応する構成でも良い。この場合、後述する近接座標抽出部100、表示位置算出部120又はタッチ座標抽出部200により抽出又は算出された座標、位置に関する情報もメモリ40に格納されても良い。なお、図3では、図面の複雑化を避けるために、近接座標抽出部100、表示位置算出部120及びタッチ座標抽出部200からメモリ40への矢印の図示を省略している。
近接座標抽出部100は、近接検知部10から出力された近接通知を近接時間計測部110に出力すると共に、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する。近接座標(x、y、z)のうち、x成分及びy成分はタッチパネル15の水平面上における位置を表す座標値であって、z成分は指とタッチパネル15との間の距離、即ち、指のタッチパネル15に対する高さを表す座標値である。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
近接時間計測部110は、時計(タイマ)機能を含み、近接座標抽出部100から出力された近接通知を基にして計時を開始する。言い換えれば、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間、即ち、指の近接状態の継続時間をカウントする。更に、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えているか否かを判定する。
近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。また、近接時間計測部110は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を動作状態管理部300に出力する。
ポインタ表示対象の選択状態は、指がタッチパネル15上にタッチ操作しておらず、ホバー操作によってタッチパネル15上を近接している状態を表す。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、ポインタPTを表示するためのタッチパネル15上の位置(x、y)を算出する。ここで、ポインタPTを表示するためのタッチパネル15上の位置(x、y)は、指が鉛直下方向に移動した場合にタッチパネル15が検知する位置、即ち、ポインタPTの表示予定位置に相当する。
更に、表示位置算出部120は、ポインタPTを表示するためのタッチパネル15上の位置(x、y)の算出と同時に、ポインタPTの表示位置の補正が必要か否かを表示位置補正部130に問い合わせる。なお、この問い合わせの際、表示位置算出部120は、算出されたタッチパネル15上の位置(x、y)の情報を、ポインタPTの表示予定位置の情報として表示位置補正部130に出力する。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する。所定の距離とは、タッチ操作の対象として仮確定されるポインタPTの表示予定位置が明確であるとユーザに認知させるために、ポインタPTの表示予定位置が補正される必要があるか否かを定めるために設けられた距離である。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていると判定した場合には、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であるか曖昧な位置であるかを判定する。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であると判定した場合には、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置をそのまま表示位置算出部120に返す。なお、表示位置算出部120は、表示位置補正部130より返されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき難い曖昧な位置であると判定した場合には、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を、ボタン規定情報12c2を参照して補正する。
ここで、表示位置補正部130のポインタPTの表示予定位置の補正について、図4並びに図5(a)及び(b)を参照して説明する。図4は、指の鉛直下方向の位置がボタンとボタンとの間又はボタンの端部である場合にポインタPTの表示予定位置を補正する様子を示す説明図である。図5(a)は、ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図である。図5(b)は、ポインタPTの表示予定位置を補正するか否かを判定するための5つのケースの例を示す説明図である。
図4に示す表示画面の拡大図EDPでは、3つのボタンB1,B2,B3が縦方向に対して平行に配置されているため、横方向の座標xの値ではなく縦方向の座標yの値を基にしたポインタPTの表示予定位置の補正について説明する。縦方向における表示位置CU1〜CU23は、それぞれタッチパネル15において予め規定されている縦方向の座標yの検知位置に対応しており、表示位置補正部130が補正しない場合のポインタの表示予定位置を表す。なお、各表示予定位置の間隔は、タッチパネル15の縦方向における電極間距離でも良いし、表示画面の画素間距離でも良い。
図4では、表示位置CU1は、ボタンB1の端部に対応するため、表示位置補正部130が補正しなければ、ポインタPTはボタンB1の端部に表示されてしまう。ポインタPTが実際にボタンB1の端部を示すと、ポインタPTの位置がボタンB1の内部又は外部のいずれであるかが分かりにくい位置となる。このため、ユーザは、ポインタPTの位置をタッチ操作するボタンが何であるかを明確に認知することが困難となり、このままタッチ操作して良いのかどうか迷ってしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU1に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU1に対応するボタン(図4ではボタンB1)の縦方向の例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU1に対応するボタン(図4ではボタンB1)の縦方向の略中央部の値に限定されず、他には、ボタンB1の端部側であってもポインタPTの実際の表示位置がボタンB1内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB1の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
図4では、表示位置CU8は、ボタンB1とボタンB2との間の中間位置に対応するため、表示位置補正部130が補正しなければ、ポインタPTが表示される予定のボタンがボタンB1であるのか、ボタンB2であるのか、又はそのどちらのボタンでもないのかが不明となり、ユーザに違和感を与えてしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU8に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU8に最も近いボタン(図4ではボタンB2)の縦方向の例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU8に対応するボタン(図4ではボタンB2)の縦方向の略中央部の値に限定されず、他には、ボタンB2の端部側であってもポインタPTの実際の表示位置がボタンB2内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB2の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
図4では、表示位置CU15は、ボタンB2とボタンB3との間の中間位置に対応するため、表示位置補正部130が補正しなければ、ポインタPTが表示される予定のボタンがボタンB2であるのか、ボタンB3であるのか、又はそのどちらのボタンでもないのかが不明となり、ユーザに違和感を与えてしまう。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置のうち縦方向の座標yの値が例えば図4に示す表示位置CU15に相当する場合、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)のうち縦方向の座標yの値を、表示位置CU15に最も近いボタン(図4ではボタンB2)の縦方向の長さの例えば略中央部の値に補正する。但し、補正後の座標yの値は、表示位置CU15に対応するボタン(図4ではボタンB3)の縦方向の略中央部の値に限定されず、他には、ボタンB3の端部側であってもポインタPTの実際の表示位置がボタンB3内ということがユーザにとって認知可能と考えられる位置であれば良い。これにより、表示位置補正部130は、ポインタPTをボタンB2の略中央部に表示できるため、ユーザのタッチ操作時にどのボタンがタッチ操作の対象となるかを明確に認知させることができる。
なお、図4において、表示位置CU1の2つ及び4つ下の各表示位置、表示位置CU8の3つ下の表示位置、表示位置CU15の3つ下及び5つ下の各表示位置から各ボタンへの実線矢印の図示は省略されているが、これは、それぞれの表示位置にポインタPTが実際に表示されてもユーザに対してポインタPTの表示位置を明確に認知させることができると考えられるため、敢えて図示を省略しているものである。
次に、図5(a)及び(b)を参照して、表示位置補正部130のポインタPTの表示位置の補正について説明する。図5(a)では、上側にボタンB1、下側にボタンB2が並んで表示されている例が示されており、ボタンB1の補正対象ゾーン(ハッチング部参照)が図示されている。補正対象ゾーンとは、補正対象ゾーンが割り当てられたボタン毎に予め設けられており、ボタンの端部からそれぞれ例えば1mmの範囲であり(ハッチング部参照)、後述の実施形態においても同様である。但し、補正対象ゾーンの範囲は1mmに限定されない。なお、補正対象ゾーンの値はボタン毎に異なる値でも良く、ボタン規定情報12c2にボタンに関連付けられて保存される。
ここで、表示位置補正部130がポインタPTの表示予定位置を補正するか否かについては、ポインタPTの表示予定位置に応じて、例えば5つのケース(Bc1,Bc2,Bc3,Bc4,Bc5)が考えられる。図5(a)では、5つのケースに対応したポインタPTの表示予定位置が示されている。図5(b)では、各ケースに対応して、表示位置補正部130がポインタPTの表示予定位置を補正するか否か、及び、表示位置算出部120がタッチ操作の対象となるボタンとして仮確定するか否かが示されている。
第1番目のケースBc1では、ポインタPTの表示予定位置が明らかにボタンB1内であり、ポインタPTが実際に表示される位置として明確であると考えられるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされる。
第2番目のケースBc2では、ポインタPTの表示予定位置が明らかにボタンB1外であり、ポインタPTの表示予定位置を基準に所定の距離以内にボタンB1が無いことが明らかであるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされない。
第3番目のケースBc3では、ポインタPTの表示予定位置がボタンB1内であり、且つ、補正対象ゾーン内であるため、ポインタPTが実際に表示された場合にはボタンB1の端部に近い場所となるため、ユーザに対してそのボタンB1をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc3では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120による仮確定もなされる。
第4番目のケースBc4では、ポインタPTの表示予定位置がボタンB1外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンが無いため、ポインタPTが実際に表示された場合にはボタンB1外となるがボタンB1の端部に近い位置に表示されることになり、最も近い位置にあるボタンB1をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc4では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120により、タッチ操作の対象としてボタンB1が仮確定される。
第5番目のケースBc5では、ポインタPTの表示予定位置がボタンB1外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンB2があるため、ポインタPTが実際に表示された場合には、ユーザがタッチ操作しようとするボタンがボタンB1又はボタンB2のどちらであるのかが曖昧になると考えられる。このため、ケースBc5では、表示位置補正部130により、ポインタPTの表示予定位置がボタンB1の内部に補正され、更に、表示位置算出部120により、タッチ操作の対象としてボタンB1が仮確定される。
タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を動作状態管理部300に出力する。また、タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を基に、指のタッチパネル15に対するタッチ座標(x、y)を算出して抽出する。タッチ座標抽出部200は、抽出されたタッチ座標(x、y)の情報を確定操作判定部210に出力する。
確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてポインタPTが既に表示されているか否かを動作状態管理部300に問い合わせる。タッチ座標抽出部200は、動作状態管理部300からポインタPTが既に表示されている旨のポインタ表示済み通知を取得した場合、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であるか否かを判定する。
更に、確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であると判定した場合には、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かを判定する。
本実施形態を含む各実施形態では、タッチパネル15により検知される静電容量の変化量に予め所定の閾値(例えば50[μF])が設けられている。指の鉛直下方向における急激な移動は、所定時間(例えば100[msec])の間に静電容量が「100[μF]」から「200[μF]」に変化するような移動、即ち、静電容量の変化量の閾値を超えるようなタッチ操作である。
ここで、タッチ操作の対象として仮確定されたボタンの検知範囲について、図6を参照して説明する。図6は、ポインタPTが表示されている状態において、タッチ操作の対象として仮確定されたボタンの検知範囲を示す説明図である。
図6に示す表示画面の拡大図EDPにおいて、従来技術におけるタッチ操作では、ポインタPTが表示されているニュースの見出しがハイパーリンクされている文字列をタッチする場合の検知範囲は検知範囲D1(ボタンB1の範囲)であった。
本実施形態を含む各実施形態におけるタッチ操作では、ポインタPTが表示されているニュースの見出しの文字列をタッチする場合の検知範囲は、検知範囲D1だけでなく、所定の検知範囲D2も含まれる。即ち、ポインタPTが表示されているニュースの見出しの文字列をタッチする場合の検知範囲が拡大されている。即ち、検知範囲D2は、ユーザがタッチ操作する場合に容易にタッチすることができるために設けられたサイズである。これにより、確定操作判定部210は、ユーザのタッチ操作の対象として仮確定されたボタンがタッチ操作を困難にさせるほどの小さいボタンであったとしても、検知範囲D2に対するタッチ操作を、ポインタPTが表示していたボタンのタッチ操作として判定することができる。
検知範囲D2の形状及び範囲(座標値)は確定操作判定部210の動作又はボタン規定情報12c2において予め固定値として規定されており、図6では検知範囲D2の形状は円状である。ただし、検知範囲D2は、円状に限定されず、例えば楕円でも矩形でも良い。従って、確定操作判定部210は、タッチ操作されたタッチパネル15上の位置が検知範囲D2の範囲であった場合には、タッチ操作の対象として、ポインタPTが表示されていたボタンを選択すると判定する。
なお、検知範囲D2は確定操作判定部210の動作において予め固定値として規定されていると説明したが、固定値に限定されない。例えば、表示画面DPに表示されている文字列がユーザのタッチ操作に対して十分な大きさを有する場合には、検知範囲D2が小さくても又は検知範囲D2が存在しなくても検知範囲D1(ボタンB1)の大きさだけで十分にタッチ操作の誤操作をさせないようにすることもできる。
一方、表示画面DPに表示されている文字列が小さい場合には、検知範囲D2が固定値であると、ボタンB1の検知範囲が検知範囲D2の分だけ拡大されても、タッチ操作の誤操作をさせてしまうことも考えられる。従って、確定操作判定部210は、表示画面DPに表示されている文字列(ボタンB1)の大きさに応じて、検知範囲D2を動的に変更しても良い。これにより、確定操作判定部210は、表示画面DPに表示されている文字列(ボタンB1)に対するタッチ操作の誤操作をさせずに、快適な操作感を一層与えることができる。
次に、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かの判定について、図7を参照して説明する。図7は、ポインタPTが表示されている状態において、指FNの鉛直下方向への急激な移動によってポインタPTが表示されているボタンを変更させるようなタッチ操作がなされた場合に、タッチ操作の対象となるボタンとして、ポインタPTが表示されていたボタンを選択する様子を示す説明図である。
図7では、指FNの鉛直下方向におけるタッチパネル15上の位置がボタンB1とボタンB2との中間位置を表す境界線MDよりボタンB1側であるため、表示位置補正部130は、ポインタPTの表示予定位置を、指FNの鉛直下方向におけるタッチパネル15上の位置からボタンB1の略中央部に補正する(図4参照)。
ここで、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作がなされたとする。例えば、ユーザがボタンB1をタッチしようとタッチ操作を試みた場合に、結果的に、指がボタンB1とボタンB2との中間位置を示す境界線MDを超えてボタンB2に近い位置をタッチしてしまった場合が該当する。このタッチ操作は、図7では、近接状態にある指FNの近接座標の位置から境界線MDよりボタンB2側の位置に向かってなされたタッチ操作(指FNからの実線矢印参照)であることが示されている。
元々、このタッチ操作(指FNからの実線矢印参照)は、タッチ座標がボタンB2ではなくボタンB1とボタンB2との間であるため、従来技術では無効なタッチ操作と考えられる。本実施形態を含む各実施形態では、図4に示したように、タッチ座標のy座標の値がボタンB1よりボタンB2の近くであるために、ボタンB2がタッチ操作の対象として確定されてしまう。従って、図7に示すタッチ操作(指FNからの実線矢印参照)は、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作といえる。
従って、指FNの鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンB1を変更させてボタンB2を選択させるようなタッチ操作がなされた場合、確定操作判定部210は、タッチ操作の対象として、指FNが実際にタッチした位置に対応して表示予定位置が補正されるボタンB2ではなく、ポインタPTが表示されていたボタンB1を優先的に選択すると判定する。
また、確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を基に、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在するか否かを判定する。確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在すると判定した場合に、タッチ座標(x、y)の位置に表示されているボタンを、タッチ操作の対象として確定する。
確定操作判定部210は、タッチ操作の対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。
動作状態管理部300は、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を近接時間計測部110より取得した場合に、入力装置1の動作状態を、「ポインタ表示対象の選択状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及び近接座標(x、y、z)の情報をメモリ40又はRAM12bに一時的に格納し、ポインタPTの画像データを生成する旨のポインタ生成指示を画像生成部420に出力する。
動作状態管理部300は、タッチ座標抽出部200から出力された接触通知を取得すると、入力装置1を「ポインタ表示対象の選択状態」から「タッチ操作による確定操作状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及びタッチ座標(x、y)の情報をメモリ40又はRAM12bに一時的に格納する。
動作状態管理部300は、確定操作判定部210から出力された動作状態確認要求を基に、メモリ40を参照して入力装置1の動作状態に関する情報として、「ポインタ表示対象の選択状態」であるか否かを判定する。動作状態管理部300は、判定結果としての入力装置1の動作状態に関する情報を確定操作判定部210に出力する。
表示制御部としての画像合成部400は、アプリ画面生成部410から出力されたアプリケーション用画面の画面データと画像生成部420から出力されたポインタPTの画像データとを合成する。画像合成部400は、合成により生成された合成画像データを画面表示部30の表示画面に表示する。なお、画像合成部400、アプリ画面生成部410及び画像生成部420によって表示制御部が構成されても良い。
アプリ画面生成部410は、アプリケーション500からの画面生成通知を基に、アプリケーション500におけるアプリケーション用画面の画面データを生成して画像合成部400に出力する。なお、図3では、アプリ画面生成部410とアプリケーション500とが別々の構成として示されているが、アプリケーション500がアプリ画面生成部410の機能を有することによって、アプリ画面生成部410とアプリケーション500とを一纏めにしたアプリケーション500として構成しても良い。
画像生成部420は、動作状態管理部300からのポインタ生成指示を基に、インジケータとしてのポインタPTの画像データを生成し、生成されたポインタPTの画像データを画像合成部400に出力する。なお、このインジケータは、タッチ操作の対象となる項目(ボタン)を表すための操作子である。また、ポインタPTの形状は、例えば図4では円形状として図示しているが円形状に限定されず、例えば矩形形状でも楕円形状でも良い。
更に、ポインタPTの大きさは画像生成部420の動作において予め規定された固定値であるが、固定値に限定されない。画像生成部420は、動作状態管理部300がメモリ40又はRAM12bに一時的に格納した近接座標(x、y、z)の情報及びボタン規定情報12c2を参照してポインタPTの大きさを動的に変更しても良い。これにより、画像生成部420は、ボタンの大きさに適合したポインタPTを生成でき、ユーザに視覚的な違和感を与えることがない。例えば、ポインタPTの大きさは、パーソナルコンピュータ(PC)に接続される入力装置としてのマウスのように、表示画面内の1点を示す程度の大きさでも良い。従って、ポインタPTの大きさは、仮確定されたボタンを構成する例えば文字列の大きさと同じでも良いし、文字列の大きさより小さくても良い。
アプリケーション500は、入力装置1において実行可能に予めインストールされ、確定操作判定部210から出力されたボタン及びタッチ座標(x、y)の情報を基に、ボタンの選択に応じたアプリケーション500における動作(処理)を判定する。アプリケーション500は、判定された動作に対応する画面データを生成する旨の画面生成通知をアプリ画面生成部410に出力する。
(第1の実施形態のフローチャート)
次に、第1の実施形態の入力装置1の動作について、図8を参照して説明する。図8は、第1の実施形態の入力装置1の動作を説明するフローチャートである。図8に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。
先ず、近接検知部10は、ホバー操作によってユーザの指がタッチパネル15に近接したか否かを検知している(S11)。近接検知部10は、指がタッチパネル15に近接したことを検知した場合に(S11、Yes)、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部100に出力する。近接座標抽出部100は、近接検知部10から出力された近接通知を近接時間計測部110に出力する。
近接時間計測部110は、近接座標抽出部100から出力された近接通知を基に、指がタッチパネル15に近接したときからの経過時間、即ち、指の近接状態の継続時間をカウントする(S12)。また、タッチ検知部20は、タッチ操作によって指がタッチパネル15にタッチしたか否かを検知している。近接時間計測部110は、指がタッチパネル15にタッチした旨の接触通知がタッチ座標抽出部200から動作状態管理部300に出力されたか否かを動作状態管理部300に問い合わせる(S13)。動作状態管理部300は、指がタッチパネル15にタッチした旨の接触通知を取得しているか否かを、メモリ40又はRAM12bを参照して判定し、判定結果を近接時間計測部110に出力する。
ここで、説明の都合上、動作状態管理部300は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200から取得していないとする(S13、No)。即ち、近接時間計測部110は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部200から取得していない旨の判定結果を動作状態管理部300から取得する。近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えているか否かを判定する(S14)。指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていないと判定された場合には(S14、No)、入力装置1の動作はステップS13に戻る。
近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合(S14、Yes)、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「ポインタ表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。動作状態管理部300は、入力装置1の動作状態を、「ポインタ表示対象の選択状態」に移行する。
近接座標抽出部100は、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する(S15)。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、ポインタPTを表示するためのタッチパネル15上の位置(x、y)、即ちポインタPTの表示予定位置を算出する(S16)。更に、表示位置算出部120は、ポインタPTの表示予定位置の補正が必要か否かを表示位置補正部130に問い合わせる。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する(S17)。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていると判定した場合には(S17、Yes)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であるか曖昧な位置であるかを判定する(S18)。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき易い明確な位置であると判定した場合には(S18、Yes)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置をそのまま表示位置算出部120に返す。表示位置算出部120は、表示位置補正部130より返されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する(S20)。
表示位置補正部130は、ポインタPTの表示予定位置がユーザにとって視覚的に判断のつき難い曖昧な位置であると判定した場合には(S18、No)、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を、ボタン規定情報12c2を参照して補正する(S19)。なお、ステップS19の補正では、ユーザのホバー操作によってポインタPTが移動した際に、ユーザにとってポインタPTの移動が極力スムーズに見えるように、補正対象ゾーン(図5(a)参照)の近い位置に補正されることが好ましい。表示位置補正部130は、補正後のポインタPTの表示予定位置(x’、y’)を表示位置算出部120に出力する。表示位置算出部120は、表示位置補正部130より出力された補正後のポインタPTの表示予定位置(x’、y’)に表示されているボタンを、タッチ操作の対象となるボタンとして仮確定する(S20)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、ポインタPTの表示予定位置を基準に所定の距離以内にボタンが表示されていないと判定した場合には(S17、No)、ポインタPTが既に表示されているか否かを、メモリ40又はRAM12b2の仮確定ボタン情報12c1を参照して判定する(S22)。ポインタPTが未だ表示されていない場合には(S22、No)、入力装置1の動作はステップS13に戻る。
表示位置補正部130は、ポインタPTが既に表示されていると判定した場合には(S22、Yes)、ポインタPTを消去する旨のポイント消去依頼通知を画像合成部400に出力する。なお、図3では、表示位置補正部130と画像合成部400との間の矢印の図示は省略している。
画像合成部400は、ステップS20によってタッチ操作の対象となるボタンとして仮確定されたボタンの表示位置にポインタPTを表示する(S21)。なお、画像合成部400は、ポインタPTを表示した後、どのボタンにポインタPTを表示したかを示す仮確定ボタン情報12c1を生成してメモリ40に格納する。これにより、動作状態管理部300は、入力装置1においてポインタPTが表示画面に表示されているか否かを判定することができる。なお、図3では、画像合成部400とメモリ40との間の矢印の図示は省略している。ステップS21の後、入力装置1の動作はステップS13に戻る。
画像合成部400は、ポイント消去依頼通知を基に、現在表示画面に表示されているポインタPTを消去する(S23)。ステップS23によってポインタPTが表示画面から消去されるのは、指が既に表示されているポインタPTの表示位置からボタンと関係ない位置に移動したことにより、ユーザがポインタPTの示すボタンの選択に興味がなくなったことを反映するためである。ステップS23の後、入力装置1の動作はステップS13に戻る。
次に、ステップS13において、タッチ座標抽出部200は、指がタッチパネル15にタッチした旨の接触通知をタッチ検知部20から取得したとする(S13、Yes)。タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を動作状態管理部300に出力する。動作状態管理部300は、タッチ座標抽出部200から出力された接触通知を取得すると、入力装置1を「ポインタ表示対象の選択状態」から「タッチ操作による確定操作状態」に移行する。動作状態管理部300は、入力装置1の動作状態に関する情報及びタッチ座標(x、y)の情報をメモリ40又はRAM12bに一時的に格納する。
タッチ操作による確定操作状態は、指がタッチパネル15上にタッチ操作したことによって、ユーザの意図に沿った確定操作が選択された状態を表し、後述の実施形態においても同様である。
タッチ座標抽出部200は、タッチ検知部20から出力された接触通知を基に、指のタッチパネル15に対するタッチ座標(x、y)を算出して抽出する(S24)。タッチ座標抽出部200は、抽出されたタッチ座標(x、y)の情報を確定操作判定部210に出力する。
確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてポインタPTが既に表示されているか否かを動作状態管理部300に問い合わせる(S25)。確定操作判定部210は、動作状態管理部300からポインタPTが既に表示されている旨のポイント表示済み通知を取得した場合(S25、Yes)、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であるか否かを判定する(S31)。
確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内であると判定した場合には(S31、YES)、指の鉛直下方向における急激な移動に応じてポインタPTの表示位置に表示されているボタンを変更させるようなタッチ操作がなされたか否かを判定する(S32)。
ステップS32において指の縦方向の急激な移動がない場合には(S32、No)、入力装置1の動作はステップS13に戻る。この場合には、動作状態管理部300は、入力装置1の状態、即ち「タッチ操作による確定操作状態」をリセットする。
ステップS32において指の縦方向の急激な移動がある場合には(S32、Yes)、確定操作判定部210は、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定する(S33)。確定操作判定部210は、タッチ操作の対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。ステップS33の後、入力装置1の動作はステップS28に進む。
なお、図7に示すフローチャートでは、ステップS32において指の縦方向(鉛直下方向)の急激な移動がある場合にのみ、確定操作判定部210は、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定する。しかし、確定操作判定部210は、指の縦方向の急激な移動は無くてもタッチパネル15に対するタッチ時間が長い場合には、ポインタPTが既に表示されていたことによって仮確定されていたボタンを、タッチ操作の対象として確定しても良い。
確定操作判定部210は、タッチ座標(x、y)がタッチ操作の対象として仮確定されたボタンの検知範囲(図6参照)内ではないと判定した場合には(S31、No)、又は、動作状態管理部300からポインタPTが既に表示されている旨のポイント表示済み通知を取得していない場合(S25、No)には、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を基に、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在するか否かを判定する(S26)。
確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在すると判定した場合に(S26、Yes)、タッチ座標(x、y)の位置に表示されているボタンを、タッチ操作による操作対象として確定する(S27)。確定操作判定部210は、タッチ操作による操作対象として確定されたボタンに関する情報及びタッチ座標(x、y)の情報をアプリケーション500に出力する。
アプリケーション500は、ステップS27又はステップS33によって確定操作判定部210から出力されたボタン及びタッチ座標(x、y)の情報を基に、ボタンの選択に応じたアプリケーション500における動作(処理)を判定する(S28)。アプリケーション500は、ステップS28によって判定された動作を実行する(S29)。これにより、図7に示すフローチャートの説明は終了する。
一方、確定操作判定部210は、指のタッチパネル15に対するタッチ座標(x、y)に所定の処理を起動(実行)させるボタンが存在しないと判定した場合に(S26、No)、ステップS13によって検知されたタッチ操作は無効な操作であると判定する(S30)。これにより、図7に示すフローチャートの説明は終了する。
以上により、本実施形態の入力装置1は、所定時間TMを超えてユーザの指がタッチパネル15上を近接した場合に、指の鉛直下方向における表示画面の位置にボタンが表示されている場合にポインタPTを表示する。また、入力装置1は、ポインタPTの表示位置がボタンの内側でなく、ボタンとボタンとの中間位置又はボタンの端部である場合には、ポインタPTの表示位置を、例えば最も近いボタンの略中央部に補正する。これにより、入力装置1は、タッチ操作の対象となるボタンをユーザに対して曖昧に認知させることなく、ポインタPTを離散的に移動するように表示させるため、ユーザに対してタッチ操作の対象となるボタンを明確に認知させることができる。
更に、入力装置1は、ポインタPTが表示されている状態において、ポインタPTが示すボタンの範囲を含む所定の検知範囲内にタッチ操作がなされた場合には、たとえタッチ座標(x、y)がボタンの範囲外でも所定の検知範囲内であればポインタPTが示すボタンがタッチ操作されたとして操作対象を確定する。また、入力装置1は、ポインタPTが表示されている状態において、指が縦方向(鉛直下方向)の急激な移動によってポインタPTが示すボタンを変更させるタッチ操作がなされた場合でも、ポインタPTが示していたボタンを、タッチ操作の対象として確定する。
従って、入力装置1は、タッチパネル15に対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目(例えば、ボタン)を効率的に選択することができる。また、入力装置1は、ユーザの指がタッチパネル15にタッチ(接触)せずに近接、即ち、指とタッチパネルとが多少の距離ほど離間している状態において、指先が示す表示画面上のボタンをユーザに認知させることができる。これにより、入力装置1は、タッチパネル15に直接タッチした場合にユーザ自身の指で隠れてしまっていたボタンを、ユーザの指がタッチ操作する前に視覚的に認知させることができるため、ユーザに快適な操作感を与えることができる。
(第2の実施形態の概要)
第2の実施形態の概要について、図9を参照して説明する。図9は、第2の実施形態の概要を示す説明図である。なお、第2の実施形態における入力装置の構成は図3に示す入力装置1と同様であるため、第2の実施形態においても入力装置1の各部に対して同様の符号を用いて同様の内容の説明を省略する。
第2の実施形態では、入力装置1は、例えば表示画面に複数のボタンとしてのキーを含むキーボードが表示されている状態において、指FNがタッチパネル15に近接し、且つ、指FNのタッチパネル15に対する近接状態の継続時間が予め規定された所定時間TMを超えたことを検知すると、指FNの鉛直下方向における表示画面のいずれかのキー(例えば、[G]のキー)を拡大表示する(図9参照)。
本実施形態では、入力装置1は、ユーザのタッチ操作の対象として仮確定するボタンを、表示画面DPにおいて拡大表示する。更に、入力装置1は、仮確定されたボタンが表示画面DPにおいて拡大表示されている状態において、仮確定されていたボタンがユーザのタッチ操作によって実際にタッチされた場合には、仮確定されていたボタンをタッチ操作の対象として確定し、確定されたボタンに応じた処理を実行する。
例えば図9では、拡大表示されている[G]のキーが指FNによってユーザのタッチ操作によって実際にタッチされた場合には、入力装置1は、[G]のキーがタッチ操作の対象となるボタンとして確定して[G]のキーの入力を支援する。
(キーの表示範囲:専用表示範囲と共有表示範囲)
次に、第2の実施形態におけるキーの専用表示範囲及び共有表示範囲について、図10〜図12を参照して説明する。図10は、[G]のキーKgの専用表示範囲Ar2と共有表示範囲Ar3とを示す説明図である。図11は、左右方向及び上下方向の各キーが接触して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(a)は、左右方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。図12(b)は、上下方向のキーが離間して配置されている場合における、タッチ操作の対象として確定させるための検知範囲と拡大表示対象のキーを切り替えるための検知範囲を示す説明図である。
図10に示すように、[G]のキーKgの表示範囲Ar1は、専用表示範囲Ar2と共有表示範囲Ar3とにより構成される。
専用表示範囲Ar2は、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示される場合に、自己のキーの検知範囲として専用的に保有する表示領域である。従って、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示された場合でも、自己のキーの専用表示範囲Ar2は表示が継続される。
共有表示範囲Ar3は、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示される場合に、拡大表示された他のキーの一部として隠れて表示されなくなる表示領域である。従って、タッチ操作の対象として仮確定された他のキーが自己のキーに跨って拡大表示された場合には、自己のキーの共有表示範囲Ar3の一部は表示されなくなり、拡大表示された他のキーによって隠れることになる。
ここで、[G]のキーKgの専用表示範囲Ar2及び共有表示範囲Ar3について、図11を参照してより具体的に説明する。図11において、入力装置1が指の[G]のキーKgに対する近接状態を検知する際、[G]のキーKgの表示範囲Ar1(図10参照)の位置において近接状態が所定時間TMを超えて継続すると、[G]のキーKgが拡大表示される。更に、指の近接状態が一度検知されて[G]のキーKgが拡大表示された後では、指が[G]のキーKgの表示範囲Ar1を超えて隣接キー(例えば[H]のキー)の表示範囲Ar1の位置に移動した場合には、隣接キー(例えば[H]のキー)が直ぐに拡大表示される。
従って、図11に示すように、[G]のキーKgの左右方向における拡大表示対象のキーを切り替える(変更する)ための検知範囲Range2は、[G]のキーKgの表示範囲Ar1の横方向の長さとなる。同様に、[G]のキーKgの上下方向における拡大表示対象のキーを切り替えるための検知範囲Range4は、[G]のキーKgの表示範囲Ar1の縦方向の長さとなる。
また、[G]のキーの左右方向におけるタッチ操作の対象として確定させるための検知範囲Range1は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーKgに左右方向に隣接するキー(ここでは、[F],[H]の各キー)の共有表示範囲の一部に跨った範囲([F]のキーの共有表示範囲の右側範囲(ハッチング部参照)の横方向の長さ、及び、[H]のキーの共有表示範囲の左側範囲(ハッチング部参照))横方向の長さとの和に相当する。
同様に、[G]のキーの上下方向におけるタッチ操作による確定操作の検知範囲Range3は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーKgに上下方向に隣接するキー(ここでは、[T]又は[Y],[V]又は[B]の各キー)の共有表示範囲の一部に跨った範囲([T]又は[Y]のキーの共有表示範囲の下側範囲(ハッチグ部参照)の縦方向の長さ、及び、[V]又は[B]のキーの共有表示範囲の上側範囲(ハッチング部参照))の縦方向の長さとの和に相当する。
次に、[G]のキーKgの専用表示範囲Ar2及び共有表示範囲Ar3について、図12を参照してより具体的に説明する。図12(a)又は図12(b)において、入力装置1が指の[G]のキーKgに対する近接状態を検知する際、[G]のキーKgの表示範囲Ar1(図10参照)と、[G]のキーKgと[G]のキーKgから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ハッチング部参照)の長さとの和に相当する範囲において近接状態が所定時間TMを超えて継続すると[G]のキーKgが拡大表示される。なお、[G]のキーKgから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ハッチング部参照)の長さは、図12(a)では横方向の長さに相当し、図12(b)では縦方向の長さに相当する。
更に、指の近接状態が一度検知されて[G]のキーKgが拡大表示された後では、指が[G]のキーKgの表示範囲Ar1から各々の境界線MD1,MD2,MD3,MD4を超えて、隣接キー(例えば[H]又は[B]のキー)の表示範囲Ar1から各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ドットパターン部参照)に移動した場合には、[G]のキーではなく隣接キー(例えば[H]又は[B]のキー)が直ぐに拡大表示される。なお、隣接キーから各々の境界線MD1,MD2,MD3,MD4までの間の範囲(ドットパターン部参照)の長さは、図12(a)では横方向の長さに相当し、図12(b)では縦方向の長さに相当する。
なお、境界線MD1は、[F]のキーと[G]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD2は、[G]のキーと[H]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD3は、[G]のキーと[T]又は[Y]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。同様に、境界線MD4は、[G]のキーと[V]又は[B]のキーとの中間位置を示すと共に、拡大表示対象のキーを切り替えるための検知範囲の境界を示す。
従って、図12(a)に示すように、[G]のキーKgの左右方向における拡大表示対象のキーを切り替えるための検知範囲Range6は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーKgの右端部と境界線MD2との間(ハッチング部参照)の横方向の長さと、[G]のキーKgの左端部と境界線MD1との間(ハッチング部参照)の横方向の長さとの和となる。
従って、指の近接状態における鉛直下方向の位置が図12(a)に示す位置P1である場合には、位置P1が拡大表示対象のキーを切り替えるための検知範囲Range6の範囲内であるため、[G]のキーKgが拡大表示対象のキーとされる(図13(a)及び(b)参照)。更に、指の近接状態における鉛直下方向の位置が図12(a)に示す位置P2である場合には、位置P2が拡大表示対象のキーを切り替えるための検知範囲Range6の範囲外であるため、[H]のキーが拡大表示対象のキーとされる(図13(a)及び(b)参照)。
同様に、図12(b)に示すように、[G]のキーKgの上下方向における拡大表示対象のキーを切り替えるための検知範囲Range8は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーKgの上端部と境界線MD3との間(ハッチング部参照)の縦方向の長さと、[G]のキーKgの下端部と境界線MD4との間(ハッチング部参照)の縦方向の長さとの和となる。
従って、指の近接状態における鉛直下方向の位置が図12(b)に示す位置P3である場合には、位置P3が拡大表示対象のキーを切り替えるための検知範囲Range8の範囲内であるため、[G]のキーKgが拡大表示対象のキーとされる(図13(a)及び(b)参照)。従って、指の近接状態における鉛直下方向の位置が図12(b)に示す位置P4である場合には、位置P4が拡大表示対象のキーを切り替えるための検知範囲Range8の範囲外であるため、[T]のキーが拡大表示対象のキーとされる(図13(a)及び(b)参照)。
また、図12(a)に示すように、[G]のキーの左右方向におけるタッチ操作の対象として確定させるための検知範囲Range5は、[G]のキーKgの表示範囲Ar1の横方向の長さと、[G]のキーの左端部と[G]のキーKgの左方向に隣接する[F]のキーの右端部との間の長さと、[G]のキーKgの左方向に隣接する[F]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[F]のキーの共有表示範囲Ar3の右側範囲)の横方向の長さと、[G]のキーの右端部と[G]のキーKgの右方向に隣接する[H]のキーの右端部との間の長さと、[G]のキーKgの右方向に隣接する[H]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[H]のキーの共有表示範囲Ar3の左側範囲)の横方向の長さとの和に相当する。
また、図12(b)に示すように、[G]のキーの上下方向におけるタッチ操作の対象として確定させるための検知範囲Range7は、[G]のキーKgの表示範囲Ar1の縦方向の長さと、[G]のキーの上端部と[G]のキーKgの上方向に隣接する[T]又は[Y]のキーの下端部との間の長さと、[G]のキーKgの上方向に隣接する[T]又は[Y]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[T]又は[Y]のキーの共有表示範囲Ar3の下側範囲)の縦方向の長さと、[G]のキーの下端部と[G]のキーKgの下方向に隣接する[V]又は[B]のキーの上端部との間の長さと、[G]のキーKgの下方向に隣接する[V]又は[B]のキーの共有表示範囲Ar3の一部に跨った範囲(逆ハッチング部参照、[V]又は[B]のキーの共有表示範囲Ar3の上側範囲)の縦方向の長さとの和に相当する。
なお、上述した検知範囲(Range1〜Range8)に関する情報は、ボタン(キー)毎に関連付けられてボタン規定情報12c2に格納されている。
ここで、図13(a)及び(b)を参照して、表示位置補正部130における指の近接状態の鉛直下方向における位置の補正について説明する。図13(a)は、ボタンとボタンに対して設けられた補正対象ゾーンとの位置関係を示す説明図である。図13(b)は、指の鉛直下方向におけるタッチパネル上の位置を補正するか否かを判定するための5つのケースの例を示す説明図である。図13(a)では、上側にボタンB3、下側にボタンB4が並んで表示されている例が示されており、ボタンB3の補正対象ゾーン(ハッチング部参照)が図示されている。
ここで、表示位置補正部130が指の近接状態の鉛直下方向における位置を補正する否かについては、指の近接状態の鉛直下方向における位置に応じて、例えば5つのケース(Bc6,Bc7,Bc8,Bc9,Bc10)が考えられる。図13(a)では、5つのケースに対応した、指の近接状態の鉛直下方向における位置が示されている。図13(b)では、各ケースに対応して、表示位置補正部130が指の近接状態の鉛直下方向における位置を補正するか否か、及び、表示位置算出部120がタッチ操作の対象となるボタンとして仮確定するか否かが示されている。
第1番目のケースBc6では、指の近接状態の鉛直下方向における位置が明らかにボタンB3内であり、指の近接状態の鉛直下方向における位置として明確であると考えられるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされる。
第2番目のケースBc7では、指の近接状態の鉛直下方向における位置が明らかにボタンB1外であり、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンB3が無いことが明らかであるため、表示位置補正部130による補正はなされず、表示位置算出部120による仮確定もなされない。
第3番目のケースBc8では、指の近接状態の鉛直下方向における位置がボタンB3内であり、且つ、補正対象ゾーン内であるが、本実施形態においては、指の近接状態の鉛直下方向における位置に表示されているボタンが拡大表示対象となる。このため、ケースBc8では、たとえ指の近接状態の鉛直下方向における位置が補正対象ゾーン内であっても、拡大表示対象はボタンB3となるため、補正の有無によって拡大表示対象のボタンの仮確定に直接影響を与えないと考えられる。このため、ケースBc8では、表示位置補正部130による補正はなされても良いし又はなされなくても良いが、表示位置算出部120による仮確定はなされる。
第4番目のケースBc9では、指の近接状態の鉛直下方向における位置がボタンB3外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンが無いため、指の近接状態の鉛直下方向における位置はボタンB1外となるが隣接するボタンが他に無く、最も近い位置にあるボタンB3をタッチ操作の対象として明確に認知させる必要があると考えられる。このため、ケースBc9では、表示位置補正部130により、指の近接状態の鉛直下方向における位置がボタンB3の内部に補正され、更に、表示位置算出部120により、ボタンB3が拡大表示対象のボタンとして仮確定される。
第5番目のケースBc10では、指の近接状態の鉛直下方向における位置がボタンB3外であって、且つ、補正対象ゾーン内であって、且つ、隣接するボタンB4があるため、指の近接状態の鉛直下方向における位置は、ユーザがタッチ操作しようとするボタンがボタンB1又はボタンB2のどちらであるのかを明確に認知させる必要があると考えられる。このため、ケースBc10では、表示位置補正部130により、指の近接状態の鉛直下方向における位置がボタンB3の内部に補正され、更に、表示位置算出部120により、ボタンB3が拡大表示対象のボタンとして仮確定される。
(第2の実施形態のフローチャート)
次に、第2の実施形態の入力装置1の動作について、図14を参照して説明する。図14は、第2の実施形態の入力装置1の動作を説明するフローチャートである。図14に示すフローチャートは、入力装置1を操作するユーザがユーザ自身の指を用いて入力装置1に対する操作を入力する場合の入力装置1の動作を示す。また、図14のフローチャートにおいて図8に示すフローチャートと同様の処理については処理(ステップ)の符号を同一とし、同一の符号に関する説明は省略する。なお、以下の説明におけるボタンは具体的にキー(図10〜図12参照)と読み替えても良い。
図14において、近接時間計測部110は、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えていると判定した場合(S14、Yes)、近接座標(x、y、z)を抽出するための近接座標抽出指示を生成して近接座標抽出部100に出力すると共に、入力装置1を「拡大表示対象の選択状態」に移行する旨の状態移行通知を動作状態管理部300に出力する。動作状態管理部300は、入力装置1の動作状態を、「拡大表示対象の選択状態」に移行する。
なお、指がタッチパネル15に近接したときからの経過時間が所定時間TMを超えて指の近接状態が一度検知された場合、指の近接状態が継続されている状態であれば、ステップS14の処理は省略されることが好ましい。これにより、入力装置1は、指の近接状態を一度検知すれば、指の近接状態が継続されている間において指を他のボタンに移動した場合には、移動先のボタンが直ぐに拡大表示でき、ユーザにストレスレスな操作感を与えることができる。
近接座標抽出部100は、近接時間計測部110から出力された近接座標抽出指示を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する(S15)。近接座標抽出部100は、抽出された近接座標(x、y、z)の情報を近接時間計測部110及び表示位置算出部120にそれぞれ出力する。
表示位置算出部120は、近接座標抽出部100から出力された近接座標(x、y、z)の情報を基に、拡大表示の対象となる項目(例えばボタン)のタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を算出する。更に、表示位置算出部120は、算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置の補正が必要か否かを表示位置補正部130に問い合わせる(S41)。
表示位置補正部130は、表示位置算出部120からの問い合わせに応じて、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されているか否かを、ボタン規定情報12c2を参照して判定する(S41)。表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されていると判定した場合には(S41、Yes)、ボタンの情報をボタン規定情報12c2から取得すると共に、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置が拡大表示対象のボタンを切り替えるための検知範囲内であるか否かを判定する(S42)。拡大表示対象のボタンを切り替えるための検知範囲は、図10に示すRange2及びRange4により定まる範囲、又は、図11(a)及び(b)に示すRange6及びRange8により定まる範囲である。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置が拡大表示対象のボタンを切り替えるための検知範囲内であると判定した(S42、Yes)、拡大表示対象のボタンを切り替えずに、ボタン及びタッチパネル15上の位置(x、y)の各情報を表示位置算出部120に出力する。表示位置算出部120は、表示位置補正部130より出力されたボタン及びタッチパネル15上の位置(x、y)の各情報を基に、表示位置補正部130より出力された情報に対応するボタンを、タッチ操作の対象と確定させるためのボタンとして仮確定する(S44)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)が拡大表示対象のボタンを切り替えるための検知範囲外であると判定した(S42、No)、ボタン規定情報12c2を参照し、指の近接状態の鉛直下方向における位置を、その位置に最も近いボタンの内部に補正する(S43、図13(a)参照)。表示位置補正部130は、ボタン規定情報12c2を参照して、指の近接状態の鉛直下方向における補正後の位置に対応するボタンを、タッチ操作の対象と確定させるためのボタンとして仮確定する(S44)。
表示位置補正部130は、表示位置算出部120により算出されたタッチパネル15上の位置(x、y)、即ち、指の近接状態の鉛直下方向における位置を基準に所定の距離以内にボタンが表示されていないと判定した場合には(S41、No)、メモリ40又はRAM12bを参照して仮確定されたボタンが存在するか否かを判定する(S46)。仮確定されたボタンが存在しないと判定された場合には(S46、No)、入力装置1の動作はステップS13に戻る。
表示位置補正部130は、仮確定されたボタンが存在すると判定した場合には(S46、Yes)、タッチ操作の対象の仮確定を解除する旨の仮確定解除依頼通知を動作状態管理部300に出力する。
動作状態管理部300は、仮確定解除依頼通知を基に、タッチ操作の対象として確定させるためのボタンの仮確定を解除すると共に(S47)、現在表示画面において拡大表示されているボタンを拡大表示前の状態における大きさにする旨の拡大解除依頼通知を画像生成部420に出力する。
画像生成部420は、ステップS44によってタッチ操作の対象として確定させるためのボタンとして仮確定されたボタンの拡大画像データを生成する。拡大画像データの大きさは、画像生成部420の動作において予め規定されており、例えば、確定操作の検知範囲Range1及びRange3(図10参照)又はRange5及びRange7(図11参照)により定まる範囲である。
画像生成部420は、生成された拡大画像データを画像合成部400に出力する。画像合成部400は、アプリ画面生成部410から出力された画面データと拡大画像データとを用いて、アプリケーション500における画面において、ステップS44によって仮確定されたボタンを拡大表示させた合成画面データを生成して画面表示部30に表示させる(S44)。
なお、画像合成部400は、ステップS44によって仮確定されたボタンを拡大表示させた後、どのボタンが拡大表示されたかを示す仮確定ボタン情報12c1を生成してメモリ40に格納する。これにより、動作状態管理部300は、入力装置1においてどのボタンが拡大表示されて、タッチ操作の対象となる確定対象ボタンであるかを判定することができる。ステップS44の後、入力装置1の動作はステップS13に戻る。
また、画像生成部420は、動作状態管理部300から出力された拡大解除依頼通知を基に、現在表示画面において拡大表示されているボタンの拡大表示前の状態の大きさの画像データを生成して画像合成部400に出力する。画像合成部400は、画像生成部420から出力された画像データを画面表示部30に表示させる。なお、ステップS47によって拡大表示されていたボタンが拡大表示前の大きさにて再表示されるのは、指が既にタッチ操作の対象として仮確定されて拡大表示されていたボタンと関係ない位置に移動したことにより、ユーザが拡大表示されているボタンの選択に興味がなくなったことを反映するためである。ステップS47の後、入力装置1の動作はステップS13に戻る。
次に、ステップS48において、確定操作判定部210は、タッチ座標抽出部200から出力されたタッチ座標(x、y)の情報を取得すると、入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在するか否かを動作状態管理部300に問い合わせる(S48)。動作状態管理部300は、メモリ40又はRAM12bを参照して入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在するか否かを判定し、判定結果を確定操作判定部210に出力する。なお、入力装置1においてタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在しないと判定された場合には(S48、No)、図7に示すステップS26〜ステップS30と同様の処理であるため説明を省略する。
確定操作判定部210は、動作状態管理部300からタッチ操作の対象として確定させるためのボタンとして仮確定されているボタンが存在する旨の判定結果を取得した場合(S48、Yes)、タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内であるか否かを判定する(S49)。仮確定されたボタンの確定操作の検知範囲は、図10に示すRange1及びRange3により定まる範囲、又は、図11(a)及び(b)に示すRange5及びRange7により定まる範囲である。
確定操作判定部210は、タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内であると判定した場合には(S49、Yes)、指の鉛直下方向における急激な移動に応じて仮確定されたボタンを変更させるようなタッチ操作がなされたか否かを判定する(S32)。
タッチ座標(x、y)が仮確定されたボタンの確定操作の検知範囲内でないと判定された場合には(S49、NO)、入力装置1の動作は図7に示すステップS26〜ステップS30と同様の処理であるため説明を省略する。
ステップS32において指の縦方向の急激な移動がない場合には(S32、No)、入力装置1の動作はステップS13に戻る。この場合には、動作状態管理部300は、入力装置1の状態、即ち「タッチ操作による確定操作状態」をリセットする。
ステップS32において指の縦方向の急激な移動がある場合には(S32、Yes)、確定操作判定部210は、仮確定されたボタンをタッチ操作の対象として確定させるためのボタンとして確定する(S50)。ステップS50以降の処理は、図7に示すステップS28〜S30と同様の処理であるため説明を省略する。
以上により、本実施形態の入力装置1は、所定時間TMを超えてユーザの指がタッチパネル15上を近接した場合に、指の鉛直下方向における表示画面の位置にボタンが表示されている場合にそのボタンを、タッチ操作の対象として確定させるためのボタンとして仮確定すると共に表示画面において拡大表示させる。また、入力装置1は、近接状態における指の鉛直下方向におけるタッチパネル15上の位置(x、y)がボタンの検知範囲、即ち、拡大表示対象のボタンを切り替えるための検知範囲外である場合には、タッチパネル15上の位置(x、y)の情報及びボタン規定情報12c2を参照してタッチ操作の対象として確定させるためのボタンを変更する。これにより、入力装置1は、タッチ操作の対象となるボタンをユーザに対して曖昧に認知させることなく、タッチ操作の対象として確定させるためのボタンとして仮確定されたボタンを拡大表示するため、ユーザに対してタッチ操作の対象となる候補のボタンを明確に認知させることができると共に、ユーザのタッチ操作を誤操作なく容易に実現させることができる。
従って、入力装置1は、タッチパネル15に対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目(例えば、キーボードのキー等のボタン)を効率的に選択することができる。また、入力装置1は、ユーザの指がタッチパネル15にタッチ(接触)せずに近接、即ち、指とタッチパネルとが多少の距離ほど離間している状態において、指が示す表示画面上のボタンをユーザに認知させることができる。これにより、入力装置1は、タッチパネル15に直接タッチした場合にユーザ自身の指で隠れてしまっていたボタンを、ユーザの指がタッチ操作する前に視覚的に認知させることができるため、ユーザに快適な操作感を与えることができる。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
なお、上述した第1の実施形態において、入力装置1は、ポインタPTを点滅して表示させても良い。これにより、入力装置1は、タッチ操作の対象として確定させるためのボタンを、ユーザに対して一層注目させることができる。
また、上述した第1の実施形態において、入力装置1は、ポインタPTの表示予定位置にタッチ操作を受け付け可能な項目(例えばボタン)が表示されていない場合でも、ポインタPTの表示予定位置にポインタPTを表示させても良い。これにより、入力装置1は、ユーザに対し、指の鉛直下方向におけるタッチパネル15の位置に、タッチ操作の対象となる項目(例えばボタン)が無いことを認知させることができ、当該項目が表示されている位置に対する指の移動を促すことができる。
本発明は、タッチパネルに対するユーザの入力操作に応じて、タッチ操作を受け付け可能に画面上に表示された項目の効率的な選択を支援する入力装置、入力支援方法及びプログラムとして有用である。
1 入力装置
10 近接検知部
20 タッチ検知部
30 画面表示部
100 近接座標抽出部
110 近接時間計測部
120 表示位置算出部
130 表示位置補正部
200 タッチ座標抽出部
210 確定操作判定部
300 動作状態管理部
400 画像合成部
410 アプリ画面生成部
420 画像生成部
500 アプリケーション

Claims (17)

  1. 表示画面にデータを表示する表示部と、
    前記表示画面に対する指の近接を検知するタッチパネルと、
    前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出する表示位置算出部と、
    前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を表すインジケータを表示する表示制御部と、を備える入力装置。
  2. 請求項1に記載の入力装置であって、
    前記表示画面に対する指の近接検知を基に、前記指の近接状態の継続時間を計測する近接時間計測部と、を更に備え、
    前記表示制御部は、
    前記指の近接状態の継続時間が所定時間を超えた場合に、前記算出された前記表示画面の位置に前記インジケータを表示する入力装置。
  3. 請求項1又は2に記載の入力装置であって、
    前記表示制御部は、
    前記算出された前記表示画面の位置より所定距離以内に前記タッチ操作を受け付け可能な前記項目が表示されている場合、前記算出された前記表示画面の位置に前記インジケータを表示する入力装置。
  4. 請求項3に記載の入力装置であって、
    前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目の端部である場合に、前記インジケータの表示位置を補正する表示位置補正部と、を更に備える入力装置。
  5. 請求項3に記載の入力装置であって、
    前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目の端部から前記項目と隣接する他項目との中間点までの範囲内である場合に、前記インジケータの表示位置を補正する表示位置補正部と、を更に備える入力装置。
  6. 請求項1〜5のうちいずれか一項に記載の入力装置であって、
    前記インジケータの表示位置を含む所定範囲内の前記表示画面に対する前記タッチ操作に応じて、前記インジケータの表示位置に表示されている前記項目を前記タッチ操作の対象として確定するか否かを判定する確定操作判定部と、を更に備える入力装置。
  7. 請求項6に記載の入力装置であって、
    前記確定操作判定部は、
    前記指の前記鉛直下方向への移動に応じて、前記タッチ操作の対象として前記インジケータの表示位置に表示されている前記項目が変更された場合、前記インジケータの表示位置に表示されていた前記項目を前記タッチ操作の対象として確定する入力装置。
  8. 表示画面にデータを表示する表示部と、
    前記表示画面に対する指の近接を検知するタッチパネルと、
    前記検知された前記表示画面に対する指の近接座標を抽出する近接座標抽出部と、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示する表示制御部と、を備える入力装置。
  9. 請求項8に記載の入力装置であって、
    前記表示画面に対する指の近接検知を基に、前記指の近接状態の継続時間を計測する近接時間計測部と、を更に備え、
    前記表示制御部は、
    前記指の近接状態の継続時間が所定時間を超えた場合に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置より所定距離以内に表示されている項目を拡大表示する入力装置。
  10. 請求項8又は9に記載の入力装置であって、
    前記表示制御部は、
    前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に前記タッチ操作を受け付け可能な前記項目が表示されている場合、前記タッチ操作を受け付け可能な前記項目を拡大表示する入力装置。
  11. 請求項10に記載の入力装置であって、
    前記近接が検知された前記指の鉛直下方向における前記表示画面上の位置が前記項目と前記項目と隣接する他項目との中間点までの範囲内である場合に、前記指の鉛直下方向における前記表示画面上の位置を、前記項目の内部に対応する位置に補正する表示位置補正部と、を更に備える入力装置。
  12. 請求項8〜11のうちいずれか一項に記載の入力装置であって、
    前記拡大表示の対象となる項目の表示位置を含む所定範囲内の前記表示画面に対する前記タッチ操作に応じて、前記拡大表示の対象となる項目を前記タッチ操作の対象として確定するか否かを判定する確定操作判定部と、を更に備える入力装置。
  13. 請求項12に記載の入力装置であって、
    前記確定操作判定部は、
    前記指の前記鉛直下方向への移動に応じて、前記タッチ操作の対象として前記拡大表示の対象となる項目が変更された場合、前記拡大表示の対象となっていた項目を前記タッチ操作の対象として確定する入力装置。
  14. 表示画面への入力支援方法であって、
    前記表示画面に対する指の近接を検知するステップと、
    前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、
    前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を備える入力支援方法。
  15. 表示画面への入力支援方法であって、
    前記表示画面に対する指の近接を検知するステップと、
    前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を備える入力支援方法。
  16. 表示画面にデータを表示する表示部を含むコンピュータに、
    前記表示画面に対する指の近接を検知するステップと、
    前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置を算出するステップと、
    前記算出された前記表示画面の位置に、タッチ操作の対象となる項目を示すインジケータを表示するステップと、を実現させるためのプログラム。
  17. 表示画面にデータを表示する表示部を含むコンピュータに、
    前記表示画面に対する指の近接を検知するステップと、
    前記検知された前記表示画面に対する指の近接座標を抽出するステップと、
    前記抽出された前記近接座標を基に、前記近接が検知された前記指の鉛直下方向における前記表示画面の位置に表示されている項目を、タッチ操作の対象の項目として拡大表示するステップと、を実現させるためのプログラム。
JP2012054920A 2012-03-12 2012-03-12 入力装置、入力支援方法及びプログラム Active JP5907762B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012054920A JP5907762B2 (ja) 2012-03-12 2012-03-12 入力装置、入力支援方法及びプログラム
US14/236,097 US20140176510A1 (en) 2012-03-12 2012-11-01 Input device, input assistance method and program
PCT/JP2012/007026 WO2013136391A1 (ja) 2012-03-12 2012-11-01 入力装置、入力支援方法及びプログラム
US15/387,822 US9891753B2 (en) 2012-03-12 2016-12-22 Input device, input assistance method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012054920A JP5907762B2 (ja) 2012-03-12 2012-03-12 入力装置、入力支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013190862A true JP2013190862A (ja) 2013-09-26
JP5907762B2 JP5907762B2 (ja) 2016-04-26

Family

ID=49160366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012054920A Active JP5907762B2 (ja) 2012-03-12 2012-03-12 入力装置、入力支援方法及びプログラム

Country Status (3)

Country Link
US (2) US20140176510A1 (ja)
JP (1) JP5907762B2 (ja)
WO (1) WO2013136391A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215840A (ja) * 2014-05-13 2015-12-03 シャープ株式会社 情報処理装置及び入力方法
JP2015230693A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置、入力方法、コンピュータプログラム、及び記録媒体
JP2016157303A (ja) * 2015-02-25 2016-09-01 京セラ株式会社 電子機器
KR101844390B1 (ko) 2014-01-03 2018-04-03 인텔 코포레이션 사용자 인터페이스 제어를 위한 시스템 및 기법
JP2018170048A (ja) * 2018-08-08 2018-11-01 シャープ株式会社 情報処理装置、入力方法及びプログラム
US10126856B2 (en) 2014-05-14 2018-11-13 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus, and storage medium
JPWO2018038136A1 (ja) * 2016-08-24 2019-06-24 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5828800B2 (ja) 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示装置、表示制御方法及びプログラム
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 入力装置、入力支援方法及びプログラム
US9280235B2 (en) 2012-09-13 2016-03-08 Panasonic Intellectual Property Corporation Of America Portable electronic device
JP5489379B1 (ja) 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
WO2016053239A1 (en) 2014-09-29 2016-04-07 Hewlett-Packard Development Company, L.P. Virtual keyboard
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
US10915220B2 (en) * 2015-10-14 2021-02-09 Maxell, Ltd. Input terminal device and operation input method
US11635826B2 (en) * 2017-05-16 2023-04-25 Apple Inc. Device, method, and graphical user interface for adjusting touch activation regions associated with selectable user interface elements
JP7365429B2 (ja) * 2019-12-13 2023-10-19 アルプスアルパイン株式会社 入力装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212005A (ja) * 1995-02-07 1996-08-20 Hitachi Ltd 3次元位置認識型タッチパネル装置
JPH11312264A (ja) * 1998-04-28 1999-11-09 Oki Software Kyushu:Kk 操作・表示装置および自動取引装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2008047027A (ja) * 2006-08-21 2008-02-28 Alpine Electronics Inc 表示制御装置
JP2009026155A (ja) * 2007-07-20 2009-02-05 Toshiba Corp 入力表示装置および移動無線端末装置
JP2011134111A (ja) * 2009-12-24 2011-07-07 Sony Corp タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
CN101593055A (zh) * 2008-05-29 2009-12-02 纬创资通股份有限公司 触控屏幕的输入方法及其相关触控屏幕和触控式电子装置
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
JP2010277377A (ja) 2009-05-29 2010-12-09 Panasonic Corp タッチパネルシステム
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
US8421752B2 (en) * 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
EP2687958A4 (en) 2011-03-15 2014-09-03 Panasonic Ip Corp America INPUT DEVICE
JP5579780B2 (ja) 2012-06-06 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 入力装置、入力支援方法及びプログラム
JP5620440B2 (ja) 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示制御装置、表示制御方法及びプログラム
JP5628991B2 (ja) 2013-03-08 2014-11-19 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示装置、表示方法、及び表示プログラム
JP5679595B2 (ja) 2013-03-14 2015-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 電子機器及び座標判定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212005A (ja) * 1995-02-07 1996-08-20 Hitachi Ltd 3次元位置認識型タッチパネル装置
JPH11312264A (ja) * 1998-04-28 1999-11-09 Oki Software Kyushu:Kk 操作・表示装置および自動取引装置
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2008047027A (ja) * 2006-08-21 2008-02-28 Alpine Electronics Inc 表示制御装置
JP2009026155A (ja) * 2007-07-20 2009-02-05 Toshiba Corp 入力表示装置および移動無線端末装置
JP2011134111A (ja) * 2009-12-24 2011-07-07 Sony Corp タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844390B1 (ko) 2014-01-03 2018-04-03 인텔 코포레이션 사용자 인터페이스 제어를 위한 시스템 및 기법
JP2015215840A (ja) * 2014-05-13 2015-12-03 シャープ株式会社 情報処理装置及び入力方法
US10126856B2 (en) 2014-05-14 2018-11-13 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus, and storage medium
JP2015230693A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置、入力方法、コンピュータプログラム、及び記録媒体
JP2016157303A (ja) * 2015-02-25 2016-09-01 京セラ株式会社 電子機器
JPWO2018038136A1 (ja) * 2016-08-24 2019-06-24 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
JP2018170048A (ja) * 2018-08-08 2018-11-01 シャープ株式会社 情報処理装置、入力方法及びプログラム

Also Published As

Publication number Publication date
JP5907762B2 (ja) 2016-04-26
US9891753B2 (en) 2018-02-13
US20170123592A1 (en) 2017-05-04
WO2013136391A1 (ja) 2013-09-19
US20140176510A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
JP5907762B2 (ja) 入力装置、入力支援方法及びプログラム
JP6151157B2 (ja) 電子機器および制御プログラム並びに電子機器の動作方法
JP5828800B2 (ja) 表示装置、表示制御方法及びプログラム
KR101629645B1 (ko) 휴대 단말기 및 그 동작방법
JP5721662B2 (ja) 入力受付方法、入力受付プログラム、及び入力装置
KR101861318B1 (ko) 터치 스크린을 구비한 기기의 인터페이스 제공 장치 및 방법
JP4982430B2 (ja) 文字入力装置及び文字入力方法
JP6381032B2 (ja) 電子機器、その制御方法及びプログラム
JP5620440B2 (ja) 表示制御装置、表示制御方法及びプログラム
US20140026098A1 (en) Systems and methods for navigating an interface of an electronic device
CN106687905B (zh) 触感控制系统及触感控制方法
JP5777645B2 (ja) 携帯端末機の文字入力方法及びこれをサポートする携帯端末機
KR20170004220A (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
EP2523089A2 (en) Data input method and apparatus for mobile terminal having touchscreen
JP5025450B2 (ja) 文字入力装置
JP5793054B2 (ja) 携帯端末装置、プログラムおよび実行抑制方法
JP2014182429A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6275218B1 (ja) 情報処理プログラム、情報処理装置および情報処理方法
JP2014182582A (ja) 情報処理装置及び情報処理方法
JP2012208614A (ja) 携帯電子機器
CN106775400A (zh) 按键显示方法及系统
JP2014089489A (ja) タッチパネル装置
JP2012185565A (ja) 携帯情報端末及びその情報入力方法
JP2013073366A (ja) 情報処理装置
KR20150135039A (ko) 사용자 단말 장치 및 이의 정보 제공 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150306

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160322

R150 Certificate of patent or registration of utility model

Ref document number: 5907762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150