JP2012191445A - 携帯端末装置および制御プログラム - Google Patents

Abstract

【課題】ユーザが片手で携帯端末装置を操作するときの操作性の向上と利便性の向上を図る。
【解決手段】携帯端末装置は、タッチパネルディスプレイを備え、タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、ユーザの把持状態を検出するセンサと、センサの検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタン３−２の図形的要素を変更するＧＵＩ配置変更部と、変更後の操作ボタン３−２を、タッチパネルディスプレイに表示する表示部と、を備える。
【選択図】図３Ｂ

Description

本発明は、タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置および制御プログラムに関する。

従来から、タッチパネルディスプレイを備えた携帯電話機が知られている。一般的に、ユーザが携帯電話機を使用する際、片手に携帯電話機を持ち、もう一方の片手に物を持っている場合のように、片手が使えない状態においても、もう片方の手で携帯電話機の操作を行ないたいという状況が多く見られる。しかし、携帯電話機は、多くのユーザにとって、掌より大きいため、片手で操作をする場合、持っている手から遠い位置にあるボタンに指が届きにくく、目標とするボタンとは異なるボタンを押してしまうという問題がある。そのため、片手でも入力しやすいグラフィカルユーザーインターフェース(ＧＵＩ)が必要である。

例えば、特許文献１には、ユーザが携帯電話機を上下、左右、または奥手前方向に動かした時、ソフトウェアキーボードを移動させ、または拡大縮小する制御方法および装置が開示されている。この携帯電話機では、例えば、ユーザが携帯電話機を右手に持ち、携帯電話機を左に動かすと、ソフトウェアキーボードは右に動く。これにより、ユーザは、右手で携帯電話機を持ちつつ、右手で操作することが可能である。

また、特許文献２には、入力操作する手が、タッチパネルのどちらの方向からタッチしてきたのかを赤外線センサを用いて判別する。そして、入力操作する手により遮蔽された部分を遮蔽していない方向にずらして表示する。これにより、ユーザは、片手で携帯電話機を持ち、もう一方の手でソフトウェアキーボードを操作することが容易になる。

特開２０１０−２８２４５９号公報 特開２０１０−２８７０３２号公報

しかしながら、特許文献１記載の技術は、携帯電話機を動かすと、タッチパネルディスプレイに表示されたソフトウェアキーボードが自由に動くものであるため、ユーザの意図に反してキーボードが動いてしまうという問題がある。また、ソフトウェアキーボードを移動させる際、ユーザが独自の判断と操作で移動量や移動方向を決めなければならないため、その操作には熟練を要する。不慣れなユーザにとっては、ソフトウェアキーボードを自分の操作しやすい位置に移動させるのは容易ではない。

また、特許文献２の記載の技術では、片手で携帯電話機を把持し、もう一方の手でソフトウェアキーボード上のボタンを操作することを想定している。しかし、この携帯電話機を片手で操作すると、把持手から遠い方向に操作ボタンが移動してしまい、かえって操作しにくくなるという問題がある。

本発明は、このような事情に鑑みてなされたものであり、ユーザが片手で携帯端末装置を操作するときの操作性の向上と利便性の向上を図ることができる携帯端末装置および制御プログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の携帯端末装置は、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、ユーザの把持状態を検出するセンサと、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するＧＵＩ配置変更部と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する表示部と、を備えることを特徴とする。

このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（２）また、本発明の携帯端末装置において、前記センサは、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出することを特徴とする。

この構成により、ユーザの把持状態に応じてタッチパネルディスプレイに表示する操作ボタンの図形的要素を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（３）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。

このように、ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（４）また、本発明の携帯端末装置において、前記タッチパネルディスプレイは、ユーザから把持状態の入力を受け付け、前記ＧＵＩ配置検出部は、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。

このように、ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた把持状態に基づいて、操作ボタンの大きさまたは位置を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（５）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。

このように、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、一定期間内のユーザの操作傾向に応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（６）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。

このように、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（７）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。

このように、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好む画面の向きに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（８）また、本発明の制御プログラムは、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、センサによって、ユーザの把持状態を検出する処理と、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。

このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（９）また、本発明の制御プログラムにおいて、前記センサにおいて、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出する処理を更に含むことを特徴とする。

この構成により、ユーザの把持状態に応じてタッチパネルディスプレイに表示する操作ボタンの図形的要素を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（１０）また、本発明の制御プログラムは、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。

このように、ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（１１）また、本発明の制御プログラムは、前記タッチパネルディスプレイを介して、ユーザから把持状態の入力を受け付ける処理と、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理と、を更に含むことを特徴とする。

このように、ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた把持状態に基づいて、操作ボタンの大きさまたは位置を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（１２）また、本発明の制御プログラムは、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。

このように、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、一定期間内のユーザの操作傾向に応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（１３）また、本発明の制御プログラムは、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。

このように、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

（１４）また、本発明の制御プログラムは、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。

このように、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好む画面の向きに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

本発明によれば、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

ユーザが携帯電話機１を左手で持って左手で操作する様子を示す図である。 ユーザが携帯電話機１を右手で持って右手で操作する様子を示す図である。 ユーザが携帯電話機１を右手で持って左手で操作する様子を示す図である。 ユーザが携帯電話機１を左手で持って右手で操作する様子を示す図である。 ユーザが携帯電話機１を両手で持って両手で操作する様子を示す図である。 携帯電話機１におけるＧＵＩの文字入力画面の一例を示す図である。 ソフトウェアによるテンキーボードの例を示す図である。 携帯電話機１のＧＵＩ配置変更のイメージを示す図である。 携帯電話機１のＧＵＩ配置変更のイメージを示す図である。 本実施形態に係る携帯電話機の概略構成を示すブロック図である。 ユーザによるタッチ操作がされたときにデータを取得する様子を示す図である。 学習データ記憶表の一例を示す図である。 初期学習モードの動作を示すフローチャートである。 操作パターンaでボタンを押しやすいと想定される領域を斜線部で示した図である。 操作パターンaでのＧＵＩ配置変更図を示す図である。 操作パターンaでのＧＵＩ配置変更図を示す図である。 操作パターンaでのＧＵＩ配置変更図を示す図である。 両把持両入力でのＧＵＩ配置変更概念図を示す図である。 両把持両入力でのＧＵＩ配置変更概念図を示す図である。 通常モードの動作を示すフローチャートである。 本実施形態の応用例における第１状態の携帯電話機１を示す図である。 本実施形態の応用例における第２状態の携帯電話機１を示す図である。 本実施形態の応用例における第３状態の携帯電話機１を示す図である。 本実施形態の応用例における第４状態の携帯電話機１を示す図である。

以下、本発明の実施形態について図面を参照して説明する。本発明において、携帯端末装置とは、移動しながら通信を行なうことができる装置のことを意味し、携帯電話機、ＰＤＡ（Personal Digital Assistant）、スマートフォンなどを含む概念である。本実施形態では、携帯電話機を例にとって説明するが、本発明は、携帯電話機に限定されるわけではない。

図１Ａ〜図１Ｅは、ユーザが携帯電話機を把持または操作する状態の概念を示す図である。図１Ａは、ユーザが携帯電話機１を左手で持って左手で操作する様子を示している（左把持左操作）。図１Ｂは、ユーザが携帯電話機１を右手で持って右手で操作する様子を示している（右把持右操作）。図１Ｃは、ユーザが携帯電話機１を右手で持って左手で操作する様子を示している（右把持左操作）。図１Ｄは、ユーザが携帯電話機１を左手で持って右手で操作する様子を示している（左把持右操作）。そして、図１Ｅは、ユーザが携帯電話機１を両手で持って両手で操作する様子を示している（両把持両操作）。このように、本実施形態では、ユーザが携帯電話機１を持つ手と操作する手を組み合わせて、５つのパターンで表現している。そして、本実施形態に係る携帯電話機１は、ＧＵＩ（Graphical User Interface）の配置を変更する機能を有し、ＧＵＩは、ソフトウェアキーボードおよび操作ボタンを表示する。

図２Ａは、携帯電話機１におけるＧＵＩの文字入力画面の一例を示す図である。この文字入力画面では、画面２に、ソフトウェアキーボード２−１や、入力ボタンとしての操作ボタン２−２が表示されている。また、図２Ｂは、ソフトウェアによるテンキーボードの例を示す図である。このテンキーボードでは、画面２に操作ボタン２−３、２−４が表示されている。

図３Ａ、図３Ｂは、携帯電話機１のＧＵＩ配置変更のイメージを示す図である。図３Ａは、変更前の画面表示例を示す。図３Ａに示すように、画面３にソフトウェアキーボード３−１が、通常のサイズ、通常の位置に表示されている。一方、図３Ｂは、変更後の画面表示例を示す。ソフトウェアキーボード３−２が、画面２の左下に縮小されて表示されている。この例では、ユーザが左把持左操作をしていることを検出したため、操作をし易くさせるために、ソフトウェアキーボード３−２を縮小して左に寄せているのである。これにより、ユーザが容易に片手操作を行なうことが可能となる。

本実施形態では、ユーザの操作パターンを識別する識別部の識別パラメータ、および、ＧＵＩ配置変更のためのＧＵＩパラメータを学習する初期学習モードと、初期学習モードで学習した結果、および、ユーザが操作する際の情報から、操作パターンを識別し、ＧＵＩ配置を変更する通常モードを有する。

図１Ａ〜図１Ｅに示したように、上記操作パターンには、左把持左入力および右把持右入力、左把持右入力、右把持左入力、両手把持両手入力の５パターンがある。ここでは、それぞれ操作パターンa,b,c,d,eとする。表示部の水平方向をX方向、垂直方向をY方向、鉛直方向をZ方向と記す。このうち、操作パターンa,bは、上述したように、片手操作に相当する。上記操作パターン毎に、ユーザの入力動作による携帯電話機１のゆれや傾きなどの物理的動作や、ユーザがタッチする位置などは異なる特徴を示す。そのため、これらの情報を用いることで、操作パターンを識別することが可能である。

また、図１Ａ〜図１Ｅに示したように、表示部の水平方向をX方向、垂直方向をY方向、鉛直方向をZ方向と記す。

図４は、本実施形態に係る携帯電話機の概略構成を示すブロック図である。主制御部４１は、携帯電話機１の各構成要素の動作を制御する。表示部４２は、種々の操作画面およびソフトウェアキーボードおよび操作ボタンを表示する。タッチパネル入力部４３は、タッチパネルディスプレイを介して、ユーザによる入力を受け付ける。タッチパネル入力部４３は、ユーザがタッチしたときに、以下のデータ(タッチ情報)を取得する。図５は、ユーザによるタッチ操作がされたときにデータを取得する様子を示す図である。
・タッチパネルにタッチした座標(x,y)
・タッチに反応したボタンの中心座標(cx,cy)
・タッチしたボタンの大きさ(w,h)

加速度センサ４４は、携帯電話機１の加速度情報を検出する。検出する加速度はAx、Ay、Azの3軸である。学習データ記憶部４５は、初期学習モードにおいて動作する。ユーザのタッチ操作ごとに、携帯電話機の操作パターン、加速度情報およびタッチ情報を保存する。本明細書では、これらの情報を学習データと呼称し、図６に示す記憶表のように記憶される。識別パラメータ演算部４６は、初期学習モードにおいて動作する。携帯電話機１の加速度情報から識別パラメータを計算する。この識別パラメータは、通常モードにおいて操作パターンを識別するために用いる。識別パラメータ記憶部４７は、識別パラメータ演算部４６により計算された識別パラメータを保存する。

操作パターン識別部４８は、通常モードにおいて動作する。識別パラメータ記憶部４７から読み込んだ識別パラメータと、通常モード時に計測された加速度情報から操作パターンを識別する。ＧＵＩ配置変更パラメータ演算部４９は、初期学習モードにおいて動作する。タッチ情報からＧＵＩ配置変更パラメータを演算する。ＧＵＩ配置変更パラメータ記憶部５０は、ＧＵＩ配置変更パラメータを記憶する。ＧＵＩ配置制御部５１は、通常モードにおいて動作する。操作パターン識別部４８にて識別された操作パターンおよびＧＵＩ配置変更パラメータからＧＵＩ配置を変更する。

次に、以上のように構成された本実施形態に係る携帯電話機１の動作について説明する。通常モードで操作パターンを識別するタイミングは、ユーザが携帯電話機１を把持し、所望の操作をする前であるのが好ましい。これは、ユーザが所望の動作をしている最中に、ＧＵＩ配置が大きく変化することは操作性の低下につながるためである。本実施形態では、通常モードにおいて操作パターンを識別するタイミングとして、携帯電話機１の暗証番号を入力して、スリープのロックを解除する時のテンキーボードによる入力動作について、本発明を適用した場合を説明する。ここで、初期学習モードで学習するタッチ情報および加速度情報は、テンキーボードを利用して入力された時のデータとする。

以下、初期学習モードについて説明する。図７は、初期学習モードの動作を示すフローチャートである。初期学習モードでは、ユーザの携帯電話機１の操作パターンを識別するための識別パラメータおよびＧＵＩ配置を変更するためのＧＵＩ配置変更パラメータを学習する。まず、携帯電話機１を起動し（ステップＳ１）、学習データ取得用テンキーボードの表示を行なう。図２Ｂに示すテンキーボードと、操作パターン選択肢を表示部に表示する。次に、図１Ａ〜Ｅに示す操作パターンa~eをユーザに選択させ（ステップＳ２）、結果を学習データ記憶部４５にて保存する。

次に、学習データの取得を行なう。ユーザに入力させる数字列を表示する。ユーザが開始ボタンを押した時から、終了ボタンを押すまで、あるいは、数字列の入力が開始されたときから、すべての入力が完了するまで、タッチ情報と加速度情報を計測する（ステップＳ３、ステップＳ４）。加速度情報は、タッチを検出した時のデータのみとする。計測した結果を学習データ記憶部４５にて保存する（ステップＳ５）。そして、図６に示すように、学習データ記憶部４５にデータ形式に応じてデータを記憶する。

次に、別の操作パターンの入力および学習データの取得を行なう（ステップＳ６）。上記と同様に、他の操作パターンの選択、数字列の入力をユーザに行なわせ、タッチ情報と加速度情報を取得する。学習が終了したかどうかを判断し（ステップＳ７）、終了していなければ、ステップＳ３に遷移し、学習が終了した場合は、ステップＳ８に遷移する。ステップＳ８では、識別パラメータの計算および保持を行なう。上記学習データの取得終了後に、操作パターン識別部４８の識別パラメータを計算する（ステップＳ８）。操作パターン識別部４８は、通常モードにおいて、加速度を入力値として、前記操作パターンa~eを出力値とする。つまり、ユーザが入力動作中の加速度データを元に、ユーザの操作パターンが、左把持左入力、右把持右入力、左把持右入力、右把持左入力、両把持両入力の５パターンのうち、どれであるかを識別する。

加速度の代わりに、タッチ情報または、加速度およびタッチ情報の両情報または、両情報に加えてそれらの時間微分値を入力値としてもよい。識別パラメータは、その識別に用いるパラメータである。

操作パターン識別部４８には、ＳＶＭ、ｋ近傍法、ベイズ分類、ニューラルネットワークなど、広く利用されている識別器を利用する。これらの識別器は、ある時刻での入力値から操作パターンを識別するものであるため、識別結果は時間変化につれて異なる結果を示しうる。そのため操作パターン識別部４８では、ある一定時間内または一定打鍵数内で識別器が識別した操作パターンのうち割合が大きいものを最終的な操作パターンと識別する。しかし、前記識別部を動作させるためには、ある程度高スペックの端末が必要となる。そのため、これらの識別部は、携帯電話機内部に配置するだけでなく、携帯電話と通信可能なサーバ端末上に配置してもよい。このとき、携帯電話機の送信部が、ユーザ動作中に取得した加速度およびタッチ情報をサーバに送信し、それらを元に、サーバが操作パターンの識別を行ない、その結果を携帯電話機の受信部が受信する構成とする。あるいは、操作パターンを選択させるＧＵＩをユーザに提示し、どれかをユーザに選択させる識別部であってもよい。

本発明において、操作パターン識別部４８は、ユーザが入力動作中のユーザの操作パターンが、左把持左入力、右把持右入力、左把持右入力、右把持左入力、両把持両入力の５パターンのうち、どれかを識別するものであれば、その構成、詳細実施方法は、問わない。上記、識別パラメータの計算結果を識別部パラメータ記憶部に保存する。

次に、ＧＵＩ配置変更のための学習を行なう（ステップＳ９）。すなわち、操作パターンiに対するＧＵＩ配置変更のための学習について説明する。ＧＵＩ配置変更はX、Y各方向に、
・ボタン位置を距離pi,qi平行移動
・ボタンサイズをri,si倍拡大
の一つまたはいずれかの組み合わせからなる。iは図１Ａ〜図１Ｅの操作パターンa,b,c,d,eに対応する。これらpi~siをＧＵＩ配置変更パラメータとする。

これらＧＵＩ配置変更は、操作パターンiの学習データまたは学習データから求めることができる以下の値および、ディスプレイ上の各値に基づいて定義する。
・加速度(Axi,Ayi,Azi)
・タッチ座標(xi,yi)
・反応したボタンの中心座標(cx,cy)
・タッチ座標と反応したボタンの中心座標とのタッチ誤差(Δxi,Δyi)=(cx-xi，cy-yi)
・タッチしたボタンの大きさ(w,h)
・ディスプレイの大きさ(W,H)
・ソフトウェアキーボードの大きさ(Lx,Ly)
・タッチしたボタンと一つ前にタッチしたボタンとの距離
・隣のボタンとの距離
・上記の時間微分値

以下、ソフトウェアキーボードのＧＵＩ配置変更例を挙げる。図８は、操作パターンaでボタンを押しやすいと想定される領域を斜線部で示した図である。図中の斜線部は、ディスプレイ左下を中心とする2つの円弧に挟まれた領域としたが、円弧に限らない。図８の斜線部以外の領域は、手に近すぎる、または遠すぎるために、ユーザがボタンを押しにくい領域である。そのため、ＧＵＩ配置を変更する場合、斜線部内に移動することが望ましい。

一方、両手操作（操作パターンがcあるいはおよびd）の場合は、押しにくい領域を考慮する必要がなく、ボタンを大きく移動する必要はない。

また、操作パターンeでは、ソフトウェアキーボードを左右に分割することで、操作性が向上すると考えられる。このように、操作パターンa,およびbと、操作パターンc,およびdと、操作パターンeとではで、ＧＵＩ配置変更方法のポリシーが異なる。

さらに、各操作パターンにおいて、利き手、端末の持ち方（端末に対する手の添え方）、ボタンを押す指の違いによって、同じボタンであっても、タッチ座標の分布が異なる。それぞれの操作パターンに対して、タッチ誤差を基にＧＵＩ配置変更を行なうと、詳細な変更ができると考えられる。

そこで、以下の２段階の手順でＧＵＩ配置変更を行なう。
（手順１）片手操作(操作パターンa,b)なら片手操作しやすい想定される領域に大まかにソフトウェアキーボードを移動。操作パターンc,dなら変更なし。操作パターンeなら左右に分割。両手操作なら変更なし。
（手順２）各操作パターンに対して、タッチ誤差を用いてソフトウェアキーボードをX方向あるいは、および、Y方向に平行移動。

まず、手順１の片手操作について述べる。図９Ａ〜図９Ｃは、操作パターンaでのＧＵＩ配置変更図を示す図である。点O1(xmin,ymin)は手に近いために操作しにくいと想定される領域の端点のうちの一つである。点O2(xmax,ymax)は手から遠いために操作しにくいと想定される領域の端点のうちのひとつである。点O1,O2は、学習データでの、タッチしたボタンの中心座標と、加速度およびタッチ誤差およびそれらの平均・分散などから求められるものとする。あるいは、予め定数として与えておいても良い。また、点C1(cx1,cy1)はソフトウェアキーボードの左下端から最も近いボタンの中心座標、点C2(cx2,cy2)は右上端から最も近いボタンの中心座標である。

点C1および点C2が押しやすいと想定される領域に移動すれば全体が押しやすいＧＵＩ配置となると考えられる。そのために、まずC1をO1へ、C2をO2へ移動し、次に、ソフトウェアキーボード全体をそれに合わせて縮小する。このＧＵＩ配置変更により全てのボタンの一部および全体が押しやすいと想定される領域内に含まれることとなる。

このＧＵＩ配置変更はＧＵＩ配置変更パラメータpa,qa,ra,saを用いて次のように、説明できる。まず、ソフトウェアキーボードの大きさをキーボード左下端部座標(x0, y0)を中心に、X方向にra倍、Y方向にsa倍し、その後、X方向にpa,Y方向にqa平行移動する。各々のパラメータは以下に示す。
pa= xmin - x0
qa= ymin - y0
ra= (xmax -xmin)/(Lx-w)
sa=( ymax- ymin)/(Ly-h)

操作パターンｂでは、上記例をディスプレイ中心に対して、Ｘ方向を反転して同様のＧＵＩ配置変更をすればよい。

次に、操作パターンｅについて述べる。図１０Ａ、図１０Ｂは、両把持両入力でのＧＵＩ配置変更概念図を示す図である。タッチ位置およびタッチ誤差を用いてボタン毎に左右どちらで多く押されているか識別し、あるボタンとボタンの間を境界としソフトウェアキーボードを分割する。例えば、ボタンごとのΣΔxi/Miの正負を比較し、正ならボタンの左を多く押しているため、左にボタンを移動、負なら右に移動する。

操作パターンbでは、上記例をディスプレイ中心に対して、X方向を反転して同様のＧＵＩ配置変更をすればよい。

次に、手順２について述べる。各操作パターンiに対して、タッチ誤差の平均からソフトウェアキーボードをX座標にpi、Y座標にqi移動する。
pi，qiは以下の式で定義される。
pi=ΣΔxi/Mi
qi＝ΣΔyi/Mi
と定義する。ここでMiは図４に示す、操作パターンiの学習データ数である。

以上、手順１，２を繰り返し学習することで、ユーザの操作パターンに適したＧＵＩ配置変更を行なうことができると考えられる。この手順はソフトウェアキーボードだけでなく、他の入力場面に適応しても良い。

次に、通常モードを説明する。図１１は、通常モードの動作を示すフローチャートである。通常モードは、加速度情報を基に操作パターンを識別し、ＧＵＩ配置を変更する。まず、暗証番号入力を行なう（ステップＴ１）。図２Ｂに示したようなテンキーボードを表示し、ユーザに暗証番号を入力させる。次に、加速度情報およびタッチ情報の取得を行なう（ステップＴ２）。初期学習モードと同様に、暗証番号入力中の加速度およびタッチ情報を取得する。次に、操作パターンの初期識別を行なう（ステップＴ３）。入力完了時、加速度情報を基に前記識別部により、操作パターンを識別する。次に、ＧＵＩ配置変更を行なう（ステップＴ４）。識別された操作パターンに基づいて、初期学習モードで学習したＧＵＩパラメータをＧＵＩパラメータ記憶部から読み出し、ＧＵＩ配置を変更する。変更方法は前記(ＧＵＩ配置変更のための学習)で示した通りとする。

次に、通常操作が行なわれる（ステップＴ５）。この後、ユーザは通常通り携帯電話機１を使用する。これ以後も、ソフトウェアキーボードやボタンを押す際の加速度およびタッチ情報を記憶するものとする（ステップＴ６）。次に、終了操作が行なわれたかどうかを判断し（ステップＴ７）、ユーザが携帯操作を終了する操作を行なわなかった場合、操作パターンとＧＵＩ変更パラメータの再識別・再変更を行なう（ステップＴ８、Ｔ９）。実際の操作パターンと異なるパターンを誤って識別したり、通常操作の途中でユーザが携帯電話機１の操作パターンを変えることが考えられる。そこで、ある判定をもとに操作パターンの再識別・再変更を行なう。再識別・再変更の可否の判定タイミングには、以下のいずれかがある。
・一定時間または打鍵数間隔ごとに
・一定時間または打鍵数以内に文字入力キャンセルボタンを累積K回打鍵した時
・一定時間または打鍵数以内のタッチ誤差絶対値の平均値がある値より大きい時
・一定時間または打鍵数以内の加速度の分散がある値より大きい時
・携帯がスリープ状態になった時
・ユーザが操作パターンの判別間違いを直接指摘した時
・上記いずれかの組み合わせが起こった時

また、その操作開始から変更までの誤識別された操作パターンで計測された加速度およびタッチパネルの情報を正しい操作パターンに対応づけて学習データとして記憶する。さらに、操作パターンの再識別・再変更の後、ＧＵＩ変更パラメータも再学習する。

一方、ステップＴ７において、ユーザが携帯操作を終了する操作を行なった場合、記録した加速度およびタッチ情報を学習データに加えて、識別パラメータおよびＧＵＩ変更パラメータを再学習し（ステップＴ１０）、終了する（ステップＴ１１）。

本実施形態では、初期学習モードおよび通常モードの初期識別に、テンキーボードを用いて暗証番号を入力する方法を用いているが、他のソフトウェアキーボードを用い、他の文字列・数字列を入力する方法を用いても良い。また、本実施形態では、初期学習モードにおけるパラメータ計算は、ユーザが携帯電話の終了処理を行なった後に行なっているが、携帯電話がスリープになったときでも良い。また、通常モードは、初期学習モードで得られた識別パラメータおよびＧＵＩ変更パラメータを用いるが、初期学習モードが行なわれない場合、予め設定されているパラメータを使用しても良い。

また、本実施形態では、識別パラメータおよびＧＵＩ変更パラメータを学習データ記憶部に保存するが、両パラメータを記憶出来る外部のサーバと送受信する機能を有しても良い。このことで、ユーザが所有する携帯電話を変更しても、初期学習モードを伴わず、操作パターンの識別およびＧＵＩ配置の変更を行なうことができる。

本実施形態では、ＧＵＩ配置変更の移動を行なったが、代わりに、タッチパネル上のボタンの打鍵検出領域の移動を行なっても良い。図１２Ａ〜図１２Ｄは、本実施形態の応用例を示す図である。携帯電話機１の向きが、第１状態において、第１状態から表示部の垂線を軸に９０度、１８０度、２７０度ずつ回転させた状態を第２状態、第３状態、第４状態とすると、前記第１〜４状態のいずれか一つの初期学習モードより得た識別部パラメータおよびＧＵＩパラメータを用いて、加速度座標変換により、他の３状態の操作モードの識別に適応してもよい。

変換式として、第i状態で計測する加速度を(Aix,Aiy,Aiz) (i=1,2,3,4)とすると
(A2x,A2y,A2z)=(−A1y,A1x,A1z)
(A3x,A3y,A3z)=(−A1x,−A1y,A1z)
(A4x,A4y,A4z)=(A1y,−A1x,A1z)
とすることでユーザの操作パターンを識別できる。入力ＧＵＩ変更に関しては、入力ＧＵＩを移動させる方向を前記携帯の回転の向きに従い変更し、ＧＵＩパラメータを携帯電話の高さと幅情報を用いスケーリングすることで適応できる。第１状態での携帯電話機の高さをH、幅をWとした時、例として、第２、第４状態では第１状態のＧＵＩ配置変更での移動量をH/W倍することでスケーリングを行なうことが挙げられる。携帯電話機１の前記１〜４の状態判別は傾き検知センサなどで行なうものとする。

なお、本実施形態では、操作パターンの識別および入力ＧＵＩの変更のために、運動加速度を用いているが、各々について、地磁気センサ、ジャイロセンサから得られる情報を用いても良い。

なお、本発明の特徴的な動作は、制御プログラムをコンピュータに実行させることによっても実現することが可能である。すなわち、本実施形態に係る制御プログラムは、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、センサによって、ユーザの把持状態を検出する処理と、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。

このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

以上説明したように、本実施形態によれば、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。

１ 携帯電話機
２ 画面
２−１ ソフトウェアキーボード
２−２ 操作ボタン
２−３ 画面
３−１ ソフトウェアキーボード
４１ 主制御部
４２ 表示部
４３ タッチパネル入力部
４４ 加速度センサ
４５ 学習データ記憶部
４６ 識別パラメータ演算部
４７ 識別パラメータ記憶部
４８ 操作パターン識別部
４９ ＧＵＩ配置変更パラメータ演算部
５０ ＧＵＩ配置変更パラメータ記憶部
５１ ＧＵＩ配置制御部

Claims (14)

1. タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、
   ユーザの把持状態を検出するセンサと、
   前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するＧＵＩ配置変更部と、
   前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する表示部と、を備えることを特徴とする携帯端末装置。
2. 前記センサは、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出することを特徴とする請求項１記載の携帯端末装置。
3. 前記ＧＵＩ配置変更部は、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
4. 前記タッチパネルディスプレイは、ユーザから把持状態の入力を受け付け、
   前記ＧＵＩ配置検出部は、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
5. 前記ＧＵＩ配置変更部は、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
6. 前記ＧＵＩ配置変更部は、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
7. 前記ＧＵＩ配置変更部は、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
8. タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、
   センサによって、ユーザの把持状態を検出する処理と、
   前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、
   前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする制御プログラム。
9. 前記センサにおいて、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
10. 前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
11. 前記タッチパネルディスプレイを介して、ユーザから把持状態の入力を受け付ける処理と、
    前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理と、を更に含むことを特徴とする請求項８記載の制御プログラム。
12. 一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
13. ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
14. ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。

Images