JPH08227341A

JPH08227341A - ユーザインターフェース

Info

Publication number: JPH08227341A
Application number: JP3323295A
Authority: JP
Inventors: Noriyuki Komiya; 紀之小宮; Noriyuki Kushiro; 紀之久代; Masahiro Inoue; 雅裕井上; Kazuo Kamimura; 一穂上村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-02-22
Filing date: 1995-02-22
Publication date: 1996-09-03

Abstract

(57)【要約】【目的】高齢者や目の不自由な方などにも簡単に操作
を行うことのできる操作性が向上されたユーザインター
フェースを提供する。【構成】複数の操作ボタンおよび操作キーを表示する
表示ユニット６と、タッチスクリーン５と、操作ボタン
および操作キーに対応した制御を行う制御部とを備え、
制御部は、タッチスクリーン５の出力信号に基づいて表
示ユニット６に表示された操作ボタンおよび操作キーの
うち、指示されたものの画像を識別する画像識別手段１
８と、画像識別手段１８によって識別された画像を他の
表示画像と識別可能にするための特殊表示をさせるかど
うかを判断する特殊効果識別手段１９と、特殊効果識別
手段１９の判断結果に基づいて表示ユニット６の指示さ
れた操作ボタンまたは操作キーに対して特殊表示をさせ
る第１の制御手段とを有するものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、空調機器、照明機器、
家電機器などにおける各種機器の操作器のユーザインタ
ーフェースに関するものである。

【０００２】

【従来の技術】昨今の空調機器、照明機器、家電機器な
どにおける操作器のユーザインターフェースは、タッチ
スクリーンによるダイレクトタッチ方式のものが主流と
なりつつある。タッチスクリーンを使用した入力方式の
ユーザインターフェースは、画面に現れる操作ボタンや
操作キー等の画像に直接触れることによって操作が行え
るため、快適な操作が行える。

【０００３】このような操作器のユーザインターフェー
スにおける高齢者や目の不自由な方のための施策として
は、タッチスクリーンに表示される表示文字を大きくし
たり、操作ボタンや操作キー等を大きいものにすること
が考えられる。また、ユーザの操作の補助機能に関して
は、主に個々の操作の方法に対応する説明、あるいは操
作手順に対応する支援などのヘルプ機能が考えられる。

【０００４】そのため、例えば特開平４−２４８１９号
公報に示すように、操作器の操作キーを使用頻度に基づ
いて拡大表示させるようにしたタッチスクリーン式デー
タ入力装置が開示されている。

【０００５】特開平４−２４８１９号公報に開示された
タッチスクリーン式データ入力装置は、複数のキー画像
を表示する表示ユニット表面の指示されたポイントの座
標値を検出し、ポイントの座標値と各キー画像の表示領
域データとから指示されたキー画像を識別してキーデー
タを入力するタッチスクリーン式データ入力装置におい
て、各キーの使用頻度を演算する使用頻度演算部と、各
キーの使用頻度に基づいて各キー各キー画像の大きさを
演算する演算部と、演算された大きさのキー画像を発生
して表示ユニットに表示するキー画像発生部と、各キー
画像の表示領域を演算するキー画像領域演算部とを有す
るものである。

【０００６】そして、タッチスクリーン式データ入力装
置における各キーの使用頻度を演算し、各キーの使用頻
度に基づいて各キー画像の大きさを求め、大きさでキー
画像を発生して表示ユニットに表示するとともに、各キ
ー画像の表示領域を演算し、以後表示ユニットに表示さ
れている所定のキー画像上のポイントが指示された時、
指示されたポイントの座標値を検出し、ポイントの座標
値と各キー画像の表示領域データとから指示されたキー
画像を識別してキーデータを出力する。

【０００７】

【発明が解決しようとする課題】上記のような従来のユ
ーザインターフェースは、グラフィック化されたもので
あるので、画面上の操作キー等を視覚的に捉えて操作す
ることが前提となっている。また、平滑なタッチスクリ
ーン上で手探りでボタンの位置を突き止めるのは極めて
困難である。これらのことが高齢者や目の不自由な方に
とっては、かえって操作を難しくしていた。また、特開
平４−２４８１９号公報に開示されたタッチスクリーン
式データ入力装置においては、キー画像を使用頻度に基
づいて拡大させているが、上記のような問題を解決する
には至らなかった。

【０００８】さらに、従来のユーザインターフェースは
タッチスクリーンを使用した入力方式のものなので、タ
ッチスクリーンの画面上に描かれた操作ボタンや操作キ
ーの画像に直接触れるという操作が行われるが、この操
作は現実世界の操作ボタンや操作キーの操作とはかけ離
れているため、「ボタンを押した」あるいは「キーに触
れた」といった操作感覚が得難く、わかり難いものであ
った。また、ユーザの操作補助となるヘルプ機能におい
ても、ユーザが自分の意図することを行うために必要な
情報を得ることが難しかったり、逆に必要以上に過剰な
情報がユーザに与えられてしまってかえって操作の妨げ
になることがあった。

【０００９】本発明は、上記のような課題を解決するた
めになされたもので、高齢者や目の不自由な方などにも
簡単に操作を行うことのできる操作性が向上されたユー
ザインターフェースを提供することを目的としたもので
ある。

【００１０】

【課題を解決するための手段】本発明に係るユーザイン
ターフェースは、複数の操作ボタンおよび操作キーを表
示する表示ユニットと、表示ユニットの表面に配置さ
れ、指示された位置の座標を検出するタッチスクリーン
と、タッチスクリーンの出力信号に基づいて操作ボタン
および操作キーに対応した制御を行う制御部とを備え、
制御部は、タッチスクリーンの出力信号に基づいて表示
ユニットに表示された操作ボタンおよび操作キーのう
ち、指示されたものの画像を識別する画像識別手段と、
画像識別手段によって識別された画像を他の表示画像と
識別可能にするための特殊表示をさせるかどうかを判断
する特殊効果識別手段と、特殊効果識別手段の判断結果
に基づいて表示ユニットの指示された操作ボタンまたは
操作キーに対して特殊表示をさせる第１の制御手段とを
有するものである。

【００１１】また、特殊表示は指示された操作ボタンま
たは操作キーの周囲にダイナミックな動作が付加された
アニメーション画像であるものである。

【００１２】さらに、第１の制御手段は、特殊表示のア
ニメーション画像である波紋画像のデータが格納されて
いる波紋画像データ記憶部と、波紋画像データ記憶部の
波紋画像データを順次取り出し波紋画像データの所在、
数および表示順序を決定する波紋画像パターン決定部
と、波紋画像パターン決定部からの決定情報、波紋画像
座標演算部からの表示座標情報および波紋画像大きさ演
算部からの表示大きさ情報に基づいて波紋画像を発生さ
せる波紋画像発生部とを有するものである。

【００１３】本発明に係るユーザインターフェースの制
御部は、タッチスクリーンの出力信号に基づいて表示ユ
ニットに表示された操作ボタンおよび操作キーのうち、
指示されたものの画像を識別する画像識別手段と、画像
識別手段によって識別された画像に対して他の表示画像
と識別可能にするための効果音を発生させるかどうかを
判断する特殊効果識別手段と、特殊効果識別手段の判断
結果に基づいて表示ユニットの指示された操作ボタンま
たは操作キーに対応した効果音をスピーカから発生させ
る第２の制御手段とを有するものである。

【００１４】また、第２の制御手段は、タッチスクリー
ンの押圧力を検出する圧力検出手段を有し、押圧力が所
定圧力以上の時には指定された操作ボタンまたは操作キ
ーに対応した効果音を発生させるとともにその処理を行
い、押圧力が所定圧力より小さい時には効果音のみを発
生させるものである。

【００１５】さらに、第２の制御手段は、操作ボタンお
よび操作キーに対応した効果音データが格納されている
効果音データ記憶部と、指定された操作ボタンまたは操
作キーに対応した効果音データを効果音データ記憶部か
ら取り出しその効果音データの所在を決定する効果音パ
ターン決定部と、効果音パターン決定部からの決定情報
に基づいて効果音をスピーカより発生させる効果音発生
部とを有するものである。

【００１６】本発明に係るユーザインターフェースは、
複数の操作ボタンおよび拡大表示キーを含む操作キーを
表示する表示ユニットと、表示ユニットの表面に配置さ
れ、指示された位置の座標を検出するタッチスクリーン
と、タッチスクリーンの出力信号に基づいて操作ボタン
および操作キーに対応した制御を行う制御部とを備え、
制御部は、タッチスクリーンの出力信号に基づいて表示
ユニットに表示された操作ボタンおよび操作キーのう
ち、指示されたものの画像が拡大表示キーの画像である
かどうかを識別する画像識別手段と、画像識別手段にお
いて拡大表示キーが識別された時には必要最小限の操作
ボタンと操作キーとの組合わせからなるシュリンク画面
を表示ユニットに表示させる第３の制御手段とを有する
ものである。

【００１７】また、第３の制御手段は、シュリンク画面
のデータが複数格納されているシュリンク画面データ記
憶部と、シュリンク画面データ記憶部に格納されている
シュリンク画面データをもとに操作ボタンまたは操作キ
ーの画像の大きさあるいは画像の数量を決定する画像大
きさ決定部および画像数量決定部と、画像大きさ決定部
および画像数量決定部の決定情報に基づいて画像の大き
さ演算および座標演算をそれぞれ行う演算部と、これら
の演算結果に基づいてシュリンク画面を発生させる画像
発生部とを有するものである。

【００１８】本発明に係るユーザインターフェースの制
御部は、タッチスクリーンの出力信号に基づいて表示ユ
ニットに表示された操作ボタンおよび操作キーのうち、
指示されたものの画像が拡大表示キーの画像であるかど
うかを識別する画像識別手段と、画像識別手段において
拡大表示キーが識別され次に画面の任意の箇所が押され
て指定されると、指示された箇所の座標を中心に予め定
められた半径内の画像を予め定められた倍率で表示ユニ
ットに拡大表示させる第４の制御手段を有するものであ
る。

【００１９】また、第４の制御手段は、指示された箇所
の座標が拡大される画面の中心基準となることを決定す
る画面拡大位置決定部と、画面拡大位置決定部によって
決定された基準座標を中心に予め定められた半径内の画
像が予め定められた倍率になるように演算する画像座標
演算部および画像大きさ演算部と、演算結果に基づいて
拡大された拡大画面を発生させる画像発生部とを有する
ものである。

【００２０】本発明に係るユーザインターフェースは、
複数の操作ボタンおよび複数のヘルプキー含む操作キー
を表示する表示ユニットと、表示ユニットの表面に配置
され、指示された位置の座標を検出するタッチスクリー
ンと、タッチスクリーンの出力信号に基づいて操作ボタ
ンおよび操作キーに対応した制御を行う制御部とを備
え、制御部は、タッチスクリーンの出力信号に基づいて
表示ユニットに表示された操作ボタンおよび操作キーの
うち、指示されたものの画像がヘルプキーの画像である
かどうかを識別する画像識別手段と、画像識別手段にお
いていずれかのヘルプキーが識別された時にはそのヘル
プキーに対応したヘルプ処理を行わせる第５の制御手段
を有するものである。

【００２１】また、第５の制御手段は、操作される操作
ボタンまたは操作キーの履歴が格納される操作履歴記憶
部と、操作ボタンおよび操作キーの操作方法データが格
納された操作方法データ記憶部と、表示ユニットに表示
される各画面の操作手順データが格納されている操作手
順データ記憶部と、画像識別手段において操作方法ヘル
プキーが識別された時に指定された操作ボタンまたは操
作キーの操作方法データを表示ユニットに表示させる操
作方法発生部と、画像識別手段において操作手順ヘルプ
キーが識別された時に表示ユニットに表示されている画
面の操作手順データを表示ユニットに表示させる操作手
順発生部と、表示ユニットに表示されている画面の操作
終了後に画像識別手段において操作サマリヘルプキーが
識別された時に操作履歴記憶部に格納された操作キーの
履歴に基づいて操作サマリを表示ユニットに表示させる
操作サマリ提示部とを有するものである。

【００２２】本発明に係るユーザインターフェースは、
タッチスクリーンの周囲およびその表面に突起を複数設
けたものである。

【００２３】

【作用】本発明に係るユーザインターフェースは、表示
ユニットに表示された操作ボタンおよび操作キーのう
ち、指示されたものの画像を画像識別手段によって識別
し、特殊効果識別手段によってその画像において特殊表
示をさせるかどうかを判断し、特殊表示をさせる場合は
第１の制御手段によって指示された操作ボタンまたは操
作キーに対して特殊表示を行い、他の表示画像と識別可
能にする。

【００２４】また、指示された操作ボタンまたは操作キ
ーの周囲に特殊表示としてダイナミックな動作が付加さ
れたアニメーション画像を表示し、容易に他の表示画像
と識別可能にする。

【００２５】さらに、第１の制御手段によって指示され
た操作ボタンまたは操作キーの周囲に波紋を表示させ、
画面操作の実感の不足を補う。

【００２６】本発明に係るユーザインターフェースは、
画像識別手段によって識別された画像において効果音を
発生させるかどうかを特殊効果識別手段によって判断
し、効果音を発生させる場合は第２の制御手段によって
指示された操作ボタンまたは操作キーに対応した効果音
をスピーカから発生させて、他の表示画像と識別可能に
する。

【００２７】また、圧力検出手段によってタッチスクリ
ーンの押圧力を検出し、押圧力が所定圧力以上の時には
指定された操作ボタンまたは操作キーに対応した効果音
を発生させるとともにその処理を行い、視覚だけでなく
聴覚からも画面操作の実感の不足を補う。一方、押圧力
が所定圧力より小さい時には効果音のみを発生させ、そ
の効果音を頼りに手探りで画面上のボタンの位置が分か
るようにし、目の不自由な方にも目的とする操作を行う
ためのボタンの位置が容易に分かるようにする。ここ
で、押圧力が所定圧力より小さい時には発生する効果音
と、所定圧力以上の時に発生する効果音とでは、必ずし
も一致する必要はなく、例えば所定圧力より小さい時に
発生する効果音を音声ガイダンスとすることにより、一
層効果的に操作ガイドができる。

【００２８】本発明に係るユーザインターフェースは、
画像識別手段によって識別された画像が拡大表示キーの
画像である時、第３の制御手段によって操作画面に対応
したシュリンク画面を表示させ、必要最小限の操作ボタ
ンと操作キーで画面操作ができるようにする。

【００２９】また、画像識別手段によって識別された画
像が拡大表示キーの画像である時、操作画面に表示され
た文字および操作キー等が見易くなり、高齢者等におい
てもキー操作を簡単かつ確実に行えるように、第４の制
御手段によって次に画面の任意に指示された箇所の座標
を中心に予め定められた半径内の画像を予め定められた
倍率で表示ユニットに拡大表示させる。

【００３０】本発明に係るユーザインターフェースは、
画像識別手段によって識別された画像がヘルプキーの画
像である時、画面操作を円滑に行えるように第５の制御
手段によってそのヘルプキーに対応したヘルプ処理を行
う。

【００３１】また、第５の制御部はヘルプキーのうち、
第１のヘルプキーが指示されると次に指定された操作ボ
タンまたは操作キーの操作方法データを表示ユニットに
表示させ、第２のヘルプキーが指示されると表示ユニッ
トに表示されている画面の操作手順データを表示ユニッ
トに表示させ、第３のヘルプキーが指示されると操作サ
マリを表示ユニットに表示させ、ユーザが意図する操作
を達成できるようにする。

【００３２】本発明に係るユーザインターフェースは、
タッチスクリーンの周囲およびその表面に突起を複数設
けることにより、目の不自由な方にもタッチスクリーン
のいずれの辺りを触っているかを容易に知ることができ
る。

【００３３】

【実施例】

実施例１．図１は本発明の第１〜第４の実施例の構成を
示すブロック図、図２は本発明の第１の実施例に係る表
示ユニットに表示された操作画面の要部の拡大図であ
る。

【００３４】この実施例１においては、まず、図２に示
すように、表示ユニット６に表示されている操作画面の
操作ボタン４１の画像がユーザによって押圧されると、
位置座標検出部を有するタッチスクリーン５によって押
圧された操作ボタン４１の座標が検出され、画像識別部
１８およびタッチ圧力検出部２０に検出座標情報が出力
される。そして、画像識別部１８はタッチスクリーン５
からの検出座標情報に基づいてどの操作ボタンまたは操
作キーの画像が操作されたのかを識別する。なお、ここ
では図２（ａ）に示す操作ボタン４１の画像が識別され
る。ついで、特殊効果識別部１９は、画像識別部１８に
よって識別された画像に基づいて識別された画像を他の
表示画像と識別可能にするための特殊表示、例えば識別
された操作ボタンまたは操作キーの周囲にダイナミック
な動作が付加されたアニメーション画像である波紋画像
を表示させるかどうかを判断し、特殊表示をさせる場合
は、波紋画像パターン決定部１２に信号を送る。

【００３５】特殊効果識別部１９から波紋画像パターン
決定部１２に信号が送られると、波紋画像パターン決定
部１２は波紋画像発生部８を介して波紋画像データ記憶
部９から波紋画像データを順次取り出すとともに、波紋
画像データの所在、数、および表示順序を指示情報を決
定し、この指示情報と、波紋画像座標演算部１０によっ
て演算された表示座標情報と、波紋画像大きさ演算部１
１によって演算された表示大きさ情報とに基づいて波紋
画像発生部８は波紋画像を発生させ、画像メモリ７に書
き込む。そして、表示ユニット６ではユーザによって押
圧された操作ボタン４１に対し、図２（ｂ）に示すよう
に、その操作ボタン４１の周囲に波紋４２が広がるアニ
メーション画像が波紋画像パターン決定部１２が指定し
た回数だけ繰り返し表示される。

【００３６】このように、平坦でかつ押圧しても変化の
ない表示ユニット６（タッチスクリーン）上で操作ボタ
ンまたは操作キーの操作を行うと、押圧された操作ボタ
ンまたは操作キーの周囲に波紋４２が広がるアニメーシ
ョン画像などの特殊表示が付加されるので、画面操作の
実感の不足を補うことができる。また、タッチスクリー
ン上では操作中において操作ボタン等が操作している指
によって隠されて見えなくなってしまうことがあるが、
波紋画像が表示されることによって押圧されたことを容
易に確認することができ、操作性の向上を計ることがで
きる。

【００３７】なお、上述の実施例では特殊表示としてア
ニメーション画像である波紋を表示させる場合を例示し
て説明したが、例えば指示された操作ボタンまたは操作
キー全体やその周囲を変色させるようにしてもよく、ま
た、点滅させるようにしてもよい。

【００３８】実施例２．図３は本発明の第２の実施例に
係る表示ユニットに表示された操作画面の作用説明図で
ある。以下、この実施例の作用を図４のフローチャート
を用いて説明する。

【００３９】まず、表示ユニット６に表示されている操
作画面の操作ボタンまたは操作キーの画像がユーザによ
って押圧されると、実施例１で説明した場合と同様に押
圧された操作ボタンまたは操作キーの座標がタッチスク
リーン５によって検出され、その座標に基づいてどの操
作ボタンまたは操作キーの画像が操作されたのかを画像
識別部１８によって識別される。ついで、画像識別部１
８によって識別された画像に基づいて識別された画像に
対して他の表示画像と識別可能にするための効果音、例
えば識別された操作ボタンまたは操作キーにおける操作
内容の説明音を発生させるかどうかを特殊効果識別部１
９によって判断し（ステップ４５）、効果音を発生させ
る場合は効果音パターン決定部４に信号を送る。

【００４０】特殊効果識別部１９から効果音パターン決
定部４に信号が送られると、効果音パターン決定部４は
効果音発生部２を介して効果音データ記憶部３に格納さ
れている個々の操作ボタンまたは操作キーの画像に対応
した効果音データ（操作方法説明データ）を取り出すと
ともに、押圧された操作ボタンまたは操作キーの画像に
対する効果音データの所在を効果音発生部２に指示す
る。そして、図３（ａ），（ｂ）に示すように、押圧中
または押圧後において操作ボタン４３または操作キー４
４に対応した効果音Ａまたは効果音Ｂが効果音発生部２
によってスピーカ１から発生される（ステップ４６）。

【００４１】この時、タッチ圧力検出部２０はタッチス
クリーン５から送られてくる押圧した操作ボタンまたは
操作キーの圧力を検出するとともに、その検出圧力が予
め定められたしきい値と比較させており（ステップ４
７）、しきい値より強く操作ボタン等が押圧された場合
は実際に操作ボタン等が押圧されたと判断されて、押圧
された操作ボタンまたは操作キーに対応した効果音を発
生させるとともに、その操作ボタンまたは操作キーに対
応した処理が行われる（ステップ４８）。また、しきい
値より弱く押圧された場合は操作内容の確認のために押
圧されたと判断されて、押圧された操作ボタンまたは操
作キーに対応した操作内容の効果音のみが発生され、処
理は行われない。

【００４２】このように、表示ユニット６に表示された
操作画面の操作ボタンまたは操作キーが予め定められた
強さよりも強く押された時は、押圧された操作ボタンま
たは操作キーに対応した効果音が発生されるとともに、
その操作ボタンまたは操作キーに対応した処理が行わ
れ、予め定められた強さよりも弱く押された時は、その
操作ボタンまたは操作キーに対応した操作内容の効果音
のみが発生されるので、ユーザはその効果音から操作画
面を見ることなく自ら行った操作の内容の確認が行える
とともに、これから行おうとする操作の操作ボタン等の
位置を簡単かつ確実に認識することができ便利である。

【００４３】実施例３．図５は本発明の第３の実施例に
係る表示ユニットに表示される操作画面の説明図であ
る。以下、この実施例の作用を図６のフローチャートを
用いて説明する。

【００４４】まず、図５（ａ）に示すように、表示ユニ
ット６に操作画面６１が表示されてユーザが任意の操作
ボタンまたは操作キーの画像を押圧すると、実施例１で
説明した場合と同様にタッチスクリーン５および画像識
別部１８等によってどの操作ボタンまたは操作キーの画
像が押圧されたかが識別される。この時、操作画面６１
に表示されている拡大表示キーであるルーペアイコンキ
ー５１が押圧されてそのキー５１の画像が識別されると
（ステップ７１）、そのキー５１が２回連続して押圧さ
れていない時は、画像識別部１８は現在表示ユニット６
に表示されている操作画面６１が既に拡大画面であるか
否かを判断し（ステップ７２，７３）、拡大画面である
場合は操作画面６１を拡大前の元の画面に戻す（ステッ
プ７７）。

【００４５】また、拡大画面でない場合は、表示ユニッ
ト６に表示される画面を必要最小限の操作ボタンと操作
キーとの組合わせからなるシュリンク画面である拡大画
面にするという指示信号を、画像識別部１８は画像大き
さ決定部２２と画像数量決定部２３に送るとともに、複
数のシュリンク画面が格納されているシュリンク画面デ
ータ記憶部２１から表示ユニット６に表示されていた操
作画面６１に対応した拡大画面６１ａ（図５（ｂ））の
データを取り出す。ついで、画像大きさ決定部２２およ
び画像数量決定部２３はこの拡大画面６１ａのデータを
もとに、操作ボタンおよび操作キーの画像の大きさおよ
び数量を決定する。つまり、図５（ａ）の操作画面６１
に表示されている操作キー５２，５３，５４，５５およ
び操作ボタン５６，５７，５８，５９，６０の画像のう
ち、必要最小限の画像例えば操作キー５２，５３および
操作ボタン５６，５８，６０の画像のみを選択して画像
の数を決定するとともに、その決定した画像の大きさを
通常の場合の例えば２倍の大きさになるように決定す
る。この時、選択されなかった画像の大きさは画面上に
表示されないように通常の場合の０倍の大きさとする。

【００４６】そして、決定した大きさおよび数の情報が
画像座標演算部１５および画像大きさ演算部１６に送ら
れると、画像座標演算部１５および画像大きさ演算部１
６は操作ボタンおよび操作キーの座標および大きさを変
換して拡大させ、拡大画面６１ａを作成する。この拡大
画面６１ａは画像発生部１３および画像メモリ７を介し
て表示ユニット６に送られ、図５（ｂ）に示すように、
表示ユニット６に拡大画面６１ａが表示される（ステッ
プ７４）。この時、拡大された操作キー５２ａ等は操作
することができ、操作されるとその操作キー等に対応し
た処理が実行される。また、再度ルーペアイコンキー５
１が押圧されると、表示ユニット６には拡大前の元の操
作画面６１が表示される。

【００４７】一方、ルーペアイコンキー５１が２回連続
して押圧された時は、タッチスクリーン５によって検出
されるユーザが次に押圧する操作画面６１の任意の箇所
（例えば操作キー５２付近）の座標が画面拡大位置決定
部２４に送られ、画面拡大位置決定部２４によりこの座
標を基準座標に決定する（ステップ７５）。ついで、決
定した基準座標情報を画像座標演算部１５および画像大
きさ演算部１６に送って基準座標を中心に予め定められ
た半径内の画像が予め定められた倍率になるように座標
の変換を行い、拡大画面を作成する。そして、この拡大
画面が画像発生部１３および画像メモリ７を介して表示
ユニット６に送られ、図５（ｃ）に示すように、表示ユ
ニット６に拡大画面６１ｂが表示される（ステップ７
６）。この時、操作キーボタン５２，５３は操作キー５
２ｂ，５３ｂと拡大されるとともに、これらに対する操
作も行うことができる。また、再度ルーペアイコンキー
５１が押されると、拡大前の元の操作画面６１が表示ユ
ニット６に表示される。

【００４８】このように、例えば操作画面の表示文字が
小さくて見えない、操作ボタンまたは操作キー小さくて
押し難い、操作ボタン等が多すぎて煩わしい時など、ル
ーペアイコンキー５１を１回押すことによって必要最小
限の操作キー等の画像のみが表示される拡大画面（シュ
リンク画面）６１ａを表示することができるので、操作
画面が単純化されて見易くなり、高齢者等においてもキ
ー操作を簡単かつ確実に行うことができる。また、操作
したい操作キー等の表面に表示されている文字が小さく
て見え難い時や操作しにくい時など、ルーペアイコンキ
ー５１を２回連続して押し、さらに任意の箇所を押して
指示することによって、指示した任意の箇所およびその
周囲が所定の範囲で拡大された拡大画面６１ｂが表示さ
れるので、操作キーの表面に表示されている文字が拡大
されて見えやすくなり、高齢者等においてもキー操作を
確実に行うことができ、操作性を高めることができる。

【００４９】実施例４．この実施例は、表示ユニット６
に表示される操作キーにユーザの操作を補助する操作ボ
タンおよび操作キーの操作方法、表示ユニット６に表示
される各画面の操作手順および操作のサマリなどの各ヘ
ルプ機能に対応したヘルプキーを複数設け、いずれかの
ヘルプキーが押圧された場合においてそのヘルプキーに
対応したヘルプ処理が行われるようにしたものである。
以下、この実施例の作用を図７のフローチャートを用い
て説明する。

【００５０】例えば空調機器において室内の温度設定を
行う場合、まず、表示ユニット６には温度設定用操作画
面が表示され、その画面の操作ボタンまたは操作キーの
画像がユーザによって押圧されると（ステップ８１，８
２）、実施例１で説明した場合と同様に押圧された操作
ボタンまたは操作キーの座標がタッチスクリーン５によ
って検出され、その座標に基づいてどの操作ボタンまた
は操作キーの画像が操作されたのかを画像識別部１８に
よって識別される。

【００５１】この時、識別された画像が操作画面に表示
されているヘルプキー画像のうち、操作方法ヘルプキー
の画像であった場合（ステップ８３）、次に押圧された
操作ボタンまたは操作キーに対応する操作方法データが
操作方法データ記憶部２８から取り出され、その操作方
法データが操作方法ヘルプ発生部３１および画像メモリ
７を介して表示ユニット６に表示される（ステップ８
４）。また、操作手順ヘルプキーの画像が識別された場
合は（ステップ８５）、表示ユニット６に表示されてい
る操作画面に対応する操作手順データが操作手順データ
記憶部２７から取り出され、その操作手順データが操作
手順ヘルプ発生部３０および画像メモリ７を介して表示
ユニット６に表示される（ステップ８６）。いずれの場
合もヘルプデータが表示ユニット６に表示された後は元
の操作画面に戻る。また、ユーザの押圧した操作ボタン
または操作キーの画像がいずれのヘルプキーの画像でな
かった場合は、押圧された操作キー等に対応した処理が
行われ（ステップ８７）、さらに次の操作が存在すれば
次の操作画面が表示ユニットに表示される（ステップ８
８，８９）。

【００５２】一方、次の操作が存在せず目的の操作が終
了した後に、操作サマリヘルプキーの画像が押圧されこ
れが識別されると（ステップ９０）、今行われた操作に
よってどのようなことが行われたかという操作のサマリ
が操作サマリ提示部２９および画像メモリ７を介して表
示ユニット６に表示される（ステップ９１）。ユーザは
この表示を見ることによってユーザの意図した操作が行
われたか否かを確認する。そして、意図した操作が行わ
れ操作ボタンのうちのＯＫボタンが押された場合は（ス
テップ９２）、室内の温度設定操作は完了してその処理
が行われる。また、意図した操作が行われず操作ボタン
のうちのＮＧボタンが押された場合は、再び温度設定操
作が行えるように温度設定用の初期の操作場面が表示ユ
ニット６に表示される（ステップ９３，８１…）。

【００５３】このように、操作キー等の操作方法、操作
画面の操作手順および操作のサマリなど、ユーザの操作
補助となる各ヘルプ機能に対応したヘルプキーを設け、
画面操作中、あるいは操作終了後にいずれかのヘルプキ
ーを操作することによってユーザが要所々所で操作方
法、操作手順または操作のサマリを知るまたは確認する
ことができるので、ユーザは自らが意図する操作を容易
かつ確実に達成することができ、操作性を向上させるこ
とができる。

【００５４】なお、上述した実施例１〜実施例４におい
てそれぞれ別の実施例として説明したが、図１に示すよ
うに、実施例１〜実施例４のすべてが実施できるユーザ
インターフェースとしてもよく、また、各実施例を適宜
組合わせたユーザインターフェースとしてもよい。

【００５５】実施例５．図８は本発明の第５の実施例の
要部の拡大図で、この実施例は、タッチスクリーン５の
内壁５ａおよびその表面５ｂに、タッチスクリーン５お
よび操作ボタンまたは操作キーの位置が手探りでも判別
できるように突起６２を複数個設けたものである。ま
た、この実施例においては、操作ボタンまたは操作キー
の画像を押圧すると、その操作ボタンまたは操作キーに
対応した効果音、例えば操作内容が発生されるようにな
っている。

【００５６】このように構成したことにより、タッチス
クリーン５の突起６２によって目の不自由な方でもタッ
チスクリーン５のだいたいどの辺りを触っているかを知
ることができる。また、手探りによって検知した操作ボ
タン等を押圧するとその操作ボタン等に対応した効果音
が発生されるので、どのようなことを行うものであるか
を容易に把握することができ、確実に操作ボタン等の操
作を行うことができる。

【００５７】なお、上述の実施例では操作ボタンおよび
操作キーの画像が表示されるタッチスクリーン５上およ
びその周辺に突起６２を設け、この突起６２の付近の操
作ボタンまたは操作キーの画像を押圧した時に、実施例
２において説明した発明とほぼ同様の発明が実施された
場合を説明したが、この発明にさらに実施例１、実施例
３および実施例４の発明を実施してもよい。

【００５８】

【発明の効果】以上のように本発明に係るユーザインタ
ーフェースは、複数の操作ボタンおよび操作キーを表示
する表示ユニットと、表示ユニットの表面に配置され、
指示された位置の座標を検出するタッチスクリーンと、
タッチスクリーンの出力信号に基づいて操作ボタンおよ
び操作キーに対応した制御を行う制御部とを備え、制御
部は、タッチスクリーンの出力信号に基づいて表示ユニ
ットに表示された操作ボタンおよび操作キーのうち、指
示されたものの画像を識別する画像識別手段と、画像識
別手段によって識別された画像を他の表示画像と識別可
能にするための特殊表示をさせるかどうかを判断する特
殊効果識別手段と、特殊効果識別手段の判断結果に基づ
いて表示ユニットの指示された操作ボタンまたは操作キ
ーに対して特殊表示をさせる第１の制御手段とを有する
ので、いずれの操作ボタンまたは操作キーが指示された
のかを容易に識別でき、操作性の向上を計ることができ
る。

【００５９】また、特殊表示は指示された操作ボタンま
たは操作キーの周囲にダイナミックな動作が付加された
アニメーション画像であるので、いずれの操作ボタンま
たは操作キーが指示されたことを視覚的に早く捉えて確
認することができ、操作性の向上を一層計ることができ
る。

【００６０】さらに、第１の制御手段は、特殊表示のア
ニメーション画像である波紋画像のデータが格納されて
いる波紋画像データ記憶部と、波紋画像データ記憶部の
波紋画像データを順次取り出し波紋画像データの所在、
数および表示順序を決定する波紋画像パターン決定部
と、波紋画像パターン決定部からの決定情報、波紋画像
座標演算部からの表示座標情報および波紋画像大きさ演
算部からの表示大きさ情報に基づいて波紋画像を発生さ
せる波紋画像発生部とを有するので、操作中などにおい
て操作ボタン等が操作している指によって隠されて見え
なくなってしまっても指示されたことが容易に確認する
ことができ、画面操作の実感の不足を補うことができ
る。

【００６１】本発明に係るユーザインターフェースの制
御部は、タッチスクリーンの出力信号に基づいて表示ユ
ニットに表示された操作ボタンおよび操作キーのうち、
指示されたものの画像を識別する画像識別手段と、画像
識別手段によって識別された画像に対して他の表示画像
と識別可能にするための効果音を発生させるかどうかを
判断する特殊効果識別手段と、特殊効果識別手段の判断
結果に基づいて表示ユニットの指示された操作ボタンま
たは操作キーに対応した効果音をスピーカから発生させ
る第２の制御手段とを有するので、視覚だけでなく聴覚
からもいずれの操作ボタンまたは操作キーが指示された
のかを識別することができ、画面操作の実感の不足を補
うことができる。

【００６２】また、第２の制御手段は、操作ボタンおよ
び操作キーに対応した効果音データが格納されている効
果音データ記憶部と、指定された操作ボタンまたは操作
キーに対応した効果音データを効果音データ記憶部から
取り出しその効果音データの所在を決定する効果音パタ
ーン決定部と、効果音パターン決定部からの決定情報に
基づいて効果音をスピーカより発生させる効果音発生部
とを有し、また、タッチスクリーンの押圧力を検出する
圧力検出手段を有し、押圧力が所定圧力以上の時には指
定された操作ボタンまたは操作キーに対応した効果音を
発生させるとともにその処理を行い、押圧力が所定圧力
より小さい時には効果音のみを発生させるので、表示ユ
ニットに表示された操作ボタンおよび操作キーのうち、
指示された操作ボタンまたは操作キーの識別が一層容易
になり、操作性を向上させることができる。

【００６３】本発明に係るユーザインターフェースは、
複数の操作ボタンおよび拡大表示キーを含む操作キーを
表示する表示ユニットと、タッチスクリーンと、制御部
とを備え、制御部は、タッチスクリーンの出力信号に基
づいて表示ユニットに表示された操作ボタンおよび操作
キーのうち、指示されたものの画像が拡大表示キーの画
像であるかどうかを識別する画像識別手段と、画像識別
手段において拡大表示キーが識別された時には必要最小
限の操作ボタンと操作キーとの組合わせからなるシュリ
ンク画面を表示ユニットに表示させる第３の制御手段と
を有し、第３の制御手段は、シュリンク画面のデータが
複数格納されているシュリンク画面データ記憶部と、シ
ュリンク画面データ記憶部に格納されているシュリンク
画面データをもとに操作ボタンまたは操作キーの画像の
大きさあるいは画像の数量を決定する画像大きさ決定部
および画像数量決定部と、画像大きさ決定部および画像
数量決定部の決定情報に基づいて画像の大きさ演算およ
び座標演算をそれぞれ行う演算部と、これらの演算結果
に基づいてシュリンク画面を発生させる画像発生部とを
有するので、操作ボタン等が多すぎて煩わしい時などに
おいて必要最小限の操作ボタン等のみが表示される見易
く操作しやすい単純化された操作画面を表示することが
でき、高齢者等においてもボタン操作を簡単かつ確実に
行うことができて便利である。

【００６４】本発明に係るユーザインターフェースの制
御部は、タッチスクリーンの出力信号に基づいて表示ユ
ニットに表示された操作ボタンおよび操作キーのうち、
指示されたものの画像が拡大表示キーの画像であるかど
うかを識別する画像識別手段と、画像識別手段において
拡大表示キーが識別され次に画面の任意の箇所が押され
て指定されると、指示された箇所の座標を中心に予め定
められた半径内の画像を予め定められた倍率で表示ユニ
ットに拡大表示させる第４の制御手段を有し、第４の制
御手段は、指示された箇所の座標が拡大される画面の中
心基準となることを決定する画面拡大位置決定部と、画
面拡大位置決定部によって決定された基準座標を中心に
予め定められた半径内の画像が予め定められた倍率にな
るように演算する画像座標演算部および画像大きさ演算
部と、演算結果に基づいて拡大された拡大画面を発生さ
せる画像発生部とを有するので、操作キー等の表面に表
示されている文字が小さくて見え難い時や操作しにくい
時などにおいて任意の箇所およびその周囲を容易に拡大
させることができ、高齢者等においてもキー操作を簡単
かつ確実に行え、操作性を高めることができる。

【００６５】本発明に係るユーザインターフェースは、
複数の操作ボタンおよび複数のヘルプキー含む操作キー
を表示する表示ユニットと、タッチスクリーンと、制御
部とを備え、制御部は、タッチスクリーンの出力信号に
基づいて表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像がヘルプキーの画
像であるかどうかを識別する画像識別手段と、画像識別
手段においていずれかのヘルプキーが識別された時には
そのヘルプキーに対応したヘルプ処理を行わせる第５の
制御手段を有し、第５の制御手段は、操作される操作ボ
タンまたは操作キーの履歴が格納される操作履歴記憶部
と、操作ボタンおよび操作キーの操作方法データが格納
された操作方法データ記憶部と、表示ユニットに表示さ
れる各画面の操作手順データが格納されている操作手順
データ記憶部と、画像識別手段において操作方法ヘルプ
キーが識別された時に指定された操作ボタンまたは操作
キーの操作方法データを表示ユニットに表示させる操作
方法発生部と、画像識別手段において操作手順ヘルプキ
ーが識別された時に表示ユニットに表示されている画面
の操作手順データを表示ユニットに表示させる操作手順
発生部と、表示ユニットに表示されている画面の操作終
了後に画像識別手段において操作サマリヘルプキーが識
別された時に操作履歴記憶部に格納された操作キーの履
歴に基づいて操作サマリを表示ユニットに表示させる操
作サマリ提示部とを有するので、ユーザはその操作の確
認を取りながら操作キー等の操作を進めることができ、
確実に意図する操作を達成することができる。

【００６６】本発明に係るユーザインターフェースは、
タッチスクリーンの周囲およびその表面に突起を複数設
けたので、目の不自由な方にもタッチスクリーンや操作
ボタンおよび操作キーの画像が表示される位置を容易に
検知することができ、操作性を向上させることができ
る。

【図面の簡単な説明】

【図１】本発明の第１〜第４の実施例の構成を示すブ
ロック図である。

【図２】本発明の第１の実施例に係る表示ユニットに
表示された操作画面の要部の拡大図である。

【図３】本発明の第２の実施例に係る表示ユニットに
表示された操作画面の作用説明図である。

【図４】本発明の第２の実施例の作用を示すフローチ
ャートである。

【図５】本発明の第３の実施例に係る表示ユニットに
表示される操作画面の説明図である。

【図６】本発明の第３の実施例の作用を示すフローチ
ャートである。

【図７】本発明の第４の実施例の作用を示すフローチ
ャートである。

【図８】本発明の第５の実施例の要部の拡大図であ
る。

【符号の説明】

１スピーカ、２効果音発生部、３効果音データ記
憶部、４効果音パターン決定部、５タッチスクリー
ン、６表示ユニット、８波紋画像発生部、９波紋
画像データ記憶部、１０波紋画像座標演算部、１１
波紋画像大きさ演算部、１２波紋画像パターン決定
部、１３画像発生部、１５画像座標演算部、１６
画像大きさ演算部、１８画像識別部、１９特殊効果
識別部、２０タッチ圧力検出部、２１シュリンク画
面データ記憶部、２２画像大きさ決定部、２３画像
数量決定部、２４画面拡大位置決定部、２５操作履
歴記憶部、２７操作手順データ記憶部、２８操作方
法データ記憶部、２９操作サマリ提示部、３０操作
手順発生部、３１操作方法発生部、４１，４３，５
６，５７，５８，５９，６０操作ボタン、４２波
紋、４４，５２，５３，５４，５５操作キー、５１
ルーペアイコンキー、６２突起。

───────────────────────────────────────────────────── フロントページの続き (72)発明者上村一穂鎌倉市大船二丁目14番40号三菱電機株式会社住環境研究開発センター内

Claims

【特許請求の範囲】

【請求項１】複数の操作ボタンおよび操作キーを表示
する表示ユニットと、該表示ユニットの表面に配置さ
れ、指示された位置の座標を検出するタッチスクリーン
と、該タッチスクリーンの出力信号に基づいて前記操作
ボタンおよび操作キーに対応した制御を行う制御部とを
備え、前記制御部は、前記タッチスクリーンの出力信号に基づ
いて前記表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像を識別する画像識
別手段と、該画像識別手段によって識別された画像を他
の表示画像と識別可能にするための特殊表示をさせるか
どうかを判断する特殊効果識別手段と、該特殊効果識別
手段の判断結果に基づいて前記表示ユニットの指示され
た操作ボタンまたは操作キーに対して特殊表示をさせる
第１の制御手段とを有することを特徴とするユーザイン
ターフェース。
【請求項２】特殊表示は指示された操作ボタンまたは
操作キーの周囲にダイナミックな動作が付加されたアニ
メーション画像であることを特徴とする請求項１記載の
ユーザインターフェース。
【請求項３】第１の制御手段は、特殊表示のアニメー
ション画像である波紋画像のデータが格納されている波
紋画像データ記憶部と、該波紋画像データ記憶部の波紋
画像データを順次取り出し波紋画像データの所在、数お
よび表示順序を決定する波紋画像パターン決定部と、該
波紋画像パターン決定部からの決定情報、波紋画像座標
演算部からの表示座標情報および波紋画像大きさ演算部
からの表示大きさ情報に基づいて波紋画像を発生させる
波紋画像発生部とを有することを特徴とする請求項２記
載のユーザインターフェース。
【請求項４】複数の操作ボタンおよび操作キーを表示
する表示ユニットと、該表示ユニットの表面に配置さ
れ、指示された位置の座標を検出するタッチスクリーン
と、該タッチスクリーンの出力信号に基づいて前記操作
ボタンおよび操作キーに対応した制御を行う制御部とを
備え、前記制御部は、前記タッチスクリーンの出力信号に基づ
いて前記表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像を識別する画像識
別手段と、該画像識別手段によって識別された画像に対
して他の表示画像と識別可能にするための効果音を発生
させるかどうかを判断する特殊効果識別手段と、該特殊
効果識別手段の判断結果に基づいて前記表示ユニットの
指示された操作ボタンまたは操作キーに対応した効果音
をスピーカから発生させる第２の制御手段とを有するこ
とを特徴とするユーザインターフェース。
【請求項５】第２の制御手段は、前記タッチスクリー
ンの押圧力を検出する圧力検出手段を有し、押圧力が所
定圧力以上の時には指定された操作ボタンまたは操作キ
ーに対応した効果音を発生させるとともにその処理を行
い、押圧力が所定圧力より小さい時には効果音のみを発
生させることを特徴とする請求項４記載のユーザインタ
ーフェース。
【請求項６】第２の制御手段は、操作ボタンおよび操
作キーに対応した効果音データが格納されている効果音
データ記憶部と、指定された操作ボタンまたは操作キー
に対応した効果音データを前記効果音データ記憶部から
取り出しその効果音データの所在を決定する効果音パタ
ーン決定部と、該効果音パターン決定部からの決定情報
に基づいて効果音をスピーカより発生させる効果音発生
部とを有することを特徴とする請求項４または５記載の
ユーザインターフェース。
【請求項７】複数の操作ボタンおよび拡大表示キーを
含む操作キーを表示する表示ユニットと、該表示ユニッ
トの表面に配置され、指示された位置の座標を検出する
タッチスクリーンと、該タッチスクリーンの出力信号に
基づいて前記操作ボタンおよび操作キーに対応した制御
を行う制御部とを備え、前記制御部は、前記タッチスクリーンの出力信号に基づ
いて前記表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像が前記拡大表示キ
ーの画像であるかどうかを識別する画像識別手段と、該
画像識別手段において拡大表示キーが識別された時には
必要最小限の操作ボタンと操作キーとの組合わせからな
るシュリンク画面を前記表示ユニットに表示させる第３
の制御手段とを有することを特徴とするユーザインター
フェース。
【請求項８】第３の制御手段は、前記シュリンク画面
のデータが複数格納されているシュリンク画面データ記
憶部と、該シュリンク画面データ記憶部に格納されてい
るシュリンク画面データをもとに操作ボタンまたは操作
キーの画像の大きさあるいは画像の数量を決定する画像
大きさ決定部および画像数量決定部と、前記画像大きさ
決定部および画像数量決定部の決定情報に基づいて画像
の大きさ演算および座標演算をそれぞれ行う画像大きさ
演算部および画像座標演算部と、これらの演算結果に基
づいてシュリンク画面を発生させる画像発生部とを有す
ることを特徴とする請求項７記載のユーザインターフェ
ース。
【請求項９】複数の操作ボタンおよび拡大表示キーを
含む操作キーを表示する表示ユニットと、該表示ユニッ
トの表面に配置され、指示された位置の座標を検出する
タッチスクリーンと、該タッチスクリーンの出力信号に
基づいて前記操作ボタンおよび操作キーに対応した制御
を行う制御部とを備え、前記制御部は、前記タッチスクリーンの出力信号に基づ
いて前記表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像が前記拡大表示キ
ーの画像であるかどうかを識別する画像識別手段と、該
画像識別手段において拡大表示キーが識別され次に画面
の任意の箇所が押されて指定されると、指示された箇所
の座標を中心に予め定められた半径内の画像を予め定め
られた倍率で前記表示ユニットに拡大表示させる第４の
制御手段を有することを特徴とするユーザインターフェ
ース。
【請求項１０】第４の制御手段は、前記指示された箇
所の座標が拡大される画面の中心基準となることを決定
する画面拡大位置決定部と、該画面拡大位置決定部によ
って決定された基準座標を中心に予め定められた半径内
の画像が予め定められた倍率になるように演算する演算
部と、演算結果に基づいて拡大された拡大画面を発生さ
せる画像発生部とを有することを特徴とする請求項９記
載のユーザインターフェース。
【請求項１１】複数の操作ボタンおよび複数のヘルプ
キー含む操作キーを表示する表示ユニットと、該表示ユ
ニットの表面に配置され、指示された位置の座標を検出
するタッチスクリーンと、該タッチスクリーンの出力信
号に基づいて前記操作ボタンおよび操作キーに対応した
制御を行う制御部とを備え、前記制御部は、前記タッチスクリーンの出力信号に基づ
いて前記表示ユニットに表示された操作ボタンおよび操
作キーのうち、指示されたものの画像が前記ヘルプキー
の画像であるかどうかを識別する画像識別手段と、該画
像識別手段においていずれかのヘルプキーが識別された
時にはそのヘルプキーに対応したヘルプ処理を行わせる
第５の制御手段を有することを特徴とするユーザインタ
ーフェース。
【請求項１２】第５の制御手段は、操作される操作ボ
タンまたは操作キーの履歴が格納される操作履歴記憶部
と、操作ボタンおよび操作キーの操作方法データが格納
された操作方法データ記憶部と、前記表示ユニットに表
示される各画面の操作手順データが格納されている操作
手順データ記憶部と、前記画像識別手段において操作方
法ヘルプキーが識別された時に指定された操作ボタンま
たは操作キーの操作方法データを前記表示ユニットに表
示させる操作方法発生部と、前記画像識別手段において
操作手順ヘルプキーが識別された時に表示ユニットに表
示されている画面の操作手順データを前記表示ユニット
に表示させる操作手順発生部と、前記表示ユニットに表
示されている画面の操作終了後に前記画像識別手段にお
いて操作サマリヘルプキーが識別された時に前記操作履
歴記憶部に格納された操作キーの履歴に基づいて操作サ
マリを前記表示ユニットに表示させる操作サマリ提示部
とを有することを特徴とする請求項１１記載のユーザイ
ンターフェース。
【請求項１３】タッチスクリーンの周囲およびその表
面に突起を複数設けたことを特徴とする請求項１，２，
３，４，５，６，７，８，９，１０，１１または１２記
載のユーザインターフェース。