JP2013016018A - 表示制御装置、制御方法及びプログラム - Google Patents

Abstract

【課題】 複数のオブジェクトを表示した表示手段を快適に操作できるようにする。
【解決手段】 複数のオブジェクトを表示可能な表示手段と、物体を検知する検知手段と、前記物体の動作により、前記表示手段に表示された第一のオブジェクトを特定する特定手段と、前記物体と前記表示手段との距離を計測する計測手段と、前記距離に応じて、前記表示手段において、前記第一のオブジェクトと前記第一のオブジェクトとは異なる第二のオブジェクトとの何れを手前に表示させるか決定する表示制御手段とを有する。
【選択図】 図２

Description

本発明は、ユーザーインターフェース技術に関するものである。

近年、利用者の指や入力用のペンなどがパネル面に接近したことを検知し、パネル上の表示変更を行う表示パネルがある。

特許文献１は、複数のボタン画像を表示されたパネル面に利用者が近接した際に、利用者が近接したボタン画像を特定し、特定したボタン画像に内包される確定領域に利用者が近接しない場合は、ボタン表示を拡大し、利用者による操作を促す方法を開示している。

また、特許文献２は、利用者の指等が表示装置に接近すると、接近した座標周辺の画像を拡大し表示する方法を開示している。

また、特許文献３は、利用者が手に持った風受容体が水平テーブル面から離れるほど水平テーブル面に表示されたカーソル画像データの表示サイズを大きく表示する方法を開示している。

特開２００９−１８３５９２号公報 特開平１０−２６９０２２号公報 特開２００９−８０７０２号公報

しかしながら、いずれの文献にも、パネル上に表示された複数のオブジェクトの重なりを考慮した表示方法は開示されていない。

そのため、パネル上に表示された複数のオブジェクトを快適に操作することができなかった。

そこで本発明の目的は、パネル面と指示物体（ユーザーの手指など）の間の距離に応じて、複数のオブジェクトの重なりを考慮した表示変更を行うことにより、ユーザーが快適にパネル上のオブジェクトを制御できるようにすることにある。

複数のオブジェクトを表示可能な表示手段と、物体を検知する検知手段と、前記物体の動作により、前記表示手段に表示された第一のオブジェクトを特定する特定手段と、前記物体と前記表示手段との距離を計測する計測手段と、前記距離に応じて、前記表示手段において、前記第一のオブジェクトと前記第一のオブジェクトとは異なる第二のオブジェクトとの何れを手前に表示させるか決定する表示制御手段とを有する。

以上、本発明によれば、複数のオブジェクトを表示した表示手段を快適に操作することができる。

表示制御装置の構成を示すブロック図 表示制御装置における処理の流れを示すフロー図 表示例 フォトビューアーの画面遷移をユーザーの操作に沿って表した画面遷移図 フォトビューアーの画面遷移をユーザーの操作に沿って表した画面遷移図 図４の斜視図 図５の斜視図 画像編集装置の画面遷移をユーザーの操作に沿って表した画面遷移図 画像編集装置の画面遷移をユーザーの操作に沿って表した画面遷移図 画像編集装置の画面遷移をユーザーの操作に沿って表した画面遷移図 画像編集装置の画面遷移をユーザーの操作に沿って表した画面遷移図 画像編集装置の画面遷移をユーザーの操作に沿って表した画面遷移図 海藻的ファイル管理装置の画面遷移をユーザーの操作に沿って表した画面遷移図 地理的ファイル管理装置の画面遷移をユーザーの操作に沿って表した画面遷移図 地理的ファイル管理装置の画面遷移をユーザーの操作に沿って表した画面遷移図 表示制御装置の構成を示すブロック図 表示制御装置における処理の流れを示すフロー図

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

（実施例１）
図１は実施例１に適用可能な表示制御装置の構成を示す。

図１において、表示制御装置は、表示手段１１、マルチタッチパネル手段１２、距離計測手段１３、表示制御手段１４、ＣＰＵ１５、メモリ１６を有する。

表示手段１１は、パネル上に複数のＧＵＩオブジェクトを含む画面を表示する。

検知手段１２は、ユーザーの動作を検知し、パネル上に表示された複数のオブジェクトのなかからユーザーが特定したものを選択する。ここでは、ユーザーがあるオブジェクトにタッチした時に、タッチされたオブジェクトを特定する。以降、検知手段１２により特定されたオブジェクトを特定オブジェクトとよぶ。なお、オブジェクトの特定はタッチ動作に限らない。例えば、所定距離以内にユーザーの指が近接することにより特定する方法や、一定時間以上ユーザーがパネル近くに停止したことにより特定する方法でもよい。

距離計測手段１３は、表示手段１１のパネル面と物体との距離を計測する。ここでは、物体はユーザーの指である。なお、他にも指示用のペンなどでもよい。パネル面と物体との距離を計測する方法は、一般的に知られている方法を用いることができる。パネル面と物体との距離を計測する方法として、静電容量の変化を利用する方法や、超音波や音波の反射を利用する方法、表示手段１１に設けられた撮像手段（不図示）により三角測量の原理を用い方法などがある。ここでは静電容量の変化を利用する方法を距離計測手段１３に適用する。距離計測手段１３は、パネル面に密着させた導電膜や、静電容量測量計からなる。距離計測手段１３は、物体と導電膜、静電容量測定計と地面を含む周辺環境との間で形成される回路の静電容量を静電容量測定計により測定する。これにより導電膜が密着したパネル面と物体との距離を算出する。

表示制御手段１４は、距離計測手段１３が計測した物体とパネル面との距離に応じて、表示手段に表示されたオブジェクトの表示を制御する。表示制御手段１４は、特定オブジェクトとその他のオブジェクトとの重なりを考慮して表示手段１１における表示を変更する。具体的には、指がパネル面から離れると、特定のオブジェクトが他のオブジェクトよりも手前側にあるように表示を変更する。特定オブジェクトの大きさを大きくしたり、特定オブジェクトの影をその他のオブジェクト上に表示したり、背景などその他のオブジェクトをぼかす。一方、ユーザーの指がパネル面に近づけられると、表示制御手段１４は、特定オブジェクトがその他のオブジェクトよりも奥側に表示されるように変更する。この場合は、特定オブジェクトの大きさを小さくしたり、その他のオブジェクト上に表示された特定オブジェクト影の量を減少させたり、背景などその他のオブジェクトのぼかし量を減少する。これにより、ユーザーは簡単な動作で表示手段上に表示された複数のオブジェクトを操作することができる。

図２は、実施例１に適用可能な表示制御処理の流れを示すフロー図である。

ステップＳ２０１において、ユーザーにより表示制御装置に電源が投入されると初期画面を表示する。

ステップＳ２０２において、検知手段１２は、ユーザーによる表示手段１１へのタッチを検出する。

ステップＳ２０３において、検知手段１２は、表示手段１１上に表示された複数のオブジェクトから、タッチされたオブジェクトを選択状態として表示する。

次にステップＳ２０４において、距離計測手段１３は、パネル面からユーザーの指までの距離計測を開始する。距離計測手段１３は、計測したパネル面とユーザーの指との距離情報を表示制御手段１４に出力する。

ステップＳ２０５において、表示制御手段１４は、距離計測手段１３から受け取ったパネル面とユーザーの指との距離Ｌとそれまで計測されていた距離Ｌ０と比較する。距離Ｌと距離Ｌ０が異なるときは、ステップＳ２０６における制御を、距離Ｌと距離Ｌ０とが同じ場合は、ステップＳ２０８に進む。

ステップＳ２０６において、表示制御手段１４は、距離Ｌと距離Ｌ０の差分に応じて表示変更を行う。具体的な動作については後述する。表示変更を行ったあと、距離Ｌを距離Ｌ０として更新する。

ステップＳ２０８において、ユーザーにより近接していた指が計測可能な範囲内になくなるなど所定の選択解除操作があったかどうかを判定する。

ステップＳ２０９において、選択解除操作があったと判定された場合は、選択状態に表示されていたオブジェクトを非選択表示にする。

ステップＳ２１０において、距離計測手段１３は、パネル面と指との距離計測を終了し、表示制御手段１４は距離に応じた表示変更を終了する。

以上で、本実施例における表示制御処理を完了する。

図３は、パネル面とユーザーの指との距離の応じた表示の例を示している。距離ＬがＬ＞Ｌ０の時、特定オブジェクトとその他のオブジェクトとの重なり具合が変化するように表示を制御する。または、特定オブジェクトがその他のオブジェクトよりも手前側に配置されているように表示を制御する。例えば、特定オブジェクトの大きさを拡大したり、その他のオブジェクト上に表示された特定オブジェクトの影を拡大したり、その他のオブジェクトの大きさを縮小したりする。

一方、距離ＬがＬ＜Ｌ０の時、特定オブジェクトとその他のオブジェクトとの重なり具合が変化するように表示を制御する。または、特定オブジェクトがその他のオブジェクトよりも後ろ側に配置されているように表示を制御する。すなわち、特定オブジェクトよりも手前に、その他のオブジェクトが表示されているように変更する。例えば、特定オブジェクトを縮小したり、その他のオブジェクトを拡大したりする。

これらの表示制御は、物理的に実在するオブジェクトをユーザーがつまんで引き寄せたり遠ざけたりするときの、ユーザーから見たオブジェクトの見え方に則したものである。前述のように、オブジェクトの重なり具合を実際の見え方に則した表示にすることより、ユーザーは簡単な操作で複数のオブジェクトから特定したいオブジェクトを選択することができる。また、指とパネル間の距離に応じて、特定したオブジェクトがその他のオブジェクトよりも手前に位置したり、置くに位置したりするように表示されるため、特定したオブジェクトに対して、所望の操作を施しやすくなる。

図１３は、本実施例を適用した表示制御装置を階層的ファイル管理装置に使用した場合、ユーザーの手指による操作に沿ってどのように画面の表示が遷移するかを示した図である。階層的ファイル管理装置とは、ファイル単位で管理されているコンピューターデータをユーザーが当該ファイルの管理階層と対照しながら指示・操作し得るように表示するものである。一般的にＧＵＩ表示手段、ポインティング手段を有し、ファイルを表すＧＵＩオブジェクトを、階層を表すＧＵＩとともに表示する。ここで示す階層的ファイル管理装置は、さらに、ポインティング手段としてのマルチタッチパネル手段と、撮像手段、手指距離計測手段を有している。

画面７０１は、階層的ファイル管理装置の初期状態（電源投入直後、等）を示す。初期状態では、所定のデータ階層を表す枠７０１１と、その階層におけるファイルである複数のサムネイルを表示する。

ユーザーにより画面に表示された複数のサムネイルのうち、サムネイル７０１２がつまみタッチされる。ここでつまみとは、ユーザーの親指と他の少なくとも１以上の指の先が近接した状態を示す。このつまみタッチにより、サムネイル７０１２が特定オブジェクトとして選択される。

つまみタッチしたユーザーの指が、パネル面から離れるように（ユーザーの方向に引き寄せるように）移動されると、画面７０１は、画面７０２に遷移する。画面７０２では、特定されたサムネイル７０１２の大きさを拡大し、その他のオブジェクト（背景、サムネイル７０１２以外のサムネイルなど）上にサムネイル７０２の影をつけて表示している。さらに、その他のオブジェクト（枠７０１１、サムネイル７０１２以外のサムネイル）の大きさを縮小し、それぞれの表示濃度を薄く、ぼかし量を大きく表示している。また、枠７０１１が表す階層の上位の階層におけるファイルやフォルダーのサムネイルをオーバーラップ（半透明）の表示効果を用いて表示する。

これにより、サムネイル７０１２が表すファイルが、ユーザーのつまんで引き寄せるという操作により元の階層から上位の階層に移動したことが示される。このように、ユーザーはＧＵＩオブジェクトを「つまんで操作している」という視覚的な感覚とともにファイルの管理階層を変更することができるため、データ管理の操作を直感的に行うことが可能となる。

図１４および図１５は、本実施例を適用した表示制御装置を地理的ファイル管理装置に使用した例を示している。地理的ファイル管理装置は、ファイル単位で管理されているコンピューターデータをユーザーが当該ファイルの管理位置と対照しながら指示・操作し得るように表示するものである。一般的にＧＵＩ表示手段、ポインティング手段を有し、ファイルを表すＧＵＩオブジェクトを地理的位置を表すＧＵＩ（地図）とともに表示する。ここで示す地理的ファイル管理装置は、さらに、ポインティング手段としてのマルチタッチパネル手段と、撮像手段、手指距離計測手段を有する。

画面８０１は、地理的ファイル管理装置の初期状態（電源投入直後、等）を示す。初期状態では、所定のデータ地理を表すビットマップ８０１１とその地理におけるファイルのサムネイルを表示している。ユーザーにより画面中のサムネイル８０１２がつまみタッチされると、サムネイル８０１２は特定オブジェクトとして選択される。

つまみタッチしたユーザーの指が、パネル面から離れるように（ユーザーの方向に引き寄せるように）移動されると、画面８０１は、画面８０２に遷移する。画面８０２において、特定されたサムネイル８０２２の大きさを大きく拡大して表示し、サムネイル８０２２の影をその他のオブジェクト（背景など）上に表示する。さらに、画面８０１で表示されていた地図の縮尺を（より広範囲を表示するように）大きくし、サムネイル８０１２以外のサムネイルの大きさを小さく、ぼかし量を大きく表示している。このように表示することにより、ユーザーは特定したオブジェクトが手前側にあると認識する。

ユーザーの指が画面８０２の状態とパネル面と略同一の距離を保ちながら、つまみ状態のまま手指を移動させると、画面８０２は画面８０３に遷移する。画面８０３は、画面８０２における地図の表示をそのままに、サムネイル８０１２を手指の移動にあわせて移動させている。

ユーザーにより指がつまみ状態のままパネル面に近づけるように移動されると、画面８０３は画面８０４に遷移する。画面８０３において表示されていた地図の縮尺をユーザーの手指位置を中心として縮尺を小さくし、特定されたサムネイル８０１２以外のサムネイルの大きさを大きく、ぼかし量を小さく表示する。さらに、特定されたサムネイル８０１２の大きさを小さく、その他のオブジェクト上に表示されたサムネイル８０１２の影をなくして表示している。

以上のように、ユーザーの指とパネル面の距離に応じて、特定したオブジェクトとその他のオブジェクトの重なり具合を考慮した表示をする。ユーザーは、つまんで引き寄せるという簡単な操作により、特定したサムネイル８０１２が表すファイルが関連付けられた地理的位置を、広範囲の地図を表示しながら、移動・変更させることが可能となる。ユーザーはＧＵＩオブジェクトを「つまんで操作している」という視覚的な感覚とともにファイルに関連付けられた地理的位置を変更することができるため、データ管理の操作を直感的に行うことが可能となる。

図４および図５は、本実施例を適用した表示制御装置をフォトビューアーに使用した場合の例を示している。また、図６が示す画面５０１、画面５０２および図７が示す画面５０３は、図４が示す画面４０２、画面４０３および図５が示す画面４０４に対する斜視図である。

フォトビューアーとは、一般に液晶などの表示画面および表示制御手段と、ハードディスクなどの記憶装置を有する。デジタルカメラ等で撮影・生成された画像ファイル（ＪＰＥＧ等で圧縮されている符号化データ）を記憶し、ユーザーの指示に応じて表示画面上に画像ファイルのスライドショー等を表示するものである。図４および図５が示すフォトビューアーは、さらに、手指距離計測手段、タッチパネル手段を有する。

画面４０１は、フォトビューアーにおける初期状態（電源投入直後、等）を示す。

画面４０２において、ユーザーにより画面中のサムネイル４０１１がつまみタッチされている。マルチタッチパネル手段はユーザーがタッチした位置を認識し、その位置にあるサムネイル４０１１を特定オブジェクトとして選択する。

画面４０３において、表示制御手段はサムネイル４０１１が特定されたことを示すため、サムネイル４０１１を縁取られるように表示制御する。

ユーザーの指が画面から離れるように（ユーザーの方向に引き寄せるように）移動されると、画面４０３は画面４０４に遷移する。表示制御手段は、特定されたサムネイル４０１１がユーザーから見て手前側に表示されるように重なり表示順序を変更するため、大きさを拡大し、辺の長さをゆがませる。また特定サムネイル４０１１以外のオブジェクト上に、サムネイル４０１１の影をつける。

なお、ユーザーの指が画面に近づくように（ユーザーの方向から離されるように）移動されると、表示制御手段は特定されたサムネイル４０１１がユーザーから見て奥側に表示されるように重なり具合を変更する。サムネイル４０１１の大きさを縮小し、辺の長さを変更する。さらに、サムネイル４０１１の影の表示をその他のオブジェクト上に小さくして表示する。

このような表示制御は、物理的に実在するオブジェクトをユーザーがつまんで引き寄せたり遠ざけたりするときの、ユーザーから見たオブジェクトの見え方に則したものである。したがって、上記のような表示制御を行うことにより、ユーザーに、ＧＵＩオブジェクトを操作している視覚的な感覚を生じさせることができる。

ＧＵＩの操作方法を、物理的に実在するオブジェクトの操作方法に近似させることは、ユーザーの「このような操作を行うと、装置がこのように動作する」という予測可能性を高め、操作方法についての学習負荷を軽減する。そのため、全体として操作性が向上するということができる。

図８、図９、図１０および図１１は、本実施例を適用した表示制御装置を画像編集装置に使用した場合を示している。

画像編集装置は一般的に液晶などの表示画面および表示制御手段と、ハードディスクなどの記憶装置および演算手段を有する。ユーザーによる指示に基づき、画像の切り抜きや合成、色変換等を行うことにより写真などの画像に加工・修正を加えることができる装置である。本実施例が示す画像編集装置は、さらに、撮像手段、手指距離計測手段、マルチタッチパネル手段を有する。

画面６０１は、画像編集装置の初期状態（電源投入直後、等）を示している。画像編集装置に記憶されている画像をユーザーに表示し、編集の対象となる画像を選択・指示させる。

画面６０２は、ユーザーがパネル面をつまみタッチした時の画像を示している。画面に表示された複数のオブジェクトのうち、サムネイル６０１１がつまみタッチされている。サムネイル６０１１は、特定オブジェクトとして選択される。ユーザーの親指と他の少なくとも１本以上の指の先が近接したつまみ状態でユーザーの指がパネル面から離れるように（ユーザーの方向に引き寄せるように）移動されると、画面６０１は画面６０２に遷移する。この時、つまみタッチによって特定されたサムネイル６０１１は、その他のオブジェクトよりも手前に位置するように表示変更される。

ユーザーが近接していた複数の指を離すように手指の形状を変更するとつまみ状態が解消し、画面６０２は画面６０３に遷移する。画面６０３は、サムネイル６０１１に対応する画像がユーザーにより編集対象として選択されている状態を示している。

ユーザーにより、画面６０３に表示されているサムネイル６０３１がつまみタッチされ、パネル面から離れるように移動されると、画面６０３は画面６０４に遷移する。この時、つまみタッチによって特定されたサムネイル６０３１は、その他のオブジェクトよりも手前に位置するように表示変更される。

さらにユーザーにより、つまみ状態のまま所定の距離以上ユーザーの指が画面から離れるように移動されると、画面６０４は画面６０５に遷移する。

画面６０５は、サムネイル６０３１に対応する画像が、ユーザーにより編集対象として選択されている状態を示している。さらにユーザーに対して第２のオブジェクトからオブジェクトの切り出しが可能であるように表示している。

ユーザーは、画面６０６に示すようにサムネイル６０３１から切り出したいオブジェクトの境界を手指でタッチしながらなぞり、切り出したいオブジェクトを自由曲線で囲む。すると、ユーザーにより当該オブジェクトの切り出しが指示されたものとして、画面６０６は画面６０７に遷移する。なお、手指のパネルへのなぞりタッチはある程度の接面幅を有する。しかしながらユーザーの指が接している領域における画素の輝度および色相の比較・解析からオブジェクトの輪郭（境界）を構成する連続した画素を抽出し、輪郭（境界）を特定してオブジェクトを切り出すことが可能である。

画面６０７は、サムネイル６０３１から切り出されたオブジェクト６０７１が操作可能であるように表示している。ユーザーにより、画面６０７におけるオブジェクト６０７１以外の領域がフリック操作（画面に触れたままなぞる操作）をされると、画面６０７は画面６０８に遷移する。処理対象画像として選択されてしたサムネイル６０３１が、サムネイル６０１１と入れ替わる。

画面６０８は、サムネイル６０１１とオブジェクト６０７１とを重畳して表示している。画面６０８において、オブジェクト６０７１を特定オブジェクトとしてユーザーがつまみタッチし、オブジェクト６０７１が選択される。オブジェクト６０７１には、最も小さな表示順位（たとえば０）が付されている。また、サムネイル６０１１には、予め複数の領域に対して表示順位が付されている。ここでは、サムネイル６０１１に描かれた領域６０８２と領域６０８３に与えられた表示順位について説明する。領域６０８２は描かれた電車の先頭面に対応する領域であり、表示順位３が与えられている。また、領域６０８３は、描かれた電車の全面ガラス窓に対応する領域であり、表示順位４が与えられている。オブジェクト６０７１は、サムネイル６０１１上におけるどの領域（領域６０８２や領域６０８３など）よりも表示順位が小さいため、サムネイル６０１１上の全ての領域を覆うように手前に表示される。つまり、表示順位が小さいほど、手前側に位置しているように表示する。

ユーザーの手指がつまみ状態のまま画面に近付けるように移動されると、その距離に応じて特定されたオブジェクト６０７１の表示順位を大きくする。ユーザー操作によりオブジェクト６０７１の表示順位が３を超えると、画面６０８は画面６０９に遷移する。画面６０９において、ユーザーの指とパネル面との距離に基づき、オブジェクト６０７１には表示順位３．５が与えられる。表示順位３．５は、領域６０８２の表示順位３よりも大きいので、オブジェクト６０７１は、領域６０８２よりも奥に重なっているように表示される。また、表示順位３．５は、領域６０８３の表示順位４よりも小さいので、オブジェクト６０７１は領域６０８３より手前に位置しているように表示する。

ユーザーはまた、画面６０８において、オブジェクト６０７１が領域６０８２および領域６０８３の範囲内に位置するように、画面に対して平行な方向に、手指をつまみ状態のまま移動させている。すなわち、ユーザーは、指を画面に対して平行および垂直な方向に移動することによって、特定オブジェクトとその他のオブジェクトとの重なり具合を変更することができる。サムネイル６０３１から切り出されたオブジェクト６０７１を特定オブジェクトとして選択する。その後ユーザーは、つまみ状態の指を簡単に操作するだけで、特定オブジェクト６０７１をサムネイル６０１１上の複数のオブジェクトとの重なり具合を変更することができる。

なお、ある画像上に表示された複数の領域に対して表示順位を設定する方法としては、以下のようなものがある。

画像が、測定距離に基づく合焦手段を有した撮像装置により撮影されたものであり、画像内にある各被写体までの距離が記録されている。この場合測定距離に応じて、たとえば０〜３０ｃｍには表示順位１、３０ｃｍ〜１ｍには表示順位２、１〜３ｍには表示順３、３〜８ｍには表示順位４、８〜２０ｍには表示順位５、２０〜∞ｍには表示順位６を付する等の方法がある。なお、ここに述べた距離と表示順位との対応は一例であり、これに限定する趣旨ではない。

または、ユーザーが対象画像における複数の領域について任意の表示順位を設定できるようにしてもよい。もしくは、上記の方法を組み合わせて、あらかじめ設定された表示順位をユーザーが変更し得るような手段を提供して行うなど、種々の方法が存在する。

本実施例におけるサムネイル（画像）は、一般的にラスターイメージまたはビットマップ画像と呼ばれる多くの細密な点（画素）の集合による画像である。ファイル形式としては、ＢＭＰ、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧ等が該当する。また、領域情報や領域ごとの表示順位に関する情報は、たとえばＥｘｉｆやＤＣＦのような、画像データに付加するメタデータを保存するファイル形式として記録・管理することが可能である。

（実施例２）
前述の実施例では、２Ｄで表示した表示手段を有する装置を例に、説明した。本実施例では、表示手段が３Ｄである場合について説明する。３Ｄの場合、物体とパネル面との距離に応じて、３Ｄで表されたオブジェクトの「飛び出し量」を変更する。

図１６は、本実施例における表示制御装置の構成を示した図である。

本実施例が示す表示制御装置は、３Ｄ画像生成部１７を有する。さらに３Ｄ画像生成部１７は、立体形状データ保持部１７１、左視点位置座標決定部１７２、右視点位置座標決定部１７３、左眼用画像生成部１７４、右眼用画像生成部１７５を有する。３Ｄ画像は一般に、視差を有する２つの画像をユーザーの右眼と左眼に表示する「２眼式３Ｄ画像」が実用されている。一般に、コンピューターグラフィックス画像は、仮想空間にオブジェクト形状データと仮想光源、仮想カメラとを配置し、仮想カメラの視点からのオブジェクトの見え方を、投影変換、隠面消去、シェーディング等のプロセスを経てレンダリングすることにより得られる。また、略同一の光軸方向を有する２の仮想カメラを間隔をおいて配置し、これらの視点からのレンダリングを右眼用、左眼用の画像とすることにより、コンピューターグラフィックスの２眼式３Ｄ画像が得られる。ここで、オブジェクト形状データを、上記の２つの仮想カメラの光軸方向に略垂直な平面状の背景形状データと、ＧＵＩオブジェクト形状データとで構成し、前記ＧＵＩオブジェクト形状データを前記背景形状データから仮想カメラの方向に飛び出した位置に配置してレンダリングすれば、ＧＵＩオブジェクトが背景から飛び出ているような視覚効果を有する３Ｄ画像が得られることとなる。

３Ｄ表示手段１８は、複数のタイプが知られている。右眼と左眼に対してそれぞれ表示パネルを具え視差画像を表示するものや、１つの表示装置にそれぞれ偏光フィルタまたは赤青フィルタをかけた左右画像を重ねて表示し、ユーザーは偏光眼鏡または赤青眼鏡を通してそれを見るものがある。また、左眼用と右眼用の画像を時分割表示し、ユーザーは画像に同期して開閉するシャッター眼鏡を通してそれを見るもの、指向性を持つレンチキュラー板を使用し左右の眼に対応する画像を表示するものなどもある。

図１７は本実施例に適用可能な表示制御装置の処理のフローを示す図である。３Ｄ表示手段におけるパネル面とユーザーの指までの距離に応じて、３Ｄで表されたオブジェクトの飛び出し量を変更する。なお、前述の実施例が示したステップと同様のステップについては、説明を省略する。

ステップＳ１００４において、距離ＬとＬ０が異なるときは、その差分に応じて仮想空間上の３Ｄ形状データの配置を変更する。

ステップＳ１００５において、レンダリングを行い、表示する３Ｄ画像を生成する。

ステップＳ１００６において、生成された画像に基づいて３Ｄ表示手段１８は３Ｄ画像を表示をする。

本実施例において、ユーザーが指をパネル面から遠ざけたり近付けたりする動作に応じて、３Ｄオブジェクトの飛び出し量が増大したり減少したりする。これにより、ユーザーに、ＧＵＩオブジェクトを「操作している」という視覚的な感覚を生じさせることができる。

Claims (17)

1. 複数のオブジェクトを表示可能な表示手段と、
   物体を検知する検知手段と、
   前記物体の動作により、前記表示手段に表示された第一のオブジェクトを特定する特定手段と、
   前記物体と前記表示手段との距離を計測する計測手段と、
   前記距離に応じて、前記表示手段において、前記第一のオブジェクトと前記第一のオブジェクトとは異なる第二のオブジェクトとの何れを手前に表示させるか決定する表示制御手段とを有する表示制御装置。
2. 前記表示制御手段は、前記距離が大きくなると、前記第一のオブジェクトがより手前に位置するように表示する請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記距離が小さくなると、前記第一のオブジェクトが奥に位置するように表示する請求項１または２に記載の表示制御装置。
4. 前記検知手段は、前記表示手段へのユーザーによる接触を検知し、
   前記特定手段は、ユーザーが接触したオブジェクトを前記第一のオブジェクトとして特定することを特徴とする請求項１乃至３の何れか一項に記載の表示制御装置。
5. 前記検知手段は、ユーザーの親指および、それ以外の指の少なくとも一本の指がくっついたつまみ状態で前記表示手段へ接触したことを検知し、
   前記計測手段は、前記つまみ状態の指と前記表示手段との距離を計測することを特徴とする請求項１乃至４の何れか一項に記載の表示制御装置。
6. 前記検知手段は、前記物体がパネル付近において所定時間以上停止した状態を検知する請求項１乃至３の何れか一項に記載の表示制御装置。
7. 前記表示制御手段は、前記距離に応じて、前記第二のオブジェクトの表示状態を変更することを特徴とする請求項１乃至６の何れか一項に記載の表示制御装置。
8. 前記表示制御手段は、前記第二オブジェクトのぼかし量を変えることを特徴とする請求項７に記載の表示制御装置。
9. 前記表示制御手段は、前記第一のオブジェクトの表示状態を変更することを特徴とする請求項１乃至８の何れか一項に記載の表示制御装置。
10. 前記表示制御手段は、前記第一オブジェクトの大きさを変えることを特徴とする請求項９に記載の表示制御装置。
11. 前記表示制御手段は、前記第一オブジェクトの影を変えることを特徴とする請求項１乃至１０の何れか一項に記載の表示制御装置。
12. 前記表示制御手段は、前記第一オブジェクトを前記第二オブジェクトよりも相対的に上位の階層に表示することを特徴とする請求項１乃至１１の何れか一項に記載の表示制御装置。
13. 前記表示手段にはさらに、第三のオブジェクトが表示され、
    前記表示制御手段は、前記距離に応じて、前記第一オブジェクト、前記第二オブジェクト、前記第三オブジェクトの重なりを入れ替えるように表示することを特徴とする請求項１乃至１２の何れか一項に記載の表示制御装置。
14. 前記第二のオブジェクトおよび前記第３のオブジェクトは、前記表示手段に表示された画像内における、異なる領域であることを特徴とする請求項１３に記載の表示制御装置。
15. 前記第一のオブジェクトは、前記表示手段に表示された画像内に表示された複数のオブジェクトから切り出されたオブジェクトであることを特徴とする請求項１乃至１４の何れか一項に記載の表示制御装置。
16. 請求項１から請求項１５の何れか一項に記載された表示制御装置の各手段として機能させることを特徴とするプログラム。
17. 表示手段、検知手段、特定手段、計測手段、表示制御手段とを有し、
    前記表示手段が、複数のオブジェクトを表示可能であり、
    前記検知手段が、物体を検知する検知し、
    前記特定手段が、前記物体の動作により、前記表示手段に表示された第一のオブジェクトを特定し、
    前記計測手段が、前記物体と前記表示手段との距離を計測し、
    前記表示制御手段が、前記距離に応じて、前記表示手段において、前記第一のオブジェクトと前記第一のオブジェクトとは異なる第二のオブジェクトとの何れを手前に表示させるか決定することを特徴とする表示制御方法。

Images