JP2012252543A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ディスプレイの上に実物体が載置された場合においても表示物体を移動して見易くすることができる。
【解決手段】本開示の情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。本開示は、例えば、テーブルトップ型コンピュータに適用できる。
【選択図】図４

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、テーブル面に設けたディスプレイに実物体を載置可能とした場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

図１は、テーブルトップ型と称されるコンピュータの一例を示している。テーブルトップ型コンピュータ１０は、例えばホテルのカウンタなどで使用されることが想定されており、そのディスプレイ１１は、カウンタなどの卓面に設けられている。

ユーザがテーブルトップ型コンピュータ１０を使用するに際しては、同図Ｂに示されるように、ユーザはディスプレイ１１の側面に位置し、ディスプレイ１１に表示される各種の情報（いまの場合、表示物体Ａ，Ｂ，Ｃ）を斜め上から見下ろすことになる。

テーブルトップ型コンピュータ１０のディスプレイ１１は、カウンタなどの卓面に設けられており、その上には実物体（例えば、ハンドバッグ、本、カップなどの実在する物体）を載置可能とされている。

しかしながら、ディスプレイ１１の上に実物体が載置された場合、それまでそこに表示されていた表示物体がユーザから見づらくなってしまうので、何らかの対策が必要である。

例えば、特許文献１には、ディスプレイをその上方から撮像することにより、ディスプレイに載置された実物体の位置を特定し、実物体の直下を避けて、ディスプレイにおける表示物体の表示位置を変更することが記載されている。

ＵＳ２００８／０２３１６１１

しかしながら、単に実物体の直下を避けて表示物体の表示位置を変更するだけでは、例えば、図２に示されるように、ユーザから見て表示物体Ｂが実物体の後方に移動されることも起こり得る。この場合、実物体の高さ（ディスプレイに垂直な方向への長さ）によっては、ユーザが実物体Ｂを視認できないことがある。

本開示はこのような状況に鑑みてなされたものであり、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くするようにするものである。

本開示の一側面である情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。

本開示の一側面である情報処理装置は、前記ディスプレイに対するユーザの相対的な位置を検知する検知部をさらに備えることができ、前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定することができる。

前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。

前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。

前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出することができる。

本開示の一側面である情報処理方法は、情報処理装置による、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップとを含む。

本開示の一側面であるプログラムは、コンピュータを、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部として機能させる。

本開示の一側面においては、表示信号に基づく画面を表示するディスプレイの上に載置された実物体が検出され、検出された実物体の位置に基づいて、ディスプレイの画面に非表示領域が設定され、ディスプレイの画面に表示されていた表示物体の表示位置が、画面の前記非表示領域とは異なる表示領域に移動されることによって表示信号が更新される。

本開示の一側面によれば、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くすることができる。

テーブルトップ型コンピュータの一例を示す図である。 ディスプレイの上に載置された実物体の直下から表示物体を移動させた状態を示す図である。 実施の形態による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示す図である。 実施の形態である情報処理装置の構成例を示すブロック図である。 非表示領域の設定方法を説明するための図である。 非表示領域の設定方法を説明するための図である。 非表示領域の設定方法を説明するための図である。 撮像部付ディスプレイ３０の構成例を示す断面図である。 表示位置変更処理を説明するフローチャートである。 表示物体の移動軌跡を説明する図である。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［情報処理装置の動作概要］
本開示の実施の形態である情報処理装置は、図１に示されたデスクトップ型コンピュータと同様、卓面に設けられたディスプレイの上に実物体を載置可能とされている。

図３は、実施の形態である情報処理装置による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示している。

実施の形態である情報処理装置においては、ディスプレイに内蔵された撮像部からの撮像信号に基づいて、ディスプレイの上に実物体が載置されたことを検出する。そして、ディスプレイ上に実物体が載置された場合、同図に示すように、ユーザ側のディスプレイ端と実物体との接線Ｌ_Ｌ，Ｌ_Ｒを境界とする非表示領域に設定され、ディスプレイの画面に表示されている表示物体の表示位置が非表示領域以外の領域（以下、表示領域と称する）に移動される。なお、非表示領域の設定方法については後述する。これにより、ディスプレイの上に載置された実物体の高さに拘わらず、表示物体が見づらくなることを抑止できる。

［情報処理置の構成例］
図４は、実施の形態である情報処理装置の構成例を示している。この情報処理装置２０は、操作入力部２１、表示信号生成部２２、撮像信号取得部２３、実物体検出部２４、ユーザ検知部２５、非表示領域設定部２６、表示信号出力部２７、および撮像部付ディスプレイ３０を有している。

操作入力部２１は、ユーザのからの操作入力を受け付け、それに対応する操作信号を表示信号生成部２２に出力する。表示信号生成部２２は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ３０に表示させるための表示信号を生成して表示信号出力部２７に供給する。また、表示信号生成部２２は、非表示領域設定部２６から通知される非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部２７に供給する。

撮像信号取得部２３は、撮像部付ディスプレイ３０（以下、単にディスプレイ３０とも称する）から撮像信号を取得し、実物体検出部２４に出力する。実物体検出部２４は、ディスプレイ３０からの撮像信号に基づき、ディスプレイ３０の上に載置された実物体の外周を示す閉曲線Ｃを検出する。

ユーザ検知部２５は、ディスプレイ３０を囲む４辺のいずれにユーザが位置しているのかを検知して非表示領域設定部２６に通知する。なお、ユーザ検知部２５としては、例えば、赤外線センサ、超音波センサ、人体熱輻射センサなどを用いればよい。あるいは、ユーザに対してディスプレイ３０の上に掌を載置するように促し、その撮像信号に基づいて掌の形状を検出し、ユーザの位置を検知するようにしてもよい。

非表示領域設定部２６は、ディスプレイ３０の上に載置された実物体の外周を示す閉曲線Ｃとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部２２に通知する。

ここで、非表示領域の設定方法について説明する。以下、ディスプレイ３０の４頂点をｐ０（０，０），ｐ１（０，Ｘ），ｐ２（Ｘ，Ｙ），ｐ３（０，Ｙ）とする。

図５は、ユーザが線分ｐ０，ｐ１側に位置している場合を示している。この場合、直線Ｌ_Ｌは頂点ｐ０を通るので、次式（１）に示されるように表記される。
直線Ｌ_Ｌ：ｙ−０＝ａ（ｘ−０） ・・・（１）
次に、式（１）に基づいて次式（２）に示される関数Ｆ（ｘ，ｙ）を定義する。
関数Ｆ（ｘ，ｙ）＝ｙ−０−ａ（ｘ−０） ・・・（２）

ここで、既知の閉曲線Ｃ上の全ての点ｃ（ｘ_ｃ，ｙ_ｃ）に対して、関数Ｆ（ｘ，ｙ）の値を求めておき、さらに、パラメータａを０から正の方向に増加させ、最初に関数Ｆ（ｘ，ｙ）の値が０となったときのパラメータａを、直線Ｌ_Ｌの傾きに採用する。

直線Ｌ_Ｒについても同様に決定する。すなわち、直線Ｌ_Ｒは頂点ｐ１を通るので、次式（３）に示されるように表記される。
直線Ｌ_Ｒ：ｙ−０＝ａ（ｘ−Ｘ） ・・・（３）
次に、式（３）に基づいて次式（４）に示される関数Ｆ（ｘ，ｙ）を定義する。
関数Ｆ（ｘ，ｙ）＝ｙ−０−ａ（ｘ−Ｘ） ・・・（４）

ここで、既知の閉曲線Ｃ上の全ての点ｃ（ｘ_ｃ，ｙ_ｃ）に対して、関数Ｆ（ｘ，ｙ）の値を求めておき、さらに、パラメータａを０から負の方向に減少させ、最初に関数Ｆ（ｘ，ｙ）の値が０となったときのパラメータａを、直線Ｌ_Ｒの傾きに採用する。

図６は、ユーザが線分ｐ１，ｐ２側に位置している場合を示している。この場合、直線Ｌ_Ｌは頂点ｐ１を通るので、次式（５）に示されるように表記される。
直線Ｌ_Ｌ：ｙ−０＝ａ（ｘ−Ｘ） ・・・（５）
次に、式（５）に基づいて次式（６）に示される関数Ｆ（ｘ，ｙ）を定義する。
関数Ｆ（ｘ，ｙ）＝ｙ−０−ａ（ｘ−Ｘ） ・・・（６）

ここで、既知の閉曲線Ｃ上の全ての点ｃ（ｘ_ｃ，ｙ_ｃ）に対して、関数Ｆ（ｘ，ｙ）の値を求めておき、さらに、パラメータａを負の無限大から０の方向に増加させ、最初に関数Ｆ（ｘ，ｙ）の値が０となったときのパラメータａを、直線Ｌ_Ｌの傾きに採用する。

直線Ｌ_Ｒについても同様に決定する。すなわち、直線Ｌ_Ｒは頂点ｐ２を通るので、次式（７）に示されるように表記される。
直線Ｌ_Ｒ：ｙ−Ｙ＝ａ（ｘ−Ｘ） ・・・（７）
次に、式（８）に基づいて次式（４）に示される関数Ｆ（ｘ，ｙ）を定義する。
関数Ｆ（ｘ，ｙ）＝ｙ−Ｙ−ａ（ｘ−Ｘ） ・・・（８）

ここで、既知の閉曲線Ｃ上の全ての点ｃ（ｘ_ｃ，ｙ_ｃ）に対して、関数Ｆ（ｘ，ｙ）の値を求めておき、さらに、パラメータａを正の無限大から０の方向に減少させ、最初に関数Ｆ（ｘ，ｙ）の値が０となったときのパラメータａを、直線Ｌ_Ｒの傾きに採用する。

なお、ユーザが線分ｐ２，ｐ３側に位置している場合、線分ｐ３，ｐ０側に位置している場合についても、同様にして直線Ｌ_Ｌ，Ｌ_Ｒを決定する。

以上のようにして決定された直線Ｌ_Ｌ，Ｌ_Ｒを境とするユーザ側の領域が表示領域とされ、その他の領域が非表示領域に設定される。なお、表示領域と実物体の閉曲線Ｃとの間に出現し得る略三角形の領域については、表示領域とするようにしてもよい。

図７は、複数の実物体がディスプレイ３０の上に載置された場合を示している。この場合、各実物体に対して非表示領域が決定され、それらの論理和が全体としての非表示領域に設定される。

また、本実施の形態においては、直線Ｌ_Ｌ，Ｌ_Ｒを境とするユーザ側の領域を表示領域とするが、反対に、直線Ｌ_Ｌ，Ｌ_Ｒを境とするユーザ側の領域を非表示領域と設定するように変更してもよい。このような変更は、例えば情報処理装置２０にてトランプ、麻雀などのゲームを行い、ユーザに対する情報を、ユーザに対して秘匿しておく段階において適用することができる。

図４に戻る。表示信号出力部２７は、表示信号生成部２２から入力される表示信号をディスプレイ３０に供給する。テーブルやカウンタの卓面に設置される撮像部付ディスプレイ３０は、表示信号出力部２７から供給される表示信号に対応する画面を表示する。また、撮像部付ディスプレイ３０は、その内部に撮像部５０を有する。撮像部５０は、撮像信号取得部２３からの制御に従い、ディスプレイ３０の上に載置された実物体を内側から撮像し、その結果得られる、実物体の底面（ディスプレイ３０との設置面）の形状を示す撮像信号を撮像信号取得部２３に出力する。

図８は、撮像部付ディスプレイ３０の構成例を示す断面図である。

撮像部付ディスプレイ３０は、その内側から順に、バックライト３１、偏光フィルタ３２−１、ガラス基板３３−１、透明電極３４−１、配向膜３５−１、液晶３６、配向膜３５−２、透明電極３４−２、カラーフィルタ３７、ガラス基板３３−２、および偏光フィルタ３２−２が積層されて構成される。さらに、ガラス基板３３−１と３３−２の内側には、近赤外光を用いて撮像を行う撮像部５０が設けられている。なお、さらに偏光フィルタ３２−２の上層にユーザの操作入力を検知するためのタッチパネルなどを積層してもよい。

すなわち、撮像部付ディスプレイ３０は、一般的な液晶ディスプレイの構成に撮像部５０を内蔵したものである。ただし、バックライト３１については、実物体の底面に照射して、その反射光を撮像部５０にて受光するための近赤外光(800乃至900nm)も、画面表示のための可視光とともに発光するものとする。

撮像部５０は、近赤外光のみを透過させるＩＲフィルタ５１、および近赤外光を受光して撮像信号に変換する受光部５２から構成される。受光部５２は、例えば、活性層で発生するフォトカレントを利用する方式、または光吸収により発生する電荷の蓄積を利用する方式を利用することができる。なお、撮像部５０は、表示される１画素毎、または表示される所定数の画素毎に２次元的に周期的に複数配置されるので、全ての撮像部５０から出力される撮像信号は、載置された実物体の底面を示すものとなる。

［動作説明］
次に、情報処理装置２０による表示位置変更処理について説明する。図９は、表示位置変更処理を説明するフローチャートである。

ステップＳ１において、表示信号生成部２２は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ３０に表示させるための表示信号を生成して表示信号出力部２７に供給する。

ステップＳ２において、表示信号出力部２７は、表示信号生成部２２から入力された表示信号を撮像部付ディスプレイ３０に供給する。撮像部付ディスプレイ３０は、表示信号出力部２７から供給された表示信号に対応する画面を表示する。

ステップＳ３において、撮像信号取得部２３は、撮像部付ディスプレイ３０から撮像信号を取得し、実物体検出部２４に出力する。ステップＳ４において、実物体検出部２４は、ディスプレイ３０からの撮像信号に基づき、ディスプレイ３０の上に実物体が載置されているか否かを判定する。実物体が載置されていないと判定された場合、処理はステップＳ３に戻ってそれ以降が繰り返される。

ステップＳ４において、ディスプレイ３０の上に実物体が載置されていると判定された場合、処理はステップＳ５に進められる。ステップＳ５において、実物体検出部２４は、撮像信号に基づいて実物体が載置されている位置を特定し、実物体の外周を示す閉曲線Ｃを非表示領域設定部２６に通知する。

ステップＳ６において、ユーザ検知部２５は、ディスプレイ３０を囲む４辺のいずれにユーザが位置しているのかを検知して非表示領域設定部２６に通知する。ステップＳ７において、非表示領域設定部２６は、ディスプレイ３０の上に載置された実物体の外周を示す閉曲線Ｃとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部２２に通知する。

ステップＳ８において、表示信号生成部２２は、非表示領域設定部２６から通知された非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部２７に供給する。この後、処理はステップＳ２に戻り、それ以降が繰り返されることになる。以上で、表示位置変更処理の説明を終了する。

表示位置変更処理によれば、撮像部付ディスプレイ３０の上に実物体が載置されても、その高さに拘わらず、画面上の表示物体が見えなくなってしまったり、見づらくなってしまったりすることを抑止できる。

なお、表示物体の表示位置を変更するに際しては、その表示位置を瞬時に変更してもよいが、表示物体の移動軌跡が視認できるようにしてもよい。その移動軌跡は、直線としてもよいし、例えば図１０Ａ乃至図１０Ｃに示されるように、実物体を迂回するような移動軌跡としてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

２０ 情報処理装置， ２１ 操作入力部， ２２ 表示信号生成部， ２３ 撮像信号取得部， ２４ 実物体検出部， ２５ ユーザ検知部， ２６ 非表示領域設定部， ２７ 表示信号出力部， ３０ 撮像部付ディスプレイ， ５０ 撮像部， ５１ ＩＲフィルタ， ５２ 受光部

Claims (7)

1. 表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
   検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
   前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
   を備える情報処理装置。
2. 前記ディスプレイに対するユーザの相対的な位置を検知する検知部を
   さらに備え、
   前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定する
   請求項１に記載の情報処理装置。
3. 前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新する
   請求項２に記載の情報処理装置。
4. 前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新する
   請求項２に記載の情報処理装置。
5. 前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出する
   請求項２に記載の情報処理装置。
6. 情報処理装置の情報処理方法において、
   情報処理装置による、
   表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、
   検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、
   前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップと
   を含む情報処理方法。
7. コンピュータを、
   表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
   検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
   前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
   して機能させるプログラム。

Images