JP5117418B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、タッチパネルにおいてタッチ操作で指し示した位置を検出する情報処理装置及び情報処理方法に関する。

操作者がディスプレイ画面上の物体を指やスタイラス等を用いて指し示す（ポインティング操作する）ことを可能とするタッチパネルディスプレイが広く用いられている。操作者がタッチパネルの表面上に指を置いたことを判定し、その位置を検出する方法としてさまざまな手法が開発されている。

例えば、タッチパネルの外枠の部分に光を発する光源と光を検出する光センサを対になるように並べて配置し、タッチパネルの表面に指等を置いた場合に、その指によって光源から発せられる光が光センサに届く間に遮蔽されることを利用して、その指の水平方向及び垂直方向の位置を検出する方法がある（例えば、特許文献１参照。）。このような方式のタッチパネルでは、タッチパネルのパネル面に特別な部材を用いる必要はなく、透明なアクリル板等を用いることができ、タッチパネルの奥側を観察することができる。このため、既存の液晶ディスプレイ等に取り付けることでタッチパネル機能を付加することが可能である。

しかしながら、パネル面が透明であるタッチパネルと、タッチ操作により指し示す対象物を表示する表示部を離して設置する場合に、操作者の顔の位置が動く等して運動視差が生じると、パネル面におかれている指とタッチ操作により指し示していた表示部上の位置にずれが生じ、表示物体を容易に指し示すことができないという問題が生じる。

特開２００６−１１５６８号公報

本発明の目的は、操作者の視点が移動して、運動視差が生じても、操作者がタッチ操作で指し示した表示部上の表示物体を正確に判定することが可能となる情報処理装置及び情報処理方法を提供することである。

本願発明の一態様によれば、（イ）操作者のタッチ位置を検出するタッチ位置検出部のワールド座標系における位置情報を保持する第１情報保持部と、（ロ）タッチ位置検出部の位置情報を用いて、タッチ位置からワールド座標系におけるタッチ位置を算出する第１変換部と、（ハ）操作者のワールド座標系における視点位置と、ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成する半直線情報生成部と、（ニ）タッチ位置検出部と離間して配置され、操作者がタッチ位置検出部を介して視認可能な表示物体を表示する表示部のワールド座標系における位置情報を保持する第２情報保持部と、（ホ）表示部の位置情報を用いて、半直線が表示部と交差するか判定する第１判定部と、（ヘ）表示物体のスクリーン座標系における位置情報を保持する第３情報保持部と、（ト）表示物体の位置情報を用いて、半直線が交差すると判定された表示部に表示される表示物体と半直線とが交差するか判定する第２判定部とを備える情報処理装置が提供される。

本願発明の他の態様によれば、（イ）タッチ位置検出部が、操作者のタッチ位置を検出するステップと、（ロ）第１情報保持部に保持されたタッチ位置検出部のワールド座標系における位置情報を用いて、タッチ位置から、ワールド座標系におけるタッチ位置を算出するステップと、（ハ）操作者のワールド座標系における視点位置と、ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成するステップと、（ニ）第２情報保持部に保持された操作者がタッチ位置検出部を介して視認可能な表示物体を表示する表示部のワールド座標系における位置情報を用いて、半直線が表示部と交差するか判定するステップと、（ホ）第３情報保持部に保持された表示物体のスクリーン座標系における位置情報を用いて、半直線が交差すると判定された表示部に表示される表示物体と半直線とが交差するか判定するステップとを含む情報処理方法が提供される。

本発明によれば、操作者の視点が移動して、運動視差が生じても、操作者がタッチ操作で指し示した表示部上の表示物体を正確に判定することが可能となる情報処理装置及び情報処理方法を提供することができる。

本発明の第１の実施の形態に係る情報処理装置の一例を示すブロック図である。 本発明の第１の実施の形態に係る情報処理装置の一例を示す他のブロック図である。 本発明の第１の実施の形態に係る情報処理装置と操作者の位置関係を説明するための概略図である。 本発明の第１の実施の形態に係る情報処理装置と操作者の位置関係を空間中の点により示した概略図である。 本発明の第１の実施の形態に係るタッチ位置検出部の座標系を説明する概略図である。 本発明の第１の実施の形態に係る撮影部によって得られる画像を説明する概略図である。 本発明の第１の実施の形態に係る第２情報保持部の内部構成を説明する概略図である。 本発明の第１の実施の形態に係る第１判定部の処理を説明するためのフローチャートである。 本発明の第１の実施の形態に係る第２の表示部と半直線との交差判定を説明するための概略図である。 本発明の第１の実施の形態に係る第２の表示部の座標系を説明するための概略図である。 本発明の第１の実施の形態に係る第３情報保持部の内部構成を説明する概略図である。 本発明の第１の実施の形態に係る第２判定部の処理を説明するためのフローチャートである。 本発明の第１の実施の形態に係る情報処理方法の一例を説明するためのフローチャートである。 本発明の第１の実施の形態の第１の変形例に係る情報処理装置の他の一例を示すブロック図である。 本発明の第１の実施の形態の第２の変形例に係る表示部から表示部へのドラッグ操作の例を説明する図である。 本発明の第１の実施の形態の第２の変形例に係るドラッグ操作中の処理を説明するためのフローチャートである。 本発明の第１の実施の形態の第２の変形例に係るドラッグ操作終了時の処理を説明するためのフローチャートである。 本発明の第２の実施の形態に係る情報処理装置と操作者の位置関係を説明する概略図である。 本発明の第２の実施の形態に係る情報処理装置の一例を示すブロック図である。 本発明の第２の実施の形態に係る実物体位置情報保持部の内部構成を説明する概略図である。 本発明の第２の実施の形態に係る実物体を近似する凸包を説明する概略図である。 本発明の第２の実施の形態に係る第３判定部の処理を説明するためのフローチャートである。 本発明の第２の実施の形態に係る実物体を近似する凸包と半直線との交差判定を説明する概略図である。 本発明の第２の実施の形態に係る情報処理装置の他の一例を示すブロック図である。 本発明の第２の実施の形態に係る表示部から実物体へのドラッグ操作の例を説明する概略図である。 本発明の第２の実施の形態に係る実物体から表示部へのドラッグ操作の例を説明する概略図である。 本発明のその他の実施の形態に係る情報処理装置と操作者位置関係を説明する概略図である。

次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。

また、以下に示す第１及び第２の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

（第１の実施の形態）
本発明の第１の実施の形態では、タッチパネルを用いて、タッチパネルから離れた位置に設置された表示部上の表示物体を操作者がポインティングしたことを判定する情報処理装置について示す。

本発明の第１の実施の形態に係る情報処理装置は、図１に示すように、撮影部８により撮影された操作者の顔画像から操作者の視点位置を算出する視点位置算出部１１と、撮影部８のワールド座標系における位置情報を保持する第４情報保持部（撮影部位置情報保持部）２２と、撮影部８の位置情報を用いて、視点位置からワールド座標系における視点位置を算出する第２変換部（視点位置変換部）１２と、タッチ位置検出部（タッチパネル）６のワールド座標系における位置情報を保持する第１情報保持部（タッチ位置検出部位置情報保持部）２１と、タッチ位置検出部６の位置情報を用いて、タッチ位置検出部６により検出されたタッチ位置から、ワールド座標系におけるタッチ位置を算出する第１変換部（タッチ位置変換部）１３と、ワールド座標系における視点位置と、ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成する半直線情報生成部１４と、操作者がタッチパネルを介して視認可能な表示物体を表示する表示部のワールド座標系における位置情報を格納する第２情報保持部（表示部位置情報保持部）２３と、表示部の位置情報を用いて、半直線が表示部と交差するか判定する第１判定部（表示部指示判定部）１５と、表示物体のスクリーン座標系の位置情報を格納する第３情報保持部（表示物体位置情報保持部）２４と、表示物体の位置情報を用いて、半直線が交差すると判定された表示部に表示される表示物体と半直線とが交差するか判定する第２判定部（表示物体指示判定部）１６を備える。

本発明の１の実施の形態に係る情報処理装置は、図２に示すように実装される。本発明の１の実施の形態に係る情報処理装置は、プロセッサ２、主記憶装置（ＲＡＭ）３、読み出し専用記憶装置（ＲＯＭ）４、外部記憶装置５、タッチ位置検出部６、第１の表示部７、撮影部８及び第２の表示部９を備える。プロセッサ２は、図１に示した視点位置算出部１１、第２変換部１２、第１変換部１３、半直線情報生成部１４、第１判定部１５及び第２判定部１６をハードウェア資源であるモジュール（論理回路）として論理的に備える。例えば、主記憶装置３が、図１に示した第１情報保持部２１、第４情報保持部２２、第２情報保持部２３、第３情報保持部２４及び第５情報保持部２５を備える。

本発明の第１の実施の形態に係る情報処理装置で実行されるプログラムは、外部記憶装置５から主記憶装置３に読み込まれるか、読み出し専用記憶装置４に記録され、プロセッサ２で実行される。主記憶装置３には、実行されるプログラムのパラメータや計算結果が記憶される。

図３は、各装置の空間的な位置関係を示す。タッチ位置検出部６は、操作者３１の前に設置される。タッチ位置検出部６は、操作者が指やスタイラス等でパネル表面に触れた場合に、その位置を検出し出力可能なタッチパネルである。本発明の第１の実施の形態では、タッチ位置検出部６として、（株）イーアイティー製の２４インチ光学式タッチパネルであるＸＹＦｅｒ（登録商標）を使用するものとする。このタッチ位置検出部６を右に９０度回転させて縦長の形状とし、垂直に立てて設置する。パネル面は透明アクリル板であるため、操作者３１はタッチ位置検出部６の奥に存在する物体を容易に観察可能である。

第１の表示部７は、タッチ位置検出部６の下半分の領域に、タッチ位置検出部６に接するように設置されている。第２の表示部９は、タッチ位置検出部６より離して、遠方に配置されている。第１の表示部７及び第２の表示部９のそれぞれは、映像を表示可能なディスプレイと、ディスプレイに出力する映像を生成するためのグラフィックスプロセッサを備える。第１の表示部７としては、例えば１９インチの液晶モニタが使用可能である。第２の表示部９としては、例えば１００インチのプロジェクションスクリーン等の大型のディスプレイが使用可能である。

撮影部８は、タッチ位置検出部６の下部に配置されている。撮影部８は、操作者３１の顔画像を実時間で撮影するビデオカメラと、撮影された動画像を主記憶装置３に入力するためのビデオ映像入力プロセッサを備える。撮影部８としては、例えばＵＳＢ接続可能なＷｅｂカメラが使用可能である。本発明の実施の形態では、撮影部８として、毎秒３０回、ＶＧＡ（６４０ピクセル×４８０ピクセル）の解像度の画像を撮影するものとする。

本発明の第１の実施の形態によれば、図３のような位置関係において、操作者３１がタッチ位置検出部６上を指で触れた場合、その指のタッチ位置（指示位置）３２と撮影部８で撮影した顔画像から検出した操作者３１の視点位置３４とを結ぶ半直線３５と、第２の表示部９との交差位置３６を求めることができる。これにより、操作者３１が、第２の表示部９上に表示された表示物体３３を、指示操作（ポインティング）したことを、交差位置３６と表示物体３３との位置関係により判定することができる。第１の表示部７上に表示された表示物体を指示操作（ポインティング）したことを判定することも同様に可能である。

図３のような位置関係において、各装置の座標を示すために、図４に示すようにワールド座標系４１を定義する。座標系は右手系座標系を用いるものとし、操作者３１から見て、水平右方向がｘ軸、鉛直上方向がｙ軸、手前方向がｚ軸となるように定義する。

タッチ位置検出部６の表面の長方形を点Ｔ１，Ｔ２，Ｔ３，Ｔ４により定義する。第１の表示部７の表面の長方形を点Ｄ１，Ｄ２，Ｄ３，Ｄ４により定義する。第２の表示部９の表面の長方形を点Ｍ１，Ｍ２，Ｍ３，Ｍ４により定義する。操作者３１の右目の位置を点Ｅｒ、左目の位置を点Ｅｌ、操作者３１の視点位置を点Ｅ、操作者３１がタッチ位置検出部６に触れた位置を点Ｐ、第２の表示部９上の操作者３１によるタッチ位置を点Ｓと定義する。点Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｅｒ，Ｅｌ，Ｅ，Ｐ，Ｓはすべて３次元空間中の点である。

図５に示すように、タッチ位置検出部６のパネル面上の座標系を、タッチパネル座標系５１として定義する。ワールド座標系４１の点Ｔ１，Ｔ２，Ｔ３，Ｔ４のそれぞれに対応するタッチパネル座標系５１の点Ｔ’１，Ｔ’２，Ｔ’３，Ｔ’４を定義する。操作者３１がタッチ位置である点Ｐに触れると、タッチ位置検出部６は、点Ｐ’（ｘ，ｙ）の値をタッチ位置情報として検出する。

本発明の第１の実施の形態で用いるタッチ位置検出部６であるＸＹＦｅｒ（登録商標）は、右に９０度回転して設置している。ここで、タッチ位置検出部６自体のキャリブレーションが正しく行われているものと仮定する。この場合、タッチ位置検出部６が検出位置として出力する値の、水平方向についての値は、０から６５５３５までの値を、検出位置のパネル面の両辺からの距離で内分した整数値を出力する。すなわち、点Ｔ’３では、（ｘ，ｙ）＝（０，０）を出力し、点Ｔ’４では、（ｘ，ｙ）＝（０，６５５３５）を出力し、点Ｔ’３と点Ｔ’４の中点では、（ｘ，ｙ）＝（０，３２７６８）を出力する。垂直方向についても同様である。

タッチ位置検出部６は、タッチパネル座標系５１における３次元空間のタッチ位置Ｐの座標Ｐ（ｔ）（ｘ，ｙ，ｚ，１）を出力する。なお、Ｐ（ｔ）は同次座標である。

また、タッチ位置検出部６であるＸＹＦｅｒ（登録商標）は、そのパネル面が平面でかつ矩形であるため、タッチパネルの縦横２辺をｘ軸及びｙ軸と定義し、ｚ座標は０としたが、タッチ位置検出部６のパネル面が湾曲した面である場合には、ｚ座標もタッチ位置の奥行きに応じて設定される。

また、タッチ位置検出部６は、パネル面を両手で触れた場合等に、複数のタッチ位置を検出することも可能である。パネル面上の複数のタッチ位置の情報を用いる場合には、タッチ位置検出部６は、３次元空間の座標Ｐ（ｔ）（ｘ，ｙ，ｚ，１）を検出位置の数の分だけ複数出力する。

第１変換部１３は、第１情報保持部２１から読み出したタッチ位置検出部情報を用いて、タッチ位置検出部６により検出されたタッチ位置情報から、ワールド座標系におけるタッチ位置を算出する。タッチ位置検出部情報は、タッチパネル座標系５１のワールド座標系４１に対する位置関係を示す。タッチパネル座標系からワールド座標系への座標変換は、４行４列の同次変換行列Ｍ（ｔ）で表現できる。この行列Ｍ（ｔ）は予めタッチ位置検出部６の位置を計測することで求めてもよいし、タッチ位置検出部６に測位を行う位置センサ等を付加し、タッチ位置検出部６の位置を計測してもよい。タッチ位置検出部６の位置及び姿勢から行列Ｍ（ｔ）を求める処理は、コンピュータビジョンや空間位置の測位の分野で公知の手法を用いることができる。

第１変換部１３は、この行列Ｍ（ｔ）を用いて、タッチパネル座標系５１におけるタッチ位置の座標Ｐ（ｔ）から、ワールド座標系におけるタッチ位置の座標Ｐ（ｗ）を求める変換処理を行う。この変換処理は、以下の式（１）で表現される。

Ｐ（ｗ）＝Ｍ（ｔ）Ｐ（ｔ） …（１）

なお、Ｐ（ｗ）は同次座標である。第１変換部１３は、Ｐ（ｗ）を出力する。

また、タッチ位置検出部６を操作者３１が持ち運び、位置や向きを変更可能である場合には、磁気や超音波等による測位を行う位置センサをタッチ位置検出部６に取り付け、タッチ位置検出部６のワールド座標系についての位置、姿勢の情報を取得すればよい。

視点位置算出部１１は、撮影部８により撮影された操作者３１の顔画像から、カメラ画像上の座標系における操作者３１の視点位置を算出する。なお、顔画像に対しては、レンズゆがみの補正、ＣＣＤ面の中心位置の補正等は適宜行われる。この視点位置の算出には、画像処理分野において公知である顔の特徴量を用いて視点位置を推定する手法を用いることが可能である。

図６に示すように、画像処理において求められた右眼の位置をＥ’ｒ（ｃ）、左目の位置をＥ’ｌ（ｃ）とする場合、視点位置Ｅ’（ｃ）は、例えばＥ’ｒ（ｃ）とＥ’ｌ（ｃ）を均等に内分する点を用いる。また、操作者３１のきき眼が予め判明しており、きき眼が右目である場合には、視点位置Ｅ’（ｃ）にＥ’ｒ（ｃ）を代入し、逆に、きき眼が左目である場合には、視点位置Ｅ’（ｃ）にＥ’ｌ（ｃ）を代入してもよい。

また、画像中における顔の特徴量を利用する以外にも、両目の間にカラーマーカーをつけ、そのマーカーの色を抽出し、位置を求めることで、視点位置を出力する方法も利用可能である。

視点位置算出部１１は、操作者３１の視点が撮影部８からある一定の奥行きに存在していると仮定し、カメラ座標系における視点位置情報としてＥ（ｃ）（ｘ，ｙ，ｚ，１）を出力する。ここで、視点が存在している奥行きｚの推定には、画像中に映っている顔の大きさ等の情報を利用できる。なお、Ｅ（ｃ）は同次座標である。

第２変換部１２は、第４情報保持部２２から読み出した撮影部位置情報を用いて、視点位置算出部１１により算出されたカメラ座標系における操作者３１の視点位置Ｅ（ｃ）から、ワールド座標系４１における操作者３１の視点位置を算出する。

撮影部位置情報は、撮影部８のカメラ座標系からワールド座標系４１に対する座標変換を示す。この変換は、４行４列の同次変換行列Ｍ（ｃ）で表現できる。この行列Ｍ（ｃ）は、予め撮影部８の位置を計測することで求めてもよいし、撮影部８に測位を行う位置センサ等を付加し、撮影部８の位置を計測してもよい。撮影部８の位置及び姿勢から行列Ｍ（ｃ）を求める処理は、コンピュータビジョンや空間位置の測位の分野で公知の手法を用いることができる。

第２変換部１２は、この行列Ｍ（ｃ）を用いて、カメラ座標系における視点位置Ｅ（ｃ）から、ワールド座標系４１における視点位置Ｅ（ｗ）を求める変換処理を行う。 この変換処理は、以下の式（２）で表現される。

Ｅ（ｗ）＝Ｍ（ｃ）Ｅ（ｃ） …（２）

なお、Ｅ（ｗ）は同次座標である。第２変換部１２は、Ｅ（ｗ）を出力する。

なお、本発明の第１の実施の形態では、操作者３１の視点位置の取得に単一の撮影部（カメラ）８を用いたが、２つの撮影部（カメラ）を用いたステレオ撮影により奥行きを求めてもよい。また、位置センサ等を用いることも可能である。

半直線情報生成部１４は、第２変換部１２により座標変換されたワールド座標系４１における操作者３１の視点位置Ｅ（ｗ）を始点とし、第１変換部１３により座標変換されたワールド座標系４１におけるタッチ位置Ｐ（ｗ）へ向かう半直線の情報を生成する。具体的には、半直線の視点であるＥ（ｗ）と、方向ベクトルであるＰ（ｗ）−Ｅ（ｗ）の単位ベクトルを生成する。

第２情報保持部２３は、図７に示すように、表示部位置情報７１を格納する。表示部位置情報７１は、第１の表示部７についての情報７２、第２の表示部９についての情報７３等のワールド座標系４１における表示部の位置、姿勢及び形状等に関する情報を含む。各表示部の情報は、表示部ごとに１から順に割り振られたＩＤと、表示部の位置情報、及び、ワールド座標系４１で示された表示部上の座標を、表示部のスクリーン座標系に変換するための情報である４行４列の同次変換行列を有している。

ここで、表示部位置情報７１とは、ワールド座標系４１における表示部の角の点の位置を表示部の表側から見て、反時計回りに定義したものとする。反時計回りである理由は、本発明の第１の実施の形態では座標系に右手系を採用しているためであり、時計回りで定義してもプログラムの実装方法で対応することができる。

本発明の第１の実施の形態のように第１の表示部７や第２の表示部９等の矩形のディスプレイを用いる場合、ワールド座標系４１における４つの点によって定義される。また、ディスプレイが曲面状に湾曲している場合には、ディスプレイの表面の曲面を近似する平面の集合として定義される。

本発明の第１の実施の形態では、第１及び第２の表示部７，９を用いるため、第１の表示部７の矩形を構成するワールド座標系４１における４点Ｄ１，Ｄ２，Ｄ３，Ｄ４と、第２の表示部９の矩形を構成するワールド座標系４１における４点Ｍ１，Ｍ２，Ｍ３，Ｍ４が格納されている。なお、表示部がワールド座標系４１に対して位置が変化する場合には、この値は、随時更新されるものとする。第２情報保持部２３は、表示部のＩＤを指定された場合に、そのＩＤに対応する表示部の情報を出力する。

第１判定部１５は、第２情報保持部２３から順次表示部の情報を読み出し、半直線情報生成部１４により生成された半直線が、読み出した表示部と空間的に交差するか否かを判定する。半直線が複数の表示部と交差する場合には、視点に最も近い位置で交差した表示部の情報を出力する。

ここで、第１判定部１５の処理を図８のフローチャートを参照しながら説明する。

（イ）ステップＳ１０１において、初期化処理として、表示部ＩＤを示す変数ｉに１を代入する。視点位置Ｅと最も近い表示部との交差位置の距離を示す変数ｄｓに∞（無限大の値）を代入する。半直線が交差する最も近い表示部を示す変数Ｉｓに無効な値として０を代入する。ステップＳ１０２において、第２情報保持部２３から、ＩＤ＝ｉの表示部の情報を読み出す。ステップＳ１０３において、表示部の多角形をお互いに重ならない三角形の集合に分割する。輪郭線で定義された多角形を三角形に分割する方法は、コンピュータグラフィックスの分野で公知の手法を用いることができる。例えば、グラフィックスライブラリであるＯｐｅｎＧＬのユーティリティライブラリであるＧＬＵのＧＬＵＴｅｓｓとう関数が利用できる。例えば、図９に示すように、第１の表示部７の表面の矩形Ｄ１，Ｄ２，Ｄ３，Ｄ４は、三角形Ｄ１，Ｄ２，Ｄ３と三角形Ｄ１，Ｄ３，Ｄ４とに分割でき、第２の表示部９の矩形Ｍ１，Ｍ２，Ｍ３，Ｍ４は、三角形Ｍ１，Ｍ２，Ｍ３と三角形Ｍ１，Ｍ３，Ｍ４とに分割できる。

（ロ）ステップＳ１０４において、面が分割されたすべての三角形について、その三角形が存在する平面と、半直線との交差する点を求め、その点が、三角形の内部に存在するか否かを判定する。三角形と半直線の交差判定処理は、コンピュータグラフィックスの分野で公知の手法を用いることができる。面が分割されたいずれかの三角形の内部に、交差する点が存在していれば、面と半直線は交差することになる。これらの処理は、いずれも、コンピュータグラフィックスにおける光線追跡法等で公知の手法である。ステップＳ１０５において、半直線がいずれかの三角形と交差していれば、ステップＳ１０６に遷移し、半直線がいずれの三角形とも交差していなければステップＳ１１１に遷移する。

（ハ）ステップＳ１０６において、視点位置Ｅから、交差位置Ｓまでの距離を求め、変数ｄに代入する。ステップＳ１０７において、変数ｄｓと変数ｄの値を比較する。変数ｄｓの値が変数ｄの値よりも大きければステップＳ１０８に遷移し、変数ｄｓの値が変数ｄの値以下であれば、ステップＳ１０９に遷移する。ステップＳ１０８において、変数ｄｓに変数ｄの値を代入し、変数Ｉｓにｉを代入する。

（ニ）ステップＳ１０９において、第２情報保持部２３に登録されているすべての表示部について調査したか判定する。すべての表示部について調査したと判定された場合にはステップＳ１１０へ遷移し、調査していない表示部があると判定された場合には、ステップＳ１１１に遷移する。ステップＳ１１１において、変数ｉの値を１増やした後、ステップＳ１０２に遷移する。

（ホ）ステップＳ１１０において、変数Ｉｓが０以外の有効な値であるかを判定する。変数Ｉｓが０以外の有効な値であると判定された場合にはステップＳ１１２へ遷移し、変数Ｉｓが０と判定された場合にはステップＳ１１３へ遷移する。

（ヘ）ステップＳ１１２において、半直線の情報Ｅ，Ｖと、交差位置Ｓを表示部のスクリーン座標系９１に変換した値を出力する。例えば、図９に示すように、第２の表示部９と点Ｓにおいて交差した場合には、点Ｓの座標を第２の表示部９のスクリーン座標系９１に変換して出力する。スクリーン座標系９１とは、表示部の解像度で示される２次元の座標値への変換であり、例えば、水平１９２０ピクセル、垂直１０８０ピクセルのディスプレイの場合には、図１０のＳ１＝（０，０），Ｓ２＝（０，１０７９），Ｓ３＝（１９１９，１０７９），Ｓ４＝（１９１９，０）となる。そして処理を終了する。ここで、ワールド座標系の交差位置Ｓ（ｗ）を表示部９のスクリーン座標系９１上の座標Ｓ（ｓ）へ変換するための処理は、以下の式（３）で表現される。ここで、Ｍ（ｄ２）は、第２の表示部９についての情報７３に格納されている、ワールド座標系で示された表示部９上の座標を、表示部９のスクリーン座標系に変換するための４行４列の同次座標行列である。

Ｓ（ｓ）＝Ｍ（ｄ２）Ｓ（ｗ） …（３）

なお、Ｓ（ｓ）は同次座標である。一方、ステップＳ１１３において、半直線と交差する表示部がないという情報を出力し、処理を終了する。

第３情報保持部２４は、図１１に示すように、表示物体位置情報１０１を格納する。表示物体位置情報１０１は、第１の表示部７についての情報１０２、第２の表示部９についての情報１０３等の複数の表示物体の位置情報を含む。

例えば、第２の表示部９がウィンドウシステムを表示するディスプレイであり、図１０に示すように重なり合った矩形のウインドウ１１２，１１３が表示されているとする。この場合、第２の表示部９についての情報１０３には、ウィンドウ１１２を示す情報１０４と、ウィンドウ１１３を示す情報１０５が格納される。例えば、ウィンドウ１１２を示す情報１０４は、表示物体を示すＩＤと、ウィンドウ１１２である矩形のｘ座標及びｙ座標が最小である点ＷＡ１、最大である点ＷＡ２の２点を位置情報として含む。表示物体のＩＤは、ウィンドウが手前にあるものから順に振られている。すなわち、ウィンドウ１１３よりウィンドウ１１２のほうが手前にあるため、ウィンドウ１１２を示す情報１０４のＩＤのほうが、ウィンドウ１１３を示す情報１０５のＩＤよりも小さい値となる。第３情報保持部２４の情報は、表示物体の位置の移動や、表示物体の生成及び消滅に応じて、随時更新される。第３情報保持部２４は、表示部のＩＤと表示物体のＩＤを指定された場合に、それらのＩＤに対応する表示物体の情報を出力する。

第２判定部１６は、第３情報保持部２４から表示物体位置情報を順次読み出し、第１判定部１５から出力された半直線が交差する表示部に表示されている表示物体の領域内部に、交差位置Ｓが含まれるか否かを判定する。

ここで、第２判定部１６の処理を図１２のフローチャートを参照しながら説明する。

（イ）まず、ステップＳ２０１で、半直線が交差している表示部を示す変数ｉが０以外の値であるかを判定する。変数ｉが０以外の値である場合には、ステップＳ２０２へ遷移し、変数ｉが０であれば場合には、ステップＳ２０８へ遷移する。

（ロ）ステップＳ２０２において、初期化処理として、表示物体を示す変数ｊに１を代入する。ステップＳ２０３において、第３情報保持部２４から、ＩＤ＝ｉの表示部の、ＩＤ＝ｊの表示物体の情報を読み出す。ステップＳ２０４において、読み出された表示物体の領域内に、交差位置Ｓが含まれるかを判定する。交差位置Ｓが含まれている場合には、ステップＳ２０７へ遷移し、交差位置Ｓが含まれていない場合には、ステップＳ２０５へ遷移する。例えば、図１０では、対角点ＷＡ１とＷＡ２で示されるウィンドウ１１２の内部に交差位置Ｓが含まれていると判定される。

（ハ）ステップＳ２０５において、第３情報保持部２４に登録されているすべての表示物体について調査したか判定する。すべての表示物体について調査したと判定された場合には、ステップＳ２０８へ遷移し、調査していない表示物体があると判定された場合には、ステップＳ２０６に遷移する。ステップＳ２０６において、変数ｊの値を１増やし、ステップＳ２０３に遷移する。

（ニ）ステップＳ２０７において、ポインティングしている情報として、表示部のＩＤである変数ｉの値と、表示物体のＩＤである変数ｊの値、交差位置Ｓの座標値をまとめて指示判定結果として出力して、処理を終了する。一方、ステップＳ２０８において、ポインティングしている物体はないという情報を指示判定結果として出力し、処理を終了する。

以上の処理により、操作者３１がタッチ位置検出部６から離れて設置されている複数の表示部７，９について、それらに表示されている表示物体をタッチ操作で指し示したことを判定し、その物体の情報を出力する一連の処理が完了する。

次に、本発明の実施の形態に係る情報処理装置を用いた情報処理方法の一例を、図１３のフローチャートを参照しながら説明する。

（イ）ステップＳ１において、第１及び第２の表示部７，９が、操作者３１がタッチ位置検出部６を介して視認可能な表示物体を表示する。撮影部８が、操作者３１の顔画像を撮影する。ステップＳ２において、視点位置算出部１１が、撮影部８により撮影された操作者３１の顔画像から操作者３１の視点位置を算出する。ステップＳ３において第２変換部１２が、操作者の視点位置と、顔画像を撮像した撮影部の空間中の位置を示す情報から、ワールド座標系における視点位置を算出する。

（ロ）ステップＳ４において、タッチ位置検出部６が、操作者３１のタッチ位置を検出する。ステップＳ５において、第１変換部１３が、タッチ位置検出部６により検出されたタッチ位置から、ワールド座標系におけるタッチ位置を算出する。

（ハ）ステップＳ６において、半直線情報生成部１４が、操作者３１のワールド座標系における視点位置と、ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成する。

（ニ）ステップＳ７において、第１判定部１５が、第２情報保持部２３から第１及び第２の表示部７，９のワールド座標系における位置情報を読み出して、半直線情報生成部１４により生成された半直線が第１及び第２の表示部７，９と交差するかそれぞれ判定する。

（ホ）ステップＳ８において、第２判定部１６が、第３情報保持部２４から半直線が交差すると判定された表示部に表示される表示物体の情報を読み出して、表示物体と半直線とが交差するか判定する。交差すると判定された表示物体の情報は、第５情報保持部２５に格納される。

このように、本発明の第１の実施の形態によれば、操作者３１の視点が移動して、運動視差が生じても、その視差を補正し、操作者３１がタッチ位置検出部６から離れて設置されている第２の表示部９上の表示物体をタッチ操作で指し示したことを判定することが可能となる。これにより、操作者３１は手元のタッチ位置検出部６を操作することで、遠隔に設置された第２の表示部９上の表示物体を正確にポインティング操作することが可能となる。

なお、本発明の第１の実施の形態では、第１及び第２の表示部７，９を説明したが、表示部の配置位置、数は特に限定されない。また、本発明の第１の実施の形態では、第１の表示部７は、タッチ位置検出部に密着しており、第２の表示部９が遠方に設置されていたが、例えば、複数の表示部が遠隔に存在する形態も可能である。

＜第１の変形例＞
本発明の第１の実施の形態では、視点位置算出部１１及び第２変換部１２を用いて視点位置を取得する場合を示したが、視点位置が固定されていると仮定できる場合を説明する。第１の変形例に係る情報処理装置は、図１４に示すように、操作者の視点位置の情報を予め格納する視点位置情報保持部２６を更に備え、操作者の視点位置情報が半直線情報生成部１４に直接入力される。この場合、図１に示した視点位置算出部１１及び第２変換部１２を省略することができる。

＜第２の変形例＞
本発明の第１の実施の形態では、操作者がタッチ操作を行った場合の表示物体の指示判定結果が求まる。第２の変形例では、表示物体の指示判定結果が得られたのち、操作者がドラッグ操作を行った場合の、表示物体の表示位置の移動処理について説明する。ドラッグ操作とは、操作者が、タッチ位置検出部（タッチパネル）６をタッチした後、パネル面から指を離さずに指の位置を動かす操作を行い、その後、指をパネル面から離す操作を行うことである。なお、操作者が、タッチした指の位置を固定したまま、顔の位置を動かした場合でも、操作者が指示している表示部上の位置は移動することになる。この場合でも、同様の処理を用いることができる。

ドラッグ操作の例を、図１５を用いて説明する。第１の表示部７に表示されている表示物体１４１を、操作者が指１４０でタッチする。ここで、操作者がドラッグ操作のために移動すると指し示した表示物体１４１を、特に「移動表示物体」と呼ぶ。その後、操作者が指１４０を動かすと、移動表示物体１４１とは別に、ドラッグ操作を行っていることを示すためのドラッグ時用表示物体１４２を、指１４０の移動に応じて表示する。ここで、ドラッグ時用表示物体１４２は、移動表示物体１４１と同様の形状で表示してもよいし、背景の隠蔽を防ぐために、半透明で表示したり、輪郭形状を線画で表示してもよい。その後、第２の表示部９上で操作者が指１４０を離すと、ドラッグ時用表示物体１４２は非表示となり、移動表示物体１４１の位置が移動する。

なお、ドラッグ時用表示物体１４２を用いずに、ドラッグ操作に応じて、表示物体１４１を、第１の表示部７又は第２の表示部９に直接移動して表示する方法も可能である。

次に、操作者がドラッグ操作のうちパネル面から指を離さずに指の位置を動かしている際に行う場合の処理を、図１６のフローチャートを参照しながら説明する。

（イ）ステップＳ３０１の前に、操作者がタッチ操作を行うと、図１に示した情報処理装置で表示物体の指示判定結果が出たのち、第３情報保持部２４に、指示操作を行った移動表示物体１４１の情報を複製して、ドラッグ時用表示物体１４２の情報を登録する。ステップＳ３０１において、図８で示した第１判定部１５の処理を用いて、現在のタッチ位置に対応する表示部を求める。

（ロ）ステップＳ３０２において、第２判定部１６が、現在のタッチ位置がある表示部上に存在するか否か判定する。ある表示部上にタッチ位置が存在する場合には、ステップＳ３０３に遷移する。タッチ位置に対応する表示部がない場合、すなわち操作者が表示部以外を指示している場合は、ステップＳ３０４に遷移する。

（ハ）ステップＳ３０３において、現在のタッチ位置に対応する、表示部上のタッチ位置を引数として、第３情報保持部２４内のドラッグ時用表示物体の位置情報を更新し、処理を終了する。

（ニ）ステップＳ３０４において、表示物体を表示すべき表示部が無いため、第２判定部１６が、第３情報保持部２４内のドラッグ時用表示物体の情報を非表示設定とし、終了する。

次に、操作者がパネル面から指を離して、ドラッグ操作を終了した場合の処理を、図１７のフローチャートを参照しながら説明する。

（イ）ステップＳ４０１において、図８で示した第１判定部１５の処理を用いて、指を離した位置、すなわち直前までタッチしていたタッチ位置に対応する表示部を求める。

（ロ）ステップＳ４０２において、第２判定部１６が、指を離したタッチ位置がある表示部上に存在するか否か判定する。ある表示部上にタッチ位置が存在する場合には、ステップＳ４０３に遷移する。タッチ位置に対応する表示部がない場合、すなわち操作者が表示部以外を指し示しながら指を離した場合は、ステップＳ４０４に遷移する。

（ハ）ステップＳ４０３において、指を離した位置に対応する、表示部上のタッチ位置を引数として、第３情報保持部２４内の移動表示物体の位置情報を更新し、ステップＳ４０５に遷移する。

（ニ）ステップＳ４０４において、表示物体を移動すべき表示部が無いため、第２判定部１６が、ドラッグ操作が無効であることを出力し、ステップＳ４０５に遷移する。

（ホ）ステップＳ４０５において、第３情報保持部２４内のドラッグ時用表示物体の情報を削除し、処理を終了する。

なお、第２の変形例では、ドラッグ操作により表示物体を移動する処理について説明したが、ドラッグ操作をした場合に表示物体を移動するか、それとも、もとの位置に表示したまま、移動先に複製して表示し、ドラッグ操作により複製を作成できるようにするかは、操作内容に応じて任意に定義可能である。例えば、第１の表示部７内でドラッグした場合には移動するとし、異なる表示部へ、例えば第１の表示部７から第２の表示部９にドラッグした場合には複製するとしてもよい。

（第２の実施の形態）
本発明の第２の実施の形態では、本発明の第１の実施の形態に加えて、表示部以外の実物体の位置情報を利用し、タッチパネルにより、その実物体をポインティングしたことの判定も行うことが可能な情報処理装置について示す。

本発明の第２の実施の形態では、図１８に示すように、第２の表示部９の代わりに実物体１８１が存在する点が、図３に示した構成及び位置関係と異なる。他は、図３の構成及び位置関係と実質的に同様であるので、重複した説明を省略する。

本発明の第２の実施の形態によれば、図１８のような位置関係において、操作者３１がタッチ位置検出部６上を指で触れた場合、その指のタッチ位置３２と、撮影部８で撮影した顔画像から検出した操作者３１の視点位置３４とを結ぶ半直線３５と、実物体１８１との交差位置１８２を求めることができる。これにより、操作者３１が実物体１８１を、指示操作（ポインティング）したことを、交差位置１８２と実物体１８１との位置関係により判定することができる。

本発明の第２の実施の形態に係る情報処理装置は、図１９に示すように、操作者がタッチ位置検出部６を介して視認可能な実物体のワールド座標系における情報を格納する実物体位置情報保持部２７と、半直線が実物体と交差するか判定する第３判定部（実物体指示判定部）１７を更に備える点が、図１に示した情報処理装置と異なる。

実物体位置情報保持部２７は、図２０に示すように、複数の実物体のワールド座標系における位置、姿勢及び形状に関する情報を実物体位置情報２１１として格納する。実物体位置情報２１１は、実物体１８１についての情報２１２を含む。実物体の形状情報は、図２１に示すように、実物体１８１の形状を近似して表現する凸包である多角形の集合２０１により表現される。実物体１８１についての情報２１２は、多角形の集合２０１を構成する頂点の座標と接続情報を含む。ワールド座標系に対して実物体１８１の位置や形状が変化する場合には、この情報は、随時更新されるものとする。実物体位置情報保持部２７は、実物体のＩＤを指定された場合に、そのＩＤに対応する実物体の情報を出力する。

第３判定部１７は、実物体位置情報保持部２７から順次実物体の情報を読み出し、半直線情報生成部１４から出力された半直線が、読み出した実物体と空間的に交差するか否かを判定する。複数の実物体と交差する場合には、視点に最も近い位置で交差した実物体を求める。

ここで、第３判定部１７の処理を図２２のフローチャートを参照しながら説明する。

（イ）ステップＳ５０１において、初期化処理として、実物体ＩＤを示す変数ｋに１を代入する。半直線が交差する最も近い表示部を示す変数ｋｓに無効な値として０を代入する。視点位置Ｅと最も近い表示部との交差位置の距離を示す変数ｄｓは、第１判定部１５から出力された値を用いる。

（ロ）ステップＳ５０２において、実物体位置情報保持部２７から、ＩＤ＝ｋの実物体の情報を読み出す。ステップＳ５０３において、実物体の多角形をお互いに重ならない三角形の集合に分割する。これは、ステップＳ１０３と同様の処理である。

次に、ステップＳ５０４において、すべての三角形について、その三角形が存在する平面と、半直線との交差する点を求め、その点が、三角形の内部に存在するか否かを判定する。これもステップＳ１０４と同様の処理である。

（ハ）ステップＳ５０５において、いずれかの三角形と半直線が交差していれば、ステップＳ５０６に遷移し、交差していなければステップＳ５１１に遷移する。ステップＳ５０６において、図２３に示すように、視点位置Ｅから、交差位置Ｓまでの距離を求め、変数ｄに代入する。次に、ステップＳ５０７において、変数ｄｓと変数ｄの値を比較し、変数ｄｓの値が変数ｄの値よりも大きい場合にはステップＳ５０８に遷移し、変数ｄｓの値が変数ｄの値以下である場合にはステップＳ５０９に遷移する。

（ニ）ステップＳ５０８において、変数ｄｓに変数ｄの値を代入し、変数ｋｓにｋを代入する。ステップＳ５０９において、実物体位置情報保持部２７に登録されているすべての実物体について調査した場合には、ステップＳ５１０へ遷移し、調査していない実物体がある場合にはステップＳ５１１に遷移する。ステップＳ５１１において、変数ｋの値を１増やす。

（ホ）ステップＳ５１０において、変数ｋｓが０以外の有効な値であるかを判定する。変数ｋｓが０以外の有効な値である場合にはステップＳ５１２へ遷移し、変数ｋｓが０である場合にはステップＳ５１３へ遷移する。

（ヘ）ステップＳ５１２において、半直線が交差した実物体のＩＤ＝ｋｓの情報を出力して、処理を終了する。

（ト）ステップＳ５１３において、変数ｉｓが０以外の有効な値であるかを判定する。変数ｉｓが０以外の有効な値である場合にはステップＳ５１４へ遷移し、変数ｉｓが０である場合にはステップＳ５１５へ遷移する。ステップＳ５１４において、半直線の情報Ｅ，Ｖと、交差位置Ｓを表示部のスクリーン座標系に変換した値を出力し処理を終了する。これは、ステップＳ１１２の処理と同様である。ステップＳ５１５において、半直線と交差する表示部も実物体もないという情報を出力し、処理を終了する。

また、第３判定部１７により半直線が交差すると判定された実物体と、第１判定部１５により半直線が交差すると判定された表示部とがある場合、第３判定部１７は、半直線が交差すると判定された表示部の交差位置が、半直線が交差すると判定された実物体の交差位置よりもワールド座標系における視点位置に近いか判定する。そして、半直線が交差すると判定された表示部の交差位置が、半直線が交差すると判定された実物体上の交差位置よりもワールド座標系における視点位置に遠いと判定された場合には、実物体のＩＤ＝ｋｓの情報を出力する。一方、半直線が交差すると判定された実物体上の交差位置が、半直線が交差すると判定された表示部の交差位置よりもワールド座標系における視点位置に近いと判定された場合には、第２判定部１６が、表示部に表示されている表示物体と、半直線とが交差するか判定する。

このように、本発明の第２の実施の形態によれば、操作者３１の視点が移動して、運動視差が生じても、その視差を補正し、操作者３１がタッチ位置検出部６から離れて設置されている第１の表示部７上の物体や、実物体１８１をタッチ操作で指し示したことを判定することが可能となる。これにより、操作者３１は手元のタッチ位置検出部６を操作することで、遠隔に設置された表示部上の表示物体や、実物体１８１を正確にポインティング操作することが可能となる。

なお、本発明の第２の実施の形態では、実物体及び表示部の配置位置、数は特に限定されない。また、本発明の第２の実施の形態では、第１の表示部７は、タッチ位置検出部６に密着しており、実物体１８１が遠方に設置されていたが、例えば、複数の表示部や実物体が遠隔に存在する形態も可能である。

＜第１の変形例＞
本発明の第２の実施の形態では、視点位置算出部１１及び第２変換部１２を用いて視点位置を取得する装置の例を示したが、第１の変形例として、視点位置が固定されていると仮定できる場合を説明する。第１の変形例に係る情報処理装置は、図２４に示すように、視点位置情報を予め格納する視点位置情報保持部２８を更に備え、視点位置情報が半直線情報生成部１４に直接入力される。この場合、図１９に示した視点位置算出部１１及び第２変換部１２は省略することができる。

＜第２の変形例＞
図１９に示した情報処理装置では、操作者がタッチ操作を行った場合の表示物体又は実物体の指示判定結果が求まる。第２の変形例では、図１９に示した情報処理装置で表示物体又は実物体の指示判定結果が得られたのち、操作者がドラッグ操作を行った場合の処理を説明する。なお、表示部から表示部へドラッグした場合は本発明の第１の実施の形態で述べた処理で実現できるため、ここでは、表示部から実物体へ、あるいは、実物体から表示部へドラッグ操作を行った場合について説明する。

まず、図２５を用いて、第１の表示部７から実物体１８１へドラッグ操作した場合を説明する。第１の表示部７に表示されている表示物体２５１を、操作者が指２５０でタッチする。ここで、操作者がドラッグ操作のために移動すると指し示した表示物体２５１を、特に移動表示物体と呼ぶ。その後、操作者が指２５０を動かすと、表示物体２５１とは別に、ドラッグ操作を行っていることを示すためのドラッグ時用表示物体２５２を、指２５０の移動に応じて表示する。その後、実物体１８１上で操作者が指２５０を離すと、移動表示物体２５１と実物体１８１それぞれに対応した処理が実行される。この処理は実物体１８１の特性に応じて定義することが可能で、例えば実物体１８１がプリンタであれば、表示物体２５１の情報を予め定められた形式で印刷する等の処理が考えられる。

なお、ドラッグ時用表示物体２５２を用いずに、ドラッグ操作に応じて、表示物体２５１を直接第１の表示部７上を移動して表示する方法も可能である。

また、図２５に示した表示部から実物体へドラッグ操作する処理は、本発明の第１の実施の形態に係る第２の変形例のドラッグ操作処理において、操作者が指を離した際のタッチ位置を表示部だけではなく、図２２に示した実物体位置情報保持部２７の情報も判定する処理を加えればよい。ここで、表示物体を実物体上にドラッグした場合に、もともと表示されていた表示物体を削除するか、もとの位置に表示したままにするかは、操作内容に応じて任意に定義可能である。

次に、図２６を用いて、実物体１８１から第１の表示部７へドラッグ操作した場合を説明する。実物体１８１を、操作者が指２６０でタッチする。その後、操作者が指２６０を動かし、第１の表示部７上にタッチ位置がさしかかった場合には、第１の表示部７上に、実物体１８１をドラッグしていることを示すための、実物体１８１を画像化したドラッグ時用表示物体２６２を表示する。その後、第１の表示部７上で操作者が指２６０を離すと、実物体１８１に関する情報が表示物体２６１として表示される。この情報は実物体１８１の特性に応じて定義するこが可能で、例えば実物体１８１がある監視カメラ自体の場合には、表示物体２６１は、その監視カメラが撮影した映像とすることや、実物体１８１が操作者から見えるある建物であれば、表示物体２６１はその建物に関する情報とすること等が考えられる。

なお、ドラッグ時用表示物体２６２を用いずに、ドラッグ操作に応じて、表示物体２６１を、直接第１の表示部７上を移動して表示する方法も可能である。

また、図２６に示した実物体から表示部へドラッグ操作する処理は、本発明の第１の実施の形態に係るドラッグ操作処理において、操作者がドラッグ操作をした際に、表示部だけではなく、図２２に示した実物体位置情報保持部２７の情報も判定する処理と、実物体を画像化して移動表示物体として第３情報保持部２４に登録する処理を追加すればよい。

また、第２の変形例では、表示部と実物体の間でのドラッグ操作に対応する処理を説明したが、実物体を指し示したのち、実物体にドラッグした場合でも、同様の処理で実現可能である。

（その他の実施の形態）
上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、図２７に示すように、タッチ位置検出部６、第１の表示部７及び撮影部８に隣接してタッチ位置検出部６ｘ、第１の表示部７ｘ及び撮影部８ｘをそれぞれ設置しても良い。図２７のような位置関係において、複数の操作者３１，３１ｘがタッチ位置検出部６，６ｘ上を指でそれぞれ触れた場合、共通のワールド座標系を用いて、その指のタッチ位置（指示位置）３２，３２ｘと撮影部８，８ｘで撮影した顔画像から検出した操作者３１，３１ｘの視点位置３４，３４ｘとをそれぞれ結ぶ半直線３５，３５ｘと、第２の表示部９との交差位置３６，３６ｘをそれぞれ求めることができる。これにより、操作者３１，３１ｘが、第２の表示部９上に表示された表示物体３３，３３ｘを、それぞれ指示操作（ポインティング）したことを、交差位置３６，３６ｘと表示物体３３，３３ｘとの位置関係により判定することができる。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施の形態に係る情報処理装置は、次世代のパーソナルコンピュータや携帯型情報端末装置への搭載や、監視システムや管制システムへの搭載に利用可能である。

２…プロセッサ
３…主記憶装置
４…専用記憶装置
５…外部記憶装置
６，６ｘ…タッチ位置検出部
７，７ｘ…第１の表示部
８，８ｘ…撮影部
９…第２の表示部
１１…視点位置算出部
１２…第２変換部
１３…第１変換部
１４…半直線情報生成部
１５…第１判定部
１６…第２判定部
１７…第３判定部
２１…第１情報保持部
２２…第４情報保持部
２３…第２情報保持部
２４…第３情報保持部
２５…第５情報保持部
２６…視点位置情報保持部
２７…実物体位置情報保持部
２８…視点位置情報保持部

Claims (11)

1. 操作者のタッチ位置を検出するタッチ位置検出部のワールド座標系における位置情報を保持する第１情報保持部と、
   前記タッチ位置検出部の位置情報を用いて、前記タッチ位置からワールド座標系におけるタッチ位置を算出する第１変換部と、
   前記操作者のワールド座標系における視点位置と、前記ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成する半直線情報生成部と、
   前記タッチ位置検出部と離間して配置され、前記操作者が前記タッチ位置検出部を介して視認可能な表示物体を表示する表示部のワールド座標系における位置情報を保持する第２情報保持部と、
   前記表示部の位置情報を用いて、前記半直線が前記表示部と交差するか判定する第１判定部と、
   前記表示物体のスクリーン座標系における位置情報を保持する第３情報保持部と、
   前記表示物体の位置情報を用いて、前記半直線が交差すると判定された前記表示部に表示される前記表示物体と前記半直線とが交差するか判定する第２判定部
   とを備えることを特徴とする情報処理装置。
2. 前記操作者の顔画像を撮像する撮影部と、
   前記操作者の顔画像から前記操作者のカメラ座標系における視点位置を算出する視点位置算出部と、
   前記撮影部のワールド座標系の位置情報を保持する第４情報保持部と、
   前記撮影部の位置情報を用いて、前記カメラ座標系における視点位置から、前記ワールド座標系における視点位置を算出する第２変換部
   とを更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記ワールド座標系における視点位置が固定されていることを特徴とする請求項１に記載の情報処理装置。
4. 前記表示部が複数ある場合、前記第１判定部が、前記半直線が前記複数の表示部と交差するかそれぞれ判定することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記半直線と交差すると判定された表示部が複数ある場合、
   前記第１判定部が、前記交差位置が前記ワールド座標系における視点位置に最も近い表示部を抽出し、
   前記第２判定部が、前記半直線と前記抽出された表示部に表示される前記表示物体とが交差するか判定することを特徴とする請求項４に記載の情報処理装置。
6. 前記表示物体が複数ある場合、前記第２判定部が、前記半直線が前記複数の表示物体と交差するかそれぞれ判定することを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記操作者が前記タッチ位置検出部を介して視認可能な実物体のワールド座標系における位置情報を保持する実物体位置情報保持部と、
   前記実物体の位置情報を用いて、前記半直線が前記実物体と交差するか判定する第３判定部
   とを更に備えることを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記実物体が複数ある場合、前記第３判定部が、前記半直線が前記複数の実物体と交差するかそれぞれ判定することを特徴とする請求項７に記載の情報処理装置。
9. 前記半直線と交差すると判定された実物体が複数ある場合、
   前記第３判定部が、前記交差位置が前記ワールド座標系における視点位置に最も近い実物体を抽出することを特徴とする請求項８に記載の情報処理装置。
10. 前記半直線と交差すると判定された表示部と、前記半直線と交差すると判定された実物体とがある場合、
    前記第３判定部が、前記半直線が交差すると判定された表示部の交差位置が、前記半直線が交差すると判定された前記実物体の交差位置よりも前記ワールド座標系における視点位置に近いか判定し、
    前記半直線が交差すると判定された表示部の交差位置が、前記半直線が交差すると判定された前記実物体上の交差位置よりも前記ワールド座標系における視点位置に近いと判定された場合に、前記第２判定部が、前記表示部に表示されている前記表示物体と、前記半直線とが交差するか判定する
    ことを特徴とする請求項７に記載の情報処理装置。
11. タッチ位置検出部が、操作者のタッチ位置を検出するステップと、
    第１情報保持部に保持された前記タッチ位置検出部のワールド座標系における位置情報を用いて、前記タッチ位置から、ワールド座標系におけるタッチ位置を算出するステップと、
    前記操作者のワールド座標系における視点位置と、前記ワールド座標系におけるタッチ位置とを結ぶ半直線の情報を生成するステップと、
    第２情報保持部に保持された前記操作者が前記タッチ位置検出部を介して視認可能な表示物体を表示する表示部のワールド座標系における位置情報を用いて、前記半直線が前記表示部と交差するか判定するステップと、
    第３情報保持部に保持された前記表示物体のスクリーン座標系における位置情報を用いて、前記半直線が交差すると判定された前記表示部に表示される前記表示物体と前記半直線とが交差するか判定するステップ
    とを含むことを特徴とする情報処理方法。

Images