JP2009251702A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的なユーザーの動作によって簡単に各種制御を実現することのできる情報処理装置、情報処理方法及び情報処理プログラムを提供すること。
【解決手段】この情報入力装置Ｓは、所定の撮影領域（１ａ，２ａ）を撮影して撮影情報（１ｂ，２ｂ）を出力するカメラ（１，２）と、撮影領域（１ａ，２ａ）内におけるユーザーの指先Ｕ２の３次元座標情報を、カメラ（１，２）からの撮影情報（１ｂ，２ｂ）に基づき取得すると共に、３次元座標情報に基づいて制御指令を出力するコンピュータ８とを有している。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに係り、特に、撮影情報に基づき種々の制御指令を出力する情報処理装置等に関する。

従来より、パーソナルコンピュータ（以下、ＰＣという。）等においては、入力装置としてキーボードやマウスが用いられている。ユーザーがＰＣを使用する際に、文字入力や制御指令の入力、画像や映像の操作等をキーボードやマウスを用いて行っている。

具体的には、ＰＣから出力された映像は、液晶やＣＲＴ等のモニター（映像表示装置）に表示される。そのモニター上にはマウスの動作に対応するマウスポインタも表示され、ユーザーがマウスを操作するとその動作に対応してモニター上でのマウスポインタも動作するようになっている。また、ワープロソフトやメールソフト等を起動すると、文字入力画面がモニター上に表示され、ユーザーがキーボードを用いて所定の文字入力操作を行うと、その入力操作に対応する文字がモニター上の文字入力画面に表示されるようになっている。

このような、キーボードやマウスを用いた入力操作は、多数のキーに多くの操作や制御指令を対応させることができるので、多彩な指令入力等を可能としている。その一方で、その入力操作をスムーズに行うためには、キー配列を覚える必要があったりマウスによるクリック操作やドラッグ操作を習得する必要があるので、ある程度の習熟が必要とされる。また操作自体が直感的でなく面白みに欠けるという部分もある。

ユーザーによる入力操作を、より直感的に実現し、入力操作を容易とする提案として、例えば特許文献１に開示のものがある。これによれば、入力装置としてペンとタブレットとを用いることにより、キーボード操作やマウス操作よりも直感的でわかり易い入力操作が実現されている。また、ユーザーの動作そのものをセンサーやカメラ等を用いて検出し、直感的な入力操作を可能とした提案もされている（特許文献２，３を参照。）。

特開平１１−３４５０７１号公報 特開２００４−１８７０４３号公報 特開２００６−１５５２４４号公報

しかしながら、上記特許文献１に開示のものによれば、ペンやタブレットという入力装置を用いる必要があり、多少直感的になったとはいえユーザーがそれらの操作にある程度習熟する必要がある点においては、キーボードやマウスによる入力操作と大差はない。また、センサーによりユーザーの操作を検出するためには、ユーザーの身体の一部（例えば、腕や指。）にセンサーを取り付ける必要があり、準備が煩雑であったりユーザーが自由に動き回ることができない等制約が多い。

特許文献３においては、カメラを用いてユーザーのジェスチャーを撮影し、その動作に基づいて制御を行っているが、飽くまで２次元的な動作把握に留まり、入力指令のバリエーションに乏しい。多くの指令入力に対応させるには、２次元的に選別可能な多くのジェスチャーを準備する必要があり、ときには不自然な動作を必要とする等、ユーザーの直感的な入力操作とはいえない場合が生じる。

そのため、ユーザーの直感的な操作、すなわち自然な動作に基づきバリエーションに富む制御指令の入力が可能であり、マウス等の入力装置の使用法に習熟する必要なく、子供や身体の不自由な者にも簡単に入力操作を行うことができる入力装置が従来より求められていた。

本発明は、上記の事情に鑑みて為されたもので、ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的なユーザーの動作によって簡単に各種制御を実現することのできる情報処理装置、情報処理方法及び情報処理プログラムを提供することを例示的課題とする。

上記の課題を解決するために、本発明の例示的側面としての情報処理装置は、所定の撮影領域を撮影して撮影情報を出力する撮影手段と、撮影領域内における被検知体の３次元座標情報を、撮影手段からの撮影情報に基づき取得すると共に、３次元座標情報に基づいて制御指令を出力する制御手段とを有することを特徴とする。

被検知体（例えば、ユーザーの手。）の３次元座標情報に基づいて制御指令を出力するので、被検知体の２次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。また、被検知体の３次元的な位置に基づく制御が可能であるので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。ここで、ユーザーによる入力操作の結果として、制御手段への操作情報の入力が行われ、制御手段による制御指令の出力が行われるので、本願では「入力操作」と「操作情報の入力」と「制御指令の出力」とを略同義で用いることがある。

例えば、被写界深度の情報を利用することにより、被検知体の３次元座標情報を１つの撮影手段によって取得することが可能である。すなわち、撮影手段による撮影像から被検知体のＸＹ座標情報を取得し、被検知体のピント位置情報を用いてＺ座標情報を取得することができる。

撮影手段としては、ＣＣＤやＣＭＯＳ等の撮像素子を用いたビデオカメラ等を含んで概念される。可視光像を撮影可能なものに限らず、赤外線像、超音波像、電波を用いた映像等の物体の輪郭形状を把握可能なあらゆる撮影手段が含まれる。また、撮影手段と制御手段との情報入出力には、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を用いたもの、ＲＧＢコンポジット入出力、パラレルバス入出力、シリアルバス入出力、ＩＥＥＥ１３９４（いわゆるＦｉｒｅ Ｗｉｒｅ。）入出力、無線（赤外線ワイヤレス、Ｂｌｏｅｔｏｏｔｈ等）入出力等のあらゆる入出力形態を適用することができる。

その撮影手段が、１の領域を撮影する第１の撮影手段と、第１の領域と少なくとも部分的に重複する第２の領域を第１の撮影手段とは異なる方向から撮影する第２の撮影手段と、を有して構成され、制御手段が、第１の領域と第２の領域とが重複する重複領域内における被検知体の３次元座標情報を、第１の撮影手段からの撮影情報と第２の撮影手段からの撮影情報とに基づき取得すると共に、３次元座標情報に基づいて制御指令を出力してもよい。

複数の撮影手段によって互いに異なる方向から重複領域を撮影するので、その重複領域における被検知体（例えば、ユーザーの手。）の位置（座標情報）を容易に３次元的に把握することができる。

被検知体の位置を複数の撮影手段により把握して、その位置に応じた制御を行うので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。

制御手段が、重複領域内における物体の移動情報又は輪郭情報のうち少なくともいずれか一方に基づき、物体を被検知体であると判断してもよい。

背景に対して比較的動きが大きい、あるいは輪郭の際立った物体を被検知体であると判断するので、被検知体の誤認識を低減することができる。例えば、仮想領域内に内包されるように他の物体（例えば、机や椅子等。）が存在しても、それらが静止している場合には被検知体と誤認識しないようにすることができる。また、同様の色合いの背景中に色合いが異なり際立った輪郭を有する物体（例えば、黒い背景の中にある人の手。）を被検知体と認識することができる。

ここで、移動情報に基づく判断とは、撮影情報に基づいて重複領域内の物体の移動の有無、移動速度、移動方向等を検知し、その結果に応じて物体が被検知体であるか否かを判断することをいう。また、輪郭情報は、典型的に、色相情報、明度情報（輝度情報）、彩度情報を含み、これらの情報に基づき、背景又は背景同視し得る物体と被検知体との区別を行うことをいう。

制御手段が、少なくとも１つの仮想的な境界平面を有する仮想領域を撮影領域内に設定し、仮想領域内に境界平面を介して侵入状態にある物体を被検知体であると判断してもよい。

仮想領域内に境界平面を介して侵入した物体を被検知体であると判断するので、被検知体の誤認識を低減することができる。例えば、仮想領域内に内包されるように他の物体（例えば、机や椅子等。）が存在しても、それらの他の物体を被検知体であるとは認識せず、仮想領域外に立っているユーザーが腕を前方に伸ばすことにより、境界平面を介してその手が仮想領域内に侵入した場合に、その手を被検知体であると判断することができる。

ユーザーに起因する物体（ユーザーの身体の一部、ユーザーが手に持つ指示棒やペン等。）を正確に被検知体であると判断し、ユーザーに起因しない他の物体を被検知体でないと正確に判断することができるので、ユーザーによる入力操作を的確に把握することができ、入力操作の誤認識を低減することができる。

制御手段が、被検知体の３次元座標情報のうち、境界平面から最遠である３次元座標情報に基づいて制御指令を出力してもよい。

ユーザーの手が境界平面を介して仮想領域内に侵入した場合に、例えばユーザーが指した人差し指の先端位置に基づいて制御指令を出力することができる。また、ユーザーが手にペン等を持って入力操作を行う場合に、そのペンの先端部分の位置に基づいて制御指令を出力することができる。

制御手段が、撮影領域内における被検知体のジェスチャーに基づいて制御指令を出力してもよい。

撮影領域内における被検知体のジェスチャー（動作）に基づいて制御指令を出力するので、多彩な制御を実現することができる上に、ユーザーの直感的で自然な動作を入力操作とすることができる。例えば、重複領域内でユーザーが前に伸ばした腕を左から右に動かす動作を行えば、その腕の動きに応じてマウスポインタが左から右に動いたり、左から右に直線が描かれたりするといった制御を実現することができる。また、例えば、重複領域内でユーザーがあたかもノックするような仕草で、指を前後に１回振ればその動作をクリック操作の入力とし、２回前後に振ればその動作をダブルクリック操作の入力とすることもできる。指を前に突き出したまま上下左右に動かせば、その動作をドラッグ操作の入力とすることもできる。

制御手段が、撮影領域内においてジェスチャーが実質的に一致する複数の３次元座標情報を１つの被検知体のものであると判断し、撮影領域内においてジェスチャーが実質的に一致しない複数の３次元座標情報を複数の異なる被検知体のものであると判断してもよい。

このように構成することで、撮影領域内に被検知体がいくつ存在するかを把握することができる。したがって、複数の被検知体により実質的に同時的に行われる複数の異なる入力操作を的確に把握して受け付けることができる。例えば、被検知体が１つであると判断した場合には、その１つの被検知体による１つのジェスチャーに基づいて制御指令を出力する。一方、例えば、被検知体が２つであると判断した場合には、その各々２つの被検知体による各々２つのジェスチャーに基づいて各々２つの制御指令を出力する。

情報処理装置が、所定の映像表示面に映像表示を行う映像表示手段を更に有し、制御手段が、３次元座標情報に基づいて映像表示を制御する制御指令を出力してもよい。

映像表示手段としては、例えばＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ等のディスプレイ装置の他、壁面やスクリーン等に映像を投影するプロジェクターも含む。これらによる映像表示を被検知体の３次元座標情報に基づいて制御するので、例えばユーザーの身体の一部等である被検知体の動きと映像表示等を融合させて、直感的な動作（入力操作）に基づく面白みのある映像表現等を実現することができる。

その入力操作が、２次元的でなく３次元的に把握されるので、より一層面白みのある映像表示制御を行うことができる。例えば、流れる滝の映像に対して、ユーザーが一歩前に踏み出して手をかざせば流れる水がユーザーの手を避けるように映像表現し、一歩後退すれば手をかざしても水がユーザーの手を避けないように映像表現することができる。プロジェクターで映像投影するスクリーンの手前に重複領域を設定することにより、ユーザーがスクリーンの手前に立ってスクリーンを見ながら動作することにより、映像表示制御することができる。また、液晶ディスプレイの下方に重複領域を設定し、その重複領域内に現実には存在しないキーボードを仮想的に設定することにより、液晶ディスプレイ下方の何もない空間でユーザーがキー入力動作を行うことにより、現実のキーボードによるキー入力操作と同様の入力結果を得ることができる。

本発明の他の例示的側面としての情報処理方法は、第１の領域を撮影する第１の撮影手段からの撮影情報と第１の領域と少なくとも部分的に重複する第２の領域を第１の撮影手段とは異なる方向から撮影する第２の撮影手段からの撮影情報とに基づき、第１の領域と第２の領域とが重複する重複領域内における被検知体の３次元座標情報を取得するステップと、３次元座標情報に基づいて制御指令を出力するステップとを有することを特徴とする。

複数の撮影手段によって互いに異なる方向から重複領域を撮影するので、その重複領域における被検知体（例えば、ユーザーの手。）の位置（座標情報）を３次元的に把握することができる。そして、被検知体の３次元座標情報に基づいて制御指令を出力するので、被検知体の２次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。

被検知体の位置を複数の撮影手段により把握して、その位置に応じた制御を行うので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。

本発明の更に他の例示的側面としての情報処理プログラムは、コンピュータを、所定の撮影領域を撮影する撮影手段からの撮影情報に基づき、撮影領域内における被検知体の３次元座標情報を取得する情報取得手段、及び、３次元座標情報に基づいて制御指令を出力する制御指令出力手段、として機能させることを特徴とする。

被検知体（例えば、ユーザーの手。）の３次元座標情報に基づいて制御指令を出力するので、被検知体の２次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。また、被検知体の３次元的な位置に基づく制御が可能であるので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。

本発明の更なる目的又はその他の特徴は、以下添付図面を参照して説明される好ましい実施の形態によって明らかにされるであろう。

本発明によれば、ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的な操作、すなわち自然な動作に基づきバリエーションに富む制御指令の入力が可能となる。マウス等の入力装置の使用法に習熟する必要なく、子供や身体の不自由な者にも簡単に直感的、斬新かつ面白みのある入力操作を行うことができる。

［実施の形態１］
以下、本発明の実施の形態１に係る情報入力システム（情報処理装置）Ｓについて、図面を用いて説明する。図１は、この情報入力システムＳの全体構成の概略を示す概略構成図である。情報入力システムＳは、第１カメラ（第１の撮影手段）１、第２カメラ（第２の撮影手段）２、プロジェクター（映像表示手段）６、コンピュータ（制御手段）８を有して大略構成されている。

第１カメラ１は、第１領域（第１の撮影領域）１ａを撮影するためのカメラであって、例えばＣＣＤやＣＭＯＳ等の撮像素子を用いたビデオカメラ等が利用される。第１領域１ａは、図１において模式的に破線Ｌ１で表された撮影視野内の領域を意味する。本実施の形態１においては、第１カメラ１は、スクリーン１０の手前上方位置に配置され、下方を臨むように第１領域１ａが設定される。したがって、その第１領域１ａは、スクリーン１０の手前に設定されている。なお、図１において、スクリーン１０から見てその手前方向を後方（−Ｚ方向）、その逆方向を前方（Ｚ方向）とする。また、ユーザーＵからスクリーン１０を見た場合の左方向をＸ方向、上方向をＹ方向とし、各々その逆方向を右方向（−Ｘ方向）、下方向（−Ｙ方向）とする。

第２カメラ２も第１カメラと同様に、ＣＣＤやＣＭＯＳ等の撮像素子を用いたビデオカメラ等が利用され、模式的に破線Ｌ２で表される撮影視野内の領域としての第２領域（第２の撮影領域）２ａを撮影している。第２領域２ａも第１領域１ａと同様に、スクリーン１０の手前に設定されており、スクリーン１０の手前右方位置に配置された第２カメラ２が、この第２領域２ａを左方向（−Ｘ方向）に臨むように撮影している。このように、第１カメラ１と第２カメラ２とは、互いに異なる方向から各領域１ａ，２ａを撮影している。

第１カメラ１は、第１領域１ａの撮影情報１ｂをコンピュータ８へと入力し、第２カメラ２は、第２領域２ａの撮影情報２ｂをコンピュータ８へと入力するように構成されている。そして、第１領域１ａと第２領域２ａとは少なくとも部分的に重複しており、その重複領域内には後述するコンピュータ８により仮想領域Ｗが設定される。したがって、重複領域内の映像は、それぞれ異なる角度から撮影されて第１カメラ１及び第２カメラ２の両方からコンピュータ８へと入力されるようになっている。

プロジェクター６は、スクリーン（所定の映像表示面）１０に映像表示を行うためのものである。プロジェクター６は、コンピュータ８に接続され、コンピュータ８からの映像信号３に基づく表示映像をスクリーン１０上に投影することができるようになっている。例えば、図２（ａ）に示すように、ＯＳ（オペレーティングシステム）のデスクトップ上に配置された各種アプリケーションプログラムの実行アイコン１２やフォルダ１４が表示されたり、図２（ｂ）に示すように、起動中のグラフィックソフトの描画面１６が表示されたりするようになっている。

コンピュータ８は、第１カメラ１、第２カメラ２、プロジェクター６と接続された制御手段である。以下、このコンピュータ８の概略構成及びその詳細機能について説明する。

図３にその内部構成の概略を示すように、コンピュータ８は、内部に記憶装置４とＣＰＵ（演算処理装置）５とを有して大略構成される。記憶装置４は、メモリ又はハードディスク等により構成されて情報を格納、保存するための装置であって、本実施の形態１においては、記憶装置４内部に情報処理プログラムＰ、ジェスチャーデータベースＤ、仮想領域設定情報Ｖが格納されている。

情報処理プログラムＰは、コンピュータ８の主要部としてのＣＰＵ５を、情報取得手段５ａ、ジェスチャー判定手段５ｂ、制御指令出力手段５ｃ、制御指令処理手段５ｄとして機能させるためのプログラムソフトウェアである。ＣＰＵ５が発揮するこれらの各機能については詳細を後述する。

ジェスチャーデータベースＤは、被検知体Ｕ１のジェスチャー（動作）パターンとそのジェスチャーに対応する制御指令（コマンド）とが相互に関連付けられて構成されている。例えば、図４に示すように、被検知体Ｕ１の「短時間での前後往復１回動作」に対して、「マウスクリック」という制御指令が関連付けられ、「短時間での前後往復２回動作」に対して、「ダブルクリック」という制御指令が関連付けられている。被検知体Ｕ１の「前方移動後に後退せずにＸＹ平面内での移動動作」に対して「ＸＹ平面内でのドラッグ」という制御指令が関連付けられている。

もちろんその他にも、「スクロール」、「削除」、「拡大」、「縮小」、「回転」等の各種制御指令に対して、各々対応するジェスチャーが関連付けられていてもよい。その場合において、２つの被検知体による連係動作（例えば、２つの被検知体が相互に離れると「拡大」、相互に近づくと「縮小」等。）が各々の制御指令と関連付けられていてもよい。

仮想領域設定情報Ｖは、重複領域内に設定される仮想領域Ｗの３次元座標情報（位置情報、ＸＹＺ座標情報）を格納し、実空間上での仮想領域Ｗの位置を画定している。すなわち、第１カメラ１及び第２カメラ２の各撮影情報１ｂ，２ｂに基づき、図１に示す実空間上において仮想的に示す頂点ｔ１〜ｔ８の３次元座標情報を格納している。そして、これら各頂点ｔ１〜ｔ８によって囲まれる直方体領域が仮想領域Ｗとして設定される。その仮想領域Ｗにおいて、本実施の形態１では、頂点ｔ１〜ｔ４によって画定される最後方の平面が境界平面Ｗ１として設定され、頂点ｔ５〜ｔ８はすべてスクリーン１０上に設定されている。

もちろん、仮想領域Ｗの形状は直方体に限られず、球形、円柱形、三角錐形等の各種の形状を設定可能である。また、本実施の形態１においては、頂点ｔ５〜ｔ８をスクリーン１０上に設定しているが、スクリーン１０の手前（−Ｚ方向位置）にｔ５〜ｔ８を設定してもよい。

次に、ＣＰＵ５が発揮する各機能について説明する。

情報取得手段５ａは、第１カメラ１及び第２カメラ２から各々の撮影情報１ｂ，２ｂを取得する機能を有する。そして、その撮影情報１ｂ，２ｂに基づき、仮想領域Ｗ内における被検知体Ｕ１の３次元座標情報を取得する機能も有する。

すなわち、情報取得手段５ａは、第１カメラ１による第１領域１ａの撮影情報１ｂと第２カメラ２による第２領域２ａの撮影情報２ｂとを取得する。そして、その撮影情報１ｂ，２ｂを用いて画像認識処理を行うことにより、仮想領域Ｗ内に被検知体Ｕ１が存在するか否かを判定し、被検知体Ｕ１が存在する場合にその３次元座標情報を取得する。

その画像認識処理は、公知の画像認識処理技術を用いることができるが、例えば、以下のような手順で行うことができる。すなわち、撮影情報１ｂ，２ｂ中の輝度情報、明度情報、彩度情報等に基づき、重複領域内に存在する物体の輪郭抽出を行う。その物体が重複領域内に存在するか否かは、その物体に起因する形状情報が第１領域１ａ内と第２領域２ａ内との両方に存在するか否かに基づいて判断することができる。

そして、その物体が重複領域内に存在すると判断した場合に、その物体が境界平面Ｗ１を介して仮想領域Ｗ内に侵入しているか否かを判断し、境界平面Ｗ１を介して仮想領域Ｗ内に侵入している場合にその物体を被検知体Ｕ１であると判断する。画像認識処理によって輪郭形状が抽出された物体の少なくとも一部が頂点ｔ１〜ｔ４により設定される境界平面Ｗ１と交差し、かつその物体の少なくとも一部が頂点ｔ１〜ｔ８により設定される仮想領域Ｗ内に存在する場合に、その物体を被検知体Ｕ１であると判断する。本実施の形態１においては、被検知体Ｕ１は、ユーザーＵの手である。

情報取得手段５ａは、仮想領域Ｗ内にユーザーＵの手（被検知体）Ｕ１が存在すると判断すると、その手Ｕ１のうち境界平面Ｗ１から最遠にある部分（最遠部）Ｕ２を認識する。この最遠部Ｕ２の３次元座標情報は、仮想領域Ｗ内に存在する手Ｕ１の輪郭を構成する複数箇所の３次元座標情報のうち、Ｚ座標が最も大きい（すなわち、最もスクリーン１０に近い。）部分の３次元座標情報である。本実施の形態１においては、最遠部Ｕ２は、ユーザーＵの指先である。情報取得手段５ａは、この指先Ｕ２の３次元座標情報を常に把握し、その位置・動作方向・動作速度等を常に監視している。

本実施の形態１においては、この指先Ｕ２の位置はマウスポインタ７の位置に対応しており、指先Ｕ２の３次元座標情報に基づき、コンピュータ８は、プロジェクター６にマウスポインタ７の映像を表示させる。すなわち、指先Ｕ２の３次元座標情報のうちＸＹ座標の２次元座標情報に基づいて、スクリーン１０上の対応位置にマウスポインタ７が表示される。指先Ｕ２のＸＹ座標位置が変化すると、対応してマウスポインタ７の表示位置も変化するようになっている。

ジェスチャー判定手段５ｂは、ユーザーＵの指先Ｕ２の動作が予め定められたジェスチャーパターンに対応する動作であるか否かについて判定する機能を有する。具体的には、情報取得手段５ａから取得した指先Ｕ２の３次元座標情報に基づき、その指先Ｕ２の動作がジェスチャーデータベースＤ内に格納されたジェスチャーパターンと符合するか否かを判定する。

そして、指先Ｕ２の動作がジェスチャーデータベースＤ内のいずれかのジェスチャーパターンと符合する場合に、そのジェスチャーパターンに関連付けられた制御指令を制御指令出力手段５ｃから出力させる。例えば、指先Ｕ２の動作が「短時間での前後往復１回動作」であると判断した場合に、制御指令出力手段５ｃから「マウスクリック」という制御指令を出力させる。

一方、指先Ｕ２の動作がジェスチャーデータベースＤ内のいずれのジェスチャーパターンとも符合しない場合には、ジェスチャー判定手段５ｂは制御指令出力手段５ｃから映像表示を制御する制御指令を出力させる。この映像表示制御指令に基づいて、指先Ｕ２のＸＹ座標位置の変化に対応してマウスポインタ７の表示位置が変化するようになっている。

制御指令出力手段５ｃは、指先Ｕ２の３次元座標情報に基づいて制御指令を出力する機能を有する。具体的には、ジェスチャー判定手段５ｂによる判定結果に応じて、「マウスクリック」、「ダブルクリック」、「ドラッグ」といった制御指令や映像表示を制御する映像表示制御指令を出力する。

例えば、指先Ｕ２がスクリーン１０上の実行アイコン１２上に対応する位置にある場合において、ジェスチャー判定手段５ｂが「マウスクリック」を判定した場合、この制御指令出力手段５ｃが「マウスクリック」の制御指令を出力して制御指令処理手段５ｄにその実行アイコン１２に対応するアプリケーションプログラムの実行処理を行わせる。例えば、指先Ｕ２がスクリーン１０上のフォルダ１４上に対応する位置にある場合において、ジェスチャー判定手段５ｂが「ダブルクリック」を判定した場合、この制御指令出力手段５ｃが「ダブルクリック」の制御指令を出力して制御指令処理手段５ｄにそのフォルダ１４内に格納されたファイルの一覧表示処理を行わせる。

また、例えば、既にグラフィックソフトが起動中であってスクリーン１０上に描画面１６が表示されている場合において、仮想領域Ｗ内の左側から右側へと移動する指先Ｕ２の動作がいずれのジェスチャーパターンにも符合しないとジェスチャー判定手段５ｂによって判定された場合、この制御指令出力手段５ｃがマウスポインタ７をスクリーン１０上で左側から右側へと移動する映像表示制御指令を出力する。その映像表示制御指令に基づき、制御指令処理手段５ｄは描画面１６上に左側から右側への線の描画を実行する。

制御指令処理手段５ｄは、制御指令出力手段５ｃからの制御指令に基づき、コンピュータ８に所定の演算処理を実行させる。その制御指令が「マウスクリック」や「ダブルクリック」等のマウスボタン操作に相当する制御指令である場合には、その制御指令に対応する処理（例えば、アプリケーションの起動、フォルダの内容表示、アイコンやフォルダ等のオブジェクトの移動。）をコンピュータ８に実行させる。一方、その制御指令が映像表示制御指令である場合には、その映像表示制御指令に基づき映像信号３を調整し、プロジェクター６によりスクリーン１０上に映像表示させる。

次に、この情報入力システムＳにおける情報入力の手順について、図５のフローチャートを用いて説明する。

第１カメラ１が第１領域１ａを撮影し、その撮影情報１ｂをコンピュータ８へと出力する（Ｓ．１）。同時に、第２カメラ２が第２領域２ａを撮影し、その撮影情報２ｂをコンピュータ８へと出力する（Ｓ．２）。重複領域内に仮想領域Ｗを設定し、その頂点ｔ１〜ｔ８の３次元座標情報を仮想領域設定情報Ｖ内へと格納する（Ｓ．３）。

撮影情報１ｂ，２ｂに基づき、仮想領域Ｗ内に物体が存在するか否かを判断し（Ｓ．４）、物体が存在する場合に、その物体がユーザーＵの手Ｕ１であるか否かを判断する（Ｓ．５）。具体的には、物体が境界平面Ｗ１を介して仮想領域Ｗ内に侵入している場合に、その物体が手Ｕ１であると判断する。

コンピュータ８が手Ｕ１を把握すると、その指先Ｕ２の位置を認識する（Ｓ．６）。具体的には、仮想領域Ｗ内の手Ｕ１のうち、境界平面Ｗ１から最遠となる部分（すなわち、Ｚ座標が最大の点。）を指先Ｕ２であると認識し、その３次元座標情報を取得する。指先Ｕ２の３次元座標情報のうちのＸＹ座標情報に基づき、プロジェクター６によりその指先Ｕ２のＸＹ座標情報に対応するスクリーン１０上の位置にマウスポインタ７を表示する（Ｓ．７）。

コンピュータ８は、その指先Ｕ２の動作を３次元座標情報に基づいて把握する（Ｓ．８）。その指先Ｕ２の動作がジェスチャーデータベースＤ内のジェスチャーパターンと符合する場合（Ｓ．９）、コンピュータ８は、そのジェスチャーパターンに対応する制御指令を出力し（Ｓ．１０）、例えば、マウスクリックやダブルクリック等の動作を実行する。一方、指先Ｕ２の動作がジェスチャーデータベースＤ内のジェスチャーパターンと符合しない場合（Ｓ．９）、指先Ｕ２のＸＹ平面内での移動に対応してマウスポインタ７の移動表示を行う（Ｓ．１１）。そのマウスポインタ７の移動表示に基づいて、例えば、線の描画操作等が実現される。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらに限定されるものではなく、その要旨の範囲内で様々な変形や変更が可能である。

例えば、上記実施の形態１においては、仮想領域Ｗ内に１つの被検知体が存在する場合について説明したが、仮想領域Ｗ内に複数の被検知体が存在してもよい。その場合において、情報取得手段５ａにより、複数の被検知体の輪郭を構成する複数箇所からの多数の３次元座標情報が取得される。その多数の３次元座標情報が実質的に同じ動作に基づき移動している場合には、それらの多数の３次元座標情報は１つの被検知体によるものであると判断することができ、仮想領域Ｗ内に１つの被検知体が存在すると判断することができる。

一方、多数の３次元座標情報が実質的に異なる動作に基づき移動している場合、すなわち、それら多数の３次元座標情報のうちいくつかは実質的に左方向（−Ｘ方向）へと移動しているにも拘らず、他の３次元座標情報は実質的に右方向（Ｘ方向）へと移動している場合には、仮想領域Ｗ内に２つの被検知体（例えば、ユーザーＵの右手と左手。）が存在すると判断することができる。したがって、２つの被検知体の動作に基づき、２つの異なる制御指令を略同時的に出力するように構成することもできる。また、２つの被検知体の連係動作に基づき、例えば「拡大」、「縮小」、「回転」等の新たな制御指令を出力するように構成することもできる。

［実施の形態２］
図６は、本発明の実施の形態２に係る情報入力システムＳ’の全体構成の概略を示す概略構成図である。この実施の形態２においては、情報入力システムＳ’が第１カメラ２１、第２カメラ２２、液晶ディスプレイ２６、コンピュータ２８を有して大略構成されている。

第１カメラ２１及び第２カメラ２２は、例えばＣＭＯＳ等の撮像素子を用いてコンピュータ２８とＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続される、いわゆるＵＳＢカメラ又はＷｅｂカメラと呼ばれる簡易なカメラである。この情報入力システムＳ’においては、液晶ディスプレイ２６の左右両側に第１カメラ２１及び第２カメラ２２が配置されており、これらが、液晶ディスプレイ２６の手前下方に設定される仮想領域Ｗ’を含む重複領域を撮影している。

この仮想領域Ｗ’は、頂点ｔ２１〜ｔ２８によって囲まれるように形成され、上方に位置する頂点ｔ２１〜ｔ２４によって境界平面Ｗ１’が設定される。仮想領域Ｗ’内には複数の仮想キー領域Ｋが設定される。この仮想キー領域Ｋは、キーボードに対応するキー配列に基づき仮想的に設定されるもので、仮想領域Ｗと同様に、複数の仮想的な頂点（例えば、頂点ｋ１〜ｋ８）によって囲まれている。

そして、仮想キー領域Ｋには、それぞれキーボードのキーに対応するように異なる文字情報の入力制御指令が関連付けられており、所定の仮想キー領域Ｋ内にユーザーの指先Ｕ２が境界平面Ｗ１’を介して侵入すると、その仮想キー領域Ｋに対応する文字情報の入力が行われるようになっている。

この実施の形態２に係る構成によれば、キーボード等の入力装置を別途用意する必要なく、仮想的なキーボードを設定することができ、例えば液晶ディスプレイ２６手前の机上空間でユーザーがキー入力操作を行えば、そのキー入力操作に対応するキー入力が可能となる。別途の入力装置を必要としないので、システム全体としてのコスト低減や可搬性向上を実現することができ、操作スペースも省スペースとすることができる。

［変形例］
１つの撮影手段によって、被検知体の３次元座標情報を取得することも可能である。例えば、ＣＣＤカメラによって被検知体のＹＸ座標情報を得ると共に、被検知体の被写界深度情報に基づき被検知体のＺ座標情報を得ることもできる。

具体例としては、例えば、ＣＣＤカメラのピント位置を前後（±Ｚ方向）に移動させ、どの位置で被検知体に合焦するかを検出することにより、被検知体のＺ方向位置を把握することができる。また、別途準備されたオートフォーカス装置を用いて撮影領域内の被検知体までの距離を赤外線等を用いて計測することにより、被検知体のＺ方向位置を把握することもできる。

このようなＣＣＤカメラをコンピュータに接続する接続方式としては、上述したＵＳＢを用いる場合の他にも、ＩＥＥＥ１３９４（Ｆｉｒｅ Ｗｉｒｅ）接続方式、赤外線を用いた無線接続方式、ｂｌｕｅｔｏｏｔｈ等の電波を用いた無線接続方式等のあらゆる接続方式を適用することが可能である。

本発明の実施の形態１に係る情報入力システムの全体構成の概略を示す概略構成図である。 図１に示すスクリーン上に表示される表示映像の例であって、（ａ）は、ＯＳのデスクトップ上に配置された実行アイコンやフォルダの表示例であり、（ｂ）は、起動中のグラフィックソフトの描画面の表示例である。 図１に示すコンピュータの内部構成の概略を示す概略構成図である。 図３に示すコンピュータの記憶装置内に格納されたジェスチャーデータベースのデータ構成図である。 本発明の実施の形態１に係る情報入力システムにおける情報入力の手順を示すフローチャートである。 本発明の実施の形態２に係る情報入力システムの全体構成の概略を示す概略構成図である。

符号の説明

Ｄ：ジェスチャーデータベース
Ｋ：仮想キー領域
Ｌ１，Ｌ２：破線
Ｐ：情報処理プログラム
Ｓ，Ｓ’：情報入力システム（情報処理装置）
ｔ１〜ｔ８，ｔ２１〜ｔ２８，ｋ１〜ｋ８：頂点
Ｕ：ユーザー
Ｕ１：手（被検知体）
Ｕ２：指先（最遠部）
Ｖ：仮想領域設定情報
Ｗ，Ｗ’：仮想領域
Ｗ１，Ｗ１’：境界平面
１，２１：第１カメラ（第１の撮影手段）
１ａ：第１領域（第１の撮影領域）
１ｂ：撮影情報
２，２２：第２カメラ（第２の撮影手段）
２ａ：第２領域（第２の撮影領域）
２ｂ：撮影情報
３：映像信号
４：記憶装置
５：ＣＰＵ（演算処理装置）
５ａ：情報取得手段
５ｂ：ジェスチャー判定手段
５ｃ：制御指令出力手段
５ｄ：制御指令処理手段
６：プロジェクター（映像表示手段）
７：マウスポインタ
８，２８：コンピュータ（制御手段）
１０：スクリーン（所定の映像表示面）
１２：実行アイコン
１４：フォルダ
１６：描画面
２６：液晶ディスプレイ

Claims (10)

1. 所定の撮影領域を撮影して撮影情報を出力する撮影手段と、
   前記撮影領域内における被検知体の３次元座標情報を、前記撮影手段からの撮影情報に基づき取得すると共に、該３次元座標情報に基づいて制御指令を出力する制御手段と、を有する情報処理装置。
2. 前記撮影手段が、
   第１の領域を撮影する第１の撮影手段と、
   前記第１の領域と少なくとも部分的に重複する第２の領域を前記第１の撮影手段とは異なる方向から撮影する第２の撮影手段と、を有して構成され、
   前記制御手段が、
   前記第１の領域と前記第２の領域とが重複する重複領域内における被検知体の３次元座標情報を、前記第１の撮影手段からの撮影情報と前記第２の撮影手段からの撮影情報とに基づき取得すると共に、該３次元座標情報に基づいて制御指令を出力する請求項１に記載の情報処理装置。
3. 前記制御手段が、
   前記重複領域内における物体の移動情報又は輪郭情報のうち少なくともいずれか一方に基づき、該物体を前記被検知体であると判断する請求項１又は請求項２に記載の情報処理装置。
4. 前記制御手段が、
   少なくとも１つの仮想的な境界平面を有する仮想領域を前記撮影領域内に設定し、
   該仮想領域内に前記境界平面を介して侵入状態にある物体を前記被検知体であると判断する請求項１又は請求項２に記載の情報処理装置。
5. 前記制御手段が、
   前記被検知体の３次元座標情報のうち前記境界平面から最遠である３次元座標情報に基づいて前記制御指令を出力する請求項３又は請求項４に記載の情報処理装置。
6. 前記制御手段が、
   前記撮影領域内における前記被検知体のジェスチャーに基づいて前記制御指令を出力する請求項１又は請求項２に記載の情報処理装置。
7. 前記制御手段が、
   前記撮影領域内において前記ジェスチャーが実質的に一致する複数の前記３次元座標情報を１つの被検知体のものであると判断し、
   前記撮影領域内において前記ジェスチャーが実質的に一致しない複数の前記３次元座標情報を複数の異なる被検知体のものであると判断する請求項６に記載の情報処理装置。
8. 所定の映像表示面に映像表示を行う映像表示手段を更に有し、
   前記制御手段が、前記３次元座標情報に基づいて該映像表示を制御する制御指令を出力する請求項１から請求項７のうちいずれか１項に記載の情報処理装置。
9. 第１の領域を撮影する第１の撮影手段からの撮影情報と前記第１の領域と少なくとも部分的に重複する第２の領域を前記第１の撮影手段とは異なる方向から撮影する第２の撮影手段からの撮影情報とに基づき、前記第１の領域と前記第２の領域とが重複する重複領域内における被検知体の３次元座標情報を取得するステップと、
   該３次元座標情報に基づいて制御指令を出力するステップと、を有する情報処理方法。
10. コンピュータを、
    所定の撮影領域を撮影する撮影手段からの撮影情報に基づき、該撮影領域内における被検知体の３次元座標情報を取得する情報取得手段、及び、
    該３次元座標情報に基づいて制御指令を出力する制御指令出力手段、として機能させる情報処理プログラム。

Images