JP4977162B2

JP4977162B2 - 情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム

Info

Publication number: JP4977162B2
Application number: JP2009082337A
Authority: JP
Inventors: 隆宏荒井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-03-30
Filing date: 2009-03-30
Publication date: 2012-07-18
Anticipated expiration: 2029-03-30
Also published as: JP2010237766A

Description

本発明は一般に、情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラムに関する。より詳細には、本発明は、ユーザのジェスチャを認識し、認識されたジェスチャに基づく制御を行う情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラムに関する。

従来、テレビやパーソナルコンピュータ（ＰＣ）等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。

例えば、カメラによる撮影領域内に設定された認識領域における認識対象オブジェクトの動きを検出し、検出した情報に基づいて認識対象オブジェクトの動きのカテゴリを決定し、カテゴリに対応したコマンドを実行する技術が提案されている（特許文献１参照）。

また、ユーザの特定の手形状を移動することにより、カメラを用いて撮影されたその特定の手形状に対応させてカーソルを表示画面上で移動させ、その表示画面上に表示された仮想ボタンを選択する技術が提案されている（特許文献２及び３参照）。

特開２００７−３４５２５号公報特開平８−４４４９０号公報特開２００４−７８９７７号公報

上述した技術では、カメラにより撮影されたユーザのジェスチャが認識される必要があるが、認識精度の悪さに起因してジェスチャによるポインティング（表示画面上のカーソル）にブレが生じ、そのブレがユーザにとって煩わしく感じられる原因となり得る。

本発明は、上述の事情を鑑みてなされたものであり、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作性を向上させることが可能な情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラムを提供することを目的とする。

上述の課題を解決するため、本発明の一態様によれば、情報処理装置であって、前記情報処理装置に接続されたカメラと、１つ又は複数の手形状を記憶した記憶手段と、前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、前記手形状認識部により、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御するコマンド実行制御部とを具備し、前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、前記コマンド実行制御部は、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になる情報処理装置が提供される。

また、本発明の他の態様によれば、１つ又は複数の手形状を記憶した記憶手段を有する情報処理装置において、コマンドの実行を制御するコマンド実行制御方法であって、前記情報処理装置に接続されたカメラを介して画像を取得し、前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出し、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御し、前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になるコマンド実行制御方法が提供される。

さらに、本発明の別の態様によれば、１つ又は複数の手形状を記憶した記憶手段を有する情報処理装置に、前記情報処理装置に接続されたカメラを介して画像を取得する手順と、前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手順と、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御する手順とを実行させ、前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になるコマンド実行制御プログラムが提供される。

本発明によれば、カメラにより撮影されたユーザのジェスチャにより、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作性を向上させることが可能な情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラムを提供することができる。

本発明の一実施形態に係る情報処理装置を示す斜視図。図１に示す情報処理装置のシステム構成を示すブロック図。図１に示す情報処理装置のシステム構成の一部を、より詳細に示すブロック図。本実施形態において用いられる手形状の例を示す図。カメラを介して撮影された画像で用いられる、手形状の移動量の判定軸の例を示す図。図１に示す情報処理装置における、図３に示すコマンド実行制御部の動作の一例を示すフローチャート。所定の判定軸における移動ベクトルの移動量の一例を説明する図。所定の判定軸における移動ベクトルの移動量の別の例を説明する図。所定の判定軸における移動ベクトルの移動量のさらに別の例を説明する図。図１に示す情報処理装置における、図３に示すコマンド実行制御部の動作の別の例を示すフローチャート。（ａ）は所定の手形状が検出されたときに、移動方向に対応するコマンドを示すガイドが画面に表示されるユーザインターフェースの一例を示す図、（ｂ）は移動方向が検出されコマンドが実行されているときに、画面に表示されるユーザインターフェースの一例を示す図。別の実施形態に係る、移動ベクトルの判定軸の例を示す図。

（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。

まず、図１及び図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータ１００（以下、コンピュータ１００と省略する）として実現される。

図１は、ディスプレイユニットを開いた状態におけるコンピュータ１００の斜視図である。コンピュータ１００は、本体ユニット１０１とディスプレイユニット１０２とから構成される。

ディスプレイユニット１０２には、ＬＣＤ（Liquid Crystal Display）１０３から構成される表示装置が組み込まれている。ＬＣＤ１０３の表示部は、ディスプレイユニット１０２のほぼ中央に配置されている。ＬＣＤ１０３の表示部の上側中央部には、カメラ１０７が設けられている。

ディスプレイユニット１０２は、本体ユニット１０１に支持されており、本体ユニット１０１の上面が露出される開放位置と本体ユニット１０１の上面を覆う閉塞位置との間を本体ユニット１０１に対して回動自在に取り付けられている。

本体ユニット１０１は、薄い箱形の筐体を有しており、本体ユニット１０１の上面には、コンピュータ１００をパワーオン／オフするための電源ボタン１０４、キーボード１０５、及びタッチパッド１０６等が配置されている。

図２は、コンピュータ１００のシステム構成を示すブロック図である。

図２に示されるように、コンピュータ１００は、ＣＰＵ２０１、メインメモリ２０２、ノースブリッジ２０３、グラフィクスコントローラ２０４、ＬＣＤ１０３、ＶＲＡＭ２０５、サウスブリッジ２０６、ＵＳＢコントローラ２０７、ＩＤＥコントローラ２０８、カメラ１０７、ＵＳＢデバイス２０９、ハードディスクドライブ（ＨＤＤ）２１０、光ディスクドライブ（ＯＤＤ）２１１、ＢＩＯＳ−ＲＯＭ２１２、電源ボタン１０４、キーボード１０５、タッチパッド１０６、組み込みコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２１３、電源回路２２１、バッテリ２２２、及びＡＣアダプタ２２３等を備えている。

ＣＰＵ２０１は、コンピュータ１００の動作全般を制御するプロセッサである。ＣＰＵ２０１は、メインメモリ２０２にロードされたＯＳ及び各種アプリケーションプログラムを実行する。このＯＳ及び各種アプリケーションプログラムは、ＨＤＤ２１０に搭載される磁気ディスク記憶媒体（ハードディスク）等に記憶されており、こうした記憶媒体からメインメモリ２０２にロードされる。

また、ＣＰＵ２０１は、ＢＩＯＳ−ＲＯＭ２１２に格納されたＢＩＯＳプログラム２３０（以下、ＢＩＯＳと呼ぶ）も実行する。ＢＩＯＳ−ＲＯＭ２１２は、プログラム書き換え可能なように、フラッシュＥＥＰＲＯＭのような不揮発性メモリの形態をとる。

ＢＩＯＳ２３０は、コンピュータ１００の各種ハードウェアコンポーネントを制御するプログラムであり、コンピュータ１００の起動時に、ＢＩＯＳ−ＲＯＭ２１２から読み出される。

ノースブリッジ２０３は、ＣＰＵ２０１のローカルバスと、サウスブリッジ２０６とを接続するブリッジデバイスである。ノースブリッジ２０３は、メインメモリ２０２をアクセス制御するメモリコントローラを備えている。また、ノースブリッジ２０３は、ＡＧＰ（Accelerated Graphics Port）バス等を介してグラフィクスコントローラ２０４と通信する機能を有する。

グラフィクスコントローラ２０４は、コンピュータ１００のディスプレイモニタとして使用されるＬＣＤ１０３を制御するコントローラである。このグラフィクスコントローラ２０４は、ＯＳ又はアプリケーションプログラムによってＶＲＡＭ２０５に書き込まれた表示データに対応する映像信号を、ＬＣＤ１０３に出力する。

サウスブリッジ２０６は、ＬＰＣ（Low Pin Count）バス及びＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ２０６は、カメラ１０７及びＵＳＢデバイス２０９を制御するためのＵＳＢコントローラ２０７と、ＨＤＤ２１０及びＯＤＤ２１１を制御するためのＩＤＥコントローラ２０８とを内蔵している。

カメラ１０７は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されている。このカメラ１０７は、コンピュータ１００の周辺の画像（動画像）を取り込んで、その画像を後述する手形状認識部３０１に供給する。また、カメラ１０７によって撮影された画像（動画像）は、コンピュータ１００のディスプレイモニタに表示することができる。カメラ１０７によって供給される画像のフレームレートは、例えば、３０フレーム／秒である。本実施形態では、カメラ１０７は、ＵＳＢ規格に準拠したＵＳＢデバイスであると想定している。なお、カメラ１０７は、外付け型であってもよいし、内蔵型であってもよい。

ＨＤＤ２１０は、ハードディスクコントローラ及び磁気ディスク記憶媒体を有する記憶装置である。この磁気ディスク記憶媒体には、ＯＳを含む各種ソフトウェア及び各種データが格納される。ＯＤＤ２１１は、ＤＶＤタイトルのようなビデオコンテンツが格納されたＤＶＤや音楽データが格納されたＣＤなどの記憶媒体を駆動するためのドライブユニットである。

ＥＣ／ＫＢＣ２１３は、電力管理のための組み込みコントローラ（ＥＣ）と、キーボード１０５及びタッチパッド１０６を制御するためのキーボードコントローラ（ＫＢＣ）とが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ２１３は、コンピュータ１００の電源がオンされているかオフされているかに関わらず、電源回路２２１からの電力によって常時電源がオンされている。このＥＣ／ＫＢＣ２１３は、ユーザによる電源ボタン１０４の操作に応答して、電源回路２２１と協働してコンピュータ１００の電源をオン／オフする。

電源回路２２１は、ＥＣ／ＫＢＣ２１３の制御の下、本体ユニット１０１内に設けられたバッテリ２２２からの電力、又はＡＣアダプタ２２３を介して供給される外部電源からの電力を用いて、コンピュータ１００における各デバイスに電力を供給する。

図３は、コンピュータ１００の構成の一部を、より詳細に示すブロック図である。

図３に示されるように、カメラ１０７によって撮影された画像は、手形状認識部３０１に供給される。

手形状認識部３０１は、カメラ１０７から供給された画像が手形状データベース３０２に予め格納（登録）されている手形状のうちのいずれか１つと一致する手形状を含んでいるか否かを判定する。例えば、手形状認識部３０２は、カメラ１０７から供給される画像内から、手形状データベース３０２に予め格納されている手形状のうちの１つを検索する。

手形状データベース３０２には、図４に示されるように、握り拳（５本の指を曲げた状態（図４（ａ）））、平手（５本の指を伸ばした状態（図４（ｂ）））、及びサムアップサイン（親指のみ伸ばし、他の４本の指は曲げた状態（図４（ｃ）））等の手形状が、対応する識別子と関連付けられて予め格納されている。

手形状認識部３０１はさらに、画像内の二次元座標系における手形状の位置情報（座標）を算出する。本実施形態において、手形状認識部３０１は、手形状に外接する矩形領域の中心を、手形状の位置情報（Ｘ，Ｙ）として用いる。なお、手形状の位置情報は、上記手形状に外接する矩形領域の中心とすることに限定されず、例えば、手形状の重心の座標としてもよい。

コマンド実行制御部３０３は、手形状認識部３０１により検出された手形状の識別子と、その手形状の位置情報とを、手形状認識部３０１から受信する。そして、コマンド実行制御部３０３は、受信した手形状の識別子と、位置情報とを、撮影された各フレームについて、例えばメインメモリ２０２に記憶する。なお、コマンド実行制御部３０３は、各フレームについてではなく、所定の時間ごと（例えば、２フレームや３フレームごと）に上記識別子及び位置情報を記憶してもよい。また、コマンド実行制御部３０３は、カメラによって撮影された手形状の移動に応じて、表示画面上に表示されているアイコンの選択や実行ファイルの実行といったコマンドの実行を制御する。コマンド実行制御部３０３の動作については、図５〜図９を参照して以下で詳述する。

本実施形態では、手形状認識部３０１は、専用のハードウェアエンジン（ＬＳＩ；不図示）で実現され、コマンド実行制御部３０３は、ＣＰＵ２０１（図２）により実行されるソフトウェアで実現される。しかしながら、手形状認識部３０１及びコマンド実行制御部３０３は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、上記ソフトウェア及び手形状データベース３０２は例えば、ＨＤＤ２１０（図２）に格納されている。

次に、図５〜図９を参照しながら、コマンド実行制御部３０３の動作を説明する。

図５は、カメラを介して撮影された画像で用いられる、手形状の移動量の判定軸の例を示している。一例では、図５（ａ）に示されるように、手形状の移動量の判定軸として、単位ベクトルが（１，０）及び（０，１）である２方向が用いられる。しかしながら、手形状の移動量の判定軸としては、上記のものに限定されず、例えば図５（ｂ）に示されるように、単位ベクトルが（１／√２，１／√２）及び（−１／√２，１／√２）である２方向としてもよい。

以下、本実施形態では、手形状の移動量の判定軸として、単位ベクトルが（１，０）及び（０，１）である２方向が用いられることを想定して説明する。

図６は、コンピュータ１００におけるコマンド実行制御部３０３の動作の一例を示すフローチャートである。ここで、手形状は二次元座標系の座標によりその位置が特定される。すなわち、手形状は、横方向（Ｘ軸方向；第１の軸方向）及び縦方向（Ｙ軸方向；第２の軸方向）からなる二次元空間上で移動するものである。

まず、ステップＳ６０１において、コマンド実行制御部３０３は、カメラ１０７を介して所定の手形状（本実施形態では、図４（ａ）の握り拳）が手形状認識部３０１により検出されるのを待つ。

握り拳が手形状認識部３０１により検出され、コマンド実行制御部３０３が、その検出されたことを示す信号（握り拳に対応する識別子及び握り拳の位置情報を含む）を受信すると、握り拳に対応する識別子及び握り拳の位置情報を、例えばメインメモリ２０２に記憶する。以下では、握り拳が手形状認識部３０１により継続的に検出されているものと仮定している。

さらに、コマンド実行部３０３は、カメラ１０７を介して撮影された次のフレームにおける握り拳の位置情報を受信して、直前のフレームから現フレームに至る握り拳の移動ベクトル７０１（図７参照）を算出する。

具体的には、直前のフレームにおける握り拳の位置情報を（Ｘ_ｎ−１，Ｙ_ｎ−１）、現フレームにおける握り拳の位置情報を（Ｘ_ｎ，Ｙ_ｎ）とする。図７に示されるように、前述の移動ベクトル７０１は、（Ｘ_ｎ−Ｘ_ｎ−１，Ｙ_ｎ−Ｙ_ｎ−１）となる。また、横方向の軸を判定軸（所定の判定軸）７００とした場合、この判定軸７００における移動ベクトル７０１の移動量Ｖ_ｎは、移動ベクトル７０１と単位ベクトル（１，０）との内積、すなわち、
Ｖ_ｎ＝（Ｘ_ｎ−Ｘ_ｎ−１）×１＋（Ｙ_ｎ−Ｙ_ｎ−１）×０＝Ｘ_ｎ−Ｘ_ｎ−１
となる。

なお、本実施形態では、移動ベクトルは、現フレームとその直前のフレームとに基づいて算出したが、現フレームと所定の時間前（例えば、２フレームや３フレーム前）のフレームとに基づいて算出してもよい。

次いで、コマンド実行制御部３０３は、判定軸７００における移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値（例えば、０．０５ｍ）以上であるか否かを判定する（ステップＳ６０２）。ステップＳ６０２では、コマンド実行制御部３０３は、上記の判定とともに、どの判定軸が用いられたか（この例では、判定軸７００）と、移動量Ｖ_ｎの正負とを、例えばメインメモリ２０２に記憶する。

移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値以上でないと判定されると（ステップＳ６０２のＮＯ）、本動作は再度ステップＳ６０２に戻る。

一方、図７に示されるように、移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値以上であると判定されると（ステップＳ６０２のＹＥＳ）、コマンド実行制御部３０３は、その手形状の移動に関連付けられたコマンドを実行する（ステップＳ６０３）。このようなコマンドには、例えば、フォーカスの移動、メディアの再生、メディアの一時停止等がある（図１１参照）。コマンド実行（ステップＳ６０３）が終了すると、以下で説明するＳ６０５の判定においてＹＥＳと判定されるまで、コマンドの実行ができない状態（コマンド実行無効状態）となる。

次いで、コマンド実行制御部３０３は、コマンド実行直後にカメラ１０７を介して撮影されたフレームにおける握り拳の識別子及び位置情報を受信して、例えばメインメモリ２０１に記憶する。そして、コマンド実行制御部３０３は、その受信した位置情報に対応するフレームの直前のフレームから、現フレームに至る握り拳の移動ベクトル８０１（図８参照）を算出する。

具体的には、直前のフレームにおける握り拳の位置情報を（Ｘ_ｍ−１，Ｙ_ｍ−１）、現フレームにおける握り拳の位置情報を（Ｘ_ｍ，Ｙ_ｍ）とする。図８に示されるように、前述の移動ベクトル８０１は、（Ｘ_ｍ−Ｘ_ｍ−１，Ｙ_ｍ−Ｙ_ｍ−１）となる。また、ステップＳ６０２で用いられた判定軸７００における移動ベクトル８０１の移動量Ｖ_ｍは、移動ベクトル８０１と単位ベクトル（１，０）との内積、すなわち、
Ｖ_ｍ＝（Ｘ_ｍ−Ｘ_ｍ−１）×１＋（Ｙ_ｍ−Ｙ_ｍ−１）×０＝Ｘ_ｍ−Ｘ_ｍ−１
となる。

次いで、コマンド実行制御部３０３は、判定軸７００における移動ベクトル８０１の移動量Ｖ_ｍの絶対値が、所定の第２の閾値（例えば、０．００５ｍ）以上であるか否かを判定する（ステップＳ６０４）。ステップＳ６０４では、コマンド実行制御部３０３は、上記の判定とともに、移動量Ｖ_ｍの正負が、ステップＳ６０２で記憶された移動量Ｖ_ｎの正負と反対であるか同じであるかも判定する。

移動ベクトル８０１の移動量Ｖ_ｍの絶対値が、所定の第２の閾値以上ではないか、又は移動量Ｖ_ｍの正負が、移動量Ｖ_ｎの正負と同じであると判定されると（ステップＳ６０４のＮＯ）、本動作は再度ステップＳ６０４に戻る。

一方、図８に示されるように、移動ベクトル８０１の移動量Ｖ_ｍの絶対値が、所定の第２の閾値以上であり、かつ移動量Ｖ_ｍの正負が、移動量Ｖ_ｎの正負と反対であると判定されると（ステップＳ６０４のＹＥＳ）、本動作はステップＳ６０５に進む。

次いで、コマンド実行制御部３０３は、ステップＳ６０５直後にカメラ１０７を介して撮影されたフレームにおける握り拳の識別子及び位置情報を受信して、例えばメインメモリ２０１に記憶する。そして、コマンド実行制御部３０３は、その受信した位置情報に対応するフレームの直前のフレームから、現フレームに至る握り拳の移動ベクトル９０１（図９参照）を算出する。

具体的には、直前のフレームにおける握り拳の位置情報を（Ｘ_ｌ−１，Ｙ_ｌ−１）、現フレームにおける握り拳の位置情報を（Ｘ_ｌ，Ｙ_ｌ）とする。図９に示されるように、前述の移動ベクトル９０１は、（Ｘ_ｌ−Ｘ_ｌ−１，Ｙ_ｌ−Ｙ_ｌ−１）となる。また、ステップＳ６０２で用いられた判定軸７００における移動ベクトル９０１の移動量Ｖ_ｌは、移動ベクトル９０１と単位ベクトル（１，０）との内積、すなわち、
Ｖ_ｌ＝（Ｘ_ｌ−Ｘ_ｌ−１）×１＋（Ｙ_ｌ−Ｙ_ｌ−１）×０＝Ｘ_ｌ−Ｘ_ｌ−１
となる。

次いで、コマンド実行制御部３０３は、判定軸７００における移動ベクトル９０１の移動量Ｖ_ｌの絶対値が、所定の第３の閾値（例えば、０．００３ｍ）以上であるか否かを判定する（ステップＳ６０５）。ステップＳ６０５では、コマンド実行制御部３０３は、上記の判定とともに、移動量Ｖ_ｌの正負が、ステップＳ６０２で記憶された移動量Ｖ_ｎの正負と同じであるか反対であるかも判定する。

移動ベクトル９０１の移動量Ｖ_ｍの絶対値が、所定の第３の閾値以上ではないか、又は移動量Ｖ_ｌの正負が、移動量Ｖ_ｎの正負と反対であると判定されると（ステップＳ６０５のＮＯ）、本動作は再度ステップＳ６０５に戻る。

一方、図９に示されるように、移動ベクトル９０１の移動量Ｖ_ｌの絶対値が、所定の第３の閾値以上であり、かつ移動量Ｖ_ｌの正負が、移動量Ｖ_ｎの正負と同じであると判定されると（ステップＳ６０５のＹＥＳ）、本動作は終了して、ステップＳ６０１及びステップＳ６０２の処理を行うことにより、再びコマンドが実行できる状態（コマンド実行有効状態）となる。

本実施形態において、好ましくは、所定の第２の閾値及び第３の閾値は、所定の第１の閾値より小さい。さらに、所定の第２の閾値及び第３の閾値は、約０．５といった非常に小さな値であることが好ましい。

以上、横方向に関する判定軸ついてのみ説明したが、縦方向に関する判定軸についてもコマンド実行制御部３０３により同様の制御が行われる。

（第２の実施形態）
次に、図面を参照しながら、本発明の第２の実施形態について説明する。第２の実施形態は、コマンド実行制御部３０３（図３）の動作を除いて前述した第１の実施形態と同様の構成をとるため、ここでは、コマンド実行制御部３０３の動作のみについて説明する。

本実施形態では、手形状の移動量の判定軸として、単位ベクトルが（１，０）及び（０，１）である２方向が用いられることを想定して説明する。

図１０は、コンピュータ１００におけるコマンド実行制御部３０３の動作の別の例を示すフローチャートである。ここで、手形状は二次元座標系の座標によりその位置が特定される。すなわち、手形状は、横方向（Ｘ軸方向；第１の軸方向）及び縦方向（Ｙ軸方向；第２の軸方向）からなる二次元空間上で移動するものである。

まず、ステップＳ１００１において、コマンド実行制御部３０３は、カメラ１０７を介して所定の手形状（本実施形態では、図４（ａ）の握り拳）が手形状認識部３０１により検出されるのを待つ。

次いで、コマンド実行制御部３０３は、判定軸７００における移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値（例えば、０．０５ｍ）以上であるか否かを判定する（ステップＳ１００２）。ステップＳ１１０２では、コマンド実行制御部３０３は、上記の判定とともに、どの判定軸が用いられたか（この例では、判定軸７００）を、例えばメインメモリ２０２に記憶する。

移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値以上でないと判定されると（ステップＳ６０２のＮＯ）、本動作は再度ステップＳ１００２に戻る。

一方、図７に示されるように、移動ベクトル７０１の移動量Ｖ_ｎの絶対値が、所定の第１の閾値以上であると判定されると（ステップＳ１００２のＹＥＳ）、コマンド実行制御部３０３は、その手形状の移動に関連付けられたコマンドを実行する（ステップＳ１００３）。このようなコマンドには、例えば、フォーカスの移動、メディアの再生、メディアの一時停止等がある（図１１参照）。コマンド実行（ステップＳ１１０３）が終了すると、以下で説明するＳ１１０５の判定においてＹＥＳと判定されるまで、コマンドの実行ができない状態（コマンド実行無効状態）となる。

次いで、コマンド実行制御部３０３は、コマンド実行されてから所定の時間（例えば、３秒）経過したか否かを判定する（ステップＳ１００４）。所定の時間経過していなければ、コマンド実行制御部３０３は、所定の時間経過するのを待つ（ステップＳ１００４）。

一方、所定の時間経過すると、本動作は終了して、ステップＳ１００１及びステップＳ１００２の処理を行うことにより、再びコマンドが実行できる状態（コマンド実行有効状態）となる。

図１１は、前述の第１及び第２の実施形態において、実行されるコマンドがユーザに分かるように、所定の手形状（握り拳）が検出されたときに、移動方向に対応するコマンドを示すガイドが画面に表示されるユーザインターフェース１１０１の一例を示している（図１１（ａ））。また、図１１は、移動方向が検出されコマンドが実行されているときに、実行されているコマンドが分かるよう画面に表示されるユーザインターフェース１１０２の一例も示している（図１１（ｂ））。

第１及び第２の実施形態によれば、ユーザの意図しない微妙な手の動きが発生しても、コマンド実行を抑制することができる（ステップＳ６０２及びステップＳ１００２）。

また、第１の実施形態によれば、ユーザが手を移動しすぎた場合でも、連続的なコマンド実行を抑制することができる（ステップＳ６０４）。

また、第１の実施形態によれば、ユーザが手を一旦戻すことによって、すぐに次のコマンド実行操作が可能となる。さらに、ユーザが手を一旦戻すことによって、手を戻しすぎたことによる反対方向に対応するコマンド実行を抑制することができる（ステップＳ６０５）。

また、第２の実施形態によれば、手を一旦戻すことがうまくできない場合や手を戻すことを忘れていた場合に、所定の時間経過すれば次のコマンド操作が可能となる。

以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態そのままに限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、本発明は、本実施形態で説明したノートブック型パーソナルコンピュータの他にも、デスクトップ型パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ）、ゲーム機、テレビ等の様々な情報処理装置に適用することができる。

また、例えば、本発明は、図１２に示されるように、上下左右方向の判定軸に加えて、斜め方向の判定軸を用い、斜め方向への移動を検出した場合には、何もコマンドを実行しないといったことも可能である。このようにすることにより、手形状を中途半端に斜め方向に対して移動させたとしても、コマンドの実行を抑制することができる。

また、前述した実施形態において記載した処理は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、又は通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以上、本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作性を向上させることが可能な情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラムを提供することができる。

１００コンピュータ
１０１本体ユニット
１０２ディスプレイユニット
１０３ＬＣＤ
１０４電源ボタン
１０５キーボード
１０６タッチパッド
１０７カメラ
２０１ＣＰＵ
２０２メインメモリ
２０３ノースブリッジ
２０６サウスブリッジ
２１０ＨＤＤ
２１１ＯＤＤ
２１２ＢＩＯＳ−ＲＯＭ
２１３ＥＣ／ＫＢＣ
２３０ＢＩＯＳ
３０１手形状認識部
３０２手形状データベース
３０３コマンド実行制御部

Claims

情報処理装置であって、
前記情報処理装置に接続されたカメラと、
１つ又は複数の手形状を記憶した記憶手段と、
前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、
前記手形状認識部により、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御するコマンド実行制御部と
を具備し、
前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、前記コマンド実行制御部は、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になることを特徴とする情報処理装置。
前記コマンド無効状態になった後、前記コマンド実行制御部は、前記移動量が第１の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第２の閾値以上であるか否かを判定することを特徴とする請求項１記載の情報処理装置。
前記移動量が第１の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第２の閾値以上であると判定され、さらに、前記移動量が第２の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第３の閾値以上であった場合、前記コマンド実行制御部は、コマンドを実行させることの可能なコマンド有効状態になることを特徴とする請求項２記載の情報処理装置。
前記コマンド実行制御部は、前記コマンド無効状態になった後、所定の時間経過すると、コマンドを実行させることの可能なコマンド有効状態になることを特徴とする請求項１記載の情報処理装置。
前記情報処理装置はさらにディスプレイを備え、
前記所定の手形状が検出されると、前記所定の手形状の移動方向に対応するコマンドを示すガイドが前記ディスプレイに表示されることを特徴とする請求項１記載の情報処理装置。
前記情報処理装置はさらにディスプレイを備え、
前記コマンドを実行しているときに、該コマンドを実行していることを示すユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項１記載の情報処理装置。
１つ又は複数の手形状を記憶した記憶手段を有する情報処理装置において、コマンドの実行を制御するコマンド実行制御方法であって、
前記情報処理装置に接続されたカメラを介して画像を取得し、
前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出し、
前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御し、
前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になることを特徴とするコマンド実行制御方法。
前記コマンド無効状態になった後、前記移動量が第１の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第２の閾値以上であるか否かを判定することを特徴とする請求項７記載のコマンド実行制御方法。
前記移動量が第１の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第２の閾値以上であると判定され、さらに、前記移動量が第２の閾値以上であることが検出されたときに前記所定の手形状が移動した方向とは逆方向に当該所定の手形状が移動し、かつその移動量が第３の閾値以上であった場合、コマンドを実行させることの可能なコマンド有効状態になることを特徴とする請求項８記載のコマンド実行制御方法。
前記コマンド無効状態になった後、所定の時間経過すると、コマンドを実行させることの可能なコマンド有効状態になることを特徴とする請求項７記載のコマンド実行制御方法。
前記情報処理装置はさらにディスプレイを備え、
前記所定の手形状が検出されると、前記所定の手形状の移動方向に対応するコマンドを示すガイドが前記ディスプレイに表示されることを特徴とする請求項７記載のコマンド実行制御方法。
前記情報処理装置はさらにディスプレイを備え、
前記コマンドを実行しているときに、該コマンドを実行していることを示すユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項７記載のコマンド実行制御方法。
１つ又は複数の手形状を記憶した記憶手段を有する情報処理装置に、
前記情報処理装置に接続されたカメラを介して画像を取得する手順と、
前記記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手順と、
前記記憶手段に記憶された１つ又は複数の手形状と一致する前記所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記所定の手形状の動きに基づいて、コマンドの実行を制御する手順と
を実行させ、
前記カメラにより撮影された前記所定の手形状の移動量が第１の閾値以上であった場合、コマンドを実行し、このコマンドを実行した後、コマンドを実行できないコマンド無効状態になることを特徴とするコマンド実行制御プログラム。