JP2010237765A - 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム - Google Patents

Abstract

【課題】カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供すること。
【解決手段】本発明の一実施形態に係る情報処理装置において、カメラを介して画像を取得し、記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、画像内に含まれているか否かを検出し、第１の手形状が、画像内に含まれていることが検出された場合、第１の手形状の動きに基づいて、複数の選択対象オブジェクトに対するフォーカスの移動を制御する。そして、画像内の横軸又は縦軸方向において第１の手形状が基点を中心として所定の距離以上移動した場合、移動した方向に対してフォーカスを移動する。
【選択図】図５

Description

本発明は一般に、情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。より詳細には、本発明は、ユーザのジェスチャを認識し、認識されたジェスチャに基づく制御を行う情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。

従来、テレビやパーソナルコンピュータ（ＰＣ）等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。

例えば、カメラによる撮影領域内に設定された認識領域における認識対象オブジェクトの動きを検出し、検出した情報に基づいて認識対象オブジェクトの動きのカテゴリを決定し、カテゴリに対応したコマンドを実行する技術が提案されている（特許文献１参照）。

また、ユーザの特定の手形状を移動することにより、カメラを用いて撮影されたその特定の手形状に対応させてカーソルを表示画面上で移動させ、その表示画面上に表示された仮想ボタンを選択する技術が提案されている（特許文献２及び３参照）。

特開２００７−３４５２５号公報 特開平８−４４４９０号公報 特開２００４−７８９７７号公報

上述した技術では、カメラにより撮影されたユーザのジェスチャが認識される必要があるが、認識精度の悪さに起因してジェスチャによるポインティング（表示画面上のカーソル）にブレが生じ、そのブレがユーザにとって煩わしく感じられる原因となり得る。

本発明は、上述の事情を鑑みてなされたものであり、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することを目的とする。

上述の課題を解決するため、本発明の一態様によれば、ディスプレイを有する情報処理装置であって、前記情報処理装置に接続されたカメラと、１つ又は複数の手形状を記憶した記憶手段と、前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、前記手形状認識部により、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部とを具備し、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動する情報処理装置が提供される。

また、本発明の他の態様によれば、ディスプレイと、１つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、前記情報処理装置に接続されたカメラを介して画像を取得し、前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御方法が提供される。

さらに、本発明の別の態様によれば、ディスプレイと、１つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、前記情報処理装置に接続されたカメラを介して画像を取得する手順と、前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順とを実行させ、前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御プログラムが提供される。

本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することができる。

本発明の一実施形態に係る情報処理装置を示す斜視図。 図１の情報処理装置のシステム構成を示すブロック図。 図１の情報処理装置のシステム構成の一部をより詳細に示すブロック図。 本実施形態において用いられる手形状の例を示す図。 図１の情報処理装置における、図３のフォーカス移動制御部の動作の一例を示すフローチャート。 図５のフローチャートにおいて、（ａ）は第１の手形状が基点に対して所定の距離以上移動していない場合を説明する図、（ｂ）は第１の手形状が基点に対して所定の距離以上移動している場合を説明する図。 図５のフローチャートにおいて、（ａ）は第１の軸方向における基点の再設定を説明する図、（ｂ）は第２の軸方向における基点の再設定を説明する図。 本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示す図。 カメラを介して撮影された手形状が検出されたときの画面に表示されるユーザインターフェース（ＵＩ）の一例を示す図。 所定のアプリケーションを実行するときに、カメラ１０７を介して撮影された所定の手形状が図３の手形状認識部により検出され、図３のフォーカス移動制御部がその検出を示す信号を最初に受信したときのＵＩの一例を示す図。 所定の手形状が移動されたときの、選択対象オブジェクト（ボタン）におけるフォーカスの移動する様子を示す図。 検出される手形状が、第１の手形状から第２の手形状に変化したときに、図１０に示したＵＩが変化する様子を示す図。 所定の手形状が図３の手形状認識部により検出され、図３のフォーカス移動制御部がその検出を示す信号を最初に受信したとき、操作対象のアプリケーションに応じて表示される既定のＵＩの例を示す図であり、（ａ）はＤＶＤ視聴等のＡＶアプリケーションで表示されるＵＩを示す図、（ｂ）はテレビ視聴アプリケーションで表示されるＵＩを示す図。

以下、図面を参照しながら、本発明の実施形態について説明する。

まず、図１及び図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータ１００（以下、コンピュータ１００と省略する）として実現される。

図１は、ディスプレイユニットを開いた状態におけるコンピュータ１００の斜視図である。コンピュータ１００は、本体ユニット１０１とディスプレイユニット１０２とから構成される。

ディスプレイユニット１０２には、ＬＣＤ（Liquid Crystal Display）１０３から構成される表示装置が組み込まれている。ＬＣＤ１０３の表示部は、ディスプレイユニット１０２のほぼ中央に配置されている。ＬＣＤ１０３の表示部の上側中央部には、カメラ１０７が設けられている。

ディスプレイユニット１０２は、本体ユニット１０１に支持されており、本体ユニット１０１の上面が露出される開放位置と本体ユニット１０１の上面を覆う閉塞位置との間を本体ユニット１０１に対して回動自在に取り付けられている。

本体ユニット１０１は、薄い箱形の筐体を有しており、本体ユニット１０１の上面には、コンピュータ１００をパワーオン／オフするための電源ボタン１０４、キーボード１０５、及びタッチパッド１０６等が配置されている。

図２は、コンピュータ１００のシステム構成を示すブロック図である。

図２に示されるように、コンピュータ１００は、ＣＰＵ２０１、メインメモリ２０２、ノースブリッジ２０３、グラフィクスコントローラ２０４、ＬＣＤ１０３、ＶＲＡＭ２０５、サウスブリッジ２０６、ＵＳＢコントローラ２０７、ＩＤＥコントローラ２０８、カメラ１０７、ＵＳＢデバイス２０９、ハードディスクドライブ（ＨＤＤ）２１０、光ディスクドライブ（ＯＤＤ）２１１、ＢＩＯＳ−ＲＯＭ２１２、電源ボタン１０４、キーボード１０５、タッチパッド１０６、組み込みコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２１３、電源回路２２１、バッテリ２２２、及びＡＣアダプタ２２３等を備えている。

ＣＰＵ２０１は、コンピュータ１００の動作全般を制御するプロセッサである。ＣＰＵ２０１は、メインメモリ２０２にロードされたＯＳ及び各種アプリケーションプログラムを実行する。このＯＳ及び各種アプリケーションプログラムは、ＨＤＤ２１０に搭載される磁気ディスク記憶媒体（ハードディスク）等に記憶されており、こうした記憶媒体からメインメモリ２０２にロードされる。

また、ＣＰＵ２０１は、ＢＩＯＳ−ＲＯＭ２１２に格納されたＢＩＯＳプログラム２３０（以下、ＢＩＯＳと呼ぶ）も実行する。ＢＩＯＳ−ＲＯＭ２１２は、プログラム書き換え可能なように、フラッシュＥＥＰＲＯＭのような不揮発性メモリの形態をとる。

ＢＩＯＳ２３０は、コンピュータ１００の各種ハードウェアコンポーネントを制御するプログラムであり、コンピュータ１００の起動時に、ＢＩＯＳ−ＲＯＭ２１２から読み出される。

ノースブリッジ２０３は、ＣＰＵ２０１のローカルバスと、サウスブリッジ２０６とを接続するブリッジデバイスである。ノースブリッジ２０３は、メインメモリ２０２をアクセス制御するメモリコントローラを備えている。また、ノースブリッジ２０３は、ＡＧＰ（Accelerated Graphics Port）バス等を介してグラフィクスコントローラ２０４と通信する機能を有する。

グラフィクスコントローラ２０４は、コンピュータ１００のディスプレイモニタとして使用されるＬＣＤ１０３を制御するコントローラである。このグラフィクスコントローラ２０４は、ＯＳ又はアプリケーションプログラムによってＶＲＡＭ２０５に書き込まれた表示データに対応する映像信号を、ＬＣＤ１０３に出力する。

サウスブリッジ２０６は、ＬＰＣ（Low Pin Count）バス及びＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ２０６は、カメラ１０７及びＵＳＢデバイス２０９を制御するためのＵＳＢコントローラ２０７と、ＨＤＤ２１０及びＯＤＤ２１１を制御するためのＩＤＥコントローラ２０８とを内蔵している。

カメラ１０７は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されている。このカメラ１０７は、コンピュータ１００の周辺の画像（動画像）を取り込んで、その画像を後述する手形状認識部３０１に供給する。また、カメラ１０７によって撮影された画像（動画像）は、コンピュータ１００のディスプレイモニタに表示することができる。カメラ１０７によって供給される画像のフレームレートは、例えば３０フレーム／秒である。本実施形態では、カメラ１０７は、ＵＳＢ規格に準拠したＵＳＢデバイスであると想定している。なお、カメラ１０７は、外付け型であってもよいし、内蔵型であってもよい。

ＨＤＤ２１０は、ハードディスクコントローラ及び磁気ディスク記憶媒体を有する記憶装置である。この磁気ディスク記憶媒体には、ＯＳを含む各種ソフトウェア及び各種データが格納される。ＯＤＤ２１１は、ＤＶＤタイトルのようなビデオコンテンツが格納されたＤＶＤや音楽データが格納されたＣＤなどの記憶媒体を駆動するためのドライブユニットである。

ＥＣ／ＫＢＣ２１３は、電力管理のための組み込みコントローラ（ＥＣ）と、キーボード１０５及びタッチパッド１０６を制御するためのキーボードコントローラ（ＫＢＣ）とが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ２１３は、コンピュータ１００の電源がオンされているかオフされているかに関わらず、電源回路２２１からの電力によって常時電源がオンされている。このＥＣ／ＫＢＣ２１３は、ユーザによる電源ボタン１０４の操作に応答して、電源回路２２１と協働してコンピュータ１００の電源をオン／オフする。

電源回路２２１は、ＥＣ／ＫＢＣ２１３の制御の下、本体ユニット１０１内に設けられたバッテリ２２２からの電力、又はＡＣアダプタ２２３を介して供給される外部電源からの電力を用いて、コンピュータ１００における各デバイスに電力を供給する。

図３は、コンピュータ１００の構成の一部を、より詳細に示すブロック図である。

図３に示されるように、カメラ１０７によって撮影された画像は、手形状認識部３０１に供給される。

手形状認識部３０１は、カメラ１０７から供給された画像が手形状データベース３０２に予め格納（登録）されている手形状のうちのいずれか１つと一致する手形状を含んでいるか否かを判定する。例えば、手形状認識部３０２は、カメラ１０７から供給される画像内から、手形状データベース３０２に予め格納されている手形状のうちの１つを検索する。

手形状データベース３０２には、図４に示されるように、握り拳（５本の指を曲げた状態（図４（ａ）））、平手（５本の指を伸ばした状態（図４（ｂ）））、及びサムアップサイン（親指のみ伸ばし、他の４本の指は曲げた状態（図４（ｃ）））等の手形状が、対応する識別子と関連付けられて予め格納されている。

ここで、第１の手形状（本実施形態では、図４（ａ）の握り拳）は、ディスプレイモニタに表示されて、十字キーによって選択可能なアイコン（以下、選択対象オブジェクトと呼ぶ）を選択するために使用されるものである。また、第２の手形状（本実施形態では、図４（ｃ）のサムアップサイン）は、選択された選択対象オブジェクトを実行対象として決定するために使用されるものである。

手形状認識部３０１はさらに、時間の経過や手形状の動きに基づいて基点位置が変わる相対座標方式の二次元座標系を用いて、手形状の位置情報（座標）を算出する。本実施形態では、手形状認識部３０１は、手形状に外接する矩形領域の中心を、相対座標方式の座標系における手形状の位置情報（Ｘ，Ｙ）として用いる。なお、手形状の位置情報は、上記手形状に外接する矩形領域の中心とすることに限定されず、例えば、手形状の重心の座標としてもよい。

フォーカス移動制御部３０３は、手形状認識部３０１により検出された手形状の識別子と、その手形状の位置情報とを、手形状認識部３０１から受信する。また、フォーカス移動制御部３０３は、カメラによって撮影された手形状の動きに応じて、選択対象オブジェクトを選択したり、選択された選択対象オブジェクトを実行対象として決定したりする。フォーカス移動制御部３０３の動作については、図５〜図８を参照して以下で詳述する。

本実施形態では、手形状認識部３０１は、専用のハードウェアエンジン（ＬＳＩ；不図示）で実現され、フォーカス移動制御部３０３は、ＣＰＵ２０１（図２）により実行されるソフトウェアで実現される。しかしながら、手形状認識部３０１及びフォーカス移動制御部３０３は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、上記ソフトウェア及び手形状データベース３０２は例えば、ＨＤＤ２１０（図２）に格納されている。

次に、図５〜図７を参照しながら、フォーカス移動制御部３０３の動作を説明する。図５は、コンピュータ１００におけるフォーカス移動制御部３０３の動作の一例を示すフローチャートである。ここで、手形状は相対座標方式の二次元座標系の座標によりその位置が特定される。すなわち、手形状は、横方向（Ｘ軸方向；第１の軸方向）及び縦方向（Ｙ軸方向；第２の軸方向）からなる二次元空間上で移動するものであるが、本例では、特に言及しない限り、横方向（Ｘ軸方向）の動きに対する動作のみに着目している。

まず、ステップＳ５０１において、フォーカス移動制御部３０３は、カメラ１０７を介して第１の手形状（図４（ａ）の握り拳）が手形状認識部３０１により検出されるのを待つ。

握り拳が手形状認識部３０１により検出され、フォーカス移動制御部３０３が、その検出されたことを示す信号（握り拳に対応する識別子及び握り拳の位置情報を含む）を受信すると（ステップＳ５０１のＹＥＳ）、フォーカス移動制御部３０３は、手形状が二次元座標系の基点に対して所定の距離Ｌｘ（例えば０．０５ｍ）以上移動したか否かを判定する（ステップＳ５０２）。なお、以下では、特に言及しない限り、握り拳が手形状認識部３０１により継続的に検出されているものと仮定している。

握り拳が基点に対して所定の距離Ｌｘ以上移動していなければ（ステップＳ５０２のＮＯ）、本動作は、再度ステップＳ５０２の処理に戻る。一方、握り拳が基点に対して所定の距離Ｌｘ以上移動していれば（ステップＳ５０２のＹＥＳ）、フォーカス移動制御部３０３は、基点の再設定を行う（ステップＳ５０３）。握り拳が基点に対して所定の距離Ｌｘ以上移動していない場合を図６（ａ）に示し、握り拳が基点に対して所定の距離Ｌｘ以上移動している場合を図６（ｂ）に示している。

ここで、ステップＳ５０３の基点の再設定について、図７を参照しながら説明する。

図７（ａ）は、握り拳がＸ軸（第１の軸）方向において所定の距離Ｌｘ以上移動した場合のＸ軸における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部３０３は、新たなＸ軸方向の基点として、握り拳がＸ軸において所定の距離Ｌｘ以上移動する直前のポイントから、握り拳がＸ軸において移動した方向へ第２の所定の距離だけ離れたポイントに再設定する。第２の所定の距離は、１×Ｌｘ以上２×Ｌｘ以下と設定することが好ましく、本実施形態では、１．８×Ｌｘとしている。

これに対して、図７（ｂ）は、握り拳がＸ軸方向において所定の距離Ｌｘ以上移動した場合のＹ軸（第２の軸）における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部３０３は、新たなＹ軸方向の基点として、握り拳がＸ軸において所定の距離Ｌｘ以上移動する直前のポイントから、握り拳がＸ軸方向において所定の距離Ｌｘ以上移動したことが検出された時点におけるポイントに再設定する。

図５に戻ると、次いで、フォーカス移動制御部３０３は、時間の経過に応じて、基点を移動させる（ステップＳ５０４）。この基点の移動は、以下のような２つの方式が考えられる。

第１の方式では、ステップＳ５０３から所定の時間（例えば１秒）経過した後に握り拳が基点から所定の距離Ｌｘ以上移動していなかった場合、フォーカス移動制御部３０３は、ステップＳ５０３からの経過時間よりも上記所定の時間経過前に握り拳があったポイントを新たな基点にする。すなわち、ステップＳ５０３から経過した時間をＴ秒とし、上記所定の時間をＴ_０秒とすると（Ｔ≧Ｔ_０）、フォーカス移動制御部３０３は、ステップＳ５０３から（Ｔ−Ｔ_０）秒経過したときに握り拳があったポイントを新たな基点にする。

第２の方式では、ステップＳ５０３後、フォーカス移動制御部３０３は、時間経過とともに、一定の速さ（例えば０．００２ｍ／秒）で、基点が握り拳に近づく方向へ、Ｘ軸（第１の軸）に沿って基点を移動させる。従って、基点のＹ軸（第２の軸）の値は、本ステップＳ５０４前後で変わらないことになる。また、基点のＸ軸における値と、握り拳のＸ軸の値とが一致した場合は、フォーカス移動制御部３０３は、基点の移動を停止する。

次いで、ステップＳ５０５において、フォーカス移動制御部３０３は、カメラ１０７を介して第２の手形状（図４（ｃ）のサムアップサイン）が手形状認識部３０１により検出されるのを待つ。

サムアップサインが手形状認識部３０１により検出され、フォーカス移動制御部３０３が、その検出されたことを示す信号（サムアップサインに対応する識別子及びサムアップサインの位置情報を含む）を受信すると（ステップＳ５０５のＹＥＳ）、フォーカス移動制御部３０３は、選択された選択対象オブジェクトを実行対象として決定し（ステップＳ５０６）、本動作は終了する。

一方、サムアップサインが手形状認識部３０１により検出されなければ（ステップＳ５０５のＮＯ）、本動作は、ステップＳ５０２の処理に戻る。

本動作において、ステップＳ５０４の第１の方式は、ステップＳ５０３から所定の時間経過後に握り拳が基点から所定の距離Ｌｘ以上移動していなかった場合に実行されるものとして説明した。しかしながら、実際には、ステップＳ５０４の第１の方式は、ステップＳ５０１から所定の時間経過後に握り拳が基点から所定の距離Ｌｘ以上移動していなかった場合にも実行されるものである。また、ステップＳ５０５は、ステップＳ５０４後に実行されるものとして説明したが、実際には、ステップＳ５０１で握り拳が検出された後のどのタイミングでも実行されるものである。

図８は、本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示している。図８の画面８０１〜８０４に示されるように、本例では、Ａ〜Ｊで表された１０個の選択対象オブジェクトが存在する。

画面８０１に示される段階では、選択対象オブジェクトＢにフォーカスが当てられている。

次に、カメラ１０７（図１）を介して握り拳を手形状認識部３０１（図３）が検出し、さらに握り拳が右方向に所定の距離Ｌｘ以上移動されると（図５のステップＳ５０２のＹＥＳ）、画面８０２に示されるように、選択対象オブジェクトＣにフォーカスが移動する。

同様に、握り拳が右方向に移動されていくと、画面８０３に示されるように、選択対象オブジェクトＤにフォーカスが移動する。この時点で、基点の縦方向（Ｙ軸方向）の値は、フォーカスが選択対象オブジェクトＤに移動したときの値に再設定されている（図５のステップＳ５０３）。

従って、次に握り拳が下方向に所定の距離Ｌｙ（図７（ｂ）に示されている）以上移動されると（図５のステップＳ５０２のＹＥＳ）、画面８０４に示されるように、選択対象オブジェクトＩにフォーカスが移動することになる。

このように、握り拳が上下左右いずれかの方向に所定の距離以上移動されることで、フォーカス移動制御部３０３（図３）が所定の距離以上したことを検出する。その結果、画面上で表示されている選択対象オブジェクトに関して、検出した方向に対応するフォーカスの移動が生じることになる。

図９は、カメラ１０７を介して撮影された手形状（握り拳）が検出されたときの画面に表示されるユーザインターフェース（ＵＩ）９００の一例を示している。

カメラ１０７を介して握り拳が手形状認識部３０１（図３）により検出され、フォーカス移動制御部３０３（図３）が、その検出を示す信号を受信すると（図５のステップＳ５０１のＹＥＳ）、図９に示されるように、その手形状に対応する握り拳のアイコンが表示される。このアイコンは、最初に表示されるときには、予め定められた選択対象オブジェクト（例えば、図８に示される画面の場合、選択対象オブジェクトＡ）上に重ねられて表示される。また、このアイコンは、図５に示したフローチャートに従って、選択対象オブジェクト間を移動する。なお、握り拳のアイコンの周囲に存在する矢印は、その方向にフォーカスを移動させることが可能であることを示している。従って、本例に示された手形状のアイコンを使用することで、認識対象オブジェクトである手形状の意図しない動き（ブレ）に反応することなく、選択対象オブジェクトにおけるスムーズなフォーカスの移動を実現することが可能となる。

本実施形態によれば、手形状が所定の距離以上移動されたときに、新たな基点として、直前の基点から、手形状が移動した方向へ、所定の距離の１倍〜２倍のポイントに再設定することで、認識精度の悪さに起因するブレやユーザ自身の手のブレによるフォーカスの移動を抑制することができる（図５のステップＳ５０３による）。

また、本実施形態によれば、ユーザの意図する方向へのフォーカスの移動に際して、実際には上下方向にも少々動いていたとしても、ユーザが意図しない別軸方向へのフォーカスの移動を抑制することができる（図５のステップＳ５０３による）。

また、本実施形態によれば、ユーザが意図せず手がゆっくり動いたとしても、フォーカスの移動を抑制することができる（図５のステップＳ５０４による）。

（応用形態）
以下では、前述した実施形態を応用した形態について、図面を参照しながら説明する。

図１０は、所定のアプリケーション（本形態では、ＡＶアプリケーション）を実行するときに、カメラ１０７を介して撮影された所定の手形状（本形態では、握り拳）が手形状認識部３０１（図３）により検出され、フォーカス移動制御部３０３（図３）がその検出を示す信号を最初に受信したとき（図５のステップＳ５０１のＹＥＳ）のＵＩ１０００の一例を示している。なお、図１０に示したＵＩ１０００では、１×６のマトリクス状のボタンが配置されているが、表示されるＵＩでは、Ｎ×Ｍ（Ｎ、Ｍ；自然数）の二次元マトリクス状のボタンが配置され得る。

上記に関連して、図１３は、握り拳が図３の手形状認識部３０１により検出され、図３のフォーカス移動制御部３０３がその検出を示す信号を最初に受信したとき（図５のステップＳ５０１のＹＥＳ）、操作対象のアプリケーションに応じて表示される既定のＵＩの例を示している。

ここで、図１３（ａ）は、ＤＶＤやＣＤ視聴等のＡＶアプリケーションで表示されるＵＩ１３０１を示す図であり、（ｂ）はテレビ視聴アプリケーションで表示されるＵＩ１３０２を示す図である。例えばマイクロソフト社のＷｉｎｄｏｗｓ（登録商標） ＯＳシリーズでは、これらアプリケーションと、表示される対応ＵＩとは、関連付けられて、例えばレジストリに予め格納されている。

次に、図１０に示したＵＩ１０００に対して、所定の手形状（握り拳）が移動されたときの、選択対象オブジェクト（ボタン）におけるフォーカスの移動する様子を図１１に示す。

図１１（ａ）は、ＡＶアプリケーションを実行するときに、カメラ１０７を介して撮影された握り拳が図３の手形状認識部３０１により検出され、図３のフォーカス移動制御部３０３がその検出を示す信号を最初に受信したとき（図５のステップＳ５０１のＹＥＳ）のＵＩ１１０１である。この段階では、メディアが再生され、左から４番目の一時停止ボタンにフォーカスが当てられている。

次に検出された握り拳が右方向に移動され、その移動距離が所定の距離以上になると（図５のステップＳ５０２のＹＥＳ）、図１１（ｂ）に示されるように、フォーカスも右に１個分移動されて、ＤＶＤタイトルにおけるチャプタやＣＤ音楽における曲を１つだけ先に進めるボタンにフォーカスが当てられる。

同様に、検出された握り拳が右方向に移動されると、図１１（ｂ）に示されるように、フォーカスも右に１個分移動されて、早送りボタンにフォーカスが当てられる。

図１２は、検出される手形状が、第１の手形状（握り拳）から第２の手形状（サムアップサイン）に変化したときに、図１０に示したＵＩ１０００が変化する様子を示している。

図１２（ａ）は、ＡＶアプリケーションを実行するときに、カメラ１０７を介して撮影された握り拳が図３の手形状認識部３０１により検出され、図３のフォーカス移動制御部３０３がその検出を示す信号を最初に受信したとき（図５のステップＳ５０１のＹＥＳ）のＵＩ１２０１である。この段階では、メディアが再生され、左から４番目の一時停止ボタンにフォーカスが当てられている。

ここで、カメラ１０７を介して第２の手形状（サムアップサイン）が図３の手形状認識部３０１により検出され、図３のフォーカス移動制御部３０３がその検出を示す信号を受信したと仮定する（図５のステップＳ５０５のＹＥＳ）。すると、図３のフォーカス移動制御部３０３は、実行対象を、フォーカスの当てられた一時停止ボタンに決定する。次いで、そのフォーカスの当てられた一時停止ボタン（図１２のＵＩ１２０２の斜線部分）は、その色が変更されたり、そのサイズが大きくなったりして、実行対象として決定されたことが示される。その決定に応じて、ＣＰＵ２０１（図２）は、メディアの再生を一時停止する。その後、一時停止ボタンが存在した位置にあるボタンが、一時停止を解除して再度再生するボタン（不図示）に切り替わり、そのボタンにフォーカスが当てられた状態のＵＩが表示される。

また、上述したＵＩ１０００等は、手形状データベース３０２に予め格納されている手形状を検出しなくなってから、所定の時間（例えば１秒）経過後に画面上から消える。

本形態によれば、操作対象アプリケーションと、表示される対応ＵＩとは、関連付けられているので、ユーザが意図する操作を迅速に行うことができる。

また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えば手形状の誤検出によりユーザが出している手形状の検出が少しの時間途切れても、継続してＵＩを操作することができる。

また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えばユーザが手を伸ばしきってそれ以上フォーカスを移動させることができない場合でも、手を迅速に余裕のある位置に戻すことで、継続してＵＩを操作することができる。

以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態そのままに限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、本発明は、本実施形態で説明したノートブック型パーソナルコンピュータの他にも、デスクトップ型パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ）、ゲーム機、テレビ等の様々な情報処理装置に適用することができる。

また、前述した実施形態において記載した処理は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、又は通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以上、本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス制御移動方法及びフォーカス移動制御プログラムを提供することができる。

１００ コンピュータ
１０１ 本体ユニット
１０２ ディスプレイユニット
１０３ ＬＣＤ
１０４ 電源ボタン
１０５ キーボード
１０６ タッチパッド
１０７ カメラ
２０１ ＣＰＵ
２０２ メインメモリ
２０３ ノースブリッジ
２０６ サウスブリッジ
２１０ ＨＤＤ
２１１ ＯＤＤ
２１２ ＢＩＯＳ−ＲＯＭ
２１３ ＥＣ／ＫＢＣ
２３０ ＢＩＯＳ
３０１ 手形状認識部
３０２ 手形状データベース
３０３ フォーカス移動制御部

Claims (19)

1. ディスプレイを有する情報処理装置であって、
   前記情報処理装置に接続されたカメラと、
   １つ又は複数の手形状を記憶した記憶手段と、
   前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、
   前記手形状認識部により、前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部と
   を具備し、
   前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする情報処理装置。
2. 前記手形状認識部により最初に検出された前記第１の手形状の位置を第１基点として、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第１の手形状が前記第１基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項１記載の情報処理装置。
3. 前記フォーカス移動制御部は、前記第１基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の１倍乃至２倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第１の手形状のポイントに移動させた位置を、第２基点として再設定することを特徴とする請求項２記載の情報処理装置。
4. 前記フォーカスを移動した後、前記フォーカス移動制御部は、前記第１の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の１倍乃至２倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第１の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項１記載の情報処理装置。
5. 前記手形状認識部により、前記記憶手段に記憶された１つ又は複数の手形状と一致する第２の手形状であって、前記第１の手形状とは異なる第２の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記フォーカス移動制御部は、前記第２の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの１つを実行対象として決定することを特徴とする請求項１乃至４いずれか１項記載の情報処理装置。
6. 前記フォーカス移動制御部は、前記第２基点が再設定された後、第１の所定の時間経過後に前記第１の手形状が前記第２基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第２基点が再設定された後に経過した時間よりも前記第１の所定の時間経過前における前記第１の手形状の位置に移動させることを特徴とする請求項３記載の情報処理装置。
7. 前記フォーカス移動制御部は、前記新たな基点が再設定された後、第１の所定の時間経過後に前記第１の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第１の所定の時間経過前における前記第１の手形状の位置に移動させることを特徴とする請求項４記載の情報処理装置。
8. 前記手形状認識部により前記第１の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項１記載の情報処理装置。
9. 前記第１の手形状が前記手形状認識部により検出されなくなってから第２の所定の時間経過した後、前記ユーザインターフェースが前記ディスプレイに表示されなくなることを特徴とする請求項８記載の情報処理装置。
10. 前記手形状認識部により前記第１の手形状が最初に検出されたときに、前記第１の手形状が検出されたことを示すアイコンが、予め定められた前記複数の選択対象オブジェクトのうちの１つに重ねられて前記ディスプレイに表示されることを特徴とする請求項１記載の情報処理装置。
11. ディスプレイと、１つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、
    前記情報処理装置に接続されたカメラを介して画像を取得し、
    前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、
    前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、
    前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御方法。
12. 前記手形状認識部により最初に検出された前記第１の手形状の位置を第１基点として、前記画像内の横軸又は縦軸方向において前記第１の手形状が前記第１基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項１１記載のフォーカス移動制御方法。
13. 前記第１基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の１倍乃至２倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第１の手形状のポイントに移動させた位置を、第２基点として再設定することを特徴とする請求項１２記載のフォーカス移動制御方法。
14. 前記フォーカスを移動した後、前記第１の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の１倍乃至２倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第１の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項１１記載のフォーカス移動制御方法。
15. 前記記憶手段に記憶された１つ又は複数の手形状と一致する第２の手形状であって、前記第１の手形状とは異なる第２の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第２の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの１つを実行対象として決定することを特徴とする請求項１１乃至１４いずれか１項記載のフォーカス移動制御方法。
16. 前記第２基点が再設定された後、第１の所定の時間経過後に前記第１の手形状が前記第２基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第２基点が再設定された後に経過した時間よりも前記第１の所定の時間経過前における前記第１の手形状の位置に移動させることを特徴とする請求項１３記載のフォーカス移動制御方法。
17. 前記新たな基点が再設定された後、第１の所定の時間経過後に前記第１の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第１の所定の時間経過前における前記第１の手形状の位置に移動させることを特徴とする請求項１４記載のフォーカス移動制御方法。
18. 前記第１の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項１１記載のフォーカス移動制御方法。
19. ディスプレイと、１つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、
    前記情報処理装置に接続されたカメラを介して画像を取得する手順と、
    前記記憶手段に記憶された１つ又は複数の手形状と一致する第１の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、
    前記記憶手段に記憶された１つ又は複数の手形状と一致する前記第１の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第１の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順と
    を実行させ、
    前記画像内の横軸又は縦軸方向において前記第１の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御プログラム。

Images