JP6528193B2 - 電子機器 - Google Patents

Description

本発明は、所定の情報処理を行うことが可能な手持ち型の電子機器に関する。

従来より、ディスプレイとディスプレイの背面に設けられたカメラとを備える携帯型のゲーム装置が存在する（例えば、特許文献１）。このような従来のゲーム装置では、カメラにより撮像画像を取得し、当該取得された画像を解析した結果に基づく画像をディスプレイに表示することができる。

特開２００６−２７１６６３号公報

しかしながら、上記従来の装置では、カメラを用いてディスプレイの背面方向を撮像した画像をディスプレイに表示するものであり、他の方向を撮像するカメラからの撮像画像をユーザに見やすく表示するという点において改善の余地があった。

それ故、本発明の目的の一つは、所定方向を撮像するカメラからの画像をユーザに見やすく表示することが可能な電子機器を提供することである。

本発明では、上記の課題を解決するために、以下の構成を採用した。

一実施形態に係る電子機器は、カメラと、取得手段と、表示制御手段と、処理手段とを備える。カメラは、前記電子機器の側面方向を撮像する。取得手段は、前記カメラによって撮像された入力画像を取得する。表示制御手段は、前記取得手段によって取得された入力画像により示される被写体を所定方向に傾けた画像を表示手段に表示させる。処理手段は、前記取得手段によって取得された入力画像に基づいて所定のアプリケーション処理を行う。

上記によれば、側面方向を撮像するカメラで撮像した被写体の画像を表示装置に表示する際に所定方向に傾けて表示することができ、例えばユーザにとって見やすい表示を行うことができる。

また、他の構成では、前記表示制御手段は、前記入力画像を斜めから見た画像を前記表示手段に表示させてもよい。

上記によれば、撮像した入力画像を斜めから見た画像を表示することで、電子機器の側面方向に存在する物体を違和感なく表示することができ、ユーザにとって見やすい表示とすることができる。

また、他の構成では、前記表示制御手段は、前記カメラと当該カメラの撮像範囲に含まれる物体との相対位置をユーザに認識可能な態様で前記画像を表示させてもよい。

上記によれば、電子機器の側面方向に存在する物体の位置をユーザに認識可能に表示することができる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる物体の奥行き方向の位置をユーザに認識可能な態様で前記画像を表示させてもよい。

上記によれば、電子機器の側面方向に存在する物体の奥行き方向の位置をユーザに認識可能に表示することができる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる物体をユーザが直接見たときと、前記表示手段に表示される当該物体の画像とが同じ見え方となるように、前記画像を前記表示手段に表示させてもよい。

上記によれば、ユーザから見た物体の見え方と、表示装置に表示される物体の見え方が同様になるため、ユーザにとって見やすくなる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる物体が適切な位置にあるか否かをユーザに認識可能なガイド画像を表示させてもよい。

上記によれば、ガイド画像により、物体が適切な位置にあるか否かをユーザに認識させることができ、適切な位置にユーザを誘導することができる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲のうちの所定領域を示すガイド画像を前記表示手段にさらに表示させてもよい。

上記によれば、ガイド画像を表示することで、例えば、側面方向に存在する物体をカメラの撮像範囲内におさめやすくすることができる。

また、他の構成では、前記表示制御手段は、前記ガイド画像と前記入力画像とを所定方向に傾けた画像を前記表示手段に表示させてもよい。

上記によれば、入力画像とガイド画像とが所定方向に傾けて表示されるため、例えば、ユーザはより見やすい表示とすることができるとともに、カメラの撮像範囲内に物体をおさめやすくすることができる。

また、他の構成では、前記表示手段は前記電子機器に設けられてもよい。前記カメラは前記表示手段の側面方向を撮像する。前記表示制御手段は、前記表示手段の表示画面のうち、前記カメラの撮像方向側に前記画像を表示させる。

上記によれば、カメラの撮像方向と表示手段の表示画面における画像の表示位置とを一致させることができる。例えば、表示装置の右側面方向をカメラで撮像する場合、当該カメラで撮像した画像を表示装置の表示画面における右側に表示することができる。このため、例えば、側面方向に存在する物体の位置関係をユーザが認識し易くすることができる。

また、他の構成では、前記表示制御手段は、前記取得手段によって取得された入力画像により示される被写体を所定方向に傾けた画像とともに、前記所定のアプリケーション処理の結果を示す画像を表示してもよい。

上記によれば、被写体とカメラとの位置関係とその位置関係によるアプリケーション処理の結果とをユーザに認識させやすくすることができる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる物体を抽象化した画像を前記表示手段に表示させてもよい。

上記によれば、カメラの撮像範囲に含まれる物体を抽象化して表示することができ、例えばユーザにとって見やすい表示とすることができる。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる物体の輪郭を示す画像を前記表示手段に表示させてもよい。

また、他の構成では、前記表示制御手段は、前記カメラの撮像範囲に含まれる複数の物体のうちの特定の物体のみを前記表示手段に表示させてもよい。

上記によれば、特定の物体のみを表示することができ、他の物体が表示されることにより見にくい表示となることを防止できる。

また、他の構成では、前記入力画像に基づいてユーザの手を検出する検出手段をさらに備えてもよい。前記処理手段は、前記検出手段による検出結果に基づいて、前記アプリケーション処理を行う。

上記によれば、ユーザの手を検出することができ、手の検出結果に基づいてアプリケーション処理を行うことができる。

また、他の構成では、前記検出手段は、ユーザによって行われたジェスチャを検出してもよい。

上記によれば、ユーザによって行われたジェスチャを検出することができ、例えば、ジェスチャを用いた入力によりアプリケーション処理を行うことができる。

また、他の構成では、前記入力画像に含まれる物体の少なくとも一部が前記カメラの撮像範囲のうちの所定の領域からはみ出したか否かを判定する判定手段をさらに備えてもよい。前記表示制御手段は、前記判定手段による判定結果に応じた画像を前記表示手段に表示させる。

上記によれば、物体の一部が撮像範囲の所定の領域からはみ出したか否かをユーザに認識させることができる。

また、他の構成では、前記表示制御手段は、前記処理手段によって行われる所定のアプリケーション処理の実行状況に応じて、前記画像を表示又は非表示にしてもよい。

上記によれば、アプリケーションの実行状況又はユーザの選択に応じて前記画像を表示又は非表示とすることができ、例えば、アプリケーションの開始前のみ表示したり、チュートリアル時のみ表示したりすることができる。

また、他の構成では、前記電子機器は手持ち型の電子機器であってもよい。

また、他の構成では、前記カメラは、赤外光を受光可能な赤外線カメラであってもよい。

また、他の実施形態では、入力装置と、前記入力装置の側面方向を撮像するカメラと、前記カメラによって撮像された入力画像を取得する取得手段と、前記取得手段によって取得された入力画像により示される被写体を所定方向に傾けた画像を表示手段に表示させる表示制御手段と、前記取得手段によって取得された入力画像に基づいて所定のアプリケーション処理を行う処理手段と、を備える電子機器システムであってもよい。当該システムは、複数の装置によって構成されてもよいし、１の装置によって構成されてもよい。

また、一実施形態に係る電子機器は、カメラと、取得手段と、入力画像表示手段と、設定手段と、領域表示手段と、判定手段と、表示態様制御手段とを備える。取得手段は、前記カメラによって撮像された入力画像を取得する。入力画像表示手段は、前記取得手段によって取得された入力画像を表示手段に表示させる。設定手段は、前記カメラの撮像範囲よりも小さな領域であって当該撮像範囲に対して固定された固定領域を設定する。領域表示手段は、前記固定領域を示す領域画像を前記表示手段に表示させる。判定手段は、前記入力画像に含まれる物体の少なくとも一部が前記固定領域からはみ出したか否かを判定する。表示態様制御手段は、前記判定手段による判定結果に基づいて、前記表示手段に表示される画像の表示態様を制御する。

上記によれば、例えば、固定領域から物体がはみ出たか否かをユーザに認識させることができ、カメラの撮像範囲から物体がはずれることをユーザに認識させることができる。

また、他の構成では、前記カメラは前記電子機器の側面方向を撮像してもよい。

また、一実施形態に係る電子機器は、カメラと、取得手段と、検出手段と、処理手段と、条件判定手段と、警告手段とを備える。取得手段は、前記カメラによって撮像された入力画像を取得する。検出手段は、前記取得手段によって取得された入力画像に含まれる特定の物体を検出する。処理手段は、前記検出手段によって前記特定の物体が検出された場合に所定の情報処理を行う。条件判定手段は、前記入力画像に基づいて所定の条件を満たすか否かを判定する。警告手段は、前記検出手段によって前記特定の物体が検出されている場合において、前記条件判定手段によって前記所定の条件を満たすと判定された場合、警告を行う。前記処理手段は、前記条件判定手段によって前記所定の条件を満たすと判定された場合でも前記入力画像に基づいて前記所定の情報処理を行う。

上記によれば、例えば、特定の物体が検出されている場合であっても入力画像に基づいて所定の条件が満たされていると判定された場合には、警告を行うことができ、例えば、入力画像に基づく所定の情報処理が行われなくなる前に、事前にユーザに警告することができる。

また、他の構成では、前記検出手段によって前記特定の物体が検出されなかった場合、前記警告手段による警告とは異なる警告を行う第２警告手段をさらに備えてもよい。

また、他の構成では、前記検出手段によって前記特定の物体が検出されなかった場合、前記処理手段による前記所定の情報処理を停止する停止手段をさらに備えてもよい。

本発明の一例によれば、側面方向を撮像するカメラで撮像した画像を表示装置に表示する際に所定方向に傾けて表示することができ、例えばユーザにとって見やすい表示を行うことができる。

本実施形態の携帯電子機器１の正面図 携帯電子機器１の右側面図 携帯電子機器１の背面図 携帯電子機器１の内部構成の一例を示すブロック図 携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 本実施形態のガイド表示の一例を示す図 図８に示す状態において赤外線カメラ４によって撮像された赤外線画像の一例を示す図 図９に示す画像が取得された場合の輪郭描画処理およびガイド枠画像描画処理が行われた後の画像の一例を示す図 図８に示す状態からユーザが手を上方向（Ｙ軸方向）に移動させた状態を示す図 図８に示す状態からユーザが手を画面の奥方向（Ｚ軸方向）に移動させた状態を示す図 図１１に示す状態における輪郭画像２１とガイド枠画像２２とを合成した合成画像４１を示す図 図１２に示す状態における輪郭画像２１とガイド枠画像２２とを合成した合成画像４１を示す図 パース表示を行うための処理の一例を示す概略図 携帯電子機器１のディスプレイ２に表示されるメニュー画面の一例を示す図 メニュー画面によって選択されたアプリＢが起動した様子を示す図 起動されたアプリＢのゲームが開始された直後の画面の一例を示す図 ゲームが実行されている間の画面遷移の一例を示す図 他の実施形態におけるメニュー画面を表示するためのジェスチャの一例を示す図 ガイド表示を行うための処理の一例を示すフローチャート メニュー画面の表示を行うための処理の一例を示すフローチャート アプリケーション制御処理の一例を示すフローチャート

以下、本発明の一実施形態に係る携帯電子機器について説明する。携帯電子機器は、ユーザが手で持って操作可能な手持ち型の情報処理装置であり、例えば、ゲーム装置であってもよいし、携帯電話機（スマートフォン等）、タブレット端末、カメラ、腕時計型の端末等の任意の装置であってもよい。図１は、本実施形態の携帯電子機器１の正面図である。図２は、携帯電子機器１の右側面図である。図３は、携帯電子機器１の背面図である。

図１に示すように、携帯電子機器１は、ディスプレイ２と、タッチパネル３と、赤外線カメラ４と、測距センサ５と、入力ボタン６（６Ａ〜６Ｄ）と、照射部７と、プロジェクタ８とを備え、これらはハウジング１０に収納される。ハウジング１０（携帯電子機器１）は、板状の形状であり、ユーザが片手又は両手で把持可能な大きさである。

ディスプレイ２としては、例えば、液晶表示装置や有機ＥＬ表示装置等が用いられ、その他、任意の表示装置が用いられてもよい。ディスプレイ２の画面は、ハウジング１０の正面（Ｔ５面）に露出するように設けられる。タッチパネル３は、ディスプレイ２の画面上に設けられ、ユーザによってタッチされた画面上の位置を検出する。タッチパネル３としては、１点検出が可能なものや多点検出が可能なものが用いられ、例えば、静電容量方式、抵抗膜方式等、任意のものが用いられてもよい。

入力ボタン６Ａ〜６Ｄは、ユーザによる入力（押下）を受け付ける。入力ボタン６Ａ〜６Ｄは、ユーザが携帯電子機器１の両端を把持したときにユーザの指が届く位置に設けられる。具体的には、入力ボタン６Ａおよび６Ｃは、ユーザが右手で携帯電子機器１を把持したときに右手の指が届く位置にあり、入力ボタン６Ａは右手の親指が届く位置に、入力ボタン６Ｃは右手の人差し指又は中指が届く位置に設けられる。また、入力ボタン６Ｂおよび６Ｄは、ユーザが左手で携帯電子機器１を把持したときに左手の指が届く位置にあり、入力ボタン６Ｂは左手の親指が届く位置に、入力ボタン６Ｄは左手の人差し指又は中指が届く位置に設けられる。図１に示すように、入力ボタン６Ａおよび６Ｂは、ハウジング１０の正面（Ｔ５面）に設けられ、入力ボタン６Ｃおよび６Ｄは、ハウジング１０の上面（Ｔ４面）に設けられる。なお、ユーザによる入力を受け付ける入力部としては、入力ボタン６Ａ〜６Ｄの他に、方向入力のための十字キー、アナログスティック等が設けられてもよい。

赤外線カメラ４は、レンズと光（赤外線。具体的には近赤外線）に感光するセンサとを備える。赤外線カメラ４のセンサは、赤外線に感光する素子を縦横に複数並べたイメージセンサであり、当該イメージセンサの各素子が赤外線を受光して電気信号に変換することで２次元の赤外線画像を出力する。

測距センサ５は、測距センサ５に設けられた光源から射出された光（例えば、赤外光）が物体に反射し、当該反射光を受光素子で受光することで物体との間の距離を測定する。測距センサ５としては、三角測距方式、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式等任意のものが用いられてもよい。測距センサ５の光源としては、特定方向に赤外光を射出するＬＥＤやレーザダイオード等が用いられる。

照射部７は、赤外線を所定の時間間隔（例えば、１／６０秒間隔）で照射する。赤外線カメラ４が画像を撮像するタイミングと同期して、照射部７が赤外線を照射する。照射部７は、携帯電子機器１の右側面方向の所定の範囲に赤外線を照射する。照射部７によって照射された赤外線が物体によって反射され、当該反射された赤外線が赤外線カメラ４によって受光されることで、赤外線の画像が取得される。なお、照射部７は、赤外線カメラ４による赤外線画像の撮像のため、および、測距センサ５による距離の測定のために用いられてもよい。すなわち、照射部７からの赤外光を利用して、赤外線カメラ４によって画像が撮像されるとともに、測距センサ５によって距離が測定されてもよい。

また、プロジェクタ８は、可視光を射出する光源を有し、当該光源からの光を用いて文字や画像等を投影面（スクリーンやユーザの手等）に投影する。

赤外線カメラ４、測距センサ５、照射部７、およびプロジェクタ８は、ハウジング１０の側面（例えば右側面：Ｔ１面）に設けられる。具体的には、赤外線カメラ４の撮像方向（光軸）は、右側面に垂直な方向を向く。測距センサ５の検出方向、プロジェクタ８が光を照射する方向もまた同様に右側面に垂直な方向である。すなわち、赤外線カメラ４は、ユーザが左手で携帯電子機器１を把持した際に、携帯電子機器１の右側面方向の空間を撮像し、測距センサ５は、携帯電子機器１の右側面方向の空間に存在する物体までの距離を測定する。また、プロジェクタ８は、赤外線カメラ４および測距センサ５と同じ方向に可視光を照射することで画像等を投影する。

携帯電子機器１の背面（Ｔ６面）には、外側カメラ９が設けられる（図３）。外側カメラ９は、典型的には、赤外線カメラ４の撮像方向とは垂直な方向を撮像可能であり、背面と垂直な方向を撮像可能である。外側カメラ９は、レンズと可視光に感光するイメージセンサとを備える。外側カメラ９は、背面方向の空間を撮像し、カラー画像（ＲＧＢ画像）を取得する。なお、背面の外側カメラ９に加えて正面にもカメラが設けられてもよいし、背面の外側カメラ９は設けられず、正面（ディスプレイ２の画面が設けられた面）にカメラが設けられてもよい。

図４は、携帯電子機器１の内部構成の一例を示すブロック図である。図４に示すように、携帯電子機器１は、上述した各部の他、バイブレータ１１、マイク１２、スピーカ１３、制御部１４、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、および地磁気センサ１８を備える。また、携帯電子機器１は、図示しないバッテリーを備え、当該バッテリーから電源が供給される。これら各部はハウジング１０内に収納される。

制御部１４は、ディスプレイ２、タッチパネル３、赤外線カメラ４、測距センサ５、入力ボタン６、照射部７、プロジェクタ８、バイブレータ１１、マイク１２、スピーカ１３、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、地磁気センサ１８等、各部に接続され、各部を制御する。

具体的には、制御部１４は、ＣＰＵやメモリ（ＲＡＭ）等を含み、携帯電子機器１に備えられた図示しない記憶装置（例えば、不揮発性メモリやハードディスク等）に記憶された所定のプログラム（例えば、ゲーム処理や画像処理、各種演算を行うためのアプリケーションプログラム）に基づいて所定の処理を行う。例えば、制御部１４は、赤外線カメラ４からの画像を取得して当該画像を解析したり、測距センサ５からの信号に基づいて物体までの距離を算出したり、タッチパネル３や入力ボタン６からの入力信号に応じた処理を行う。そして、制御部１４は、所定の処理の結果に基づく画像を生成し、ディスプレイ２に当該画像を出力する。なお、所定の処理を行うためのプログラムは、通信部１５を介して外部からダウンロードされてもよい。

バイブレータ１１は、制御部１４からの命令に基づいて動作し、携帯電子機器１全体を振動させる。バイブレータ１１は、ユーザの手に振動が伝わりやすい所定の位置（例えば、ハウジング１０内の中央部や左右の何れかに偏った位置）に設けられる。

マイク１２およびスピーカ１３は、音声を入力／出力するために用いられる。通信部１５は、所定の通信方式（例えば、無線ＬＡＮ等）で他の機器と通信を行うために用いられる。また、姿勢検出部１６は、例えば、加速度センサや角速度センサであり、携帯電子機器１の姿勢を検出する。

ＧＰＳレシーバ１７は、ＧＰＳ（Global Positioning System）衛星からの信号を受信し、当該信号を受信することで携帯電子機器１は自機の位置を計算することができる。例えば、携帯電子機器１は、特定の位置で所定の操作（例えば、後述する赤外線カメラ４を用いたジェスチャ入力やボタン入力、携帯電子機器１を振るなどの動作）が行われた場合に、当該特定の位置に対応付けられたオブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合において、携帯電子機器１が特定の位置にある場合、当該特定の位置に対応したオブジェクトを当該ゲームに登場させてもよい。

また、地磁気センサ１８は、磁気の方向および大きさを検出可能なセンサである。例えば、携帯電子機器１は、地磁気センサ１８の検出結果に基づいて、特定の方位を向いているか否かを判定し、特定の方位で所定の操作（上記ジェスチャ入力等）が行われた場合に、オブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合、特定の方位に対応したオブジェクトが当該ゲームに登場してもよい。また、携帯電子機器１は、ＧＰＳレシーバ１７を用いたＧＰＳ情報と地磁気センサを用いた方位情報とを組み合わせてもよい。例えば、携帯電子機器１が、特定の位置にあり、かつ、特定の方位を向いている場合、当該特定の位置及び特定の方位に対応するオブジェクトを表示したり、当該オブジェクトをゲームに登場させてもよい。

図５は、携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図である。図５に示すように、ユーザは携帯電子機器１の左右両端部を把持する。ユーザが左右の両端部を把持した場合に、ユーザは、左手の親指で入力ボタン６Ｂを押下可能であり、右手の親指で入力ボタン６Ａを押下可能である。また、ユーザが左右の両端部を把持した場合に、ユーザは、左手の人差し指又は中指を動かすことができ当該左手の人差し指又は中指で入力ボタン６Ｄを押下可能であり、右手の人差し指又は中指を動かすことができ当該右手の人差し指又は中指で入力ボタン６Ｃを押下可能である。

次に、携帯電子機器１に対する入力について説明する。本実施形態では、ユーザは、携帯電子機器１を左手で把持した状態で、右手を用いて携帯電子機器１に対してジェスチャ入力を行うことができる。

図６Ａおよび図６Ｂは、ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図である。図７Ａは、図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。図７Ｂは、図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。

図６Ａおよび図６Ｂに示すように、ユーザは、携帯電子機器１の右側面方向の位置で右手を用いて様々なジェスチャ入力を行う。携帯電子機器１は、携帯電子機器１の右側面に設けられた赤外線カメラ４で赤外線画像を撮像し、当該撮像した赤外線画像を解析することにより、ユーザのジェスチャ入力を判別する。

具体的には、図７Ａや図７Ｂに示す画像が赤外線カメラ４から取得されると、携帯電子機器１は、取得された画像に含まれる特定の物体（具体的には、人間の手）を検出し、当該特定の物体の形状等に基づいて、ユーザによって行われたジェスチャの種類を判別する。例えば、携帯電子機器１は、取得された画像に所定の形状の物体が存在するか否かをパターンマッチング等により判定する。例えば、携帯電子機器１は、図７Ａに示す画像が取得された場合、指の本数から「グー」を認識することができ、図７Ｂに示す画像が取得された場合は、指の本数から「パー」を認識することができる。そして、携帯電子機器１は、後述するようにジェスチャの種類に応じた処理を行う。

ここで、判別されるジェスチャは、ユーザの手や顔等の体の一部や全体を用いた身振り・手振りであり、携帯電子機器１は、手等の静止した状態をジェスチャ入力として認識してもよいし、手を使った一連の動作をジェスチャ入力として認識してもよい。また、携帯電子機器１は、ユーザが物を持った状態で行われるジェスチャ入力を認識してもよい。この場合、携帯電子機器１は、ユーザが持っている物のみの静止状態や動作状態をジェスチャ入力として認識してもよいし、ユーザの手と物を含んだ全体の静止状態や動作状態をジェスチャ入力として認識してもよい。

なお、赤外線カメラ４によって撮像された赤外線画像の中に複数の物体が含まれる場合、携帯電子機器１は、複数の物体のうちの特定の物体のみを検出し、当該検出した物体に基づいて処理を行ってもよい。例えば、赤外線カメラ４を用いてユーザの手を撮像する場合、手とその背後の物体が赤外線画像の中に含まれることがある。この場合、携帯電子機器１は、ユーザの手のみを認識してもよい。例えば、携帯電子機器１は、赤外線カメラ４によって撮像された赤外線画像に含まれる複数の物体の画像のうち、平均輝度が最も高い物体の画像のみを取り出して、当該物体の画像を解析することにより、ユーザの手を認識してもよい。また、赤外線カメラ４によって撮像された赤外線画像に含まれる複数の物体の画像からパターンマッチング等に基づいてユーザの手のみを認識してもよい。

本実施形態では、ユーザは、携帯電子機器１の例えば右側面方向において右手を用いてジェスチャを行うことで、携帯電子機器１に対して様々な操作を行う。まず、ユーザは、携帯電子機器１の右側面に配置された赤外線カメラ４で自身の右手が正常に撮像され、ジェスチャ入力が可能な状態か否かを認識する必要がある。そこで、本実施形態では、ジェスチャ入力が可能な位置をユーザに認識させるための（ユーザの手をジェスチャ入力に適した位置に誘導するための）ガイド表示が行われる。例えば、後述するアプリケーションが実行されるに先立って、ガイド表示が行われる。

（ガイド表示）
図８は、本実施形態のガイド表示の一例を示す図である。図８では、赤外線カメラ４の撮像範囲内にユーザの右手があり、かつ、赤外線カメラ４によってユーザの右手が赤外線カメラの正面から撮像される場合におけるガイド表示の一例が示されている。

図８に示すように、ディスプレイ２の画面の右側には、ユーザに正しいジェスチャ入力位置を認識させるためのガイド表示として、輪郭画像２１とガイド枠画像２２とが表示される。輪郭画像２１は、赤外線カメラ４によって撮像された赤外線画像に含まれるユーザの手の画像の輪郭を示す画像である。ガイド枠画像２２は、正しいジェスチャ入力位置をユーザに認識させるための画像であり、赤外線カメラ４によって撮像される撮像範囲よりも狭い範囲を示す画像である。

図８に示すように、例えば、携帯電子機器１の右方向（長辺方向）をＸ軸、上方向（短辺方向）をＹ軸、ディスプレイ２の画面の奥方向をＺ軸と定義する。赤外線カメラ４からＸ軸方向に延びる直線がユーザの右手の掌のほぼ中央に当たり、かつ、Ｘ軸方向の適切な位置にユーザの右手が存在する場合、赤外線カメラ４によってユーザの右手の全部が撮像される。

図９は、図８に示す状態において赤外線カメラ４によって撮像された赤外線画像の一例を示す図である。図１０は、図９に示す画像が取得された場合の輪郭描画処理およびガイド枠画像描画処理が行われた後の画像の一例を示す図である。

図９に示すように、赤外線カメラ４によって撮像された赤外線画像４０には、ユーザの右手の画像が含まれる。この撮像された赤外線画像４０に輪郭描画処理およびガイド枠画像描画処理が行われることで、図１０に示す合成画像４１が生成される。具体的には、携帯電子機器１は、図１０に示すように、赤外線カメラ４によって赤外線画像４０が撮像されると、例えばエッジ検出によって赤外線画像４０に含まれる右手の輪郭を検出するとともに輪郭以外の内部の画素情報を消去することにより、輪郭画像２１を生成する。また、携帯電子機器１は、生成した輪郭画像２１に重ねてガイド枠画像２２を描画する。具体的には、ガイド枠画像２２は、赤外線カメラ４によって撮像された赤外線画像４０の画像中心に固定された、一定の大きさを有する四角形の枠を示す画像である。

輪郭画像２１とガイド枠画像２２とを合成した合成画像４１が、所定方向に傾けられて、ディスプレイ２に表示される。具体的には、携帯電子機器１は、図８に示すように、合成画像４１にパースをかけ、パースがかかった合成画像（合成画像４１を斜めから見た画像）をディスプレイ２に表示する。なお、パースをかける処理の具体例については後述する。

ここで、図８に示す状態からユーザが右手を動かした場合、ディスプレイ２に表示される画像が変化する。図１１は、図８に示す状態からユーザが手を上方向（Ｙ軸方向）に移動させた状態を示す図である。図１２は、図８に示す状態からユーザが手を画面の奥方向（Ｚ軸方向）に移動させた状態を示す図である。

図１１に示すように、赤外線カメラ４の撮像範囲の中心に対して上側にユーザの手の中心がある場合、ガイド枠画像２２の上方に輪郭画像２１の一部がはみ出た画像が、ディスプレイ２に表示される。また、図１２に示すように、赤外線カメラ４の撮像範囲の中心に対して左側（図１２のＺ軸方向側）にユーザの手の中心がある場合、ガイド枠画像２２の左方に輪郭画像２１の一部がはみ出た画像が、ディスプレイ２に表示される。ここで、図１１及び図１２に示すように、輪郭画像２１のうちガイド枠画像２２からはみ出た部分は、ガイド枠画像２２内に収まる部分とは異なる表示態様で表示される。例えば、輪郭画像２１のうちガイド枠画像２２からはみ出た部分は、色が異なっていたり、太い線で表示されたりする。

図１３は、図１１に示す状態における輪郭画像２１とガイド枠画像２２とを合成した合成画像４１を示す図である。図１４は、図１２に示す状態における輪郭画像２１とガイド枠画像２２とを合成した合成画像４１を示す図である。

図１３に示すように、赤外線画像の中心（赤外線カメラ４の撮像範囲の中心）よりも上側にユーザの手が存在する場合、ユーザの手の輪郭の一部がガイド枠画像２２の上方にはみ出る。また、図１４に示すように、赤外線画像の中心よりも左側にユーザの手が存在する場合、ユーザの手の輪郭の一部がガイド枠画像２２の左方にはみ出る。これらはみ出た部分は、はみ出てない他の部分（例えば、黒色）とは異なる表示態様（例えば、赤色）で表示される。このような合成画像４１が生成された後、これらの画像にパースがかけられディスプレイ２に表示される（図１１及び図１２に示すように合成画像４１がパース表示される）。

このように、パースがかかった画像（合成画像４１を斜めから見た画像）が表示されることにより、ユーザは、奥行き方向の位置を認識し易く、自身の手が赤外線カメラ４の撮像範囲に入っているか否かを容易に認識することができる。すなわち、パースがかかった画像は、ユーザが自身の手を直接見たときと同じような画像になるため、ユーザは奥行き方向を認識し易く、自身の手が現在奥行き方向のどの位置にあるかを容易に認識することができる。

また、赤外線カメラ４の撮像範囲に固定されたガイド枠画像２２が表示されるため、ユーザはガイド枠画像２２内に手が入るように手の位置を調整し易い。また、ガイド枠画像２２からはみ出た部分がガイド枠画像２２内の部分と異なる態様で表示されるため、ユーザは、手がガイド枠画像２２の外に出たことを容易に認識することができ、手の位置を調整し易くなる。

また、ガイド枠画像２２は、赤外線カメラ４によって撮像された赤外線画像よりも小さい。このため、ユーザの手がガイド枠画像２２からはみ出ても、赤外線カメラ４によって撮像された赤外線画像にユーザの手（指）が含まれる場合は、携帯電子機器１はユーザによって行われたジェスチャを認識することができる。ガイド枠画像２２を表示することにより、ユーザよって行われたジェスチャを認識できなくなる前に、赤外線カメラ４の撮像範囲からユーザの手が出てしまうことをユーザに警告することができる。

また、本実施形態では、携帯電子機器１の右側面方向が赤外線カメラ４で撮像され、その撮像された画像がディスプレイ２の画面の右側に表示される。すなわち、携帯電子機器１の側面方向が赤外線カメラ４で撮像され、ディスプレイ２の画面のうち、赤外線カメラ４で撮像される側面方向と同じ側に画像が表示される。このため、ユーザは自身の手の位置を直感的に認識し易い。

このように、本実施形態では、ガイド表示（輪郭画像２１及びガイド枠画像２２）が行われる。これにより、ユーザに正しいジェスチャ入力位置を認識させることができる。すなわち、上述のようなガイド表示を行うことで、手が適切な位置にあるか否かをユーザに認識させることができる。

ここで、図８、図１１及び図１２に例示されるようなパース表示を行うための処理の一例について説明する。

図１５は、パース表示を行うための処理の一例を示す概略図である。図１５に示すように、輪郭画像２１とガイド枠画像２２とが仮想空間の所定位置に配置される。例えば、ｘ軸、ｙ軸、及びｚ軸によって定義される仮想空間のｙｚ平面上に、輪郭画像２１を形成する各点、及び、ガイド枠画像２２を形成する各点がプロットされる。これらの各点がｘ軸方向に平行移動されて、輪郭画像２１’及びガイド枠画像２２’を形成する。これら移動後の各点（輪郭画像２１’及びガイド枠画像２２’）を射影変換することにより、ディスプレイ２にパースがかかった画像が表示される。具体的には、ｙｚ平面上に仮想カメラ５０が配置され、仮想カメラ５０の撮像方向（ｃｚ軸方向）はｚ軸と平行に設定され、仮想カメラ５０の上方向（ｃｙ軸方向）はｙ軸と平行に設定される。このような仮想カメラ５０で輪郭画像２１’及びガイド枠画像２２’を撮像した画像がディスプレイ２に表示される。

なお、パース表示のための処理は図１５に示す処理に限られない。例えば、輪郭画像２１とガイド枠画像２２とを合成した合成画像４１を、縦軸（図８のＹ軸）周りに所定の角度だけ回転させ、当該回転させた画像をディスプレイ２に表示することにより、合成画像４１にパースがかかった画像が表示されてもよい。

また、上記実施形態では、赤外線カメラ４によって撮像された赤外線画像に含まれる手の画像の輪郭を示す輪郭画像２１をディスプレイ２に表示したが、輪郭ではなく、赤外線カメラ４によって撮像された赤外線画像をそのままディスプレイ２にパース表示してもよい。また、赤外線カメラ４によって撮像された赤外線画像をそのままディスプレイ２に表示するのではなく、抽象化してディスプレイ２にパース表示してもよい。上述のような手の輪郭を表示することに限らず、例えば、撮像した手の特徴点を結んだボーン（特徴点を結ぶ線分）を表示することによって、赤外線カメラ４によって撮像された赤外線画像を抽象化して表示してもよいし、他の方法によって赤外線画像を抽象化してもよい。

また、上記実施形態では、手の画像の輪郭のうち、ガイド枠画像２２からはみ出た部分を他の部分と異なる特定の態様で表示することにより、ユーザにガイド枠から手がはみ出たことを知らせた。他の実施形態では、ユーザの手がガイド枠からはみ出た場合、手の画像全体（又ははみ出た部分）を特定の態様で表示させることで、ユーザに警告してもよい。また、ユーザの手がガイド枠画像２２からはみ出た場合に、手の画像に加えて又は代えて、ガイド枠画像２２を通常とは異なる特定の態様で表示することで、ユーザに警告をしてもよい。ここで、特定の態様としては、上述のように色を通常と異ならせたり、線の太さを変えたりするものに限らない。例えば、点滅表示することにより通常と異ならせてもよい。また、ユーザの手がガイド枠からはみ出た場合、他の画像や文字、音、振動（携帯電子機器１を把持した手（左手）に対する振動）、プロジェクタ８（ＬＥＤランプでもよい）を用いた光等により、ユーザに警告をしてもよい。

また、上記実施形態では、赤外線カメラ４によって撮像された赤外線画像にパースをかけてディスプレイ２に表示したが、他の実施形態では、撮像された画像（又は撮像された画像を抽象化した画像）にパースをかけずに表示してもよい。すなわち、ユーザが携帯電子機器１に対する手の相対位置を認識可能な態様で表示されればどのような態様で表示されてもよい。例えば、赤外線カメラ４によって撮像される撮像範囲を示す範囲画像をディスプレイに表示し、その範囲画像にユーザの手の位置を示す画像を重ねて（あるいは重ねずに）表示することで、撮像範囲のうちのどの位置にユーザの手があるのかを示してもよい。例えば、ユーザが手の奥行き方向の位置を認識し易いように、奥行き方向の位置を示す範囲画像を表示し、当該範囲画像に重ねて（あるいは重ねずに）、手の位置を示す画像を表示してもよい。具体的には、例えば、赤外線画像４によって撮像された赤外線画像から、当該撮像画像におけるユーザの手の所定位置（例えば重心）を算出する。そして、赤外線画像の左右方向（図９のＺ軸方向）の範囲を示す範囲画像を表示するとともに、当該算出した位置に、手の位置を示す画像を表示する。これにより、ユーザの手が奥行き方向（Ｚ軸方向）のどこに位置するかをユーザに認識させることができる。

また、上述したガイド表示は、後述するアプリケーションの実行前に行われることとしたが、携帯電子機器１によって行われる情報処理の実行状況に応じてガイド表示が行われたり、行われなかったりしてもよい。例えば、後述するアプリケーションの実行中に常にガイド表示が行われてもよいし、ユーザによる指示によってガイド表示の表示／非表示が切り替えられてもよい。また、ユーザによってガイド表示を行うためのプログラムの実行の指示が行われた場合に、ガイド表示が行われてもよい。また、携帯電子機器１の設定時や、携帯電子機器１の使い方をユーザに教示ためのチュートリアルのときだけ、上記ガイド表示が行われてもよい。

また、上記実施形態では、ユーザの手を認識できなくなるまでの事前の警告として、ガイド枠画像２２からユーザの手がはみ出た場合に、当該はみ出た部分を特定の態様で表示した。具体的には、赤外線カメラ４によって撮像された赤外線画像からユーザの手を認識することができる場合であっても、ユーザの手がガイド枠からはみ出る場合には、上記のようにガイド枠画像２２からはみ出た部分を特定の表示態様で表示することにより、ユーザに事前警告を行った。この場合において、実際に赤外線カメラ４によって撮像された赤外線画像からユーザの手を認識することができなくなった場合は、他の警告を行ってもよい。例えば、音声や文字、画像、振動、光等を用いて、上述したガイド枠画像２２を用いた事前警告とは異なる第２の警告が行われてもよい。また、後述のようなアプリケーションの実行中に上記ガイド表示を用いて事前警告を行う場合において、赤外線カメラ４によって撮像された赤外線画像からユーザの手を認識することができなくなったときは、第２の警告を行った後（又は第２の警告を行わず）、アプリケーションを終了してもよいし、後述のようにアプリケーションを一時停止してもよい。

また、上記実施形態では、ユーザの手を検出している場合であってもユーザの手の少なくとも一部がガイド枠からはみ出た場合に、ユーザに対して警告を行った。他の実施形態では、警告を行うための条件はこれに限らない。例えば、他の実施形態では、ユーザのジェスチャを認識できなくなる所定の条件が満たされているか否かを赤外線カメラ４によって撮像された画像に基づいて判定し、所定の条件が満たされている場合に、警告を行ってもよい。例えば、所定の条件としては、赤外線カメラ４によって撮像された画像が暗すぎる（又は明るすぎる）こと、画像に含まれるノイズのレベルが所定以上であること等であってもよい。例えば、画像全体の平均輝度が所定値未満である場合に、それよりも輝度が下がるとユーザのジェスチャを判別できないことになるため、そのような場合には警告を行ってもよい。

また、ガイド枠の形状や大きさは単なる一例であり、他の任意の形状、大きさのガイド枠が設定されてガイド枠画像として表示されてもよい。また、枠画像に限らず他の任意の画像が表示されてもよい。すなわち、赤外線カメラ４の撮像範囲に含まれる物体（例えばユーザの手）が適切な位置にあるか否かをユーザに認識可能な画像であればどのような画像が表示されてもよい。例えば、手が適切な位置にあるときには所定の画像が画面の端に表示され、手が適切な位置にないとき（手が撮像範囲内であって、適切な範囲の外にあるとき）には所定の画像が点滅表示されてもよい。

（アプリケーション制御）
次に、携帯電子機器１における赤外線カメラ４によって撮像された赤外線画像に基づくアプリケーションの制御について説明する。図１６は、携帯電子機器１のディスプレイ２に表示されるメニュー画面の一例を示す図である。図１７は、メニュー画面によって選択されたアプリＢが起動した様子を示す図である。

図１６に示すように、メニュー画面では携帯電子機器１において実行可能なアプリケーションの一覧が表示される。携帯電子機器１は、例えば、所定のゲームを行うゲームアプリケーション、音楽や映像を再生するためのアプリケーション、通話を行うためのアプリケーション、画像を撮像・表示するためのアプリケーション、電子メールやメッセージ等を送受信するためのアプリケーション、インターネット上のＷｅｂページを閲覧するためのブラウザアプリケーション、文書の作成や編集を行うためのアプリケーション等、任意のアプリケーションを実行可能であってもよい。また、メニュー画面から携帯電子機器１の設定を行うためのプログラムを実行可能であってもよい。

ユーザは、メニュー画面に表示された複数のアプリケーションを示すアイコンの中から所望のアプリケーションに対応するアイコンを選択する。例えば、ユーザは、入力ボタンを用いて、アプリケーションを選択可能であってもよいし、指やタッチペンを用いてタッチパネル３に対するタッチ操作を行うことで、アプリケーションを選択可能であってもよい。また、ユーザは、携帯電子機器１の右側面においてジェスチャを行うことによって、メニュー画面に表示された複数のアプリケーションの中から所望のアプリケーションを選択可能であってもよい。

例えば、図１６に示すようにアプリＢが選択された状態でユーザが手を右側面に近づけると、図１７に示すように、アプリＢが起動する。具体的には、携帯電子機器１は、赤外線カメラ４によって撮像された赤外線画像を解析して物体（例えばユーザの手）を検出する。物体が検出された場合、携帯電子機器１は、選択されたアプリＢを起動する。具体的には、携帯電子機器１の制御部１４のＣＰＵは、携帯電子機器１の内部の記憶装置（例えば不揮発性メモリ等）からアプリＢのプログラムをＲＡＭに読み込み、当該プログラムの実行を開始する。あるいは、アプリＢのプログラムは携帯電子機器１の外部に記憶され、携帯電子機器１は通信部１５を介して当該プログラムを取得し、ＲＡＭに読み込んでもよい。

なお、選択されたアプリを起動するための条件としては、携帯電子機器１が物体を検出したことに限らず、携帯電子機器１がユーザの手を検出したこと、携帯電子機器１がユーザの所定のジェスチャを検出したこと、携帯電子機器１の右側面がユーザによって把持されたこと、携帯電子機器１が特定の物体を検出したこと、携帯電子機器１と特定の物体との距離が所定の値になったこと、物体が所定以上の速度で移動していること等であってもよい。

例えば、赤外線カメラ４によって撮像された赤外線画像を解析することで、携帯電子機器１は、ユーザが携帯電子機器１を把持したことや携帯電子機器１と物体との距離を検出することができる。また、携帯電子機器１は、赤外線カメラ４から取得した赤外線画像に含まれる特定の物体の大きさに基づいて、携帯電子機器１と特定の物体との間の相対的な距離を判別してもよい。例えば、携帯電子機器１は、赤外線カメラ４によって撮像された赤外線画像の輝度情報に基づいて、ユーザによって把持されたと判定してもよいし、携帯電子機器１と物体との距離を算出してもよい。物体と携帯電子機器１との距離が近いほど赤外線画像の各画素の輝度は高くなる。このため、携帯電子機器１は、例えば撮像された赤外線画像のうち輝度が所定値以上の領域が、所定の割合以上である場合、ユーザによって把持されたと判定することができる。

また、携帯電子機器１は、赤外線画像に含まれる物体の輝度に基づいて、物体との相対的な距離を算出することができ、相対的な距離の変化に基づいて、物体の速度を算出することができる。このようにして算出された距離や速度に基づいて、携帯電子機器１は、アプリケーションを起動（開始）してもよい。

起動されたアプリＢは、所定の条件が成立することにより開始される。例えば、アプリＢがゲームアプリケーションである場合、ユーザによってゲームスタートのための所定の指示（ボタンやタッチパネル、ジェスチャ等を用いた指示）がされたことを条件に、ゲームが開始される。あるいは、携帯電子機器１がユーザの手を検出したことを条件に、ゲームが開始されてもよい。アプリＢがジェスチャを用いたゲームである場合は、ユーザの手が検出されなければゲームを行うことができないため、ユーザの手を検出したことがゲーム開始の条件であってもよい。あるいは、アプリケーションＢの起動から所定時間が経過したことを条件に、ゲームが開始されてもよい。

図１８は、起動されたアプリＢのゲームが開始された直後の画面の一例を示す図である。図１８に示すように、ゲームが開始されるとディスプレイ２にはゲーム終了までの残り時間を示す表示と、ゲーム中に獲得された点数を示す表示が行われる。アプリＢは、例えば、所定時間内により多くの点数の獲得を目指すゲームであり、ユーザが一人で行うゲームであってもよいし、通信部１５を用いて他の携帯電子機器１（又はその他の機器）と双方向に通信することで多人数で協力して点数を獲得するゲームであってもよいし、多人数で点数を競うゲームであってもよい。例えば、アプリＢは、ディスプレイ２に表示された指示通りのジェスチャをユーザが行った場合に点数が加算されるゲームである。このようなゲームにおいて、アプリＢの起動後にゲームが開始されると、図１８に示す画像が表示される。

図１９は、ゲームが実行されている間の画面遷移の一例を示す図である。図１９の（Ａ）に示すように、ゲーム開始から３０秒が経過した時点では、残り時間を示す表示は「３０」となり、点数は「７５」となっている。また、ユーザに対する指示が画面に表示され、その指示に応じたジェスチャをユーザが行う。（Ｂ）に示すように、さらに２秒が経過してゲーム開始から３２秒が経過すると、残り時間を示す表示は「２８」となり、ユーザが指示に応じたジェスチャを行うことにより点数も加算される。このように、このゲームでは、例えば所定の音楽のリズムにしたがって指示が次々と表示され、表示された指示に応じたジェスチャが行われた場合は、点数が加算される。

ここで、図１９の（Ｃ）に示すように、ユーザの手が赤外線カメラ４の撮像範囲から外れ、赤外線カメラ４によってユーザの手を検出できなかった場合、アプリＢのゲームは一時的に停止され、メニュー画面に戻る。例えば、ユーザの手が検出されなくなってから所定の待機時間が経過すると、アプリＢのゲーム画面からメニュー画面に切り替わる。このとき、ゲームは内部的に一時停止され、当該ゲームの進行が一時的に停止される。しかしながら、実行中のゲームは終了されず、当該ゲームの実行に関するデータはＲＡＭに残されたままとなる。例えば、ＲＡＭにはゲームの進行状況を示す値（例えば、残り時間や点数）が記憶されており、ゲームの実行中は当該進行状況を示す値が時間経過（あるいは、ユーザの操作）に応じて増加する。ゲームの進行が停止されると、この進行状況を示す値の増加（あるいは減少）も停止する。このメニュー画面において、ユーザは、他の所望のアプリケーションを選択することもできる。

そして、図１９の（Ｄ）に示すように、アプリＢが選択された状態で再びユーザの手が赤外線カメラ４の撮像範囲に入ると、携帯電子機器１はユーザの手を検出しアプリＢのゲームを再開する。具体的には、一時停止されたときの状態からアプリＢのゲームが再び開始する。例えば、残り時間が２８秒で点数が８０点のときにゲームが一時停止した場合、残り時間２７秒で点数が８０点の状態からゲームが再開される。

より具体的には、携帯電子機器１は、ユーザの手を検出した直後に（あるいは、上記待機時間よりも短い期間が経過した後に）アプリＢのゲームを再開する。携帯電子機器１は、アプリを一時的に停止する場合は所定の時間待機する一方で、アプリを再開する場合は所定の時間待機せずに即座にアプリを再開することで、ユーザの意図したようにアプリの一時停止／再開を制御することができる。すなわち、手を使ったジェスチャを行うアプリでは、ユーザが意図せずに、赤外線カメラ４の撮像範囲から手が一瞬離れてしまうことがある。このような場合に、実行中のアプリを即座に一時停止すると、ユーザの意図に反してアプリが一時的に停止されてしまう。しかしながら、アプリを一時停止する場合は上記待機時間が設定されるため、このようなユーザの意図しないアプリの一時停止を防止することができる。一方、メニュー画面からアプリを再開する場合は、ユーザは意図的に手を赤外線カメラ４の撮像範囲に入れる。このため、携帯電子機器１は、アプリを再開する場合は上記待機時間を設けずに、即座にアプリを再開する。

なお、携帯電子機器１は、アプリを一時的に停止する場合と同様に、ユーザの手を検出してから所定の待機時間が経過した後、アプリを再開してもよい。また、携帯電子機器１は、アプリを一時的に停止する場合でも、アプリを再開する場合でも、所定の時間待機せずに即座にアプリを一時停止／再開してもよい。また、図１９の（Ｃ）のようにアプリが一時停止された場合において、所定の時間が経過してもアプリが再開されない場合は、携帯電子機器１は、アプリを終了してもよい。この場合、ユーザが再び赤外線カメラ４の撮像範囲に手を入れても、アプリは最初から開始される。

このように、本実施形態の携帯電子機器１では、ユーザの入力に応じて進行が制御されるインタラクティブなアプリケーションが実行される。具体的には、当該アプリケーションは、携帯電子機器１の側面方向において行われたジェスチャ入力に応じて進行する。例えば、インタラクティブなアプリケーションの一例として、ジェスチャ入力に対する成否判定が行われ、成否判定の結果に応じて点数が加算されるゲームが行われる。携帯電子機器１の側面方向においてユーザが手をかざしたり、手を用いたジェスチャを行ったりすることで、アプリケーションが起動、開始する。また、携帯電子機器１の側面方向においてユーザが手をどけると、実行中のアプリケーションが一時停止するとともに、メニュー画面が表示される。メニュー画面では、ユーザは、他の所望のアプリケーションを選択することができる。一時停止されたアプリケーションが選択された状態で再びユーザが携帯電子機器１の側面方向において手をかざすと、一時停止されたアプリケーションが再開される。

なお、上述した例では、アプリケーションを実行中にユーザが手をどけると、すなわち、赤外線カメラ４によって撮像された赤外線画像にユーザの手が検出されなくなると、メニュー画面が表示された。他の例では、例えば、ユーザが右手を所定の速度で携帯電子機器１の右側面に近づけた場合（あるいは遠ざけた場合）に、メニュー画面が表示されるようにしてもよい。また、ユーザが所定のジェスチャを行った場合に、メニュー画面が表示されてもよい。例えば、ユーザが特定のジェスチャを行った場合に実行中のアプリケーションが一時停止され、かつ、その状態で手を動かした場合に、メニュー画面が表示されるようにしてもよい。

図２０は、他の実施形態におけるメニュー画面を表示するためのジェスチャの一例を示す図である。例えば、図２０に示すように、携帯電子機器１の右側面方向においてユーザが物を掴むようなジェスチャを行うと、実行中のアプリケーションが一時停止される。この状態で、ユーザが右方向に手を移動させると、ディスプレイ２の左端からメニュー画面の一部が引っ張られるように出てくる。そして、さらにユーザが手を右方向に移動させると、ディスプレイ２の画面全体がメニュー画面に切り替わる。

また、上記では、ユーザが赤外線カメラ４に手をかざすと、メニュー画面において選択されたアプリケーションが開始（再開）された。他の実施形態では、誤動作を防止するために、例えば、ユーザが所定のジェスチャを行った場合や手が所定の速度で動かされた場合に、選択されたアプリケーションが開始されてもよい。また、ユーザによって携帯電子機器１の右側面が把持された場合に、選択されたアプリケーションが開始されてもよい。この場合、ユーザによって携帯電子機器１の右側面が把持されたか否かは、例えば、赤外線カメラ４によって撮像された画像の輝度情報に基づいて判定されてもよいし、輝度の変化に基づいて判定されてもよい。また、携帯電子機器１は、ユーザの脈を検知した場合、アプリケーションを開始（再開）してもよい。例えば、赤外線カメラ４によって撮像された画像の輝度の変化に基づいてユーザの脈を検知することができる。ユーザの脈を検知した場合にアプリケーションを開始することにより、誤動作を防止することができる。

また、アプリケーションの起動と、アプリケーションにおける所定の処理の開始とで、物体の検出に関する条件が異なっていてもよい。また、アプリケーションの一時停止と、アプリケーションの終了とで、物体の検出に関する条件が異なっていてもよい。例えば、物体の検出に関する第１の条件が満たされている場合にはアプリケーションが起動し、第１の条件よりも厳しい第２の条件が満たされている場合にはアプリケーションにおける所定の処理を開始してもよい。この場合、第１の条件が満たされており、かつ、第２の条件が満たされていない場合は、アプリケーションは起動しても当該アプリケーションにおける所定の処理は開始されない。また、例えば、第１の条件が満たされている場合にはアプリケーションを一時停止し、第１の条件よりも厳しい第２の条件が満たされている場合にはアプリケーションを終了してもよい。この場合、第１の条件が満たされており、かつ、第２の条件が満たされていない場合は、アプリケーションは一時停止しても当該アプリケーションは終了されない。

例えば、アプリＢは、携帯電子機器１が物体を検出した場合に起動し、図１７に示すようにアプリＢの起動画面（初期画面）が表示される。この起動画面はアプリＢにおける所定の処理（ゲーム処理）が開始される前の画面である。そして、起動画面が表示された後、例えば、携帯電子機器１がユーザの手を検出した場合に、ゲーム処理が開始される。具体的には、赤外線カメラ４によって撮像された赤外線画像に何らかの物体（手であるか否かにかかわらず何らかの物体）を検出した場合に、アプリＢの起動画面が表示され、その状態で携帯電子機器１がユーザの手を検出した場合、ゲームが開始する。すなわち、アプリＢの起動画面が立ち上がるための条件としては、ユーザの手が検出される必要はなく、何らかの物体が検出されることであり、アプリＢにおけるゲーム処理が開始されるための条件としては、ユーザの手が検出されることである。これは、赤外線カメラ４の撮像範囲にユーザの手が入っても、手と赤外線カメラ４との距離が近すぎると携帯電子機器１は何らかの物体が存在することは認識できても、それがユーザの手なのかどうかは認識できない。このような場合にアプリＢの起動画面が立ち上がらずメニュー画面のままであれば、ユーザはどのような操作をしたらアプリＢが起動するのか分かりにくくなる。このため、携帯電子機器１がユーザの手を認識できなかったとしても（第２の条件が満たされていなかったとしても）、何らかの物体を検出した場合は（第１の条件が満たされている場合は）、携帯電子機器１はアプリＢの起動画面を立ち上げる。しかしながら、ゲームはジェスチャを用いたゲームであるため、実際のゲーム処理を行うためには携帯電子機器１はユーザの手を認識する必要がある。したがって、ユーザの手を認識できたことをゲーム開始の条件とする。このように、物体の検出に関する第１の条件が満たされればアプリを開始し、アプリが開始した後に、第１の条件よりも厳しい第２の条件が満たされれば、アプリにおける所定の処理（ゲーム処理）を開始してもよい。

アプリを一時停止、終了する場合も、同様に、物体の検出に関する第１の条件が満たされればアプリを一時停止し、アプリが一時停止した後に、第１の条件よりも厳しい第２の条件が満たされれば、アプリを終了してもよい。

また、実行されるアプリケーションは上述したゲームに限られない。例えば、所定のゲームオブジェクトが表示され、ユーザの手の動きによって所定のゲームオブジェクトを制御するゲームが行われてもよい。例えば、携帯電子機器１は、赤外線カメラ４によって撮像された画像の位置（例えば、輝度が所定以上の領域の重心位置）に基づいて、ゲームオブジェクトの移動を制御してもよい。

また、上記実施形態では、アプリケーションの実行中に携帯電子機器１がユーザの手を検出しなくなった場合にアプリケーションを一時停止してメニュー画面を表示した。他の実施形態では、アプリケーションの実行中に携帯電子機器１がユーザの手を検出しなくなった場合にアプリケーションを一時停止するとともに、アプリケーションを終了するか否かの画面が表示されてもよい。この画面でユーザによってアプリケーションの終了が指示された場合は、アプリケーションが終了してもよい。また、アプリケーションが一時停止されてからユーザの指示がなくても、所定時間が経過した場合は、アプリケーションを終了してもよい。

（ガイド表示処理の詳細）
次に、携帯電子機器１において行われる具体的な処理の一例について説明する。まず、図２１を参照して、上述したガイド表示を行うための処理の詳細について説明する。図２１は、ガイド表示を行うための処理の一例を示すフローチャートである。制御部１４（のＣＰＵ）は、所定のタイミング（例えば、ユーザの指示やアプリケーションが開始される前のタイミング）で記憶装置に記憶されたプログラムをＲＡＭに読み込み、当該プログラムを実行することで図２１に示す処理を行う。なお、図２１に示す処理は、所定の時間間隔（例えば、１／６０秒に１回）で繰り返し行われる。

図２１に示すように、ステップＳ１０において、制御部１４は、赤外線カメラ４から赤外線画像を取得する。次に、制御部１４は、ステップＳ１０で取得された赤外線画像を解析してユーザの手を検出する手検出処理を行う（ステップＳ１１）。手検出処理の結果、手を検出することができた場合（ステップＳ１２：ＹＥＳ）、制御部１４は、取得された赤外線画像に固定のガイド枠を設定する（ステップＳ１３）。具体的には、制御部１４は、取得された赤外線画像の中央領域を覆う一定の大きさのガイド枠を設定する。

続いて、制御部１４は、取得された赤外線画像に含まれるユーザの手の輪郭を示す輪郭画像を生成する（ステップＳ１４）。具体的には、制御部１４は、取得された赤外線画像に複数の物体が存在する場合、輝度が最も高い物体のみを抽出し、当該抽出した物体の輪郭を検出する。そして、制御部１４は、検出した輪郭を残して輪郭以外の画素情報を消去する。次に、制御部１４は、生成した輪郭画像のうち、ステップＳ１３で設定したガイド枠からはみ出た部分の画素情報を赤色に設定する（ステップＳ１５）。続いて、制御部１４は、輪郭画像にステップＳ１３で設定したガイド枠を示すガイド枠画像を合成する（ステップＳ１６）。そして、制御部１４は、合成した合成画像を斜めから見た画像を生成し、ディスプレイ２に表示する（ステップＳ１７）。具体的には、制御部１４は、例えば図１５を参照して説明したパース表示のための処理を行うことで、合成画像が図１０のＹ軸回りに所定の角度だけ回転した画像をディスプレイ２の右端に表示する。

一方、ステップＳ１１の手検出処理の結果、手を検出することができなかった場合（ステップＳ１２：ＮＯ）、制御部１４は、ディスプレイ２にエラー表示を行う（ステップＳ１８）。例えば、制御部１４は、手が検出されなかったことを示す文字をディスプレイ２に表示するとともに、音声や振動等によって手が検出されかなったことをユーザに知らせてもよい。

ステップＳ１７又はステップＳ１８の処理を行った後、制御部１４は、図２１に示す処理を終了するか否かを判定する（ステップＳ１９）。例えば、図２１に示す処理は、ユーザの指示に応じて終了してもよいし、所定時間が経過したことに応じて終了してもよい。制御部１４、図２１に示す処理を終了しないと判定した場合は（ステップＳ１９：ＮＯ）、再びステップＳ１０の処理を実行し、図２１に示す処理を終了すると判定した場合は（ステップＳ１９：ＹＥＳ）、図２１に示す処理を終了する。

（メニュー表示処理の詳細）
次に、図２２を参照して、上述したメニュー画面の表示を行うための処理の詳細について説明する。図２２は、メニュー画面の表示を行うための処理の一例を示すフローチャートである。なお、図２２に示す処理は、制御部１４（のＣＰＵ）がメニュー表示を行うためのプログラムを実行することにより行われる。また、図２２に示す処理は、所定の時間間隔（例えば、１／６０秒に１回）で繰り返し行われる。

図２２に示すように、ステップＳ２０において、制御部１４は、ディスプレイ２にメニュー画面を表示する。例えば、制御部１４は、携帯電子機器１において現在実行可能なアプリケーションの一覧を取得し、各アプリケーションを示すアイコンを画面に並べて表示する。携帯電子機器１において実行可能なアプリケーションは、例えば、携帯電子機器１の内部の記憶装置に記憶されたアプリケーション、又は、携帯電子機器１からアクセス可能な外部の記憶装置に記憶されたアプリケーションであってもよい。

ステップＳ２０に続いて、制御部１４は、アプリ選択処理を行う（ステップＳ２１）。例えば、制御部１４は、タッチパネル３が検出した位置に基づいて、アプリケーションに対応するアイコンがユーザによって選択（タッチ）されたか否かを判定する。ユーザによってアイコンが選択されたと判定した場合、制御部１４は、選択されたアイコンに対応するアプリケーションを選択する。

次に、制御部１４は、赤外線カメラ４から赤外線画像を取得する（ステップＳ２２）。次に、制御部１４は、ステップＳ２２で取得された赤外線画像を解析してユーザの手を検出する手検出処理を行う（ステップＳ２３）。手検出処理の結果、手を検出することができた場合（ステップＳ２４：ＹＥＳ）、制御部１４は、アプリケーションが選択済みであるか否かを判定する（ステップＳ２５）。具体的には、制御部１４は、ステップＳ２１において既にユーザによってアプリケーションが選択されているか否かを判定する。アプリケーションが選択済みである場合（ステップＳ２５：ＹＥＳ）、制御部１４は、選択されたアプリケーションが既に起動しているか否かを判定する（ステップＳ２６）。具体的には、アプリケーションが既に起動している場合は、当該アプリケーションの情報（プログラム自体や他のデータ）がＲＡＭに記憶されているため、制御部１４は、ＲＡＭに記憶された情報に基づいて、アプリケーションが既に起動されているか否かを判定する。

一方、手検出処理の結果、手を検出することができなかった場合（ステップＳ２４：ＮＯ）、又は、アプリケーションが選択済みでない場合（ステップＳ２５：ＮＯ）、制御部１４は、ステップＳ２０の処理を再び行う。

アプリケーションが既に起動していない場合（ステップＳ２６：ＮＯ）、制御部１４は、ステップＳ２１で選択されたアプリケーションを起動する。アプリケーションが既に起動している場合（ステップＳ２６：ＹＥＳ）、制御部１４は、選択されたアプリケーションの実行を再開する（ステップＳ２８）。

ステップＳ２７又はステップＳ２８の処理の後、制御部１４は、図２２に示す処理を終了する。

（アプリケーション制御処理の詳細）
次に、図２３を参照して、上述したアプリケーションを制御するための処理の詳細について説明する。図２３は、アプリケーション制御処理の一例を示すフローチャートである。図２３に示す処理は、例えば上述のようにユーザが携帯電子機器１の右側面に手をかざした場合に行われる。また、図２３に示す処理は、所定の時間間隔（例えば、１／６０秒に１回）で繰り返し行われる。

図２３に示すように、ステップＳ３０において、制御部１４は、アプリケーションを開始（又は再開）する。具体的には、アプリケーションが起動していない場合（ＲＡＭにアプリケーションプログラムが読み込まれていなかったり、アプリケーションを開始するための初期設定が行われていなかったりした場合）、制御部１４は、アプリケーションを起動してから所定の条件の成立（所定時間が経過したことやユーザの指示が行われたこと）に応じて当該アプリケーションを開始する。また、アプリケーションが一時停止している場合（すなわち、既にアプリケーションが開始されてから一時停止されてメニュー画面が表示されている場合）、制御部１４は、アプリケーションを再開する。具体的には、制御部１４は、ＲＡＭに記憶されたアプリケーションのためのデータを読み出し、後述するステップＳ３８においてアプリケーションが一時停止された状態からアプリケーションを再開する。

ステップＳ３０に続いて、制御部１４は、赤外線カメラ４から赤外線画像を取得する（ステップＳ３１）。次に、制御部１４は、ステップＳ３１で取得された赤外線画像を解析してユーザの手を検出する手検出処理を行う（ステップＳ３２）。手検出処理の結果、手を検出することができた場合（ステップＳ３３：ＹＥＳ）、制御部１４は、ユーザによって行われたジェスチャ入力を判別するジェスチャ判別処理を行う（ステップＳ３４）。具体的には、制御部１４は、検出した手の形や動きに基づいて、予め定められた複数のジェスチャのうちの何れのジェスチャが行われたかを判別する。

続いて、制御部１４は、判別したジェスチャに応じたアプリケーション処理を行う（ステップＳ３５）。例えば、図１９に示したゲームアプリケーションが行われる場合、制御部１４は、ディスプレイ２にユーザに対する指示を示す文字や画像、キャラクタ等を表示し、当該指示に応じたジェスチャが行われたか否かを判定する。そして、制御部１４は、判定結果をディスプレイ２に表示する。例えば、制御部１４は、指示に応じたジェスチャが行われたと判定した場合、点数を加算し、加算した点数をディスプレイ２に表示する。また、制御部１４は、アプリケーションの開始からの経過時間を計測し、ディスプレイ２に表示する。なお、ステップＳ３５のアプリケーション処理は、ユーザによって行われたジェスチャ入力に加えて（又は代えて）、例えば、入力ボタンに対する操作や携帯電子機器１の姿勢に基づいて行われてもよい。

ステップＳ３５に続いて、制御部１４は、アプリケーションを終了するか否かを判定する（ステップＳ３６）。例えば、制御部１４は、アプリケーションの終了までの時間を示す残り時間が「０」となった場合、アプリケーションを終了すると判定する。また、例えば、ユーザによってアプリケーションの終了のための操作（ボタン操作やジェスチャによる操作）が行われた場合、制御部１４は、アプリケーションを終了すると判定する。

アプリケーションを終了すると判定しなかった場合（ステップＳ３６：ＮＯ）、制御部１４は、ステップＳ３１の処理を再び実行する。一方、アプリケーションを終了すると判定した場合（ステップＳ３６：ＹＥＳ）、制御部１４は、アプリケーション終了処理を行い（ステップＳ４０）、図２３に示す処理を終了する。例えば、制御部１４は、アプリケーション終了処理として、アプリケーションプログラムの実行のために確保したＲＡＭの領域を開放する。これにより、当該アプリケーションの進行状況に応じた値（例えば、上記残り時間や点数等）がクリアされる。

一方、ステップＳ３２の手検出処理においてユーザの手を検出することができなかった場合（ステップＳ３３：ＮＯ）、制御部１４は、ユーザの手を検出しなくなってから所定の待機時間が経過したか否かを判定する（ステップＳ３７）。ユーザの手を検出しなくなってから所定の待機時間が経過していない場合（ステップＳ３７：ＮＯ）、制御部１４は、ステップＳ３１の処理を再び実行する。なお、所定の待機時間はアプリの種類に応じて異なってもよいし、一定時間でもよいし、手の検出状況によって変化されてもよい。

ユーザの手を検出しなくなってから所定の待機時間が経過した場合（ステップＳ３７：ＹＥＳ）、制御部１４は、実行中のアプリケーションを一時停止する（ステップＳ３８）。具体的には、アプリケーションの実行のために確保したＲＡＭの領域を維持したまま、アプリケーションを一時停止する。例えば、ディスプレイ２にアプリケーションの画像が表示されている場合は、制御部１４は、その画像をＲＡＭに記憶する。また、制御部１４は、アプリケーションの進行状況に応じた値（例えば、残り時間や点数等）を維持する。

ステップＳ３８においてアプリケーションを一時停止した場合、制御部１４は、上述したメニュー処理を行うためのプログラムを呼び出し（ステップＳ３９）、図２３に示す処理を終了する。これにより、図２２に示したメニュー処理が行われる。

なお、上記フローチャートで示した処理は単なる一例であり、処理の順番や内容に適宜変更が加えられてもよい。また、上述したアプリケーションは単なる一例であり、他の任意のアプリケーションが行われてもよい。

（変形例）
なお、上述した実施形態は単なる一例であり、例えば、以下のような変形が加えられてもよい。

例えば、赤外線カメラ４は携帯電子機器１の右側面に限らず、左側面（図１のＴ２面）、上側面（Ｔ４面）、下側面（Ｔ３面）の何れに設けられてもよく、任意の側面方向においてユーザによってジェスチャ入力が行われてもよい。また、複数の側面に赤外線カメラ４が設けられてもよい。例えば、携帯電子機器１の左側面に赤外線カメラ４が設けられる場合には、上述したガイド表示（輪郭画像２１およびガイド枠画像２２）は、ディスプレイ２の画面の左側に表示される。また、携帯電子機器１の姿勢に応じて、ガイド表示の表示位置が異なるようにしてもよい。携帯電子機器１は、姿勢検出部１６によって自機の姿勢を検出することができ、例えば、画面に垂直な軸に何度回転されたかを角速度センサや加速度センサによって検出することができる。例えば、通常、図６Ａに示すように赤外線カメラ４が右側に位置するように把持されるところ、ユーザが左右が反転するように携帯電子機器１を把持した場合は、赤外線カメラ４は左側に位置するようになる。この場合、右手で携帯電子機器１が把持され、左手でジェスチャ入力が行われる。このような場合は、上記ガイド表示は、ディスプレイ２の左側に表示される。具体的には、ユーザが左手を直接見たときと同じような見え方となるように、パースがかかったガイド表示がディスプレイ２の左側に表示される。すなわち、ディスプレイ２の表示画面のうち、赤外線カメラ４によって撮像される側面方向と同じ側に上記ガイド表示が表示される。

また、上記実施形態では、ディスプレイ２が設けられた携帯電子機器１が上記処理を行うことを想定した。他の実施形態では、外部のディスプレイに画像が表示されてもよい。赤外線カメラ４が設けられた手持ち型の入力装置をユーザが把持し、当該入力装置の側面方向においてユーザが手を用いたジェスチャを行うことにより、入力装置と離れた表示装置に上述したガイド表示の画像やアプリケーションの画像、メニュー画面等が表示されてもよい。赤外線カメラ４が設けられた手持ち型の入力装置と、表示装置と、情報処理装置とが別体となった情報処理システムが構築されてもよい。この場合、例えば、上述したガイド表示の画像やアプリケーションの画像は表示装置において表示され、アプリケーションの処理は情報処理装置で行われる。例えば、情報処理装置は、入力装置からの画像を取得し、当該画像に基づいてジェスチャを認識し、ジェスチャの認識結果に基づいてアプリケーションの処理を行う。また、情報処理装置は、入力装置からの画像を取得して上記ガイド表示のための処理（輪郭画像２１及びガイド枠画像２２の描画やこれらの画像にパースをかける処理）を行う。そして、情報処理装置は、アプリケーションの処理およびガイド表示のための処理の結果としての画像を表示装置に出力する。これら複数の装置のそれぞれが処理を分担することで上述した処理が実行されてもよい。また、携帯電子機器１を、ユーザの入力を受け付けるコントローラとして機能させてもよい。この場合、ディスプレイは設けられてもよいし、設けられなくてもよい。携帯電子機器１がコントローラとして機能する場合、携帯電子機器１は、無線や有線で別の情報処理装置と接続される。携帯電子機器１に対して操作（入力ボタンに対する操作や携帯電子機器１自体を動かす操作、上記ジェスチャ操作等）が行われると、当該操作に応じた操作データが別の情報処理装置に送信される。情報処理装置は、操作データを受信すると、操作データに応じた処理を行う。操作データに応じた処理は、実行されるアプリケーションの種類によって異なる。

また、携帯電子機器１の形状はどのようなものでもよい。例えば、携帯電子機器１（ディスプレイ２）は、横長ではなく縦長であってもよいし、正方形であってもよい。

また、上記実施形態では赤外線カメラ４が用いられたが、他の実施形態では、赤外線カメラ４に代えて、可視光の画像（ＲＧＢ画像）を撮像可能なカメラが用いられてもよい。

また、上記実施形態では、一方の手で携帯電子機器を把持し、他方の手で携帯電子機器に対してジェスチャ入力を行う例について説明した。他の実施形態では、携帯電子機器は、例えば画面を備える腕時計型の装置のように、ユーザの腕（身体）に固定されるものであってもよい。

また、携帯電子機器の形状はどのようなものでもよく、例えば、板状の楕円形状であってもよい。例えば、携帯電子機器は、折り畳み可能なものであってもよい。

１ 携帯電子機器
２ ディスプレイ
３ タッチパネル
４ 赤外線カメラ
５ 測距センサ
６ 入力ボタン
７ 照射部
８ プロジェクタ
１５ 通信部
２１ 輪郭画像
２２ ガイド枠画像
４１ 合成画像

Claims (23)

1. 入力装置と、
   前記入力装置の側面方向を撮像するカメラと、
   前記カメラによって撮像された入力画像を取得する取得手段と、
   前記取得手段によって取得された入力画像に含まれる物体を所定方向に傾けた画像を表示手段に表示させる表示制御手段と、
   前記取得手段によって取得された入力画像に基づいて所定のアプリケーション処理を行う処理手段と、を備え、
   前記表示制御手段は、前記カメラの撮像範囲に含まれる前記物体が、前記所定のアプリケーション処理のために適切な位置にあるか否かをユーザに認識させるためのガイド画像を表示させる、電子機器システム。
2. 前記表示制御手段は、前記入力画像を斜めから見た画像を前記表示手段に表示させる、請求項１に記載の電子機器システム。
3. 前記表示制御手段は、前記カメラと当該カメラの撮像範囲に含まれる物体との相対位置をユーザに認識可能な態様で前記画像を表示させる、請求項１又は２に記載の電子機器システム。
4. 前記表示制御手段は、前記カメラの撮像範囲に含まれる物体の奥行き方向の位置をユーザに認識可能な態様で前記画像を表示させる、請求項１から３の何れかに記載の電子機器システム。
5. 前記表示制御手段は、前記カメラの撮像範囲に含まれる物体をユーザが直接見たときと、前記表示手段に表示される当該物体の画像とが同じ見え方となるように、前記画像を前記表示手段に表示させる、請求項１から４の何れかに記載の電子機器システム。
6. 前記ガイド画像は、前記カメラの撮像範囲のうちの所定領域を示す画像である、請求項１から５の何れかに記載の電子機器システム。
7. 前記表示制御手段は、前記ガイド画像と前記入力画像とを所定方向に傾けた画像を前記表示手段に表示させる、請求項６に記載の電子機器システム。
8. 前記表示手段は前記電子機器に設けられ、
   前記カメラは前記表示手段の側面方向を撮像し、
   前記表示制御手段は、前記表示手段の表示画面のうち、前記カメラの撮像方向側に前記画像を表示させる、請求項１から７の何れかに記載の電子機器システム。
9. 前記表示制御手段は、前記取得手段によって取得された入力画像により示される被写体を所定方向に傾けた画像とともに、前記所定のアプリケーション処理の結果を示す画像を表示する、請求項１から８の何れかに記載の電子機器システム。
10. 前記表示制御手段は、前記カメラの撮像範囲に含まれる物体を抽象化した画像を前記表示手段に表示させる、請求項１から９の何れかに記載の電子機器システム。
11. 前記表示制御手段は、前記カメラの撮像範囲に含まれる物体の輪郭を示す画像を前記表示手段に表示させる、請求項１０に記載の電子機器システム。
12. 前記表示制御手段は、前記カメラの撮像範囲に含まれる複数の物体のうちの特定の物体のみを前記表示手段に表示させる、請求項１から１１の何れかに記載の電子機器システム。
13. 前記入力画像に基づいてユーザの手を検出する検出手段をさらに備え、
    前記処理手段は、前記検出手段による検出結果に基づいて、前記アプリケーション処理を行う、請求項１から１２の何れかに記載の電子機器システム。
14. 前記検出手段は、ユーザによって行われたジェスチャを検出する、請求項１３に記載の電子機器システム。
15. 前記入力画像に含まれる物体の少なくとも一部が前記カメラの撮像範囲のうちの所定の領域からはみ出したか否かを判定する判定手段をさらに備え、
    前記表示制御手段は、前記判定手段による判定結果に応じた画像を前記表示手段に表示させる、請求項１から１４の何れかに記載の電子機器システム。
16. 前記表示制御手段は、前記処理手段によって行われる所定のアプリケーション処理の実行状況又はユーザの選択に応じて、前記画像を表示又は非表示にする、請求項１から１５の何れかに記載の電子機器システム。
17. 前記電子機器は手持ち型の電子機器である、請求項１から１６の何れかに記載の電子機器システム。
18. 前記カメラは、赤外光を受光可能な赤外線カメラである、請求項１から１７の何れかに記載の電子機器システム。
19. 電子機器であって、
    前記電子機器の側面方向を撮像するカメラと、
    前記カメラによって撮像された入力画像を取得する取得手段と、
    前記取得手段によって取得された入力画像に含まれる物体を所定方向に傾けた画像を表示手段に表示させる表示制御手段と、
    前記取得手段によって取得された入力画像に基づいて所定のアプリケーション処理を行う処理手段と、を備え、
    前記表示制御手段は、前記カメラの撮像範囲に含まれる前記物体が、前記所定のアプリケーション処理のために適切な位置にあるか否かをユーザに認識させるためのガイド画像を表示させる、電子機器。
20. カメラと、
    前記カメラによって撮像された入力画像を取得する取得手段と、
    前記取得手段によって取得された入力画像を表示手段に表示させる入力画像表示手段と、
    前記カメラの撮像範囲よりも小さな領域であって当該撮像範囲に対して固定された固定領域を設定する設定手段と、
    前記固定領域を示す領域画像を前記表示手段に表示させる領域表示手段と、
    前記入力画像に含まれる物体の少なくとも一部が前記固定領域からはみ出したか否かを判定する判定手段と、
    前記判定手段によって前記物体の少なくとも一部が前記固定領域からはみ出したと判定された場合、前記表示手段に表示される画像の表示態様を、前記物体の少なくとも一部が前記固定領域からはみ出したことを示す表示態様に制御する表示態様制御手段と、を備える電子機器システム。
21. 前記電子機器システムは、入力装置を含み、
    前記カメラは前記入力装置の側面方向を撮像する、請求項２０に記載の電子機器システム。
22. カメラと、
    前記カメラによって撮像された入力画像を取得する取得手段と、
    前記取得手段によって取得された入力画像に含まれる特定の物体を検出する検出手段と、
    前記検出手段によって前記特定の物体が検出された場合に所定の情報処理を行う処理手段と、
    前記入力画像に基づいて所定の条件を満たすか否かを判定する条件判定手段と、
    前記検出手段によって前記特定の物体が検出されている場合において、前記条件判定手段によって前記所定の条件を満たすと判定された場合、第１の警告を行う第１警告手段と、
    前記検出手段によって前記特定の物体が検出されなかった場合、前記第１警告手段による前記第１の警告とは異なる第２の警告を行う第２警告手段と、を備え、
    前記処理手段は、前記条件判定手段によって前記所定の条件を満たすと判定された場合でも前記入力画像に基づいて前記所定の情報処理を行う、電子機器システム。
23. 前記検出手段によって前記特定の物体が検出されなかった場合、前記処理手段による前記所定の情報処理を停止する停止手段をさらに備える、請求項２２に記載の電子機器システム。

Images