JP6289655B2 - 画面操作装置及び画面操作方法 - Google Patents

Description

この発明は、特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置及び画面操作方法に関するものである。

従来から、モニタ（例えば展示会向けの大型ディスプレイ）に表示された画面に対し、操作者がジェスチャを行うことで、当該画面上のカーソルを動かして操作を行うシステムが知られている（例えば特許文献１参照）。

このシステムでは、例えばモーションセンサ（特徴点検出センサ）を用い、ある決められた３次元空間において、操作者の特徴点（例えば手）の位置（空間座標値）を検出している。そして、この手の空間座標値を、モニタに表示された画面上の２次元座標（モニタ座標）に対応させることで、カーソルの位置を設定している。このようにしてカーソルの位置を設定することで、操作者が手を動かすことにより、モニタに表示された画面上のカーソルを動かすことができる。

そして、画面操作を行う場合には、例えば図９（ａ）に示すように、まず、操作者は、モーションセンサの前で手を動かして、画面上のカーソル１０４を目標地点１０５まで移動させる。そして、カーソル１０４が目標地点１０５上に位置すると、図９（ｂ）に示すように、目標地点１０５（カーソル１０４）の周囲に、画面に対する機能を表すアイコン１０２が表示される。次いで、操作者は、モーションセンサの前で手を動かして、画面上のカーソル１０４を、目的のアイコン１０２まで移動させる。そして、図９（ｃ）に示すように、カーソル１０４がアイコン１０２上に位置すると、アイコン１０２の表示が切り替わって選択状態（アイコン１０２ｂ）となる。次いで、操作者は、モーションセンサの前で予め決められたジェスチャを行って、当該アイコン１０２ｂが表す機能を実行させる。

特表２０１１−５１３８４７号公報

しかしながら、操作者のジェスチャによる画面操作では、操作者に対する物理的なフィードバック（操作感）がないため、マウスによる画面操作に対して、カーソルを目的の場所に的確に移動させたり、停止させることが難しい。そのため、画面操作が困難であるという課題がある。

この発明は、上記のような課題を解決するためになされたもので、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができる画面操作装置及び画面操作方法を提供することを目的としている。

この発明に係る画面操作装置は、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部と、ジェスチャ検出部により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定部と、領域設定部による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部と、領域判断部により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部とを備えたものである。

この発明に係る画面操作方法は、ジェスチャ検出部が、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出ステップと、領域設定部が、ジェスチャ検出部により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定ステップと、領域判断部が、領域設定部による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断ステップと、機能実行部が、領域判断部により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する操作実行ステップとを有するものである。

この発明によれば、上記のように構成したので、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができる。

この発明の実施の形態１に係る画面操作装置を含むシステム全体の構成を示す図である。 この発明の実施の形態１に係る画面操作装置の動作を示すフローチャートである。 この発明の実施の形態１に係る画面操作装置によるアイコン表示を説明する図であり、（ａ）操作者が第１のジェスチャを行った際の手の位置を示す図であり、（ｂ）（ａ）の場合でのアイコン表示を示す図である。 この発明の実施の形態１に係る画面操作装置によるアイコン選択を説明する図であり、（ａ）アイコン表示後の操作者の動作を示す図であり、（ｂ）（ａ）の場合でのアイコン選択を示す図である。 この発明の実施の形態１に係る画面操作装置において操作領域の一部を一時的に認識しない場合を示す図である。 この発明の実施の形態２に係る画面操作装置を含むシステム全体の構成を示す図である。 この発明の実施の形態２における領域設定部による優先度を考慮した領域設定を示す図であり、（ａ）分割角度を変えた場合を示す図であり、（ｂ）中心付近の分割角度を変えた場合を示す図であり、（ｃ）中心付近の分割角度を曲線状に変えた場合を示す図である。 この発明の実施の形態２における領域設定部による優先度を考慮して動的に領域設定を変える場合を示す図である。 従来の画面操作を説明する図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画面操作装置３を含むシステム全体の構成を示す図である。
図１に示すシステムでは、モニタ１、モーションセンサ（特徴点検出センサ）２及び画面操作装置３が設けられている。

モニタ１は、各種コンテンツ（画面）を表示するものである。
モーションセンサ２は、所定のサンプリング間隔で、３次元空間内における人の特徴点の位置（空間座標値）を検出するものであり、モニタ１に表示された画面を操作する操作者を検出することができる場所に設置される。このモーションセンサ２は、予め決められた空間内を撮像してカラー画像を取得するカメラと、上記空間内に存在する物体の深度を検出する深度センサとを有している。また、人のシルエットに対して各特徴点（頭、肩、手、腰、足等）の位置を示すモデルを保持するデータベースも有している。そして、モーションセンサ２では、カメラにより撮像されたカラー画像と深度センサによる検出結果から上記空間内に存在する物体のシルエットを抽出する。そして、このシルエットをデータベースに保持されたモデルとマッチングさせることで、人を検出し、当該人の特徴点の位置を検出する。

画面操作装置３は、モーションセンサ２により検出された３次元空間における人の特徴点の位置を用いて、モニタ１に表示された画面の操作を行うものである。この画面操作装置３は、図１に示すように、ジェスチャ検出部３１、領域設定部３２、領域判断部３３及び機能実行部３４を有している。なお、画面操作装置３は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。

ジェスチャ検出部３１は、モーションセンサ２による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するものである。すなわち、ジェスチャ検出部３１は、モーションセンサ２による検出結果から操作者の特徴点の位置を検出する機能（操作者検出機能）と、その特徴点の位置の変化から操作者のジェスチャを検出する機能（ジェスチャ検出機能）とを有している。なお、ジェスチャ検出部３１は、検出した操作者の特徴点の位置を逐一記憶する機能も有している。

また、例えば展示会で本システムを用いる場合には、モーションセンサ２が検出を行う上記空間内に多くの人が存在することが想定される。そこで、ジェスチャ検出部３１の操作者検出機能では、操作者と認識した人のみを追従するよう構成されている。
この機能では、上記空間内の所定位置（例えば真ん中）に来た人を操作者と認識して追従する。具体的には、まず、操作者を検出する範囲をモーションセンサ２の上記空間の一部の範囲（例えば真ん中）に限定する。そして、この検出範囲内に入った人を操作者として認識する。その後、検出範囲を上記空間全体に広げ、当該操作者の動きを追従し続ける。以後、他の人が検出範囲内に入ったとしても、操作者が検出範囲内にいる限りは、操作権を譲渡しない。その後、操作者が検出範囲の外に出た場合には、操作権を放棄したものとみなす。そして、再び検出範囲を狭め、新たな操作者の認識を待つ。

また、上記検出範囲内で他の人に操作権を譲渡する機能を付加してもよい。この場合、操作者を認識後に他の人が検出範囲に入り、双方が予め決められたジェスチャ（握手、手を振る等）を行う。これにより、操作権の譲渡を認める。

また、ジェスチャ検出部３１のジェスチャ検出機能では、画面上に当該画面に対する機能を表す表示（アイコン等の表示）を指示するための第１のジェスチャと、当該機能の実行を指示するための第２のジェスチャとを検出する。なお、第１，２のジェスチャは、カーソル移動の際に操作者が行うジェスチャと区別することができるジェスチャであり、予め登録されている。

領域設定部３２は、ジェスチャ検出部３１により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示（アイコン等の表示）を行うものである。

領域判断部３３は、領域設定部３２による操作領域の設定後、ジェスチャ検出部３１により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替えるものである。

機能実行部３４は、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行するものである。

次に、上記のように構成された画面操作装置３の動作について、図２〜４を参照しながら説明する。なお以下では、操作者がモーションセンサ２の前で手を動かすことで、モニタ１に表示された画面上のカーソルを移動させる場合を例に説明を行う。また、モーションセンサ２は、所定のサンプリング間隔で、３次元空間における人の特徴点の位置を検出している。

画面操作装置３の動作では、図２に示すように、まず、ジェスチャ検出部３１は、モーションセンサ２による検出結果から、操作者が第１のジェスチャを行ったかを検出する（ステップＳＴ１、ジェスチャ検出ステップ）。ここで、操作者が行う第１のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる。なお、操作者が第１のジェスチャの動作を覚えていない場合も考えられるため、画面上に第１のジェスチャの動作を示す説明文を表示するようにしてもよい。

このステップＳＴ１においてジェスチャ検出部３１が第１のジェスチャを検出した場合、領域設定部３２は、その際の操作者の手の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う（ステップＳＴ２，３、領域設定ステップ）。またこの際の手の位置（空間座標値）も記憶する。
この領域設定部３２によるアイコン等の表示は画面上のいずれの位置でもよく、従来技術に対して操作性を改善できる。なお図３の例では、操作者の手の位置に対応する画面上のカーソル（非表示）の位置を中心にして、放射状に等分割で６つの操作領域（非表示）を設定し、６つのアイコン１０２を表示した場合を示している。

次いで、領域判断部３３は、ジェスチャ検出部３１により検出された操作者の特徴点の位置の変化方向から、画面上のカーソルの当該操作領域への移動を確認し、当該操作領域上の表示を選択状態に切替える（ステップＳＴ４〜６、領域判断ステップ）。すなわち、図４に示すように、領域設定部３２は、第１のジェスチャを行った際の手１０１の位置を基準位置（座標（１））とし、現在の手１０１ｂの位置（座標（２））を記憶する。そして、手１０１ｂが移動した方向（移動前後での手１０１，１０１ｂの位置を結ぶ線分と、基準軸（Ｘ軸）とのなす垂直方向の角度θ）から、どの操作領域上にカーソル（非表示）が位置するかを判断する。そして、該当する操作領域上の表示を選択状態に切替える。なお図４の例では、操作者が手１０１ｂを右斜め上に移動させて、画面上の機能ｂを選択し、当該機能ｂのアイコン１０２を選択状態（アイコン１０２ｂ）にした場合を示している。このように、アイコン１０２上ではなく、操作領域内にカーソルが位置するかを判断するようにしたので、従来のような厳密な操作を回避することができる。

次いで、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１は、モーションセンサ２による検出結果から、操作者が第２のジェスチャを行ったかを検出する（ステップＳＴ７、ジェスチャ検出ステップ）。ここで、操作者が行う第２のジェスチャとしては、「ポーズをとる」、「手又は指を動かして模様を描く」、「手を握る又は開く等のハンドジェスチャ」等の動作が挙げられる（第１のジェスチャと同じである必要はない）。なお、操作者が第２のジェスチャの動作を覚えていない場合も考えられるため、画面上に第２のジェスチャの動作を示す説明文を表示するようにしてもよい。

このステップＳＴ７においてジェスチャ検出部３１が第２のジェスチャを検出した場合、機能実行部３４は、該当する操作領域に対応する機能を実行する（ステップＳＴ８、操作実行ステップ）。例えば図４に示すように、機能ｂが選択状態（アイコン１０２ｂ）となっている状態で、操作者が第２のジェスチャを行うことで、機能ｂを実行することができる。

ここで、従来では、図９に示すように、画面操作を行うために、まず、予め決められた目標地点１０５までカーソル１０４を移動させて、アイコン１０２を表示させている。さらに、表示されたアイコン１０２のうち目的のアイコン１０２の場所へカーソル１０４を移動させて所定のジェスチャを行うことで、目的の機能を実行している。よって、目標地点１０５及びアイコン１０２上にカーソル１０４を正確に移動させる必要がある。
それに対し、本発明では、図３，４に示すように、予め決められた第１のジェスチャを行うことで、画面上の任意の位置（ジェスチャを行った際のカーソル（非表示）の位置の周囲）にアイコン１０２を表示させている。そして、目的のアイコン１０２の方向へ手を動かして（この際、アイコン１０２上にカーソルを移動させる必要はない）、予め決められた第２のジェスチャを行うことで、目的の機能を実行している。よって、従来技術のような厳密なカーソル操作は不要であり、容易に画面操作を行うことができる。

以上のように、この実施の形態１によれば、モーションセンサ２による検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部３１と、ジェスチャ検出部３１により第１のジェスチャが検出された際に、操作者の特徴点の位置に対応する画面上のカーソルの位置の周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上に当該機能を表す表示を行う領域設定部３２と、領域設定部３２による操作領域の設定後、特徴点の位置の変化方向からカーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部３３と、領域判断部３３により操作領域上の表示が選択状態に切替えられた状態において、ジェスチャ検出部３１により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部３４とを備えたので、従来技術に対し、操作者のジェスチャ動作により容易に画面操作を行うことができる。

なお上記では、領域設定部３２が、カーソルの位置を中心にして円状に複数のアイコンを表示する場合について示した。しかしながら、これに限るものではなく、半円状や円弧状に複数のアイコンを表示してもよい。
また、画面に対する機能の数が多く、表示するアイコンの数が多くなるような場合には、階層を持たせるようにしてもよい。この場合、第１のジェスチャが行われた場合に、まず、上位階層のアイコンを表示する。そして、第２のジェスチャが行われて目的のアイコンが選択された後、当該アイコンの位置を中心にしてその周囲に下位階層のアイコンを表示する。

また上記の領域設定部３２では、カーソルの位置を中心にして放射状に操作領域を設定している。そのため、中心付近では各操作領域の範囲が狭く、わずかな手の動きで選択されるアイコンが目まぐるしく変わる。そこで、領域判断部３３が、領域設定部３２による操作領域の設定後、カーソルが第１のジェスチャが検出された際のカーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については操作領域として認識しないように構成してもよい。すなわち、図５（ａ）に示すように、第１のジェスチャ後、カーソル（手１０１ｂ）が中心位置から径方向に閾値未満の領域内（図５の領域１０３内）に位置する場合には、選択が誤る可能性があるとして、その領域１０３内の領域を操作領域として認識しない。その後、図５（ｂ），（ｃ）に示すように、カーソル（手１０１ｂ）が閾値以上移動した場合には、選択を誤る可能性は低く、また、却って操作性を損なう恐れがあるため、操作領域全体を認識対象とする。

また上記では、特徴点検出センサとしてモーションセンサ２を用いた場合について示した。しかしながら、これに限るものではなく、３次元空間における操作者の特徴点の位置を検出することができるセンサであればよい。

また上記では、展示会向けの大型ディスプレイ（モニタ１）の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムを想定して説明を行った。しかしながら、これに限るものではなく、モニタ１の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムであれば、本発明を適用可能であり、同様の効果を得ることができる。

実施の形態２．
実施の形態１では、領域設定部３２が、カーソルの位置を中心に操作領域を放射状に等分割で設定する場合について示した。これに対し、画面に対する機能に優先度を付与し、この優先度に応じて操作領域の設定範囲を変化させるようにしてもよい。
図６はこの発明の実施の形態２に係る画面操作装置３を含むシステム全体の構成を示す図である。図６に示す実施の形態２に係る画面操作装置３は、図１に示す実施の形態１に係る画面操作装置３に優先度設定部３５を追加し、領域設定部３２を領域設定部３２ｂに変更したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。

優先度設定部３５は、画面に対する機能の優先度を設定するものである。
また、領域設定部３２ｂは、実施の形態１における領域設定部３２に対し、優先度設定部３５により設定された優先度に応じて操作領域の設定範囲を変化させるように構成したものである。

この際、領域設定部３２ｂは、例えば図７に示すように、優先度が高い機能に対する操作領域を、優先度が低い機能に対する操作領域よりも広くする。図７の例では、機能ａよりも機能ｂの優先度が高い場合を示している。そして、図７（ａ）では、操作領域の分割角度を変化させ、機能ｂに対する操作領域の分割角度θ_ｂを、機能ａに対する操作領域の分割角度θ_ａよりも広くした場合を示している。また、図７（ｂ）では中心付近の領域をすべて機能ｂに対する操作領域とした場合を示し、図７（ｃ）では曲線状に操作領域を変化させた場合を示している。

また、図８に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離に応じて操作領域を動的に変化させるようにしてもよい。図８の例では、機能ａよりも機能ｂの優先度が高い場合を示している。図８（ａ）に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離が閾値以上離れている場合には、機能ａ，ｂの操作領域は等しい。一方、図８（ｂ）に示すように、カーソル（手１０１ｂ）の中心（手１０１）からの径方向の距離が閾値未満の場合には、機能ｂに対する操作領域が、機能ａに対する操作領域に対して広くなる。そして、（ｃ）に示すように、カーソル（手１０１ｂ）がさらに中心（手１０１）に近づくと、動的に機能ｂに対する操作領域が広くなる。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る画面操作装置は、従来技術に対して、操作者のジェスチャにより容易に画面操作を行うことができ、特徴点検出センサにより検出された３次元空間における操作者の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置等に用いるのに適している。

１ モニタ、２ モーションセンサ（特徴点検出センサ）、３ 画面操作装置、３１ ジェスチャ検出部、３２，３２ｂ 領域設定部、３３ 領域判断部、３４ 機能実行部、３５ 優先度設定部。

Claims (4)

1. 特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作装置において、
   前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出部と、
   前記ジェスチャ検出部により第１のジェスチャが検出された際に、前記操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定部と、
   前記領域設定部による操作領域の設定後、前記特徴点の位置の変化方向から前記カーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断部と、
   前記領域判断部により前記操作領域上の表示が選択状態に切替えられた状態において、前記ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する機能実行部とを備えた
   ことを特徴とする画面操作装置。
2. 前記画面に対する機能の優先度を設定する優先度設定部を備え、
   前記領域設定部は、前記優先度設定部により設定された優先度に応じて前記操作領域の設定範囲を変化させる
   ことを特徴とする請求項１記載の画面操作装置。
3. 前記領域判断部は、前記領域設定部による操作領域の設定後、前記カーソルの位置が前記第１のジェスチャが検出された際の前記カーソルの位置から径方向に閾値以上移動するまでは、当該閾値未満の領域については前記操作領域として認識しない
   ことを特徴とする請求項１記載の画面操作装置。
4. 特徴点検出センサにより検出された３次元空間内における人の特徴点の位置を用いて、モニタに表示された画面の操作を行う画面操作方法において、
   ジェスチャ検出部が、前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出し、当該操作者のジェスチャを検出するジェスチャ検出ステップと、
   領域設定部が、前記ジェスチャ検出部により第１のジェスチャが検出された際に、前記操作者の特徴点の位置に対応する画面上のカーソルの周囲に、当該画面に対する機能を実行するための操作領域を放射状に設定し、当該操作領域上の任意の位置に当該機能を表す表示を行う領域設定ステップと、
   領域判断部が、前記領域設定部による操作領域の設定後、前記特徴点の位置の変化方向から前記カーソルの当該操作領域上への移動を確認し、当該操作領域上の表示を選択状態に切替える領域判断ステップと、
   機能実行部が、前記領域判断部により前記操作領域上の表示が選択状態に切替えられた状態において、前記ジェスチャ検出部により第２のジェスチャが検出された場合に、当該操作領域に対応する機能を実行する操作実行ステップとを有する
   ことを特徴とする画面操作方法。

Images