JPH09185456A

JPH09185456A - インターフェイス装置

Info

Publication number: JPH09185456A
Application number: JP8096481A
Authority: JP
Inventors: Susumu Maruno; 進丸野; Taro Imagawa; 太郎今川; Michiyo Moriie; みち代森家; Kenji Kondo; 堅司近藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-04-28
Filing date: 1996-04-18
Publication date: 1997-07-15
Anticipated expiration: 2016-04-18
Also published as: JP3777650B2

Abstract

(57)【要約】【課題】キーボードやマウス等の入力装置を必要とせ
ず、簡単に機器の操作が可能なインターフェイス装置を
提供すること。【解決手段】撮像した画像中の物体の形状および動き
を認識する動作認識部22と、動作認識部22で認識した物
体の形状や動きを表示するディスプレイ２と、ＣＣＤカ
メラ３で撮像した画像を保存するフレームメモリ21と、
フレームメモリ21中に保存した画像よりも前の時間に撮
像した画像を基準画像として蓄積する基準画像メモリ25
とを設け、動作認識部22で、フレームメモリ21中の画像
と基準画像メモリ25中に蓄積している基準画像との差異
を抽出する構成である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ、ワ
ードプロセッサ等の情報機器やテレビ等のディスプレイ
を有する機器の入出力を行うインターフェイス装置に関
するものである。

【０００２】

【従来の技術】この種の従来のインターフェイス装置と
して、表示装置内の情報に何か別の情報を加えたり、表
示の情報を変更したり、選択したりするのに、表示画面
中のマウスによって検出した座標位置にカーソルを表示
して行うものがある。

【０００３】図３０はこの種の従来のインターフェイス
装置の概要を示すものである。図３０において、501は
ホストコンピュータ、502はディスプレイで、ディスプ
レイ502中にはホストコンピュータ501により、仮想の操
作ボタン503,504,505が表示されている。506はマウスカ
ーソルで、マウス507によって検出したマウス507の移動
量に基づき、マウス507の動きに同期して画面中を動く
ように、ホストコンピュータ501が表示制御する。ユー
ザーは、マウス507を動かす事により、表示画面中の任
意の仮想の操作ボタンの位置にマウスカーソル506を移
動させ、マウス507上のスイッチ508を押すことにより、
操作ボタンを選択し、ホストコンピュータ501に動作の
指示を与えられるようになっている。

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
の構成では、機器の本体とは別にマウスという入力装置
が必要で、又マウスを操作するテーブル等の基台が必要
であり、携帯情報機器等に用いる事は適さない。又、マ
ウスを介して操作を行なうため、必ずしも直接的で分か
りやすいインターフェイスにはなっていない。

【０００５】本発明はかかる点に鑑み、キーボードやマ
ウス等の入力装置を必要とせず、簡単に機器の操作が可
能であり、更にはより操作性が良く、直接的で分かりや
すいインターフェイス装置を提供しようとするものであ
る。

【０００６】

【課題を解決するための手段】本発明は、操作者の手の
形状を認識する認識手段と、この認識手段により認識さ
れた手の形状の特徴を特殊形状として画面に表示する表
示手段と、この表示手段により画面に表示された特殊形
状により、画面内に表示された情報を制御する制御手段
とを備えたインターフェイス装置であって、手の形状を
変えるだけで画面に表示された情報を制御できるもので
ある。

【０００７】さらに、手の動きをも認識する事により、
さらに操作性の良いインターフェイス手段を提供するも
のである。その動き認識には、手の形状又は動きを撮像
した画像を保存するフレームメモリと、前記フレームメ
モリ中に保存した画像よりも前の時間に撮像した画像を
基準画像として蓄積する基準画像メモリとを設け、フレ
ームメモリ中の画像と、基準画像メモリ中に蓄積してい
る基準画像との差異を抽出することにより達成する。
又、他の認識方法として、撮像した画像中の使用者の手
の形状及び又は動きを使用者の輪郭として抽出し、その
輪郭を追跡し、輪郭線の角度と輪郭線の長さとの関係、
即ち輪郭波形を演算しフィルタリングして所定の形状を
表わす形状波形を生成することにより達成している。

【０００８】更には、手の形状の特徴を特殊形状として
画面に表示してカーソルとして操作するためのカーソル
表示手段と、そのカーソル表示以外の表示物との関連
を、カーソル表示以外の表示物の位置を代表する代表点
座標および形状として記憶する手段と、カーソル表示と
前記表示物との間の相互作用を演算判定する手段とを設
け、カーソル表示を仮想のマニピュレータ化して表示す
る場合などに、表示された仮想物体をつかむときに操作
者の意図に沿った相互作用により操作がなめらかに実現
できるものである。

【０００９】以上のように構成したインターフェイス装
置は、認識手段にユーザーが向い、例えば手をかざすと
手の形状に相当する特殊形状が画面内にいわゆる画面操
作のためのアイコン表示がなされ、そのアイコン表示に
従った制御が可能となる。

【００１０】又は手振りによって指示を与えると、与え
た手振りが表示画面上に手の形状に対応して設定された
特殊形状が表示されると共に、その動きも表示され、例
えば表示画面に表示した仮想スイッチ等を手振りによっ
て選択したり、画面上に表示された表示物を目的に応じ
て掴んだり運んだりすることが出来るものであり、マウ
ス等の入力装置を必要とせず、非常に簡便な機器の操作
が可能となるものである。

【００１１】また手の形状に対応して設定された特殊形
状が単なるカーソル以外に仮想マニピュレータとして動
作して、仮想マニピュレータで操作したい表示物との相
互作用を、操作者の操作意図にあった判定が逐次自動的
になされることにより操作性がさらに向上したインター
フェイスが実現できるものである。。

【００１２】

【発明の実施の形態】

（第１の実施の形態）本発明の第１の実施形態は、操作
者の手の形状を認識するために撮像装置などの認識手段
と、この認識手段により認識された手の形状の特徴をア
イコンなどで特殊形状として画面に表示する表示手段
と、この表示手段により画面に表示されたアイコンなど
の特殊形状をいわゆるカーソルとして動作させて画面内
に表示された情報を手の形状を変えることにより制御す
る制御手段とを備えたインターフェイス装置である。

【００１３】（第２の実施の形態）本発明の第２の実施
形態は、少なくとも撮像部と、撮像した画像中の物体の
形状及び又は動きを認識する動作認識部と、この動作認
識部によって認識した物体の形状及び又は動きを表示す
る表示部とによって構成し、前記撮像部で撮像した画像
を保存するフレームメモリと、このフレームメモリ中に
保存した画像よりも前の時間に撮像した画像を基準画像
として蓄積する基準画像メモリとを設け、動作認識部
に、フレームメモリ中の画像と、基準画像メモリ中に蓄
積している基準画像との差異を抽出する画像変化抽出部
を設けたインターフェイス装置である。

【００１４】（第３の実施の形態）本発明の第３の実施
の形態は、少なくとも撮像部と、撮像した画像中の使用
者の手の形状及び又は動きを認識する動作認識部と、こ
の動作認識部によって認識した使用者の手の形状及び又
は動きを表示する表示部を有し、撮像した使用者の輪郭
を抽出する輪郭抽出手段と、この抽出した輪郭を追跡
し、輪郭線の角度と輪郭線の長さとの関係、即ち輪郭波
形を演算する輪郭波形演算部と、この輪郭波形演算部に
よって演算した輪郭波形をフィルタリングして、所定の
形状を表わす形状波形を生成する形状フィルタとを設け
て前記動作認識部を構成したインターフェイス装置であ
る。

【００１５】以上のように構成したインターフェイス装
置の撮像部にユーザーが向い、例えば手振りによって指
示を与えると、撮像部は、ユーザーの画像を撮像する。
輪郭抽出手段はユーザーの画像の輪郭を抽出し、この輪
郭は、輪郭波形演算部によって、輪郭上の基準点を開始
点とした輪郭線の長さを横軸として、水平線に対する輪
郭線の角度、即ち輪郭波形として変換される。この輪郭
波形は、所定の帯域のバンドパスフィルタ、例えば、指
の凹凸に相当するバンドパスフィルタによって構成した
形状フィルタによって指の凹凸形状を表わす形状波形に
変換され、手のある位置を演算すると同時に、この形状
波形中に存在するパルス数を数えるだけで、出されてい
る指の本数、即ち手の形状を正確に判断させることが出
来る。この手の位置や形状に基づき、与えた手振りが表
示部の表示画面上に表示され、例えば表示画面上に表示
した仮想スイッチ等を手振りによって選択出来るもので
あり、マウス等の入力装置を必要とせず、非常に簡便な
機器の操作が可能となるものである。

【００１６】また、帯域の異なる複数のバンドパスフィ
ルタによって複数の形状フィルタを構成し、前記複数の
形状フィルタによって生成した形状波形に基づいて、使
用者の動作を判定させるように構成してもよい。これに
より、複数の形状が認識できるようになる。

【００１７】また、少なくとも手の凹凸に対応する輪郭
波形形状のバンドパスフィルタと、指の凹凸に対応する
輪郭波形形状のバンドパスフィルタとによって複数の形
状フィルタを構成してもよい。これにより、手の部分の
凹凸のみを反映した滑らかな形状波形に変換され、又指
の凹凸のみを反映した形状波形に変換される。

【００１８】また、撮像した使用者の輪郭形状の座標
と、輪郭波形演算部によって演算した輪郭波形との対応
を記憶させる座標テーブルを設け、形状波形の波高存在
位置と前記座標テーブルとを用いて、撮像画像中の所定
の形状が存在する座標を演算する座標演算部を設けて動
作認識部を構成してもよい。これにより、輪郭形状の座
標が演算され、その座標が出力される。

【００１９】また、形状フィルタによって生成した形状
波形中のパルス数を数える形状判定部を設けて動作認識
部を構成し、前記形状判定部の出力値によって、物体の
形状を判定させるようにしてもよい。これにより、パル
ス数によって、二本指の形状であるのか、手を握った形
状であるのかの判定が容易になされる。

【００２０】また、形状フィルタによって生成した形状
波形を微分する微分器を設けて動作認識部を構成しても
よい。微分によって、波形がよりパルス状になり、パル
ス数のカウントが容易となる。

【００２１】（第４の実施の形態）これまでの実施の形
態は表示画面に表示された２次画面について操作を行う
例について述べてきたが、本実施の形態は仮想的な３次
元を２次元表示画面に表示した場合の操作に係るもので
ある。一般的には表示された仮想的な３次元空間におい
て、カーソルを用いて仮想空間内の仮想物体をつかむ動
作を想定すると、以下のような構成となる。

【００２２】図２１において、Ａ１は入力装置、Ａ２は
カーソル座標記憶部、Ａ３は物体座標記憶部、Ａ４は表
示装置、Ａ５は接触判断部である。図２２は既に述べて
きた実施の形態と同様に、操作者の手の形状から表示す
ることができる二指のマニピュレータ形状のカーソルを
示す。図２２(ａ)，(ｃ)，(ｅ)は指を開いた状態、図２
２(ｂ)，(ｄ)，(ｆ)は指を閉じた状態を示す。図２３は
仮想空間内の仮想物体の例を示す。ここで操作者は二指
のカーソルを用いて仮想３次元空間内の仮想物体をつか
む動作を想定する。図２４(ａ)、図２４(ｂ)はカーソル
を用いて仮想物体をつかむ時の仮想空間内のカーソルお
よび仮想物体の配置を示す。図２５は表示装置Ａ４の表
示を示す。

【００２３】操作者の操作が入力部Ａ１に与えられる
と、カーソル座標記憶部Ａ２に記憶するカーソル座標お
よびカーソルの二指の間隔が前記操作に基づいて更新さ
れる。表示装置Ａ４はカーソル座標記憶部Ａ２の記憶す
る情報および物体座標記憶部Ａ３の記憶する仮想物体の
位置情報を用いてカーソルと仮想物体を含む仮想空間を
描画する。ここで、接触判断部Ａ５はカーソル座標記憶
部Ａ２の記憶する情報および物体座標記憶部Ａ３の記憶
する仮想物体の位置情報を用いてカーソルと仮想物体が
仮想空間内で接触するか否かを計算する。具体的には、
カーソルおよび仮想物体を構成する複数の面の間の仮想
空間内での距離をそれぞれの面の間について計算し、カ
ーソルの二指の間に仮想物体が接触すれば、カーソルが
仮想物体をつかんだと判断し、以後カーソルの移動にあ
わせて物体の座標を変更する。

【００２４】しかしながらこのような手法では図２４
(ａ)、(ｂ)に示すような配置の場合に表示装置による表
示が図２５のようになり、仮想空間内でカーソルと仮想
物体の位置が完全に一致しない場合でも座標が一致して
いると操作者が誤判断する場合がある。また、３次元表
示装置を用いた場合や図２４(ａ)、(ｂ)を併記したよう
な表示でも、実空間内と仮想空間内の距離感覚の違いか
らなめらかな操作が困難となる。

【００２５】このように、表示空間である仮想的な空間
における距離感覚と実空間での距離感覚との差異や、操
作者が意図するカーソルの動きと実際のカーソルの動き
との差異により、カーソルと仮想空間内の仮想物体との
相互作用（例えば仮想のマニピュレータによって仮想物
体をつかむ場合など）において操作者の意図に沿った相
互作用（前記の例では仮想物体をつかむ）がなめらかに
実現できない。

【００２６】本実施の形態では、仮想空間において操作
者が手振り等で非接触で操作性良くカーソル制御が出来
ると共に、仮想空間内の仮想物体との相互作用の発生の
有無を、仮想空間内のカーソルと仮想物体の構成要素
（仮想空間が３次元の場合は表面）間の距離のみによっ
て決定するのではなく、相互作用判定手段が必ずしも仮
想空間内での距離が近接していない対象物に対しても相
互作用を起こすことで、カーソルが仮想物体と相互作用
を起こすか否かの判定を操作者の意図に近づけ、インタ
ーフェイスの操作性をさらに向上させることが出来る。
さらに、必ずしも仮想空間内での距離が近接していない
対象物に対しても相互作用を起こすことが可能となる。

【００２７】本実施の形態の第１の構成は、表示手段
と、前記表示手段に表示するカーソルの位置および形状
を変更する入力手段と、前記カーソルの位置を代表する
代表点座標および前記カーソルの形状を記憶するカーソ
ル記憶手段と、前記カーソル以外の表示物の位置を代表
する代表点座標および前記表示物体の形状を記憶する物
体記憶手段と、前記カーソル記憶手段に記憶するカーソ
ルの位置および形状と前記物体記憶手段に記憶する表示
物の位置および形状を用いて、前記カーソルと前記表示
物との間の相互作用を判定する相互作用判定手段とから
構成し、前記相互作用判定手段は、少なくとも１点の前
記カーソルの代表点と少なくとも１点の前記表示物の代
表点との間の距離を計算する距離計算手段と、前記カー
ソルの移動または形状の変化を認識する動作認識手段
と、前記距離計算手段が計算する距離と前記動作認識手
段の認識結果を用いて前記カーソルと前記表示物との相
互作用を決定する総合判定手段とから成ることを特徴と
するインターフェイス装置である。

【００２８】本構成により、仮想空間において操作者が
操作するカーソルと仮想空間内の仮想物体との相互作用
の発生の有無を、仮想空間内の前記カーソルと前記仮想
物体の構成要素（仮想空間が３次元の場合は表面）間の
距離のみによって決定するのではなく、距離計算手段が
算出する代表点間の距離および動作認識手段が認識する
カーソルの動作によって総合判定手段が相互作用の発生
の有無を判定することにより、必ずしも仮想空間内での
距離が近接していない対象物に対しても相互作用を起こ
すことが可能となる。

【００２９】また、第１の構成において、動作認識手段
が予め登録した動作を認識した場合に、距離計算手段が
計算する距離が予め定めた基準以下の表示物に対して相
互作用判定手段が相互作用を発生させる第２の構成とし
てもよい。

【００３０】また、第１、第２の構成において、表示空
間内におけるカーソルの移動方向と移動量を算出する移
動ベクトル算出手段を設けて相互作用判定手段を構成
し、前記移動方向算出手段が算出するカーソルの移動方
向およびカーソルの移動量に基づいて相互作用判定手段
が前記カーソルと表示物との相互作用を決定する第３の
構成としてもよい。

【００３１】また、第３の構成において、移動ベクトル
算出手段が算出するカーソルの移動量が予め定めた基準
値以下の場合に相互作用判定手段が相互作用を発生させ
る第４の構成としてもよい。

【００３２】また、第３、第４の構成において、移動ベ
クトル算出手段が算出するカーソルの移動方向の延長線
近傍に存在する表示物に対して相互作用判定手段が相互
作用を発生させる第５の構成としてもよい。

【００３３】また、第１〜第５の構成において、カーソ
ルの形状と表示物の形状とが予め登録した組み合わせに
なる場合に相互作用判定手段が相互作用を発生させる第
６の構成としてもよい。

【００３４】また、第１〜第６の構成において、カーソ
ル形状および表示物の形状を認識する形状判定手段を備
えて相互作用判定手段を構成し、前記形状認識手段が認
識するカーソルの形状と表示物の形状とが一致する場合
について相互作用判定手段が相互作用を発生させる第７
の構成としてもよい。

【００３５】また、第１〜第７の構成において、視線方
向を検出する視線入力手段を設け、前記視線入力手段が
検出する視線の延長線上近傍の表示物に対し、動作認識
手段が予め登録した動作を認識した場合に、相互作用判
定手段が相互作用を発生させる第８の構成としてもよ
い。

【００３６】また、第８の構成において、視線入力手段
が検出する視線の延長線上近傍の表示物に対し、前記視
線の延長線上近傍にカーソルが存在し、かつ動作認識手
段が予め登録した動作を認識した場合に、相互作用判定
手段が相互作用を発生させる第９の構成としてもよい。

【００３７】また、第１〜第９の構成において、相互作
用を発生させた場合、カーソルと対象とする表示物との
位置関係および前記カーソルの形状および前記表示物の
形状を学習する学習手段を設け、相互作用判定手段が学
習手段の学習結果に基づいて、相互作用を決定する第１
０の構成としてもよい。

【００３８】また、第１０の構成において、カーソルと
対象とする表示物との位置関係または前記カーソルの形
状および前記表示物の形状が学習手段が過去に学習した
位置関係または形状と類似する場合に、相互作用判定手
段が相互作用を発生させる第１１の構成としてもよい。

【００３９】また、第１〜第１１の構成において、カー
ソル記憶部および物体記憶部から距離計算手段への入力
に対して座標変換を行う座標変換手段を設けて相互作用
判定手段を構成する第１２構成としてもよい。

【００４０】また、第１２の構成において、相互作用を
発生させた場合、カーソルと対象とする表示物との位置
関係を接近させるように座標変換を行う第１３の構成と
してもよい。

【００４１】（第１の実施例）図１は、本発明によるイ
ンターフェイス装置の第１の実施例の外観を示したもの
である。図１において、１はホストコンピュータ、２は
表示に用いるディスプレイ、３は画像を撮像するＣＣＤ
カメラである。ＣＣＤカメラ３は、ディスプレイ２の表
示方向と同一方向に撮像面を配置してあり、ユーザーが
表示面に向かうことにより、ユーザーの手形状を撮像で
きるようになっている。ディスプレイ２上には、メニュ
ー201,202及び前記手形状を反映した表示を行うアイコ
ン200が表示できるようになっている。

【００４２】図２は、本実施例の詳細ブロック図を示す
ものである。ＣＣＤカメラ３から入力された画像は、フ
レームメモリ21に蓄えられる。基準画像メモリ25には、
予め撮像された人を含まない背景の画像を、基準画像と
して保存している。基準画像は必要に応じて随時更新す
る事ができる。

【００４３】形状識別手段22は、フレームメモリ21中に
蓄えた画像と、基準画像メモリ25に保存された画像との
差を抽出する事により、画像中から背景画像を取り除く
と共に、例えばユーザーの手に相当する部分を抽出し、
その形状が、例えば図３(ａ)に示すような、一本指の形
状であるのか、又図３(ｂ)に示すような二本指の形状で
あるのか又はそれ以外図３(ｃ)であるのかを判断する。

【００４４】図４は、形状識別手段22の詳細実施の形態
を示したもので、画像差演算部221と輪郭抽出部222と形
状識別部223とによって構成した例を示したものであ
る。画像差演算部221 は、前述のように、フレームメモ
リ中に蓄えた画像と、基準画像メモリに保存された画像
との差を演算する。これにより、抽出したい物体、例え
ばユーザーと背景の部分を分離できるわけである。例え
ば、画像差演算部221 を単純な引算回路で構成した場
合、図５に示すように、フレームメモリ中の画像中のユ
ーザーの手の部分だけを抽出することが出来るわけであ
る。輪郭抽出部222は、画像差演算部221 によって演算
した結果の画像中に存在する物体の輪郭形状を抽出す
る。具体的な方法例としては、画像のエッジを抽出する
ことにより、簡単に輪郭形状が抽出できる。

【００４５】形状識別部223は、輪郭抽出部222によって
抽出した、手の輪郭形状を詳細識別し、例えばその形状
が、図３(ａ)に示すような、一本指の形状であるのか、
又図３(ｂ)に示すような二本指の形状であるのかを判断
する。形状の識別法としては例えば、テンプレートマッ
チング、形状モデルとのマッチング手法、ニューラルネ
ットワークなどを用いることが可能である。

【００４６】アイコン生成部24は、形状識別部223 によ
る手の形状の識別結果に基づき、ディスプレイに表示す
べき特殊形状としてアイコン画像を生成する。例えば、
手の形状の識別結果が一本指の形状であれば、例えば図
６(ａ)に示すような数字”１”のアイコンを生成し、ま
た二本指の形状であれば、例えば図６(ｂ)に示すよう
な、数字”２”のアイコンを生成する。アイコンの形状
としては手の形状の識別結果が一本指の形状であれば、
図６(ｃ)に示すような一本指型のアイコンを、又二本指
の形状であれば、図６(ｄ)に示すような二本指型のアイ
コンなどを生成してもよい。表示制御部23は、形状識別
部223 による手の形状の識別結果に基づき表示を制御す
る。例えば、識別結果に基づいた前記アイコンを表示す
るとともに識別結果と予め対応づけてあるメニューを手
形状の識別結果に基づいて強調して表示を行う。

【００４７】以上の様に構成した本実施例による操作例
を以下に示す。図７(ａ)に示すように、本実施例のイン
ターフェイス装置を備えた機器にユーザーが向い、手を
一本指の形状にすると、ディスプレイ上に数字”１”の
アイコンが表示されるとともに、１番目のメニューであ
るテレビの表示が強調表示される。このとき強調表示に
あわせてディスプレイ装置から音あるいは音声を出力す
ることで操作者の注意を更に喚起することが可能であ
る。ここで、図７(ｂ)のように手を二本指の形状にする
と、ディスプレイ上に数字”２”のアイコンが表示され
るとともに、２番目のメニューであるネットワークの表
示が強調表示される。この状態で例えば一定時間同じ手
の形状を維持することで２番目のメニューが選択され、
ホストコンピュータにネットワーク端末の表示を行うよ
うに指令を与えることができる。メニューの選択には音
声などを併用してもよい。図７(ｃ)のように予め決めら
れた手の形状以外の場合にはディスプレイ上にはアイコ
ンおよびメニューは表示されず、ホストコンピュータに
命令は送られない。

【００４８】このように本実施例によれば、撮像した画
像中の手の形状を識別し、識別結果に応じてコンピュー
タ等の機器を制御することが可能であり、キーボードや
マウスなどの機器を用いずに遠隔から非接触で操作を行
うことが可能である。また、手の形状を識別した結果を
画面に反映させることで使用者が識別結果を確認しなが
ら操作を行うことができ、使いやすくかつ確実な操作が
可能となる。

【００４９】なお、本実施例では単にメニュー選択に適
用した例を示したが、手のある形状に従ったをアイコン
表示が、絵や文章などと置き換わるように前もって設定
することにより、絵や文字を表示に書き込み制御するこ
とも容易であることは言うまでもない。

【００５０】（第２の実施例）図８は、本発明によるイ
ンターフェイス装置の第２の実施例の外観を示したもの
である。図８において、第１の実施例と同様の機能を有
する部分には同じ数値で構成要素を示す。即ち、１はホ
ストコンピュータ、２は表示に用いるディスプレイ、３
は画像を撮像するＣＣＤカメラである。ＣＣＤカメラ３
は、ディスプレイ２の表示方向と同一方向に撮像面を配
置してあり、ユーザーが表示面に向かうことにより、ユ
ーザーの手振りを撮像できるようになっている。ディス
プレイ２の表示面上には、仮想スイッチ204,205,206,及
び前記仮想スイッチを選択する矢印カーソルのアイコン
203が表示できるようになっている。

【００５１】図９は、本実施の形態の詳細な構成のブロ
ック図を示すものである。ＣＣＤカメラ３から入力され
た画像は、フレームメモリ21に蓄えられる。基準画像メ
モリ25には、予め撮像された画像が、基準画像として保
存されている。基準画像更新部26は、タイマ261と画像
更新部262とによって構成してあり,タイマ261で指示さ
れる一定の時間間隔でフレームメモリ21に保存した最新
画像を基準画像メモリ25に転送し、基準画像を更新す
る。

【００５２】動作認識部22は、フレームメモリ中に蓄え
た画像と、基準画像メモリに保存された画像との差を抽
出することにより、画像中から背景画像を取り除くと共
に、例えばユーザーの手に相当する部分を抽出し、その
形状が、例えば図１０(ａ)に示すような一本指の形状で
あるのか、又図１０(ｂ)に示すような握り拳の形状であ
るのかを判断する。

【００５３】図１１は、動作認識部22の詳細を示したも
ので、画像差演算部221と輪郭抽出部222と形状変化識別
部225と位置検出部224とによって構成した例を示したも
のである。

【００５４】画像差演算部221は、前述のようにフレー
ムメモリ21中に蓄えた画像と,基準画像メモリ25に保存
された画像との差を演算する。これにより、動きとして
抽出したい物体、例えばユーザーの手の部分と背景の部
分を分離できると同時に、動いている物体画像だけを抽
出できるわけである。例えば,画像差演算部221を単純な
引算回路で構成した場合、図１２に示すように、基準画
像中の手の部分と、フレームメモリ中の最新画像中の手
の部分だけを抽出することが出来るわけであり、動いて
いる手の部分だけを簡単に同定できるわけである。輪郭
抽出部222は,画像差演算部221によって演算した結果の
画像中に存在する物体、即ち,動く前と、動いた後の手
の部分の輪郭形状を抽出する。具体的な方法例として
は、画像のエッジを抽出することにより、簡単に輪郭形
状が抽出できる。

【００５５】形状変化識別部225は、輪郭抽出部222によ
って抽出した、動いた後の手の部分の輪郭形状を詳細識
別し、例えばその形状が、図１０(ａ)に示すような、一
本指の形状であるのか、又図１０(ｂ)に示すような握り
拳の形状であるのかを判断する。同時に位置検出部224
は,前記動いた後のユーザーの手の部分の輪郭形状の重
心座標を演算する。

【００５６】アイコン生成部24は、形状変化識別部225
による手の形状の識別結果に基づき,ディスプレイに表
示すべきアイコン画像を生成する。アイコン画像の例と
しては例えば、手の形状の識別結果が一本指の形状であ
れば、例えば図１３(ａ)に示すような矢印のアイコンを
生成し、又握り拳の形状であれば、例えば図１３(ｂ)に
示すようなＸ印のアイコンを生成する。また、手の形状
の識別結果が二本指の形状であれば、例えば図１３(ｃ)
に示すような二本指の形状を模した形状のアイコンを生
成し、又握り拳の形状であれば、例えば図１３(ｄ)に示
すような、握り拳の形状を模した形状のアイコンを生成
する構成としてもよい。

【００５７】表示制御部23は、アイコン生成部24によっ
て生成したアイコンのディスプレイ２上での表示位置を
制御するもので、座標変換部231と座標反転部232から成
る。座標変換部231は,撮像した画像の座標からディスプ
レイ２の表示座標への変換を行ない、又座標反転部232
は、変換した表示座標の左右位置を反転する。

【００５８】即ち、位置検出部224 によって検出したユ
ーザーの手に相当する部分の画像中の重心座標から、デ
ィスプレイ２の表示座標への変換を行い、左右の座標を
反転させてディスプレイ２にアイコンを表示するわけで
ある。この操作により、ユーザーが手を右に動かせば、
この動作を鏡に写したのと同様に、表示画面上でアイコ
ンが向かって右に動く。

【００５９】以上の様に構成した本実施例による操作例
を以下に示す。図８に示すように、本実施例によるイン
ターフェイス装置を備えた機器にユーザーが向い、手を
一本指の形状にして動かすと、ディスプレイ上に表示し
た矢印カーソルが、手の動きに対応した任意の位置に移
動する。次に、ディスプレイ２上に表示した任意の仮想
スイッチ204,205,206の上に手を動かすことによって矢
印カーソルを移動させ、手を握り、握り拳形状にする
と、その仮想スイッチ204,205,206 が選択され、ホスト
コンピュータ１に指令を与えることができるわけであ
る。

【００６０】尚、本実施例では、撮像した画像中の物体
の形状及び動きを認識する構成としたが、撮像した画像
中の物体の形状または動きのいずれかを認識する構成と
してもよいことは言うまでもない。

【００６１】以上のように本実施例によれば、撮像した
画像中の物体の形状及び又は動きを認識する動作認識部
と、動作認識部によって認識した物体の形状及び又は動
きを表示する表示部と、撮像部で撮像した画像を保存す
るフレームメモリと、フレームメモリ中に保存した画像
よりも前の時間に撮像した画像を基準画像として蓄積す
る基準画像メモリとを設け、動作認識部に、フレームメ
モリ中の画像と、基準画像メモリ中に蓄積している基準
画像との差異を抽出することにより、撮像部にユーザー
が向い、例えば手振りによって指示を与えると、与えた
手振りが表示画面上に表示され、例えば表示画面上に表
示した仮想スイッチ等を手振りによって選択でき、マウ
ス等の入力装置を必要とせず、非常に簡便な機器の操作
が可能となるものである。

【００６２】（第３の実施例）本発明によるインターフ
ェイス装置の第３の実施例の外観は第２の実施例で示し
た図８と同様であり、第２の実施例と同じ部分は図８、
図１０を用いて説明し、その他異なる部分のみを図１４
以降に示している。

【００６３】図１４は、第３の実施例の詳細ブロック図
を示すものである。ＣＣＤカメラ３から入力された画像
は、フレームメモリ３１に蓄えられる。動作認識部３２
は、フレームメモリ３１中に蓄えた画像中から、例えば
ユーザーの手に相当する部分を抽出し、その形状が、例
えば図１０(ａ)に示すような一本指の形状であるのか図
１０(ｂ)に示すような握り拳の形状であるのかを判断す
る。

【００６４】図１５は、動作認識部32の詳細を示したも
のであり、図１６〜図２０を用いてその詳細動作を説明
する。まず、輪郭抽出部321 は、画像中に存在する物体
の輪郭形状を抽出する。具体的な方法例としては、画像
を二値化し、そのエッジを抽出することにより、簡単に
輪郭形状が抽出できる。図１７(ａ)は、抽出した輪郭線
の一例であり、手の部分は一本指の形状を示している。

【００６５】次に輪郭波形演算部322は、図１７(ａ)に
示すような輪郭抽出部321によって抽出した物体の輪郭
形状を図中の開始点ｓを起点として、図の矢印の方向
（反時計回り）に輪郭線をたどり、図１９に示すよう
に、輪郭線上の各点ｘにおける輪郭線の水平線からの角
度θを、開始点ｓからの距離ｌに対する関数として抽出
し、図１７(ｂ)に示すような、距離ｌを時間軸とみなし
た波形形状に変換すると同時に、距離ｌに対応する輪郭
線上の各点の座標をテーブルにして、変換テーブル324
に保存する。3231及び3232に示す形状フィルタ１及び形
状フィルタ２は、それぞれ図１７(ｂ)に示した輪郭波形
中の手の部分の凹凸、及び指の部分の凹凸に対応する帯
域を通過させるフィルタである。

【００６６】形状フィルタ１により、図１７(ｂ)は、図
１７(ｃ)に示すように、手の部分の凹凸のみを反映した
滑らかな形状波形に変換され、又形状フィルタ２によっ
て、図１７(ｄ)に示すように、指の凹凸のみを反映した
形状波形に変換され、それぞれ微分器3251及び3252によ
って微分され、最終的に、図１７(ｅ)及び図１７(ｆ)に
示す形状微分波形が得られる。形状判定部3262は、手の
部分の輪郭形状が、図１０(ａ)に示すような二本指の形
状であるのか、又図１０(ｂ)に示すような握り拳の形状
であるのかを判断し、同時に座標演算部3261は、前記ユ
ーザーの手の部分の輪郭形状の重心座標を演算するもの
である。座標演算部3261は、図１７(ｅ)に示す形状微分
波形中の、大きなパルス波形が存在する位置、ｌｃ１、
ｌｃ２を求め、座標変換テーブル324 により、図２０に
示すｃ１点、ｃ２点へ変換し、ｃ１点からｃ２点までの
手の部分の輪郭線より、手の部分の重心を演算して、手
座標として出力する。

【００６７】又、形状判定部3262は、図１７(ｆ)の形状
微分波形中の指の部分の相当するパルス波形の数をカウ
ントして出力する。即ち、図１７(ｆ)の場合には、指の
部分に相当する２つの大きなパルス波形が存在するた
め、図１０(ａ)に示すような、二本指の形状であると判
定して出力するわけである。又、図１８(ａ)に示すよう
に、手を握った形状の場合、指の部分の凹凸がほとんど
無く、形状フィルタ２の出力は、図１８(ｃ)に示すよう
に、凹凸の無い形状波形となり、従って微分器3262の出
力も、図１８(ｄ)に示すように、パルス波形が無いよう
な形状微分波形となり、パルス波形のカウントは０とな
り、図１０(ｂ)に示すような握り拳の形状であると判定
して出力できるわけである。この形状判定部3262の具体
的構成例としては、単純なしきい値処理法や、ニューラ
ルネットワーク等を用いることができる。

【００６８】図１４のアイコン生成部34は、図１５中の
形状判定部3262による手の形状の識別結果に基づき、デ
ィスプレイに表示すべきアイコン画像を生成する。例え
ば、手の形状の識別結果が一本指の形状であれば、例え
ば図１６(ａ)に示すような矢印のアイコンを、又握り拳
の形状であれば、例えば図１６(ｂ)に示すような、Ｘ印
のアイコンを生成する。表示制御部33は、アイコン生成
部34によって生成したアイコンのディスプレイ上での表
示位置を制御するもので、座標変換部331 と座標反転部
332から成る。座標変換部331は、撮像した画像の座標か
らディスプレイの表示座標への変換を行ない、又、座標
反転部332 は、変換した表示座標の左右位置を反転す
る。即ち、図１５中の座標演算部3261が出力したユーザ
ーの手に相当する部分の画像中の重心座標から、ディス
プレイの表示座標への変換を行い、左右の座標を反転さ
せてディスプレイにアイコンを表示するわけである。こ
の操作により、ユーザーが手を右に動かせば、この動作
を鏡に写したのと同様に、表示画面状でアイコンが向か
って右に動く。

【００６９】以上の様に構成した本実施例の操作例を以
下に示す。図８に示すように、本実施例によるインター
フェイス装置を備えた機器にユーザーが向い、手を一本
指の形状にして動かすと、ディスプレイ２上に表示した
アイコン203 の矢印カーソルが、手の動きに対応した任
意の位置に移動する。次に、ディスプレイ２上に表示し
た任意の仮想スイッチ204,205,206 の上に手を動かすこ
とによって矢印カーソルを移動させ、手を握り、握り拳
形状にすると、その仮想スイッチが選択され、ホストコ
ンピュータ１に指令を与えることができるわけである。

【００７０】又、表示するアイコンの例としては、図１
６(ｃ)、(ｄ)に示すように、手の形状そのものをアイコ
ン化すれば、実際の手の動きと対応が取れ、分かりやす
い。具体的には、図１６(ｃ)、(ｄ)のような画像を予め
登録しておいてもよいし、又輪郭抽出部によって抽出し
た手の輪郭形状データを任意の大きさに縮小又は拡大
し、アイコン画像として用いることもできる。

【００７１】このように、本実施例はインターフェイス
装置の撮像部にユーザーが向い、例えば手振りによって
指示を与えると、撮像部は、ユーザーの画像を撮像し、
ユーザーの画像の輪郭を抽出し、輪郭上の基準点を開始
点とした輪郭線の長さを横軸として、水平線に対する輪
郭線の角度、即ち輪郭波形として変換される。この輪郭
波形は、所定の帯域のバンドパスフィルタ、例えば、指
の凹凸に相当するバンドパスフィルタによって構成した
形状フィルタによって指の凹凸形状を表わす形状波形に
変換され、手のある位置を演算すると同時に、この形状
波形中に存在するパルス数を数えるだけで、出されてい
る指の本数、即ち手の形状を正確に判断させることが出
来る。この手の位置や形状に基づき、与えた手振りが表
示画面上に表示され、例えば表示画面上に表示した仮想
スイッチ等を手振りによって選択出来るものであり、マ
ウス等の入力装置を必要とせず、非常に簡便な機器の操
作が可能となるものである。

【００７２】（第４の実施例）本発明の第４の実施例に
ついて図面を参照して説明する。図２６はインターフェ
イス装置の第４の実施例のブロック図を示すものであ
る。

【００７３】図２６において、４１は入力手段、４２は
カーソル記憶手段、４３は物体記憶手段、４４は表示手
段、４５は相互作用判定手段、４５ａは距離計算手段、
４５ｂは動作認識手段、４５ｃは総合判定手段、４５ｄ
は移動ベクトル算出手段、４５ｅは形状判定手段、４５
ｆは学習手段、４５ｇは座標変換手段、４６は視線入力
手段である。

【００７４】図２６において操作者が入力手段４１に対
して操作を行い、前記操作結果に基づいて、カーソル記
憶手段４２がカーソルの仮想空間内での位置を代表する
代表点座標および形状を変更・記憶し、表示手段４４は
カーソル記憶手段４２が記憶するカーソルの仮想空間内
での位置を代表する代表点座標および形状と物体記憶手
段４３が記憶する仮想物体の仮想空間内での位置を代表
する代表点座標および形状とに基づいて前記カーソルお
よび前記仮想物体を２次元表示あるいは３次元表示す
る。

【００７５】視線入力手段４６は前記表示上における操
作者の視線の位置を検出する。距離計算手段４５ａはカ
ーソル記憶手段４２と物体記憶手段４３に記憶する代表
点の座標に基づいてカーソルと仮想物体との仮想空間内
における距離を計算する。動作認識手段４５ｂはカーソ
ル記憶手段４２と物体記憶手段４３に記憶する内容に基
づいて操作動作の認識を行う。移動ベクトル算出手段４
５ｄは仮想空間内におけるカーソルの移動方向および移
動距離を算出する。形状判定手段４５ｅはカーソルの形
状と仮想物体の形状が相互作用を起こすのに適切か否か
を判定する。学習手段４５ｆは総合判定手段４５ｃがカ
ーソルと仮想物体の間の相互作用を起こした場合の前記
カーソルと前記仮想物体の位置及び形状の関係を記憶
し、現在の状態が過去に相互作用を起こした状態に類似
しているか否かを出力する。

【００７６】総合判定手段４５ｃは距離計算手段４５ａ
の出力するカーソルと仮想物体間との距離と、動作認識
手段４５ｂが認識した認識結果と、移動ベクトル算出手
段４５ｄが算出するカーソルの移動方向と移動距離と、
視線入力手段４６が検出する視線の位置と、形状判定手
段４５ｅの判定結果と、学習手段４５ｆが出力する過去
の相互作用との類似度合とに基づいて前記カーソルと前
記仮想物体が相互作用するか否かを判定し、相互作用の
結果に応じて前記カーソルや前記仮想物体の代表点座標
や形状を変更する。座標変換手段４５ｇは相互作用判定
手段４５が相互作用を起こした場合に距離計算手段４５
ａが距離計算に用いるカーソルと対象となる仮想物体と
の仮想空間内での座標を両者の位置が近づくように座標
変換を行う。

【００７７】図２２(ａ)，(ｂ)は、本発明のインターフ
ェイス装置に用いるカーソルの第一の実施の形態で二指
のマニピュレータ形状のものである。図２２において、
(ａ)は指を開いた状態、(ｂ)は指を閉じた状態である。
図２２(ｃ)、(ｄ)は本発明のインターフェイス装置に用
いるカーソルの第二の実施の形態で二指二関節のマニピ
ュレータ形状のものである。図において(ｃ)は指を開い
た状態、(ｄ)は指を閉じた状態である。図２２(ｅ)、
(ｆ)は本発明のインターフェイス装置に用いるカーソル
の第三の実施の形態であり五指の手形状のものである。
図２２において、(ｅ)は手を開いた状態、(ｆ)は手を閉
じた状態である。図２３(ａ)，(ｂ)は本発明のインター
フェイス装置に用いる仮想空間内の物体の例である
（(a)は立方体、(b)は平面体）。

【００７８】以上のように構成したインターフェイス装
置の動作を説明する。本実施例は操作者が３次元の仮想
空間内において図２２のようなカーソルを移動し、前記
仮想空間内に存在する図２３のような仮想物体をつかん
で移動する動作を想定する。操作者の操作は入力手段４
１に対して行う。

【００７９】ここで、入力にはカーソルの位置あるいは
形状を変化させるための情報を入力する入力装置とし
て、図２７(ａ)〜(ｃ)に示すような手段あるいはカメラ
やキーボード、音声認識などによるコマンド入力などを
用いることができる。図２７(ａ)はマウスで、マウス本
体の移動とボタンのクリックなどによってカーソルを操
作する。図２７(ｂ)はデータグローブで、人の手に装着
し、指の関節角やデータグローブの実空間内での位置を
カーソルの位置と形状に反映させ、カーソルを操作す
る。図２７(ｃ)はジョイスティックで、レバーの操作お
よび操作ボタンとの併用によりカーソルを操作する。カ
メラを用いる場合には、身体または身体の一部（手な
ど）をカメラで撮像し、手の形状および位置を読みと
る。

【００８０】図２８は、手のみをカメラで撮像した場合
の形状抽出の一実施の形態を示す。図２８(ａ)はカメラ
で手を撮像した例である。図２８(ａ)の画像の各画素の
輝度を二値化したものが図２８(ｂ)である。図２８(ｂ)
において、黒画領域に外接する長方形の縦の辺の長さと
横の辺の長さとの比率等により手の開閉の度合いの判定
が可能となり、黒画素全体の重心座標と面積から位置と
距離の入力が可能となる。入力手段４１は前記操作内容
（カーソルの移動量やカーソル形状の変更量など）をカ
ーソル記憶手段４２に出力する。

【００８１】カーソル記憶手段４２は入力手段４１が出
力した操作内容に基づき、カーソル記憶手段で記憶する
カーソルの代表点の仮想空間内での座標と形状を記憶す
る。代表点としてはカーソルの重心座標（X0,Y0,Z0）を
代表点として用いる。

【００８２】尚、代表点としては、カーソルを構成する
各面の中心座標や頂点の座標などを用いてもよい。形状
としては図２２(ａ)の場合は二指の間隔ｄ、図２２
(ｂ)、(ｃ)の場合は各指の関節の内角θｎ（ｎは関節の
番号：θｎが小さくなると関節が曲がる状態を示す）を
記憶情報とする。なお形状としては各指の指先や各関節
の仮想空間内での座標などを用いてもよい。

【００８３】物体記憶手段４３は操作の対象となる図２
３に示す仮想空間内の仮想物体の代表点の座標と形状を
記憶する。代表点としては仮想物体の重心座標（立方体：(X1,Y1,Z1),平面体：（X
2,Y2,Z2））を代表点として用いる。なお代表点としては、仮想物体
を構成する各面の中心座標や頂点の座標などを用いても
よい。形状としては予め定めた形状を表すパラメータα
を形状として記憶する（ここで立方体をα＝１、平面体
をα＝２と定義する）。なお形状としては頂点座標など
を用いてもよい。

【００８４】表示手段４４はカーソル記憶手段４２と物
体記憶手段４３が記憶するカーソルと仮想物体の位置と
形状の情報に基づいて仮想空間を予め指定した視点から
眺めた像を２次元表示する。図２９(ａ)に表示手段の表
示例を示す。操作者が操作を行うとカーソルの表示位置
あるいは形状が変化し、操作者はその表示に基づいて操
作を続ける。

【００８５】相互作用判定手段４５はカーソル位置が変
化する毎にカーソルが物体をつかんだか否か（相互作用
の有無）を判定し、カーソルが物体をつかんだと判断し
た場合にはカーソルの移動にあわせて仮想物体の座標も
移動させる。距離計算手段４５ａは、カーソル記憶手段
４２に記憶するカーソルの重心座標（X0,Y0,Z0）と物体
記憶手段４３に記憶する仮想物体の重心座標（X1,Y1,Z
1),（X2,Y2,Z2）との距離を計算する。

【００８６】動作認識手段４５ｂ手段は予め登録した動
作として”つかむ”という動作をカーソルの形状の変化
を用いて認識する。図２２(ａ)のカーソルの場合には二
指の間隔ｄが減少し続ける状態を”つかむ”動作と認識
し、図２２(ｂ)、(ｃ)のカーソルの場合には全指の角度
θnが減少し続ける状態を”つかむ”動作と認識する。
なお、動作の認識手法としては形状を表すパラメータ
(前記ｄやθnなど）の時系列的な変化を時系列パターン
認識手法（テーブルマッチング、ＤＰマッチング、ヒド
ゥンマルコフモデル(ＨＭＭ)、リカレントニューラルネ
ットワークなど）を用いて予め特定の動作を学習させた
後、認識手法として用いてもよい。

【００８７】移動ベクトル算出手段４５ｄはカーソルの
重心座標（X0,Y0,Z0）の変化を用いて仮想空間内におけ
るカーソルの移動方向と移動量を算出する。例えば現時
刻ｔの重心座標（X0,Y0,Z0)t と一時刻前の重心座標（X
0,Y0,Z0)t-1 との差分ベクトルの方向と大きさをカーソ
ルの移動方向と移動量とする。

【００８８】形状判定手段４５ｅはカーソル記憶手段に
記憶するカーソルの形状が物体記憶手段に記憶する形状
の仮想物体をつかむのに適切な形状か否か（カーソルの
形状が仮想物体と相互作用を起こすのに適切か否か）を
判定する。ここでは物体の形状を表すパラメータαの値
が１の時はカーソルの指が開いている状態を適切な状態
とする。カーソルの指が開いている状態の判断として
は、例えば、図２２(ａ)のカーソルの場合にはｄの値が
ｄの最大値ｄmax と０との中間値よりも大きい場合と
し、図２２(ｂ)、(ｃ)の場合には各関節角θnがそれぞ
れの最大値θn maxと０との中間値よりもすべて大きい
場合とする。

【００８９】物体の形状を表すパラメータαの値が０の
時にはカーソルの指先の間隔が狭い状態を適切な状態と
する。カーソルの指先が狭い状態の判断としては、例え
ば図２２(ａ)のカーソルの場合には、ｄの値がｄの最大
値ｄmax と０との中間値よりも小さい場合とし、図２２
(ｂ),(ｃ)の場合には各関節角θnがそれぞれの最大値θ
n max と０との中間値よりもすべて小さい場合とする。
なお、形状の判定法としては、仮想空間においてカーソ
ルが仮想物体を接触する状態でつかんだ時のカーソル形
状を表すパラメータ(ｄあるいはθn）を予め記憶してお
き、それぞれのパラメータの値が±３０％の範囲で一致
すればつかむ動作に適切であると判断することなども
できる。

【００９０】視線入力手段４６は操作者の視線を検出
し、表示手段４４が表示する画面上で操作者が注視する
座標(注視点の座標)を算出する。視線の検出手段として
はＣＣＤカメラや光センサー等を用いて操作者の瞳の向
きを検出する方法などを用い、操作者の頭部の位置をカ
メラなどを用いて計測することにより前記画面上の注視
点を算出する。

【００９１】学習手段４５ｆは総合判定手段４５ｃがカ
ーソルが仮想物体をつかんだと判断したときのカーソル
の形状を表すパラメータ(ｄまたはθn）とつかんだ仮想
物体の形状を表すパラメータαおよび前記カーソルの位
置と前記仮想物体の位置との相対的な位置関係（カーソ
ルの重心と仮想物体の重心とを結ぶベクトル）を記憶
し、現在の仮想物体の形状を表すパラメータと周囲の仮
想物体の形状を表すパラメータおよび現在のカーソルの
重心と周囲の仮想物体の重心との位置関係が、過去に物
体をつかんだ場合に近い場合（例えば、各パラメータお
よび位置関係を表すベクトルの各次元の要素の値が過去
の値と±３０％の範囲で一致する場合等）には過去の状
況と類似していると判断し１を出力し、その他の場合に
は０を出力する。なお、他の学習手段として過去に物体
をつかんだ場合のカーソルの形状を表すパラメータとつ
かんだ仮想物体の形状を表すパラメータαおよび前記カ
ーソルの位置と前記仮想物体の位置との相対的な位置関
係をニューラルネットワークなどを用いて学習してもよ
い。また、学習する項目として視線検出手段４６で検出
した画面上での注視点座標とカーソルの表示画面上での
座標との位置関係などとを含めて学習することもでき
る。

【００９２】座標変換手段４５ｇは物体をつかんだ場合
（相互作用を起こした場合）に、距離計算手段が距離計
算に用いる座標を仮想空間内でのカーソルと対象となる
仮想物体との距離が近づくように座標変換する。例え
ば、カーソルが仮想物体をつかんだときのそれぞれの座
標が（１００、１５０、２０）と（１０５、１４５、５
０）の場合、座標変換手段は各座標軸の内、差のもっと
も大きいＺ座標について(１)式のように変換を行う。

【００９３】Ｚ’＝0.8×ｚ・・・・・ (１) ここで、ｚは座標変換手段が入力とするカーソル及び仮
想物体の重心のＺ座標、Ｚ’は座標変換手段の出力する
Ｚ座標を示す。

【００９４】この場合Ｘ座標の値およびＹ座標の値は変
更しない。また、カーソル記憶手段と物体記憶手段に記
憶する値は変更しないため、表示手段が表示する画面は
変化しない。上記のような変換を行うことで、仮想空間
内での距離が離れている場合にでも操作者がつかむ動作
を行えば、それ以後は距離計算を行う場合のカーソルと
仮想物体間の距離が小さくなり、距離計算手段が操作者
の知覚する距離感覚に近い距離を計算することが可能と
なる。

【００９５】総合判定手段４５ｃは距離計算手段４５ａ
の出力するカーソルと仮想物体間との距離が予め定めた
基準以下の場合、動作認識手段４５ｂが予め登録した”
つかむ”という動作を認識した場合に、”つかむ”とい
う相互作用が発生したと判定し、以後”つかむ”相互作
用が終了するまで物体記憶手段４３に記憶するつかんで
いる仮想物体の重心座標の値をカーソルの重心座標に一
致させる。ここで、予め定める前記基準値は実際にカー
ソルと物体が仮想空間内で接触できる距離よりも大きい
値でもよい。例えば図２５（図２４の配置）の場合、仮
想物体とカーソルとの距離が前記距離の基準値以下であ
れば、操作者がつかむ動作を入力手段１に指示し、動作
認識手段４５ｂがつかむ動作を認識すれば仮想物体をつ
かんで移動することが可能となる。

【００９６】また、総合判定手段４５ｃは前記距離の基
準以下に複数の仮想物体が存在する場合、図２９(ｂ)に
示すようにカーソルと仮想物体とを結ぶ線分（波線）と
移動ベクトル算出手段４５ｄが算出するカーソルの移動
方向（矢印）とのなす角度がある基準（例えば９０度）
以下の物体をのみを対象とし、操作者の操作においてカ
ーソルの移動方向を考慮した相互作用の判定が可能とな
る（図では３物体中最も上部に位置するものを選択す
る）。

【００９７】また、カーソルの移動距離については、移
動距離が予め定めた移動距離基準よりも大きい場合に
は、相互作用を起こさない。これにより、単にカーソル
を移動している場合に操作者が意図しない相互作用を起
こさないことが可能となる。

【００９８】また、図２９(ｃ)に示すように、複数の仮
想物体が前記基準を満たしている場合、視線入力手段４
６が検出する注視点の位置に近い仮想物体を総合判定手
段４５ｃが”つかむ”対象とする（図では注視点を意味
する”＋”印に近い左側の物体を選択する）。これによ
り、操作者の視線を用いて容易に対象を選択することが
可能となる。

【００９９】また、図２９(ｄ)に示すように画面上で近
接した物体が存在する場合、形状判定手段４５ｅが判定
したカーソルの形状に一致する仮想物体を総合判定手段
４５ｃが”つかむ”対象とする（図ではカーソルの指の
間隔が狭い為、”つかむ”動作の対象として平面体が適
切と判断し、平面体を選択する）。これにより、操作者
の意図する仮想物体をカーソルの形状によって選択する
ことが可能となり、操作者が仮想物体をつかむ場合に連
想しやすいカーソル形状を対応づけることで操作が容易
となる。

【０１００】また、学習手段４５ｆが過去に物体をつか
んだ場合と類似していると判断した仮想物体を総合判定
手段４５ｃが優先的に選択する。これにより操作者が過
去に行った操作に近い判断を再現し、操作性を向上する
ことが可能となる。

【０１０１】このように本実施例は、仮想空間において
操作者が操作するカーソルと仮想空間内の仮想物体との
相互作用の発生の有無を、カーソルと仮想物体との距離
のみで決定するのではなく、操作者の操作における動作
や視線、あるいは過去の事例に基づいて決定することに
より、仮想空間内におけるカーソルを用いた仮想物体と
の相互作用を行うインターフェイスにおいて操作性を向
上させることが可能である。

【０１０２】尚、本実施例では相互作用としてカーソル
を用いて仮想物体をつかむ動作を用いて説明したが、他
に仮想物体に対する指示（ポインティング）や衝突、摩
擦、打撃、遠隔操作等の動作についても同様な扱いが可
能である。また、仮想空間が２次元空間の場合や、表示
手段が３次元立体表示ディスプレイなどを用いた場合に
も同様の効果が得られる。また、実現手段としてはハー
ドウェアを用いても、コンピュータ上のソフトウェアを
用いて実現してもよい。

【０１０３】以上のように本実施例は、仮想空間におい
て操作者が操作するカーソルと仮想空間内の仮想物体と
の相互作用の発生の有無を、仮想空間内の前記カーソル
と前記仮想物体とを構成要素間の距離のみによって決定
するのではなく、距離計算手段が算出する代表点間の距
離および動作認識手段が認識するカーソルの動作によっ
て総合判定手段が相互作用の発生の有無を判定すること
により、必ずしも仮想空間内での距離が近接していない
対象物に対しても相互作用を起こすことが可能となり、
操作性の良い入出力インターフェイスを提供することが
可能となる。また、従来の接触判定法のように仮想空間
内の前記カーソルと前記仮想物体とを構成要素間の距離
をすべて計算する必要がないため計算量を軽減し、処理
の高速化を図ることが可能となる。

【０１０４】

【発明の効果】以上のように本発明は、操作者の手の形
状あるいは又その動きを認識し、認識された手の形状の
特徴を特殊形状として画面にカーソル表示することによ
り、画面内に表示された情報を、手の形状や動きにより
画面に表示された情報を容易に操作性良く制御できるも
のである。

【０１０５】さらに、手の形状の特徴を特殊形状として
画面に表示してカーソル表示すると共に、そのカーソル
表示以外の表示物との関連を操作者の意図に沿った相互
作用の判定が逐次自動的になされることにより、表示物
を指示したり、掴んだりする操作の操作性がさらに向上
したインターフェイスが実現できるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施例によるインターフェイス
装置の外観図

【図２】本発明の第１の実施例によるインターフェイス
装置の詳細ブロック図

【図３】(ａ)〜(ｃ) 同インターフェイス装置によって
判断する手の形状の例を示す図

【図４】同実施例によるインターフェイス装置の形状識
別手段の詳細例を示す図

【図５】同実施例の画像差演算部による演算の一例を示
す図

【図６】(ａ)〜(ｄ) 同実施例のアイコン生成部が生成
するアイコンの例を示す図

【図７】(ａ)〜(ｃ) 同実施例によるインターフェイス
装置の動作例を示す外観図

【図８】本発明の第２の実施例によるインターフェイス
装置の外観図

【図９】本発明の第２の実施例によるインターフェイス
装置の詳細ブロック図

【図１０】(ａ),(ｂ) 同インターフェイス装置によって
判断する手の形状の例を示す図

【図１１】同実施例のインターフェイス装置の動作認識
部の詳細実施例を示す図

【図１２】同実施例の画像差演算部による演算の一例を
示す図

【図１３】(ａ)〜(ｄ) 同実施例のアイコン生成部が生
成するアイコンの例を示す図

【図１４】本発明の第３の実施例によるインターフェイ
ス装置の詳細ブロック図

【図１５】本発明による第３の実施例のインターフェイ
ス装置の動作認識部を示す図

【図１６】(ａ)〜(ｄ) 同実施例によるインターフェイ
ス装置によって表示画面上に表示するアイコンの例を示
す図

【図１７】(ａ)〜(ｆ) 同実施例によるインターフェイ
ス装置の動作認識部の動作を示す図

【図１８】(ａ)〜(ｆ) 同実施例によるインターフェイ
ス装置の動作認識部の動作を示す図

【図１９】同実施例によるインターフェイス装置の動作
認識部の動作を示す図

【図２０】同実施例によるインターフェイス装置の動作
認識部の動作を示す図

【図２１】本発明の第４の実施例におけるインターフェ
イス装置を示すブロック図

【図２２】(ａ) 同実施例のインターフェイス装置に用
いるカーソルの一例においてカーソルが開いた状態を示
す図 (ｂ) 同閉じた状態を示す図 (ｃ) 同実施例のインターフェイス装置に用いるカーソ
ルの他の例においてカーソルが開いた状態を示す図 (ｄ) 同閉じた状態を示す図 (ｅ) 同実施例のインターフェイス装置に用いるカーソ
ルのさらに他の例においてカーソルが開いた状態を示す
図 (ｆ) 同閉じた状態を示す図

【図２３】(ａ) 同実施例のインターフェイス装置に用
いる仮想物体の一例の形を示す図 (ｂ) 同仮想物体の他の例の形を示す図

【図２４】(ａ) 仮想空間のカーソルと仮想物体の配置
を示す正面図 (ｂ) 仮想空間のカーソルと仮想物体の配置を示す側面
図

【図２５】同実施例を説明するための仮想空間の表示例
を示す図

【図２６】同実施例のインターフェイス装置の一例を示
すブロック図

【図２７】(ａ) 同実施例のインターフェイス装置に用
いる入力手段における入力装置の一例を示す図 (ｂ) 同実施例のインターフェイス装置に用いる入力手
段における入力装置の他の例を示す図 (ｃ) 同実施例のインターフェイス装置に用いる入力手
段における入力装置のさらに他の例を示す図

【図２８】(ａ) 同実施例のカメラを用いて手を撮像し
た画像の一例を示す図 (ｂ) 同実施例のカメラを用いて手を撮像した画像を二
値化した一例を示す図

【図２９】(ａ) 本実施例のインターフェイス装置に用
いる表示手段が表示する画面の一例を示す図 (ｂ) 同表示画面の第二の例を示す図 (ｃ) 同表示画面の第三の例を示す図 (ｄ) 同表示画面の第四の例を示す図

【図３０】従来のインターフェイス装置を示す図

【符号の説明】

１ホストコンピュータ２ディスプレイ３ＣＣＤカメラ２１フレームメモリ２２形状識別手段２３表示制御部２４アイコン生成部２５基準画像メモリ２６基準画像更新部３１フレームメモリ３２動作認識部３３表示制御部３４アイコン生成部４１入力手段４２カーソル記憶手段４３物体記憶手段４４表示手段４５相互作用判定手段４５ａ距離計算手段４５ｂ動作認識手段４５ｃ総合判定手段４５ｄ移動ベクトル算出手段４５ｅ形状判定手段４５ｆ学習手段４５ｇ座標変換手段２００アイコン２０１，２０２メニュー２０３アイコン２０４，２０５，２０６仮想スイッチ２２１画像差演算部２２２輪郭抽出部２２３形状識別部２２４位置検出部２２５形状変化識別部２３１座標変換部２３２座標反転部２６１タイマ２６２画像更新部３２１輪郭抽出部３２２輪郭波形演算部３２４座標テーブル３３１座標変換部３３２座標反転部３２３１形状フィルタ１３２３２形状フィルタ２３２５１微分器３２５２微分器３２６１座標演算部３２６２形状判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者近藤堅司大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】操作者の手の形状を認識する認識手段と、
前記認識手段により認識された手の形状の特徴を特殊形
状として画面に表示する表示手段と、前記表示手段によ
り画面に表示された特殊形状により、前記画面内に表示
された情報を制御する制御手段とを備えたインターフェ
イス装置。
【請求項２】認識手段が手の形状と共に前記手の動きを
認識し、表示手段が前記認識手段により認識された手の
形状と動きの特徴を特殊形状として画面に表示する請求
項１記載のインターフェイス装置。
【請求項３】制御手段が画面内に表示された情報を選択
するように制御する請求項１記載のインターフェイス装
置。
【請求項４】少なくとも撮像部と、撮像した画像中の物
体の形状及び又は動きを認識する動作認識部と、前記動
作認識部によって認識した物体の形状及び又は動きを表
示する表示部とを備え、前記撮像部で撮像した画像を保存するフレームメモリ
と、前記フレームメモリ中に保存した画像よりも前の時
間に撮像した画像を基準画像として蓄積する基準画像メ
モリとを設け、前記動作認識部に、前記フレームメモリ中の画像と、前
記基準画像メモリ中に蓄積している基準画像との差異を
抽出する画像差演算部を設けたインターフェイス装置。
【請求項５】基準画像メモリ中に蓄積している基準画像
を新規な画像に更新する基準画像更新部を設けた請求項
４記載のインターフェイス装置。
【請求項６】基準画像更新部に基準画像更新の間隔を演
算するタイマを設けた請求項４記載のインターフェイス
装置。
【請求項７】少なくとも撮像部と、撮像した画像中の使
用者の手の形状及び又は動きを認識する動作認識部と、
前記動作認識部によって認識した使用者の手の形状及び
又は動きを表示する表示部を有し、撮像した使用者の輪郭を抽出する輪郭抽出手段と、前記
輪郭を追跡し、輪郭線の角度と輪郭線の長さとの関係、
即ち輪郭波形を演算する輪郭波形演算部と、前記輪郭波
形演算部によって演算した輪郭波形をフィルタリングし
て、所定の形状を表わす形状波形を生成する形状フィル
タとを設けて前記動作認識部を構成したインターフェイ
ス装置。
【請求項８】帯域の異なる複数のバンドパスフィルタに
よって複数の形状フィルタを構成し、前記複数の形状フ
ィルタによって生成した形状波形に基づいて、使用者の
動作を判定させるようにした請求項７記載のインターフ
ェイス装置。
【請求項９】少なくとも手の凹凸に対応する輪郭波形形
状のバンドパスフィルタと、指の凹凸に対応する輪郭波
形形状のバンドパスフィルタとによって複数の形状フィ
ルタを構成した請求項７記載のインターフェイス装置。
【請求項１０】撮像した使用者の輪郭形状の座標と、輪
郭波形演算部によって演算した輪郭波形との対応を記憶
させる座標テーブルを設け、形状波形の波高存在位置と
前記座標テーブルとを用いて、撮像画像中の所定の形状
が存在する座標を演算する座標演算部を設けて動作認識
部を構成した請求項７記載のインターフェイス装置。
【請求項１１】形状フィルタによって生成した形状波形
中のパルス数を数える形状判定部を設けて動作認識部を
構成し、前記形状判定部の出力値によって、物体の形状
を判定させるようにした請求項７記載のインターフェイ
ス装置。
【請求項１２】形状フィルタによって生成した形状波形
を微分する微分器を設けて動作認識部を構成した請求項
７記載のインターフェイス装置。
【請求項１３】表示手段と、前記表示手段に表示するカーソルの位置および形状を変
更する入力手段と、前記カーソルの位置を代表する代表点座標および前記カ
ーソルの形状を記憶するカーソル記憶手段と、前記カーソル以外の表示物の位置を代表する代表点座標
および前記表示物体の形状を記憶する物体記憶手段と、前記カーソル記憶手段に記憶するカーソルの位置および
形状と前記物体記憶手段に記憶する表示物の位置および
形状を用いて、前記カーソルと前記表示物との間の相互
作用を判定する相互作用判定手段とを備え、前記相互作用判定手段は、少なくとも１点の前記カーソルの代表点と少なくとも１
点の前記表示物の代表点との間の距離を計算する距離計
算手段と、前記カーソルの移動または形状の変化を認識する動作認
識手段と、前記距離計算手段が計算する距離と前記動作認識手段の
認識結果を用いて前記カーソルと前記表示物との相互作
用を決定する総合判定手段とから成ることを特徴とする
インターフェイス装置。
【請求項１４】動作認識手段が予め登録した動作を認識
した場合に、距離計算手段が計算する距離が予め定めた
基準以下の表示物に対して相互作用判定手段が相互作用
を発生させることを特徴とする請求項１３記載のインタ
ーフェイス装置。
【請求項１５】表示空間内におけるカーソルの移動方向
と移動量を算出する移動ベクトル算出手段を設けて相互
作用判定手段を構成し、前記移動方向算出手段が算出す
るカーソルの移動方向およびカーソルの移動量に基づい
て相互作用判定手段が前記カーソルと表示物との相互作
用を決定することを特徴とする請求項１３記載のインタ
ーフェイス装置。
【請求項１６】移動ベクトル算出手段が算出するカーソ
ルの移動量が予め定めた基準値以下の場合に相互作用判
定手段が相互作用を発生させることを特徴とする請求項
１５記載のインターフェイス装置。
【請求項１７】移動ベクトル算出手段が算出するカーソ
ルの移動方向の延長線近傍に存在する表示物に対して相
互作用判定手段が相互作用を発生させることを特徴とす
る請求項１５記載のインターフェイス装置。
【請求項１８】カーソルの形状と表示物の形状とが予め
登録した組み合わせになる場合に相互作用判定手段が相
互作用を発生させることを特徴とする請求項１３記載の
インターフェイス装置。
【請求項１９】カーソル形状および表示物の形状を認識
する形状判定手段を備えて相互作用判定手段を構成し、
前記形状認識手段が認識するカーソルの形状と表示物の
形状とが一致する場合について相互作用判定手段が相互
作用を発生させることを特徴とする請求項１３記載のイ
ンターフェイス装置。
【請求項２０】視線方向を検出する視線入力手段を設
け、前記視線入力手段が検出する視線の延長線上近傍の
表示物に対し、動作認識手段が予め登録した動作を認識
した場合に、相互作用判定手段が相互作用を発生させる
ことを特徴とする請求項１３記載のインターフェイス装
置。
【請求項２１】視線入力手段が検出する視線の延長線上
近傍の表示物に対し、前記視線の延長線上近傍にカーソ
ルが存在し、かつ動作認識手段が予め登録した動作を認
識した場合に、相互作用判定手段が相互作用を発生させ
ることを特徴とする請求項２０記載のインターフェイス
装置。
【請求項２２】相互作用を発生させた場合、カーソルと
対象とする表示物との位置関係および前記カーソルの形
状および前記表示物の形状を学習する学習手段を設け、
相互作用判定手段が学習手段の学習結果に基づいて、相
互作用を決定することを特徴とする請求項１３記載のイ
ンターフェイス装置。
【請求項２３】カーソルと対象とする表示物との位置関
係または前記カーソルの形状および前記表示物の形状が
学習手段が過去に学習した位置関係または形状と類似す
る場合に、相互作用判定手段が相互作用を発生させるこ
とを特徴とする請求項２２記載のインターフェイス装
置。
【請求項２４】カーソル記憶部および物体記憶部から距
離計算手段への入力に対して座標変換を行う座標変換手
段を設けて相互作用判定手段を構成することを特徴とす
る請求項１３記載のインターフェイス装置。
【請求項２５】相互作用を発生させた場合、カーソルと
対象とする表示物との位置関係を接近させるように座標
変換を行うことを特徴とする請求項２４記載のインター
フェイス装置。