JPH09224922A

JPH09224922A - 体感入力装置

Info

Publication number: JPH09224922A
Application number: JP8039200A
Authority: JP
Inventors: Yuichi Nino; 裕一仁野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-02-27
Filing date: 1996-02-27
Publication date: 1997-09-02
Anticipated expiration: 2016-02-27
Also published as: JP2746251B2

Abstract

(57)【要約】【課題】体全体の運動を計測し、各使用者および操作
対象機器に対応した操作信号を発生する体感入力装置を
提供する。【解決手段】使用者は動作部１において運動を行い、
計測部２で計測データ２００、２５０を生成する。必要
があれば解析部３において解析データ３００に変換す
る。操作推定部４では、計測データ２５０と解析データ
３００を入力として、使用者に対応した操作意志推定条
件から、使用者の操作意志を推定し、操作情報４００を
生成する。操作信号発生部５は、出力対象機器に対応し
た操作信号情報を参照して、操作情報４００を操作信号
出力５００に変換する。操作意志推定条件を変更するこ
とで、各使用者個人に対応した操作意志の推定を行うこ
とができる。また操作信号情報を変更することで、各出
力対象となる機器に対応した操作信号を出力することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、使用者の身体の動
きから荷重移動や移動動作などの運動情報を計測し、計
測された計測データ、計測データを何らかの形で解析し
た解析データを用いて、ディスプレイ上のキャラクタお
よびカーソルその他ディスプレイ上で移動する物体の移
動方向・移動量・操作（動作）内容を推定し、出力対象
に出力する入力装置に関するものである。

【０００２】

【従来の技術】従来、使用者の姿勢あるいは動作を入力
しそれをもとに対象物の移動・操作を行なういわゆる体
感入力装置には、汎用的なものとしてデータグローブ・
データスーツ・カメラを用いたマーカー計測装置が知ら
れている。

【０００３】従来のデータグローブの一例として、産業
図書「バーチャルリアリティ」７５−８２頁記載のＶＰ
Ｌ社のデータグローブ（ＤａｔａＧｌｏｖｅ）、Ｖｉ
ｒｔｕａｌＴｅｃｈｎｏｌｏｇｉｅｓ社のサイバーグ
ローブが挙げられる。データグローブは一般的な手袋の
腕のつけねから指先にかけて光ファイバーを往復させた
もので、指や手の関節部分にちょうどあたる部分に切れ
込みをいれた構造になっている。指の関節を動かすと関
節部の切れ込みの大きさが変化しそれに伴い光ファイバ
ーを透過する光量が変化する。光量を測定することによ
り、各関節の変化を定量的に測定することが出来る。サ
イバーグローブは関節部に歪みセンサを取り付けること
により、手の関節の変化量を定量的に測定するものであ
る。これらはいずれも、計測される手の関節変化量を用
いて計算機内での仮想的な手が移動したり、物を掴んだ
りする用途に使われる。

【０００４】データスーツの一例として、産業図書「バ
ーチャルリアリティ」７９頁記載のＶＰＬ社のデータス
ーツ（ＤａｔａＳｕｉｔ）がある。これは、前述のデ
ータグローブを体全体に拡張した物で、身体の関節の変
化量を測定出来る様全体に光ファイバを沿わせた全身に
密着する服である。使用者がこの服を着て動作すると、
装置が身体の各関節の変化量を測定し、その変化に合わ
せて、計算機内の仮想人物を動作させることができる。

【０００５】カメラを用いたマーカー計測の一例とし
て、特開平０７−１８５１３１に記載のものが挙げられ
る。この装置は、遊戯者の身体に取り付けられたマーカ
ーを撮像する撮像手段と、撮像された遊戯者の画像から
マーカーの位置を検出するマーカー位置検出手段と、各
マーカーの位置情報から対応するゲームキャラクタの表
示画面における表示位置および表示姿勢を演算する演算
手段と、各ゲームキャラクタに対して、複数の表示姿勢
のオブジェクト画像が記憶されたオブジェクト画像記憶
手段と、演算された表示姿勢に対応するゲームキャラク
タの姿勢を、演算された表示位置に表示する表示制御手
段から構成される。

【０００６】測定者Ｑは当文献の図３のようにマーカー
をｑ１からｑ７のようにつけて、当文献の図１のように
測定者Ｑをカメラ３１、３１′を用いて撮影する。撮影
された２つの映像は画像処理装置３３内でマーカーのみ
が抽出され、各マーカーの３次元座標が計測される。シ
ステム駆動装置６内では、各マーカーの３次元座標を測
定者Ｑの各関節の位置に対応づけて、各々のマーカーの
相対位置からゲームキャラクタの表示姿勢を、各マーカ
ーの絶対座標からゲームキャラクタの表示位置を演算す
る。さらに、演算された表示姿勢に対応するゲームキャ
ラクタのオブジェクト画像が読みこまれ、スクリーン４
上の演算された表示位置に表示される。このようにし
て、従来のキーによる入力装置に比べて臨場感のあるゲ
ーム入力装置が実現されている。

【０００７】

【発明が解決しようとする課題】上記の装置は、いずれ
も入力データをもとに使用者の実際の動作を計算機上に
反映させることのできる操作インタフェースであるが、
使用者の動作の解釈の技術が未発達である。たとえば、
データグローブによる入力だと計算機内で仮想的な手を
動かしたり指を動かしたりできるが、仮想空間内で対象
物を操作する動作、例えばものを掴む・離す、ネジを巻
く、何かをひねるなどの動作を手や身体の動きから他の
動作と識別することによって計算機中に動作を反映させ
るのは困難であり、簡単なものを除いて現在のところな
されていない。

【０００８】これは、このような装置を利用した場合、
入力情報にテンプレートマッチングのみを行った処理が
一般的に行われているため、使用者の細かい素早い動き
の解釈が出来ないためである。というのは、テンプレー
トマッチングは、入力センサ・画像処理の精度上の問
題、使用者の動作に対するロバスト性の問題からテンプ
レートを粗くする必要があるため、ある程度大きくかつ
特徴的な動作しか識別できないからである。

【０００９】現在のところ、このような問題から、この
操作を用いた汎用的なインターフェースはジェスチャに
よる入力が一般的である。その結果、使用者がちょっと
した動作を仮想空間内で行わせたい場合でも、他の動作
と識別できるよう大きな動作を行う、あるいは実際の動
作と大きく異なる動作を必要とするので、操作によって
は必ずしも臨場感のある操作が行えなかったり、動きに
時間を要するぶん操作自体が応答性が悪くなるといった
問題が生じる。

【００１０】本発明は、これらの問題を鑑み、使用者が
一般的な人間の動きにできるだけ近い入力を行なうこと
が出来、さらに素早い細かな操作を実現できる体感入力
装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の体感入力装置
は、使用者の運動状態を計測し、計測データを基に操作
意志を推定し、情報処理装置へ操作信号を出力する入力
装置において、使用者がそれを利用して特徴ある動作を
行うことができる動作部と、前記動作を計測する計測部
と、前記計測部において生じる計測データの解析を行う
解析部と、使用者の運動に対応した操作意志推定条件を
保持する推定条件保持部と、前記計測データと解析部に
おいて生じる解析データを入力とし、推定条件判別部の
操作意志推定条件および操作推定方法決定条件を参照す
ることによって使用者の操作意志を推定する操作推定部
と、情報処理装置に入力可能な操作信号情報を保持する
操作信号発生条件保持部と、前記操作推定部において生
じる操作意志情報を入力とし、操作信号発生条件保持部
の操作信号情報を参照することによって、出力対象の情
報処理装置に適切な操作信号を発生する操作信号発生部
とを有することを特徴とする。

【００１２】

【発明の実施の形態】本発明の第１の実施形態について
図面を参照しながら、詳細に説明する。

【００１３】図１は第１の実施形態のブロック構成図で
ある。

【００１４】動作部１は、使用者がそれを利用して、実
際の動作を行う機器である。動作部１には使用者の動き
の特徴が検出出来るよう、各種センサが取り付けられて
おり、使用者の特徴的な動きに対して、センサ出力１０
０を発生できるようになっている。

【００１５】計測部２は、センサ出力１００を荷重、移
動量、磁気など人間が理解しやすい物理量に変換し、計
測データ２００、２１０として出力する部分である。

【００１６】解析部３は、計測データ２００を時間的、
空間的解析を行う部分である。計測データ２００のう
ち、時間的解析を行うものについては、計測データメモ
リ６に送られ、保存される。解析部３は、時間的解析を
行う際には、計測データメモリ６に計測データを送り、
過去のデータを参照し、差分によって微分値を計算す
る。また、空間的解析を行うものについては、複数の計
測データを合成して、新しいデータを生成する。

【００１７】操作推定部４は、解析データ・計測データ
をもとに各操作内容についての推定を行い、その操作内
容を記述した操作情報４００を出力する部分である。こ
こで述べる操作内容というのは、「上に行く」「右にい
く」などのゲーム等の各コマンドなどを指す。また、操
作情報４００は、各操作内容を「実行する」「実行しな
い」を（１／０）で記述した操作内容指示変数の集まり
である。操作推定部４は、各操作内容に対して、その操
作内容の実行を推定する操作内容推定モジュールを複数
持っており、操作内容推定モジュール決定データ７００
を用いて、各操作内容について、操作内容推定モジュー
ルを選択する。この操作内容推定モジュール決定データ
７００は推定条件保持部７から入力される。また、操作
内容推定モジュールは、推定の際に利用する閾値などの
データを外部から入力して行うことができるようになっ
ている。それらのデータは操作意志推定条件データ７１
０として、推定条件保持部７１０から同様に入力され
る。

【００１８】操作信号発生部５は、操作情報４００を入
力し、実際に操作する機器の端末（具体的にはゲーム機
などのボタンの信号が出力される端末を指す）に出力信
号である出力５００を出力する。具体的には、操作信号
発生部５では、各操作内容の操作内容指示変数と各端末
の対応づけを行い、操作内容を「実行する」場合、対応
する端末の信号もｏｎになるよう設定される。操作内容
指示変数と各操作機器の端末の対応づけは機器により異
なるので、操作信号発生条件データ８００を用いて対応
づけを自由に設定できるようになっている。操作信号発
生条件データ８００は、操作信号発生条件保持部８に記
述され、操作中に参照される。

【００１９】操作推定部４と操作信号発生部５につい
て、図２と図３を用いて、より詳細に説明する。図２は
操作推定部４と操作推定モジュール決定データ７００、
操作意志推定条件決定データ７１０、操作情報４００の
内容を詳しく記した概念図である。

【００２０】操作推定部４は、各操作内容について、操
作内容を推定する操作内容推定モジュールを複数持って
いる。ここで述べる操作内容というのは、「上に行く」
「右にいく」などのゲーム等の各コマンドなどを指す。
図ではそれぞれ複数の操作内容を操作内容１..操作内容
ｎで表現した。また、各操作内容は操作内容推定モジュ
ールをｍ１，ｍ２，，，ｍｎ個持つこととし、操作内容
ｋ（ｋ＝１．．ｎ）のｍｋ個の推定モジュールを操作内
容ｋ推定モジュール１．．．操作内容ｋ推定モジュール
ｍｋのように記述し、各操作内容における複数の操作内
容推定モジュールを表現することとする。

【００２１】推定においては、まず、各操作内容につい
て推定モジュールの選択が行われる。この際、操作推定
モジュール決定データ７００が利用される。操作推定モ
ジュール決定データ７００は操作内容の順番に選択する
モジュールの番号をａ１，ａ２，．．．ａｎのように記
述されている。操作推定部４はこの値を参照しながら、
操作内容１については操作内容１推定モジュールａ１
を、操作内容２については操作内容２推定モジュールａ
２を、..という形で各操作内容についてモジュールの選
択をおこなう。

【００２２】つぎに、選択された操作内容推定モジュー
ルについて説明する。選択された操作内容推定モジュー
ルは、推定の際に利用される閾値などのデータと計測デ
ータ２５０、解析データ３００を入力し、操作内容指示
変数を出力する関数形式になっているモジュールであ
る。ここでは、操作内容１推定モジュールａ１をｆ１
（ｘ１，ｙ１，ｚ１，．．．），．．．操作内容ｎ推定
モジュールａｎをｆｎ（ｘｎ，ｙｎ，ｚｎ，．．．）の
ような形で表現する。各モジュールは、ｘ１，ｙ１，ｚ
１，．．．のような引数をもっている。これは推定の際
に利用される閾値などのデータである。この値は操作意
志推定条件設定データ７１０に記述され、推定の際は、
操作意志推定条件設定データ７１０から参照される。ま
た、計測データ２５０、解析データ３００についてはグ
ローバル変数となっており、関数内でグローバル変数を
参照するように設定した。この関数の出力は「実行す
る」「実行しない」を表現した（１／０）の２値であ
り、その値があとで操作内容指示変数に代入される。こ
の図では、この操作内容指示変数は操作内容１..操作内
容ｎに応じて、ｐ１，．．ｐｎと表現してある。また、
ｐ１，．．ｐｎとｆ１（），．．．ｆｎ（）の関係はｐ
１＝ｆ１（），．．．ｐｎ＝ｆｎ（）である。

【００２３】つぎに、操作信号発生部５について詳細に
説明する。図３は、操作信号発生部５と操作信号発生デ
ータ８００を説明するための概念図である。

【００２４】操作信号発生部５は操作対象の情報処理装
置へ何らかの形で接続可能な接続部をもつかあるいは通
信することが可能なように設計されている。操作信号発
生部５は図３のように操作信号発生モジュールを複数持
っている。この操作信号発生モジュールは、各操作内容
の操作内容指示変数とゲーム機などの操作機器の各端末
の対応づけを行い、種々の発信対象に合わせて出力信号
が発生出来るよう定められたモジュールで、各操作機器
あたり１つ存在する。図ではｎ個の操作機器を操作でき
るような場合を想定し、操作信号発生モジュールがｎ個
操作信号発生部にある場合を表現している。各操作信号
発生モジュールは、操作信号発生モジュール１．．．操
作信号発生モジュールｎと表現した。実際の操作の際に
は、操作信号条件発生データ６００を参照し操作モジュ
ールの選択を行う。図では、操作信号条件発生データ６
００がｉであるので、操作信号発生モジュールは操作信
号発生モジュールｉが選択されている。

【００２５】操作信号発生モジュールでは、図の右側の
ように、操作機器の各端末の（ｏｎ／ｏｆｆ）を（１／
０）で記述した出力内容指示変数に、対応する１つの操
作内容指示変数あるいは複数の操作内容指示変数の論理
和・論理積が代入される。具体的に、操作信号発生モジ
ュール１の場合をあげて説明する。

【００２６】今、操作内容指示変数が以下のような操作
内容の状態を表したと考える。ｐ１：左に行くｐ２：右に行くｐ３：左足を踏むｐ４：右足を踏むｐ５：身体を前に傾けるｐ６：ジャンプするまた、出力内容指示変数は以下のような端末を指すとす
る。ａ１：「←」キーｂ１：「Ａ」キーｃ１：「Ｘ」キーこのとき、「左に行く場合、「←」キーに対応する端末に信号を出
力する」「身体を前に傾けるかあるいはジャンプした場合、
「Ｘ」キーに対応する端末に信号を出力する」「右に行きさらに右足を踏んだ場合、あるいは、左に行
きさらに左足を踏んだ場合、「Ａ」キーに対応する端末
に信号を出力する」ということを操作信号発生モジュール１が行うわけであ
る。このようにして、操作信号発生モジュール内で、行
われた１つあるいは複数の操作内容に対して、対応する
機器の端末に信号を出力するわけである。

【００２７】この例では、操作信号発生モジュールｉが
選択されているので、出力内容指示変数ａｉ，ｂ
ｉ，．．に対応する端末に信号を出力する。

【００２８】次に、一連の処理の流れを、図４を用いな
がら詳細に説明する。

【００２９】まず、プログラム起動後、操作推定条件保
持部７と操作信号発生条件保持部８の制御の基本となる
データの読みこみを行う。さらに、使用者の体重などキ
ャリブレーションできるパラメータについては、キャリ
ブレーションする（ステップＡ０１）。

【００３０】次に、実際の制御を起動する（ステップＡ
０２）。

【００３１】起動後、使用者は動作部１を利用し、何ら
かの動作を行う。動作部１からは使用者のある特徴的な
動作によりセンサ出力１００が連続的に発生する。計測
部２はセンサ出力１０を荷重、移動量、磁気など人間が
理解しやすい物理量である計測データ２０、２１に変換
する（ステップＡ０３）。

【００３２】計測部２では単にセンサ出力１００を物理
量に変換するだけなので、その解析が必要な場合は、計
測データ２００は解析部３に送られる。また、直接操作
判定に使われる計測データ２５０は直接操作推定部４に
送られる（ステップＡ０４）。

【００３３】解析部３では、計測データ２００について
時間的な解析、空間的な解析を行う。計測データ２００
のうち時間的な解析を行なうものについては、計測デー
タメモリ６中にある時系列データを参照し、差分処理な
どを行なう。空間的処理については別のセンサからの計
測データと比較あるいは合成することによっておこなわ
れる（ステップＡ０５）。

【００３４】次に操作推定部４で前述のように各操作の
推定が行われる（ステップＡ０６）。

【００３５】次に操作信号発生部５で実際の操作信号の
出力が行われる（ステップＡ０７）。

【００３６】この後、終了ステータスを読み込み、終了
が確認された場合プログラムを終了し、終了が確認され
なかった場合はふたたびセンサ出力の計測を行う（ステ
ップＡ０８）。終了ステータスは、外部からのキー入
力、ループの数や起動時間、あるいは出力する情報処理
装置からの終了読み込みのいずれをおこなってもよい。

【００３７】本発明の第１の実施形態の変形例は２種類
考えられる。

【００３８】１つは、図２の操作推定モジュールの操作
内容指示変数への出力値を−１から１までのアナログ値
とし、さらに積分処理を行う。このような処理を行った
操作内容指示変数を閾値で比較する。

【００３９】もう１つは、図３の操作信号発生モジュー
ルの出力内容指示変数への出力値を−１から１までのア
ナログ値とし、さらに積分処理を行う。このような処理
を行った出力内容指示変数を閾値で比較する。

【００４０】次に、本発明の第１の実施形態の効果につ
いて説明する。本発明の第１の実施の形態は、使用者の
位置・姿勢・動作などの時間的・空間的解釈を加えるこ
とにより、従来にない多くの使用者の意図を反映させる
ユーザーインターフェースを構築することが可能とな
る。さらに上記の理由により、従来より応答性のよいイ
ンタフェースを構築することが可能となる。また、推定
条件保持部７の操作意志推定条件データ７１０を変更す
ることで、種々の使用者がそれぞれもっとも操作しやす
い形で操作することができる。また、推定条件保持部７
の操作内容推定モジュール決定データ７００および操作
信号発生条件保持部８の操作信号発生条件データ８００
を変更することで、種々の情報処理装置に対応した体感
入力装置として利用出来る。

【００４１】また、本発明の第１の実施形態の変形例で
は、従来の例では実現できなかった使用者の微妙な動作
を考慮にいれた操作が可能になるといった効果をもたら
す。

【００４２】

【実施例】次に、実施例について説明する。図５は本発
明の第１の実施形態の第１実施例である。本実施例で
は、図５（Ａ）のように両足をのせる部分にそれぞれ３
個ずつの圧力センサが取り付けられており、使用者が体
を動かすことによって画面上のカーソルの操作を行う。
アンプ１００１は荷重センサの信号を増幅し、ＰＣ１０
０２は得られた荷重センサのデータを解析し、カーソル
の移動、あるいはイベント動作（マウスではクリックに
あたるもの）を推定して、出力信号を発生する。出力端
末１００３はＰＣ１００２と情報処理装置１００４を接
続する装置である。情報処理装置１００４は実際のカー
ソルの操作を行う装置でここではＰＣ等を指す。情報処
理装置１００４の映像はＬＣＤプロジェクタ１００５を
通じてスクリーン１００６に投影される。図５（Ｂ）に
示されているのは、操作者の各足に取り付けられたセン
サである。センサ１５０１〜１５０３は左足のセンサ、
センサ１５０４〜１５０６は右足のセンサであり、各々
の各足のｙ方向の正方向が使用者の身体の前方向であ
る。なお、座標軸上の原点は図では、各足をのせる部分
の中心の中点に便宜上決めているが、操作前にはキャリ
ブレーションするのでどこであっても差し支えない。図
５（Ｂ）の１５０１・１５０２・１５０３のセンサのＸ
座標をそれぞれＸｌ１、Ｘｌ２、Ｘｌ３、Ｙ座標をそれ
ぞれＹｌ１、Ｙｌ２、Ｙｌ３、センサにかかる荷重をそ
れぞれＷｌ１、Ｗｌ２、Ｗｌ３とし、１５０４・１５０
５・１５０６のセンサのＸ座標をそれぞれＸｒ１、Ｘｒ
２、Ｘｒ３、Ｙ座標をそれぞれＹｒ１、Ｙｒ２、Ｙｒ
３、センサにかかる荷重をそれぞれＷｒ１、Ｗｒ２、Ｗ
ｒ３とする。図１における動作部１の形状、計測部２の
計測データの内容を以上のように行い、以下に解析部
３、操作推定部４、操作信号発生部５の処理を示す。

【００４３】図６は本実施例の解析部３のブロック図で
ある。

【００４４】微分部３０は入力される図５（Ｂ）に示し
た各センサ１５０１〜１５０６の荷重−−Ｗｌ１、Ｗｌ
２、Ｗｌ３、Ｗｒ１、Ｗｒ２、Ｗｒ３を差分処理を行
い、時間微分の値を計算する。まず、各計測データが入
力されると、計測データメモリ６から過去の計測データ
−−ｏＷｌ１、ｏＷｌ２、ｏＷｌ３、ｏＷｒ１、ｏＷｒ
２、ｏＷｒ３を読みだし差分をとって、差分された値ｄ
Ｗｌ１、ｄＷｌ２、ｄＷｌ３、ｄＷｒ１、ｄＷｒ２、ｄ
Ｗｒ３を出力する。出力後、計測データメモリ６のｏＷ
ｌ１、ｏＷｌ２、ｏＷｌ３、ｏＷｒ１、ｏＷｒ２、ｏＷ
ｒ３をＷｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ１、Ｗｒ２、Ｗｒ
３に書換える。

【００４５】重心位置解析部３１ａでは、各荷重データ
を入力した場合重心位置を出力し、各荷重データの時間
変化を入力した場合重心位置の時間変化を出力する。荷
重データから、左足の重心の座標（Ｘｗｌ，Ｙｗｌ）、
右足の重心の座標（Ｘｗｒ，Ｙｗｒ）の計算は以下の式
を用いて計算することができる。Ｘｗｌ＝（Ｗｌ１＊Ｘｌ１＋Ｗｌ２＊Ｘｌ２＋Ｗｌ３＊
Ｘｌ３）／（Ｗｌ１＋Ｗｌ２＋Ｗｌ３）Ｙｗｌ＝（Ｗｌ１＊Ｙｌ１＋Ｗｌ２＊Ｙｌ２＋Ｗｌ３＊
Ｙｒ３）／（Ｗｌ１＋Ｗｌ２＋Ｗｌ３）Ｘｗｒ＝（Ｗｒ１＊Ｘｒ１＋Ｗｒ２＊Ｘｒ２＋Ｗｒ３＊
Ｘｒ３）／（Ｗｒ１＋Ｗｒ２＋Ｗｒ３）Ｙｗｒ＝（Ｗｒ１＊Ｙｒ１＋Ｗｒ２＊Ｙｒ２＋Ｗｒ３＊
Ｙｒ３）／（Ｗｒ１＋Ｗｒ２＋Ｗｒ３）荷重データの時間変化から左足の重心位置の時間変化
（ｄＸｗｌ，ｄＹｗｌ）、右足の重心位置の時間変化
（ｄＸｗｒ，ｄＹｗｒ）も同様にして求めることができ
る。

【００４６】左足解析部３１ｂ、右足解析部３１ｃで
は、各センサの荷重を入力した場合、それぞれ左足荷重
Ｗｌ、右足荷重Ｗｒを出力し、各センサの荷重の時間変
化を入力した場合、それぞれ左足荷重時間変化ｄＷｌ、
右足荷重時間変化ｄＷｒを計算することができる。

【００４７】全体重解析部３１ｄでは、荷重データの総
和から全体重Ｗｔを計算する。

【００４８】以上によって計算された（Ｘｗｌ，Ｙｗ
ｌ）、（Ｘｗｒ，Ｙｗｒ）、（ｄＸｗｌ，ｄＹｗｌ）、
（ｄＸｗｒ，ｄＹｗｒ）、Ｗｌ、ｄＷｌ、Ｗｒ、ｄＷ
ｒ、Ｗｔは解析データ３００として、操作推定部４に送
られる。

【００４９】図７は本実施例の操作推定部４のブロック
図である。操作推定部４内の操作内容推定モジュール
は、推定条件保持部６内の操作内容推定モジュール決定
データ７００によって、あらかじめ選択されている。選
択されたモジュールは図９のとおりである。

【００５０】左右移動推定モジュール４０ａは各足の重
心位置のｘ座標およびｘ座標の時間変化、上下移動推定
モジュール４０ｂは各足の重心位置のｙ座標およびｙ座
標の時間変化を入力として、出力はそれぞれ左右方向の
移動状態、上下方向の移動状態を出力する。この移動状
態の推定方法は両者同じなので、左右方向の推定を例に
挙げて説明する。

【００５１】図８は左右移動推定モジュール４０ａでの
移動判定を行う際の判定基準を明確に示した図である。
図１０のＸｗｌ＋Ｘｗｒは各足の重心位置のｘ座標の
和、ｄＸｗｌ＋ｄＸｗｒは各足の重心位置のｘ座標の時
間変化の和である。グラフ内のｘ＿ｔｈｒｅ１、ｘ＿ｔ
ｈｒｅ２、ｄｘ＿ｔｈｒｅ１、ｄｘ＿ｔｈｒｅ２は領域
の識別の際基準となる閾値であるが、操作推定条件保持
部７の操作意志推定条件データ７１０として外部から入
力される。操作意志の推定は、図１０のＩからＶまでの
５つの領域にわけて、領域によって移動の判別が行われ
る。Ｉ、ＩＩ、ＩＩＩ、ＩＶ、Ｖの領域内ではそれぞれ
ｘの正方向への移動、ｘの正方向への移動、ｘの負方向
への移動、ｘの負方向への移動、移動なしが推定され
る。

【００５２】次に、操作推定部４の残りの推定モジュー
ル、左足踏足推定モジュール４０ｃ、右足踏足推定モジ
ュール４０ｄ、ジャンプ推定モジュール４０ｅについて
説明する。図７の左足踏足推定モジュール４０ｃ、右足
踏足推定モジュール４０ｄはともに各足の荷重、各足の
荷重の時間変化を入力として、出力はそれぞれ左足の踏
足状態、右足の踏足状態を出力する。左足踏足推定モジ
ュール４０ｃと右足踏足推定モジュール４０ｄについて
も推定は同じ方法を用いて行われるので、左足の踏足状
態推定を例に挙げて説明する。

【００５３】使用者の静止時の体重をｍａｓｓ、閾値を
ｍａｓｓ＿ｔｈｒｅ１、ｍａｓｓ＿ｔｈｒｅ２とすると
左足の踏足状態については、Ｗｌ−Ｗｒ＞ｍａｓｓ＊ｍａｓｓ＿ｔｈｒｅ１ｄＷｌ−ｄＷｒ＞ｍａｓｓ＿ｔｈｒｅ２のとき左足の踏足あり、それ以外の場合、踏足なしと判
定する。

【００５４】ここのｍａｓｓは制御開始前に計測した使
用者直立時の全体重である。ｍａｓｓ＿ｔｈｒｅ１、ｍ
ａｓｓ＿ｔｈｒｅ２は操作意志推定条件データ７１０の
一部として、推定条件保持部６から入力される。

【００５５】ジャンプ推定モジュール４０ｅは全体重Ｗ
ｔが一定の値を下回ったとき、ジャンプしたと判定す
る。この閾値も操作意志推定条件データ７１０の一部と
して、推定条件保持部６から入力される。

【００５６】次に前記操作推定モジュールとして推定さ
れた操作内容の操作内容指示変数への出力を行う。操作
指示変数として、図９のような７つの変数−−ｍｏｖｅ
＿ｌｅｆｔ，ｍｏｖｅ＿ｒｉｇｈｔ，ｍｏｖｅ＿ｕｐ，
ｍｏｖｅ＿ｄｏｗｎ，ｐｕｓｈ＿ｌｅｆｔ，ｐｕｓｈ＿
ｒｉｇｈｔ，ｊｕｍｐ−−が用意されている。この変数
はそれぞれ左移動・右移動・上移動・下移動・左足を踏
む動作・右足を踏む動作・ジャンプする動作に対応す
る。各変数はそれに対応する動作を行うと推定された場
合１が、行わないと推定される場合０が代入される。こ
れらの操作内容指示変数が操作情報４００として、操作
信号発生部５に出力される。

【００５７】次に操作信号発生部５での処理を説明す
る。図９は本実施例の操作信号発生部５のブロック図で
ある。操作信号発生部５内の操作信号発生モジュール
は、操作信号発生条件保持部７内の操作信号発生条件デ
ータ８００によって、あらかじめ選択されている。選択
されたモジュールは図９の５０ｘであるとする。

【００５８】操作信号発生モジュール内のａ．．．ｇの
データは出力内容指示変数である。この実施例ではそれ
ぞれの変数が以下のようなマウス操作に対応している。ａ・・・マウスを左に動かすｂ・・・マウスを右に動かすｃ・・・マウスを上に動かすｄ・・・マウスを下に動かすｅ・・・マウスの左ボタンをクリックするｆ・・・マウスの右ボタンをクリックするｇ・・・マウスの中ボタンをクリックする（もし存在す
れば）操作信号発生モジュール５０ｘでは、これら出力内容指
示変数にそれに対応する操作内容指示変数の値を代入す
る。次に、出力信号発生部５１では出力内容指示変数の
値をもとに、対応する端末に出力信号を発生する。

【００５９】本実施例の発明により、従来重心位置計測
かあるいは感圧パットといった単一入力にしか利用でき
なかった荷重センサを複数入力が可能な入力デバイスと
して利用できることが可能になった。

【００６０】本発明の第１の実施の形態の第２実施例の
動作を詳細に説明する。図１０は本発明の第１の実施の
形態の第２実施例の概略構成図である。本実施例におけ
る動作部１は図１０（Ａ）のプラットホーム１１０１に
あたる。このプラットホーム１１０１上では、使用者は
スキーのように体を左右に動かす動作、各足の踵から下
を水平方向から傾ける動作、各種キーを押す動作を行う
ことができる。使用者の足を載せる部分には図５（Ｂ）
と同様、各足にそれぞれ３つずつ荷重センサがついてお
り、各足の荷重状態を計測できるようになっている。さ
らに各ハンドルには図１０（Ｃ）に示すようなキーパッ
トがついている。使用者の前面にはスクリーン１１０６
がついており、使用者はゲーム機などの情報処理装置１
１０４の出力する映像（例えば、ゲームならゲームの画
面）を見ながら操作出来るようになっている。

【００６１】プラットホーム１１０１には、主軸角計測
エンコーダ１６０１、踵角計測エンコーダ１６０２、荷
重センサ１６０３、キーパット１６０４がついており、
主軸角θｏ、左踵角φｌ、右踵角φｒ、各荷重Ｗｌ１、
Ｗｌ２、Ｗｌ３、Ｗｒ１、Ｗｒ２、Ｗｒ３（センサと荷
重との対応は第１実施例と同じである）、ＰＬｌ（図１
６（Ｃ）のキー「Ｌ１」を押した）、ＰＬ２（図１６
（Ｃ）のキー「Ｌ２」を押した）、ＰＲｌ（図１６
（Ｃ）のキー「Ｒ１」を押した）、ＰＲ２（図１６
（Ｃ）のキー「Ｒ２」を押した）を計測することができ
る。操作推定装置１１０２は、計測部２から操作信号発
生部５までの処理を全て行うものであり、上記各センサ
からの入力をもとに使用者の操作意図を推定し、情報処
理装置１１０４への出力内容を決定する。出力端末１１
０３は、情報処理装置１１０４への出力内容を各情報処
理装置に応じた出力に変換する装置で、ハードウェア接
続部がこれにあたる。

【００６２】次に解析部３から操作信号発生部５までの
一連の処理を順を追って説明する。まず、解析部３の処
理を図１１を用いて詳細に説明する。図１１での計測デ
ータ２００は主軸角θｏ、左踵角φｌ、右踵角φｒ、各
荷重Ｗｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ１、Ｗｒ２、Ｗｒ３
にあたる。この内、微分処理される計測データ２０１は
主軸角θｏ、各荷重Ｗｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ１、
Ｗｒ２、Ｗｒ３である。微分部３０では、前記データが
差分処理を利用して微分される。具体的には、計測デー
タメモリ６から、過去の主軸角ｏθｏ・各荷重ｏＷｌ
１、ｏＷｌ２、ｏＷｌ３、ｏＷｒ１、ｏＷｒ２、ｏＷｒ
３を参照することにより、微分データ２０３であるｄθ
ｏ、ｄＷｌ１、ｄＷｌ２、ｄＷｌ３、ｄＷｒ１、ｄＷｒ
２、ｄＷｒ３を作成し出力した後で、計測データメモリ
の主軸角・各荷重の古いデータを計測データ２０１であ
る主軸角θｏ、各荷重Ｗｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ
１、Ｗｒ２、Ｗｒ３に書換える。

【００６３】足台解析部３２ａは、計測データ２０４と
して主軸角θｏ、左踵角φｌ、右踵角φｒ、微分データ
２０９としてｄθｏを入力し、同じデータを足台データ
３３ａとして出力する。重心位置解析部３２ｂは、計測
データ２０５としてＷｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ１、
Ｗｒ２、Ｗｒ３を、微分データ２１０としてｄＷｌ１、
ｄＷｌ２、ｄＷｌ３、ｄＷｒ１、ｄＷｒ２、ｄＷｒ３を
入力し、重心位置（Ｘｗｌ，Ｙｗｌ）、（Ｘｗｒ，Ｙｗ
ｒ）と重心位置の時間変化（ｄＸｗｌ，ｄＹｗｌ）、
（ｄＸｗｒ，ｄＹｗｒ）を含む重心位置データ３３ｂと
して出力する。左足解析部３２ｃでは、計測データ２０
６としてＷｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ１、Ｗｒ２、Ｗ
ｒ３を、微分データ２１１としてｄＷｌ１、ｄＷｌ２、
ｄＷｌ３、ｄＷｒ１、ｄＷｒ２、ｄＷｒ３を入力し、左
足データ３３ｃとして、左足荷重Ｗｌ、左足荷重の時間
変化ｄＷｌを出力する。また、右足解析部３２ｄでは、
計測データ２０７としてＷｌ１、Ｗｌ２、Ｗｌ３、Ｗｒ
１、Ｗｒ２、Ｗｒ３を、微分データ２１２としてｄＷｌ
１、ｄＷｌ２、ｄＷｌ３、ｄＷｒ１、ｄＷｒ２、ｄＷｒ
３を入力し、右足データ３３ｄとして、右足荷重Ｗｒ、
右足荷重の時間変化ｄＷｒを出力する。全体重解析部３
２ｅでは、計測データ２０８としてＷｌ１、Ｗｌ２、Ｗ
ｌ３、Ｗｒ１、Ｗｒ２、Ｗｒ３を入力し、全体重データ
３０５として全体重Ｗｔを出力する。これらの処理の中
身は第１実施例と同じであるので省略する。３０１から
３０５までの各データは解析データ３００として、操作
推定部４に出力される。

【００６４】次に操作推定部４の処理を説明する。操作
推定部４内で選択された各モジュールは図１２の通りで
ある。この内、上下移動推定モジュール４０ｂ、左足踏
足推定モジュール４０ｃ、右足踏足推定モジュール４０
ｄ、ジャンプ推定モジュール４０ｅは第１の実施形態の
実施例に述べたとおりなので省略する。

【００６５】左右推定モジュール４０ａの推定原理を図
１３を用いながら行う。本方式は、図８で示した実施形
態を応用したもので、主軸角θｏと主軸角の時間変化ｄ
θｏをもとに７つの場合に分け、各々について姿勢パラ
メータ左足荷重Ｗｌ、右足荷重Ｗｒ、左踵角φｌ、右踵
角φｒを参照しながら、移動状態の判定を行う。なお、
図中のａｒ＿ｔｈｒｅ１，．．ａｒ＿ｔｈｒｅ４，ａｖ
＿ｔｈｒｅ１，ａｖ＿ｔｈｒｅ２，ｍａｓｓ＿ｔｈｒｅ
１，ｍａｓｓ＿ｔｈｒｅ２は各閾値で、図１の操作意志
推定条件データ７１０として外部から入力される。ｍａ
ｓｓは静止状態の使用者の体重で操作前に測定される。

【００６６】ＩＩ、Ｖ、ＶＩＩの場合は無条件に右移動
（左旋回）、左移動（右旋回）、移動なし（あるいは直
進）である。ＩＩＩの場合、Ｗｒ＞ｍａｓｓ＿ｔｈｒｅ
１＊ｍａｓｓのとき右移動（左旋回）であり、その他の
場合が移動なしである。ＶＩの場合はその逆の推定を行
う。Ｉの場合、Ｗｒ＞ｍａｓｓ＿ｔｈｒｅ２＊ｍａｓ
ｓ、φｒ＞ａｒ＿ｔｈｒｅ４のとき右大移動（左大旋
回）、それ以外は普通の右移動（左旋回）である。ＩＶ
の場合はその逆の推定を行う。

【００６７】次に、図１２の残りの動作推定モジュール
を説明する。しゃがむ動作推定モジュール４０ｆの処理
はＹｗｌ＋ＹｗｒとｄＹｗｌ＋ｄＹｗｒがともにある一
定の閾値を下回ったときに“しゃがむ”動作実行と判定
する。この閾値も操作意志推定条件データ６００として
外部から入力される。最後に、キー操作推定モジュール
４０ｇは計測データ２５０をそのまま出力する。

【００６８】上記動作推定モジュール（４０ａ〜４０
ｇ）で推定されたものは操作指示変数出力４１ｂで出力
される。なお、操作指示変数の出力は図１２にある通り
である。ここで、第１の実施例で説明していない他の操
作内容指示変数についての説明を行なう。まず、ｄｉｒ
［］は左右への移動状態を表す操作内容指示変数であ
り、ｄｉｒ［０］は左大移動（右大旋回）、ｄｉｒ
［１］は左移動（右旋回）、ｄｉｒ［２］は直進あるい
は移動なし、ｄｉｒ［３］は右移動（左大旋回）、ｄｉ
ｒ［４］は右大移動（左大旋回）を表す。また、ｓｕｄ
ｄｅｎ＿ｄｏｗｎはしゃがむ動作が推定されたとき１
を、そうでないとき０を代入する。また、配列ｓｗ＿ｓ
ｔａｔｅ［］は各キーの出力状態を示すものである（ｓ
ｗ＿ｓｔａｔｅ［０］．．ｓｗ＿ｓｔａｔｅ［３］の１
／０は順にＬ１、Ｌ２、Ｒ１、Ｒ２の各キーのｏｎ／ｏ
ｆｆを示す）。

【００６９】次に操作信号発生部５の処理を説明する。
図１４における操作信号発生モジュール５０ｙは操作信
号発生部内で選択された実施例１とは別の選択されたモ
ジュールである。この出力内容指示変数はゲーム機の以
下のようなボタンに対応する。ａ：「←」キーｂ：「→」キーｃ：「↑」キーｄ：「↓」キーｅ：「Ｂ」キーｆ：「Ｙ」キーここで最初の式を例に挙げて説明するとａ：＝ｄｉｒ［０］ｏｒｄｉｒ［１］ｏｒｓｗ
＿ｓｔａｔｅ［０］は「左大移動、左移動、あるいはＬ
１キーが押された時、「←」キーの端末に信号を出力す
る」という意味である。以下の式も同様に解釈すること
ができる。

【００７０】次に出力内容指示変数の大きさに合わせて
出力信号発生部５１で情報処理装置１００４に合わせた
信号が出力される。あとの処理は前実施形態の実施例と
同様に操作信号が出力される。

【００７１】本実施例の発明により、従来移動を要する
インターフェースでは問題となっていた移動の切り替え
の反応の遅さを改善することができた。これは、ユーザ
ーの姿勢等から移動の大きさや動作を推定することによ
り、人間の反射的な反応をユーザーインターフェースに
取り込むことができたためである。

【００７２】

【発明の効果】本発明の体感入力装置を利用する第１の
効果は、表示装置の操作対象物の細かい動作を素早く制
御することができるので、臨場感がありかつ操作性のよ
い制御インタフェースが実現できることである。

【００７３】その理由は使用者の体全体の動きから検出
できる物理データおよび、その物理データの単位時間あ
たりの変化量、他の物理データとの比較、合成されたデ
ータに基づいて、使用者の操作意図を解釈し制御するこ
とになるので、種々の動作を計算機内で解釈することが
できたり、人間のとっさの反応を姿勢検出などで検出し
操作に取り込むことにより、従来より応答性のよい体感
入力装置が実現できるからである。

【００７４】第２の効果は、１つの体感入力装置で種々
の出力情報処理装置に対応できることである。従来この
ような体感入力装置は、遊戯装置に代表されるように１
つの操作象にしか有効でない場合が多く、汎用的な体感
入力装置が存在しないのが実情であった。本発明によ
り、使用者のデータを予め持つ、あるいはキャリブレー
ションの前処理を行うだけで使いやすいインターフェー
スを実現できる意味において大変有効である。

【００７５】その効果は、操作内容推定の際に種々の推
定方法の内から最適なものを選択する機能、推定方法の
中で個人差が見受けられるデータについてはあらかじめ
入力することができる機能、出力信号発生の部位で外部
からデータ入力することにより出力場所を設定できる機
能を利用すれば、ソフトウエアで簡単に設定することに
より、実現される。

【図面の簡単な説明】

【図１】本発明の体感入力装置の第１実施形態の基本構
成を示す図である。

【図２】本発明の体感入力装置の第１実施形態の操作推
定部４の概念図である。

【図３】本発明の体感入力装置の第１実施形態の操作信
号発生部５の概念図である。

【図４】本発明の体感入力装置の第１実施形態の処理の
流れを示すフローチャートである。

【図５】（Ａ）は、本発明の体感入力装置の第１実施形
態の第１実施例の概念構成図である。（Ｂ）は、本発明
の体感入力装置の第１実施形態の第１実施例の使用者の
足元の荷重センサの配置図である。

【図６】本発明の体感入力装置の第１実施形態の第１実
施例の解析部３の処理のブロック図である。

【図７】本発明の体感入力装置の第１実施形態の第１実
施例の操作推定部４の処理のブロック図である。

【図８】図７の左右移動推定モジュール４０ａの処理の
際に利用する識別方法を示す図である。

【図９】本発明の体感入力装置の第１実施形態の第１実
施例の操作信号発生部５の処理を示した図である。

【図１０】（Ａ）は、本発明の体感入力装置の第１実施
形態の第２実施例の概念構成図である。（Ｂ）は、本発
明の体感入力装置の第１実施形態の第２実施例の使用者
の足元の荷重センサの配置図である。（Ｃ）は、本発明
の体感入力装置の第１実施形態の第２実施例のキーパッ
トのキー配置図である。

【図１１】本発明の体感入力装置の第１実施形態の第２
実施例の解析部３の処理のブロック図である。

【図１２】本発明の体感入力装置の第１実施形態の第２
実施例の操作推定部４の処理を示したブロック図であ
る。

【図１３】図１２の左右移動推定モジュール４０ａの処
理の際に利用する識別方法を示す図である。

【図１４】本発明の体感入力装置の第１実施形態の第２
実施例の操作信号発生部５の処理を示した図である。

【符号の説明】

１動作部２計測部３解析部４操作推定部５操作信号発生部６計測データメモリ７推定条件保持部８操作信号発生条件保持部１００動作部センサ出力２００計測データ３００解析データ４００操作情報５００出力７００操作内容推定モジュール決定データ７１０操作意志推定条件データ８００操作信号発生条件データ

Claims

【特許請求の範囲】

【請求項１】使用者の運動状態を計測し、計測データを
基に操作意志を推定し、情報処理装置へ操作信号を出力
する入力装置において、使用者がそれを利用して特徴ある動作を行うことができ
る動作部と、前記動作を計測する計測部と、前記計測部
において生じる計測データの解析を行う解析部と、使用
者の運動に対応した操作意志推定条件を保持する推定条
件保持部と、前記計測データと前記解析部において生じ
る解析データを入力とし、前記推定条件判別部の操作意
志推定条件および操作推定方法決定条件を参照すること
によって使用者の操作意志を推定する操作推定部と、情
報処理装置に入力可能な操作信号情報を保持する操作信
号発生条件保持部と、前記操作推定部において生じる操
作意志情報を入力とし、操作信号発生条件保持部の操作
信号情報を参照することによって、出力対象の情報処理
装置に操作信号を発生する操作信号発生部とを有するこ
とを特徴とする体感入力装置。
【請求項２】前記動作部は、予め決められた方向に対し
て使用者が移動あるいは位置操作することができるよう
になっており、前記計測部は、前記方向の変位および前
記方向に対する使用者の姿勢を示すパラメータを検出
し、前記解析部は、計測データを元に前記方向の変位の
時間変化および使用者の姿勢を解析し、前記操作推定部
は、前記方向に対する移動あるいは位置を推定すること
を特徴とする請求項１に記載の体感入力装置。
【請求項３】前記計測部は、使用者の各足の裏側でそれ
ぞれ３点以上の荷重情報を計測し、前記解析部は、計測
されたデータから使用者の重心位置および重心位置の時
間変化を計算し、前記操作推定部は、移動方向あるいは
位置情報を推定することを特徴とする請求項１又は２に
記載の体感入力装置。
【請求項４】前記解析部は、計測されたデータからさら
に各足の荷重、各足の単位時間あたりの荷重変化を計算
し、前記操作推定部は、動作の判定を推定することを特
徴とする請求項１、２又は３に記載の体感入力装置。
【請求項５】前記動作部は、足を左右に振り出す運動を
可能としており、前記計測部は、左右への足の振り角を
計測し、前記操作推定部は、使用者の左右への移動の意
志を推定することを特徴とする請求項１に記載の体感入
力装置。
【請求項６】前記解析部は、足の振り角の時系列データ
を持ち、足の振り角の角速度を解析することを特徴とす
る請求項１又は５に記載の体感入力装置。
【請求項７】前記動作部は、使用者がスキーのように足
を振り出す移動の際、各足の踵から下を水平方向から傾
けることができ、前記計測部は、各足の踵から下の水平
方向からの傾きの角度を計測することができ、前記操作
推定部は、計測された足の振り角・各足の踵から下の水
平方向からの傾きの角度、解析された足の振り角の角速
度・各足の荷重をもとに左右の移動方向および移動の大
きさを判定することを特徴とする請求項１、２、４、５
又は６に記載の体感入力装置。