JPH10334247A - 意図判定装置 - Google Patents

Abstract

(57)【要約】 【課題】 伝達したい意図が所定動作で表現される場合
に、動きベクトルに基づいて意図を判定する意図判定装
置を提供する。 【解決手段】 所定動作して意図を表現する被写体をビ
デオカメラ１で撮像して得られた映像信号１０を動きベ
クトル検出部２が入力し、応じて動きベクトル２０を所
定時間間隔で抽出すると、パターン検出部３および意図
判定部４は抽出された動きベクトルの時間変動に基づい
て所定動作に対応の意図を特定し、特定された意図が示
すコマンド４０を制御対象に与える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は人間の動作からそ
の意図を判定する意図判定装置に関し、特に、人間の動
作から得られた動きベクトルを用いて動作に対応する意
図を判定する意図判定装置に関する。

【０００２】

【従来の技術】たとえば、コンピュータなどのハードウ
ェアを対象にしてユーザの意図（要求）をリアルタイム
に与えようとする場合、従来はキーボードおよびマウス
などの手動操作入力または音声認識などが利用されてい
たが、ユーザの動きによる動きベクトルに関する情報を
利用したものはまだ提供されていなかった。

【０００３】

【発明が解決しようとする課題】それゆえこの発明の目
的は、伝達したい意図が所定動作で表現されるとき、所
定動作の動きベクトルを用いて意図を判定する意図判定
装置を提供することである。

【０００４】

【課題を解決するための手段】請求項１に記載の意図判
定装置は、伝達したい意図が所定動作で表現される場合
に、所定動作の動きベクトルに基づいて意図を判定する
よう構成される。

【０００５】したがって、人は伝達したい意図を所定動
作で表現するだけで、その意図を判定させて理解させる
ことができる。これにより、声を発することができず、
マウスやキーボードなどの手動操作ができないなどのハ
ンディキャップのある人についても、所定動作するだけ
でその意図を伝達することが可能となる。

【０００６】請求項２に記載の意図判定装置は、請求項
１に記載の装置が、所定動作して意図を表現する被写体
の映像信号を入力して動きベクトルを所定時間間隔で抽
出する動きベクトル抽出手段と、抽出された動きベクト
ルの時間変化に基づいて所定動作に対応する意図を判定
する判定手段とを備えて構成される。

【０００７】したがって、意図を伝達したい人は、所定
動作して意図を表現する被写体として撮像されればよい
だけなので、自己の意図を容易に判定させて伝達するこ
とができる。

【０００８】請求項３に記載の意図判定装置は、請求項
２に記載の動きベクトル抽出手段のベクトル抽出のため
の所定時間間隔が、抽出される動きベクトルの大きさに
基づいて可変調整されるよう構成される。

【０００９】したがって、意図を伝達したい人の動作が
遅くても、逆に速くてもその速度に合わせて動きベクト
ルの抽出間隔が可変調整されるので、常に高精度で意図
判定することができる。

【００１０】請求項４に記載の意図判定装置は、請求項
１ないし３のいずれかに記載の装置が所定動作を用いて
対象物を制御する場合に用いられるとき、意図判定装置
から対象物に判定された意図に対応の制御信号が出力さ
れるよう構成される。

【００１１】したがって、意図判定装置により判定され
た意図に応じて所望する対象物を制御することができる
ので、ハンディキャップのある人であっても所定動作を
するだけで意図するように対象物を制御できる。

【００１２】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照し詳細に説明する。図１は、この発明の
実施の形態による意図判別装置の機能構成を示す概略ブ
ロック図である。図２は、図１の意図判別装置がコンピ
ュータの制御のために用いられた場合を説明する図であ
る。

【００１３】図１において意図判別装置はビデオカメラ
１、動きベクトル検出部２、パターン検出部３および意
図判定部４を含む。ビデオカメラ１は何らかの意図を体
の動作にして表現する人を被写体として撮像しアナログ
の映像信号１０を出力する。ビデオカメラ１は図２のよ
うに、たとえば被写体となった人がコンピュータに何ら
かの意図をコマンドとして伝達したい場合、被写体がそ
の撮像エリアに入るようにコンピュータの上に載置され
る。

【００１４】動きベクトル検出部２は映像信号１０を入
力して、後述する代表点マッチング法（National Techn
ical Report Vol.37 NO.3 Jun.1991のP48 〜P54 参照）
に基づき被写体の動きベクトル２０を検出する。パター
ン検出部３は被写体の所定動作と対応する動きベクトル
の時間変動パターンの組合せを予め複数組記憶している
ので、動きベクトル検出部２が出力する動きベクトル２
０の時間変動に基づいて被写体の対応する所定動作を特
定して、動作パターン３０を出力する。意図判定部４は
動作パターン３０と被写体の対応する意図を示すデー
タ、この場合、コンピュータに対して与えるコマンド４
０の組合せを予め複数組記憶しているので、パターン検
出部３の出力する動作パターン３０に基づいて被写体が
意図するコンピュータへの入力コマンド４０を出力す
る。

【００１５】図３は、図１の動きベクトル検出部２で適
用される代表点マッチング法における撮像エリアを示す
図であり、図４は図３の撮像エリアに関連した検出エリ
アの拡大図である。図５は図１の動きベクトル検出部２
の概略ブロック図である。図６はこの発明の実施の形態
による動作パターンと意図の対応例を表形式にして示す
図である。図７はこの発明の実施の形態による動作パタ
ーンと動きベクトルの時間変動パターンの対応例を示す
図である。

【００１６】図８は、図１の装置による意図判定のため
の処理フローチャートである。前述の代表点マッチング
法とは、固定の複数の代表点における１フィールド（あ
るいは１フレーム）前の映像信号１０のレベルと代表点
を含む検出エリア内のサンプリング点の映像信号１０の
レベルとを比較し、その差が最も少ない相関性の高い現
フィールドのサンプリング点を求め、このサンプリング
点と代表点との位置の差（偏移）を被写体の動き、すな
わち、動きベクトルとして特定するものである。

【００１７】次にこの代表点マッチング法を具体的に説
明する。図２は撮像エリアを示し、この撮像エリア内に
は６個の検出ブロックが設けられている。さらに、各検
出ブロックは１６個の検出エリアに区分される。そし
て、図３に拡大して示されるように各検出エリアには複
数のサンプリング点が存在し、その中の１つが代表点と
して定められる。

【００１８】図５に代表点マッチング法による動きベク
トル検出部２の構成が示される。図５において入力端子
２１に入力される映像信号１０はデジタル信号にされて
代表点メモリ２２および相関値演算回路２３に供給され
る。この代表点メモリ２２には各代表点の輝度レベルに
応じたデジタルデータが保存される。相関値演算回路２
３では現フレームの映像信号１０の輝度レベルに応じた
デジタルデータと代表点メモリ２２からの１フレーム
（あるいは１フィールド）前のデジタルデータとの差の
絶対値、すなわち代表点と検出エリア内における代表点
に対して偏移したサンプリング点との輝度の相関値が演
算される。この相関値は相関値メモリおよび加算器を含
む累積加算回路２４において、検出ブロック内の代表点
に対して同一偏移を有するサンプリング点ごとに累積加
算される。この累積加算は６個の検出ブロックごとに行
なわれる。

【００１９】累積加算回路出力は最小値検出回路２５お
よび平均値算出回路２６に供給される。最小値検出回路
２５は相関累積値が最小のサンプリング点の位置および
その最小値を検出する。また、平均値算出回路２６は相
関累積値の平均を算出する。そして、求められた最小位
置、最小値および平均値は動きベクトル発生回路２７に
供給される。動きベクトル検出回路２７はマイクロコン
ピュータにより構成され、そのソフトウェア処理によ
り、まず、各検出ブロックごとに最小位置に基づいて計
６個の動きベクトル、最小値および平均値を抽出する。
次に、この動きベクトルのうち、最小値／平均値が所定
のしきい値より小さい検出ブロックの動きベクトルを信
頼性の低いものとし、この場合、同検出ブロックの動き
ベクトルは、前回以前の直近の信頼性の高い動きベクト
ルを採用する。これにより、常に映像の６つの検出ブロ
ックから信頼性の高い動きベクトルを得るものとする。

【００２０】なお、代表点メモリ２２、累積加算回路２
４および平均値算出回路２６は制御回路２８によりアド
レスおよびタイミングなどが制御される。

【００２１】次に、動きベクトル検出部２およびパター
ン検出部３による動きベクトルの時間変動パターンの検
出について説明する。

【００２２】図６では、被写体の予め定められた４つの
動作パターンのそれぞれに対応する被写体の意図、すな
わちコンピュータに与えようとするコマンド４０が示さ
れる。図６に示されるように、被写体である意図伝達者
が右手を挙げるとコンピュータに対して次の画面に進む
旨のコマンドを与えることができ、同様に左手を挙げる
と前の画面に戻る旨のコマンドを、頭を縦に振るとＹＥ
Ｓの旨のコマンドを、そして頭を横に振るとＮＯの旨の
コマンドを、それぞれ与えることができる。

【００２３】図７では図６に示された意図伝達者（被写
体）の４つの所定動作パターンのそれぞれに対応する動
きベクトルの時間変動パターンが示される。

【００２４】動きベクトル検出は、上述したように図５
の回路を使用してリアルタイムで行なわれる。また、１
／６０秒のフレーム単位の任意時間間隔で検出が可能で
ある。ただし、検出可能な動きの大きさには限度がある
ため、動きの大きい映像に対しては短い時間間隔で検出
を行なうことにより動きベクトルが検出範囲を超えない
ようにし、動きの小さい映像に対しては長い時間間隔で
検出を行なうことでゆっくりした動きも検出できる。

【００２５】そこで、図６の４動作パターンを精度よく
検出するためには、意図伝達者の動きの速さに応じて動
きベクトル検出の時間間隔を最適化する必要がある。こ
のため、予め意図伝達者に、この４つの動作をしてもら
い、その動作を任意時間間隔で検出した動きベクトルの
大きさから、その意図伝達者に最適な動きベクトルの検
出時間間隔が決定される。その後、意図伝達者の動きの
速さに変化が生じる可能性があるため、図８のように、
４動作判定時に発生する動きベクトルの大きさに応じた
検出時間間隔を変動させながら意図判定する。図８にお
いて意図判別装置では処理グループＧ１にてパターン検
出部３のパターン検出のために基本となる動きベクトル
の時間変動パターンが次のように予め求められる。

【００２６】まず、意図伝達者に前述の４つの動作を順
次行なってもらい、任意（たとえば４フィールドごと）
時間間隔で動きベクトル２０の検出を行なう（Ｓ１）。
そのときに得られる最大の動きベクトルから、動きベク
トル検出部２による動きベクトル検出の時間間隔が決定
される（Ｓ２）。最大の動きベクトルは、検出範囲の１
／２より小さい場合は、時間間隔を大きくし、検出範囲
の１／２を超える場合は時間間隔を小さくする。すなわ
ち、４つの所定動作時に発生する動きベクトルの最大値
は、検出範囲の１／２程度となるように動きベクトル２
０の検出時間間隔が設定される。このような動きベクト
ル検出の時間間隔の最適化処理後、意図伝達者に改めて
４つの動作をしてもらい、図７に示されたような各動作
時に発生する動きベクトルの時間変動のパターンが摘出
されて、図７に示された形式の４動作時の動きベクトル
時間変動パターンＰとして記憶される。

【００２７】その後、処理グループＧ２にて実際の意図
判定が行なわれる。まず意図伝達者をビデオカメラ１で
撮像して得られた映像信号１０が動きベクトル検出部２
に与えられるので、検出部２は前述のようにして決定さ
れた所定の時間間隔で動きベクトル２０を検出する（Ｓ
４）。パターン検出部３には検出された動きベクトル２
０が所定時間間隔で与えられるので一連の動きベクトル
時間変動パターンが検出されて（Ｓ５）、４動作時の動
きベクトル時間変動パターンＰとの間でパターン比較さ
れて類似するパターン時には４つの動作のいずれかが動
作パターン３０として判定されて、意図判定部４により
判定された動作パターン３０に対応のコマンド４０がコ
ンピュータに与えられ、コンピュータが意図したように
制御される（Ｓ６）。

【００２８】また、このとき、４つの動作のどれかに判
定された入力映像信号１０の動きベクトル２０における
ベクトルの最大値が検出されて（Ｓ７）、たとえば検出
された最大値が検出範囲の１／２を超える状況が頻発す
る場合には動きベクトル検出部２による動きベクトル２
０の検出間隔が小さくなるよう制御されて（Ｓ８）、検
出が繰返される（Ｓ４〜Ｓ８のループ処理）。

【００２９】このように、動きベクトル検出部２による
動きベクトル２０の検出時間間隔は、意図伝達者の動作
の速さの変化に応じて最適に可変調整されるので、図１
の装置では常に安定して、かつ精度よく意図伝達者の意
図を判定することができる。

【００３０】なお、この実施の形態では４つの所定動作
に対応した意図を判定していたが、判定する意図の数、
種類はこれに特定されるものではない。また、検出ブロ
ックの数は６個に限定されない。また、意図判定に用い
る動きベクトル検出法は代表点マッチング法に限定され
ない。

【００３１】また、本実施の形態では判定された意図を
用いてコンピュータを制御したが、制御する対象はコン
ピュータに特定されず、たとえばナースコールであって
もよい。この場合、患者は所定動作、たとえば手を挙げ
る、あるいは頭を振るなどの簡単な動作でナースコール
を制御することが可能となる。

【図面の簡単な説明】

【図１】この発明の実施の形態による意図判別装置の機
能構成を示す概略ブロック図である。

【図２】図１の意図判別装置がコンピュータの制御のた
めに用いられた場合を説明する図である。

【図３】図１の動きベクトル検出部２で適用される代表
点マッチング法における撮像エリアを示す図である。

【図４】図３の撮像エリアに関連した検出エリアの拡大
図である。

【図５】図１の動きベクトル検出部２の概略ブロック図
である。

【図６】この発明の実施の形態による動作パターンと意
図の対応例を表形式にして示す図である。

【図７】この発明の実施の形態による動作パターンと動
きベクトルの時間変動パターンの対応例を示す図であ
る。

【図８】図１の装置による意図判定のための処理フロー
チャートである。

【符号の説明】

１ ビデオカメラ ２ 動きベクトル検出部 ３ パターン検出部 ４ 意図判定部 １０ 映像信号 ２０ 動きベクトル ３０ 動作パターン ４０ コマンド なお、各図中同一符号は同一または相当部分を示す。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 伝達したい意図が所定動作で表現される
   場合に、前記所定動作の動きベクトルに基づいて前記意
   図を判定する、意図判定装置。
2. 【請求項２】 前記所定動作して前記意図を表現する被
   写体の映像信号を入力して前記動きベクトルを所定時間
   間隔で抽出する動きベクトル抽出手段と、 前記抽出された動きベクトルの時間変化に基づいて前記
   所定動作に対応する前記意図を判定する判定手段とを備
   えた、請求項１に記載の意図判定装置。
3. 【請求項３】 前記所定時間間隔は前記動きベクトル抽
   出手段により抽出される前記動きベクトルの大きさに基
   づいて可変調整されることを特徴とする、請求項２に記
   載の意図判定装置。
4. 【請求項４】 前記所定動作を用いて対象物を制御する
   場合に、前記意図判定装置から前記対象物に判定された
   意図に対応の制御信号が出力されることを特徴とする、
   請求項１ないし３のいずれかに記載の意図判定装置。