JPH0648458B2 - 情報入力装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、人間の頭の動きなどを表情の変化として直接
映像でとらえ、画像処理によつて人間の意図としてコン
ピュータに伝えるための安価にして簡便な情報入力装置
に関するものである。

〔従来の技術〕

キーボード付きディスプレイ，ライトペン，タブレッ
ト，マウス，ジョインステイック等は、従来より広く使
用されているコンピュータへの情報入力機器である。

一方、人間の身振り手振りは最も基本的な意志伝達手段
として重要な役割をはたしてきている。特に頭の動作
は、人間が赤ん坊から幼児へと成長していく過程で、言
葉よりも先に使うようになる情報伝達手段である。人間
の頭の動作を直接コンピュータで理解できるようになれ
ば、それは、キーボード等の機器による入力を補い、よ
り自然なマンマシンインタフェースを実現するものとし
て大きな意味をもつようになると考えられる。また、身
体の不自由な人々にも機械に対する命令伝達手段を提供
できることになる。

特許第1144011号（末永，山岸：“情報入力方式”，特
公昭57-1009，特願昭51-10408）などは、手の映像を使
い上記問題点を一部解決し、ＴＶカメラから入力された
映像から指先もしくは指示器の位置を検出するものであ
るが、あくまで対象はひとコマの静止画像であり、その
動きを認識するというものではないという欠点があつ
た。

また鈴木，関口，東海林：“運動視差を利用した３次元
表示手法”、昭和５９年度電子通信学会総合全国大会予
稿集１５４１、は本発明と似た主旨の手法の具体例を開
示しているが、それは、該論文にも述べられているよう
に、コンピュータグラフイクスなどで立体表示を行うと
き、表示装置自体がＴＶカメラなどで観察者の頭部の３
次元位置の動きを常時監視し、その動きに従って表示像
を変化させるという３次元画像表示手法を提案するもの
であり、その際、頭部の動きの検出には、頭部に付けた
３個の発光ダイオードを利用するという方法によつてお
り、頭部画像の利用による方法について、具体的方法に
開示したものではなかつた。

〔発明が解決しようとする問題点〕

そこで本発明は、人間の頭の動きなどを表情の変化とし
て直接映像でとらえ、画像処理して人間の意図（命令）
として計算機へ入力可能にすることを、解決すべき問題
点としている。

従って本発明は、上述のことを可能にする情報入力装置
を提供することを目的としている。

〔問題点を解決するための手段〕

上記目的達成のため、本発明では、情報入力装置を、人
物の首より上の、頭部を含む顔面全体を対象として撮像
するテレビカメラの撮像信号を入力とし処理することに
より、頭の大きさ、頭の位置、及び頭に対する顔の相対
位置を表わす量を特徴量として抽出する手段と、抽出さ
れた特徴量の、前記顔面全体の動きに伴って生じる時間
的変化から所定のルールにより前記顔面全体の中の一部
である頭、顔、眉、目、口、鼻または耳の位置や向きの
変化、或いは動きを検出する手段と、検出された前記位
置や向きの変化、或いは動きを前記人物の意図を表わす
命令信号として計算機へ入力する手段と、により達成し
た。

〔作用〕

作用として具体例を説明する。

画像データを表示しているディスプレイＣＲＴの正面に
座った人物の上半身をＣＲＴ上のＴＶカメラから撮り、
表示に対する命令を取り込むことを想定する。

顔画像の動きから８種類の命令を抽出することを想定
し、命令と頭の動作の関係を表１のように定める。動作
はいずれも１〜３秒間継続すると考えることができる。

また、現実の処理を可能とするため、以下の仮定を置
く。

仮定１「背景は変化しない」。

仮定２「頭の基準位置が画像の中心付近にあり、常に肩
から上の部分が画面内にある」。

動きの認識は、(1)原画像からの特徴量抽出、(2)特徴量
による動きの判定、の２段階からなる。

表１の８種類の命令の検出を行なうため、(i)頭の大き
さ、(ii)頭の位置、(iii)頭に対する顔の相対位置、を
表わす特徴量を以下の手順により求める。

(1)各フレーム毎に原画像と背景画像の差分をとり、人
物像のシルエットをつくる。

(2)シルエットから頭（首から上）の領域を検出し、頭
の面積と重心を求める。

(3)顔の領域を検出し、顔の面積と重心を求める。

上記特徴量に基づき、下記ルールにより動きを分類す
る。

ルール１：頭が大きく（小さく）なつた。

→顔が近づいた（遠のいた）。

ルール２：顔が頭に対して相対的に上・下・左・右にあ
る。

→顔が上・下・左・右を向いている。

ルール３：顔の向きが連続して上下（左右）に変化し
た。

→「はい」（「いいえ」）の意味である。

このようにして本発明は、例えば頭の動きを撮像し、そ
の画像を簡単な方法で処理して認識し、計算機へ入力す
ることを可能にしている。

〔実施例〕

次に図を参照して本発明の実施例を説明する。

第１図は本発明の一実施例を示す説明図である。同図に
おいて、１は人物の上半身映像を取り込むＴＶカメラ、
２は取り込んだ映像を処理して頭の位置情報、動作情報
を出力する情報入力装置、３は動作情報から前記の命令
などを判定して、該命令を利用する情報処理装置であ
る。また図中、４から９は動作を説明するためのもので
あり、４はＴＶカメラで捉える人物の上半身、５は背
景、６は該人物が例えば本発明による装置を使つて画面
上のメニューを選択するとしたときにメニューを表示す
るＣＲＴ，７，８はそれぞれメニューの例、９は画面上
のカーソルである。

次に動作を説明する。先ず第１図に示すような配置にお
かれたＴＶカメラ１から上半身４の動画像を連続入力
し、該動画像を情報入力装置２において画像処理し、頭
の面積Ｓ、頭の重心位置Ｐ１＝（ｘ_１，Ｙ_１）、および
顔の重心位置Ｐ２＝（ｘ_２，ｙ_２）をｘ，ｙ座標に従つ
て計算して、結果を次々と情報処理装置３に出力する。

情報処理装置３は、上記のデータ（面積や重心位置）の
変化などから、まず人物４の頭がＴＶカメラ１に近ずい
ているかあるいは遠のいているか、さらに頭が上下左右
のどの方向に動いているか、また頭（顔）が上下左右の
どの方向をむいているかを検出する。さらにこれらの動
きの速さ（単位時間あたりの向きの変化の回数など）か
ら、頭が振られているかどうかなどを検出する。その
後、以上の信号から前記の頭の動きによつて表わされる
約束された命令に変換する。このとき、動きに対する意
味付けは任意の方法があり変換手順は限定されない。

情報入力装置２にはあらかじめ背景の画像を取り込み該
装置内に格納しておく。また、人物の上半身４の定位置
を決めるため、人物がＴＶカメラ１の正面に座つたとき
に、情報入力装置２および情報処理装置３に信号を送
り、その時の前記データすなわち頭の面積Ｓ、頭の重心
位置Ｐ１、顔の重心位置Ｐ２を定位置データとして記憶
しておく。

本方式では、これらの背景と定位置データを使つて、頭
の動きを判定する。これらの背景と定位置に関するデー
タは基本的な使用では固定的で良いが、場合によつて、
背景が変化したり、頭の位置が変わることもあるのでこ
のときは、随時、背景の画像と定位置データの平均値を
調べて平均値を使うとか、大きな差が生じた場合には更
新して新しいデータを使用する。

情報入力装置２は次のように動作して、頭の面積データ
Ｓと、重心データＰ１，Ｐ２を計算し出力する。第２図
を用いて説明する。

まず、ＴＶカメラ１から入力した（イ）に示す上半身像
（原画像１０）から、前記記憶しておいた背景画像１１
（（ロ）に示す）を差し引いて絶対値をとる。この演算
は、画像の各画素ごとにそれぞれ行う。ここで得られた
（ハ）に示す画像（差分画像１２）は、背景部の画素は
０に近く、その他の画素は比較的大きな値となる。但
し、上半身像部分は、そこから対応した位置にある背景
画像分を差し引かれるので、一律的な画像にはならない
ことがある。

次いで背景画像をある、あらかじめ与えておいたしきい
値で２値化すると、（ニ）に示す如く人物の部分１３が
抽出できる（しきい値以上を値１その他を値０とす
る）。頭の部分だけを処理対象とするために、肩から下
の部分を削除する。これには、首のところで値１の図形
（人物部分）の横幅が小さくなることをつかって首の位
置を検出する。この時点での処理画像１４は第３図に示
すようになつている。

次に、情報入力装置２はまずこの処理画像１４から値１
の図形の面積を計算する。これが頭の面積データＳとな
る。さらに、該値１の図形の重心位置を既知の手法によ
り計算する。これが頭の重心１５のデータ（Ｐ１＝
ｘ_１，ｙ_１）となる。次に処理画像１４と原画像１０を
使つて顔の部分を抽出する。これには、原画像１０の画
素のうち、処理画像１４の値１に対応する部分、すなわ
ち頭の部分だけに対して原画像１０を走査し、しきい値
処理によつて抽出する。該しきい値処理は、例えば人物
４の頭が黒く、顔が白つぽいという性質を使つて、ある
しきい値より明るい画素を顔（値２）として判定する。
第４図の１６が顔として判定された部分である。そこ
で、該顔の部分１６の重心１７のデータ（Ｐ２＝ｘ_２，
ｙ_２）を計算する。

情報入力装置２は上記の計算をＴＶカメラがとらえた映
像ごとに行い、得られる頭の面積、頭の重心位置座標、
顔の重心位置座標を逐次出力する。

情報処理装置３は、情報入力装置２から逐次受け取る前
記のデータと、最初に受けとつている定位置データを処
理する。まず頭の面積データＳを常時調べて増加してい
るか、減少しているかをチエックし、それぞれのとき、
頭が近づいている、あるいは遠のいていると判定する。
画像を表示しているときは、これらの判定結果をたとえ
ばズームアップ、ズームダウンの命令として使う。

次に、頭の重心位置データＰ１（ｘ_１，ｙ_１）を頭の重
心の定位置データと比較して、頭の定位置からのずれを
調べる。ずれがあれば、その量だけ頭が動いたと判定す
る。ずれの量が映像ごとに違えば、頭が動いていると判
定する。

さらに、顔の重心位置データＰ２（ｘ_２，ｙ_２）を顔の
重心の定位置データと比較して、頭の回転を調べる。こ
のとき、頭のずれの量を使つて補正することによつて、
頭が移動していても正しい回転量を計算できる。頭の回
転量は、各映像から得られる頭の重心位置を基準にした
顔の重心位置の相対位置の変化をつかうこともできる。
頭の回転が、上下あるいは左右に連続して繰りかえされ
るとき、例えば「はい」，「いいえ」と解釈する。

また、頭の向きを回転量から求めて、これと頭の位置を
使うと、大まかであるが視線の方向を知ることが出来、
情報処理装置３は画面の中の注視点を知ることができ
る。すなわち、例えば、人間が上を向いて注視点が上と
認識すれば、情報処理装置３はそれを上方カーソル移動
と解釈して、第１図のＣＲＴ６に表示しているカーソル
９を上方に動かして表示図形７のところへもつていつた
り、画像のさらに上方を見たいのだと解釈して、画像を
下方にスクロールするという処理ができる。またさらに
人間が頭を右に向けたのを認識して、カーソルを表示図
形８に移動して、そこで、人間が縦に頭を振れば、その
メニューを実行する処理にはいる、といつたようなマン
マシンインタフェースを実現できる。

上記の装置を、人物の上半身像ではなく人物の顔の中に
ある、眉、目、口，鼻或いは耳に対して適用しても同等
の効果を得ることができる。これらの成分図形の抽出、
および動きの認識は、現在の画像処理技術の範囲で得ら
れるデータを用いて十分行なうことができる。これらの
成分の動きを利用すると、前記情報処理装置３は位置情
報に限らず顔の表情を認識して、マンマシンインタフェ
ースの向上に利用できる。

〔発明の効果〕

以上説明したように、本発明によればＴＶカメラと情報
入力装置を備えることにより、３次元空間内の仮想的指
示棒、ワイヤレスリモコンスイッチ等を実現できる。し
かも、本来、人間の頭の動きは種々の意味に使用される
ものであり、本発明方式で入力された頭の動きに対する
種々の識別法を開発することにより、数値の入力、コマ
ンドの入力、人間の自然なボディランゲージの通訳器
等、本発明による情報入力装置は広い用途に使用できる
と考えられる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す説明図、第２図は画像
処理の過程を示す説明図、第３図は得られた処理画像の
一例を説明図、第４図は同じく他の処理画像例を示す説
明図、である。 符号説明 １…ＴＶカメラ、２…情報入力装置、３…情報処理装
置、４…上半身、５…背景、６…ＣＲＴ、７，８…メニ
ューの例、９…カーソル、１０…原画像、１１…背景画
像、１２…差分画像、１３…人物の部分、１４…処理画
像、１５…頭の重心、１６…顔の部分、１７…顔の重心

Claims (1)

【特許請求の範囲】
1. 【請求項１】人物の首より上の、頭部を含む顔面全体を
   対象として撮像するテレビカメラからの撮像信号を入力
   とし処理することにより、頭の大きさ、頭の位置、及び
   頭に対する顔の相対位置を表わす量を特徴量として抽出
   する手段と、抽出された特徴量の、前記顔面全体の動き
   に伴って生じる時間的変化から所定のルールにより前記
   顔面全体の中の一部である頭、顔、眉、目、口、鼻また
   は耳の位置や向きの変化、或いは動きを検出する手段
   と、検出された前記位置や向きの変化、或いは動きを前
   記人物の意図を表わす命令信号として計算機へ入力する
   手段と、から成ることを特徴とする情報入力装置。