JPH08205197A - ヒューマンインタフェース装置 - Google Patents

Abstract

(57)【要約】 【目的】表情によって感情を表す非言語的な伝達に適し
たヒューマンインタフェース装置を提供する。 【構成】本発明のヒューマンインタフェース装置は、顔
面の形状を有する顔面形状スクリーン１と、送信者３を
撮像する撮像手段４と、撮像手段４によって撮像された
送信者３の映像から顔面に相当する部分である顔面映像
を抽出し、該顔面映像の傾斜，位置，大きさを、顔面形
状スクリーン１の形状に対して正規化する画像処理手段
５と、画像処理手段５によって正規化された顔面映像を
顔面形状スクリーン１に投影する投影手段２とを有して
おり、受信者６は、顔面形状スクリーン１に投影された
送信者３の立体的な顔面映像を見ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、表情によって感情を表
す非言語的な伝達に適したヒューマンインタフェース装
置に関する。

【０００２】

【従来の技術】一般に、人間が直接対面している相手に
意思を伝達する際には、言葉によって意思を表す言語的
な伝達、および、表情によって感情を表す非言語的な伝
達を行っており、後者による情報量が多い場合もある。
また、同じ言葉で表される内容も、表情によっては、正
反対の意味を有する場合がある。

【０００３】一方、人間が直接対面していない相手に意
思を伝達する際には、手紙のように文字による伝達、お
よび、電話にように音声による伝達を行っているが、い
ずれの場合も非言語的な伝達のみである。

【０００４】従来、直接対面していない相手に、言語的
な伝達および非言語できな伝達を行うための技術とし
て、例えば、特開平１−１９４５８５号公報に記載され
ているようなテレビ電話が考案されている。テレビ電話
を用いると、音声および映像を同時に送受信することが
できるので、言語的な伝達および非言語的な伝達を行う
ことができ、より円滑なコミュニケーションを行うこと
が可能となる。特に、友人，家族，恋人等の親しい人間
と会話する場合など、会話の内容に情緒的なものが多い
場合には、その効果が顕著なものとなる。

【０００５】

【発明が解決しようとする課題】ところが、テレビ電話
においては、ビデオカメラで撮像された映像が全て相手
側に送信されてしまうので、人間の映像だけではなく、
背景の不必要な情報まで送信されてしま。そこで、相手
に自分の生活を覗かれてしまうこととなるので、プライ
バシーが侵害されるという意識が働く。その対策とし
て、画像処理によって背景を排除することは可能である
が、作為的な行為であるので、なぜ隠すのかという不信
感を相手に抱かせてしまうことになる。

【０００６】また、テレビ電話においては、以下に説明
するような空間的な距離の問題がある。すなわち、通
常、人間が会話する際には、相手との親密度によって自
然と空間的な距離を使い分けているにも係わらず、テレ
ビ電話によって得られる距離は一定で１メートル弱とい
われている。これは、親しい人間と会話する場合には、
やや遠過ぎる距離であり、非言語的な伝達を阻害する因
子となる。

【０００７】このように、テレビ電話という技術も、非
言語的な伝達を行うためのインタフェースとしては不十
分である。

【０００８】また、テレビ電話のように映像を送受信す
る機器のみならず、人間が相手に一方的に情報を提示す
るような機器についても、言語的な伝達および非言語的
な伝達の両方を行うことができるようにすることが効果
的な場合もある。

【０００９】例えば、不特定多数の人に何らかの装置の
操作方法を説明する場合に、言語的な伝達および非言語
的な伝達の両方を行うと、初心者にとって分かりやすい
説明を行うことが可能となる。

【００１０】本発明の目的は、非言語的な伝達に適した
ヒューマンインタフェース装置を提供することにある。

【００１１】具体的には、人物の顔面に相当する部分の
映像を立体的に映し出すことが可能なヒューマンインタ
フェース装置を実現することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明のヒューマンインタフェース装置は、顔面の
形状を有する顔面形状スクリーンと、人物を撮像する撮
像手段と、上記撮像手段によって撮像された人物の映像
から顔面に相当する部分である顔面映像を抽出し、該顔
面映像の傾斜，位置，大きさを、上記顔面形状スクリー
ンの形状に対して正規化する画像処理手段と、上記画像
処理手段によって正規化された顔面映像を上記顔面形状
スクリーンに投影する投影手段とを有するようにしてい
る。

【００１３】なお、上記構成に加えて、上記顔面形状ス
クリーンの下部に設けられたマネキンを有するようにす
ることができる。

【００１４】また、上記構成に加えて、上記撮像手段と
同一ユニットを構成し、上記撮像手段によって人物の映
像が撮像されている間、外部から音声を取り込むマイク
と、上記投影手段と同一ユニットを構成し、上記マイク
によって取り込まれた音声を外部に出力するスピーカと
を有するようにすると、言語的な伝達および非言語的な
伝達の両方を行うことが可能となる。

【００１５】また、本発明のヒューマンインタフェース
装置は、顔面の形状を有する顔面形状スクリーンと、人
物を撮像する撮像手段と、上記撮像手段によって撮像さ
れた人物の映像から顔面に相当する部分である顔面映像
を抽出し、該顔面映像の傾斜，位置，大きさを、上記顔
面形状スクリーンの形状に対して正規化する画像処理手
段と、上記画像処理手段によって正規化された顔面映像
を通信網を介して送信する送信手段と、通信網を介して
送信されてくる顔面映像を受信する受信手段と、上記受
信手段によって受信された顔面映像を上記顔面形状スク
リーンに投影する投影手段とを有するようにしている。

【００１６】なお、上記撮像手段と同一ユニットを構成
し、上記撮像手段によって人物の映像が撮像されている
間、外部から音声を取り込むマイクをさらに有するよう
にし、上記送信手段が、上記画像処理手段によって正規
化された顔面映像と共に、上記マイクによって取り込ま
れた音声を通信網を介して送信するようにし、上記受信
手段が、通信網を介して送信されてくる顔面映像と共
に、通信網を介して送信されてくる音声を受信するよう
にし、上記投影手段と同一ユニットを構成し、上記受信
手段によって受信された音声を外部に出力するスピーカ
をさらに有するようにすると、言語的な伝達および非言
語的な伝達の両方を行うことが可能となる。

【００１７】また、本発明のヒューマンインタフェース
装置は、顔面の形状を有する顔面形状スクリーンと、人
物を撮像する撮像手段と、上記撮像手段によって撮像さ
れた人物の映像から顔面に相当する部分である顔面映像
を抽出し、該顔面映像の傾斜，位置，大きさを、上記顔
面形状スクリーンの形状に対して正規化する画像処理手
段と、上記画像処理手段によって正規化された顔面映像
を記憶媒体に記録する記録手段と、上記記録手段によっ
て記憶媒体に記録されている顔面映像を上記顔面形状ス
クリーンに投影する投影手段とを有するようにしてい
る。

【００１８】なお、上記撮像手段と同一ユニットを構成
し、上記撮像手段によって人物の映像が撮像されている
間、外部から音声を取り込むマイクをさらに有するよう
にし、上記記録手段が、上記画像処理手段によって正規
化された顔面映像と共に、上記マイクによって取り込ま
れた音声を記憶媒体に記録するようにし、上記投影手段
と同一ユニットを構成し、上記投影手段によって上記顔
面映像が上記顔面形状スクリーンに投影されている間、
上記記録手段によって記憶媒体に記録されている音声を
外部に出力するスピーカをさらに有するようにすると、
言語的な伝達および非言語的な伝達の両方を行うことが
可能となる。

【００１９】いずれの構成のヒューマンインタフェース
装置においても、上記画像処理手段は、上記撮像手段に
よって撮像された人物の映像の色情報に基づいて、該映
像のうちの肌色の部分を、顔面映像として抽出すること
ができる。また、上記画像処理手段は、抽出した顔面映
像から、予め決められた２つ以上の顔面の部分の映像に
相当する位置を抽出し、これらの位置を基準として、該
顔面映像がまっすぐになるように、該顔面映像の傾斜を
正規化し、抽出した２つ以上の位置のうちのいずれか１
つの位置が上記顔面形状スクリーンにおける該位置に相
当する位置と一致するように、該顔面映像の位置を正規
化し、抽出した２つ以上の位置の間の距離から、該顔面
映像の上記顔面形状スクリーンの大きさに対する比率を
求め、求めた比率に基づいて、該顔面映像の大きさが上
記顔面形状スクリーンの大きさと一致するように、該顔
面映像の大きさを正規化することができる。

【００２０】

【作用】本発明のヒューマンインタフェース装置によれ
ば、人間が直接対面していない相手に意思を伝達する際
に、顔面の映像を立体的に映し出すことにより、表情に
よって感情を表す非言語的な伝達を行うことができる。

【００２１】そこで、従来からある非言語的な伝達を行
う装置に、本発明のヒューマンインタフェース装置を適
用すると、より円滑なコミュニケーションを行うことが
可能となる。

【００２２】また、顔面形状スクリーンの形状から、従
来のテレビ電話のように背景が映し出されることもない
ので、プライバシーの侵害も生じない。さらに、顔面形
状スクリーンに投影された映像を見る利用者に対して、
相手がすぐ側にいるような臨場感を与えることができ
る。

【００２３】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００２４】図１は第１の実施例のヒューマンインタフ
ェース装置の構成図である。

【００２５】図１において、１は顔面形状スクリーン、
２は投影手段、３は送信者、４は撮像手段、５は画像処
理手段、６は受信者である。

【００２６】撮像手段４によって撮像された送信者３の
映像は、画像処理手段５によって顔面に相当する部分が
抽出され、傾斜，位置，大きさが顔面形状スクリーン１
の形状に対して正規化された後、投影手段２によって顔
面形状スクリーン１に映し出されるので、受信者６は、
顔面形状スクリーン１を通して、送信者３の顔を見るこ
とができる。

【００２７】図２は画像処理手段５の画像処理行程を示
す図である。

【００２８】画像処理手段５は、まず、図２（ａ）に示
すように、撮像手段４によって送信者３の映像が撮像さ
れると、図２（ｂ）に示すように、撮像された映像から
顔面に相当する部分を抽出し、続いて、図２（ｃ）に示
すように、抽出した顔面の映像から、予め決められた２
つ以上の顔面の部分の映像に相当する位置を抽出し、こ
れらの位置を基準として、顔面の傾斜を補正する。

【００２９】なお、ここでは、画像処理手段５が鼻尖部
および下顎端を抽出する場合を例にとって説明する。ま
た、画像処理手段５が顔面の傾斜を補正するのは、例え
ば、送信者３が顔を傾けた場合でも、顔面形状スクリー
ン１に映し出される映像がまっすぐになるようにするた
めである。

【００３０】続いて、図２（ｄ）に示すように、抽出し
た鼻尖部の位置が顔面形状スクリーン１のそれと合うよ
うに、顔面の映像を平行移動させることにより、顔面の
映像と顔面形状スクリーン１の位置とを一致させた後、
鼻尖部と下顎端との間の距離から、顔面の映像の顔面形
状スクリーン１の大きさに対する比率を求め、求めた比
率に基づいて、顔面の映像の大きさが顔面形状スクリー
ン１の大きさと一致するように、顔面の映像を拡大また
は縮小して補正する。

【００３１】なお、画像処理手段５は、このとき、必要
に応じて、顔面の映像の色調を変え、顔色が健康そうに
見えるように調整したり、顔の形状を変えて表示するこ
ともできる。

【００３２】このようにして補正された顔面の映像が、
図２（ｅ）に示すように、投影手段２によって顔面形状
スクリーン１に映し出されることになる。

【００３３】次に、画像処理手段５の構成および動作に
ついて、図３を用いて詳しく説明する。

【００３４】図３は画像処理手段５の構成図である。

【００３５】図３において、３０は背景処理部、３１は
メモリ、３２は演算部、３３はメモリ制御部、３４は制
御部、３５は抽出部、３６は入力端子、３７は出力端子
である。

【００３６】画像処理手段５において、撮像手段４によ
って撮像された映像は、入力端子３６から背景処理部３
０および抽出部３５に入力される。

【００３７】抽出部３５は、入力端子３６から入力され
た映像から顔面に相当する部分を抽出する。

【００３８】すなわち、制御部３４は、顔面に相当する
部分が肌色であることから、肌色を表す色情報を抽出部
３５に出力し、抽出部３５は、入力端子３６から入力さ
れた映像の色情報に基づいて、該映像のうちの肌色の部
分を、顔面に相当する部分であるとみなして抽出する。

【００３９】また、抽出部３５は、抽出した顔面の映像
についてエッジを検出することにより、鼻尖部および下
顎端を抽出し、抽出した鼻尖部および下顎端の位置を制
御部３４に出力する。なお、このように、映像から特定
の物体を抽出する方法に関しては、例えば、特願平２−
３２５６４３号公報や特願平５−０１１７３２号公報に
記載されている。

【００４０】さらに、抽出部３５は、抽出した顔面の映
像を表す２値信号を背景処理部３０に出力する。

【００４１】背景処理部３０は、抽出部３５から出力さ
れた２値信号に基づいて、入力端子３６から入力された
映像のうち、顔面に相当する部分については、該映像を
そのまま出力し、それ以外の部分については、該映像を
出力しないかまたは黒を表す信号を出力することによっ
て、背景を消去し、顔面の映像のみを出力する。

【００４２】このようにして背景処理部３０から出力さ
れた顔面の映像は、メモリ３１に蓄積される。なお、メ
モリ３１は、１フレーム分の映像を蓄積可能なフレーム
メモリである。

【００４３】メモリ３１に蓄積された顔面の映像は、メ
モリ制御部３３によって読み出され、演算部３２によっ
て、顔面の傾斜が補正され、また、位置および大きさが
補正された後、出力端子３７から出力される。

【００４４】すなわち、制御部３４は、鼻尖部および下
顎端の位置を演算部３２に出力し、演算部３２は、制御
部３４から出力された鼻尖部および下顎端の位置を基準
として、顔面の傾斜を補正する。また、演算部３２は、
制御部３４から出力された鼻尖部の位置が顔面形状スク
リーン１のそれと合うように、顔面の映像を平行移動さ
せることにより、顔面の映像と顔面形状スクリーン１の
位置とを一致させた後、鼻尖部と下顎端との間の距離か
ら、顔面の映像の顔面形状スクリーン１の大きさに対す
る比率を求め、求めた比率に基づいて、顔面の映像の大
きさが顔面形状スクリーン１の大きさと一致するよう
に、顔面の映像を拡大または縮小して補正する。

【００４５】なお、これらの補正は、傾きや大きさが固
定された顔面形状スクリーン１に対して、投影される映
像の傾きや大きさを一致させるために行われるものであ
り、アフィン変換によって実現される。アフィン変換に
ついては、例えば、昭和６３年５月，昭晃堂発行の「工
業用画像処理」の４９ページに記載されている。

【００４６】さて、次に、顔面形状スクリーン１および
投影手段２の具体的な構成例について、図４〜図７を用
いて説明する。

【００４７】図４は、白色等の明色な不透明な材料から
なる頭部像である顔面形状スクリーン１に前方から投影
する投影手段２として、プロジェクタ２０１を用いた例
を示している。

【００４８】この場合は、顔面形状スクリーン１０１と
して、マネキンや石膏像の頭部を用いることが可能とな
るが、前方より投影することから考えると、受信者６か
ら顔面形状スクリーン１０１が見えるように、顔面形状
スクリーン１０１とプロジェクタ２０１との間の距離を
離さなければならない。また、顔面形状スクリーン１０
１とプロジェクタ２０１との間が光路であることから、
受信者６，他の人物，他の物体が該光路を遮らないよう
にするための配慮が必要となる。

【００４９】図５は、投影手段２としてプロジェクタ２
０１を用い、顔面形状スクリーン１として、半透明の材
料によって作製された、頭部の前半分の形状をした顔面
形状スクリーン１０２を用いた例を示している。

【００５０】この場合は、必要に応じて、プロジェクタ
２０１と顔面形状スクリーン１０２との間に鏡を配置
し、光軸を曲げることも可能である。また、顔面形状ス
クリーン１０２は、黒色等の暗色のものが好ましい。

【００５１】また、顔面形状スクリーン１０２の代わり
に、透明な板状のものを、後方から顔面形状にくり抜い
たような形状の顔面形状スクリーン１０３であってもよ
い。この場合は、顔面形状スクリーン１０３の後面の顔
面形状が半透明となるようにする必要がある。

【００５２】図５に示した例では、後方から投影するの
で、受信者６が光路を遮ることがなくなり、プロジェク
タ２０１を顔面形状スクリーン１０２，１０３の近くに
配置して、１つの筐体に納めることができるが、顔面形
状スクリーン１０２，１０３が頭部の前半分の形状にし
かできないという欠点がある。

【００５３】図６は、投影手段２としてプロジェクタ２
０１を用い、顔面形状スクリーン１として、中が空洞で
ある頭部像の顔面形状スクリーン１０４を用いた例を示
している。

【００５４】この例では、プロジェクタ２０１は、顔面
形状スクリーン１０４の下方から投影し、顔面形状スク
リーン１０４内に配置された鏡１０５Ａ，１０５Ｂによ
って、顔面形状スクリーン１０４の前面に投影するよう
にしている。この場合は、鏡１０５Ａを非平面にするこ
とによって、顔面形状スクリーン１０４のより広い領域
に投影することが可能となるが、予め、画像処理によっ
て、投影された映像が正常に映し出されるように補正し
ておく必要がある。

【００５５】図６に示した例では、顔面形状スクリーン
１０４を頭部全体の形状にすることができ、かつ、プロ
ジェクタ２０１を顔面形状スクリーン１０４の近くに配
置して、１つの筐体に納めることが可能となる。

【００５６】図７は、投影手段２として、液晶やブラウ
ン管等を備えた表示装置２０２を用いた例を示してい
る。

【００５７】この場合は、表示装置２０２の画面に対し
て垂直に積層された光ファイバで構成された、前面が顔
面形状をした顔面形状スクリーン１０６を、表示装置２
０２の画面前方に配置することによって、立体映像を得
ることができる。このとき、通常、人間の顔が縦長であ
ることにより、表示装置２０２の画面を縦長にして用い
れば、表示画面２０２の画面領域を効率よく使用するこ
とができるので、解像度が増すことになる。また、表示
装置２０２の画面を顔面形状にすることによっても、同
様に、立体映像を得ることができる。

【００５８】図７に示した例では、表示装置２０２を顔
面形状スクリーン１０６に密着させ、さらなる小型化を
図ることが可能となるが、顔面形状スクリーン１０６が
頭部の前半分の形状にしかできないという欠点がある。

【００５９】なお、上述したいかなる例においても、顔
面形状スクリーン１は、顔面の造形を細かく再現する必
要はなく、目，口等のよく動く部分は省略し、平面にし
た方が映像の再現性がよい。これは、例えば、閉じた口
の形をした顔面形状スクリーン１に、口を閉じた送信者
３の映像を投影すると、自然に見えるが、口を開いた送
信者３の映像を投影すると、不自然に見えてしまうから
である。

【００６０】また、顔面形状スクリーン１の大きさがあ
まりに大きいと、受信者６が圧迫感を受けるので、実寸
大または実寸よりも小さい方が好ましい。

【００６１】さらに、後述するように、本実施例のヒュ
ーマンインタフェース装置を音声を伝達する際の付加手
段として応用する場合は、音声信号を発生するスピーカ
を顔面形状スクリーン１の近くに配置すると、臨場感が
増す。

【００６２】また、撮像手段４は、ビデオカメラ等によ
って実現することができ、画像処理手段５は、マイクロ
プロセッサ等によって実現することができる。さらに、
撮像手段４と画像処理手段５との間の経路、または、画
像処理手段５と投影手段２との間の経路は、単なるケー
ブルによって実現してもよいが、後述するように、通信
手段を介在させることも可能である。

【００６３】上述したように、本実施例のヒューマンイ
ンタフェース装置によれば、受信者６は、顔面形状スク
リーン１に映し出された、送信者３の顔面の立体的な映
像を見ることができるので、送信者３から受信者６への
非言語的な伝達を効果的に行うことができる。

【００６４】次に、本実施例のヒューマンインタフェー
ス装置をインタホンに応用した例について、図８を用い
て説明する。

【００６５】これは、インタホン１０７のモニタの代わ
りに、顔面形状スクリーン１を設けた例である。

【００６６】応対者３０１は、客６０１がインタホン１
０７によって呼び出しを行ったときに、撮像手段４（こ
こでは、ビデオカメラ４０１）に向かって応対すると、
応対者３０１の顔面の映像が、インタホン１０７に設け
られた顔面形状スクリーン１に映し出され、この状態
で、応対者３０１および客６０１は、互いに会話を行う
ことができる。

【００６７】これにより、例えば、オフィスの受付係，
デパートの案内係，ドライブスルーの受注係等の応対者
３０１が、持ち場に常駐する必要がなくなり、呼び出さ
れたときにだけ、客６０１に笑顔で応対すれば済むよう
になる。また、客６０１は、応対者３０１が行う非言語
的な伝達によって、言語的な伝達による音声を聞き間違
えることが少なくなる。

【００６８】次に、本実施例のヒューマンインタフェー
ス装置を服飾マネキンに応用した例について、図９を用
いて説明する。

【００６９】これは、服飾マネキン１０８の頭部に、顔
面形状スクリーン１を設けた例であり、店頭に置かれた
服飾マネキン１０８の近くに撮像手段４（ここでは、ビ
デオカメラ４０２）を配置し、ビデオカメラ４０２によ
って撮像された客３０２の顔面の映像を顔面形状スクリ
ーン１に映し出すようにしている。

【００７０】これにより、客３０２は、服飾マネキン１
０８が着ている衣服を自身が着たときのイメージを目視
することができるので、購入を検討することができる。

【００７１】以下、画像処理手段５と投影手段２との間
の経路に通信手段を介在させたヒューマンインタフェー
ス装置の例を、第２の実施例として説明する。

【００７２】図１０は第２の実施例のヒューマンインタ
フェース装置の構成図である。

【００７３】図１０において、１Ａ，１Ｂは顔面形状ス
クリーン、２Ａ，２Ｂは投影手段、３Ａ，３Ｂは利用
者、４Ａ，４Ｂは撮像手段、５Ａ，５Ｂは画像処理手
段、７Ａ，７Ｂは通信手段である。

【００７４】画像処理手段５Ａ，５Ｂの構成および動
作、並びに、顔面形状スクリーン１Ａ，１Ｂおよび投影
手段２Ａ，２Ｂの具体的な構成例は、上記第１の実施例
と同様である。

【００７５】撮像手段４Ａによって撮像された利用者３
Ａの映像は、画像処理手段５Ａによって顔面の映像が抽
出され、傾斜，位置，大きさが顔面形状スクリーン１Ｂ
の形状に対して正規化された後、通信手段７Ａによって
電話回線等を介して送信される。そして、通信手段７Ｂ
によって受信され、投影手段２Ｂによって顔面形状スク
リーン１Ｂに映し出されるので、利用者３Ｂは、顔面形
状スクリーン１Ｂを通して、利用者３Ａの顔を見ること
ができる。

【００７６】一方、撮像手段４Ｂによって撮像された利
用者３Ｂの映像は、画像処理手段５Ｂによって顔面の映
像が抽出され、傾斜，位置，大きさが顔面形状スクリー
ン１Ａの形状に対して正規化された後、通信手段７Ｂに
よって電話回線等を介して送信される。そして、通信手
段７Ａによって受信され、投影手段２Ａによって顔面形
状スクリーン１Ａに映し出されるので、利用者３Ａは、
顔面形状スクリーン１Ａを通して、利用者３Ｂの顔を見
ることができる。

【００７７】次に、本実施例のヒューマンインタフェー
ス装置をテレビ電話に応用した例について、図１１を用
いて説明する。

【００７８】図１１（ａ）に示した例は、テレビ電話１
０９のディスプレイの代わりに、顔面形状スクリーン１
を設けた例であり、この場合、撮像手段４は、テレビ電
話１０９の撮像手段（ここでは、ビデオカメラ４０３）
を用いるようにする。

【００７９】また、図１１（ｂ）に示すように、図６を
用いて説明した顔面形状スクリーン１０６を、その積層
ファイバがテレビ電話１０９のディスプレイ（ここで
は、液晶ディスプレイ４０４）に対して垂直になるよう
に、液晶ディスプレイ４０４の前方に配置するようにす
れば、従来からあるテレビ電話に本実施例のヒューマン
インタフェース装置を応用することが可能である。

【００８０】これにより、例えば、単身赴任者とその家
族，遠距離恋愛中の恋人等の親しい間柄にある通話者
は、より相手を近くに感じながら通話することができ
る。

【００８１】次に、本実施例のヒューマンインタフェー
ス装置をテレビ会議電話に応用した例について、図１２
を用いて説明する。

【００８２】図１２に示した例は、テレビ会議電話１１
０のディスプレイの代わりに、顔面形状スクリーン１を
複数設けた例であり、この場合、撮像手段４は、テレビ
会議電話１１０の撮像手段（ここでは、ビデオカメラ４
０５）を用いるようにする。これにより、通話者は、他
の通話者の迫力のある顔面の映像を見ながら会議を行う
こととなるので、白熱した議論を交わすことができる。

【００８３】ところで、テレビ電話やテレビ会議電話に
おいては、通常、ディスプレイとビデオカメラとが隣接
して配置されていることから、ディスプレイと通話者と
の間の光軸、および、ビデオカメラと通話者との間の光
軸が一致しないので、通話者は、ディスプレイを通して
互いに正面を向き合うことができない。このように、正
面像が得られないと、双方の通話者の視線が一致せず
に、過多の視線交渉が生じ、会話が滞るという問題があ
る。

【００８４】これを解決するためには、ハーフミラー等
によって、両者の光軸を一致させることが考えられる
が、本実施例では、前方から映像を投影する場合には、
図１３（ａ）に示すように、顔面形状スクリーン１の位
置を基本として、顔面形状スクリーン１と投影手段２と
の間の光軸、および、利用者３と撮像手段４との間の光
軸が平行に保たれるように、投影手段２および撮像手段
４を設置すると、容易に顔面形状スクリーン１上で正面
像を得ることができる。これは、顔面形状スクリーン１
の方向を向いた利用者３を斜めから撮像しても、投影す
る際に、同じ角度を持って顔面形状スクリーン１に投影
するので、あたかも正面を向いているかのように補正さ
れることによる。

【００８５】また、背面から映像を投影する場合には、
図１３（ｂ）に示すように、顔面形状スクリーン１の位
置を基本として、顔面形状スクリーン１と利用者３との
間を結ぶ直線に対して利用者３と撮像手段４との間の光
軸がなす角度と、該直線に対して顔面形状スクリーン１
と投影手段２と間の光軸がなる角度とが同じとなるよう
に、該直線を挟んで、投影手段２および撮像手段４を設
置すると、顔面形状スクリーン１上で正面像を得ること
ができる。

【００８６】また、図１４に示すように、画像処理手段
８が、少なくとも２つの撮像手段４Ａ，４Ｂによって撮
像された２つの映像について、画像処理手段５と同様の
画像処理を行った後で、さらに、２つの映像のうちのよ
り正面像に近い方を選択するようにしてもよい。

【００８７】また、図１５に示すように、利用者３が取
り付けた角度センサ９によって利用者３が向いている方
向を検出するようにし、検出された方向に基づいて、正
面像が得られるように、移動台上を投影手段４が移動す
るようにしてもよい。

【００８８】以下、画像処理手段５と投影手段２との間
の経路に画像記録手段を介在させたヒューマンインタフ
ェース装置の例を、第３の実施例として説明する。

【００８９】図１６は第３の実施例のヒューマンインタ
フェース装置の構成図である。

【００９０】図１６において、１は顔面形状スクリー
ン、２は投影手段、３は送信者、４は撮像手段、５は画
像処理手段、６は受信者、１０は画像記録手段である。

【００９１】画像処理手段５の構成および動作、並び
に、顔面形状スクリーン１および投影手段２の具体的な
構成例は、上記第１の実施例と同様である。

【００９２】撮像手段４によって撮像された送信者３の
映像は、画像処理手段５によって顔面の映像が抽出さ
れ、傾斜，位置，大きさが顔面形状スクリーン１の形状
に対して正規化された後、画像記録手段１０に記録され
る。画像記録手段１０に記録された映像は、任意の時点
で、投影手段２によって顔面形状スクリーン１に映し出
されるので、受信者６は、顔面形状スクリーン１を通し
て、いつでも送信者３の顔を見ることができる。

【００９３】次に、本実施例のヒューマンインタフェー
ス装置を電子メモ装置に応用した例について、図１７を
用いて説明する。

【００９４】図１７に示した例は、電子メモ装置１１１
のディスプレイの代わりに、顔面形状スクリーン１を設
けた例であり、この場合、撮像手段４は、電子メモ装置
１１１の撮像手段（ここでは、ビデオカメラ４０６）を
用いるようにする。

【００９５】利用者が記録を表す操作ボタン１１４を操
作すると、ビデオカメラ４０６は、利用者の映像を撮像
する。このとき、同時に、マイク１１２は、利用者がし
ゃべった内容を入力する。ビデオカメラ４０６が撮像し
た映像は、顔面の映像が抽出され、傾斜，位置，大きさ
が顔面形状スクリーン１の形状に対して正規化された
後、マイク１１２が入力した音声と共に、内部の半導体
メモリに記録される。

【００９６】また、利用者が再生を表す操作ボタン１１
４を操作すると、電子メモ装置１１１の内部に設けられ
た投影手段２によって、内部の半導体メモリに記録され
ている映像が形状スクリーン１に映し出され、内部の半
導体メモリに記録されている音声がスピーカ１１３から
出力される。

【００９７】これにより、利用者は、その場にいない相
手に対して、言語的な伝達および非言語的な伝達の両方
によって、用件を伝えることができるので、従来の電子
メモ装置に比べて、用件が正しく伝達されるようにな
る。

【００９８】ところで、上述した全ての実施例において
は、撮像手段４によって撮像された映像を顔面形状スク
リーン１に投影するようになっているが、撮像手段４に
よって撮像された映像ではなく、コンピュータによって
生成されたグラフィックデータを顔面形状スクリーン１
に投影するようにしてもよい。

【００９９】以下、コンピュータによって生成されたグ
ラフィックデータを顔面形状スクリーン１に投影するヒ
ューマンインタフェース装置の例を、第４の実施例とし
て説明する。

【０１００】図１８は第４の実施例のヒューマンインタ
フェース装置の構成図である。

【０１０１】図１８において、１は顔面形状スクリー
ン、２は投影手段、６は利用者、１１はコンピュータで
ある。

【０１０２】顔面形状スクリーン１および投影手段２の
具体的な構成例は、上記第１の実施例と同様である。従
来は、コンピュータ１１が生成したグラフィックデータ
は、モニタディスプレイ等の表示装置に表示されて利用
者６に提示するようになっているが、図１８において
は、コンピュータ１１が生成したグラフィックデータ
（顔面を表すデータである。）を、投影手段２によって
顔面形状スクリーン１に投影するようにしている。

【０１０３】次に、本実施例のヒューマンインタフェー
ス装置を情報処理端末に応用した例について、図１９を
用いて説明する。

【０１０４】図１９に示した例は、情報処理端末１１５
のモニタディスプレイ１１６に加えて、顔面形状スクリ
ーン１を設けた例である。

【０１０５】顔面形状スクリーン１に、情報処理端末１
１５の操作方法を説明する顔面の映像が映し出されるよ
うにすることにより、利用者は、音声や文字のみによる
説明よりも、説明内容を理解しやすくなると共に、あた
かも説明者が側にいて説明してくれるような安心感を得
ることができる。そこで、このような情報処理端末１１
５としては、現金自動預入支払機やゲーム機等の不特定
多数の利用者が利用するものであることが好ましい。

【０１０６】また、上述した全ての実施例においては、
予め決められた形状の顔面形状スクリーン１に映像が映
し出されるようになっているが、顔面形状スクリーン１
の代わりに、映像に合わせて形状が変化する立体スクリ
ーンを用いるようにしてもよい。

【０１０７】以下、立体スクリーンを用いたヒューマン
インタフェース装置の例を、第５の実施例として説明す
る。

【０１０８】図２０は第５の実施例のヒューマンインタ
フェース装置の構成図である。

【０１０９】図２０において、３は送信者、２は投影手
段、４は撮像手段、５は画像処理手段、６は受信者、１
２は立体スクリーン、１３は立体情報抽出手段、１４は
アクチュエータ制御手段である。

【０１１０】画像処理手段５の構成および動作は、上記
第１の実施例と同様である。

【０１１１】撮像手段４によって撮像された送信者３の
映像は、画像処理手段５によって顔面に相当する部分が
抽出され、傾斜，位置，大きさが立体スクリーン１２の
形状に対して正規化される。

【０１１２】このとき、立体情報抽出手段１３が、顔面
の映像の陰影等から顔面の各部と撮像手段４との間の距
離である３次元的な情報を算出することにより、顔面の
寸法，形状を抽出し、アクチュエータ制御手段１４が、
立体情報抽出手段１３によって抽出された顔面の寸法，
形状に合うように、立体スクリーン１２の形状を変化さ
せる。

【０１１３】これにより、画像処理手段５によって傾
斜，位置，大きさが正規化された顔面の映像は、投影手
段２によって立体スクリーン１２に映し出されるので、
受信者６は、立体スクリーン１２を通して、送信者３の
顔を見ることができる。このように、立体スクリーン１
２を用いると、予め決められた形状の顔面形状スクリー
ン１よりも、さらに、特定の顔に適合しやすくなり、し
かも、顔面以外の形状の映像を映し出すことも可能とな
る。

【０１１４】次に、立体スクリーン１２の具体的な構成
例について、図２１および図２２を用いて説明する。

【０１１５】図２１は、格子状に組まれたピンアクチュ
エータ１２０１によって、立体スクリーン１２を実現し
た例を示している。

【０１１６】ピンアクチュエータ１２０１は、それぞ
れ、ピン１２０２と、ピン１２０２を前後に移動するソ
レノイド（またはモータ）１２０３とからなる。

【０１１７】そこで、アクチュエータ制御手段１４は、
ソレノイド１２０３を制御して、個々のピン１２０２を
前後に移動させるようにすることにより、３次元的な形
状を作り出すことができるので、ピンアクチュエータ１
２０１上に、前方から映像を投影すれば、立体映像を得
ることができる。

【０１１８】また、ピンアクチュエータ１２０１の投影
面に、伸縮性を有する膜１２０４を貼布することによ
り、立体スクリーン１２の表面を滑らかにすることがで
きる。

【０１１９】図２２も、格子状に組まれたピンアクチュ
エータ１２０１によって、立体スクリーン１２を実現し
た例を示しているが、ここでは、ピンアクチュエータ１
２０１が、それぞれ、光ファイバ等の透光性を有する材
料からなるピン１２０５と、ピン１２０５を前後に移動
するソレノイド（またはモータ）１２０３とからなるよ
うになっている。

【０１２０】このように、透光性を有する材料からなる
ピン１２０５を用いると、ピンアクチュエータ１２０１
の後方から映像を投影することができるようになる。な
お、個々のピンの先端に発光素子を取り付けても、同様
の効果を得ることができる。

【０１２１】次に、立体スクリーン１２を用いたヒュー
マンインタフェース装置の別の例を、第６の実施例とし
て説明する。

【０１２２】図２３は第６の実施例のヒューマンインタ
フェース装置の構成図である。

【０１２３】図２３において、２は投影手段、３は送信
者、４Ａ，４Ｂは撮像手段、６は受信者、８は画像処理
手段、１２は立体スクリーン、１４はアクチュエータ制
御手段、１５は立体法抽出手段、１６は立体映像加工手
段である。

【０１２４】立体情報抽出手段１５は、少なくとも２つ
の撮像手段４Ａ，４Ｂによって撮像された送信者３の２
つの映像の視差を利用して、２つの映像における対応点
の各々の位置および撮像手段４Ａ，４Ｂの角度から、顔
面の各部の位置と撮像手段４Ａ，４Ｂとの間の距離であ
る３次元情報を算出することにより、立体的な形状を表
す立体情報を抽出する。また、画像処理手段８は、少な
くとも２つの撮像手段４Ａ，４Ｂによって撮像された送
信者３の２つの映像を、画像処理手段５と同様の画像処
理を行った後で、さらに画像合成処理を行う。

【０１２５】なお、立体映像加工手段１６は、立体情報
抽出手段１５が抽出した立体情報や画像処理手段８が合
成した顔面の映像に加工を施すことができる。

【０１２６】アクチュエータ制御手段１４は、立体情報
抽出手段１５が抽出した立体情報（または、立体映像加
工手段１６によって加工が施された場合は、加工後の立
体情報）に基づいて、立体スクリーン１２の形状を変形
させ、投影手段２は、画像処理手段８が合成した顔面の
映像（または、立体映像加工手段１６によって加工が施
された場合は、加工後の映像）を立体スクリーン１２に
投影する。

【０１２７】これにより、立体スクリーン１２の形状
は、立体映像加工手段１６によって立体情報に加工が施
されなかった場合は、送信者３の顔の相似形に変形さ
れ、立体映像加工手段１６によって立体情報に加工が施
された場合は、送信者３の顔と異なる形に変形される。
また、立体スクリーン１２に投影される顔面の映像は、
立体映像加工手段１６によって顔面の映像に加工が施さ
れなかった場合は、送信者３の顔となり、立体映像加工
手段１６によって顔面の映像に加工が施された場合は、
送信者３の顔とは色等が異なる顔となる。

【０１２８】そこで、例えば、美容整形手術の検討時
に、本実施例のヒューマンインタフェース装置を用いれ
ば、手術後の顔面の映像を得ることができるので便利で
ある。また、化粧品購入の検討時に、本実施例のヒュー
マンインタフェース装置を用いれば、化粧後の顔面の映
像を得ることができるので便利である。

【０１２９】さらに、上記第５の実施例および上記第６
の実施例においては、立体スクリーン１２に顔面の映像
を投影する例について示しているが、顔面の映像以外の
映像を投影することもできる。

【０１３０】以下、顔面の映像以外の映像を立体スクリ
ーン１２に投影するヒューマンインタフェース装置の例
を、第７の実施例として説明する。

【０１３１】図２４は第７の実施例のヒューマンインタ
フェース装置の構成図である。

【０１３２】図２４において、２は投影手段、６は利用
者、１２は立体スクリーン、１４はアクチュエータ制御
手段、１７はデータベース、１８は立体構成手段であ
る。

【０１３３】データベース１７には、立体物に関する映
像および立体情報からなる立体物データが格納されてい
る。立体構成手段１８は、データベース１７に格納され
ている立体物データのうちから、任意の視点から見たと
きの位置を基準とした、予め決められた範囲の立体物デ
ータを抽出し、アクチュエータ制御手段１４は、立体構
成手段１８が抽出した立体物データのうちの立体情報に
基づいて、立体スクリーン１２の形状を変形させ、投影
手段２は、立体構成手段１８が抽出した立体物データの
うちの映像を立体スクリーン１２に投影する。

【０１３４】次に、本実施例のヒューマンインタフェー
ス装置を立体地形図表示装置に応用した例について、図
２５を用いて説明する。

【０１３５】図２５に示した例は、立体地形図表示装置
情報処理端末１１７のモニタディスプレイとして、立体
スクリーン１２を設けた例である。

【０１３６】例えば、データベース１７に立体地形図に
関するデータを格納しておき、災害発生時に、放送局で
災害速報を行う際に、災害地域に相当する部分のデータ
を抽出すれば、災害地域の立体地形図を迅速に立体スク
リーン１２に映し出すことができるので、災害現場の状
況を正確に解説することが可能となる。

【０１３７】

【発明の効果】以上説明したように本発明のヒューマン
インタフェース装置によれば、人間が直接対面していな
い相手に意思を伝達する際に、顔面の映像を立体的に映
し出すことにより、表情によって感情を表す非言語的な
伝達を行うことができる。

【０１３８】そこで、従来からある非言語的な伝達を行
う装置に、本発明のヒューマンインタフェース装置を適
用すると、より円滑なコミュニケーションを行うことが
可能となる。

【図面の簡単な説明】

【図１】第１の実施例のヒューマンインタフェース装置
の構成図。

【図２】画像処理手段の画像処理行程を示す説明図。

【図３】画像処理手段の構成図。

【図４】顔面形状スクリーンおよび投影手段の具体的な
構成例を示す説明図。

【図５】顔面形状スクリーンおよび投影手段の具体的な
構成例を示す説明図。

【図６】顔面形状スクリーンおよび投影手段の具体的な
構成例を示す説明図。

【図７】顔面形状スクリーンおよび投影手段の具体的な
構成例を示す説明図。

【図８】第１の実施例をインタホンに応用した例を示す
説明図。

【図９】第１の実施例を服飾マネキンに応用した例を示
す説明図。

【図１０】第２の実施例のヒューマンインタフェース装
置の構成図。

【図１１】第２の実施例をテレビ電話に応用した例を示
す説明図。

【図１２】第２の実施例をテレビ会議電話に応用した例
を示す説明図。

【図１３】利用者が正面を向いていない場合に正面像を
得る方法を示す説明図。

【図１４】利用者が正面を向いていない場合に正面像を
得る方法を示す説明図。

【図１５】利用者が正面を向いていない場合に正面像を
得る方法を示す説明図。

【図１６】第３の実施例のヒューマンインタフェース装
置の構成図。

【図１７】第３の実施例を電子メモ装置に応用した例を
示す説明図。

【図１８】第４の実施例のヒューマンインタフェース装
置の構成図。

【図１９】第４の実施例を情報処理端末に応用した例を
示す説明図。

【図２０】第５の実施例のヒューマンインタフェース装
置の構成図。

【図２１】立体スクリーンの具体的な構成例を示す説明
図。

【図２２】立体スクリーンの具体的な構成例を示す説明
図。

【図２３】第６の実施例のヒューマンインタフェース装
置の構成図。

【図２４】第７の実施例のヒューマンインタフェース装
置の構成図。

【図２５】第７の実施例を立体地形図表示装置に応用し
た例を示す説明図。

【符号の簡単な説明】

１…顔面形状スクリーン、２…投影手段、３…送信者、
４…撮像手段、５，８…画像処理手段、６…受信者、７
…通信手段、９…角度センサ、１０…画像記録手段、１
１…コンピュータ、１２…立体スクリーン、１３…立体
情報抽出手段、１４…アクチュエータ制御手段、１５…
立体法抽出手段、１６…立体映像加工手段、１７…デー
タベース、１８…立体構成手段、３０…背景処理部、３
１…メモリ、３２…演算部、３３…メモリ制御部、３４
…制御部、３５…抽出部、３６…入力端子、３７…出力
端子。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/66 Ｚ (72)発明者 谷津田 則夫 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 角田 隆史 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 赤井 寛 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所ＡＶ機器事業部内

Claims (18)

【特許請求の範囲】
1. 【請求項１】顔面の形状を有する顔面形状スクリーン
   と、人物を撮像する撮像手段と、上記撮像手段によって
   撮像された人物の映像から顔面に相当する部分である顔
   面映像を抽出し、該顔面映像の傾斜，位置，大きさを、
   上記顔面形状スクリーンの形状に対して正規化する画像
   処理手段と、上記画像処理手段によって正規化された顔
   面映像を上記顔面形状スクリーンに投影する投影手段と
   を有することを特徴とするヒューマンインタフェース装
   置。
2. 【請求項２】請求項１記載のヒューマンインタフェース
   装置において、 上記顔面形状スクリーンの下部に設けられたマネキンを
   有することを特徴とするヒューマンインタフェース装
   置。
3. 【請求項３】請求項１記載のヒューマンインタフェース
   装置において、 上記撮像手段と同一ユニットを構成し、上記撮像手段に
   よって人物の映像が撮像されている間、外部から音声を
   取り込むマイクと、上記投影手段と同一ユニットを構成
   し、上記マイクによって取り込まれた音声を外部に出力
   するスピーカとを有することを特徴とするヒューマンイ
   ンタフェース装置。
4. 【請求項４】顔面の形状を有する顔面形状スクリーン
   と、人物を撮像する撮像手段と、上記撮像手段によって
   撮像された人物の映像から顔面に相当する部分である顔
   面映像を抽出し、該顔面映像の傾斜，位置，大きさを、
   上記顔面形状スクリーンの形状に対して正規化する画像
   処理手段と、上記画像処理手段によって正規化された顔
   面映像を通信網を介して送信する送信手段と、通信網を
   介して送信されてくる顔面映像を受信する受信手段と、
   上記受信手段によって受信された顔面映像を上記顔面形
   状スクリーンに投影する投影手段とを有することを特徴
   とするヒューマンインタフェース装置。
5. 【請求項５】請求項４記載のヒューマンインタフェース
   装置において、 上記撮像手段と同一ユニットを構成し、上記撮像手段に
   よって人物の映像が撮像されている間、外部から音声を
   取り込むマイクを有し、 上記送信手段は、上記画像処理手段によって正規化され
   た顔面映像と共に、上記マイクによって取り込まれた音
   声を通信網を介して送信し、 上記受信手段は、通信網を介して送信されてくる顔面映
   像と共に、通信網を介して送信されてくる音声を受信
   し、 上記投影手段と同一ユニットを構成し、上記受信手段に
   よって受信された音声を外部に出力するスピーカを有す
   ることを特徴とするヒューマンインタフェース装置。
6. 【請求項６】顔面の形状を有する顔面形状スクリーン
   と、人物を撮像する撮像手段と、上記撮像手段によって
   撮像された人物の映像から顔面に相当する部分である顔
   面映像を抽出し、該顔面映像の傾斜，位置，大きさを、
   上記顔面形状スクリーンの形状に対して正規化する画像
   処理手段と、上記画像処理手段によって正規化された顔
   面映像を記憶媒体に記録する記録手段と、上記記録手段
   によって記憶媒体に記録されている顔面映像を上記顔面
   形状スクリーンに投影する投影手段とを有することを特
   徴とするヒューマンインタフェース装置。
7. 【請求項７】請求項６記載のヒューマンインタフェース
   装置において、 上記撮像手段と同一ユニットを構成し、上記撮像手段に
   よって人物の映像が撮像されている間、外部から音声を
   取り込むマイクを有し、 上記記録手段は、上記画像処理手段によって正規化され
   た顔面映像と共に、上記マイクによって取り込まれた音
   声を記憶媒体に記録し、 上記投影手段と同一ユニットを構成し、上記投影手段に
   よって上記顔面映像が上記顔面形状スクリーンに投影さ
   れている間、上記記録手段によって記憶媒体に記録され
   ている音声を外部に出力するスピーカを有することを特
   徴とするヒューマンインタフェース装置。
8. 【請求項８】請求項１〜７のいずれか記載のヒューマン
   インタフェース装置において、 上記画像処理手段は、 上記撮像手段によって撮像された人物の映像の色情報に
   基づいて、該映像のうちの肌色の部分を、顔面映像とし
   て抽出し、 抽出した顔面映像から、予め決められた２つ以上の顔面
   の部分の映像に相当する位置を抽出し、これらの位置を
   基準として、該顔面映像がまっすぐになるように、該顔
   面映像の傾斜を正規化し、 抽出した２つ以上の位置のうちのいずれか１つの位置が
   上記顔面形状スクリーンにおける該位置に相当する位置
   と一致するように、該顔面映像の位置を正規化し、 抽出した２つ以上の位置の間の距離から、該顔面映像の
   上記顔面形状スクリーンの大きさに対する比率を求め、
   求めた比率に基づいて、該顔面映像の大きさが上記顔面
   形状スクリーンの大きさと一致するように、該顔面映像
   の大きさを正規化することを特徴とするヒューマンイン
   タフェース装置。
9. 【請求項９】顔面の形状を有する顔面形状スクリーン
   と、外部から供給された、人物の顔面に相当する部分で
   ある顔面映像を上記顔面形状スクリーンに投影する投影
   手段とを有することを特徴とするヒューマンインタフェ
   ース装置。
10. 【請求項１０】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記顔面形状スクリーンは、明色の不透明な材料からな
    る、人間の頭部の像であり、 上記投影手段は、上記像の顔部分の正面側から上記顔面
    映像を投影するプロジェクタであることを特徴とするヒ
    ューマンインタフェース装置。
11. 【請求項１１】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記顔面形状スクリーンは、暗色の半透明な材料からな
    る、頭部の前半分の像であり、 上記投影手段は、上記像の後面側から上記顔面映像を投
    影するプロジェクタであることを特徴とするヒューマン
    インタフェース装置。
12. 【請求項１２】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記顔面形状スクリーンは、透明な材料からなる板で、
    かつ、その後面が顔面の形状にくり抜かれて半透明にな
    るように加工された板であり、 上記投影手段は、上記板の後面側から上記顔面映像を投
    影するプロジェクタであることを特徴とするヒューマン
    インタフェース装置。
13. 【請求項１３】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記顔面形状スクリーンは、透明な材料からなる、内部
    が空洞の頭部の像であり、 上記投影手段は、上記像の内部から上記顔面映像を投影
    するプロジェクタであることを特徴とするヒューマンイ
    ンタフェース装置。
14. 【請求項１４】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記投影手段は、上記顔面映像を表示するディスプレイ
    であり、 上記顔面形状スクリーンは、上記ディスプレイに対して
    垂直に配置された複数の光ファイバからなる、該ディス
    プレイに接していない方の光ファイバの端の集合が顔面
    の形状を形成するような光ファイバ群であることを特徴
    とするヒューマンインタフェース装置。
15. 【請求項１５】請求項１〜９記載のヒューマンインタフ
    ェース装置において、 上記顔面形状スクリーンは、その形状の変形が可能であ
    り、 上記画像処理手段によって正規化された顔面映像の３次
    元の形状を表す立体情報を算出する立体情報抽出手段
    と、上記立体情報抽出手段によって算出された立体情報
    に基づいて、上記立体スクリーンの形状を変形させるス
    クリーン変形手段とを有することを特徴とするヒューマ
    ンインタフェース装置。
16. 【請求項１６】請求項１５記載のヒューマンインタフェ
    ース装置において、 上記顔面形状スクリーンは、スクリーン膜と、複数のピ
    ンおよびこれらのピンを前後に移動させることにより上
    記スクリーン膜の形状を変形させるソレノイドからなる
    ピンアクチュエータが格子状に組まれたピンアクチュエ
    ータ群とから構成され、 上記スクリーン変形手段は、上記ソレノイドが上記ピン
    を前後に移動させるように制御することを特徴とするヒ
    ューマンインタフェース装置。
17. 【請求項１７】形状の変形が可能な立体スクリーンと、
    立体物の映像および該立体物の３次元の形状を表す立体
    情報からなる立体物データを格納しているデータベース
    と、上記データベースに格納されている立体物データの
    うちの立体情報に基づいて、上記立体スクリーンの形状
    を変形させるスクリーン変形手段と、上記データベース
    に格納されている立体物データのうちの映像を、上記ス
    クリーン変形手段によって形状が変形された立体スクリ
    ーンに投影する投影手段とを有することを特徴とする立
    体映像投影装置。
18. 【請求項１８】請求項１７記載の立体映像投影装置にお
    いて、 上記立体スクリーンは、スクリーン膜と、複数のピンお
    よびこれらのピンを前後に移動させることにより上記ス
    クリーン膜の形状を変形させるソレノイドからなるピン
    アクチュエータが格子状に組まれたピンアクチュエータ
    群とから構成され、 上記スクリーン変形手段は、上記ソレノイドが上記ピン
    を前後に移動させるように制御することを特徴とする立
    体映像投影装置。