JPH0690445A - 映像入出力装置 - Google Patents

Abstract

(57)【要約】 【目的】テレビ電話等において、対話する２者の視線
を、自動的に一致させて表示する。 【構成】カメラ１０２から読み込まれた使用者１０１の
映像は、ＲＧＢ信号に変換され、回転手段１０４に読み
込まれる。このＲＧＢ信号は、フレーム毎に、頭部と頭
部以外の領域に分割される。頭部映像は、回転手段１０
４に予め備えられた卵型モデルの３次元形状データと仮
定される。この頭部映像を、卵型モデルの重心を通る垂
直軸の回りに時計回りに１０°（π／１８）回転させた
映像を、卵型モデルにマッピングする手法で生成する。
回転させた頭部映像と、頭部以外の映像とを合成し、こ
の映像を、情報転送経路１０５へ送出する。送出された
ＲＧＢ信号は、選択手段１０６，情報転送経路１０７，
接続手段１０８からなる系において、内蔵する伝送符号
化手段で伝送符号化される。符号化されたＲＧＢ信号
は、回線１０９を介して、送受信の相手側の情報入出力
装置に伝送される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像入出力装置の使用
性の向上に係り、特に、テレビ電話等に使用されて、自
然な使用感を得るのに好適な映像入出力装置に関する。

【０００２】

【従来の技術】従来、デスクトップ型の筐体にカメラと
ディスプレイを内蔵し、映像の入出力を行い、双方向に
映像の通信が可能なテレビ電話が公知である。このよう
なテレビ電話は、前記カメラとディスプレイを比較的近
くに位置させて、使用者が相手と向かい合って話合いを
行う場合に近い感覚でコミュニケーションができるよう
に構成されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の技術によれば、カメラとディスプレイの位置が完全
に同じ位置ではないので、使用者がカメラを見ずに、デ
ィスプレイに表示された対話の相手を見ながら使用する
と、使用者同士の視線が一致しない可能性が有る。従っ
て、直に（装置を介さずに）向かい合って話合いを行う
場合と違い、ディスプレイに表示された対話の相手の視
線が、ディスプレイを見る使用者の視線と合わない場合
が生じる。このために、使用者の使用感に悪影響を与え
る可能性が有った。

【０００４】本発明の目的は、上記従来の技術における
問題点を改善し、テレビ電話等において、ディスプレイ
に表示された人の視線と、ディスプレイを見る人の視線
とを一致させる事により、自然な使用感を得ることであ
る。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明によれば、少なくとも人物の顔を被写体とす
る映像情報を入力する入力手段と、入力された映像情報
に基づいて、被写体の人物の顔の向きもしくは視線の方
向うちの少なくとも一方を、入力された映像情報中の顔
の向きもしくは視線の方向より変化させた映像を示す映
像情報を生成する補正手段と、生成した映像情報を出力
する出力手段とを備えることができる。

【０００６】また、この出力手段は、生成した映像情報
を、通信回線を介して他装置へ出力することもできる。

【０００７】さらに、入力手段は、生成した映像情報
を、通信回線を介して他装置より入力することもでき
る。

【０００８】さらに、顔を含む被写体を異なる方向から
撮影した少なくとも２以上の映像を入力する入力手段
と、入力された少なくとも２以上の映像から被写体の３
次元形状を求める立体化手段と、この３次元形状中の顔
が正面を向いた３次元形状の２次元映像を生成する２次
元化手段と、この２次元映像情報を出力する出力手段と
を備えることもできる。

【０００９】

【作用】表示する人物の映像の顔を回転させ、表示され
る人物の視線がディスプレイの表示面に対して垂直にな
る様に（表示された人物の視線と、ディスプレイを見る
使用者の視線とが一致する様に）調整して表示する。

【００１０】また、表示する人物の映像の瞳の位置を、
目の中央または目の球表面内の最前位置に書き換えて、
表示された人物の視線とディスプレイを見る使用者の視
線とが一致する様に調整して表示する。

【００１１】

【実施例】以下、本発明の第１の実施例を、図１，図
２，図３，図４を用いて説明する。図１は、本実施例の
情報入出力装置の構成を示すブロック図である。図２
は、図１に示された回転手段１０４の機能概要を説明す
る図である。図３は、回転手段１０４のブロック図であ
る。図４は、本実施例の情報入出力装置の動作を示すフ
ローチャートである。

【００１２】まず初めに図１を用い、本実施例の情報入
出力装置の構成を説明する。

【００１３】図１に示すように、本発明による情報入出
力装置は、カメラ１０２、回転手段１０４、選択手段１
０６、接続手段１０８、回線１０９、ディスプレイ１１
１、情報転送経路１０３，１０５，１０７，１１０で構
成される。

【００１４】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。

【００１５】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。そして、
この映像情報の領域が、映像情報を発生した実空間内で
所定の軸回りに回転した場合の映像情報を疑似的に生成
し、電気信号で出力する。

【００１６】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置を選択する。

【００１７】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。

【００１８】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。

【００１９】次に、図１を用いて、本発明による情報入
出力装置の動作の概要を説明する。

【００２０】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手が指定されると、接続手段１
０８により、使用者と指定された相手装置との映像情報
の送受信が可能な状態に電気的に接続を行った後、この
接続の状態を保持する。

【００２１】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。

【００２２】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。

【００２３】分割された頭部の３次元形状は、回転手段
１０４に予め備えられた卵型モデルの３次元形状データ
と仮定される。この頭部の映像情報を、卵型モデルの重
心を通る垂直軸の回りに時計回りに１０°（π／１８）
回転させた場合の映像情報を、卵型モデルの３次元デー
タにマッピングする手法で生成する。

【００２４】ここで、回転角度を１０°とした理由につ
いて説明する。一般的な型の、カメラとディスプレイが
一体となったテレビ電話等において、使用者が、ディス
プレイからの視距離が６Ｈ（Ｈは、ディスプレイの縦
幅）の位置で使用した場合を考える。この場合に、カメ
ラが撮影する使用者の頭部は、使用者が正面をむいてい
る場合と比較して、約４．７６°〜６．３４°（カメラ
とディスプレイの位置が離れている場合には、この角度
を越える場合もある）回転している。使用者が、ディス
プレイからの視距離が２Ｈの位置で使用した場合を考え
る。この場合に、カメラが撮影する使用者の頭部は、使
用者が正面をむいている場合と比較して、１４．０４°
〜２３．９９°（カメラとディスプレイの位置が離れて
いる場合には、この角度を越える場合もある）回転して
いる。そこで、使用者が、使用者向けの取り扱い説明書
に記載された位置で、ディスプレイを見ながら使用した
場合を考える。この場合に、カメラが撮影する使用者の
頭部は、使用者が正面をむいている場合と比較して、平
均的に、約１０°回転しているとみなしてもよいと考え
られる。

【００２５】（マッピングとは、質感情報を物体の属性
に対応させる方法である。物体の質感に関する属性に
は、色，明度，凹凸，反射特性，法線の向きなどがあ
り、質質感情報の数値の解釈によって様々な質感表現が
可能である。一般には、色属性のマッピングを、テクス
チャマッピングと呼び、模様などの表現に用いられる。
物体の明度を変化させる方法をインテンシティーマッピ
ングといい、凹凸による陰影の表現に有効である。マッ
ピングには、テクスチャマッピング，インテンシティー
マッピング以外にも手法があるが、以下、本発明におい
てマッピングとは、テクスチャマッピングを指すことと
する。）そして、回転させた頭部の映像情報と、頭部以
外の領域の映像情報とを、再び分割前の位置関係に従い
合成する。合成された映像情報を、情報転送経路１０５
へＲＧＢ信号として送出する。

【００２６】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、接続線１０９を介して、送受信
の相手側の情報入出力装置に伝送される。

【００２７】一方、接続線１０９を介して相手側の情報
入出力装置から伝送される映像情報は、接続手段１０
８，情報転送経路１０７，選択手段１０６からなる系に
おいて、内蔵する伝送復号化手段で復号化される。復号
化されたＲＧＢ信号は、情報転送経路１１０を介して、
ディスプレイ１１１に転送される。転送されたＲＧＢ信
号は、ディスプレイ１１１で可視の映像に変換され、表
示される。

【００２８】次に、図２，図３を用い本発明の情報入出
力装置の回転手段（図１の１０４）の機能および構成の
実施例を説明する。

【００２９】図２は、回転手段１０４の機能の実施例を
説明するための図である。

【００３０】図３は、回転手段１０４の構成を示すブロ
ック図である。

【００３１】図３に示すように、本発明の情報入出力装
置の回転手段１０４は、フレームバッファ３０１、合成
用メモリ２１７、アナログ・トゥ・ディジタル・コンバ
ータ（以下Ａ／Ｄコンバータと略称）３０２、輪郭抽出
プロセッサ３０５、輪郭ビットマップメモリ３０７、マ
スク３０９、３次元モデル用メモリ３１２、マッピング
用メモリ３１３、回転プロセッサ３１５、３次元データ
メモリ３１７、２次元化プロセッサ３１９、ネガマスク
３２１を備える。

【００３２】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。

【００３３】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。

【００３４】合成用メモリ２１７は、フレームバッファ
３０１同様、映像情報を示す電気信号を読み込み、１フ
レーム分の映像情報を保持可能なメモリである。

【００３５】輪郭抽出プロセッサ３０５は、フレームバ
ッファ３０１に保持された映像情報を読み込む。プロセ
ッサ３０５は、人間の頭部モデルを備え、このモデルと
バッファ３０１から読み込まれた映像情報とのパタンマ
ッチングを行なう。このパタンマッチングにより、被写
体（使用者）の頭部の領域とそれ以外の領域（つまり背
景領域）との境界を抽出する。

【００３６】輪郭ビットマップメモリ３０７は、１画素
に対し１ビットの画像情報を記憶可能なメモリである。

【００３７】マスク３０９は、目的の画像の解像度に対
応した１画素に対し１ビットの画像情報をマスク情報と
して備える。このマスク情報により、目的の画像の転送
の禁止部分（ここでは、頭部以外の領域）を画素毎に定
義することができる。

【００３８】３次元モデル用メモリ３１２は、マッピン
グモデル（図２の２１１）を保持するメモリである。マ
ッピングモデル２１１は、頭部の立体形状を近似して仮
定した３次元のサーフェスモデル・データである。

【００３９】マッピング用メモリ３１３は、マッピング
モデル２１１上に使用者の頭部の映像をマッピングし
た、３次元のサーフェスモデル・データ状態を保持する
メモリである。

【００４０】回転プロセッサ３１５は、３次元のサーフ
ェスモデル・データを、目的の回転軸（図２の２１３）
の回りに、時計回りに所定角度回転する。

【００４１】３次元データメモリ３１７は、３次元のサ
ーフェスモデル・データ状態を保持するメモリである。

【００４２】２次元化プロセッサ３１９は、３次元のサ
ーフェスモデル・データから所定位置の視点で見える映
像を生成するレンダラー（サーフェスモデルにより与え
られた３次元立体に対して、明るさや色を付与して、よ
り現実に近い質感を与える作業を行なうもの）である。

【００４３】ネガマスク３２１は、目的の画像の解像度
に対応した画素当り１ビットの画像情報をマスク情報と
する点で、マスク３０９と同様であるが、マスク３０９
の禁止と許可の定義情報を逆転させた情報内容を持つ。
ネガマスク３２１は、このマスク情報に基づいて、目的
の画像の転送の禁止部分（ここでは、頭部領域）を画素
毎に定義可能な情報制御系である。

【００４４】次に、図２，図３を用いて本発明の情報入
出力装置の回転手段１０４の動作概要を説明する。

【００４５】使用者が本発明による情報入出力装置を起
動すると、カメラ１０２からの被写体（使用者）の映像
が、回転手段１０４に読み込まれる。読み込まれた映像
は、アナログのＲＧＢ信号に変換され、情報転送経路に
送出され、回転手段１０４のＡ／Ｄコンバータ３０２に
入力される。

【００４６】このアナログのＲＧＢ信号は、Ａ／Ｄコン
バータ３０２に入力されると、ディジタル信号化され、
情報転送経路３０３に送出さる。

【００４７】情報転送経路３０３に送出されたディジタ
ル信号は、フレームバッファ３０１に読み込まれ、得ら
れた映像情報（図２の２０３）のフレームが一時保持さ
れる。

【００４８】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像（２０３）となる。使用者１０１がカメラ
１０２を見ていない場合には、保持された映像は、視線
不一致映像（２０５）となる。使用者は、対話の相手が
表示されたディスプレイを見ながら使用すると考えられ
るので、視線不一致映像（２０５）が得られると考えら
れる。

【００４９】フレームバッファ３０１に保持された映像
情報（２０５）は、輪郭抽出プロセッサ３０５に情報転
送経路３０４経由で読み出される。読み出された映像情
報は、輪郭抽出プロセッサ３０５において、使用者１０
１の頭部と頭部以外の領域の境界が抽出される。

【００５０】抽出された境界のビットマップ情報は、情
報転送経路３０６経由で、輪郭ビットマップメモリ３０
７に読み込まれ、一時的に保持される。この境界のビッ
トマップ情報により、頭部映像を抽出するためのマスク
３０９が定義される。

【００５１】３次元モデル用メモリ３１２に予め保持さ
れた、逆卵型の頭部３次元形状モデル（図２の２１１参
照。３次元的情報をワイヤーフレームで模式的に示して
いる）は、情報転送経路３１１に送出され、マッピング
用メモリ３１３に読み込まれる。

【００５２】フレームバッファ３０１に保持された映像
情報（２０５）は、マスク３０９で情報転送禁止部分が
トリミングされ、頭部の映像情報が抽出され（図２の２
０９）て、情報転送経路３１０経由でマッピング用メモ
リ３１３に転送される。マッピング用メモリ３１３上で
は、頭部３次元形状モデル（２１１）に頭部の映像（２
０９）をマッピングする（図２の２１２）。このマッピ
ング状態を示す情報は、情報転送経路３１４に送出さ
れ、回転プロセッサ３１５に読み込まれる。

【００５３】回転プロセッサ３１５では、マッピング状
態を示す３次元情報を、予め定められた軸（図２の２１
３）の回りに、時計回りに１０°（π／１８）回転さ
せ、頭部の回転映像情報（図２の２１４）を生成する。

【００５４】この頭部の回転映像情報（２１４）は、情
報転送経路３１６経由で、３次元データメモリ３１７に
書き込まれて一時的に保持される。保持された頭部の回
転映像情報（２１４）は、情報転送経路３１８経由で、
２次元化プロセッサ３１９に転送される。２次元化プロ
セッサ３１９では、頭部の回転映像情報（２１４，３次
元データ）から、予め定められた視点から見た２次元的
な情報を生成する（図２の２１５）。

【００５５】一方、フレームバッファ３０１内に保持さ
れた情報のうち、マスク３０９で転送を拒絶された領域
（頭部以外の領域，図２の２１０）は、情報転送経路３
２０で転送され、ネガマスク３２１で抽出されて、合成
用メモリ２１７に読み込まれる。

【００５６】２次元化プロセッサ３１９で生成された２
次元の頭部の回転映像情報の頭部の領域（図２の２１
５）は、再びマスク３０９で抽出され、情報転送経路３
２２を介して合成用メモリ２１７へ転送される。合成用
メモリ２１７では、２次元の頭部の回転映像情報（図２
の２１５）と、頭部以外の領域（２１０）の映像情報と
を合成する（図２の２１８）。

【００５７】合成された映像情報は、情報転送経路１０
５に送出される。情報転送経路１０５の先には、選択手
段１０６が接続されている。

【００５８】次に、図４は、本発明の情報入出力装置の
動作（発呼側）の１実施例を概説するフローチャートで
ある。

【００５９】図４のフローチャートに示すように、本発
明の情報入出力装置は、起動されると、先ず使用者の指
示によりダイヤリングされ、この指示に基づき、接続先
の情報入出力装置の選択を行う（ステップＳ８００）。

【００６０】この選択が完了すると、選択された情報入
出力装置との接続が行われる（ステップＳ８１０）。

【００６１】接続が行われると、使用者から相手装置
（接続先の情報入出力装置）に映像を送る送信サイクル
を実行する。この送信サイクルでは、まず、使用者の映
像を入力する（ステップＳ８２０）。

【００６２】次に、図１の回転手段１０４により、入力
された映像の頭部と頭部以外の領域（背景）とを分離す
る（ステップＳ８３０）。そして、頭部映像のテクスチ
ャを抽出する（ステップＳ８４０）。テクスチャを抽出
された頭部映像を、予め定められた頭部モデルにマッピ
ングする（ステップＳ８５０）。このマッピングされた
頭部モデルを、回転させる（ステップＳ８６０）。そし
て、回転された頭部モデルと、頭部以外の領域を合成す
る（ステップＳ８７０）。

【００６３】さらに、他メディア（音声や、テキスト）
を入力し、映像情報と他メディアとを多重配置（インタ
ーリーブ）し（ステップＳ８８０）、自装置から相手装
置への伝送を行う（ステップＳ８９０）。

【００６４】以上の送信サイクルの終了後、受信サイク
ルが実行される。受信サイクルでは、まず、相手装置か
らの映像情報および他メディアを受信する（ステップＳ
９００）。次に、映像情報と他メディアとを切り分ける
（インターリーブする，ステップＳ９１０）。そして、
切り分けられた映像の表示、および他メディアの出力を
行う（ステップＳ９２０）。

【００６５】ステップＳ９３０では、使用者により処理
の終了が指定されたか否かを調べる。処理の終了が指定
されている場合には、ステップＳ９４０へ進み、処理を
終了する。処理の終了が指定されていない場合には、再
びステップＳ８２０から始まる処理を繰り返す。

【００６６】以下、本発明の第２の実施例を図５を用い
て説明する。図５は、本発明の第２実施例の情報入出力
装置の構成を示すブロック図である。

【００６７】図５を用い、本発明の情報入出力装置の構
成および動作概要を説明する。図５に示すように本発明
による情報入出力装置はカメラ１０２、回転手段１０
４、選択手段１０６、接続手段１０８、ディスプレイ１
１１、切り換え手段５０１，５０５、解読手段５０４、
回線１０９を主な構成要素とする。

【００６８】図５の第２実施例において、図１の第１実
施例と異なる点は、切り換え手段５０１，５０５、解読
手段５０４をさらに備える点、回転手段１０４を２つ備
える点である。

【００６９】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。

【００７０】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。この映像
情報の領域が、映像情報を発生した実空間内で所定の軸
回りに回転した場合の映像情報を疑似的に生成し、電気
信号で出力する情報処理系である。

【００７１】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択する。

【００７２】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。

【００７３】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。

【００７４】接続手段５０１，５０５は、後述の解読手
段５０４で解読された情報のコントロールにより、情報
転送の経路接続を切り換え可能なスイッチである。

【００７５】解読手段５０４は、特定長の情報列を逐次
読み込み、特にヘッダーの所定位置に書き込まれる情報
に従い、接続手段５０１，５０５をコントロールするセ
ンサである。

【００７６】次に、図５を用い本発明による情報入出力
装置の動作概要を説明する。

【００７７】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手装置が指定されると、接続手
段１０８により、使用者と指定された相手装置との映像
情報の送受信が可能な状態に電気的に接続を行った後、
この接続の状態を保持する。

【００７８】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。

【００７９】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。

【００８０】分割された頭部の３次元形状は、回転手段
１０４に予め備えられた卵型モデルの３次元形状データ
と仮定される。この頭部の映像情報を、卵型モデルの重
心を通る垂直軸の回りに時計回りに１０°（π／１８）
回転させた場合の映像情報を、卵型モデルの３次元デー
タにマッピングする手法で生成する。

【００８１】回転させた頭部の映像情報と、頭部以外の
領域の映像情報とを、再び分割前の位置関係に従い合成
する。合成された映像情報に、属性情報（視線一致の為
の頭部映像の回転処理済）を付加して、情報転送経路１
０５へＲＧＢ信号として送出する。

【００８２】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、接続線１０９を介して、送受信
の相手側の情報入出力装置に伝送される。

【００８３】一方、接続線１０９を介し接続先の装置か
ら伝送される映像情報は、接続手段１０８、情報転送経
路１０７、選択手段１０６からなる系において、内蔵す
る伝送復号化手段で復号化される。復号化されたＲＧＢ
信号は、情報転送経路５０３を介して、解読手段５０４
に転送される。解読手段５０４は、転送されたディジタ
ルＲＧＢ信号列の属性（視線一致のための頭部映像の回
転処理済か否かの情報）を示す領域の内容を調べる。

【００８４】属性が視線一致のための回転済を示す場
合、切り換え手段５０５は、スイッチ・バーを下にす
る。このため、受信情報は回転手段１０４を経由しない
で、情報転送経路１１０を介して転送され、ディスプレ
イ１１１で可視の映像に変換されて出力される。

【００８５】属性が視線一致のための回転を行っていな
いことを示す場合、切り換え手段５０５は、スイッチ・
バーを上にする。このため、受信情報は回転手段１０４
に読み込まれ、回転手段１０４により回転処理が行われ
る。回転処理を施された受信情報は、ディスプレイ１１
１で可視の映像に変換されて出力される。

【００８６】また、接続先の装置から伝送される映像情
報に、視線一致のための回転を行なわずに送信するよう
指示が付加されている場合には、解読手段５０４でこの
指示が解読され、切り換え手段５０１は、スイッチ・バ
ーを上にする。このため、送信情報は回転手段１０４を
経由しないで、接続先の装置へ転送される。

【００８７】以下、本発明の第３の実施例を図６を用い
て説明する。図６は、本発明の情報入出力装置の第３実
施例の構成を示すブロック図である。

【００８８】図６を用い、本発明の情報入出力装置の構
成および動作の概要を説明する。図６に示すように本発
明による情報入出力装置は２台のカメラ１０２、回転手
段１０３、選択手段１０６、接続手段１０８、ディスプ
レイ１１１、立体化手段６０１、回線１０９を備える。

【００８９】図６の第３実施例が図１の第１実施例と異
なるのは、カメラ１０２を２台備える点と、回転手段１
０４にかえて立体化手段６０１を備える点である。

【００９０】カメラ１０２は、指定された被写体（図６
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。第３実施例において
は、カメラ１０２が２台用意され、ディスプレイ１１１
の両側に左右対象に配置される。これにより、２台のカ
メラ１０２により、同一被写体の撮影角度の異なる２映
像を得ることができる。

【００９１】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。そして、
この映像情報の領域が、映像情報を発生した実空間内で
所定の軸回りに回転した場合の映像情報を疑似的に生成
し、電気信号で出力する。

【００９２】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択する。

【００９３】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する。

【００９４】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
する。

【００９５】立体化手段６０１は、２台のカメラ１０２
により得られる２映像を両眼立体視（三角測量法）によ
り処理し、１映像を出力する映像処理装置である。

【００９６】両眼立体視（三角測量法）とは、２つの視
点ｅ１，ｅ２から、被写体上の１点ｐを観測し、ｅ１，
ｅ２，ｐを頂点とする三角形を決定することによってｐ
の３次元位置を決定する方法である。このように被写体
上の各点の３次元位置を決定し、被写体の立体形状を求
める。この立体形状から、２台のカメラの位置の中間点
から撮影した場合の被写体の映像情報を、レンダリング
する手法で生成することができる。

【００９７】次に、図６を用い本発明による情報入出力
装置の動作概要を説明する。

【００９８】使用者は、この情報入出力装置の起動時
に、選択手段１０６により予め単数或は複数の送受信す
べき相手を指定する。相手が指定されると、接続手段１
０８により、使用者と指定された相手との映像情報の送
受信が可能な状態に電気的に接続を行った後、この接続
の状態を保持する。

【００９９】次に、ディスプレイ１１１の両側に左右対
象に配置された２台のカメラ１０２から、被写体である
使用者１０１の映像をそれぞれ読み込む。読み込まれた
２映像は、それぞれレッド・グリーン・ブルー（以下Ｒ
ＧＢと称する）信号に変換され、情報転送経路１０３に
送出される。

【０１００】情報転送経路１０３に送出されたＲＧＢ信
号は、立体化手段６０１に読み込まれる。立体化手段６
０１は、得られた２映像の情報を元に、被写体の立体形
状を求める。この立体形状をレンダリング（サーフィス
モデルやソリッドモデルなどおにより与えた３次元立体
に対して明るさや色を付与して、より現実に近い質感を
与える作業）して、２映像の撮影角度の中間の角度で撮
影を行った場合に得られる映像情報を生成する。

【０１０１】レンダリングされた映像情報は、情報転送
経路１０５にＲＧＢ信号として送出される。

【０１０２】送出されたＲＧＢ信号は、選択手段１０
６，情報転送経路１０７，接続手段１０８からなる系に
おいて、内蔵する伝送符号化手段で符号化される。符号
化されたＲＧＢ信号は、回線１０９を介して、送受信の
相手側の情報入出力装置に伝送される。

【０１０３】一方、接続線１０９を介して相手側の情報
入出力装置から伝送される映像情報は、接続手段１０
８，情報転送経路１０７，選択手段１０６からなる系に
おいて、内蔵する伝送復号化手段で復号化される。復号
化されたＲＧＢ信号は、情報転送経路１１０を介して、
ディスプレイ１１１に転送される。転送されたＲＧＢ信
号は、ディスプレイ１１１で可視の映像に変換され、表
示される。

【０１０４】図７は、回転手段１０４の機能の他の実施
例を説明するための図である。図１０は、図７の機能を
備える回転手段（１０４）の機能ブロック図である。以
下、図７，図１０を用いて、本発明の情報入出力装置の
回転手段（１０４）の機能および構成の他の実施例を説
明する。

【０１０５】図１０の回転手段１０４は、Ａ／Ｄコンバ
ータ３０２、フレームバッファ３０１、目領域抽出プロ
セッサ１００２、目領域ビットマップメモリ１００４、
マニピュレーション用バッファ１０１１、瞳領域移動プ
ロセッサ１００９、合成用メモリ２１７、マスク１００
６、ネガマスク１０１３から構成される。

【０１０６】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。

【０１０７】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。

【０１０８】目領域抽出プロセッサ１００２は、フレー
ムバッファ３０１に保持された映像情報を読み込む。プ
ロセッサ１００２は、被写体（使用者）の目の領域とそ
れ以外の領域（目以外の顔の部分および背景領域）との
境界を抽出する。

【０１０９】目領域ビットマップメモリ１００４は、１
画素に対し１ビットの画像情報を記憶可能なメモリであ
る。

【０１１０】マスク１００６は、目的の画像の解像度に
対応した１画素に対し１ビットの画像情報をマスク情報
として備える。このマスク情報により、目的の画像の転
送の禁止部分（ここでは、目以外の領域）を画素毎に定
義することができる。

【０１１１】ネガマスク１０１３は、目的の画像の解像
度に対応した画素当り１ビットの画像情報をマスク情報
とする点で、マスク１００６と同様であるが、マスク１
００６の禁止と許可の定義情報を逆転させた情報内容を
持つ。ネガマスク１０１３は、このマスク情報に基づい
て、目的の画像の転送の禁止部分（ここでは、目の領
域）を画素毎に定義することができる。

【０１１２】瞳領域移動プロセッサ１００９は、マニピ
ュレーション用バッファ１０１１に格納された目の部分
（図７の７０３）の映像情報の瞳の部分（７０５）を抜
き出す。そして、瞳の部分（７０５）を抜き出された目
の部分（７０７）を、白眼の平均色で塗り潰す。次に、
平均色で塗り潰された目の部分（７０７）の、目の部分
の中央の位置を求める（７０８）。目の部分の中央の位
置が求められると、瞳の部分（７０５）を、目の部分の
中央に書き込む（７１０）。目の部分の中央に瞳の部分
が書き込まれると、この目の部分を合成用メモリ２１７
に転送する。

【０１１３】合成用メモリ２１７は、転送された目の部
分の映像（７１０）と目の部分以外の映像（７０４）と
を１フレーム上に合成（７１３）する時に使用される。

【０１１４】次に、図７，図１０を用い本発明の情報入
出力装置の回転手段１０４の機能を説明する。

【０１１５】使用者１０１が、本発明による情報入出力
装置を起動させると、カメラ１０２から被写体である使
用者１０１および背景２０１の映像が読み込まれる。読
み込まれた映像は、ＲＧＢ信号に変換される。変換され
たＲＧＢ信号は、情報転送経路を介し、回転手段１０４
に入力される。

【０１１６】回転手段１０４に入力されたＲＧＢ信号
は、Ａ／Ｄコンバータ３０２でデジタル信号に変換され
た後、フレームバッファ３０１に読み込まれる。フレー
ムバッファ３０１では、得られた映像情報のフレームを
一時保持する。

【０１１７】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像（図７の２０３）となる。使用者１０１が
カメラ１０２を見ていない場合には、保持された映像
は、視線不一致映像（２０５）となる。使用者は、対話
の相手が表示されたディスプレイを見ながら使用すると
考えられるので、視線不一致映像（２０５）が得られる
と考えられる。

【０１１８】視線不一致映像（２０５）から、目領域抽
出プロセッサ１００２により、目の部分（７０３）と目
以外の領域（７０４）との境界が抽出される。抽出され
た境界のビットマップ情報は、目領域ビットマップメモ
リ１００４に読み込まれ、一時的に保持される。この境
界のビットマップ情報により、目の映像を抽出するため
のマスク１００６が定義される。

【０１１９】フレームバッファ３０１に保持された映像
情報は、前記マスク１００６で、情報転送禁止部分がト
リミングされ、目の映像情報が抽出されて、マニピュレ
ーション用バッファ１０１１に転送される。

【０１２０】バッファ１０１１に一時保持された目の部
分の映像（７０３）から、瞳領域移動プロセッサ１００
９により、瞳（７０５）の部分が抜き出される。瞳（７
０５）以外の部分（７０７）は、一旦白眼の平均色で塗
り潰される。

【０１２１】さらに、瞳領域移動プロセッサ１００９に
より、塗り潰された７０７において中心線（７０８）が
求められ、中心線（７０８）の交差点が示す中心が求め
られる。求められた中心に、瞳（７０５）の中心を重ね
合わるように瞳が転送され、目の中心に瞳が書き込まれ
る（７１０）。中心に瞳が位置している目（７１０）
は、バッファ１０１１に書き込まれる。

【０１２２】バッファ１０１１に書き込まれた目（７１
０）は、再びマスク１００６を介して、合成用メモリ２
１７に格納される。

【０１２３】一方、バッファ３０１に格納された映像
は、マスク１０１３により、目以外の領域（７０４）が
抽出される。抽出された領域（７０４）は、合成用メモ
リ２１７に格納される。

【０１２４】そして、合成用メモリ２１７において、目
（７１０）と目以外の領域（７０４）とが合成される。

【０１２５】図８は本発明の情報入出力装置の回転手段
１０４の機能の他の実施例を示す図である。図１１は、
図７の機能を備える回転手段（１０４）の機能ブロック
図である。以下、図７，図１１を用いて、本発明の情報
入出力装置の回転手段（１０４）の機能および構成のさ
らに他の実施例を説明する。

【０１２６】図１１の回転手段１０４は、Ａ／Ｄコンバ
ータ３０２、フレームバッファ３０１、目領域抽出プロ
セッサ１００２、目領域ビットマップメモリ１００４、
マニピュレーション用バッファ１０１１、瞳領域移動プ
ロセッサ１００９、３次元モデル用メモリ１１０１、マ
ッピング用メモリ１１０３、合成用メモリ２１７、マス
ク１００６、ネガマスク１０１３から構成される。

【０１２７】Ａ／Ｄコンバータ３０２は、カメラ１０２
から出力された映像情報を示すアナログの電気信号を読
み込む。読み込んだアナログの電気信号を、標本化周波
数１０．７〜１４．３ＭＨｚ、色成分当りの量子化ビッ
ト数８でディジタル信号に変換する情報変換系である。

【０１２８】フレームバッファ３０１は、ディジタル信
号に変換された１フレーム分の映像を保持可能なメモリ
である。

【０１２９】目領域抽出プロセッサ１００２は、フレー
ムバッファ３０１に保持された映像情報を読み込む。プ
ロセッサ１００２は、被写体（使用者）の目の領域とそ
れ以外の領域（目以外の顔の部分および背景領域）との
境界を抽出する。

【０１３０】目領域ビットマップメモリ１００４は、１
画素に対し１ビットの画像情報を記憶可能なメモリであ
る。

【０１３１】マスク１００６は、目的の画像の解像度に
対応した１画素に対し１ビットの画像情報をマスク情報
として備える。このマスク情報により、目的の画像の転
送の禁止部分（ここでは、目以外の領域）を画素毎に定
義することができる。

【０１３２】ネガマスク１０１３は、目的の画像の解像
度に対応した画素当り１ビットの画像情報をマスク情報
とする点で、マスク１００６と同様であるが、マスク１
００６の禁止と許可の定義情報を逆転させた情報内容を
持つ。ネガマスク１０１３は、このマスク情報に基づい
て、目的の画像の転送の禁止部分（ここでは、目の領
域）を画素毎に定義することができる。

【０１３３】瞳領域移動プロセッサ１００９は、マニピ
ュレーション用バッファ１０１１に格納された目の部分
（図８の７０３）の映像情報の瞳の部分（７０５）を抜
き出す。そして、瞳の部分（７０５）を抜き出された目
の部分（７０７）を、白眼の平均色で塗り潰す。次に、
平均色で塗り潰された目の部分（７０７）を、マッピン
グ用メモリ１１０３に転送する。また、後述のモデル８
０１を用いてメモリ１１０３における目の部分のマッピ
ング処理を行ない、マッピング処理された目の最前部に
瞳の部分（７０５）を書き込む。目の部分の中央に瞳の
部分が書き込まれた３次元データを２次元化する（７１
０）。

【０１３４】３次元モデル用メモリ１１０１は、マッピ
ングモデル８０１を保持するメモリである。マッピング
モデル８０１は、目の立体形状を近似して仮定した３次
元のサーフェスモデル・データである。

【０１３５】マッピング用メモリ１１０３は、マッピン
グモデル８０１上に使用者の目の映像をマッピングし
た、３次元のサーフェスモデル・データ状態を保持する
メモリである。

【０１３６】合成用メモリ２１７は、転送された目の部
分の映像（７１０）と目の部分以外の映像（７０４）と
を１フレーム上に合成（７１３）する時に使用される。

【０１３７】次に、図８を用い本発明の情報入出力装置
の回転手段１０４の機能を説明する。

【０１３８】使用者１０１が、本発明による情報入出力
装置を起動させると、カメラ１０２から被写体である使
用者１０１および背景２０１の映像が読み込まれる。読
み込まれた映像は、ＲＧＢ信号に変換される。変換され
たＲＧＢ信号は、情報転送経路を介し、回転手段１０４
に入力される。

【０１３９】回転手段１０４に入力されたＲＧＢ信号
は、Ａ／Ｄコンバータ３０２でデジタル信号に変換され
た後、フレームバッファ３０１に読み込まれる。フレー
ムバッファ３０１では、得られた映像情報のフレームを
一時保持する。

【０１４０】使用者１０１がカメラ１０２を見ている場
合には、フレームバッファ３０１で保持された映像は、
視線一致映像２０４となる。使用者１０１がカメラ１０
２を見ていない場合には、保持された映像は、視線不一
致映像２０６となる。使用者は、対話の相手が表示され
たディスプレイを見ながら使用すると考えられるので、
視線不一致映像２０６が得られると考えられる。

【０１４１】視線不一致映像２０６から、目領域抽出プ
ロセッサ１００２により、目の部分（７０３）と目以外
の領域（７０４）との境界が抽出される。抽出された境
界のビットマップ情報は、目領域ビットマップメモリ１
００４に読み込まれ、一時的に保持される。この境界の
ビットマップ情報により、目の映像を抽出するためのマ
スク１００６が定義される。

【０１４２】フレームバッファ３０１に保持された映像
情報は、マスク１００６で、情報転送禁止部分がトリミ
ングされ、目の映像情報（７０３）が抽出されて、マニ
ピュレーション用バッファ１０１１に転送される。

【０１４３】バッファ１０１１に一時保持された目の部
分の映像（７０３）から、瞳領域移動プロセッサ１００
９により、瞳（７０５）の部分が抜き出される。瞳（７
０５）以外の部分（７０７）は、一旦白眼の平均色で塗
り潰される。

【０１４４】白眼の平均色で塗り潰された目（７０７）
は、瞳領域移動プロセッサ１００９により、マッピング
用メモリ１１０３に転送される。メモリ１１０３におい
て、目の部分（７０７）に、マッピングモデル（８０
１）を用いてマッピング処理が行なわれ、マッピング処
理された目の最前部に瞳の部分（７０５）が書き込まれ
る。目の部分の中央に瞳の部分が書き込まれると、３次
元データは２次元化される（７１０）。

【０１４５】バッファ１１０３に書き込まれた目（７１
０）は、再びマスク１００６を介して、合成用メモリ２
１７に格納される。

【０１４６】一方、バッファ３０１に格納された映像
は、マスク１０１３により、目以外の領域（７０４）が
抽出される。抽出された領域（７０４）は、合成用メモ
リ２１７に格納される。

【０１４７】そして、合成用メモリ２１７において、目
（７１０）と目以外の領域（７０４）とが合成される
（７１３）。

【０１４８】以下、本発明の第４の実施例を図９を用い
て説明する。図９は、本発明の情報入出力装置の第４実
施例の構成を示すブロック図である。

【０１４９】図９に示すように本実施例による情報入出
力装置は、カメラ１０２、回転手段１０４、選択手段１
０６、接続手段１０８、ディスプレイ１１１、ハンドセ
ット９０１、多重化手段９０３、回線１０９を備える。

【０１５０】カメラ１０２は、指定された被写体（図１
においては、使用者１０１）の映像を、電気信号に変換
して出力可能な情報変換系である。

【０１５１】回転手段１０４は、カメラ１０２で変換さ
れた電気信号で表される映像情報を読み込む。この映像
情報の領域が、映像情報を発生した実空間内で所定の軸
回りに回転した場合の映像情報を疑似的に生成し、電気
信号で出力する情報処理系である。

【０１５２】選択手段１０６は、目的の情報を送受信す
る際の、相手側の情報入出力装置等を選択し指定する、
情報制御系である。

【０１５３】接続手段１０８には、回線１０９を介して
送受信の相手側の情報入出力装置が接続されている。接
続手段１０８は、情報の送受信を希望する相手側の情報
入出力装置と電気信号的に接続し、情報の交換可能な状
態を維持する、情報制御系である。

【０１５４】ディスプレイ１１１は、送受信の相手側の
情報入出力装置から送信された電気信号を読み込み、こ
の電気信号を映像情報に変換し、変換された映像を出力
可能な情報変換系である。

【０１５５】ハンドセット（受話器）９０１は、マイク
ロホンとスピーカを持つ、複合した情報変換系である。
マイクロホンは、音声を入力し、この音声を電気信号に
変換して、コード９０２へ出力することができる。スピ
ーカは、コード９０２から音声を示す電気信号を受取
り、この電気信号を音声情報に変換し、変換された音声
情報を出力することができる。

【０１５６】多重化手段９０３は、送信すべき映像と音
声との多重化を行なうマルチプレクサーと、受信した映
像と音声とを分離するデマルチプレクサーとから構成さ
れる。

【０１５７】次に、図９を用い本実施例による情報入出
力装置の動作概要を説明する。

【０１５８】使用者１０１は、この情報入出力装置の起
動時に、選択手段１０６により予め単数或は複数の送受
信すべき相手を指定する。相手が指定されると、接続手
段１０８により、使用者１０１と指定された相手との映
像情報の送受信が可能な状態に電気的に接続され、接続
状態が保持される。

【０１５９】次に、カメラ１０２から被写体である使用
者１０１の映像を読み込む。読み込まれた映像は、レッ
ド・グリーン・ブルー（以下ＲＧＢと称する）信号に変
換され、情報転送経路１０３に送出される。

【０１６０】情報転送経路１０３に送出されたＲＧＢ信
号は、回転手段１０４に読み込まれる。読み込まれたＲ
ＧＢ信号は、得られた映像情報のフレーム毎に、使用者
１０１の頭部と頭部以外の領域に分割される。

【０１６１】回転手段１０４においては、頭部の３次元
形状を、予め備える卵型の３次元形状データと仮定す
る。卵型データの重心或はその付近を通る水平或は垂直
軸回りに、頭部が正面をむく方向に、約１０°回転させ
た時の前記頭部の映像情報を、頭部の映像情報を卵型の
３次元データにマッピングする手法で生成する。

【０１６２】回転させた頭部の映像情報と、頭部以外の
領域の映像情報とを、再び従来の位置関係に従い合成
し、情報転送経路１０５にＲＧＢ信号として送出する。

【０１６３】また、ハンドセット９０１のマイクロホン
から使用者の音声を取り込み、音声信号に変換し、コー
ド９０２に送出する。ここで多重化手段９０３により、
ＲＧＢ信号と音声信号とが時分割で多重化される。この
多重化された信号（多重信号）を情報転送経路１０７に
出力する。

【０１６４】多重信号は、選択手段１０６および接続手
段１０８により構成される系において、伝送符号化手段
で符号化される。符号化された多重信号は、接続線１０
９を介し接続先へ伝送される。

【０１６５】一方、接続線１０９を介して接続先から伝
送される多重信号は、接続手段１０８および情報転送経
路１０７により構成される系で、内蔵する伝送復号化手
段で伝送復号化される。復号化された多重信号は、多重
化手段９０３で、映像信号（つまりＲＧＢ信号）と音声
信号に分離される。ＲＧＢ信号は、ディスプレイ１１１
に情報転送経路１１０を介して転送され、ディスプレイ
１１１で可視の映像に変換されて出力される。音声信号
は、ハンドセット９０１のスピーカにコード９０２を介
し転送され、スピーカで音声に変換されて出力される。

【０１６６】

【発明の効果】上記のように本発明によれば、テレビ電
話等において、使用者を撮像するカメラと対話の相手の
像を表示するディスプレイとが同軸上に無いために発生
していた、対話する２者の視線不一致を、装置内部の画
像処理により解消し、自動的に視線を一致させて表示す
ることができる。このため、従来のディスプレイやカメ
ラのコンポーネントを流用したまま、使用者に何等負担
を強いること無く対話する２者の視線を一致させ、より
臨場感の有る映像通信を可能にする。

【図面の簡単な説明】

【図１】本発明の情報入出力装置の第１実施例のブロッ
ク図。

【図２】本発明の情報入出力装置の回転手段の機能を示
す図。

【図３】本発明の情報入出力装置の回転手段のブロック
図。

【図４】本発明の情報入出力装置の動作を示すフローチ
ャートの図。

【図５】本発明の情報入出力装置の第２実施例のブロッ
ク図。

【図６】本発明の情報入出力装置の第３実施例のブロッ
ク図。

【図７】本発明の情報入出力装置の回転手段の他の実施
例の機能を示す図。

【図８】本発明の情報入出力装置の回転手段のさらに他
の実施例の機能を示す図。

【図９】本発明の情報入出力装置の第４実施例のブロッ
ク図。

【図１０】本発明の情報入出力装置の回転手段の他の実
施例のブロック図。

【図１１】本発明の情報入出力装置の回転手段のさらに
他の実施例のブロック図。

【符号の説明】

１０１・・・使用者、１０２・・・カメラ、１０３，１
０５，１０７，１１０・・・情報転送経路、１０４・・
・回転手段、１０６・・・選択手段、１０８・・・接続
手段、１０９・・・通信回線、１１１・・・ディスプレ
イ、２０１・・・背景、３０１・・・フレームバッフ
ァ、２０３・・・視線一致映像、２０５・・・視線不一
致映像、２０９・・・頭部映像、２１０・・・背景映
像、２１１・・・マッピングモデル、２１２・・・マッ
ピング映像、２１３・・・回転軸、２１４・・・回転映
像、２１５・・・２次元化映像、２１８・・・処理映
像、３０３，３０４，３０６，３１０，３１１，３１
４，３１６，３１８，３２０，３２２・・・情報転送経
路、３０２・・・Ａ／Ｄコンバータ、３０５・・・輪郭
抽出プロセッサ、３０７・・・輪郭ビットマップメモ
リ、３０９・・・マスク、３１２・・・３次元モデル用
メモリ、３１３・・・マッピング用メモリ、３１５・・
・回転プロセッサ、３１７・・・３次元データメモリ、
３１９・・・２次元化プロセッサ、３２１・・・ネガマ
スク、５０１・・・切り換え手段、５０２，５０３，５
０６・・・情報転送経路、５０４・・・解読手段、５０
５・・・切り換え手段、６０１・・・立体化手段、７０
３・・・目部映像、７０４・・・背景映像、７０５・・
・瞳映像、７０７・・・白眼映像、７０８・・・中心
線、７１０・・・書き換え目部映像、７１３・・・処理
映像、８０１・・・眼球マッピングモデル、９０１・・
・ハンドセット、９０２・・・コード、９０３・・・多
重化手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小檜山 智久 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 坂井 浩之 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 中田 順二 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 山岸 正巳 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 木村 祐二 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 冨田 民則 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内

Claims (11)

【特許請求の範囲】
1. 【請求項１】少なくとも人物の顔を被写体とする映像情
   報を入力する入力手段と、 前記入力された映像情報に基づいて、前記被写体の人物
   の顔の向きもしくは視線の方向うちの少なくとも一方
   を、入力された映像情報中の顔の向きもしくは視線の方
   向より変化させた映像を示す映像情報を生成する補正手
   段と、 前記生成した映像情報を出力する出力手段と、 を備えることを特徴とする映像入出力装置。
2. 【請求項２】請求項１において、 前記出力手段は、前記生成した映像情報を、通信回線を
   介して他装置へ出力することを特徴とする映像入出力装
   置。
3. 【請求項３】請求項１において、 前記入力手段は、前記生成した映像情報を、通信回線を
   介して他装置より入力することを特徴とする映像入出力
   装置。
4. 【請求項４】請求項１、２または３において、 前記補正手段は、前記入力された映像情報より、前記被
   写体の人物の顔の向きもしくは視線の方向うちの少なく
   とも一方を、正面向きとした映像を生成することを特徴
   とする映像入出力装置。
5. 【請求項５】請求項２記載の装置と、請求項３記載の装
   置とを含み、 前記請求項２記載の装置は、前記出力手段が出力する映
   像情報に、当該映像情報が前記補正手段によって生成さ
   れた映像情報であることを示す補正済情報を付加する手
   段をさらに備え、 前記請求項３記載の装置は、入力された映像情報に、前
   記補正済情報が付加されていることを識別する解読手段
   と、前記補正済情報が付加されていることが識別された
   場合に、前記補正手段により補正を行なわないよう制御
   する制御手段とをさらに備えることを特徴とする通信シ
   ステム。
6. 【請求項６】顔を含む被写体を異なる方向から撮影し
   た、少なくとも２以上の映像を入力する入力手段と、 前記入力された少なくとも２以上の映像から、前記被写
   体の３次元形状を求める立体化手段と、 前記３次元形状中の顔が正面を向いた、前記３次元形状
   の２次元映像を生成する２次元化手段と、 前記２次元映像情報を出力する出力手段と、 を備えることを特徴とする映像入出力装置。
7. 【請求項７】請求項１、２または３において、 前記補正手段は、 人物の顔の立体形状のモデルを保持する保持手段と、 前記入力された映像情報のうちの、顔の映像情報と顔以
   外の映像情報とを、それぞれ抽出する手段と、 前記抽出された顔の映像情報を、前記モデルにマッピン
   グするマッピング手段と、 前記マッピングされたモデルを回転させる手段と、 前記回転されたモデルの２次元映像を生成する２次元化
   手段と、 前記２次元映像情報と、前記抽出された顔以外の映像情
   報とを合成する手段と、 を備えることを特徴とする映像入出力装置。
8. 【請求項８】請求項１、２または３において、 前記補正手段は、 前記入力された映像情報のうちの目の領域および瞳の領
   域を認識する認識手段と、 前記認識された目の領域および瞳の領域に基づいて、瞳
   の映像の位置を目の領域に対して相対的に移動させた目
   の映像を生成する生成手段と、 を備えることを特徴とする映像入出力装置。
9. 【請求項９】請求項８において、 前記生成手段は、 前記瞳の映像の位置を、前記目の領域の中央に移動させ
   ることを特徴とする映像入出力装置。
10. 【請求項１０】請求項８において、 前記補正手段は、 目の３次元マッピングモデルを保持する手段と、 前記認識された瞳の映像を抽出する手段と、 前記モデルに前記認識された瞳を除く目の映像をマッピ
    ングする手段と、 前記マッピングされたモデルの所定の位置に、前記抽出
    された瞳の映像をマッピングする手段と、 を備えることを特徴とする映像入出力装置。
11. 【請求項１１】映像と音声とをリアルタイムに送受信す
    るテレビ電話装置において、 請求項１、２、３、４、５、６、７、８または９記載の
    映像入出力装置を内蔵したことを特徴とするテレビ電話
    装置。