JPH0888853A - メディア処理システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、多元的に情報をとらえることがで
き、情報の特性に合った処理で情報のエッセンスを効率
的に獲得することを可能とするメディア処理装置を提供
することを目的とする。 【構成】 対象とする情報をそれぞれが限定して情報を
獲得する複数の入力手段と、この獲得された獲得情報の
属性に基づいて獲得情報の統合化を行う処理手段と、こ
の処理手段で統合化されて得られる処理情報を出力する
出力手段とを備えて構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報を含む情報の
通信、放送或いは蓄積等の処理を行う情報処理システム
におけるメディア処理システムに関する。

【０００２】

【従来の技術】従来、多大な情報量を有する動画像デー
タを効率よく圧縮符号化するために、時間軸方向、ある
いは空間軸方向の相関を利用し、冗長度を効率よく削減
する手法が用いられている。このうち時間軸方向の冗長
度削減手法として用いられているものに「動き補償」
（以下ＭＣ：Motion Compensation と称する）がある。
ＭＣは現フレームと前フレームとの間で、動物体の動き
量（その物体が前フレームからどの程度移動して現フレ
ームの位置まで来たかを示す量）を測定し、その方向と
大きさを表すベクトル（動きベクトル）を発生させた
後、その動きベクトルを符号化して伝送、あるいは格納
する手法である。再生側ではこの動きベクトル情報をも
とに、前フレームの動物体をその量だけ動かすことによ
って、現フレームの位置に動物体をはめ込んで現フレー
ムを作成する。

【０００３】図６は従来の動き情報獲得装置の一例であ
る。カメラは１台であり、このカメラ１８１からの情報
が処理装置１８２に取り込まれる。処理装置１８２内で
は、前フレームと現在取り込まれた現フレームとの情報
により、従来からのＭＣ手法を用いて動き情報が検出さ
れ、その結果が復号側に伝送される。

【０００４】しかしながら、動物体、あるいは動領域の
動きの大小が前もって明らかではないため、従来はそれ
ら全ての動き量をカバーできる範囲を想定して広範囲な
動き検出を行っている。そのため計算量が増加するとと
もに、それら全ての検出範囲を示す動きベクトル情報に
符号を割り当てる必要があるため、動きベクトルの符号
量も増加してしまう。また、１つの画面内に異なる動き
の動物体、あるいは動部分が存在する場合は、それら全
ての動き情報を符号化する必要があるため、さらに符号
量が増大する結果になる。

【０００５】また、従来のメディア処理システムでは、
図１２に示すように画像情報を獲得する方法として、入
力装置２７１として通常１台のカメラから得られる１つ
の視点からの画像を画像情報として獲得してきた。この
方法は、被写体とその背景の状況をカメラ側からの客観
視点から捕らえた画像を得る手段として最も簡単で自然
であるため従来から広く用いられてきた。

【０００６】ところが、この他の重要な画像情報とし
て、カメラの使用者側からの主観視点の画像がある。通
常はカメラの使用者がカメラのモニタを見て被写体を撮
るため、客観視点の画像と主観視点の画像は視点が一致
し両者の区別がつかないが、カメラの使用者が自分自身
を被写体にするとき、客観視点の画像はカメラが撮る使
用者自身の画像であり、主観視点の画像は使用者側から
見える環境画像となる。将来のメディア処理システムで
は個人から情報を発信することが多くなると考えられる
ため、カメラの使用者が画像を見る側に自分自身の画像
（客観視点の画像）を伝えたいという要求と、自分側の
視点から見た画像（主観視点の画像）を伝えて感動を共
有化したいという要求の両方が強くなると考えられる。
従来のメディア処理システムではこのような将来的な２
つの要求を同時に満足できないという問題点がある。

【０００７】また、さらに、使用者画像と使用者の視点
からの画像の両方の画像を用いて自然な形で１つの画像
にして表示する方法が従来システムには欠如していると
いう問題点がある。

【０００８】また一方で、情報発信する使用者側の状況
によっては、自分の環境画像情報を秘匿化したいが単調
な環境画像は好ましくなく、送る側から視覚的に効果の
ある形で変化させたいという要求が将来強くなると考え
られる。環境画像の秘匿化方法として従来から用いられ
ている方法の一つは、環境画像を何も送らないことであ
る。しかしこの方法では、画像を受け取る側では背景に
変化の無い画像を表示することになるため、利用者に臨
場感に乏しい画像情報しか提供できないシステムとなっ
てしまうという問題点があった。

【０００９】また、従来、風景などをカメラで撮像する
と、空間的に等間隔、等解像度に配置された画素のデー
タがその風景の画像データとして出力される。そして、
一般にはＣＣＤの微細加工技術、演算量、データ量の制
限から、画面の全体について十分な解像度は得られな
い。

【００１０】そこで、低解像度のカメラによる複数の低
解像度の画像を用いて１枚の高解像度な画像を得る検討
が進められている。（例えば「複数の低解像度画像から
の高解像度画像取得に関する検討」宮地、花村、富永、
１９９３年電子情報通信学会春季大会Ｄ−３５５。）低
解像度の画像は１つのカメラで時間的にずらして複数撮
影しても良いし、複数のカメラで同時に撮影しても良
い。ここでは複数のカメラを用いる場合のブロック図を
図２３に示す。まず、第１のカメラ３７１と第２のカメ
ラ３７２を用いて風景全体を同時に撮影する。２つのカ
メラは低解像度のカメラであるが、図２４に示すように
一方のサンプリング点Ｓａは他方のサンプリング点Ｓｂ
の間になるようにカメラの方向を調整して撮影する。そ
してデータ合成器３７５は２つの低解像度の画像信号３
７３，３７４を図２４のように合成することにより高解
像度の画像信号３７６を合成し出力する。

【００１１】しかしこの方法では２つのカメラを用いて
も画像全体の各部分の画素密度が一様に２倍になるだけ
であり、さらにカメラを増やさない限りこれ以上の解像
度の向上はできない。つまり、画面のある注目する重要
な部分を非常に詳細に見たい時は多くのカメラが必要に
なってしまう。

【００１２】また、従来のテレビ電話では、被写体の位
置や向き、形状などの状態が時々刻々変化する場合で
も、カメラの位置や向き、受信感度などのカメラの状態
は固定されており、放っておくと画面から被写体がはみ
出してしまったり、被写体を後ろ向きに撮ってしまった
りする。音声の入力についても使用者が動いてマイクの
指向性の高い領域からはずれると、良好な音声の入力が
できなくなる。また、ディスプレイで画像を使用者に提
示する場合、使用者が動くとディスプレイが見にくくな
る場合がある。

【００１３】また、現在、画像／音等のメディア情報を
伝送／蓄積するシステムの研究・開発が盛んに行われて
いる。従来のメディア伝送／蓄積装置においては、各メ
ディアはそれぞれ単一の入力手段を持つか、あるいは、
複数の入力手段から入力された情報のうちひとつを選択
してひとつの情報と成し、これをひとつの情報として圧
縮符号化等の処理を行い伝送／蓄積する方法が用いられ
ている。

【００１４】図３１に従来の画像／音を入力し、それを
少ない情報量に圧縮して伝送／蓄積を行う装置のブロッ
ク図を示す。また、図３２に、図３１の装置に対応し
た、従来の伝送／蓄積された情報から画像／音を再生す
る装置のブロック図を示す。

【００１５】図３１に示す入力及び伝送／蓄積装置にお
いて、伝送／蓄積の対象となる画像及び音はそれぞれひ
とつ以上のカメラ５０１ａ及びマイク５０１ｂから入力
される。カメラ／マイクが複数存在する場合には、それ
ぞれ画像選択／合成器５０２ａ及び音選択／合成器５０
２ｂで一つの画像及び音に選択／合成される。画像選択
／合成器５０２ａ及び音選択／合成器５０２ｂにおける
処理は複数の入力手段からの画像及び音のうち一つを選
択するか、それぞれに対してフィルタリング等の処理を
行って加算する処理であり、出力画像及び音はいずれも
ひとつの画像及び音として成っている。なお、入力手段
がひとつしか存在しない場合には選択／合成は行われ
ず、入力した画像及び音がそのまま画像及び音となる。
この画像及び音はそれぞれ符号化器５０３ａ及び５０３
ｂで少ない情報量に圧縮符号化される。圧縮符号化され
た符号化列は多重化器（マルチプレクサ）５０４で多重
化され、伝送／蓄積される。

【００１６】一方、図３２の再生装置において、伝送／
蓄積装置から伝送／蓄積された符号化列は、デマルチプ
レクサ５０６において画像符号化列と音声符号化列に分
離され、それぞれ画像復号器５０７ａ及び音復号器５０
７ｂにおいて再生画像及び再生音が再生される。

【００１７】図３１の装置において、画像符号化器５０
３ａにおける符号化の方式としては、例えばＩＳＯ・Ｍ
ＰＥＧ１，ＭＰＥＧ２の画像符号化方式やＩＴＵ−Ｔ・
Ｈ．２６１，Ｈ．２６２のように動き補償と離散コサイ
ン変換を組み合わせた方式や、サブバンド符号化、ピラ
ミッド符号化等と動き補償を組み合わせた方式、あるい
は、主に顔画像を符号化することを目的としたモデルペ
ースト符号化等が用いられる。これらの符号化方式のう
ち、動き補償と離散コサイン変換、サブバンド、ピラミ
ッド等を組み合わせた方式は、どのような画像入力に対
してもそれなりの符号化効率を得ることができるが、特
に人の顔の部分等に限っていえばそれに特化したモデル
ペースト符号化方式には符号化効率の点で及ばない。

【００１８】一方、モデルペースト符号化方式は、画像
中でその符号化方式で想定しているモデルに合った人の
顔のような部分については符号化効率が良いもののそれ
以外の背景部分等は符号化効率が極めて低い。このた
め、顔部分とそれ以外の部分を分離し、顔部分はモデル
ペースト符号化で符号化し、それ以外の部分は動き補償
＋離散コサイン変換で符号化するといった切り分けが一
般的に行われる。

【００１９】このため、顔以外の部分に多くの情報が含
まれる場合にはトータルとしての符号化効率は必ずしも
高くならない。また、一般に入力した画像から顔とそれ
以外の部分を正確に切り分けることは非常に難しく、顔
として切り出した部分に背景の一部が入ったり、その逆
になるということが良くあり、符号化効率の低下につな
がっていた。

【００２０】また、音符号化器５０３ｂにおける符号化
の方式としては、例えばＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ
２のオーディオ符号化方式や、ＣＥＬＰ等の符号化方式
が用いられる。これら従来の符号化方式は、音楽あるい
は人の音声といった特定の分野に対して良好な符号化品
質を得ることを主目的としており、想定される分野以外
の音に対しては必ずしも符号化効率が良くない。

【００２１】例えば、ＣＥＬＰ方式は主に音声を高能率
に符号化することを目的としており、音声以外の音、例
えば音楽や背景音等に対しては良好な符号化品質は得ら
れない。そのため、図３１に示すメディア入力装置よう
に単一の音を合成してから符号化を行う従来の装置で
は、符号化入力には人の声、背景音といった各種の音が
混合して含まれることになり、符号化装置５０３ｂで用
いられている符号化方式に適合する音（音声）部分に対
しては高能率に符号化が行えるものの、それ以外の音は
符号化効率が良くないという問題点があった。

【００２２】また、図３２に示すメディア再生装置にお
いて、画像復号器５０７ａ及び音復号器５０７ｂは、い
ずれもそれぞれ図３１における画像符号化器５０３ａ及
び音符号化器５０３ｂで用いられた符号化方式に対応し
て復号を行うものである。このようにして再生された画
像及び音声は、それぞれひとつの画像及び音声として再
生されている。したがって、再生された画像及び音声を
個々の要素に分離（例えば、人の顔と背景、人の声と背
景音とに分離する）したり、さらに一部の構成要素を他
のものに置き換える（例えば背景を別の画像にしたり、
音声を他人の声に変える等）ためには、再生された画像
及び音に対して分離処理を行う必要がある。

【００２３】このような分離処理を、全ての要素が合成
されて１つになっている画像／音から正確に行うことは
難しい。さらには、伝送／蓄積の際に圧縮符号化を行っ
た再生画像／音声には符号化歪が含まれており、入力画
像／音から直接分離処理を行う場合よりも更に分離精度
が低下する。

【００２４】以上のように、従来技術によるメディア入
力伝送／蓄積装置では、各メディアに対してそれぞれ単
一の入力手段しか持たないか、あるいは、複数の入力手
段から選択／合成を行ってメディア毎にそれぞれ１つの
情報を作成していた。作成された情報は複数の構成要素
からなるものが混合されたものとなっている。このた
め、入力中のある構成要素に特化した圧縮符号化方式を
用いると、その構成要素は高い符号化効率が得られるも
のの他の要素は符号化効率が低いといった問題が生じ
る。

【００２５】これを避けるためには、個々の構成要素に
分解してそれぞれに適した圧縮符号化方式を用いる必要
があるが、要素への分解を精度良く行うことが難しく、
全体としては高い符号化効率を得ることができなかっ
た。また、背景部分のように、入力した情報をそのまま
忠実に伝送／蓄積する必要性は低く雰囲気が伝えられれ
ばよいような部分についても多くの情報量を割く必要が
あり、符号化効率をあまり高くとれなかった。

【００２６】また、従来の技術によるメディア再生装置
では、再生したメディアに対し、構成要素への分解や一
部置き換えといった処理を行うことが困難であるという
問題があった。

【００２７】さらに、従来、多大な情報量を有する動画
像データを伝送若しくは蓄積する際、時間軸方向あるい
は空間軸方向の相関を利用し、冗長度を効率的に削減す
る手法が用いられている。特に対象画像が顔画像のよう
にある程度特定されているような場合、符号化器と復号
器で共通のモデル（ワイヤフレームモデル）を持ち、目
や口の動きを１つの入力画像から抽出してその変化量を
伝送する方法がある。

【００２８】この従来の方法を図４４に示すブロック図
を参照して説明する。まず、カメラ６３１を介して情報
源としての顔画像を取り込む。変化量検出手段６３２で
は、入力として得られる顔画像を用い、３次元ワイヤフ
レームモデルに照らし合わせながら動きが発生した部分
とその部分毎にどれだけ動きが生じたかを検出し、それ
らを動き情報として出力する。自然画合成手段６３３で
は、該動き情報を用いて動きの生じた部分と動き量を復
号し、それら情報に従いワイヤフレームモデルを変化さ
せ、該ワイヤフレームモデルの各領域に自然に見えるよ
う自然画の対応する部分をマッピングして合成画像を生
成し、表示装置６３４を介して表示する。

【００２９】この方法の場合には、共通のワイヤフレー
ムモデルを用いるため少ない情報量で動画を実現するこ
とができるものの、自然画を変形して復号画像を生成し
ているため、どうしても不自然さが生じるという問題が
ある。

【００３０】さらに、従来テレビ電話等の顔画像を主体
とした情報処理において、殆ど全ての場合、被撮影者の
正面に位置したカメラから撮った画像のみを処理対象と
している。その方法は装置を簡単にすることができると
いう利点がある反面、歪を生じる原因となっている。

【００３１】また、顔の動きを検出する方法として一般
的には画像をブロックに細分化して時間的に前後の関係
にある画像から誤差の小さいブロック同士を探索し、そ
れを移動前と移動後のブロックとそれぞれ見なし、移動
の軌跡である動きベクトルとブロック間の誤差とを求め
るブロックマッチング法が採られている。

【００３２】この様子を図５０を参照して説明する。ま
ず、図５０（ａ）に示す顔画像があるものとする。ある
所定の時間が経過した後に、図５０（ｂ）に示すよう
に、顔全体が横に平行移動すると共に、口を広げた画像
に変化したとする。この図５０（ｂ）に示す顔画像の中
のブロック６７５，６７６に注目すると、図５０（ａ）
に示すそれらのブロックは顔画像の中のブロック６７
１，６７９にそれぞれ対応しているので、図５０（ｃ）
に示すように、動きベクトルＶ_a ，Ｖ_b がそれぞれ求ま
る。

【００３３】ところで顔の部分の多くは動きベクトルＶ
_a の向きに動いているため、顔全体の動きをＶ_a とし
て、それに各部の局所的な動きを加える形式で動きベク
トルを表す方が、例えば顔画像を符号化するような場
合、動きベクトルの大きさの分散を抑えられるため符号
化効率の点で都合がよい。また顔のモデルを用いて符号
化する場合やマン・マシン・インタフェースへの適用に
おいても、顔の動きを顔全体と各部の局所的な動きに分
けて表す方が自然で合理的である。

【００３４】しかし、ブロックマッチングによって、上
述のような形の動きベクトルを求めることは困難であ
る。その理由の１つとして１回のサンプリングで画像を
１枚しか得られないことが挙げられる。したがって、１
枚の画像情報のみで顔全体の動きから局所的な動きまで
を詳しく把握するのは困難であり、そのため複数の多面
的な画像情報を得ることが必要となる。

【００３５】

【発明が解決しようとする課題】以上、説明したように
従来は、想定される動きをうまくカバーするＭＣ手法が
必要であったため、動き検出に要する計算量の増加と、
動きベクトル情報そのものの符号量の増加という問題点
があった。また１つの画面内に異なる動きの動物体、あ
るいは動部分が存在する場合は、それら全ての動き情報
を符号化する必要があるため、さらに符号量の増大を招
来することとなった。

【００３６】また、従来のメディア処理システムでは、
使用者画像と使用者側から見る環境画像を同時に１画面
に表示し、それを自然な形で臨場感のある画像にするこ
とができず、また環境画像の秘匿化により、使用者の環
境画像を使用者側から視覚的に効果のある形で変化させ
ることができないという問題点があった。

【００３７】本発明は、使用者が画像を見る側に自分自
身の画像（客観視点の画像）を伝え、かつ、自分の視点
から見た画像（主観視点の画像）も同時に伝えて感動を
共有化でき、しかも両方の画像を用いて自分を含めた周
りの状況を自然で臨場感のある１つの画像にして表示す
ることができるメディア処理システムを提供することを
目的とすると共に、情報伝送に用いる際に、送り手であ
る使用者の環境画像を秘匿化しながら、使用者の環境画
像を視覚的に効果のある形で変化させることが可能なメ
ディア処理システムを提供することを目的とする。

【００３８】また、従来のメディア処理システムにおい
ては、重要な部分であるにも拘らず低い解像度でしか画
像データを得ることができず、また被写体を最適な状態
で撮像できないという問題点があった。

【００３９】また、従来のメディア処理システムでは、
メディアの入力手段はメディア毎に１つであるか、ある
いは複数の入力手段からの入力から選択／合成を行って
１つのものとしてから処理が行われている。このため、
入力した情報を構成要素に分解してそれぞれに適した圧
縮符号化を行うことが難しいという問題点がある。ま
た、従来技術を用いたメディア再生装置においては、再
生される情報は各メディア毎に１つのものとなるため、
各構成要素に分解したり一部置き換えを行ったりするこ
とは難しいという問題点がある。

【００４０】また、従来のメディア処理システムでは、
符号化効率を上げるために符号化器・復号器で共通のモ
デルを利用して情報の伝送を行う方法があるものの、自
然画の変形・加工から合成画像が生成されるため、どう
しても合成画像に不自然さが生じてしまうという問題が
あった。

【００４１】本発明は、上記事情に鑑みてなされたもの
で、高精細な人工画をもとに動きの検出された領域に対
応する該人工画の領域を時間的に更新して、自然な動き
をする合成画像を生成すること及び、人工画のかわりに
線画を用いた合成画像を生成することを目的とする。

【００４２】また、従来のメディア処理システムでは、
複数の手段により、特に顔全体及び各部の動きに関する
情報を個別にかつ正確に得て、効率の良い符号化や的確
に処理を行うマンマシンインタフェースなどのようなメ
ディア処理装置のための、情報の入力手段及びその処理
方法を提供することを目的とする。

【００４３】本発明は、上記課題に鑑みてなされたもの
で、多元的に情報をとらえることができ、情報の特性に
合った処理で情報のエッセンスを効率的に獲得すること
を可能とするメディア処理システムを提供することを目
的とする。

【００４４】

【課題を解決するための手段】上記目的を達成するため
本願第１の発明は、対象とする情報をそれぞれが限定し
て情報を獲得する複数の入力手段と、この獲得された獲
得情報の属性に基づいて獲得情報の統合化を行う処理手
段と、この処理手段で統合化されて得られる処理情報を
出力する出力手段とを有することを要旨とする。

【００４５】また、本願第２の発明は、対象とする情報
をそれぞれが限定して情報を獲得する複数の入力手段
と、この獲得された獲得情報から重要度の低い情報を除
いて当該獲得情報の統合化を行う処理手段と、この処理
手段で統合化されて得られる処理情報を出力する出力手
段とを有することを要旨とする。

【００４６】また、本願第３の発明は、情報対象に係る
画像情報をそれぞれが限定して獲得する複数の画像情報
入力手段と、この獲得された獲得画像情報に含まれる情
報対象の経時的変化を検出する検出手段と、この検出手
段で得られる経時的変化情報を出力する出力手段とを有
することを要旨とする。

【００４７】本発明では、複数のカメラを備え、それぞ
れに別の動きを与えることによって、実際に符号化すべ
き画面内の各動物体、あるいは動部分の動きを最もよく
表現する動きのカメラからの情報を適応的に利用する手
法を実現する。つまり、ＭＣによる動きベクトルの発生
情報量が最も少なくなるような動きをしているカメラか
らの情報を用いて、各動物体、あるいは動部分の動きベ
クトルを表現する。

【００４８】さらに実際の「動」物体、あるいは「動」
部分の動きに合わせて、外部から操作してカメラを動か
すことによって、例えばカメラを覗いていて、ターゲッ
トとなる物体や部分の動きに合わせて人間がカメラを動
かす等して、複雑な動きにも対応した動きベクトルの発
生を可能にする。なお複数の動きがあるときは、複数の
カメラを１台ずつ異なる動きに割り当てて操作すること
も可能である。

【００４９】また、実際に測定された各動物体、あるい
は動部分の動きをもとに、カメラの動きを制御すること
により、つまり実際に符号化された動き情報を打ち消す
ような方向にカメラを自動的に動かすことにより、動き
ベクトルの発生情報量を減少させることも可能である。

【００５０】また、本願第４の発明は、情報対象に係る
画像情報を含む情報をそれぞれが限定して獲得する１又
は複数の第１の情報入力手段と、この第１の情報入力手
段を操作するものを情報対象として画像情報を含む情報
を獲得する第２の情報入力手段と、前記第１の情報入力
手段で獲得された第１の情報と第２の情報入力手段で獲
得された第２の情報とを合成する合成手段とを有するこ
とを要旨とする。

【００５１】望ましくは、情報対象を限定して異なる限
定された情報を獲得する複数の入力手段と、該獲得情報
の処理を行う手段と、処理情報を出力する手段とを有す
るメディア処理装置において、装置の前面の使用者の画
像情報を得るために備えられた第１の入力手段と、装置
の前面と異なる向きに備えられた固定または可動の第２
の入力手段を備え、使用者画像の背景の全部または一部
に第２の入力手段から得られる環境画像を表示する手段
とを有すると良い。

【００５２】さらに、情報対象を限定して異なる限定さ
れた情報を獲得する複数の入力手段と、該獲得情報の処
理を行う手段と、処理情報を出力する手段とを有するメ
ディア処理システムにおいて、使用者の画像情報を得る
手段と、コード化された環境音情報または音声情報を得
る手段と、該コードから環境画像情報を得る手段と、使
用者画像の背景の全部または一部に環境画像情報を用い
て得られる環境画像を表示する手段とを有すると良い。

【００５３】本発明は、情報対象を限定して異なる限定
された情報を獲得する複数の入力手段と、該獲得情報の
処理を行う手段と、処理情報を出力する手段とを有する
メディア処理システムにおいて、使用者の画像情報を得
るための第１の入力手段と、使用者側から見える環境画
像を得るための第２入力手段と、使用者画像の背景の全
部または一部に第２の入力手段から得られる環境画像を
表示する手段とを有することを要旨とする。

【００５４】さらに、このメディア処理システムは、使
用者画像が表示画面を占める大きさまたは範囲を設定す
る手段を有することを要旨とする。また、さらに、この
メディア処理システムは、第２の入力手段から得られる
環境画像を表示する際に、使用者画像だけを鏡像反転し
て表示する手段を有することを要旨とする。さらに、こ
のメディア処理システムは、第１の入力手段からの画像
または第２の入力手段からの画像だけも表示できる手段
を有することを要旨とする。また本発明のメディア処理
装置は、情報対象を限定して異なる限定された情報を獲
得する複数の入力手段と、該獲得情報の処理を行う手段
と、処理情報を出力する手段とを有するメディア処理装
置において、装置の前面の使用者の画像情報を得るため
に備えられた第１の入力手段と、装置の前面と異なる向
きに備えられた固定または可動の第２の入力手段を備
え、使用者画像の背景の全部または一部に第２の入力手
段から得られる環境画像を表示する手段とを有すること
を要旨とする。

【００５５】さらにこのメディア処理装置は、使用者画
像が表示画面に占める大きさまたは範囲を設定する手段
を有することを要旨とする。また、さらにこのメディア
処理装置は、第２の入力手段から得られる環境画像を表
示する際に、使用者画像だけを鏡像反転して表示する手
段を有することを要旨とする。さらに、このメディア処
理装置は、第１の入力手段からの画像または第２の入力
手段からの画像だけも表示できる手段を有することを要
旨とする。

【００５６】また本発明のメディア処理システムは、情
報対象を限定して異なる限定された情報を獲得する複数
の入力手段と、該獲得情報の処理を行う手段と、処理情
報を出力する手段とを有するメディア処理システムにお
いて、使用者の画像情報を得る手段と、コード化された
音声または環境音情報を得る手段と、該コードから環境
画像情報を得る手段と、使用者画像の背景の全部または
一部に環境画像情報を用いて得られる環境画像を表示す
る手段とを有することを要旨とする。

【００５７】コード化された音情報を得る手段とコード
化から環境画像情報を得る手段として、音から抽出した
ピッチ周波数をコード情報とし、コードを基に環境画像
を変化させる手段を有することを要旨とする。また、コ
ード化された音情報を得る手段とコード化から環境画像
情報を得る手段として、音から抽出したＬＰＣ係数を基
に環境画像を変化させる手段を有することを要旨とす
る。

【００５８】また、本願第５の発明は、情報対象に係る
画像情報をそれぞれが限定して獲得する１又は複数の第
１の画像情報入力手段と、この第１の画像情報入力手段
で獲得された第１の画像情報に含まれる任意の領域に係
る画像情報を獲得する第２の画像情報入力手段と、前記
第１の画像情報入力手段で獲得された第１の画素値デー
タの間に、前記第２の画像情報入力手段で獲得された第
２の画素値データを挿入する手段処理とを有することを
要旨とする。

【００５９】本発明においては、情報対象を限定して異
なる限定された情報を獲得する複数の入力手段と、該獲
得情報の処理を行う手段と、処理情報を出力する手段と
を有するメディア処理システムにおいて、入力手段とし
て少なくとも２つの撮像手段を有し、第１の撮像手段の
撮影範囲に第２の撮像手段の撮影範囲が含まれ、処理を
行う手段においては、第１の撮像手段からの第１の画像
データと、第２の撮像手段からの第２の画像データを合
わせて１つの統合画像データとして処理されることを要
旨とする。

【００６０】また、情報対象を限定して異なる限定され
た情報を獲得する複数の入力手段と、該獲得情報の処理
を行う手段と、処理情報を出力する手段とを有するメデ
ィア処理システムにおいて、入力手段として少なくとも
１つの撮像手段と、撮像手段からの画像データによって
入力状態修正信号を発生する修正信号発生手段と、その
入力状態修正信号によって、撮像手段あるいはその他の
入力手段の状態を修正する手段を有することを要旨とす
る。

【００６１】また、修正信号発生手段においては、上記
画像データから顔領域を検出し、その顔領域が画面内で
所定の位置や大きさになるように、撮像手段の向きある
いは倍率を修正する修正信号を発生することを要旨とす
る。また、入力手段として、音声入力手段を有し、修正
信号発生手段においては、上記画像データから顔領域を
検出し、その顔領域の口に相当する部分において、上記
音声入力手段の指向性が高まるように修正する修正信号
を発生することを要旨とする。また、発光手段を有し、
処理を行う手段または、修正信号発生手段においては、
上記画像データの中から、上記発光手段から放射された
光の反射光を検出し、その検出結果に基づいて所定の領
域を検知することを要旨とする。

【００６２】また、画像表示手段を有し、修正信号発生
手段においては、上記画像データから顔領域を検出し、
その顔領域の目の方向に上記画像表示手段の向きを修正
する修正信号を発生することを特徴とするものである。
また、撮像手段はメディア処理システムから分離されて
おり、撮像手段を支える支持手段と、撮像手段から入力
される画面の水平保持手段を有することを特徴とするも
のである。

【００６３】また、本願第６の発明は、情報対象に係る
情報を獲得する第１の入力手段と、情報対象の一部を置
き換えるための候補を蓄積しておく候補蓄積手段と、情
報対象入力における入力条件を得る入力条件獲得手段
と、情報対象に係る情報を獲得する第２の入力手段と、
前記入力条件獲得手段で獲得した入力条件と前記第１の
入力手段からの入力情報とをもとに、少なくとも前記候
補蓄積手段と第２の入力手段の一方からの情報から置き
換えのもととなる情報を選択し、当該情報対象入力の一
部を置き換え情報に置き換える置き換え手段とを有する
ことを要旨とする。

【００６４】上記の課題を解決するため、本発明では、
情報対象を限定して異なる限定された情報を獲得する複
数の入力手段と、該獲得情報の処理を行う手段と、処理
情報を出力する手段とを有するメディア入力装置であっ
て、情報対象の一部を置き換えるための候補を蓄積して
おく手段と、情報対象入力における入力条件を得る手段
と、前記入力手段とは異なる他の入力手段から入力され
た情報を得る手段を有し、前記入力条件と前記入力手段
からの入力情報をもとに前記候補蓄積手段および／また
は前記他の入力手段からの情報から置き換えのもととな
る情報を選択し、前記入力条件と前記入力情報をもとに
前記選択された置き換え情報を変形し、前記情報対象入
力の一部を前記選択変形された置き換え情報に置き換え
ることを要旨とする。

【００６５】さらには、前記メディア入力装置からの情
報対象入力条件、情報対象置き換え情報をもとに前記置
き換えられた情報を再生する手段と、置き換えのもとに
なる情報の候補を蓄積しておく手段と、前記情報対象入
力情報をもとにメディア入力手段で入力された情報を再
生する手段と、前記再生された置き換え情報と前記再生
情報を合成する手段とを有することを要旨とする。

【００６６】また、少なくとも１つ以上の前記メディア
入力装置と、前記メディア再生装置と、前記置き換えの
もとになる情報を提供する手段とからなり、前記メディ
ア入力手段における置き換えのもとになる情報が入力装
置内の蓄積情報および／または前記置き換え情報提供手
段および／または他のメディア入力手段から提供され、
前記メディア再生装置における置き換え情報再生のもと
となる情報が再生装置内の蓄積情報および／または前記
置き換え情報提供手段および／または他のメディア入力
手段から提供されることを要旨とする。

【００６７】また、本願第７の発明は、情報対象の画像
情報をそれぞれが限定して獲得する複数の画像情報入力
手段と、情報対象の音響情報を獲得する音響情報入力手
段と、前記複数の画像情報入力手段と音響情報入力手段
でそれぞれ獲得される獲得情報から各々の情報対象の状
態を獲得する状態獲得手段と、この状態獲得手段で獲得
された情報対象の状態に対応して人工画の各部位を補正
する補正手段とを有することを要旨とする。

【００６８】本発明は、少なくとも２つ以上のカメラに
より構成され、前記カメラが情報源の一部を撮影し所望
の限定情報を獲得する手段および各獲得情報から各々の
状態を得る手段、および人工画の各部位を前記状態に従
い動かす手段を有することを要旨とする。また本発明
は、少なくとも２つ以上のカメラと１つの音響マイクに
より構成され、前記カメラが情報源の一部を撮影し所望
の限定情報を獲得する手段、および各獲得情報から各々
の状態を得る手段、および前記音響マイクより得られる
音声情報から音声状態を得る手段、および前記音声状態
を用いて前記状態を補正する手段、および人工画の各部
位を前記状態に従い動かす手段を有することを要旨とす
る。

【００６９】さらに本発明は、前記状態補正手段におい
て、カメラからの獲得情報の状態と音声情報の状態のう
ち、背景雑音レベルが低いとき音響マイクからの獲得情
報の状態を出力し、背景雑音レベルが高いときカメラか
らの獲得情報の状態を出力することを要旨とする。さら
に本発明は、少なくとも２つ以上のカメラにより構成さ
れ、前記カメラが情報源の一部を撮影し所望の限定情報
を獲得する手段、および各獲得情報から各々の線画を得
る手段、および該線画を統合して表示する手段を有する
ことを要旨とする。

【００７０】さらに本発明は、少なくとも２つ以上のカ
メラと１つの音響マイクにより構成され、前記カメラが
情報源の一部を撮影し所望の限定情報を獲得する手段、
および各獲得情報から各々の線画を得る手段、および前
記音響マイクより得られる音声情報から音声状態を得る
手段、および前記音声状態を用いて前記線画を補正する
手段、および該線画を統合して表示する手段を有するこ
とを要旨とする。さらに本発明は、前記線画補正手段に
おいて、カメラからの獲得情報の状態と音声情報の状態
のうち、背景雑音レベルが低いとき音響マイクからの獲
得情報の線画を出力し、背景雑音レベルが高いときカメ
ラからの獲得情報の線画を出力することを要旨とする。

【００７１】さらに、本願第８の発明は、情報対象に係
る画像情報を獲得する第１の画像入力手段と、この第１
の画像入力手段が獲得する画像領域の一部または全領域
の画像情報を獲得する第２の画像入力手段と、前記第１
の画像入力手段と第２の画像入力手段が獲得した画像情
報の少なくとも一方の経時的変化分を抽出する抽出手段
と、この抽出手段で抽出された経時的変化分に応じて前
記第１の画像入力手段で獲得された画像情報の一部を前
記第２の画像入力手段で獲得された画像情報に置き換え
る置き換え手段と、この置き換え手段による画像情報の
置き換えを、前記第１の画像入力手段で獲得された画像
情報に含まれる情報対象の全体的な動きに伴う当該情報
対象の一部に動きに対応するべく制御する制御手段とを
有することを要旨とする。

【００７２】本発明は背景を含む顔全体の画像を入力し
顔全体の動きや目や口などの顔面内の各局部的な動きを
検出・分析した情報を得て、それを符号化する装置或い
は被撮影者の行動を分析するマンマシンインタフェース
等のメディア処理装置に用いられ、上記入力手段として
複数の画像入力手段を有し、該画像入力手段は一つの主
な画像入力手段と該一つの主な画像入力手段に従属する
他の入力手段が存在し、該主な画像入力手段は上記顔全
体の画像を入力し、該従属する入力手段は目や口の周
辺、背景など該主な入力手段が得る画像の一部または全
部の画像を入力し、該処理を行う手段は顔の画像の時間
的変化分の抽出や、該主な入力手段が得た顔全体画像の
一部、すなわち目や口の周辺部分等を該従属する入力手
段が得た画像で置き換えすることを行い、該処理を行う
手段はまた顔の全体的な動きを抽出し、顔全体の動きに
伴う目や口の周辺等の動きに該従属する入力手段が追随
できるように該従属する入力手段を制御する手段を有す
ることを要旨とする。

【００７３】また、入力手段として頭部に装着する入力
装置を用い、その入力装置は顔全体の位置検出や動きの
検出、または目や口の周辺の画像を得ることを要旨とす
る。また、赤外域における波長の光の画像を得る装置を
入力手段として有し、背景も含む顔全体の画像から顔の
領域を抽出すること、または顔全体の画像から瞳孔また
は口腔、鼻腔の位置を検出することを要旨とする。

【００７４】

【作用】本願第１の発明のメディア処理システムは、複
数の入力手段が、対象とする情報をそれぞれが限定して
情報を獲得すると、この獲得された獲得情報の属性に基
づいて処理手段で獲得情報の統合化が行われ、出力手段
から出力される。

【００７５】本願第２の発明のメディア処理システム
は、複数の入力手段が、対象とする情報をそれぞれが限
定して情報を獲得すると、この獲得された獲得情報から
重要度の低い情報を除いて処理手段で獲得情報の統合化
が行われ、出力手段から出力される。

【００７６】本願第３の発明のメディア処理システム
は、複数の画像情報入力手段で、情報対象に係る画像情
報をそれぞれが限定して獲得され、この獲得画像情報に
含まれる情報対象の経時的変化が検出手段で検出され、
この経時的変化情報が出力される。

【００７７】本発明によれば、実際に符号化すべき画面
内の各動物体、あるいは動部分の動きを最もよく表現す
る動きのカメラからの情報を適応的に利用することが可
能になるため、実際の動きを全て動きベクトルとして表
現する必要が無くなり、ＭＣによる動きベクトルの発生
情報量を少なくすることが可能である。さらにカメラの
動きによって動き量検出範囲が自動的に拡大されるの
で、実際の動きベクトルを計算する際には検出範囲を限
定することが可能になり、動きベクトルに割り当てる符
号も減少して、動きベクトル情報を少なくおさえること
も可能となる。また求められた各動物体、あるいは動部
分の実際の動きをもとに、カメラを動かしたり、あるい
は自動的に動きを制御することにより、動きベクトルの
発生情報量をさらに減少させることも可能となる。

【００７８】本願第４の発明のメディア処理システム
は、１又は複数の第１の情報入力手段により情報対象に
係る画像情報を含む情報をそれぞれが限定して獲得され
る。この第１の情報入力手段を操作するもの、例えば操
作者を第２の情報入力手段で情報対象として画像情報を
含む情報を獲得する。さらに前記第１の情報入力手段で
獲得された第１の情報と第２の情報入力手段で獲得され
た第２の情報とを合成手段により合成する。

【００７９】本発明によるメディア処理システムは、シ
ステムの使用者が情報発信する際に、使用者の画像（客
観視点の画像）と使用者が見ている環境画像（主観視点
の画像）を自然で臨場感のある１つの画像にするため
に、第１の入力手段で使用者の画像情報を得て、第２の
入力手段で使用者側から見える環境画像を得る。

【００８０】次に使用者画像の背景の部分に、第２の入
力手段から得られる環境画像を表示することにより、使
用者画像とこの環境画像を自然に合成することができ
る。

【００８１】さらに、使用者画像の表示画面を占める大
きさまたは範囲を設定する手段を有することにより、使
用者画像と環境画像のどちらを中心に表示したいかを自
由に使い分けることができるようになる。

【００８２】さらに、第２の入力手段から得られる環境
画像を表示する際、使用者画像だけを鏡像反転して表示
する手段を有することにより、使用者が実環境を見て指
し示す物の方向と、表示される画面の中で使用者の画像
が指し示す物の方向を一致させることができる。

【００８３】また、本発明のメディア処理装置は、装置
の前面の使用者の画像情報を得るために備えられた第１
の入力手段と、装置の前面と異なる向きに備えられた固
定または可動の第２の入力手段を備えるため、使用者が
装置の前面を自分側に向けて使用することにより、どの
ような使い方においても妨害無く使用者側からみた環境
画像を獲得できる。

【００８４】さらに、本発明のメディア処理システム
は、コード化された環境音情報または音声情報を得て、
このコードを予め設定した方法により画像情報に変換
し、これを環境画像として使用者画像の背景に表示させ
ることにより、使用者側からの音の変化に合ったタイミ
ングで環境画像を変化させることができる。また、コー
ド情報として音声や環境音から抽出したピッチ周波数を
用いると、ピッチ周波数を基に環境画像情報を周期化さ
せるという変化をもたらすことができる。別のコード情
報として、抽出したＬＰＣ係数情報を基に背景画像にフ
ィルタをかけて画質を変化させると、環境画像に音から
得られる変化に対応する画質の変化を与えることが可能
となる。したがって、送り手側の音の変化の雰囲気を伝
える秘匿化された背景画像を表示するメディア処理シス
テムを提供できる。

【００８５】本願第５の発明のメディア処理システム
は、１又は複数の第１の画像情報入力手段が情報対象に
係る画像情報をそれぞれが限定して獲得する。この第１
の画像情報入力手段で獲得された第１の画像情報に含ま
れる任意の領域に係る画像情報を第２の画像情報入力手
段が獲得する。さらに、前記第１の画像情報入力手段で
獲得された第１の画素値データの間に、前記第２の画像
情報入力手段で獲得された第２の画素値データを挿入す
る。

【００８６】このように構成されたものにおいては、第
１の撮像手段で画面全体を撮像し、第２の撮像手段で重
要な部分を撮像すると、処理を行う手段においては、重
要な部分が他の部分よりも解像度が高い統合画像データ
として処理することが可能となる。また、修正信号発生
手段においては、撮像手段からの画像データによって入
力状態修正信号が発生され、その入力状態修正信号によ
って、撮像手段あるいはその他の入力手段の状態を最適
な状態に時々刻々修正することが可能となる。また、修
正信号発生手段においては、画像データから顔領域が検
出され、その顔領域が画面内で所定の位置や大きさにな
るように撮像手段の向きあるいは倍率を修正する修正信
号が発生され、撮像範囲からはみ出すことなく顔を撮像
することが可能となる。また、修正信号発生手段におい
ては、画像データから顔領域が検出され、その顔領域の
口に相当する部分において音声入力手段の指向性が高ま
るように修正する修正信号を発生することにより、音声
を良好に入力することが可能となる。また、処理を行う
手段または、修正信号発生手段において、画像データの
中から、発光手段から放射された光の反射光が検出さ
れ、その検出結果に基づいて眼鏡の位置、目の位置など
を検知することが可能となる。

【００８７】また、修正信号発生手段において、画像デ
ータから顔領域が検出され、その顔領域の目の方向に画
像表示手段の向きを修正する修正信号が発生されること
により、使用者が動いても常に画像表示手段の向きは使
用者が見やすい方向に保たれる。また、撮像手段を支え
る支持手段と、外部状況によっては撮像手段を傾けて支
持しなければならない場合があるが、その場合でも画面
の水平保持手段によって、画面は常に水平に保たれる。

【００８８】本願第６の発明のメディア処理システム
は、第１の入力手段と第２の入力手段により、情報対象
に係る情報が獲得される。また、候補蓄積手段に情報対
象の一部を置き換えるための候補が蓄積される。一方、
入力条件獲得手段で獲得した入力条件と前記第１の入力
手段からの入力情報とをもとに、少なくとも前記候補蓄
積手段と第２の入力手段の一方からの情報から置き換え
のもととなる情報を選択し、当該情報対象入力の一部を
置き換え情報に置き換える。

【００８９】本発明によるメディア入力装置では、入力
した画像／音等のメディアのうち、入力条件がわかれば
データベースアクセスや他の入力手段からの情報をもと
に置き換えが可能な部分を探し分離する処理が行われ
る。そして、伝送／蓄積の際に、置き換え可能な部分に
ついては画像／音等をそのまま伝送するのではなく、入
力条件情報を伝送／蓄積し、再生の際にはこの情報をも
とにデータベースアクセスや他の入力手段からの情報を
もとに置き換え画像／音を作成し合成する方法が用いら
れる。

【００９０】例えば、画像において人物部分のような高
忠実性が要求される部分は入力した画像をそのまま圧縮
符号化し伝送／蓄積するが、背景部分のように雰囲気が
伝えられれば良い部分については入力画像をそのまま用
いるのではなく、入力条件情報を伝送／蓄積する。この
ため、背景部分の伝送／蓄積のための情報量を従来の伝
送／蓄積装置に比べ大幅に削減することができる。ま
た、画像／音をそのまま圧縮符号化する部分について
も、顔、人物といったように入力対象を限定してそれぞ
れの入力手段を用いることができ、全体をひとつの入力
として扱う場合に比べ構成要素に分離しやすく、それぞ
れの構成要素に合った圧縮符号化を行い高い符号化効率
を得ることができる。また、伝送／蓄積される情報は人
物と背景のように構成要素毎に分離されているため、再
生の際にある構成要素を他のものに置き換えるといった
処理を行い易い。

【００９１】本願第７の発明のメディア処理システム
は、複数の画像情報入力手段で情報対象の画像情報をそ
れぞれが限定して獲得し、音響情報入力手段が情報対象
の音響情報を獲得する。これら情報入力手段で、それぞ
れ獲得される獲得情報から各々の情報対象の状態が状態
獲得手段により獲得される。この状態獲得手段で獲得さ
れた情報対象の状態に対応して人工画の各部位が補正手
段により補正される。

【００９２】この結果、本発明によれば、限定された情
報から画像を合成できるので非常に少ない情報で動画像
を表現することができる。また、高精細な人工画を基に
動画像を生成するため、歪のない高品質な動画を生成す
ることができる。また、好みの人工画をデータベースか
ら選択できるため、同一の情報源に対し様々な合成画像
を得ることができる。さらに、合成画像の動きは音声情
報により補正されているため、違和感の無い合成画像を
得ることができる。

【００９３】本願第８の発明のメディア処理システム
は、この第１の画像入力手段で獲得される情報対象に係
る画像情報の画像領域の一部または全領域の画像情報が
第２の画像入力手段により獲得される。第１の画像入力
手段と第２の画像入力手段が獲得した画像情報の少なく
とも一方の経時的変化分が抽出手段で抽出される。この
抽出手段で抽出された経時的変化分に応じて前記第１の
画像入力手段で獲得された画像情報の一部を前記第２の
画像入力手段で獲得された画像情報に置き換え手段が置
き換える。この置き換え手段による画像情報の置き換え
は、制御手段により第１の画像入力手段で獲得された画
像情報に含まれる情報対象の全体的な動きに伴う当該情
報対象の一部に動きに対応するべく制御される。

【００９４】本発明では顔全体の画像より顔全体の動き
を検出し、別に顔全体の動きに追従させながら目や口の
周辺の画像を入力する。そのようにして得た目や口の周
辺の画像は顔全体の動きが追従の操作によって相殺され
ているため、それらの局所的な動きを容易に捉えること
ができる。従って顔全体の動きと目や口周辺の局所的な
動きを分離しかつ正確に、またブレのより少ない鮮明な
品質の画像を得ることができる。これにより例えば顔画
像の符号化において顔の動きに関する情報量を抑えるこ
とができる。特に被撮影者の顔をワイヤフレームモデル
などの形でモデル化して符号化を行う場合、顔全体の動
きと各局部の動きを別個に検出・分析できるのでモデル
を自然に動かすことができるようになる。

【００９５】また被撮影者の動きを正確に分析できるた
めマンマシンニンタフェースにおいて適性な処理を一層
確実にすることができる。また、頭部に装着するような
入力装置を用い、その装置で顔の位置検出や動きを検出
し、また目や口の周辺の画像も得ることにより、顔全体
の位置や動き、目や口周辺の局所的な動きの情報をより
正確に得ることができる。また、赤外域における波長の
光の画像を得る装置を入力手段として有し、背景も含む
顔全体の画像から発熱体である顔の領域を抽出するこ
と、または顔全体の画像から自身は発熱しない瞳孔また
は口腔、鼻腔の位置を検出することをより正確に行うこ
とができる。

【００９６】

【実施例】以下、本発明に係る一実施例を図面を参照し
て説明する。図１は本発明に係るメディア処理システム
の構成を示したブロック図である。図１に示すように、
情報対象としての任意の情報源１に対して、１又は複数
の限定入力装置３ａ，〜，３ｎが設けられ、この限定入
力装置３により限定情報Ｉ1 が獲得され、獲得情報Ｉ3
として処理装置５に入力される。この獲得情報Ｉ3は、
処理装置５において適宜処理され、処理情報Ｉ5 として
出力装置７に入力され、さらに出力装置７から映像、音
等として出力される。

【００９７】次に、本発明に係る第１の実施例について
説明する。まず、図２を参照するに、限定入力装置１１
０は、複数のカメラ１０１，〜，１０５，〜で構成され
ており、これらは例えば固定カメラ１０１、水平方向に
移動するカメラ１０２、垂直方向に移動するカメラ１０
３、カメラと被写体とを結ぶ軸の周りに回転するカメラ
１０４、あるいはある一定の範囲で反復運動をするカメ
ラ１０５などである。これらから取り込まれた各獲得情
報は処理装置１４０に送られ、圧縮などの処理が行われ
た後、伝送路を介して復号側に伝送される。復号側の復
号化器１５０ではこれら伝送されてきた情報をもとに情
報を復号し、再生情報を構成して出力する。

【００９８】一方、処理装置１４０は、動き量設定回路
１３０、及び符号化器１２０がある。動き量設定回路１
３０からは、限定入力装置１１０の動きを制御する信号
が出力されると同時に、その動き情報が符号化器１２０
に転送される。この例では、これら動きが外部の操作ボ
ード１３１により、マニュアルで独立に設定できるよう
になっているが、カメラを覗いて、動物体の動きに追従
するように人間がボードを操作することも可能である。
また直接カメラを覗いて、そのカメラを人間が動かして
もかまわない。

【００９９】図３は符号化器１２０の内部を詳細に示し
た図であり、図４はこの符号化器で実際に行われる動き
補償（以下、単にＭＣと略記）を説明した図である。限
定入力装置１１０の複数のカメラ１０１〜からの画像情
報は入力情報切り替え回路１２１に入力され、また各カ
メラの動き情報、そのものはカメラの動き１、カメラの
動き２、カメラの動き３、…として動き補償回路１２３
に取り込まれる。動き補償回路１２３では、画面内を複
数の領域に分割して、各領域ごとに従来と略同様なＭＣ
を行うが、この時各カメラから取り込まれた情報（複数
の現フレーム情報）とフレームメモリ１２４内の情報
（前フレーム情報）との間でＭＣを行う。そしてＭＣ情
報量が最も少なくなる現フレーム情報、つまり最も少な
い動きで前フレームから作成できる現フレーム情報を取
り込んだカメラの動き（具体的には、図３内のカメラの
動き１、カメラの動き２、カメラの動き３、…のいずれ
か）を初期の動きベクトルとすると共に、動き量情報と
して動き量設定回路１３０へ出力される。ＭＣ部分の詳
細を図４を用いて説明する。フレームメモリ内の前フレ
ームＡにおいて、動物体ａが図４（ａ）の位置にあり、
次のフレーム（符号化すべき現フレーム）Ｂでは図４
（ａ）または（ｂ）の矢印ｂの方向に動いて図４（ｂ）
のａへ移動したとする。この時動きベクトルは図のｂそ
のものになり、従来はこのベクトルを情報として符号化
していた。ここでもし、カメラ自体が図４（ｃ）のｄの
ように動物体に追従して動いたとすると、もともとカメ
ラが動いていなかった場合に図４（ｃ）の現フレームＢ
内のｃの位置にあるはずの動物体は、移動後の現フレー
ムＣにおいては左サイドの位置にとどまっていることに
なる。

【０１００】このとき、フレームＡ内におけるａの位置
関係が、図４（ｃ）ではフレームＣ内におけるｆの位置
関係であるとすると、フレーム内でのこの動物体の動き
は、図４（ｃ）に矢印ｅで示される。これはカメラの動
きｅが実際の動物体の動きｂに近ければ近いほど小さな
値をとる。そして最終的な動きベクトルは（ｄ＋ｅ）で
表現される。

【０１０１】以上の操作は各「動」物体、あるいは
「動」領域についてそれぞれ行われる。つまり、異なる
動きの領域については動きが参照されるカメラも当然異
なるため、各領域ごとに上記ｄに相当するカメラの動き
を求めることになる。

【０１０２】再び、図３を参照するに、限定入力装置１
１０からの信号は、上記図４を用いた説明において、ｅ
が最も小さくなるように入力情報切り替え回路１２１で
切り替えられる。つまり限定入力装置１１０からの信号
が順次動き補償回路１２３に取り込まれ、その時のカメ
ラの動きが初期動きベクトルとしてフレームメモリ１２
４内に送られて、ここからさらに小さな動きベクトルｅ
を動き補償回路１２３内で計算する。このｅが最も小さ
くなる時のカメラの動きが本当の初期ベクトルとして採
用される。

【０１０３】この時カメラの動きが予め設定されてお
り、復号側でもわかる場合は、カメラの動きを伝送する
必要はないが、操作ボード１３１において随時変更して
いる場合、あるいは実際に人間がカメラを動かしている
場合は、最終的に初期ベクトルとして選択されたカメラ
の動き（図３内のカメラの動き１、カメラの動き２、カ
メラの動き３・・・のいずれか）を復号側へ転送する必
要がある。

【０１０４】実際のＭＣは、（ｄ＋ｅ）を本当の動きベ
クトルとして減算器１２７においてＭＣ誤差信号が取ら
れるが、このとき現フレーム信号として入力情報切り替
え回路１２１から取り込まれる情報は、固定カメラ１０
１から取り込まれた情報（つまり図４（ｃ）のＢの状
態）であり、上記（ｄ＋ｅ）によってｂを作成したこと
になる。なお、このとき送受信間で、動き量に対する同
一の予測を行うことができれば、動き量に対する情報を
送信する必要がないのは言うまでもない。

【０１０５】ＭＣ誤差信号は符号化回路１２２で圧縮符
号化され、復号側に送られると同時に、復号化器１２５
で復号された後、加算回路１２６でＭＣに用いた前フレ
ーム信号と加算され、再生信号が作られてフレームメモ
リ１２４内に格納される。

【０１０６】図５は第１の実施例の他の一例の符号化側
を示した図である。複数のカメラ１６１，１６２から取
り込まれた情報を用いて、図２，図３と同様の処理が処
理装置１７１で行われているものとする。この時、実際
の動物体の動きは処理装置内で明らかになるので（前記
の例ではｂ）、動物体の動きが時間方向に相関がある場
合は、この動きに基づいて各カメラの動きを自動的に制
御することが可能になる。一例として、動き制御回路１
７２を図のように設置し、実際に測定された動きをベク
トル量子化と同様な手法でカメラの数にクラス分けし
て、それぞれの動きを各カメラに伝達する。各カメラは
動き制御回路１７２からの指示に従って動くので、動き
に時間相関があれば、図４（ｃ）における小さな動きベ
クトルｅを自動的に小さくすることが可能になる。

【０１０７】次に、本発明に係る第２の実施例を説明す
る。図７は、本発明のメディア処理システムの原理的構
成を示す図である。この図では、使用者の画像を獲得す
るための限定入力装置２０２と、使用者側から見える環
境画像を獲得するための限定入力装置２０１とから得ら
れる２種類の画像情報を処理部２０３で処理して得られ
る画像を出力装置２０４で表示する例を示している。処
理部２０３は入力された環境画像が入力された使用者画
像の背景部分となるように２つの画像情報の合成処理を
行う。

【０１０８】合成処理の方法の例としては、使用者画像
に付帯する不要な背景画像を分離除去して得られる純粋
な使用者画像を環境画像に上書きする方法が考えられ
る。使用者画像部分の領域判定法については公知の様々
な方法があるが、ここでは説明を省略する。

【０１０９】次の本発明をメディア処理装置に応用した
第２の実施例の他の一例について説明する。図８は、発
明法のメディア処理装置の一例の構成を表したものであ
る。入力装置２０６は装置の前面の使用者の画像情報を
得るために備えられたカメラである。これに対し入力装
置２０５は、使用者側から見た環境画像を妨害無く獲得
できるように装置の前面と異なる向きに備えれらた固定
または可動のカメラである。ここでは説明の簡単化のた
め入力装置２０５は装置背面に備え付けられているとす
るが、使用者側から見える画像を入力するという目的を
達成できる入力装置であれば装置上部や使用者の体に装
着されていてもかまわない。

【０１１０】処理部２０７は上記環境画像を自然な形で
上記使用者画像の背景に表示できるようにするための処
理を行う。ここでは処理部２０７において背景分離除去
処理２０８、画像サイズ設定処理２０９、表示範囲設定
処理２１０及び鏡像判定処理２１１が行われる。サイズ
設定処理２０９及び範囲設定処理２１０は使用者画像を
最終的に表示するときの大きさと表示位置を設定するも
のであり、ここでは装置外部から設定できる構成として
いる。

【０１１１】鏡像反転処理２１１は、例えば本発明のメ
ディア処理装置を通信端末として使用する場合、相手側
と環境画像の中の物体について会話をするときに、使用
者が指し示す物の方向と表示画面の中で使用者の画像が
指し示す物の方向を一致させるために特に必要となる。
このことを図９を用いて説明する。図９（ａ）では使用
者がメディア処理装置２２０の使用中に実環境（風景）
を見て、もの（この例では月）を指し示している様子を
表している。このとき装置背面のカメラ２２１が獲得す
る環境画像は例えば図９（ｂ）のようになり、装置前面
のカメラ２２２が獲得する使用者画像は図９（ｃ）のよ
うになる。この２つの画像を合成するときに、使用者が
月の方向を指し示すようにするためには図９（ｃ）の使
用者画像を鏡像反転して図９（ｂ）の環境画像と合成す
ればよい。このようにして得られる合成画像を図９
（ｄ）に示す。

【０１１２】画像セレクタ２１２は入力装置２０５から
の環境画像、入力装置２０６からの使用者画像、処理部
２０７からの背景のない使用者画像を入力し、画面指定
情報に従って、使用者画像、背景のない使用者画像、使
用者側から見える環境画像、使用者側から見える環境画
像を使用者画像の背景に組み込んだ合成画像のいずれか
を出力装置２１３に出力する。

【０１１３】また、このとき人物を鏡像化し、環境画は
そのままとしたり、あるいは人物はそのままで、環境画
を鏡像化するようにしても良い。

【０１１４】次に本発明のメディア処理システムに応用
した第２の実施例の、さらに他の一例について説明す
る。図１０は、第２の実施例に係る他の一例のメディア
処理システムの構成を表したものである。ここでは送信
側で入力した情報を符号化して伝送し、受信側で伝送さ
れたきた情報を復号して出力する符号化復号化のシステ
ムについて説明する。

【０１１５】まずシステムの送信側の説明をする。図１
０において入力装置２２１は音声または環境音を入力す
るマイクである。また、入力装置２２２は使用者の画像
を獲得するためのカメラである。音情報コード化部２３
０では入力した音をピッチ分析部２３１またはＬＰＣ分
析部２３２により分析して、そこから得られるピッチ周
波数情報またはＬＰＣ係数情報を符号化等の方法でコー
ド化する。音符号化部２５０は入力された音を符号化し
て出力する。画像符号化部２４０は入力された画像から
使用者の背景部分の画像を分離除去して環境情報の秘匿
化を行うと共に使用画像を符号化して出力する。多重化
部２５１は音コード情報と符号化された画像情報と符号
化された音情報とを多重化して伝送路に出力する。

【０１１６】次にシステムの受信側の説明をする。逆多
重化部２５２は受信データを逆多重化して、音コード情
報と符号化された画像情報と符号化された音情報に情報
を分離する。画像生成部２５３は音コード情報を用いて
予め設定した方法により環境画像情報を生成する。例と
して、コード情報に音声や環境音から抽出したピッチ周
波数を用いると、時間的に変化するピッチ周波数を基に
して時間的に周期化画像を生成できる。また時間的に画
像を周期化する位置を変えるとさらに複雑な環境画像を
生成することができる。さらに別な方法として、ピッチ
周波数と環境画像の色の対応関係を設定することにより
様々に色が変化する環境画像を提供できる。

【０１１７】また、別の音情報としてコード情報に抽出
したＬＰＣ係数情報を用いると、ＬＰＣ係数を基に構成
されるフィルタをかけて画質を変化させることができる
ので、時間的に様々に画質が変化する環境画像を生成す
ることが可能となる。さらに別な方法として、ＬＰＣ係
数情報と環境画像の色の対応関係を設定することによ
り、様々に色が変化する環境画像を提供できる。

【０１１８】このような方法により送信側の環境の変化
とタイミングの合った環境画像を背景に表示できるの
で、秘匿化された背景画像の単調さを大幅に軽減でき
る。また、背景の一部分に絵画の枠に当たる表示窓を表
示するとともに、この窓の中に環境画像を表示すると、
一種の芸術性を有する、いわゆるアートとして音から生
成される環境画像を効果的に表示できる。

【０１１９】次に本発明をメディア処理システムに応用
した第２の実施例のさらに他の一例について説明する。
図１１は、第２の実施例に係るメディア処理システムの
構成を表したものであり、先に説明した実施例の変形例
である。図１１において図１０と共通の部分は共通の番
号を付けてその説明を省略する。この実施例ではマイク
２２１とは別に音コードを得るための環境音を供給する
音源または音源端子２６０を有する構成になっている。
このように音コードを得るための音源をマイクと分離す
ることにより、好みの音楽を使って変化に富んだ環境画
像を生成でき、しかも音楽によって通話を妨害すること
を防止できる。

【０１２０】以下、本発明に係る第３の実施例を図面を
用いて説明する。図１３は、第３の実施例の一例を示す
図である。カメラ３０１で風景の全景、例えば樹木と花
が撮像され、全景画像データが処理装置３０３に送られ
る。同時にカメラ３０２で風景の一部、ここでは花のみ
が撮像され、その花画像データも処理装置に送られる。
全景画像データを図１４（ａ）に示す。この画像は図１
４（ｂ）に示す様な、離散的に配置される画素の集まり
で表現される。（実際は図１４（ｂ）ほど粗くはない
が、ここでは図を見やすくするために２５画素で構成し
た。）ここで、画素の密度が十分でない場合は、樹木の
葉や花の柄といった細かい部分はぼけてしまい全景画像
データには現れない。

【０１２１】一方、花画像データを図１５（ａ）に示
す。このデータも図１５（ｂ）に示すように全景画像デ
ータと同じ画素数で構成されているが、撮影範囲を花に
限定したので、樹木は写っていないが、花についてはそ
の詳細な形状及び柄まではっきりと現れている。

【０１２２】処理装置３０３では全景画像データと花画
像データが合成され、図１６（ａ）に示す合成画像デー
タが作成される。図１４（ａ）と図１５（ａ）を合成し
たものが図１６（ａ）なので、図１６（ａ）は樹木、花
とも写り、かつ、花についてはその柄まで鮮明なものに
なっている。この画素配置を図１６（ｂ）に示す。合成
画像データはディスプレイ３０４に入力される。ディス
プレイ３０４の画素数が図１６（ｃ）に示す様に十分に
多い場合は樹木の部分については画素内挿して合成画像
データに含まれていない画素のデータを補間し、花の部
分については合成画像データの高密度のデータをそのま
ま用いる。このように風景全体を概観しつつも特に花に
注目したい場合、画素数の少ない、例えば廉価なカメラ
を２つ組み合わせることにより、花の部分については高
い解像度の画像を得ることができる。

【０１２３】また、ディスプレイ３０４の代わりに画像
符号化器を用いれば、注目している部分については高い
解像度を保持しつつ、そのほかの部分については少ない
情報量で表現することができるので、全体を高い解像度
で伝送するよりも少ない符号量にまで圧縮することがで
きる。

【０１２４】図１７は本第３の実施例をテレビ電話など
に用いた他の例を示すブロック図である。カメラ３１１
から画像データが修正装置３１３と処理装置３１４に送
られる。また、マイク３１２から処理装置３１３に音声
データが送られる。

【０１２５】修正装置３１３では、まず図１８に示す様
に画像データから、顔領域３２１を検出する。ここで、
画像データ３２０の左下角を座標（０，０）、顔領域の
左下角を座標（ｋ，ｌ）とする。また、画像データ３２
０の横幅をＭ、高さをＮ、顔領域の横幅をＫ、高さをＬ
とする。そして顔が画面の中心になるようにカメラの向
きを横方向については（（ｋ＋Ｋ）／２）−（Ｍ／
２）、縦方向については（（ｌ＋Ｌ）／２）−（Ｎ／
２）だけ動かす信号をカメラ３１１に送る。また、顔が
画面のなかで所定の大きさ（高さＪ）になるようにカメ
ラ倍率をＪ／Ｌ倍する信号をカメラ３１１に送る。カメ
ラ３１１はその指示通りに向き、倍率が修正される。

【０１２６】マイク３１２についてもその感度が使用者
の口の方向で高くなるように、現在のカメラ３１１とマ
イク３１２の向き及び顔領域の検出結果からマイク３１
２の向きの修正角を求めて向きを変更する。口の位置は
例えば図１８で座標（（ｋ＋Ｋ）／２，（１＋Ｌ）／
４）として決める。

【０１２７】また、ディスプレイがある場合は、マイク
の場合と同様にして図１８で座標（（ｋ＋Ｋ）／２，
（ｌ＋Ｌ）／２）の方向に向くようにする。

【０１２８】図１９は本第３の実施例の領域検出のため
の他の例を示すブロック図である。発光装置３３１から
は所定の色の光が前面に照射され、同時にカメラ３３２
で画像が取り込まれ、その画像データが処理装置３３４
と修正装置３３３に送られる。画像データに人の顔が写
っている場合、その眼鏡あるいは眼球など目の部分で反
射された発光装置３３１から照射された光が写る。従っ
て修正装置３３３では画像データの中から照射光の部分
を見つけその部分を目の領域として決定する。あるいは
検出する信号としては色の代わりに空間的に変化する画
像パターンや時変パターンを用いても良い。また、発光
装置３３１がディスプレイを兼ねても良い。その場合、
たまたま表示する画像の中の色やパターンを適当に選ん
で、検出する信号に用いても良い。

【０１２９】図２０は本第３の実施例の撮像手段をメデ
ィア処理システムから分離した実施例を示す外観図であ
る。カメラ３４２は球状の容器３４１に納められてい
る。容器３４１は接続部３４３を介して第１の支持棒３
４４と接続している。また、第１の支持棒３４４は接続
部３４６を介して第２の支持棒３４５に接続している。
接続部３４３は経度方向、接続部３４６は緯度方向に可
変とする。第２の支持棒３４５の略中間部分には可動節
が設けられ、任意の方向に屈曲することができ、通常は
半固定としておく。また、この第２の支持棒３４５には
クリップ３４７が接続されている。クリップ３４７はカ
メラ３４２を使用者の近くの壁、柱、パソコン、などに
取り付けるためのもので、このクリップ３４７に代え
て、若しくは併用して吸盤、磁石、引っかけ金具、ピ
ン、マジックテープなど環境に合わせて用いることがで
きる。

【０１３０】容器３４１の中身の断面図の一例を図２１
に示す。カメラ３４２の筐体３５２は磁石などの磁性体
でできており、撮像画面を水平にしたときの底部に重り
３５３を固定する。筐体３５２の周囲には多数の電磁石
３５４が配置される枠体３５５が設けられる。撮像装置
の電源を入れると電磁石３５４にも通電され、筐体３５
２と電磁石３５４の向かい合った面でＮ極同士あるいは
Ｓ極同士が向かい合うようにしておけば筐体３５２は少
し浮上する。このとき電磁石３５４の部分は永久磁石で
も構わない。カメラ３４２には重り３５３が入っている
ので、カメラ３４２の撮像方向に拘らず、重力により撮
像画面は常に水平に保たれる。

【０１３１】例えば自動車を運転しながら自分の顔を撮
るためにクリップ３４７をルームミラーに取り付けたと
する。その場合カメラ３４２は一般に傾いてしまう。そ
こで接続部３４３と接続部３４６を手で調節すればカメ
ラ３４２を自分の顔の方に向けることができる。する
と、それに合わせて、電磁気的に浮いたカメラ３４２の
撮像画面は重力によって自動的に水平な画面となるので
別途水平調節をする煩わしさがない。さらに自動車が多
少揺れてもそれはカメラ３４２に伝わらず、揺れのない
良好な画像を入力できる。

【０１３２】さらに本第３の実施例の他の例を図２２に
示す。カメラ３６１、第１の支持棒３６３、第２の支持
棒３６５、第３の支持棒３６７はそれぞれ図のように接
続部３６２，３６４，３６６を介して接続されている。
この実施例では接続部３６６で経度方向、接続部３６２
で緯度方向を調節する。そして、接続部３６４は締め付
けを弱くしておき第１の支持棒３６３とカメラ３６１が
釣り下がるようにしておく。するとやはり重力によりカ
メラ３６１の撮像画面は常に水平に保たれる。

【０１３３】次に本発明に係る第４の実施例の一例とし
てメディア入力装置を示す。本実施例は画像及び音を伝
送あるいは記録蓄積することを目的とする装置である。
本装置は、入力した画像／音のうちデータベースに蓄積
されている画像／音に置き換え可能な部分については、
そのデータベースインデックス等を伝送／蓄積すること
により伝送／蓄積に係わる情報量を大幅に削減している
ところに特徴がある。

【０１３４】図２５を参照するに、カメラ４０１及びマ
イク４０２からはそれぞれ伝送／蓄積の対象となる画像
及び音声が入力される。位置検出器４０３は本メディア
入力装置がある現在地を検出する手段である。これは地
磁気をもとに検出しても良いし、ＧＰＳ（Ｇｌｏｂａｌ
Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；世界的位置
決定システム）を用いても良い。温度・湿度センサ４０
４は温度、湿度、風量等の気象条件を検出する手段であ
る。計時器４０５は現在の日時を得る手段である。方位
計４０６はカメラ４０１及びマイク４０２がとらえてい
る画像／音の装置本体からの方向を検出するための方位
センサである。画像／音データベース４０９は、背景部
分のように入力画像／音の中で位置、時刻等の情報をも
とに置き換え易い画像／音が蓄積されている。この画像
／音データベース４０９には世界中のあらゆる地点の画
像／音を蓄積しておいても良いし、入力装置を用いる場
所が限定されている場合にはその限定場所内での画像／
音を蓄積しておいても良い。変形加工器４１０では必要
に応じて画像／音データベース４０９から選択された画
像／音に対して変形加工が行われる。

【０１３５】画像／音データベース４０９に蓄積されて
いる画像のうちどれを用いるか、それをどのように変形
加工を行うかは背景画像／音決定器４０８で決定され
る。背景画像／音決定器４０８には位置検出器４０３、
温度・湿度センサ４０４、計時器４０５及び方位計４０
６が接続されており、ここから入力された現在地、方
位、気象条件、日時に該当するデータベースのインデッ
クスを決定する。ここで、実際の背景と高精度で一致す
るものがデータベース中にある場合はこれをそのまま用
いるが、そうでない場合はデータベース中の画像／音に
対してどのような変形を行ったらいいかが決定される。

【０１３６】例えば、カメラが北北西の方向を向いてい
るにも係わらずデータベース中には北西と北の方向の画
像しか蓄積されていない場合にはこれら２方向の画像か
ら回転を考慮した合成を行って北北西方向の画像を作成
する。また、データベースには太陽の位置や雲等季節、
時刻、気象条件によって変化する画像は含めず、季節、
時刻、現在地、方位、気象条件をもとに太陽の位置や雲
の形状や程度（夜の場合には星の位置や輝き）、照度、
木々のそよぎ具合等を計算し、これに対応した太陽や雲
等の画像を作成してデータベース中の画像と合成しても
良い。また、野鳥が生息する場所の場合にはデータベー
ス中に蓄積されている鳥の鳴き声を背景音として選択
し、これを季節や気象条件をもとに鳴き声の大きさを変
える等の加工を行っても良い。なお、位置検出器４０
３、温度・湿度センサ４０４、計時器４０５及び方位計
４０６で検出される情報には誤差が含まれるため、実際
とは多少異なる背景画像／音が作成されてしまう可能性
がある。これを防ぐためにカメラ４０１及びマイク４０
２も背景画像／音決定器４０８に接続し、これらからの
入力画像／音をもとにデータベースインデックスの決定
及び加工、変形方法の決定に補正を加えればより精度の
高い背景画像／音をつくることができる。

【０１３７】カメラ４０１、マイク４０２及び変形加工
器４１０で作成された背景画像／音信号は背景抽出器４
０７に入力され、画像／音の背景分離・抽出が行われ
る。背景分離・抽出は、例えば入力画像／音のうち作成
された背景信号との残差が小さい部分を背景とし、それ
以外を非背景とすれば良い。あるいは、人物画像や人の
声のような重要な部分を非背景としそれ以外の、あまり
意味のない部分を背景として分離しても良い。

【０１３８】背景抽出器４０７で非背景と判定された領
域は高能率符号化を行い非背景情報として伝送／蓄積す
る。この高能率符号化は例えば画像に対しては動き補償
＋ＤＣＴ、音に対してはＡＤＰＣＭ等の符号化方式を用
いれば良い。あるいは、人物画像や非との声といった重
要と判定されて分離された物についてはこれに適した高
能率符号化方式、例えば、人の顔についてはモデルペー
スト符号化、人の声についてはＣＥＬＰ等を用いて符号
化を行う。一方、背景と判定された部分については背景
データベースのインデックス、背景の変形のパラメータ
が伝送／蓄積の対象となる。変形パラメータは変形方法
を直接的に表すパラメータ（例えば、フィルタリングを
行う場合にはそのフィルタ係数）でも良いが、これでは
情報量が多すぎる場合にはその変形を決定するもととな
った現在地、時刻、気象条件等の情報を符号化して伝送
／蓄積しても良い。これらは多重化器４１１で多重化さ
れて伝送／蓄積される。

【０１３９】図２６は入力画像からの背景画像の生成及
び背景／非背景分離の例を示した物である。画像／音デ
ータベース４０９から選択し、照度等の変換を行った背
景画像４２０に対して、変形加工器４１０において太陽
画像４２５、雲画像４２３、木画像４２６が合成され
る。太陽画像４２３は季節、時刻、気象条件、現在地、
方位をもとに計算された画像である。雲画像４２５は入
力画像と背景画像４２０との差分として検出しても良
く、この場合は非背景部分と同様に動き補償＋ＤＣＴ等
のジュネリックな符号化方式で符号化を行い、非背景情
報として伝送／蓄積する。あるいは、入力画像との忠実
性がそれほど要求されない場合は気象条件等をもとにし
て作成して合成しても良い。この場合、雲画像は背景に
関する情報をもとに作成可能であるため非背景情報とし
て伝送／蓄積する必要がない。木画像４２６はデータベ
ース中にそのもとが入っている物であるが、気象条件等
を考慮して揺らぎ等の変形が行われる。人物のような重
要な画像を検出する場合は人物部分４２１が分離され、
モデルペースト符号化等これに適した符号化が行われ
る。また、動物４２２のようにデータベースには蓄積さ
れておらず人物ほど重要ではないが伝送／蓄積を行った
ほうがよい画像は人物部分４２１よりは低い精度でジュ
ネリックに符号化される。

【０１４０】図２７は図２５で伝送／蓄積された情報か
ら画像／音を再生する装置のブロック図である。まず、
逆多重化器４３１で非背景情報、背景データベースイン
デックス、変形パラメータの分離が行われる。非背景情
報は非背景画像／音作成器４３４に入力され、非背景部
分の画像／音が再生される。非背景画像／音作成器４３
４における再生処理は図２５の非背景符号化器４１２に
対応した方法で行われる。これら情報を非背景画像作成
器４３２に入力され背景画像／音が再生される。画像／
音データベース４３３から背景データベースインデック
スに対応する画像／音が取り出され、これに対して変形
パラメータに対応した変形／加工が行われる。この変形
／加工は図２５の変形加工器４１０の処理と同一であ
る。再生された背景画像／音及び非背景画像／音は合成
器４３５で合成され再生画像及び再生音として出力され
る。

【０１４１】図２８は本発明に係る第４の実施例の他の
一例のブロック図である。本装置も入力した画像／音の
伝送／蓄積を行うことを目的とし、背景等をデータベー
ス等で置き換えることにより伝送／蓄積に係わる情報量
を削減している。また、画像／音を入力するカメラ及び
マイクが複数個あり、背景部分の置き換えのもとになる
画像／音として装置内部のデータベースだけでなく外部
のデータベース、街角カメラ／マイクや他の同様の入力
装置からの画像／音も用いる。

【０１４２】カメラ４４１〜４４３及びマイク４４４〜
４４６からはそれぞれ伝送／蓄積の対象となる画像及び
音声が入力される。カメラ４４１〜４４３及びマイク４
４４〜４４６はそれぞれ全体の画像／音を入力するもの
及び中心的な人物、物体及び音声等を入力するものとい
うような役割分担がなされている。また、人物カメラ４
４１は主たる人物の全体をとらえることを目的として撮
影方向、範囲、焦点距離等を調整し、人物全体像を入力
する。また、顔カメラ４４２はその人物のうち顔部分を
とらえて入力する。全体カメラ４４３からは全景を入力
する。

【０１４３】このように人物カメラ４４１及び顔カメラ
４４２を全景カメラ４４３とは別に設けているため、よ
り重要な情報である人物像、顔画像は他の部分より高い
解像度を得ることが可能であり、また、後の処理を他の
部分とは異なるものとすることができる。マイク４４４
〜４４６についても役割分担がなされており、音声マイ
ク４４４は中心人物の音声を、背景マイク４４５，４４
６は背景音をとらえることを目的として設置されてい
る。音声マイク４４４は中心人物が持つハンドマイクや
身体や服の一部に装着するものとして装置本体に電波や
赤外線を使って音声を伝送するようにしても良く、指向
性を有するマイクを装置本体に装備して用いても良い。
また、マイク４４５，４４６はそれぞれ左方向と右方向
あるいは前方向と後方向といったように異なる方向の音
をとらえるようにしても良く、それぞれのマイク４４
５，４４６に２本のマイクを内蔵してステレオ音（２チ
ャンネルあるいは４チャンネル）をなすようにしても良
い。

【０１４４】現在地検出器４４７、気象センサ４４８、
計時器４４９、方位計４５０はそれぞれ図２５に示す位
置検出器４０３、温度・湿度センサ４０４、計時器４０
５及び方位計４０６と同様の働きをするものであり、装
置の現在地、気象条件、現在の日時、及び入力対象の装
置からみた方向を検出する手段である。画像／音データ
ベース４５３は入力画像／音の一部置き換えの素となる
画像／音のデータベースである。

【０１４５】位置検出器４４７、温度・湿度センサ４４
８、計時器４４９及び方位計４５０及び全体カメラ４４
３、背景マイク４４５，４４６は背景画像／音作成器４
５２に接続されており、ここで背景画像／音が作成され
るが、図２５に示す実施例と異なるのは背景画像／音の
素として装置内のデータベース４５３だけでなく、必要
に応じて他のデータベース４６３ａ、街角カメラ／マイ
ク４６４ａ及び他の同様の入力装置４６２からの画像／
音を用いているところである。外部データベース、街角
カメラ／マイク、他の入力装置はそれぞれ複数づつあっ
てもよく、それぞれ有線あるいは無線のネットワーク４
６１を介して接続されている。

【０１４６】背景画像／音作成器４５２でどのような背
景画像作成が行われるかを入力画像の図２９を用いて説
明する。図２９を全景カメラ４４３からの入力とすると
ここで背景画像となるのは人物画像４７１ａ以外の部分
である。このうち、空、建物のように現在地、カメラが
向いている方向、日時、気象条件をもとにしてデータベ
ースアクセスにより画像を得ることが可能な部分につい
てはデータベース画像による置き換えを行う。ここで、
もし装置内部のデータベース４５３に対象の画像が見つ
からない場合には外部のデータベース４６３ａの画像を
用いる。

【０１４７】データベースから取り出された画像は気象
条件、時刻等の条件によって補正が行われる。例えば、
日中の快晴時には空を青空にして全体の照度を明るく
し、建物の影をそれに適した方向、濃度でつけ、曇や雨
の場合には全体の照度を暗くして影も薄くする。太陽画
像は気象条件、季節、時刻によって計算し合成する。以
上の補正や合成の方法を決定するに際してはカメラ４４
３からの入力も参照してより高精度の背景画が作成され
るようにしても良い。

【０１４８】背景中の動く車のようなものはデータベー
ス中には無いものである。このような部分を精度良くあ
らわす場合は街角カメラ４６４からの入力画像を用いれ
ば良い。街角カメラがとらえている範囲が領域４７４の
破線で囲んだ部分である。この部分は街角カメラ／マイ
ク装置４６４で必要により高能率符号化が行われ、ネッ
トワークを介して伝送されてくる。高能率符号化が行わ
れた場合にはそれを復号して画像として再生する処理が
行われた後、領域４７４の部分をその画像で置き換え
る。あるいは、車のような部分にはそれほどの精度は必
要とされず大体の交通量がわかれば良い程度であれば、
街角カメラからの画像で置き換えることはせず、車種や
交通量パラメータのみを伝送／蓄積して再生時にこれに
応じて適量の車画像を発生させて合成するようにすれば
この部分に係わる情報量は大幅に削減することができ
る。

【０１４９】背景中の人物４７１ｂはデータベースには
含まれておらず、街角カメラでもとらえられていない
が、必要に応じて高精度の画像を得たいとする。この場
合、他の入力装置４６２がこの人物を高精度でとらえて
いればそこからの画像を入力して用いればよい。他の入
力装置で人物４７１ｂ部分の画像の伝送に際して高能率
符号化が行われている場合にはこれを復号する処理を行
い再生画像を背景に合成する。なお、街角カメラや他の
入力装置からの入力画像は、全体カメラ４４３がとらえ
ている画像とは撮像方向が異なったり、撮影範囲が必要
とするものより広くなっていることがある。このような
場合は撮像方向の変換と必要な部分の切り出し処理を行
って背景への合成を行う。撮影方向の変換は例えば画像
を３次元モデルにモデル化し、本装置と街角カメラや他
の装置それぞれの現在地、撮影方向を考慮して視点を変
えた時の画像を得るようにすれば良い。

【０１５０】背景画像／音作成器４５２で作成された背
景画像／音は非背景画像／音抽出器４５１に送られ、背
景／非背景分離が行われる。ここでの画像に対する処理
を図２９の画像を例として説明する。中心となる人物４
７１ａについては人物カメラ４４１、顔カメラ４４２で
も撮像されている。これらからの入力を図２９中の破線
で囲んだ領域４７２及び領域４７３部分とする。

【０１５１】この中には人物、顔以外にこの周囲の背景
部分も含まれているため、この背景部分は取り除かれ
る。この分離は、例えば、カメラからの入力と、生成さ
れた背景画像の領域４７２及び領域４７３内の部分が高
い精度でマッチングする部分を背景として取り除くよう
にすれば良い。このようにして切り出された人物、顔画
像と全景カメラ４４３からの入力マッチングを取ること
により中心人物４７１ａとそれ以外の部分に分離するこ
とができる。人物以外と判定された部分は全景カメラ４
４３からの入力と作成された背景画像の間でマッチング
が取られ、高い精度でマッチングした部分がまず背景と
判定される。

【０１５２】次に、マッチングで誤差が大きかった部分
についてはその部分が重要な情報か否かが判定される。
例えば、図２９中に示す飛行船はデータベースに存在せ
ず、街角カメラや他の入力装置でもとらえられ無かった
ため背景画像には入っておらず、かつ、状況を表すには
好適な画像であるため、非背景と判定した後に符号化処
理を行う。重要でないノイズ成分等は非背景とは判定せ
ず、符号化処理も行わない。

【０１５３】一方、音については、音声マイク４４４か
らの入力を音声信号として、背景マイク４４５，４４６
からの入力を背景音とし、背景音についてはデータベー
スや街角マイクの音による置き換えを行えば良い。ただ
し、音声マイクからの入力にも背景音が含まれている場
合があり、後の符号化等の処理に不都合な場合がある。
この場合は、音声マイク入力中に含まれる背景音の除去
処理を非背景画像／音抽出器４５１で行う。この方法は
例えば有音／無音判定を行って無音時には音を消去して
符号化等の処理を行わないようにしても良いし、背景マ
イクからの入力を参照信号とする学習同定法、ＬＭＳア
ルゴリズム、ＲＭＳアルゴリズム等を用いた適応ノイズ
キャンセラにより背景音除去を行っても良い。

【０１５４】非背景画像／音抽出器４５１で非背景と判
定された画像／音は符号化器４５４に送られて符号化さ
れる。中心人物や顔の画像あるいは音声はこれに適した
符号化方式、例えば、画像はモデルペースト符号化、音
声はＣＥＬＰ等を用いて符号化すれば良い。一方、図２
９中の飛行船のように背景としては作成されなかったが
ある程度の精度で伝えたいものはジュネリックな符号化
を用いて中心人物よりは低い精度で符号化する。

【０１５５】４５５はネットワーク及び蓄積媒体とのイ
ンタフェースである。ここでは、背景画像／音作成器４
５２からの要求に応じて外部のデータベース、街角カメ
ラ及び他の入力装置との間のアクセスが行われ、得られ
たデータを背景画像／音作成器４５２に送り返す。ま
た、背景画像／音作成器４５２から出力された背景画像
／音に関する情報と符号化器４５４から出力された非背
景画像／音の符号化情報を多重化し、蓄積媒体４５６、
外部蓄積装置４６５、あるいは後述する外部の再生装置
へ送り出す。

【０１５６】多重化に際しては、再生のために必要な最
小限の情報のみが選択される。例えば、再生装置がネッ
トワーク４６６に接続されており、データベース４６
３、街角カメラ／マイク４６４、他の入力装置４６２に
もアクセス可能である場合は、これらの外部装置から得
られる情報についてはその情報は伝送する必要がない。
例えば図２９の画像について説明すれば、空、建物、太
陽については入力装置４６０の現在地や撮影方向、気象
条件、日時等がわかれば再生装置内部のデータベースや
外部データベース４８２の画像を素に変形、補間、合成
を行って作成することが可能であるため、現在地、撮影
方向、気象条件、日時等の情報のみを伝送すれば良い。
ただし、再生がリアルタイムで行われる場合には日時は
入力装置と同一（あるいは時差がある場合でも補正可
能）であるため伝送の必要がない。さらには入力装置と
再生装置の位置が比較的近い場合には気象条件もそれほ
ど大きな差がないと考えられるため必要によって伝送し
ないようにしても良い。なお、現在地、撮影方向情報は
カメラが固定の場合には伝送の最初に１度だけ伝送する
ようにしても良く、また、カメラの動く範囲が狭い場合
には最初に初期現在地、撮影方向を伝送してその後はそ
の修正情報を伝送するようにしても良い。次に、破線４
７４内の部分、背景内の人物４７１ｂは、リアルタイム
再生を行う場合には、街角カメラ４６３や他の入力装置
４６２から得ることができるので、どの街角カメラ、入
力装置から得た情報をどのように変形、切り出しを行っ
たかを表す情報のみを伝送するようにしても良い。一
方、蓄積系等非リアルタイム再生を行う場合には、街角
カメラ、他の入力装置からのリアルタイムな情報を得る
ことができない。街角カメラ、他の入力装置内に蓄積手
段が付属されており、再生装置での背景画像生成のため
に必要な情報をその蓄積手段中に記録しておくことが可
能な場合には、入力装置４６０は街角カメラ、入力装置
に対して、必要な情報を記録しておき再生装置からの要
求に応じてその情報を提供することを要求する。街角カ
メラ、他の入力装置が情報を蓄積することが不可能な場
合には、外部蓄積装置４８１へ情報を蓄積しておいても
良い。この場合には街角カメラ、他の入力装置から外部
蓄積装置への情報伝送を行うだけで良く、入力装置４６
０から送り出される情報量は増加しない。それも不可能
な場合には、インタフェース４５５での多重化の際に領
域４７４，人物４７１ｂ部分の画像情報も多重化してお
く。なお、中心人物４７１ａや飛行船のような非背景情
報については他の装置から情報を得ることができないた
め、伝送／蓄積する情報中に必ず含めるようにする。

【０１５７】さらに、インタフェース４５５は他の入力
装置における背景の一部画像／音作成の素となる入力画
像を提供するためのインタフェースの役割を持つ。例え
ば、他の入力装置Ａにおいて人物４７１ａの画像を提供
することを要求されている場合、非背景情報のうち人物
画像に関する符号化情報を要求があった入力装置Ａに伝
送する。ここで、画像／音声情報を後述の画像／音声再
生装置にも伝送しており、この情報列中に入力装置Ａが
要求している人物画像も含まれている場合には、入力装
置Ａのために別個に人物画像情報を伝送する必要はな
く、再生装置に対する情報列をネットワークから取り込
みこのうち人物画像情報のみを取り出して用いるように
入力装置Ａに要求しても良く、この場合は本入力装置４
６０からの伝送情報量を新たに増やす必要が無くなる。
また、ネットワーク全体に流れている総情報量や入力装
置４６０に割り当てられている情報量、あるいは入力装
置４６０の許容処理量等から考えて、入力装置Ａからの
情報提供要求に答えることが不可能であると判断される
場合は、この要求を拒否しても良いし、入力装置Ａに伝
送する画像の品質を落とす（すなわち情報提供に係わる
情報量を削減する）ことを要求しても良い。

【０１５８】図２０は入力された画像／音を再生する装
置のブロック図である。再生に必要な情報はネットワー
ク４６６または蓄積媒体４５６あるいはその両方を介し
て再生装置４９０に提供される。４９１はネットワーク
４６６及び蓄積媒体４５６とのインタフェースであり、
外部データベース４６３、街角カメラ／マイク４６４、
他の入力装置４６２、外部蓄積装置４６５に必要な情報
を提供するよう要求し、蓄積媒体４５６から、あるい
は、ネットワークを介して入力装置４６０、外部データ
ベース４６３、街角カメラ／マイク４６４、他の入力装
置４８５、外部蓄積装置４６５から画像／音情報を入力
し、背景情報と非背景情報に分解し、それぞれ背景画像
／音作成器４９２、非背景画像／音再生器４９４へ出力
する。

【０１５９】非背景画像／音再生器では非背景部分の画
像／音の再生が行われる。非背景情報は高能率符号化さ
れているため、これを復号する処理が行われる。これ
は、図２８の入力装置４６０の符号化器４５４に対応す
る復号処理である。

【０１６０】背景画像／音作成器４９２では背景画像／
音が作成される。図２９の画像の例で説明すると、空、
建物、太陽のように、入力装置４６０で内部データベー
ス４５３の画像を素に季節、日時、気象条件に応じた変
形を行って作成した部分は、再生装置内のデータベース
４９３から該当する画像を選択しそれを変形して背景画
像とする。

【０１６１】ただし、入力装置のデータベース４５３と
再生装置のデータベース４９３が異なり、再生装置内の
データベース４９３中に選択しようとする画像が存在し
ない場合には、再生装置内のデータベース４９３中の類
似の画像を用いるか、外部データベース４６３をアクセ
スして入力装置のデータベース４５３中の画像と同一か
類似の画像を取り出し、それを適宜変形して背景画像を
作成する。例えば、空は現在地が少し異なってもあまり
大きな差異は無い（例えば日本国内ならば空はほぼ同じ
と考えられる）ので、類似の地域の空画像をデータベー
スから選択し、必要に応じてそれを変形して用いれば良
い。

【０１６２】建物はデータベースに画像が存在するが撮
影方向が少し異なるような場合はこれを補正する変形を
行って画像を作成すれば良い。あるいは、建物が存在す
ることには意味があるが、その建物の形そのものはそれ
ほど重要でないと判断されるときには、適当な建物画像
をデータベースから取り出して当てはめても構わない。
動く車や背景内の人物４７１ｂはそれぞれ街角カメラ及
び他の入力装置から入力された画像である。この部分に
ついてはそれぞれ該当する街角カメラ及び入力装置に情
報を伝送してもらうように要求し、伝送された情報をも
とに該部分の画像を作成する。

【０１６３】ただし、再生が非リアルタイム的に行われ
る場合には、入力装置４６０で背景画像作成を行った時
刻と再生時刻に街角カメラや他の入力装置から入力され
ている画像は異なるため、それをそのまま用いることは
できない。この場合、前述のように街角カメラ及び他の
入力装置中に蓄積媒体がありそこに入力装置４６０で背
景作成を行った時刻の画像情報が蓄積されている場合に
は、その画像情報を伝送するよう要求して背景作成を行
う。あるいは、入力装置に接続されている蓄積媒体４５
６や外部蓄積装置４６５に該当する画像情報が蓄積され
ている場合にはその画像情報を伝送してもらえば良い。
あるいは、入力装置４６０からの伝送情報中に該当部分
の画像情報がジュネリックな符号化列として含まれてい
る場合にはそれを素に復号処理を行い画像を得ることが
できる。

【０１６４】これら、いずれにも画像情報が蓄積されて
いない場合には、データベース中の画像、あるいは、街
角カメラ、他の入力装置から現在入力されている画像か
ら類似の画像を探して背景画像を作成する。例えば、街
角カメラの画像を用いた領域４７４内の部分について
は、同一の街角カメラからの入力画像を用いれば良い。
この際、入力装置４６０での画像入力時と再生時刻での
時刻、季節、気象条件等の相違を補正するため、照度、
通行する車の数等について変形加工を行って背景画像と
して用いても良い。

【０１６５】非背景画像／音作成器４９４で再生された
非背景画像／音と背景画像作成器４９２で作成された背
景画像／音は合成器４９５で合成される。非背景情報に
はそれぞれ全景中のどの位置にあるものかを示す情報が
含まれておりそれをもとにもとの入力画像と同一の位置
に非背景画像の合成が行われる。

【０１６６】なお、合成器４９５における合成にあたっ
ては、全景画像／音を忠実に再現するだけでなく、必要
に応じて一部分を高精細に取り出す等の処理が可能であ
る。例えば、背景画像／音は必要なく中心人物の画像／
音のみが必要な場合には中心人物の画像と音声情報のみ
を再生して取り出せば良い。あるいは、その中でも顔画
像のみを取り出して再生することも可能である。また、
音については音声信号と背景音の混合の強度を好みに応
じて変えることも可能であり、例えば、音声をはっきり
と聞きたい場合には音声信号を大きくすれば良い。

【０１６７】また、有音／無音判定情報に基づき有音時
には背景音を小さくし無音時には背景音を大きくすると
いう適応処理を行うことにより中心人物の音声も分かり
やすく、かつ、背景の状況も把握し易くなる。また、背
景部分についても全景でなく中心人物の周囲のみのよう
に一部分を切り出して用いても良い。あるいは、逆にも
っと広範囲の背景情報が必要な場合には、伝送／蓄積さ
れた現在地、時刻、気象条件等を用い、データベースや
街角カメラから該当する画像を探して変形を行って大き
な背景画像を作成することが可能である。また、背景部
分についてさらに高精細な画像／音が必要な場合にその
部分をクローズアップすることも可能である。

【０１６８】例えば、図２９の背景中の人物の精細な画
像及び会話の内容を得たい場合、その人物画像を取り込
んだ他の入力装置に該当する人物画像及び音声の情報を
伝送してもらうよう要求し、その情報をもとに画像、音
声の再生を行えば良い。

【０１６９】図２７及び図３０の入力装置においては、
背景と非背景の情報が分離されているため、必要に応じ
て背景部分を他の画像／音に置き換えたり、時刻、気象
条件等のパラメータを変化させることにより同一場所の
異なる条件の背景画像／音に置き換えて画像／音を合成
することが容易に行える。

【０１７０】図２５と図２７及び図２８と図３０では入
力装置と再生装置が分離して存在する例について述べた
が、入力装置と再生装置は同一きょう体あるいは接続し
て用いても構わない。この場合、データベースや蓄積媒
体、ネットワークインタフェース等の共用化が可能とな
る。また、他の実施例において他の入力装置４６２と再
生装置４９０が接続されている場合には、そこから取り
込んだ画像４７１ｂはネットワークを介して伝送する必
要は無い。

【０１７１】次に、本発明に係る第５の実施例を図面に
従い説明する。図３３は同実施例を表すブロック図であ
る。この例では、３個のカメラからなる構成をとり、情
報源は人間の顔情報とする。図３３において、情報源５
１１はカメラＡ５１２ａ、カメラＢ５１２ｂ、カメラＣ
５１２ｃを介してそれぞれ異なる限定された情報として
入力される。この実施例では、カメラＡ５１２ａは右
目、カメラＢ５１２ｂは左目、カメラＣ５１２ｃは口情
報を得るのに適当な位置に設置されているとする。

【０１７２】カメラＡ５１２ａを介して、右目を含む画
像として右目情報を得る。該右目情報は右目状態獲得手
段５１３ａの入力となる。右目状態獲得手段５１３ａで
は、右目が開いているか閉じているかに応じて１ビット
の情報を出力する。目が開いているか閉じているかの判
定は、例えば右目情報にエッジ強調フィルタをかけ、雑
音除去フィルタをかけた後に、その出力信号を拡大・縮
退操作することで線分化する。このように線分化するこ
とを、今後簡単のため線分化処理すると呼ぶ。線分化処
理の流れ図を図３４に示す。また、拡大・縮退操作する
ことで線分化が行われる様子を図３５に示す。このよう
にして得られた線分化画像内に存在する最も面積の大き
な閉領域の大きさがある基準値より大きい場合、目が開
いていると判定し、基準値より小さい場合は目が閉じて
いると判定する。

【０１７３】また、カメラＢ５１２ｂより獲得される左
目情報は左目状態獲得手段５１３ｂの入力となり、該左
目状態獲得手段５１３ｂでは同様の方法で左目が開いて
いるか閉じているかを判定し、１ビットの情報を出力す
る。カメラＣ５１２ｃより獲得される口情報は、口状態
獲得手段５１３ｃの入力となり、その出力として口の形
を表す口状態を得る。口状態獲得手段５１３ｃでは、口
の形としてあらかじめ用意されているテンプレートテー
ブルに含まれるテンプレートの中で、該テンプレートと
口情報を線分化処理することにより得られる口線分情報
との間の類似度が最大となる候補を選択することで達成
される。

【０１７４】次に、類似度が最大となるテンプレートの
選択法の一例について説明する。前記口線分画像から口
の横方向の長さＨ、口の縦方向の長さＶを測定し、（Ｈ
とＶの関係を図３９に示す）この２つの値とテンプレー
トテーブルのＨｔ，Ｖｔとの間で、 Ｅｔ＝｜Ｈ−Ｈｔ｜＋｜Ｖ−Ｖｔ｜ 但し、ｔ＝０〜Ｔ−１ を求め、Ｅｔが最小となるテンプレートが類似度が最大
とみなし、テンプレート番号ｔを口状態として出力する
（テンプレートテーブルの一例を図４０に示す）。テン
プレートテーブルに含まれるテンプレートの数は、口が
閉じている状態を含め最低２個は必要でわり、音素の種
類だけ用意されていることが望ましい。

【０１７５】出力画像生成手段５１４では、人工画デー
タベース５１５から一つの人工画をあらかじめ選択して
おき、順次入力される右目状態、左目状態、口状態を基
に人工画データベースから小片を読みだし、人工画の対
応する各部分に当てはめて出力画像を生成し、表示機器
５１６に表示する。

【０１７６】次に、本実施例の他の一例を図３７に従い
説明する。なお図３７に含まれる各名称で図３３と同じ
名称を持つものは、上述したものと同じ機能を有するの
でここでは説明を省略する。

【０１７７】ここで、図３７に示す実施例について図３
３で述べた実施例との違いは、音響マイク５２２が構成
に含まれることと、この音響マイク５２２から得られる
音声情報が音声コーデック５２２ａを介してスピーカ５
２２ｃから出力されるとともに、この音声情報から得ら
れる音声状態を用いて口状態を状態補正手段５２７によ
って補正する点にある。つまり、先の実施例では口情報
からのみ口状態を決定していたのに対し、この実施例で
は口情報と音声情報の両者から口状態を決定する点が異
なる。

【０１７８】音声状態は音声情報を入力とする音声状態
獲得手段５２６の出力として得ることができる。音声状
態獲得手段５２６では、既存の音素認識技術を用いて得
られる音素情報から、図４０に示されるテンプレートテ
ーブルを参照し、テンプレート番号ｔｓを音声状態とし
て出力する。

【０１７９】以下に、状態補正手段５２７の一実現法を
図３８を用いて説明する。状態補正手段５２７の入力と
して口状態ｔと音声状態ｔｓが与えられ、制御信号によ
って信頼性の高い状態が選択され出力される。制御信号
は、例えば背景雑音のレベルが小さいとき音声状態の信
頼度の方が口状態の信頼度より高いと考えられるので、
音声状態を選択するよう制御する。逆に、背景雑音レベ
ルの高いときは、音声状態より口状態の方が信頼性が高
いので（背景雑音により、音素が誤認識される可能性が
高いから）、口状態を選択するよう制御する。こうする
ことで、信頼性の高い口の動きを得ることができるた
め、より自然な合成画像を得ることができる。

【０１８０】次に、本実施例のさらに他の実施例を図４
１に従い説明する。なお図４１に含まれる各名称で図３
３と同じ名称を持つものは、上述したものと同じ機能を
有するのでここでは説明を省略する。

【０１８１】ここで、図４１に示す実施例について図３
３で述べた実施例との違いは、先の実施例では人工画デ
ータベースに含まれる人工画の組み合わせから合成画像
を生成していたのに対し、第３の実施例では入力情報か
ら得られる線画の組み合わせにより合成画像を生成する
点が異なる。

【０１８２】次に、右目線画獲得手段６０２について説
明する。右目線画獲得手段６０２では、右目情報に線分
化処理を施し右目線分化画像を得る。このようにして得
られた線分化画像内に存在する最も面積の大きな閉領域
を右目であると判定し、該閉領域の外側に存在する線分
は全て雑音だと考え、削除する。その様子を図４２に示
す。雑音削除された右目線分化画像を右目線画として出
力する。左目線画獲得手段６０３も同様に、左目情報か
ら左目線画を得ることができる。

【０１８３】また口線画獲得手段６０４は、口情報に線
分化処理を施し口線分化画像を得て、前記線分化画像に
存在する最も大きな面積を有する閉領域を口であると判
定し、該閉領域の外側に存在する線分は全て雑音だと考
え削除する。雑音削除された口線分化画像を口線画とし
て出力する。

【０１８４】出力線画作成手段６０５では、あらかじめ
適当な輪郭線画、髪型線画を線画データベース６０６か
ら選択しておき順次入力される右目線画、左目線画、口
線画を前記輪郭線画の対応する位置にはめ込み出力線画
を作成し、表示機器６０７に表示する。

【０１８５】次に、本実施例の他の一例を図４３に従い
説明する。なお図４３に含まれる各名称で図４１と同じ
名称を持つものは、上述したものと同じ機能を有するの
でここでは説明を省略する。

【０１８６】ここで、図４３に示す実施例について図４
１で述べた実施例との違いは、音響マイク６１２が構成
に含まれることと、この音響マイク６１２から得られる
音声情報が音声コーデック６１２ａを介してスピーカ６
１２ｂから出力されるとともに、この音声情報から得ら
れる音声状態を用いて口線画を線画補正手段６１８によ
って補正する点にある。つまり、先の実施例では口情報
からのみ口線画を決定していたのに対し、この実施例で
は口線画と音声状態の両者から口線画を決定する点が異
なる。

【０１８７】状態補正手段６１８については、前述した
実施例の状態補正手段５２７と同じなので、ここでは説
明を省略する。ただし、この実施例の線画補正手段６１
８で音声状態が選択された場合には、音声状態に対応す
る音素の線画が選択され口状態として出力される点が実
施例の状態補正手段５２７と異なる。また、状態補正手
段６１８の一実現法として、背景雑音のレベルによって
切り替える方法があるが、これは前述した第２の実施例
で説明してあるので、ここで新たに説明することは避け
る。

【０１８８】次に本発明に係る第６の実施例について説
明する。図４５は本発明を顔画像の符号化に用いる場合
の実施例を示したものである。図中６４２〜６４４はカ
メラ、６４１はマイクである。カメラ６４２は背景を含
む顔全体、カメラ６４４は目の周辺、カメラ６４２は口
の周辺や顎をそれぞれ撮す。カメラ６４４，６４２は目
や口に追従できるように可動できる。カメラ６４３は固
定でもよい。マイク６４１は写っている人物の声を拾
う。これらの入力装置から以下の画像情報や音声情報を
得る。すなわちカメラ６４３，６４４，６４２から各々
顔全体の画像６４５、目の周辺の画像６４７、口元の画
像６４８、マイク６４１から音声情報を得る。

【０１８９】これらの情報をもとに処理装置は以下の処
理を行う。顔全体の画像６４５から瞳孔、鼻腔、口腔等
を識別し位置関係を調べることで顔全体の動きを検出す
る。すなわち同瞳孔や口の間隔が変化しなければ平行移
動、同一の割合で伸縮すれば前後方向の移動として検出
される。次に顔全体の動きを参照してカメラ６４４，６
４２を目や口に追従させる。目の周辺の画像６４７と口
元の画像６４８を別に得るのは顔面内で目と口元は動く
頻度が高く形状の変化も大きいためである。目の周辺や
口元の動き検出にはそれらの画像６４７，６４８を用い
る。合成の際の処理を図４６に示す。顔全体の画像６５
０に目の周辺と口元の画像６４７，６４８を内挿する。
その内挿処理による復号画像の歪を抑えるため、分析す
る時に予め内挿した画像と顔全体の画像ｘとの誤差が小
さくなるように目の周辺や口元の画像６４７，６４８の
大きさなどを調整しておく。なお、目や口の部分に限ら
ず、他の部分も画像品質の関係上必要があれば同様の方
法で撮るようにしてもよい。

【０１９０】顔画像を符号化する場合、目の周辺や口元
の画像は画像６４７，６４８、それ以外の部分は全体の
画像６４５に相当する画像を異なる時刻に撮り、それら
に対して動き検出、動き補償などの処理を行うようにす
る。

【０１９１】また被撮影者の顔のモデルをワイヤフレー
ムモデル、または顔面や頭髪の形状、色等の詳細を記録
した実物に近いモデルなどを使用して動きや色の変化等
の符号化を行う方式において、本実施例では以下のよう
に各部の動きの情報を与える。例えば顔全体の動きとし
て回転があるが、先に述べた顔全体画像からの瞳孔、口
腔の位置検出を利用して回転の検出を行うことができ
る。同瞳孔が高さ方向に位置がずれれば顔面内の回転、
間隔が狭まりながら画面の左右に寄れば首回りの回転、
及び瞳孔と口腔の間隔が変化しながら上下方向にずれれ
ば前後の回転としてそれぞれ検出する。図４７に上述し
た顔の動きと瞳孔、口腔の位置の変化を示す。（ａ），
（ｂ），（ｃ）がそれぞれ顔面内の回転、首回りの回
転、前後の回転の様子を表している。また目や口等の顔
の局部的な動きの詳細な分析情報は目の周辺や口元の画
像ｘ，ｘから得る。口周辺の動きは複雑であるため、そ
れをパターン化し、音声認識と併せて発音にあったパタ
ーンを選ぶようにしてもよい。音節と声の大きさのみの
情報を得てそれに合わせて口を開閉するような更に単純
化した方法もある。またモデルと実際の画像には多くの
場合差分が生じるが必要に応じてそれを伝送するように
してもよい。

【０１９２】図４８は目の周辺を撮す画像入力装置の別
の実施例である。入力装置６６０は眼鏡の形状をしてお
り、フレームにカメラ６６１が内蔵されている。眼鏡の
レンズ部分６６２はハーフミラーになっていて、それに
映った目の周辺部を横のフレームにあるカメラ本体６６
１で撮る。カメラ６６１に取り込まれた画像は先の実施
例同様有線または無線で伝送される。カメラが顔と一体
になっているため、目の位置を検出して追随させる機能
が不要になる。またこの入力装置にジャイロ等を内蔵し
ておくと顔の角度、回転を顔画像からの分析処理を経る
ことなく直接検知できる。この情報は先述のワイヤフレ
ームモデル等を動かすのに用いる。

【０１９３】次に本発明をマンマシンインタフェースに
用いた場合の実施例を挙げる。図４９は顔全体の画像と
目の周辺の画像を利用して視線の方向を補捉する処理に
ついて示したものである。まず顔全体の画像６６５を参
照し、測距装置６６４で目の正確な位置を検出し、次に
目の周辺の画像６６６によって視線の向いている方向を
調べて何を見ているかを特定する。測距装置６６４には
例えば向きの制御と距離を出力することができる自動焦
点カメラを用いると目とカメラの間の距離及びカメラの
向きから目の位置を割り出すことができる。この処理は
一般的に、装置の操作画面などにも用いることができ
る。被撮影者の周囲を撮るカメラを別に用意しておけば
広い範囲にわたって被撮影者が見ている物を補捉するこ
とができる。

【０１９４】顔全体の動きを検出するために赤外線カメ
ラによる画像を併せて用いるとより精度を上げることが
できる。瞳孔、鼻腔、口腔等は皮膚の表面より温度が低
いので赤外線カメラによる画像を用いてそれらを識別す
る。通常のカメラの顔全体画像ｘとの照合の方法として
は、赤外線の画像と通常のカメラの画像で各々顔の部分
の抽出を行い、目や口に対応する輝度の変化等が両者で
一致するかを比較すればよい。

【０１９５】

【発明の効果】以上、本発明によれば、情報入力の手段
が複数あるので多元的に情報をとらえることができ、情
報の特性に合った処理で情報のエッセンスを効率的に獲
得することが可能となる。これらの多元情報を統合する
際は不要な情報は除き、互いの情報の属性をもとに情報
の統合化を行うことにより、情報の加工、合成が容易に
なる。また、符号化においても効率的に情報量の削減が
できるようになる。

【０１９６】また、本発明によれば、複数のカメラの動
きの中から、実際に符号化すべき画面内の動物体、ある
いは動部分の動きを最もよく表現する動きを初期動きベ
クトルとして利用できるので、実際の動きを全て動きベ
クトルとして表現する必要が無くなり、ＭＣによる動き
ベクトルの発生情報量を少なくすることが可能となる。
さらにカメラの動きによって動き量検出範囲が自動的に
拡大されるので、実際の動きベクトルを計算する際には
検出範囲を限定することが可能になり、動きベクトルに
割り当てる符号も減少して、動きベクトル情報をさらに
少なく抑えることも可能となる。

【０１９７】また、本発明のメディア処理システムは、
使用者の画像（客観視点の画像）と使用者が見ている環
境画像（主観視点の画像）を同時に１つの自然で臨場感
のある画像として提供できる。また、背景画像を秘匿化
する場合には、使用者側の音の変化に合った単調になら
ない秘匿化された背景画像を提供できる。

【０１９８】また、本発明によれば重要な部分の解像度
を向上でき、また、撮影環境の変化に自動的に追随する
ことが可能となる。

【０１９９】また、本発明によるメディア入力装置で
は、入力画像における背景部分のように入力条件がわか
ればおおよその画像を再生することが可能な部分を判定
し、この部分については入力条件情報のみを伝送／蓄積
するようにして伝送／蓄積に必要な情報量を大幅に削減
している。また、伝送／蓄積される情報は入力画像／音
が構成要素毎に分解されているため、再生装置において
特定の構成要素のみを取り出したり、ある構成要素を他
の画像／音に置き換えたりといった処理を容易に行うこ
とができる。

【０２００】また、本発明によれば限定された情報から
画像を合成できるので非常に少ない情報で動画像を表現
することができる。また、高精細な人工画を基に動画像
を生成するため、歪のない高品質な動画を生成すること
ができる。また、好みの人工画をデータベースから選択
できるため、同一の情報源に対し様々な合成画像を得る
ことができる。さらに、合成画像の動きは音声情報によ
り補正されているため、違和感の無い合成画像を得るこ
とができる。さらに、前記人工画のかわりに線画による
画像合成が可能になる。

【０２０１】さらに、本発明によれば、顔全体の動きと
顔面内の各部の局所的な動きに関する情報を各々分離し
て正確に得ることができる。従って顔画像を符号化する
際は顔の動きを効率良く符号化することができる。また
モデルベース符号化やマンマシンインタフェースへの適
用において、前記のように顔の動きを自然で合理的に分
析できるため性能向上を実現することができる。

【図面の簡単な説明】

【図１】本発明の概略の構成を示すブロック図である。

【図２】本発明に係る第１の実施例の符号化側、および
復号化側の構成を示すブロック図である。

【図３】符号化器の内部構成を詳細に示すブロック図で
ある。

【図４】動き補償の一実施例を示すブロック図である。

【図５】本発明に係る他の一実施例の構成を示すブロッ
ク図である。

【図６】従来の構成を示すブロック図である。

【図７】本発明に係る第２の実施例のメディア処理シス
テムを示すブロック図である。

【図８】第２の実施例に係る他の実施例のメディア処理
装置のブロック図である。

【図９】画像合成の一例の説明図である。

【図１０】第２の実施例に係る他の実施例のメディア処
理装置のブロック図である。

【図１１】第２の実施例に係る他の実施例のメディア処
理装置のブロック図である。

【図１２】従来の構成を示すブロック図である。

【図１３】本発明に係る第３の実施例の構成を示すブロ
ック図である。

【図１４】第１の撮像画像を示す図である。

【図１５】第２の撮像画像を示す図である。

【図１６】合成画像を示す図である。

【図１７】第３の実施例に係る他の実施例を示すブロッ
ク図である。

【図１８】顔領域を示す図である。

【図１９】第３の実施例に係るさらに他の実施例を示す
ブロック図である。

【図２０】撮像手段の一実施例を示す外観図である。

【図２１】図２０に示す実施例で適用される水平保持機
構を示す図である。

【図２２】第３の実施例に係るさらに他の実施例を示す
外観図である。

【図２３】従来例を示す図である。

【図２４】従来例の画素配置を示す図である。

【図２５】本発明に係る第４の実施例であるメディア入
力装置の構成を示すブロック図である。

【図２６】図２５のメディア入力装置からの入力画像と
背景／非背景分離を説明する図である。

【図２７】図２５の入力装置に対応する画像再生装置の
構成を説明する図である。

【図２８】第４の実施例のメディア入力装置の他の実施
例を示すブロック図である。

【図２９】図２８に示すメディア入力装置からの入力画
像と背景／非背景分離を説明する図である。

【図３０】図２８に示す入力装置に対応する画像再生装
置の構成を示すブロック図である。

【図３１】従来の技術によるメディア入力装置の一例を
示すブロック図である。

【図３２】従来の技術によるメディア再生装置の一例を
示すブロック図である。

【図３３】本発明に係る第５の実施例の構成を示すブロ
ック図である。

【図３４】入力画像を線分化する処理の流れ図である。

【図３５】拡大・縮退操作により線分化が行えることを
説明する図である。

【図３６】目が開いているか閉じているかを判定する様
子を説明する図である。

【図３７】本発明の第５の実施例に係る他の例の構成を
示す図である。

【図３８】状態補正手段の実現方法の一例を説明する図
である。

【図３９】ＨとＶの関係を説明する図である。

【図４０】テンプレートテーブルを示す図である。

【図４１】第５の実施例の他の一例の構成を示す図であ
る。

【図４２】線分化画像の雑音の様子を示す図である。

【図４３】第５の実施例のさらに他の一例の構成を示す
図である。

【図４４】従来法を説明するブロック図である。

【図４５】本発明に係る第６の実施例である画像符号化
装置の入力部分を示す図である。

【図４６】画像符号化装置における復号の際の画像処理
を示す図である。

【図４７】顔の動きと瞳孔、口腔の位置の変化を説明す
るための図である。

【図４８】目の周辺を撮す画像入力装置の別の実施例を
示す図である。

【図４９】本実施例をマンマシンインタフェースに用い
た場合の例を示す図である。

【図５０】従来の方法による動き検出を示す図である。

【符号の説明】

１ 情報源 ３，１１０，２０１ 限定入力装置 ５，１４０，３０３ 処理装置 ７，２０４，２１３ 出力装置 １２０ 符号化器 １３０ 動き量設定回路 １５０ 復号化器 ２０３，２０７ 処理部 ２０５ 入力装置 ２０８ 背景分離除去部 ２０９ サイズ設定部 ２１０ 範囲設定部 ２１１ 鏡像反転部 ２１２ 画像セレクタ ３０１，４０１，５１２ カメラ ３０４ ディスプレイ ４０２，６４１ マイク ４０７ 背景抽出部 ４０８ 背景画像／音決定部 ４０９ 画像／音データベース ４１１ 多重化部 ５１３ 状態獲得手段 ５１４ 出力画像作成手段 ５１５ 人工画データベース ５１６ 表示機器 ６４２ 口元を撮るカメラ ６４３ 顔全体の画像を撮るカメラ ６４４ 目の周辺を撮るカメラ ６４５ 顔全体の画像 ６４７ 目の周辺の画像 ６４８ 口元の画像 ６４７ 復号化された目の周辺画像 ６４８ 復号化された口元の画像 ６５０ 最終的に復号化された顔全体の画像 ６６０ 目の周辺の画像の入力装置 ６６１ カメラ ６６２ レンズ（ハーフミラー） ６６３ 顔全体を撮るカメラ ６６４ 目の周辺を撮り測距機能を持つカメラ ６６５ 顔全体の画像 ６６６ 目の周辺の画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊池 義浩 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 押切 正浩 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 神庭 進 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 対象とする情報をそれぞれが限定して情
   報を獲得する複数の入力手段と、 この獲得された獲得情報の属性に基づいて獲得情報の統
   合化を行う処理手段と、 この処理手段で統合化されて得られる処理情報を出力す
   る出力手段とを有することを特徴とするメディア処理シ
   ステム。
2. 【請求項２】 対象とする情報をそれぞれが限定して情
   報を獲得する複数の入力手段と、 この獲得された獲得情報から重要度の低い情報を除いて
   当該獲得情報の統合化を行う処理手段と、 この処理手段で統合化されて得られる処理情報を出力す
   る出力手段とを有することを特徴とするメディア処理シ
   ステム。
3. 【請求項３】 情報対象に係る画像情報をそれぞれが限
   定して獲得する複数の画像情報入力手段と、 この獲得された獲得画像情報に含まれる情報対象の経時
   的変化を検出する検出手段と、 この検出手段で得られる経時的変化情報を出力する出力
   手段とを有することを特徴とするメディア処理システ
   ム。
4. 【請求項４】 情報対象に係る画像情報を含む情報をそ
   れぞれが限定して獲得する１又は複数の第１の情報入力
   手段と、 この第１の情報入力手段を操作するものを情報対象とし
   て画像情報を含む情報を獲得する第２の情報入力手段
   と、 前記第１の情報入力手段で獲得された第１の情報と第２
   の情報入力手段で獲得された第２の情報とを合成する合
   成手段とを有することを特徴とするメディア処理システ
   ム。
5. 【請求項５】 情報対象に係る画像情報をそれぞれが限
   定して獲得する１又は複数の第１の画像情報入力手段
   と、 この第１の画像情報入力手段で獲得された第１の画像情
   報に含まれる任意の領域に係る画像情報を獲得する第２
   の画像情報入力手段と、 前記第１の画像情報入力手段で獲得された第１の画素値
   データの間に、前記第２の画像情報入力手段で獲得され
   た第２の画素値データを挿入する手段処理とを有するこ
   とを特徴とするメディア処理システム。
6. 【請求項６】 情報対象に係る情報を獲得する第１の入
   力手段と、 情報対象の一部を置き換えるための候補を蓄積しておく
   候補蓄積手段と、 情報対象入力における入力条件を得る入力条件獲得手段
   と、 情報対象に係る情報を獲得する第２の入力手段と、 前記入力条件獲得手段で獲得した入力条件と前記第１の
   入力手段からの入力情報とをもとに、少なくとも前記候
   補蓄積手段と第２の入力手段の一方からの情報から置き
   換えのもととなる情報を選択し、当該情報対象入力の一
   部を置き換え情報に置き換える置き換え手段とを有する
   ことを特徴とするメディア処理システム。
7. 【請求項７】 情報対象の画像情報をそれぞれが限定し
   て獲得する複数の画像情報入力手段と、 情報対象の音響情報を獲得する音響情報入力手段と、 前記複数の画像情報入力手段と音響情報入力手段でそれ
   ぞれ獲得される獲得情報から各々の情報対象の状態を獲
   得する状態獲得手段と、 この状態獲得手段で獲得された情報対象の状態に対応し
   て人工画の各部位を補正する補正手段とを有することを
   特徴とするメディア処理システム。
8. 【請求項８】 情報対象に係る画像情報を獲得する第１
   の画像入力手段と、 この第１の画像入力手段が獲得する画像領域の一部また
   は全領域の画像情報を獲得する第２の画像入力手段と、 前記第１の画像入力手段と第２の画像入力手段が獲得し
   た画像情報の少なくとも一方の経時的変化分を抽出する
   抽出手段と、 この抽出手段で抽出された経時的変化分に応じて前記第
   １の画像入力手段で獲得された画像情報の一部を前記第
   ２の画像入力手段で獲得された画像情報に置き換える置
   き換え手段と、 この置き換え手段による画像情報の置き換えを、前記第
   １の画像入力手段で獲得された画像情報に含まれる情報
   対象の全体的な動きに伴う当該情報対象の一部に動きに
   対応するべく制御する制御手段とを有することを特徴と
   するメディア処理システム。