JPH08237655A - 画像伝送方法、画像符号化装置および受信機 - Google Patents

画像伝送方法、画像符号化装置および受信機

Info

Publication number
JPH08237655A
JPH08237655A JP7309935A JP30993595A JPH08237655A JP H08237655 A JPH08237655 A JP H08237655A JP 7309935 A JP7309935 A JP 7309935A JP 30993595 A JP30993595 A JP 30993595A JP H08237655 A JPH08237655 A JP H08237655A
Authority
JP
Japan
Prior art keywords
data
mouth
image
frame
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7309935A
Other languages
English (en)
Other versions
JP2753599B2 (ja
Inventor
William J Welsh
ウイリアム・ジョン・ウェルシュ
Brian A Fenn
ブライアン・アラン・フェン
Paul Challener
ポール・チャレナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JPH08237655A publication Critical patent/JPH08237655A/ja
Application granted granted Critical
Publication of JP2753599B2 publication Critical patent/JP2753599B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Collating Specific Patterns (AREA)

Abstract

(57)【要約】 【課題】 少ないデータ量で人間の顔の画像を伝送す
る。 【解決手段】 動きのある口の部分を多の部分と別に処
理し、最初に口の部分のデータの組を伝送し、その後に
そのときどきの口の部分がどのデータに似ているかを表
す符号語を伝送し、受信側では、最初に伝送されたデー
タと、その後に送られてきた符号語とから、実質的に動
きのない顔の画像に口の画像を重ね合わせて表示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動画の伝送および合
成に利用する。特に、人間の顔の画像の符号化および表
示に関する。
【０００２】
【従来の技術】動画を伝送するためには、データ量が多
いため高速の伝送速度が必要となる。このため、一般の
電話回線を利用して動画を伝送することはできなかっ
た。
【０００３】
【発明が解決しようとるす課題】電話回線を利用する画
像伝送では、実質的に顔の部分だけを伝送する応用が多
い。本発明は、これを利用して、顔のなかの動きの多い
口の部分に着目して顔の動画を伝送する装置を提供する
ことを目的とする。
【０００４】
【課題を解決するための手段】本発明の第一の発明は画
像伝送方法であり、人間の顔を含む動画像を１フレーム
の画像を表すデータとフレーム毎に変化する特徴部分を
符号化したデータとにより表現して伝送する画像伝送方
法において、特徴部分は口であり、送信側では、画像の
個々のフレームから口の部分のデータを識別し、第一の
動作段階として、各フレームの口の部分のデータを他の
フレームの口の部分のデータと比較して典型的な口の部
分のデータの組を選択し、選択されたデータの組を蓄え
るとともに、そのデータの組を動画像復号化のためのデ
ータとして送信し、第二の動作段階として、各フレーム
の口の部分のデータを第一の動作段階で蓄えられたデー
タの組と比較し、最も似ているものを表す符号語を生成
して送信し、受信側では、第一の動作段階に送信側から
受信したデータに基づいて第二の動作段階に送信側から
送信された符号語に相当する口の部分のデータを求め、
それを１フレームの画像を表すデータと組み合わせるこ
とにより動画像を復号化することを特徴とする。
【０００５】口の部分のデータを識別するため、最初に
ひとつのフレームから口の部分のデータを抽出し、その
フレームからのデータとの相関を演算することで連続す
るフレームの口の部分を識別することがい。
【０００６】第一の動作段階では、最初の口の部分のデ
ータを蓄え、それから、連続する各フレームの口の部分
のデータを最初の口の部分のデータおよび他のフレーム
の口の部分のデータと比較し、この比較の結果が所定の
しきい値を越えたときにそのデータを蓄えることがよ
い。この場合、口の部分のデータの比較は、個々の画素
値を減算し、この減算により得られた差の絶対値を加算
することにより行うことがよい。
【０００７】画像中の顔の位置を追跡し、顔の位置を表
す符号データを生成することがよい。
【０００８】口の部分のデータをすでに蓄えられている
データの組の最も似ているものと比較し、その結果があ
らかじめ定められたしきい値を越えているときにはその
データを送信するとともに、データの組の一部として蓄
えることがよい。
【０００９】人間の顔の特徴部分として、口だけでなく
目を用いることもできる。すなわち本発明の第二の発明
では、人間の顔を含む動画像を１フレームの画像を表す
データとフレーム毎に変化する特徴部分を符号化したデ
ータとにより表現して伝送する画像伝送方法において、
特徴部分は口および目であり、送信側では、画像の個々
のフレームから口の部分のデータおよび目の部分のデー
タをそれぞれ識別し、第一の動作段階として、各フレー
ムの口の部分のデータおよび目の部分のデータをそれぞ
れ他のフレームの口の部分のデータおよび目の部分のデ
ータと比較して典型的な口の部分のデータの組および目
の部分のデータの組を選択し、選択されたデータの組を
蓄えるとともに、それらのデータの組を動画像復号化の
ためのデータとして送信し、第二の動作段階として、各
フレームの口の部分のデータおよび目の部分のデータを
それぞれ第一の動作段階で蓄えられた対応するデータの
組と比較し、口の部分および目の部分のそれぞれについ
て最も似ているものを表す符号語を生成して送信し、受
信側では、第一の動作段階に送信側から受信したデータ
に基づいて第二の動作段階に送信側から送信された符号
語に相当する口の部分および目の部分のデータを求め、
それを１フレームの画像を表すデータと組み合わせるこ
とにより動画像を復号化することを特徴とする。
【００１０】本発明の第三の発明は送信側で画像を符号
化する装置であり、人間の顔を含む動画像を符号化する
画像符号化装置において、映像入力信号に対して１フレ
ームの画像を表すデータを出力するフレーム出力手段
と、映像入力信号により表される画像の個々のフレーム
から口の部分のデータを識別する識別手段と、各フレー
ムの口の部分のデータを他のフレームの口の部分のデー
タと比較して典型的な口の部分のデータの組を選択する
手段と、選択されたデータの組を蓄える記憶手段と、選
択されたデータの組を動画像復号化のためのデータとし
て出力する手段と、各フレームの口の部分のデータを記
憶手段に蓄えられたデータの組と比較して最も似ている
ものを表す符号語を生成する符号語出力手段とを備えた
ことを特徴とする。
【００１１】本発明の第四の発明は人間の顔の特徴部分
として口だけでなく目を用いた画像符号化装置であり、
映像入力信号に対して１フレームの画像を表すデータを
出力するフレーム出力手段と、映像入力信号により表さ
れる画像の個々のフレームから口の部分および目の部分
のそれぞれのデータを識別する識別手段と、各フレーム
の口の部分および目の部分のそれぞれのデータを他のフ
レームの口の部分および目の部分のそれぞれデータと比
較して典型的な口の部分のデータの組および典型的な目
の部分のデータの組を選択する手段と、選択されたデー
タの組を蓄える記憶手段と、選択されたデータの組を動
画像復号化のためのデータとして出力する手段と、各フ
レームの口の部分のデータおよび目の部分のデータを記
憶手段に蓄えられたデータの対応する組と比較してそれ
ぞれ最も似ているものを表す符号語を生成する符号語出
力手段とを備えたことを特徴とする。
【００１２】本発明の第五の発明は受信機であり、１フ
レームの画像を表すデータを受信して記憶するフレーム
メモリと、このフレームメモリからデータを繰り返し読
み出して映像信号を生成する読出手段と、口の部分のデ
ータの組を受信して記憶する記憶手段と、入力されたそ
れぞれの符号語に応じて記憶手段から対応する口の部分
のデータを読み出し、そのデータを読出手段からのデー
タに挿入する制御手段とを備えたことを特徴とする。
【００１３】制御手段は口の部分のデータをフレームメ
モリに上書きする手段を含んでもよく、口の部分のデー
タを読出手段に供給する手段を含んでもよい。
【００１４】読出手段は、入力データに応答して画像内
の顔の領域を移動させた映像信号を生成する運動手段を
含むことが望ましい。運動手段は、画像の顔の領域をラ
ンダムに動かす構成であることがよい。
【００１５】本発明の画像伝送方法および画像符号化装
置ならびに受信機は、顔および口の画像を伝送するので
はなく、最初に顔の画像を伝送し、さらに一連の口の形
状を伝送しておき、それ以降は口の形状を識別するため
の符号を伝送する。受信機では、最初に送られた顔の画
像を繰り返し表示し、その口の領域に、送信機から送ら
れた少ないビット数の符号でメモリの番地を指定し、こ
こから読み出した口の画像を顔の画像に重ね合わせる。
【００１６】
【発明の実施の形態】図１は本発明の実施形態を示すブ
ロック構成図であり、画像伝送装置の構成を示す。送信
機１は、撮像装置等の映像信号源から話者の顔の映像信
号を受け取り、音声とともに伝送路２を介して受信機３
に送出する。受信機３は、受信した話者の顔の画像をＣ
ＲＴ表示装置等の画像表示装置に表示する。この実施形
態を修正して、伝送路２をビデオ・テープレコーダまた
は半導体メモリ等に置き換えることにより、画像を記憶
することもできる。
【００１７】図２は話者の顔を示し、図３は話者の口の
形状の例を示す。送信機１は動きのある話者の顔５を受
信機３に送信する。通常の発話では、破線で囲まれた領
域、すなわち口の領域６に比べて、顔の大部分の動きは
少ない。したがって、顔５に関する一つの画像と口の形
状の変化とを送信することにより、送信情報量を削減す
ることができる。さらに、現実的には、発話中の口の形
状の変化を比較的少ない典型的な形状で表現することが
できる。したがって、口の形状の符号表を発生して受信
機３に送信しておけば、口の形状に関して送信すべき情
報は、その口の形状を識別するための符号語シーケンス
だけでよい。
【００１８】この装置は知識ベース装置と呼ばれる装置
の一種であり、受信機３では、「学習」の後に話者の顔
５と口の形状との組み合わせを「知る」ことができる。
受信機３は、「学習」段階で、顔の画像をフレームメモ
リに記憶し、一連の口の形状の組を「口」メモリに記憶
する。フレームメモリを連続的に読み出すことにより出
力映像信号が得られる。送信機１からの信号伝送段階で
は、受信した符号語に対応する口画像を「口」メモリか
ら読み出し、これを画像メモリの所定の領域に重ね書き
する。
【００１９】必然的に送信機１の動作は複雑になり、学
習段階に、 （１）最初のフレームを蓄え、適当な符号化（例えば一
般的な冗長性リダクション技術を用いた符号化）を行っ
て受信機３に送信し、 （１）蓄えた画像を分析して、（ａ）話者の頭（頭が移
動しても将来のフレームにおける頭を追跡するため）、
および（ｂ）口、すなわち図２の領域６で定義した部分
を識別し、領域６の座標（および大きさが固定されてい
ない場合にはその大きさ）を受信機３に送信し、 （３）連続するフレームを分析して口を追跡することに
より領域６の現在位置を設定し、最初の画像およびすべ
ての以前に選択された画像と比較して、選択された一連
の口画像の組を構築し、この口画像の組を送信機１に記
憶するとともに受信機３に送信するトレーニングシーケ
ンスを必要とする。
【００２０】伝送段階には、 （４）連続するフレームを（上述の（３）のように）分
析して領域６の位置を識別し、 （５）現在のフレームの領域６の内容を記憶している一
連の口画像と比較し、最も近いものを識別してこれに対
応する符号語を送信する必要がある。
【００２１】フレーム速度を２５〔フレーム／秒〕と仮
定し、「符号表」に２４種の口の形状（５ビット符号）
を登録すると仮定すると、伝送段階で必要なデータ速度
は、１２５〔ビット／秒〕である。
【００２２】この実施形態の装置により得られる受信画
像は、一般的には満足できるものであったが、（ａ）頭
が固定されて表示され、（ｂ）目が変化しない（特に、
話者がまばたきをしない)ために少し不自然さが残っ
た。頭の位置が固定されることについては、受信機３に
おいてランダムな頭の動きを導入することにより、また
は送信機１で頭の位置を追跡して適当な成分を受信機３
に送信することより軽減できる。目についても口と同様
の原理を用いて送信することができ、この場合には「符
号表」がはるかに小さくてすむ。顎および顔の輪郭につ
いても同様である。
【００２３】以上の実施例における送信機１の処理につ
いて説明する。以下では、映像信号源からの映像信号が
解像度１２８×１２８画素のモノクローム画像であり、
頭と肩との画像であると仮定する。このような画像を処
理するうえで、顔の特徴の認識およびそれらの顔上の位
置指定が最初に問題となる。また、頭の向きの決定、口
の形の変化および目の移動の問題がある。ここでは、ナ
ガオ著、「画像認識およびデータ構造」、グラフィック
・ラングエジ、ネイク・アンド・ローゼンバーグ刊、19
72年(M.Nagao,「Picture Recognition and Data Stru-c
ture 」, Graphic Languages, ed Nake and Ro-senfiel
d, 1972) に提案された方法を用いる。
【００２４】ナガオの方法では、エッジ検出により画像
の二値表現を行う。この二値表現された画像をウインド
ウを下に移動して分析し、ウインドウの縦の列毎にエッ
ジ画素を加算する。ウインドウの出力が一連の数列とな
り、その最も大きい数が大きな縦方向のエッジを示す。
この方法により、頭頂部、頭の側部、目、鼻、口の初期
状態の特徴を識別することができる。
【００２５】このアルゴリズムを顎の輪郭が決定される
まで続け、再び顔に戻り、鼻、目、顔の側部の位置をよ
り正確に識別する。アルゴリズム内には帰還プロセスが
設けられ、エラーを検出したときに調査を繰り返すこと
ができる。このようにして、連続した速度で顔の各部を
識別できる。
【００２６】本実施形態では、ナガオのアルゴリズムを
利用し、目、口として識別された特徴の周囲に固定され
た大きさの長方形を描く。この詳細について以下に説明
する。
【００２７】図４は顔の輪郭を識別するためのウインド
ウを示す。同一の解像度で二値画像を得ることのできる
しきい値で元画像のラプラシアン演算を行う。エッジ画
素が黒、他の画素が白として得られる。これにより得ら
れた二値画像の最上行に、１２８画素×８行のウインド
ウを配置する。各コラムの黒画素を加算し、この結果を
１２８×３２要素の配列（第一の配列）の第一行として
蓄える。単位時間毎に４行ずつウインドウを下げ、同じ
処理を繰り返す。32個所のウインドウ位置で同じ処理を
繰り返し、１２８×３２要素の配列を満たす。頭の側部
の位置を決定するため、画像の上部から上記配列の行の
処理を行う。鉛直方向に強いエッジがある場合には、配
列内に大きな値が記憶されている。画像の左側から最初
の位置のエッジを記録し、同時に右側についても記録す
る。これらの点の間の距離（頭の幅）を測定し、この距
離が所定の値以上のとき、目を示す二つの点を調べる。
【００２８】図５は目の動きを調べるための一次元マス
クを示す。このマスクは、鼻に対応する空隙で分離され
た目に対応して、二つのスロット（図５の斜線部）が設
けられている。スロットの幅およびその距離は、測定さ
れた頭の幅に比例した値に選択する。このマスクを頭の
領域で行に沿って移動させる。スロット内に含まれる配
列内の値を加算し、この結果から鼻のスロット内の値を
差し引く。最終的な結果は目の位置を感度よく検出する
ことができる。
【００２９】行方向で最大値があるときには、この最大
値をマスクの位置と共に記録する。次に、マスクを次の
行に移動して同じ処理を繰り返す。一連の最大値からそ
の中の最大値を検出する。この最大値が目の鉛直方向の
位置を示すと考える。この最大値を見つけたときに、マ
スクの水平位置から顔の中心点を推定できる。
【００３０】図６は口の位置を決定するためのウインド
ウを示す。図６には上記マスクの最大値が得られる位置
を合わせて示す。二値画像に対して、目の下の位置から
画像の下まで続くような、１５画素幅のウインドウを顔
の中央部に設定する。ウインドウの各行の黒画素を加算
し、その値を一次元配列（第二の配列）に蓄える。
【００３１】図７はこの第二の配列の度数分布を示す。
この度数分布には、鼻の下部、口および下唇の下の陰が
明確なピークと現れる。これらのピークの分布を用いて
口の位置を決定することができる。領域６の位置を上で
定義したように顔の中心および口の中心（図７の第３５
行) に設定する。この解像度では、領域６の大きさは高
さ２４画素、幅４０画素が適当である。次の段階では、
最初のフレームにおいて識別した口の位置（領域６の位
置）と、学習（および送信）段階の位置とが矛盾しない
ようにする。すなわち、口を常に領域６の中心に配置す
る。
【００３２】連続するフレームの各々に対してナガオの
アルゴリズムで順番に処理すると、フレームが変わると
きに口の領域の登録に非常多くのエラーが発生すること
がわかった。この問題を解決するには、このアルゴリズ
ムを最初のフレームだけに適用し、フレーム毎に口を追
跡する。これは、第一フレームにおける口の位置をテン
プレートとして用い、連続する各フレームで上述の二値
画像と相関をとる。次のフレームの同じ相対位置で口の
位置を調べ、局部最大値を検出するまで時間当たり１画
素ずつマスクを移動させる。この方法を正しい口を用い
たシーケンスを得るために使用し、顔の残りの部分につ
いては最初のフレームを複写する。この処理を行ったシ
ーケンスを実行したところ、ジッタが少し生じたが、エ
ラーは約１画素だけであり、補助画素を挿入する必要が
なく、従来の方法に比べて優れている。
【００３３】図８および図９に口の領域の典型的な二値
画像を示す。図８は開いた状態の口を示し、図９は閉じ
た状態の口を示す。全シーケンスに生じる可能性のある
口の形状のうち典型的な一連の形状の組だけをルックア
ップテーブルに蓄える。このためには、口の形状を認識
し、前に生じた形状と同じか否かを識別する必要があ
る。この識別の後に、新しい口の形状をテーブル内に蓄
える。テーブルのデータ量を制限するため、前に発生し
た口との差の類似性について、量子化プロセスを基本と
する必要がある。これを実現する方法について以下に説
明するが、ここでは、二値画像ではなくグレイスケール
で処理を実行する例を説明する。
【００３４】最初のフレームから、口画像をルックアッ
プテーブルの第一の内容として蓄える。トレーニングシ
ーケンス中の各フレームには、その口画像について、
（ａ）各画素の値をテーブル内の内容から差し引くこと
により比較し、口の領域にわたってこれらの差の絶対値
を加算し、（ｂ）和をしきい値と比較し、しきい値を越
えているときには口画像を新しい内容としてテーブルに
入力する処理を行う。
【００３５】本実施形態における差の絶対値の和を求め
る方法は、動きに対して非常に敏感であるが、例えば二
つの同一な画像が１画素だけずれた場合には、和の値が
非常に小さく、二つの画像を同一とみなすことができ
る。画像全体に比較して小さい動きに対しては、和の値
が小さくなることから無視することができ、小容量のル
ックアップテーブルでも損失なしに口の形状を蓄えるこ
とができる。このためには、各フレーム毎に、そのフレ
ームの口画像について、現在の位置、左に１画素移動し
た位置および右に１画素移動した位置の三つの位置でそ
れぞれ符号表の各内容と比較し、それぞれ最小の和を検
出する。このとき、この最小値をｘ方向（横方向）の移
動距離とともに記録する。この処理をｘ方向だけでなく
ｙ方向（上下方向）についても行うことが望ましいが、
移動方向は多くの場合ｘ方向であることが知られてお
り、ｙ方向については必ずしも必要はない。もし、必要
なテーブル容量が大きい場合、またはトレーニングシー
ケンス中に必要な容量がテーブルの大きさより実質的に
少ない場合には、必要な速度を達成できないような過剰
な遅延を防止する。テーブルを構築した後に送信を開始
し、上述の（ａ）の項目で説明したように、連続する口
画像をそれぞれ記憶されているテーブルの内容と比較
し、和が最も小さくなるものを識別するための符号語を
送信する。
【００３６】これを実行するための計算量は大きいが、
他の調べ方により計算量を削減することもできる。最も
簡単な方法しては、ルックアップテーブルに登録されて
いるすべての口の形状に対して和が最小となるものを検
出するのではなく、和がしきい値より小さい最初のもの
を使用する。この方法により確かに速くはなるが、テー
ブルを走査する順番が固定されている場合には、痙攣的
な動きが多くなり、画像に障害が生じる傾向がある。し
たがって、この場合にはテーブルの走査順を変化させる
必要がある。このためには、符号表からの量が多くなり
障害をうける傾向がある。したがって、テーブルを走査
する順番を変化させる必要がある。符号表から口が現れ
る順番を記録することが望ましい。例えば、前のフレー
ムにおいてテーブル内の口「０」を使用したときには、
現在の口のために、口「０」の後に最も頻繁に発生する
内容、例えば口「５」から走査を開始する。現在のフレ
ームと口「５」との差の絶対値の和がしきい値より小さ
い場合には、この口「５」を現在のフレームを表示する
ために使用する。しきい値より大きい場合には、符号表
の口「０」の後に口「５」の次に発生する可能性のある
口を調べ、以下同様に繰り返す。最終的に口を選んだと
き、口を選択した記録を現在の情報に更新する。
【００３７】さらに、記憶されている一連の口の形状よ
りも和が小さくなる口画像を記録し、動的な更新プロセ
スを開始させ、付加的な口画像をテーブルに付け加える
とともに、画像送信時に受信機に送信することもでき
る。多くの場合、「新しい」口を発生したフレームでこ
の口を使用できるほど正確な情報を送信する必要はな
く、後になって同じ形状が発生したときに使用できれば
十分である。
【００３８】設定値を十分に小さくしないと、シーケン
ス中に新しい口が次々にルックアップテーブルに記録さ
れるので、注意が必要である。これは、明らかに意味の
ある結果を生成するためには副次的な標本化画像でしか
ないが、符号表の大きさを処理するシーケンスの長さに
比例させて増大させる必要がある。
【００３９】設定値は試行錯誤により得られる。このし
きい値を自動的に選択できる場合、または全体的に分配
できる場合に、この試行錯誤が必要である。フレーム間
の差の絶対値の和は常に測定することが可能であり、ル
ックアップテーブルはマトリクス空間を表現する。ルッ
クアップテーブル内の各々の口が多次元マトリクス空間
に存在すると考えることができ、シーケンス内の各フレ
ームは符号表の口のひとつの周囲のクラスタに配置され
る。最適な一連の口の組をみつけるためには、リンデ・
ブゾ・グレイ（Lnde-Buzo-Gray) のような種々のアルゴ
リズムを使用できる。これらのアルゴリズムでは、シー
ケンス中の一連のフレームをトレーニングに使用し、エ
ラーを最小にして最適の組をみつけるために長い検査を
行う。このために、最適の組より速くみつけることので
きるような、副次的に最適な「代表的」口の組をみつけ
ることが望ましい。これを実行するために、使用する口
の数を特定し、トレーニングシーケンスから必要な数の
口を選択する。トレーニングと同じアルゴリズムで送信
中にルックアップテーブルを更新することもできるが、
テーブル内の口の総数を一定に保つことが望ましい。
【００４０】口の選択は基本的に以下の規則により行
う。すなわち、現在のフレームとテーブル内の口の一つ
との間の最小差異（ここで「差異」とはマトリクス空間
内での差異である）が、その口とテーブル内の他のすべ
ての口との間の最小差異より大きい場合に、現在の口を
テーブルに追加する。小さい場合には、その口は、単
に、テーブル内の最も近い口により表現される。画像送
信時にテーブル内に新しい口を追加したときには、以下
の規則によりテーブルから一つの口を除去する。ルック
アップテーブル内の互いに近い二つの口をみつけ、その
一方、望ましくは新しい口に近い方を除去する。
【００４１】新しい口をテーブルに入力したときに、符
号表内の口はこの新しい口の後に現れたことがなく、こ
れらの口の順序に関する過去の履歴は存在しない。シー
ケンスの次のフレームのときには、ルックアップテーブ
ルを順番に走査し、新しい内容については最後に調べる
ことにしてもよい。しかし、特に新しい口が作られた後
には、同じ口の形状が集中して発生する傾向があり、こ
の新しい内容が最も選択される傾向がある。このため、
新しい口を最初に走査するように順番を調節することが
望ましい。
【００４２】上述の送信機１を標準電話リンクを用いた
画像電話に使用することもできる。ただし、学習を行う
ために受信機３側では瞬時に画像を得ることはできな
い。顔の非ディジタル伝送を仮定した場合には、１５秒
程度の初期遅延の後に動画の送信が始まり、実時間で表
示される。
【００４３】顔の向きが正面位置と異なりその向きの差
異が大きい場合には、固定された口を重ねてもよい。ま
た、頷きや首を横に振るような顔の一般的な動きを示す
ためには、異なる多数の角度方向の顔を表示可能にす
る。ランダムな動きの場合には、一般的な動きになるま
で頭を動かさない。
【００４４】この場合には、顔の異なる向きに関する情
報を送信し、受信機３で蓄える必要がある。すべての異
なる顔の位置に対して完全なデータの組を送信する場合
には、過剰なチャネル数および記憶容量を必要とする。
【００４５】図１０はこの問題を解決する方法を示す。
前面における顔の外観は、面Ｐへの投影（ｘ1 〜ｘ5 ）
で表現される。頭を一方向にわずかに回転させたときに
は、観測者に対して、その外観が面Ｐ′への投影
（ｘ1 ′〜ｘ5 ′）で表現される。顔への照明が等方的
なら、（ｘ1 〜ｘ5 ）の二次元変換が（ｘ1 ′〜
ｘ5 ′）の良好な近似となる。
【００４６】頭の側面では重要な差異が生じ、新しい領
域が現れるかまたは隠れ、鼻の部分でも同様のことが起
きる。したがって、少しの差異の組とともに頭の向きの
変化を与える符号を送信することにより、頭全体を再構
成することができる。それぞれの頭の位置の差を記憶
し、将来、同じ位置であることを認識したときにはそれ
を用いる。
【００４７】図１１は二次元変換による擬回転を生成す
る方法を示す。鼻が左から右に変位Ｓだけ移動するよう
な、鉛直軸を中心とした一方向の回転の効果をシミュレ
ートするために、（１）左の点（ｘ1 −ｘ1 ′）は移動
せず、（２）線（ｘ2 −ｘ2 ′）上の点をＳ／２だけ右
に変位させ（ｘ1 、ｘ1 ′、ｘ2 、ｘ2 ′の領域を引き
伸ばし）、（３）線（ｘ3 −ｘ3 ′）上の点をＳだけ右
に変位させ（ｘ2 、ｘ2 ′、ｘ3 、ｘ3 ′の領域を引き
伸ばし）、（４）線（ｘ4 −ｘ4 ′）上の点をＳだけ右
に変位させ（ｘ3 、ｘ3 ′、ｘ4 、ｘ4 ′の領域を右に
移動し）、（５）線（ｘ5 −ｘ5 ′）上の点をＳ／２だ
け右に変位させ（ｘ3 、ｘ3 ′、ｘ4 、ｘ4 ′の領域を
縮め）、（６）線（ｘ6 −ｘ6 ′）上の右の点は移動し
ない（ｘ3 、ｘ3 ′、ｘ4 、ｘ4′の領域を縮める）。
【００４８】このような二次元画像変換を標準のテレビ
会議用装置で使用することもできる。このような装置で
は、対象の人間を認識し、動きのない前景および背景の
物体から分離する。前景および背景については、移動す
る対象に隠れるか否かによる異なる階層レベルでメモリ
に記憶しておく。爪先のような比較的動きの少ない体の
部分は、腕や頭のように比較的高速に変化する部分とは
異なるレベルで記憶する。この装置の動作原理は、種々
の区画化された部分の移動を識別するため、送信終了を
必要とし、これに対応して移動ベクトルを送信する必要
がある。これにより受信機は、次のフレームの各部を予
想する。予想値と実際の絵との差を標準動き補償装置に
送出する。
【００４９】この装置は、（１）対象が隠れた場合およ
び再び現れた場合にデータを再び送信する必要がなく、
（２）爪先などのように比較的変化のない部分に対し
て、置き換えおよび画像面の回転等の少しの画像変換お
よび寸法の変化を用いて非常に良好に予測することがで
き、予想値と実際の値との差は小さく、（３）これより
速く動く対象についても予想値と実際の値との差が大き
くはなるが、まだ良好な予測が可能であり、（４）場面
の重要な特徴については重要でない部分とは物に取り扱
うことができ（例えば速く動く腕より顔に重点をおく）
ことができ、画像の大きな劣化なしに高いデータ圧縮を
実現できる。
【００５０】次に、音声合成を含む話者の動画の合成に
ついて説明する。二つのタイプの音声合成、すなわち、
（ａ）限定語彙合成、（ｂ）異音（allophone)合成を考
える。限定語彙合成は、限定された語に対して、完全な
語のディジタル化した表現を記憶し、これらの語を手
動、コンピュータまたは他の入力装置の制御により受け
取って再生する。記憶方法としては、ＰＣＭまたはフォ
ルマント・パラメータとして記憶する方法を用いるが、
画像合成には影響しない。異音合成は、発声された音を
表現する符号を供給することによりどのような語でも合
成でき、これらの符号は入力テキスト (音声装置のテキ
スト) から直接に発生させる。
【００５１】どちらの場合でも顔の合成には二段階の処
理を行う。すなわち、上述したような学習段階と、合成
された音声に対応する口の符号語を発生する合成段階で
ある。最初に限定語彙合成を利用する場合について説明
すると、音声語彙としては、通常はその言語を母国語と
している話者の発声を記録して用い、同じ話者の顔を使
用することが便利である。他の顔が必要な場合、または
現在の装置に映像サービスを付加する場合には、発話さ
れた語彙を繰り返し、それに沿って代わりの話者が話し
てもよい。どちらの方法でも処理は同一である。学習段
階は上述したと同様であり、装置は、必要な顔のフレー
ムおよび口のルックアップテーブルを獲得する。しか
し、それぞれの語に対応する口の位置の符号語のシーケ
ンスを記録する必要があり、このシーケンスを別のテー
ブル (口符号テーブル) に記憶する必要がある。この処
理は実時間で実行する必要はなく、それぞれの語に対す
る口のシーケンスを最適にすることができる。
【００５２】合成段階では、合成装置に供給された入力
符号を、音声データとして受け取り音声再生装置または
合成装置に送り出すだけでなく、口の符号語を受け取り
これらを音声に同期して受信機に送る。この受信機は、
第１図を参照して説明したと同様の、動画を再構成する
装置である。受信機機能を局部的に実行させ、局部的な
表示装置または標準映像信号を前方に送信するために使
用することもできる。
【００５３】異音合成の場合にも、実際の顔が必要であ
り、上述の学習段階を実行して顔画像および口画像のテ
ーブルを作り出す。ここで、個々の音素（すなわち語の
部分）に口の位置を関連させる必要があり、音声合成に
よる発生と同時に、顔の持主が、音声合成装置が生成で
きるそれぞれの音素の少なくとも一例を含む一節を発声
する必要がある。発生された符号語は、口ルックアップ
テーブルに入力される。このルックアップテーブルの各
内容が一つの音素に対応する。多くの内容は一以上の符
号語を含む。ある場合には、与えられた音素に対応する
口の形状が、前のまたは後の音素に依存して変化し、こ
れも考慮する必要がある。音声および映像データを受け
取ると、上述した方法と同様にして「語全体」を合成す
ることができる。
【００５４】「合成音声」の実施例において、顔のフレ
ーム口画像のテーブルおよび口の形状の符号語は、上述
した遠隔の受信機に送信してそこで動画を再生する装置
と同様であるが、ある状況、例えば映像表示装置が音声
合成コンピュータの出力に接続されている場合には、表
示装置をローカルで使用し、受信機をテーブルおよび符
号の発生装置として使用することもできる。また、合成
画像を局部的に発生し、一般的な映像信号を遠隔のモニ
タ装置に送信することもできる。
【００５５】同期の問題について説明する。
【００５６】テキスト音声合成は、（ａ）テキスト入力
を音素表現に変換し、（ｂ）音素をより低位の音素表現
に変換し、（ｃ）低位の音素をホルマント・パラメータ
に変換する（典型的なパラメータ更新周期は１０ｍｓで
ある）段階を含む。
【００５７】この処理はかなりの遅延を含み、特に、変
換が内容に依存する (例えば特性の文字の音がそれに続
く音の影響を受ける) ので、変換段階に固有の遅延が発
生する。したがって、合成プロセスは、合成された唇の
動きが音声に同期するように、配列およびタイミングを
注意深く考慮する必要がある。
【００５８】映像合成に音声合成装置からの入力データ
として音素表現を使用し、その下位レベルの音声合成プ
ロセスが予想される遅延を含む場合には、映像合成に対
応して遅延を導入することにより、単純にタイミングを
合わせることができる。
【００５９】音声表現内にフラグを挿入することもでき
る。これにより、音素から口の位置を発生するために、
ルックアップテーブルを使用するかわりに (または付加
して) 、元のテキストに口の形状を設定するためのデー
タを付加することができる。どちらの方法でも、フラグ
が正確な瞬間を示し、低位の音素レベルに落とした音声
表現で、口の形状の変化を保持することができる。音声
合成装置は、低位の音素符号の列を生成し、これをフォ
ルマント・パラメータに変換し、フォルマント合成装置
に送出する。符号が列を作るので、その前のテキストを
発話してとき、対応する口の形状の変化と同期して、各
フラグを画像合成装置に送る。
【００６０】実時間の音声入力に対応して動画を発生す
る例について説明する。
【００６１】この場合には、顔を提供する代理話者が必
要であり、口画像テーブルを作るための学習段階をあら
かじめ行う必要がある。口画像テーブルを作り出すこと
は、入力音声を分析するために使用する方法に依存す
る。一例として、周波数を分析してスペクトル・パラメ
ータのシーケンスを生成し、符号テーブルと共にそれに
関連するパラメータおよび口画像を供給する。
【００６２】図１２にこのような画像合成装置のブロッ
ク構成図を示す。
【００６３】母音音素毎に異なる映像を表示する。聴覚
的な音素に関する映像を映像素 (viseme) と呼ぶ（バー
ガー、「スピーチリーディング：プリンシプル・アンド
・メソッド」、バルチモア：ナショナル・エジケーショ
ナル・プレス、1972年刊第73頁ないし第107 頁 (K.W.Be
rger、「Speechreading: Principles and Methods」、
Baltimore:NationalEducational Press 、1972、pp73-1
07) 参照) 。しかし、子音の多くは同じ映像表現とな
り、子音映像素の最も一般的には１２に分類される。こ
れは、装置が同じ分類の現象を取り違えても、視覚的な
エラーは生じないことを意味する。母音に比べて子音で
発生する音声エネルギが少ないので、音声認識装置によ
る子音間の区別はさらに困難である。したがって、この
ような装置では、子音映像素に対して、多数のなかの一
つの子音音素の分布が偶然に対応する。
【００６４】音声を分析するため、全音声域に対応する
１４ないし１５チャネルのフィルタ群１０を用いる。漏
洩積算計１１を用いて各チャネルの音声エネルギを積算
し、標本化回路１２により映像フレーム速度（４０ｍｓ
毎) で標本化して出力する。トレーニングシーケンスの
間に全ての音素を発生し、フィルタ群１０で音声を分析
する必要がある。個々の発声音声は、標本の各組にわた
ってエネルギのしきい値を調べることにより識別でき
る。標本値を一連のメモリ１３に蓄え、この後に未知の
音声信号が到来したときには、上述の方法と同様にして
音素を認識する。フィルタ群10を使用してこの処理を行
い、同じ標本化速度で未知の音声を分析することができ
る。対応する要素の差の自乗を加算することにより、未
知の音声標本を各テンプレートと比較する。最も差の小
さいものが最も一致したものである。したがって、装置
は、最も音素が一致したものに対応する符号を出力す
る。無声音を示す特別の符号も必要である。
【００６５】トレーニングシーケンスに一連の音素を発
声する一方で、口領域の絵の動作シーケンスを捕らえる
ことが必要である。各音素の発生を指摘することによ
り、シーケンス中の対応するフレームを特定し、そのフ
レームの一部を使用して口の符号表を作成する。動作時
には、ルックアップテーブルを使用して、音声分析装置
により生成された符号から適当な口符号をみつける。無
声状態を示す符号のときには、口の形状をほぼ閉じたも
のにする。合成シーケンスでは、映像速度で、顔の上に
適当な口を重ねる。
【００６６】合成音声の場合と同様に、受信機をローカ
ルまたはリモートで動作させることができる。リモート
で使用する場合には、付加的な修正として、送信機に蓄
えた口画像テーブルに、通常に送信機に送信する以上の
多数の内容を記憶させる。これにより、一般的にはまれ
にしか発生しないが、ある種の音声ではしばしば発生す
る口の形状、例えばある方言でのみ発生する音声に対応
する形状をテーブル内に記憶させておくことができる。
このような音声に対するスペクトル・パラメータの認識
は、上述したような動的な更新プロセスを行い、関連す
る口の形状を受信機で得ることができるようにする。
【００６７】図１３は以上の実施例で用いるに適した受
信機の一例のブロック構成図である。入力信号は復号器
１０１に供給され、この復号器１０１からフレームメモ
リに、学習段階の間に受信した静止画フレームを入力す
る。この一方で、口メモリ１０２は、必要な数（例えば
２５) の口の形状を記憶する。読出し論理回路１０３は
フレームメモリ１００の内容を繰り返し読み出し、同期
パルスを付加して映像モニタ装置１０４に供給する。伝
送段階には、受信した符号語を制御部１０５に供給し、
制御部１０５は、書込み制御部１０６を制御し、フレー
ムメモリ１００の適切な領域に口メモリ１０２の対応す
る内容を重ね書きする。明らかに、見ている人が知覚で
きないように高速で重ね書きを行う必要がある。更新す
る領域を小さいブロックに分割し、ランダムまたはシー
ケンシャルではないあらかじめ定めた順番で重ね書きを
行うことより、低速でも見ている人が知覚できないよう
に更新することができる。また、フレームメモリがウイ
ンドウを含む構成の場合には、更新する画像をあらかじ
め入力しておき、適当な移動を作りだすように切り替え
ることができる。場合によっては、ウインドウのｘｙ移
動で簡単に処理することができる。
【００６８】
【発明の効果】以上説明したように、本発明の画像処理
装置は、実質的に動きのある人間の顔を非常に少ないデ
ータ量で送信できる効果がある。また、容易に人間の画
像を合成することができる。本発明は、一般の電話回線
による話者の画像の伝送に利用でき、会議通話等に用い
て特に有用である。
【図面の簡単な説明】
【図１】本発明の実施形態を示すブロック構成図。
【図２】話者の顔を示す図。
【図３】話者の口の形状の例を示す図。
【図４】顔の輪郭を識別するためのウインドウを示す
図。
【図５】目の動きを調べるための一次元マスクを示す
図。
【図６】口の位置を決定するためのウインドウを示す
図。
【図７】第二の配列の度数分布を示す図。
【図８】開いた状態の口の二値画像を示す図。
【図９】閉じた状態の口の二値画像を示す図。
【図１０】顔の回転を補正する方法を示す図。
【図１１】二次元変換による擬回転を生成する方法を示
す図。
【図１２】画像合成装置のブロック構成図。
【図１３】受信機の一例のブロック構成図。
【符号の説明】
１ 送信機 ２ 伝送路 ３ 受信器 １０ フィルタ群 １１ 漏洩積算計 １２ 標本化回路 １３ メモリ １００ フレームメモリ １０１ 復号器 １０２ 口メモリ １０３ 読出し論理回路 １０４ 映像モニタ装置 １０５ 制御部 １０６ 書込み制御部
フロントページの続き (72)発明者 ウイリアム・ジョン・ウェルシュ 英国アイピー２ ９イーエフ・サフォー ク・イプスウィッチ・ファウンテインズロ ード47番地 (72)発明者 ブライアン・アラン・フェン 英国アイピー12 ４ジェイピー・サフォー ク・ウッドブリッジ・キャサリンロード43 番地 (72)発明者 ポール・チャレナー 英国アイピー６ ０アールゼッド・サフォ ーク・イプスウイッチ・ヘンレイ・フリー マンアベニュー10番地

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 人間の顔を含む動画像を１フレームの画
    像を表すデータとフレーム毎に変化する特徴部分を符号
    化したデータとにより表現して伝送する画像伝送方法に
    おいて、 上記特徴部分は口であり、 送信側では、 画像の個々のフレームから口の部分のデータを識別し、 第一の動作段階として、各フレームの口の部分のデータ
    を他のフレームの口の部分のデータと比較して典型的な
    口の部分のデータの組を選択し、選択されたデータの組
    を蓄えるとともに、そのデータの組を動画像復号化のた
    めのデータとして送信し、 第二の動作段階として、各フレームの口の部分のデータ
    を上記第一の動作段階で蓄えられたデータの組と比較
    し、最も似ているものを表す符号語を生成して送信し、 受信側では、上記第一の動作段階に上記送信側から受信
    したデータに基づいて上記第二の動作段階に上記送信側
    から送信された符号語に相当する口の部分のデータを求
    め、それを上記１フレームの画像を表すデータと組み合
    わせることにより動画像を復号化することを特徴とする
    画像伝送方法。
  2. 【請求項２】 口の部分のデータを識別するため、最初
    にひとつのフレームから口の部分のデータを抽出し、そ
    のフレームからのデータとの相関を演算することで連続
    するフレームの口の部分を識別する請求項１記載の画像
    伝送方法。
  3. 【請求項３】 第一の動作段階では、最初の口の部分の
    データを蓄え、それから、連続する各フレームの口の部
    分のデータを最初の口の部分のデータおよび他のフレー
    ムの口の部分のデータと比較し、この比較の結果が所定
    のしきい値を越えたときにそのデータを蓄える請求項１
    または２記載の画像伝送方法。
  4. 【請求項４】 口の部分のデータの比較は、個々の画素
    値を減算し、この減算により得られた差の絶対値を加算
    することにより行う請求項３記載の画像伝送方法。
  5. 【請求項５】 画像中の顔の位置を追跡し、顔の位置を
    表す符号データを生成する請求項１ないし４のいずれか
    記載の画像伝送方法。
  6. 【請求項６】 口の部分のデータをすでに蓄えられてい
    るデータの組の最も似ているものと比較し、その結果が
    あらかじめ定められたしきい値を越えているときにはそ
    のデータを送信するとともに、データの組の一部として
    蓄える請求項１ないし５のいずれか記載の画像伝送方
    法。
  7. 【請求項７】 人間の顔を含む動画像を１フレームの画
    像を表すデータとフレーム毎に変化する特徴部分を符号
    化したデータとにより表現して伝送する画像伝送方法に
    おいて、 上記特徴部分は口および目であり、 送信側では、 画像の個々のフレームから口の部分のデータおよび目の
    部分のデータをそれぞれ識別し、 第一の動作段階として、各フレームの口の部分のデータ
    および目の部分のデータをそれぞれ他のフレームの口の
    部分のデータおよび目の部分のデータと比較して典型的
    な口の部分のデータの組および目の部分のデータの組を
    選択し、選択されたデータの組を蓄えるとともに、それ
    らのデータの組を動画像復号化のためのデータとして送
    信し、 第二の動作段階として、各フレームの口の部分のデータ
    および目の部分のデータをそれぞれ上記第一の動作段階
    で蓄えられた対応するデータの組と比較し、口の部分お
    よび目の部分のそれぞれについて最も似ているものを表
    す符号語を生成して送信し、 受信側では、上記第一の動作段階に上記送信側から受信
    したデータに基づいて上記第二の動作段階に上記送信側
    から送信された符号語に相当する口の部分および目の部
    分のデータを求め、それを上記１フレームの画像を表す
    データと組み合わせることにより動画像を復号化するこ
    とを特徴とする画像伝送方法。
  8. 【請求項８】 人間の顔を含む動画像を符号化する画像
    符号化装置において、 映像入力信号に対して１フレームの画像を表すデータを
    出力するフレーム出力手段と、 映像入力信号により表される画像の個々のフレームから
    口の部分のデータを識別する識別手段と、 各フレームの口の部分のデータを他のフレームの口の部
    分のデータと比較して典型的な口の部分のデータの組を
    選択する手段と、 選択されたデータの組を蓄える記憶手段と、 選択されたデータの組を動画像復号化のためのデータと
    して出力する手段と、 各フレームの口の部分のデータを上記記憶手段に蓄えら
    れたデータの組と比較して最も似ているものを表す符号
    語を生成する符号語出力手段とを備えたことを特徴とす
    る画像符号化装置。
  9. 【請求項９】 人間の顔を含む動画像を符号化する画像
    符号化装置において、 映像入力信号に対して１フレームの画像を表すデータを
    出力するフレーム出力手段と、 映像入力信号により表される画像の個々のフレームから
    口の部分および目の部分のそれぞれのデータを識別する
    識別手段と、 各フレームの口の部分および目の部分のそれぞれのデー
    タを他のフレームの口の部分および目の部分のそれぞれ
    データと比較して典型的な口の部分のデータの組および
    典型的な目の部分のデータの組を選択する手段と、 選択されたデータの組を蓄える記憶手段と、 選択されたデータの組を動画像復号化のためのデータと
    して出力する手段と、 各フレームの口の部分のデータおよび目の部分のデータ
    を上記記憶手段に蓄えられたデータの対応する組と比較
    してそれぞれ最も似ているものを表す符号語を生成する
    符号語出力手段とを備えたことを特徴とする画像符号化
    装置。
  10. 【請求項１０】 人間の顔を含む動画像を復号化する受
    信機において、 １フレームの画像を表すデータを受信して記憶するフレ
    ームメモリと、 このフレームメモリからデータを繰り返し読み出して映
    像信号を生成する読出手段と、 口の部分のデータの組を受信して記憶する記憶手段と、 入力されたそれぞれの符号語に応じて上記記憶手段から
    対応する口の部分のデータを読み出し、そのデータを上
    記読出手段からのデータに挿入する制御手段とを備えた
    ことを特徴とする受信機。
  11. 【請求項１１】 制御手段は口の部分のデータをフレー
    ムメモリに上書きする手段を含む請求項１０記載の受信
    機。
  12. 【請求項１２】 制御手段は口の部分のデータを読出手
    段に供給する手段を含む請求項１０記載の受信機。
  13. 【請求項１３】 読出手段は、入力データに応答して画
    像内の顔の領域を移動させた映像信号を生成する運動手
    段を含む請求項１０記載の受信機。
  14. 【請求項１４】 運動手段は、画像の顔の領域をランダ
    ムに動かす構成である請求項１３記載の画像伝送装置。
JP7309935A 1985-11-14 1995-11-01 画像符号化装置 Expired - Lifetime JP2753599B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB858528143A GB8528143D0 (en) 1985-11-14 1985-11-14 Image encoding & synthesis
GB8528143 1985-11-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP61271687A Division JP2589478B2 (ja) 1985-11-14 1986-11-14 画像合成装置

Publications (2)

Publication Number Publication Date
JPH08237655A true JPH08237655A (ja) 1996-09-13
JP2753599B2 JP2753599B2 (ja) 1998-05-20

Family

ID=10588258

Family Applications (2)

Application Number Title Priority Date Filing Date
JP61271687A Expired - Lifetime JP2589478B2 (ja) 1985-11-14 1986-11-14 画像合成装置
JP7309935A Expired - Lifetime JP2753599B2 (ja) 1985-11-14 1995-11-01 画像符号化装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP61271687A Expired - Lifetime JP2589478B2 (ja) 1985-11-14 1986-11-14 画像合成装置

Country Status (10)

Country Link
US (1) US4841575A (ja)
EP (1) EP0225729B1 (ja)
JP (2) JP2589478B2 (ja)
AT (1) ATE72083T1 (ja)
CA (1) CA1263187A (ja)
DE (1) DE3683609D1 (ja)
ES (1) ES2029230T3 (ja)
GB (1) GB8528143D0 (ja)
GR (1) GR3004011T3 (ja)
HK (1) HK128696A (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
US5136659A (en) * 1987-06-30 1992-08-04 Kokusai Denshin Denwa Kabushiki Kaisha Intelligent coding system for picture signal
JP2828977B2 (ja) * 1987-09-22 1998-11-25 株式会社東芝 動画像符号化装置
JP2644789B2 (ja) * 1987-12-18 1997-08-25 富士通株式会社 画像伝送方式
JP2678210B2 (ja) * 1988-01-25 1997-11-17 日本電信電話株式会社 動画像符号化方式
JPH01190188A (ja) * 1988-01-26 1989-07-31 Fujitsu Ltd 画像伝送方式
JPH01190187A (ja) * 1988-01-26 1989-07-31 Fujitsu Ltd 画像伝送方式
GB8817705D0 (en) * 1988-07-25 1988-09-01 British Telecomm Optical communications system
JP2518683B2 (ja) * 1989-03-08 1996-07-24 国際電信電話株式会社 画像合成方法及びその装置
JP2879824B2 (ja) * 1989-05-11 1999-04-05 三菱電機株式会社 画像信号の符号化器及び復号化器
JPH0357081A (ja) * 1989-07-26 1991-03-12 Canon Inc 画像処理装置
US5440661A (en) * 1990-01-31 1995-08-08 The United States Of America As Represented By The United States Department Of Energy Time series association learning
DE69131350T2 (de) * 1990-07-17 1999-12-30 British Telecommunications P.L.C., London Verfahren und vorrichtung zur bildverarbeitung
DE4028191A1 (de) * 1990-09-05 1992-03-12 Philips Patentverwaltung Schaltungsanordnung zum erkennen eines menschlichen gesichtes
GB9019829D0 (en) * 1990-09-11 1990-10-24 British Telecomm Speech analysis and image synthesis
US5171930A (en) * 1990-09-26 1992-12-15 Synchro Voice Inc. Electroglottograph-driven controller for a MIDI-compatible electronic music synthesizer device
JPH04142192A (ja) * 1990-10-03 1992-05-15 Graphics Commun Technol:Kk 画像信号符号化装置
US5613056A (en) * 1991-02-19 1997-03-18 Bright Star Technology, Inc. Advanced tools for speech synchronized animation
US5698155A (en) * 1991-05-31 1997-12-16 Gs Technologies, Inc. Method for the manufacture of pharmaceutical cellulose capsules
JPH0546743A (ja) * 1991-08-09 1993-02-26 Matsushita Electric Ind Co Ltd 個人識別装置
DE4141575C2 (de) * 1991-12-17 1999-01-21 Juergen Dr Ing Schlechter Verfahren und Schaltungsanordnung zur quasidialoggesteuerten Darstellung eines TV-Programms
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6081750A (en) * 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
FR2689994A1 (fr) * 1992-04-14 1993-10-15 Philips Electronique Lab Dispositif de codage d'images avec rafraîchissement des données à coder.
FR2690031A1 (fr) * 1992-04-14 1993-10-15 Philips Electronique Lab Dispositif de segmentation d'images.
US5420638A (en) * 1992-04-14 1995-05-30 U.S. Philips Corporation Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
US5586215A (en) * 1992-05-26 1996-12-17 Ricoh Corporation Neural network acoustic and visual speech recognition system
US5537662A (en) * 1992-05-29 1996-07-16 Casio Computer Co., Ltd. Electronic montage composing apparatus
AU4351793A (en) * 1992-06-29 1994-01-24 British Telecommunications Public Limited Company Coding and decoding video signals
US5375195A (en) * 1992-06-29 1994-12-20 Johnston; Victor S. Method and apparatus for generating composites of human faces
US5542037A (en) * 1992-08-24 1996-07-30 Casio Computer Co., Ltd. Image displaying apparatus wherein selected stored image data is combined and the combined image data is displayed
JP3252381B2 (ja) * 1992-09-08 2002-02-04 ソニー株式会社 パターン認識装置
JPH06168314A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 娯楽装置
US5687280A (en) * 1992-11-02 1997-11-11 Matsushita Electric Industrial Co., Ltd. Speech input device including display of spatial displacement of lip position relative to predetermined position
JPH06187410A (ja) * 1992-12-21 1994-07-08 Casio Comput Co Ltd 似顔絵作成装置
JP3334230B2 (ja) * 1993-03-18 2002-10-15 カシオ計算機株式会社 モンタージュ画像表示制御装置およびモンタージュ画像表示制御方法
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
DE69435143D1 (de) * 1993-07-12 2008-11-06 Sony Corp Verabeitung von digitalen Videodaten
JP3716866B2 (ja) * 1993-07-12 2005-11-16 ソニー株式会社 デジタル画像信号の伝送装置及び受信装置
US5608839A (en) * 1994-03-18 1997-03-04 Lucent Technologies Inc. Sound-synchronized video system
DE4435272C2 (de) * 1993-10-01 1997-09-04 Ricoh Kk Verfahren und Vorrichtung zum Extrahieren eines visuellen Merkmalvektors aus einer Folge von Bildern sowie Spracherkennungsvorrichtung
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5623587A (en) * 1993-10-15 1997-04-22 Kideo Productions, Inc. Method and apparatus for producing an electronic image
US5466918A (en) * 1993-10-29 1995-11-14 Eastman Kodak Company Method and apparatus for image compression, storage, and retrieval on magnetic transaction cards
US5426460A (en) * 1993-12-17 1995-06-20 At&T Corp. Virtual multimedia service for mass market connectivity
US6101264A (en) * 1994-03-15 2000-08-08 Fraunhofer Gesellschaft Fuer Angewandte Forschung E.V. Et Al Person identification based on movement information
DE4413788C1 (de) * 1994-03-15 1995-10-12 Fraunhofer Ges Forschung Personenidentifikation mit Bewegungsinformation
US6330023B1 (en) 1994-03-18 2001-12-11 American Telephone And Telegraph Corporation Video signal processing systems and methods utilizing automated speech analysis
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US6471420B1 (en) * 1994-05-13 2002-10-29 Matsushita Electric Industrial Co., Ltd. Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections
US5553119A (en) * 1994-07-07 1996-09-03 Bell Atlantic Network Services, Inc. Intelligent recognition of speech signals using caller demographics
US5625704A (en) * 1994-11-10 1997-04-29 Ricoh Corporation Speaker recognition using spatiotemporal cues
AU5027796A (en) 1995-03-07 1996-09-23 Interval Research Corporation System and method for selective recording of information
US5572261A (en) * 1995-06-07 1996-11-05 Cooper; J. Carl Automatic audio to video timing measurement device and method
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
DE19609052A1 (de) * 1996-03-08 1997-09-18 Bernd Dr Med Kamppeter Technische Vorrichtung zum Erzeugen von Tonsignalen (Sprache) aus beliebig großen und verschieden weit entfernten Schriftzeichen und Formen
US5880788A (en) * 1996-03-25 1999-03-09 Interval Research Corporation Automated synchronization of video image sequences to new soundtracks
US6205253B1 (en) * 1996-08-19 2001-03-20 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
KR100236974B1 (ko) 1996-12-13 2000-02-01 정선종 동화상과 텍스트/음성변환기 간의 동기화 시스템
SE519679C2 (sv) * 1997-03-25 2003-03-25 Telia Ab Metod vid talsyntes
KR100240637B1 (ko) 1997-05-08 2000-01-15 정선종 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치
US5995119A (en) * 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
EP0893923A1 (en) * 1997-07-23 1999-01-27 Texas Instruments France Video communication system
US6567779B1 (en) 1997-08-05 2003-05-20 At&T Corp. Method and system for aligning natural and synthetic video to speech synthesis
US7366670B1 (en) 1997-08-05 2008-04-29 At&T Corp. Method and system for aligning natural and synthetic video to speech synthesis
US7117155B2 (en) * 1999-09-07 2006-10-03 At&T Corp. Coarticulation method for audio-visual text-to-speech synthesis
US6112177A (en) * 1997-11-07 2000-08-29 At&T Corp. Coarticulation method for audio-visual text-to-speech synthesis
US7392190B1 (en) 1997-11-07 2008-06-24 At&T Corp. Coarticulation method for audio-visual text-to-speech synthesis
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
DE19901881A1 (de) 1999-01-19 2000-07-27 Dcs Dialog Communication Syste Verfahren und System zur Fälschungssicherung bei biometrischer Personenerkennung
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP3062080U (ja) * 1999-02-24 1999-09-28 嘉朗 秋山 画面付き電話装置
US7630897B2 (en) * 1999-09-07 2009-12-08 At&T Intellectual Property Ii, L.P. Coarticulation method for audio-visual text-to-speech synthesis
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
JP2001188910A (ja) 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
US6757682B1 (en) * 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
US7392287B2 (en) * 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
EP1250005A1 (en) * 2001-04-12 2002-10-16 BRITISH TELECOMMUNICATIONS public limited company Video communication with feedback of the caller's position relative to the camera
DE10127558A1 (de) * 2001-06-06 2002-12-12 Philips Corp Intellectual Pty Verfahren zur Verarbeitung einer Text-, Gestik-, Mimik- und/oder Verhaltensbeschreibung mit Überprüfung der Benutzungsberechtigung von Sprach-, Gestik-, Mimik- und/oder Verhaltensprofilen zur Synthese
US20030058932A1 (en) * 2001-09-24 2003-03-27 Koninklijke Philips Electronics N.V. Viseme based video coding
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
WO2008156437A1 (en) 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
DE10310023A1 (de) 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US7142250B1 (en) * 2003-04-05 2006-11-28 Apple Computer, Inc. Method and apparatus for synchronizing audio and video streams
WO2007071025A1 (en) * 2005-12-21 2007-06-28 Jimmy Proximity Inc. Device and method for capturing vocal sound and mouth region images
US20110311144A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Rgb/depth camera for improving speech recognition
JP5454737B2 (ja) * 2011-04-15 2014-03-26 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
US20230068798A1 (en) * 2021-09-02 2023-03-02 Amazon Technologies, Inc. Active speaker detection using image data
EP4599430A1 (en) * 2022-10-05 2025-08-13 Tepy Pty Ltd Soundless speech recognition method, system and device
US20250140241A1 (en) 2023-10-30 2025-05-01 Reflex Technologies, Inc. Apparatus and method for speech processing using a densely connected hybrid neural network

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6234880U (ja) * 1985-08-20 1987-02-28

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3662374A (en) * 1970-07-13 1972-05-09 Computer Image Corp Automatic generation of a mouth display and animation of the mouth in response to sound
US4104625A (en) * 1977-01-12 1978-08-01 Atari, Inc. Apparatus for providing facial image animation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6234880U (ja) * 1985-08-20 1987-02-28

Also Published As

Publication number Publication date
US4841575A (en) 1989-06-20
JP2753599B2 (ja) 1998-05-20
EP0225729B1 (en) 1992-01-22
ES2029230T3 (es) 1992-08-01
ATE72083T1 (de) 1992-02-15
HK128696A (en) 1996-07-26
DE3683609D1 (de) 1992-03-05
JP2589478B2 (ja) 1997-03-12
CA1263187A (en) 1989-11-21
GR3004011T3 (ja) 1993-03-31
GB8528143D0 (en) 1985-12-18
EP0225729A1 (en) 1987-06-16
JPS62120179A (ja) 1987-06-01

Similar Documents

Publication Publication Date Title
JP2589478B2 (ja) 画像合成装置
CN113192161B (zh) 一种虚拟人形象视频生成方法、系统、装置及存储介质
CN113194348B (zh) 一种虚拟人讲课视频生成方法、系统、装置及存储介质
Yamamoto et al. Lip movement synthesis from speech based on Hidden Markov Models
US7145606B2 (en) Post-synchronizing an information stream including lip objects replacement
US6330023B1 (en) Video signal processing systems and methods utilizing automated speech analysis
US6014625A (en) Method and apparatus for producing lip-movement parameters in a three-dimensional-lip-model
EP0674315A1 (en) Audio visual dubbing system and method
US6208356B1 (en) Image synthesis
EP0890168A1 (en) Image synthesis
US20070165022A1 (en) Method and system for the automatic computerized audio visual dubbing of movies
CN120218091A (zh) 基于多模态大模型的实时视频翻译与音画同步方法及系统
EP0710929A2 (en) Acoustic-assisted image processing
JPH0652290A (ja) 口形状画像合成方法及び装置
EP0056507B1 (en) Apparatus and method for creating visual images of lip movements
US5657415A (en) Apparatus for reproducing moving pictures from motion parameters and moving picture coding and decoding system
KR20040037099A (ko) 비짐 기반 비디오 부호화
KR20220083548A (ko) 다중 시점 영상 기반 립 리딩 방법 및 시스템
US20250173935A1 (en) Device for synchronization of features of digital objects with audio contents
Yamamoto et al. Subjective Evaluation for HMM-Based Speech-To-Lip Movement Synthesis.
Theobald et al. Towards a low bandwidth talking face using appearance models
CN116992844A (zh) 基于人工智能的金融知识课程生成方法及装置
Brooke et al. Making talking heads and speechreading with computers
Lavagetto Speech articulatory analysis through time delay neural networks
Chen et al. Speech recognition for acoustic-assisted video coding and animation

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term