JPH01190187A - 画像伝送方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目　次］ 概要 産業上の利用分野 従来の技術（第１４図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作　用（第１図） 実施例 第１実施例の説明（第２〜７図） 第２実施例の説明（第８図） 第３実施例の説明（第９〜１３図） 発明の効果 ［概　要コ 人物の顔動画像をその音声とともに伝送する画像伝送方
式に関し、 顔の表情に不自然さを出さないようにしながら、顔動画
の情報をより圧縮できるようにすることを目的とし、 送信側からの音声情報中の音素符号によりコードブック
から対応する口形パラメータを選択し、該口形パラメー
タに基づいて口形モデル画像記憶手段中の口形モデル画
像を変形すると共に、所要のタイミングで、テーブルか
ら瞼パラメータを取り出し、この瞼パラメータに基づい
て瞼形モデル画像記憶手段中の瞼形モデル画像を変形し
、合成部で、該口形モデル画像および該瞼形モデル画像
と、送信側からあらかじめ送られた静止顔画像の目部分
および瞼部分以外の画像とを合成して、顔動画像を再生
するように構成する。

［産業上の利用分野コ 本発明は、画像伝送方式に関し、特に人物の顔動画像を
その音声とともに伝送する画像伝送方式テレビ（ＴＶ）
電話、ＴＶ会議等においては、最終的に公衆電話回線を
利用した伝送方式を採用することが目標とされており、
このため、得られた画像情報を可能な限り圧縮すること
が要望されている。

［従来の技術］ ＴＶ電話等において伝送される画像は、通常、人物の顔
動画像であるが、かかる動画像情報は、第１４図に示す
ように、音声情報とは独立して伝送されるのが従来から
の方式である。

即ち、入力画像は、送信側においてＴＶカメラ６１によ
りアナログ画像信号として発生され、この画像信号は画
像符号化装置６２でディジタル信号に変換されて符号化
され圧縮されて受信側に送られる。受信側では、画像復
号化装置６３により受信画像を元の信号に復号化してデ
イスプレィ６４に出力画像として表示する。

また、入力音声は送信側でマイクロ５で音声情報として
得た後、音声符号化装置６６で音声特有の符号化を行な
って圧縮した後、受信側で音声復号化装置６７で復号化
されてスピーカー６８がら出力音声として得られる。

［発明が解決しようとする課題］ このような従来から一般的に行なわれてきた動画像の伝
送方式は、動画像の情報量が大きいため、低ビツトレー
トの通信回線を利用することができず、コストが高くな
ってしまうとともに、公衆電話回線を利用したＴＶ’ｍ
話等の適用には程遠いという問題点があった。

そこで、送信側からは例えば顔の静止画情報をあらかじ
め送っておき、受信側で、送信側から送られてくる音声
情報からこの音声情報に適合するように、口の部分だけ
を変形させて、画像を再生することも考えられる。

しかし、これでは顔の表情の中で重要な位置を占める瞼
が全く動かず、不自然さが増すという問題点がある。

本発明は、このような問題点に鑑みなされたもので、顔
の表情に不自然さを出さないようにしながら、顔動画の
情報をより圧縮できるようにした、画像伝送方式を提供
することを目的としている。

［課題を解決するための手段］ 第１図は本発明の原理ブロック図を示す。

第１図において、２３Ａはコードブック、２４Ａは口形
モデル画像記憶手段、２３Ｂはテーブル、２４Ｂは瞼形
モデル画像記憶手段、２５は合成部で、いずれも受信側
に設けられる。

ここで、口形モデル画像記憶手段２４Ａは、顔の目部分
の幾何学的形状を示す口形パラメータによって定義され
る口形モデル画像を記憶するもので、コードブック２３
Ａは、口形モデル画像のパラメータ値を全音素符号に対
して記憶するものである。

また、瞼形モデル画像記憶手段２４Ｂは、顔の瞼部分の
幾何学的形状を示す瞼形パラメータによって定義される
瞼形モデル画像を記憶するもので、テーブル２３Ｂは、
瞼形モデル画像の瞼パラメータを基に該瞼の開閉動作を
記憶するものである。

合成部２５は、音声情報に合わせて変形せしめられた口
形モデル画像およびランダムに発生された瞼の開閉（ま
ばたき）に合わせて変形せしめられた瞼形モデル画像を
、送信側からあらかじめ送られた静止顔画像の該目部分
および該瞳部分以外の画像とを合成して、顔動画像を再
生するものである。

［作　用］ 上述の構成により、受信側では、送信側からの音声情報
中の音素符号によりコードブック２３Ａから対応する口
形パラメータが選択され、この口形パラメータに基づい
て口形モデル画像記憶手段２４Ａ中の口形モデル画像が
、口が動くように変形すると共に、所要のタイミングで
、テーブル２３Ｂから瞼パラメータが取り出され、この
瞼パラメータに基づいて瞼形モデル画像記憶手段２４Ｂ
中の瞼形モデル画像が、瞼が閉じたり開いたりするよう
に変形し、これらの音声情報に合わせて変形せしめられ
た口形モデル画像およびランダムに発生された瞼の開閉
に合わせて変形せしめられた瞼形モデル画像が、合成部
２５で、送信側からあらかしめ送られた静止顔画像の目
部分および瞳部分以外の画像と合成されて、顔動画像が
再生される。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

（ａ）第１実施例の説明 第２図は本発明の第１実施例を示すブロック図で、この
第１実施例では、送信部１０と受信部２０とが設けられ
、送信部１０は、顔画像入力を画像処理する画像処理部
１１と、音声入力を符号化する音声符号化部１２とを含
んでいる。

また、受信部２０は、背景画メモリ１９．音声復号化部
２１．音声認識部２２．コードブック２３Ａ、口形モデ
ル変形部（口形モデル画像記憶手段）２４Ａ、制御点座
標メモリ（テーブル）２３Ｂ、瞼形モデル変形部（瞼形
モデル画像記憶手段）２４Ｂ２合成部２５．補間点計算
部２７．ランダムパルス発生部２８．座標テーブル制御
部２９を有している。

ここで、背景画メモリ１９は、初期化時に送信側より送
られた１フレ一ム分の顔画像の静止画データを記憶し格
納するものである。

また、音声復号化部２１は送信部１０で符号化された音
声符号を復号化するもので、音声認識部２２は音声復号
化部２１から出力された音声信号を音声認識するもので
、コードブック２３Ａは音声認識部２２から次々と出力
される音素符号（音声の基本構成単位である母音又は子
音などから成るもの）から１組の口形パラメータ値を逐
次選択するもので、口形モデル変形部（口形モデル画像
記憶手段）２４Ａはコードブック２３で逐次選択された
１組の口形パラメータ値に応じて口形モデル画像を変形
するものである。

ところで、コードブック２３Ａには、第３図に示すよう
に、特定の話者が各音素！、■・・・２ｍを発生した場
合の口の形状をパラメータＩ　（例えば口の横幅）、■
（例えば唇の厚さ）、・・・＋　ｎ　（例えば口の縦幅
）として数値化したテーブルが予めその個人情報として
記憶されている。ここで、例えば、音素ｉ、ｎ、ｍに対
する口画像の一例を模式的に示すと、第５図（ａ）、（
ｂ）、（Ｑ）のようになる。

また、口形モデル変形部２４Ａは、その個人情報として
予めその特定話者の１画面（１フレーム）分の口画像デ
ータを背景画メモリ１９を介してもらい、これを口の幾
何学的形状の骨組となるパッチ・モデルにマツピングし
たものを口形モデル画像として記憶しておく。このよう
に、最初に送信部１０から目部分の画像を１画面分送っ
ておく場合でも、コードブック２３Ａは予め作っておく
必要がある。

補間点計算部２７は、静止画データに対応する瞼形状モ
デル（第６図参照）の全頂点Ｐ工〜Ｐ６の座標データを
初期化時に受けて、まばたき開始から終了までの各フレ
ーム時点での制御点Ｐ、、　Ｐ、。

Ｐ４の座標を線形補間計算し、そのデータを制御点座標
メモリ２３Ｂへ送るものである。

すなわち、この瞼形状モデルは、第６図に示すごとく、
８個の頂点Ｐユ〜ｐｓ（各点がＸｒ’／の２次元座標値
をもつ）と、これらの頂点Ｐ１〜Ｐ、をつないでできる
６個の三角形パッチＴユ〜Ｔ６とで構成されるが、この
瞼形状モデルは、まばたきの動作を合成するため、Ｐ、
、　Ｐ３．　Ｐ、を制御点（ＸＩ３’座標を変化させる
点）とし、その他の５点は不動（固定点）としている。

そして、この補間点計算部２７においては、初期化時に
、８個の頂点Ｐ□〜Ｐ、の座標のほかに、Ｐ、、Ｐ３．
Ｐ４の最下点を示すＰ、’、Ｐ、’。

Ｐ４′の３点の座標値も与えられ、あらかじめ与えられ
たまばたき１回当りのフレーム数Ｎより、Ｐ２→Ｐ２′
→ｐ、、　ｐ、→Ｐ３′→ｐ、、ｐ４→Ｐ４′→Ｐ４の
各区間を線形補間するようになっている。

制御点座標メモリ２３Ｂは、瞼形モデル画像の瞼パラメ
ータを基に瞼のまばたき動作を記憶するものである。具
体的には、上記補間点計算部２７で補間計算されたまば
たき開始から終了までの各フレーム時点における３つの
制御点Ｐ２．Ｐ３゜Ｐ４の座標をテーブルの形で、制御
点座標メモリ２３Ｂに記憶領域に保管するのである。こ
の制御点座標テーブルの構成例を第４図に示す。

ランダムパルス発生部２８はランダムな時間間隔でまば
たき開始信号を発生するもので、座標テーブル制御部２
９は、ランダムパルス発生部２８からまばたき開始信号
を受けた時点から制御点座標メモリ２３Ｂの座標テーブ
ル内の全頂点データを順次読み出し、各フレームごとに
瞼形モデル変形部２４Ｂへと転送するものである。

瞼形モデル変形部２４Ｂは、顔の瞼部分の幾何学的形状
を示す瞼形パラメータによって定義される瞼形モデル画
像を記憶するもので、この瞼形モデル変形部２４Ｂでは
、制御点座標メモリ２３Ｂから瞼パラメータを取り出し
、この瞼パラメータに基づいて瞼形モデル画像を変形す
るものである。

具体的には、座標テーブル制御部２９の作用により、制
御点座標メモリ２３Ｂから顆次送られてくる瞼パラメー
タを取り込んで、この瞼パラメータに基づいて瞼形モデ
ル画像を変形するのである。

ここで、この瞼形モデル画像の変形の様子を模式的に示
すと、第７図（ａ）〜（ｃ）のようになる。

合成部２５は、口形モデル変形部２４Ａから発生された
口画像および瞼形モデル変形部２４Ｂから発生された瞼
画像を、背景画一メモリ１９に記憶された静止顔画像の
目部分および瞼部分以外の画像と合成するものである。

次に、この第１実施例の動作を説明する。

音声入力は音声符号化部１２で符号化されて受信部２０
に伝送されるが、この音声符号は音声復号化部２１で復
号化して音声として出力される。

また、一方において、この音声出力は音声認識部２２に
送られ、その音素符号が逐次抽出されてコードブック２
３Ａに送られる。コードブック２３Ａでは、入力した音
素符号に基づいて第３図に示すコードブックの中から対
応する口形に関する１組のパラメータ値１．ＩＩ、・・
・、ｎを選択する。

そして、これらの選択された１組のパラメータ値により
、予め記憶した口形モデル画像を変形した口画像を口形
モデル変形部２４Ａで発生する。この結果、発生された
口画像と音声認識部２２で抽出された音素との対応関係
は、例えば第５図（ａ）、（ｂ）、（ｃ）に示すように
なる。

一方、ランダムパルス発生部２８からはランダムな時間
間隔で、まばたき開始信号が発せられるが、座標テーブ
ル制御部２９では、このまばたき開始信号を受けると、
その時点から制御点座標メモリ２３Ｂの座標テーブル内
の全頂点データを読み出し、各フレーム毎に瞼形モデル
変形部２４Ｂへと転送する。かかる転送はまばたき開始
信号発生時から単位まばたき当りのフレーム数が経過し
た時点で終了する。そして、瞼形モデル変形部２４Ｂで
は、上記の頂点データに従って、あらかじめ記憶した瞼
形モデル画像を変形した瞼画像を発生する。

このようにして変形して発生された口画像および瞼画像
は、背景画メモリ１９に記憶された静止顔画像の口およ
び瞼以外の画像と、合成部２５で、合成されて、顔全体
の動画像として出力されることとなる。

これにより、顔動画の情報をより圧縮できるので、情報
量を大きく削減することができ、その結果、低ビツトレ
ートの回線を利用した低廉な画像伝送方式を実現できる
ほか、顔の中の瞼の部分が会話の途中で時々まばたきを
するので、顔の表情が不自然になることもない。

なお、上記の口形モデル変形部２４Ａでの口形モデル画
像の変形および瞼形モデル変形部２４Ｂでの瞼形モデル
画像の変形に用いられる手法は、信学技報ＩＥ８７−２
．第８７巻、第１９号、１９８７に記述されている。

（ｂ）第２実施例の説明 第８図は本発明の第２実施例を示すブロック図であるが
、前述した第２図の第１実施例と異なる点は、送信部１
０に音声認識部１３を設け、送信側で音素符号とその他
の情報（イントネーション、ピッチ等）とに分離して受
信部２０に送り、受信部２０では、音素符号をそのまま
コードブック２３Ａで用いるとともに音素符号とイント
ネーション等の情報とを音声合成部２６で合成して音声
出力を発生していることである。その他の構成および動
作は第２図の場合と同様である。従って、この第２実施
例においても、前述の第１実施例と同様の効果ないし利
点が得られる。

（ｃ）第３実施例の説明 ところで、以上の各実施例では、予め記憶されたコード
ブック２３Ａは予め決められた話者固有のものであるた
め、不特定多数の人物の口画像を伝送しようとすると、
コードブックに記憶された全口形符号を１話者が変わる
度にその話者に適合させるための書き換え処理を行なう
か、または、登録されている話者のコードブック情報を
すべて記録しておくための膨大なメモリ領域をコードブ
ックに用意しておかなければならない。

そこで、以下に示す第３実施例では、コードブックを不
特定の話者に合わせて用いることができるようにした。

即ち、第９図に示すように、標準的な人間の全音素を発
音した字の口形に対する口形モデルの各パラメータ値を
測定して標準コードブックを作成し、このコードブック
内の各パラメータ値を予め決めた基本音素符号（例えば
無音符号）のパラメータ値で正規化（割算）してパラメ
ータ後とに正規化したコードブックを作る（第１０図参
照）。

そして、第１１図に示すように、基本音素符号に対応す
る個人の口画像から１組のパラメータを測定し、パラメ
ータ毎に第１０図のように求めた正規化されたコードブ
ックの全音素符号に対する各パラメータに乗算すること
により個人用のコードブックが作成できることとなる。

即ち、例えば、得られた１組の個人口画像パラメータが
ｂ工、〜ｂｘｎとすれば、第１０図において音素符号■
でパラメータＩの正規化コードａ　２１７　ａ　１□に
は上記のパラメータ後工、が掛けられて（ａｚ□／ａ工
、）　ｂｌｌというコードに変換され、同様にしてパラ
メータＩに関してはパラメータｂ１□が全音素符号に関
して乗算されることとなる。

第１２図はかかる個人用のコードブックを作成するため
の初期化装置３０を設けた第３実施例を示すブロック図
であるが、この初期化装置３０でコードブック２３Ａを
個人用に初期化することにより不特定多数の話者の顔動
画像を再生するものである。

そして、この初期化装置３０の具体的な構成が第１３図
に示されており、最初に送信部１０の画像処理部１１か
ら顔画像中の基本音素符号（この場合、無音符号）の口
画像が送られてきた時、この初期化装置３０では、特徴
点抽出部３１でその口画像の特徴点を抽出する。そして
、この特徴点間距離等からパラメータ計算部３２で１組
のパラメータを計算する。この１組のパラメータを第１
０図に示すように正規化コードブックメモリ３３に予め
用意しておいた正規化コードブックの各パラメータ毎の
乗算を乗算器３４で行なって個人用コードブックメモリ
３５を作成してコードブック２３に格納する。

以後、その個人の０画像伝送の際に参照されることとな
る。

このように、用意したコードブックを話者毎に更新でき
るように初期化装置３０を設けたので、不特定多数の話
者に対しても容易に対応することが可能と成る。

なお、この初期化装置３０は、第８図に示すような実施
例にも同様に適用される。

［発明の効果コ 以上のように、本発明の画像伝送方式によれば、予め口
形モデル画像を用意しておき、伝送されてきた音声情報
の内の音素に基づいて口形パラメータを選択し、更にこ
の口形パラメータによって用意した口形モデル画像を変
形するとともに、所要のタイミングで、テーブルから瞼
パラメータを取り出し、この瞼パラメータに基づいて瞼
形モデル画像記憶手段中の瞼形モデル画像を変形し、合
成部で、口形モデル画像および瞼形モデル画像と、送信
側からあらかじめ送られた静止顔画像の目部分および瞼
部分以外の画像とを合成して、顔動画像を再生するよう
に構成したので、伝送する画像としては、話者の目部分
および瞼以外の顔画像情報だけでよく、これにより、情
報量を大きく削減することができ、低ビツトレートの回
線を利用できるので、低廉な伝送方式が実現されるほか
、顔の中の瞼の部分が会話の途中で時々まばたきをする
ので、顔の表情が不自然になることもないという利点が
ある。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は本発明の第１実施例を示すブロック図、第３図
はコードブックの構成図、 第４図は制御点座標テーブルの構成図、第５図（ａ）、
（ｂ）、（ｃ）は音素符号に対する口画像を示す図、 第６図は瞼領域の形状モデル構成を示す図、第７図（ａ
）、（ｂ）、（ｃ）は瞼形モデル画像の変形の概念を説
明する図、 第８図は本発明の第２実施例を示すブロック図、第９図
は本発明の第３実施例における正規化コードブックの作
成手順を示す図、 第１０図は正規化コードブックの構成図、第１１図は本
発明の第３実施例における個人用コードブックの作成手
順を示す図、 第１２図は本発明の第３実施例を示すブロック図、 第１３図は初期化装置のブロック図、 第１４図は従来の一般的な画像伝送方式を示す系統図で
ある。 図において、 １０は送信部、 １１は画像処理部、 １２は音声符号化部、 １３は音声認識部、 １９は背景画メモリ、 ２０は受信部、 ２１は音声復号化部、 ２２は音声認識部、 ２３Ａはコードブック、 ２３Ｂは制御点座標メモリ（テーブル）、２４Ａは口形
モデル変形部（口形モデル画像記憶手段）、 ２４Ｂは瞼形モデル変形部（瞼形モデル画像記憶手段）
、 ２５は合成部、 ２６は音声合成部、 ２７は補間点計算部、 ２８はランダムパルス発生部、 ２９は座標テーブル制御部、 ３０は初期化装置、 ３１は特徴点抽出部、 ３２はパラメータ計算部、 ３３は正規化コードブックメモリ、 ３４は乗算部、 ３５は個人用コードブックメモリである。 １＼、１ａｃｅ、だ汽王甲フ゛ロッワ口第１図 コード′ブッワのＩ糞戚゛区 第ス鼎 浄り横ρ、七、 忰１１イを円台、＃１水もプルめ構成固音素Ｉ　　　　
音素■　　　　音素■ （０）（ｂ）（Ｃ） Ｉ３−骨素に１寸才ろロ画イ家乞ホす国名５図 田〜Ａ計入Ｕ形状七ｆ」鼻広乞ｊ・オロ第６図 ７し一ム１　　　　　　　　フし−Ａ　Ｎ／２　　　　
　　　　　’７レームＮ（０）　　　　　　　　　（ｂ
）　　　　　　　　　（Ｃ）団段形七乍ル画イ吃の′更
形／ｌ、ｆ既４ｎ兇日月するロ第７図 正犬見化コードブッワイ丁底”／１今川？乞ホす団第９
図 正炙見化コートフソグｎｊ−１八ロ 第１０図

Claims (2)

【特許請求の範囲】
1. （１）受信側（２０）に、 顔の口部分の幾何学的形状を示す口形パラメータによっ
   て定義される口形モデル画像を記憶する口形モデル画像
   記憶手段（２４Ａ）と、 該口形モデル画像のパラメータ値を全音素符号に対して
   記憶するコードブック（２３Ａ）と、該顔の瞼部分の幾
   何学的形状を示す瞼形パラメータによって定義される瞼
   形モデル画像を記憶する瞼形モデル画像記憶手段（２４
   Ｂ）と、 該瞼形モデル画像の瞼パラメータを基に該瞼の開閉動作
   を記憶するテーブル（２３Ｂ）とが設けられて、 送信側（１０）からの音声情報中の音素符号により該コ
   ードブック（２３Ａ）から対応する口形パラメータを選
   択し、該口形パラメータに基づいて該口形モデル画像記
   憶手段（２４Ａ）中の該口形モデル画像を変形すると共
   に、 所要のタイミングで、該テーブル（２３Ｂ）から瞼パラ
   メータを取り出し、この瞼パラメータに基づいて該瞼形
   モデル画像記憶手段（２４Ｂ）中の該瞼形モデル画像を
   変形し、 合成部（２５）で、該口形モデル画像および該瞼形モデ
   ル画像と、送信側（１０）からあらかじめ送られた静止
   顔画像の該口部分および該瞼部分以外の画像とを合成し
   て、顔動画像を再生することを特徴とする、画像伝送方
   式。
2. （２）受信側（２０）に、ランダム信号発生部（２８）
   が設けられて、 該ランダム信号発生部（２８）からのランダム信号の発
   生タイミングで、該瞼形モデル画像記憶手段（２４Ｂ）
   中の該瞼形モデル画像を変形する、請求項１記載の画像
   伝送方式。