JPH10247254A - 唇動きパラメータ発生装置 - Google Patents
唇動きパラメータ発生装置Info
- Publication number
- JPH10247254A JPH10247254A JP34757997A JP34757997A JPH10247254A JP H10247254 A JPH10247254 A JP H10247254A JP 34757997 A JP34757997 A JP 34757997A JP 34757997 A JP34757997 A JP 34757997A JP H10247254 A JPH10247254 A JP H10247254A
- Authority
- JP
- Japan
- Prior art keywords
- lip
- dimensional
- model
- image
- lip model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 ３次元モデルベース符号化システムにおけ
る個々人の唇動きパラメータを効率的に発生し得る唇動
きパラメータ発生装置を提供する。 【解決手段】 人の音声信号から音節を認識して、認
識音節及び選択信号を発生する音声認識部３０と、映像
信号から人の実唇映像を取出す映像分割部２０と、人に
対する特徴的な３次元唇モデルを発生する３次元モデル
発生部５０と、特徴的な３次元唇モデルを特徴的な２次
元唇モデルに変換し、特徴的な２次元唇モデルと実唇映
像とを比較して回転角度を計算して、回転された２次元
唇モデル及び回転角度を発生する回転角度計算部６０
と、音節に基づいて回転された２次元唇モデルを再構成
して、再構成２次元唇モデルを発生する唇再構成部３５
と、唇動きパラメータ、音声信号及び回転角度を復号化
器に伝送するＭＵＸ７５とを含む。
る個々人の唇動きパラメータを効率的に発生し得る唇動
きパラメータ発生装置を提供する。 【解決手段】 人の音声信号から音節を認識して、認
識音節及び選択信号を発生する音声認識部３０と、映像
信号から人の実唇映像を取出す映像分割部２０と、人に
対する特徴的な３次元唇モデルを発生する３次元モデル
発生部５０と、特徴的な３次元唇モデルを特徴的な２次
元唇モデルに変換し、特徴的な２次元唇モデルと実唇映
像とを比較して回転角度を計算して、回転された２次元
唇モデル及び回転角度を発生する回転角度計算部６０
と、音節に基づいて回転された２次元唇モデルを再構成
して、再構成２次元唇モデルを発生する唇再構成部３５
と、唇動きパラメータ、音声信号及び回転角度を復号化
器に伝送するＭＵＸ７５とを含む。
Description
【０００１】
【発明の属する技術分野】本発明は、顔面表現情報を符
号化する装置に関し、特に、３次元モデルベース符号化
システムにおける唇動きパラメータを発生する唇動きパ
ラメータ発生装置に関する。
号化する装置に関し、特に、３次元モデルベース符号化
システムにおける唇動きパラメータを発生する唇動きパ
ラメータ発生装置に関する。
【０００２】
【従来の技術】通常、テレビ電話、電子会議及び高精細
度テレビジョンシステムのようなディジタルビデオシス
テムにおいて、映像フレーム信号内の映像ライン信号が
「画素」と呼ばれる一連のディジタルデータからなって
いるため、各映像フレーム信号を表現するのには大量の
ディジタルデータが必要である。
度テレビジョンシステムのようなディジタルビデオシス
テムにおいて、映像フレーム信号内の映像ライン信号が
「画素」と呼ばれる一連のディジタルデータからなって
いるため、各映像フレーム信号を表現するのには大量の
ディジタルデータが必要である。
【０００３】しかしながら、通常の伝送チャネル上の利
用可能な周波数帯域幅は制限されているので、そのチャ
ネルを通じて大量のディジタルデータを伝送するために
は、特に、人間の形状をチャネルを通じて伝送するテレ
ビ電話及び電子会議のような低ビットレートの映像信号
符号化器の場合、様々なデータ圧縮技法を用いて伝送す
べきデータの量を圧縮するか減らさなければならない。
用可能な周波数帯域幅は制限されているので、そのチャ
ネルを通じて大量のディジタルデータを伝送するために
は、特に、人間の形状をチャネルを通じて伝送するテレ
ビ電話及び電子会議のような低ビットレートの映像信号
符号化器の場合、様々なデータ圧縮技法を用いて伝送す
べきデータの量を圧縮するか減らさなければならない。
【０００４】映像符号化システムにおいては、通常、連
続的に変化する画素から構成される映像が伝送される。
しかし、３次元モデルベース符号化システムにおいて
は、特定の動きパラメータが映像から取出されて、受信
端に伝送される。受信端においては、映像（例えば、顔
面映像）を再構成するためには、伝送された動きパラメ
ータが、以前に受信端に伝送された人の基本的な顔面の
形状及び頭に対する一般的な３次元モデルのようなデー
タと組み合せられる。
続的に変化する画素から構成される映像が伝送される。
しかし、３次元モデルベース符号化システムにおいて
は、特定の動きパラメータが映像から取出されて、受信
端に伝送される。受信端においては、映像（例えば、顔
面映像）を再構成するためには、伝送された動きパラメ
ータが、以前に受信端に伝送された人の基本的な顔面の
形状及び頭に対する一般的な３次元モデルのようなデー
タと組み合せられる。
【０００５】テレビ電話及び電子会議システムにおい
て、ビデオ映像は、主に、頭及び肩の画面（即ち、人間
の上体）から構成される。さらに、視聴者が最も感心を
持つ対象物は人間の顔であるだろうから、視聴者は、特
に、人間が映像画面内で話している場合に、背景画面ま
たは他の詳細なものに対して動いている部分(即ち、
唇、顎及び頭等)を有する人間の口元に注目するはずで
ある。従って、顔面形状に対する一般的な情報のみが伝
送される場合、デジタルデータの量が非常に減少され得
る。
て、ビデオ映像は、主に、頭及び肩の画面（即ち、人間
の上体）から構成される。さらに、視聴者が最も感心を
持つ対象物は人間の顔であるだろうから、視聴者は、特
に、人間が映像画面内で話している場合に、背景画面ま
たは他の詳細なものに対して動いている部分(即ち、
唇、顎及び頭等)を有する人間の口元に注目するはずで
ある。従って、顔面形状に対する一般的な情報のみが伝
送される場合、デジタルデータの量が非常に減少され得
る。
【０００６】３次元モデルベース符号化システムにおい
て、口の形状、特に、唇の形状は、顔面の重要な視覚情
報を有する。人間のメッセージ及び感情は、唇の形状に
よって良く伝達され得る。
て、口の形状、特に、唇の形状は、顔面の重要な視覚情
報を有する。人間のメッセージ及び感情は、唇の形状に
よって良く伝達され得る。
【０００７】図１を参照すると、デジタル映像を符号化
する従来の唇動きパラメータ発生装置１００の概略的な
ブロック図が示されている。
する従来の唇動きパラメータ発生装置１００の概略的な
ブロック図が示されている。
【０００８】唇映像取出部１０１は、顔面の映像のよう
なデジタル入力信号から予め定められた特徴部分（例え
ば、口元）に対応する画素の信号を取出して、各特徴信
号を、位置情報検出部１０５及び形状情報検出部１２０
に、各々、供給する。
なデジタル入力信号から予め定められた特徴部分（例え
ば、口元）に対応する画素の信号を取出して、各特徴信
号を、位置情報検出部１０５及び形状情報検出部１２０
に、各々、供給する。
【０００９】位置情報検出部１０５は、特徴部分を構成
する個人的要素の実際位置（例えば、上部及び下部の
唇）を探索して、位置情報表示部１２５に供給する。
する個人的要素の実際位置（例えば、上部及び下部の
唇）を探索して、位置情報表示部１２５に供給する。
【００１０】位置情報表示部１２５は、実際位置を絶対
座標に変換する。
座標に変換する。
【００１１】形状情報検出部１２０は、特徴部分の構成
要素の形状を分析し、構成要素の終端点及び中心点の適
切な特徴点を検出して、これを形状情報表示部１３０に
伝送する。
要素の形状を分析し、構成要素の終端点及び中心点の適
切な特徴点を検出して、これを形状情報表示部１３０に
伝送する。
【００１２】形状情報表示部１３０は、特徴点の座標を
検出し、口の大きさと、口の映像などの形状を表す相関
値とを表す２つの終端点の間の長さの出力パラメータを
計算する。
検出し、口の大きさと、口の映像などの形状を表す相関
値とを表す２つの終端点の間の長さの出力パラメータを
計算する。
【００１３】しかし、個々の人間は異なる唇の形状を有
するので、新たな映像が入力される場合、上記装置は適
切に動作しない。従って、３次元唇モデルが個々人の実
際唇映像に最適に近似化されるように変換する必要があ
る。
するので、新たな映像が入力される場合、上記装置は適
切に動作しない。従って、３次元唇モデルが個々人の実
際唇映像に最適に近似化されるように変換する必要があ
る。
【００１４】
【発明が解決しようとする課題】従って、本発明の主な
目的は、３次元モデルベース符号化システムにおける個
々人の唇動きパラメータを効率的に発生し得る唇動きパ
ラメータ発生装置を提供することにある。
目的は、３次元モデルベース符号化システムにおける個
々人の唇動きパラメータを効率的に発生し得る唇動きパ
ラメータ発生装置を提供することにある。
【００１５】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、実唇映像が連続的に変化するデ
ィスプレーされる人の唇の映像を表す時、３次元のモデ
ルベース符号化システムにおける音声信号及び映像信号
を用いて、前記実唇映像と２次元の変換唇モデルとの間
の距離である唇動きパラメータを発生する唇動きパラメ
ータ発生装置であって、前記人の音声信号から音節を認
識して、認識音節及び選択信号を発生する音節認識手段
と、前記映像信号から前記人の実唇映像を取出す実際唇
映像取出手段と、無表情で黙っている人の正顔面を表す
基本的な顔面映像、前記人の基本的な唇の位置、及び一
般的な３次元唇モデルを用いて、前記人に対する特徴的
な３次元唇モデルを発生する３次元唇モデル発生手段
と、前記特徴的な３次元唇モデルを特徴的な２次元唇モ
デルに変換し、前記特徴的な２次元唇モデルと前記実唇
映像とを比較して、回転角度を計算して、回転された２
次元唇モデル及び前記回転角度を発生する変換手段と、
前記音節に基づいて前記回転された２次元唇モデルを再
構成して、再構成２次元唇モデルを発生する再構成手段
と、前記唇動きパラメータ、前記音声信号及び前記回転
角度を復号化器に伝送する伝送手段とを含むことを特徴
とする唇動きパラメータ発生装置が提供される。
めに、本発明によれば、実唇映像が連続的に変化するデ
ィスプレーされる人の唇の映像を表す時、３次元のモデ
ルベース符号化システムにおける音声信号及び映像信号
を用いて、前記実唇映像と２次元の変換唇モデルとの間
の距離である唇動きパラメータを発生する唇動きパラメ
ータ発生装置であって、前記人の音声信号から音節を認
識して、認識音節及び選択信号を発生する音節認識手段
と、前記映像信号から前記人の実唇映像を取出す実際唇
映像取出手段と、無表情で黙っている人の正顔面を表す
基本的な顔面映像、前記人の基本的な唇の位置、及び一
般的な３次元唇モデルを用いて、前記人に対する特徴的
な３次元唇モデルを発生する３次元唇モデル発生手段
と、前記特徴的な３次元唇モデルを特徴的な２次元唇モ
デルに変換し、前記特徴的な２次元唇モデルと前記実唇
映像とを比較して、回転角度を計算して、回転された２
次元唇モデル及び前記回転角度を発生する変換手段と、
前記音節に基づいて前記回転された２次元唇モデルを再
構成して、再構成２次元唇モデルを発生する再構成手段
と、前記唇動きパラメータ、前記音声信号及び前記回転
角度を復号化器に伝送する伝送手段とを含むことを特徴
とする唇動きパラメータ発生装置が提供される。
【００１６】
【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。
て図面を参照しながらより詳しく説明する。
【００１７】図２を参照すると、本発明による唇動きパ
ラメータを発生する唇動きパラメータ発生装置２００の
ブロック図が示されている。ここで、唇動きパラメータ
は、実唇映像と変換された２次元唇モデルとの間の差分
を表し、実際唇は、連続的に変化するスクリーン上にデ
ィスプレーされる人間の唇の映像である。
ラメータを発生する唇動きパラメータ発生装置２００の
ブロック図が示されている。ここで、唇動きパラメータ
は、実唇映像と変換された２次元唇モデルとの間の差分
を表し、実際唇は、連続的に変化するスクリーン上にデ
ィスプレーされる人間の唇の映像である。
【００１８】最初、一旦通信チャネルが接続されると、
基本的な顔面映像発生部４０及び基本唇位置発生部４５
から、人間の基本的な顔面映像及び基本唇の位置が、人
間の全体的な顔面の映像を再構成するために、受信端の
復号化器にただ一度伝送される。ここで、基本的な顔面
映像は、無表情で黙っている人の正顔面である。
基本的な顔面映像発生部４０及び基本唇位置発生部４５
から、人間の基本的な顔面映像及び基本唇の位置が、人
間の全体的な顔面の映像を再構成するために、受信端の
復号化器にただ一度伝送される。ここで、基本的な顔面
映像は、無表情で黙っている人の正顔面である。
【００１９】その後、音声信号が、マイクロホン(図示
せず)からラインＬ１０を介してＡ／Ｄ変換器１０及び
ＭＵＸ７５に各々入力され、映像信号は、カメラ（図示
せず）から映像分割部２０に供給される。
せず)からラインＬ１０を介してＡ／Ｄ変換器１０及び
ＭＵＸ７５に各々入力され、映像信号は、カメラ（図示
せず）から映像分割部２０に供給される。
【００２０】Ａ／Ｄ変換器１０は、音声信号をデジタル
化音声信号に変換して、それを音声認識部１５に伝達す
る。同時に、映像分割部２０は、映像の光分布を用いた
従来の分割方法を用いて、本発明の好適実施例による予
め定められた特徴部分の例である実唇映像のエッジを取
出し、ラインＬ２０を介して、唇の境界を表す輪郭線及
び輪郭線の内部情報を、回転角度計算部６０及び唇動き
計算部７０に、各々、供給する。
化音声信号に変換して、それを音声認識部１５に伝達す
る。同時に、映像分割部２０は、映像の光分布を用いた
従来の分割方法を用いて、本発明の好適実施例による予
め定められた特徴部分の例である実唇映像のエッジを取
出し、ラインＬ２０を介して、唇の境界を表す輪郭線及
び輪郭線の内部情報を、回転角度計算部６０及び唇動き
計算部７０に、各々、供給する。
【００２１】然る後、音声認識部１５は、本特許出願と
出願人を同じくする米国特許出願番号第5，675，705号
明細書に「SPECTROGRAM−FEATURE−BASED SPEECH SYLLA
BLE AND WORD RECOGNITION USING SYLLABLE LANGUAGE D
ICTIONARY」との名称で開示されているように、従来の
音声認識方法を用いて、デジタル音声信号から音節を取
出して、その音節を音声認識部30に供給する。さらに、
音声認識部15は、時間軸及び周波数軸に沿って音節のエ
ネルギー量が人が話していることを表す予め定められた
閾値より大きくなった場合は、第１選択信号をスイッチ
６５に、そのエネルギー量が人が感情を表現することを
表す予め定められた閾値以下になった場合は、第２選択
信号を、スイッチ６５に、各々、供給する（米国特許出
願番号第5，675，705号、参照）。
出願人を同じくする米国特許出願番号第5，675，705号
明細書に「SPECTROGRAM−FEATURE−BASED SPEECH SYLLA
BLE AND WORD RECOGNITION USING SYLLABLE LANGUAGE D
ICTIONARY」との名称で開示されているように、従来の
音声認識方法を用いて、デジタル音声信号から音節を取
出して、その音節を音声認識部30に供給する。さらに、
音声認識部15は、時間軸及び周波数軸に沿って音節のエ
ネルギー量が人が話していることを表す予め定められた
閾値より大きくなった場合は、第１選択信号をスイッチ
６５に、そのエネルギー量が人が感情を表現することを
表す予め定められた閾値以下になった場合は、第２選択
信号を、スイッチ６５に、各々、供給する（米国特許出
願番号第5，675，705号、参照）。
【００２２】音声認識部３０は、上記引用特許に開示さ
れたように、従来の音声認識方法を用いて、音声認識部
１５から入力された音節を認識し、その音節を唇再構成
部３５に供給する。
れたように、従来の音声認識方法を用いて、音声認識部
１５から入力された音節を認識し、その音節を唇再構成
部３５に供給する。
【００２３】一方、基本的な顔面映像発生部４０及び基
本唇位置発生部４５は、基本的な顔面映像及び基本的な
顔面の唇の位置情報を基本的唇整合部５５に、各々、供
給する。その後、頭に対する一般的な３次元モデルを有
する３次元モデル発生部５０が、３次元モデルの唇領域
を基本的唇整合部５５に供給する。ここで、唇動きパラ
メータ発生装置２００に対する３次元唇モデルは、図３
Ａに示した複数の多角形と接続される網形状におけるワ
イヤーフレームの３次元コンピュータグラフィックとし
て格納される。
本唇位置発生部４５は、基本的な顔面映像及び基本的な
顔面の唇の位置情報を基本的唇整合部５５に、各々、供
給する。その後、頭に対する一般的な３次元モデルを有
する３次元モデル発生部５０が、３次元モデルの唇領域
を基本的唇整合部５５に供給する。ここで、唇動きパラ
メータ発生装置２００に対する３次元唇モデルは、図３
Ａに示した複数の多角形と接続される網形状におけるワ
イヤーフレームの３次元コンピュータグラフィックとし
て格納される。
【００２４】基本的唇整合部５５は、後述する方法を用
いて、３次元モデルの唇を人間の基本的な唇に整合さ
せ、その整合結果を個々人に対応する特徴的な３次元唇
モデルとして回転角度計算部６０に供給する。
いて、３次元モデルの唇を人間の基本的な唇に整合さ
せ、その整合結果を個々人に対応する特徴的な３次元唇
モデルとして回転角度計算部６０に供給する。
【００２５】図３Ａ及び図３Ｂは、３次元唇モデル２０
０を個人の基本唇映像３００に整合させるためのプロセ
スである。最初、図３Ａに示したように、３次元唇モデ
ル２００の輪郭線上に位置した各点（例えば、３次元唇
モデルの左端点及び右端点）２１、２３)、３次元唇モ
デルの上部領域内の両尖頭点（４１、４３）、及び３次
元唇モデルの中心領域を長手方向に横切る３つの点（３
１、３５、３７）のうち、最も明確な特徴点が、最優先
順位を有する特徴点として選択される。しかる後、図３
Ｂに示したように、３次元唇モデル２００と基本唇映像
３００との間の最も類似な領域を、各特徴点に対して、
正規探索範囲内で探索し、その特徴点を基本唇映像３０
０の輪郭線上に移動させる。続いて、３次元唇モデルの
輪郭線が、移動された特徴点に基づいて再構成される。
残余の特徴点に対して、再構成３次元唇モデルの輪郭線
上の点と基本唇の近似領域の点との間の距離が、予め定
められた閾値より大きい場合、上記方法が反復的に行わ
れる。
０を個人の基本唇映像３００に整合させるためのプロセ
スである。最初、図３Ａに示したように、３次元唇モデ
ル２００の輪郭線上に位置した各点（例えば、３次元唇
モデルの左端点及び右端点）２１、２３)、３次元唇モ
デルの上部領域内の両尖頭点（４１、４３）、及び３次
元唇モデルの中心領域を長手方向に横切る３つの点（３
１、３５、３７）のうち、最も明確な特徴点が、最優先
順位を有する特徴点として選択される。しかる後、図３
Ｂに示したように、３次元唇モデル２００と基本唇映像
３００との間の最も類似な領域を、各特徴点に対して、
正規探索範囲内で探索し、その特徴点を基本唇映像３０
０の輪郭線上に移動させる。続いて、３次元唇モデルの
輪郭線が、移動された特徴点に基づいて再構成される。
残余の特徴点に対して、再構成３次元唇モデルの輪郭線
上の点と基本唇の近似領域の点との間の距離が、予め定
められた閾値より大きい場合、上記方法が反復的に行わ
れる。
【００２６】回転角度計算部６０は、基本的唇整合部５
５からの特徴的な３次元唇モデルを特徴的な２次元唇モ
デルに変換し、従来の方法（例えば、アフィン変換方
法）を用いて、映像分割部２０から入力された実唇映像
を特徴的な２次元唇モデルと比較することによって回転
角度を計算し、その回転角度をＭＵＸ７５に供給する。
その後、回転角度によって回転された２次元唇モデル
を、唇再構成部３５及びスイッチ６５に、各々、供給す
る。
５からの特徴的な３次元唇モデルを特徴的な２次元唇モ
デルに変換し、従来の方法（例えば、アフィン変換方
法）を用いて、映像分割部２０から入力された実唇映像
を特徴的な２次元唇モデルと比較することによって回転
角度を計算し、その回転角度をＭＵＸ７５に供給する。
その後、回転角度によって回転された２次元唇モデル
を、唇再構成部３５及びスイッチ６５に、各々、供給す
る。
【００２７】唇再構成部３５は、音声認識部３０にて認
識音節に基づいて規則的な比率で、回転角度計算部６０
からの回転された２次元唇モデルの形状を、拡大するか
縮小させ、その結果を再構成２次元唇モデルとしてスイ
ッチ６５に供給する。
識音節に基づいて規則的な比率で、回転角度計算部６０
からの回転された２次元唇モデルの形状を、拡大するか
縮小させ、その結果を再構成２次元唇モデルとしてスイ
ッチ６５に供給する。
【００２８】図４は、音声認識部３０にて認識された基
本的音声音節による複数の代表的な唇表現パターンであ
る。ここで、基本的音声音節は、人間音声システムによ
って７つの可能な領域から求められる。例えば、「ａ」
音が音声認識部３０で認識される場合は、回転された２
次元唇モデルが、唇再構成部３５の左右方向より上下方
向に拡張する。人の話している場合は、２次元唇モデル
が、認識音節を用いて実唇映像に近接されて、符号化過
程におけるデータの量を非常に減少させることができ
る。図４において、閉鎖音節は子音で終了される音節を
意味する。
本的音声音節による複数の代表的な唇表現パターンであ
る。ここで、基本的音声音節は、人間音声システムによ
って７つの可能な領域から求められる。例えば、「ａ」
音が音声認識部３０で認識される場合は、回転された２
次元唇モデルが、唇再構成部３５の左右方向より上下方
向に拡張する。人の話している場合は、２次元唇モデル
が、認識音節を用いて実唇映像に近接されて、符号化過
程におけるデータの量を非常に減少させることができ
る。図４において、閉鎖音節は子音で終了される音節を
意味する。
【００２９】スイッチ６５は、音声認識部１５から入力
される第１選択信号に応じて、唇再構成部３５からの再
構成２次元唇モデル、または音声認識部１５から入力さ
れる第2選択信号に応じて、回転角度計算部６０からの
回転された２次元唇モデルのうちの何れか１つを選択し
て、選択した２次元唇モデルを唇動き計算部７０に供給
する。
される第１選択信号に応じて、唇再構成部３５からの再
構成２次元唇モデル、または音声認識部１５から入力さ
れる第2選択信号に応じて、回転角度計算部６０からの
回転された２次元唇モデルのうちの何れか１つを選択し
て、選択した２次元唇モデルを唇動き計算部７０に供給
する。
【００３０】唇動き計算部７０は、図５に示した次のパ
ラメータ（即ち、２次元唇モデルの両終端点の右左動き
パラメータ）（Ｌ１、Ｌ２）、２次元唇モデルの中心領
域内の最上位点及び最下位点の上下動きパラメータ（Ｌ
３、Ｌ４）、２次元唇モデルの中心領域内の最上位点及
び最下位点の前後方動きパラメータ（Ｌ５、Ｌ６）、２
次元唇モデルの終端点の上下動きパラメータ（Ｌ７、Ｌ
８））に対して、人が話している場合に対応する実唇映
像及び再構成２次元唇モデルとの間の動きの量、または
人が感情を表現する場合に対応する実唇映像と回転され
た２次元唇モデルとの間の動きの量を計算して、その動
きの量を動きパラメータとして、ＭＵＸ７５に供給す
る。唇動きパラメータは、予め定められた計算範囲（例
えば、−１より１まで）内で選択され、中間値「０」
は、２次元唇モデルに対応する実唇映像を意味する。
ラメータ（即ち、２次元唇モデルの両終端点の右左動き
パラメータ）（Ｌ１、Ｌ２）、２次元唇モデルの中心領
域内の最上位点及び最下位点の上下動きパラメータ（Ｌ
３、Ｌ４）、２次元唇モデルの中心領域内の最上位点及
び最下位点の前後方動きパラメータ（Ｌ５、Ｌ６）、２
次元唇モデルの終端点の上下動きパラメータ（Ｌ７、Ｌ
８））に対して、人が話している場合に対応する実唇映
像及び再構成２次元唇モデルとの間の動きの量、または
人が感情を表現する場合に対応する実唇映像と回転され
た２次元唇モデルとの間の動きの量を計算して、その動
きの量を動きパラメータとして、ＭＵＸ７５に供給す
る。唇動きパラメータは、予め定められた計算範囲（例
えば、−１より１まで）内で選択され、中間値「０」
は、２次元唇モデルに対応する実唇映像を意味する。
【００３１】ＭＵＸ７５は、唇動きパラメータ、音声信
号、及び回転角度を多重化して、それを受信端の復号化
器に伝送する。
号、及び回転角度を多重化して、それを受信端の復号化
器に伝送する。
【００３２】受信端の復号化器は、受信端の第１段にお
いて、その自体の３次元唇モデルと伝送された基本的な
顔面映像の写しとを組合せて、基本的な顔面に対する３
次元唇モデルの写しを発生する。続いて、３次元唇モデ
ルが２次元唇モデルに変換される。然る後、伝送データ
ストリームにおいて、回転角度及び音声信号によって、
２次元唇モデルが唇動きパラメータ発生装置２００にお
ける回転角度計算部６０及び唇再構成部３５と同様な方
法にて回転され再構成される。最後、唇動きパラメータ
が、２次元唇モデルに加算されて、実際顔面の映像の写
しを構成する。
いて、その自体の３次元唇モデルと伝送された基本的な
顔面映像の写しとを組合せて、基本的な顔面に対する３
次元唇モデルの写しを発生する。続いて、３次元唇モデ
ルが２次元唇モデルに変換される。然る後、伝送データ
ストリームにおいて、回転角度及び音声信号によって、
２次元唇モデルが唇動きパラメータ発生装置２００にお
ける回転角度計算部６０及び唇再構成部３５と同様な方
法にて回転され再構成される。最後、唇動きパラメータ
が、２次元唇モデルに加算されて、実際顔面の映像の写
しを構成する。
【００３３】上記において、本発明の好適な実施の形態
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
【００３４】
【発明の効果】従って、本発明によれば、３次元モデル
ベース符号化システムにおける個々人の唇動きパラメー
タを効率的に発生することができる。
ベース符号化システムにおける個々人の唇動きパラメー
タを効率的に発生することができる。
【図１】デジタル映像を符号化するための従来の唇動き
パラメータ発生装置のブロック図。
パラメータ発生装置のブロック図。
【図２】本発明による個々人の唇動きパラメータ発生装
置のブロック図。
置のブロック図。
【図３】Ａ及びＢよりなり、 Ａ及びＢは、各々、本発
明によって個々人の基本唇映像の３次元唇モデルへの整
合を説明するための模式図。
明によって個々人の基本唇映像の３次元唇モデルへの整
合を説明するための模式図。
【図４】本発明の音節による複数の唇パターンを示す模
式図。
式図。
【図５】本発明による複数の唇動きパラメータを示す模
式図。
式図。
１０ Ａ／Ｄ変換器 １５ 音声認識部 ２０ 映像分割部 ３０ 音声認識部 ３５ 唇再構成部 ４０ 基本的顔面映像発生部 ４５ 基本的唇位置発生部 ５０ ３次元モデル発生部 ５５ 基本的唇整合部 ６０ 回転角度計算部 ６５ スイッチ ７０ 唇動き計算部 ７５ マルチプレクサ（ＭＵＸ） １００ 唇動きパラメータ発生装置 １０１ 唇映像取出部 １０５ 位置情報検出部 １２０ 形状情報検出部 １２５ 位置情報表示部 １３０ 形状情報表示部 ２００ 唇動きパラメータ発生装置 ３００ 基本唇映像
Claims (10)
- 【請求項１】 実唇映像が連続的に変化するディス
プレーされる人の唇の映像を表す時、３次元のモデルベ
ース符号化システムにおける音声信号及び映像信号を用
いて、前記実唇映像と２次元の変換唇モデルとの間の距
離である唇動きパラメータを発生する唇動きパラメータ
発生装置であって、 前記人の音声信号から音節を認識して、認識音節及び選
択信号を発生する音節認識手段と、 前記映像信号から前記人の実唇映像を取出す実際唇映像
取出手段と、 無表情で黙っている人の正顔面を表す基本的な顔面映
像、前記人の基本的な唇の位置、及び一般的な３次元唇
モデルを用いて、前記人に対する特徴的な３次元唇モデ
ルを発生する３次元唇モデル発生手段と、 前記特徴的な３次元唇モデルを特徴的な２次元唇モデル
に変換し、前記特徴的な２次元唇モデルと前記実唇映像
とを比較して、回転角度を計算して、回転された２次元
唇モデル及び前記回転角度を発生する変換手段と、 前記音節に基づいて前記回転された２次元唇モデルを再
構成して、再構成２次元唇モデルを発生する再構成手段
と、 前記唇動きパラメータ、前記音声信号及び前記回転角度
を復号化器に伝送する伝送手段とを有することを特徴と
する唇動きパラメータ発生装置。 - 【請求項２】 前記認識手段が、 前記音声信号をデジタル音声信号に変換する音声信号変
換手段と、 前記デジタル音声信号から音節を認識する音声認識手段
と、 時間軸及び周波数軸に沿って前記認識音節のエネルギー
の量が、予め定められた閾値より大きくなる場合、第１
選択信号を、前記認識音節のエネルギーの量が予め定め
られた閾値以下の場合、第２選択信号を、各々、発生す
る選択信号発生手段とを有することを特徴とする請求項
１に記載の唇動きパラメータ発生装置。 - 【請求項３】 前記実際唇映像取出手段が、分割方法
を用いることを特徴とする請求項２に記載の唇動きパラ
メータ発生装置。 - 【請求項４】 前記３次元唇モデル発生手段が、 前記３次元唇モデルの輪郭線上で複数の特徴点を選択し
て、各特徴点に優先順位を割当てる特徴点選択手段と、 正規探索範囲内で、前記３次元唇モデルと前記基本的な
唇映像との間の最も類似な領域を探索して、前記各特徴
点を前記基本的な唇映像の輪郭線上に移動させる特徴点
移動手段と、 前記移動された特徴点に基づいて、前記３次元唇モデル
の輪郭線を再構成する輪郭線再構成手段と、 前記再構成３次元唇モデルの点と前記基本的な唇映像の
最も類似な領域の点との間の距離が、予め定められた閾
値より大きい場合、残余の特徴点に対して、前記特徴点
移動手段、及び前記輪郭線再構成手段を反復的に適用す
る反復手段とを有することを特徴とする請求項３に記載
の唇動きパラメータ発生装置。 - 【請求項５】 前記特徴点が、 前記３次元唇モデルの左端点及び右端点と、 前記３次元唇モデルの上部領域における尖頭点と、 前記３次元唇モデルの前記輪郭線上に位置する点のうち
の前記３次元唇モデルの中心領域を長手方向で横切る点
とを有することを特徴とする請求項４に記載の唇動きパ
ラメータ発生装置。 - 【請求項６】 前記再構成２次元唇モデルが、７つの
基本的音声音節に基づいて再構成されることを特徴とす
る請求項５に記載の唇動きパラメータ発生装置。 - 【請求項７】 前記回転角度が、アフィン変換技法を
用いて計算されることを特徴とする請求項６に記載の唇
動きパラメータ発生装置。 - 【請求項８】 前記伝送手段が、 予め定められた計算範囲内で、前記実唇映像と、前記３
次元唇モデル発生手段からの前記第１選択信号に応じる
前記再構成２次元唇モデル、及び前記３次元唇モデル発
生手段からの前記第２選択信号に応じる前記回転された
２次元唇モデルのうちの何れか１つとの間の動きの量を
計算して、前記唇動きパラメータを発生する動き量計算
手段と、 前記唇動きパラメータ、前記音声信号及び前記回転角度
を多重化する多重化手段とを有することを特徴とする請
求項７に記載の唇動きパラメータ発生装置。 - 【請求項９】 前記唇動きパラメータが、 前記２次元唇モデルの左端点及び右端点共の上下動きパ
ラメータ及び左右動きパラメータと、 前記２次元唇モデルの中央領域における最上位点及び最
下位点の上下動きパラメータ及び前後方動きパラメータ
とを有することを特徴とする請求項８に記載の唇動きパ
ラメータ発生装置。 - 【請求項１０】 前記予め定められた計算範囲が、−
１より１までであることを特徴とする請求項９に記載の
唇動きパラメータ発生装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960078101A KR100220699B1 (ko) | 1996-12-30 | 1996-12-30 | 3 차원 모델 기반 코딩 시스템의 입술 형태 정보 추출 장치 |
| KR1019960078100A KR100220598B1 (ko) | 1996-12-30 | 1996-12-30 | 3차원 모델 기반 코딩 시스템의 입술 변형 변수 추출 장치 |
| KR1996-78101 | 1996-12-30 | ||
| KR1996-78100 | 1996-12-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10247254A true JPH10247254A (ja) | 1998-09-14 |
| JP4087935B2 JP4087935B2 (ja) | 2008-05-21 |
Family
ID=26632427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34757997A Expired - Fee Related JP4087935B2 (ja) | 1996-12-30 | 1997-12-17 | 唇動きパラメータ発生装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6014625A (ja) |
| JP (1) | JP4087935B2 (ja) |
| CN (1) | CN1167276C (ja) |
| GB (1) | GB2320838B (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3112254B2 (ja) * | 1997-03-04 | 2000-11-27 | 富士ゼロックス株式会社 | 音声検出装置 |
| KR19990039650A (ko) * | 1997-11-13 | 1999-06-05 | 전주범 | 입술 애니메이션을 위한 텍스쳐 맵핑 방법 |
| JP3688879B2 (ja) * | 1998-01-30 | 2005-08-31 | 株式会社東芝 | 画像認識装置、画像認識方法及びその記録媒体 |
| US7257528B1 (en) | 1998-02-13 | 2007-08-14 | Zi Corporation Of Canada, Inc. | Method and apparatus for Chinese character text input |
| US6975988B1 (en) | 2000-11-10 | 2005-12-13 | Adam Roth | Electronic mail method and system using associated audio and visual techniques |
| US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
| US20020198716A1 (en) * | 2001-06-25 | 2002-12-26 | Kurt Zimmerman | System and method of improved communication |
| CA2477637C (en) | 2001-08-30 | 2009-06-16 | America Online Incorporated | Component-based, adaptive stroke-order system |
| JP3762750B2 (ja) * | 2003-01-07 | 2006-04-05 | コナミ株式会社 | 画像表示制御プログラム |
| CN1967657B (zh) * | 2005-11-18 | 2011-06-08 | 成都索贝数码科技股份有限公司 | 节目制作中的说话人声音自动跟踪变调系统和方法 |
| WO2007071025A1 (en) * | 2005-12-21 | 2007-06-28 | Jimmy Proximity Inc. | Device and method for capturing vocal sound and mouth region images |
| CN100403338C (zh) * | 2006-09-14 | 2008-07-16 | 浙江大学 | 一种基于视频流的人脸表情幻想方法 |
| KR101760345B1 (ko) * | 2010-12-23 | 2017-07-21 | 삼성전자주식회사 | 동영상 촬영 방법 및 동영상 촬영 장치 |
| CN102271241A (zh) * | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
| JP5902632B2 (ja) | 2013-01-07 | 2016-04-13 | 日立マクセル株式会社 | 携帯端末装置及び情報処理システム |
| CN104904203A (zh) * | 2013-09-30 | 2015-09-09 | 酷派软件技术（深圳）有限公司 | 图像编码、解码方法和系统以及终端 |
| CN104935860A (zh) * | 2014-03-18 | 2015-09-23 | 北京三星通信技术研究有限公司 | 视频通话实现方法及装置 |
| CN107039046B (zh) * | 2017-03-21 | 2020-03-10 | 河南理工大学 | 一种基于特征融合的语音声效模式检测方法 |
| CN107679449B (zh) * | 2017-08-17 | 2018-08-03 | 平安科技（深圳）有限公司 | 嘴唇动作捕捉方法、装置及存储介质 |
| CN109949390B (zh) * | 2017-12-21 | 2022-09-09 | 腾讯科技（深圳）有限公司 | 图像生成方法、动态表情图像生成方法及装置 |
| CN108538308B (zh) * | 2018-01-09 | 2020-09-29 | 网易（杭州）网络有限公司 | 基于语音的口型和/或表情模拟方法及装置 |
| JP7081164B2 (ja) * | 2018-01-17 | 2022-06-07 | 株式会社Ｊｖｃケンウッド | 表示制御装置、通信装置、表示制御方法および通信方法 |
| CN109087651B (zh) * | 2018-09-05 | 2021-01-19 | 广州势必可赢网络科技有限公司 | 一种基于视频与语谱图的声纹鉴定方法、系统及设备 |
| CN113066497A (zh) * | 2021-03-18 | 2021-07-02 | Oppo广东移动通信有限公司 | 数据处理方法、装置、系统、电子设备和可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4260229A (en) * | 1978-01-23 | 1981-04-07 | Bloomstein Richard W | Creating visual images of lip movements |
| US5313522A (en) * | 1991-08-23 | 1994-05-17 | Slager Robert P | Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader |
| US5586215A (en) * | 1992-05-26 | 1996-12-17 | Ricoh Corporation | Neural network acoustic and visual speech recognition system |
| AU4351793A (en) * | 1992-06-29 | 1994-01-24 | British Telecommunications Public Limited Company | Coding and decoding video signals |
| US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
| KR960018988A (ko) * | 1994-11-07 | 1996-06-17 | 엠, 케이. 영 | 음향 보조 영상 처리 방법 및 장치 |
| US5907351A (en) * | 1995-10-24 | 1999-05-25 | Lucent Technologies Inc. | Method and apparatus for cross-modal predictive coding for talking head sequences |
-
1997
- 1997-12-02 US US08/984,038 patent/US6014625A/en not_active Expired - Lifetime
- 1997-12-05 GB GB9725873A patent/GB2320838B/en not_active Expired - Fee Related
- 1997-12-17 JP JP34757997A patent/JP4087935B2/ja not_active Expired - Fee Related
- 1997-12-22 CN CNB97122076XA patent/CN1167276C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1167276C (zh) | 2004-09-15 |
| GB2320838A (en) | 1998-07-01 |
| JP4087935B2 (ja) | 2008-05-21 |
| CN1189059A (zh) | 1998-07-29 |
| GB2320838B (en) | 2001-05-16 |
| US6014625A (en) | 2000-01-11 |
| GB9725873D0 (en) | 1998-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4087935B2 (ja) | 唇動きパラメータ発生装置 | |
| KR102488458B1 (ko) | 얼굴 판별기를 포함하는 인공신경망을 이용한 입모양 합성 장치 및 방법 | |
| US7145606B2 (en) | Post-synchronizing an information stream including lip objects replacement | |
| US5890120A (en) | Matching, synchronization, and superposition on orginal speaking subject images of modified signs from sign language database corresponding to recognized speech segments | |
| Chen et al. | Audio-visual integration in multimodal communication | |
| US6330023B1 (en) | Video signal processing systems and methods utilizing automated speech analysis | |
| US5608839A (en) | Sound-synchronized video system | |
| KR100872732B1 (ko) | 모델에 기초한 코딩 및 우선 순위화 기술들을 사용한비디오 통신 시스템 | |
| CN103650002B (zh) | 基于文本的视频生成 | |
| CN117171392B (zh) | 一种基于神经辐射场和隐属性的虚拟主播生成方法与系统 | |
| JPH05153581A (ja) | 顔画像符号化方式 | |
| KR950030647A (ko) | 화상통신장치 | |
| KR20200145701A (ko) | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 | |
| CN117253486A (zh) | 一种基于深度学习的实时多语言处理的直播方法及系统 | |
| Boubekker | Bandwidth Reduction for the Transmission of Sign Language Over Telephone Lines | |
| EP0710929A2 (en) | Acoustic-assisted image processing | |
| CN119400152B (zh) | 一种多模态数字人生成方法和系统 | |
| KR100229538B1 (ko) | 얼글 움직임을 인코딩하기 위한 방법 및 장치한 방법 및 장치 | |
| CN114155321A (zh) | 一种基于自监督和混合密度网络的人脸动画生成方法 | |
| JP3854871B2 (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
| Lin et al. | A speech driven talking head system based on a single face image | |
| CN120640101B (zh) | 一种数字人的口型视频生成方法及装置 | |
| Bailly et al. | Talking faces for MPEG-4 compliant scalable face-to-face telecommunication | |
| Petajan | MPEG-4 face and body animation coding applied to HCI | |
| Chen | Technologies for building networked collaborative environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |