JPH0473698A - 音声信号に基づく形状制御方法 - Google Patents
音声信号に基づく形状制御方法Info
- Publication number
- JPH0473698A JPH0473698A JP2185557A JP18555790A JPH0473698A JP H0473698 A JPH0473698 A JP H0473698A JP 2185557 A JP2185557 A JP 2185557A JP 18555790 A JP18555790 A JP 18555790A JP H0473698 A JPH0473698 A JP H0473698A
- Authority
- JP
- Japan
- Prior art keywords
- lips
- formant
- audio signal
- tongue
- center frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
（産業上の利用分野）
本発明は、音声信号に基づいて映像或いは人形等の顔の
顎と口唇の形状を制御する音声信号に基づく形状制御方
法に関するものである。
顎と口唇の形状を制御する音声信号に基づく形状制御方
法に関するものである。
本発明は、入力音声信号のホルマント中心周波数を線形
変換と非線形変換して下顎と口唇の開大度を得るように
したことにより、顎と口唇の形状をよりリアルに制御す
ることができる音声信号に基づく形状制御方法を提供す
るものである。
変換と非線形変換して下顎と口唇の開大度を得るように
したことにより、顎と口唇の形状をよりリアルに制御す
ることができる音声信号に基づく形状制御方法を提供す
るものである。
〔従来の技術］
従来の例えばいわゆるアニメーションにおいて、そのア
ニメーション中の人物が会話等を行う際の口唇及び顎等
の動きは、当該アニメーション画像作成者が、該会話に
合わせた口唇等の動きを例えば従来の経験に照らし合わ
せて推測することで決めるようにしている。また、例え
ば大型のいわゆるロボット或いは人形等の口唇及び顎等
を会話に合わせて動かす場合も同様であった。
ニメーション中の人物が会話等を行う際の口唇及び顎等
の動きは、当該アニメーション画像作成者が、該会話に
合わせた口唇等の動きを例えば従来の経験に照らし合わ
せて推測することで決めるようにしている。また、例え
ば大型のいわゆるロボット或いは人形等の口唇及び顎等
を会話に合わせて動かす場合も同様であった。
ところで、近年、上記アニメーション或いはロボット、
人形等においては、会話に合わせて、よりリアルに口唇
及び顎等を動かすことができるようになることが求めら
れている。
人形等においては、会話に合わせて、よりリアルに口唇
及び顎等を動かすことができるようになることが求めら
れている。
しかし、上述したように、従来は会話に合わせた口唇等
の動きを経験等に基づいて推測するようにしているため
、到底リアルな動きとは言い難いものとなっている。ま
た、例えばコンピュータ等を用いて口唇等の動き演算す
るものも考えられているが、膨大な演算量が必要で、簡
単に、よりリアルな口唇等の動きを得ることはできない
のが実情である。更に、従来は、リアルタイムで口唇等
を動かすこともできない。
の動きを経験等に基づいて推測するようにしているため
、到底リアルな動きとは言い難いものとなっている。ま
た、例えばコンピュータ等を用いて口唇等の動き演算す
るものも考えられているが、膨大な演算量が必要で、簡
単に、よりリアルな口唇等の動きを得ることはできない
のが実情である。更に、従来は、リアルタイムで口唇等
を動かすこともできない。
そこで、本発明は、上述のような実情に鑑みて提案され
たものであり、映像、或いは、人形等の顔の顎と口唇の
形状を、よりリアルに制御することができ、更にリアル
タイムでの制御も可能な音声信号に基づく形状制御方法
を提供することを目的とするものである。
たものであり、映像、或いは、人形等の顔の顎と口唇の
形状を、よりリアルに制御することができ、更にリアル
タイムでの制御も可能な音声信号に基づく形状制御方法
を提供することを目的とするものである。
本発明の音声信号に基づく形状制御方法は、上述の目的
を達成するために提案されたものであって、入力音声信
号から、当該人力音声信号のスペクトルエンベロープの
ピークを示すホルマント間波数の中心周波数を求め、こ
のホルマント中心周波数を線形変換及び非線形変換する
ことにより、例えば映像３人形（ロボノ日等の顔の形状
の下顎の開大度と口唇の横方向の開大度を得るようにし
たものである。すなわち、ホルマント中心周波数を線形
変換することで顎の動きと舌の動きを求め、この舌の動
きを非線形変換するこ出で下請の開大度と口唇の横方向
の開大度を得るよう二ニしでいる。
を達成するために提案されたものであって、入力音声信
号から、当該人力音声信号のスペクトルエンベロープの
ピークを示すホルマント間波数の中心周波数を求め、こ
のホルマント中心周波数を線形変換及び非線形変換する
ことにより、例えば映像３人形（ロボノ日等の顔の形状
の下顎の開大度と口唇の横方向の開大度を得るようにし
たものである。すなわち、ホルマント中心周波数を線形
変換することで顎の動きと舌の動きを求め、この舌の動
きを非線形変換するこ出で下請の開大度と口唇の横方向
の開大度を得るよう二ニしでいる。
本発明によ７′１．ば、実際の音声に基づく入力音声信
号のホルマント中心周波数に、簡単な線形変換演算を施
し、更に、簡単な非線形変換演算を行って、下顎と口唇
の開大度を求めるようにしているため、簡単にリアルタ
イムで口唇と下麗の動きを再現できるようになる。
号のホルマント中心周波数に、簡単な線形変換演算を施
し、更に、簡単な非線形変換演算を行って、下顎と口唇
の開大度を求めるようにしているため、簡単にリアルタ
イムで口唇と下麗の動きを再現できるようになる。
：実施例］
以下、本発明を適用した実施例について図面を参暉しな
がら説明する。
がら説明する。
第１図に本発明実施例の音声信号に基づく形状制御方法
が適用される例えばアニメーションの顔画像を示す。
が適用される例えばアニメーションの顔画像を示す。
この第１図に示す本実施例の顔画像においては、入力音
声信号から、例えば第２図〜第４図に示すような入力音
声信号のスペクトルエンベロープのピークを示すホルマ
ント（例えば第１．第２ホルマントＨ，、Ｈｌ）周波数
の中心周波数を求め、このホルマント中心周波数を線形
変換及び非線形変換することにより、顔の下顎の開大度
Ｄ （ｃｍ）と口唇の横方向の開大度Ｌ （ｃｍ）を得
るようにしたものである。すなわち、本実施例では、上
記ホルマント中心周波数を、後述する（１）弐を用いて
線形変換することで、顎の動きすなわち上記下顎の開大
度りと、第８図に示す舌の各動作位買Ｐ１〜Ｐ、での動
き（第６図）及び／又は第７図に示す舌の先端形状の動
きとを求め、この舌の動きを後述する（２）式を用いて
非線形変換することで上記口唇の横方向の開大度りを得
るようにしている。
声信号から、例えば第２図〜第４図に示すような入力音
声信号のスペクトルエンベロープのピークを示すホルマ
ント（例えば第１．第２ホルマントＨ，、Ｈｌ）周波数
の中心周波数を求め、このホルマント中心周波数を線形
変換及び非線形変換することにより、顔の下顎の開大度
Ｄ （ｃｍ）と口唇の横方向の開大度Ｌ （ｃｍ）を得
るようにしたものである。すなわち、本実施例では、上
記ホルマント中心周波数を、後述する（１）弐を用いて
線形変換することで、顎の動きすなわち上記下顎の開大
度りと、第８図に示す舌の各動作位買Ｐ１〜Ｐ、での動
き（第６図）及び／又は第７図に示す舌の先端形状の動
きとを求め、この舌の動きを後述する（２）式を用いて
非線形変換することで上記口唇の横方向の開大度りを得
るようにしている。
ここで、第２図には例えば「ア２の音を発音した場合の
音声信号のスペクトルエンヘローブを示し、第３図には
例えば１゛イ」の音声信号のスペクトルエンベロープを
、第４図には例えば「つ・のスペクトルエンベロープを
示している。これら第２図〜第４図に示すスペクトルエ
ンヘローブのピーク部分を通常ホルマントと呼び、この
音声信号のホルマントは、−船ムこ、声道の音響的イン
パルス応答の減衰正弦波成分と定義されるものである。
音声信号のスペクトルエンヘローブを示し、第３図には
例えば１゛イ」の音声信号のスペクトルエンベロープを
、第４図には例えば「つ・のスペクトルエンベロープを
示している。これら第２図〜第４図に示すスペクトルエ
ンヘローブのピーク部分を通常ホルマントと呼び、この
音声信号のホルマントは、−船ムこ、声道の音響的イン
パルス応答の減衰正弦波成分と定義されるものである。
このホルマントは、長さが約１７ｃｍの平均的声道に対
しては、一般に３ｋＨｚ以内に３〜４個のホルマントが
あり、５ｋＨｚ以内では４〜５個のホルマントがある。
しては、一般に３ｋＨｚ以内に３〜４個のホルマントが
あり、５ｋＨｚ以内では４〜５個のホルマントがある。
有声音では最初の３個のホルマントが最も重要であり、
一般に、周波数の最も低い所に現れるピークを第１ホル
マント（Ｈｌ）と呼び、この第１ホルマントの次に現れ
るピークを第２ホルマント（Ｈｌ）と、以後、第３ホル
マント、第４ホルマント、・・・と続いている。これら
ホルマントは、例えばいわゆるケプストル分析或いは線
形予測分析に基づいて求めることができるものであり、
例えば、該線形予測分析を用いることによって、少ない
演算量で求めることができる。
一般に、周波数の最も低い所に現れるピークを第１ホル
マント（Ｈｌ）と呼び、この第１ホルマントの次に現れ
るピークを第２ホルマント（Ｈｌ）と、以後、第３ホル
マント、第４ホルマント、・・・と続いている。これら
ホルマントは、例えばいわゆるケプストル分析或いは線
形予測分析に基づいて求めることができるものであり、
例えば、該線形予測分析を用いることによって、少ない
演算量で求めることができる。
上述のようにして例えば各母音「ア２．′イ。
「つ」、′工１．・−オ、のホルマント周波数を求める
。第５圀に咳各母音のホルマント周波数の例えば第１ホ
ルマントＨ１と第２ホルマントＨ２の中心周波数の位置
を平面にプロットした時の位置関係を示す。この第５図
において、各母音の位置関係は、１７５と１つ、の間に
「オづが位置し、「イ」と「ア」の間に１ニーが位置す
るような位置関係となっていることが確認できる。
。第５圀に咳各母音のホルマント周波数の例えば第１ホ
ルマントＨ１と第２ホルマントＨ２の中心周波数の位置
を平面にプロットした時の位置関係を示す。この第５図
において、各母音の位置関係は、１７５と１つ、の間に
「オづが位置し、「イ」と「ア」の間に１ニーが位置す
るような位置関係となっていることが確認できる。
ところで、音声と舌の動きとは、例えば、第６図、第７
図のような関係を有していることが知られている。該第
６図には各母音「ア４．１イ」１つＪ＋ ｒ工、・、
［オ」に対応する第８図に示す舌の各動作位置Ｐ１〜Ｐ
、での曲率関数（舌形状曲率） Ｃ（ｃｒｒｒ’）を示
し、第７図には各母音に対応する舌の先端形状を示して
いる。ここで、第８図において、各動作位置Ｐ１〜Ｐ、
は、舌の表側の中心線上の位置であって、上記動作位置
Ｐは舌の先端から例えば１０ｍｍの位置であり、動作位
置Ｐ２は上記動作位置Ｐ、から更に５１奥の位置で、以
下動作位置Ｐ ｘ、 Ｐ ４． Ｐ ｓの順に５ｍｍず
つ奥の位置を示している。すなわち、該第８圀に基づき
、第６図には、上記各動作位置Ｐ１〜Ｐ、における各母
音の発声時の、これら各動作位置Ｐ〜Ｐ、上の５ｍｍの
範囲における舌形状の曲率関数（舌形状曲率）Ｃを示し
、第７図には、各母音に対してこの第６図のような舌形
状曲率Ｃを、舌の先端の形状に変換したものを示してい
る。
図のような関係を有していることが知られている。該第
６図には各母音「ア４．１イ」１つＪ＋ ｒ工、・、
［オ」に対応する第８図に示す舌の各動作位置Ｐ１〜Ｐ
、での曲率関数（舌形状曲率） Ｃ（ｃｒｒｒ’）を示
し、第７図には各母音に対応する舌の先端形状を示して
いる。ここで、第８図において、各動作位置Ｐ１〜Ｐ、
は、舌の表側の中心線上の位置であって、上記動作位置
Ｐは舌の先端から例えば１０ｍｍの位置であり、動作位
置Ｐ２は上記動作位置Ｐ、から更に５１奥の位置で、以
下動作位置Ｐ ｘ、 Ｐ ４． Ｐ ｓの順に５ｍｍず
つ奥の位置を示している。すなわち、該第８圀に基づき
、第６図には、上記各動作位置Ｐ１〜Ｐ、における各母
音の発声時の、これら各動作位置Ｐ〜Ｐ、上の５ｍｍの
範囲における舌形状の曲率関数（舌形状曲率）Ｃを示し
、第７図には、各母音に対してこの第６図のような舌形
状曲率Ｃを、舌の先端の形状に変換したものを示してい
る。
また、各母音における各動作位置Ｐ、−Ｐ、での舌形状
曲率Ｃと、顔の下顎の開大度りとは、第９図〜第１３図
に示すような関係となっている。
曲率Ｃと、顔の下顎の開大度りとは、第９図〜第１３図
に示すような関係となっている。
すなわち、第９図は各母音発声時の顔の下顎の開大度り
と上記動作位置Ｐ１での各母音発声時の舌形状曲率Ｃと
の関係を示し、第１０図は各母音発声時の顔の下顎の開
大度りと上記動作位置Ｐ２での各母音発声時の舌形状曲
率Ｃとの関係を、以下同様に、第１１図は下顎開大度り
と動作位置Ｐ３、第１２図は下顎開犬度りと動作位置Ｐ
４、第１３図は下顎開大度りと動作位置Ｐ５の舌形状曲
率Ｃとの関係を示している。これら第９回〜第１３図か
ら、下顎開大度りと舌形状曲率Ｃとの関係は、「オヨは
１ア：、と：ウーとの間↓こ位置し、工は「ア」とコイ
」の間に位置していることがわかる。これらの各母音に
おける位置関係は、上記第９図〜第１３図で全て共通し
ていることが確認できる。
と上記動作位置Ｐ１での各母音発声時の舌形状曲率Ｃと
の関係を示し、第１０図は各母音発声時の顔の下顎の開
大度りと上記動作位置Ｐ２での各母音発声時の舌形状曲
率Ｃとの関係を、以下同様に、第１１図は下顎開大度り
と動作位置Ｐ３、第１２図は下顎開犬度りと動作位置Ｐ
４、第１３図は下顎開大度りと動作位置Ｐ５の舌形状曲
率Ｃとの関係を示している。これら第９回〜第１３図か
ら、下顎開大度りと舌形状曲率Ｃとの関係は、「オヨは
１ア：、と：ウーとの間↓こ位置し、工は「ア」とコイ
」の間に位置していることがわかる。これらの各母音に
おける位置関係は、上記第９図〜第１３図で全て共通し
ていることが確認できる。
上述の第９回〜第１３図と前述の第５図とから、上記下
顎開大度り及び舌形状曲率Ｃと、上記第１第２ホルマン
）Ｈ，、Ｈ２における各母音の位置関係が、上述同様に
、−オーが−アーと−ウ、との間に位置し、−工、がニ
ア−とコイ の間に位置するような関係を存しでいるこ
とが確認できる。
顎開大度り及び舌形状曲率Ｃと、上記第１第２ホルマン
）Ｈ，、Ｈ２における各母音の位置関係が、上述同様に
、−オーが−アーと−ウ、との間に位置し、−工、がニ
ア−とコイ の間に位置するような関係を存しでいるこ
とが確認できる。
すなわち、ホルマント周波数と、舌形状曲率Ｃ及び下顎
開大度りの位置関係とは、略一致していると確認できる
。
開大度りの位置関係とは、略一致していると確認できる
。
このようなことから、上記第５図に示したような第１．
第２ホルマントＨ１，Ｈｚのホルマント周波数から、第
９図〜第１３図に示したような上記舌形状曲率Ｃ及び下
顎開大度りを近似的に写像する様な関数を比較的容易に
導くことができるようになる。
第２ホルマントＨ１，Ｈｚのホルマント周波数から、第
９図〜第１３図に示したような上記舌形状曲率Ｃ及び下
顎開大度りを近似的に写像する様な関数を比較的容易に
導くことができるようになる。
本実施例では、当該近似的に写像する関数を線形として
いる。この場合、その線形変換は、で表すことができる
。ただし、咳（１）式中、Ｆ。
いる。この場合、その線形変換は、で表すことができる
。ただし、咳（１）式中、Ｆ。
は第１ホルマントＨ４のホルマント周波数（Ｈｚ）であ
り、Ｆ２は第２ホルマントＨ２のホルマント周波数（Ｈ
ｚ）である。また、 である。
り、Ｆ２は第２ホルマントＨ２のホルマント周波数（Ｈ
ｚ）である。また、 である。
この時、（１）式中、Ａ及びＢは、例えば第１４図のよ
うなホルマント周波数の「ア」、「イ」「つ」のそれぞ
れの位置を示す点ｒｘ、Ｐ工、ｑえを、第１６図に示す
ような舌形状曲率Ｃ及び下顎開大度りでの「アシ、「イ
ー１．「つ」のそれぞれの点ｒｌｌ＋ Ｐｙ＋ Ｑ
ｙに線形変換するようにして求められる。
うなホルマント周波数の「ア」、「イ」「つ」のそれぞ
れの位置を示す点ｒｘ、Ｐ工、ｑえを、第１６図に示す
ような舌形状曲率Ｃ及び下顎開大度りでの「アシ、「イ
ー１．「つ」のそれぞれの点ｒｌｌ＋ Ｐｙ＋ Ｑ
ｙに線形変換するようにして求められる。
なお、上記ホルマント周波数は、発声する人によって個
人差があるため、この個人差を正規化によって取り除く
。この正規化としては、例えば、この第１４図の「ア」
、「イコ、「つ」を頂点とする三角形を、第１５図のよ
うな正三角形に変換することにより行う、これにより、
各母音の正規化が可能となる。この正三角形への変換に
ついては後述する。
人差があるため、この個人差を正規化によって取り除く
。この正規化としては、例えば、この第１４図の「ア」
、「イコ、「つ」を頂点とする三角形を、第１５図のよ
うな正三角形に変換することにより行う、これにより、
各母音の正規化が可能となる。この正三角形への変換に
ついては後述する。
更に、本発明実施例では、上記舌形状曲率Ｃから口唇の
横方向の開大度りへの変換を行うようにしている。この
時の変換は、非線形変換を用いることでなされる。当該
非線形変換としては、例えば、 Ｌ ＝ （Ｃ＋ｄ ＋）”” ＝ ｄ ｔ
（２）を用いる。ただし、（２）式中、ｄ 、、 ｄ
２は定数である。この非線形変換により口の動きの自
然性を高めることができる。
横方向の開大度りへの変換を行うようにしている。この
時の変換は、非線形変換を用いることでなされる。当該
非線形変換としては、例えば、 Ｌ ＝ （Ｃ＋ｄ ＋）”” ＝ ｄ ｔ
（２）を用いる。ただし、（２）式中、ｄ 、、 ｄ
２は定数である。この非線形変換により口の動きの自
然性を高めることができる。
本実施例においては、上述したようなホルマント周波数
の線形変換による舌形状曲率Ｃ８下顎開大度りへの変換
、及び、該舌形状曲率Ｃの非線形変換による口唇の横方
向の開大度りへの変換の操作を行うことで、音声信号か
ら下顎の開大度り及び口唇の横方向の開大度りを推定す
ることができるようになる。したがって、本実施例の形
状制御方法を用いれば、アニメーション等の映像に限ら
ず、人形等の顔の顎と口唇の形状をよりリアルに制御す
ることができるようになる。更に、発声の個人差を正規
化することで取り除いているため、より正確な形状制御
が可能となる。
の線形変換による舌形状曲率Ｃ８下顎開大度りへの変換
、及び、該舌形状曲率Ｃの非線形変換による口唇の横方
向の開大度りへの変換の操作を行うことで、音声信号か
ら下顎の開大度り及び口唇の横方向の開大度りを推定す
ることができるようになる。したがって、本実施例の形
状制御方法を用いれば、アニメーション等の映像に限ら
ず、人形等の顔の顎と口唇の形状をよりリアルに制御す
ることができるようになる。更に、発声の個人差を正規
化することで取り除いているため、より正確な形状制御
が可能となる。
ここで、上記正規化に用いられる任意の三角形を正三角
形に変換或いは逆変換する手法について説明する。すな
わち、第１７図に示すように、χＹ平面内の三角形ｐｑ
ｒを考え、以下の手順によって、第２３図に示すような
一辺の長さが１の正三角形ｐ（“） ｑｉ６１ ｒ
（６１、、変換する。先ず、第１７図の三角形ｐｑｒに
おいて点ｐ（χ＋、 ）’ １）が原点に移るように平
行移動する（第１８図）。
形に変換或いは逆変換する手法について説明する。すな
わち、第１７図に示すように、χＹ平面内の三角形ｐｑ
ｒを考え、以下の手順によって、第２３図に示すような
一辺の長さが１の正三角形ｐ（“） ｑｉ６１ ｒ
（６１、、変換する。先ず、第１７図の三角形ｐｑｒに
おいて点ｐ（χ＋、 ）’ １）が原点に移るように平
行移動する（第１８図）。
第１８図の三角形ｐ（１）ｑ（１）ｒ（１）の点ｑ（１
）のＸ座標（ｘｉ （１））、及び、点ｒ（１）のＸ座
標（ｙ３（１））が１となるように、Ｘ、Ｘ座標をスケ
ール変換する（第１９図）、当該第１９図の点ｑ′ｔｌ
のＸ座標（ｙ、 （Ｚ））がＯとなるように角度θだけ
三角形ｐｆｔｌ ｑ１２１ ｒＩｔＴ を回転させ
る（第２０図）。当該２０図の三角形ｐｆ３１ ９ｆｉ
ｌｒ（３） の点ｑ（３） のＸ座標（ｘ２（ｆｆ＋
）及び、点ｒ′３〉 のＸ座標（ｙ、（ｆｆ＋）が１と
なるように、ｘ、Ｘ座標をスケール変換する（第２１圀
）。該２１図の三角形ｐ（４１９（４１ｒ（４１の点ｒ
（４） のＸ座標（ｘ、 ＋４１ ）とＸ ＝ ０．５
との差をａとし、直線Ｙ ＝ Ｘ ／ ａを利用して点
ｒｆ４１のＸ座標をスケール変換する（第２２図）。該
第２２図の三角形ｐｆ５） ｑ（５１ｒＴＳ）のＸ座
標が３””／２となるようにＸ座標のスケール変換を行
う（第２３図）。
）のＸ座標（ｘｉ （１））、及び、点ｒ（１）のＸ座
標（ｙ３（１））が１となるように、Ｘ、Ｘ座標をスケ
ール変換する（第１９図）、当該第１９図の点ｑ′ｔｌ
のＸ座標（ｙ、 （Ｚ））がＯとなるように角度θだけ
三角形ｐｆｔｌ ｑ１２１ ｒＩｔＴ を回転させ
る（第２０図）。当該２０図の三角形ｐｆ３１ ９ｆｉ
ｌｒ（３） の点ｑ（３） のＸ座標（ｘ２（ｆｆ＋
）及び、点ｒ′３〉 のＸ座標（ｙ、（ｆｆ＋）が１と
なるように、ｘ、Ｘ座標をスケール変換する（第２１圀
）。該２１図の三角形ｐ（４１９（４１ｒ（４１の点ｒ
（４） のＸ座標（ｘ、 ＋４１ ）とＸ ＝ ０．５
との差をａとし、直線Ｙ ＝ Ｘ ／ ａを利用して点
ｒｆ４１のＸ座標をスケール変換する（第２２図）。該
第２２図の三角形ｐｆ５） ｑ（５１ｒＴＳ）のＸ座
標が３””／２となるようにＸ座標のスケール変換を行
う（第２３図）。
・以上の手順ｔこより任意の三角形ｐｑｒは正三角形に
変換できる。また、この千１１１７！を逆にたどること
により逆変換も可能である。
変換できる。また、この千１１１７！を逆にたどること
により逆変換も可能である。
本発明の音声信号に基づく形状制御方法においては、入
力音声信号のホルマント中心周波数を線形変換と非線形
変換して下顎と口唇の開大度を得るようにしたことによ
り、例えばアニメーション等の映像、或いは、人形、ロ
ボット等の顔の顎と口唇の形状を簡単で、よりリアルに
制御可能とし、更に、リアルタイムでも制御することが
可能となった。
力音声信号のホルマント中心周波数を線形変換と非線形
変換して下顎と口唇の開大度を得るようにしたことによ
り、例えばアニメーション等の映像、或いは、人形、ロ
ボット等の顔の顎と口唇の形状を簡単で、よりリアルに
制御可能とし、更に、リアルタイムでも制御することが
可能となった。
第１図は本発明実施例の顔画像を示す図、第２図〜第４
図は音声信号のスペクトルエンベロープを示す特性図、
第５図は音声信号のホルマント周波数を説明するための
図、第６図は舌形状曲率を示す図、第７図は舌の先端の
形状を示す図、第８図は動作位置を示す図、第９図〜第
１３図は舌の各動作位置での舌形状曲率と下７量大度を
説明するための図、第１４図〜第１６区はホルマント周
波数から舌形状曲率、下顎開大度への変換を説明するた
めの図、第１７図〜第２３圓は任意の三角形から正三角
形への変換方法を説明するためのメである。 Ｄ・・・・・・・下顎の開大度
図は音声信号のスペクトルエンベロープを示す特性図、
第５図は音声信号のホルマント周波数を説明するための
図、第６図は舌形状曲率を示す図、第７図は舌の先端の
形状を示す図、第８図は動作位置を示す図、第９図〜第
１３図は舌の各動作位置での舌形状曲率と下７量大度を
説明するための図、第１４図〜第１６区はホルマント周
波数から舌形状曲率、下顎開大度への変換を説明するた
めの図、第１７図〜第２３圓は任意の三角形から正三角
形への変換方法を説明するためのメである。 Ｄ・・・・・・・下顎の開大度
Claims (1)
- 入力音声信号から、当該入力音声信号のスペクトルエン
ベロープのピークを示すホルマント周波数の中心周波数
を求め、このホルマント中心周波数を線形変換及び非線
形変換することにより、顔の形状の下顎の開大度と口唇
の横方向の開大度を得るようにしたことを特徴とする音
声信号に基づく形状制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185557A JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185557A JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0473698A true JPH0473698A (ja) | 1992-03-09 |
| JP3070073B2 JP3070073B2 (ja) | 2000-07-24 |
Family
ID=16172894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2185557A Expired - Fee Related JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3070073B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009180958A (ja) * | 2008-01-31 | 2009-08-13 | Yamaha Corp | パラメータ設定装置、音響生成装置およびプログラム |
| CN101894566A (zh) * | 2010-07-23 | 2010-11-24 | 北京理工大学 | 一种基于共振峰频率的汉语普通话复韵母可视化方法 |
| JP2012173389A (ja) * | 2011-02-18 | 2012-09-10 | Advanced Telecommunication Research Institute International | 口唇動作パラメータ生成装置及びコンピュータプログラム |
| CN116749174A (zh) * | 2023-05-18 | 2023-09-15 | 清华大学 | 基于语音内容控制网络直播助讲机器人动作的方法及系统 |
| JP2025517080A (ja) * | 2022-04-25 | 2025-06-03 | グレース ジョンウン シン | 音声データを用いたａｉ基盤の疾病診断方法及び装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2644789B2 (ja) | 1987-12-18 | 1997-08-25 | 富士通株式会社 | 画像伝送方式 |
| JP2667455B2 (ja) | 1988-07-27 | 1997-10-27 | 富士通株式会社 | 顔動画像合成システム |
| JP2518683B2 (ja) | 1989-03-08 | 1996-07-24 | 国際電信電話株式会社 | 画像合成方法及びその装置 |
-
1990
- 1990-07-13 JP JP2185557A patent/JP3070073B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009180958A (ja) * | 2008-01-31 | 2009-08-13 | Yamaha Corp | パラメータ設定装置、音響生成装置およびプログラム |
| CN101894566A (zh) * | 2010-07-23 | 2010-11-24 | 北京理工大学 | 一种基于共振峰频率的汉语普通话复韵母可视化方法 |
| JP2012173389A (ja) * | 2011-02-18 | 2012-09-10 | Advanced Telecommunication Research Institute International | 口唇動作パラメータ生成装置及びコンピュータプログラム |
| JP2025517080A (ja) * | 2022-04-25 | 2025-06-03 | グレース ジョンウン シン | 音声データを用いたａｉ基盤の疾病診断方法及び装置 |
| CN116749174A (zh) * | 2023-05-18 | 2023-09-15 | 清华大学 | 基于语音内容控制网络直播助讲机器人动作的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3070073B2 (ja) | 2000-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Waters et al. | DECface: An automatic lip-synchronization algorithm for synthetic faces | |
| US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
| US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
| De Martino et al. | Facial animation based on context-dependent visemes | |
| Waters et al. | An automatic lip-synchronization algorithm for synthetic faces | |
| JPH02234285A (ja) | 画像合成方法及びその装置 | |
| Chu et al. | Corrtalk: Correlation between hierarchical speech and facial activity variances for 3d animation | |
| JPH0473698A (ja) | 音声信号に基づく形状制御方法 | |
| Petersen et al. | Musical-based interaction system for the Waseda Flutist Robot: Implementation of the visual tracking interaction module | |
| JP2974655B1 (ja) | アニメーションシステム | |
| Pausch et al. | Tailor: creating custom user interfaces based on gesture | |
| Cosentino et al. | Human–robot musical interaction | |
| Beskow | Talking heads-communication, articulation and animation | |
| Waters et al. | DECface: A system for synthetic face applications | |
| Carré et al. | Vowel–vowel trajectories and region modeling | |
| CN113160366A (zh) | 一种3d人脸动画合成方法及系统 | |
| Lin et al. | A face robot for autonomous simplified musical notation reading and singing | |
| JP3298076B2 (ja) | 画像作成装置 | |
| Petersen et al. | Development of a real-time instrument tracking system for enabling the musical interaction with the Waseda Flutist Robot | |
| JP2012150278A (ja) | 仮想空間のビジュアル変化に対応した音響効果の自動生成システム | |
| JPS63184875A (ja) | 音・画像変換装置 | |
| JP4459415B2 (ja) | 画像処理装置、画像処理方法およびコンピュータ読み取り可能な情報記憶媒体 | |
| Granström | Multi-modal speech synthesis with applications | |
| Mochida et al. | Control system for talking robot to replicate articulatory movement of natural speech. | |
| Hueber et al. | An ultrasound-based silent speech interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |