JP3070073B2 - 音声信号に基づく形状制御方法 - Google Patents
音声信号に基づく形状制御方法Info
- Publication number
- JP3070073B2 JP3070073B2 JP2185557A JP18555790A JP3070073B2 JP 3070073 B2 JP3070073 B2 JP 3070073B2 JP 2185557 A JP2185557 A JP 2185557A JP 18555790 A JP18555790 A JP 18555790A JP 3070073 B2 JP3070073 B2 JP 3070073B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- tongue
- formant
- lips
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声信号に基づいて映像或いは人形等の顔
の顎と口唇の形状を制御する音声信号に基づく形状制御
方法に関するものである。
の顎と口唇の形状を制御する音声信号に基づく形状制御
方法に関するものである。
本発明は、入力音声信号のホルマント中心周波数を線
形変換と非線形変換して下顎と口唇の開大度を得るよう
にしたことにより、顎と口唇の形状をよりリアルに制御
することができる音声信号に基づく形状制御方法を提供
するものである。
形変換と非線形変換して下顎と口唇の開大度を得るよう
にしたことにより、顎と口唇の形状をよりリアルに制御
することができる音声信号に基づく形状制御方法を提供
するものである。
従来の例えばいわゆるアニメーションにおいて、その
アニメーション中の人物が会話等を行う際の口唇及び顎
等の動きは、当該アニメーション画像作成者が、該会話
に合わせた口唇等の動きを例えば従来の経験に照らし合
わせて推測することで決めるようにしている。また、例
えば人型のいわゆるロボット或いは人形等の口唇及び顎
等を会話に合わせて動かす場合も同様であった。
アニメーション中の人物が会話等を行う際の口唇及び顎
等の動きは、当該アニメーション画像作成者が、該会話
に合わせた口唇等の動きを例えば従来の経験に照らし合
わせて推測することで決めるようにしている。また、例
えば人型のいわゆるロボット或いは人形等の口唇及び顎
等を会話に合わせて動かす場合も同様であった。
ところで、近年、上記アニメーション或いはロボッ
ト，人形等においては、会話に合わせて、よりリアルに
口唇及び顎等を動かすことができるようになることが求
められている。
ト，人形等においては、会話に合わせて、よりリアルに
口唇及び顎等を動かすことができるようになることが求
められている。
しかし、上述したように、従来は会話に合わせた口唇
等の動きを経験等に基づいて推測するようにしているた
め、到底リアルな動きとは言い難いものとなっている。
また、例えばコンピュータ等を用いて口唇等の動き演算
するものも考えられているが、膨大な演算量が必要で、
簡単に、よりリアルな口唇等の動きを得ることはできな
いのが実情である。更に、従来は、リアルタイムで口唇
等を動かすこともできない。
等の動きを経験等に基づいて推測するようにしているた
め、到底リアルな動きとは言い難いものとなっている。
また、例えばコンピュータ等を用いて口唇等の動き演算
するものも考えられているが、膨大な演算量が必要で、
簡単に、よりリアルな口唇等の動きを得ることはできな
いのが実情である。更に、従来は、リアルタイムで口唇
等を動かすこともできない。
そこで、本発明は、上述のような実情に鑑みて提案さ
れたものであり、映像、或いは、人形等の顔の顎と口唇
の形状を、よりリアルに制御することができ、更にリア
ルタイムでの制御も可能な音声信号に基づく形状制御方
法を提供することを目的とするものである。
れたものであり、映像、或いは、人形等の顔の顎と口唇
の形状を、よりリアルに制御することができ、更にリア
ルタイムでの制御も可能な音声信号に基づく形状制御方
法を提供することを目的とするものである。
本発明の音声信号に基づく形状制御方法は、上述の目
的を達成するために提案されたものであって、入力音声
信号から、当該入力音声信号のスペクトルエンベロープ
のピークを示すホルマント周波数の中心周波数を求め、
このホルマント中心周波数を線形変換及び非線形変換す
ることにより、例えば映像，人形（ロボット）等の顔の
形状の下顎の開大度と口唇の横方向の開大度を得るよう
にしたものである。すなわち、ホルマント中心周波数の
線形変換することで顎の動きと舌の動きを求め、この舌
の動きを非線形変換することで下顎の開大度と口唇の横
方向の開大度を得るようにしている。
的を達成するために提案されたものであって、入力音声
信号から、当該入力音声信号のスペクトルエンベロープ
のピークを示すホルマント周波数の中心周波数を求め、
このホルマント中心周波数を線形変換及び非線形変換す
ることにより、例えば映像，人形（ロボット）等の顔の
形状の下顎の開大度と口唇の横方向の開大度を得るよう
にしたものである。すなわち、ホルマント中心周波数の
線形変換することで顎の動きと舌の動きを求め、この舌
の動きを非線形変換することで下顎の開大度と口唇の横
方向の開大度を得るようにしている。
本発明によれば、実際の音声に基づく入力音声信号の
ホルマント中心周波数に、簡単な線形変換演算を施し、
更に、簡単な非線形変換演算を行って、下顎と口唇の開
大度を求めるようにしているため、簡単にリアルタイム
で口唇と下顎の動きを再現できるようになる。
ホルマント中心周波数に、簡単な線形変換演算を施し、
更に、簡単な非線形変換演算を行って、下顎と口唇の開
大度を求めるようにしているため、簡単にリアルタイム
で口唇と下顎の動きを再現できるようになる。
以下、本発明を適用した実施例について図面を参照し
ながら説明する。
ながら説明する。
第１図に本発明実施例の音声信号に基づく形状制御方
法が適用される例えばアニメーションの顔画像を示す。
法が適用される例えばアニメーションの顔画像を示す。
この第１図に示す本実施例の顔画像においては、入力
音声信号から、例えば第２図〜第４図に示すような入力
音声信号のスペクトルエンベロープのピークを示すホル
マント（例えば第1,第２ホルマントH1,H2）周波数の中
心周波数を求め、このホルマント中心周波数を線形変換
及び非線形変換することにより、顔の下顎の開大度Ｄ
（cm）と口唇の横方向の開大度Ｌ（cm）を得るようにし
たものである。すなわち、本実施例では、上記ホルマン
ト中心周波数を、後述する（１）式を用いて線形変換す
ることで、顎の動きすなわち上記下顎の開大度Ｄと、第
８図に示す舌の各動作位置P1〜P5での動き（第６図）及
び／又は第７図に示す舌の先端形状の動きとを求め、こ
の舌の動きを後述する（２）式を用いて非線形変換する
ことで上記口唇の横方向の開大度Ｌを得るようにしてい
る。
音声信号から、例えば第２図〜第４図に示すような入力
音声信号のスペクトルエンベロープのピークを示すホル
マント（例えば第1,第２ホルマントH1,H2）周波数の中
心周波数を求め、このホルマント中心周波数を線形変換
及び非線形変換することにより、顔の下顎の開大度Ｄ
（cm）と口唇の横方向の開大度Ｌ（cm）を得るようにし
たものである。すなわち、本実施例では、上記ホルマン
ト中心周波数を、後述する（１）式を用いて線形変換す
ることで、顎の動きすなわち上記下顎の開大度Ｄと、第
８図に示す舌の各動作位置P1〜P5での動き（第６図）及
び／又は第７図に示す舌の先端形状の動きとを求め、こ
の舌の動きを後述する（２）式を用いて非線形変換する
ことで上記口唇の横方向の開大度Ｌを得るようにしてい
る。
ここで、第２図には例えば「ア」の音を発音した場合
の音声信号のスペクトルエンベロープを示し、第３図に
は例えば「イ」の音声信号のスペクトルエンベロープ
を、第４図には例えば「ウ」のスペクトルエンベロープ
を示している。これら第２図〜第４図に示すスペクトル
エンベロープのピーク部分を通常ホルマントと呼び、こ
の音声信号のホルマントは、一般に、声道の音響的イン
パルス応答の減衰正弦波成分と定義されるものである。
このホルマントは、長さが約17cmの平均的声道に対して
は、一般に3kHz以内に３〜４個のホルマントがあり、5k
Hz以内では４〜５個のホルマントがある。有声音では最
初の３個のホルマントが最も重要であり、一般に、周波
数の最も低い所に現れるピークを第１ホルマント（H1）
と呼び、この第１ホルマントの次に現れるピークを第２
ホルマント（H2）と、以後、第３ホルマント，第４ホル
マント，…と続いている。これらホルマントは、例えば
いわゆるケプストル分析或いは線形予測分析に基づいて
求めることができるものであり、例えば、該線形予測分
析を用いることによって、少ない演算量で求めることが
できる。
の音声信号のスペクトルエンベロープを示し、第３図に
は例えば「イ」の音声信号のスペクトルエンベロープ
を、第４図には例えば「ウ」のスペクトルエンベロープ
を示している。これら第２図〜第４図に示すスペクトル
エンベロープのピーク部分を通常ホルマントと呼び、こ
の音声信号のホルマントは、一般に、声道の音響的イン
パルス応答の減衰正弦波成分と定義されるものである。
このホルマントは、長さが約17cmの平均的声道に対して
は、一般に3kHz以内に３〜４個のホルマントがあり、5k
Hz以内では４〜５個のホルマントがある。有声音では最
初の３個のホルマントが最も重要であり、一般に、周波
数の最も低い所に現れるピークを第１ホルマント（H1）
と呼び、この第１ホルマントの次に現れるピークを第２
ホルマント（H2）と、以後、第３ホルマント，第４ホル
マント，…と続いている。これらホルマントは、例えば
いわゆるケプストル分析或いは線形予測分析に基づいて
求めることができるものであり、例えば、該線形予測分
析を用いることによって、少ない演算量で求めることが
できる。
上述のようにして例えば各母音「ア」，「イ」，
「ウ」，「エ」，「オ」のホルマント周波数を求める。
第５図に該各母音のホルマント周波数の例えば第１ホル
マントH1と第２ホルマントH2の中心周波数の位置を平面
にプロットした時の位置関係を示す。この第５図におい
て、各母音の位置関係は、「ア」と「ウ」の間に「オ」
が位置し、「イ」と「ア」の間に「エ」が位置するよう
な位置関係となっていることが確認できる。
「ウ」，「エ」，「オ」のホルマント周波数を求める。
第５図に該各母音のホルマント周波数の例えば第１ホル
マントH1と第２ホルマントH2の中心周波数の位置を平面
にプロットした時の位置関係を示す。この第５図におい
て、各母音の位置関係は、「ア」と「ウ」の間に「オ」
が位置し、「イ」と「ア」の間に「エ」が位置するよう
な位置関係となっていることが確認できる。
ところで、音声と舌の動きとは、例えば、第６図，第
７図のような関係を有していることが知られている。該
第６図には各母音「ア」，「イ」，「ウ」，「エ」，
「オ」に対応する第８図に示す舌の各動作位置P1〜P5で
の曲率関数（舌形状曲率）Ｃ（cm-1）を示し、第７図に
は各母音に対応する舌の先端形状を示している。ここ
で、第８図において、各動作位置P1〜P5は、舌の表側の
中心線上の位置であって、上記動作位置P1は舌の先端か
ら例えば10mmの位置であり、動作位置P2は上記動作位置
P1から更に5mm奥の位置で、以下動作位置P3,P4,P5の順
に5mmずつ奥の位置を示している。すなわち、該第８図
に基づき、第６図には、上記各動作位置P1〜P5における
各母音の発声時の、これら各動作位置P1〜P5上の5mmの
範囲における舌形状の曲率関数（舌形状曲率）Ｃを示
し、第７図には、各母音に対してこの第６図のような舌
形状曲率Ｃを、舌の先端の形状に変換したものを示して
いる。
７図のような関係を有していることが知られている。該
第６図には各母音「ア」，「イ」，「ウ」，「エ」，
「オ」に対応する第８図に示す舌の各動作位置P1〜P5で
の曲率関数（舌形状曲率）Ｃ（cm-1）を示し、第７図に
は各母音に対応する舌の先端形状を示している。ここ
で、第８図において、各動作位置P1〜P5は、舌の表側の
中心線上の位置であって、上記動作位置P1は舌の先端か
ら例えば10mmの位置であり、動作位置P2は上記動作位置
P1から更に5mm奥の位置で、以下動作位置P3,P4,P5の順
に5mmずつ奥の位置を示している。すなわち、該第８図
に基づき、第６図には、上記各動作位置P1〜P5における
各母音の発声時の、これら各動作位置P1〜P5上の5mmの
範囲における舌形状の曲率関数（舌形状曲率）Ｃを示
し、第７図には、各母音に対してこの第６図のような舌
形状曲率Ｃを、舌の先端の形状に変換したものを示して
いる。
また、各母音における各動作位置P1〜P5での舌形状曲
率Ｃと、顔の下顎の開大度Ｄとは、第９図〜第13図に示
すような関係となっている。すなわち、第９図は各母音
発声時の顔の下顎の開大度Ｄと上記動作位置P1での各母
音発声時の舌形状曲率Ｃとの関係を示し、第10図には各
母音発声時の顔の下顎の開大度Ｄと上記動作位置P2での
各母音発声時の舌形状曲率Ｃとの関係を、以下同様に、
第11図は下顎開大度Ｄと動作位置P3、第12図は下顎開大
度Ｄと動作位置P4、第13図は下顎開大度Ｄと動作位置P5
の舌形状曲率Ｃとの関係を示している。これら第９図〜
第13図から、舌顎開大度Ｄと舌形状曲率Ｃとの関係は、
「オ」は「ア」と「ウ」との間に位置し、「エ」は
「ア」と「イ」の間に位置していることがわかる。これ
らの各母音における位置関係は、上記第９図〜第13図で
全て共通していることが確認できる。
率Ｃと、顔の下顎の開大度Ｄとは、第９図〜第13図に示
すような関係となっている。すなわち、第９図は各母音
発声時の顔の下顎の開大度Ｄと上記動作位置P1での各母
音発声時の舌形状曲率Ｃとの関係を示し、第10図には各
母音発声時の顔の下顎の開大度Ｄと上記動作位置P2での
各母音発声時の舌形状曲率Ｃとの関係を、以下同様に、
第11図は下顎開大度Ｄと動作位置P3、第12図は下顎開大
度Ｄと動作位置P4、第13図は下顎開大度Ｄと動作位置P5
の舌形状曲率Ｃとの関係を示している。これら第９図〜
第13図から、舌顎開大度Ｄと舌形状曲率Ｃとの関係は、
「オ」は「ア」と「ウ」との間に位置し、「エ」は
「ア」と「イ」の間に位置していることがわかる。これ
らの各母音における位置関係は、上記第９図〜第13図で
全て共通していることが確認できる。
上述の第９図〜第13図と前述の第５図とから、上記下
顎開大度Ｄ及び舌形状曲率Ｃと、上記第1,第２ホルマン
トH1,H2における各母音の位置関係が、上述同様に、
「オ」が「ア」と「ウ」との間に位置し、「エ」が
「ア」と「イ」の間に位置するような関係を有している
ことが確認できる。すなわち、ホルマント周波数と、舌
形状曲率Ｃ及び下顎開大度Ｄの位置関係とは、略一致し
ていると確認できる。
顎開大度Ｄ及び舌形状曲率Ｃと、上記第1,第２ホルマン
トH1,H2における各母音の位置関係が、上述同様に、
「オ」が「ア」と「ウ」との間に位置し、「エ」が
「ア」と「イ」の間に位置するような関係を有している
ことが確認できる。すなわち、ホルマント周波数と、舌
形状曲率Ｃ及び下顎開大度Ｄの位置関係とは、略一致し
ていると確認できる。
このようなことから、上記第５図に示したような第1,
第２ホルマントH1,H2のホルマント周波数から、第９図
〜第13図に示したような上記舌形状曲率Ｃ及び下顎開大
度Ｄを近似的に写像する様な関数を比較的容易に導くこ
とができるようになる。
第２ホルマントH1,H2のホルマント周波数から、第９図
〜第13図に示したような上記舌形状曲率Ｃ及び下顎開大
度Ｄを近似的に写像する様な関数を比較的容易に導くこ
とができるようになる。
本実施例では、当該近似的に写像する関数を線形とし
ている。この場合、その線形変換は、 で表すことができる。ただし、該（１）式中、F1は第１
ホルマントH1のホルマント周波数（Hz）であり、F2は第
２ホルマントH2のホルマント周波数（Hz）である。ま
た、 である。
ている。この場合、その線形変換は、 で表すことができる。ただし、該（１）式中、F1は第１
ホルマントH1のホルマント周波数（Hz）であり、F2は第
２ホルマントH2のホルマント周波数（Hz）である。ま
た、 である。
この時、（１）式中、Ａ及びＢは、例えば第14図のよ
うなホルマント周波数の「ア」，「イ」，「ウ」のそれ
ぞれの位置を示す点rx,px,qxを、第16図に示すような舌
形状曲率Ｃ及び下顎開大度Ｄでの「ア」，「イ」，
「ウ」のそれぞれの点ry,py,qyに線形変換するようにし
て求められる。
うなホルマント周波数の「ア」，「イ」，「ウ」のそれ
ぞれの位置を示す点rx,px,qxを、第16図に示すような舌
形状曲率Ｃ及び下顎開大度Ｄでの「ア」，「イ」，
「ウ」のそれぞれの点ry,py,qyに線形変換するようにし
て求められる。
なお、上記ホルマント周波数は、発声する人によって
個人差があるため、この個人差を正規化によって取り除
く。この正規化としては、例えば、この第14図の
「ア」，「イ」，「ウ」を頂点とする三角形を、第15図
のような正三角形に変換することにより行う。これによ
り、各母音の正規化が可能となる。この正三角形への変
換については後述する。
個人差があるため、この個人差を正規化によって取り除
く。この正規化としては、例えば、この第14図の
「ア」，「イ」，「ウ」を頂点とする三角形を、第15図
のような正三角形に変換することにより行う。これによ
り、各母音の正規化が可能となる。この正三角形への変
換については後述する。
更に、本発明実施例では、上記舌形状曲率Ｃから口唇
の横方向の開大度Ｌへの変換を行うようにしている。こ
の時の変換は、非線形変換を用いることでなされる。当
該非線形変換としては、例えば、 Ｌ＝（Ｃ＋d1）1/2＋d2 （２） を用いる。ただし、（２）式中、d1,d2は定数である。
この非線形変換により口の動きの自然性を高めることが
できる。
の横方向の開大度Ｌへの変換を行うようにしている。こ
の時の変換は、非線形変換を用いることでなされる。当
該非線形変換としては、例えば、 Ｌ＝（Ｃ＋d1）1/2＋d2 （２） を用いる。ただし、（２）式中、d1,d2は定数である。
この非線形変換により口の動きの自然性を高めることが
できる。
本実施例においては、上述したようなホルマント周波
数の線形変換による舌形状曲率C,下顎開大度Ｄへの変
換、及び、該下形状曲率Ｃの非線形変換による口唇の横
方向の開大度Ｌへの変換の操作を行うことで、音声信号
から下顎の開大度Ｄ及び口唇の横方向の開大度Ｌを推定
することができるようになる。したがって、本実施例の
形状制御方法を用いれば、アニメーション等の映像に限
らず、人形等の顔の顎と口唇の形状をよりリアルに制御
することができるようになる。更に、発声の個人差を正
規化することで取り除いているため、より正確な形状制
御が可能となる。
数の線形変換による舌形状曲率C,下顎開大度Ｄへの変
換、及び、該下形状曲率Ｃの非線形変換による口唇の横
方向の開大度Ｌへの変換の操作を行うことで、音声信号
から下顎の開大度Ｄ及び口唇の横方向の開大度Ｌを推定
することができるようになる。したがって、本実施例の
形状制御方法を用いれば、アニメーション等の映像に限
らず、人形等の顔の顎と口唇の形状をよりリアルに制御
することができるようになる。更に、発声の個人差を正
規化することで取り除いているため、より正確な形状制
御が可能となる。
ここで、上記正規化に用いられる任意の三角形を正三
角形に変換或いは逆変換する手法について説明する。す
なわち、第17図に示すように、Ｘ−Ｙ平面内の三角形pq
rを考え、以下の手順によって、第23図に示すような一
辺の長さが１の正三角形p(6)q(6)r(6)へ変換する。先
ず、第17図の三角形pqrにおいて点ｐ（x1,y1）が原点に
移るように平行移動する（第18図）。第18図の三角形p
(1)q(1)r(1)の点q(1)のＸ座標（x2 (1)）、及び、点r(1)
のＹ座標（y3 (1)）が１となるように、X,Y座標をスケー
ル変換する（第19図）。当該第19図の点q(2)のＹ座標
（y2 (2)）が０となるように角度θだけ三角形p(2)q(2)r
(2)を回転させる（第20図）。当該20図の三角形p(3)q
(3)r(3)の点q(3)のＸ座標（x2 (3)）及び、点r(3)のＹ座
標（y3 (3)）が１となるように、X,Y座標をスケール変換
する（第21図）。該21図の三角形p(4)q(4)r(4)の点r(4)
のＸ座標（x3 (4)）とＸ＝0.5との差をａとし、直線Ｙ＝
X/aを利用して点r(4)のｘ座標をスケール変換する（第2
2図）。該第22図の三角形p(5)q(5)r(5)のＹ座標が３1/2
/2となるようにＹ座標のスケール変換を行う（第23
図）。以上の手順により任意の三角形pqrは正三角形に
変換できる。また、この手順を逆にたどることにより逆
変換も可能である。
角形に変換或いは逆変換する手法について説明する。す
なわち、第17図に示すように、Ｘ−Ｙ平面内の三角形pq
rを考え、以下の手順によって、第23図に示すような一
辺の長さが１の正三角形p(6)q(6)r(6)へ変換する。先
ず、第17図の三角形pqrにおいて点ｐ（x1,y1）が原点に
移るように平行移動する（第18図）。第18図の三角形p
(1)q(1)r(1)の点q(1)のＸ座標（x2 (1)）、及び、点r(1)
のＹ座標（y3 (1)）が１となるように、X,Y座標をスケー
ル変換する（第19図）。当該第19図の点q(2)のＹ座標
（y2 (2)）が０となるように角度θだけ三角形p(2)q(2)r
(2)を回転させる（第20図）。当該20図の三角形p(3)q
(3)r(3)の点q(3)のＸ座標（x2 (3)）及び、点r(3)のＹ座
標（y3 (3)）が１となるように、X,Y座標をスケール変換
する（第21図）。該21図の三角形p(4)q(4)r(4)の点r(4)
のＸ座標（x3 (4)）とＸ＝0.5との差をａとし、直線Ｙ＝
X/aを利用して点r(4)のｘ座標をスケール変換する（第2
2図）。該第22図の三角形p(5)q(5)r(5)のＹ座標が３1/2
/2となるようにＹ座標のスケール変換を行う（第23
図）。以上の手順により任意の三角形pqrは正三角形に
変換できる。また、この手順を逆にたどることにより逆
変換も可能である。
本発明の音声信号に基づく形状制御方法においては、
入力音声信号のホルマント中心周波数を線形変換と非線
形変換して下顎と口唇の開大度を得るようにしたことに
より、例えばアニメーション等の映像、或いは、人形，
ロボット等の顔の顎と口唇の形状を簡単で、よりリアル
に制御可能とし、更に、リアルタイムでも制御すること
が可能となった。
入力音声信号のホルマント中心周波数を線形変換と非線
形変換して下顎と口唇の開大度を得るようにしたことに
より、例えばアニメーション等の映像、或いは、人形，
ロボット等の顔の顎と口唇の形状を簡単で、よりリアル
に制御可能とし、更に、リアルタイムでも制御すること
が可能となった。
第１図は本発明実施例の顔画像を示す図、第２図〜第４
図は音声信号のスペクトルエンベロープを示す特性図、
第５図は音声信号のホルマント周波数を説明するための
図、第６図は舌形状曲率を示す図、第７図は舌の先端の
形状を示す図、第８図は動作位置を示す図、第９図〜第
13図は舌の各動作位置での舌形状曲率と下顎開大度を説
明するための図、第14図〜第16図はホルマント周波数か
ら舌形状曲率，下顎開大度への変換を説明するための
図、第17図〜第23図は任意の三角形から正三角形への変
換方法を説明するための図である。 Ｄ……下顎の開大度 Ｌ……口唇の横方向の開大度
図は音声信号のスペクトルエンベロープを示す特性図、
第５図は音声信号のホルマント周波数を説明するための
図、第６図は舌形状曲率を示す図、第７図は舌の先端の
形状を示す図、第８図は動作位置を示す図、第９図〜第
13図は舌の各動作位置での舌形状曲率と下顎開大度を説
明するための図、第14図〜第16図はホルマント周波数か
ら舌形状曲率，下顎開大度への変換を説明するための
図、第17図〜第23図は任意の三角形から正三角形への変
換方法を説明するための図である。 Ｄ……下顎の開大度 Ｌ……口唇の横方向の開大度
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ１０Ｌ 19/02 Ｇ１０Ｌ 9/06 Ｃ 21/06 3/00 ５５１Ｈ // Ａ６３Ｆ 13/00 Ｓ 9/04 Ｇ (56)参考文献 特開 平４−359299（ＪＰ，Ａ) 特開 平２−83727（ＪＰ，Ａ) 特開 昭57−126000（ＪＰ，Ａ) 特開 昭47−3008（ＪＰ，Ａ) 実開 平４−40285（ＪＰ，Ｕ) 特許2667455（ＪＰ，Ｂ２) 特許2644789（ＪＰ，Ｂ２) 特許2518683（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 11/00 - 13/08 G10L 19/00 - 21/06 G10L 15/00 - 17/00 ＪＩＣＳＴファイル（ＪＯＩＳ) 実用ファイル（ＰＡＴＯＬＩＳ) 特許ファイル（ＰＡＴＯＬＩＳ)
Claims (1)
- 【請求項１】入力音声信号から、当該入力音声信号のス
ペクトルエンベロープのピークを示すホルマント周波数
の中心周波数を求め、このホルマント中心周波数を線形
変換及び非線形変換することにより、顔の形状の下顎の
開大度と口唇の横方向の開大度を得るようにしたことを
特徴とする音声信号に基づく形状制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185557A JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2185557A JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0473698A JPH0473698A (ja) | 1992-03-09 |
| JP3070073B2 true JP3070073B2 (ja) | 2000-07-24 |
Family
ID=16172894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2185557A Expired - Fee Related JP3070073B2 (ja) | 1990-07-13 | 1990-07-13 | 音声信号に基づく形状制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3070073B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5157488B2 (ja) * | 2008-01-31 | 2013-03-06 | ヤマハ株式会社 | パラメータ設定装置、音響生成装置およびプログラム |
| CN101894566A (zh) * | 2010-07-23 | 2010-11-24 | 北京理工大学 | 一种基于共振峰频率的汉语普通话复韵母可视化方法 |
| JP5750636B2 (ja) * | 2011-02-18 | 2015-07-22 | 株式会社国際電気通信基礎技術研究所 | 口唇動作パラメータ生成装置及びコンピュータプログラム |
| KR102744425B1 (ko) * | 2022-04-25 | 2024-12-17 | 그래이스 정은 신 | 음성 데이터를 이용한 ai 기반의 질병 진단 방법 및 장치 |
| CN116749174A (zh) * | 2023-05-18 | 2023-09-15 | 清华大学 | 基于语音内容控制网络直播助讲机器人动作的方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2518683B2 (ja) | 1989-03-08 | 1996-07-24 | 国際電信電話株式会社 | 画像合成方法及びその装置 |
| JP2644789B2 (ja) | 1987-12-18 | 1997-08-25 | 富士通株式会社 | 画像伝送方式 |
| JP2667455B2 (ja) | 1988-07-27 | 1997-10-27 | 富士通株式会社 | 顔動画像合成システム |
-
1990
- 1990-07-13 JP JP2185557A patent/JP3070073B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2644789B2 (ja) | 1987-12-18 | 1997-08-25 | 富士通株式会社 | 画像伝送方式 |
| JP2667455B2 (ja) | 1988-07-27 | 1997-10-27 | 富士通株式会社 | 顔動画像合成システム |
| JP2518683B2 (ja) | 1989-03-08 | 1996-07-24 | 国際電信電話株式会社 | 画像合成方法及びその装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0473698A (ja) | 1992-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2518683B2 (ja) | 画像合成方法及びその装置 | |
| US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
| US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
| US9240194B2 (en) | Voice quality conversion system, voice quality conversion device, voice quality conversion method, vocal tract information generation device, and vocal tract information generation method | |
| JPS63157184A (ja) | 発音訓練装置 | |
| Waters et al. | An automatic lip-synchronization algorithm for synthetic faces | |
| JP3070073B2 (ja) | 音声信号に基づく形状制御方法 | |
| Solis et al. | The development of the anthropomorphic flutist robot at Waseda University | |
| JPH08235384A (ja) | 音響支援画像処理 | |
| Yehia et al. | Facial animation and head motion driven by speech acoustics | |
| CN120913536A (zh) | 一种仿生机器人控制方法、装置、设备以及存储介质 | |
| Beskow | Talking heads-communication, articulation and animation | |
| Ishi et al. | Speech-driven lip motion generation for tele-operated humanoid robots | |
| JP2974655B1 (ja) | アニメーションシステム | |
| JP3413384B2 (ja) | 調音状態の推定表示方法およびそのためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP3070136B2 (ja) | 音声信号に基づく画像の変形方法 | |
| JP5750636B2 (ja) | 口唇動作パラメータ生成装置及びコンピュータプログラム | |
| JP4459415B2 (ja) | 画像処理装置、画像処理方法およびコンピュータ読み取り可能な情報記憶媒体 | |
| JP2003296753A (ja) | 聴覚障害者用対話システム | |
| JP2008026485A (ja) | 遠隔操作アンドロイドの発話動作制御システム | |
| Mochida et al. | Control system for talking robot to replicate articulatory movement of natural speech. | |
| Badin et al. | Using a new model of vocal‐tract midsagittal profile to area‐function conversion to constrain an optimization algorithm for the articulatory‐acoustic inversion of fricative consonants | |
| Otsuka et al. | Voice-awareness control for a humanoid robot consistent with its body posture and movements | |
| Abou Zliekha et al. | Emotional audio visual Arabic text to speech | |
| Gibert et al. | Evaluation of a Speech Cuer: From Motion Capture to a Concatenative Text-to-cued Speech System. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |