JPH10293860A - 音声駆動を用いた人物画像表示方法およびその装置 - Google Patents
音声駆動を用いた人物画像表示方法およびその装置Info
- Publication number
- JPH10293860A JPH10293860A JP9216377A JP21637797A JPH10293860A JP H10293860 A JPH10293860 A JP H10293860A JP 9216377 A JP9216377 A JP 9216377A JP 21637797 A JP21637797 A JP 21637797A JP H10293860 A JPH10293860 A JP H10293860A
- Authority
- JP
- Japan
- Prior art keywords
- person
- voice
- image
- mouth
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 専門の技術あるいは装置を必要としなくても
ほぼ自然的に対話をしている状態を疑似的に実現でき
る。 【解決手段】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示方法におい
て、前記人物の発する音声の一定時間間隔ごとに順次得
られる各音声の大きさに基づいて、該人物の顔画像にお
ける口、頭の揺れあるいはうなずき、目のまばたきの少
なくとも一つを変化させる。
ほぼ自然的に対話をしている状態を疑似的に実現でき
る。 【解決手段】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示方法におい
て、前記人物の発する音声の一定時間間隔ごとに順次得
られる各音声の大きさに基づいて、該人物の顔画像にお
ける口、頭の揺れあるいはうなずき、目のまばたきの少
なくとも一つを変化させる。
Description
【０００１】
【発明の属する技術分野】本発明は音声駆動を用いた人
物画像表示方法およびその装置に係り、たとえばコンピ
ュータとインタラクティブに対話を行うシステムにおい
て、音声の情報を用いて人物の画像の顔部分を変形させ
ることにより、対話をしている状態を疑似的に実現する
方法および装置に関する。
物画像表示方法およびその装置に係り、たとえばコンピ
ュータとインタラクティブに対話を行うシステムにおい
て、音声の情報を用いて人物の画像の顔部分を変形させ
ることにより、対話をしている状態を疑似的に実現する
方法および装置に関する。
【０００２】
【従来の技術】この種の方法および装置としては、たと
えばニューラルネットワークを用いて口の形を決定する
方法が知られている（文献：宮下、佐藤、坂口、森島
「仮想人物との対話を実現するための音声から画像への
実時間メディア変換システムの研究」信学技法MVE-95-6
2,1996-03）。
えばニューラルネットワークを用いて口の形を決定する
方法が知られている（文献：宮下、佐藤、坂口、森島
「仮想人物との対話を実現するための音声から画像への
実時間メディア変換システムの研究」信学技法MVE-95-6
2,1996-03）。
【０００３】すなわち、音声の特徴パラメータである発
話者の声道特性と放射特性を表しているLPCケプストラ
ム係数から口形情報への変換をニューラルネットワーク
を用いて行い、これにより実際の口の形に近い表示を可
能としている。
話者の声道特性と放射特性を表しているLPCケプストラ
ム係数から口形情報への変換をニューラルネットワーク
を用いて行い、これにより実際の口の形に近い表示を可
能としている。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うにニューラルネットワークを用いた口形の決定に要す
る処理は、高度の専門の技術を要し、さらに、高度の専
用の装置を必要とするという問題が指摘されるに到って
いる。
うにニューラルネットワークを用いた口形の決定に要す
る処理は、高度の専門の技術を要し、さらに、高度の専
用の装置を必要とするという問題が指摘されるに到って
いる。
【０００５】そのため、このような問題を検討した結
果、たとえばアニメーションや吹き替えの映画等を鑑賞
する場合に明らかなように、必ずしも口形と実際の音声
とが一致していなくても、話し始めで口が開き話し終わ
りで口が閉じることにより、ほとんどの観客が不自然さ
を感じない事実を考慮すると、必ずしも専門の技術ある
いは装置を必要としなくてもほぼ自然的に対話をしてい
る状態を疑似的に実現できることが判明した。
果、たとえばアニメーションや吹き替えの映画等を鑑賞
する場合に明らかなように、必ずしも口形と実際の音声
とが一致していなくても、話し始めで口が開き話し終わ
りで口が閉じることにより、ほとんどの観客が不自然さ
を感じない事実を考慮すると、必ずしも専門の技術ある
いは装置を必要としなくてもほぼ自然的に対話をしてい
る状態を疑似的に実現できることが判明した。
【０００６】本発明は、このような事情に基づいてなさ
れたものであり、その目的は、専門の技術あるいは装置
を必要としなくてもほぼ自然的に対話をしている状態を
疑似的に実現できる音声駆動を用いた人物画像表示方法
およびその装置を提供することにある。
れたものであり、その目的は、専門の技術あるいは装置
を必要としなくてもほぼ自然的に対話をしている状態を
疑似的に実現できる音声駆動を用いた人物画像表示方法
およびその装置を提供することにある。
【０００７】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
【０００８】すなわち、コンピュータに表示されている
人物の画像の少なくとも顔の部分がその人物の発する音
声によって変化する音声駆動を用いた人物画像表示方法
において、前記人物の発する音声の一定時間間隔ごとに
順次得られる各音声の大きさに基づいて、該人物の顔画
像における口、頭の揺れあるいはうなずき、目のまばた
きの少なくとも一つを変化させることを特徴とするもの
である。
人物の画像の少なくとも顔の部分がその人物の発する音
声によって変化する音声駆動を用いた人物画像表示方法
において、前記人物の発する音声の一定時間間隔ごとに
順次得られる各音声の大きさに基づいて、該人物の顔画
像における口、頭の揺れあるいはうなずき、目のまばた
きの少なくとも一つを変化させることを特徴とするもの
である。
【０００９】このように構成した音声駆動を用いた人物
画像表示方法によれば、人物の表情において、たとえば
その口の場合に、話し始めで口が開き話し、さらに終わ
りで口が閉じるようになり、また声の大きさに分類した
数に応じてそれらの間で口の開きの大きさを変化させる
ことができることから、ほとんどの対話者が不自然さを
感じることなく観察することができるようになる。
画像表示方法によれば、人物の表情において、たとえば
その口の場合に、話し始めで口が開き話し、さらに終わ
りで口が閉じるようになり、また声の大きさに分類した
数に応じてそれらの間で口の開きの大きさを変化させる
ことができることから、ほとんどの対話者が不自然さを
感じることなく観察することができるようになる。
【００１０】したがって、特に、複雑な手法を用いる必
要がないことから、専門の技術あるいは装置を必要とす
ることなくほぼ自然的に対話をしている状態を疑似的に
実現できるようになる。
要がないことから、専門の技術あるいは装置を必要とす
ることなくほぼ自然的に対話をしている状態を疑似的に
実現できるようになる。
【００１１】
【発明の実施の形態】以下、本発明による音声駆動を用
いた人物画像表示方法および装置の実施例について図面
を用いて説明する。
いた人物画像表示方法および装置の実施例について図面
を用いて説明する。
【００１２】実施例１．図１は、本発明による音声駆動
を用いた人物画像表示装置の一実施例を示すブロック図
である。
を用いた人物画像表示装置の一実施例を示すブロック図
である。
【００１３】同図において、コンピュータとインタラク
ティブに対話を行う対話者の音声を入力する音声入力部
７１があり、この音声入力部７１からの信号はコンピュ
ータ側の制御部７４に取り込まれるようになっている。
ティブに対話を行う対話者の音声を入力する音声入力部
７１があり、この音声入力部７１からの信号はコンピュ
ータ側の制御部７４に取り込まれるようになっている。
【００１４】制御部７４では、まず、前記音声入力部７
１からの信号を音声認識部７４１によって、その音声を
認識し、かつその言葉の意味を判断するようになってい
る。
１からの信号を音声認識部７４１によって、その音声を
認識し、かつその言葉の意味を判断するようになってい
る。
【００１５】そして、対話処理部７４２では対話者の意
図を汲み取り、かつ、それに対する返答を判断するよう
になっている。
図を汲み取り、かつ、それに対する返答を判断するよう
になっている。
【００１６】音声合成部７４３では、前記対話処理部７
４２によって判断された返答に相当する音声を作成する
ようになっている。この音声は強さの変化のない単調な
ものではなく、あたかも実際の感情を有する人間が話す
ようにその言葉の意味に応じて強弱（アクセントおよび
イントネーション）が付けられたものとなっている。
４２によって判断された返答に相当する音声を作成する
ようになっている。この音声は強さの変化のない単調な
ものではなく、あたかも実際の感情を有する人間が話す
ようにその言葉の意味に応じて強弱（アクセントおよび
イントネーション）が付けられたものとなっている。
【００１７】そして、この音声合成部７４３からの音声
は音声解析部７４４を介して音声出力部７２に出力さ
れ、この音声出力部７２から前記返答に相当する音声が
発せられるようになっている。
は音声解析部７４４を介して音声出力部７２に出力さ
れ、この音声出力部７２から前記返答に相当する音声が
発せられるようになっている。
【００１８】前記音声解析部７４４では、音声合成部７
４３からの音声に対してたとえばＴｉの時間間隔ごとに
該音声の変化を取りだし、その強さの平均値の算出、あ
るいはその他の必要な演算処理を行うようになってい
る。
４３からの音声に対してたとえばＴｉの時間間隔ごとに
該音声の変化を取りだし、その強さの平均値の算出、あ
るいはその他の必要な演算処理を行うようになってい
る。
【００１９】そして、この音声解析部７４４で得られた
音声の時間毎に区切られた各平均値等の時系列的な各情
報は画像管理部７４５に出力され、この画像管理部７４
５では、前記それぞれの情報に応じて画像データベース
７４６から予め定められた適当な画像が順次選択され、
この画像は画像出力部７３に出力されて順次表示される
ようになっている。
音声の時間毎に区切られた各平均値等の時系列的な各情
報は画像管理部７４５に出力され、この画像管理部７４
５では、前記それぞれの情報に応じて画像データベース
７４６から予め定められた適当な画像が順次選択され、
この画像は画像出力部７３に出力されて順次表示される
ようになっている。
【００２０】この画像は、前記対話者の音声に対して返
答をする人物の画像（一人の場合もあるし、複数の場合
もある）が主となり、その人物の口あるいはそぶり等
は、前記音声出力部７２から発せられる音声に追従して
（同じタイミングで）動くようになっている。
答をする人物の画像（一人の場合もあるし、複数の場合
もある）が主となり、その人物の口あるいはそぶり等
は、前記音声出力部７２から発せられる音声に追従して
（同じタイミングで）動くようになっている。
【００２１】次に、前記音声解析部７４４、画像管理部
７４５、および画像データベース７４６の各機能を、基
本アルゴリズムおよびそれをさらに拡張させた拡張アル
ゴリズムに基づいて以下説明する。
７４５、および画像データベース７４６の各機能を、基
本アルゴリズムおよびそれをさらに拡張させた拡張アル
ゴリズムに基づいて以下説明する。
【００２２】基本アルゴリズムとして、まず、説明の便
宜上口のみの大きさの異なる複数の画像を予め用意す
る。この画像は画像データベース７４６に格納されるも
のとなっている。
宜上口のみの大きさの異なる複数の画像を予め用意す
る。この画像は画像データベース７４６に格納されるも
のとなっている。
【００２３】そして、音声合成部７４３からの音声信号
を音声解析部７４４によって、図２に示すように、ある
一定時間の間隔Ｔｉごとに音声の大きさの平均値Ｓａを
求める。
を音声解析部７４４によって、図２に示すように、ある
一定時間の間隔Ｔｉごとに音声の大きさの平均値Ｓａを
求める。
【００２４】さらに、音声の大きさの各平均値Ｓａに基
づいて、図３に示すように、前記各画像の遷移先を決定
する。
づいて、図３に示すように、前記各画像の遷移先を決定
する。
【００２５】図３においては、４種類の口の大きさを持
った画像を例示しており、たとえば音声入力がない場合
にはすべて口を閉じた画像に遷移する。音声の大きさの
最大値を４つに分け、その各々の区間に口の大きさの異
なる画像を配置する。Ｓａの値が変わることにより、口
の大きさも変化する。このとき、口の大きさは急激に変
わる場合もある。
った画像を例示しており、たとえば音声入力がない場合
にはすべて口を閉じた画像に遷移する。音声の大きさの
最大値を４つに分け、その各々の区間に口の大きさの異
なる画像を配置する。Ｓａの値が変わることにより、口
の大きさも変化する。このとき、口の大きさは急激に変
わる場合もある。
【００２６】そして、拡張アルゴリズムとして、前記基
本アルゴリズムに無意識の動きである揺らぎを加えたも
のとなっている。
本アルゴリズムに無意識の動きである揺らぎを加えたも
のとなっている。
【００２７】すなわち、その一部を図４に示すように、
まず、基準となる顔の変化をＢ、頭を揺らした顔の変化
をＨ、目を閉じた顔の変化をＥとする。
まず、基準となる顔の変化をＢ、頭を揺らした顔の変化
をＨ、目を閉じた顔の変化をＥとする。
【００２８】そして、音声の大きさの平均Ｓａが与えら
れた際には、次式（１）に示す確率に従ってあるパター
ンから別のパターンへ状態を変位させるようになってい
る。
れた際には、次式（１）に示す確率に従ってあるパター
ンから別のパターンへ状態を変位させるようになってい
る。
【００２９】
【数１】
【００３０】なお、この場合、上式（１）の各確率はそ
の等式が満足できる限りどのような割合にしてもよいこ
とはいうまでもない。
の等式が満足できる限りどのような割合にしてもよいこ
とはいうまでもない。
【００３１】ここで、前記基本アルゴリズムについてさ
らに詳述すると、上述したように、ある一定時間間隔Ｔ
ｉごとに音声の平均値Ｓａを求め、さらに、図５に示す
ように、ある時間ＴnとＴn+1（＝Ｔn＋Ｔi）との平均値
の差分をＤ（＝Ｓａn+1−Ｓａn）とおく。
らに詳述すると、上述したように、ある一定時間間隔Ｔ
ｉごとに音声の平均値Ｓａを求め、さらに、図５に示す
ように、ある時間ＴnとＴn+1（＝Ｔn＋Ｔi）との平均値
の差分をＤ（＝Ｓａn+1−Ｓａn）とおく。
【００３２】そして、この差分Ｄの大きさにより、図６
に示すように、画像の遷移先を決定する。同図では、差
分Ｄがたとえばあるしきい値ε内に収まる場合には自分
自身に遷移するようにしている。差分Ｄがしきい値εを
越え、かつその値が正の場合には口をさらに大きく開け
た画像に遷移し、負の場合には口をさらに小さく開けた
画像に遷移するようにしている。
に示すように、画像の遷移先を決定する。同図では、差
分Ｄがたとえばあるしきい値ε内に収まる場合には自分
自身に遷移するようにしている。差分Ｄがしきい値εを
越え、かつその値が正の場合には口をさらに大きく開け
た画像に遷移し、負の場合には口をさらに小さく開けた
画像に遷移するようにしている。
【００３３】このようにすることによって、口の開閉は
滑らかな動きができるようになる。
滑らかな動きができるようになる。
【００３４】また、このような差分Ｄに基づく前記拡張
アルゴリズムについてさらに詳述すると、図７に示すよ
うに、上述した拡張アルゴリズムの第ｎ状態において、
差分Ｄがしきい値εを越え、かつその値が正の場合には
第（ｎ＋１）状態への遷移は次式（２）に示す等式を満
足して行われるようになっている。
アルゴリズムについてさらに詳述すると、図７に示すよ
うに、上述した拡張アルゴリズムの第ｎ状態において、
差分Ｄがしきい値εを越え、かつその値が正の場合には
第（ｎ＋１）状態への遷移は次式（２）に示す等式を満
足して行われるようになっている。
【００３５】
【数２】
【００３６】そして、差分Ｄが負の場合には第（ｎ−
１）状態への遷移は次式（３）に示す等式を満足して行
われるようになっている。
１）状態への遷移は次式（３）に示す等式を満足して行
われるようになっている。
【００３７】
【数３】
【００３８】差分Ｄがしきい値ε内にある場合には自分
自身へ遷移し、また、音声の大きさが０の場合には第１
状態に遷移することはいうまでもない。
自身へ遷移し、また、音声の大きさが０の場合には第１
状態に遷移することはいうまでもない。
【００３９】このようにすることによって、しきい値ε
を越えた音声の変化に応じて、人物の顔はすべて別の顔
の状態に遷移することとなり、話をしている時の動きを
滑らかに表現させることができるようになる。
を越えた音声の変化に応じて、人物の顔はすべて別の顔
の状態に遷移することとなり、話をしている時の動きを
滑らかに表現させることができるようになる。
【００４０】ここで、拡張アルゴリズムを使って顔画像
を表す実験を行った結果を以下に説明する。
を表す実験を行った結果を以下に説明する。
【００４１】この実験における基本アルゴリズムとし
て、図８（ａ）に示すように、声の大きさの変化にとも
なって口の大きさが４段階に変化する顔画像を用意し
た。
て、図８（ａ）に示すように、声の大きさの変化にとも
なって口の大きさが４段階に変化する顔画像を用意し
た。
【００４２】そして、拡張アルゴリズムとして、図８
（ｂ）に示すように、上述した３パターンに、目を半分
閉じたパターンを追加し、遷移先は一つ前の状態には戻
らない設定とした。また、音声を受信している際には、
瞬きをしたり、うなずく等の動作をランダムに表示する
ようにした。
（ｂ）に示すように、上述した３パターンに、目を半分
閉じたパターンを追加し、遷移先は一つ前の状態には戻
らない設定とした。また、音声を受信している際には、
瞬きをしたり、うなずく等の動作をランダムに表示する
ようにした。
【００４３】そして、被験者１０人に対して、それぞれ
基本アルゴリズムに基づく画像と拡張アルゴリズムに基
づく画像とを提示し、それにより得られた結果を評定尺
度法（大串、中山、福田、”画質と音質の評価技術”昭
晃堂：１９９１）に基づいて評価してみた。
基本アルゴリズムに基づく画像と拡張アルゴリズムに基
づく画像とを提示し、それにより得られた結果を評定尺
度法（大串、中山、福田、”画質と音質の評価技術”昭
晃堂：１９９１）に基づいて評価してみた。
【００４４】すなわち、カテゴリー数を５とし、端極尺
度値により各々の刺激の尺度値を求め、その結果は表１
に示されるようになった。
度値により各々の刺激の尺度値を求め、その結果は表１
に示されるようになった。
【００４５】
【表１】
【００４６】この表１から明らかなように、拡張アルゴ
リズムによる評価（尺度値＝２．３）が基本アルゴリズ
ムの評価（尺度値＝１．６）より高いことが判る。
リズムによる評価（尺度値＝２．３）が基本アルゴリズ
ムの評価（尺度値＝１．６）より高いことが判る。
【００４７】この理由は、基本アルゴリズムでは、顔の
他の部分を動かさなかったため、口の動きだけが目だっ
てしまい、時間を経るに従ってその不自然さが増大する
状態に陥り易いからである。拡張アルゴリズムではこの
点の不都合を充分に解決したものとなっている。
他の部分を動かさなかったため、口の動きだけが目だっ
てしまい、時間を経るに従ってその不自然さが増大する
状態に陥り易いからである。拡張アルゴリズムではこの
点の不都合を充分に解決したものとなっている。
【００４８】また、表示されている人物が複数人おり、
そのうちの一人の話を聞いている人物の場合において、
その口を閉じた状態の画像で、目を閉じた顔と目を開い
た顔との表示をランダムに切り替えることによって、そ
の人物の目の瞬きを実現できるようになっている。
そのうちの一人の話を聞いている人物の場合において、
その口を閉じた状態の画像で、目を閉じた顔と目を開い
た顔との表示をランダムに切り替えることによって、そ
の人物の目の瞬きを実現できるようになっている。
【００４９】このように構成した人物画像表示方法およ
び装置の利用法としては、たとえば商品紹介、タウンガ
イド、あるいは交通情報表示等の情報提供が挙げられ
る。
び装置の利用法としては、たとえば商品紹介、タウンガ
イド、あるいは交通情報表示等の情報提供が挙げられ
る。
【００５０】たとえば交通情報の場合は、具体的に、交
通手段（鉄道／バス／道路／飛行機…）、混み具合（所
要時間／渋滞距離／渋滞原因…）、その他の情報（天気
予報／工事情報／事故…）等である。
通手段（鉄道／バス／道路／飛行機…）、混み具合（所
要時間／渋滞距離／渋滞原因…）、その他の情報（天気
予報／工事情報／事故…）等である。
【００５１】利用者は、たとえば、提示されているメニ
ューから必要な項目を音声で入力するようになる。入力
された音声は音声認識部で認識され、認識された言葉に
対応する返答を合成／解析し、その結果に基づき画面に
表示する顔を動かす。
ューから必要な項目を音声で入力するようになる。入力
された音声は音声認識部で認識され、認識された言葉に
対応する返答を合成／解析し、その結果に基づき画面に
表示する顔を動かす。
【００５２】音声合成部は、返答文に利用者や時間によ
り変化する情報を組み込むために必要となるものであ
り、音声解析部では合成された音声からその大きさの変
化を抽出する。
り変化する情報を組み込むために必要となるものであ
り、音声解析部では合成された音声からその大きさの変
化を抽出する。
【００５３】これらのサービスのやり取りはある程度定
型化できるものであり、入力される音声に対する応答を
あらかじめ想定することが可能となっている。
型化できるものであり、入力される音声に対する応答を
あらかじめ想定することが可能となっている。
【００５４】たとえば交通情報の例では、順調に動いて
いる場合はにこやかな顔を選択し、「○時○○分現在、
××は順調に動いております」といった内容を音声とと
もに口や顔を動かす。
いる場合はにこやかな顔を選択し、「○時○○分現在、
××は順調に動いております」といった内容を音声とと
もに口や顔を動かす。
【００５５】認識できなかった場合には再度入力を促
す。この場合、恐縮している顔を選択し、「申し訳あり
ませんが、もう一度入力していただけますか」などとい
った音声とともに口や顔を動かす。
す。この場合、恐縮している顔を選択し、「申し訳あり
ませんが、もう一度入力していただけますか」などとい
った音声とともに口や顔を動かす。
【００５６】すなわち、提示する言葉の内容が予め判っ
ているため、その内容に合わせて表情を持つ顔を対応づ
け、アルゴリズムにしたがって口や顔を動かすことによ
り、より自然に話しをしている状況を表現することがで
きるようになる。
ているため、その内容に合わせて表情を持つ顔を対応づ
け、アルゴリズムにしたがって口や顔を動かすことによ
り、より自然に話しをしている状況を表現することがで
きるようになる。
【００５７】実施例２．図９および図１０は、本発明の
さらに拡張された他の実施例を説明する説明図である。
さらに拡張された他の実施例を説明する説明図である。
【００５８】ここで、実施例の説明をする前に、対話の
際における対話者の自然な動作についてさらに考察して
みる。
際における対話者の自然な動作についてさらに考察して
みる。
【００５９】まず、対話というものは、一方的に言葉を
相手に投げるものでなく、相手の反応を見ながら行うも
のである。
相手に投げるものでなく、相手の反応を見ながら行うも
のである。
【００６０】対話がスムーズになされている状態を表現
するためには、話をしている側の顔の部分にそれなりの
動きをもたせることはもちろんのこと、聞いている側の
顔の部分もそれなりに表現させる必要がある。
するためには、話をしている側の顔の部分にそれなりの
動きをもたせることはもちろんのこと、聞いている側の
顔の部分もそれなりに表現させる必要がある。
【００６１】そこで、対話の際の話をしている側および
聞いている側のそれぞれの顔の部分の動きを観察すると
次のような動作傾向があることが判る。
聞いている側のそれぞれの顔の部分の動きを観察すると
次のような動作傾向があることが判る。
【００６２】（１）話をしている側の動作 ・頭が動くことが多い。 ・瞬きの回数は一回が多い。 ・瞬きから瞬きの間隔が比較的長い。
【００６３】（２）話を聞いている側の動作 ・瞬きは複数回連続して行われることが多い。 ・相槌をうつため、縦方向に頭が動く。 ・疑問を感じた際に、首を傾ける。 ・納得できない時に首を横に振る。
【００６４】図９および図１０に示す実施例では、対話
者のこのような動作傾向を出力制御に反映させているこ
とにある。
者のこのような動作傾向を出力制御に反映させているこ
とにある。
【００６５】すなわち、コンピュータに表示されている
人物が、話をしているのか（有音）、あるいは話を聞い
ているのか（無音）の判定を行うとともに、それぞれの
場合における顔の部分の動作を、口の大きさ、目の瞬き
に着目して制御するようにしている。
人物が、話をしているのか（有音）、あるいは話を聞い
ているのか（無音）の判定を行うとともに、それぞれの
場合における顔の部分の動作を、口の大きさ、目の瞬き
に着目して制御するようにしている。
【００６６】図９、図１０では、図面の横方向に時間経
過を示し、上段から順次、有音／無音の判定タイミン
グ、有音／無音出力、口画像出力、目画像出力、
顔画像出力を示している。そして、図９は、主として
有音判定時を示し、図１０は、主として無音判定時を示
している。なお、図９、図１０は、それらが合わさって
一つの図を構成するようになっている。
過を示し、上段から順次、有音／無音の判定タイミン
グ、有音／無音出力、口画像出力、目画像出力、
顔画像出力を示している。そして、図９は、主として
有音判定時を示し、図１０は、主として無音判定時を示
している。なお、図９、図１０は、それらが合わさって
一つの図を構成するようになっている。
【００６７】ここで、有音／無音の判定タイミングで
は、有音／無音の判定が一定周期ＴJでなされている。
は、有音／無音の判定が一定周期ＴJでなされている。
【００６８】有音／無音出力では、有音判定時に、入
力音声が無音レベルから有音レベルに変化したことによ
り、無音から有音に変化することを示し、また無音判定
時に、入力音声が有音レベルから無音レベルに変化した
ことにより、有音から無音に変化することを示してい
る。
力音声が無音レベルから有音レベルに変化したことによ
り、無音から有音に変化することを示し、また無音判定
時に、入力音声が有音レベルから無音レベルに変化した
ことにより、有音から無音に変化することを示してい
る。
【００６９】有音／無音の判定は、たとえば判定間隔Ｔ
Jの中に存在する標本化音声の平均電力を計算し、その
電力が予め定めたしきい値を越えるかどうかで行うよう
にしている。
Jの中に存在する標本化音声の平均電力を計算し、その
電力が予め定めたしきい値を越えるかどうかで行うよう
にしている。
【００７０】口画像出力では、有音判定時に、有音が
開始してから一定周期（ＴM）で口の大きさが変化する
ことを示し、また無音判定時に、直ちに口が閉じること
を示している。
開始してから一定周期（ＴM）で口の大きさが変化する
ことを示し、また無音判定時に、直ちに口が閉じること
を示している。
【００７１】目画像出力では、有音判定時に、有音が
開始してからランダムに瞬きが発生し、その後は一定の
周期（ＴE）で瞬きが繰り返すことを示し、また無音判
定時に、無音が開始してからランダムに瞬きが発生し、
その後は一定の周期（ＴE’）で瞬きが繰り返すことを
示している。
開始してからランダムに瞬きが発生し、その後は一定の
周期（ＴE）で瞬きが繰り返すことを示し、また無音判
定時に、無音が開始してからランダムに瞬きが発生し、
その後は一定の周期（ＴE’）で瞬きが繰り返すことを
示している。
【００７２】この場合、無音では、瞬きの回数が２回連
続して行われることを示している。
続して行われることを示している。
【００７３】顔画像出力、口画像と目画像を合成した
結果を示している。
結果を示している。
【００７４】なお、上述したタイムチャートでは、有音
から無音を検出した段階で、直ちに口を閉じるようにし
て示したが、このようにすることに限定されることはな
く、検出時から時間をかけて漸次に口を閉じる制御を行
うようにしてもよいことはいうまでもない。
から無音を検出した段階で、直ちに口を閉じるようにし
て示したが、このようにすることに限定されることはな
く、検出時から時間をかけて漸次に口を閉じる制御を行
うようにしてもよいことはいうまでもない。
【００７５】また、口画像出力において、口の開閉の繰
返し周期ＴMを一定として説明したものであるが、この
ようにすることに限定されることはなく、ランダムの時
間幅で口の開閉を繰り返すようにしてもよいことはいう
までもない。
返し周期ＴMを一定として説明したものであるが、この
ようにすることに限定されることはなく、ランダムの時
間幅で口の開閉を繰り返すようにしてもよいことはいう
までもない。
【００７６】さらに、目画像出力において、目の瞬きの
周期ＴE，ＴE’を一定として説明したものであるが、こ
のようにすることに限定されることはなく、ランダムの
周期で目の瞬きを繰り返すようにしてもよいことはいう
までもない。
周期ＴE，ＴE’を一定として説明したものであるが、こ
のようにすることに限定されることはなく、ランダムの
周期で目の瞬きを繰り返すようにしてもよいことはいう
までもない。
【００７７】図１１および図１２は、図９および図１０
に示したタイムチャートを上述した人物画像表示装置に
実行するためのフロー図である。なお、図１１、図１２
は、それらが合わさって一つの図を構成するようになっ
ている。また、このフローの実行に先立ち、図１３に示
す口変数テーブル（ａ）、目変数テーブル（ｂ）を作成
しておき、画像データベース７４６に格納しておく。
に示したタイムチャートを上述した人物画像表示装置に
実行するためのフロー図である。なお、図１１、図１２
は、それらが合わさって一つの図を構成するようになっ
ている。また、このフローの実行に先立ち、図１３に示
す口変数テーブル（ａ）、目変数テーブル（ｂ）を作成
しておき、画像データベース７４６に格納しておく。
【００７８】以下、ステップ順に説明する。
【００７９】ステップ１（Ｓ１） まず、初期段階として、口の変数ｍｏｕｔｈ＝０、目の
状態変数ｅｙｅ＝０としておく。
状態変数ｅｙｅ＝０としておく。
【００８０】ステップ２（Ｓ２） ｍｏｕｔｈ＝０、ｅｙｅ＝０にそれぞれ対応する口画像
および目画像を出力する。この場合、それぞれの画像は
閉じた口および閉じた目となっている。
および目画像を出力する。この場合、それぞれの画像は
閉じた口および閉じた目となっている。
【００８１】ステップ３（Ｓ３） 入力音声を取り入れ、それが有音であるか無音であるか
を判定する。有音である場合はステップ４へいき、ま
た、無音である場合はステップ１４へいく。
を判定する。有音である場合はステップ４へいき、ま
た、無音である場合はステップ１４へいく。
【００８２】ステップ４（Ｓ４） ステップ３で判定した有音が２度目以上の有音が初めて
の有音であるかを判定する。初めての有音である場合は
ステップ５へいき、また、２度目以上の有音である場合
はステップ６へいく。
の有音であるかを判定する。初めての有音である場合は
ステップ５へいき、また、２度目以上の有音である場合
はステップ６へいく。
【００８３】ステップ５（Ｓ５） 変数ｔに乱数表（０，ＴJ、２ＴJ、……、ＴM）から選
ばれた数値を代入する。瞬きの開始時間をタンダム化さ
せるためである。
ばれた数値を代入する。瞬きの開始時間をタンダム化さ
せるためである。
【００８４】ステップ６（Ｓ６） 変数ｔをＴEで割り算を実行し割り切れるか否かを判定
する。瞬きをＴE毎に行わさせるためである。割り切れ
る場合はステップ７へいき、割り切れない場合はステッ
プ８へいく。
する。瞬きをＴE毎に行わさせるためである。割り切れ
る場合はステップ７へいき、割り切れない場合はステッ
プ８へいく。
【００８５】ステップ７（Ｓ７） ｅｙｅ＝１に相当する目の画像を出力する。そして、変
数ｔをＴJだけ増加させる。
数ｔをＴJだけ増加させる。
【００８６】ステップ８（Ｓ８） ｅｙｅ＝０に相当する目の画像を出力する。そして、変
数ｔをＴJだけ増加させる。
数ｔをＴJだけ増加させる。
【００８７】ステップ９（Ｓ９） 口の大きさが増加中か否かを判定する。増加中の場合は
ステップ１０へいき、そうでない場合はステップ１２へ
いく。
ステップ１０へいき、そうでない場合はステップ１２へ
いく。
【００８８】ステップ１０（Ｓ１０） 口の大きさが最大値に達したか否かを判定する。達した
場合にはステップ１３へいき、達しない場合にはステッ
プ１１へいく。
場合にはステップ１３へいき、達しない場合にはステッ
プ１１へいく。
【００８９】ステップ１１（Ｓ１１） 口の変数に１を加算し、その加算値に対応する口画像を
出力する。その後、ステップ３へいく。ステップ１０か
らステップ１１までの動作は、口の大きさが増大してい
るのであれば、その最大値まで口の大きさを増大させる
ためである。
出力する。その後、ステップ３へいく。ステップ１０か
らステップ１１までの動作は、口の大きさが増大してい
るのであれば、その最大値まで口の大きさを増大させる
ためである。
【００９０】ステップ１２（Ｓ１２） 口の大きさが最小値に達したか否かを判定する。達した
場合にはステップ１１へいき、達しない場合にはステッ
プ１３へいく。
場合にはステップ１１へいき、達しない場合にはステッ
プ１３へいく。
【００９１】ステップ１３（Ｓ１３） 口の変数に１を減算し、その減算値に対応する口画像を
出力する。その後、ステップ３へいく。ステップ１２か
らステップ１３までの動作は、口の大きさが減少してい
るのであれば、その最小値まで口の大きさを減少させる
ためである。
出力する。その後、ステップ３へいく。ステップ１２か
らステップ１３までの動作は、口の大きさが減少してい
るのであれば、その最小値まで口の大きさを減少させる
ためである。
【００９２】ステップ１４（Ｓ１４） ２度目以上の無音が初めての無音か否か判定する。初め
ての無音の場合はステップ１５へいき、２度目以上の無
音の場合はステップ１６へいく。
ての無音の場合はステップ１５へいき、２度目以上の無
音の場合はステップ１６へいく。
【００９３】ステップ１５（Ｓ１５） 変数ｔに乱数表（ＴJ、２ＴJ、……、ＴE’）から選ば
れた数値を代入する。瞬きの開始時間をタンダム化させ
るためである。
れた数値を代入する。瞬きの開始時間をタンダム化させ
るためである。
【００９４】ステップ１６（Ｓ１６） 変数ｔをＴE’で割り算を実行し割り切れるか否かを判
定する。瞬きをＴE’毎に行わさせるためである。割り
切れる場合はステップ１７へいき、割り切れない場合は
ステップ１８へいく。
定する。瞬きをＴE’毎に行わさせるためである。割り
切れる場合はステップ１７へいき、割り切れない場合は
ステップ１８へいく。
【００９５】ステップ１７（Ｓ１７） ｅｙｅ＝１、０、１となる目の画像を順次出力する。そ
れらの出力はＴJ間隔となり、その後において、ｔに３
ＴJを加算する。
れらの出力はＴJ間隔となり、その後において、ｔに３
ＴJを加算する。
【００９６】ステップ１８（Ｓ１８） ｅｙｅ＝０の目の画像を出力する。その後、ｔにＴJを
加算する。
加算する。
【００９７】ステップ１９（Ｓ１９） 無音期間中はｍｏｕｔｈ＝０として口を閉じておく。そ
して、ステップ３へいく。
して、ステップ３へいく。
【００９８】実施例３．図１４は、上述した音声駆動を
用いた人物画像表示装置をネットワークを介して他の音
声駆動を用いた人物画像表示装置とインタラクティブに
対話を行う場合の実施例を示したブロック図である。
用いた人物画像表示装置をネットワークを介して他の音
声駆動を用いた人物画像表示装置とインタラクティブに
対話を行う場合の実施例を示したブロック図である。
【００９９】同図において、図１と同符号のものは同一
の機能を有する。
の機能を有する。
【０１００】図１と異なる構成は、一方の人物画像表示
装置側の対話者が発する音声は音声入力部７１を介して
データ送信部７４３１に送られ、さらにネットワーク７
５を介して他方の人物画像表示装置側のデータ受信部７
４３２に送られるようになっている。
装置側の対話者が発する音声は音声入力部７１を介して
データ送信部７４３１に送られ、さらにネットワーク７
５を介して他方の人物画像表示装置側のデータ受信部７
４３２に送られるようになっている。
【０１０１】そして、他方の人物画像表示装置の制御部
では、該データ受信部７４３２によって受けた音声信号
から、図１の場合と同じように、その言葉の意味を判断
し、対話処理部７４２によって対話者の意図を汲み取
り、かつ、それに対する返答を判断するようになってい
る。
では、該データ受信部７４３２によって受けた音声信号
から、図１の場合と同じように、その言葉の意味を判断
し、対話処理部７４２によって対話者の意図を汲み取
り、かつ、それに対する返答を判断するようになってい
る。
【０１０２】音声解析部７４４では、データ受信部７４
３２からの音声に対してたとえばＴｉの時間間隔ごとに
該音声の変化を取りだし、その強さの平均値の算出、あ
るいはその他の必要な演算処理を行うようになってい
る。
３２からの音声に対してたとえばＴｉの時間間隔ごとに
該音声の変化を取りだし、その強さの平均値の算出、あ
るいはその他の必要な演算処理を行うようになってい
る。
【０１０３】そして、この音声解析部７４４で得られた
音声の時間毎に区切られた各平均値等の時系列的な各情
報は画像管理部７４５に出力され、この画像管理部７４
５では、前記それぞれの情報に応じて画像データベース
７４６から予め定められた適当な画像が順次選択され、
この画像は画像出力部７３に出力されて順次表示される
ようになっている。
音声の時間毎に区切られた各平均値等の時系列的な各情
報は画像管理部７４５に出力され、この画像管理部７４
５では、前記それぞれの情報に応じて画像データベース
７４６から予め定められた適当な画像が順次選択され、
この画像は画像出力部７３に出力されて順次表示される
ようになっている。
【０１０４】この画像は、前記対話者の音声に対して返
答をする人物の画像（一人の場合もあるし、複数の場合
もある）が主となり、その人物の口あるいはそぶり等
は、前記音声出力部７２から発せられる音声に追従して
（同じタイミングで）動くようになっている。
答をする人物の画像（一人の場合もあるし、複数の場合
もある）が主となり、その人物の口あるいはそぶり等
は、前記音声出力部７２から発せられる音声に追従して
（同じタイミングで）動くようになっている。
【０１０５】この場合において、ネットワークを介して
接続されるそれぞれの人物画像表示装置における音声解
析部７４４、画像管理部７４５、および画像データベー
ス７４６は、実施例１にて示した基本アルゴリズムおよ
びそれをさらに拡張させた拡張アルゴリズムに基づいて
機能することはいうまでもない。
接続されるそれぞれの人物画像表示装置における音声解
析部７４４、画像管理部７４５、および画像データベー
ス７４６は、実施例１にて示した基本アルゴリズムおよ
びそれをさらに拡張させた拡張アルゴリズムに基づいて
機能することはいうまでもない。
【０１０６】また、このような構成は、たとえばインタ
ーネットフォンのように、パソコンで通信しながらお互
いの音声を用いて会話するようにすることもできる。こ
の場合、音声だけでなく、画像データベース７４６に登
録してある顔画像（たとえば話しをする相手の顔画像）
を自分のパソコンの画面上に表示する。データ受信部７
４３２から送られてきた音声の強弱などの情報を音声解
析部７４４で求め、その結果を受けて画像データベース
７４６から適当な画像が順次選択され、画像出力部７３
に出力される。
ーネットフォンのように、パソコンで通信しながらお互
いの音声を用いて会話するようにすることもできる。こ
の場合、音声だけでなく、画像データベース７４６に登
録してある顔画像（たとえば話しをする相手の顔画像）
を自分のパソコンの画面上に表示する。データ受信部７
４３２から送られてきた音声の強弱などの情報を音声解
析部７４４で求め、その結果を受けて画像データベース
７４６から適当な画像が順次選択され、画像出力部７３
に出力される。
【０１０７】以上、上述した各実施例によれば、人物の
表情において、たとえばその口の場合に、話し始めで口
が開き話し、さらに終わりで口が閉じるようになり、ま
た声の大きさ等で分類した数に応じてそれらの間で口の
開きの大きさを変化させることができることから、ほと
んどの対話者が不自然さを感じることなく観察すること
ができるようになる。
表情において、たとえばその口の場合に、話し始めで口
が開き話し、さらに終わりで口が閉じるようになり、ま
た声の大きさ等で分類した数に応じてそれらの間で口の
開きの大きさを変化させることができることから、ほと
んどの対話者が不自然さを感じることなく観察すること
ができるようになる。
【０１０８】したがって、特に、複雑な手法を用いる必
要がないことから、専門の技術あるいは装置を必要とす
ることなくほぼ自然的に対話をしている状態を疑似的に
実現できるようになる。
要がないことから、専門の技術あるいは装置を必要とす
ることなくほぼ自然的に対話をしている状態を疑似的に
実現できるようになる。
【０１０９】なお、上述した各実施例では、いずれも基
本アルゴリズムおよび拡張アルゴリズムにしたがって動
作するように説明したものであるが、これに限定される
ことはなく、それらの一方にしたがって動作できるよう
にしてもよいことはいうまでもない。
本アルゴリズムおよび拡張アルゴリズムにしたがって動
作するように説明したものであるが、これに限定される
ことはなく、それらの一方にしたがって動作できるよう
にしてもよいことはいうまでもない。
【０１１０】
【発明の効果】以上説明したことから明らかなように、
本発明による音声駆動を用いた人物画像表示方法および
装置によれば、専門の技術あるいは装置を必要としなく
てもほぼ自然的に対話をしている状態を疑似的に実現で
きるようになる。
本発明による音声駆動を用いた人物画像表示方法および
装置によれば、専門の技術あるいは装置を必要としなく
てもほぼ自然的に対話をしている状態を疑似的に実現で
きるようになる。
【図１】本発明による音声駆動を用いた人物画像表示装
置の一実施例を示すブロック図である。
置の一実施例を示すブロック図である。
【図２】本発明の基本アルゴリズムの一実施例を示す説
明図である。
明図である。
【図３】本発明の基本アルゴリズムの一実施例を示す説
明図である。
明図である。
【図４】本発明の基本アルゴリズムの一実施例を示す説
明図である。
明図である。
【図５】本発明の拡張アルゴリズムの一実施例を示す説
明図である。
明図である。
【図６】本発明の拡張アルゴリズムの一実施例を示す説
明図である。
明図である。
【図７】本発明の拡張アルゴリズムの一実施例を示す説
明図である。
明図である。
【図８】本発明の一実施例におけるアルゴリズムを実験
的に試みた際の画像を示す図である。
的に試みた際の画像を示す図である。
【図９】本発明の拡張アルゴリズムのさらに拡張された
実施例を示すタイムチャートで、図１０とで一つの図を
構成している。
実施例を示すタイムチャートで、図１０とで一つの図を
構成している。
【図１０】本発明の拡張アルゴリズムのさらに拡張され
た実施例を示すタイムチャートで、図９とで一つの図を
構成している。
た実施例を示すタイムチャートで、図９とで一つの図を
構成している。
【図１１】図９および図１０に示すタイムチャートをフ
ロー図で、図１２とで一つの図を構成している。
ロー図で、図１２とで一つの図を構成している。
【図１２】図９および図１０に示すタイムチャートをフ
ロー図で、図１１とで一つの図を構成している。
ロー図で、図１１とで一つの図を構成している。
【図１３】図１１および図１２に示すフロー図の動作に
先立って予め装置に格納させておくデータを示す説明図
である。
先立って予め装置に格納させておくデータを示す説明図
である。
【図１４】本発明による音声駆動を用いた人物画像表示
装置の他の実施例を示すブロック図である。
装置の他の実施例を示すブロック図である。
７１……音声入力部、７２……音声出力部、７３……画
像出力部、７４……制御部、７４１……音声認識部、７
４２……対話処理部、７４３……音声合成部、７４４…
…音声解析部、７４５……画像管理部、７４６……画像
データベース。
像出力部、７４……制御部、７４１……音声認識部、７
４２……対話処理部、７４３……音声合成部、７４４…
…音声解析部、７４５……画像管理部、７４６……画像
データベース。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 信之 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 金山 英明 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内
Claims (11)
- 【請求項１】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示方法におい
て、 前記人物の発する音声の一定時間間隔ごとに順次得られ
る各音声の大きさに基づいて、該人物の顔画像における
口、頭の揺れあるいはうなずき、目のまばたきの少なく
とも一つを変化させることを特徴とする音声駆動を用い
た人物画像表示方法。 - 【請求項２】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示装置におい
て、 前記人物の顔画像における口、頭の揺れあるいはうなず
き、目のまばたきの少なくとも一つが変化された各画像
を格納する格納手段と、 前記人物の発する音声の一定時間間隔ごとの各音声の大
きさを順次算出する算出手段と、 この算出手段によって算出された算出値に応じて、前記
格納手段に格納された各画像を順次選定する画像選定手
段と、 この画像選定手段によって選定された各画像を順次表示
する表示手段と、を備えることを特徴とする音声駆動を
用いた人物画像表示装置。 - 【請求項３】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示方法におい
て、 前記人物の発する音声の一定時間間隔ごとに順次得られ
る各音声の差分に基づいて、該人物の顔画像における
口、頭の揺れあるいはうなずき、目のまばたきの少なく
とも一つを変化させることを特徴とする音声駆動を用い
た人物画像表示方法。 - 【請求項４】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示装置におい
て、 前記人物の顔画像における口、頭の揺れあるいはうなず
き、目のまばたきの少なくとも一つが変化された各画像
を格納する格納手段と、 前記人物の発する音声の一定時間間隔ごとの各音声の差
分を順次算出する算出手段と、 この算出手段によって算出された差分値に応じて、前記
格納手段に格納された各画像を順次選定する画像選定手
段と、 この画像選定手段によって選定された各画像を順次表示
する表示手段と、を備えることを特徴とする音声駆動を
用いた人物画像表示装置。 - 【請求項５】 コンピュータに表示されている人物の発
する音声は、ネットワークを介して送られる音声である
ことを特徴とする請求項１および３のうちいずれか記載
の人物画像表示方法。 - 【請求項６】 コンピュータに表示されている人物の発
する音声は、ネットワークを介して送られる音声である
ことを特徴とする請求項２および４のうちいずれか記載
の人物画像表示装置。 - 【請求項７】 コンピュータに表示されている人物の画
像の少なくとも顔の部分がその人物の発する音声によっ
て変化する音声駆動を用いた人物画像表示方法におい
て、 前記人物の発する音声から一定時間間隔毎に得られる有
音／無音の判定に応じて、口の大きさ、目の瞬き、頭の
揺れ、うなずきの少なくとも一つを制御することを特徴
とする音声駆動を用いた人物画像表示方法。 - 【請求項８】 有音判定の際に、予め定められた周期あ
るいはランダムな時間間隔で口の大きさを変化させ、無
音判定の際に、口を閉じることを特徴とする請求項７記
載の音声駆動を用いた人物画像表示方法。 - 【請求項９】 有音判定の際に、予め定められた周期あ
るいはランダムな時間間隔で目を１回瞬かせ、無音判定
の際に、予め定められた周期あるいはランダムな時間間
隔で目を複数回瞬かせることを特徴とする請求項７記載
の音声駆動を用いた人物画像表示方法。 - 【請求項１０】 有音判定の際に、予め定められた周期
あるいはランダムな時間間隔で頭を動かせることを特徴
とする請求項７記載の音声駆動を用いた人物画像表示方
法。 - 【請求項１１】 無音判定の際に、予め定められた周期
あるいはランダムな時間間隔で縦方向に頭を動かせる
か、首を傾けるか、首を横に振らせることを特徴とする
請求項７記載の音声駆動を用いた人物画像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9216377A JPH10293860A (ja) | 1997-02-24 | 1997-08-11 | 音声駆動を用いた人物画像表示方法およびその装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-38760 | 1997-02-24 | ||
| JP3876097 | 1997-02-24 | ||
| JP9216377A JPH10293860A (ja) | 1997-02-24 | 1997-08-11 | 音声駆動を用いた人物画像表示方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10293860A true JPH10293860A (ja) | 1998-11-04 |
Family
ID=26378054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9216377A Pending JPH10293860A (ja) | 1997-02-24 | 1997-08-11 | 音声駆動を用いた人物画像表示方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10293860A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024371A (ja) * | 2000-07-11 | 2002-01-25 | Sakaguchi Seisakusho:Kk | 故人との仮想対話方法及びその装置 |
| JP2003108502A (ja) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | 身体性メディア通信システム |
| US6943794B2 (en) | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
| WO2006106671A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 画像処理装置、画像表示装置、受信装置、送信装置、通信システム、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 |
| US7158177B2 (en) * | 2002-04-04 | 2007-01-02 | Mitsubishi Electric Corporation | Apparatus for and method of synthesizing face image |
| CN106875947A (zh) * | 2016-12-28 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
| CN111886565A (zh) * | 2018-03-22 | 2020-11-03 | 国立研究开发法人科学技术振兴机构 | 处理装置、处理方法、数据处理装置、数据处理系统、数据处理方法和程序 |
| JP2020184100A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理装置、情報処理方法及び学習済モデル生成方法 |
| JP2023011719A (ja) * | 2016-09-23 | 2023-01-24 | アップル インコーポレイテッド | アバターの作成及び編集 |
| US11941223B2 (en) | 2016-06-12 | 2024-03-26 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US12008230B2 (en) | 2020-05-11 | 2024-06-11 | Apple Inc. | User interfaces related to time with an editable background |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US12147655B2 (en) | 2021-05-21 | 2024-11-19 | Apple Inc. | Avatar sticker editor user interfaces |
| US12170834B2 (en) | 2018-05-07 | 2024-12-17 | Apple Inc. | Creative camera |
| US12223612B2 (en) | 2010-04-07 | 2025-02-11 | Apple Inc. | Avatar editing environment |
| US12287913B2 (en) | 2022-09-06 | 2025-04-29 | Apple Inc. | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments |
| US12417596B2 (en) | 2022-09-23 | 2025-09-16 | Apple Inc. | User interfaces for managing live communication sessions |
| US12482161B2 (en) | 2019-01-18 | 2025-11-25 | Apple Inc. | Virtual avatar animation based on facial feature movement |
-
1997
- 1997-08-11 JP JP9216377A patent/JPH10293860A/ja active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6943794B2 (en) | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
| JP2002024371A (ja) * | 2000-07-11 | 2002-01-25 | Sakaguchi Seisakusho:Kk | 故人との仮想対話方法及びその装置 |
| JP2003108502A (ja) * | 2001-09-28 | 2003-04-11 | Interrobot Inc | 身体性メディア通信システム |
| US7158177B2 (en) * | 2002-04-04 | 2007-01-02 | Mitsubishi Electric Corporation | Apparatus for and method of synthesizing face image |
| WO2006106671A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 画像処理装置、画像表示装置、受信装置、送信装置、通信システム、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 |
| US12223612B2 (en) | 2010-04-07 | 2025-02-11 | Apple Inc. | Avatar editing environment |
| US11941223B2 (en) | 2016-06-12 | 2024-03-26 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
| US12184969B2 (en) | 2016-09-23 | 2024-12-31 | Apple Inc. | Avatar creation and editing |
| JP2023011719A (ja) * | 2016-09-23 | 2023-01-24 | アップル インコーポレイテッド | アバターの作成及び編集 |
| CN106875947A (zh) * | 2016-12-28 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
| CN106875947B (zh) * | 2016-12-28 | 2021-05-25 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
| CN111886565A (zh) * | 2018-03-22 | 2020-11-03 | 国立研究开发法人科学技术振兴机构 | 处理装置、处理方法、数据处理装置、数据处理系统、数据处理方法和程序 |
| US11983309B2 (en) | 2018-03-22 | 2024-05-14 | Japan Science And Technology Agency | Device and method to acquire timing of blink motion performed by a dialogue device |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US12170834B2 (en) | 2018-05-07 | 2024-12-17 | Apple Inc. | Creative camera |
| US12340481B2 (en) | 2018-05-07 | 2025-06-24 | Apple Inc. | Avatar creation user interface |
| US12482161B2 (en) | 2019-01-18 | 2025-11-25 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| JP2020184100A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理装置、情報処理方法及び学習済モデル生成方法 |
| US12008230B2 (en) | 2020-05-11 | 2024-06-11 | Apple Inc. | User interfaces related to time with an editable background |
| US12099713B2 (en) | 2020-05-11 | 2024-09-24 | Apple Inc. | User interfaces related to time |
| US12619345B2 (en) | 2020-05-11 | 2026-05-05 | Apple Inc. | User interfaces related to time |
| US12147655B2 (en) | 2021-05-21 | 2024-11-19 | Apple Inc. | Avatar sticker editor user interfaces |
| US12287913B2 (en) | 2022-09-06 | 2025-04-29 | Apple Inc. | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments |
| US12417596B2 (en) | 2022-09-23 | 2025-09-16 | Apple Inc. | User interfaces for managing live communication sessions |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230230572A1 (en) | End-to-end speech conversion | |
| CN110300001B (zh) | 会议音频控制方法、系统、设备及计算机可读存储介质 | |
| Gabbay et al. | Visual speech enhancement | |
| CN111667812A (zh) | 一种语音合成方法、装置、设备及存储介质 | |
| US6941269B1 (en) | Method and system for providing automated audible backchannel responses | |
| JP7279494B2 (ja) | 会議支援装置、および会議支援システム | |
| CN116597858A (zh) | 语音口型匹配方法、装置、存储介质及电子设备 | |
| JP2003037826A (ja) | 代理画像表示装置およびテレビ電話装置 | |
| CN120748417B (zh) | 一种基于超短样本的声音复刻与低延迟流式语音合成方法及系统 | |
| JP7339151B2 (ja) | 音声合成装置、音声合成プログラム及び音声合成方法 | |
| Salvi et al. | SynFace—speech-driven facial animation for virtual speech-reading support | |
| CN115148185A (zh) | 语音合成方法及装置、电子设备及存储介质 | |
| CN116129853A (zh) | 语音合成模型的训练方法、语音合成方法及相关设备 | |
| CN118014084A (zh) | 一种基于大语言模型的多模态交互方法 | |
| Flanagan | Technologies for multimedia communications | |
| Verma et al. | Animating expressive faces across languages | |
| JPH06162167A (ja) | 合成画像表示システム | |
| KR102851646B1 (ko) | 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN113362432A (zh) | 一种面部动画生成方法及装置 | |
| JP7253269B2 (ja) | 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム | |
| Kouroupetroglou et al. | 4.7 Speech Technology for Disabled and Elderly People | |
| WO2007076279A2 (en) | Method for classifying speech data | |
| Zhang | CMGAN-Based Speech Enhancement for Automotive Environments: Targeted Noise Reduction | |
| JP2002215180A (ja) | 通信装置 | |
| JP2003084788A (ja) | 音声合成方法および音声合成装置ならびに音声合成処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040309 |