JPH1166345A - 画像音響処理装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 実際に人間が発音する様子を自然に模擬し、
まるでモデルが本当に唄ったり話したりしていると錯覚
させることのできる表現力を有する画像音響処理装置お
よび記録媒体を提供する。 【解決手段】 音響を生成するための音響生成手段（1
2）と、音響生成手段に発音させる音節を発音する際の
口の動きを表現する画像を表示するための画像表示手段
(10、11)と、母音を発音する際の口を表現するための画
像データを母音の種類だけした記憶手段(102、121)と、
を備える。画像表示手段(10、11)は、音響生成手段(12)
に発音させる音節に含まれる母音を識別し、識別した母
音を発音する際の口を表現するための画像データを記憶
手段(102、121)から読み取り、読み取った画像データに
基づいて画像表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、声を発する人間等
の画像をその音声とともに表現する画像音響処理装置に
係り、特に、実際に人間が発音する際の口の動きを表現
できる画像音響処理技術の改良に関する。

【０００２】

【従来の技術】コンピュータグラフィックス技術の発達
に伴い、実物の人間を模擬したモデルをポリゴン等によ
り構成できるようになった。その中で、音声に合わせて
モデルの口を動かして、モデルが唄ったり喋ったりして
いる様子を表現する画像処理装置があった。

【０００３】実際のところ、人間が言語を発音する際の
口の動きは複雑である。このため、従来の画像処理装置
では、口を開いているか閉じているかの二種類の画像デ
ータのみを保持し、これら二種の画像データに基づいて
音声に合わせてモデルの口を交互に動かす画像表示を行
っていた。

【０００４】しかしながら、従来の画像処理装置では、
モデルが実際に言葉を発音しているといえるまでの巧み
な口の動きを表現できないという不都合があった。すな
わち、口を開くか閉じるかの二種類の表現のみでは、実
際に人間が発音する際の多様な口の動きを真似ることが
できないため、完全に音声に同期させて口を動かしたと
しても、不自然な口の動きしか再現できなかった。

【０００５】その一方で、すべての口の動きを表現でき
る画像データを記憶するのは、膨大なデータ量となるた
め、工業的な応用に適さないという不都合もあった。

【０００６】

【発明が解決しようとする課題】本発明は、従来の画像
処理装置における不都合を解決するために、実際に人間
が発音する様子を自然に模擬し、まるでモデルが本当に
唄ったり話したりしていると錯覚させることのできる表
現力を有する画像音響処理装置およびそれを実現させる
プログラムデータが記録された記録媒体を提供すること
を目的とする。

【０００７】すなわち、本発明の第１の課題は、一定量
の画像データで実際に人間が音節（syllable）を発音す
る様子を模擬できる画像音響処理技術を提供することで
ある。

【０００８】本発明の第２の課題は、特殊な口の動かし
方となる音節であっても、人間が発音する様子を自然に
模擬できる画像音響処理技術を提供することである。

【０００９】本発明の第３の課題は、同一の母音を有す
る音節が連続しても、人間が発音する様子を自然に模擬
できる画像音響処理技術を提供することである。

【００１０】本発明の第４の課題は、連続した音節に含
まれる母音が異なる場合であっても、人間が発音する様
子をより自然に模擬できる画像処理技術を提供すること
である。

【００１１】本発明の第５の課題は、撥音を含む音節が
連続しても、人間が発音する様子を自然に模擬できる画
像音響処理技術を提供することである。

【００１２】

【課題を解決するための手段】上記第１の課題を解決す
る発明は、口の動きを表現する画像に合わせて音響を生
成するための画像音響処理装置において、音響を生成す
るための音響生成手段と、音節を発音する際の口の動き
を表現する画像を表示するための画像表示手段と、母音
を発音する際の口を表現するための画像データを母音の
種類だけ記憶させた記憶手段と、を備える。

【００１３】そして、画像表示手段は、音響生成手段に
発音させる音節に含まれる母音を識別し、識別した母音
を発音する際の口を表現するための画像データを記憶手
段から読み取り、読み取った画像データに基づいて画像
表示する。

【００１４】なお、音節とは、音の単位で、一つのまと
まった音の感じを与えるものをいう。母音とは、日本語
では「あ」、「い」、「う」、「え」および「お」の五
音をいい、英語では、‘a’、‘i’、‘u’、‘e’およ
び‘o’をいう。音節に含まれる母音とは、主として音
節の語尾に含まれる母音をいう。

【００１５】上記第２の課題を解決する発明は、記憶手
段には、母音を発音する際の口を表現するための画像デ
ータの他に、半開きした口を表現するための画像データ
が記憶され、画像表示手段は、音響生成手段に発音させ
る音節が予め定められた特定の音節である場合には、記
憶手段に記憶された半開きした口を表現するための画像
データおよび当該音節に含まれる母音を発音する際の口
を表現するための画像データに基づいて、半開きした口
を表現する画像に続けて母音を発音する際の口を表現す
る画像を表示する。

【００１６】なお、半開きした口とは、例えば、「あ
(a)」と「え(e)」の中間的な口の開き方をいう。

【００１７】上記第３の課題を解決する発明は、記憶手
段には、母音を発音する際の口を表現するための画像デ
ータの他に、半開きした口を表現するための画像データ
が記憶され、画像表示手段は、音響生成手段に発音させ
る連続した音節が同一の母音を含んでいると識別した場
合には、記憶手段に記憶された半開きした口を表現する
ための画像データに基づいて、連続した音節の各々を発
音する口を表現するための画像の合間に、半開きした口
を表現する画像を表示する。

【００１８】上記第４の課題を解決する発明は、記憶手
段には、母音を発音する際の口を表現するための画像デ
ータの他に、異なる母音の１以上の組み合わせにおい
て、各組み合わせに係る二種類の母音の中間的な口の開
き方を表現するための画像データが記憶され、画像表示
手段は、音響生成手段に異なる母音を含む連続した音節
を発音させる際に、前記記憶手段に記憶された画像デー
タに基づいて、異なる母音の各々を発音する口を表現す
るための画像の合間に、これら二種類の母音の中間的な
口の開き方を表現するための画像を表示する。

【００１９】上記第５の課題を解決する発明は、記憶手
段には、母音を発音する際の口を表現するための画像デ
ータの他に、閉じた口を表現するための画像データが記
憶され、画像表示手段は、音響生成手段に発音させる音
節が撥音を含む場合に、記憶手段に記憶された閉じた口
を表現するための画像データに基づいて画像表示する。

【００２０】なお、本発明において、記憶手段は記憶装
置に相当する。画像表示手段は、処理回路および画像表
示回路に相当する。また、音響生成回路は、口の動きを
表現する画像データとともに提供される波形データに基
づき、その音節の音響を生成するものである。

【００２１】上記第２の課題を解決する発明において、
特定の音節には、‘さ’、‘せ’、‘た’、‘ま’、
‘み’、‘む’、‘め’、‘も’、‘わ’、‘を’、
‘ば’、‘び’、‘ぶ’、‘べ’、‘ぼ’、‘ぱ’、
‘ぴ’、‘ぷ’、‘ぺ’および‘ぽ’の一部または全部
を含む。

【００２２】前記第１の課題を解決する発明は、音節の
識別が、文字データに基づいて行われる。

【００２３】本発明における音節には、母音の他に、撥
音等任意の音を含めることができる。

【００２４】本発明における記録媒体には、例えば、フ
ロッピーディスク、ハードディスク、磁気テープ、光磁
気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッ
ジ、バッテリバックアップ付きのＲＡＭメモリカートリ
ッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭ
カートリッジ等を含む。

【００２５】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００２６】記録媒体とは、何等かの物理的手段により
情報（主にデジタルデータ、プログラム）が記録されて
いるものであって、コンピュータ、専用プロセッサ等の
処理装置に所定の機能を行わせることができるものであ
る。要するに、何等かの手段でもってコンピュータにプ
ログラムをダウンロードし、所定の機能を実行させるも
のであればよい。

【００２７】

【発明の実施の形態】本発明の好適な実施の形態は、ゲ
ーム装置に本発明の画像音響処理装置を適用した。以
下、図面を参照して説明する。

【００２８】（装置構成）図１に、本実施形態のゲーム
装置の外観図を示す。図１に示すように、本形態のゲー
ム装置は、ゲーム装置本体１、パッド２ｂおよびモニタ
装置５を備えている。

【００２９】ゲーム装置本体１は、その内部に、本発明
の画像音響処理装置が収められている。その外装には、
ＲＯＭカートリッジ接続用のインターフェース（Ｉ／
Ｆ）部１ａ、ＣＤ−ＲＯＭ読取用のＣＤ−ＲＯＭドライ
ブ１ｂが設けられている。パッド２ｂは、十字カーソル
や複数の操作ボタンを備え、遊技者の操作に基づいて操
作信号を生成可能に構成される。そして、この操作信号
がケーブル２ｃを介してコネクタ２ａに供給可能に構成
されている。パッド２ｂは、コネクタ２ａによりゲーム
装置本体１に着脱可能に設けられ、二人の遊技者が同時
に操作するために二つのパッドが接続可能に構成され
る。なお、パッドの代わりに、マウス、リモコン、キー
ボード等を接続して構成してもよい。モニタ装置５は、
ビデオケーブル４ａおよびオーディオケーブル４ｂを介
して、ゲーム装置本体１の図示しないビデオ出力端子お
よびオーディオ出力端子に接続されて構成されている。

【００３０】（ブロック構成）図２に、本発明の画像音
響処理装置を適用したゲーム装置のブロック図を示す。
図２に示すように、本ゲーム装置は、ＣＰＵブロック１
０、ビデオブロック１１、サウンドブロック１２および
サブシステム１３により構成される。

【００３１】（ＣＰＵブロック）ＣＰＵブロック１０
は、本発明の画像表示手段の一部および処理回路であっ
て、プログラムにしたがってゲーム処理を進めるととも
に、本発明の画像音響処理を制御するものであって、Ｓ
ＣＵ（System Control Unit）１００、メインＣＰＵ１
０１、ＲＡＭ１０２、ＲＯＭ１０３、サブＣＰＵ１０４
およびＣＰＵバス１０５等により構成されている。

【００３２】メインＣＰＵ１０１は、その内部にＤＳＰ
（Digital Signal Processor）を備え、ＣＤ−ＲＯＭ１
から転送されたプログラムデータに基づく処理を高速に
実行可能に構成されている。ＲＡＭ１０２は、ＣＤ−Ｒ
ＯＭ１から読み取られたアプリケーションソフトのプロ
グラムデータ、音響制御プログラムデータ、波形データ
および各音節を発音する口の形を表現させるための画像
データが格納されている。また、ＲＡＭ１０２は、ＭＰ
ＥＧ画像復号時のワークエリアおよびＣＤ−ＲＯＭ復号
時の誤り訂正用データキャッシュとして使用可能に構成
されている。ＲＯＭ１０３は、当該装置の初期化処理の
ために用いるイニシャルプログラムデータが格納可能に
構成されている。ＳＣＵ１００は、バス１０５、１０６
および１０７を介して行われるデータの転送を統括可能
に構成されている。また、ＳＣＵ１００は、内部にＤＭ
Ａコントローラを備え、ＲＡＭ１０２等に格納されたゲ
ームの実行中に必要になる画像データをビデオブロック
１１内のＶＲＡＭへ転送可能に、音響制御プログラムデ
ータおよび波形データをサウンドブロック１２に転送可
能に構成されている。

【００３３】サブＣＰＵ１０４はＳＭＰＣ（System Man
ager & Peripheral Control）と呼ばれ、メインＣＰＵ
１０１の要求に応じパッド２ｂからの操作信号を収集可
能に構成される。

【００３４】（ビデオブロックの構成）ビデオブロック
１１は、本発明の画像表示手段の一部および画像表示回
路であって、ＶＤＰ（Video Display Processor）１２
０、ＶＤＰ１３０、ＶＲＡＭ１２１、フレームバッファ
１２２、１２３、ＶＲＡＭ１３１およびメモリ１３２を
備えて構成されている。

【００３５】ＶＲＡＭ１２１は、メインＣＰＵ１０１に
よりＳＣＵ１００を介して転送された描画コマンドを格
納可能に構成されている。

【００３６】ＶＤＰ１２０は、ＶＲＡＭ１２１に格納さ
れた描画コマンドに基づいて、ビットマップ形式の画像
データの生成、図形の変形、影やシェーディング等の色
演算等を行い、生成した画像データをフレームバッファ
１２２および１２３に書込み可能に構成されている。

【００３７】フレームバッファ１２２および１２３は、
ＶＤＰ１２０により生成させられた画像データを格納可
能に構成されている。

【００３８】ＶＲＡＭ１３１は、背景画像の画像デー
タ、ＶＤＰ１３０の機能実現に必要なデータテーブル等
を格納可能に構成されている。

【００３９】ＶＤＰ１３０は、ＶＲＡＭ１３１、フレー
ムバッファ１２２および１２３に格納された画像データ
に基づいて、選択枠を設定するウインドウ処理、影をつ
ける処理、拡大・縮小、回転、モザイク処理、移動処
理、クリッピングや表示優先順位処理等の陰面処理、等
の画像処理を行い表示画像データをメモリ１３２に格納
可能に構成されている。

【００４０】メモリ１３２は、ＶＤＰ１３０により描画
用画像データが格納され、エンコーダ１６０に出力可能
に構成されている。

【００４１】エンコーダ１６０は、メモリ１３２に格納
されている描画用画像データをビデオ信号のフォーマッ
トに変換し、Ｄ／Ａ変換してモニタ装置５へ供給可能に
構成されている。

【００４２】モニタ装置５は、供給されたビデオ信号に
基づいた画像を表示可能に構成されている。

【００４３】（サウンドブロック）サウンドブロック１
２は、本発明の音響生成手段および音響生成回路であっ
て、ＤＳＰ１４０と、ＣＰＵ１４１とにより構成され
る。

【００４４】ＣＰＵ１４１は、メインＣＰＵ１０１から
転送された音響制御プログラムデータおよび波形データ
をＤＳＰ１４０に転送可能に構成されている。ＤＳＰ１
４０は、音響メモリを内蔵して構成されている。そして
ＣＰＵ１４１の制御により、波形データを参照してＰＣ
Ｍ音源またはＦＭ音源による波形発生、遅延データの生
成、および音声合成を行い、生成した波形データをＤ／
Ａコンバータ１７０に出力可能に構成されている。ＤＳ
Ｐ１４０は、これらの作用により周波数制御、音量制
御、ＦＭ演算、変調、音声合成、リバーブ等の機能を備
えている。Ｄ／Ａコンバータ１７０は、ＤＳＰ１４０に
よって生成された波形データを２チャンネルの信号に変
換し、スピーカ５ａおよび５ｂに供給可能に構成されて
いる。

【００４５】なお、上記波形データには、人間の音声が
含まれる。音響制御プログラムデータには、この人間の
音節を示す文字コードが含まれる。このコードは、例え
ば画像表示させるモデルの唄う曲の歌詞データである。

【００４６】（サブシステム）サブシステム１３は、Ｃ
Ｄ−ＲＯＭドライブ１ｂ、ＣＤインターフェース（Ｉ／
Ｆ）１８０、ＣＰＵ１８１、ＭＰＥＧオーディオ回路１
８２およびＭＰＥＧビデオ回路１８３を備えて構成され
ている。

【００４７】ＣＤ―ＲＯＭドライブ１ｂは、ＣＤ―ＲＯ
Ｍからアプリケーションソフトのプログラムデータ、画
像データ、音響制御プログラムデータおよび波形データ
を読み取り、ＣＤインターフェース１８０はこれらをＣ
ＰＵブロック１０に供給可能に構成されている。また、
ＣＰＵ１８１は、ＭＰＥＧオーディオ回路１８２および
ＭＰＥＧビデオ回路１８３を制御して、ＭＰＥＧ規格に
より高能率符号圧縮化された画像データおよび音響デー
タを復号化可能に構成されている。

【００４８】（原理説明）次に本発明の原理を説明す
る。本実施形態のゲームでは、実際のアイドルを模擬し
たモデルを、いわゆるポリゴンにより構成して表示す
る。例えば、図８に示すように、モデルの顔は、多数の
微少三角形、あるいは四角形のポリゴンの各々により構
成される。ある画像を表示させる場合、次の表示タイミ
ング（例えば垂直同期タイミング）に先んじて、メイン
ＣＰＵ１０１は、個々のポリゴンのワールド座標系にお
ける空間位置を特定する座標データとともに、各頂点座
標等を特定するポリゴンデータをビデオブロック１１の
ＶＲＡＭ１２１に転送する。ビデオブロック１１では、
ＶＤＰ１２０がこれらデータを参照して、図８に示すよ
うなモデルの顔等のセグメントを生成し、個々のポリゴ
ンの表面に模様であるテクスチャーデータをビットマッ
プ形式で適用する（貼り付ける）。さらにＶＤＰ１２０
は、セグメントの表面を滑らかにするシェーディング処
理を行って、図９に示すように、実際のアイドルに似せ
たセグメントの画像を完成させる。この画像は、エンコ
ーダ１６０により、表示させるべきタイミングに合わせ
たビデオ信号に変換され、モニタ装置５にモデルの顔が
表示される。

【００４９】以上の処理を、フレーム期間（一枚の画面
を表示する周期）ごとにポリゴンの空間座標を更新しな
がら行うことによって、実際の人間のように、口を動か
したり瞼を閉じたり目を動かしたりするモデルの画像を
表示する。

【００５０】（母音による口の形の表現）さて、人間が
実際に一つの音節を発音する場合、発音期間中で母音を
発音している期間が比較的長い。本発明では、この原理
に基づいて、サウンドブロック１１に発音させる音節の
母音が何かを判断し、この母音を発音する際の口を表現
するための画像を、この音節の発音と同時に表示させ
る。すなわち、「あ（ａ）」、「い（ｉ）」、「う
（ｕ）」、「え（ｅ）」および「お（ｏ）」のそれぞれ
の母音に対応する画像表示は、例えば図１０乃至図１４
に示すようになる。

【００５１】「こんにちは」という言葉を例に採る。各
音節の長さが等しいなら、サウンドブロックより波形デ
ータに基づき「こんにちは」と発音する間、表示画像
は、図４に示すように「おんいいあ」と発音するように
動かしていることになる。

【００５２】このような処理によれば、各音節に対応す
る母音をその音節の発音期間中に表示することによっ
て、近似的にモデルがその音節を発音しているものと遊
技者に認識させることができる。

【００５３】（同一母音の音節が連続する場合における
口の形の表現）ところで、図４を参照すると、「こんに
ちは」という言葉のうち連続する「に」と「ち」とは、
同じ母音「い（ｉ）」を含んでいる。このため、画像表
示される口は、この二音節にわたって同一の形のまま動
かないことになり不自然となる場合もある。

【００５４】これに対処するため、本発明では、前に発
音させた音節の母音と次回に発音させる音節の母音が同
一である場合には、さらに半開き状態の口を表現する画
像を挿入する。例えば、図５に示すように、連続する同
一母音に係る音節のうち、第二番目の音節の前半に、図
１５に示すような「あ」と「え」の中間的な口の状態を
表現した、半開き状態の口の画像を挿入する。

【００５５】このような処理によれば、連続する二つの
音節において同一の母音が連続する場合であっても、い
ずれの母音とも異なる口の形がその間に表示されるの
で、より自然な口の動きを表現できる。

【００５６】なお、半開きを挿入する個所は、連続する
二音節のうち第二音節の冒頭に限らず、第一音節の後で
もよい。また、第一音節の後部と第二音節の冒頭部にと
もにかかってもよい。また、半開きの口を表現する画像
を挿入する長さは、音節の長さの半分に限らず、それよ
り短くても長くてもよい。さらに半開きの口の形は、い
ずれの母音を発音する際の口の形を異なればよく、図１
５のように「あ」と「え」の中間状態における口の他、
「あ」と「お」等他の口の形でもよい。

【００５７】（特定音節における口の形の表現）さら
に、図５の各音節を実際に発音する際の口の形を検討す
ると、「わ（は）」の音節は、音節冒頭の子音を発音す
る際の口の形と、その母音である「あ」を発音する際の
口の形とが大幅に異なっている。このように、一つの音
節であっても子音の口の形と母音の口の形が大きく変化
する音節には、表１に掲げるものがある。

【００５８】

【表１】

【００５９】このような音節を、その母音を発音する際
の口の形で表現すると不自然になる。このため本発明で
は、発音する音節が表１に掲げる音節である場合には、
その音節の冒頭に半開き状態の口を表示する。例えば、
図６に示すように、「わ」の音節において、その前半
に、図１５に示すような半開きの口を表現する画像を表
示する。

【００６０】このような処理によれば、音節の子音と母
音とで口の形が大きく変化する音節においても、その音
節の冒頭に半開きの口の形を表示するので、自然な口の
動きを表現できる。

【００６１】なお、半開きの口の形は、連続する音節が
同一の母音を含む場合と同様に、種々に変更が可能であ
る。

【００６２】（異なる母音を含む連続した音節間におけ
る口の形のさらに自然な表現）一方、連続した音節が異
なる母音を含んでいる場合であっても、最初の音節にお
ける母音を発音するときの口の形と次の音節における母
音を発音するときの口の形が大きく異なる場合がある。
また、両音節の間には子音も入り、これら両音節を実際
に発音する人間の口の形は、単に異なる母音を連続して
発音させたものとは相違する。したがって、異なる母音
を含む連続した音節を発音する口を模擬する場合に、こ
れら二種類の異なる母音を発音する口を表現するための
画像を連続して表現するだけでなく、これら二種類の画
像の合間に、これら二種類の母音を発音する口の中間的
な表現をさせる画像を挿入すれば、さらに自然な人間の
口の動きを模擬できる。

【００６３】そこで、本発明では、異なる音節を含む連
続した音節を発音させる際に、異なる母音の各々を発音
する口を表現するための画像の合間に、例えば、図７に
示すように、これら二種類の母音の中間的な口の開き方
を表現するための画像を表示する。例えば、同図では、
「まっくらです」という発音を模擬する場合を示す。最
初の「まっ」という音節は、上記特殊音節に該当してい
るので図１５に示すような半開きの口を表示する。残り
の音節では、前後する音節に含まれる母音の中間的な口
を表示してある。「まっ」と「く」、「く」と「ら」で
は、それぞれの音節に含まれる母音の組み合わせからみ
れば、「あ」と「う」の組み合わせであって同一の組み
合わせとなるので、同一の中間的な口を表現する画像を
表示する。

【００６４】なお、中間的な口の開き方を表現するため
の画像データは、前後する音節の組み合わせに応じて用
意する。例えば、基本的に用意してある画像データが、
「あ」、「い」、「う」、「え」および「お」の５つの
母音を表現する口、「ん」を表す撥音を表現する口並び
に上記特殊な半開き状態を表現する口の合計７種類から
なる口の形を表現する場合には、これら７種類から２つ
を選択する組み合わせの数だけ画像データを用意する。
すなわち、₇Ｃ₂＝２１通り用意する。

【００６５】ただし、この中間的な口の画像は、異なる
母音を発音する口の画像を連続して表示した場合に不自
然に見える組み合わせに限って挿入するものであっても
よい。例えば、母音「あ」と「え」とでは口の形があま
り変化しないので、これら二種類の異なる母音を含む音
節が連続する場合には、中間的な口の画像を挿入しなく
てもよい。

【００６６】さらに、上記したような、異なる母音の中
間的な口の形を表現するための画像の代わりに、他の中
間的な口を表現するための画像を用いてもよい。例え
ば、後の音節に含まれる子音を発音する際の口の形を模
擬しうる他の中間的な口を表現するための画像を用いて
もよい。

【００６７】なお、中間的な口の画像を表示する期間
は、連続する二音節のうち第二音節の前半部に限らず、
第一音節の後半部でもよい。また、第一音節の後部と第
二音節の前部にともにかかってもよい。また、中間的な
口を表現する画像を挿入する長さは、音節の長さの半分
に限らず、それより短くても長くてもよい。

【００６８】（音節が撥音であるにおける口の形の表
現）また、音節のうち撥音とよばれる音節、つまり「ん
（ｎ）」の音節では、いずれの母音も含まれない。した
がって、本発明では、音節が撥音である場合には、図１
６に示すように口を閉じた画像を表示する。

【００６９】このような処理によれば、音節が撥音であ
る場合にも口を閉じた画像を表示するので、自然な口の
動きを表現できる。

【００７０】上記各処理を、音節とそれに対応させて表
示する画像と関係つけてまとめると、表２のようにな
る。

【００７１】

【表２】

【００７２】（動作説明）次に、上記原理に基づく処理
を、図３のフローチャートを参照して説明する。

【００７３】ステップＳ１（初期設定）： ゲームを開
始するに当たり、メインＣＰＵ１０１用プログラムデー
タ、画像データ、ＣＰＵ１４１用音響制御プログラムデ
ータおよび波形データが、カートリッジインターフェー
ス回路１ａまたはＣＤ−ＲＯＭから読み取られ、ＲＡＭ
１０２に転送される。以下、メインＣＰＵ１０１はＲＡ
Ｍ１０２に格納されたメインＣＰＵ用プログラムを実行
し、ＣＰＵ１４１はメインＣＰＵ１０１により転送され
ＤＳＰ１４０に格納された音響制御用プログラムを実行
する。

【００７４】ステップＳ２： メインＣＰＵ１０１は、
サウンドブロック１１に転送される音響制御用プログラ
ムデータのうち歌詞データを、画像の更新タイミングご
とに読み取る。この歌詞データの示す文字を順次参照し
ていけば、次にサウンドブロック１１から発音させる音
節が何であるかを判断できる。

【００７５】このため、メインＣＰＵ１０１は、歌詞デ
ータから次に発音させる音節文字を読み取り、プログラ
ムデータに含まれる、表２に示すような対応関係を規定
したテーブルデータを参照する。そして、このテーブル
から特定される母音を発音させる口を表現するための以
下の画像データ、すなわちＲＡＭ１０２に格納させたポ
リゴンの空間位置を特定する座標データの集合をビデオ
ブロック１１に転送し、発音される音節に対応したモデ
ルの口を表現させる。

【００７６】ステップＳ３： まず、次にサウンドブロ
ック１１に転送する波形データにより発音させられる音
節が、表１に掲げる特定の音節であるか否かを判断す
る。特定の音節である場合（Ｓ３；ＹＥＳ）には、半開
きの口を表現するため半開きした口を表現する画像を表
示させ（Ｓ４）、ステップＳ８に移行する。すなわち、
半開きの口を表現するためのポリゴンの空間位置を定義
した座標データをビデオブロック１１に転送し、図１５
に示すような口の表示をさせる。半開きの口を表示する
時間長は、特定音節ごとに異なった時間長に設定しても
よいし、一定の時間長に設定してもよい。また、音節の
長さに対する半開きの口を表示する長さの比率で設定し
てもよい。

【００７７】ステップＳ５： 音節が特定の音節でない
場合（Ｓ３；ＮＯ）、前回に発音させた音節と今回新た
に発音させる音節が同一母音を含むか否かを識別する。
同一母音を含む場合には、ステップＳ３と同様に、半開
きの口を表示するための画像データをビデオブロック１
１に転送し、半開きした口を表現する画像をステップＳ
４と同様に表示させ（Ｓ６）、ステップＳ８に移行す
る。半開きの口を表示する時間長に関しても上記ステッ
プ４と同様である。

【００７８】ステップＳ７： 前回に発音させた音節と
今回新たに発音させる音節が同一母音を含まない場合
（Ｓ５；ＮＯ）、前後する音節に含まれる母音等が異な
ること考えられる。そこで、メインＣＰＵ１０１は、前
音節に含まれる音（母音）と今回発音させるべき音節の
音（母音、撥音若しくは半開きのいずれか、または子
音）との中間的な口を表現しうる画像データをビデオブ
ロック１１に転送する。また、メインＣＰＵ１０１はこ
の音節を発音させるための波形データをサウンドブロッ
ク１２に転送する。なお、中間的な口を表示する時間長
に関しては、上記ステップ４と同様である。

【００７９】ステップＳ８： 中間的な口を表現するた
めの画像を表示した後（Ｓ４，Ｓ６またはＳ７）、次に
発音させる音節が撥音であるか否かを判断する。撥音で
ある場合（Ｓ８；ＹＥＳ）は、閉じた口を表現するため
の口を構成するポリゴンの空間位置を定義した座標デー
タをビデオブロック１１に転送し、図１６に示すような
口を表示させる（Ｓ９）。

【００８０】撥音でない場合（Ｓ８；ＮＯ）は、次の音
節は母音を含むと考えられるので、その母音を発音する
ための口の形を特定し、特定されたポリゴンの空間位置
が定義された座標データをビデオブロック１１に転送
し、図１０乃至図１４のいずれかに示すような口を表示
させる（Ｓ１０）。

【００８１】ステップＳ１０： 歌詞データがまだ続く
場合は（Ｓ１１；ＮＯ）、再び次の歌詞データを参照す
る（Ｓ２）。歌詞データが終わった場合は（Ｓ１１；Ｙ
ＥＳ）、本発明の処理を終了する。

【００８２】（効果）上記したように本実施の形態によ
れば、次に発音させる音節に含まれる母音を発音するた
めの口の表現で、その音節における口の表現を代用する
ので、全体として少ない画像データで音節の発音に合せ
て自然に口を動かすモデルを表現できる。

【００８３】特に、連続する二つの音節において、同一
の母音が連続する場合であっても、いずれの母音とも異
なる半開きの口の形をその間に表示するので、より自然
な口の動きを表現できる。

【００８４】また、連続する二つの音節において、異な
る母音となる場合であっても、それらの母音を発音する
口を表現する画像の合間に、中間的な口の形を表現する
画像を表示するので、さらに自然な口の動きを表現でき
る。

【００８５】さらに、音節が撥音である場合にも口を閉
じた画像を表示するので、より自然な口の動きを表現で
きる。

【００８６】（その他の変形例）本発明は、上記各形態
に拘らず種々に変形できる。例えば、上記実施の形態で
は、アイドルが唄う場合を想定し、歌詞データを参照し
ていたが、歌詞の代わりに台詞であってもよい。このと
き、ステップS２では、歌詞データの代わりに、台詞の
内容をひらがなあるいはカタカナ等の音節文字あるいは
ローマ字で表わしたデータに基づいて、口の形を判断す
る。

【００８７】上記実施形態では、モデルが人間の顔であ
ったが、モデルは人間に限ることなく、動物、ロボット
等、口が存在し、人間の発音する様子を表現しうるもの
であれば、種々に適用が可能である。

【００８８】上記実施形態では、モデルをポリゴンによ
り表示していたが、ビットマップ形式の画像データを口
の形に応じて複数記憶させ、これらの画像データを交互
に読み取って表示させてもよい。この場合は、二次元的
な表示に本発明が適用できることになる。

【００８９】

【発明の効果】本発明によれば、実際に人間が発音する
様子を自然に模擬し、まるでモデルが本当に唄ったり話
したりしていると錯覚させることのできる表現力を有す
る画像音響処理装置および記録媒体を提供することがで
きる。

【００９０】つまり、本発明によれば、各音節に対応す
る母音を発音する際の口の画像を、その音節の発音期間
中に表示することによって、近似的にそのモデルが発音
しているような画像を表示できる。画像データは母音の
みなので、一定量の画像データのみ済む。

【００９１】本発明によれば、同一の母音を有する音節
が連続しても、人間が発音する様子を自然に模擬でき
る。

【００９２】本発明によれば、異なる母音を含む音節が
連続しても、二種類の母音の各々を発音する口を表現す
る画像の合間に中間的な口の形を表現する画像を挿入す
るので、人間が発音する様子をより自然に模擬できる。

【００９３】本発明によれば、音節が撥音である場合に
も口を閉じた画像を表示するので、撥音を発音する際の
自然な口の動きを表現できる。

【図面の簡単な説明】

【図１】本発明の画像音響処理装置を適用したゲーム装
置の外観図である。

【図２】本発明の画像音響処理装置を提供したゲーム装
置のブロック図である。

【図３】本実施の形態の動作を説明するフローチャート
である。

【図４】母音のみで「こんにちは」を表現する場合の表
示順序である。

【図５】同一母音を含む音節が連続する場合の表示順序
である。

【図６】特定音節である場合の表示順序である。

【図７】前後する音節が異なる音を含む場合の表示順序
である。

【図８】ポリゴンのみで構成したモデルの構成図であ
る。

【図９】テクスチャデータを適用したモデルの表示画像
図である。

【図１０】「あ（ａ）」を発音させる表示画像の例であ
る。

【図１１】「い（ｉ）」を発音させる表示画像の例であ
る。

【図１２】「う（ｕ）」を発音させる表示画像の例であ
る。

【図１３】「え（ｅ）」を発音させる表示画像の例であ
る。

【図１４】「お（ｏ）」を発音させる表示画像の例であ
る。

【図１５】半開きした口を表現する表示画像の例であ
る。

【図１６】閉じた口（撥音）を表現する表示画像の例で
ある。

【符号の説明】 １０…ＣＰＵブロック（画像表示手段の一部、処理回
路） １１…ビデオブロック（画像表示手段の一部、画像表示
回路） １２…サウンドブロック（音響生成手段、音響生成回
路） １０２…ＲＡＭ（記憶手段の一部、記憶回路の一部） １２１…ＶＲＡＭ（記憶手段の一部、記憶回路の一部）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ１０Ｌ 3/00 Ｇ０６Ｆ 15/62 ３５０Ａ

Claims (17)

【特許請求の範囲】
1. 【請求項１】 口の動きを表現する画像に合わせて音響
   を生成するための画像音響処理装置において、 音響を生成するための音響生成手段と、 音節を発音する際の口の動きを表現する画像を表示する
   ための画像表示手段と、 母音を発音する際の口を表現するための画像データを母
   音の種類だけ記憶させた記憶手段と、を備え、 前記画像表示手段は、前記音響生成手段に発音させる音
   節に含まれる母音を識別し、識別した母音を発音する際
   の口を表現するための画像データを前記記憶手段から読
   み取り、読み取った画像データに基づいて画像表示する
   ことを特徴とする画像音響処理装置。
2. 【請求項２】 前記記憶手段には、前記母音を発音する
   際の口を表現するための画像データの他に、半開きした
   口を表現するための画像データが記憶され、 前記画像表示手段は、前記音響生成手段に発音させる音
   節が予め定められた特定の音節である場合には、前記記
   憶手段に記憶された前記半開きした口を表現するための
   画像データおよび当該音節に含まれる母音を発音する際
   の口を表現するための画像データに基づいて、前記半開
   きした口を表現する画像に続けて前記母音を発音する際
   の口を表現する画像を表示する請求項１に記載の画像音
   響処理装置。
3. 【請求項３】 前記記憶手段には、前記母音を発音する
   際の口を表現するための画像データの他に、半開きした
   口を表現するための画像データが記憶され、 前記画像表示手段は、前記音響生成手段に発音させる連
   続した音節が同一の母音を含んでいると識別した場合に
   は、前記記憶手段に記憶された前記半開きした口を表現
   するための画像データに基づいて、前記連続した音節の
   各々を発音する口を表現するための画像の合間に、前記
   半開きした口を表現する画像を表示する請求項１に記載
   の画像音響処理装置。
4. 【請求項４】 前記記憶手段には、前記母音を発音する
   際の口を表現するための画像データの他に、異なる母音
   の１以上の組み合わせにおいて、各組み合わせに係る二
   種類の母音の中間的な口を表現するための画像データが
   記憶され、 前記画像表示手段は、前記音響生成手段に異なる母音を
   含む連続した音節を発音させる際に、前記記憶手段に記
   憶された画像データに基づいて、前記異なる母音の各々
   を発音する口を表現するための画像の合間に、これら二
   種類の母音の中間的な口の開き方を表現するための画像
   を表示する請求項１に記載の画像音響処理装置。
5. 【請求項５】 前記記憶手段には、前記母音を発音する
   際の口を表現するための画像データの他に、閉じた口を
   表現するための画像データが記憶され、 前記画像表示手段は、前記音響生成手段に発音させる音
   節が撥音を含む場合に、前記記憶手段に記憶された前記
   閉じた口を表現するための画像データに基づいて画像表
   示する請求項１に記載の画像音響処理装置。
6. 【請求項６】 口の動きを表現する画像に合わせて音響
   を生成するための画像音響処理装置において、 母音を発音する際の口を表現するための画像データ、音
   響を生成する波形データおよびプログラムデータが記憶
   された記憶装置と、 前記記憶装置から読み取った前記波形データに基づいて
   声を発音する音響生成回路と、 前記記憶装置から読み取った前記画像データに基づいて
   口の動きを表現する画像を表示する画像表示回路と、 前記記憶装置から読み取ったプログラムデータに基づい
   て前記音響生成回路と前記画像表示回路とを制御する処
   理回路と、を備え、 前記処理回路は、前記波形データにより発音される音節
   に含まれる母音を識別し、当該波形データに基づく音響
   を生成するとともに、前記母音を発音する際の口を表現
   するための前記画像データを前記画像表示回路に転送
   し、当該画像データに基づいて画像表示させることを特
   徴とする画像音響処理装置。
7. 【請求項７】 前記記憶装置には、前記母音を発音する
   際の口を表現するための画像データの他に、半開きした
   口を表現するための画像データが記憶され、 前記処理回路は、前記波形データにより発音される音節
   が予め定められた特定の音節である場合には、当該波形
   データに基づく音響を生成するとともに、前記記憶装置
   に記憶された前記半開きした口を表現するための画像デ
   ータおよび当該音節に含まれる母音を発音する際の口を
   表現するための画像データを前記画像表示回路に転送
   し、前記半開きした口を表現する画像に続けて前記母音
   を発音する際の口を表現する画像を表示させる請求項６
   に記載の画像音響処理装置。
8. 【請求項８】 前記記憶装置には、前記母音を発音する
   際の口を表現するための画像データの他に、半開きした
   口を表現するための画像データが記憶され、 前記処理回路は、前記波形データにより発音される連続
   した音節が同一の母音を含んでいると識別した場合に
   は、当該波形データに基づく音響を生成するとともに、
   前記記憶装置に記憶された当該音節に含まれる母音を発
   音する際の口を表現するための画像データおよび前記半
   開きした口を表現するための画像データを前記画像表示
   回路に転送し、前記連続した音節の各々を発音する口を
   表現するための画像の合間に、前記半開きした口を表現
   する画像を表示させる請求項６に記載の画像音響処理装
   置。
9. 【請求項９】 前記記憶装置には、前記母音を発音する
   際の口を表現するための画像データの他に、異なる母音
   の１以上の組み合わせにおいて、各組み合わせに係る二
   種類の母音の中間的な口を表現するための画像データが
   記憶され、 前記処理回路は、異なる母音を含む連続した音節を発音
   させる際に、前記記憶装置に記憶された画像データに基
   づいて、前記異なる母音の各々を発音する口を表現する
   ための画像の合間に、これら二種類の母音の中間的な口
   の開き方を表現するための画像を表示する請求項６に記
   載の画像音響処理装置。
10. 【請求項１０】 前記記憶装置には、前記母音を発音す
    る際の口を表現するための画像データの他に、閉じた口
    を表現するための画像データが記憶され、 前記処理回路は、前記波形データにより発音される音節
    が撥音を含む場合に、当該波形データに基づく音響を生
    成するとともに、前記記憶装置に記憶された前記閉じた
    口を表現するための画像データを前記画像表示回路に転
    送し、前記閉じた口を表現する画像を表示させる請求項
    ６に記載の画像音響処理装置。
11. 【請求項１１】 前記特定の音節には、‘さ’、
    ‘せ’、‘た’、‘ま’、‘み’、‘む’、‘め’、
    ‘も’、‘わ’、‘を’、‘ば’、‘び’、‘ぶ’、
    ‘べ’、‘ぼ’、‘ぱ’、‘ぴ’、‘ぷ’、‘ぺ’およ
    び‘ぽ’の一部または全部を含む請求項２または請求項
    ７のいずれか一項に記載の画像音響処理装置。
12. 【請求項１２】 前記音節の識別は、文字データに基づ
    いて行われる請求項１乃至請求項１０のいずれか一項に
    記載の画像音響処理装置。
13. 【請求項１３】 コンピュータに、 波形データにより発音される音節に含まれる母音を識別
    するステップと、前記波形データに基づく音響を生成す
    るステップと、 母音を発音する際の口を表現するための画像データを画
    像表示回路に転送するステップと、 前記画像データに基づいて画像表示させるステップと、
    を実行させるためのプログラムデータが記憶された機械
    読み取り可能な記録媒体。
14. 【請求項１４】 コンピュータに、 波形データにより発音される音節が予め定められた特定
    の音節であるか否かを識別するステップと、 前記特定の音節であると識別した場合に、当該波形デー
    タに基づく音響を生成するステップと、 前記特定の音節であると識別した場合に、半開きした口
    を表現するための画像データおよび当該音節に含まれる
    母音を発音する際の口を表現するための画像データを画
    像表示回路に転送するステップと、 前記半開きした口を表現する画像に続けて前記母音を発
    音する際の口を表現する画像を表示させるステップと、
    を実行させるためのプログラムデータが記憶された機械
    読み取り可能な記録媒体。
15. 【請求項１５】 コンピュータに、 波形データにより発音される連続した音節が同一の母音
    を含んでいるか否かを識別するステップと、 前記連続した音節が同一の母音を含んでいると識別した
    場合に、当該波形データに基づく音響を生成するステッ
    プと、 前記連続した音節が同一の母音を含んでいると識別した
    場合に、当該音節に含まれる母音を発音する際の口を表
    現するための画像データおよび前記半開きした口を表現
    するための画像データを画像表示回路に転送するステッ
    プと、 前記連続した音節の各々を発音する口を表現するための
    画像の合間に、前記半開きした口を表現する画像を表示
    させるステップと、を実行させるためのプログラムデー
    タが記憶された機械読み取り可能な記録媒体。
16. 【請求項１６】 コンピュータに、 波形データにより発音される連続した音節が異なる母音
    を含むか否かを識別するステップと、 前記連続した音節が異なる母音を含むと識別した場合
    に、当該波形データに基づく音響を生成するステップ
    と、 前記連続した音節が異なる母音を含むと識別した場合
    に、それぞれの母音を発音する際の口を表現するための
    画像データおよびそれら異なる母音の中間的な口の開き
    方を表現するための画像データを画像表示回路に転送す
    るステップと、 前記異なる母音の各々を発音する口を表現するための画
    像の合間に、これら二種類の母音の中間的な口の開き方
    を表現する画像を表示させるステップと、を実行させる
    ためのプログラムデータが記憶された機械読み取り可能
    な記録媒体。
17. 【請求項１７】 コンピュータに、 波形データにより発音される音節が撥音を含むか否かを
    識別するステップと、 前記音節が撥音を含むと識別した場合に、当該波形デー
    タに基づく音響を生成するステップと、 前記音節が撥音を含むと識別した場合に、閉じた口を表
    現するための画像データを画像表示回路に転送するステ
    ップと、 前記閉じた口を表現する画像を表示させるステップと、
    を実行させるためのプログラムデータが記憶された機械
    読み取り可能な記録媒体。