JPH08123448A - 音声信号の波形解析を用いた画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】音声信号のディジタル信号処理技術を用いて、
入力音声信号の波形解析を行ない、解析結果に基づい
て、表示用の画像データを作成する画像処理装置を提供
する。 【構成】入力音声波形の周波数を求め，入力音声の音階
情報を得る音階情報作成手段と、音階情報に基づいて、
オブジェクトデータを背景画像上に表示すべき位置を決
め、オブジェクト画像データを作成するオブジェクト画
像作成手段と、オブジェクト画像を優先して、このオブ
ジェクト画像と背景画像とを合成して、表示用画像デー
タを作成する表示データ作成手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声信号のディジタル
信号処理技術を用いて入力音声信号の波形解析を行な
い、解析結果に基づいて、表示画像を制御する画像処理
装置に関する。

【０００２】

【従来の技術】画像処理装置としてのビデオゲーム装置
等においては、遊戯者がキーパッド等のマニュアル入力
装置を用いて、画面上のオブジェクトデータの表示位置
及び動きを制御してゲームを楽しむことが一般的であ
る。

【０００３】一方、レーザディスク及びＩＳＤＮ回線の
普及によって、いわゆるカラオケ装置（楽音演奏装置）
は、その低コスト化とソフトウェアの豊富さから、ます
ます大衆化が進むものと思われるが、さらに、娯楽性を
増すことによって、市場での差別化を図る必要がある。

【０００４】更にディジタル信号処理技術の進歩に伴
い、キーボード装置からの入力に代わり、音声を計算装
置の入力として利用することも種々研究の対象となって
きている。

【０００５】したがって、キーパッド等のマニュアル入
力装置に代わり、音声によりビデオゲーム装置に対する
入力を可能とすることは、より遊戯者に変化性を与える
ことが可能である。

【０００６】あるいは、ビデオゲーム装置とカラオケ装
置とを組み合わせた画像処理装置とすることにより、カ
ラオケ装置の娯楽性は一層増すものと考えられる。即
ち、歌を歌いながら、ＴＶモニタによりゲームが楽しめ
ることになる。

【０００７】このためには、ビデオゲームの遊戯者の音
声情報あるいは、歌い手としての遊戯者の音声情報を入
力制御信号として、表示画面上のオブジェクト（スプラ
イト）の表示位置をあるいは動きを制御できるようにす
れば、好適であると考えられる。

【０００８】

【発明が解決しようとする課題】したがって、本発明の
目的は、遊戯者の音声入力により、表示画面上のオブジ
ェクト（スプライト）の表示位置あるいは動きを制御す
る画像処理装置を提供することにある。

【０００９】更に本発明の目的は、キーパッド等のマニ
ュアル入力装置に代わり、音声による入力を可能とする
画像処理装置としてのビデオゲーム装置を提供すること
にある。

【００１０】また、本発明の目的は、画像処理装置とし
てのカラオケ装置と結合したビデオゲーム装置を提供す
ることにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
の第一の本発明の画像処理装置は、入力音声波形の周波
数を求め，入力音声の音階情報を得る音階情報作成手段
と、音階情報に基づいて、オブジェクトデータを背景画
像上に表示すべき位置を求め、オブジェクト画像データ
を作成するオブジェクト画像作成手段と、オブジェクト
画像を優先して、このオブジェクト画像と背景画像とを
合成して、表示用画像データを作成する表示データ作成
手段とを備える。

【００１２】更に、第二に発明は、上記において、入力
音声波形のピーク値を検出し、音圧情報を作成する音圧
情報作成手段とをさらに備え、前記オブジェクト画像作
成手段は、音階情報に加え、音圧情報に基づいてオブジ
ェクト画像データを作成することを特徴とする音声信号
の波形解析を用いた画像処理装置。

【００１３】また、第三の発明では前記音階情報及び音
圧情報の組み合わせをキー入力装置の各々のキーに対応
させるものである。

【００１４】

【作用】上記の如き本発明では、ビデオーム装置として
使用する場合は、キーパッドからの入力に代え、音声に
よる入力によって表示画面上のスプライトの動作を制御
することが出来る。

【００１５】またカラオケ装置として使用される場合に
は、歌い手の音階情報を音声信号のディジタル信号処理
により求め、音階情報（音程）により、オブジェクトデ
ータの画面上の表示位置を制御するものである。つま
り、歌い手が、演奏中の曲の楽譜通りに正確な音階で歌
っている場合と、そうで無い場合とで、画面上のオブジ
ェクトデータの表示位置を変えることができる。

【００１６】

【実施例】以下図面に従い、本発明の実施例について説
明する。図１は、本発明にしたがって、マイクから入力
される遊戯者のアナログ音声波形を量子化してディジタ
ル音声信号に変換する場合を説明する図である。

【００１７】図２は、図１のディジタル音声信号から、
入力音声の基本周波数及び、ピークレベルを求めるため
の本発明の実施例ブロック図である。図１を参照して、
図２において、音階情報及び音圧情報をディジタル信号
処理技術により求める本発明にしたがう方法を説明す
る。

【００１８】図１に示すように、音声入力波形は、一般
に正弦波に近い形状をしており、その基本周波数は、女
性の場合１５０〜３００Ｈｚであり、男性の場合１００
〜２００Ｈｚであることが知られている。

【００１９】このような、入力音声波形をサンプリング
定理に基づいて、ナイキスト周波数以下の帯域にフィル
タにより制限し、一定のサンプリング周期（ｔ１，ｔ
２，……のタイミング）で量子化する。量子化した振幅
値を８ビットのディジタル信号で表せば、音声信号のＰ
ＣＭ符号化が完成する。

【００２０】このようなＰＣＭ符号は、符号ビットがあ
り、例えば、図１に示すｔ１，ｔ２のタイミングのＰＣ
Ｍ符号ではそれぞれ振幅の正・負が異なる、ｔ１→ｔ
２，ｔｎ→ｔｎ＋１及びｔｍ→ｔｍ＋１のタイミングで
は符号ビットが反転する。

【００２１】従って、この符号ビットの反転、即ち、入
力音声波形のゼロクロス点を所定期間において検出する
ことにより、入力音声波形の周波数を検出することが可
能となる。したがって、音階情報は、検出した周波数情
報から、８音階の内のどの音階に属するかを求めればよ
い。

【００２２】一方、音声信号の音圧情報は、図１の音声
入力波形を絶対値処理し、ピークレベルを検出すれば良
い。

【００２３】具体的には、図２のような構成で、入力音
声波形の周波数・音圧を求めることができる。マイク２
から入力された音声情報は、低域フィルタＬＰＦ１を介
してＡ／Ｄ変換器３に入力され量子化、ＰＣＭ符号化さ
れる。ここで低域フィルタＬＰＦ１は、音声信号の高周
波成分を除去するためのものである。

【００２４】ＰＣＭ符号化されたディジタル音声信号
は、順次、ゼロクロス検出回路１１と絶対値処理回路５
に入力される。ゼロクロス検出回路１１は、図１に示す
負極性から正極性へ変化するゼロクロス点（ｔ１→ｔ
２，ｔｍ→ｔｍ＋１のタイミング）、即ち所定期間に於
いてＰＣＭ符号の符号ビットが負極性を示すビット（通
常１）から正極性を示すビット（通常０）反転するタイ
ミングを検出するものである。

【００２５】ゼロクロス検出回路１１は、このようなＰ
ＣＭ符号の反転を検出すると、カウンタＡ１３をクリア
する。カウンタＡ１３は、内部クロック１７に同期して
カウント動作を行なっている。従って、カウンタＡ１３
は、図１に示す入力音声波形の１周期間におけるクロッ
ク数を検出している。従って、カウンタＡ１３のカウン
ト値と内部クロック１７の発振周波数とから、入力音声
波形の周波数を知ることができる。

【００２６】このような周波数情報をより精度良くする
ため、図２の例では、カウンタＡ１３のカウント値を複
数個求め、これらの平均を取ることにより、検出精度を
上げている。即ち、ゼロクロス検出回路１１の出力は、
カウンタＢ１５にも入力されている。

【００２７】カウンタＢ１５は、ゼロクロス検出回路１
１からのゼロクロス検出信号をカウントするとともに、
そのカウント値に対応してメモリ１９にアドレス信号を
送り、カウンタＡ１３のカウント値をメモリ１９に格納
する。平均値検出回路２１は、メモリ１９に格納されて
いる各カウント値の平均値を検出し、レジスタ２３にセ
ットする。

【００２８】このようなＰＣＭ符号は、サンプリング定
理により、１２５μｓｅｃ毎に現れるため、内部クロッ
ク１７は、１２５μｓｅｃより数倍程度早い周期のクロ
ックを用いることにより、入力音声波形の周波数を求め
ることができる。

【００２９】次に、絶対値処理回路５で得られた入力音
声波形の振幅情報の最大値をピーク検出回路は検出す
る。入力音声波形の１周期における最大値を検出するた
め、ピーク検出回路７には、ゼロクロス検出回路１１の
出力が加えられる。ピーク検出回路７は、ゼロクロス検
出回路１１からの信号を受けると、その時のＰＣＭ符号
をレジスタ９にセットする。

【００３０】以上のようにして、入力音声波形の周波数
・音圧は得られるが、図２の機能構成ブロック図は、市
販のディジタルシグナルプロセッサ（ＤＳＰ）により容
易に実現することができるので、図３に示す具体的な実
施例では、ＤＳＰを用いた構成を説明する。

【００３１】図３は、本発明の画像処理装置をカラオケ
（楽音演奏）機能を有するビデオゲーム装置に適用した
実施例ブロック図である。

【００３２】バス５５に接続される部分が画像処理部で
あり、バス５６に接続される部分が音声処理部である。
画像処理部と音声処理部はシステムコントローラＳＹＳ
ＣＯＮＴ４１によりそれぞれのバス上の信号がインタフ
ェースされる。

【００３３】画像処理部のバス５５には、メインＣＰＵ
３０、ワークＲＡＭ５３、ゲームプログラム及びシステ
ム制御用プログラムが記憶されるＲＯＭ５４が接続され
る。更にメインＣＰＵ３０によりスクロールコントーラ
３１及びオブシェクトコントーラ３１を介して制御され
るスクロール画像（背景画像）用ＶＲＡＭ３２及びオブ
ジェクト画像（スプライト画像）用ＶＲＡＭ３６が接続
される。

【００３４】ＳＹＳＣＯＮＴ４１には、通常のビデオゲ
ーム装置における遊戯者が表示画面上のスプライトの表
示を制御する制御信号を入力し、更に、カラオケ（楽音
演奏）機能を有する本実施例においては、歌い手が歌い
たい曲名を入力したり、演奏速度、キーの高低、エコー
量等を設定するためのキーパッド４２が接続されてい
る。

【００３５】このキーパッド４２はコードレスのリモコ
ンでも良いのは周知の事項である。

【００３６】ＳＹＳＣＯＮＴ４１は、装置がビデオゲー
ム装置として使用する場合は、通常のビデオゲーム装置
と同様にキーパッド４２からの入力が、表示画面上のス
プライの移動方向（左右、上下移動）及び移動速度を制
御する信号としてメインＣＰＵ３０に入力する。

【００３７】メインＣＰＵ３０は、ＲＯＭ５４あるい
は、ＣＤ（コンパクトディスク）／ＬＤ（レーザディス
ク）等のディスクＲＯＭ３９に記憶されたゲームプログ
ラムを実行制御する。このゲームプログラムの実行過程
において、上記キーパッド４２により入力される制御信
号に応じて、モニタ３５の表示画面上のスプライト等を
移動制御してゲームを進行する。

【００３８】かかる表示表示は、スクロール画像（背景
画像）用ＶＲＡＭ３２からのスクロール画像とオブジェ
クト画像（スプライト画像）用ＶＲＡＭ３６からのオブ
ジェクト画像を優先回路３３を通してＤ／Ａ変換回路３
４によりアナログビデオ信号に変換してモニタ３５に表
示して行う。

【００３９】更に、先に説明したようにＶＲＡＭ３２及
び３４は、それぞれスクロールコントーラ３１及びオブ
シェクトコントーラ３１により制御される。

【００４０】一方、音声処理部のバス５６には音声用の
サウンドＣＰＵ４３、サウンドＣＰＵ４３用のワークＲ
ＡＭ５７、サウンドＣＰＵ４３により実行制御されるプ
ログラムが記憶されるＲＯＭ５８、演奏情報が記憶され
るサウンドＲＡＭ４４が接続される。

【００４１】更に、図１及び図２において説明した本発
明の原理にしたがい音階情報及び音圧情報を処理する機
能を有する音声信号処理用のＤＳＰ１０がバス５６に接
続される。ＤＳＰ１０には、Ａ／Ｄ変換回路４８を通し
てマイク４９により入力される音声信号が入力される。

【００４２】ＤＳＰ１０の出力は、左右対のＤ／Ａ変換
回路４５、５０及び増幅器４６、４７を通して左右スピ
ーカ４７、４８に音声出力として出力される。

【００４３】次に、図３の実施例装置をカラオケ装置と
して使用する場合は、キーパッド４２により選択入力さ
れた曲名をＩＳＤＮ回線を介して図示しないセンターに
送信し、センターより、演奏情報を受信する。あるい
は、キーパッド４２からＲＯＭディスク３９に記憶さた
演奏情報の読みだしを指示することが可能である。

【００４４】センターから送信された演奏情報あるい
は、ディスクＲＯＭ３９から読みだされた演奏情報に
は、ＰＣＭ符号化されたカラオケ映像ビデオと演奏用楽
音データが含まれている。受信した演奏情報の内、演奏
用楽音データは、サウンドＲＡＭ４４にダウンロードさ
れる。

【００４５】また、キーパッド４２より入力された各種
設定情報をＤＳＰ１０に設定し、演奏曲のキーや、歌い
手の音声のエコー量あるいは演奏速度等を制御する。演
奏速度については、入力パッド４２からの指示がなけれ
ば、各演奏曲毎に定まっている標準速度データ（ＩＳＤ
Ｎ回線またはディスクＲＯＭ３９からの演奏情報ととも
にＳＹＳＣＯＮＴ４１が受信する。）を採用しても良
い。

【００４６】歌い手の音声情報は、マイク４９より、Ａ
／Ｄ変換器４８に入力され、量子化・ＰＣＭ符号化され
る。この音声情報は、ＤＳＰ１０に入力され、図２で説
明した原理により、内部クロックのカウント値・ピーク
値情報が求められる。ＤＳＰ１０はさらに、サウンドＲ
ＡＭ４４より、ＩＳＤＮ回線を介してダウンロードした
演奏情報を読出す。

【００４７】ＤＳＰ１０は、サウンドＣＰＵ４３より通
知された設定値に基づいて、歌い手が所望するキー・演
奏速度に合うように、この演奏情報をディジタル処理す
る。ディジタル処理された演奏情報は、Ｄ／Ａ変換器４
５を介してアナログ信号に変換され、増幅器４６により
増幅されて、スピーカー４７より再生される。

【００４８】また、マイク４９から入力された歌い手の
音声は、ＤＳＰ１０にて、エコー量が調整された後、Ｄ
／Ａ変換５０、増幅器５１を介して、アナログ情報に変
換され、スピーカ５２より再生される。

【００４９】上記のようにして、通常のカラオケ装置と
して楽音演奏を背景にして遊戯者は、マイク４９を通し
て自己の歌声をスピーカ５２から発してカラオケを楽し
むことが可能である。

【００５０】ここで、更に通常のカラオケ装置として使
用される場合の、モニタ３５上にカラオケ映像ビデオを
画像表示する場合について説明する。

【００５１】ＳＹＳＣＯＮＴ４１は、先に説明したＩＳ
ＤＮ回線を通してセンターから送られ、またはディスク
ＲＯＭ３９から読みだされたカラオケ映像ビデオをワー
クＲＡＭ５３にダウンロードする。ワークＲＡＭ５３に
ダウンロードされたカラオケ映像ビデオは、メインＣＰ
Ｕ３０の制御により、スクロール用ＶＲＡＭ３２に転送
記憶される。

【００５２】メインＣＰＵ３０は、更に入力パッド４２
から設定された演奏速度データ或いは各演奏曲毎に定ま
っている標準速度データ（ＩＳＤＮ回線を通してセンタ
ーまたはディスクＲＯＭ３９からの演奏情報とともにＳ
ＹＳＣＯＮＴ４１が受信する。）に基づき、スクロール
用ＶＲＡＭ３２に転送記憶されたカラオケ映像ビデオの
読出のためのタイミング情報をスクロール制御部ＳＣＯ
ＮＴ３１に通知する。したがって、カラオケ映像ビデオ
は、楽音演奏と同期してモニタ３５に表示される。

【００５３】図３に示す実施例装置を上記した如く通常
のビデオゲーム装置及びカラオケ装置として使用する機
能に加え、本発明により図２において説明した原理にし
たがい得られる音階情報及び音圧情報に基づき、モニタ
３５における表示画像を制御する技術について、以下に
説明する。

【００５４】先ずビデオゲーム装置として使用する場
合、本発明にしたがい、モニタ３５に表示されるスプラ
イトの表示制御をキーパッド４２からの入力によらず、
マイク４９からの音声入力により行うことが出来る。

【００５５】即ち、先に説明したようにＤＳＰ１０は、
図１及び図２に基づき説明した原理にしたがい、マイク
４９から入力される所定タイミング毎のサンプリングさ
れる音声の音階情報及び音圧情報を出力する。

【００５６】一方、音階情報と音圧情報の組み合わせと
キーパッド４２の各キーを対応させた図４に示すような
情報がワークＲＡＭ５３に予め記憶されている。図４の
例では、例えば音階と音圧が１、１に分類される場合、
上方向指示矢印↑のキーが対応し、音階と音圧が４、１
に分類される場合、左方向指示矢印←のキーが対応す
る。

【００５７】したがって、遊戯者によりゲームの開始前
にキーパッド４２から、入力切替えをメインＣＰＵ３０
に入力することにより、メインＣＰＵ３０はビデオゲー
ム実行過程において、キーパッド４２からの入力に代
え、あるいはキーパッド４２からの入力と共通して、マ
イク４９から入力される遊戯者の音声に対してＤＳＰ１
０で分析される音階情報及び音声情報を基に、図４の対
応関係にしたがい等価的なキーパッド４２からの入力と
して処理することが可能である。

【００５８】このようにマイク４９からの音声入力を等
化的にキーパッド４２からの入力として処理された後
は、先に説明した通りの通常のビデオゲーム装置におけ
る動作と同様である。

【００５９】次に、本発明の別の実施例として、カラオ
ケ装置機能とビデオゲーム装置機能を組合わせた新規な
ゲーム装置として機能させる場合の例について説明す
る。すなわち、歌い手としての遊戯者からの音声に基づ
き、カラオケ映像に歌い手の歌詞に対応する音階情報を
表示するようにして、一層カラオケを楽しくする装置が
実現される。

【００６０】上記したカラオケ装置として使用させる場
合において、メインＣＰＵ３０は、サウンドＣＰＵ４３
より通知される歌い手の音声の音階情報・音圧情報に基
づいて、現在、歌い手が歌っている歌詞の音階データを
作成し、オブジェクトＶＲＡＭ３６に格納する。オブジ
ェクト用ＣＯＮＴ３７は、メインＣＰＵ３０から通知さ
れるタイミング（オブジェクト画像を現在歌い手が歌っ
ているタイミングで、背景画像に合成するためのオブジ
ェクト用ＶＲＡＭ３６の読出タイミング）に基づいて、
オブジェクト用ＶＲＡＭ３６の読出を制御する。

【００６１】オブジェクト用ＣＯＮＴ３７は、メインＣ
ＰＵ３０より通知された音階情報及び現在演奏中のパー
トに基づき、カラオケ背景画像に重畳すべき、後に説明
するオブジェクト画像データを作成し、オブジェクトＶ
ＲＡＭ３６に格納するとともに、オブジェクト用ＶＲＡ
Ｍ３６からの読出を制御する。

【００６２】優先制御回路３３はスクロール用ＶＲＡＭ
３２からの背景画像と、オブジェクト用ＶＲＡＭ３６か
らのオブジェクト画像とを合成し、Ｄ／Ａ変換器３４に
入力する。

【００６３】優先制御回路３３は、画像を合成するに際
し、オブジェクト画像を優先的にＤ／Ａ変換器に入力す
る。アナログ信号に変換されたビデオ信号は、モニタ３
５によって表示される。

【００６４】図５は、図３のＳＹＳＣＯＮＴ４１の動作
フローチャートである。ＳＹＳＣＯＮＴ４１は外部入力
情報を画像処理部、音声処理部のＳＶＲＡＭ３２、サウ
ンドＲＡＭ４４に格納するための制御部である。まず、
入力パッド４２からの入力の有無を確認する（ステップ
Ｓ６０）。

【００６５】新たな入力情報があれば、それを取込み、
サウンドＣＰＵ４３、メインＣＰＵ３０に通知するため
のレジスタにその情報をセットする（ステップＳ６
１）。この入力情報の中に、新たな曲名情報が有れば、
この曲番号をＩＳＤＮ回線を介して接続されたセンター
に通知するため、ＩＳＤＮ回線の捕捉を行なう（ステッ
プＳ６２、６３）。

【００６６】ＩＳＤＮ回線が捕捉されると、センターを
呼出し、曲番号を通知して、この曲番号に対応した演奏
情報の受信準備を行なう。即ち、演奏情報を誤り無く受
信するためのフレーム同期、エラー検出・訂正を行な
い、サウンドＲＡＭ４４にダイレクトメモリアクセス制
御により、順次格納していく（ステップＳ６５，６
６）。

【００６７】図６は、サウンドＣＰＵ４３の動作フロー
チャートである。先ず、ＳＹＳＣＯＮＴ４１に新たな入
力情報がないどうか読みとりを行なう（ステップＳ７
０）。演奏速度、演奏キー、エコー量等の設定情報が変
化していれば、この値をＤＳＰ１０にセットする（ステ
ップＳ７１）。

【００６８】ＤＳＰ１０は、演奏速度情報に基づいて、
サウンドＲＡＭ４４からの演奏情報の読出速度を制御す
る。サウンドＲＡＭ４４からは、ダイレクトメモリアク
セス制御により、演奏情報が、ＤＳＰ１０に入力され
る。ＤＳＰ１０は演奏キー情報をもとに、サウンドＲＡ
Ｍ４４からの演奏情報の音階の高・低を制御するよう
に、ディジタル信号処理する（ステップＳ７１、７
２）。

【００６９】サウンドＣＰＵ４３は更に、マイク４９か
らの音声入力に対し、ＤＳＰ１０において分析した歌い
手の音声の周波数情報を読みとる（ステップＳ７４、７
５）。

【００７０】ＲＯＭ５８には、サウンドＣＰＵ４３が実
行するプログラムの他に、音声の周波数情報から、音階
情報に変化するためのデータがテーブル化されて格納さ
れている。サウンドＣＰＵ５８は、ＤＳＰ１０から読み
とった周波数情報に基づいて、ＲＯＭ５８をアクセス
し、対応する音階情報を読み出す。

【００７１】一般には、２オクターブ程度の音階情報が
あれば充分なので、ＲＯＭ５８には、音声周波数と２オ
クターブの各音階との対応関係がテーブル化されていれ
ば良い。

【００７２】また、サウンドＣＰＵ４３は、これらの音
階情報を、ＳＹＳＣＯＮＴ４１にセットする。以上の処
理は、一つの曲の演奏が終了するか、または、入力パッ
ド４２より、強制終了の信号が入力されるまで繰返され
る。

【００７３】図７は、画像処理及びシステム全体制御を
行うメインＣＰＵ３０の動作フローチャートである。メ
インＣＰＵ３０も、サウンドＣＰＵ４３と同じく、各種
設定情報をＳＹＳＣＯＮＴ４１に読みとりに行く。

【００７４】この設定情報に基づいて、ＲＡＭ５３に一
時格納されているカラオケ映像ビデオを読みだし、スク
ロール用ＶＲＡＭ３２を通してモニタ３５に表示される
カラオケ画像に、演奏中の曲のパートに対応した楽譜部
分が表示されるように、ＳＣＯＮＴ３１のＳＶＲＡＭ３
２の読出用のタイミング情報を作成する。

【００７５】また同様に、現在歌い手が歌っているボー
カル部の音階情報が上記楽譜部上に正しく合成されるよ
うにオブジェクト用ＣＯＮＴ３７のオブジェクト用ＶＲ
ＡＭ３６の読出用のタイミング情報を作成する（ステッ
プＳ１００，１０１）。

【００７６】ここで、スクロール用ＶＲＡＭ３２には、
図８に示すような楽譜情報がカラオケ映像データとして
ＲＡＭ５３から転送格納されている。したがってスクロ
ール用ＣＯＮＴ３１は、現在演奏中の曲のパートと対応
する楽譜情報を有するカラオケ映像データをスクロール
用ＶＲＡＭ３２より読み出す。

【００７７】また、オブジェクト用ＶＲＡＭ３６には、
ＣＰＵ３０によりＲＯＭ５４より読みだされたオブジェ
クトデータが転送格納されている。これは、図９に示す
ように、現在、歌い手が歌っているボーカル部の音階情
報に基づき、これに対応した、音階データが格納されて
いる。

【００７８】この音階データは、現在歌い手が歌ってい
る部分の音階のみ〔図９（ａ）、（ｂ）、（ｃ）〕のそ
れぞれに対応する〕が格納されている。従って、図８に
示す音譜データの第一小節と図９（ａ）の音階とを合成
することによって、現在、歌い手が歌ってボーカルは、
音程が狂っていないことが観察される。

【００７９】あるいはまた、図８に示す音譜データの第
二小節と図９の（ｂ）の音階とを合成することによっ
て、現在歌い手が歌っているボーカルは、音程が狂って
いることが分かる。この場合、オブジャクトデータとな
る図９のような音階データは、図８とは異なるカラーで
表示されるように制御すると一層の視覚的効果がある
（ステップＳ１０２、１０３、１０４）。

【００８０】以上の処理は、一つの曲の演奏が終了する
か、または、キーパッド４２より、強制終了の信号が入
力されるまで繰返される。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
音声入力によって、ゲーム機器等におけるオブジェクト
画像の表示位置を制御できるため、特に、ビデオゲーム
装置に適用する場合は、キーパッド４２によるマニュア
ル入力を音声による入力に変えることが出来るので、更
に感覚の異なるビデオゲームを楽しむことが可能であ
る。

【００８２】更に、カラオケ装置に適用する場合には、
ゲーム感覚を取り入れて歌を楽しむことができる。即
ち、実施例にて説明したように、音程を外したりした場
合は、それが、音譜画像としてリアルタイムに視覚的に
表示されるため、歌い手以外の聴衆にも、興味を持たせ
ることができ、且つ、一層のムードが盛り上がると思わ
れる。

【図面の簡単な説明】

【図１】アナログ音声波形を量子化してディジタル音声
信号に変換する場合を説明するための図である。

【図２】図１のディジタル音声信号から、入力音声の基
本周波数、音圧のピークレベルを求めるための原理構成
図である。

【図３】図３の原理を適用した本発明の画像処理装置を
実現するための実施例ブロック図である。

【図４】本発明の実施例として用いられる音階・音圧情
報と入力キーとの対応関係を説明する図である。

【図５】図３のＳＹＳＣＯＮＴ４１の動作フローチャー
トである。

【図６】図３のサウンドＣＰＵ４３の動作フローチャー
トである。

【図７】図３のメインＣＰＵ３０の動作フローチャート
である。

【図８】カラオケ映像データの楽譜部分を示す図であ
る。

【図９】図７のカラオケ映像データの楽譜部分に重ねて
表示されるオブジェクト画像データの例である。

【符号の説明】

１ ローパスフィルタ ２ マイク ３ Ａ／Ｄ変換器 ５ 絶対値回路 ７ ピーク検出回路 ９、２３ レジスタ １１ ゼロクロス検出回路 １３、１５ カウンタ １９ メモリ ２１ 平均値検出回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/272

Claims (3)

【特許請求の範囲】
1. 【請求項１】入力音声波形の周波数を求め，入力音声の
   音階情報を得る音階情報作成手段と、 該音階情報に基づいて、オブジェクトデータを背景画像
   上に表示すべき位置を求め、オブジェクト画像データを
   作成するオブジェクト画像作成手段と、 オブジェクト画像を優先して、このオブジェクト画像と
   背景画像とを合成して、表示用画像データを作成する表
   示データ作成手段とを備えたことを特徴とする音声信号
   の波形解析を用いた画像処理装置。
2. 【請求項２】請求項１において、 入力音声波形のピーク値を検出し、音圧情報を作成する
   音圧情報作成手段とをさらに備え、 前記オブジェクト画像作成手段は、音階情報に加え、音
   圧情報に基づいてオブジェクト画像データを作成するこ
   とを特徴とする音声信号の波形解析を用いた画像処理装
   置。
3. 【請求項３】請求項２において、 前記音階情報及び音圧情報の組み合わせをキー入力装置
   の各々のキーに対応させたことを特徴とする音声信号の
   波形解析を用いた画像処理装置。