JP2007334364A - カラオケ装置 - Google Patents

Abstract

【課題】実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供する。
【解決手段】歌唱の周波数を採点して基本得点を算出するとともに、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を採点して付加ポイントを算出する。基本得点に付加ポイントを加算して最終得点を求める。これにより、歌唱周波数を採点の中心としつつ、上記他の歌唱要素も採点において考慮され、実際の歌唱の巧拙に一致した最終得点を算出することができる。
【選択図】 図４

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの（たとえば特許文献１）やこれに音量変化の評価を加味したもの（特許文献２）などがあった。

特開平１０−４９１８３号公報 特開平１０−１６１６７３号公報

しかし、ガイドメロディは、音高を指示するイベントデータ（ノートオンイベントデータおよびノートオフイベントデータ）を配列したＭＩＤＩデータであるため、従来の採点機能では基本的な歌唱要素である歌唱周波数しか採点することができず、他の技巧的な歌唱要素を正しく評価して採点することができなかった。このため、歌唱の本当の巧拙を正しく評価した得点を算出することができないという問題点があった。

この発明は、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

請求項１の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記採点手段は、（１）音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、（２）最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、（３）歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。

請求項２の発明は、前記採点手段は、さらに、（４）歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。

請求項３の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
前記採点手段は、前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、を備えていることを特徴とする。

請求項４の発明は、請求項３の発明において、前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出することを特徴とする。

請求項５の発明は、請求項３、４の発明において、前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波（ＬＰＦ）したものを用いて採点し、前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点することを特徴とする。

請求項６の発明は、請求項３〜５の発明において、前記歌唱要素採点手段は、前記技巧的な歌唱要素として、歌唱の周期的な周波数変動であるビブラート、歌唱のフレーズ内での音量の変動である抑揚、歌唱の音質、各音符の歌いだしタイミング、音高の移行波形であるしゃくり、の１または複数の歌唱要素を採点することを特徴とする。

請求項７の発明は、請求項３〜５の発明において、前記歌唱要素採点手段は、（１）音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、（２）最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、（３）歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。

請求項８の発明は、請求項７の発明において、前記歌唱要素採点手段は、さらに、（４）歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。

上記発明では、基本的な歌唱の要素である歌唱周波数に加えて、ビブラート、抑揚、声質、タイミング、および、音高の移行波形（しゃくり）など他の歌唱要素も採点する。そして、歌唱周波数を採点した結果を得点の中心（基本得点）としつつ、他の歌唱要素を採点結果から求めた点数を付加ポイントとして加算（減算）することにより、歌唱者の歌唱の巧拙を正しく且つ聴衆の評価と一致するように判定することができる。

以上のようにこの発明によれば、歌唱周波数の採点結果を基本とし、ビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を評価して最終得点を算出することができるため、歌唱の種々の要素を正しく評価した実際の歌唱の巧拙に一致した採点をすることが可能になる。

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点して点数を算出し、曲の終了後にその点数を表示する採点動作を実行する。

採点は、基本的に歌唱の周波数（音程・ピッチ）について行って基本点数を算出し、これに加えて、ビブラートの程度、抑揚の程度、音質の良否、タイミングの良否、しゃくりの回数などに基づいてボーナスポイントを算出して前記基本点数に加算（減算）する。

図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ボーカルアダプタ１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。また、ハードディスク１１には、図１３に示すポイント算出テーブルも記憶されている。このポイント算出テーブルは、抑揚やビブラートなどの歌唱要素に基づいて付加的なポイントを決定するためのテーブルである（詳細は後述する）。ＲＡＭ１２には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。

音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ１９にも入力される。ボーカルアダプタ１９は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、ＣＰＵ１０の曲シーケンサ３１から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて３０ｍｓ毎にＣＰＵ１０（採点モード処理３４）に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、Ｃ０からのセント値で表現される。

ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。

ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音（ガイドメロディ）の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と１コーラス目の区切りに書き込まれる１コーラス目マーク、１コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と２コーラス目の区切りに書き込まれる２コーラス目マーク、２コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。

通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、採点処理動作が実行される。

この採点モード処理プログラム３４を実行するために、ハードディスク１１またはＲＡＭ１２には図３に示すような記憶領域が確保される。この記憶領域は、ボーカルアダプタ１９から３０ｍｓ毎に出力される歌唱周波数およびリファレンス周波数を時系列に順次記憶してゆく領域、この歌唱周波数、リファレンス周波数に対してＬＰＦ処理（図４参照）したＬＰＦ歌唱周波数、ＬＰＦリファレンス周波数を記憶する領域、歌唱音声信号から振幅のエンベロープ（歌唱の音量レベル）を検出し、この歌唱レベル値を記憶する領域、および、曲シーケンサ３１からボーカルアダプタ１９を介して入力されるノートオン情報、ノートオフ情報、マークデータ情報を記憶する領域からなっている。採点モード処理プログラムは３０ｍｓ毎に入力バッファをチェックし、上記各種データを取り込んでリストメモリにかきこむ。

ここで、図４の機能ブロックを参照して、採点モード時の各部の処理について説明する。
マイク１７から入力された歌唱音声信号は、Ａ／Ｄコンバータ１８でデジタル音声信号に変換されてボーカルアダプタ１９に入力される（同時にミキサ１４にも入力されるがここでは採点モードの動作のみについて説明する）。ボーカルアダプタ１９は、このデジタル音声信号をそのまま採点モード処理プログラム３４に出力するとともに、歌唱周波数検出部１０２で歌唱周波数（セント値）を検出して採点モード処理プログラム３４に出力する。

一方、ボーカルアダプタ１９のリファレンス周波数検出部１０１には、カラオケ曲の演奏に同期して、曲シーケンサ３１からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部１０１は、入力されたＭＩＤＩデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として採点モード処理プログラム３４に出力する。

また、ボーカルアダプタ１９には曲シーケンサ３１からノートオン情報、ノートオフ情報、マークデータ情報などの制御情報が入力されるため、ボーカルアダプタ（リファレンス周波数検出部１０１）は、これを採点モード処理プログラム３４に出力する。曲シーケンサ３１から直接採点モード処理プログラム３４に入力しないのは、このノートオン／オフ情報などの制御情報と歌唱周波数データ、リファレンス周波数データとの同期をとるためである。

歌唱音声検出部１０２による歌唱周波数の検出およびリファレンス周波数検出部１０１によるリファレンス周波数の検出は、３０ｍｓ毎に同期して実行され、その検出結果が３０ｍｓ毎に採点モード処理プログラム３４に入力される。

採点モード処理プログラム３４は、入力された歌唱周波数およびリファレンス周波数を図３のリストメモリに書き込むとともに、これら周波数データに対してローパスフィルタ（ＬＰＦ）処理（１０５、１０６）を行う。リファレンス周波数に対するＬＰＦ処理は、機械的な音高列であるリファレンス（図５（Ａ）参照）の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するＬＰＦ処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。

図５を参照してローパスフィルタ処理について説明する。図５（Ａ）はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してＬＰＦ処理を行うことにより、同図（Ｂ）に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このＬＰＦ処理の対象外にする。これにより、音の無い区間のデータによりＬＰＦ処理が不自然な動きになってしまうことを防止することができる。

同図（Ｃ）は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符（音高）の変わり目でなだらかな音高の移行（いわゆる「しゃくり」）をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをＬＰＦ処理することにより、同図（Ｄ）に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。

なお、マイク１７から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部１０２は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がＬＰＦ処理部１０６に入力されると、その１サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、１５０セント以上の突然の音高変化があった場合には、そのデータを無視して（直前のサンプルデータをもう一度採用して）ＬＰＦ処理を行うことにより、ノイズによる悪影響を防止することができる。

歌唱周波数およびリファレンス周波数のデータ列は、３０ｍｓ毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するＬＰＦ処理部１０６は、カットオフ周波数５．５Ｈｚの２次フィルタを用い、リファレンス周波数に対するＬＰＦ処理部１０５は、カットオフ周波数５Ｈｚの２次フィルタを用いている。

ＬＰＦ処理された歌唱周波数（ＬＰＦ歌唱周波数）およびリファレンス周波数（ＬＰＦリファレンス周波数）は、図３のリストメモリに書き込まれる。図４の採点部１０７は、歌唱周波数とリファレンス周波数とを比較し、その差分（セント値）を算出し、この差分に基づいて各ノート（音符）毎に合格ノート、不合格ノートを判定する。採点部１０７には、リファレンス周波数検出部１０１からノートオン情報・ノートオフ情報が入力されるため、その区間に歌唱周波数が、所定（１〜複数）サンプル以上歌唱旋律の音高に合っていた（周波数許容範囲に入っていた）場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。

基本点数は、２種類の方式で算出され、そのうち高い点数の方を採用する。第１の方式は、合格ノート数を全ノート数で除した値に基づいて基本得点を算出する方式であり、第２の方式は、合格ノートをその長さに応じてランク付け（重みづけ）し、合格ノートの重みづけ合計値を全ノート数で除した値に基づいて基本得点を算出する方式である。

第１の方式では、合格ノート数を全ノート数で除算して４５を掛けた値に５０を加算して５０〜９５点の点数を算出する。このように最低でも５０点が出るようにしているのは、カラオケ装置がエンターテイメント装置であることを考慮したためである。また、最高点を９５点としたのは、後述の付加ポイントを加算したときに１００点満点となるようにするためである。

また、第２の方式である重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算し、この除算値（商）に４５を掛けた値に５０を加算して５０〜９５点の点数を算出する。

図６（Ａ）は、ランク分けと各ランクの重み付けを示す図である。短い音符のほうが歌唱の音程を合わせるのが難しいため、短い音符のほうが大きい重みになるようにしている。この例では１０サンプル（３００ｍｓ）以下の長さの音符をＡランクとして１．２の重みを与えるようにしている。また、３３サンプル（約１秒）より長い音符は歌唱が容易な長い音符であるとしてＣランクとし、０．８の重み付けにしている。その中間の１１サンプル〜３３サンプルの音符は、通常の音符であるとして、１の重みを与えている。

また、上記実施形態では、時間の長さに基づいてノートをＡ／Ｂ／Ｃの３段階にランク分けしているが、ランク分けは３段階に限定されない。また、各ランクの境界線は１０サンプルと３３サンプルに限定されない。また、各ランクの重み付け係数は、１．２／１．０／０．８に限定されない。

また、各ノートを複数段階のランクに分類するのではなく、図６（Ｂ）に示すように、それぞれの長さに応じた重み付け係数を与えるようにしてもよい。この変化曲線（直線・折れ線を含む）は、図示のものに限定されない。

また、上記実施形態では、合格ノートをその長さで重み付けしているが、不合格ノートも重み付けして減点するようにしてもよい。すなわち、上記実施形態では、合格ノートは１．２／１．０／０．８の重み付けで累算され、不合格ノートは一律に０であるが、不合格ノートであっても、短い音符の場合には、０ではなく、０．１〜０．８程度の点数を加算するようにする。また、長い音符が不合格になった場合には、０でなく減点するようにしてもよい。

次に、この採点モード処理プログラムは、歌唱周波数以外に、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなどの歌唱要素を検出し、これに基づいて付加的なポイントを算出して前記基本得点に加算（減算）したものを最終得点としている。この付加的なポイントの重みは、基本得点の大きさによって異なり、基本得点が高いほどポイントが低く（加点が少なくなる方向に）シフトするようにしている。

以下、各歌唱要素の検出および判定方法について説明する。
図７は、しゃくりの検出方法を説明する図である。このしゃくりの検出には、ＬＰＦ処理をしていない生の歌唱周波数データ列およびリファレンス周波数データ列を用いる。

しゃくりとは、同図の歌唱周波数曲線に示すように上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧である。上昇の開始がほぼ後のノートの開始タイミングと一致しており、歌唱周波数はこの後遅れてその音符のリファレンス周波数に到達する。歌唱周波数の変化曲線がノート開始タイミング付近から徐々に音高が上昇してゆくという条件を満たしているかに基づいて検出し、この条件に適合した歌唱周波数の変化があった場合には、これをしゃくりの歌唱技巧であると判定する。

このしゃくりの条件を満たしているかを判定するためのルールとして
（１）ノート開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
（２）最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
（３）歌唱周波数が滑らかに上昇してゆくこと
図７（Ａ）がこの条件に適合した歌唱音高の変化を示している。ここで、上記３つの条件を判定するために、採点モード処理プログラムにおいては、同図のハッチング部分（禁止エリア）に歌唱周波数がかからないことをチェックしている。すなわち、歌唱周波数が禁止エリアにかからずに合格ノートとなった場合にしゃくり技巧であると判定する。より、厳格に判定する場合には、図示の斜め破線と禁止エリアの間を歌唱周波数曲線が通過するか否かを判定するようにすればよい。

また、より高度なしゃくりの技巧を判定する場合には上記（１）〜（３）のルールに加えて、
（４）歌唱周波数が上昇を開始する前に一旦周波数が下降すること
のルールを加える。歌唱周波数がこのような変化をすればよりしゃくりが強調される。この条件を満たした歌唱周波数の変化曲線の例を同図（Ｂ）に示す。同図の白抜き矢印の位置で歌唱周波数が一旦下がっており、上記（４）のルールに適合した変化曲線であることがわかる。

しゃくりが検出されれば、モニタ２２に「しゃくり」の歌唱が行われた旨を表示する。カラオケ曲の終了後、曲中で検出されたしゃくりの回数に基づいてしゃくりポイントを算出して基本得点に加算する。

図８は、タイミング（差）の検出方法を説明する図である。また、図９は、タイミング差に基づいてタイミングポイントを算出するためのタイミングポイントテーブルを示す図である。このタイミング差の検出には、通常はＬＰＦ処理をしていない歌唱周波数データ列およびリファレンス周波数データ列を用いるが、歌唱周波数についてはＬＰＦ処理をしたＬＰＦ歌唱周波数データ列を用いてもよい。

図８において、歌唱者があるノート（音符）を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図（Ｂ）に示すように、歌唱周波数検出部１０２に歌唱音声が入力されて、周波数の検出を開始したタイミングｄを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングＲとの時間差がタイミング差である。

一方レガート歌唱などで複数のノートが連続している場合には、同図（Ａ）のように歌唱周波数が発音タイミングＲの付近で所定範囲（許容範囲）以内に接近したタイミングａを歌唱タイミングとする。

また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図（Ａ）において、許容範囲内に接近したタイミングａの直前で音高の変化がスタートしたタイミングｂや変化の傾きが所定値以上になったタイミングｃなどを歌唱タイミングとするようにしてもよい。

なお、同図（Ａ）は音高の低いノートから高いノートへの変化（上昇）について説明しているが、音高の高いノートから低いノートへの変化（下降）についても上下が反転するのみで同様である。

また、同図（Ａ）の歌唱タイミングａは遅れ方向であり、歌唱タイミングｂ，ｃおよび同図（Ｂ）の歌唱タイミングｄは進み（突っ込み）方向であるが、タイミングの進み遅れはこれに限定されるものではない。

また、発音タイミングＲと歌唱タイミングａ，ｂ，ｃとのタイミング差を検出する範囲は、前のノートおよび後のノート（発音タイミングＲで発音するノート）の長さのそれぞれ１／２〜１／３程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。

上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図（Ｃ）に示す方式は、リファレンスの発音タイミングＲをはさむ２つのノート（前のノートおよび後のノート）のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差（ｅ）とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。

上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、

の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。

上記の方式でタイミング差が検出されると、このタイミング差でタイミング点テーブルを参照してタイミング点を割り出す。

図９は、タイミングポイントテーブルの例を示す図である。同図（Ａ）は「演歌」に対応したタイミングポイントテーブルの例を示している。演歌の場合はジャストタイミングから遅れ気味の歌唱技巧である「ため」に対応するため、ジャストタイミングから遅れ気味の範囲で大きな＋点（加点）が与えられるようになっている。これに対して進み気味（突っ込み気味）の歌唱は焦って聞こえるため、−点（減点）が与えられるようになっている。

一方、同図（Ｂ）は「ポップス系」のカラオケ曲対応したタイミング点テーブルの例を示している。ポップスの場合、正確なビートでリズムが刻まれているため、歌唱もジャストタイミングが望まれ、大きく遅れても大きく進んでも−点になる。ジャストタイミングの範囲およびわずかな進みの範囲で＋点が与えられる。

カラオケ曲が選択されたとき、そのカラオケ曲のジャンルに応じてタイミング点テーブルが選択され、歌唱のノート毎にタイミング点が割り出される。そして、カラオケ曲が終了したとき、全てのタイミング点の平均値を算出し、タイミングポイントとする。

図９には、演歌系とポップス系のカラオケ曲向けのタイミング点テーブルのみ示しているが、他の種々のジャンル向けのタイミング点テーブルを設けてもよく、ポップス系のタイミング点テーブルを非演歌系のカラオケ曲全てに適用してもよい。また、タイミング点の算出方式は、タイミング点テーブルに限定されず、関数を用いるなど他の方式によってもよい。

また、この実施形態では、タイミング点テーブルをジャンル別に設けたが、カラオケ曲毎に設けるようにしてもよい。たとえば、カラオケ曲の楽曲データ中にタイミング点テーブルを含めておき、カラオケ曲の配信と一緒に配信されるようにしてもよい。そして、曲別のタイミング点テーブルを有さない旧来の楽曲データの場合には、予め設けてあるジャンル別のタイミング点テーブルを用いるようにすればよい。

図１０は、抑揚の検出方法を説明する図である。抑揚の判定はフレーズ毎に行う。フレーズとは、休符や音切りなどで区切られる歌唱の１区切りの単位である。図１０は、１フレーズについて示している。フレーズの前後で歌唱が途切れるため、音量エンベロープはほぼ無音状態になる。音量エンベロープを監視することにより、採点モード処理プログラム３４は、フレーズを検出することができる。

まず、同図（Ａ）を参照して、フレーズ内の平均値に基づいて抑揚を判定する方式について説明する。１フレーズ分の音量エンベロープのデータが蓄積されると、まずその平均値Ａａを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量平均値Ａ１〜Ａｎを求める。そして、各ノートの平均値Ａ１〜Ａｎのフレーズ全体の平均値Ａａとの平均偏差を求める。

次に、同図（Ｂ）を参照して、フレーズ内のピーク値に基づいて抑揚を判定する方式について説明する。１フレーズ分の音量エンベロープのデータが蓄積されると、まずこのフレーズ内のピーク値Ｐａを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量ピーク値Ｐ１〜Ｐｎを求める。そして、各ノートのピーク値Ｐ１〜Ｐｎとフレーズ内のピーク値Ｐａとの差の平均値（平均偏差）を求める。

そして、カラオケ曲の終了後、全フレーズの平均偏差の平均値を求め、この値に基づいて抑揚ポイントを算出する。

なお、抑揚の検出は、ＬＰＦ処理をしていない生のデータを用いてもよく、ＬＰＦ処理をしたＬＰＦデータを用いてもよい。

また、ビブラートの判定は、ＬＰＦ処理をしていない生の歌唱周波数データ列を用い、歌唱の周波数変動の周期性を検出する。周期性が検出された場合には、ビブラートありと判定する。ビブラートありが検出されると、その振幅（周波数変動）の大きさでポイントの大きさを決定する。

また、声質の判定は、入力された歌唱音声波形を基本周波数帯域のバンドパスフィルタ（ＢＰＦ）および倍音成分のＢＰＦに通し、基本周波数成分の大きさと倍音成分の大きさとを比較する。倍音成分の比率が高いほど（基本周波数成分のレベルに近いほど）声の質がよいとしてポイントを高くする。

図１１、図１２のフローチャートを参照して採点モード処理プログラム３４の処理について説明する。
図１１は採点モード処理プログラム３４の採点処理動作を示すフローチャートである。この動作では３０ｍｓ毎に入力レジスタをチェックして、歌唱レベルデータ、歌唱周波数サンプルデータ、リファレンス周波数サンプルデータおよび音量レベル値（音量エンベロープのサンプル値）、さらに、ノートオン／オフ情報、マークデータ情報が入力されたか否かを監視している。歌唱レベルデータ、歌唱周波数およびリファレンス周波数が入力されると（ｓ１）、まず歌唱レベルデータをリストメモリ（図３参照）に書き込み（ｓ５）、ＬＰＦ処理していない生の歌唱周波数データおよびリファレンス周波数データをリストメモリに書き込む（ｓ６）。そして、歌唱周波数データ、リファレンス周波数データの両方に対してＬＰＦ処理を実行し（ｓ７）、このＬＰＦ処理されたサンプルデータをリストメモリに書き込む（ｓ８）。

ボーカルアダプタ１９からノートオン情報が入力された場合には（ｓ２）、これをリストメモリに書き込む（ｓ１０）。このノートオン情報が書き込まれた位置が図８のタイミング検出におけるリファレンスの発音タイミングＲに相当する。

ノートオフ情報が送られてきた場合には（ｓ３）、これをリストメモリに書き込み（ｓ１１）、リストメモリに蓄積されたＬＰＦ歌唱周波数データおよびＬＰＦリファレンス周波数データに基づいて採点対象ノートの合格／不合格を判定する（ｓ１２）。この判定は、音程（周波数差）に基づく合否の判定である。さらに、各種採点要素についての採点を実行する（ｓ１３〜ｓ１５）。ｓ１３では、ビブラートを判定する。ビブラートの判定は上述したように、ＬＰＦ処理をしていない歌唱周波数データ列の周期性を検出し、周期性がある場合にはビブラートありと判定し、その周波数変動の深さに応じてランク付けする処理である。

ｓ１４では、タイミングを判定する。このタイミング判定は、図８に示したように歌唱周波数の変化とリファレンス周波数の変化の時間差を検出し、この時間差で図９のタイミングポイントテーブルを引いてタイミングポイントを割り出す処理である。

ｓ１５では、しゃくりの有無を判定する。しゃくりの判定は、歌唱周波数が図７に示す条件を満たす波形で変化するかを判定するものであり、この上記条件を満たす波形で変化した場合にはしゃくりの技巧で歌唱されたと判定してしゃくり回数をカウントアップする。カラオケ曲の終了後にこのしゃくり回数に基づいてしゃくりポイントを決定する。

上記の合格ノート／不合格ノートの判定、および、各種歌唱要素の判定ののち、この合否結果、判定結果を記憶して（ｓ１６）、待機ルーチンにもどる。そして、上記の処理をノートオフ毎に繰り返して行い。曲が終了すると（ｓ４）、得点集計処理（ｓ１７）を実行する。

図１２は得点集計処理を示すフローチャートである。この動作は、上記ｓ１７で実行される動作である。まず、全ノート数および合格ノート数を集計し（ｓ３０）、合格ノート数を全ノート数で除算した値に４５を乗算し５０を加算して第１の基本得点を算出する（ｓ３１）。次に、合格ノートをノート長のランク付けに基づいて重み付け集計し（ｓ３２）、この集計値を全ノート数で除算した値に４５を乗算し５０を加算して第２の基本得点を算出する（ｓ３３）。これら第１、第２の基本得点のうち高得点の方を採用してこの歌唱の基本得点とする（ｓ３４）。

次に、各種歌唱要素の集計を行う。まず、抑揚を判定する（ｓ３５）。抑揚の判定は、図１０に示すように各ノートの平均値またはピーク値をフレーズの平均値またはピーク値と比較して、偏差を求める処理である。この偏差が大きいほど抑揚が大きいと判断する。そして、全フレーズの偏差の平均値に基づき抑揚をＡ，Ｂ，Ｃ，Ｄ，Ｅの５段階にランク付けする。

そして、このランクと前記基本得点に基づいて図１３（Ａ）のポイント算出テーブルを参照し、抑揚ポイントを割り出す（ｓ３６）。
このポイント算出テーブルは、基本得点に応じてＡ，Ｂ，Ｃ，Ｄ，Ｅの各ランクに対して何点を与えるかを割り出すテーブルである。基本点数が高いほど与える点数が低く設定されており、基本点数が高得点の場合には、低いランク（Ｃ，Ｄ，Ｅ）に対してマイナスポイントが与えられるようになっている。これにより、基本点数が高い歌唱者（上手な歌唱者）の場合には、各歌唱要素も上手くないと加点されないようにしている。

次に声質を判定する（ｓ３７）。カラオケ曲の演奏中に適当な箇所の歌唱音声信号を保存しておき、その歌唱音声信号を用いてこの声質の判定を行う。この判定処理では、歌唱音声信号を基本周波数帯のＢＰＦおよび倍音周波数帯のＢＰＦに通し、倍音成分の大きさに応じて声質をＡ，Ｂ，Ｃ，Ｄ，Ｅの５段階にランク付けする。倍音成分が大きいほど上位（Ａ，Ｂなど）にランクされる。そして、このランクと前記基本得点に基づいて図１３（Ａ）のポイント算出テーブルを参照し、声質ポイントを割り出す（ｓ３８）。

次に各ノート毎に行ったビブラートの判定結果を集計し、ビブラートをＡ，Ｂ，Ｃ，Ｄ，Ｅの５段階にランク付けする（ｓ３９）。ランク付けは、たとえば、ビブラート累積時間が長いほど高いランクとするなどの方式で決定する。なお、ビブラートの判定は、図１１の処理動作でノート毎に行ってもよい。このランクと前記基本得点に基づいて図１３（Ａ）のポイント算出テーブルを参照し、ビブラートポイントを割り出す（ｓ４０）。

次にタイミング差の評価を集計し、タイミングをＡ，Ｂ，Ｃ，Ｄ，Ｅの５段階にランク付けする（ｓ４１）。このランクと前記基本得点に基づいて図１３（Ａ）のポイント算出テーブルを参照し、タイミングポイントを割り出す（ｓ４２）。

次にしゃくり回数を集計し、このしゃくりの回数をＡ，Ｂ，Ｃ，Ｄ，Ｅの５段階にランク付けする（ｓ４３）。このランクと前記基本得点に基づいて図１３（Ｂ）のポイント算出テーブルを参照し、タイミングポイントを割り出す（ｓ４４）。
図１３（Ｂ）のポイント算出テーブルは、基本得点が低い場合のみプラスポイントを与えるように設定されたテーブルであり、基本得点がたとえば７０点以上になるとこの歌唱要素（しゃくり）は得点に考慮されない。

上記処理で算出された各種歌唱要素のポイントを基本得点に加算して合計得点を算出する（ｓ４５）。基本得点が９５点で歌唱要素のうちしゃくりを除く全てがＡランクの場合には、９９点となるが、その場合のみしゃくりがＡランクであるか否かを判断し、Ａランクの場合には合計得点を１００点とする。合計得点が１００点を超える場合がある採点方法であってもよい。最終的に１００点に丸めるようにすればよい。なお、合計得点（最終得点）算出方式はこれに限定されない。

ｓ４６では、合計得点が６０点以上であるかを判定する（ｓ４６）。６０点以上の場合には、その得点を最終得点としてモニタ２２に表示する（ｓ４９）。

６０点未満の場合には、上記５つの歌唱要素のうち１つでもＡランクのものがあるかを検索する（ｓ４７）。１つでもＡランクのものが存在する場合には、「一発芸」があるとして、合計得点にかかわらずボーナス得点として７０点を最終得点と決定する（ｓ４８）。Ａランクのものがない場合には、合計得点をそのまま最終得点とする。こののち、最終得点をモニタ２２に表示する（ｓ４９）。

このように採点結果の最終得点にかかわらず一発芸のある歌唱に対して適当な（低くない）得点を与えるのは、このような歌唱は聴衆を沸かせる（うける）ものであるため、それを評価したものである。

一発芸を評価するしきい値得点は、６０点に限定されない。また、ボーナス点として決定する点数も７０点に限定されない。

また、この実施形態では、基本歌唱要素として歌唱周波数を採点して基本得点を算出し、各種歌唱要素として、ビブラート、抑揚（音量）、声質、タイミング、しゃくりを判定して付加的なポイントを決定しているが、基本歌唱要素として周波数以外に音量やタイミングを加えてもよい。また、各種歌唱要素は上記のものに限定されない。その一部でもよく、他の要素を加えてもよい。

また、ポイント算出テーブルは、図１３に記載したものに限定されない。この実施形態では、ビブラート、抑揚（音量）、声質、タイミングに対して同一のポイント算出テーブルを適用して付加ポイントを算出しているが、各歌唱要素に対してそれぞれ別々のポイント算出テーブルを適用するようにしてもよい。また、ランク分けは５段階に限定されない。さらに、段階的なランク分け（ポイント変化）に限定されず、判定結果に応じて連続して変化するポイント値を与えるようにしてもよい。

この発明の実施形態であるカラオケ装置のブロック図 同カラオケ装置で用いられる曲データの構成例を示す図 同カラオケ装置のリストメモリの構成を示す図 同カラオケ装置の採点処理の機能ブロックを示す図 同カラオケ装置におけるＬＰＦ処理を説明する図 同カラオケ装置の音符のランク付けを説明する図 同カラオケ装置におけるしゃくりの検出方式を説明する図 同カラオケ装置におけるタイミング差の検出方式を説明する図 同カラオケ装置におけるタイミングポイントを算出するテーブルの例を示す図 同カラオケ装置における抑揚の検出方式を説明する図 同カラオケ装置の採点処理動作を示すフローチャート 同カラオケ装置の得点集計処理を示すフローチャート 同カラオケ装置のポイント算出テーブルの例を示す図

符号の説明

１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…ボーカルアダプタ、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、 ３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
１０１…リファレンス周波数検出部、１０２…歌唱周波数検出部、１０５、１０６…ローパスフィルタ処理部、１０７…採点部、１０８…エンベロープ検出部

Claims (8)

1. カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
   前記採点手段は、
   （１）音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
   （２）最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
   （３）歌唱周波数が滑らかに上昇してゆくこと
   を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点するカラオケ装置。
2. 前記採点手段は、さらに、
   （４）歌唱周波数が上昇を開始する前に一点周波数が下降すること
   のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項１に記載のカラオケ装置。
3. カラオケ曲を演奏する演奏手段と、
   歌唱音声を入力する歌唱入力手段と、
   入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、
   技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、
   入力された歌唱音声を採点する採点手段と、
   を備えたカラオケ装置であって、
   前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
   前記採点手段は、
   前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、
   前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、
   前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、
   を備えていることを特徴とするカラオケ装置。
4. 前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出する請求項３に記載のカラオケ装置。
5. 前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波したものを用いて採点し、
   前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点する
   請求項３または請求項４に記載のカラオケ装置。
6. 前記歌唱要素採点手段は、前記技巧的な歌唱要素として、
   歌唱の周期的な周波数変動であるビブラート、
   歌唱のフレーズ内での音量の変動である抑揚、
   歌唱の音質、
   各音符の歌いだしタイミング、
   音高の移行波形であるしゃくり、
   の１または複数の歌唱要素を採点する請求項３乃至請求項５のいずれかに記載のカラオケ装置。
7. 前記歌唱要素採点手段は、
   （１）音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
   （２）最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
   （３）歌唱周波数が滑らかに上昇してゆくこと
   を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点する
   請求項３乃至５のいずれかに記載のカラオケ装置。
8. 前記歌唱要素採点手段は、さらに、
   （４）歌唱周波数が上昇を開始する前に一点周波数が下降すること
   のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項７に記載のカラオケ装置。

Images