JP6568351B2 - カラオケシステム、プログラム及びカラオケ音声再生方法 - Google Patents

Description

本発明は、カラオケシステム及び音声の入力処理を実行する音声入力処理装置等に関する。

従来、ゲーム端末装置、セットトップボックス（以下、「ＳＴＢ」という。）、ＰＣ（パーソナルコンピュータ）等の通信端末装置に、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）及びＨＤＭＩ(登録商標（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）)等の各種のインターフェースを設け、マイクロホン（以下、「マイク」という。）及びテレビ受像機を当該インターフェースに接続して、ユーザにカラオケを行わせる家庭用カラオケネットワークシステムが実現されている。

具体的には、この種の家庭用カラオケネットワークシステムにおいては、ＳＴＢなどの通信端末装置が、ネットワークに接続されたサーバ装置から、カラオケ用のガイドメロディを含む伴奏音のデータ（以下、「伴奏音データ」という。）と、当該楽曲の歌詞を示す歌詞データと、を含むカラオケ用楽曲データ（以下、「楽曲データ」という）を、取得するようになっている。

そして、通信端末装置は、インターフェースに接続されたテレビ受像機から伴奏音を出力させるとともに、当該伴奏音と同期させつつ、当該テレビ受像機に歌詞を表示させ、ユーザが伴奏音等に従い、マイクにて集音したユーザの音声（以下、「歌唱音声」という。）も当該テレビ受像機から出力させるようになっている。

特に、通信端末装置は、集音した歌唱音声をマイクにて所定形式の音声データ（以下、「ドライ音データ」という。）に変換し、当該ドライ音データに対して、各種のオーディオエフェクト処理（例えば、残響処理、キーチェンジ、ボイスチェンジ等のエフェクト処理）を施すとともに、残響音等のエフェクト音声を、歌唱音声及び伴奏音とともにテレビ受像機から出力させるように構成されている。

一方、この種のカラオケシステムにおいては、違和感なく、ユーザに歌唱させるため、歌詞の表示タイミングと伴奏音、歌唱音声等の出力タイミングを同期させることが要求されている。そこで、最近では、テレビ受像機における歌詞表示の遅延時間量を予め取得しておき、当該遅延時間分、マイクから出力されたドライ音データに対応する歌唱音声、伴奏音、エフェクト音声の出力タイミングを遅延させる制御を実行し、歌詞の表示タイミングを、歌唱音声、伴奏音及びエフェクト音声等の出力タイミングに同期させるシステムやその方法が提案されている（例えば特許文献１）。

特開２０１０−２７６９４９号公報

しかしながら、特許文献１に記載の方法であっては、表示タイミングと音声の出力タイミングを同期させているものの、通信端末装置内における処理に起因して発生する歌唱音声の出力遅延については解消されておらず、家庭などにおいてカラオケを行う際のユーザの満足度を向上させる方法としては、十分と言えない。

本発明は、上記課題を解決するためになされたものであり、その目的は、通信端末装置内における各種の処理に基づく歌唱音声の出力遅延に起因したユーザの満足度の低下を防止することが可能なカラオケシステムなどを提供することにある。

上記課題を解決するため、本発明は、複数の楽曲データから、少なくとも一の前記楽曲データを選択するユーザの指示入力を受け付ける受付手段と、前記選択された楽曲データを取得する取得手段と、外部機器に接続され、予め規定された手順に従って、入力された所定のデータを当該外部機器に出力するインターフェースと、ユーザが発声した音声が入力された場合に当該音声を所定形式の音声データに変換しつつ出力する音声入力手段から、当該音声データの入力を入力音声データとして受け付けるとともに、当該入力された入力音声データを複製して複製音声データを生成し、当該入力音声データ及び当該複製音声データのいずれか一方の音声データを前記インターフェースに出力する入出力管理手段と、前記入出力管理手段からインターフェースに出力された音声データとは異なる音声データを取得し、当該取得した音声データと、前記取得された楽曲データと、に基づき、所定の処理を実行し、当該処理した所定のデータを前記インターフェースに出力するデータ処理手段と、を備えることを特徴とする構成を有している。

この構成により、本発明は、例えば、マイクなどの音声入力手段から出力された音声データ（すなわち、ドライ音のデータ（以下、「ドライ音データ」という。））を、インターフェースにパススルー出力し、又は、ドライ音を複製した複製音声データを直接インターフェースに出力することができるので、通信端末装置内における各種の処理に基づく歌唱音声の出力遅延に起因したユーザの満足度の低下を防止することができる。

一般に、家庭用のテレビ受像機の利用など民生機器として用いるカラオケシステムは、ユーザの歌唱音声をマイクによって集音された、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換して得られる音声（すなわち、ドライ音）のデータ（以下、「ドライ音データ」という。）を取得するとともに、当該ドライ音データに基づくオーディオエフェクト処理を実行し、生成したエフェクト音声を歌唱音声及び伴奏音と合成しつつ、インターフェースに接続された例えばテレビ受像機などの音声出力を伴った表示装置に合成された各種のデータを出力する構成が採用される。

その一方で、通信端末装置は、ドライ音データのデジタル形式のデータに対してエフェクト処理等を実行するので、カラオケ用のアプリケーションを駆動させるために複数のレイヤーを有するプラットフォーム構成を採用すると、各レイヤーにおけるバッファリングに伴う遅延が大きくなる。

そこで、本発明は、ドライ音データ又はその複製音声データを直接インターフェースに出力することによって、カラオケ用のアプリケーションを駆動させるために複数のレイヤーを有するプラットフォームにおいても、各種の処理に基づく歌唱音声の出力遅延を防止し、ユーザの満足度の低下を防止することができる。

本発明の音声入力処理装置等は、通信端末装置内の処理による歌唱音声の出力遅延に起因したユーザの満足度の低下を防止することができる。

本発明に係るカラオケネットワークシステムにおける一実施形態の構成を示すシステム構成図である。 一実施形態の通信端末装置の構成を示すブロック図である。 一実施形態の通信端末装置のプラットフォーム構成の一例を示す図である。 一実施形態のカラオケシステムにおいて表示される評価データを含むカラオケ背景画像の一例を示す図である。 一実施形態の通信端末装置においてカラオケを行う際に実行されるフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、家庭用のカラオケシステムを有し、ネットワークを介して、カラオケ用の楽曲データを提供してユーザにカラオケを行わせるカラオケネットワークシステムに対して、本発明のカラオケ装置、プログラム、カラオケ音声再生方法及び音声入力処理装置を適用した場合の実施形態である。

［１］カラオケネットワークシステム
まず、図１を用いて本実施形態のカラオケネットワークシステム１の概要構成について説明する。なお、図１は、本実施形態におけるカラオケネットワークシステム１の構成を示すシステム構成図である。また、図が煩雑になることを防止するために、図１においては、一部のカラオケシステム１０のみを示している。すなわち、実際のカラオケネットワークシステム１においては、図１に表示するよりも多数のカラオケシステム１０が存在している。

本実施形態のカラオケネットワークシステム１は、ユーザが歌唱することを所望する楽曲に対応するカラオケ用の楽曲データを、ネットワーク２０を介して、ユーザの各家庭などの施設に設置された装置（例えば、民生用のカラオケシステム）に提供するとともに、当該装置によって楽曲データに含まれる伴奏音データを再生しつつ、当該楽曲の歌詞を表示させことによって、ユーザにカラオケを興趣させるためのシステムである。

具体的には、本実施形態のカラオケネットワークシステム１は、各家庭や施設に設置され、ユーザにより利用される複数のカラオケシステム１０と、ネットワーク２０と、楽曲データを管理するとともに、カラオケシステム１０からの要求に応じて該当する楽曲データを提供する楽曲提供サーバ装置３０と、を有している。

なお、ネットワーク２０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク２０の構成は、これに限られない。

本実施形態のカラオケシステム１０は、ＵＳＢ又はＨＤＭＩ（登録商標）等の所定の規格におけるインターフェースを有し、ユーザにカラオケを行わせるための処理を行う通信端末装置４０と、当該通信端末装置４０のＨＤＭＩ（登録商標）ポートなどの音声及び画像を出力するため出力ポート（以下、「デジタル出力ポート」ともいう。）に接続され、音声及び画像を出力するテレビ受像機５０と、当該通信端末装置４０のＵＳＢポートなどのデータ伝送用の入出力ポートに接続され、ユーザの発声した歌唱音声を集音するマイクロホン６０と、を有している。

通信端末装置４０は、ケーブルテレビ放送、衛星放送、地上波テレビ放送（デジタル放送及びアナログ放送を含む。）、ＩＰ放送（例えばブロードバンドＶＯＤ）などの放送信号を受信し、テレビ受像機５０で視聴可能な信号に変換するセットトップボックス、パーソナルコンピュータ、ゲーム装置（携帯型ゲーム装置も含む）又は携帯用情報端末装置（例えば、スマートフォンやタブレット型端末装置）などの端末装置であり、ネットワーク２０に通信接続され、楽曲提供サーバ装置３０と連動しつつ、ユーザにカラオケを行わせるための処理を実行する構成を有している。

具体的には、通信端末装置４０は、ＣＰＵやメモリといった所定のハードウエア、Ｌｉｎｕｘ（登録商標）系のオペレーティングシステム（ＯＳ）及び当該オペレーティングシステム上で駆動するアプリケーションによって、
（１）テレビ受像機５０及びマイクロホン６０などの外部機器のデバイスドライバとして機能するとともに各データの入出力を管理する各種のカーネルを含むインターフェースによって構成される第１のレイヤーと、
（２）第１のレイヤー上に、ヴァーチャルマシンなどのライブラリ（汎用性のある特定の機能を有するプログラム（群））、カーネルを除くオペレーティングシステム及びＡＰＩ（アプリケーションプログラムインターフェース）から構成され、第１のレイヤーにおけるインターフェースを制御する第２のレイヤーと、
（３）第２のレイヤー上に構成され、かつ、ＡＰＩ及びライブラリやオペレーティングシステム（ＯＳ）上で駆動し、カラオケ用のアプリケーション（以下、「カラオケアプリ」という。）８０及びその他のアプリケーションを実行する第３のレイヤーと、
を有する階層構造を有するプラットフォームに基づいて駆動し、カラオケを実行するための各機能を実行している。

そして、通信端末装置４０は、カラオケを実行するための各機能として
（１）ユーザの指示入力を受け付けるとともに、当該取得した楽曲データに基づき、楽曲提供サーバ装置３０から、ユーザの所望する楽曲に対応する楽曲データを取得する楽曲データ取得機能と、
（２）当該取得した楽曲データに基づき、テレビ受像機５０にて伴奏音を再生させるとともに、当該楽曲の歌詞をテレビ受像機５０に表示させる楽曲データ再生表示制御機能と、
（３）伴奏音及び歌詞に従ってユーザが発声した音声が入力された際に、マイクロホン６０によってデジタル信号に変換されたドライ音データを取得するとともに、当該ドライ音データに基づくエフェクト処理を実行し、エフェクト音声データを生成するエフェクト処理機能と、
（４）ドライ音データ及び楽曲データに含まれる伴奏音データに基づき、ユーザの歌唱力を評価し、当該評価結果を示す画像データを評価データとして生成するとともに、生成した評価データをテレビ受像機５０にて表示させる採点機能と、
を実現する構成を有している。

特に、通信端末装置４０は、マイクロホン６０から出力されたドライ音データの入力を入力音声データとして受け付けると、当該入力された入力音声データを複製して複製音声データを生成し、入力音声データ及び複製音声データのいずれか一方の音声データを、アプリケーション（すなわち、カラオケアプリ８０）に基づく処理を行うことなく、デバイスドライバ及び入出力ポートを介して、直接、テレビ受像機５０に出力する構成を有している。

通常、上記のプラットフォーム構造によってカラオケアプリなどのアプリケーションを実現する場合には、実際のハードウエアを制御し、かつ、データの入出力を管理する第１のレイヤーから各レイヤーのサブレイヤーも含めてカラオケアプリを実行する最上位のレイヤー（以下、「アプリケーションレイヤー」ともいう。）まで各レイヤーで種々の処理が実行されることになる。

したがって、マイクロホン６０から出力された入力音声データ、すなわち、ドライ音データは、サブレイヤーを含めてプラットフォームの各レイヤーにおいて、それぞれ、データのバッファリングが行われるため、その度に数十ｍｓｅｃ程度の遅延が発生することとなる。

特に、マイクロホン６０から出力されたドライ音データを最上位のアプリケーションレイヤーで駆動するカラオケアプリに供給してエフェクト処理を施し、さらに、エフェクト処理された音声データ（以下、「エフェクト音声データ」という。）及びそれに用いたドライ音データを合成しつつ、サブレイヤーを含めて各レイヤーで所定の処理が実行されて最下位のデバイスドライバからテレビ受像機５０に供給することなる。

このため、ＨＤＭＩ（登録商標）における伝送及びテレビ受像機５０における遅延を無視したとしても、当該エフェクト音声データ及びドライ音データは、ユーザの歌唱及び発声タイミングから１１０〜１３０ｍｓｅｃ程度遅延して当該テレビ受像機５０に供給されることになる。

したがって、ユーザがテレビ受像機５０から出力された伴奏音に基づいて歌唱したとしても、自己の歌唱音が遅延されて出力されることによって伴奏音と歌唱音がずれるので、歌唱しにくいだけでなく、それを聴取するにも違和感が生じ、採点機能その他のカラオケに関する付属機能も十分に発揮させることができない場合も多い。

そこで、本実施形態の通信端末装置４０においては、入力されたドライ音データを複製し、アプリケーションのデータ処理に用いるデータと必要最低限の経路によってテレビ受像機５０に出力されるデータとを別々にすることによって、ドライ音データの出力遅延を低減させつつ、カラオケアプリの処理を的確に実行させ、ユーザの満足度の低下を防止することができるカラオケを実現している。

特に、通信端末装置４０は、上記のプラットフォーム内（具体的には、第２のレイヤー）に新規のオーディオライブラリ（以下、「新規ライブラリ」という。）を設け、当該新規ライブラリ７０６にて、マイクロホン６０から、ＵＳＢポート４０１、Ｋｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２を介して入力されたドライ音データを複製しつつ、複製に用いられたドライ音データ又は複製により生成されたドライ音データ（複製音声データ）を、テレビ受像機５０に直接出力（パススルー出力）し、他方のドライ音データをカラオケアプリ８０に供給するようになっている。

なお、本実施形態においては、複製に用いたドライ音データを、インターフェースを介してテレビ受像機５０に直接出力し、複製されたドライ音データをカラオケアプリ８０に用いてもよい。

テレビ受像機５０は、デジタル入力ポートとして、少なくともＨＤＭＩ（登録商標）ポートを有する民生用のテレビ受像機である。特に、テレビ受像機５０は、液晶パネル、プラズマディスプレイパネル等の表示素子と、表示素子を駆動する駆動回路及びスピーカ等を備え、例えば、通信端末装置４０のＨＤＭＩ（登録商標）ポートを介して供給された音声データ及び画像データに基づき、歌唱音声、伴奏音及びエフェクト音声を出力するとともに、歌詞及び評価データの表示を行う。

マイクロホン６０は、例えば、ＵＳＢマイクであり、ユーザの歌唱音声を集音し、当該歌唱音声をＡ／Ｄ変換して、音声データ（すなわち、ドライ音データ）を生成し、通信端末装置４０に出力する。

楽曲提供サーバ装置３０は、（１）カラオケシステム１０に提供可能な楽曲データと、（２）当該楽曲を識別するための楽曲ＩＤと、（３）当該楽曲の曲名、楽曲の属するジャンルを示すジャンル情報及びアーティスト名を含む楽曲属性情報と、が対応付けて記録される楽曲データベース（以下、「データベースをＤＢ」という。）３００を有し、ネットワーク２０を介して、通信端末装置４０から受信した要求（以下、「楽曲データ取得要求」という。）に応じて該当する楽曲データを通信端末装置４０に配信することが可能な構成を有している。

特に、楽曲提供サーバ装置３０は、楽曲データ取得要求に基づいて、楽曲ＤＢ３００を検索し、当該検索によりヒットした楽曲の一覧（歌手名一覧や曲名一覧など）を生成して、該当する通信端末装置４０に提供するとともに、当該一覧に応じてユーザが選曲した楽曲の楽曲データを楽曲ＤＢ３００から読み出して、通信端末装置４０に配信するようになっている。

なお、楽曲ＤＢ３００に記録される楽曲データには、当該楽曲の歌詞に対応した歌詞データと、カラオケ用の伴奏音データと、が含まれる。そして、伴奏音データは、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式にて構成されており、ガイドメロディデータ、ギター等の各パートに対応するデータが含まれている。

［２］通信端末装置
次に、図２〜４を参照しつつ、本実施形態の通信端末装置４０の構成について説明する。なお、図２は、本実施形態の通信端末装置４０の構成を示すブロック図であり、図３は、通信端末装置４０のプラットフォーム構成を示す図である。また、図４は、評価データを含むカラオケ背景画像の表示例を示す図である。

本実施形態の通信端末装置４０は、図２に示すように、外部機器とのデータの授受を仲介するインターフェース部４００と、通信制御部４１０と、端末管理制御部４７０及びプログラム管理制御部４８０と連動しつつ、テレビ受像機５０に供給する描画用データを生成する表示制御部４４０と、操作部４６０と、端末管理制御部４７０と、カラオケアプリ８０を含む各種のアプリケーションを実行するプログラム管理制御部４８０と、を有している。そして、各部は、バスＢを介して、相互に接続され、各構成要素間のデータの授受が実現されるようになっている。

なお、操作部４６０は、リモコンにより実現することも可能であり、この場合には、操作部４６０に、赤外線受光部又はＺｉｇ Ｂｅｅ（ジグビー）の受信機を設け、受信された信号に基づく命令コマンドをバスＢに供給する構成にすればよい。

インターフェース部４００には、ＵＳＢポート４０１と、ＨＤＭＩ（登録商標）ポート４０２と、が設けられるとともに、ＵＳＢ及びＨＤＭＩ（登録商標）の各規格に応じてデータ変換その他の処理を実行し、デバイスドライバなど各インターフェースに対応する入出力制御用のチップが設けられている。

特に、本実施形態のインターフェース部４００は、図３に示すように、プラットフォーム７０上においては、デバイスドライバとして機能するＬｉｎｕｘ（登録商標）等のＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２を有し、当該プラットフォーム７０の第１のレイヤーを構成する。

なお、Ｋｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２は、従来の機能と同様であるため、詳細を省略する。また、例えば、本実施形態のＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２を含むインターフェース部４００は、本発明の第１のレイヤー（インターフェース）を構成する。

また、ＵＳＢポート４０１には、例えば、マイクロホン６０が、接続されるとともに、マイクロホン６０から出力されるドライ音データがバスＢに出力される。そして、ＨＤＭＩ（登録商標）ポート４０２には、テレビ受像機５０が接続され、テレビ受像機５０に画像データ及び音声データが出力される、

なお、インターフェース部４００は、例えば、プログラム管理制御部４８０の一部とともに本発明のインターフェースを構成する。

通信制御部４１０は、所定のネットワークインターフェースであり、有線又は無線にて、ネットワーク２０と通信接続され、ネットワーク２０を介して楽曲提供サーバ装置３０との間でデータの授受を行う。

表示制御部４４０は、端末管理制御部４７０及びプログラム管理制御部４８０と連動し、プログラム管理制御部４８０から供給される歌詞データ及び評価データに基づき、テレビ受像機５０にて、カラオケ用の背景画像上に、歌詞及び評価データを示す画像を表示させるための描画データを生成し、ＨＤＭＩ（登録商標）ポート４０２を介して、テレビ受像機５０に供給する。

記録部４５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、又は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性のメモリにより構成され、その記録領域内に、ライブラリやオペレーティングシステム（ＯＳ）などプラットフォームを形成するためのプログラムが記録されるプログラム記録部４５１と、カラオケアプリ８０及びその他のアプリケーションが記録されるアプリケーション記録部４５２と、楽曲データ記録部４５３と、ワークエリアとして利用されるＲＡＭ４５４と、を有している。

プログラム記録部４５１には、ＵＳＢポート４０１及びＨＤＭＩ（登録商標）ポート４０２を有するインターフェース部４００を制御し、プログラム管理制御部４８０を動作させるためのプラットフォーム７０の構築に用いる各種のデータが記録される。なお、本実施形態のプラットフォーム７０については後述する。

楽曲データ記録部４５３には、通信端末装置４０が、楽曲提供サーバ装置３０から取得（ダウンロード）した、楽曲データが、対応する楽曲ＩＤ及び楽曲属性情報と対応付けて、記録され、取得済みの楽曲データを利用して、カラオケを行う際に利用可能にされる。

端末管理制御部４７０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、プログラム記録部４５１及びアプリケーション記録部４５２に記録された各種のプログラム及びアプリケーションを実行することにより、通信端末装置４０の全般的な機能を統合的に制御する。

プログラム管理制御部４８０は、端末管理制御部４７０と同一又は独立したＣＰＵにより構成される。そして、プログラム管理制御部４８０は、端末管理制御部４７０による制御の下、ＲＡＭ４５４及びインターフェース部４００と連動しつつ、プログラム記録部４５１に記録されたオペレーティングシステム（ＯＳ）などのプログラムを実行してプラットフォーム７０を構築し、かつ、当該プラットフォーム７０により提供される環境下にて、上記カラオケアプリ８０を実行し、カラオケに関する各機能を実現する。

特に、プログラム管理制御部４８０は、通信端末装置４０の駆動中に、ＣＰＵなどのハードウエア及びインターフェース部４００とともにプラットフォーム７０を構築するため、アンドロイドなどのＬｉｎｕｘ（登録商標）系のオペレーティングシステム（ＯＳ）及びその他の必要なプログラムを実行するプログラム実行部４８１と、当該オペレーティングシステム上で駆動するカラオケアプリ８０を実行するアプリケーション実行部４８２と、を有している。

プログラム実行部４８１は、電源が投入された際などの所定のタイミングにおいて、インターフェース部４００と連動し、プログラム記録部４５１からアンドロイドなどのＬｉｎｕｘ（登録商標）系のオペレーティングシステム（ＯＳ）その他の必要なプログラムを読み出して、図３に示すプラットフォーム７０上における第２のレイヤーを形成させる。

特に、プログラム実行部４８１は、オペレーティングシステム（ＯＳ）を実行することよって、ＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５を形成し、デバイスドライバなどの一部のＯＳ機能を除くＯＳの機能を実行する。

具体的には、プログラム実行部４８１は、インターフェース部４００（すなわち、デバイスドライバ）を制御し、操作部４６０の操作又はアプリケーション実行部４８２の制御に基づいて、ドライ音データや楽曲データその他の各種のデータの入出力を制御するとともに、アプリケーション実行部４８２における各種の処理に応じて必要な処理を実行する。

また、プログラム実行部４８１は、本実施形態の特徴的な構成として、第２のレイヤー上に、ＵＳＢポート４０１を介して、マイクロホン６０からインターフェース部４００に含まれるＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２（すなわちデバイスドライバ）を介して供給されたドライ音データを、これらのＡｌｓａ−Ｌｉｂ７０２及びＫｅｒｎｅｌ７０１を介してＨＤＭＩ（登録商標）ポート４０２に直接パススルー出力するとともに、当該ドライ音データを複製し、複製した複製音声データを、カラオケアプリ８０に供給する新規ライブラリ７０６を形成し、その実行を制御する。

すなわち、プログラム実行部４８１は、本実施形態のプラットフォーム７０におけるＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５を介在させることなく、ＵＳＢポートに４０１に入力されたドライ音データをＨＤＭＩ（登録商標）ポート４０２に直接供給する構成を有している。

なお、このような構成を有することによって、本実施形態においては、ユーザの発声タイミングからテレビ受像機５０に音データが出力されるまでの遅延を効果的に抑制することができるとともに、複製音声データに基づくエフェクト処理及び採点処理を的確に実行することができるので、カラオケを行う際のユーザの満足度を向上させることできるようになっている。

特に、本実施形態のプラットフォーム７０において、テレビ受像機５０から出力される歌唱音声の遅延時間数を測定した結果、その遅延時間数は、７５〜８５ｍｓｅｃとなり、従来のカラオケシステムにおける、遅延時間１１０〜１３０ｍｓｅｃ程度の遅延時間と比較して、２２〜４２％程度の歌唱音声の遅延時間を短縮できることが確認されている。

また、複製音声データの生成に必要な時間（期間）は、プラットフォーム７０の各サブレイヤーにおけるバッファリング時間の和よりも少なくすることができるので、プログラム実行部４８１は、ドライ音データに代えて複製音声データを、Ａｌｓａ−Ｌｉｂ７０２及びＫｅｒｎｅｌ７０１を介して、ＨＤＭＩ（登録商標）ポート４０２に出力してもよい。

さらに、プラットフォーム７０を構成するＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５は、従来の機能と同様であるため、その詳細を省略する。そして、例えば、本実施形態のＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎＳＬＥＳ７０５と、新規ライブラリ７０６とは、本発明の第２のレイヤーを構成し、当該新規ライブラリ７０６は、発明の入出力管理手段を構成する。

アプリケーション実行部４８２は、実行しているＯＳ上でカラオケアプリ８０を実行することによって、楽曲データ取得する楽曲データ取得管理部４８３と、エフェクト処理を実行するエフェクト処理部４８４と、楽曲データに基づいて楽曲データ再生表示するカラオケ処理部４８５と、カラオケの採点を行う採点処理部４８６と、を実現する。

特に、アプリケーション実行部４８２は、プログラム実行部４８１と連動し、電源が投入された際などの所定のタイミングにおいて、アプリケーション記録部４５２からカラオケアプリ８０を読み出して、図３に示すプラットフォーム７０上における第３のレイヤーを形成させ、上記の各部を実現する。なお、例えば、本実施形態のカラオケアプリ８０は、本発明の第３のレイヤーを構成する。

楽曲データ取得管理部４８３は、通信制御部４１０を介して、楽曲提供サーバ装置３０から楽曲データを取得するための処理を実行し、楽曲提供サーバ装置３０から取得した楽曲データを対応する楽曲ＩＤ等と対応付けつつ、楽曲データ記録部４５３に記録させる。

エフェクト処理部４８４は、新規ライブラリ７０６から供給される複製音声データに基づき、オーディオエフェクト処理を実行する。

例えば、エフェクト処理部４８４は、複製音声データに基づき、残響音を生成し、当該残響音を畳み込んで得られるエフェクト音声データを生成して、プラットフォーム７０を介して、ＨＤＭＩ（登録商標）ポート４０２に出力する。

なお、エフェクト音の遅延は、ユーザの満足度低下に影響を与えないので、ＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５を介して、ＨＤＭＩ（登録商標）ポート４０２にエフェクト音声データを出力する場合にも、これらのサブレイヤーにおいてバッファリングが行われることに起因する音の出力遅延は、問題にならない。

カラオケ処理部４８５は、操作部４６０の操作に基づいて楽曲データ記録部４５３から楽曲データを取得し、当該取得した楽曲データに含まれるＭＩＤＩ形式の伴奏音データを所定形式の音データ（以下、単に「伴奏音データ」という。）に変換して、プラットフォーム７０を介してＨＤＭＩ（登録商標）ポート４０２に供給する。

このとき、プラットフォーム７０においては、各サブレイヤーにおいて伴奏音データが、バッファリングされるとともに、Ｋｅｒｎｅｌ７０１、又は、Ａｌｓａ−Ｌｉｂ７０２が、伴奏音データをドライ音データと合成して、ＨＤＭＩ（登録商標）ポート４０２に供給する。

また、カラオケ処理部４８５は、表示制御部４４０と連動しつつ、プラットフォーム７０を介して、楽曲データに含まれる歌詞データをＨＤＭＩ（登録商標）ポート４０２に供給する。

採点処理部４８６は、新規ライブラリ７０６から供給される複製音声データと、カラオケ処理部４８５によって取得した楽曲データに含まれる伴奏データと、に基づき、ユーザの歌唱力の採点を実行し、当該採点結果を示す評価データを生成するとともに、表示制御部４４０と連動して、当該生成した評価データに基づいて、所定の画像を表示するための描画用のデータを生成する。

具体的には、採点処理部４８６は、複製音声データに対応する歌唱音声の音階等の変位状態を、ＭＩＤＩ形式の伴奏音データに含まれる音階、音価及び休符と比較し、当該比較した結果を示す評価データを生成する。

特に、採点処理部４８６は、図４に示すように、五線譜上における縦軸方向に音階を設定するとともに、横軸方向に時間軸を設定し、伴奏音データにより示される音階、音価及び休符を五線譜上の所定の矩形形状（図４参照）により表現するとともに、歌唱音声の変位状態を実線により表現した評価データ（ピアノロールデータともいう。）を生成する。

すなわち、採点処理部４８６は、図４に示すように、歌詞の画像を有する動画その他のカラオケ用の背景画像（以下、「カラオケ背景画像」という。）上に、伴奏音により示される音階等から歌唱音声の音程が、どの程度ずれているのかを示す画像を含む描画用のデータを、評価データとして生成する。

そして、採点処理部４８６は、表示制御部４４０と連携しつつ、当該評価データを、プラットフォーム７０を介して、ＨＤＭＩ（登録商標）ポート４０２に供給する。具体的には、採点処理部４８６は、表示制御部４４０制御してカラオケ処理部４８５から供給される歌詞データ及び評価データに基づき、描画用のデータを生成させ、当該生成した描画用のデータを、プラットフォーム７０を介して、ＨＤＭＩ（登録商標）ポート４０２に供給する。

なお、テレビ受像機５０は、ＨＤＭＩ（登録商標）ポート４０２から出力された描画用のデータを受信すると、図４に例示するような画像を表示する。

［３］カラオケシステムの動作
次に、図５を参照しつつ、本実施形態のカラオケシステム１０の通信端末装置４０における動作について説明する。なお、図５は、本実施形態の通信端末装置４０にて実行される処理を示すフローチャートである。

本動作においては、予め通信端末装置４０のＵＳＢポート４０１にマイクロホン６０が接続され、ＨＤＭＩ（登録商標）ポート４０２にテレビ受像機５０が接続されているものとする。

また、本動作においては、インターフェース部４００と連動しつつ、プログラム実行部４８１によってオペレーティングシステム（ＯＳ）が実行され、かつ、アプリケーション実行部４８２によってカラオケアプリ８０が実行されて図３に示すプラットフォーム７０が形成されているものとし、アプリケーション実行部４８２（具体的には楽曲データ取得管理部４８３）は、既にユーザが希望する楽曲データを取得して楽曲データ記録部４５３に記録されているものとする。

まず、カラオケ処理部４８５は、ユーザの操作部４６０への所定の入力操作を検出すると（ステップＳ１０１）、該当する楽曲データを楽曲データ記録部４５３から読み出し、楽曲の再生及び所定の画像の再生を開始する（ステップＳ１０２）。

具体的には、カラオケ処理部４８５は、読み出した楽曲データに含まれるＭＩＤＩ形式の伴奏音データに基づき、所定形式の音声データを生成し、プラットフォーム７０を介して生成した音声データのＨＤＭＩ（登録商標）ポート４０２への出力を開始する。

そして、カラオケ処理部４８５は、表示制御部４４０と連携しつつ、カラオケ背景画像、及び、当該カラオケ背景画像上に楽曲データに含まれる歌詞データの画像表示を行うための描画用のデータを生成し、プラットフォーム７０を介して生成した描画用のデータのＨＤＭＩ（登録商標）ポート４０２への出力を開始する。

また、楽曲の再生が開始されると、各部は、当該楽曲が終了するまで以下の処理を繰り返し実行する。

まず、新規ライブラリ７０６は、ＵＳＢポート４０１から出力されたマイクロホン６０によって集音されてＡ／Ｄ変換された音声データ（すなわち、ドライ音データ）を、Ｋｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２を介して受け付けると（ステップＳ１０３）、ドライ音データを複製し、複製音声データを生成する（ステップＳ１０４）。

次いで、新規ライブラリ７０６は、Ｋｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２を介して受け付けたドライ音データをＫｅｒｎｅｌ７０１、Ａｌｓａ−Ｌｉｂ７０２のデバイスドライバに出力するとともに、複製したドライ音データの複製音声データをエフェクト処理部４８４に出力する（ステップＳ１０５）。

次いで、エフェクト処理部４８４は、新規ライブラリ７０６から出力された複製音声データに対してエフェクト処理を実行しつつ、エフェクト音声データを生成し（ステップＳ１０６）、当該エフェクト処理によって生成された音声データ（すなわち、エフェクト音声データ）をＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５の第２レイヤー介してＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２の第１レイヤーに出力する（ステップＳ１０７）。

次いで、Ｋｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２のデバイスドライバは、新規ライブラリ７０６から出力されたドライ音データと、エフェクト処理部４８４から出力されたエフェクト音声データと、を合成し（ステップＳ１０８）、ＨＤＭＩ（登録商標）ポート４０２を介してテレビ受像機５０に出力する（ステップＳ１０９）。

なお、新規ライブラリ７０６から出力されて、エフェクト処理部４８４によって生成されたエフェクト音声データは、さらに、ＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５の第２レイヤーを介してＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２のデバイスドライバに入力されるので、上述のようにドライ音データとの遅延が発生している。したがって、デバイスドライバは、取得したタイミングにおけるドライ音データとエフェクト音声データとを合成する。また、デバイスドライバは、伴奏音データを、適宜ドライ音データとエフェクト音声データとに合成する。

なお、伴奏音データは、ＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５の第２レイヤーで、エフェクト音声データと合成されてもよいし、アプリケーションを実行する第３のレイヤーで、エフェクト音声データと合成されてもよい。この場合、デバイスドライバは、ドライ音データと、予め合成されたエフェクト音声データと伴奏音データとを、合成する。

一方、採点処理部４８６は、ステップＳ１０５〜ステップＳ１０８の処理と平行して、所定のタイミングに楽曲データに含まれる伴奏音データと、複製音声データと、に基づき、採点処理を実行し、評価データを生成し（ステップＳ１１１）、生成した評価データを、ＨＡＬ７０３、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４及びＯｐｅｎ ＳＬＥＳ７０５の第２レイヤー及びＫｅｒｎｅｌ７０１及びＡｌｓａ−Ｌｉｂ７０２の第１レイヤーを介してＨＤＭＩ（登録商標）ポート４０２及びテレビ受像機５０に出力する（ステップＳ１１２）。

なお、テレビ受像機５０は、評価データを受信すると、他の画像データとともに、図４に示すような画像を表示しつつ、当楽曲データ、ドライ音データ及びエフェクト処理されたデータを音として出力する。

最後に、カラオケ処理部４８５は、伴奏音データの終了、又は、操作部４６０における終了操作の有無（すなわち、再生終了の有無）を判定し（ステップＳ１１０）、伴奏音データの終了又は操作部１６０の終了操作を検出していないと判定した場合には、ステップＳ１０３の処理に移行し、当該伴奏音データの終了又は操作部１６０の終了操作を検出したと判定した場合には、本動作を終了させる。

以上、本実施形態のカラオケシステム１０においては、通信端末装置４０のプラットフォーム７０に新規ライブラリ７０６を設け、ドライ音データをＡｌｓａ−Ｌｉｂ７０２にパススルー出力するとともに、複製音声データを生成して、カラオケアプリ８０に供給する構成となっているため、歌唱音声がテレビ受像機５０により出力されるタイミングが、ユーザの発声タイミングから遅延する時間を短縮して、カラオケを行うユーザの満足度を向上させることができる。

［４］変形例
［４．１］変形例１
上記実施形態においては、カラオケアプリ８０からＨＤＭＩ（登録商標）ポート４０２に出力するエフェクト音声等をＯｐｅｎＳＬＥＳ７０５、Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ７０４、ＨＡＬ７０３を介して、ＨＤＭＩ（登録商標）ポート４０２に供給する構成を採用したが、これらを介さず、Ａｌｓａ−Ｌｉｂ７０２及びＫｅｒｎｅｌ７０１のみを介して、ＨＤＭＩ（登録商標）ポート４０２に出力するようにしてもよい。

この場合には、更に、これらに代えて、新規のライブラリを設け、当該ライブラリを介して、音声等をＡｌｓａ−Ｌｉｂ７０２に供給するようにすればよい。

また、この構成により、エフェクト音声等の出力遅延を低減して、ユーザの満足度を更に向上させることが可能となる。

［４．２］変形例２
上記実施形態においては、楽曲ＤＢ３００を楽曲提供サーバ装置３０において管理する構成としたが、楽曲ＤＢ３００を管理するために他のコンピュータシステムを利用するようにしてもよい。

［４．３］変形例３
上記実施形態のカラオケシステム１０に用いる通信端末装置４０において上述のプラットフォーム構造を適用したが、カラオケシステム１０又はカラオケシステム１０に用いる通信端末装置４０に限らず、マイクロホン６０によって集音されてＡ／Ｄ変換された音声データについて入力処理を実行する拡声装置などの音声入力処理装置についもて適用することも可能である。

例えば、このような音声入力処理装置は、カラオケＢＯＸなどその他の音場を調整する際に、ユーザにより音声入力された場合に、ドライ音を出力するととともに、ドライ音の複製音をデータ処理して波形表示する装置に適用される。また、このような構成を有することによって、音声の波形表示と、スピーカから出力される音声との乖離を防止することができる。

１ … カラオケネットワークシステム
１０ … カラオケシステム
２０ … ネットワーク
３０ … 楽曲提供サーバ装置
４０ … 通信端末装置
５０ … テレビ受像機
６０ … マイク
７０ … プラットフォーム
８０ … カラオケアプリ
４１０ … 通信制御部
４４０ … 表示制御部
４５０ … 記録部
４５１ … プログラム記録部
４５２ … アプリケーション記録部
４５３ … 楽曲データ記録部
４５４ … ＲＡＭ
４７０ … 端末管理制御部
４８０ … アプリケーション実行部
４８１ … 楽曲データ取得管理部
４８２ … エフェクト処理部
４８３ … カラオケ処理部
４８４ … 採点処理部
７０１ … Ｋｅｒｎｅｌ
７０２ … Ａｌｓａ−Ｌｉｂ
７０３ … ＨＡＬ
７０４ … Ａｕｄｉｏ−Ｆｒｉｎｇｅｒ
７０５ … ＯｐｅｎＳＬＥＳ
７０６ … 新規ライブラリ

Claims (9)

1. 複数の楽曲データから、少なくとも一の前記楽曲データを選択するユーザの指示入力を受け付ける受付手段と、
   前記選択された楽曲データを取得する取得手段と、
   外部機器に接続され、予め規定された手順に従って、入力された所定のデータを当該外部機器に出力するインターフェースと、
   ユーザが発声した歌唱音声が入力された場合に当該音声を所定形式の歌唱音声データに変換しつつ出力する音声入力手段から出力された当該歌唱音声データを、入力歌唱音声データとして受け付けるとともに、当該入力された入力歌唱音声データを複製して複製歌唱音声データを生成し、当該入力歌唱音声データ及び当該複製歌唱音声データのいずれか一方の歌唱音声データを前記インターフェースに出力する入出力管理手段と、
   前記入出力管理手段からインターフェースに出力された歌唱音声データが前記入力歌唱音声データの場合には前記複製歌唱音声データを取得し、又は、前記入出力管理手段からインターフェースに出力された歌唱音声データが前記複製歌唱音声データの場合には前記入力歌唱音声データを取得し、当該取得した歌唱音声データと、前記取得された楽曲データと、に基づき、当該取得した歌唱音声データを加工する所定の処理を実行し、当該加工処理した少なくとも歌唱音声データを含む所定のデータを前記インターフェースに出力するデータ処理手段と、
   を備えることを特徴とするカラオケシステム。
2. 請求項１に記載のカラオケシステムであって、
   前記外部機器のデバイスドライバとして機能する前記インターフェースを有する第１の
   レイヤーと、
   前記第１のレイヤー上に構成され、前記入出力管理手段を有する第２のレイヤーと、
   前記第２のレイヤー上に構成され、前記データ処理手段を有する第３のレイヤーと、
   を少なくとも有するプラットフォーム構造を有し、
   前記第２のレイヤーが、前記データ処理手段から出力された音に関するデータに基づいて前記インターフェースを制御する音制御手段を有し、
   前記入出力管理手段が、前記入力された入力歌唱音声データ及び前記複製した複製歌唱音声データのいずれか一方の歌唱音声データを直接前記インターフェースに出力する、カラオケシステム。
3. 請求項１又は２に記載のカラオケシステムであって、
   前記インターフェースが、前記データ処理手段によって処理された少なくとも歌唱音声を含む音に関する音データと前記入出力管理手段から出力された歌唱音声データを合成して前記外部機器に出力する、カラオケシステム。
4. 請求項１〜３のいずれか１項に記載のカラオケシステムであって、
   前記インターフェースが、入力データを前記所定の形式のデジタルデータに変換し、当該変換したデジタルデータを前記外部機器に出力する、カラオケシステム。
5. 請求項１〜４のいずれか１項に記載のカラオケシステムであって、
   前記データ処理手段が、
   前記所定の処理として、前記入力された歌唱音声データにオーディオエフェクト処理を施して得られるエフェクト音声に対応するエフェクト歌唱音声データを生成する処理を実行し、
   当該生成したエフェクト歌唱音声データを前記インターフェースに出力する、カラオケシステム。
6. 請求項１〜５のいずれか１項に記載のカラオケシステムであって、
   前記楽曲データには、対応する楽曲を歌唱する際に、当該楽曲の音階、音価及び休符の少なくともいずれかを含むガイドメロディデータが少なくとも含まれ、
   前記データ処理手段が、前記ガイドメロディデータと、前記入力された歌唱音声データと、に基づき、当該ユーザの歌唱力を評価する採点処理を実行するカラオケシステム。
7. 請求項６に記載のカラオケシステムであって、
   前記データ処理手段が、前記採点処理として、
   前記歌唱音声データ又は前記複製歌唱音声データに対応する音声の変位状態を、前記ガイドメロディデータに含まれる音階、音価、休符と比較し、
   比較した結果を示す画像データを結果データとして生成し、
   当該生成した結果データを前記インターフェースに出力する、カラオケシステム。
8. コンピュータを、
   複数の楽曲データから、少なくとも一の前記楽曲データを選択するユーザの指示入力を受け付ける受付手段、
   前記選択された楽曲データを取得する取得手段、
   外部機器に接続され、予め規定された手順に従って、入力された所定のデータを当該外部機器に出力するインターフェース、
   ユーザが発声した歌唱音声が入力された場合に当該歌唱音声を所定形式の歌唱音声データに変換しつつ出力する音声入力手段から出力された当該歌唱音声データを、入力歌唱音声データとして受け付けるとともに、当該入力された入力歌唱音声データを複製して複製歌唱音声データを生成し、当該入力歌唱音声データ及び当該複製歌唱音声データのいずれ
   か一方の歌唱音声データを前記インターフェースに出力する入出力管理手段、及び、
   前記入出力管理手段からインターフェースに出力された歌唱音声データが前記入力歌唱音声データの場合には前記複製歌唱音声データを取得し、又は、前記入出力管理手段からインターフェースに出力された歌唱音声データが前記複製歌唱音声データの場合には前記入力歌唱音声データを取得し、当該取得した歌唱音声データと、前記取得された楽曲データと、に基づき、当該取得した歌唱音声データを加工する所定の処理を実行し、当該加工処理した少なくとも歌唱音声データを含む所定のデータを前記インターフェースに出力するデータ処理手段、
   として機能させることを特徴とするプログラム。
9. カラオケの音声を再生するカラオケ音声再生方法であって、
   複数の楽曲データから、少なくとも一の前記楽曲データを選択するユーザの指示入力を受け付ける、第１のステップと、
   前記選択された楽曲データを取得する、第２のステップと、
   ユーザが発声した歌唱音声が入力された場合に当該音声を所定形式の歌唱音声データに変換しつつ出力する音声入力手段から出力された当該歌唱音声データを、入力歌唱音声データとして受け付ける、第３のステップと、
   当該入力された入力歌声音声データを複製して複製歌声音声データを生成する、第４のステップと、
   当該入力歌唱音声データ及び当該複製歌唱音声データのいずれか一方の歌唱音声データを、インターフェースを介して外部機器に出力するとともに、前記インターフェースを介して前記外部機器に出力された歌唱音声データが前記入力歌唱音声データの場合には前記複製歌唱音声データを取得し、又は、前記インターフェースを介して前記外部機器に出力された歌唱音声データが前記複製歌唱音声データの場合には前記入力歌唱音声データを取得し、当該取得した歌唱音声データと、前記取得された楽曲データと、に基づき、当該取得した歌唱音声データを加工する所定の処理を実行し、当該加工処理した少なくとも歌唱音声データを含む所定のデータを前記インターフェースに出力する第５のステップと、
   を備えることを特徴とするカラオケ音声再生方法。