JP2000200088A

JP2000200088A - カラオケ装置

Info

Publication number: JP2000200088A
Application number: JP10377230A
Authority: JP
Inventors: Haruji Taniguchi; 晴次谷口
Original assignee: ART WING KK; Nagase and Co Ltd
Current assignee: ART WING KK; Nagase and Co Ltd
Priority date: 1998-12-29
Filing date: 1998-12-29
Publication date: 2000-07-18

Abstract

(57)【要約】【課題】利用者自身の動作を取り込んで装置側の機能
に反映できるカラオケ装置を提供する。【解決手段】歌唱者ＧＡＬの身体表面の設けられた動
作検出マーカＭＫの動きをカメラ１５にて検出し、その
検出情報に基づいて振付動作等の歌唱者動作データを、
カラオケ演奏に合わせてリアルタイム作成・出力するよ
うにした。その出力される歌唱者動作データを活用する
ことで、カラオケ装置の利用者自身の動作を、装置側の
機能に種々の形態にて反映させることが可能となり、例
えば振付等の動作を介したカラオケイベントへの参加実
感を、従来のカラオケ装置と比較してはるかに高めるこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はカラオケ装置に関す
る。

【０００２】

【従来の技術】カラオケ装置は周知の通り、所定の曲を
選択するとスピーカから曲が流れ、その演奏曲の歌詞テ
ロップが背景画像とともにモニタに表示されるものであ
る。一般的なカラオケ装置においては、歌詞内容に関連
した動画像を背景画像としてモニタ表示されるものが多
いが、ごく最近になって「振付カラオケ」あるいは略し
て「フリカラ」等と称される機種が普及しはじめ、愛好
者の関心を集めている。これは、一般的な背景画像に代
えて、その歌の振付動作のコンピュータグラフィック
（以下、コンピュータグラフィックを「ＣＧ」と略記す
る）動画を表示するもので、歌唱者はＣＧ動画を見なが
ら歌に合わせて振付けを踊る楽しみを享受することがで
きる。この場合、例えば、プロのダンサーの模範振付動
作をモーションキャプチャシステムにより取り込み、そ
の動作データを用いた公知のＣＧ技術を用いることによ
り、ダンサーの動きを忠実に模写したアニメーションキ
ャラクタのＣＧ動画が得られる。これを、カラオケ演奏
と同期して動画再生することで、利用者が行う振付動作
の模範として利用することができる。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来のカラオケ装置では、曲演奏とともに振付動作のＣＧ
動画が一方的に流れるのみであり、カラオケ装置の利用
者は、ＣＧ動画を見ながらこれを真似て振付けを踊るこ
とで自己満足するのが精々である。また、特定のアイド
ル歌手等の熱烈なファンであれば、アイドル願望を成就
させるために、振付を踊りながら絶唱して自己の夢見る
世界に没入するといったことも十分ありうる。しかしな
がら、上記従来のカラオケ装置では、その場で振付けを
踊っているのが本物のアイドルではなく、当の歌唱者で
あることは覆い隠しようのない事実であり、夢と現実の
ギャップにさいなまれないようにするには、相当強靭な
虚栄心ならびに想像力の持続が要求される。また、表示
装置に表示されるのが、ソフィスティケートされたプロ
の動きを写し取ったＣＧ動画であるから、これに見入る
うちに、自分自身の踊りとの質的な隔たりが却って増幅
実感されるといった弊害も生じうる。すなわち、せっか
く振付けを踊りながら歌唱していても、利用者を現実に
引き戻す要素が多すぎ、自らをアイドルにダブらせた仮
想現実（バーチャルリアリティー）を体感させるには程
遠いと言わざるをえない。

【０００４】一方、向上心の高い利用者であれば、ＣＧ
動画に表れているプロのダンサーの動きを見て振付練習
に励むことも考えられる。この場合、通常の利用者であ
れば、自分の踊りがどの程度向上したかを知りたく思う
ことが当然の成り行きといえる。しかしながら、上記の
従来のカラオケ装置は、利用者の踊りの内容を客観的に
評価する機能を備えておらず、まして、その評価をカラ
オケ演奏毎に即時に行う機能を有するものは皆無であ
る。なお、特開平１０−３０１５８６号公報には、歌唱
音声とともに歌唱者の歌唱姿をビデオ記録できる装置も
提案されているが、これは歌唱姿が単に録画されるだけ
のものであり、客観的な評価を行うものではない。そし
て、従来のカラオケ装置のこれらの欠点はすべて、利用
者自身の動作が装置側の機能に何ら反映されないとい
う、共通の原因に根差すものである。

【０００５】本発明の課題は、利用者自身の動作を取り
込んで装置側の機能に反映させることにより、振付等の
動作を介したカラオケイベントへの参加実感を、従来の
カラオケ装置と比較してはるかに高めることができ、例
えば利用者自身をアイドル歌手化するといった仮想現実
効果に富む演出を行ったり、あるいは利用者の歌唱しな
がらの振付動作を客観的に評価したりするなど、これま
での装置にはない斬新な効果が達成可能なカラオケ装置
を提供することにある。

【０００６】

【課題を解決するための手段及び作用・効果】本発明
は、カラオケ演奏手段と、歌詞表示手段と、その歌詞表
示手段に表示される歌詞を見ながら歌唱するためのマイ
クと、そのマイクから入力された歌唱音声を出力する歌
唱音声出力部とを備えたカラオケ装置において、上記の
課題を解決するために、歌唱者の身体表面の所定位置に
複数設けられた動作検出マーカの動きを検出する動作検
出手段と、その動作検出手段が検出する検出情報に基づ
いて、歌唱者が歌いながら行う振付動作等の動作のデー
タである歌唱者動作データを、カラオケ演奏に合わせて
リアルタイム作成する歌唱者動作データ作成手段と、そ
の歌唱者動作データをカラオケ演奏に合わせて出力する
歌唱者動作データ出力手段とを備えたことを特徴とす
る。

【０００７】該本発明のカラオケ装置おいては、歌唱者
の身体表面（着衣表面であってもよい）に設けられた動
作検出マーカの動きを動作検出手段にて検出し、その検
出情報に基づいて振付動作等の歌唱者動作データを、カ
ラオケ演奏に合わせてリアルタイム作成・出力するよう
にした。その出力される歌唱者動作データを活用するこ
とで、カラオケ装置の利用者自身の動作を装置側の機能
に種々の形態にて反映させることが可能となり、例えば
振付等の動作を介したカラオケイベントへの参加実感
を、従来のカラオケ装置と比較してはるかに高めること
ができる。

【０００８】上記本発明のカラオケ装置には、上記出力
される歌唱者動作データに基づいて、歌唱者動作を反映
したコンピュータグラフィック動画像（歌唱者対応ＣＧ
動画像）を合成する歌唱者対応ＣＧ動画像合成手段と、
その歌唱者対応ＣＧ動画像をカラオケ演奏に合わせて出
力する歌唱者対応ＣＧ動画像出力手段とを設けることが
できる。これにより、次のような斬新な効果を達成する
ことができる。

【０００９】例えば、歌唱者対応ＣＧ動画像を、歌手
やダンサー等の人間モデルの動画像とすれば、歌唱者自
らの振付等の動作が歌手やダンサーのＣＧ動画像の動き
に反映された形で出力・表示されることとなる。憧れの
歌手やダンサーのＣＧ動画像が、自身の動作通りに動く
のを見ながら歌唱することで、利用者は自らがＣＧ動画
像の表す歌手やダンサーになり切ったつもりでカラオケ
を楽しむことができる。すなわち、利用者自身をいわば
アイドル歌手化するといった仮想現実的効果を大いに高
めることができる。また、人間モデルに代えてアニメー
ションキャラクタのＣＧ動画像を使用すれば、現実には
絶対に入り込むことができないアニメーションの世界に
自らを没入させながら歌唱及び振付けを楽しむという、
風変わりな体験をすることが可能となる。

【００１０】他方、やや奇抜な発想ではあるが、例えば
利用者から見て異性の歌手やアニメーションキャラクタ
のＣＧ動画像を、歌唱者対応ＣＧ動画像として用いるこ
とも可能である。例えば、昨今では女装を趣味とする男
性の数も増加しつつあるが、現実に女装を実行に移すに
は相当の勇気が必要であり、女装したくとも願望のみで
留まっている潜在的な女装願望者（いわゆる「隠れ女装
願望者」）がかなりの数存在すると見られる。そこで、
例えば女性アイドル歌手のＣＧ動画像を歌唱者対応ＣＧ
動画像として使用すれば、実際に女装しなくとも女性ア
イドル歌手の気分を味わうことができるので、上記のよ
うな隠れ女装願望者は溜飲を下げることができる。この
場合、マイクから入力された歌唱音声を出力する歌唱音
声出力部に、入力音声波形を変調することにより原音声
とは異質の音声波形にこれを変換する音声変換部を設け
ることができる。例えば、男性の音声波形を女性的な高
音の音声波形に変換することで、歌唱する声が女性的な
ものに変じて出力されるので一層効果的である。

【００１１】プロの歌手やダンサーによる模範動作の
動画像データを記憶する模範動作動画像データ記憶手段
を設け、その模範動作動画像データに基づく模範動作動
画像に、歌唱者対応ＣＧ動画像として、歌唱者側に設け
られた動作検出マーカ位置を表す画像、あるいは動作検
出マーカ位置に対応してＣＧ等により合成される歌唱者
の輪郭画像を重ね表示する。この表示を見ながら動作す
ることで、利用者は、模範動作動画像と自分自身の動作
とのずれをリアルタイムにて確認することができる。そ
の結果、動作矯正の指針を得ることができ、振付け練習
等において大変効果的である。

【００１２】上記カラオケ装置には、歌唱者対応ＣＧ動
画像と組み合わされるべき１又は複数の人間モデルない
しアニメーションキャラクタの動画像（以下、随伴動画
像という）の画像データを記憶する随伴動画像データ記
憶手段と、その随伴動画像データに基づく随伴動画像を
歌唱者対応ＣＧ動画像とフレーム合成して、これを歌唱
者対応ＣＧ動画像出力手段に出力させる随伴動画像合成
出力制御手段を設けることができる。例えば、人気アイ
ドルペアやアイドルグループの歌を歌いながら振付け動
作する場合、メンバーの特定の一人を歌唱者対応ＣＧ動
画像にて表し、残りのメンバーを随伴動画像として合成
表示すれば、そのペアやグループの一員になったつもり
で楽しく歌唱及び振付け動作を行うことができる。ま
た、複数メンバーの息の合った振付け動作も、随伴動画
像の動作に歌唱者対応ＣＧ動画像を組み合わせること
で、一人で歌唱しているにも拘わらずリアルに再現する
ことができる。

【００１３】なお、歌唱者対応ＣＧ動画像出力手段は歌
詞表示手段に兼用することができる。この構成によれ
ば、歌唱者対応ＣＧ動画像により自分の振付け動作を確
認しながら、歌詞の確認も容易に行うことができる。そ
の結果、歌詞がうろ覚えの曲であってもこれに攪乱され
ることなく存分に歌って踊れ、立体的なカラオケ効果を
楽しむことができる。

【００１４】次に、本発明のカラオケ装置には、歌唱者
が行うべき基準となる歌唱者動作の動作データ（基準動
作データ）を記憶する基準動作データ記憶手段と、その
基準動作データと歌唱者動作データとの比較に基づいて
歌唱者動作の評価を行う歌唱者動作評価手段と、その評
価結果を出力する歌唱者動作評価結果出力手段とを設け
ることができる。歌唱者動作データと基準動作データと
を比較することにより、利用者が行う振付け動作等を客
観的に評価することが可能となる。そして、その評価結
果を出力することにより、例えば利用者は自らの振付け
動作の実力を定量的に確認することができ、その後の振
付け練習等に大いに参考にすることができる。また、カ
ラオケパーティ等の集いにおいては、歌唱しながら振付
け動作を披露し合い、評価結果を出力することでその場
を大いに盛り上げることができる。歌唱者動作データは
各時刻毎の動作検出マーカの位置の情報を含み、また、
基準動作データは、各時刻毎に動作検出マーカが位置す
べき標準的な位置（以下、標準マーカ位置という）の情
報を含むものとすることができ、歌唱者動作評価手段
は、各時刻毎に動作検出マーカ位置と標準マーカ位置と
が所定の位置関係を満足しているか否かを判別し、その
判別結果に基づいてポイントの加算及び／又は減算を行
い、当該ポイント値の大小によって歌唱者動作の評価を
行うものとすることができる。ポイント値の大小によっ
て歌唱者動作の評価を行うことで、評価結果をより理解
しやすいものとすることができる。

【００１５】次に、動作検出手段は、歌唱者を被写体と
して、該被写体に動作検出マーカとしてのカラーマーカ
を取り付けるか、又はその被写体の一部をカラーマーカ
として定めた状態において、その被写体の動作を撮影す
る１又は複数のカラーカメラと、カラーカメラからの映
像出力に基づくカラー映像信号を、そのデコード処理を
通じて各映像信号に含まれる色情報を特定数の色グルー
プに統合・集約することにより、カラー映像信号よりも
データ数の少ない画像データ（以下、色統合画像データ
という）を生成する色統合画像データ生成手段と、その
生成された色統合画像データに対し、カラーマーカの色
として予め指定された色（以下、マーカ指定色という）
の画素のデータを抽出するマーカ指定色抽出手段と、そ
の抽出されたマーカ指定色画素データに基づき、撮影さ
れた被写体のカラーマーカ位置を演算し、その演算結果
として得られるマーカ位置データを被写体の動作データ
として出力するマーカ位置データ演算・出力手段とを備
えるものとすることができる。

【００１６】カメラが撮影するカラーマーカを含めた被
写体のカラー画像は、例えばＲＧＢ映像信号の膨大な色
情報にて構成されているため情報量が莫大となり、その
ままでは動作データのリアルタイム作成に事実上不都合
なものとなる。そこで、被写体上のカラーマーカの画像
情報を特定数の色グループに統合・集約することで、情
報量が劇的に減ずるのでリアルタイム処理が容易とな
り、カラオケ装置全体のハードウェア構成も簡素化する
ことができる。

【００１７】また、動作検出手段は、動作検出マーカと
してのカラーマーカとして、１個のカラーマーカの表面
が、２以上の異なるマーカ色にて着色された複数領域に
区分されたものを用い、歌唱者を被写体として、該被写
体にそのカラーマーカを取り付けるか、又はその被写体
の一部をカラーマーカとして定めた状態において、その
被写体の動作を撮影するカラーカメラと、撮影された被
写体の動画像の、各フレームの画像データにおいて、マ
ーカ色に対応する特定の２以上の色が混在して存在する
領域をマーカ画像として特定するマーカ画像特定手段
と、その特定されたマーカ画像を構成するマーカ画素の
画素平面上の位置情報に基づいて、マーカ画素の集合と
して表されるマーカ画像の位置データを生成するマーカ
位置データ生成手段と、各動画フレーム毎に生成された
マーカ画像の位置データを、被写体の動作データとして
出力する動作データ出力手段とを備えるものとすること
ができる。

【００１８】上記構成によれば、被写体の体に付けるマ
ーカの色として、１個のカラーマーカの表面が、２以上
の異なるマーカ色にて着色された複数領域に区分された
ものを用い、マーカ色に対応する特定の２以上の色が混
在して存在する領域をマーカ画像として特定するように
した。その結果、色の組み合わせの異なるマーカ同士
は、一部の領域が同色に着色されていたとしても、異な
るマーカとして識別されるので、従来のモーションキャ
プチャシステムと比較してマーカ数も大幅に増やすこと
が可能となる。例えば、８色を識別色として採用する場
合、２色を組み合わせたマーカでは最大では２８種類、
３色を組み合わせたマーカでは最大で５６種類ものマー
カの識別が可能となる。

【００１９】また、動作検出手段は、各フレームの画像
データに対し、予め定められた形状及び大きさの仮想的
なマスク領域を、その画像データの画素平面上において
移動可能に設定するマスク領域設定手段と、各画素に対
し設定される複数の色のうち、２以上のものをマーカ色
に対する判別指定色として指定し、また、パターン条件
として、判別指定色画素のマスク領域内における個数、
判別指定色画素のマスク領域内における位置、及び判別
指定色画素が複数含まれる場合においてはそれらの相対
的な配置関係、の少なくとも１つを含むものを予め定
め、画素平面上に設定されたマスク領域において各判別
指定色の画素が、そのパターン条件に適合しているか否
かを判別するパターン適合判別手段と、マスク領域を画
素平面上で走査するマスク領域走査手段と、各走査位置
のマスク領域に対応する対象画素のうち、パターン条件
に適合と判別された画素（以下、適合画素という）を抽
出する適合画素抽出手段とを含み、マーカ位置データ生
成手段は、その抽出された適合画素の画素平面上の位置
情報に基づいてマーカ位置情報を生成するものとして構
成することができる。

【００２０】上記の構成では、画素平面上に移動可能に
設定されるマスク領域に対し、２以上の判別指定色を同
時に指定し、パターン条件として、各判別指定色の画素
がマスク領域内に共存していることを必須として定め、
画素平面上に設定されたマスク領域において各判別指定
色の画素が、そのパターン条件に適合しているか否かを
判別するようにした。これにより、マスク内において２
以上の色の画素を同時検出する形でパターンマッチング
（適合）が行われるので、２以上の色が混在した画像を
直接的にかつ精度高く認識可能となる。また、判別の条
件は、判別指定色画素の個数と位置、及び判別指定色画
素が複数含まれる場合においてはそれらの相対的な配置
関係、の少なくとも１つを含むものが使用されるので処
理内容が簡略化でき、リアルタイム処理への適用も容易
に図ることができる。なお、画素の個数や位置あるいは
相対位置は、同一色の画素のみに着目して検出を行って
もよいし、色の異なる画素同士の合計個数や相対位置等
を検出するようにしてもよい。

【００２１】この場合、設定されたマスク領域と所定の
位置関係を満足する１又は複数の画素を対象画素とし
て、その対象画素に対しパターン適合判別手段による判
別結果に応じた特定の出力状態を規定する対象画素デー
タを生成する対象画素データ生成手段を設けることがで
きる。対象画素データ生成手段は、判別指定色の画素の
配列がパターン条件に適合すると判別された場合には、
対象画素の出力状態を第一の出力状態に設定するデータ
を生成する一方、非適合と判別した場合には、対象画素
の出力状態を記第一の出力状態とは異なる第二の出力状
態に設定するデータを生成するとすることができる。こ
の構成は、パターン条件に適合する画素集合を、二値の
画像領域として認識したい場合に特に有効である。

【００２２】また、本発明の動画処理装置では、マスク
領域を画素平面上で走査するマスク領域走査手段と、各
走査位置のマスク領域に対応する対象画素のうち、パタ
ーン条件に適合と判別された画素（以下、適合画素とい
う）を抽出する適合画素抽出手段とを設けることができ
る。これにより、パターン条件に適合する画素からなる
領域を容易に抽出できる。具体的には、抽出された適合
画素のデータを、適合画素の集合として表される抽出画
像のデータとして出力する抽出画像データ出力手段を設
ける形とする。なお、色の違い、あるいは色の組み合わ
せの違い等により、２種以上の画像領域を互いに区別し
た形で抽出したい場合には、それぞれの種別を特定する
ための情報を適合画素データに付加する形で生成すれば
よい。

【００２３】また、抽出された適合画素の画素平面上の
位置情報に基づいて、適合画素の集合として表される抽
出画像の位置データを生成する抽出画像位置データ生成
手段を設けることもできる。これによれば、動画中の特
定のオブジェクト（例えばカラーマーカである）を抽出
画像として抽出し、その位置データを生成することで、
動画中でのオブジェクトの動きを容易にデータ化するこ
とが可能となる。

【００２４】原動画映像信号のデコード処理を通じて各
映像信号に含まれる色情報を特定数の色グループに統合
・集約することにより、デコード前の映像信号よりもデ
ータ数の少ない色統合画像データを生成する色統合画像
データ生成手段を設ける場合、マーカ画像特定手段は、
色統合画像データにおいてマーカ画像を特定するものと
することができる。例えば、色の数を設定マーカ色と同
数程度に集約統合することで、マーカ識別に必要十分量
の情報を残して、あとのデータを削減できるので、装置
構成を大幅に簡略化でき、リアルタイム処理への対応も
容易となる。

【００２５】マスク領域設定手段は、マスク領域内の各
画素に対応する色データ格納メモリ部が画素転送の時系
列順に配列されるとともに、画素転送クロックに同期し
て、それら色データ格納メモリ部に対し、各画素の色デ
ータを配列上流側から順送り的に転送・格納する転送制
御機能を有した転送制御機能付きメモリ回路部を含むも
のとして構成できる。これによれば、画素平面上でのマ
スクの設定及び移動が、画素転送クロックに同期したパ
イプライン処理によってハードウェア的になされるので
処理速度が飛躍的に向上し、歌唱者の動作を撮影しなが
らのリアルタイム処理を容易に実現できる。

【００２６】また、パターン適合判別手段は、設定され
たマスク領域内の各画素に対応して、該画素が判別指定
色に設定されているか否かが二値入力される色データ入
力端子を備え、それら色データ入力端子の入力状態の組
み合わせに一対一に対応する形で二値の判別結果を生成
・出力するハードウェアロジック判別回路を含むものと
して構成することができる。この構成によれば、パター
ン適合判別手段が、ＣＰＵ等で構成された制御主体に負
担をかけないハードウェアロジックで構成されるので処
理速度が飛躍的に向上し、歌唱者の動作を撮影しながら
のリアルタイム処理を容易に実現できる。なお、ハード
ウェアロジック判別回路は、例えば論理回路あるいはプ
ログラマブルロジックデバイス（ＰＬＤ）、さらにはル
ックアップテーブルメモリ等で構成できる。

【００２７】また、判別指定色として２種以上のものが
指定される場合、判別回路はその判別指定色に等しい数
だけ設けることができる。この場合、対象画素データ生
成手段は、各判別指定色の判別回路からの判別結果が二
値入力される複数の判別結果入力端子を備え、それら判
別結果入力端子の入力状態の組み合わせに一対一に対応
する形で、第一の出力状態及び第二の出力状態のいずれ
かを対象画素データとして出力するハードウェアロジッ
クデータ生成回路を含むものとして構成することができ
る。この構成によれば、対象画素データ生成手段が、Ｃ
ＰＵに負担をかけないハードウェアロジックで構成され
るので処理速度が飛躍的に向上し、歌唱者の動作を撮影
しながらのリアルタイム処理を容易に実現できる。

【００２８】本発明の動画処理装置には、カラー映像信
号を、そのデコード処理を通じて輝度の情報である輝度
情報と、色彩成分の情報である色彩情報とに分離する情
報分離手段と、その輝度情報により色彩情報を補正する
色彩情報補正手段とを設けることができる。この場合、
色統合画像データ生成手段は、その補正された色彩情報
を主体としてこれを特定数の色グループに統合・集約す
ることにより色統合画像データを生成するものとするこ
とができる。これにより、前記したシステムの簡素化と
ともに、光量変化の影響を受けにくいシステム構成が実
現される。

【００２９】また、カラー映像信号をデジタル変換する
映像信号デジタル変換手段と、そのデジタル変換された
カラー映像信号を所定の時間間隔にて取り込むことによ
り、被写体の画像データを生成する画像データ生成手段
とを設けることができる。この場合、情報分離手段は、
画像データの画素の色彩情報に対しこれを単一の成分か
らなる輝度情報と、第一色彩成分と第二色彩成分との２
成分からなる色彩情報とに分離するものとされ、色統合
画像データ生成手段は、第一色彩成分情報と第二色彩成
分情報とをそれぞれ特定数のグループに分割した場合
の、それら第一色彩成分情報グループと第二色彩成分情
報グループとの各組合せと、統合後の色彩情報（以下、
統合後色彩情報という）との対応関係を記憶した色彩統
合用ルックアップテーブルメモリを備え、各画素につい
て、その第一色彩成分と第二色彩成分とが対応する統合
後色彩情報を色統合用ルックアップテーブルメモリから
字引的に読み出して、これをその画素の色彩データとす
るものとして構成することができる。この構成によれ
ば、カラー画像データの２つの色彩成分の統合処理を、
ルックアップテーブル（以下、ＬＵＴと略記する場合が
ある）メモリを用いて迅速に行うことができ、これによ
って演算に関与するデータ量が大幅に減少させることが
できるから、簡素な回路構成で動画処理を迅速に行うこ
とができるようになる。

【００３０】具体的には、色彩情報補正手段は、統合後
色彩情報と輝度情報とをそれぞれ特定数のグループに分
割した場合の、それら統合後色彩情報グループと輝度情
報グループとの各組合せと、輝度補正後の色彩情報との
対応関係を記憶した補正用ルックアップテーブルメモリ
を備え、各画素について、その統合後色彩情報と輝度情
報とが対応する輝度補正後色彩情報を、その画素の補正
後色データとして補正用ルックアップテーブルメモリか
ら字引的に読み出すものとすることができる。この構成
では、補正用ルックアップテーブルメモリの使用により
輝度情報を統合後色彩情報に組み込む形で補正を行うこ
とにより、情報量の削減を一層効果的に行うことが可能
となり、かつ光量変化の影響もより受けにくくなるの
で、生成されるマーカ位置データの精度も高くなる。

【００３１】なお、上記構成では、２種の色彩情報を統
合後に、輝度情報の繰り込み（補正）を行うようにして
いたが、この順序を逆とすること、すなわち、色彩情報
をそれぞれ輝度により補正した後、それらを統合するよ
うに構成してもよい。具体的には色彩情報補正手段は、
第一色彩成分及び第二色彩成分のそれぞれに対応して、
その色彩情報と輝度情報とをそれぞれ特定数のグループ
に分割した場合の、それら色彩情報グループと輝度情報
グループとの各組合せと、輝度補正後の色彩情報との対
応関係を記憶した第一及び第二の補正用ルックアップテ
ーブルメモリを備え、各画素について、各色彩情報と輝
度情報とが対応する輝度補正後色彩成分情報を、その画
素の補正後色彩成分情報として、それぞれ対応する補正
用ルックアップテーブルメモリから字引的に読み出すも
のとする。そして、色統合画像データ生成手段におい
て、第一色彩成分情報と第二色彩成分情報とはそれぞれ
輝度補正後のものを使用するようにする。

【００３２】また、適合画素の集合として表される抽出
画像の位置データを生成する抽出画像位置データ生成手
段は、画像データ毎の、指定色画素データに基づく抽出
画像位置データの演算・出力を、画素の転送周期（例え
ば、画素の転送クロックパルスの周期）と同期して逐次
行うものとして構成することができる。この構成によれ
ば、画素の転送周期に同期（例えば、転送クロックパル
スの周波数は８〜３０ＭＨｚ程度である）させて、各画
像フレームの抽出画像位置データの演算をパイプライン
的に高速で行うことができるから、例えばモーションキ
ャプチャシステムの場合、フレーム毎のマーカ位置デー
タを含む動作データの作成を撮影時にリアルタイムで行
うことが可能となる。特に、１０ＭＨｚ（例えば１４〜
１５ＭＨｚ）以上のクロックパルス周波数を採用するこ
とにより、動作データのリアルタイム作成にとりわけ好
適な高速処理環境を実現することができる。

【００３３】一般に、カラー画像データは、ＲＧＢの三
原色表示において各色成分を８ビット（２５６段階）の
データとして記述した場合（輝度成分と２種の色彩成分
のそれぞれを８ビットで記述した場合も同じ）、２⁸×
２⁸×２⁸＝１６７７万通りもの膨大な情報量となり、パ
ソコン等に使用される低廉なＣＰＵの処理能力ではリア
ルタイム演算は到底不可能に近い。しかしながら、上記
本発明の方式のように、色情報の統合・集約により情報
量を減ずることにより、処理速度の比較的遅い低廉なＣ
ＰＵ（コンピュータ）においてもリアルタイム演算が可
能となるのである。

【００３４】この場合、抽出画像位置データ生成手段
は、各画像データのフレームに対し、抽出画像領域に含
まれる画素の水平方向の座標成分ｘの総和Σｘと、同じ
く垂直方向の座標成分ｙの総和Σｙと、各領域中の画素
総数ｎとを含む抽出画像位置データを演算・出力するも
のとして構成することができる。これによれば、得られ
るΣｘ、Σｙ及びｎのデータをもとに、抽出画像（例え
ばカラーマーカの画像）の重心位置Ｇを、（Σｘ／ｎ，
Σｙ／ｎ）により簡単に求めることができる。重心位置
は、例えばカラーマーカの回転移動の影響を受けないの
で動作データとして扱いやすく、本発明に有用である。

【００３５】かつ、Σｘ及びΣｙは、例えば通常の走査
方式によるビデオ撮影装置系に必ず設けられている画像
の同期制御部を流用して、簡単に演算できる利点があ
る。すなわち、撮影装置からの映像信号は画素に分解さ
れ、走査線毎に区切られてシーケンシャルに転送され
る。この転送時において、画素データ列には、水平方向
及び垂直方向の同期信号が挿入されるのが通常であるか
ら、画素転送クロック周期が一定であれば、受像側でそ
の水平同期信号を受けてからの転送画素の個数をカウン
トすることで、各画素の画面上における水平方向座標を
特定することが可能となる。なお、転送画素のカウント
は、当然のことながら画素転送クロックパルスを利用で
きるので、迅速処理が可能であることはいうまでもな
い。他方、垂直同期信号を受けてから、所期の画素位置
までの走査線本数（例えば１走査線毎に挿入される水平
同期信号の数と等価である）をカウントすることによ
り、垂直方向座標も特定することができる。また、Σ
ｘ、Σｙ及びｎは、いずれも単純な加算量であるから、
加算器を用いた極めて簡単な回路構成により迅速な処理
が可能であり、前記したリアルタイム演算を行う上でも
有利である。

【００３６】次に、本発明にてルックアップテーブルメ
モリを使用する場合、第一及び第二の色彩成分情報、輝
度情報あるいは統合後色彩情報等の、読出し対象データ
特定情報をアドレス線にて指定することにより、そのア
ドレスにて指定されるメモリセルから、読出し対象デー
タ特定情報にて特定される読出し対象データが字引的に
読み出されるものとして構成することができる。また、
各画像データに対する、ルックアップテーブルメモリか
らの読出し対象データの読出し処理を、画素の転送周期
と同期して逐次的に行わせる読出し制御手段が設けるこ
とができる。上記構成のルックアップテーブルメモリの
採用により、読出し対象データ特定情報をアドレス線に
て指定することで、読出し対象データに迅速にアクセス
できる。その結果、画素転送周期と同期した高速処理が
実現し、前記したリアルタイム処理も無理なく行うこと
が可能となる。

【００３７】

【発明の実施の形態】以下、本発明のカラオケ装置の実
施の形態を、図面に示す実施例を参照して説明する。図
１は、本発明の一実施例たるカラオケ装置１の全体の電
気的構成の一例を示すブロック図である。装置は大きく
分けてカラオケ装置本体１００と、これに接続された動
作データ作成システム（歌唱者動作データ作成手段）２
とからなる。動作データ作成システム２は、大きく分け
て画像入出力部（画像データ生成手段）４、画像抽出機
構部５、抽出画像データ出力制御部６及びマーカ画素計
数部（抽出画像位置データ生成手段、動作データ出力手
段）７の４つの部分を備えており、Ｉ／Ｏポート９にお
いてカラオケ装置本体１００に接続されている。また、
動作データ作成システム２には、画素転送クロックパル
スを与えるクロックパルス発生回路や、その他、画像入
出力部４における各種制御を司るシステムコントローラ
３が設けられている。

【００３８】図３０に示すように、上記カラオケ装置１
を使用するに当たってカラオケ装置の利用者（歌唱者）
ＧＡＬは、体の所定の位置にカラーマーカＭＫを複数取
り付ける。カラーマーカとしては全体が単色に着色され
たものを使用してもよいが、本実施例では、１個のマー
カの表面が、２以上の異なるマーカ色にて着色された複
数領域に区分されたものを用いる。図３２に示すよう
に、この実施例では、例えば球状のマーカの表面を、互
いに略９０°の角度にて交差する２本の大円にて４つの
領域に区切り、これらを互い違いに２色にて塗り分けた
マーカを用いている。

【００３９】マーカＭＫの取り付け位置は、歌唱者の振
付け動作をどの程度まで正確に取り込むかに応じて適宜
設定すればよいが、例えば体全身の動きを違和感なく表
現できる動作データを得るには、関節にて区切られた体
の各部にマーカを分散させて取り付けることが望まし
い。この実施例では、頭部に１箇所（図３５：Ｍ1）、
胴体に２箇所（胸部近傍に１箇所（図３５：Ｍ2）、腹
部近傍に１箇所（図３５：Ｍ3））、左右の腕に各２箇
所（肘関節を挟んで各１箇所ずつ（図３５：Ｍ4〜Ｍ
7））、左右の脚に各２箇所（膝関節を挟んで各１箇所
ずつ（図３５：Ｍ8〜Ｍ11））の計１１箇所にマーカを
取り付けているが、これに限られるものではない。例え
ば、歌唱者ＧＡＬの動きをより精密に取込むために、さ
らに多数のマーカを取付けるようにしてもよい。

【００４０】マーカＭＫは、歌唱者ＧＡＬに対し各種着
脱固定手段により取り付けることができる。例えば腕や
脚については、着脱固定手段としての紐状あるいは帯状
の可橈性部材１３１の中間部にマーカＭＫを取り付け、
該可橈性部材１３１を腕や脚に巻き付けて結びとめる方
式や、リング状のゴムバンドにマーカＭＫを取り付け、
腕や脚に嵌め方式が可能である。また、頭については、
マーカＭＫを取り付けたヘアバンド１３０を嵌める構成
としているが、図３１に示すようにマーカＭＫを取り付
けた帽子１３２をかぶるようにしてもよい。一方、胴体
のマーカは、歌唱者ＧＡＬの着衣に、着脱固定手段とし
て図３２に示すような安全ピン１３３や、両面粘着テー
プあるいは圧着ファスナ等を用いて固定することができ
る。また、図示はしていないが、マーカＭＫをはじめか
ら取り付けた専用のスーツをカラオケ装置１が設置され
る店側にて用意しておき、歌唱者ＧＡＬがその都度これ
を借りて着用することも考えられる。

【００４１】以下、本発明にて使用可能なカラーマーカ
の他の態様について説明する。図２４（ａ）〜（ｏ）
は、プレート状に形成したマーカＭＫの各種例を示して
いる。図にも示す通り、マーカの外形は種々のものが採
用可能であり、その塗り分けパターンも、平行分割
（（ａ）、（ｇ）、（ｈ）、）、放射状分割（（ｂ）、
（ｃ）、（ｄ）、（ｆ）、（ｉ）、（ｋ）、（ｌ）、
（ｍ）、（ｎ））、同心円状分割（（ｅ）、（ｊ）、
（ｏ））等、さまざまなものが可能である。このうち、
（ａ）、（ｂ）、（ｅ）、（ｆ）、（ｋ）、（ｎ）は２
色マーカ、（ｃ）、（ｇ）、（ｊ）、（ｌ）は３色マー
カ、（ｈ）、（ｍ）、（ｏ）は４色マーカの例である。
また、マーカ寸法は最大さしわたしで２〜８ｃｍ程度
（例えば５ｃｍ程度）のものを使用することが、被写体
に着用の違和感がなく、かつマーカ認識の精度を確保す
る観点から望ましいといえる。

【００４２】一方、プレート状のマーカの場合、例えば
横方向からマーカが撮影されると死角に入ってマーカ色
が識別不能となる場合がある。このような不具合を解消
するためには、図３２にすでに示したものも含め、立体
形状マーカを使用することが有効である。この実施例で
は、マーカ上の色をマーカ指定色として、全ての色が同
時検出された場合にのみマーカ検出と判別されるので、
見る角度によって一部の色しか現われなくなるような塗
り分けパターンは、マーカ検出されない場合がありうる
ので望ましくない。従って、任意の方向において全ての
マーカ色が視認できるよう、各色の領域が分散あるいは
入り組んで形成された形のものが望ましいといえる。図
２５〜図２７には、その立体マーカのいくつかの例を示
している。例えば図２５及び図２６では、マーカ全体を
球状に形成しており、図２５では、その球表面を六角形
状の領域と五角形状の領域とで隙間なく埋め尽くした、
サッカーボール状の塗り分けパターンを採用している。
（ａ）は２色マーカ、（ｂ）は３色マーカの例であり、
（ｃ）は各領域をそれぞれ放射状に分割して、さらに細
かく３色で塗り分けた例を示している。

【００４３】また、図２６（ａ）、（ｂ）は、経線状の
区分線Ｖにより、同図（ｃ）及び（ｄ）は緯線状の区分
線Ｔにより球表面を区分して、それぞれ２色又は３色に
塗り分けた例を示す。また、（ｅ）は、背景領域Ｍと、
これに分散させた不定形状の分散領域Ｄとを３色にて塗
り分けた例を示している。また、立体形状のマーカは、
球状のものに限らず、各種形状のものを採用できる。例
えば、図２７は、球状の本体表面から、角状（あるいは
針状）の突出部が複数突出した外形を有し、各突出部の
外面を３色に塗り分けた例である。

【００４４】このような、複数色に塗り分けたマーカＭ
Ｋを採用することにより、互いに識別可能なマーカの数
を、単色のマーカを使用する場合と比較して大幅に増や
すことができる。例えば６色（COR１〜COR６）のマーカ
指定色から任意のものを選択して、マーカ色としてこれ
を使用する場合を考えると、単色マーカの場合は、表１
に示す通り、色の数に等しい６種類のマーカのみが可能
である。表中、「１」は採用する色を示し、「０」は採
用しない色を示す。また、ＭＫ１〜ＭＫ６は、それぞれ
マーカの番号を表す。

【００４５】

【表１】

【００４６】しかしながら、２色マーカの場合は表２に
示す通り、６から２を選択する組み合わせの数（₆Ｃ₂）
に等しい種類のマーカを使用できるようになる。また、
３色マーカでは表３に示す通り、₆Ｃ₃＝２０通りのマー
カが使用可能となる。例えば、表３のＭＫ＃２は、COR
１，COR２及びCOR４の３色にてマーカ表面が塗り分けら
れていることを意味する。

【００４７】

【表２】

【００４８】

【表３】

【００４９】図３３に示すように、このようにカラーマ
ーカＭＫを着用した歌唱者ＧＡＬは、互いに異なる方向
から複数台（この実施例では２台）のカラーカメラ１５
にて撮影される。これらカラーカメラ１５は、例えばよ
く知られたＣＣＤカメラを使用できる。また、本実施例
では、歌唱するためのマイク１１６は吊り下げ式のもの
を使用しているが、あるいは図示しないスタンド等に取
り付けて配置するものや、ペンダントマイク等を体に取
り付けるようにしてもよい。また、マイク１１６を手に
持って歌唱してもよい。

【００５０】図２は、画像入出力部４の詳細を示すブロ
ック図である。カラーカメラ１５はビデオデコーダ１６
に接続されている。図１０に示すように、カラオケ装置
本体１００からの指令により作動するビデオスイッチ３
に複数のカラーカメラ１５を接続し、あるカメラ１５に
おいて被写体上の所定のカラーマーカが死角に入った場
合に、死角に入っていないカメラ１５に適宜切り替えて
使用するようにしている。また、２台のカメラ１５，１
５使用により、カラーマーカの位置をステレオ撮影し、
マーカの三次元重心位置を算出するようにしてもよい。

【００５１】カラーカメラ１５のＲ（赤色信号）、Ｇ
（緑色信号）及びＢ（青色信号）の各映像信号（あるい
はビデオコンポジット信号）は、輝度と色を分離した１
表現形式であるＹ、Ｃｒ、Ｃｖによるデジタル信号にデ
コードされる。なお、この実施例では、装置の概念をわ
かりやすくするために、各信号のデータビット数は６ビ
ットと、やや小さく設定されているが、当然のことなが
ら信号のデータビット数はこれに限られるものではな
く、また、６ビット以外のものが採用されたとしても装
置の基本的な構成は全く変わらない（一般的には、各色
の信号としては８ビットのものが使用されることが多い
ようである）。

【００５２】ここでＹ、Ｃｒ、Ｃｖによる映像の表現形
式は公知であるため、詳しい説明は省略するが、Ｙは輝
度の信号であり、また、Ｃｒ，Ｃｖは彩度と色相が特定
された色情報の信号であり、色相と彩度とを独立パラメ
ータとした二次元座標空間を張るものとなる（第一及び
第二の色彩成分情報に相当する）。このような表現形式
を用いることで、色は色相と彩度の二次元空間で表わさ
れるため色指定が容易になり、また輝度が独立している
ため、照明の影響を受けにくい処理が可能となる利点が
ある。

【００５３】デコードされたＹ、Ｃｒ、Ｃｖの各デジタ
ル信号は、ルックアップテーブルメモリ群１８（以下、
ルックアップテーブルメモリを「ＬＵＴ」と略記する場
合がある）に入力される。ＬＵＴ群１８には、２つのＬ
ＵＴ回路１９，２０が設けられている。公知のように、
ルックアップテーブルメモリは、予め全ての入力データ
に対する演算結果をメモリに登録しておき、アドレス線
をデータ入力に用いて、登録されたデータを選択出力す
ることにより字引的に演算結果を出力する機能を有する
ものである。

【００５４】データ処理の流れを概略的に言えば、色彩
統合用ＬＵＴ回路２０で画像データを限られた数の色グ
ループに分割・統合して、所定種類（例えば６ビットで
あれば６４種類、８ビットであれば２５６種類）の色グ
ループに統合する。また、輝度組込用ＬＵＴ回路１９
は、輝度の信号により統合後の色彩データに補正をかけ
る。まず色彩統合用ＬＵＴ回路２０には、Ｃｒデータと
Ｃｖデータとが入力される。そして、カラーマーカとし
て使用される複数種の色グループに統合（集約）され、
輝度組込用ＬＵＴ回路１９において輝度を含めて必要な
色グループに分割・統合される。ここでは、COR（色）
１〜COR６の６ビットの色グループ番号情報として出力
されるようになっている。

【００５５】例えば８ビットの場合を例にとれば、Ｃｒ
成分が８ビット、Ｃｖ成分が８ビットであるから、特定
される色成分は６万数千通りあるが、これが２５６種類
の色グループに分割・統合される。概念的に言えば、必
要な色グループが１から２５６まで２５６通り予め設定
（登録）され、これが輝度組込用ＬＵＴ回路１９に登録
されている。Ｃｒデータ及びＣｖデータ等の全ての組合
せは、これら２５６通りの色グループのいずれかに属す
るようにＬＵＴ回路２０，１９でいわば順次ふるい分け
られる（分類される）。言い換えれば、色データ（色彩
あるいは輝度）の全ての入力データ（１６ビットのデー
タの個々）に対する演算結果（２５６の色グループ）を
メモリに登録し、アドレス線をデータ入力に用いて、予
め登録されたデータ（すなわち２５６色グループのいず
れか）を選択出力することにより、１６ビットの色成分
が８ビットの色グループに統合されることになる。図４
は、そのＬＵＴ回路のメモリセル部の一例をごく概念的
に示すものであり、１６ビットの入力データをデータＡ
及びデータＢとして、それらの内容に対応したアドレス
線の選択により、対応するセルの登録データＤＲ11，Ｄ
Ｒ12‥‥等のいずれかが読み出される二次元テーブルと
なっている。

【００５６】なお、ＬＵＴ回路１９，２０には、スタテ
ィックラム（ＳＲＡＭ）が用いられており、２５６通り
の色データは任意に設定することができる。ＳＲＡＭは
リフレッシュのための回路部が不要であるから、システ
ム全体の簡略化に貢献している。例えば、入力画像２４
ビット（Ｙ：８ビット、Ｃｒ：８ビット、Ｃｖ：８ビッ
ト）の約１６７７万色の色表現をカラーカメラ毎に統合
・分割し、２５６種類の色グループ信号として出力する
ことにより、情報量を約１／６万にまとめることで容易
な計算が実現されるのである。

【００５７】各ＬＵＴ回路１９又は２０は同一のハード
ウェア構成を有し、これをより詳細に示したものが図３
である。この図３全体が１つのＬＵＴ回路を構成し、例
えば図２の色彩統合用ＬＵＴ回路２０に相当するものと
なる。図３でデータＡ及びデータＢの各入力信号は、そ
れぞれＣｒ、Ｃｖに相当するもので、それがＯＤの６ビ
ットの信号となって出力される。ＬＵＴメモリ１６０に
は、ＬＵＴメモリコントローラ１５９（以下、ＬＭＣＮ
と記す：この実施例では、図２のシステムコントローラ
３に組み込まれている）が付属し、また、そのデータの
入力側に、Ｄ型フリップフロップ回路１６１，１６２
が、また、出力側にＤ型フリップフロップ回路１６４が
設けられている（以下、本明細書ではＤ型フリップフロ
ップ回路のことをＤラッチと称する）。これらのＤラッ
チは、いずれもアウトプットコントロール端子（インヒ
ビット入力端子）ＯＣを有するものが使用されている。

【００５８】カラオケ装置本体１００からのデータバス
は、双方向バストランシーババッファ１６６を介してＬ
ＵＴメモリ１６０に接続される。また、カラオケ装置本
体１００からのアドレスバスは、バスバッファ１６８，
１６９を介してＬＵＴメモリ１６０のデータＡ用のアド
レスとデータＢ用のアドレスとにそれぞれつながってい
る。

【００５９】ＬＵＴ回路に初期設定を行う場合、カラオ
ケ装置本体１００はＬＵＴメモリ制御信号（ＬＭＣＮ
Ｔ）を用いてＬＭＣＮ１５９にバス要求命令を送る。こ
れに従い、ＬＭＣＮ１５９は、Ｄラッチ１６１，１６
２，１６４のアウトプットコントロール信号（ＯＣ）を
制御し、データフリップフロップ１６１〜１６５の出力
を非能動状態とするとともに、双方向バストランシーバ
バッファ１６６及びバスバッファ１６８，１６９の出力
イネーブル信号Ｇを制御し、これらの出力を能動状態に
する。これにより、カラオケ装置本体１００がＬＵＴメ
モリ１６０に対し読み書きができる状態になり、初期設
定が行われる。

【００６０】ＬＵＴメモリ１６０へのデータ入力終了
後、カラオケ装置本体１００は前記ＬＭＣＮＴを用いて
ＬＭＣＮ１５９にバス解放命令（演算実行命令）を送
る。これにより、ＬＭＣＮ１５９は双方向バストランシ
ーババッファ１６６及びバスバッファ１６８，１６９の
出力イネーブル信号Ｇを制御し、Ｄラッチ１６１，１６
２，１６４のアウトプットコントロール信号（ＯＣ）を
制御し、Ｄラッチ１６１，１６２の出力を能動状態にす
る。その結果、ＬＵＴメモリ１６０への入力データＡと
データＢにより字引的に求められた演算結果がＯＤに出
力されるようになる。ここで、Ｄラッチ１６１，１６２
その他は処理を行う画素の転送クロックパルスを用いて
これに同期して動作させることで、高速演算処理を実現
している。なお、各ＤラッチにおけるＣＫはクロックパ
ルス入力の端子であり、双方向バストランシーババッフ
ァ１６６のＤＩＲはバス方向制御信号入力の端子であ
る。そして、前述の通りクロックパルスは、システムコ
ントローラ３（図２）に組み込まれたパルス発生回路が
発する画素転送クロックパルスが使用される。

【００６１】こうして情報量を減じられ、例えばCOR１
〜COR６の６ビット情報にまとめられた画像データは、
図２において一旦フレームメモリ２１に蓄積された後、
図１の画像抽出部５に入力される。フレームメモリ２１
では、飛越し走査にて出力されてくるカメラからの映像
信号を奇数走査メモリ２２と偶数走査メモリ２３とにそ
れぞれ格納し、これを合成することで、順次走査信号に
走査変換する役割を果たす。なお、ＬＵＴメモリ群１８
とフレームメモリ２１とへのデータの読み書き制御は、
システムコントローラからの制御信号ＬＴＣＮＴ及びＦ
ＭＣＮＴにより行われる。

【００６２】以下、画像抽出部５で行われる処理の内容
を概略説明し、次いでその処理機能がハードウェア的に
どのように実現されるかについて説明する。該画像抽出
部５（図１）では、撮影された画像上に上記のようなカ
ラー間の画像が存在するか否かを、次のような流れにて
判別し、そのマーカの抽出画像データを生成・出力す
る。すなわち、図１２に示すように、図２のフレームメ
モリ２１から出力される動画フレームの画素平面ＳＣ上
に、所定の大きさ及び形状のマスク領域（以下、単にマ
スクともいう）ＭＫを、該画素平面上にて縦横に移動可
能に設定する。具体的には、マスクＭＳＫは、走査線の
例えば左端から右端に向けて水平移動し、右端に到達し
たら、走査線１本分だけ下に移動して左端に戻り、同様
に水平移動を繰り返す形で画素平面ＳＣ上を走査され
る。

【００６３】例えば、図１２（ａ）に示すように、マス
クＭＳＫが画素平面ＳＣ上のある位置に存在している場
合を考える。ここでは、マスクＭＳＫとして、水平方向
（走査線と平行な方向）に３個、垂直方向（走査線と直
交する方向）に３個の、画素Ｐ0〜Ｐ9の都合９個の画素
をマトリックス状に配列しているものを採用するが、マ
スクＭＳＫの形態はこれに限られるものではなく、例え
ば図１４に示すように水平方向に一列に画素が並ぶも
の、あるいは円状のものなど、各種採用することができ
る。

【００６４】例えばCOR１とCOR２とからなる２色のマー
カ（例えば図２４（ａ）に示すようなもの）を使用して
いる場合、その像が撮影されれば、図１２に示すように
画素平面ＳＣ上に、COR１の画像領域（以下、COR１領域
という）とCOR２の画像領域（以下、COR２領域という）
とが隣接して現われているはずである。例えば、マスク
ＭＳＫがCOR１領域とCOR２領域との境界ＢＤにまたがる
形で位置している場合、マスクＭＳＫ内においてはCOR
１の画素とCOR２の画素とが同時に検出される形とな
る。他方、この境界ＢＤから外れてマスクＭＳＫが位置
している場合は、COR１とCOR２とは全く検出されない
か、一方のみが検出される形となる。しかし、たとえ一
方の色が検出されたとしても、それがマーカの画像に由
来するものであるかどうかは判別がつかない。なぜな
ら、別のマーカＭＳＫでその色を使用している可能性も
あるからである。従って、このような場合は、マスクＭ
ＫはマーカＭＫを検出していないと判別するのである。
なお、マーカとして識別が可能となるためには、マーカ
ＭＫの背景部分が、マーカ色であるCOR１及びCOR２のい
ずれとも異なる色（例えばCOR３）になっていなければ
ならない。従って、使用する画像データは、最低３つの
色の画素が混在したものが使用される形となっているこ
とは自明であろう。

【００６５】さて、マスクＭＳＫがマーカＭＫを検出し
ているかどうかを最も簡便に判別するには、マスクＭＳ
Ｋ内に全てのマーカ指定色の画素がそれぞれ１個でも含
まれているかどうかをチェックすればよい。この場合、
マスク内に指定色の画素が１個でも存在していれば、図
１７に示すいずれか１つのパターン条件に適合するはず
である。図中、ハッチングを施した画素が指定色の画素
であり、他はそれ以外の色の画素であることを示してい
る。従って、各画素毎の色データのうち、指定色の色デ
ータを含む画素が、図１７のいずれかのパターンに当て
はまっているかどうかを、マーカＭＫに含まれる全ての
色について順次チェックすればよいわけである。このチ
ェックは、例えば指定色の色データが２値のデータであ
れば、各画素Ｐ0〜Ｐ8に対する指定色の設定状態をｘ
(0)〜ｘ(8)として、それらの論理和をとることで簡単に
調べることができる。

【００６６】しかしながら、指定色の画素が１個存在す
るか否かのみでチェックを行おうとすると、図１９
（ａ）のに示すように、ノイズ等の影響で突発的に発
生した孤立画素ＰＣの影響を受けて、マーカを誤検出し
てしまう危険性がある。この場合は、例えばマスク内に
最低２以上の指定色の画素が存在しているか否か、ある
いはさらに厳しい条件として、複数の画素が特定の位置
関係を満足した形で存在しているか否かを調べるように
する。例えば、指定色の画素が、上下左右のいずれかに
２以上隣接して存在しているか否かを調べるためのパタ
ーン条件を、図１８に示している。このようなパターン
条件を採用すれば、マーカ検出と判別されるのは、図１
９の及びのようなパターンであり、やはマーカ
なしと判別される。なお、斜めの隣接画素をパターン条
件に含めることで、図１９ののパターンもマーカ検出
と判別されうることは容易に理解されるであろう。

【００６７】さて、マスクＭＳＫ内の指定色の画素配列
に対し、上記のようなパターンマッチングを行うことに
より、マーカ検出と判別された場合には、そのマスクＭ
ＳＫの位置を代表する画素（対象画素）を、マーカ画素
（抽出画素）として抽出し、その画素のアドレスに対し
て、検出された指定色の組み合わせに合致するマーカ番
号のデータを出力する。なお、図１３に示すように、対
象画素ＳＰＣは、本実施例では、マスクＭＳＫ内の左下
の画素Ｐ6 として定めるが、これに限定されるものでは
なく、また、マスクＭＳＫと一定の位置関係を保持する
条件さえ満たしていれば、対象画素ＳＰＣをマスクＭＳ
Ｋの外に設定してもよい。

【００６８】例えば特定のマーカ番号に着目して見た場
合、画素平面上のある対象画素のアドレスについて、そ
のマーカ番号のデータが格納されていれば、対象画素の
出力状態は第一の出力状態になっており、同じく格納さ
れていなければ、対象画素の出力状態は第二の出力状態
になっていると考えることができる。そして、第一の出
力状態になっている対象画素は、そのマーカ番号のマー
カ画素である。

【００６９】図１２（ａ）に示すマーカＭＫの場合、CO
R１とCOR２とをマーカＭＫ指定色として、図１８のパタ
ーン条件にてマッチングを行いながら、マスクＭＳＫを
画素平面ＳＣ上で走査した場合、マーカ画素は図１２
（ｂ）のような形で抽出される。これらマーカ画素は、
図１２（ａ）の境界ＢＤの左側に沿って縦３個、横２個
の形で配列して抽出マーカ画像を形成する。この抽出マ
ーカ画像は、もとのマーカＭＫの画像のうち、境界ＢＤ
に沿う一部領域のみを取り出したものに相当する。

【００７０】なお、図２２には、各種マーカにおける抽
出マーカ画像ＥＩの例を示している（（ａ）〜（ｃ）は
図２４の（ａ）〜（ｃ）の、（ｄ）は図２５（ａ）の各
マーカを使用した場合をそれぞれ示している）。なお、
Ｇは、抽出マーカ画像ＥＩの各画素の位置座標から後述
する方法にて算出される、マーカ重心位置である。

【００７１】他方、複数色のマーカ検出（あるいはモー
ションキャプチャとしての使用）という目的を離れ、例
えば特定のある１つの色のみを指定色として設定した場
合、マスクＭＳＫと一定の位置関係を保持する画素を対
象画素とし、パターンマッチングした場合にこれを抽出
画素として設定することで、画像抽出部５（図１）を、
指定色に対する一種の画像フィルタとして利用すること
ができる（これは、例えば工業検査技術等へ応用するこ
とが可能である）。例えば、図１８のパターン条件を採
用すると、図１９（ａ）のやのパターンは、図２１
（ｂ）に示すように、マスクＭＳＫをどのように位置合
わせしてみてもパターンマッチングしないから、図１９
（ｂ）、に示すように抽出画素が現われず、いわば
ノイズ除去される形となる。他方やのパターンで
は、異なる位置のマスクＭＳＫに対して同じ画素が共通
にマッチングする結果、画素が補われて画像が強化され
る。例えばのパターンの中央に開いた穴は、図２１
（ａ）に示すマスクＭＳＫ位置で抽出画素ＥＰＣが現わ
れる結果、埋められる形となる。

【００７２】図２０（ａ）〜（ｉ）は、マスクＭＳＫの
走査により、図１９ののパターンに対してフィルタリ
ング処理が施される様子を表している。それぞれ右側の
図では、マスクＭＳＫを実線により表し、対象画素は右
下がりのハッチングして、フィルタリング前の指定色画
素は右上がりのハッチングでそれぞれ示している（対象
画素とフィルタリング前の指定色画素とが重なる場合
は、双方のハッチングが入っている）。また、左側の図
では、抽出画素を右下がりのハッチングで表している。
（ｃ）のステップでは、図１８のいずれのパターンにも
マッチングしていないから、その前の（ｂ）の段階とで
抽出画素の状態は変化していない。それ以外のステップ
は、全てパターンマッチングしている場合であり、対応
する新たな抽出画素が増えていることがわかる。

【００７３】上記のような画像抽出部５の機能は、例え
ば図５及び図７に示すハードウェア構成により実現する
ことができる。まず、図２のフレームメモリ２１からの
６つの色データCOR１〜COR６は、画像抽出部５の前段部
分を構成する図５のマスク設定処理回路３０に入力され
る。マスク設定処理回路３０はマスク領域設定手段とし
て機能するものであり、マスクＭＳＫ内の各画素に対応
するデータ格納メモリ部３２が画素転送の時系列順に、
すなわち上流側から直列的に配列された構成を有し、画
素転送クロックに同期して、それらデータ格納メモリ部
３２に対し、各画素の色データ（COR１〜COR６：出力設
定状態データ）を配列上流側から順送り的に転送・格納
する、データ転送制御機能を有した転送制御機能付きメ
モリ回路部として作動する。

【００７４】具体的には、動画フレームの走査方向と平
行に隣接配列する複数の画素（走査方向配列画素：ここ
では、図１３においてＰ0〜Ｐ2、Ｐ3〜Ｐ5、Ｐ6〜Ｐ8の
各３個ずつ）を包含する形でマスク領域を設定するため
に、各データ格納メモリ部３２は１種のシフトメモリ回
路として構成されている（従って、それら自身転送制御
機能付きメモリ回路部として機能するものである）。具
体的には、走査方向配列画素に１対１に対応する複数の
メモリセル３３を有し、画素転送クロックを受ける毎に
対応する画素の色データを、転送時系列順にメモリシフ
トしながら順次格納するものとして機能する。各シフト
メモリ回路３２の各メモリセル３３の色データは、マス
ク内の対応する画素の色データとして、データ出力部３
４から出力される。シフトメモリを採用することで、マ
スクＭＳＫに対する走査線方向の相対的な画素転送、す
なわちマスクＭＳＫの走査線方向の相対移動処理が、パ
イプライン処理の形で実現される。これにより、画素平
面上でのマスクＭＳＫの移動を迅速に行うことができ、
リアルタイム処理等への対応上一層有利となる。

【００７５】シフトメモリ回路３２の個々のメモリセル
３３は、色データの入力方向上流側に位置するもののデ
ータ出力端子が、その下流側に位置するもののデータ入
力端子に接続される形で直列配置され、各クロック入力
端子に画素転送クロック（ＰＣＫ）が入力されるＤ型フ
リップフロップ回路（Ｄラッチ）により構成されてい
る。そして、各Ｄラッチのデータ出力端子から、データ
出力部としてのデータ出力線３４が分岐して設けられて
いる。Ｄラッチの組み合わせにより、パイプライン処理
回路が安価に実現されている。なお、３１は、色データ
入力の入力ラッチ用のＤ型フリップフロップ回路であ
る。

【００７６】他方、動画フレームの走査方向と直角に隣
接配列する画素（走査直交方向配列画素：ここでは、図
１３においてＰ0，Ｐ3，Ｐ6、Ｐ1，Ｐ4，Ｐ7、Ｐ2，Ｐ
5，Ｐ8の各３個ずつ）を包含する形でマスク領域を設定
するために、各データ格納メモリ部３２は、入力最先頭
側に位置するもの（３２（Ａ））を除いた残余のメモリ
部（後続メモリ部：３２（Ｂ），３２（Ｃ））に個別に
対応して設けられ、各後続メモリ回路に格納すべき画素
の１つ前の走査線上の画素の色データを記憶するライン
メモリ回路３５（ＬＮ−１，ＬＮ−２）を備えている。
これらラインメモリ回路３５は、先頭メモリ回路３２
（Ａ）に入力される画素に走査線上の転送位置が対応す
る画素の色データを、対応するメモリエリアから読み出
して、対応する後続メモリ回路３２（Ｂ），３２（Ｃ）
に対し転送する。１走査線前の画素の色データをライン
メモリに一時退避させることで、複数走査線にまたがる
マスク設定及びその移動処理が安価にかつ高速で実現さ
れる。

【００７７】なお、図５では、図面が煩雑化することを
避けるため、データ出力部としてのデータ出力線３４
は、COR１に関係する出力Ｃ１０〜Ｃ１８のみを示して
いる。また、各出力のマスクＭＳＫ内の対応位置を図６
に示している。ただし、実際は、COR２〜COR６の各出力
Ｃ２０〜Ｃ２８、‥‥、Ｃ６０〜Ｃ６８からもデータ出
力線３４が分岐しており、それぞれ対応色のマスクＭＳ
Ｋが形成されるようになっていることはいうまでもな
い。

【００７８】図１５は、COR１〜COR６の特定の１つのも
のに着目して見た場合の、マスクＭＳＫ内のデータの流
れ、及びラインメモリ回路３５（ＬＮ−１，ＬＮ−２）
内のデータ格納状態を示すものである。（ａ）では、１
番目の走査線の先頭の３つの画素がマスクＭＳＫ内に入
った状態を示している。この状態では、後続メモリ回路
３２（Ｂ）のラインメモリ回路ＬＮ−１に対し、その１
番目の走査線のデータが順次書き込まれていく。この状
態で新しい画素の転送を１個受けると、データ格納メモ
リ部３２がシフトメモリになっていることから、マスク
内の最も古い画素の色データが、新しくマスクＭＳＫ内
に入る画素の色データに押し出される形でメモリシフト
し、マスクＭＳＫは１画素分だけ画素平面上にて右側に
移動する。

【００７９】図１５（ｂ）は１ライン目の画素転送が終
わって水平同期信号を受け、２ライン目の画素転送に入
った状態を示している。図５に示すよう、各ラインメモ
リ回路３５は、水平同期信号ＨＳＮＣがリセット信号と
して入力されるようになっており、水平同期信号ＨＳＮ
Ｃを受けて新たなラインの画素が転送される際には、そ
の画素の格納アドレスがリセットされ、図１５（ｂ）の
ラインメモリ回路ＬＮ−１のように、再び先頭側から上
書きする形でデータが書き込まれてゆく。また、図５に
示すように、ラインメモリ回路ＬＮ−１のデータはライ
ンメモリ回路ＬＮ−２にシリアル転送されコピーされ
る。その結果、ラインメモリ回路ＬＮ−２は、先頭メモ
リ回路３２（Ａ）から見れば、２ライン前のデータを記
憶するものとなる。そして、図１５（ｃ）に示すよう
に、２ライン目の画素転送が１個進む毎に、先のライン
の対応するデータをラインメモリ回路ＬＮ−１から読み
出しては、後続メモリ回路３２（Ｂ）に出力を行う。

【００８０】図１５（ｄ）は、３ライン目の画素転送に
入った状態を示し、ラインメモリ回路ＬＮ−１からは前
述した通り後続メモリ回路３２（Ｂ）へのデータ転送が
行われ、ラインメモリ回路ＬＮ−２からは後続メモリ回
路３２（Ｃ）へのデータ転送が行われる。（ｅ）は３ラ
イン目の先頭の３つの画素のデータがマスクＭＳＫ内に
入った状態を示し、図１６（ａ）に示すように、画素平
面ＳＣ上の左上の９個の画素がマスクＭＳＫに覆われた
形に対応する。この状態で１個の画素が転送される毎
に、マスクＭＳＫは１画素分ずつ走査方向に移動してゆ
き、右端まで行き着いて水平同期信号を受けると、１ラ
イン下がった位置において左端に戻り、再び走査を開始
する。こうして画面の下端まで到達して垂直同期信号
（ＶＳＮＣ）を受けるとフレームがクリアされ、再び次
のフレームに対して同じ処理が動画フレーム切り替えに
同期してリアルタイムに進んでゆくこととなる。

【００８１】さて、各色のマスクＭＳＫの色データ（マ
スク内の画素数に対応したビット数：個々では９ビッ
ト）は、マスク設定処理回路３０からそれぞれデータ出
力線３４を経て、図７に示すパターン適合判別・出力回
路４０内の、ハードウェアロジック判別回路４１（パタ
ーン適合判別手段）に入力される。ハードウェアロジッ
ク判別回路４１は、指定色の種類（COR１〜COR６）に対
応した数だけ設けられており、マスク設定処理回路３０
からの各画素の色データが二値入力されるデータ入力端
子４４（ここでは９入力となる）を備え、それらデータ
入力端子４４の入力状態の組み合わせに一対一に対応す
る形で二値の判別結果を生成・出力するものとなってい
る。

【００８２】ハードウェアロジック判別回路４１は、具
体的には論理回路にて構成できる。例えば、図１７のパ
ターン条件を使用する場合は、これを９入力のＯＲ回路
１個で簡単に構成できる。他方、図１８のように、特定
の２個の画素の色が判別指定色に設定されているか否か
を判別する場合では、図８（ａ）に示すように、各パタ
ーンにおいて判別指定色となるべき画素の入力と、そう
でない入力とを互いに反転させた９入力ＡＮＤ回路４７
を、調べるべきパターン条件の種類だけ設けた回路を例
示できる。このような論理回路は、例えばプログラマブ
ルロジックデバイス（ＰＬＤ）により実現してもよい。
また、複数のパターン条件からいずれかのものを選択し
て用いることができるように、各パターン条件に対応す
る複数の判別回路を組み込んでおき、セレクタ入力（こ
こではＳＬ１とＳＬ２の２ビット入力）により切替可能
としておけば便利である。なお、本実施例では、各ハー
ドウェアロジック判別回路４１へのセレクタ入力は、レ
ジスタ４３を介してカラオケ装置本体１００により与え
られるようになっている。

【００８３】他方、ハードウェアロジック判別回路４１
は、図８（ｂ）に示すように、各画素の色設定状態の全
ての組み合わせＰ1〜ＰN（ここでは９ビットなのでＮ＝
５１２）に対応する出力ＯＰを記憶したＬＵＴ回路４８
を用いてもよい。ここでは、セレクタ入力毎にパターン
条件が切り替えられるよう、２次元のＬＵＴ回路が使用
されている。この場合、マスク設定処理回路３０からの
各画素の色データの入力（及びセレクタ入力）は、ＬＵ
Ｔ回路４８に対しアドレス線入力される形となる。

【００８４】図７に戻り、各ハードウェアロジック判別
回路４１からの判別結果出力（すなわち、各色COR１〜C
OR６のパターンマッチング結果）は、ハードウェアロジ
ックデータ生成回路４２に入力される。ハードウェアロ
ジックデータ生成回路４２は、各判別指定色の判別回路
からの判別結果が二値入力され、それら判別結果入力端
子の入力状態の組み合わせに一対一に対応する形で、第
一の出力状態及び第二出力状態のいずれかを対象画素デ
ータとして出力する。ここでは、マーカ検出の場合には
マーカ番号のデータを第一の出力状態として出力し、マ
ーカ検出でない場合はマーカ番号のどれにも対応しない
出力を第二の出力状態として出力する。また、ハードウ
ェアロジックデータ生成回路４２は、６ビット入力５ビ
ット出力のデコーダで構成されており、マーカ指定色の
設定をセレクタ入力ＳＬ１，ＳＬ２により選択し（すな
わち、４色マーカまでの設定が可能である）、COR１〜C
OR６の判別結果出力に基づいてマーカ番号のデータを出
力するようになっている。例えば、表２において、セレ
クタ入力ＳＬ１，ＳＬ２によりCOR１とCOR２とがマーカ
指定色として選択された場合は￥、COR１とCOR２との判
別入力がアクティブの場合にマーカ番号１を出力するの
である。なお、この実施例では、COR１〜COR６のうちCO
R１側が優先されるようになっており、多数検出による
誤符号化を抑制するようにしている。

【００８５】こうして生成されたマーカ番号のデータ
は、抽出画像（マーカ画像）のデータとして、図１の抽
出画像データ出力制御部６とマーカ画素計数部７とに送
られる。図９に示すように、マーカ画素計数部７は、指
定されたマーカ番号の画素のｘ座標値の和Σｘ、同ｙ座
標値の和Σｙ、及び画素数ｎを各々演算する３つの加算
器５５〜５７を含んでいる。各加算器の出力累計はデー
タメモリ５８に記憶されるとともに、その結果がカラオ
ケ装置本体１００に出力される。データメモリ５８に
は、Σｘ−メモリ、Σｙメモリ及びｎメモリが形成され
ている。

【００８６】Σｘ−メモリは、初期状態においてゼロク
リアされている。サブコントローラ５４は、カラオケ装
置本体１００からのアドレス情報に基づいて、各マーカ
色毎のΣｘデータの格納エリアのアドレスを指定するア
ドレスコントローラを内蔵し、画素の色に応じて、対応
するアドレスのメモリエリアを選択する。初めの処理画
素が入ってくると、その画素のマーカ番号データがアド
レスコントローラを経てΣｘ−メモリのアドレス線に入
力されることとなる。

【００８７】そして、画像転送の同期制御部（図２のシ
ステムコントローラ３に内蔵されている）により生成さ
れる水平同期信号を基準として、ｘカウンタ５２が、対
象となる画素が転送されてくるまでの転送画素個数をカ
ウントし、その画素の画面上における水平方向座標値と
して加算器５５に入力される。なお、画素の転送制御
は、図２のシステムコントローラ３内のクロックパルス
発生部が発するクロックパルス信号に従って制御され
る。他方、Σｘ−メモリのその時点での記憶値は加算器
５５へフィードバックされ、ｘカウンタ５２からのカウ
ント値（すなわち、新たな画素のｘ座標値）とΣｘ−メ
モリの累積加算値とが加算器５５により加算され、さら
に図示しないバッファ等を通じて、Σｘ−メモリの同じ
アドレスに再び書き込まれて加算記憶値が更新されて、
１画素の処理が終了する。

【００８８】次に、画素のΣｙを演算するための加算器
５６は、Σｙ−メモリと対をなす。作動は、Σｘの演算
系と略同様であるが、加算器５６に入力されるのは、画
素のｙ座標値、すなわち同期制御部からの垂直同期信号
を受けてから、対象となる画素位置までの走査線本数
（例えば１走査線毎に挿入される水平同期信号の数で代
用できる）をカウントするｙカウンタ５３のカウント出
力値であり、その加算出力値は、該ｙ座標の累積加算値
である。

【００８９】また、ｎを演算するための加算器５７は、
その出力累計を記憶するｎメモリと対をなす。作動は、
Σｘの演算系と略同様であるが、加算器５７に入力され
るのは、指定のマーカ番号の画素が一個入る毎にカウン
トパルスを一個発する画素カウンタ（図示せず）の出力
であり、その加算出力値は、対応するカラーマーカの画
像領域（マーカ画像）の総画素数ｎである。

【００９０】この一連の動作を、現在作動状態にあるカ
ラーカメラ１５（図２）の画面全体に行うと、各カラー
マーカ（ＣＭ）のｘ座標の総和ΣｘがΣｘ−メモリに、
同じくｙ座標の総和ΣｙがΣｙ−メモリに、さらに、画
素総数ｎがｎメモリに、それぞれ演算結果として記憶さ
れた状態となる。この記憶値は、それぞれカラオケ装置
本体１００に転送される。そして、１フレームの画像デ
ータの処理が終了すると、フレームカウンタからの信号
により各メモリの内容がクリアされ、次のフレームの画
像データに対して同じ処理が繰り返される。こうして、
カラーカメラ１５の撮影により逐次生成される画像デー
タに対し、各カラーマーカの上記Σｘ、Σｙ及びｎの値
が、マーカ位置データとしてリアルタイムにて演算・生
成され、カラオケ装置本体１００に出力されることとな
る。

【００９１】例えば図１１のフローチャートに示すよう
に、図１のカラオケ装置本体１００側では、Ｓ１で指定
されたカラーマーカの番号（アドレス）を出力し、Ｓ２
〜Ｓ４で、そのカラーマーカのΣｘ、Σｙ及びｎの値を
リードする。そして、これを用いることにより、例えば
図２２等に示すように、抽出されたマーカ画像の重心座
標Ｇを演算し、これを歌唱者が行う振付け動作データと
して取得することができる。

【００９２】なお、動作データ作成システム２の回路構
成は、リアルタイムデータ作成に適したものであれば、
上記のものに限られるものではない。

【００９３】一方、抽出画像データ出力制御部６は、マ
ーカ番号のデータを画素アドレスと対応付けた形でフレ
ームメモリ２１に蓄積してマーカ画像データとなし、こ
れをカラオケ装置本体１００側からの要求に従い転送す
る。カラオケ装置本体１００側ではこのマーカ画像デー
タにより、例えばマーカ画像の形状解析等を行うことが
可能となる。

【００９４】なお、３色以上に塗り分けたマーカを使用
する場合、一部のマーカ色を無視して、これを見掛け
上、少ない色で塗り分けられたマーカとして認識するこ
とも可能である。このような処理は、図７において、ハ
ードウェアロジックデータ生成回路４２に対する指定色
の設定数を減ずるだけで、簡単に行うことができる。図
２３は、このような処理の応用例を示している。すなわ
ち、（ａ）に示すマーカＭＫは、本来COR１〜COR３の３
色で塗り分けられているのであるが、このうちCOR１とC
OR２のみを採用すると、COR３の領域はマーカＭＫに属
していないものと判断されるので、マーカ画像ＥＩ１
は、COR１とCOR２の境界付近に現われ、重心位置Ｇ1も
マーカ画像ＥＩ１内のものとして演算される。他方、CO
R２とCOR３のみを採用すると、COR１の領域はマーカＭ
Ｋに属していないものと判断されるので、マーカ画像Ｅ
Ｉ２は、COR２とCOR３の境界付近に現われ、重心位置Ｇ
2はマーカ画像ＥＩ２内のものとして演算される。これ
らの重心位置Ｇ1，Ｇ2は、元のマーカＭＫ内において異
なる座標値を有するものとなるから、例えば画像上のＧ
1，Ｇ2の値から、マーカＭＫのカメラに対する姿勢を検
出できる。例えば、図２３（ｂ）は、線分Ｇ1，Ｇ2の水
平線Ｘに対する傾斜角度から、マーカＭＫの水平線Ｘに
対する傾斜角度θを求める例を示すものであり、（ｃ）
は、線分Ｇ1Ｇ2の長さから、鉛直面ｚ（紙面と一致させ
ている）に対する前後方向の傾斜角度φを求める例を示
している。

【００９５】次に、図１に戻り、カラオケ装置本体１０
０の電気的構成について説明する。カラオケ装置本体１
００は、Ｉ／Ｏポート９とこれに接続されるＣＰＵ１０
２、ＲＯＭ１０３、ＲＡＭ１０４を主体とする主制御部
１０１を有する。主制御部１０１はさらに、振付モデル
ＣＧ合成部（歌唱者対応ＣＧ動画像合成手段）１０５、
圧縮動画デコーダ１０６、歌詞テロップ合成部１１０、
フレーム画像合成部１０７及び音楽データデコーダ１１
１を含み、それぞれＩ／Ｏポート９に接続されている。
フレーム画像合成部１０７にはモニタ制御部１０８が接
続され、これに歌詞表示手段、歌唱者動作データ出力手
段、歌唱者対応ＣＧ動画像出力手段及び歌唱者動作評価
結果出力手段の主体をなすモニタ１０９が接続される。

【００９６】また、音楽データデコーダ１１１にはアン
プミキサ１１２が接続され、これにスピーカ１１３と、
前述のマイク１１６が接続されている。これら音楽デー
タデコーダ１１１、アンプ１１２及びスピーカ１１３は
カラオケ演奏手段の主体をなる。

【００９７】また、Ｉ／Ｏポート９には、図示しない選
曲等のためのキーを備えた入力部１１７と、同じくその
入力作業を無線遠隔操作で行うためのリモコン１１９か
らの無線信号を受けるリモコン受信部１１８、及びカラ
オケ演奏に必要な各種データを記憶した記憶装置１２０
が接続されている。

【００９８】図２８は、ＲＯＭ１０３、ＲＡＭ１０４及
び記憶装置１２０の内容を模式的に示すものである。Ｒ
ＯＭ１０３には、カラオケ装置１の全体の制御を司る制
御プログラム１０３ａが記憶されている。また、ＲＡＭ
１０４には、ＣＰＵ１０２（図１）が、該制御プログラ
ム１０３ａを実行する際に使用するワークエリア１０４
ａ、得点カウンタ１０４ｂ、及び選曲メモリ１０４ｃが
形成されている。記憶装置１２０には、カラオケデータ
１２０ａ、振付モデルＣＧデータ１２０ｂ、圧縮背景動
画データ１２０ｃ及び標準振付データ１２０ｄが記憶さ
れている。

【００９９】図２９に示すように、カラオケデータ１２
０ａは、カラオケ曲の音楽データ、歌詞データ、振付イ
ンデックス及び背景画像インデックスを、曲番号と対応
付けて記憶したものである。音楽データは、カラオケ演
奏の音声波形データをデジタル化・圧縮したデジタル圧
縮音データ、あるいはＭＩＤＩ（Musical InstrumentDi
gital Interface）データにより構成され、各カラオケ
曲の演奏音源となるものである。該音楽データは、図１
の音楽データデコーダ１１１に送られて、そこでカラオ
ケ演奏音信号に変換される。例えばデジタル圧縮音デー
タの場合は、音楽データデコーダ１１１は、そのデジタ
ル圧縮音データを圧縮解除して、さらにアナログのカラ
オケ演奏音信号に変換する役割を果たすこととなる。一
方、ＭＩＤＩデータの場合、音楽データデコーダ１１１
はＭＩＤＩシーケンサ、又はそれを内蔵したＭＩＤＩ対
応楽器あるいはシンセサイザなどで構成され、ＭＩＤＩ
データに含まれる各音の音高、音の強さ、音の長さ、音
色等の信号データに基づいて、カラオケ演奏音信号を合
成する役割を果たす。この音信号はアンプミキサ１１２
を経てスピーカ１１３から出力される。また、マイク１
１６からの歌唱者の音声信号は、アンプミキサ１１２に
おいて上記のカラオケ演奏音信号とミキシングされ、同
様にスピーカ１１３から出力される。

【０１００】次に、歌詞データは、モニタ１０９に表示
させる各カラオケ曲の歌詞テロップの内容を文字コード
等により記述したものである。これは、図１の歌詞テロ
ップ合成部に送られ、そこで文字コードに対応する文字
フォントデータを用いて、歌詞テロップに含まれる文字
の映像信号に変換される。

【０１０１】図２９に戻り、振付インデックスは、本発
明のカラオケ装置の特徴部でもある振付モードの使用が
可能なカラオケ曲に限って付与されており、その曲の振
付モード実行に必要な後述の各種データを特定するため
のものである。他方、背景画像インデックスは、その曲
に合わせてモニタ１０９に歌詞テロップとともに流す背
景画像の動画データを特定するためのものである。

【０１０２】次に、振付モデルＣＧデータ１２０ｂは、
曲毎のモデルＣＧデータと、振付モード選択時に背景画
像に代えて使用される、随伴動画像データとしての振付
モード用動画データとを、振付インデックスと対応付け
た形で記憶したものである。モデルＣＧデータと振付モ
ード用動画データとは対をなし、図３４に示すように、
昨今人気上昇中のある女性アイドルペアＰＦの動画像
（実写画像又はその加工画像でもよいし、これをモチー
フにしたアニメーションキャラクタでもよい）をモニタ
１０９に表示させるためのものである。このうち、モデ
ルＣＧデータは、ペアＰＦのうちの一方の女の子のコン
ピュータグラフィック画像ＣＧ（歌唱者対応ＣＧ動画
像）を表すためのコンピュータグラフィック画像データ
であり、振付モード用動画データは、他方の女の子の動
画像（随伴動画像）ＳＩを表すための動画像データであ
る。モデルの動画像ＣＧ及びＳＩのうち、少なくとも一
方に対し、３次元動画像データに対する座標変換を行な
うことで、モデルに対する視点を変更した状態（例えば
上方や背後から見た状態）でこれを動画出力することも
できる。これにより、歌唱者は、動画上のモデルの動き
を種々の角度から参照できるので、例えば動画像ＣＧを
見れば自分の動きを、同じくＳＩを見れば模範動作をよ
り詳細に確認することが可能となる。

【０１０３】図３５に示すように、女の子のコンピュー
タグラフィック画像ＣＧは、歌唱者ＧＡＬが身に付けて
いるカラーマーカＭ1〜Ｍ11に対応して１１のパーツＰ1
〜Ｐ11に分れており、それぞれ目印位置Ｇ1〜Ｇ11が定
められている。モデルＣＧデータは、これらの各パーツ
Ｐ1〜Ｐ11を表す三次元画像データの組で構成されてい
る。図１の振付モデルＣＧ合成部１０５は、動作データ
作成システム２から送られてくる各カラーマーカの位置
データに基づいて、各パーツＰ1〜Ｐ11のモニタ１０９
の表示画面上の表示位置及び角度を定め、上記の三次元
画像データを用いて、コンピュータグラフィック画像Ｃ
Ｇのデータを各フレーム毎に生成する役割を果たす。一
方、振付モード用動画データは圧縮動画像データとして
構成されており、図１の圧縮動画デコーダ１０６にて圧
縮解除される。フレーム画像合成部１０７は図示しない
フレームメモリとその周辺制御回路等を含んで構成さ
れ、図３８に示すように、フレーム毎にコンピュータグ
ラフィック画像ＣＧと、随伴動画像ＳＩと、歌詞テロッ
プの画像ＴＰとをフレーム合成する。フレームメモリ内
の合成画像情報は、モニタ制御部１０８を経て映像信号
となり、垂直同期信号によりフレーム毎にモニタ１０９
に出力される。

【０１０４】次に、図２９において、圧縮背景動画デー
タ１２０ｃは、各種背景画像の圧縮動画データを背景画
像インデックスと対応付けて記憶したものである。振付
モードが選択されなかったり、はじめから振付モード対
応でない曲が選択された場合は、その曲番号に付された
背景画像インデックスを参照して、対応する圧縮動画デ
ータが読み出され、図１の圧縮動画デコーダ１０６にて
圧縮解除された後、フレーム画像合成部１０７にて歌詞
テロップの映像ＴＰと合成されて、モニタ制御部１０８
を経てモニタ１０９に出力される。

【０１０５】また、図２９の標準振付データ１２０ｄ
は、例えばプロの歌手やダンサー（例えば当の女性アイ
ドルペアＰＦの女の子でもよい）に、図３３と全く同じ
形態でカラーマーカＭＫを着用させ、その模範的な振付
動作を前記した動作データ作成システム２により動作デ
ータ化したもので、フレーム毎の各マーカＭＫの重心位
置座標（以下、基準位置座標という）の集合として記述
されている。これは、後述する通り、歌唱者の振付動作
に対する得点評価を行うときに使用される。なお、図２
９において、標準振付データ１２０ｄに対応させて、模
範的な振付動作を行うモデルの動画像データ（以下、模
範振付動画データという：図２９）を合わせて記憶させ
ておくこともできる。

【０１０６】なお、上記のデータは、例えば新曲追加あ
るいは振付モード対応経の変更等に応じて、新しいデー
タを、図１のモデム１２１及び通信回線を介して、サー
バ１２２より配信を受けることができる。

【０１０７】以下、カラオケ装置１の作動についてフロ
ーチャートを用いて説明する。図４１は、選曲処理の流
れを示すものである。Ｓ１０１はて選曲待ちの状態であ
り、図１のリモコン１１９あるいは入力部１１７により
曲番号の入力され選曲が行われると、Ｓ１０３にて選曲
メモリ１０４ｃ（図２８）の状態を確認する。もしメモ
リフル状態であればＳ１０４に進み、モニタ１０９への
画面表示等によりメモリフルのエラー通知を行う。一
方、メモリフルでなければＳ１０５に進み、シフトメモ
リとして形成された選曲メモリ１０４ｃ（図２８）の末
尾のセルに、入力された局番号を書き込む。利用者はさ
らにリモコン１１９あるいは入力部１１７のキー操作に
より、振付モードを選択するか否か（Ｓ１０６）、ある
いは採点モードを選択するか否か（Ｓ１０９）の入力を
行う。各モードがもし選択された場合は、それぞれ振付
モードの選択及び設定（Ｓ１０８）と、採点モードの選
択及び設定（Ｓ１１０）をそれぞれ行う。図２８に示す
ように、その設定内容は、曲番号とともに選曲メモリ１
０４ｃに記憶される。なお、振付モード対応でない曲に
対して振付モードの選択が行われた場合は、Ｓ１０７か
らＳ１１１に進み、モニタ１０９への画面表示等により
振付モード選択が不可能である旨の通知を行う。以上で
選曲処理は終了する。

【０１０８】図４２には、カラオケ演奏処理の流れを示
すものである。まず、Ｓ２０１で、選曲メモリ１０４ｃ
（図２８）の先頭のエリアをリードする。曲番号がここ
にストアされていればＳ２０３に進み、記憶装置１２０
にアクセスして、その曲番号に対応するカラオケデータ
１２０ａ（図２９）を読み出す（Ｓ２０３、Ｓ２０
４）。そして、Ｓ２０５において振付モードが選択され
ていない場合はＳ２０６に進み、背景画像インデックス
（図２９）を参照して、対応する背景画像の圧縮動画デ
ータを読み出す。そして、Ｓ２０７に進み、カラオケデ
ータ１２０ａの音楽データに基づくカラオケ演奏（Ｓ２
０７ａ）が行われ、同じく歌詞データに基づく歌詞テロ
ップが背景画像と合成されてモニタ１０９（図１）に表
示される（Ｓ２０７ｂ、Ｓ２０７ｃ）。歌唱者は、これ
を見ながらマイク１１６を用いて歌唱する。曲演奏が終
了すれば、Ｓ２１３に進んで選曲メモリ１０４ｃがメモ
リシフトし、Ｓ２０１に返って次の曲の処理を同様に繰
り返す。以上は、公知のカラオケ装置と略同様の処理で
ある。

【０１０９】一方、Ｓ２０５にて振付モードが選択され
ている場合はＳ２０８に進み、カラオケデータ１２０ａ
中の振付インデックスを参照して、必要な随伴動画像を
作るための振付モード用動画データ（図２８）を読み出
す。そして、Ｓ２０９において採点モードが選択されて
いる場合はＳ２１１に進み、同じく選択されていない場
合はＳ２１０に進む。これらの流れの違いは、採点処理
が行われるか行われないかのみであるので、以下、採点
処理を行うＳ２１１の流れについて説明を行う。

【０１１０】Ｓ２１１ａにおける曲演奏と、Ｓ２１１ｂ
における歌詞テロップの作成については、振付モード被
選択の場合と同じである。そして、該振付モードでは、
図３６に示すように、歌唱者ＧＡＬは体にカラーマーカ
ＭＫを着用し、カメラ１５，１５の前で振付を踊る。す
でに詳しく説明した通り、各カラーマーカＭＫの動きが
カメラ１５，１５にて撮影され、動作データ作成システ
ム２において各時刻毎のマーカ重心位置が動作データと
して作成される。図４３はこれを用いた振り付けモデル
ＣＧ作成処理（図４２のＳ２１１ｃ）の流れを示すもの
である。この場合、振付動作を開始する前に、歌唱者Ｇ
ＡＬは、カメラ１５，１５の前で決められたポーズ（例
えば図３０に示すように脚を少し開き、両手を横に垂れ
た自然体のポーズ）を取る。動作データ作成システム２
は、このときの各マーカＭＫの重心位置データを生成
し、カラオケ装置本体１００（図１）側に転送する。装
置本体１００側では初期設定処理として、対応するモデ
ルＣＧデータに対し、対応する自然体ポーズを取ったと
きの各パーツＰ1〜Ｐ11の目印位置Ｇ1〜Ｇ11（図３５）
を、自然体ポーズの歌唱者側の各マーカＭ1〜Ｍ11の重
心位置に合わせ込む。これにより、歌唱者によって身長
や体形が異なる場合でも、画一的な流れによりモデルＣ
Ｇ作成が可能となる。

【０１１１】図４３に戻り、上記のような初期設定の
後、歌唱者ＧＡＬが曲に合わせて歌いながら振付け動作
を開始すると、Ｓ３０１でフレーム取り込みタイミング
に対応する時刻にて、各マーカの重心位置のデータが動
作データ作成システム２から取り込まれる。そして、Ｓ
３０２では、振付モデルＣＧ合成部１０５において、図
３５のコンピュータグラフィック画像ＣＧ（振り付けモ
デルＣＧ）の各パーツＰ1〜Ｐ11の基準位置Ｇ1〜Ｇ11
を、動作データ作成システム２から送られてくる各カラ
ーマーカの重心位置に重ね合わせる。そして、Ｓ３０３
では、さらに各パーツＰ1〜Ｐ11の三次元画像データ
に、必要な回転処理を施して、モデル（アイドルペアＰ
Ｆの一方の女の子）のコンピュータグラフィック画像Ｃ
Ｇのデータを生成し、例えば振付モデルＣＧ合成部１０
５内のＣＧメモリにこれを記憶する。そして、垂直同期
信号等によりフレーム更新が指示された場合は、Ｓ３０
５に進んでＣＧメモリをクリアし、Ｓ３０１に戻って次
のフレームにつき同じ処理を繰り返す。

【０１１２】図４２に戻り、こうして合成されたコンピ
ュータグラフィック画像ＣＧは、Ｓ２１１ｄにおいて、
すでに説明した通り随伴動画像ＳＩ（図３６等）と合成
される。随伴動画像ＳＩは、カラオケ曲の再生と同期し
て、歌唱者ＧＡＬの動きとは無関係に再生される。例え
ば、この動きが歌唱者ＧＡＬが行うべき振付動作と略同
じである場合（すなわち、図３４において、アイドルペ
アＰＦの２人の女の子が、ほとんど同じ振付動作を行う
場合）、歌唱者ＧＡＬは、これを模範動作として参照し
つつ振付け動作を行うことができる。また、図２９の標
準振付データ１２０ｄにおいて別途、模範振付動画デー
タを用意しておき、これを別のモニタ等に再生して模範
動作参照するように構成してもよい。

【０１１３】そして、歌唱者ＧＡＬが振付動作を起こせ
ば、これがコンピュータグラフィック画像ＣＧに伝わ
り、歌唱者ＧＡＬと同じ動作をモニタの画面上で行う。
例えば、図３６に示すように、歌唱者ＧＡＬがじっと立
っているだけでは、コンピュータグラフィック画像ＣＧ
も立ったままの姿勢を継続するが、正しく振付動作すれ
ば、図３７のようにコンピュータグラフィック画像ＣＧ
も歌唱者ＧＡＬに合わせて振付動作することとなる。

【０１１４】一方、図４２において採点処理２１１ｅ
は、上記のコンピュータグラフィック画像合成処理と並
行して実行される。その処理の流れの一例を図４４に示
す。まず、図２９において、カラオケデータ１２０ａの
振付インデックスに対応する標準振付データが読み出さ
れる。そして、Ｓ４０１にて、現在のフレームの各マー
カの基準位置座標をリードする。そして、Ｓ４０２〜Ｓ
４０７では、図３９に示すように、歌唱者の全てのマー
カ（あるいは定められた一部のマーカ）ＭＫについて、
基準位置座標ＳＧと所定の位置関係を満たす判定領域Ｊ
Ａ内に、マーカＭＫの重心位置ＭＧが入っているか否か
を判定し、入っていれば図２８の得点カウンタ１０４ｂ
内にてポイント加算し、入っていなければポイント不加
算とする処理を行い、これを全ての（あるいは定められ
た一部の）動画フレームについて繰り返す。その結果、
判定領域ＪＡ内に重心位置ＭＧが入る回数が多いほど、
得点カウンタ１０４ｂ内の累積ポイント値が高くなり、
優秀な振付動作と判定されることとなる。なお、一定の
持ちポイントを設定し、判定領域ＪＡから重心位置ＭＧ
が外れる毎に減点する方式を採用してもよい。

【０１１５】そして、曲演奏が終了すれば、Ｓ４０８か
らＳ４０９に進み、得点カウンタ１０４ｂ内の累積ポイ
ント値を読み出して、これをそのまま、あるいは定めら
れた満点値（例えば１００点）に対する相対得点に換算
する等の処理を行い、得点算出する。

【０１１６】図４２に戻り、得点算出されればＳ２１２
に進み、例えば図４０に示すように、モニタ１０９（あ
るいは別途設けられた表示装置）の得点表示領域ＰＷ
に、そのポイントを表示させる。なお、得点表示する代
わりに、得点値に対応する視覚的（例えば、評価コメン
トの出力）、聴覚的（例えば、拍手やブーイング）、も
しくはそれらの組み合わせによる評価出力を行うように
してもよい。

【０１１７】以下、図４２ではＳ２１３に進んでメモリ
シフトし、Ｓ２０１に返って同様の処理を繰り返す。

【０１１８】なお、図４５に示すように、コンピュータ
グラフィック画像ＣＧを表示するのに代え、前記した模
範振付動画データによる模範動作画像ＭＩを表示すると
ともに、歌唱者対応ＣＧ動画像として、歌唱者に取り付
けられたマーカ位置を示すマーカ画像ＭＪ（あるいは、
（ａ）に示すようなマーカ画像ＭＪを結んで得られる骨
格画像ＳＫ、あるいは（ｂ）に示すようなこれに肉付け
した輪郭画像ＳＨ）を、該模範動作画像ＭＩに重ね表示
するようにしてもよい。こうすれば、歌唱者は、自分の
振付動作が模範動作とどれだけずれているかを容易に視
覚確認することができ、練習等に便利である。

【０１１９】なお、上記本発明のカラオケ装置には、歌
唱者の歌唱波形を標準波形と比較する等の手法により、
歌唱を評価する公知の歌唱評価機能を付加することがで
きる。この場合、前記した振付評価と組合わせて、歌唱
・振付の総合評価を行なうようにすれば、より斬新な効
果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施例たるカラオケ装置の電気的構
成を全体的に示すブロック図。

【図２】その画像入出力部の内容を示すブロック図。

【図３】ルックアップテーブルメモリ回路の具体的な構
成例を示す回路図。

【図４】二次元ルックアップテーブルのデータ内容を概
念的に示す図。

【図５】画像抽出部のマスク設定処理回路の一例を示す
回路図。

【図６】データ出力線の位置とマスク領域内の画素位置
との対応関係を示す説明図。

【図７】画像抽出部のパターン適合判別・出力回路の一
例を示す回路図。

【図８】ハードウェアロジック判別回路をゲート又はル
ックアップテーブルメモリを用いて構成する例を示す
図。

【図９】抽出画像データ出力制御部とマーカ画素計数部
の構成例を示す回路図。

【図１０】複数のカメラの切替回路の例を示すブロック
図。

【図１１】カラーマーカの重心位置演算の一例を示すフ
ローチャート。

【図１２】画素平面上のマスク領域設定状態と、それに
基づくマーカ抽出状態の一例を示す説明図。

【図１３】マスク領域の説明図。

【図１４】マスク領域の別の例を示す説明図。

【図１５】マスク領域とラインメモリの作動説明図。

【図１６】画素平面上にてマスク領域を走査する様子を
示す説明図。

【図１７】１画素検出を行う場合のパターン条件のいく
つかの例を示す説明図。

【図１８】隣接２画素の検出を行う場合のパターン条件
のいくつかの例を示す説明図。

【図１９】パターンマッチングによる動画フィルタ処理
のいくつかの例を示す説明図。

【図２０】その処理の流れの一例を示す説明図。

【図２１】同じく別の例を示す説明図。

【図２２】マーカ抽出の各種例を示す説明図。

【図２３】３色以上のマーカを、それよりも少数色のマ
ーカとして認識する方法と、そのいくつかの利用例を示
す説明図。

【図２４】プレート状マーカの各種例を示す正面図。

【図２５】立体マーカの各種例を示す正面図。

【図２６】同じく別のいくつかの例を示す正面図。

【図２７】同じくさらに別の例を示す正面図。

【図２８】図１のＲＯＭ、ＲＡＭ及び記憶装置の内容を
模式的に示す図。

【図２９】記憶装置の内容をさらに詳しく示す模式図。

【図３０】カラーマーカの固定形態の一例を示す斜視
図。

【図３１】その変形例を示す図。

【図３２】同じく別の変形例を示す図。

【図３３】カラーマーカを取り付けた歌唱者の動作を撮
影する様子を説明する斜視図。

【図３４】モニタへの動画像の表示形態の一例を示す
図。

【図３５】歌唱者に取り付けたカラーマーカと、コンピ
ュータグラフィック画像との対応関係を示す図。

【図３６】本発明のカラオケ装置の作用説明図。

【図３７】同じく別の作用説明図。

【図３８】コンピュータグラフィック画像と随伴動画像
と歌詞テロップとを合成する様子を説明する図。

【図３９】採点処理方式の一例を示す説明図。

【図４０】得点表示形態の一例を示す説明図。

【図４１】選曲処理の一例の流れを示すフローチャー
ト。

【図４２】カラオケ演奏処理の一例の流れを示すフロー
チャート。

【図４３】振付モデルＣＧ作成処理の一例の流れを示す
フローチャート。

【図４４】採点処理の一例の流れを示すフローチャー
ト。

【図４５】歌唱者対応ＣＧ動画像のいくつかの変形態様
を示す説明図。

【符号の説明】

１カラオケ装置２動作データ作成システム（歌唱者動作データ作成手
段）４画像入出力制御部（色統合画像データ生成手段）７マーカ画素計数部（抽出画像位置データ生成手段、
動作データ出力手段）１５カラーカメラ（動作検出手段）３０マスク設定処理回路（マスク領域設定手段、マス
ク領域走査手段）３２データ格納メモリ部（転送制御機能付きメモリ回
路部）３３Ｄ型フリップフロップ回路（メモリセル）３４データ出力線（データ出力部）３５ＬＮ−１，ＬＮ−２ラインメモリ回路４０パターン適合判別・出力回路４１ハードウェアロジック判別回路（パターン適合判
別手段）４２ハードウェアロジックデータ生成回路（対象画素
データ生成手段、適合画素抽出手段、抽出画素データ出
力手段）ＭＳＫマスク領域ＳＣ画素平面Ｃ１０〜Ｃ１８画素ＳＰＣ対象画素ＭＫカラーマーカ１００カラオケ装置本体部１０１主制御部（歌唱者動作評価手段）１０２ＣＰＵ１０３ＲＯＭ１０４ＲＡＭ１０５振付モデルＣＧ合成部（歌唱者対応ＣＧ動画像
合成手段）１０６圧縮背景動画デコーダ１０７フレーム画像合成部（随伴動画像合成出力制御
手段）１０８モニタ制御部１０９モニタ（歌詞表示手段、歌唱者動作データ出力
手段、歌唱者対応ＣＧ動画像出力手段、歌唱者動作評価
結果出力手段）１１０歌詞テロップ合成部１１１音楽データデコーダ（カラオケ演奏手段）１１２アンプ（カラオケ演奏手段）１１３スピーカ（カラオケ演奏手段）１１４Ａ／Ｄ変換器１１５マイクアンプ１１６マイク１１７入力部１１８リモコン受信部１１９リモコン１２０記憶装置（随伴動画像データ記憶手段、基準動
作データ記憶手段）１２１モデム１２２サーバ

Claims

【特許請求の範囲】

【請求項１】カラオケ演奏手段と、歌詞表示手段と、
その歌詞表示手段に表示される歌詞を見ながら歌唱する
ためのマイクと、そのマイクから入力された歌唱音声を
出力する歌唱音声出力部とを備えたカラオケ装置におい
て、歌唱者の身体表面の所定位置に複数設けられた動作検出
マーカの動きを検出する動作検出手段と、その動作検出手段が検出する検出情報に基づいて、前記
歌唱者が歌いながら行う振付動作等の動作のデータであ
る歌唱者動作データを、カラオケ演奏に合わせてリアル
タイム作成する歌唱者動作データ作成手段と、その歌唱者動作データを前記カラオケ演奏に合わせて出
力する歌唱者動作データ出力手段とを備えたことを特徴
とするカラオケ装置。
【請求項２】前記出力される歌唱者動作データに基づ
いて、前記歌唱者動作を反映したコンピュータグラフィ
ック動画像（以下、歌唱者対応ＣＧ動画像という）を合
成する歌唱者対応ＣＧ動画像合成手段と、その歌唱者対応ＣＧ動画像を前記カラオケ演奏に合わせ
て出力する歌唱者対応ＣＧ動画像出力手段とを備える請
求項１記載のカラオケ装置。
【請求項３】前記歌唱者対応ＣＧ動画像は、歌手やダ
ンサー等の人間モデルの動画像又はアニメーションキャ
ラクタの動画像である請求項２記載のカラオケ装置。
【請求項４】前記歌唱者対応ＣＧ動画像と組み合わさ
れるべき１又は複数の人間モデルないしアニメーション
キャラクタの動画像（以下、随伴動画像という）の画像
データを記憶する随伴動画像データ記憶手段と、その随伴動画像データに基づく随伴動画像を前記歌唱者
対応ＣＧ動画像とフレーム合成して、これを前記歌唱者
対応ＣＧ動画像出力手段に出力させる随伴動画像合成出
力制御手段を含む請求項２又は３記載のカラオケ装置。
【請求項５】前記歌唱者対応ＣＧ動画像出力手段は前
記歌詞表示手段に兼用されている請求項２ないし４のい
ずれかに記載のカラオケ装置。
【請求項６】前記歌唱者が行うべき基準となる歌唱者
動作の動作データ（以下、基準動作データという）を記
憶する基準動作データ記憶手段と、その基準動作データと前記歌唱者動作データとの比較に
基づいて歌唱者動作の評価を行う歌唱者動作評価手段
と、その評価結果を出力する歌唱者動作評価結果出力手段と
を備える請求項１ないし５のいずれかに記載のカラオケ
装置。
【請求項７】前記歌唱者動作データは各時刻毎の前記
動作検出マーカの位置の情報を含み、また、前記基準動
作データは、各時刻毎に前記動作検出マーカが位置すべ
き標準的な位置（以下、標準マーカ位置という）の情報
を含むものであり、前記歌唱者動作評価手段は、各時刻毎に動作検出マーカ
位置と標準マーカ位置とが所定の位置関係を満足してい
るか否かを判別し、その判別結果に基づいてポイントの
加算及び／又は減算を行い、当該ポイント値の大小によ
って前記歌唱者動作の評価を行うものである請求項６記
載のカラオケ装置。
【請求項８】前記動作検出手段は、前記歌唱者を被写体として、該被写体に前記動作検出マ
ーカとしてのカラーマーカを取り付けるか、又はその被
写体の一部をカラーマーカとして定めた状態において、
その被写体の動作を撮影する１又は複数のカラーカメラ
と、前記カラーカメラからの映像出力に基づくカラー映像信
号を、そのデコード処理を通じて各映像信号に含まれる
色情報を特定数の色グループに統合・集約することによ
り、前記カラー映像信号よりもデータ数の少ない画像デ
ータ（以下、色統合画像データという）を生成する色統
合画像データ生成手段と、その生成された色統合画像データに対し、前記カラーマ
ーカの色として予め指定された色（以下、マーカ指定色
という）の画素のデータを抽出するマーカ指定色抽出手
段と、その抽出されたマーカ指定色画素データに基づき、撮影
された被写体のカラーマーカ位置を演算し、その演算結
果として得られるマーカ位置データを前記被写体の動作
データとして出力するマーカ位置データ演算・出力手段
とを備える請求項１ないし７のいずれかに記載のカラオ
ケ装置。
【請求項９】前記動作検出手段は、前記動作検出マーカとしてのカラーマーカとして、１個
のカラーマーカの表面が、２以上の異なるマーカ色にて
着色された複数領域に区分されたものを用い、前記歌唱
者を被写体として、該被写体にそのカラーマーカを取り
付けるか、又はその被写体の一部をカラーマーカとして
定めた状態において、その被写体の動作を撮影するカラ
ーカメラと、前記撮影された被写体の動画像の、各フレームの画像デ
ータにおいて、前記マーカ色に対応する特定の２以上の
色が混在して存在する領域をマーカ画像として特定する
マーカ画像特定手段と、その特定されたマーカ画像を構成するマーカ画素の前記
画素平面上の位置情報に基づいて、前記マーカ画素の集
合として表されるマーカ画像の位置データを生成するマ
ーカ位置データ生成手段と、各動画フレーム毎に生成された前記マーカ画像の位置デ
ータを、前記被写体の動作データとして出力する動作デ
ータ出力手段とを備える請求項１ないし８のいずれかに
記載のカラオケ装置。
【請求項１０】各フレームの画像データに対し、予め
定められた形状及び大きさの仮想的なマスク領域を、そ
の画像データの画素平面上において移動可能に設定する
マスク領域設定手段と、前記各画素に対し設定される複数の色のうち、１又は２
以上のものを前記マーカ色に対する判別指定色として指
定し、また、パターン条件として、判別指定色画素のマ
スク領域内における個数、判別指定色画素のマスク領域
内における位置、及び判別指定色画素が複数含まれる場
合においてはそれらの相対的な配置関係、の少なくとも
１つを含むものを予め定め、前記画素平面上に設定され
たマスク領域において各判別指定色の画素が、そのパタ
ーン条件に適合しているか否かを判別するパターン適合
判別手段と、前記マスク領域を前記画素平面上で走査するマスク領域
走査手段と、各走査位置のマスク領域に対応する対象画素のうち、前
記パターン条件に適合と判別された画素（以下、適合画
素という）を抽出する適合画素抽出手段とを含み、前記マーカ位置データ生成手段は、その抽出された前記
適合画素の前記画素平面上の位置情報に基づいて前記マ
ーカ位置情報を生成するものである請求項９記載のカラ
オケ装置。