JP2017181850A - 演奏装置、運指のモーションキャプチャ方法及び演奏支援システム。 - Google Patents

Abstract

【課題】演奏者の指運びを、高精度に、赤外線方式によりモーションキャプチャできる演奏装置、モーションキャプチャ方法及び演奏支援システムを提供すること。
【解決手段】本発明は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、演奏操作子が黒色の画像となるように、演奏操作子を形成した演奏装置である。
【選択図】図１

Description

本発明は、演奏装置、運指のモーションキャプチャ方法及び演奏支援システムに関する。

鍵盤楽器などを練習する場合、どこをどのように押さえるかが楽譜を見ただけではわかりづらく、練習がうまく出来なかったり、上達しなかったりすることがある。これは、演奏する対象の鍵盤と、演奏を指示している楽譜に物理的な隔たりがあるからである。この隔たりがあるために、演奏者（練習者）は、楽譜と鍵盤を交互に見なければならず、演奏練習は、非常にわずらわしいものとなる。このような場合に、演奏者が楽譜と鍵盤を交互に見なくても良いように、楽曲データに基づいて、鍵盤を光らせるなどの演奏ガイドを表示する電子楽器が提案されている。

しかし、鍵盤上に演奏ガイドを表示した場合、どの操作子（鍵）を操作するのかは、鍵盤から目を離さずに確認することが出来るが、その操作子をどの指で操作するべきなのかは、鍵盤上に表示される演奏ガイドからは、判別することが出来ない。

そこで、演奏者に演奏支援情報を効率的に提示する発明が開示されている。この発明は、複数の鍵盤等の演奏操作子と、複数の演奏操作子を含む視界を撮影し、視界画像を生成する撮影手段と、演奏者の運指画像と複数の演奏操作子を含む視界画像とを合成して表示するものである。

特開２００２−３６６１４２号公報 特開２０００−３５２９７３号公報 特許第３９６８９７５号公報

上述した発明は、鍵盤等の操作子をどの指で操作すれば良いか、また、実際に演奏の練習をしながら、指の運び方の情報（運指画像）が表示されるので、ユーザは表示画面と、表示画面の向こう側に見える実際の楽器及びユーザの手を見ながら演奏練習を行うことができる。

ところで、運指画像はコンピュータグラフィクス等により作成されるが、その運指画像の基本データはモデルとなる演奏者が楽器を実際に演奏し、その手や指の動きをキャプチャして取得する（モーションキャプチャとも呼ばれる）。このモーションキャプチャの方法には、光学式、機械式、磁気式などがあり、なかでも光学式の赤外線方式が普及している。

しかし、赤外線方式は、モーションキャプチャする対象、例えば、演奏者の手指の背景に他の物体があると誤認識するなど、背景の影響を受けやすく一定の精度を保つのが困難であった。

例えば、楽器がピアノであり、そのピアノの演奏する演奏者の手指を、赤外線センサを使用してモーションキャプチャする場合、手指などの人体は「白色」、それ以外の背景は「黒色」という形ではっきりと識別されるのが理想的である。しかし、図１９に示すように、指と鍵盤が非常に近い位置関係にあるため、ピアノ鍵盤の白黒のコントラストが高いことや、その配列パターンが指の形状に似ている等の理由で、誤認識が非常に発生しやすい。

それを解決する方法として、全ての鍵盤を黒色で形成、又は、着色することも考えられるが、この方法では演奏者は白鍵と黒鍵との区別のないピアノ鍵盤で演奏することになり、演奏者側に負担をかけてしまう。また、美観の観点から好ましくない。

更に、上述した先行技術文献に記載された発明のように、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイ（頭部装着ディスプレイ: Head Mounted Display、HMD）を用いる場合、演奏支援情報となる運指画像を、現在演奏しているユーザの手や指が光学的に透過して見える実写又は撮影された運指画像に重畳して表示することになる。この場合、ユーザの指の運指画像の下に演奏支援情報となる運指画像を表示した方が、ユーザにとって自然であり、好ましい。
しかし、そのように表示するためには、現在演奏しているユーザの指の運指画像をモーションキャプチャにより生成する必要があり、上述と同様な理由により通常の鍵盤ではユーザの指の運びを、精度よくモーションキャプチャすることが困難であった。

そこで、本発明は、演奏者の指運びを、高精度に、赤外線方式によりモーションキャプチャできる演奏装置、モーションキャプチャ方法及び演奏支援システムを提供することにある。

本発明の一態様は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子が黒色の画像となるように、前記演奏操作子を形成した演奏装置である。

本発明の一態様は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子の色が黒色となるように形成された演奏装置において、前記演奏操作子に赤外線を照射し、前記演奏装置の演奏者の運指を、赤外線センサによりキャプチャする運指のキャプチャ方法である。

本発明の一態様は、赤外線センサにより撮影したときに黒色となるように形成された演奏操作子と、前記演奏操作子に、赤外線を照射する赤外線照射手段と、前記演奏操作子を撮影する赤外線センサとを有する演奏装置と、表示部と、前記演奏装置を演奏する演奏者の視線方向と前記演奏装置との位置関係を検出する空間認識センサと、前記空間認識センサの検出結果と、手本となる演奏者の運指を示す運指データに基づいて、ユーザの視界方向に対応する前記手本となる演奏者の運指画像を生成する第１の運指画像生成手段と、前記空間認識センサの検出結果と、前記赤外線センサによりモーションキャプチャされた前記演奏装置を演奏する演奏者の運指データに基づいて、ユーザの視界方向に対応する前記演奏装置を演奏する演奏者の運指画像を生成する第２の運指画像生成手段と、前記手本となる演奏者の運指画像と前記演奏装置を演奏する演奏者の運指画像との差分である差分運指画像を生成する差分運画像生成手段と、光学的透過又は撮影されて表示される、前記演奏装置を演奏する演奏者の視界画像に、前記差分運指画像を重畳して前記表示部に表示する画像表示制御手段とを有する演奏情報表示装置とを有する演奏支援システムである。

本発明によれば、演奏装置の演奏や美観を損ねることなく、演奏者の指運びを、高精度に、赤外線方式によりモーションキャプチャできる。

図１は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図２は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図３は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図４は本発明の実施の形態における白鍵の生成方法の実験結果を示す図である。 図５は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図６は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図７は本発明の実施の形態における白鍵の生成方法を説明するための図である。 図８は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを示した図である。 図９は本発明の実施の形態におけるピアノのバーを示した図である。 図１０は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いた場合における、ヘッドマウントディスプレイにおける運指画像の生成・表示処理を説明するための図である。 図１１は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いた場合における、ヘッドマウントディスプレイにおける運指画像の生成・表示処理を説明するための図である。 図１２は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いた場合における、ヘッドマウントディスプレイにおける運指画像の生成・表示処理を説明するための図である。 図１３は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いた場合における、ヘッドマウントディスプレイにおける運指画像の生成・表示処理を説明するための図である。 図１４は本発明の実施の形態における、モーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いた場合における、ヘッドマウントディスプレイにおける運指画像の生成・表示処理を説明するための図である。 図１５は本発明の実施の形態の演奏支援システムのブロック図である。 図１６は本発明の実施の形態におけるヘッドマウントディスプレイ（ＨＭＤ）の一例を示した図である。 図１７は本発明の実施の形態の表示制御部のブロック図である。 図１８はヘッドマウントディスプレイの表示部に表示されるエフェクト画像の一例を示した図である。 図１９は背景技術を説明するための図である。

本発明は、演奏装置の演奏操作子を、赤外線センサにより撮影したときに、演奏操作子の色が黒色となるように、演奏装置の演奏操作子を形成した演奏装置である。以下の説明では、演奏装置が鍵盤楽器の代表的な楽器であるピアノの場合を説明するが、これに限られず、例えば、キーボードやオルガン等の鍵盤を有する楽器だけでなく、ギターやベース、サックス等の楽器であっても良い。

ピアノの演奏操作子には、周知の如く、白鍵と黒鍵とがある。このピアノを用いて運指画像の基本データとなる演奏者の指運びを、赤外線方式により、モーションキャプチャすると、上述したように、黒鍵の部分は、その上に指があっても、精度よく認識することはできるが、白鍵の部分に指がある場合、背景となる白鍵と認識対象である指とのコントラストの相違が大きくなく、検出精度を一定に保つのが困難であった。

これらを解決する方法として、白鍵も黒色で形成、又は、着色することも考えられるが、この方法では演奏者は白鍵と黒鍵との区別ができないピアノ鍵盤で演奏することになり、演奏者側に負担をかけてしまう。また、将来的に、ユーザが所有するピアノでモーションキャプチャする場合、全て黒色の鍵盤では、美観の観点からも好ましくない。

そこで、発明者は、可視光では白色となり(すなわち、視覚的な外観においては白色)、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となるように白鍵を構成すれば良いことを着想した。そして、そのような白鍵は、以下の方法により、形成することができることに気付いた。

（方法１）通常の白色の白鍵の表面に、白鍵の白色の地色が透過する透明な赤外線吸収材を塗布する。

図１に示すような、通常の白色の白鍵１の表面に、白色の地色が透過する、すなわち、可視光は透過する透明な赤外線吸収材を塗布することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。

可視光は透過するような透明な赤外線吸収材の一例としては、イッテルビウムと酸との塩からなる赤外線吸収材料がある（例えば、特許３２８５４００号公報）。この赤外線吸収材料を用いた透明なインクを白鍵に塗布すれば、可視光では白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。尚、黒鍵２にも赤外線吸収材を塗布しても良いが、黒鍵２は地色が黒色なので、塗布する必要はない。

また、白鍵１の上面にのみ塗布するだけでも検出精度は高まるが、演奏時に白鍵１が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図２に示す如く、白鍵の二側面および手前面にも赤外線吸収材料を用いた透明なインクを塗布することが好ましい。

（方法２）白鍵の地色を黒色で着色し、その上に視覚的には白色に見える赤外線透過材フィルムを貼付又はその赤外線透過材を蒸着する。

図３に示すように、白鍵１の地色を黒色で形成、又は、白鍵１の白色の地色を黒色で着色し、その黒色の白鍵１の上に、視覚的には白色に見える赤外線透過材フィルム３を貼付する。このように、白鍵１を構成することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。尚、赤外線透過材フィルム３は、少なくとも白鍵１の上面の形に形成されており、赤外線透過材フィルム３を、白鍵にそのまま貼付すれば、白鍵１の上面が覆われるように形成されている。

このような赤外線透過材フィルム３の赤外線透過材としては、少なくとも赤外光を透過させる基材と、基材の外面及び内面の少なくとも一方に形成され、赤外光を透過させるとともに可視光を反射及び透過させる誘電体多層膜とを備え、誘電体多層膜は、可視光の波長域について反射率が透過率を上回る波長域と反射率が透過率を下回る波長域とからなるように設定され、誘電体多層膜によって反射された可視光の反射の光のみで外観を彩色（白色）する赤外線透過材がある（例えば、特許３７９８００３８号公報、特許４１２２０１０号公報）この赤外線透過材フィルムによる白色フィルムの実験結果を図４に示す。図４に示すように、可視光による視覚感知では白色に見えるが、赤外線センサで撮影した画像では黒色に見える。

尚、上述の例では、赤外線透過材フィルムを白鍵に貼付する例を説明したが、貼付する代わりに、その赤外線透過材を白鍵に蒸着しても同様の効果が得られる。

また、上記（方法１）と同様に、白鍵の上面にのみ、赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着するだけでも検出精度は高まるが、演奏時に白鍵が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図５に示す如く、白鍵の二側面および手前面にも、赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着することが好ましい。

（方法３）地色が白色の白鍵(通常の白鍵)の上に、黒色のフィルムを貼付し、その上に視覚的には白色に見える赤外線透過材フィルムを貼付する。

地色が白色の白鍵１(通常の白鍵)の上に、図６に示す如く、黒色のフィルム４を貼付し、その上に、上述した視覚的には白色に見える赤外線透過材フィルム３を貼付する。このように、白鍵１を形成することにより、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。

ここで、黒色のフィルム４は通常の黒色のフィルムであり、その上に貼付される赤外線透過材フィルム３は、上述した赤外線透過材を用いることができる。

尚、上記と同様に、白鍵の上面にのみ、黒色のフィルム４及び赤外線透過材フィルム３を貼付するだけでも検出精度は高まるが、演奏時に白鍵が押下されたとき、赤外線センサの画角によっては、白鍵の白色の側面が撮像されてしまい、検出の精度が低下する可能性がある。従って、図７に示す如く、白鍵の二側面および手前面にも、黒色のフィルム４及び赤外線透過材フィルム３を貼付又はその赤外線透過材を蒸着することが好ましい。

また、黒色のフィルム４と赤外線透過材フィルム３との２層構造を有する１枚のフィルムとしても良い。このようなフィルムを用いる利点としては、ピアノの白鍵にフィルムだけを貼付すれば良いので、従来からあるピアノをそのまま用いることができる点である。

（方法４）透明な赤外線吸収材が付加された白色の樹脂等により白鍵自体を形成する。

上述したイッテルビウムと酸との塩からなる赤外線吸収材料を、白色の顔料と混合し、この色素で、白鍵を生成する。このような方法であっても、視覚的には白色となり、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を形成することができる。

続いて、上述した、可視光では白色となり(すなわち、視覚的な外観においては白色)、赤外光を照射して赤外線センサにより撮影した画像では、白鍵の色が黒色となる白鍵を有する鍵盤（以下、特殊加工鍵盤と呼ぶ）を用いた、モーションキャプチャ機能が付いたピアノについて説明する。

図８はモーションキャプチャ機能が付いた特殊加工鍵盤のピアノ５を示した図である。

本実施の形態におけるモーションキャプチャ機能が付いた特殊加工鍵盤のピアノ５は、特殊加工鍵盤の上に、バー６が設けられている。このバー６は、図９に示す如く、赤外線センサ７と、赤外線照射ライト８とが内蔵されている。また、バー６は、前後に可動式になっており、モーションキャプチャをしないときは、後ろに倒して格納することができる。モーションキャプチャ時には前に倒すことにより、バー６と特殊加工鍵盤との位置関係が一定に保つように構成されている。そして、バー６と鍵盤との間で鍵盤を操作することにより、運指を内蔵の赤外線センサ７でモーションキャプチャを行う。

上記のように構成されたピアノであれば、美観を損なうことなく、精度の高い運指のモーションキャプチャを行うことができる。

更に、上述したバー６と特殊加工鍵盤とを備えるピアノ５は、運指のモーションキャプチャを行うのに好適であるが、運指画像を用いた演奏支援情報をヘッドマウントディスプレイに表示しながら、ピアノの練習を行う場合にも好適である。

特に、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイを用いる場合、演奏支援情報となる運指画像と、現在演奏しているユーザの指が光学的に透過して見える実写又は撮影された運指画像とを重畳して表示することになるが、通常の処理であれば、図１０に示すように、実際に演奏しているユーザの手首１０の上に、演奏支援情報である運指画像１１が重畳されて表示されてしまう。しかしながらユーザにとっては、演奏しているユーザの手首１０の下に演奏支援情報となる運指画像１１が表示される方が、演奏しているユーザ自身の手首の全体が見えるので、自然であり、好ましい。

実際に演奏しているユーザの手首１０の下に演奏支援情報となる運指画像１１を表示するためには、ユーザの手首１０の動き（運指）に応じた画像を、運指画像１１にマスクする必要がある。すなわち、実際に演奏しているユーザの手首１０の動き（運指）をモーションキャプチャし、そのユーザの手首１０の動き（運指）の仮想的な運指画像を生成し、このユーザの仮想的な運指画像と演奏支援情報となる運指画像１１との差分の運指画像をヘッドマウントディスプレイに表示する必要がある。そのため、実際に演奏しているユーザの手首１０の動き（運指）を、正確にモーションキャプチャする必要があり、従来の白色の白鍵を有するピアノでは不可能である。

しかしながら、上述したバーと特殊加工鍵盤とを備えるピアノ５であれば、実際に演奏しているユーザの手首１０の動き（運指）を、正確にモーションキャプチャすることができる。

更に、バー６と特殊加工鍵盤とを備えるピアノ５によりモーションキャプチャされたユーザの手首１０の動き（運指）のデータに基づいて、このユーザの運指画像と演奏支援情報となる運指画像との差分の運指画像をヘッドマウントディスプレイで生成して表示するようにすれば、ユーザにとって好ましい画像を表示することができる。

ヘッドマウントディスプレイにおける運指画像の生成・表示処理を具体的に説明する。

まず、図１１のような演奏支援情報となる運指画像１１があるとする。

このタイミングで、実際に演奏しているユーザの手首の動き１０（運指）をモーションキャプチャする。そして、そのデータに基づいて、ユーザの手首の動き１０（運指）の仮想的な運指画像１２を生成する。生成したユーザの運指画像(ＣＧ)１２を、図１２に示す。

そして、図１３に示すように、生成したユーザの運指画像１２と演奏支援情報となる運指画像と１１の差分画像(演奏支援情報となる運指画像のうち、ユーザの運指画像が重なる部分がない画像)１３を生成する。

最後に、差分画像１３と、光学的透過又は撮影した実際のユーザの手首１０の動きの画像（ＣＧではない）とを、図１４に示すように重畳して表示する。

このような処理を行うことにより、演奏しているユーザの手首の下に演奏支援情報となる運指画像がヘッドマウントディスプレイに表示され、ユーザにとって自然の映像を表示することができる。尚、このような処理ができるのは、演奏者の手首の動きを正確にモーションキャプチャできるモーションキャプチャ機能が付いた特殊加工鍵盤のピアノを用いることが前提であるのは、言うまでもない。

続いて、バー６と特殊加工鍵盤とを備えるピアノ５と、ヘッドマウントディスプレイ２０とを用いた具体的な演奏支援システムについて説明する。

図１５は、本発明の実施の形態の演奏支援システムのブロック図である。

本発明の実施の形態は、バー６（赤外線センサ７と、赤外線照射ライト８とを含む）と特殊加工鍵盤とを備えるピアノ５と、ユーザの視界の視界画像が撮影されて表示されるヘッドマウントディスプレイ２０とを備える。

ヘッドマウントディスプレイ２０は、空間認識センサ２１（可視光センサ（カメラ）、赤外線センサ（カメラ）等を含む）と、表示部２２と、演奏支援情報となる運指画像と、視界画像（演奏者であるユーザの手首の実写画像を含む）とを重畳して表示部２２に表示する表示制御部２３とを有する演奏情報表示装置である。

表示部２２は、例えば、ヘッドマウントディスプレイのディスプレイ部である。尚、本実施の形態では、ユーザの視界の視界画像が光学的透過又は撮影されて表示される透過型ヘッドマウントディスプレイを例にする。尚、視界画像は、ユーザが見ているピアノ等の楽器の画像のみならず、外部の景色等も含む概念である。

表示制御部２３は、例えば、ヘッドマウントディスプレイ２０に内蔵された処理部であり、演奏者の運指の形状を示す運指画像と、視界映像とを重畳して、表示部２２に表示する。

図１６は、本発明の実施の形態におけるヘッドマウントディスプレイ（ＨＭＤ）２０の一例を示した図である。ユーザは、ＨＭＤを装着して、そこに映し出される楽器及び演奏画像を視聴しながら、演奏練習や、曲の鑑賞等を行う。

次に、表示制御部２３の具体的な構成について説明する。図１７は表示制御部２３のブロック図である。

表示制御部２３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを含む演奏データが格納された格納部３０と、ＭＩＤＩ(Musical Instrument Digital Interface)データと画像基本データ（運指データ）とが入力されるシーケンサ部３１と、音源であってシーケンサ部３１に入力されたＭＩＤＩデータに基づいて音声信号を出力する音声処理部３２と、シーケンサ部３１に入力された演奏画像データに基づいてコンピュータグラフィクスにより描画を行って出力画像データとして出力する画像処理部３３と、から構成されている。

格納部３０に格納されるＭＩＤＩデータは、楽曲の演奏音のデータであって、ＭＩＤＩ規格に基づいて表わされている。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列にしたがって、電子楽器等に入力するように定められている。ＭＩＤＩデータでは、楽曲の先頭から順次出現する音に対し、パートや手の区別に概ね対応するチャネルごとに、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔などの情報を与えている。

本実施の形態では、そのＭＩＤＩデータに、運指画像（運指データ）に必要な画像基本データ（運指データ）の一部を含めている。

運指データは、演奏者（例えば、手本となる先生）に、バー６と特殊加工鍵盤とを備えるピアノ５を用いて曲を演奏してもらい、ＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を取得する。また、同時に、指の運指データの取得のため、赤外線センサ７により、演奏者の運指（手や指の動きを、３次元的に捉えることが可能で、上下左右、前後への移動の情報）も撮影する。尚、このようなモーションキャプチャができる製品としては、Leap Motionがある。このように取得したデータを元に、ピアノ等の楽器に対する指の３次元の座標データを取得し、そのデータを、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。

このように、取得されたＭＩＤＩ(Musical Instrument Digital Interface)データと運指データとを含む演奏データは、格納部３０に格納される。

シーケンサ部３１は、格納されているＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを含む演奏データを入力し、時系列に沿って、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）とを分離する。そして、音声出力に必要なＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を、音声処理部３２に出力する。また、ＭＩＤＩ(Musical Instrument Digital Interface)データのうちのタイミング情報（再生トリガ）や、画像基本データ（運指データ）を、画像処理部３３に出力する。

音声処理部３２は、ＭＩＤＩ(Musical Instrument Digital Interface)データに基づいて音声信号を生成し、外部の出力装置、例えば、スピーカに出力する。尚、ユーザが練習のために、演奏する場合等は音声の出力を止めることができる。

画像処理部３３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ）に基づいて、表示する運指画像を生成する。

まず、運指画像の生成について説明する。

運指データとＭＩＤＩデータとを解析することにより、鍵盤上のある鍵をどのタイミングで打鍵すればよいかが分かる。しかしながら、実際の指の動きや形状は、打鍵対象が黒鍵であるか白鍵であるか、また、直前直後にどの指がどの鍵を弾くかなどに応じて変化する。本実施の形態では、指の運指データとして、赤外線センサ７により取得した演奏者（手本となる演者）の指の３次元の座標データを、時系列的に取得している。

一方、画像処理部３３は、空間認識センサ２１の信号により、ヘッドマウントディスプレイ（ＨＭＤ）２０の表示部２２に映し出される視界画像がどのような画像であるか、具体的には、ユーザが見ているのは、ピアノのどの部分（例えば、ピアノのどの鍵盤であるのか）を見ているかを解析する。

例えば、画像処理部３３の空間認識の方法として、既知のピアノ５の足および鍵盤から構成されるピアノモデルを記憶しておく。この既知のピアノモデルは、複数角度から撮影した画像より構成されるものとする。次に、空間認識センサ２１の位置を撮影基準位置とし、水平面を把握し、その面積や、連続性から床面を認識する。そして、空間認識センサ２１により、床と連続する対象物を認識し、その形状および距離を推定する。認識された対象物が、記憶されているピアノモデルと一致するか推定する。認識した対象物が既知のピアノモデルと合致する場合に、撮影基準位置とこの対象物との位置関係から実際のピアノとの角度、距離を推定する。そして、対象物と既知のピアノモデルとの鍵盤の位置関係は既知であるとし、得られたピアノとの角度、距離を元に鍵盤の位置を推定する。

このように、ユーザが、現在、見ているピアノの鍵盤位置を認識することができるので、その鍵盤位置に対応する演奏者の指の３次元の座標データを特定して運指画像を生成することができる。尚、指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部３３の内部のメモリに予め蓄積しておき、これらのデータと演奏者の指の３次元の座標データとに基づいて、運指画像を描画するようにする。

一方、画像処理部３３には、実際に演奏している演奏者（ユーザの）手や指を、赤外線センサ７によりモーションキャプチャしている。また、上述したように、画像処理部３３は空間認識しているので、演奏者（手本となる演者）の運指画像とは別に演奏者（ユーザ）の運指画像も生成することができる。尚、演奏者（ユーザ）の指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部３３の内部のメモリに予め蓄積しておき、これらのデータと演奏者（ユーザ）の指の３次元の座標データとに基づいて、運指画像を描画するようにする。

次に、画像処理部３３は、演奏者（手本となる演者）の運指画像と、演奏者（ユーザ）の運指画像とを減算し、その差分運指画像を生成する。この差分運指画像は、上述した図１１から図１３に示す通りである。

そして、画像処理部３３は、図１４に示すように、差分運指画像１３と、空間認識センサ２１で撮影した実際の演奏者（ユーザ）の手首１０の動きの画像１４（ＣＧではない）とを、図１４に示すように重畳して表示部２２に表示する。

上記のように構成された本実施の形態における演奏支援システムによれば、ユーザの運指画像と演奏支援情報となる運指画像との差分運指画像をヘッドマウントディスプレイで生成して表示することができるので、ユーザにとって自然な画像を表示することができる。

尚、運指画像に加えて、演奏者の演奏時の感情等を画像化した身体変化画像（エフェクト画像）をヘッドマウントディスプレイに表示するように構成しても良い。この身体変化画像（エフェクト画像）は、演奏者（手本となる演者）の演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体変化に関する身体変化情報を、演奏データに対して時系列に数値化し、数値に基づいて変化するエフェクト画像である。

図１８は、ヘッドマウントディスプレイの表示部２２に表示されるエフェクト画像の一例を示した図である。図１８では、ピアノを含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像はピアノの鍵盤（操作子）を操作するべき指が、その鍵盤に重ね合わせて表示されている。更に、その指で演奏された鍵盤上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。図１８では、ある演奏の一瞬を示した画像であるため、身体変化画像（エフェクト画像）の変化を表現することはできないが、演奏時間の経過によって、身体変化画像（エフェクト画像）は変化する。例えば、演奏者の心拍数が上昇すると、出現する粒子の数が多くなったり、その色が変化したりする。

このようにすれば、演奏者の演奏時の感情の起伏や、視線方向等の要素を、エフェクト画像として、運指画像と共に表示することにより、実際の演奏や演奏視聴において重要な要素である演奏者の感情の高まり等を表現することができる。
尚、上述した説明では、ヘッドマウントディスプレイの例として、空間認識センサ２１（可視光センサ（カメラ）、赤外線センサ（カメラ）等を含む）と、表示部２２と、表示制御部２３とが一体構成されたヘッドマウントディスプレイを例にして説明したが、これに限られない。例えば、空間認識センサ２１と、表示部２２と、表示制御部２３のうち一部の機能が他の装置（例えば、スマートフォン）で行われ、その装置（例えば、スマートフォン）とヘッドセットとの組み合わせから、上述したヘッドマウントディスプレイと同様な機能を備えるものであれば、本発明を適用することができる。

また、上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理を情報処理装置（ＣＰＵ）に行わせるプログラムによっても構成できる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 白鍵
２ 黒鍵
３ 赤外線透過材フィルム
４ 黒色フィルム
５ ピアノ
６ バー
７ 赤外線センサ
８ 赤外線照射ライト
１０ ユーザ手首
１１ 運指画像
１２ ユーザの運指画像
１３ 差分画像
２０ ヘッドマウントディスプレイ
２１ 空間認識センサ
２２ 表示部
２３ 表示制御部
３０ 格納部
３１ シーケンサ部
３２ 音声処理部
３３ 画像処理部

Claims (11)

1. 演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子が黒色の画像となるように、前記演奏操作子を形成した
   演奏装置。
2. 前記演奏装置が鍵盤楽器であり、前記演奏操作子が白鍵である
   請求項１に記載の演奏装置。
3. 前記白鍵は、前記白鍵の白色の地色が透過する透明な赤外線吸収材が塗布されたものである
   請求項２に記載の演奏装置。
4. 前記白鍵が黒色の素材で形成され、形成された黒色の鍵に、白色の赤外線透過材が塗布されたものである
   請求項２に記載の演奏装置。
5. 前記白鍵は、前記白鍵が白色で形成されたものであり、その白鍵に、下層の黒色層と上層の白色の赤外線透過層とからなる部材が貼付されたものである
   請求項２に記載の演奏装置。
6. 前記白鍵は、白色の赤外線吸収素材で形成されたものである
   請求項２に記載の演奏装置。
7. 前記演奏操作子に、赤外線を照射する赤外線照射手段と、
   前記演奏操作子を撮影する赤外線センサと
   を有する請求項１から請求項６のいずれかに記載の演奏装置。
8. 演奏装置の演奏操作子を、赤外線センサにより撮影したときに、前記演奏操作子の色が黒色となるように形成された演奏装置において、前記演奏操作子に赤外線を照射し、
   前記演奏装置の演奏者の運指を、赤外線センサによりモーションキャプチャする
   運指のモーションキャプチャ方法。
9. 前記演奏装置が鍵盤楽器であり、前記演奏操作子が白鍵である
   請求項８に記載のモーションキャプチャ方法。
10. 赤外線センサにより撮影したときに黒色となるように形成された演奏操作子と、
    前記演奏操作子に、赤外線を照射する赤外線照射手段と、
    前記演奏操作子を撮影する赤外線センサと
    を有する演奏装置と、
    表示部と、
    前記演奏装置を演奏する演奏者の視線方向と前記演奏装置との位置関係を検出する空間認識センサと、
    前記空間認識センサの検出結果と、手本となる演奏者の運指を示す運指データに基づいて、ユーザの視界方向に対応する前記手本となる演奏者の運指画像を生成する第１の運指画像生成手段と、
    前記空間認識センサの検出結果と、前記赤外線センサによりモーションキャプチャされた前記演奏装置を演奏する演奏者の運指データに基づいて、ユーザの視界方向に対応する前記演奏装置を演奏する演奏者の運指画像を生成する第２の運指画像生成手段と、
    前記手本となる演奏者の運指画像と前記演奏装置を演奏する演奏者の運指画像との差分である差分運指画像を生成する差分運画像生成手段と、
    光学的透過又は撮影されて表示される、前記演奏装置を演奏する演奏者の視界画像に、前記差分運指画像を重畳して前記表示部に表示する画像表示制御手段と
    を有する演奏情報表示装置と
    を有する演奏支援システム。
11. 前記演奏装置が鍵盤楽器であり、前記演奏操作子が白鍵であり、
    前記演奏情報表示装置がヘッドマウントディスプレイである
    請求項１０に記載の演奏支援システム。