JP2014010362A - 映像演出装置 - Google Patents

Abstract

【課題】種々のコンテンツを取り込むことが可能な、面白みのある映像演出を行う。
【解決手段】映像投影の対象となる物体の出現可能領域の視点側所定位置に配置されたプロジェクタおよび距離センサカメラと、前記距離センサカメラにより得られた前記物体の表面の距離情報に基づいて前記物体の表面に映写する映像を生成し、前記プロジェクタに映像信号を出力する制御装置とを備える。
【選択図】図１

Description

本発明は映像演出装置に関する。

プレイヤ等の動きのある物体の動作に連動して映像を提示するといった映像演出が望まれるが、従来、充分なものは提案されていない。

特許文献１には、ユーザの姿を撮像した画像からユーザの指示や視線を検出し、広告等の情報提示に反映する仕組が開示されているが、映像演出を主目的としたものではなく、充分なものではない。

特開２００６−２１５８６３号公報

上述したように、従来、映像演出として充分な面白みのあるものが存在せず、斬新な仕組の出現が待たれていた。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、種々のコンテンツを取り込むことが可能な、面白みのある映像演出を行うことにある。

上記の課題を解決するため、本発明にあっては、映像投影の対象となる物体の出現可能領域の視点側所定位置に配置されたプロジェクタおよび距離センサカメラと、前記距離センサカメラにより得られた前記物体の表面の距離情報に基づいて前記物体の表面に映写する映像を生成し、前記プロジェクタに映像信号を出力する制御装置とを備えるようにしている。

本発明の映像演出装置にあっては、種々のコンテンツを取り込むことが可能であり、面白みのある映像演出を行うことができる。

本発明の一実施形態にかかる映像演出装置の構成例を示す図である。 制御装置の構成例を示す図である。 映像補正部の構成例を示す図である。 映像演出の例を示す図（その１）である。 映像演出の例を示す図（その２）である。 映像演出の例を示す図（その３）である。

以下、本発明の好適な実施形態につき説明する。

図１は本発明の一実施形態にかかる映像演出装置の構成例を示す図である。

図１において、プレイヤＰが近寄ることのできる壁等に大型のＬＣＤ（Liquid Crystal Display）パネル１が設置され、その上方の天井等にプロジェクタ２と距離センサカメラ３とが設置されている。距離センサカメラ３の視野は、検出対象となるプレイヤＰ等の物体の出現可能領域をカバーするものとする。

ＬＣＤパネル１は、映像信号を入力し、映像を表示するものである。プロジェクタ２は、映像信号を入力し、映像をプレイヤＰの手や体等の物体の表面に投影するものである。距離センサカメラ３は、撮像しようとする方向に赤外線光の微細なパターンを照射し、そのパターンを含む映像を撮像し解析することで、画素毎に距離センサカメラ３からの距離を示す距離情報（深度情報）を持った距離映像信号を出力するものである。なお、距離情報として、距離センサカメラ３からの距離にオフセットを与えて別の位置からの距離を示すものとしてもよい。

ＬＣＤパネル１、プロジェクタ２および距離センサカメラ３は、ＰＣ（Personal Computer）等の制御装置４に接続されている。制御装置４には、スピーカ６を駆動するためのオーディオアンプ５も接続されている。

なお、図１の構成では、ＬＣＤパネル１による映像の表示とプロジェクタ２による映像の表示（投影）との２系統で表示を行っているが、ＬＣＤパネル１を省略し、プロジェクタ２のみとすることもできる。

また、プロジェクタ２および距離センサカメラ３は上方に設けているが、これはプレイヤＰの視点（目の位置）と投影する対象物体（ここではプレイヤＰの手や体）との関係により決まるものである。例えば、プレイヤＰが手に持った開いた傘の内側等に映像を投影するのであれば、プロジェクタ２および距離センサカメラ３は下方に上を向いて配置することになる。

図２は制御装置４の構成例を示す図である。

図２において、制御装置４は、ノイズ除去部４１とオブジェクト抽出部４２と映像音声演出部４３と映像補正部４４と映像出力部４５と音声出力部４６とを備えている。

ノイズ除去部４１は、距離センサカメラ３の出力する距離映像信号からノイズを除去する機能を有している。

オブジェクト抽出部４２は、ノイズ除去部４１によりノイズ除去された後の距離映像信号からプレイヤＰの頭、手、体といったオブジェクトの輪郭座標と輪郭内の各画素の距離情報とを抽出する機能を有している。

映像音声演出部４３は、オブジェクト抽出部４２により抽出されたオブジェクトの状態（３次元空間内の位置、形状、動き等）に応じて所定の映像演出のための映像および音声の生成を行う機能を有している。

例えば、プレイヤＰの手（手の可能性のある体の一部）がＬＣＤパネル１に触れる位置に移動した場合には、ＬＣＤパネル１に表示していた表示オブジェクトをプレイヤＰの手や体に移動させる映像を生成する。また、プレイヤＰの手がＬＣＤパネル１から離れる位置に移動した場合には、プレイヤＰの手や体に移動していた表示オブジェクトをＬＣＤパネル１に移動させる映像を生成する。また、プレイヤＰの一方の手がＬＣＤパネル１に触れる位置にある状態で、他方の手がＬＣＤパネル１に触れる位置に移動した場合には、プレイヤＰの手や体に移動していた表示オブジェクトが他方の手を通ってＬＣＤパネル１に移動し、これらを循環させる映像を生成する。

映像補正部４４は、オブジェクト抽出部４２の出力からプレイヤＰの頭オブジェクトを抽出して視点を特定するとともに、映像音声演出部４３により生成された映像（プロジェクタ２に出力する映像。ＬＣＤパネル１に出力する映像について補正は不要。）につき、オブジェクト抽出部４２の出力から映像の投影されるオブジェクトの表面の距離情報を取得して、いわゆるプロジェクションマッピングにより、視点から見た映像が所望の形状（例えば、映像が球を表わしているならば、視点から見て球）になるように映像を補正する機能を有している。

すなわち、投影する映像が微妙な形状等の再現を要さないものであれば特に問題はないが、物体の表面の傾斜・湾曲や凹凸によって物体の表面に投影される映像が歪み、映像が正確に表現されず、映像演出の効果が低下してしまう問題がある。そのため、映像補正部４４は投影対象の物体の表面の距離情報に基づいて投影する映像に補正を加えるようにしている。更には、映像補正部４４は所定の時間間隔（例えば、３０分の１秒ごと）にオブジェクトの表面の距離情報を取得し直すことにより、オブジェクトの表面が動的に変化しても、それに追随して映像の補正をすることができる。

映像出力部４５は、映像補正部４４により補正された後の映像（ＬＣＤパネル１に対する映像は補正なし）をＬＣＤパネル１およびプロジェクタ２に出力する機能を有している。

音声出力部４６は、映像音声演出部４３により生成された音声をオーディオアンプ５に出力する機能を有している。

図３は映像補正部４４の構成例を示す図である。

図３において、映像補正部４４は、頭オブジェクト抽出部４４１と視点決定部４４２と映像投影領域抽出部４４３と表面距離情報抽出部４４４と映像投影領域映像補正部４４５とを備えている。

頭オブジェクト抽出部４４１は、オブジェクト抽出部４２の出力からプレイヤＰの頭オブジェクト（形状から頭に対応するオブジェクトと推定されるオブジェクト）の輪郭座標と輪郭内の各画素の距離情報とを抽出する機能を有している。

視点決定部４４２は、頭オブジェクト抽出部４４１の出力から、一般的な頭の形状と目の３次元的な相対位置のモデルに基づいて視点の３次元座標を決定する機能を有している。

映像投影領域抽出部４４３は、映像音声演出部４３の出力の映像から主たる投影映像の存在する領域座標（例えば、プレイヤＰの手に投影する映像の領域座標）を抽出する機能を有している。なお、映像音声演出部４３が、主たる投影映像の存在する領域座標を別に出力する場合、映像投影領域抽出部４４３を省略し、映像投影領域抽出部４４３の出力に代えて映像音声演出部４３の領域座標の出力を用いることができる。

表面距離情報抽出部４４４は、映像投影領域抽出部４４３により抽出された主たる投影映像の存在する領域座標と、オブジェクト抽出部４２の各オブジェクトの輪郭座標および輪郭内の各画素の距離情報とから、投影部分のオブジェクトの表面の距離情報を抽出する機能を有している。

映像投影領域映像補正部４４５は、映像音声演出部４３の元の映像のうち、表面距離情報抽出部４４４で抽出された輪郭座標内の映像を、輪郭内の各画素の距離情報に応じて、視点決定部４４２で決定された視点から見た映像が正視した映像となるように、マトリックス演算等を施して補正を行い、映像出力部４５に補正後の映像信号を出力する機能を有している。

図４〜図６は映像演出の例を示す図である。

図４（ａ）に示すように、プレイヤＰがＬＣＤパネル１に触れていない状態では、謎の生命体に見立てた球状の表示オブジェクトや手で触れることを誘導するための手形状の表示オブジェクトをＬＣＤパネル１に表示する。

これに応じて、図４（ｂ）に示すようにプレイヤＰがＬＣＤパネル１に触れると、図５（ａ）に示すように、ＬＣＤパネル１上の球状の表示オブジェクトがプレイヤＰの手の周りに集まり、手を伝って移動してくる映像をプロジェクタ２によりプレイヤＰの手に投影して表示する。この場合、プレイヤＰの手に投影される映像は、プレイヤＰの視点から見て正視した状態に補正されているため、球状の表示オブジェクトがリアルに這ってくることを実感させることができる。

図５（ｂ）は、球状の表示オブジェクトがプレイヤＰの胸に集まった状態を示している。

図６は、プレイヤＰが更にＬＣＤパネル１に他方の手を触れて両手で触れる状態となることで、球状の表示オブジェクトがプレイヤＰの一方の手から胸を通って他方の手に移動してＬＣＤパネル１に戻り、それを循環的に繰り返す様子を示している。

また、プレイヤＰがＬＣＤパネル１から手を離した場合、プレイヤＰの手や胸に表示されていた球状の表示オブジェクトは勢いよくＬＣＤパネル１に移動する（戻っていく）。

上述した映像演出の他にも種々の態様が考えられる。例えば、人の体に衣服の映像を投影したり、車のボンネットにコマーシャルメッセージの映像を投影したりすることも可能であり、投影対象の物体の表面の傾斜・湾曲や凹凸によって映像を歪ませることなく表示することができる。

なお、上記の実施形態では、投影映像を補正する際の基準となる視点を視点決定部４４２で決定していたが、機器の構成などに合わせて、この視点は任意に設定してもよい。例えば、床やＬＣＤパネル１を基準にして予め固定位置に視点を設定してもよいし、また、投影対象の物体の各表面の法線上の無限遠に視点を設定してもよい。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ ＬＣＤパネル
２ プロジェクタ
３ 距離センサカメラ
４ 制御装置
４１ ノイズ除去部
４２ オブジェクト抽出部
４３ 映像音声演出部
４４ 映像補正部
４４１ 頭オブジェクト抽出部
４４２ 視点決定部
４４３ 映像投影領域抽出部
４４４ 表面距離情報抽出部
４４５ 映像投影領域映像補正部
４５ 映像出力部
４６ 音声出力部
５ オーディオアンプ
６ スピーカ
Ｐ プレイヤ

Claims (4)

1. 映像投影の対象となる物体の出現可能領域の視点側所定位置に配置されたプロジェクタおよび距離センサカメラと、
   前記距離センサカメラにより得られた前記物体の表面の距離情報に基づいて前記物体の表面に映写する映像を生成し、前記プロジェクタに映像信号を出力する制御装置と
   を備えたことを特徴とする映像演出装置。
2. 請求項１に記載の映像演出装置において、
   前記制御装置は、前記距離センサカメラにより得られた前記物体の表面の各点における距離情報に基づき、前記プロジェクタにより前記物体の表面に映写する映像を補正する映像補正手段
   を備えたことを特徴とする映像演出装置。
3. 映像投影の対象となる物体の出現可能領域の視点側所定位置に配置された距離センサカメラから前記物体の表面の距離情報を取得する工程と、
   前記距離センサカメラにより得られた前記物体の表面の距離情報に基づいて前記物体の表面に映写する映像を生成し、映像投影の対象となる前記物体の出現可能領域の視点側所定位置に配置されたプロジェクタに映像信号を出力する工程と
   を備えたことを特徴とする映像演出方法。
4. コンピュータを、
   映像投影の対象となる物体の出現可能領域の視点側所定位置に配置された距離センサカメラから前記物体の表面の距離情報を取得する手段、
   前記距離センサカメラにより得られた前記物体の表面の距離情報に基づいて前記物体の表面に映写する映像を生成し、映像投影の対象となる前記物体の出現可能領域の視点側所定位置に配置されたプロジェクタに映像信号を出力する手段
   として機能させる映像演出プログラム。

Images