JP7145432B2 - 投影システム、画像処理装置および投影方法 - Google Patents

Description

本開示は、被投影物に、その位置に応じた映像を投影する投影システム、画像処理装置および投影方法に関する。

特許文献１は、照射光を被投影物に対して照射することによって、被投影物の表面に模様や色等のオブジェクトをマッピングする制御部、投影システム、プログラム及び画像処理方法を開示する。特許文献１の制御部は、撮像手段と、撮像手段によって撮像された被投影物を含む画像を取得する画像取得手段と、画像取得手段から取得された画像から被投影物の投影領域を抽出する領域抽出手段と、投影領域に対応したオブジェクトを投影領域にマッピングするマッピング手段と、を備える。これにより、被投影物が形状変化や移動等をしても、オブジェクトの像が被投影物にマッピングされる。

特開２０１３－１９２１８９号公報

本開示は、被投影物が移動した場合に生じる投影映像と被投影物との間のずれを補正し、被投影物が移動しても投影映像と被投影物との間にずれが生じないようにする投影システム、画像処理装置および投影方法を提供する。

本開示の一態様は、被投影物に可視光による映像を投影する可視光投影装置と、可視光投影装置の光軸と一致しない光軸を有し、被投影物の画像を撮像するカメラと、カメラによって撮像された画像に基づいて、被投影物に可視光により投影する映像を生成する画像処理装置とを備える投影システムを提供する。画像処理装置は、可視光投影装置の光軸とカメラの光軸との違いに起因する投影映像と被投影物との間のずれに対して、被投影物の位置に応じた補正を行い、可視光投影装置によって映像が投影される被投影物の投影領域を算出する補正部と、被投影物に投影される映像を投影領域に投影するように映像データを生成する映像生成部とを備える。

本開示の他の態様は、可視光投影装置によって被投影物に投影される可視光による映像を示す映像データを出力する映像出力部と、可視光投影装置の光軸と一致しない光軸を有するカメラによって撮像された被投影物の画像データを入力する画像入力部と、画像データが示す画像に基づいて、映像データを生成する制御部とを備える画像処理装置を提供する。制御部は、可視光投影装置の光軸とカメラの光軸との違いに起因する投影映像と被投影物との間のずれに対して、被投影物の位置に応じた補正を行い、可視光投影装置によって映像が投影される被投影物の投影領域を算出する補正部と、被投影物に投影される映像を投影領域に投影するように映像データを生成する映像生成部とを備える。

本開示の更に他の態様は、可視光投影装置の光軸と一致しない光軸を有するように、被投影物の画像を撮像するカメラを設置し、可視光投影装置の光軸とカメラの光軸との違いに起因する投影映像と被投影物との間のずれに対して、被投影物の位置に応じた補正を行い、可視光投影装置によって映像が投影される被投影物の投影領域を決定し、被投影物に投影される映像を投影領域に投影するように映像データを生成し、生成された映像データが示す映像を可視光投影装置によって投影する投影方法を提供する。

本開示により、被投影物が移動した場合に生じる投影映像と被投影物との間のずれを補正し、被投影物が移動しても投影映像と被投影物との間にずれが生じないようにする投影システムを得る。

実施の形態１に係る投影システムの構成を示す図 実施の形態１に係る投影システムの画像処理装置の具体的な構成を示す図 実施の形態１に係る投影システムによるキャリブレーション処理の流れを示すフローチャート 可視光投影座標系における、実施の形態１に係る投影システムによるキャリブレーション処理に用いられる特徴点を示す図 カメラ座標系から見た図４の特徴点を示す図 投影システムにおけるオブジェクトの位置および形状の計測原理を説明するための図 オブジェクトが移動した場合に、テクスチャ映像の位置とオブジェクトの位置とがずれることを説明するための図 テクスチャ映像の位置とオブジェクトの位置とがずれていない状態を示す図 テクスチャ映像の位置とオブジェクトの位置とがずれた状態を示す図 実施の形態１に係る投影システムによるプロジェクションマッピング動作を示すフローチャート 実施の形態２に係る投影システムの構成を示す図 実施の形態２に係る投影システムによる実測動作を説明するための図 実施の形態２に係る投影システムによる実測動作の流れを示すフローチャート 実施の形態３に係る投影システムの構成を示す図 実施の形態３に係る投影システムによる補正動作を説明するための図 実施の形態３に係る投影システムによる実測動作を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１～８を参照して、実施の形態１を説明する。

［１－１．構成］
図１は、実施の形態１に係る投影システム１００の構成を示す図である。投影システム１００は、スクリーン２と、投影システム１００とスクリーン２との間を移動し得る人、物等のオブジェクト３とに、それらの位置および形状に応じた映像を投影するプロジェクションマッピングを行うシステムである。

オブジェクト３には、模様、色彩、マーク、記号等を含むテクスチャ映像が投影される。

ここで、図１に示すように、説明の便宜上、鉛直方向下向きをｙ軸とし、ｙ軸に垂直な水平方向をｘ軸とし、ｘ軸とｙ軸に垂直な方向をｚ軸とする。

スクリーン２は、図１の例では、ｘｙ平面上の長方形の平面状の形状を有する。しかしながら、スクリーン２の形状はこれに限定されず、球、曲面などであってもよいし、凹凸を有してもよい。また、スクリーン２は、例えば紙や布などを投影用に長方形に加工したものであるが、これに限定されず、建物の壁面や自然に形成された岩壁などであってもよい。

投影システム１００は、スクリーン２およびオブジェクト３を撮像するカメラ４を備える。カメラ４は、例えばＣＣＤまたはＣＭＯＳイメージセンサなどの画像センサを備え、可視光および赤外線に対して感度を有するカメラである。投影システム１００は、画像処理装置５を更に備える。画像処理装置５は、カメラ４によって撮像された画像に基づいて、スクリーン２およびオブジェクト３に投影する映像を生成するとともに、投影システム１００の各部を制御する。

投影システム１００は、画像処理装置５によって生成された映像をスクリーン２およびオブジェクト３に可視光により投影する可視光投影装置６と、オブジェクト３に、それらの形状および位置を計測するための赤外線によるパターン映像を投影する赤外線投影装置７とを更に備える。

可視光投影装置６は、例えばＤＬＰ方式、３ＬＣＤ方式、ＬＣＯＳ方式またはＤＭＤ方式などの方式により可視光による映像を投影するプロジェクタである。可視光投影装置６は、例えば画像処理装置５から入力される映像データに基づき、種々の映像コンテンツを含む映像を投影する。

赤外線投影装置７は、例えばＤＬＰ方式、ＬＣＯＳ方式またはＤＭＤ方式などの方式により赤外線による映像を投影するプロジェクタである。赤外線投影装置７は、例えば画像処理装置５から入力される映像データに基づき、空間コード化法を用いてオブジェクト３の形状および位置を計測するためのパターン映像を投影する。

可視光投影装置６および赤外線投影装置７は、同一の領域に、例えばスクリーン２およびオブジェクト３に光による映像を投影できるように配置される。可視光投影装置６の光軸と赤外線投影装置７の光軸は、図１では一致していないが、一致するように光学的に結合されてもよい。

カメラ４は、可視光投影装置６および赤外線投影装置７によって映像が投影される領域（例えばスクリーン２およびオブジェクト３）の画像を撮像可能な位置に配置される。また、カメラ４は、カメラ４の光軸が、可視光投影装置６の光軸および赤外線投影装置７の光軸のいずれとも一致しないように配置される。

投影システム１００は、可視光投影装置６からの可視光によるコンテンツ映像をスクリーン２およびオブジェクト３に投影する。コンテンツ映像のうちオブジェクト３に投影されるべきもの（テクスチャ映像）を、オブジェクト３が移動したとしてもオブジェクト３に投影するために、赤外線投影装置７およびカメラ４を用いてオブジェクト３の位置および形状を計測する。

図２は、画像処理装置５の具体的な構成を示す図である。画像処理装置５は、制御部１０と、記憶部２０と、カメラ４によって撮像された画像を受け取る画像入力部１１と、制御部１０内で生成された映像データを出力する映像出力部１８とを備える。

制御部１０は、画像処理装置５の動作全体の制御を司る装置である。制御部１０は、プログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御部１０は、記憶部２０に格納された制御プログラムを呼び出して実行することにより、画像処理装置５における各種の制御を実現する。制御部１０は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

記憶部２０は種々の情報を記録する媒体である。記憶部２０は、具体的には、フラッシュメモリ、ＳＳＤ等の半導体メモリ装置やハードディスク等のディスク装置、その他の記憶デバイス単独で又はそれらを適宜組み合わせて実現される。記憶部２０には、制御部１０が実行する制御プログラム、映像データ等が格納される。また、記憶部２０は、制御部１０の作業領域として動作してもよい。

画像入力部１１は、画像処理装置５と周辺機器（例えばカメラ４）とを接続するインタフェース回路（モジュール）である。また、映像出力部１８は、画像処理装置５と周辺機器（例えば、可視光投影装置６および赤外線投影装置７）とを接続するインタフェース回路（モジュール）である。画像入力部１１および映像出力部１８としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、種々のインタフェースが用いられる。

制御部１０は、画像入力部１１に入力された画像に基づいてオブジェクト３の位置を検出する検出部１２を備える。

制御部１０は、カメラ４によって撮像された画像に基づいて、可視光投影装置６によって投影された可視光による映像の各画素とカメラ４の各画素とを対応付ける座標変換行列を算出するキャリブレーション部１３を更に備える。座標変換行列は、カメラ４から見た座標系（以下、「カメラ座標系」という。）を、可視光投影装置６による映像投影のための座標系（以下、「可視光投影座標系」という。）に変換するものである。座標変換行列は、記憶部２０に格納される。

さらに、キャリブレーション部１３は、赤外線投影装置７によって投影された赤外線による映像の各画素とカメラ４の各画素とを対応付けることもできる。これにより、可視光映像、赤外線映像およびカメラの各画素が対応づけられる。

制御部１０は、検出部１２によって検出されたカメラ座標系におけるオブジェクト３の位置に、座標変換行列を適用して、可視光投影座標系におけるオブジェクト３の位置を算出する座標変換部１４を更に備える。

後述のように、座標変換部１４によって算出された可視光投影座標系におけるオブジェクト３の位置に合致するように映像を投影しても、オブジェクト３がキャリブレーションが行われた位置からｚ方向に移動した場合、テクスチャ映像の位置とオブジェクト３の位置とがずれる。そこで、制御部１０は、このようなずれを補正して、テクスチャ映像の位置とオブジェクト３の位置とを一致させる補正部１５を更に備える。補正方法の詳細については後述する。

制御部１０は、補正部１５によって得られたオブジェクト３の補正後の位置に応じて、予め与えられたコンテンツ映像データから、スクリーン２およびオブジェクト３に投影するための映像データを生成する映像生成部１６を更に備える。映像生成部１６で生成された映像データは、映像出力部１８を経由して可視光投影装置６に送信され、可視光投影装置６によってスクリーン２およびオブジェクト３に投影される。

制御部１０は、空間コード化法を用いてオブジェクト３の形状および位置を計測するためのパターン映像データを生成するパターン映像生成部１７を更に備える。パターン映像生成部１７で生成されたパターン映像データは、映像出力部１８を経由して赤外線投影装置７に送信され、赤外線投影装置７によってオブジェクト３に投影される。

［１－２．キャリブレーション動作］
以下、本実施形態に係る投影システム１００によって行われるキャリブレーション動作について説明する。

図３は、投影システム１００によるキャリブレーション処理の流れを示すフローチャートである。図１～３を参照して、キャリブレーション処理について説明する。まず、可視光投影装置６がスクリーン２上に特徴点を投影する（Ｓ１０１）。次に、特徴点をカメラ４で撮影する（Ｓ１０２）。

図４には、可視光投影座標系における４つの特徴点が示されている。可視光投影装置６によって投影される特徴点は、例えば図４に示すように交差する２つの線分である。

可視光投影装置６によって投影された特徴点をカメラ座標系で見ると、キャリブレーション処理が行われていない場合、図５のように見える。このように、キャリブレーション処理が行われていないと、カメラ４から見た映像は歪んで見える。つまり、キャリブレーション処理を行わずにプロジェクションマッピングを行った場合、可視光投影装置６と異なる位置にいる観客には、投影画像が歪んで見え、プロジェクションマッピングの演出効果が損なわれる。

そこで、画像処理装置５のキャリブレーション部１３は、可視光投影装置６によって投影された可視光による映像の各画素とカメラ４の各画素とを対応付ける座標変換行列を算出する（Ｓ１０３）。座標変換は、例えば、射影変換、アフィン変換、または透視投影変換である。算出された座標変換行列は、記憶部２０に保存され、プロジェクションマッピングを行う際に使用される。プロジェクションマッピングを行う際に投影すべきデータにこの座標変換行列を適用することにより、カメラ４から見た映像が歪んで見える問題が解消される。

以上のキャリブレーション処理の前または後に、赤外線投影装置７によって投影された赤外線による映像の各画素とカメラ４の各画素とを対応付けるキャリブレーション処理が行われてもよい。これにより、可視光映像、赤外線映像およびカメラの各画素が対応づけられる。

［１－３．位置および形状の計測原理］
本実施の形態では、オブジェクト３の位置および形状（深度）を計測する手段として、アクティブステレオ計測法および空間コード化法を採用する。

図６は、アクティブステレオ計測法を説明するための図である。図６では、カメラ４と赤外線投影装置７とが、ｘ方向に間隔Ｃだけ離れて同じｚ位置に配置されている。赤外線投影装置７から出射した赤外線は、オブジェクト３の表面に入射して反射し、反射光がカメラ４に入射する。図６に示すように、入射光路と反射光路がなす角度（以下、「視差」という。）をθとする。このように、赤外線投影装置７によって投影された映像は、カメラ４から撮像すると視差θだけずれて写る。そして、図６に示すように、カメラ４とオブジェクト３との間のｚ方向の距離が変化すると、カメラ４の撮像画像における赤外線の反射点の位置のｘ座標が変化する。

このような座標の変化に基づき、画像処理装置５の制御部１０は、カメラ４と赤外線投影装置７との間隔Ｃを基線長とする三角法に基づく計算を行って、カメラ４とオブジェクト３との間のｚ方向の距離を算出する。座標の変化は、空間コード化法に基づく計測パターンを用いて計測される。

［１－４．補正動作］
図２に示された補正部１５によって行われる、キャリブレーション処理後のテクスチャ映像のずれに対する補正動作は、後述のプロジェクションマッピング動作の中で行われるものであるが、本実施の形態の特徴の１つであるため、特に項目を設けてここで説明する。

図７は、キャリブレーションが実施された位置からオブジェクト３が移動した場合に、テクスチャ映像の位置とオブジェクト３の位置とがずれることを説明するための図である。図７には、上から見た、スクリーン２と、オブジェクト３と、カメラ４と、可視光投影装置６とが示されている。図７では、オブジェクト３は、スクリーン２上ではなく、スクリーン２からｚ方向に距離ｄだけ離れたスクリーン２に平行な面（以下、「マッピング面」という。）の上の点Ｐの位置にある。

前述のキャリブレーション動作は、可視光投影装置６によってスクリーン２上に特徴点を投影し、この特徴点をカメラ４で撮像することによって行われている。つまり、キャリブレーション動作は、スクリーン２を基準にして行われている。このため、カメラ４によって撮像された画像に基づき、オブジェクト３の位置を認識する場合、制御部１０は、オブジェクト３が、カメラ４と点Ｐとを通る直線がスクリーン２と交わる点Ｑの位置にあるものと認識する。

そのため、画像処理装置５は、可視光投影装置６を制御して、テクスチャ映像を、点Ｑの位置に投影しようとする。しかし、オブジェクト３のあるマッピング面がスクリーン２より手前にあるため、テクスチャ映像は、可視光投影装置６と点Ｑとを通る直線がマッピング面と交わる点Ｒの位置に投影される。このため、本来、マッピング面上の位置Ｐに投影されるべきテクスチャ映像は位置Ｒに投影されてしまい、投影位置にずれが生じる。

このように、キャリブレーションが実施された面（キャリブレーション面、図示の例ではスクリーン２）より手前（すなわち、キャリブレーション面とカメラ４との間）にオブジェクト３がある場合、テクスチャ映像の位置とオブジェクト３の位置とがずれる。

例えば、オブジェクト３がキャリブレーション面内にある場合、映像は、図８Ａに示すようにオブジェクト３に適切に投影される。これに対して、キャリブレーション面より手前にオブジェクト３がある場合、図８Ｂに示すように、テクスチャ映像の位置とオブジェクト３の位置とがＭｍ１だけずれる。

投影映像のずれ量Ｍｍ１、すなわち図７の点Ｐと点Ｒとの間の距離は、次の式で表される。

ここで、Ｂはカメラ４と可視光投影装置６との間のｘ方向の距離であり、Ｄはカメラ４とスクリーン２との間のｚ方向の距離であり、ｄはスクリーン２とマッピング面またはオブジェクト３との間のｚ方向の距離である。

投影映像のずれの方向（点Ｐを基準とする点Ｒの位置）は、カメラ４と可視光投影装置６との位置関係に依存する。図７に示すように可視光投影装置６がカメラ４の＋ｘ方向（紙面右方向）にある場合、投影映像のずれの方向も＋ｘ方向となる。

また、マッピング面における、可視光投影装置６が投影することができる映像のｘ方向の幅（以下、「投影幅」という。）ｈｐと、投影映像のずれ量Ｍｍ１を画素数に換算した補正量Ｍｘ１は、次の式で表される。

ここで、Ｈｐはスクリーン２における投影幅であり、Ｐｈは可視光投影装置６の水平画素数（ｘ方向の画素数）である。

以上のような投影位置のずれを解消するため、補正部１５は、映像の位置を補正量Ｍｘ１だけずらす補正を行うことにより、オブジェクト３に適切に映像を投影させることができる。

距離Ｄおよび距離ｄは、パターン映像生成部１７によって生成されたパターン映像を用いて、空間コード化法によって測定することができる。したがって、プロジェクションマッピングの実行前に、スクリーン２における投影幅Ｈｐ、カメラ４と可視光投影装置６との間のｘ方向の距離Ｂ、および、可視光投影装置６の水平画素数Ｐｈを、例えば記憶部２０に格納しておくことにより、投影システム１００は、プロジェクションマッピング中に補正量Ｍｘ１を随時測定して補正を行うことができる。

以上では、水平方向（ｘ方向）のずれの補正について説明したが、垂直方向（ｙ方向）のずれも同様に補正することができる。

［１－５．プロジェクションマッピング動作］
図９は、投影システム１００によるプロジェクションマッピング動作を示すフローチャートである。図１、２および９を参照して、プロジェクションマッピング動作について説明する。まず、赤外線投影装置７は、赤外線による計測用のパターン映像を、オブジェクト３に投影する（Ｓ２０１）。計測用のパターン映像は、記憶部２０に格納されたデータに基づいて、パターン映像生成部１７で生成されたものである。

カメラ４は、オブジェクト３を撮像し、赤外線投影装置７によって投影されたパターン映像を撮像する（Ｓ２０２）。

制御部１０は、画像入力部１１を介して画像データを受け取る。制御部１０の検出部１２は、受け取ったパターン画像データに基づいて、カメラ座標系におけるオブジェクト３の位置、特にカメラ４とオブジェクト３との間のｚ方向の距離（深度）を検出する（Ｓ２０３）。

座標変換部１４は、ステップＳ２０３で検出されたカメラ座標系におけるオブジェクト３の位置に、図３に示したキャリブレーション動作で得られた座標変換行列を適用して、可視光投影座標系におけるオブジェクト３の位置を算出する（Ｓ２０４）。

しかしながら、前述のように、ステップＳ２０４で算出されたオブジェクト３の位置は、オブジェクト３がキャリブレーション面内にない場合、実際のオブジェクト３の位置からずれている。そこで、補正部１５は、このようなずれを補正して、テクスチャ映像の位置と、実際のオブジェクト３の位置とを一致させるため、補正係数を算出する（Ｓ２０５）。補正係数は、例えば、スクリーン２とオブジェクト３との間のｚ方向の距離ｄに基づいて（式３）で与えられるＭｘ１である。

映像生成部１６は、ステップＳ２０４で算出されたオブジェクト３の位置を、ステップＳ２０５で得られた補正係数に基づいて補正する（Ｓ２０６）。

補正された位置にテクスチャ映像が投影されるように、予め与えられたコンテンツ映像データから、スクリーン２およびオブジェクト３に投影するための映像データを生成する（Ｓ２０７）。つまり、映像生成部１６は、補正後のオブジェクト３の位置に基づいて、投影のための映像データを生成する。

映像生成部１６は、生成した映像データを、映像出力部１８を経由して可視光投影装置６に送信し、スクリーン２およびオブジェクト３に映像を投影する（Ｓ２０８）。

投影システム１００は、以上の処理を所定のフレームレートにおいて繰り返し行う（Ｓ２０９）。これにより、可視光投影装置６から投影される映像コンテンツをオブジェクト３の動きに精度良く追従させることができる。

［１－６．効果等］
以上のように、本実施の形態において、投影システム１００は、オブジェクト３に可視光による映像を投影する可視光投影装置６と、可視光投影装置６の光軸に一致しない光軸を有し、オブジェクト３の画像を撮像するカメラ４と、カメラ４によって撮像された画像に基づいて、オブジェクト３に可視光により投影する映像を生成する画像処理装置５とを備える。

画像処理装置５は、可視光投影装置６の光軸とカメラ４の光軸との違いに起因する投影映像とオブジェクト３との間のずれに対して、オブジェクト３の位置に応じた補正を行い、可視光投影装置６によって映像が投影されるオブジェクト３の投影領域を算出する補正部１５と、オブジェクト３に投影される映像を投影領域に投影するように映像データを生成する映像生成部１６とを備える。

これにより、投影システム１００は、プロジェクションマッピング中に、オブジェクト３が移動した場合に生じる投影映像とオブジェクト３との間のずれを補正し、オブジェクト３が移動しても投影映像とオブジェクト３との間にずれが生じないようにすることができる。

（実施の形態２）
実施の形態２では、キャリブレーション処理の実施後、プロジェクションマッピングの実演前に、オブジェクト３の位置とテクスチャ映像の投影位置とのずれの量を人が計測（実測）し、実測されたずれの量を用いてプロジェクションマッピングの実演中のずれの補正を行う投影システム２００を開示する。

［２－１．構成］
図１０は、実施の形態２に係る投影システム２００の構成を示す図である。本実施の形態の投影システム２００では、画像処理装置２０５が、実施の形態１の画像処理装置５の構成に加えて、後述の実測位置における投影映像のずれ量（以下、「実測量」という。）Ｍｍ２の入力指示を受け付ける操作部２１を更に備える。また、投影システム２００の制御部２１０の動作、特に補正部２１５の動作が実施の形態１のものと異なる。

操作部２１は、使用者からの入力指示を受け付ける入力用インタフェースである。操作部２１は、使用者から受け付けた入力指示や操作の内容を電気信号に変換して制御部１０に伝達する。操作部２１は、マウス、キーボード、タッチパネル、ボタン等を含む。

［２－２．実測動作］
本実施の形態では、キャリブレーション処理の実施後に、実測量Ｍｍ２を計測する実測動作が行われる。図１０～１２を参照しながら投影システム２００による実測動作について説明する。図１１は、投影システム２００による実測動作を説明するための図である。図１２は、投影システム２００による実測動作の流れを示すフローチャートである。実測動作は、プロジェクションマッピングの実演前に、準備として行われる。

キャリブレーション処理の実施後、キャリブレーション面（図１１に示す例ではスクリーン面２）からｚ方向にＡだけ離れた位置（以下、「実測位置」という。）にオブジェクト３を配置する（Ｓ３００）。

次に、赤外線投影装置７は、計測用のパターン映像をオブジェクト３に投影し（Ｓ３０１）、カメラ４は、パターン映像を撮像する（Ｓ３０２）。

制御部１０が、画像入力部１１を介して画像データを受け取り、検出部１２は、受け取ったパターン画像データに基づいて、カメラ座標系におけるオブジェクト３の位置を検出する（Ｓ３０３）。

座標変換部１４は、ステップＳ３０３で検出されたカメラ座標系におけるオブジェクト３の位置に、キャリブレーション動作で得られた座標変換行列を適用して、可視光投影座標系におけるオブジェクト３の位置を算出する（Ｓ３０４）。

映像生成部１６は、ステップＳ３０４で算出されたオブジェクト３の位置に基づいて、予め与えられた実測用の映像データから、スクリーン２およびオブジェクト３に投影するための実測用の映像データを生成する（Ｓ３０５）。

映像生成部１６で生成された映像データは、映像出力部１８を経由して可視光投影装置６に送信され、可視光投影装置６によってスクリーン２およびオブジェクト３に投影される（Ｓ３０６）。

実測用の映像は、オブジェクト３がキャリブレーション面内にある場合は、オブジェクト３に適切に投影される。しかしながら、キャリブレーション面より手前である実測位置にオブジェクト３がある場合、図１１に示すように、テクスチャ映像の位置とオブジェクト３の位置とがＭｍ２だけずれる。

そこで、使用者は、可視光投影装置６による映像の投影位置を何画素分移動させれば、テクスチャ映像の位置とオブジェクト３の位置との間のずれがなくなるかを特定する。すなわち、使用者は、実測量Ｍｍ２を画素数に換算した実測量換算値Ｍｘ２を特定し、操作部２１を用いてこれを入力する。制御部１０は、使用者により入力された実測量換算値Ｍｘ２を取得し、記憶部２０に格納する（Ｓ３０７）。

［２－３．補正動作］
図１１に示すように、プロジェクションマッピング動作時において、オブジェクト３がスクリーン２（キャリブレーション面）から距離ｄの位置（マッピング面）にある場合、補正を行わないと、テクスチャ映像の位置とオブジェクト３の位置とは、Ｍｍ３だけずれる。マッピング面における投影映像のずれ量Ｍｍ３を可視光投影装置６の画素数に換算した補正量Ｍｘ３は、次の式で表される。

本実施の形態に係る投影システム２００は、補正部２１５によって映像の位置を補正量Ｍｘ３だけずらす補正を行うことにより、オブジェクト３に適切に映像を投影させることができる。さらに、本実施の形態では、プロジェクションマッピングの実演前に、実測面においてオブジェクト３の位置とテクスチャ映像の投影位置とのずれの量を実測することにより、パラメータ（図２に示すカメラ４と可視光投影装置６との間の距離Ｂ、カメラ４とスクリーン２との間のｚ方向の距離Ｄ、スクリーン２とオブジェクト３との間のｚ方向の距離ｄ、投影幅Ｈｐなど）を用いた計算による補正量の算出に比べ、より精度の高い補正を行うことができる。

以上では、水平方向（ｘ方向）のずれの補正について説明したが、垂直方向（ｙ方向）のずれも同様に補正することができる。

［２－４．効果等］
以上のように、本実施の形態において、投影システム２００は、操作部２１を更に備える。補正部１５は、操作部２１によって入力された、可視光投影装置６によって投影された映像の位置とオブジェクト３の位置との間のずれ量の測定値に基づいて、オブジェクト３の位置を補正する。

これにより、少なくとも１つの実測位置において、テクスチャ映像の位置とオブジェクト３の位置とのずれ量を測定することによって、プロジェクションマッピング中にオブジェクトが移動しても、投影映像とオブジェクト３との間にずれが生じないようにすることができる。

（実施の形態３）
［３－１．構成］
図１３は、実施の形態３に係る投影システム３００の構成を示す図である。投影システム３００は、記憶部２０と、操作部２１と、制御部３１０とを備える画像処理装置３０５を含む。制御部３１０は、補正部３１５を備える。

図１４は、投影システム３００による補正動作を説明するための図である。実施の形態１、２では、プロジェクションマッピング動作時において、オブジェクト３がスクリーン２（キャリブレーション面）からｚ方向に移動した場合、テクスチャ映像の位置とオブジェクト３の位置とがずれることを説明した。しかしながら、この位置ずれは、オブジェクト３がキャリブレーション面内をｘ方向またはｙ方向に移動することによっても生じ得る。これは、例えば、キャリブレーション処理の精度が低いことや、可視光投影装置６の光軸とカメラ４の光軸とが平行でないことに起因する。

例えば、キャリブレーション処理後、図１４に示すように、可視光投影装置６からキャリブレーション面に向かって、スクリーン２の中央より左側にオブジェクト３がある場合、適切な位置より左側に映像が投影され、スクリーン２の中央より右側にオブジェクト３がある場合、適切な位置より右側に映像が投影される場合がある。

そこで、本実施の形態では、オブジェクト３がキャリブレーション面内を移動することによって生じる投影映像のずれについても、実施の形態２と同様の実測動作および補正動作を行う。

［３－２．実測動作］
図１５を参照して、投影システム３００による実測動作について説明する。まず、ｘｙ方向に広がるキャリブレーション面内の所定の基準点Ｃ（０，０）にオブジェクト３を配置する。次に、実施の形態２における図１２のステップＳ３０１～Ｓ３０７と同様の手段によって、オブジェクト３に実測用の映像を投影する。使用者は、テクスチャ映像の位置とオブジェクト３の位置との間のずれ量を画素数に換算した実測量換算値Ｍｘ（０）を特定し、操作部２１を用いて、制御部３１０に入力する。実測量換算値Ｍｘ（０）は、記憶部２０に格納される。

次に、基準点Ｃ（０，０）からｘ方向にＬだけ離れた点Ｄ（Ｌ，０）にオブジェクト３を配置し、オブジェクト３に実測用の映像を投影する。使用者は、ずれ量を画素数に換算した実測量換算値Ｍｘ（Ｌ）を特定し、操作部２１を用いて、制御部３１０に入力する。実測量換算値Ｍｘ（Ｌ）は、記憶部２０に格納される。

［３－３．補正動作］
以上の実測動作によって得られた結果から、オブジェクト３が点Ｘ（ｘ、０）にある場合、ずれを補正するための補正量Ｍｘ（ｘ）は、次の式で表される。

投影システム３００は、補正部３１５によって映像の位置を補正量Ｍｘ（ｘ）だけずらす補正を行うことにより、オブジェクト３に適切に映像を投影させることができる。

以上では、水平方向（ｘ方向）のずれの補正について説明したが、垂直方向（ｙ方向）のずれも同様に補正することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～６で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

実施の形態１～３では、撮像手段（カメラ）の一例としてＣＣＤまたはＣＭＯＳイメージセンサなどの画像センサを備えたカメラ４を説明した。撮像手段は、被写体像を撮像して画像データを生成するものであればよい。したがって、撮像手段は、ＣＣＤまたはＣＭＯＳイメージセンサなどの画像センサを備えたカメラに限定されない。

また、カメラ４の一例として、可視光および赤外線に対して感度を有するカメラを説明した。しかしながら、投影システム１００、２００、３００は、例えば、可視光に対して感度を有する第１のカメラと、赤外線に対して感度を有する第２のカメラとを備えてもよい。

実施の形態１～３では、非可視光投影装置の一例として赤外線投影装置７を説明した。非可視光投影装置は、人が見ることができない非可視光映像を投影するものであればよい。したがって、非可視光投影装置は、赤外線による映像を投影する赤外線投影装置７に限定されない。例えば、非可視光投影装置は、紫外線による映像を投影する紫外線投影装置であってもよい。

実施の形態１～３では、映像出力部１８の一例として、赤外線によって投影される映像を示す映像データと可視光によって投影される映像を示す映像データの両方を出力する映像出力部１８を説明した。しかしながら、画像処理装置５、２０５、３０５は、例えば可視光によって投影される映像を示す映像データを出力する第１の映像出力部と、赤外線によって投影される映像を示す映像データを出力する第２の映像出力部とを備えてもよい。

実施の形態１～３では、投影システム１００、２００、３００は、赤外線投影装置７からパターン映像を投影し、これをカメラ４によって撮像した画像を用いてオブジェクト３の位置および形状を検出することによって投影領域を検出し、その投影領域にテクスチャ映像を投影することを説明した。しかしながら、テクスチャ映像を投影する投影領域は、オブジェクト３の位置に適合するものであればよい。例えば、オブジェクト３にマーカーとして機能する再帰性反射材が取り付けられており、検出部１２は、再帰性反射材をカメラ４によって撮像した画像を用いてマーカーの位置を検出する。マーカーの位置とテクスチャ映像との位置関係を予め決めておけば、検出されたマーカーの位置に応じて、オブジェクト３の位置に適合するようにテクスチャ映像を投影することができる。

実施の形態１～３では、可視光投影装置６によって投影された可視光による映像の各画素とカメラ４の各画素とを対応付ける座標変換行列を算出するキャリブレーション部１３について説明した。しかしながら、キャリブレーション部１３によるキャリブレーション処理は、可視光投影装置６によって投影された可視光による映像の各画素とカメラ４の各画素とを対応付けるものであればよい。したがって、キャリブレーション部１３は、座標変換行列を算出するものに限定されず、可視光投影装置６によって投影された可視光による映像の各画素とカメラ４の各画素とを対応付ける座標変換情報を決定するものであればよい。

実施の形態１～３では、検出手段の一例として、空間コード化法を用いてスクリーン２およびオブジェクト３の形状および位置（いわゆる深度）を計測する検出部１２を説明した。検出手段は、スクリーン２およびオブジェクト３の形状および位置を計測できるものであればよい。したがって、検出手段は、空間コード化法を用いるものに限定されない。例えば、検出手段は、２台のカメラによって同じ特徴点を撮像し、特徴点マッチングを行うステレオ法を用いるものであってもよい。また、検出手段は、ＴＯＦ（Time Of Flight）法を用いるものであってもよい。

実施の形態１では、キャリブレーションを実施する面（キャリブレーション面）がスクリーン面２に一致する例を説明した。しかしながら、キャリブレーション面は、スクリーン面２から所定の距離Ｓだけ離れ、スクリーン面２に平行な面であってもよい。例えば、キャリブレーション面は、人などのオブジェクト３がプロジェクションマッピングの実演中に移動する位置（例えばＳ＝１ｍ）に設定される。この場合、投影映像のずれ量Ｍｍ１および投影幅ｈｐは、それぞれ、（式１）および（式２）の代わりに、次の（式６）および（式７）で表される。

ここで、Ｄはカメラ４とスクリーン２との間のｚ方向の距離であり、ｄはキャリブレーション面とマッピング面またはオブジェクト３との間のｚ方向の距離である。

実施の形態２では、実測動作の例として、１つの実測位置においてのみずれの実測量Ｍｍ２を測定する手段を説明した。しかしながら、ｚ方向の位置が異なる複数の位置においてずれの実測量を測定し、複数の実測量に基づく線形補完によって、ずれを補正するための補正量を算出してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、物体に映像を投影する種々の用途に適用可能である。

２ スクリーン
３ オブジェクト
４ カメラ
５ 画像処理装置
６ 可視光投影装置
７ 赤外線投影装置
１０ 制御部
１１ 画像入力部
１２ 検出部
１３ キャリブレーション部
１４ 座標変換部
１５ 補正部
１６ 映像生成部
１７ パターン映像生成部
１８ 映像出力部
２０ 記憶部
２１ 操作部
１００ 投影システム

Claims (5)

1. 被投影物に可視光による映像を投影する可視光投影装置と、
   前記可視光投影装置の光軸と一致しない光軸を有し、前記被投影物の画像を撮像するカメラと、
   前記カメラによって撮像された前記画像に基づいて、前記被投影物に可視光により投影する映像を生成する画像処理装置とを備え、
   前記画像処理装置は、
   前記可視光投影装置の光軸と前記カメラの光軸との違いに起因する投影映像と前記被投影物との間のずれに対して、前記被投影物の位置に応じた補正を行い、前記可視光投影装置によって映像が投影される前記被投影物の投影領域を算出する補正部と、
   前記被投影物に投影される映像を前記投影領域に投影するように映像データを生成する映像生成部とを備え、
   前記補正部は、前記カメラと前記被投影物との間の、前記カメラの光軸方向の距離に応じて、前記被投影物の位置を補正する
   投影システム。
2. 前記補正部は、前記被投影物の、前記カメラの光軸方向に垂直な方向の位置に応じて、前記被投影物の位置を補正する請求項１に記載の投影システム。
3. 操作部を更に備え、
   前記補正部は、前記操作部によって入力された、前記可視光投影装置によって投影された映像の位置と前記被投影物の位置との間のずれ量の測定値に基づいて前記被投影物の位置を補正する
   請求項１または２に記載の投影システム。
4. 可視光投影装置によって被投影物に投影される可視光による映像を示す映像データを出力する映像出力部と、
   前記可視光投影装置の光軸と一致しない光軸を有するカメラによって撮像された前記被投影物の画像データを入力する画像入力部と、
   前記画像データが示す画像に基づいて、前記映像データを生成する制御部とを備え、
   前記制御部は、
   前記可視光投影装置の光軸と前記カメラの光軸との違いに起因する投影映像と前記被投影物との間のずれに対して、前記被投影物の位置に応じた補正を行い、前記可視光投影装置によって映像が投影される前記被投影物の投影領域を算出する補正部と、
   前記被投影物に投影される映像を前記投影領域に投影するように映像データを生成する映像生成部とを備え、
   前記補正部は、前記カメラと前記被投影物との間の、前記カメラの光軸方向の距離に応じて、前記被投影物の位置を補正する
   画像処理装置。
5. 被投影物に可視光による映像を投影できる位置に可視光投影装置を設置し、
   前記可視光投影装置の光軸と一致しない光軸を有するように、前記被投影物の画像を撮像するカメラを設置し、
   前記可視光投影装置の光軸と前記カメラの光軸との違いに起因する投影映像と前記被投影物との間のずれに対して、前記被投影物の位置に応じた補正として、前記カメラと前記被投影物との間の、前記カメラの光軸方向の距離に応じて、前記被投影物の位置の補正を行い、前記可視光投影装置によって映像が投影される前記被投影物の投影領域を決定し、
   前記被投影物に投影される映像を前記投影領域に投影するように映像データを生成し、
   前記生成された映像データが示す映像を前記可視光投影装置によって投影する
   投影方法。

Images