JP2017147638A

JP2017147638A - 映像投影システム、映像処理装置、映像処理プログラムおよび映像処理方法

Info

Publication number: JP2017147638A
Application number: JP2016028827A
Authority: JP
Inventors: 橋本　直己; Naoki Hashimoto; 直己橋本; 光彦北野; Mitsuhiko Kitano; 幸機河阪; Koki Kosaka
Original assignee: University of Electro Communications NUC
Current assignee: University of Electro Communications NUC
Priority date: 2016-02-18
Filing date: 2016-02-18
Publication date: 2017-08-24

Abstract

【課題】リアルタイムに行う計算量を低減させ、光学的補正を高速に行えるようにする。
【解決手段】入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理部と、前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理部とを備える。
【選択図】図２

Description

本発明は、映像投影システム、映像処理装置、映像処理プログラムおよび映像処理方法に関する。

近年、専用のスクリーンが設けられていない場所に映像を正しく投影する技術が求められている。例えば、一般室内の壁面に映像を投影することによる映像鑑賞や、屋外の建物の壁面を利用したプロジェクションマッピング等が期待されている。

しかし、このような専用のスクリーンではない投影面にそのまま映像を投影すると、投影面の色や模様の影響を受けて本来の映像とは異なった見かけになってしまい、鑑賞に相応しいものとはならない。

そこで、プロジェクタおよび投影面の応答特性をモデル化し、それに基づいて、投影面からの色の影響を打ち消すよう、プロジェクタに与える映像に補正を行う光学的補正（輝度補正）が研究されている。

図１は従来のシステムの構成例を示す図である。図１において、ＰＣ（Personal Computer）等の映像処理装置２は、応答関数決定部２０１により、プロジェクタ３へ与える映像の画素値と投影面１からの観測輝度（カメラ４により撮影される対応画素の輝度）の関係をモデル化した応答関数を決定する。そして、光学的補正部２０２により、入力映像に対して、応答関数に基づく光学的補正を行い、プロジェクタ３から投影する。

なお、応答関数に基づく光学的補正は、カメラ４におけるノイズ等による計測誤差や、応答関数のモデル化誤差や、プロジェクタ画素とカメラ画素の不完全な対応（事前計測誤差、物理的な画素サイズの違い、画素配列の違い等）、隣接画素からの反射光の影響等により、完全なものとはならない。そのため、カメラ４による観測輝度と入力映像（目標輝度）とに基づき、補正映像修正部２０３により光学的補正部２０２に対して補正映像の修正（フィードバックによる修正）を行い、充分な補正結果が得られるまで（目標輝度に観測輝度が充分に近づくまで）、処理を繰り返す。

一方、特許文献１には、プロジェクタ装置で映像を投影する場合における映像補正が、投影面の反射特性を考慮し、かつ動的な変化に対処できるようにする技術が開示されている。すなわち、入力映像信号の画素ごとの各色成分の輝度値を、応答関数および配光マップを利用して補正し、補正された映像信号を得て、その補正された映像信号による映像を投影させるようにしている。なお、フィードバックによる修正（補正）を行う点は図１で説明したものと同様であるが、動的な変化に対応することが主眼であり、映像品質の向上を目指したものではない。

特開２０１２−２８８７７号公報

上述したように、フィードバックによる修正によって光学的補正の精度を高める手法では、充分な補正結果が得られるまでに時間を要し（一般的なＰＣにより数秒程度）、動画の投影に適用するのは困難であるという問題があった。また、どうしても動画に対応させるためには、一般的なＰＣよりも遙かに処理性能の高いハードウェアを用いなければならず、製品化する上で問題があった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、リアルタイムに行う計算量を低減させ、光学的補正を高速に行えるようにすることにある。

上記の課題を解決するため、本発明にあっては、入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理部と、前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理部とを備える。

本発明にあっては、リアルタイムに行う計算量を低減させ、光学的補正を高速に行うことができる。

従来のシステムの構成例を示す図である。一実施形態にかかるシステムの構成例を示す図である。映像処理装置のハードウェア構成例を示す図である。実施形態の処理例を示すフローチャートである。応答関数の決定の例を示す図である。光学的補正の例を示す図である。補正関数の推定の処理例を示すフローチャートである。元の映像の明るさと係数ｋの関係の例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図２は本発明の一実施形態にかかるシステムの構成例を示す図である。図２において、ＰＣ等により構成される映像処理装置２は、本番投影用の入力映像を入力するとともに、プロジェクタ３に投影用の映像を出力し、カメラ４から撮影された映像を入力する。プロジェクタ３は、一般室内の壁面や建物の壁面等の、専用のスクリーンが設けられていない投影面１に投影を行う。カメラ４は、投影面１の映像を撮影する。なお、映像処理装置２とプロジェクタ３とカメラ４は別体として図示しているが、一の筐体に一体に構成してもよいし、プロジェクタ３またはカメラ４の一方を映像処理装置２と一体に構成してもよい。

映像処理装置２は、事前処理部２１と映像補正処理部２２とを備えている。事前処理部２１は、投影面１に対するプロジェクタ３とカメラ４の物理的な配置の後の本番投影前に、事前処理を行う機能を有している。映像補正処理部２２は、事前処理の完了後に、本番投影における映像補正処理を行う機能を有している。本番投影においては、カメラ４は使用しない。

事前処理部２１は、プロジェクタ・カメラ間校正部２１１と応答関数決定部２１２と単色映像生成部２１３と光学的補正部２１４と補正関数推定部２１５とを備えている。プロジェクタ・カメラ間校正部２１１は、プロジェクタ３の画素とカメラ４の画素の幾何学的な対応関係（サブピクセルレベルでの対応関係）を取得し、事前の校正を支援する機能を有している。応答関数決定部２１２は、プロジェクタ３へ与える映像の画素値と投影面１からの観測輝度（カメラ４により撮影される対応画素の輝度に比例）の関係をモデル化した応答関数を決定する機能を有している。単色映像生成部２１３は、ホワイト・グレー・ブラックまたはＲ（Red）・Ｇ（Green）・Ｂ（Blue）等の単色の映像を生成する機能を有している。なお、応答関数決定部２１２の内部においても単色映像を生成する機能が必要となるため、それと兼用してもよい。光学的補正部２１４は、応答関数決定部２１２により決定された応答関数に補正関数を適用した拡張応答関数を用いて、単色映像に対して光学的補正を行う機能を有している。応答関数、補正関数および拡張応答関数の詳細については後述する。補正関数推定部２１５は、カメラ４から取得される観測輝度と単色映像生成部２１３から入力される単色映像（目標輝度）とに基づいて、補正関数に対してフィードバックによる修正を繰り返して補正関数を推定する機能を有している。なお、プロジェクタ・カメラ間校正部２１１は本発明に必須の構成ではなく、プロジェクタ・カメラ間校正部２１１を設ける代わりに、例えば、ユーザが手動により上述の事前の校正を行ってもよい。後述する構造化パターン投影法や位相シフト法等、種々の公知の校正方法を用いることができる。

映像補正処理部２２は、光学的補正部２２１を備えている。光学的補正部２２１は、応答関数決定部２１２により決定された応答関数および補正関数推定部２１５により推定された補正関数から表される拡張応答関数を用いて、本番投影用の入力映像に対して光学的補正を行い、プロジェクタ３に投影用の映像を提供する機能を有している。なお、光学的補正部２２１は、プログラムモジュールとしては事前処理部２１の光学的補正部２１４と同様であり、兼用することができる。

図３は映像処理装置２のハードウェア構成例を示す図であり、一般的なコンピュータの構成を有している。図３において、映像処理装置２は、バス２０７を介して相互に接続されたＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）２０４、接続Ｉ／Ｆ（Interface）２０５、通信Ｉ／Ｆ２０６を備えている。ＣＰＵ２０１は、ＲＡＭ２０３をワークエリアとしてＲＯＭ２０２またはＨＤＤ／ＳＳＤ２０４等に格納されたプログラムを実行することで、映像処理装置２の動作を統括的に制御する。接続Ｉ／Ｆ２０５は、映像処理装置２に接続される機器とのインタフェースである。通信Ｉ／Ｆ２０６は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。入力映像の入力、プロジェクタ３およびカメラ４との接続は、接続Ｉ／Ｆ２０５または通信Ｉ／Ｆ２０６を介して行われる。図２で説明した映像処理装置２の機能は、ＣＰＵ２０１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

＜動作＞
図４は上記の実施形態の処理例を示すフローチャートである。図４において、事前処理として、映像処理装置２の事前処理部２１のプロジェクタ・カメラ間校正部２１１により、プロジェクタ・カメラ間の校正を行う（ステップＳ１）。プロジェクタ３は、方式の違い（液晶方式、ＤＬＰ方式等）により画素の形状や配列が異なるため、プロジェクタ３とカメラ４の画素間の対応関係を正確にすることが重要である。特に本実施形態では、本番投影時にフィードバックによる修正を行わず、事前処理での結果が投影の品質に直接に反映されることとなるため、可能な限り誤差となりうる要因を排しておくことが望ましい。具体的には、プロジェクタ・カメラ間校正部２１１は、構造化パターン投影法や位相シフト法等に基づき、所定のパターンの映像をプロジェクタ３に出力して投影を行わせ、カメラ４の撮影結果と比較することで、サブピクセルレベルでのプロジェクタ画素とカメラ画素の対応関係を取得する。一例としては、取得した対応関係をユーザに提示し、対応関係が最適となるようにプロジェクタ３またはカメラ４の位置を微調整させることで校正を行わせる。また、対応関係をマッピングテーブルに保持し、以後のプロジェクタ画素とカメラ画素の対応付けに用いることもできる。

次いで、応答関数決定部２１２は、プロジェクタ３の入力画素値と投影面１からの観測輝度（カメラ４により撮影される対応画素の輝度に比例）の関係をモデル化した応答関数を決定する（ステップＳ２）。なお、カメラ４による通常の撮影結果は、人が見て自然な映像にするためにＪＰＧやＢＭＰ等へ変換処理が行われているため、その状態では観測輝度とすることはできない。そのため、カメラ４ではＲＡＷ画像撮影を行い、投影面１の輝度値に比例した値を得るものとする。なお、カメラ４自身のガンマ特性を設定できる場合には、ガンマ値を「１」に設定することで、ＲＡＷ画像撮影と同等の効果が得られる。

応答関数Ｒの一般形は、図５（ａ）に示すように、Ｒ・Ｇ・Ｂ等の色ごと画素ごとに定義される。ｓ、ｔは画素の横方向と縦方向の位置、ｉは画素値であり、Ｌ_s,tは画素位置ｓ，ｔに対応する観測輝度である。応答関数は、人間の知覚特性が大きく関係し、入力画素値に対して非線形な特性を示すことが知られている。また、プロジェクタ３とカメラ４のＲＧＢ波長差が大きい場合には、相互のデバイスの色空間変換（Color Mixing Matrix）を導入することで、色ごとの処理を厳密に行うことができる。

応答関数は、例えば、実測値をルックアップテーブルに保持することで決定することができる。この場合、データ量は増えるが、高速な処理が可能となる。また、スプライン曲線による近似や、デバイス特性（γ乗）による近似が可能である。図５（ａ）には、応答関数の具体例として、最大輝度Ｗ、最小輝度Ｂ、ガンマ値γ等の基礎特性によりデバイス特性の式で表した例を示している。添え字は画素位置ｓ，ｔに対応するものであることを示している。最大輝度Ｗは、プロジェクタ３の入力画素値を最大レベルとした場合のカメラ４による投影面１の観測輝度である。最小輝度Ｂは、プロジェクタ３の入力画素値を最低レベルとした場合のカメラ４による投影面１の観測輝度である。プロジェクタ３は、構造上、入力画素値がゼロでも真っ暗にはならず、一定の出力が存在する。ガンマ値γは、プロジェクタ３の入力画素値と投影面１の観測輝度の変化特性を表す値である。なお、画素値ｉは８ビットによる２５６階調としている。

図５（ｂ）は上記のデバイス特性による応答関数を決定する処理例を示している。図５（ｂ）において、応答関数決定部２１２は、画素値ｉを最大レベルとし、観測輝度Ｌから最大輝度Ｗを決定する（ステップＳ２１）。次いで、応答関数決定部２１２は、画素値ｉを最小レベルとし、観測輝度Ｌから最小輝度Ｂを決定する（ステップＳ２２）。次いで、応答関数決定部２１２は、画素値ｉを変化させ、観測輝度Ｌの変化からガンマ値γを決定する（ステップＳ２３）。例えば、画素値ｉと観測輝度Ｌの組み合わせから、最小二乗近似によってガンマ値γを求めることができる。これらを各色および各画素について実行する。なお、処理の順序は変更してもよい。

次に、図４に戻り、光学的補正部２１４は、応答関数決定部２１２により決定された応答関数に補正関数を適用した拡張応答関数を用いて、単色映像生成部２１３により発生した明るさを種々に変えた単色映像に対して光学的補正を行う（ステップＳ３）。補正関数を適用して応答関数を拡張することで、フィードバックによる修正の内容を補正関数に集約することができる。なお、単色画像を白色またはグレーとしてＲ・Ｇ・Ｂの各色に対して同時に処理を行ってもよいし、Ｒ・Ｇ・Ｂそれぞれの単色映像としてＲ・Ｇ・Ｂそれぞれについて処理を行ってもよい。

拡張応答関数の一般形は、図６（ａ）に示すように、応答関数Ｒに補正関数Ｃを適用したものである。具体例１としては、補正関数Ｃを係数ｋとするものである。着目した画素の周辺画素（近傍画素）が類似した色を提示している場合に有効である。また、具体例２としては、周辺画素の輝度を用いた多項式近似とするものである。ｓ_ｘ、ｔ_ｘ、ｉ_ｘは画素（ｓ，ｔ，ｉ）の周辺画素を示し、ｕ_ｘはその重みを示している。映像内での色変化やプロジェクタ・カメラの位置関係や解像度差等によって、周辺画素が大きく異なる色を提示している場合に有効である。また、具体例３としては、周辺画素の輝度の実測値から得られる重み関数Ｕを導入したものである。重み関数Ｕは、実測ベースのルックアップテーブルによっても実現可能である。

図６（ｂ）に拡張応答関数の逆関数を示しており、一般形におけるｉｎｖは逆関数であることを示している。具体例は、図６（ａ）の具体例１に図５（ａ）の具体例を適用したものである。Ｌ_s、tに目標輝度（入力映像の画素値に対応した値）を入れることで、その目標輝度を得るために必要な画素値ｉを求めることができる。これにより光学的補正が行われる。

次に、図４に戻り、補正関数推定部２１５は、カメラ４から取得される観測輝度と入力映像（目標輝度）とに基づいて、補正関数（初期値は補正なしを示す状態（図６（ａ）の具体例１に示した係数ｋの場合は「１」））に対してフィードバックによる修正を行い（ステップＳ４）、終了条件を満足するまで処理を繰り返す（ステップＳ５）。図６（ａ）の具体例１の係数ｋとした場合、映像の明るさごと色ごとに、ｋを少しずつ修正しながら目標輝度に近づけ、最急降下法等により係数ｋを求めることができる。また、終了条件としては、目標輝度と観測輝度との誤差が所定の閾値以下になるか、所定の回数のフィードバックを繰り返してタイムアップした場合等である。そして、補正関数推定部２１５は、終了条件を満足した場合（ステップＳ５のＹｅｓ）、補正関数の推定を行う（ステップＳ６）。

図７は補正関数の推定の処理例を示すフローチャートである。なお、補正関数としては、図６（ａ）の具体例１に示した係数ｋとした場合に当初は仮定し、それが適用できないに具体例２または具体例３に移行するようにしている。

図７において、映像の明るさごと色ごとに求められた係数ｋを分析する（ステップＳ６１）。そして、映像の明るさの全範囲で一定値への直線近似が可能である場合（ステップＳ６２のＹｅｓ）、その範囲内から係数ｋを決定し、映像の最も明るい場合の係数ｋを補正関数として採用する（ステップＳ６３）。これは、映像が明るいほどカメラ感度が高く、係数ｋの精度が高いと考えられるからである。図８（ａ）は映像の明るさの全範囲で一定値への直線近似が可能である場合の例を示している。

図７に戻り、映像の明るさの全範囲で一定値への直線近似が可能でない場合（ステップＳ６２のＮｏ）であって、部分的に一定値への直線近似が可能である場合（ステップＳ６４のＹｅｓ）、その部分的な範囲内から係数ｋを決定し、映像の最も明るい場合の係数ｋを補正関数として採用する（ステップＳ６５）。図８（ｂ）は、色Ｒについて部分的に一定値への直線近似が可能である場合の例を示しており、映像の明るさが170付近までは一定値への直線近似が可能であるが、それ以上では一定の係数ｋに近似することはできない。これは、投影面１の色や模様が強すぎるために、元の映像の明るさが大きい場合にプロジェクタ３の光量不足により色や模様の影響を打ち消せない状態を示している。なお、図８（ｂ）において、色Ｇ、Ｂについては映像の明るさの全範囲で一定値への直線近似が可能である。

図７に戻り、部分的に一定値への直線近似が可能でない場合（ステップＳ６４のＮｏ）、すなわち一定値への直線近似が不可の場合、図６（ａ）の具体例２または具体例３により、近傍画素からの影響を取得して補正関数を推定する（ステップＳ６６）。図８（ｃ）は、各色について一定値への直線近似が可能でない場合の例を示している。

次に、図４に戻り、事前処理部２１は、拡張応答関数すなわち応答関数と補正関数のパラメータを映像補正処理部２２に引き渡し（ステップＳ７）、事前処理を終了する。

次いで、映像補正処理部２２の光学的補正部２２１は、応答関数決定部２１２により決定された応答関数および補正関数推定部２１５により推定された補正関数から表される拡張応答関数を用いて、本番投影用の入力映像に対して光学的補正を行い、プロジェクタ３に投影用の映像を提供する（ステップＳ８）。この光学的補正は、事前処理部２１の光学的補正部２１４による光学的補正（ステップＳ３）と同様であり、フィードバックによる修正が行われることなく、当初から同じパラメータにより処理が行われる点が異なるのみである。フィードバックが必要ないことから、光学的補正部２２１における処理量はフィードバックを行う場合に比べて大幅に低減することができ、動画にも適用することが容易になる。なお、事前処理における投影環境と映像補正処理による本番の投影環境は同じであると仮定しており、環境が変化する場合には事前処理からやりなおすことになる。

＜総括＞
以上説明したように、本実施形態によれば、リアルタイムに行う計算量を低減させ、光学的補正を高速に行うことができる。すなわち、映像処理装置２の事前処理部２１は、補正関数の推定に充分な時間をかけることができるため、高い処理性能を要求されることはない。また、映像補正処理部２２は、事前処理部２１の結果である拡張応答関数に基づき、入力映像に対してフィードバックを行うことなく光学的補正のみを行えばよいため、高い処理性能を要求されることなく、光学的補正を高速に行うことができる。よって、一般的な処理性能のＰＣ等を用いることができ、製品化に有利となる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１投影面
２映像処理装置
２１事前処理部
２１１プロジェクタ・カメラ間校正部
２１２応答関数決定部
２１３単色映像生成部
２１４光学的補正部
２１５補正関数推定部
２２映像補正処理部
２２１光学的補正部
３プロジェクタ
４カメラ

Claims

入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理部と、
前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理部と
を備えたことを特徴とする映像投影システム。
前記補正関数を前記応答関数に係数を乗ずる形式と仮定して該補正関数に対して修正を行い、明るさの異なる前記単色映像に基づいて求められた係数が明るさの全範囲において一定値に直線近似できる場合は該範囲内から係数を決定し、明るさの全範囲において一定値に直線近似できないものの明るさの一部範囲において一定値に直線近似できる場合は該範囲内から係数を決定し、いずれの範囲でも一定値に直線近似できない場合は近傍画素の画素値を用いた補正関数を適用する
ことを特徴とする請求項１に記載の映像投影システム。
明るさの全範囲または明るさの一部範囲において該範囲内から係数を決定する場合、最も明るい映像について求められた係数を採用する
ことを特徴とする請求項２に記載の映像投影システム。
入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理部と、
前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理部と
を備えたことを特徴とする映像処理装置。
入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理手順と、
前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理手順と
をコンピュータに実行させることを特徴とする映像処理プログラム。
入力映像の画素値に対する投影面からの観測輝度をモデル化した応答関数を決定し、前記応答関数に補正関数を適用した拡張応答関数を用いて単色映像に対して光学的補正を行い、入力映像と観測輝度に基づいて前記補正関数に対して修正を繰り返して補正関数を推定する事前処理手順と、
前記拡張応答関数を用いて入力映像に対して光学的補正を行う映像補正処理手順と
をコンピュータが実行することを特徴とする映像処理方法。