JP5541698B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、変角特性を制御するのに好適な画像処理装置、画像処理方法及びプログラムに関する。

近年、デジタルカメラや、ディスプレイ、プリンタなど、画像を扱うデバイスが進化したことにより、被写体の質感を再現したり被写体を立体視したりするなどの要求が高まっている。例えば、レンチキュラーレンズや、パララックスバリア等を用いて再現画像に指向性を持たせ、観察位置が変化することにより異なる再現画像を観察させ、通常の２次元画像では得られない種々の効果を得る技術がある。この技術においては、被写体を観察する際に、右目位置及び左目位置から撮影した２枚の画像を取得し、上記２枚の画像をストライプ状に合成して出力する。その後、出力した合成画像を、レンチキュラーレンズを介して観察することにより、右目には右目用画像のみを観察させ、左目には左目画像のみを観察させて、視差情報により再現画像が立体的に見える。

例えば、特許文献１には、以下のような技術が開示されている。まず、外部のカメラ等から得られる視差画像や、パーソナルコンピュータ等で作画された視差画像をストライプ画像に分割して、各ストライプ画像から合成画像を作成し、作成した合成画像を感光体に潜像として記録する。次に、この潜像を透明なプラスチックからなるレンチキュラシートの裏面へ、トナーやインクを用いて転写又は印刷することにより、立体画像の形成体を作成している。一方、質感を再現させる技術としては、反射光モデルに基づいて入力ビデオ信号の画像を補正し、金属光沢を発生させる技術が、例えば特許文献２に開示されている。この方法によれば、画像の輝度信号に基づいて金属光沢を得ることができるものと記載されている。

特開平８−２２０９１号公報 特開平１０−２８５４５９号公報

近年、画像を再現する場合に、被写体の３次元情報のみならず、質感と呼ばれる被写体の光沢性（変角特性）をも再現したいというニーズが高まっている。特許文献１に記載されている技術によれば、レンチキュラーレンズ等のような特別な光学系を用いて被写体の３次元形状を再現することができるが、変角特性を再現することができない。

また、特許文献２に記載されている技術によれば、入力ビデオ信号の画像に対して金属光沢を有する画像へ変換することができる。しかしながら、金属光沢を表現するために、入力画像に応じてユーザがパラメータを設定し、光沢特性が変化したように画像を加工しなければならない。そのため、必ずしも被写体の光沢（変角特性）を再現できるとは限らない。

本発明は前述の問題点に鑑み、画像の変角特性を再現できるようにすることを目的としている。

本発明に係る画像処理装置は、画像投影面に対する複数の角度における変角特性を表す変角特性データを取得する特性データ取得手段と、複数の投影装置から投影するための画像データと、前記画像データの各画素における変角特性データとを取得する画像データ取得手段と、前記画像データ取得手段により取得された変角特性データと前記特性データ取得手段により取得された変角特性データとの誤差が小さくなるように前記複数の投影装置の発光強度を調整する調整手段と、前記調整手段によって調整された発光強度により、前記画像データを前記複数の投影装置に出力する出力手段とを有することを特徴とする。
本発明に係る画像処理方法は、画像投影面に対する複数の角度における変角特性を表す変角特性データを取得する特性データ取得工程と、複数の投影装置から投影するための画像データと、前記画像データの各画素における変角特性データとを取得する画像データ取得工程と、前記画像データ取得工程において取得された変角特性データと前記特性データ取得工程において取得された変角特性データとの誤差が小さくなるように前記複数の投影装置の発光強度を調整する調整工程と、前記調整工程において調整された発光強度により、前記画像データを前記複数の投影装置に出力する出力工程とを有することを特徴とする。

本発明によれば、複雑な光学系を不要にして、複数の汎用プロジェクタを用いて画像の変角特性を再現することができる。

第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 変角特性を再現する処理手順の一例を示すフローチャートである。 実施形態におけるプロジェクタの配置例を示す図である。 複数のプロジェクタ及び表示画像の変角特性データの一例を示す図である。 第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 変角特性を再現する処理手順の一例を示すフローチャートである。 代表プロジェクタの変角特性データの一例を示す図である。 算出した他のプロジェクタの変角特性データの一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１の構成例を示すブロック図である。
図１において、画像投影部２は、例えば画像投影面であるスクリーンなどである。画像投影装置３は、例えば図３に示すように、画像投影部２に対し、投影角度を変化させて画像を投影できるように複数のプロジェクタが配置された装置である。画像出力部４は、表示用の画像を画像投影装置３に出力するためのものである。

変角特性測定装置５は、ゴニオフォトメータ等、画像投影装置３から投影された画像の、画像投影部２上での変角特性を測定するための装置である。変角特性データ取得部６は、変角特性測定装置５にて測定した変角特性データを画像処理装置１に入力するためのものである。画像データ記憶部７は、画像投影装置３から投影して画像投影部２に表示するための画像データを記憶する記憶部である。画像データ取得部８は、画像データ記憶部７に記憶されている表示用の画像データを、画像処理装置１に読み出すためのものである。再現変角特性データ最適化部９は調整手段として機能し、画像データ取得部８により読み出された画像データの変角特性に対し、変角特性データ取得部６より入力された画像投影装置３の変角特性との組み合わせを最適化するためのものである。また、制御部１０は、画像処理装置１全体を制御するためのものである。

図２は、本実施形態において、変角特性を再現する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、制御部１０により、変角特性測定装置５を用いて、画像投影装置３の各々のプロジェクタから、画像投影部２に投影した場合の変角特性を個々に測定する。そして、変角特性データ取得部６により、画像処理装置１にその変角特性データを入力する。

次に、ステップＳ２０２において、画像データ取得部８により、画像データ記憶部７に記憶されている表示用の画像データを画像処理装置１に読み出す。この時、画像データ記憶部７に記憶されている表示用の画像データは、各画素について、図４（ｂ）に示すような、再現すべき変角特性データ（以下、ターゲット変角特性データと記す）も保持しているものとする。次に、ステップＳ２０３において、再現変角特性データ最適化部９は、再現画像の変角特性を最適化する画素の初期値（例えば、一番左上の画素）を、処理対象画素として設定する。

次に、ステップＳ２０４において、再現変角特性データ最適化部９は、画像投影装置３の各プロジェクタの発光強度を調整することにより表示画素値を最適化する。具体的には、表示用の画像データにおける処理対象画素のターゲット変角特性データと、画像投影装置３にて投影される複数のプロジェクタの変角特性の和との誤差が最も小さくなるように、各プロジェクタの表示画素値を最適化する。このステップＳ２０４の処理の詳細については後述する。

次に、ステップＳ２０５において、再現変角特性データ最適化部９は、表示用の画像データにおける全ての画素について、各プロジェクタの表示画素値を最適化したかどうかを判断する。この判断の結果、まだ最適化していない画素が残っている場合は、ステップＳ２０６に進み、処理対象画素を未処理画素に変更する。そして、ステップＳ２０４に戻る。一方、ステップＳ２０５の判断の結果、全ての画素について最適化した場合は、ステップＳ２０７に進む。そしてステップＳ２０７において、ステップＳ２０４にて最適化した各プロジェクタの表示画素値に基づき、画像出力部４により表示用の画像を出力し、画像投影装置３にて、画像投影部２上に画像を投影する。

次に、ステップＳ２０４における複数のプロジェクタの表示画素値を最適化する処理の詳細について、図４を参照しながら説明する。
図４（ａ）は、スクリーンに対する角度を１０度ずつ変えて設置した１１台のプロジェクタの変角特性の一例を示す図であり、図４（ｂ）は、表示用の画像データが保持するターゲット変角特性の一例を示す図である。ステップＳ２０４では、図４（ｂ）に示すターゲット変角特性を、図４（ａ）に示すような複数のプロジェクタの変角特性の線形和によって再現するために、各プロジェクタの出力値を算出する。ステップＳ２０７において出力される表示画像の変角特性Ｏ（以下、合成変角特性と記す）は、複数のプロジェクタにおける変角特性Ｉの線形和として、以下の数１に示す式により表すことができる。

ここで、行列Ｏの要素｛Ｏθ°｝は、合成変角特性のθ°方向への反射強度を表し、行列ａの要素｛ａ_n｝は、ｎ番目のプロジェクタの出力強度を表す。また、行列Ｉの要素｛Ｉ_n_θ°｝は、ｎ番目のプロジェクタの角度θ°方向への反射強度を表す。ステップＳ２０４では、ターゲット変換特性Ｔと、複数のプロジェクタにより合成された変角特性Ｏとの誤差が最小となるように、複数のプロジェクタの発光強度である出力値ａを決定する。

図４（ｃ）は、図４（ｂ）の変角特性をターゲットとして算出した複数のプロジェクタにおける各出力値ａにより計算した合成変角特性Ｏを示す図である。ここで、図４（ｃ）に示す変角特性は、以下の数２に示す式を用いて計算される。

式中、行列Ｔの要素｛Ｔθ°｝は、ターゲット変角特性のθ°方向への反射強度を表す。

以上説明した処理制御を行うことにより、入力された画像データの変角特性を再現することができる。本実施形態では、複数のプロジェクタの並べ方の一例として、一方向の円周上に１０度間隔で設置した１１台のプロジェクタを用いた場合について説明した。しかしながら、プロジェクタの台数や、設置する幾何条件は、これに限定されるものではなく、ターゲットとなる変角特性データを所望の精度で再現することができれば、その台数や、幾何条件は特に限定されるものではない。

また、本実施形態では、ターゲットとなる変角特性データが画像データとともに予め画像データ記憶部７に記憶されていることを前提として説明した。一方、例えば、被写体の形状データと、変角特性データとを入力した後に、一般的なＣＧレンダリング技術を用いて画像処理装置内にてレンダリング処理を行い、表示画像の変角特性データを算出するような構成であってもよい。さらには、複数のプロジェクタにより画像を投影する場合、投影面との角度の違いを補正するため、一般的なキーストーン補正を行うことにより、複数のプロジェクタ間の画素ズレを低減することもできる。

（第２の実施形態）
第１の実施形態では、画像投影部２上での変角特性を、複数のプロジェクタそれぞれについて測定した。本実施形態においては、代表するプロジェクタの測定値を用いて、他のプロジェクタの変角特性を推定する例について説明する。

図５は、本実施形態に係る画像処理装置５００の構成例を示すブロック図である。なお、画像投影部２から制御部１０までの構成は、第１の実施形態において図１で説明した構成同一であるため、説明は省略する。
図５において、変角特性データ推定部５０１は、画像投影装置３から投影された画像の、画像投影部２上での変角特性を推定するためのものである。

図６は、本実施形態において、変角特性を再現する処理手順の一例を示すフローチャートである。なお、図６において、ステップＳ６０１及びＳ６０２以外のステップＳ２０２〜Ｓ２０７は、図２のステップＳ２０２〜Ｓ２０７と同一であるため、説明は省略する。
まず、ステップＳ６０１において、制御部１０により、変角特性測定装置５を用いて、複数台のプロジェクタの中で代表する代表プロジェクタから画像投影部２に投影した場合の変角特性を測定する。そして、変角特性データ取得部６により、画像処理装置５００にその変角特性データを入力する。

次に、ステップＳ６０２において、変角特性データ推定部５０１は、測定値である代表プロジェクタの変角特性データを用いて、他のプロジェクタの変角特性を推定する。ここで、本実施形態では、スクリーン（画像投影部２）に対し、９０度の方向で設置したプロジェクタ（光軸がスクリーンの垂線方向と一致するプロジェクタ）を代表プロジェクタとする。そして、以下に、光軸をスクリーンの垂線から１０度傾けたプロジェクタの変角特性を推定する例を示す。

図７（ａ）は、測定した代表プロジェクタの変角特性データの一例を示す図である。まず、この変角特性に対し、例えば以下の数３に示す式にて表される、Ｐｈｏｎｇモデル等を用いてフィッティングし、係数Ａ、Ｂ、及びｎを算出することにより、図７（ｂ）に示すような拡散反射成分と、図７（ｃ）に示すような正反射成分とに分離する。

ここで、変角特性を推定するプロジェクタが配置されている幾何条件に基づき、数３に示す式中の、θ及びφの値を変更することにより、拡散反射成分、及び正反射成分を推定することができる。なお、図８（ｂ）は、推定した拡散反射成分を示しており、図８（ｃ）は、推定した正反射成分を示している。この結果、トータルの変角特性は、両者の和、すなわち、図８（ａ）に示す変角特性として推定することができる。

以上のように本実施形態によれば、複数のプロジェクタの変角特性を全て測定する必要はなく、代表プロジェクタの測定値から推定することにより、変角特性の測定回数を低減することができる。なお、本実施形態では、代表プロジェクタとして、スクリーンに垂直なプロジェクタを選定した例を基に説明をしたが、他のプロジェクタを代表プロジェクタとしてもよい。また、変角特性データの推定モデルとして、Ｐｈｏｎｇモデルを用いて説明したが、これも、所望の精度で推定可能なモデルであれば、特に限定されるものではない。

（その他の実施形態）
前述した第１及び第２の実施形態においては、説明を簡単にするため、輝度情報等、１次元の色情報の変角特性を再現する方法について説明した。一方、自然画像等のカラー画像を再現する場合には、Ｒ、Ｇ、Ｂの３つチャンネルごとに独立して変角特性を測定し、測定したそれぞれの変角特性データを取得して変角特性を最適化するようにしてもよい。また、分光データを波長ごとに独立に測定し、変角特性データとして取得することにより最適化するようにしてもよい。

また、第１及び第２の実施形態において、ターゲット変角特性データは、表示用の画像データとともに画像データ記憶部７に予め記憶されているものとした。そこで、ターゲット変角特性データを保持していない場合などでは、例えば、一般的なＣＧ（コンピュータグラフィックス）のレンダリング技術を用いて内部で計算するようにしてもよい。すなわち、被写体の３次元形状データ及び変角特性データから、被写体表面の法線と光源・視点との角度を算出し、レンダリングすることにより、再現する画像における各画素の変角特性を算出するようにしてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２ 画像投影部、３ 画像投影装置、４ 画像出力部、６ 変角特性データ取得部、８ 画像データ取得部、９ 再現変角特性データ最適化部、１０ 制御部

Claims (7)

1. 画像投影面に対する複数の角度における変角特性を表す変角特性データを取得する特性データ取得手段と、
   複数の投影装置から投影するための画像データと、前記画像データの各画素における変角特性データとを取得する画像データ取得手段と、
   前記画像データ取得手段により取得された変角特性データと前記特性データ取得手段により取得された変角特性データとの誤差が小さくなるように前記複数の投影装置の発光強度を調整する調整手段と、
   前記調整手段によって調整された発光強度により、前記画像データを前記複数の投影装置に出力する出力手段とを有することを特徴とする画像処理装置。
2. 前記特性データ取得手段は、前記複数の投影装置の中から代表する投影装置による変角特性データを取得し、前記取得した変角特性データに基づいて、他の投影装置による変角特性を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特性データ取得手段は、前記変角特性データをＲ、Ｇ、Ｂのそれぞれチャンネルごとに取得し、
   前記調整手段は、前記チャンネルごとに、前記複数の投影装置の発光強度を調整することを特徴とする請求項２に記載の画像処理装置。
4. 前記特性データ取得手段は、前記変角特性データの分光データを波長ごとに取得し、
   前記調整手段は、前記取得した分光データを用いて前記複数の投影装置の発光強度を調整することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記画像データ取得手段は、前記画像データが示す画像の３次元形状データ及び変角特性データに基づいて、前記画像データが表す画像を前記複数の投影装置から投影した場合の変角特性を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 画像投影面に対する複数の角度における変角特性を表す変角特性データを取得する特性データ取得工程と、
   複数の投影装置から投影するための画像データと、前記画像データの各画素における変角特性データとを取得する画像データ取得工程と、
   前記画像データ取得工程において取得された変角特性データと前記特性データ取得工程において取得された変角特性データとの誤差が小さくなるように前記複数の投影装置の発光強度を調整する調整工程と、
   前記調整工程において調整された発光強度により、前記画像データを前記複数の投影装置に出力する出力工程とを有することを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。

Images