JP6855205B2 - 情報処理装置および画像処理方法 - Google Patents

Description

本発明は、表示装置に画像を表示させる情報処理装置およびそれが行う画像処理方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲで表現することによって仮想世界により臨場感を与えられる（例えば特許文献１参照）。

特開２０１６−５８８４８号公報

ＨＤＲの輝度レンジに対応した表示装置を用いても、表示させる画像の全てがＨＤＲで表現されているとは限らない。例えばヘルプ画面やコントロールパネルなど、ゲーム装置や再生装置側で提供する付加的な画像は、コンテンツの画像とは独立に、ＳＤＲで表現されることが考えられる。コンテンツ自体がＳＤＲで表現されている場合も多い。ＨＤＲとＳＤＲでは、輝度値とそれを表す電気信号との間での変換規則、規格が異なる。また表示装置メーカーが独自の処理でディスプレイの発色を制御していることもある。結果として、様々な変換処理を経て表示される画像が、コンテンツ、画像処理装置、表示装置の組み合わせに依存して、本来のデザインと異なった色味や明るさとなってしまうことがあり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像作成時に想定された輝度レンジによらず、常に好適な状態で画像を表示できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、第１の輝度空間で表された画像の信号を取得する画像データ取得部と、画像の信号を第２の輝度空間で表した信号に変換する輝度空間変換部と、いずれかの輝度空間で表された画像の信号を表示装置に出力する画像出力部と、を備え、輝度空間変換部は、信号の変換に用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するパラメータ調整部を備え、調整後のパラメータを用いて信号を変換することを特徴とする。

ここで「輝度空間」は、輝度の値を所定ビット数の信号で表す際の変換規則を決定づける空間であり、「第１の輝度空間」および「第２の輝度空間」は例えば、ＳＤＲの輝度レンジに対応する輝度空間、ＨＤＲの輝度レンジに対応する輝度空間である。ただし第１、第２の輝度空間はこれに限らず、各輝度空間で表すことのできる輝度の最大レンジが異なれば、当該レンジの具体値は限定されない。

本発明の別の態様は画像処理方法に関する。この画像処理方法は情報処理装置が、第１の輝度空間で表された画像の信号を第２の輝度空間で表した信号に変換するのに用いるパラメータを、表示装置における表示の状態に応じた所定の情報に基づき調整するステップと、第１の輝度空間で表された表示対象の画像の信号を取得するステップと、取得した表示対象の画像の信号を、調整後のパラメータを用いて第２の輝度空間で表した信号に変換するステップと、変換された表示対象の画像の信号を表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、画像作成時に想定された輝度レンジによらず、常に好適な状態で画像を表示できる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態において情報処理装置が生成する画像の一例を模式的に示す図である。 本実施の形態において情報処理装置から出力される画像の信号と、表示装置における信号処理の概略を示す図である。 本実施の形態における輝度空間の変換処理の様子を模式的に示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態における輝度空間変換部の機能ブロックの構成を示す図である。 本実施の形態におけるパラメータ調整受付部が、輝度空間の変換に用いるパラメータの調整モードにおいて、ユーザに提示する調整画面を例示する図である。 本実施の形態において、ＳＤＲで表現された画像を輝度空間を変換して単独で表示させる場合の、情報処理装置から出力される画像の信号と、表示装置における信号処理の概略を示す図である。

図１は本実施の形態における情報処理システムの構成例を示す。情報処理システムは、情報処理装置１０、入力装置１４、表示装置１６を含む。図示するように情報処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバ等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、情報処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。

情報処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。情報処理装置１０はゲーム機、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような情報処理装置１０の形態や、ユーザが選択したアプリケーションなどに応じて、情報処理装置１０が行う処理の内容は様々であってよい。

例えば情報処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで生成し出力する。あるいはネットワーク８を介して動画のデータをサーバから取得し、それを逐次復号して出力してもよい。このように情報処理装置１０の使用目的は様々であってよく、それに応じて実施する情報処理の内容も異なるため、詳細な説明は省略する。以後、そのような情報処理の結果として生成されたコンテンツの画像や、提示すべき情報を表した画像などを好適に表示させる手法に主眼を置いて説明する。

図２は、本実施の形態において情報処理装置１０が生成する画像の一例を模式的に示している。この例においてメイン画像２００ａは例えばゲームや動画など、主として表示される画像である。付加画像２００ｂは必要に応じて一時的に表示される画像であり、図示する例はユーザにログインのためのアドレスとパスワードを入力させるダイアログボックスを含む。このようなダイアログボックスを表示させる必要が生じると、情報処理装置１０は、元から表示させていたメイン画像２００ａにダイアログボックスを含む付加画像２００ｂを重畳させ、表示画像２０２を生成して出力する。

このときなるべく広い領域で、付加画像２００ｂを介してメイン画像２００ａが透けて見えるようにすることで、ゲームや動画などメイン画像２００ａの世界観が途切れることなく必要な情報を好適に融合させることができる。さらに付加画像２００ｂの透明度を時間変化させれば、ダイアログボックスが徐々に出現したり消滅したりする演出もできる。

複数の画像を重ねて表示させるケースは、図示する例以外にも様々に考えられることは当業者には理解されるところである。例えばレースゲームの場合、ドライバの視野を示すメイン画像に、コース全体を俯瞰した付加画像を追加で表示することが考えられる。映画を表示させる場合は、あらすじや出演者などの書誌情報を示す画像や、再生、一時停止、早送りなどの操作パネルを付加的に表示することが考えられる。

このような表示画像２０２を生成する場合、次式で表されるアルファブレンド処理により、表示画像２０２の各画素の輝度Ｆ_ｏｕｔを決定できる。
Ｆ_ｏｕｔ＝（１−α）Ｆｂ_１＋αＦｂ_２ （式１）
ここでＦｂ_１、Ｆｂ_１はそれぞれ、メイン画像２００ａ、付加画像２００ｂにおける対応する画素の輝度、αは付加画像２００ｂの当該画素に設定された一般的なα値、すなわち透過度を示す０以上１．０以下の値である。

例えば画像全体においてα値を０から１．０まで変化させると、メイン画像２００ａのみが表示されている状態から徐々に付加画像２００ｂの色が濃くなっていき、最終的に付加画像２００ｂが不透明に表示されることになる。α値を０より大きく１．０より小さい中間値とすれば、付加画像２００ｂがその数値に応じた濃さで半透明の状態となり、メイン画像２００ａが透けて見えることになる。

なおメイン画像２００ａ、付加画像２００ｂがＲＧＢ画像であれば、輝度Ｆｂ_１、Ｆｂ_２は当該３チャンネルのそれぞれに設定されるが、本実施の形態ではそれらを総称して輝度Ｆｂ_１、Ｆｂ_２と表す。また輝度Ｆｂ_１、Ｆｂ_２およびα値はそれぞれ、画素ごとに設定されるため、厳密には画像平面における２次元の位置座標（ｘ，ｙ）に依存するが、式１は同じ位置の画素に係る計算を前提としているため位置座標は示していない。以下の記載も同様である。

式１はメイン画像２００ａのα値を考慮しない計算式であったが、さらに背景画像を設定するなどし、メイン画像２００ａにも透過度を設定する場合、下式により表示画像２０２の各画素の輝度Ｆ_ｏｕｔを計算できる。
α_ｏｕｔ＝（１−α_２）α_１＋α_２
Ｆ_ｏｕｔ＝（α_１（１−α_２）Ｆｂ_１＋α_２Ｆｂ_２ ）／ α_ｏｕｔ （式２）
ここでα_１、α_２は、メイン画像２００ａ、付加画像２００ｂの各画素にそれぞれ設定されたα値である。なおメイン画像２００ａが不透明のとき、すなわちα_１＝１のとき、式２は式１で表される。

このような構成において、輝度を定義する空間が、メイン画像２００ａと付加画像２００ｂで異なる場合を考える。例えばコンテンツの処理装置において、付加画像２００ｂを定常的にＳＤＲで生成する一方、処理対象のコンテンツはＨＤＲで表現されている場合がこれにあたる。ＳＤＲとＨＤＲでは、同じ１０ｂｉｔの輝度信号であっても、それが指す輝度の値が異なる。そのため別の輝度空間で表された信号をそのまま式１、あるいは式２に代入することはできず、その前のいずれかの段階で輝度空間を統一する必要がある。このことはＳＤＲ／ＨＤＲに限らず、アルファブレンドの対象となる画像の輝度空間が異なれば同様である。

メイン画像２００ａがＨＤＲ、付加画像２００ｂがＳＤＲで表現されており、表示装置がＨＤＲの輝度レンジに対応している場合、付加画像２００ｂの輝度をＨＤＲの空間で表すようにすると、メイン画像２００ａで表現されているリアルな世界観を保つことができる。本実施の形態では、このように画像の輝度空間を変換する必要が生じても、表示上での色味や明るさなどへの影響を抑え、常に良好な表示がなされるようにする。

以後、主に付加画像の輝度空間をＳＤＲからＨＤＲに変換するケースについて説明するが、本実施の形態の適用範囲はこれに限らない。すなわち処理対象の画像の輝度空間を、合成処理や表示装置の性能に起因して変換する必要があり、かつ変換処理によって見た目が変化しないようにすべき状況においては同様に適用できる。例えばＨＤＲの輝度空間で定義されていても、実際の輝度のレンジがＳＤＲの範囲に収まっている画像を、ＳＤＲの輝度空間で定義し直す必要がある場合などにも適用できる。

図３は情報処理装置１０から出力される画像の信号と、表示装置１６における信号処理の概略を示している。まずＨＤＲの画像、あるいはＳＤＲの画像を独立して表示させる場合、情報処理装置１０は内部で生成したり復号したりしてなる画像の輝度信号を表示装置１６へ出力する（Ｌ１またはＬ３）。この信号は、本来の輝度値を、１０ｂｉｔなど所定ビット数の電気信号に変換したものである。変換にはＨＤＲ、ＳＤＲのそれぞれに対応する光−電気伝達関数（ＯＥＴＦ：Optical-Electro Transfer Function）が用いられる。

そのように出力された輝度信号を定義する空間がＨＤＲであるかＳＤＲであるかは、当該信号の付加情報としたり、モード切り替え要求信号を事前に送信したりすることにより情報処理装置１０から表示装置１６へ通知される。画像の輝度信号を受信した表示装置１６において、輝度値取得部２０８は、電気−光伝達関数（ＥＯＴＦ：Electro-Optical Transfer Function）を用いて、輝度信号を輝度値に変換する。ＥＯＴＦは受信した画像信号がＨＤＲかＳＤＲかによって異なり、同図ではそれぞれ、ＥＯＴＦ＿Ｈ、ＥＯＴＦ＿Ｓとして示している。

これにより、同じ１０ｂｉｔの信号であっても、ＳＤＲの画像は０〜１００ｎｉｔ、ＨＤＲの画像は０〜１００００ｎｉｔなど異なるレンジの輝度値が画素ごとに得られる。これを、ディスプレイパネルを有する表示部２１０に画素順に出力していくことにより（Ｌ２またはＬ４）、各輝度レンジで画像が表示される。なお表示装置１６が対応する最大輝度が１０００ｎｉｔなどの中間値である場合、ＨＤＲの画像の最大輝度がそれより大きければ、輝度値取得部２０８は、表示装置１６の最大輝度に収まるように輝度レンジをさらに調整する。

このような環境において、ＨＤＲの画像（例えば図２のメイン画像２００ａ）に、ＳＤＲの画像（例えば図２の付加画像２００ｂ）をアルファブレンドにより重畳表示させる場合、まずＳＤＲの画像の輝度信号を、情報処理装置１０において輝度空間変換部６６に入力する（Ｌ６）。輝度空間変換部６６は当該信号を、ＨＤＲの空間における輝度信号に変換する。変換処理の詳細は採用する規格によって様々であってよいが、基本的にはＳＤＲの輝度空間を圧縮してＨＤＲの輝度空間の一部に対応づけておくことにより、変換前の輝度信号が、変換後のＨＤＲ空間において当該一部の範囲に収まるようにする。

図４は、輝度空間の変換処理の様子を模式的に示している。同図において左の矩形がＳＤＲの輝度空間、右の矩形がＨＤＲの輝度空間を表している。図示する例では輝度空間全体を０〜１．０の範囲で表しているが、実際には１０ｂｉｔなど所定ビット数のデータである。また各輝度空間で表される実際の輝度は、例えばＳＤＲが０〜１００ｎｉｔ、ＨＤＲが０〜１００００ｎｉｔである。

同図に網掛けで示したように、ＳＤＲの輝度空間全体（０〜１．０）が、ＨＤＲの輝度空間における一部の範囲０〜Ｒ（ただし０＜Ｒ＜１．０）に収まるように割合Ｒを設定し、当該条件下で変換規則を設定する。実際の変換規則は、ＳＤＲ空間における輝度信号に一律に割合Ｒを乗算する線形変換でもよいし、非線形の単調増加関数を用いてもよい。変換規則をテーブルとして表したルックアップテーブルを準備してもよい。また、そのようにして変換した輝度信号を、必要に応じてさらに変換してもよい。

図３に戻り、上述のとおり輝度空間変換部６６によりＨＤＲの空間に変換された画像の輝度信号（Ｌ７）と、元からＨＤＲで表現されていた画像の輝度信号（Ｌ５）とを入力値として、式１または式２を用いて合成処理部７２がアルファブレンド処理を行う。式１または式２におけるＦｂ_１、Ｆｂ_２が、それぞれＬ５、Ｌ７の入力に対応する。なおアルファブレンド計算に用いられるα値は、合成処理部７２が元から保持しているか、別途入力されるものとする。

情報処理装置１０はアルファブレンド処理の結果生成した画像（例えば図２の表示画像２０２）を表す輝度信号を、ＨＤＲの画像として表示装置１６へ出力する（Ｌ８）。当該信号を受信した表示装置１６の輝度値取得部２０８は、ＨＤＲに対応するＥＯＴＦにより輝度値を取得し、表示部２１０に出力する（Ｌ９）。これにより、元からＨＤＲで表現されていたコンテンツの世界観を損なうことなく、またＳＤＲを想定した付加画像の生成機構を変えることなく、必要な情報を好適に表示させることができる。

このように情報処理装置１０内で輝度空間を変換する処理を必要とする場合、当該変換処理が、表示装置１６における表示結果に影響を与えることが考えられる。すなわち元が同じＳＤＲの画像であっても、Ｌ３から入力された信号と、Ｌ８から入力された信号とで、透明度の変化を度外視しても色味や明るさが変化してしまうことがあり得る。これは輝度値取得部２０８における最終的な輝度の取得処理が表示装置のメーカーなどによって異なり、輝度空間の変換処理を経てなる輝度信号の可逆性を保障しないためである。

結果として、輝度空間の変換処理の有無や接続された表示装置に依存して表示画像の色や明るさが変化し、場合によってはユーザに見づらさや違和感を与えることも考えられる。複数の画像を重畳表示させる場合は特に、表示装置側で一方の画像のみ見え方を調整することは困難である。そこで本実施の形態では、輝度空間の変換に用いるパラメータをユーザあるいは情報処理装置１０が調整できるようにすることで、輝度空間の変換処理の有無や表示装置によらず本来意図された画像が安定して表示されるようにする。

ユーザが調整する場合、各輝度空間で表現された同一の画像を表示装置１６に実際に表示させ、それらを比較しながらパラメータを調整できるようなユーザインターフェースを提供する。情報処理装置１０が調整する場合、各輝度空間で表現された同一の画像を表示させたときに、表示装置で実際に出力される輝度値の差を取得し、差が小さくなるようにパラメータを調整する。

図５は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、ネットワーク８などへ接続する有線または無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、情報処理装置１０内部で生成されたデータを送信したりしてもよい。

ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６から出力することにより、表示装置１６に画像を表示させる。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は情報処理装置１０の機能ブロックの構成を示している。図６および後述する図７に示す各機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、入力装置１４からの入力情報を取得する入力情報取得部５０、ゲームなどユーザ操作に応じた情報処理を行う情報処理部５２、メイン画像のデータを生成する画像生成部５４、付加画像とα値のデータを生成する重畳データ生成部５６、メイン画像、付加画像を合成する画像合成部５８、および、表示画像のデータを表示装置１６に出力する画像出力部６０を含む。

入力情報取得部５０は入力部３８やＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置に対しなされるものでよい。このような操作の一つとして、付加画像として表される各種情報の表示要求が含まれる。さらに入力情報取得部５０は、上述した輝度空間の変換に用いるパラメータを調整するモードにおいて、調整に係るユーザ操作の内容も取得する。

入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像やセンサの出力値などのデータを取得してもよい。入力情報取得部５０はまた、動画など電子コンテンツのデータを、ネットワーク８を介してサーバから取得してもよい。入力情報取得部５０は取得したデータを、その内容に応じて情報処理部５２、重畳データ生成部５６、画像合成部５８に適宜供給する。

情報処理部５２はＣＰＵ２３やメインメモリ２６などで実現され、入力情報取得部５０から供給されたデータに基づきゲームなどの情報処理を実施する。上述のとおり情報処理部５２が実施する処理は、画像の表示を伴うものであればその内容は特に限定されない。画像生成部５４はＧＰＵ２４やメインメモリ２６などで実現され、情報処理部５２からの要求に従いメイン画像のデータを生成する。例えば情報処理部５２がゲームを実行する場合、画像生成部５４はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。

あるいは画像生成部５４は、情報処理部５２が指定した動画のデータを復号、伸張してもよい。動画のデータは情報処理装置１０内部で保持していてもよいし、ネットワーク８を介してサーバからストリーム転送されたものや撮像装置がその場で撮影したものなどでもよい。いずれにしろ画像生成部５４が最終的に生成するデータは、ＨＤＲおよびＳＤＲのうちどちらかの空間で表された輝度信号である。付加画像を重畳させる必要がない期間、画像生成部５４は、生成したメイン画像のデータを画像出力部６０に出力する。

付加画像を重畳させる必要がある期間、画像生成部５４は生成したメイン画像のデータを画像合成部５８に出力する。重畳データ生成部５６はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、必要に応じて付加画像のデータを生成する。付加画像はユーザが呼び出すことにより随時表示されるものでもよいし、ゲームや動画の進捗に応じて情報処理部５２が決定したタイミングで表示されるものでもよい。または画面の片隅などに常時表示されるものでもよい。当該画像の生成には、内部で保持する画像データを用いてもよいし、撮像装置やサーバなど外部の装置から入力情報取得部５０が取得したデータを用いてもよい。

上述の例に則れば、重畳データ生成部５６が最終的に生成するデータは、ＳＤＲの空間で表された輝度信号である。また重畳データ生成部５６は、付加画像をどのような透過度で表示するかを決定づけるα値を、付加画像に対応づけて画素ごとに決定する。α値を時間変化させることにより、付加画像が徐々に出現したり消滅したりするようにしてもよい。重畳データ生成部５６は、生成した付加画像のデータと、α値を画素値とするα画像のデータを画像合成部５８に出力する。なおメイン画像にもα値を設定する場合、画像生成部５４は当該画像に設定すべきα画像のデータも画像合成部５８に出力する。

画像合成部５８はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現される。なお画像合成部５８を、２つの画像のデータを重ね合わせて表示画像を出力する画像合成装置として実現してもよい。詳細には画像合成部５８は、重畳用のデータを取得する重畳データ取得部６２、メイン画像のデータを取得するメイン画像データ取得部６４、輝度空間を変換する輝度空間変換部６６、アルファブレンド処理により表示画像のデータを生成する合成処理部７２を含む。

重畳データ取得部６２は、付加画像の輝度信号と、α値を画素値とするα画像のデータを、重畳データ生成部５６から取得する。メイン画像データ取得部６４は、メイン画像の輝度信号を画像生成部５４から取得し合成処理部７２に供給する。またメイン画像データ取得部６４は、データ解析等により特定したメイン画像の輝度空間に基づき、付加画像の輝度空間を変換する必要性の有無を判定する。

すなわち付加画像が定常的にＳＤＲで表現される一方、メイン画像がＨＤＲで表現されている場合、メイン画像データ取得部６４は、付加画像の輝度空間を変換する必要があると判定する。ただし本実施の形態をこれに限る主旨ではなく、輝度を定義する空間が異なれば、ＳＤＲ／ＨＤＲの違いに限らず変換が必要と判定する。付加画像が、情報処理装置においていくらか固定化されたアルゴリズムにより生成される一方、メイン画像はコンテンツ提供側での高い自由度で作成されている場合、往々にしてそのような状況が発生し得る。

輝度空間の変換が必要な場合、メイン画像データ取得部６４は重畳データ取得部６２にその旨を通知する。あるいはメイン画像データ取得部６４からメイン画像の輝度空間を通知された重畳データ取得部６２が、メイン画像、付加画像の双方に鑑み変換の必要性について判定してもよい。重畳データ取得部６２は、輝度空間の変換の必要性の有無に応じて、取得したデータの供給先を切り替える。具体的には、輝度空間を変換する必要がない場合、重畳データ取得部６２は、取得したデータをそのまま合成処理部７２に供給する。輝度空間を変換する必要がある場合、重畳データ取得部６２は、取得したデータを輝度空間変換部６６に供給する。

重畳データ取得部６２から直接、データを取得した場合、合成処理部７２は当該データと、メイン画像データ取得部６４から取得したメイン画像のデータを、上述の式１または式２に代入して表示画像の画素値を算出する。想定する例では、メイン画像と付加画像の双方がＳＤＲの空間で定義された輝度信号のときにこの状況となるため、算出される画素値もＳＤＲ空間の輝度信号となる。なお変形例として、メイン画像と付加画像の双方が元からＨＤＲの空間で定義されている場合も、当然そのままで表示画像の画素値を算出できる。この場合、算出される画素値はＨＤＲ空間の輝度信号となる。

輝度空間変換部６６は、図３で示した輝度空間変換部６６と同等の機能を有し、重畳データ取得部６２から供給された付加画像の輝度空間を変換する。想定する例では上述のとおり、ＳＤＲの空間で定義された輝度信号をＨＤＲのものに変換する。輝度空間変換部６６はさらに、変換に用いるパラメータの調整をユーザから受け付けるためのインターフェースを提供する。具体的には、ＳＤＲの輝度空間で定義された調整用の画像を準備し、内部のメモリに保持しておく。そして当該画像をＳＤＲの輝度信号のまま出力した場合と、ＨＤＲの輝度信号に変換してから出力した場合とで、表示装置１６に表示された画像を比較できるようにする。

そして変換に用いるパラメータの調整操作をユーザより受け付け、調整結果をリアルタイムで表示に反映させる。ユーザは、ＳＤＲの輝度信号のまま出力、表示された画像とＨＤＲの輝度信号に変換して出力、表示された画像がおよそ同等の見た目となるまで調整操作を行う。そのようにして最適なパラメータを確定させれば、その後の処理においては、表示装置１６内部における処理によらず、また、メイン画像がＳＤＲかＨＤＲかによらず、同様の色味や明るさで付加画像を重畳表示させることができる。

ユーザに調整させる代わりに、輝度空間変換部６６が自らパラメータを調整するようにしてもよい。この場合、調整用の画像をＳＤＲの輝度信号のまま出力した場合と、ＨＤＲの輝度信号に変換してから出力した場合とで、表示装置１６がディスプレイパネルを実際に発光させたときの輝度を比較する。すなわち図３で示した輝度値取得部２０８から出力される輝度値を情報処理装置１０にフィードバックさせ、各輝度空間での輝度値の差が小さくなるように輝度空間変換部６６がパラメータを調整する。ここで輝度値は、所定の画素で比較してもよいし、画像全体の輝度値の平均を色ごとに比較するなど統計的な処理により比較してもよい。画像の全体的な色や明るさを数値化して比較する手法が様々に考えられることは当業者には理解されるところである。

輝度空間変換部６６は、情報処理装置１０に表示装置１６が新たに接続された際など調整が必要な条件を満たしたときに、画像出力部６０および表示装置１６を介してユーザにその旨の通知を行う。それに応じてユーザが調整開始の指示入力を行ったら、パラメータの調整モードに移行する。あるいはさらに、ユーザが必要性を感じた際に調整モードを起動できるようにしてもよい。ユーザによる調整か輝度空間変換部６６による調整かに関わらず、調整後に確定されたパラメータを内部のメモリに保持することにより、以後はそれを用いて輝度空間の変換を行う。

輝度空間変換部６６は、調整されたパラメータを用いて輝度空間を変換した付加画像の信号とα画像のデータを合成処理部７２に供給する。輝度空間変換部６６からデータを取得した場合も、合成処理部７２は当該データと、メイン画像データ取得部６４から取得したメイン画像のデータを、上述の式１または式２に代入して表示画像の画素値を算出する。この場合、メイン画像と付加画像の双方がＨＤＲの空間で定義された輝度信号となっているため、算出される画素値もＨＤＲ空間の輝度信号となる。ここで合成処理部７２は、図３で示した合成処理部７２と同等の機能を有する。

合成処理部７２は算出した結果を画像出力部６０に出力する。画像出力部６０はＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、画像生成部５４から供給されたメイン画像のデータ、または画像合成部５８から供給された付加画像を重畳した画像のデータを、適切なタイミングで表示装置１６に順次出力する。画像出力部６０はまた、輝度空間の変換に用いるパラメータの調整モードにおいて、調整画面のデータを輝度空間変換部６６から取得し、表示装置１６に出力する。輝度空間変換部６６がパラメータを調整する場合、画像出力部６０はさらに、各輝度空間で調整用の画像を表示させた際の実際の輝度値に係る情報を表示装置１６から取得し、輝度空間変換部６６に供給する。

表示装置１６においては、図３を参照して説明したように、輝度値取得部２０８が、送信された画像の輝度信号がＨＤＲのものかＳＤＲのものかに応じて、適切なＥＯＴＦを用いて画素の輝度を取得する。そして表示部２１０の表示パネルからラインごとに出力することにより、ＨＤＲまたはＳＤＲの輝度レンジで画像が表示される。

図７は輝度空間変換部６６の機能ブロックの構成をより詳細に示している。輝度空間変換部６６は、線形データ取得部８０、輝度信号変換部８２、変換パラメータ記憶部８４、パラメータ調整部８６、および調整用画像記憶部８８を含む。線形データ取得部８０は、輝度空間の変換が必要な画像の輝度信号のデータとα画像のデータを重畳データ取得部６２から取得する。このうち輝度信号は一般的に、ガンマ補正など非線形な変換がなされているため、逆の変換を施すことにより元の輝度に対し線形な変化を有する信号を取得する。

輝度信号変換部８２は、そのようにして得られた輝度の信号を、ＨＤＲの空間における輝度信号に変換する。すなわち図４を参照して説明したように、元の信号を圧縮する方向で設定された規則に従い変換を実施する。変換においては変換パラメータ記憶部８４に格納されたパラメータを参照する。最終的に得られる輝度信号が、例えば色域の規格であるＩＴＵ−Ｒ ＢＴ．２０２０、伝達関数の規格であるＳＭＰＴＥ ＳＴ２０８４に準拠した値となるように変換規則を定めることにより、元からそのような規格に従い表現されているメイン画像とアルファブレンディングを行っても違和感のない画像を表示できる。

パラメータ調整部８６は、輝度空間の変換に用いるパラメータの調整モードにおいて、当該パラメータの調整操作をユーザから受け付ける。あるいは自らがパラメータの調整処理を実施する。両者は択一的に実装してもよいし、どちらも実施可能としてユーザが選択できるようにしてもよい。前者の場合、パラメータ調整部８６は上述のとおり、調整用画像記憶部８８に格納された調整用の画像のデータを、ＳＤＲの輝度信号のまま表示させた場合と、ＨＤＲの輝度空間に変換してから表示させた場合とで、表示画像を比較できるようにする。

ＨＤＲの輝度空間に変換した画像を表示させるためパラメータ調整部８６は、線形データ取得部８０および輝度信号変換部８２に、調整用の画像データに対し上述と同様の処理を実施させる。調整モードにおいては合成処理の必要はないため、パラメータ調整部８６は、各輝度空間で表された画像の信号を直接、画像出力部６０に入力し、表示装置１６に出力させる。ここで出力されるデータは、図３で示したＬ３とＬ７のものに対応する。

これに応じて表示装置１６では、ＳＤＲ空間またはＨＤＲ空間で表された輝度信号を、それぞれの輝度空間に対応するＥＯＴＦにより輝度値に変換して表示する。パラメータ調整部８６は、ユーザからの調整操作に従い、輝度空間の変換に用いるパラメータを随時変化させて表示に反映させる。そしてユーザが確定操作を行った時点でのパラメータを変換パラメータ記憶部８４に格納し、後の変換処理で参照できるようにする。

パラメータ調整部８６が調整処理を行う場合も、各輝度空間で表された調整用の画像を表示装置１６に表示させる処理は同様である。この場合、上述のとおり各画像を表示させたときの実際の輝度値を表示装置１６から取得し、その差が最小となるときのパラメータを変換パラメータ記憶部８４に格納する。

パラメータ調整部８６が調整対象とするパラメータは、輝度空間の変換規則に影響を与え、変換後の色味や明るさを調整できるものであればその対象は限定されない。例えば図４で示した、ＳＤＲの輝度空間の上限を対応づける、ＨＤＲの輝度空間における割合Ｒとしてもよい。ＳＤＲの画像を処理する環境とＨＤＲの画像を処理する環境とでは、伝達関数や色空間が異なる。また上述のとおり、実際に表示される画像は表示装置のメーカーなどによって固有の発色となるため、輝度空間の変換前後で印象が変化しないような適切な割合Ｒを論理的に導出するのは難しい。

逆に割合Ｒを実情に合わせて調整できるようにすれば、輝度値の可変範囲を制御できるため、輝度信号の中間値の変換規則を詳細に調整せずとも、変換対象の画像全体が与える色味や明るさの印象を効率よく変化させられる。すなわち割合Ｒを変化させることにより、変換規則が非線形な関数であっても、関数全体を変化させることができる。ただし調整パラメータを割合Ｒに限定する主旨ではなく、変換関数に含まれる、あるいは影響を与える１つまたは複数のパラメータでよい。変換用のルックアップテーブルを複数準備しておき、用いるテーブルを調整に応じて変化させてもよい。

図８はパラメータ調整部８６が、輝度空間の変換に用いるパラメータの調整モードにおいて、ユーザに提示する調整画面を例示している。この例で調整画面１００は、全体領域に調整用の画像を表示させたうえ、ＧＵＩ（Graphical User Interface）として、輝度空間切り替えボタン１０２、および調整用スライドバー１０６を表示させている。調整用の画像は上述のとおり、ＳＤＲの輝度空間で定義された、所定の撮影画像やコンピュータグラフィクスによる描画画像などである。より単純な色や図形のパターンなどでもよい。

輝度空間切り替えボタン１０２のうち「ＳＤＲ」と表記されたボタンが操作されると、パラメータ調整部８６は、調整用画像をＳＤＲの輝度空間のまま出力する。これは図３のＬ３の出力に対応する。この場合、表示装置１６では、取得したデータをＳＤＲのものとして処理し表示する。一方、輝度空間切り替えボタン１０２のうち「ＨＤＲ」と表記されたボタンが操作されると、パラメータ調整部８６は調整用画像をＨＤＲの輝度空間のデータに変換して出力する。

これは図３のＬ７の出力を表示装置１６に直接入力するのに対応する。この場合、表示装置１６では、取得したデータをＨＤＲのものとして処理し表示する。調整用スライドバー１０６は、ＨＤＲの輝度空間の画像が表示されているときのみ操作可能とする。ユーザは「ＨＤＲ」のボタンを操作した際に表示される画像を、「ＳＤＲ」のボタンを操作したときに表示される画像と比較し、色味や明るさの印象が異なるようであれば調整用スライドバー１０６のハンドルを上下に移動させる。

パラメータ調整部８６は当該調整操作に応じて割合Ｒ等、調整対象のパラメータを変化させて輝度空間を変換し直し、表示装置１６に即時表示させる。ユーザは変化する画像を見ながら調整操作を繰り返し、両画像に差が感じられなくなったら図示しない操作手段により確定操作を行う。パラメータ調整部８６は、その時点におけるパラメータを変換パラメータ記憶部８４に格納する。輝度信号変換部８２は以後の変換処理において、そのように格納されたパラメータを利用する。

なお図８に示した調整画面はあくまで例示であり、輝度空間の切り替えおよびパラメータの調整を直感的かつ容易に行えれば、その具体的な手段は限定されない。例えばそれらの手段を入力装置１４のハードウェアキーに割り付けてもよい。また調整対象のパラメータによっては、スライドバーのような連続的な変化をもたらすものでなく、複数の候補から選択対象を切り替えるためのＧＵＩや操作手段を用いて調整できるようにしてもよい。

これまで述べた説明では主に、メイン画像がＨＤＲで表現されているとき、情報処理装置１０などが提供する付加画像を元のＳＤＲからＨＤＲの輝度空間に変換してアルファブレンドにより重畳表示させることを想定していた。一方、このようにして調整されたパラメータを用いて変換を行えば、ＳＤＲの画像を単独で表示させる場合でも、表示装置側ではＨＤＲの画像と同様に扱うことができる。図９はそのような場合における、情報処理装置１０から出力される画像の信号と、表示装置１６における信号処理の概略を示している。

この場合、情報処理装置１０の画像生成部５４は、ＳＤＲの画像を内部で生成したり復号したりしたら、当該画像の輝度信号を輝度空間変換部６６に直接入力する（Ｌ１０）。輝度空間変換部６６は、取得した輝度信号をＨＤＲの空間における輝度信号に変換して表示装置１６に出力する（Ｌ１１）。輝度空間変換部６６の機能は図７を参照して説明したのと同様である。したがって変換には、変換パラメータ記憶部８４に格納された、調整後のパラメータを利用する。

表示装置１６の輝度値取得部２０８は、取得した輝度信号をＨＤＲに対応するＥＯＴＦを用いて輝度信号を輝度値に変換し、表示部２１０へ順次出力する（Ｌ１２）。これにより、元の画像がＳＤＲで表現されているデータを、表示装置１６においてはＨＤＲの画像と同等に処理することができ、その結果表示される画像は本来の色味や明るさを踏襲したものとなる。

このような態様を実現することにより、ＳＤＲで表現されたゲームなど個々のコンテンツを、表示装置における処理の切り替えなどの必要なく、ＨＤＲに対応した表示装置で、表示処理の差などに影響されず同様に表示できる。また、情報処理装置側で最適な変換用のパラメータを保持し共有することで、想定される表示装置に合わせて個々のコンテンツ内部でパラメータを設定しておくなどの手間を省くことができる。

以上述べた本実施の形態によれば、元の画像の輝度空間を異なる輝度空間に変換して表示させる場合に、変換に用いるパラメータを実際の表示状態に合わせて調整できるようにする。具体的には、元の輝度空間のまま処理された表示画像と、輝度空間の変換処理を経て表示された画像を実際に比較し、容易な操作でパラメータを調整できるようなユーザインターフェースを提供する。あるいは表示された画像の実際の輝度を表示装置から取得し、情報処理装置側でパラメータを調整する。これにより、表示装置内部での処理の差によらず、輝度空間の変換の有無による表示結果への影響を最小限に抑え、好適な状態の表示を定常的に行える。

その結果、メイン画像がＳＤＲかＨＤＲかによらず、ＳＤＲで表現された付加画像を、同様の見た目で透過性を持たせて重畳表示させることも可能となる。ひいては付加画像の生成機構を複数、設けたり、付加画像を複数種類生成したりするなどの必要なく、高い自由度で表現されたメイン画像の世界観を損なわない状態で安定的に付加画像を表示できる。また一度の調整で最適化されたパラメータは、コンテンツによらず共通に利用できるため、コンテンツ内部でパラメータの設定をせずとも、様々な輝度空間を想定した表示装置に容易に対応させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ ネットワーク、 １０ 情報処理装置、 １４ 入力装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 入力情報取得部、 ５２ 情報処理部、 ５４ 画像生成部、 ５６ 重畳データ生成部、 ５８ 画像合成部、 ６０ 画像出力部、 ６２ 重畳データ取得部、 ６４ メイン画像データ取得部、 ６６ 輝度空間変換部、 ７２ 合成処理部、 ８０ 線形データ取得部、 ８２ 輝度信号変換部、 ８４ 変換パラメータ記憶部、 ８６ パラメータ調整部、 ８８ 調整用画像記憶部。

Claims (7)

1. ユーザ操作に応じてコンテンツを処理しその画像を表示装置に表示させる情報処理装置であって、
   前記コンテンツに係る画像の信号を取得するとともに、アルファブレンド処理により重畳表示させる複数の前記画像の信号が表される輝度空間が異なるとき、同じ輝度空間で表した信号に変換する必要性があると判定する画像データ取得部と、
   前記必要性があると判定された場合に、
   前記画像の信号を、前記同じ輝度空間で表した信号に変換する輝度空間変換部と、
   前記同じ輝度空間で表された画像の信号をアルファブレンド処理して前記表示装置に出力する画像出力部と、
   を備え、
   前記輝度空間変換部は、前記表示装置に調整用の画像を表示させたうえ、その表示の状態に応じた所定の情報を取得し、当該情報に基づき、信号の変換に用いるパラメータを調整するパラメータ調整モードを実行するパラメータ調整部を備え、調整後の前記パラメータを用いて前記画像の信号を変換することを特徴とする情報処理装置。
2. 前記パラメータ調整部は、前記調整用の画像を、変換前後の異なる輝度空間で表した信号を、ユーザの切り替え操作に応じて切り替えて出力することにより、前記表示装置において比較可能に表示させたうえで、調整に係る操作をユーザから受け付けることにより前記パラメータを調整することを特徴とする請求項１に記載の情報処理装置。
3. 前記パラメータ調整部は、前記調整用の画像を、変換前後の異なる輝度空間で表した信号を出力することによりそれぞれ前記表示装置に表示させ、表示時の輝度の値を取得して比較した結果に基づき前記パラメータを調整することを特徴とする請求項１に記載の情報処理装置。
4. 前記輝度空間変換部による変換前の輝度空間が表す輝度レンジは、変換後の輝度空間が表す輝度レンジより小さく、
   前記パラメータ調整部は、前記変換前の輝度空間の上限を対応づける、前記変換後の輝度空間における割合を前記パラメータとして調整することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記パラメータ調整部は、前記情報処理装置に表示装置が新たに接続されたとき、前記パラメータの調整操作の必要をユーザに通知することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. ユーザ操作に応じてコンテンツを処理しその画像を表示装置に表示させる情報処理装置が、
   前記コンテンツに係る画像の信号を取得するステップと、
   アルファブレンド処理により重畳表示させる複数の前記画像の信号が表される輝度空間が異なるとき、同じ輝度空間で表した信号に変換する必要性があると判定するステップと、
   前記必要性があると判定された場合に、
   前記画像の信号を、前記同じ輝度空間で表した信号に変換するステップと、
   前記同じ輝度空間で表された画像の信号をアルファブレンド処理して前記表示装置に出力するステップと、
   を含むとともに、
   前記表示装置に調整用の画像を表示させたうえ、その表示の状態に応じた所定の情報を取得し、当該情報に基づき、信号の変換に用いるパラメータを調整するパラメータ調整モードを実行するステップを含み、
   前記変換するステップは、調整後の前記パラメータを用いて前記画像の信号を変換することを特徴とする画像処理方法。
7. ユーザ操作に応じてコンテンツを処理しその画像を表示装置に表示させるコンピュータに、
   前記コンテンツに係る画像の信号を取得する機能と、
   アルファブレンド処理により重畳表示させる複数の前記画像の信号が表される輝度空間が異なるとき、同じ輝度空間で表した信号に変換する必要性があると判定する機能と、
   前記必要性があると判定された場合に、
   前記画像の信号を、前記同じ輝度空間で表した信号に変換する機能と、
   前記同じ輝度空間で表された画像の信号をアルファブレンド処理して前記表示装置に出力する機能と、
   を実現させるとともに、
   前記表示装置に調整用の画像を表示させたうえ、その表示の状態に応じた所定の情報を取得し、当該情報に基づき、信号の変換に用いるパラメータを調整するパラメータ調整モードを実行する機能をさらに実現させ、
   前記変換する機能は、調整後の前記パラメータを用いて前記画像の信号を変換することを特徴とするコンピュータプログラム。

Images