JP2017208719A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2017208719A
JP2017208719A JP2016100063A JP2016100063A JP2017208719A JP 2017208719 A JP2017208719 A JP 2017208719A JP 2016100063 A JP2016100063 A JP 2016100063A JP 2016100063 A JP2016100063 A JP 2016100063A JP 2017208719 A JP2017208719 A JP 2017208719A
Authority
JP
Japan
Prior art keywords
data
image data
processing
value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016100063A
Other languages
English (en)
Inventor
勝之 小野澤
Katsuyuki Onozawa
勝之 小野澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016100063A priority Critical patent/JP2017208719A/ja
Publication of JP2017208719A publication Critical patent/JP2017208719A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる技術を提供する。【解決手段】本発明の画像処理装置は、第1画像データ、及び、前記第1画像データと、前記第1画像データよりもデータサイズが大きい第2画像データとの差分に関する差分データを取得する取得手段と、前記第1画像データを用いてデータ処理を行う処理手段と、前記データ処理に基づいて前記差分データを補正する補正手段と、前記データ処理が行われた後の第1画像データと、補正された後の差分データとから、第3画像データを生成する生成手段と、を有する。【選択図】図2

Description

本発明は、画像処理装置に関する。
近年、ビット数が非常に多い画像データを扱う機会が増している。このような画像データは、「HDR(High Dynamic Range)画像データ」などと呼ばれ、非常に高い輝度を扱うことができる。HDR画像データの記録・復元方法として、以下の方法が提案されている。まず、HDR画像データが、HDR画像データよりもデータサイズが小さいベース画像データ、及び、HDR画像データとベース画像データとの差分に関する差分データに分離されて圧縮される。そして、ベース画像データの拡張情報として差分データがベース画像データに関連付けられ、ベース画像データと差分データの組み合わせが記録される。また、差分データとベース画像データを合成することにより、HDR画像データが復元される。
HDR画像データ、ベース画像データ、及び、差分データの一例を説明する。例えば、HDR画像データの各階調値は32ビットの値であり、ベース画像データの各階調値はHDR画像データの階調値(32ビット)のコア部分に対応する8ビットの値である。そして、差分データは、HDR画像データの階調値の残りの部分(コア部分以外の部分;9番目以降のビット)を復元するためのデータである。差分データとして、例えば、各画素についてHDR画像データの輝度とベース画像データの輝度との比率を示す輝度比率データ、各画素についてHDR画像データの色差とベース画像データの色差との差分を示す色差差分データ、等が使用される。
JPEG画像データであるベース画像データと、差分データとの組み合わせを用いたデータフォーマットは、「JPEG−HDR」などと呼ばれる。JPEG−HDRのデータは、従来のJPEG画像データ(各階調値が8ビットの値であるJPEG画像データ)として使用することもできるし、HDR画像データを復元するためのデータとして使用することもできる。
JPEG−HDRのデータの表示方法に関する従来技術は、例えば、特許文献1,2に開示されている。図8(A)は、特許文献1に開示の方法の一例を示し、図8(B)は、特許文献2に開示の方法の一例を示す。図8(A),8(B)は、10ビットの階調値に対応する表示部が使用される例を示す。
図8(A),8(B)に示すように、特許文献1,2に開示の方法では、ベース画像データ、輝度比率データ、及び、色差差分データから、各階調値が32ビットの値であるHDR画像データが生成される。図8(A)に示すように、特許文献1に開示の方法では、HDR画像データに画像処理が施され、画像処理により得られた画像データに対して、各階調値を10ビットの値へ変換するトーンマッピングが施される。そして、トーンマッピングにより得られた画像データが表示部へ入力されて表示される。一方、図8(B)に示すように、特許文献2に開示の方法では、HDR画像データにトーンマッピングが施され、トーンマッピングにより得られた画像データに画像処理が施される。そして、画像処理により得られた画像データが表示部へ入力されて表示される。
特開2012−44639号公報 特開2011−250260号公報
しかしながら、上述した従来技術を用いた場合には、以下の課題が生じる。特許文献1に開示の方法(図8(A))では、HDR画像データに対して画像処理が施される。そのため、特許文献1に開示の方法を用いることにより、画像処理で扱われる階調値のビット数が増大し、画像処理の処理負荷、画像処理の回路規模、等が増大する。特許文献2に開示の方法(図8(B))では、トーンマッピングにより得られた画像データに対して画像処理が施されるため、トーンマッピングの変換特性(変換前の階調値と変換後の階調値との対応関係)の変化によって、画像処理の結果が変化する。そのため、特許文献2に開示の方法を用いた場合には、画像処理の結果として所望の結果(所望の画像データ)が得られないことがある。特許文献2に開示の方法を用いた場合において、画像処理の結果として所望の結果を得るためには、画像処理の結果を予測しながらトーンマッピングを行われなければならない。しかしながら、画像処理の結果を予測する処理は、処理負荷の増大、回路規模の増大、等をまねく。
JPEG−HDRのデータの表示方法として、図9に示す方法も考えられる。図9の方法では、ベース画像データに画像処理が施され、画像処理により得られた画像データと、未処理の差分データ(未処理の輝度比率データ、及び、未処理の色差差分データ)とから、HDR画像データが生成される。そして、HDR画像データにトーンマッピングが施され、トーンマッピングにより得られた画像データが表示部へ入力されて表示される。
しかしながら、画像処理が施された後のベース画像データと、未処理の差分データとから得られるHDR画像データが、元画像データであるHDR画像データに当該画像処理を施して得られる画像データに一致するとは限らない。例えば、それら2つのHDR画像データの間において、輝度の差、色の差、等が生じることがある。そのため、図9の方法では、HDR画像データとして所望の画像データが得られないことがある。なお、「元画像データであるHDR画像データ」は「画像処理が施される前のベース画像データと、未処理の差分データとを得るために使用されたHDR画像データ」である。「元画像データであるHDR画像データ」は「画像処理が施される前のベース画像データと、未処理の差分データとから得られるHDR画像データ」とも言える。
本発明は、画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる技術を提供することを目的とする。
本発明の第1の態様は、
第1画像データ、及び、前記第1画像データと、前記第1画像データよりもデータサイズが大きい第2画像データとの差分に関する差分データを取得する取得手段と、
前記第1画像データを用いてデータ処理を行う処理手段と、
前記データ処理に基づいて前記差分データを補正する補正手段と、
前記データ処理が行われた後の第1画像データと、補正された後の差分データとから、第3画像データを生成する生成手段と、
を有することを特徴とする画像処理装置である。
本発明の第2の態様は、
第1画像データ、及び、前記第1画像データと、前記第1画像データよりもデータサイズが大きい第2画像データとの差分に関する差分データを取得するステップと、
前記第1画像データを用いてデータ処理を行うステップと、
前記データ処理に基づいて前記差分データを補正するステップと、
前記データ処理が行われた後の第1画像データと、補正された後の差分データとから、第3画像データを生成するステップと、
を有することを特徴とする画像処理方法である。
本発明の第3の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明によれば、画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる。
実施例1に係る表示装置の構成例を示すブロック図 実施例1に係る画像処理部の構成例を示すブロック図 実施例1に係る表示装置の処理フローの一例を示すフローチャート 実施例2に係る画像処理部の構成例を示すブロック図 実施例2に係る表示装置の処理フローの一例を示すフローチャート 実施例3に係る画像処理部の構成例を示すブロック図 実施例3に係る表示装置の処理フローの一例を示すフローチャート 本発明で解決される課題の一例を説明する図 本発明で解決される課題の一例を説明する図
<実施例1>
以下、本発明の実施例1について説明する。なお、以下では、本実施例に係る画像処理装置が表示装置に設けられている例を説明するが、画像処理装置は表示装置とは別体の装置であってもよい。例えば、画像処理装置としてパーソナルコンピュータが使用されてもよい。
図1は、本実施例に係る表示装置1の構成例を示すブロック図である。なお、表示装置1の各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、表示装置1が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、表示装置1が有する少なくとも一部の機能部(機能部の処理)が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
レシーバ2は、ベース画像データ(第1画像データ)、及び、ベース画像データと、元画像データ(第2画像データ)との差分に関する差分データを取得(受信)する。具体的には、レシーバ2は、ベース画像データと差分データを含むデータを取得する。そして、レシーバ2は、取得したデータをデコード部3へ出力する。なお、レシーバ2によって取得されるデータは、動画のデータであってもよいし、静止画のデータであってもよい。また、レシーバ2へのデータの伝送方法は特に限定されない。例えば、SDI形式、DP形式、ファイル形式、等でデータがレシーバ2へ伝送される。
元画像データは、ベース画像データよりもデータサイズが大きい画像データである。例えば、元画像データは、ベース画像データの輝度域(ダイナミックレンジ)と色域の少なくとも一方を拡大した画像データである。
ベース画像データは、例えば、元画像データ(第2画像データ)にダウンサンプリング
を施すことによって得られる画像データである。「ダウンサンプリング」は「階調圧縮」とも言える。その場合には、ベース画像データのビット数(第1ビット数)は、元画像データのビット数(第2ビット数)よりも少ない。即ち、元画像データのビット数は、ベース画像データのビット数よりも多い。例えば、ベース画像データの各階調値は、元画像データの階調値(Nビット)のコア部分に対応するnビットの値である。「N」は2以上の整数であり、「n」は1以上且つN未満の整数である。
ベース画像データと同様に、差分データのデータサイズも、元画像データのデータサイズよりも小さい。例えば、差分データのビット数は、元画像データのビット数よりも少ない。ここで、ベース画像データの各階調値が、元画像データの階調値(Nビット)のコア部分に対応するnビットの値である場合を考える。この場合には、元画像データの階調値の残りの部分(コア部分以外の部分;n+1番目以降のビット)を復元するためのデータが、差分データとして使用される。差分データは、例えば、輝度差分データ、色差分データ、または、それら両方を含む。
輝度差分データは、元画像データの輝度(輝度の階調値;輝度値;Y値)とベース画像データの輝度との差分を示すデータである。例えば、輝度差分データは、画素毎(または所定数の画素からなる画像領域毎)に、ベース画像データの輝度と元画像データの輝度との比率(輝度比率)を示す輝度比率データである。輝度比率は、ベース画像データの輝度に対するHDR画像データの輝度の比率またはその逆数である。輝度差分データは、画素毎(または所定数の画素からなる画像領域毎)に、ベース画像データの輝度と元画像データの輝度の一方から他方を減算することによって得られる差分値(輝度差分値)を示すデータであってもよい。輝度差分データは、ベース画像データの輝度と元画像データの輝度との対応関係を示すテーブルデータであってもよい。
色差分データは、元画像データの色とベース画像データの色との差分を示すデータである。例えば、色差分データは、画素毎(または所定数の画素からなる画像領域毎)に、ベース画像データの色差(色差の階調値;色差値;Cb値とCr値)と元画像データの色差との差分値(色差差分値)を示す色差差分データである。色差差分値は、ベース画像データの色差から元画像データの色差を減算することによって得られる差分値、または、元画像データの色差からベース画像データの色差を減算することによって得られる差分値である。色差分データは、画素毎(または所定数の画素からなる画像領域毎)に、ベース画像データの色差と元画像データの色差との一方に対する他方の比率である色差比率を示す色差比率データであってもよい。色差分データは、ベース画像データの色差と元画像データの色差との対応関係を示すテーブルデータであってもよい。色差分データは、色差の代わりに色度座標などを用いて得られるデータであってもよい。
ビット数が非常に多い画像データは、「HDR(High Dynamic Range)画像データ」などと呼ばれる。一方、ビット数がそれほど多くない画像データは、LDR(Low Dynamic Range)画像データなどと呼ばれる。そして、元画像データがHDR画像データであり、且つ、ベース画像データがJPEG画像データである場合には、ベース画像データと差分データとの組み合わせを用いたデータフォーマットは、「JPEG−HDR」などと呼ばれる。
本実施例では、元画像データは、各画素値がRGB値であり、且つ、各階調値(R値、G値、及び、B値)が32ビットの値であるHDR画像データである。ベース画像データは、各画素値がRGB値であり、且つ、各階調値(R値、G値、及び、B値)が8ビットの値であるJPEG画像データである。そして、ベース画像データの各階調値は、HDR画像データの階調値のコア部分に対応する。従って、本実施例では、レシーバ2により、JPEG−HDRのデータが取得される。また、本実施例では、差分データは、HDR画
像データの階調値の残りの部分(コア部分以外の部分;9番目以降のビット)を復元するためのデータである。差分データは、輝度比率データと色差差分データとを含む。そして、輝度比率と色差差分値のそれぞれは、8ビットの値である。
なお、元画像データのデータフォーマット、ベース画像データのデータフォーマット、差分データのデータフォーマットは特に限定されない。例えば、元画像データの各画素値はYCbCr値であってもよい。元画像データの各階調値のビット数は32ビットより多くても少なくてもよい。元画像データはHDR画像データでなくてもよい。ベース画像データの各画素値はYCbCr値であってもよい。ベース画像データの各階調値のビット数は8ビットより多くても少なくてもよい。ベース画像データはJPEG画像データでなくてもよい。差分データの各データ値のビット数は8ビットより多くても少なくてもよい。輝度差分データは輝度比率データでなくてもよい。色差分データは色差差分データでなくてもよい。差分データは輝度差分データと色差分データの一方を含んでいなくてもよい。
デコード部3は、レシーバ2から出力されたデータをデコードすることにより、レシーバ2から出力されたデータを、ベース画像データ、輝度比率データ、及び、色差差分データに分離する。そして、デコード部3は、ベース画像データ、輝度比率データ、及び、色差差分データを、画像処理部4へ出力する。
画像処理部4は、デコード部3から出力されたデータ(ベース画像データ、輝度比率データ、及び、色差差分データ)を用いてデータ処理を行う。本実施例では、画像処理部4は、ベース画像処理部4a、輝度比率処理部4b、及び、色差差分処理部4cを有する。ベース画像処理部4aは、ベース画像データを用いてデータ処理(ベース画像処理)を行う。輝度比率処理部4bは、輝度比率データを用いてデータ処理(輝度比率処理)を行う。具体的には、輝度比率処理部4bは、ベース画像処理に基づいて輝度比率データを補正する。色差差分処理部4cは、色差差分データを用いてデータ処理(色差差分処理)を行う。具体的には、色差差分処理部4cは、ベース画像処理に基づいて色差差分データを補正する。ベース画像処理部4aは、ベース画像処理が行われた後のベース画像データを、合成部5へ出力する。輝度比率処理部4bは、輝度比率処理が行われた後の輝度比率データを、合成部5へ出力する。色差差分処理部4cは、色差差分処理が行われた後の色差差分データを、合成部5へ出力する。
合成部5は、画像処理部4(ベース画像処理部4a、輝度比率処理部4b、及び、色差差分処理部4c)から出力されたデータ(ベース画像データ、輝度比率データ、及び、色差差分データ)を取得する。そして、合成部5は、取得したデータから画像データ(第3画像データ)を生成し、生成した画像データをトーンマッピング部6へ出力する。具体的には、合成部5は、取得したデータを合成することにより画像データ(合成画像データ)を生成し、合成画像データをトーンマッピング部6へ出力する。なお、画像処理部4から出力されたデータを用いて合成画像データが生成されれば、合成画像データの生成方法は特に限定されない。
本実施例では、合成画像データは、元画像データと同じデータフォーマットを有する。即ち、合成画像データは、各画素値がRGB値であり、且つ、各階調値(R値、G値、及び、B値)が32ビットの値であるHDR画像データである。なお、合成画像データのデータフォーマットは特に限定されない。例えば、合成画像データの各画素値はYCbCr値であってもよい。合成画像データの各階調値のビット数は32ビットより多くても少なくてもよい。合成画像データはHDR画像データでなくてもよい。合成画像データのデータフォーマットは元画像データのデータフォーマットと異なっていてもよい。合成画像データが記憶部(不図示)に記録されてもよい。
トーンマッピング部6は、合成部5から出力された合成画像データを表示画像データ(第4画像データ)へ変換し、表示画像データを表示部7へ出力する。表示画像データは、表示部7に対応するデータフォーマットを有する。また、表示画像データのデータサイズは、合成画像データのデータサイズよりも小さい。本実施例では、表示部7は、RGB値と、10ビットの階調値(R値、G値、及び、B値)とに対応する。即ち、表示部7は、10ビットのR値、10ビットのG値、及び、10ビットのB値からなるRGB値を正確に表示することができ、他の画素値を正確に表示することはできない。そのため、本実施例では、トーンマッピング部6は、各画素値がRGB値であり、且つ、各階調値(R値、G値、及び、B値)が10ビットの値である表示画像データへ、合成画像データを変換する。具体的には、トーンマッピング部6は、各階調値を32ビットの値から10ビットの値へ変換するトーンマッピング(階調圧縮)を合成画像データに施すことにより、表示画像データを生成する。
なお、トーンマッピングの方法は特に限定されない。例えば、トーンマッピングとして、変換特性(変換前の階調値と変換後の階調値との対応関係)としてlog特性を用いたlog変換が行われてもよい。また、表示部7に対応するデータフォーマットは特に限定されない。例えば、表示部7に対応する画素値はYCbCr値であってもよい。表示部7に対応する階調値のビット数は10ビットより多くても少なくてもよい。表示部7に対応するデータフォーマットは、画像サイズなどの他の情報を含んでいてもよい。
表示部7は、トーンマッピング部6から出力された表示画像データに基づいて、画面に画像を表示する。
CPU9は、上述した各機能部の処理を制御する。メモリ10は、上述した各機能部(CPU9を含む)で使用される種々のデータ(ソフトウェアプログラム、画像データ、制御データ、等)を記憶する。例えば、CPU9は、メモリ10からソフトウェアプログラムを読み出して実行することにより、各機能部の処理を制御する。表示装置1が有する各機能部は双方向バス8に接続されており、機能部間のデータの伝送は双方向バス8を介して行われる。
上述したベース画像処理は特に限定されないが、例えば、ベース画像処理は、画像データの階調値を変更する画像処理(所望の画像処理)の少なくとも一部である。所望の画像処理は、画像データの全ての階調値を変更する画像処理であってもよいし、画像データの一部の階調値を変更する画像処理であってもよい。所望の画像処理は、画像領域全体に施される画像処理であってもよいし、一部の画像領域にのみ施される画像処理であってもよい。そして、レシーバ2では、ベース画像データと差分データが取得されずに、単一の画像データ(第5画像データ)が取得されることがある。その場合には、以下のように処理が行われてもよい。
まず、トーンマッピング部6が、レシーバ2によって取得された画像データ(取得画像データ)にトーンマッピングを施すことにより、トーンマッピング画像データ(第6画像データ)を生成する。トーンマッピング画像データは、表示部7に対応するデータフォーマットを有する。また、トーンマッピング画像データのデータサイズは、取得画像データのデータサイズよりも小さい。次に、画像処理部4が、トーンマッピング画像データに上記所望の画像処理を施すことにより、表示画像データを生成する。そして、デコード部3の処理と合成部5の処理とが省略され、表示画像データに基づく画像が表示部7で表示される。
レシーバ2によって取得されたデータの種類によって、実行する処理、実行する処理の順番、等を変更することにより、表示装置1の処理負荷や消費電力を低減することができ
る。例えば、上記の例では、デコード部3の処理と合成部5の処理とが省略されるため、表示装置1の処理負荷や消費電力を低減することができる。さらに、上記の例では、所望の画像処理とトーンマッピングの順番が入れ替えられる。それにより、所望の画像処理の対象である対象画像データを、取得画像データから、取得画像データよりもデータサイズが小さいトーンマッピング画像データへ変更することができる。即ち、対象画像データのデータサイズを低減することができる。その結果、所望の画像処理の処理負荷を低減でき、表示装置1の処理負荷や消費電力をより低減することができる。
なお、取得画像データのデータフォーマットは特に限定されない。例えば、取得画像データの各画素値はRGB値であり、取得画像データの各階調値(R値、G値、及び、B値)は12ビットの値である。取得画像データは、HDR画像データであってもよいし、HDR画像データでなくてもよい。
なお、トーンマッピング画像データのデータサイズは、取得画像データのデータサイズより大きくてもよい。その場合であっても、デコード部3の処理と合成部5の処理とが省略されれば、表示装置1の処理負荷や消費電力を低減することができる。また、その場合には、所望の画像処理はトーンマッピングよりも先に行われてもよい。それにより、トーンマッピング画像データよりもデータサイズが小さい取得画像データを、対象画像データとして用いることができる。即ち、対象画像データのデータサイズを低減することができる。その結果、所望の画像処理の処理負荷を低減でき、表示装置1の処理負荷や消費電力をより低減することができる。
図2は、画像処理部4の構成例を示すブロック図である。図2において、図1と同じ機能部には図1と同じ符号が付されている。本実施例では、ベース画像処理として、画像データの階調値を変更する画像処理(所望の画像処理)が行われる。所望の画像処理は特に限定されないが、本実施例では、所望の画像処理として、ゲイン処理とオフセット処理が行われる。ゲイン処理は、設定されたゲイン値を画像データの階調値に乗算する処理であり、オフセット値は、設定されたオフセット値を画像データの階調値に加算する処理である。設定されたゲイン値やオフセット値は「ベース画像処理で使用されたパラメータ」とも言える。本実施例ではオフセット処理の後にゲイン処理が行わるが、ゲイン処理の後にオフセット処理が行われてもよい。
ベース画像処理部4aは、色空間変換部401、座標取得部402、オフセット設定部403、加算部403a〜403c、ゲイン設定部404、乗算部404a〜404c、及び、処理情報生成部405を有する。デコード部3から出力されたベース画像データは、色空間変換部401へ入力される。
色空間変換部401は、色空間変換部401に入力されたベース画像データの画素値をRGB値(R値,G値,B値)=(R,G,B)からYCbCr値(Y値,Cb値,Cr値)=(Y,Cb,Cr)へ変換する。座標取得部402は、ベース画像処理の対象である画素の座標を色空間変換部401から取得し、取得した座標を示す座標情報を輝度比率処理部4bと色差差分処理部4cへ出力する。
オフセット設定部403は、オフセット値A,B,Cを設定する。オフセット値Aは、Y値に加算するオフセット値であり、オフセット値Bは、Cb値に加算するオフセット値であり、オフセット値Cは、Cr値に加算するオフセット値である。例えば、オフセット設定部403は、ユーザ操作、表示装置1の使用状況、等に応じて、オフセット値A,B,Cを自動で設定する。ユーザ操作は、パラメータを指定するユーザ操作、表示装置1の動作モードを指定するユーザ操作、等であり、表示装置1の使用状況は、表示装置1の周囲の輝度、表示装置1の温度、等である。オフセット値A、オフセット値B、及び、オフ
セット値Cは、個別に設定されてもよいし、そうでなくてもよい。オフセット値A、オフセット値B、及び、オフセット値Cとして1つのオフセット値が設定されてもよい。画素毎(または所定数の画素からなる画像領域毎)にオフセット値A,B,Cが個別に設定されてもよいし、画素間(または所定数の画素からなる画像領域毎)で共通の値がオフセット値A,B,Cとして設定されてもよい。
加算部403aは、Y値(Y)にオフセット値Aを加算する。加算部403bは、Cb値(Cb)にオフセット値Bを加算する。そして、加算部403cは、Cr値(Cr)にオフセット値Cを加算する。
ゲイン設定部404は、ゲイン値P,Q,Rを設定する。ゲイン値Pは、Y値に乗算するゲイン値であり、ゲイン値Qは、Cb値に乗算するゲイン値であり、ゲイン値Rは、Cr値に乗算するゲイン値である。例えば、ゲイン設定部404は、ユーザ操作、表示装置1の使用状況、等に応じて、ゲイン値P,Q,Rを自動で設定する。ゲイン値P、ゲイン値Q、及び、ゲイン値Rは、個別に設定されてもよいし、そうでなくてもよい。ゲイン値P、ゲイン値Q、及び、ゲイン値Rとして1つのゲイン値が設定されてもよい。画素毎(または所定数の画素からなる画像領域毎)にゲイン値P,Q,Rが個別に設定されてもよいし、画素間(または所定数の画素からなる画像領域毎)で共通の値がゲイン値P,Q,Rとして設定されてもよい。
乗算部404aは、Y値(Y+A)にゲイン値Pを乗算する。乗算部404bは、Cb値(Cb+A)にゲイン値Qを乗算する。そして、乗算部404cは、Cr値(Cr+C)にゲイン値Rを乗算する。これにより、ベース画像処理の結果として、Y値(Y’=(Y+A)×P)、Cb値(Cb’=(Cb+B)×Q)、及び、Cr値(Cr’=(Cr+C)×R)が得られる。Y値(Y’)は輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は色差差分処理部4cへ出力される。ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。
処理情報生成部405は、処理情報を生成し、生成した処理情報を輝度比率処理部4bと色差差分処理部4cへ出力する。処理情報は、ベース画像処理に関する情報である。例えば、処理情報は、ベース画像処理の種類、ベース画像処理で使用されたパラメータ、等を示す。本実施例では、オフセット設定部403によって設定されたオフセット値A,B,Cと、ゲイン設定部404によって設定されたゲイン値P,Q,Rとに基づいて処理情報が生成される。本実施例では、処理情報は、オフセット値A,B,Cとゲイン値P,Q,Rとを示す。
輝度比率処理部4bは、輝度比率判断部406、HDR−Y値判断部407、及び、補正比率決定部408を有する。デコード部3から出力された輝度比率データは、輝度比率判断部406へ入力される。
輝度比率判断部406は、座標取得部402から出力された座標情報に基づいて、輝度比率判断部406に入力された輝度比率データから、ベース画像処理の対象である画素に対応する輝度比率rを判断する。そして、輝度比率判断部406は、輝度比率rをHDR−Y値判断部407へ出力する。
HDR−Y値判断部407は、元画像データであるHDR画像データに所望の画像処理を施すことによって得られるY値(HDR_Y)を、輝度比率rと処理情報とから判断する。そして、HDR−Y値判断部407は、Y値(HDR_Y)を補正比率決定部408へ出力する。
補正比率決定部408は、補正比率r’(補正後の輝度比率)を、Y値(HDR_Y)と、ベース画像処理が行われた後のY値(Y’)とから決定する。そして、補正比率決定部408は、決定した補正比率r’を合成部5へ出力する。
色差差分処理部4cは、色差差分判断部409、HDR−Cb・Cr値判断部410、及び、補正差分決定部411を有する。デコード部3から出力された色差差分データは、色差差分判断部409へ入力される。
色差差分判断部409は、座標取得部402から出力された座標情報に基づいて、色差差分判断部409に入力された色差差分データから、ベース画像処理の対象である画素に対応する色差差分値db,drを判断する。色差差分dbはCb値の差分値であり、色差差分drはCr値の差分値である。そして、色差差分判断部409は、色差差分値db,drをHDR−Cb・Cr値判断部410へ出力する。
HDR−Cb・Cr値判断部410は、元画像データであるHDR画像データに所望の画像処理を施すことによって得られるCb値(HDR_Cb)とCr値(HDR_Cr)を、色差差分値db,drと処理情報とから判断する。そして、HDR−Cb・Cr値判断部410は、Cb値(HDR_Cb)とCr値(HDR_Cr)とを補正差分決定部411へ出力する。
補正差分決定部411は、補正差分値db’,dr’を、Cb値(HDR_Cb)、Cr値(HDR_Cr)、ベース画像処理が行われた後のCb値(Cb’)、及び、ベース画像処理が行われた後のCr値(Cr’)から決定する。補正差分値db’は、Cb値の差分値であり、且つ、補正後の色差差分値である。補正差分値dr’は、Cr値の差分値であり、且つ、補正後の色差差分値である。そして、補正差分決定部411は、決定した補正差分値db’,dr’を合成部5へ出力する。
図3は、表示装置1の処理フローの一例を示すフローチャートである。図3を用いて、表示装置1の処理フローの一例を説明する。以下の説明では、輝度比率は、ベース画像データの輝度に対する元画像データの輝度の比率である。そして、色差差分値は、元画像データの色差からベース画像データの色差を減算することによって得られる差分値である。
まず、レシーバ2は、JPEG−HDRのデータを取得し、取得したデータをデコード部3へ出力する(S101)。次に、デコード部3は、S101で取得されたデータをデコードすることにより、S101で取得されたデータを、ベース画像データ、輝度比率データ、及び、色差差分データに分離する(S102)。デコード部3は、取得したベース画像データをベース画像処理部4aへ出力し、取得した輝度比率データを輝度比率処理部4bへ出力し、取得した色差差分データを色差差分判断部409へ出力する。そして、色空間変換部401は、S102で取得されたベース画像データの画素値を、RGB色空間の値であるRGB値素値(R,G,B)から、YCbCr色空間の値であるYCbCr値(Y,Cb,Cr)へ変換する(S103)。
次に、座標取得部402は、ベース画像処理(後述するS105とS106)の対象である画素の座標を色空間変換部401から取得し、取得した座標を示す座標情報を出力する(S104)。座標情報は、輝度比率処理部4bと色差差分処理部4cへ出力される。S104の処理のタイミングは特に限定されない。例えば、S105の処理の後、S106の処理の後、等にS104の処理が行われてもよい。S103、S105、及び、S106の処理と並列にS104の処理が行われてもよい。
そして、加算部403a〜403cは、S103で取得されたYCbCr値(Y,Cb,Cr)にオフセット処理を施す(S105)。具体的には、加算部403aはY値(Y)にオフセット値Aを加算し、加算部403bはCb値(Cb)にオフセット値Bを加算し、加算部403cはCr値(Cr)にオフセット値Cを加算する。S105の処理よりも前にオフセット値A,B,Cが設定されれば、オフセット値A,B,Cが設定されるタイミングは特に限定されない。本実施例では、ユーザの任意のタイミングでオフセット値A,B,Cが設定される。
次に、乗算部404a〜404cは、S105で取得されたYCbCr値(オフセット処理後のYCbCr値(Y+A,Cb+B,Cr+C))にゲイン処理を施す(S106)。具体的には、乗算部404aはY値(Y+A)にゲイン値Pを乗算し、乗算部404bはCb値(Cb+A)にゲイン値Qを乗算し、乗算部404cはCr値(Cr+C)にゲイン値Rを乗算する。S106の処理よりも前にゲイン値P,Q,Rが設定されれば、ゲイン値P,Q,Rが設定されるタイミングは特に限定されない。本実施例では、ユーザの任意のタイミングでゲイン値P,Q,Rが設定される。
S105とS106の処理により、ベース画像処理の結果であるY値(Y’)、Cb値(Cb’)、及び、Cr値(Cr’)として、式1に示す値が得られる。Y値(Y’)は輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は色差差分処理部4cへ出力される。ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。

Y’=(Y+A)×P
Cb’=(Cb+B)×Q
Cr’=(Cr+C)×R
・・・(式1)
処理情報生成部405は、S105で使用されたオフセット値A,B,Cと、S106で使用されたゲイン値P,Q,Rとを示す処理情報を生成し、生成した処理情報を輝度比率処理部4bと色差差分処理部4cへ出力する。処理情報の出力タイミングは特に限定されない。例えば、オフセット値A,B,Cを出力する処理がS105の処理と並列に行われ、ゲイン値P,Q,Rを出力する処理がS106の処理と並列に行われてもよい。オフセット値A,B,Cを出力する処理がS105またはS106の処理よりも前に行われてもよい。ゲイン値P,Q,Rを出力する処理がS105またはS106の処理よりも前に行われてもよい。オフセット値A,B,Cを出力する処理がS105またはS106の処理よりも後に行われてもよい。ゲイン値P,Q,Rを出力する処理がS105またはS106の処理よりも後に行われてもよい。
S106の処理の次に、S110へ処理が進められる。本実施例では、S104の処理の後且つS110の処理の前の期間に、輝度比率処理部4bと色差差分処理部4cにより、S107〜S109の処理が行われる。S107〜109の処理は、S105およびS106の処理と並列に行われてもよいし、そうでなくてもよい。S107〜109の処理は、S106の処理よりも後に行われてもよい。輝度比率処理部4bの処理は、色差差分処理部4cの処理と並列に行われてもよいし、そうでなくてもよい。
S102で取得された輝度差分データと、S104で出力された座標情報とが輝度比率判断部406へ入力されると、輝度比率判断部406はS107の処理を行う。S107にて、輝度比率判断部406は、入力された座標情報に基づいて、入力された輝度比率データから、ベース画像処理の対象である画素に対応する輝度比率rを判断する。そして、
輝度比率判断部406は、輝度比率rをHDR−Y値判断部407へ出力する。同様に、S102で取得された色差差分データと、S104で出力された座標情報とが色差差分判断部409へ入力されると、色差差分判断部409はS107の処理を行う。S107にて、色差差分判断部409は、入力された座標情報に基づいて、入力された色差差分データから、ベース画像処理の対象である画素に対応する色差差分値db,drを判断する。そして、色差差分判断部409は、色差差分値db,drをHDR−Cb・Cr値判断部410へ出力する。
S107で判断された輝度比率rと、処理情報生成部405から出力された処理情報とがHDR−Y値判断部407へ入力されると、HDR−Y値判断部407はS108の処理を行う。S108にて、HDR−Y値判断部407は、元画像データであるHDR画像データに所望の画像処理を施すことによって得られるY値(HDR_Y)を、輝度比率rと処理情報とから判断する。そして、HDR−Y値判断部407は、Y値(HDR_Y)を補正比率決定部408へ出力する。同様に、S107で判断された色差差分値db,drと、処理情報生成部405から出力された処理情報とがHDR−Cb・Cr値判断部410へ入力されると、HDR−Cb・Cr値判断部410はS108の処理を行う。S108にて、HDR−Cb・Cr値判断部410は、元画像データであるHDR画像データに所望の画像処理を施すことによって得られるCb値(HDR_Cb)とCr値(HDR_Cr)を、色差差分値db,drと処理情報とから判断する。そして、HDR−Cb・Cr値判断部410は、Cb値(HDR_Cb)とCr値(HDR_Cr)を補正差分決定部411へ出力する。
本実施例では、以下の式2を用いて、Y値(HDR_Y)、Cb値(HDR_Cb)、及び、Cr値(HDR_Cr)が算出される。そのため、ベース画像データのYCbCr値(Y,Cb,Cr)は、例えば、処理情報に含まれている。なお、HDR−Y値判断部407とHDR−Cb・Cr値判断部410へのYCbCr値(Y,Cb,Cr)の通知方法は特に限定されない。YCbCr値(Y,Cb,Cr)が座標情報に含まれていてもよい。そして、輝度比率判断部406からHDR−Y値判断部407へYCbCr値(Y,Cb,Cr)が通知され、色差差分判断部409からHDR−Cb・Cr値判断部410へYCbCr値(Y,Cb,Cr)が通知されてもよい。

HDR_Y=(Y×r+A)×P
HDR_Cb=(Cb+db+B)×Q
HDR_Cr=(Cr+dr+C)×R
・・・(式2)
S108で判断されたY値(HDR_Y)と、S106で得られたY値(Y’)とが補正比率決定部408へ入力されると、補正比率決定部408はS109の処理を行う。Y値(Y’)は、ベース画像処理が行われた後のY値である。S109にて、補正比率決定部408は、補正比率r’(補正後の輝度比率)を、Y値(HDR_Y)とY値(Y’)とから決定する。そして、補正比率決定部408は、決定した補正比率r’を合成部5へ出力する。同様に、S108で判断されたCb値(HDR_Cb)およびCr値(HDR_Cr)と、S106で得られたCb値(Cb’)およびCr値(Cr’)とが補正差分決定部411へ入力されると、補正差分決定部411はS109の処理を行う。Cb値(Cb’)は、ベース画像処理が行われた後のCb値であり、Cr値(Cr’)は、ベース画像処理が行われた後のCr値である。S109にて、補正差分決定部411は、補正差分値db’,dr’(補正後の色差差分値)を、Cb値(HDR_Cb)、Cr値(HDR_Cr)、Cb値(Cb’)、及び、Cr値(Cr’)から決定する。そして、補正差分決定部411は、決定した補正差分値db’,dr’を合成部5へ出力する。S109
の処理の次に、S110へ処理が進められる。
Y値(HDR_Y)、Y値(Y’)、及び、補正比率r’の対応関係を式3に示す。本実施例では、式3を変形して得られる式4を用いて、補正比率r’が算出される。具体的には、Y値(HDR_Y)をY値(Y’)で除算することにより、補正比率r’が算出される。

Y’×r’=HDR_Y=(Y×r+A)×P ・・・(式3)

r’=HDR_Y/Y’
=((Y×r+A)×P)/((Y+A)×P)
=(Y×r+A)/(Y+A)
・・・(式4)
Cb値(HDR_Cb)、Cb値(Cb’)、及び、補正差分値db’の対応関係と、Cr値(HDR_Cr)、Cr値(Cr’)、及び、補正差分値dr’の対応関係とを式5に示す。本実施例では、式5を変形して得られる式6を用いて、補正差分値db’,dr’が算出される。具体的には、Cb値(HDR_Cb)からCb値(Cb’)を減算することにより補正差分値db’が算出され、Cr値(HDR_Cr)からCr値(Cr’)を減算することにより補正差分値dr’が算出される。

Cb’+db’=HDR_Cb=(Cb+db+B)×Q
Cr’+dr’=HDR_Cr=(Cr+dr+C)×R
・・・(式5)

db’=HDR_Cb−Cb’
=(Cb+db+B)×Q−(Cb+B)×Q
=db×Q
dr’=HDR_Cr−Cr’
=(Cr+dr+B)×R−(Cr+C)×R
=dr×R
・・・(式6)
S106とS109の処理の次に、S110の処理が行われる。S110にて、合成部5は、画像処理部4(ベース画像処理部4a、輝度比率処理部4b、及び、色差差分処理部4c)から出力されたデータ(ベース画像データ、輝度比率データ、及び、色差差分データ)を取得する。そして、合成部5は、取得したデータから合成画像データ(第3画像データ)を生成する。具体的には、合成部5は、S106で出力されたYCbCr値(Y’,Cb’,Cr’)、S109で出力された補正比率r’、及び、S109で出力された補正差分値db’,dr’から、合成画像データのYCbCr値を算出する。そして、合成部5は、算出したYCbCr値を合成画像データのRGB値(HDR_R,HDR_G,HDR_B)に変換する。本実施例では、以下の式7を用いて合成画像データのYCbCr値が算出される。

合成画像データのY値=Y’×r’
合成画像データのCb値=Cb’+db’
合成画像データのCr値=Cr’+dr’
・・・(式7)
式3,5,7から、合成画像データが、元画像データであるHDR画像データに所望の画像処理を施すことによって得られる画像データと略一致することがわかる(「略一致」は「完全に一致」を含む)。具体的には、合成画像データが、元画像データであるHDR画像データに所望の画像処理を施すことによって得られる画像データと完全に一致することがわかる。なお、合成画像データは、元画像データに所望の画像処理を施すことによって得られる画像データに完全に一致していなくてもよい。
その後、トーンマッピング部6により合成画像データから表示画像データが生成され、表示部7により表示画像データに基づく画像が表示される。
以上述べたように、本実施例によれば、ベース画像処理(ベース画像データを用いたデータ処理)が行われ、行われたベース画像処理に基づいて差分データが補正される。そして、ベース画像処理が行われた後のベース画像データと、補正された後の差分データとから、合成画像データが生成される。それにより、画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる。具体的には、「HDR画像データよりもデータサイズが小さいベース画像データと差分データを用いたデータ処理」、「データ処理後のデータの合成」という簡易な構成で、上記所望の画像データを高精度に得ることができる。上記具体例によれば、「8ビットのデータ処理」と「データ処理後のデータの合成」とが行うことで、32ビットのHDR画像データ(元画像データ)に所望の画像処理を施すことによって得られる画像データと略同一の画像データを得ることができる。その結果、所望の画像処理の処理負荷、回路規模、等を低減でき、表示装置(画像処理装置)の処理負荷、回路規模、消費電力、製造コスト、等を低減することができる。なお、「略同一」は「完全に同一」を含む。
なお、輝度差分データと色差分データの両方が補正される例を説明したが、輝度差分データと色差分データの一方のみが補正されてもよい。また、本実施例では、ベース画像処理のパラメータと、ベース画像処理の結果とを用いて差分データが補正される例を説明したが、ベース画像処理のパラメータと、ベース画像処理の結果との一方のみを用いて差分データが補正されてもよい。式6(「db’=db×Q」と「dr’=dr×R」)から、ゲイン値Q,Rのみを用いて色差差分データを補正できることがわかる。また、所望の画像処理は、ゲイン処理とオフセット処理の一方のみを含んでいてもよい。そして、パラメータはゲイン値とオフセット値の一方のみを含んでいてもよい。所望の画像処理は、他の画像処理を含んでいてもよい。
<実施例2>
以下、本発明の実施例2について説明する。本実施例でも、ベース画像処理として、画像データの階調値を変更する画像処理(所望の画像処理)が行われる。但し、本実施例では、ベース画像処理(所望の画像処理)として、画像データの特徴量を取得し、取得した特徴量に応じたパラメータを用いて画像データの階調値を変更する処理が行われる。具体的には、ベース画像処理として、画像データの特徴量を取得する特徴取得処理と、取得した特徴量に応じた変換特性で画像データの階調特性を変換する階調変換処理とが行われる。変換特性としてガンマカーブが使用される場合には、上記階調変換処理は「ダイナミックガンマ処理」とも言える。なお、以下では、実施例1と異なる点(構成および処理)について詳しく説明し、実施例1と同じ点についての説明は省略する。
図4は、本実施例に係る画像処理部4の構成例を示すブロック図である。図4において、実施例1(図1,2)と同じ機能部には、実施例1と同じ符号が付されている。本実施例に係るベース画像処理部4aは、色空間変換部401、座標取得部402、処理情報生
成部405、特徴量取得部601、特徴量記憶部602、及び、階調変換部603を有する。
特徴量取得部601は、ベース画像データの特徴量を取得する(特徴取得処理)。本実施例では、色空間変換部401から出力されたベース画像データ(色空間変換部401の処理が施された後のベース画像データ;各画素値がYCbCr値であるベース画像データ)が特徴量取得部601に入力される。そして、特徴量取得部601は、色空間変換部401から出力されたベース画像データの特徴量を取得し、取得した特徴量を特徴量記憶部602へ記録する。また、特徴量取得部601は、色空間変換部401から出力されたベース画像データを、階調変換部603へ出力する。特徴量記憶部602は、特徴量取得部601によって取得された特徴量を記憶する。特徴量記憶部602としては、例えば、SRAMを使用することができる。
特徴量として、例えば、画像データが有する複数の階調値の代表値(最大値、最小値、平均値、中間値、最頻値、等)、画像データが有する複数の階調値のヒストグラム、等が取得される。特徴量として、所定の画像領域(所定の物体に対応する画像領域、輝度が閾値よりも大きい画像領域、輝度が閾値よりも小さい画像領域、所定の色を有する画像領域)を示す情報、階調数、画像の動きの大きさ、等が取得されてもよい。
なお、特徴量の種類、特徴量の取得方法、等は特に限定されない。例えば、色空間変換部401の処理が施される前のベース画像データから特徴量が取得されてもよい。階調値の種類毎に特徴量が取得されてもよいし、複数種類の階調値の間で共通の特徴量が取得されてもよい。具体的には、Y値の特徴量、Cb値の特徴量、及び、Cr値の特徴量が個別に取得されてもよい。Y値の特徴量、Cb値の特徴量、Cr値の特徴量、及び、YCbCr値の特徴量のいずれか1つのみが取得されてもよい。画像領域全体に対応する特徴量が取得されてもよいし、一部の画像領域にのみ対応する特徴量が取得されてもよい。ベース画像データが動画データである場合には、フレーム毎に特徴量が取得されてもよいし、複数のフレームから、当該複数のフレームの間で共通の特徴量が取得されてもよい。全てのフレームが特徴量の取得対象として使用されてもよいし、一部のフレーム(一部のシーン)のみが特徴量の取得対象として使用されてもよい。
階調変換部603は、特徴量取得部601によって取得された特徴量を特徴量記憶部602から読み出し、読み出した特徴量に応じて変換特性を決定する。そして、階調変換部603は、決定した変換特性に従って、特徴量取得部601から出力されたベース画像データ(色空間変換部401の処理が施された後のベース画像データ)の階調特性を変換する(階調変換処理)。これにより、ベース画像処理(特徴取得処理と階調変換処理)が行われた後のベース画像データが得られる。実施例1と同様に、ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。そして、Y値(Y’)は、ベース画像処理の結果として輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は、ベース画像処理の結果として色差差分処理部4cへ出力される。
なお、変換特性の決定方法は特に限定されない。特徴量に応じた1つのガンマカーブが変換特性として決定されてもよいし、そうでなくてもよい。特徴量に応じた複数のガンマカーブが決定され、複数のガンマカーブを合成することにより1つの変換特性が決定されてもよい。例えば、第1閾値と、第1閾値以下の値である第2閾値とが予め定められており、第1閾値以上の階調値の範囲に対応するガンマカーブと、第2閾値以下の以上の階調値の範囲に対応するガンマカーブとが、特徴量に応じて決定されてもよい。そして、上記2つのガンマカーブを繋ぎ合わせることにより、1つの変換特性が決定されてもよい。第1閾値と第2閾値のそれぞれは、メーカによって予め定められた固定値であってもよいし
、ユーザが変更可能な値であってもよい。
本実施例では、処理情報生成部405は、階調変換部603で使用された変換特性を示す情報を、処理情報として生成し、生成した処理情報を輝度比率処理部4bと色差差分処理部4cへ出力する。例えば、処理情報生成部405は、階調変換部603で使用された変換特性を示す1つ以上のガンマ値を階調変換部603から取得し、取得したガンマ値を処理情報として出力する。
図5は、本実施例に係る表示装置1の処理フローの一例を示すフローチャートである。図5を用いて、本実施例に係る表示装置1の処理フローの一例を説明する。図5において、実施例1(図3)と同じ処理には、実施例1と同じ符号が付されている。
まず、実施例1と同様に、S101〜S104の処理が行われる。次に、特徴量取得部601は、S201の処理(特徴取得処理)を行う。S201では、特徴量取得部601は、S103の処理が施された後のベース画像データ(各画素値がYCbCr値へ変換された後のベース画像データ)から特徴量を取得し、取得した特徴量を特徴量記憶部602へ記録する。
そして、階調変換部603は、S202の処理(階調変換処理)を行う。S202では、階調変換部603は、S201で記録された特徴量を特徴量記憶部602から読み出し、読み出した特徴量に応じて変換特性を決定する。そして、階調変換部603は、決定した変換特性に従って、S103の処理が施された後の上記ベース画像データの階調特性を変換する。
S201とS202の処理により、ベース画像処理が行われた後のベース画像データ(階調変換処理が施された後のベース画像データ)が得られる。上述したように、ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。そして、Y値(Y’)は、ベース画像処理の結果として輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は、ベース画像処理の結果として色差差分処理部4cへ出力される。
S202の処理の次に、S110へ処理が進められる。本実施例でも、S104の処理の後且つS110の処理の前の期間に、輝度比率処理部4bと色差差分処理部4cにより、S107〜S109の処理が行われる。但し、S108では、オフセット値やゲイン値ではなく、変換特性に基づいて、Y値(HDR_Y)、Cb値(HDR_Cb)、及び、Cr値(HDR_Cr)が判断される。変換特性は、処理情報から判断される。S109の処理の次に、S110へ処理が進められる。本実施例の方法でも、処理情報(変換特性)などに基づいて差分データが補正されるため、合成画像データとして、元画像データに所望の画像処理を施すことによって得られる画像データと略同一の画像データを得ることができる。
以上述べたように、本実施例によれば、実施例1と同様に、ベース画像処理が行われ、行われたベース画像処理に基づいて差分データが補正される。そして、ベース画像処理が行われた後のベース画像データと、補正された後の差分データとから、合成画像データが生成される。それにより、画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる。上記具体例によれば、「8ビットのデータ処理」と「データ処理後のデータの合成」とを行うことで、32ビットのHDR画像データ(元画像データ)に所望の画像処理を施すことによって得られる画像データと略同一の画像データを得ることができる。そのため、所望の画像処理の処理負荷、回路規模、等を低減できる。また、上記具体例によれば、8ビットのベ
ース画像データから特徴量が取得されるため、32ビットのHDR画像データから取得される特徴量に比べデータサイズが小さい特徴量を得ることができる。そのため、特徴量を記憶する記憶部の記憶容量(回路規模)を低減することができる。それらの結果、表示装置(画像処理装置)の処理負荷、回路規模、消費電力、製造コスト、等を低減することができる。
なお、「特徴量に応じたパラメータを用いて画像データの階調値を変更する処理」は、上記階調変換処理に限られない。例えば、「特徴量に応じたパラメータを用いて画像データの階調値を変更する処理」として、「特徴量に応じたパラメータを用いて画像をぼかす処理」が行われてもよい。特徴量に応じたパラメータとして、特徴量そのものが使用されてもよい。「特徴量に応じたパラメータを用いて画像データの階調値を変更する処理」がベース画像処理に含まれていなくてもよい。ベース画像処理として、特徴取得処理のみが行われてもよい。そして、差分データの補正において、ベース画像処理の結果として特徴量が使用されてもよい。
<実施例3>
以下、本発明の実施例3について説明する。本実施例に係るベース画像処理は、画像データの階調値を変更する画像処理(所望の画像処理)の一部である。具体的には、本実施例に係る所望の画像処理は、所定の画像領域を検出し、所定の画像領域の検出結果に基づいて画像データの階調値を変更する処理である。そして、ベース画像処理は、所定の画像領域を検出する処理である。より具体的には、本実施例に係る所望の画像処理は、エッジを検出するエッジ検出処理と、検出されたエッジを強調するエッジ強調処理とを含む。そして、本実施例に係るベース画像処理は、エッジ検出処理である。なお、以下では、実施例1,と異なる点(構成および処理)について詳しく説明し、実施例1,2と同じ点についての説明は省略する。
図6は、本実施例に係る画像処理部4の構成例を示すブロック図である。図6において、実施例1(図1,2)と同じ機能部には、実施例1と同じ符号が付されている。本実施例に係るベース画像処理部4aは、色空間変換部401、座標取得部402、処理情報生成部405、及び、エッジ処理部800を有する。
エッジ処理部800は、ベース画像データからエッジを検出するエッジ検出処理を行う。本実施例では、色空間変換部401から出力されたベース画像データ(色空間変換部401の処理が施された後のベース画像データ;各画素値がYCbCr値であるベース画像データ)がエッジ処理部800に入力される。そして、エッジ処理部800は、色空間変換部401から出力されたベース画像データを用いて、エッジ検出処理を行う。なお、色空間変換部401の処理が施された後のベース画像データではなく、色空間変換部401の処理が施される前のベース画像データを用いて、エッジ検出処理が行われてもよい。
エッジ処理部800により、ベース画像処理(エッジ検出処理)が行われた後のベース画像データが得られる。実施例1と同様に、ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。そして、Y値(Y’)は輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は色差差分処理部4cへ出力される。本実施例のベース画像処理(エッジ検出処理)では、ベース画像データの階調値(Y値、Cd値、及び、Cr値)は変更されない。そのため、Y値(Y’)は、色空間変換部401の出力値であるY値(Y)と等しく、Cb値(Cb’)は、色空間変換部401の出力値であるCb値(Cb)と等しく、Cr値(Cr’)は、色空間変換部401の出力値であるCr値(Cr)と等しい。
エッジ処理部800の構成は特に限定されないが、本実施例では、エッジ処理部800
は、ブロックバッファ800a、フィルタ800b、及び、テーブル800cを有する。ブロックバッファ800aは、画像データを一時的に記憶するバッファである。エッジ処理部800は、ベース画像処理(エッジ検出処理)で使用される画像データ(一部の画像領域に対応するベース画像データ)を、ブロックバッファ800aに記録する(バッファリング処理)。フィルタ800bは、エッジ検出処理のためのフィルタである。エッジ処理部800は、ブロックバッファ800aが記憶している画像データに対して、フィルタ800bを用いたフィルタリング処理を施すことにより、当該画像データからエッジを検出する。本実施例では、エッジ強調処理として、エッジのY値を変更する処理が想定されている。具体的には、エッジ強調処理として、エッジのY値にゲイン値(≠1)を乗算する処理が想定されている。テーブル800cは、エッジの検出結果と、エッジ強調処理のゲイン値との対応関係を示すテーブルである。エッジ処理部800は、エッジの検出結果(得られた検出結果)に応じたゲイン値をテーブル800cから取得する。
なお、エッジ強調処理は、エッジのY値にゲイン値(≠1)を乗算する処理に限られない。例えば、エッジ強調処理では、オフセット値を加算する処理などの他の処理によって、エッジのY値が変更されてもよい。エッジ強調処理では、エッジにおける他の種類の階調値(Cb値、Cr値、等)が変更されてもよい。エッジとは異なる画像領域の階調値が変更されてもよい。
上述したように、本実施例では、エッジ強調処理は、Y値のみを変更し、且つ、Cb値とCr値を変更しない処理である。そこで、本実施例では、処理情報生成部405は、エッジの検出結果とエッジ強調処理のゲイン値とを示す情報を、処理情報として、輝度比率処理部4bへ出力する。そして、処理情報生成部405は、色差差分データを変更しないことを示す情報を、処理情報として、色差差分処理部4cへ出力する。具体的には、エッジの検出結果とエッジ強調処理のゲイン値とを示す処理情報が、HDR−Y値判断部407と補正比率決定部408へ出力される。そして、色差差分データを変更しないことを示す処理情報が、HDR−Cb・Cr値判断部410と補正差分決定部411へ出力される。その結果、輝度比率処理部4bでは、輝度比率データが補正されて出力され、色差差分処理部4cでは、色差差分データが変更されずに出力される。なお、本実施例において、ベース画像処理はエッジ検出処理であるため、「エッジの検出結果」は「ベース画像処理の結果」である。
図7は、本実施例に係る表示装置1の処理フローの一例を示すフローチャートである。図7を用いて、本実施例に係る表示装置1の処理フローの一例を説明する。図7において、実施例1(図3)と同じ処理には、実施例1と同じ符号が付されている。
まず、実施例1と同様に、S101〜S104の処理が行われる。次に、エッジ処理部800は、S301の処理を行う。S301では、エッジ処理部800は、S103の処理が施された後のベース画像データ(各画素値がYCbCr値へ変換された後のベース画像データ)を用いて、エッジ検出処理を行う。
S301の処理により、ベース画像処理が行われた後のベース画像データ(エッジ強調処理が施された後のベース画像データ)が得られる。上述したように、ベース画像処理が行われた後のベース画像データの画素値であるYCbCr値(Y’,Cb’,Cr’)は、合成部5へ出力される。そして、Y値(Y’)は、ベース画像処理の結果として輝度比率処理部4bへ出力され、Cb値(Cb’)とCr値(Cr’)は、ベース画像処理の結果として色差差分処理部4cへ出力される。本実施例では、YCbCr値(Y’,Cb’,Cr’)は、ベース画像処理が行われる前のベース画像データの画素値であるYCbCr値(Y,Cb,Cr)と等しい。
S301の処理の次に、S110へ処理が進められる。本実施例でも、S104の処理の後且つS110の処理の前の期間に、輝度比率処理部4bと色差差分処理部4cにより、S107〜S109の処理が行われる。S109の処理の次に、S110へ処理が進められる。
但し、輝度比率処理部4b(HDR−Y値判断部407)は、S108にて、オフセット値、ゲイン値、変換特性、等ではなく、エッジの検出結果とエッジ強調処理のゲイン値とに基づいて、Y値(HDR_Y)を判断する。例えば、元画像データのY値(Y×r)にエッジ強調処理のゲイン値を乗算することにより、Y値(HDR_Y)が算出される。エッジのゲイン値として1とは異なる値を使用し、且つ、エッジとは異なる画像領域のゲイン値として1を使用することにより、エッジとは異なる画像領域のY値は元画像データのY値から変更されず、エッジのY値のみが元画像データのY値から変更される。エッジとは異なる画像領域については、元画像データのY値にゲイン値を乗算する処理は省略されてもよい。エッジの検出結果とエッジ強調処理のゲイン値とは、エッジの検出結果とエッジ強調処理のゲイン値とを示す処理情報から判断される。
また、色差差分処理部4cは、S108の処理(Cb値(HDR_Cb)とCr値(HDR_Cr)の判断)を省略し、S107とS109の処理を行う。HDR−Cb・Cr値判断部410は、色差差分データを変更しないことを示す処理情報から、S108の処理の省略を決定する。そして、HDR−Cb・Cr値判断部410は、色差差分値db,drを補正差分決定部411へ出力する。色差差分データを変更しないことを示す処理情報と、色差差分値db,drとが補正差分決定部411へ入力されると、補正差分決定部411は、S109にて、色差差分値db,drを補正差分値db’,dr’として決定する処理を行う。
本実施例の方法でも、処理情報(エッジの検出結果とエッジ強調処理のゲイン値)などに基づいて差分データ(輝度比率データ)が補正される。そのため、合成画像データとして、元画像データに所望の画像処理を施すことによって得られる画像データと略同一の画像データを得ることができる。
以上述べたように、本実施例によれば、ベース画像処理として所望の画像処理の一部が行われる構成において、実施例1と同様に、行われたベース画像処理に基づいて差分データが補正される。そして、ベース画像処理が行われた後のベース画像データと、補正された後の差分データとから、合成画像データが生成される。それにより、画像処理が施された後のHDR画像データに対応する画像データとして、所望の画像データを、簡易な構成で且つ高精度に得ることができる。上記具体例によれば、「8ビットのデータ処理」と「データ処理後のデータの合成」とを行うことで、32ビットのHDR画像データ(元画像データ)に所望の画像処理を施すことによって得られる画像データと略同一の画像データを得ることができる。そのため、所望の画像処理の処理負荷、回路規模、等を低減できる。例えば、フィルタリング処理に使用されるフィルタのデータサイズ、バッファリング処理に使用されるブロックバッファの記憶容量、等を低減することができる。その結果、表示装置(画像処理装置)の処理負荷、消費電力、製造コスト、等を低減することができる。
なお、所定の画像領域はエッジに限られない。例えば、所定の画像領域は、山、人物、自動車、建物、等の所定の物体に対応する画像領域であってもよい。ベース画像処理は、所定の画像領域の検出結果に基づいて階調値を変更する処理を含んでもよい。その場合には、「所定の画像領域(エッジ)の検出結果」は「ベース画像処理で使用されたパラメータ」とも言える。「所定の画像領域の検出結果に基づいて階調値を変更する処理」はエッジ強調処理に限られない。例えば、「所定の画像領域の検出結果に基づいて階調値を変更
する処理」は「所定の画像領域をぼかす処理」であってもよい。エッジ強調処理のゲイン値は処理情報に含まれていなくてもよい。エッジのゲイン値が所定の固定値である場合には、エッジの検出結果(ベース画像処理の結果)のみを用いて輝度比率データを補正することができる。
なお、実施例1〜3はあくまで一例であり、本発明の要旨の範囲内で実施例1〜3の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜3の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:表示装置 2:レシーバ 3:デコード部 4:画像処理部
4a:ベース画像処理部 4b:輝度比率処理部 4c:色差差分処理部
5:合成部

Claims (15)

  1. 第1画像データ、及び、前記第1画像データと、前記第1画像データよりもデータサイズが大きい第2画像データとの差分に関する差分データを取得する取得手段と、
    前記第1画像データを用いてデータ処理を行う処理手段と、
    前記データ処理に基づいて前記差分データを補正する補正手段と、
    前記データ処理が行われた後の第1画像データと、補正された後の差分データとから、第3画像データを生成する生成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第3画像データは、前記第2画像データと同じデータフォーマットを有する画像データである
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記データ処理は、画像データの階調値を変更する画像処理の少なくとも一部であり、
    前記第3画像データは、前記第2画像データに前記画像処理を施すことによって得られる画像データと略一致する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記第1画像データのビット数は、第1ビット数であり、
    前記第2画像データのビット数と、前記第3画像データのビット数とは、前記第1ビット数よりも多い第2ビット数である
    ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記第2画像データは、前記第1画像データの輝度域と色域の少なくとも一方を拡大した画像データである
    ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記差分データは、前記第1画像データの輝度と前記第2画像データの輝度との差分に関する輝度差分データ、及び、前記第1画像データの色と前記第2画像データの色との差分に関する色差分データの少なくとも一方を含み、
    前記補正手段は、前記輝度差分データと前記色差分データの少なくとも一方を補正することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記補正手段は、前記データ処理で使用されたパラメータと、前記データ処理の結果との少なくとも一方を用いて前記差分データを補正する
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記データ処理は、設定されたゲイン値を画像データの階調値に乗算する処理と、設定されたオフセット値を画像データの階調値に加算する処理との少なくとも一方を含み、
    前記補正手段は、前記ゲイン値と前記オフセット値の少なくとも一方を用いて前記差分データを補正する
    ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記データ処理は、画像データの特徴量を取得する処理を含み、
    前記補正手段は、前記特徴量を少なくとも用いて前記差分データを補正する
    ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 前記データ処理は、画像データの特徴量を取得し、取得した特徴量に応じたパラメータを用いて画像データの階調値を変更する処理を含み、
    前記補正手段は、前記特徴量に応じた前記パラメータを少なくとも用いて前記差分データを補正する
    ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
  11. 前記データ処理は、所定の画像領域を検出する処理を含み、
    前記補正手段は、前記所定の画像領域の検出結果を少なくとも用いて前記差分データを補正する
    ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
  12. 前記第3画像データを、表示部に対応するデータフォーマットを有し、且つ、前記第3画像データよりもデータサイズが小さい第4画像データへ変換する変換手段、をさらに有する
    ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理装置。
  13. 前記データ処理は、画像データの階調値を変更する画像処理の少なくとも一部であり、
    前記取得手段によって、前記第1画像データと前記差分データが取得されずに、第5画像データが取得された場合に、
    前記変換手段は、前記第5画像データを、前記表示部に対応する前記データフォーマットを有し、且つ、前記第5画像データよりもデータサイズが小さい第6画像データへ変換し、
    前記処理手段は、前記第6画像データに前記画像処理を施し、
    前記補正手段と前記生成手段とは処理を省略する
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 第1画像データ、及び、前記第1画像データと、前記第1画像データよりもデータサイズが大きい第2画像データとの差分に関する差分データを取得するステップと、
    前記第1画像データを用いてデータ処理を行うステップと、
    前記データ処理に基づいて前記差分データを補正するステップと、
    前記データ処理が行われた後の第1画像データと、補正された後の差分データとから、第3画像データを生成するステップと、
    を有することを特徴とする画像処理方法。
  15. 請求項14に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
JP2016100063A 2016-05-19 2016-05-19 画像処理装置 Pending JP2017208719A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016100063A JP2017208719A (ja) 2016-05-19 2016-05-19 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100063A JP2017208719A (ja) 2016-05-19 2016-05-19 画像処理装置

Publications (1)

Publication Number Publication Date
JP2017208719A true JP2017208719A (ja) 2017-11-24

Family

ID=60416599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100063A Pending JP2017208719A (ja) 2016-05-19 2016-05-19 画像処理装置

Country Status (1)

Country Link
JP (1) JP2017208719A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038505A (ja) * 2018-09-04 2020-03-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038505A (ja) * 2018-09-04 2020-03-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7227719B2 (ja) 2018-09-04 2023-02-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP6443857B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4214457B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US8582923B2 (en) Image processing apparatus, image processsing method, and program
CN102196175A (zh) 图像处理设备和方法以及程序
JP2008263475A (ja) 画像処理装置および方法、並びに、プログラム
JP4523008B2 (ja) 画像処理装置および撮像装置
JP2008282155A (ja) 画像補正装置
JPWO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2017208719A (ja) 画像処理装置
JP2019096049A (ja) 画像生成装置及び方法
JP2018133043A (ja) 画像処理装置および画像処理方法
JP2007180851A (ja) Raw画像の階調変換装置、プログラム、方法、および電子カメラ
JP5624896B2 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP2009267671A (ja) 画像処理装置
JP5846885B2 (ja) 画像処理装置及び画像処理方法
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2009201027A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP5111310B2 (ja) 画像処理方法及び画像処理装置
JP2022129860A (ja) 画像処理装置、画像処理方法及びプログラム
JPH10173958A (ja) 映像信号処理装置
JP2016009981A (ja) 画像表示装置、画像表示装置の制御方法、及び、プログラム
JP2011199787A (ja) 画像処理装置及び画像処理方法
JP2016045392A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6318497B2 (ja) 画像処理装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116