JP4982399B2 - 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置に関する。

デジタルカメラで撮影される画像は、カメラ内の露出制御部により、被写体輝度を検出し、検出された輝度に応じて、シャッタースピード、絞り等の露出に関連するパラメータを調整することで、所定の階調表現となるように記録される。

しかしながら、すべての画像が撮影者の意図どおりの階調表現になっているとは限らない。例えば、何らかの原因で露出制御に誤差が生じた場合などにおいては、撮影後の画像に対して表現された階調を補正したいという場合がある。

例えば特許文献１、特許文献２、特許文献３には、各種の階調補正方法が提案されており、近年のデジタルカメラでは、撮影後の画像補正(ここでは階調補正)機能が搭載されているものがある。

この種のデジタルカメラでは、使用者は、自分の好みや撮影意図に合わせて、補正結果を確認しながら、画像の階調を手動補正することが可能となっている。

また、同様の機能を、トーンカーブを用いて、ＰＣ（パーソナルコンピュータ：以後ＰＣと称する）のアプリケーションソフトとして実施する技術も既に知られている。ここで、トーンカーブとは、横軸を入力画像情報、縦軸を出力画像情報とした場合の入出力変換特性（関数）のことである。すなわち、トーンカーブは、それぞれの入力画像の輝度値を対応した出力画像の輝度値に変換する関数として定義されている。このように、トーンカーブを適用して、入力画像に対する出力画像を得る（あるいは所定の補正を行う）ことを、一般的に、トーンマッピング（トーンマップ処理）と呼んでいる。

従来では、ＰＣにて、トーンカーブをＰＣの画面に表示し、トーンカーブを画面全体の階調表現が最適となるようにシフトさせて補正する方式（トーンカーブ全体をシフトする方式）や、画像を種々の条件により領域分割し、領域毎にトーンカーブを求めて、それぞれを領域ごとに最適な階調となるように補正し、領域毎の階調補正後の画像を合成して、１つの画像とする階調補正方法などが知られている。

前者の場合は、１本のトーンカーブを全体シフトさせて補正するため、補正できる範囲が狭いという問題がある。例えば、暗部を表現できる階調内に入るように明るく補正すれば明部の階調が無くなる（いわゆる白飛びする）ため、結果的には暗部と明部のどちらをどのくらい表現できる階調内に入れるかというだけのバランス調整に留まってしまう。

一方、後者は、画面領域を分割し、それぞれの領域毎に最適なトーンカーブを作成して、領域毎の画像データをそれぞれ補正し、補正された分割領域画像を合成して１枚の画像を得るという手順になるため、補正範囲は広いものの、特にスペースや消費電力の厳しいデジタルカメラの内部でこの処理を実施する場合、専用の演算用ＩＣや超高性能のＣＰＵ等が必要となり、コストアップが避けられなかったり、消費電力オーバーとなる可能性が高い。また通常のデジタルカメラ用制御ＣＰＵにてこれらの演算を行うと、演算時間（補正に要する時間）が著しく長くなり、非常に使い勝手が悪くなるという問題がある。
特開２００６−１２８９８６号公報 特開２００５−１３０４８４号公報 特許第３９９２１７７号公報

本発明は、ＣＰＵの演算負荷が小さく、しかも、画像に対する補正範囲が広く、画像毎に最適な補正を行うことが可能な画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置を提供することを目的としている。

上記目的を達成するために、請求項１記載の発明は、輝度情報を有する画像データの輝度に関するヒストグラムを算出する輝度ヒストグラム算出手段と、
輝度ヒストグラム算出手段によって算出された輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成手段と、
トーンカーブ生成手段によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段とを有し、
前記トーンカーブ生成手段は、初期のトーンカーブが予め与えられているときに、輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値としたときのトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に、前記初期のトーンカーブを補正した後、
前記平均輝度ポイントを境にして輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置である。

また、請求項２記載の発明は、請求項１記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項３記載の発明は、請求項２記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項４記載の発明は、請求項２記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項５記載の発明は、請求項２記載の画像処理装置において、
前記トーンカーブ生成手段は、
ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴としている。

また、請求項６記載の発明は、請求項１乃至請求項５のいずれか一項に記載の画像処理装置において、前記トーンカーブ生成手段によって生成されたトーンカーブにおいて、トーンジャンプを抑制するため、トーンカーブの形状を保持したまま、トーンカーブの出力輝度値を圧縮するトーンカーブ圧縮手段をさらに備えていることを特徴としている。

また、請求項７記載の発明は、請求項１乃至請求項６のいずれか一項に記載の画像処理装置において、得られたトーンカーブをさらに画像データの輝度ヒストグラムの輝度軸中心値に近いほど傾きが少なくなる様に補正するトーンカーブ追加補正手段をさらに備えていることを特徴としている。

また、請求項８記載の発明は、請求項１乃至請求項７のいずれか一項に記載の画像処理装置において、輝度ヒストグラム算出手段は、入力画像データの輝度ヒストグラムを算出する際、入力画像データの縮小画像を用いることを特徴としている。

また、請求項９記載の発明は、輝度情報を有する画像データの輝度に関するヒストグラムを算出する輝度ヒストグラム算出工程と、
輝度ヒストグラム算出工程によって算出された輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成工程と、
トーンカーブ生成工程によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正工程とを有し、
前記トーンカーブ生成工程では、初期のトーンカーブが予め与えられているときに、輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値としたときのトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に、前記初期のトーンカーブを補正した後、
前記平均輝度ポイントを境にして輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法である。

また、請求項１０記載の発明は、請求項９記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項１１記載の発明は、請求項１０記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１２記載の発明は、請求項１０記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、
整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１３記載の発明は、請求項１０記載の画像処理方法において、
前記トーンカーブ生成工程では、
ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１４記載の発明は、請求項９乃至請求項１３のいずれか一項に記載の画像処理方法における処理をコンピュータに実現させるための画像処理プログラムである。

また、請求項１５記載の発明は、請求項１乃至請求項８のいずれか一項に記載の画像処理装置を用いたことを特徴とする撮像装置である。

請求項１乃至請求項１５記載の発明によれば、１本のトーンカーブを画像データ（画像データの輝度ヒストグラム）に応じて部分的に補正して階調補正に使用するので、ＣＰＵの演算負荷が小さく、しかも、画像に対する補正範囲が広く、画像毎に最適な補正を行うことができる。

以下、本発明を実施するための最良の形態を図面に基づいて説明する。本発明は、画像データの階調補正機能を有するデジタルカメラなどの撮像装置に適用される画像処理に関するものである。なお、以下では、説明の便宜上、本発明をデジタルカメラに適用するとして説明する。すなわち、撮像装置がデジタルカメラであるとして説明する。

本発明は、トーンカーブを用いて階調補正を行なう場合の前述した従来の問題を解決するものであり、１本のトーンカーブを画像データに応じて補正し、これにより、画像データ中の暗部と明部を同時に表現可能な階調範囲に入ってくる方向に画像データを補正し、なおかつ違和感のない最適な補正を画像データに対して行うことの可能な画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置を提供するものである。

本発明では、１本のトーンカーブを画像データに応じて部分的に補正して階調補正に使用するので、ＣＰＵの演算負荷が小さく、しかも１本のトーンカーブ全体をシフトする方式に比べて、画像データに対する補正範囲が広く、画像毎に最適な補正を行うことができる。

従って、本発明は、画像データの階調補正機能を有するデジタルカメラなどの撮像装置への適用に特に適している。なお、以下では、説明の便宜上、本発明をデジタルカメラに適用するとして説明する。すなわち、撮像装置がデジタルカメラであるとして説明する。

図１は本発明の画像処理が適用される撮像装置としてのデジタルカメラのハードウェア構成例を示す図である。

図１を参照すると、このデジタルカメラは、制御装置（CPU）１と、記憶装置２と、撮像素子３と、フォーカスレンズ駆動装置４と、シャッタ駆動装置５と、表示装置６と、測光センサ７と、メニューＳＷ８と、第１レリーズSW(RL1SW)９と、第２レリーズSW(RL2SW)１０と、撮像モードＳＷ１１とを有している。

ここで、制御装置（CPU）１は、カメラの動作を制御する制御機能を有しており、内部には各種判断、演算を行うための演算機能、時間をカウントするための時間カウント（タイマ）機能、各種設定値を記憶しておく揮発性または不揮発性のメモリ領域などを含んでいる。なお、制御装置１の構成は、ワンチップＣＰＵ構成でなくてもよく、画像処理チップなどと統合された構成でも、複数ＣＰＵや、外付けメモリなどを含む制御ユニットを構成してもよい。この制御装置１では、制御装置１内の演算機能や記憶機能などを用いて、後述のような、輝度ヒストグラム算出演算や、トーンカーブ算出演算、トーンカーブを用いた画像補正演算などの各種演算、制御を行なっている。

また、測光センサ７は、被写体の明るさに対応する情報を検出するセンサであり、制御装置１からのコントロールにより駆動され、撮像範囲内の指定領域または複数領域における被写体の明るさに対応する電気信号を検知し制御装置１に入力するようになっている。なお、専用の測光センサを設けずに、撮像素子３による撮像データの輝度情報を用いて、明るさを検知する構成としてもよい。

また、第１レリーズSW(RL1SW)９は、撮像を行うためのレリーズSWの１段目の押下(半押し)によりON信号を出力するSWである。また、第２レリーズSW(RL2SW)１０は、レリーズSWの２段目までの押下(全押し、押し込み)によりON信号を出力するSWである。なお、図１の例では、第１レリーズSW(RL1SW)９と第２レリーズSW(RL2SW)１０とは、別々のSWとして示されているが、通常のハードウェア構成では、第１レリーズSW(RL1SW)９と第２レリーズSW(RL2SW)１０とは、同一部品で構成され、操作（押し方の深さ）の違いで前記のような信号を出力するSWである。

また、フォーカスレンズ駆動装置４、シャッタ駆動装置５は、撮像のためのピント合わせ（フォーカス駆動）動作、光量制御（シャッタ駆動）動作をそれぞれ行う為の装置である。このうち、フォーカスレンズ駆動装置４は、撮像素子３により撮像された撮像データの高周波成分を抽出し、合焦判定のための材料となるいわゆる合焦評価値（ＡＦ評価値と呼ばれることもある）を取得しながらフォーカスレンズの調節範囲内（通常の撮影モードの場合はその撮影モードにおける最短撮影距離〜無限遠までのフォーカスレンズ位置まで）をスキャンすることで、合焦（ジャストピント）となるフォーカスレンズ位置を探す役割も備えている。また、シャッタ駆動装置５は、撮像素子３への光の透過量をコントロールする機構であり、撮像素子３を用いた電気的な光量調節機構であるいわゆる電子シャッタ単独による構成、電子シャッタとメカ的に開閉するシャッタ（シャッタと絞りを兼用するシャッタ機構の場合や絞りとシャッタが別々となる構成がある）との併合構成や、メカシャッタ単独による構成などの中から、適正な構成を選択することができる。

また、表示装置６は、撮影前の被写体観察動作としてのモニタリング（スルー画とも呼ばれる）表示及び、撮影済み画像の再生表示、撮影条件や撮像モード、処理設定の選択や強度選択等の事前設定のためのメニュー表示・各種情報・検出データ表示などを行う為の液晶、有機ＥＬ、ＬＥＤなどを用いた表示装置である。

また、記憶装置２は、撮影済みの画像データを所定保存形式に変換後、記憶保存するための記録装置であり、内蔵フラッシュメモリや、メモリカード、ハードディスク等の記録用媒体である。

また、撮像素子３は、撮影光学系を介して入射した被写体像を電気信号に変換し、制御装置１に入力するための素子であり、ＣＣＤ、ＣＭＯＳ撮像素子などで構成されている。特に図示しないが、撮像光学系（レンズ）はカメラである以上当然備えており、単焦点レンズ、多焦点レンズ、ズームレンズ等を備えている。

また、撮像モードＳＷ１１は、撮像モードや、画像補正処理などの選択、実施を設定するためのＳＷであり、単独で選択可能な（複数回押すことで選択・実施を設定する）構成でもよいし、メニュー表示との組み合わせにて選択・実施を設定する構成としてもよい。

また、メニューＳＷ８は、メニュー表示、通常表示の切り替えを設定するためのＳＷであり、メニュー表示後は、前後左右ＳＷ（図示せず）や決定ＳＷ（図示せず）などを用いて、各種設定や、処理の度合い等の選択、実施を行わせ、設定後に通常状態に復帰させるＳＷである。

なお、本発明とは直接関係がなく、デジタルカメラの一般的機能で説明の必要が無いと思われる電源ＳＷや、メニュー選択・決定の為の上下左右ＳＷ、撮像範囲（撮像倍率）設定（ズームレンズ搭載時のズーム動作）を行うためのズームＳＷなどは、図示及び説明を省略する。

図２は本発明の画像処理装置の構成例を示す図である。図２を参照すると、本発明の画像処理装置は、画像データが入力する時、入力画像データのサイズを変換する画像サイズ変換手段２１と、画像サイズ変換手段２１によってサイズが変換された画像データの輝度に関するヒストグラムを算出する輝度ヒストグラム算出手段２２と、輝度ヒストグラム算出手段２２によって算出された輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成手段２３と、トーンカーブ生成手段２３によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段（トーンマップ処理手段）２４とを有している。

なお、画像サイズ変換手段２１は、入力画像データが十分に小さなサイズのものとなっている場合には、これを機能させずに、入力画像データを輝度ヒストグラム算出手段２２に直接与えることもできる。すなわち、この場合、画像サイズ変換手段２１は必要ではなく、輝度ヒストグラム算出手段２２は、直接に入力画像データの輝度に関するヒストグラムを算出することができる。

しかし、実際には入力画像データ（撮像された画像データ）は大サイズのものであり、輝度ヒストグラムを求める際の演算量を減らし、全体の処理をさらに高速化するため、（大サイズの）入力画像そのものの輝度データではなく、画像サイズ変換手段２１によって入力画像データのサイズを縮小して、表示装置用モニタリング（スルー）画像などの縮小画像の輝度ヒストグラムを用いることが一般的である。縮小画像を用いても入力画像の輝度ヒストグラム傾向は同じであるため、求められる（本発明により補正済みの）トーンカーブに大きな違いはなく、トーンマッピング（トーンカーブを用いた画像変換・補正実施）の際にも補正済みトーンカーブに、元のサイズ（大きいサイズ）の画像を入力し出力画像に変換出力するので画質の劣化はなく、トータルでの高速化の効果の方が大きい。

画像処理装置が図２の構成となっている場合のデジタルカメラの処理動作について、図３のフローチャートを用いて説明する。

いま、カメラの電源が入れられレリーズ釦が押されると、カメラは、測光、ＡＦスキャン動作によるフォーカス処理などの後、シャッタ処理により撮影を開始する。

撮影時、撮像素子３で撮像され、制御装置１に入力された画像データは、各種処理が行なわれる。このとき、メニュー釦などにより階調補正処理が撮影者によって選択されたか否かを判断する（ステップＳ１）。

階調補正処理が選択されていないときには、画像データに対し、予め設定されているトーンカーブによりトーンマップ処理が行なわれて（ステップＳ５）、所定処理の後、記憶装置２に保存され、撮影動作が終了する。

ここで、再生釦が押されると、撮影されて保存された画像データが、表示装置６に表示される。このとき、再生された画像の階調表現が、撮影者の意図に反しているものとする。この場合、ステップＳ１で、メニュー釦などにより撮影者によって階調補正処理が選択されると、ステップＳ２〜Ｓ５の処理がなされる。

すなわち、入力画像データは、入力された画像サイズが大きい場合には、画像サイズ変換手段２１によって、トーンカーブ生成手段２４における最終的に必要な精度に合わせて、入力画像データのサイズが変換される（ステップＳ２）。。

次いで、画像サイズ変換手段２１によって画像サイズ変換された最適な画像サイズの画像から、輝度ヒストグラム算出手段２２によって図４に示すような輝度ヒストグラムが算出される（ステップＳ３）。このとき、上述したように、最適な画像サイズへの変換により、輝度ヒストグラム算出手段２２の処理が簡略化され、処理時間が短くなる

そして、トーンカーブ生成手段２３は、輝度ヒストグラム算出手段２２によって算出された輝度ヒストグラムに基づいて、トーンカーブを生成する（ステップＳ４）。

そして、トーンカーブ生成手段２３によって生成されたトーンカーブによりトーンマップ処理が行なわれて（ステップＳ５）、所定処理の後、記憶装置２に保存される。

ところで、本発明では、トーンカーブ生成手段２３は、画像データ毎の輝度ヒストグラムを使用して、最適なトーンカーブを生成するようになっている。具体的には、トーンカーブ生成手段２３は、輝度ヒストグラムから得られる輝度の平均値を利用して、最適なトーンカーブを生成するようになっている。すなわち、トーンカーブ生成手段２３は、輝度平均値を入力とした時のトーンカーブ上の対応する出力値を最適な階調出力範囲へ設定させるように補正前のトーンカーブを補正して新たなトーンカーブとして生成するようになっており、このようにして生成された新たなトーンカーブを用いて画像（階調）補正を行うことによって、画像毎に最適な階調補正を行うことができる。

以下、本発明のトーンカーブ生成手段２３について詳述する。

本発明の第１の形態では、トーンカーブ生成手段２３は、初期のトーンカーブが予め与えられているときに、輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図４、図５は、本発明の第１の形態におけるトーンカーブ生成手段２３の処理動作を説明するための図である。なお、図４は画像データの輝度ヒストグラムの例を示しており、図５は画像データの輝度ヒストグラムが図４である場合における新たなトーンカーブの生成処理を説明するための図である。

初期のトーンカーブは、図５に符号３１で示すように予め与えられているとする。また、図４の輝度ヒストグラムから算出した画像データの平均輝度ポイントが、図５において符号Ａ０で示すものであるとするとき、トーンカーブ生成手段２３は、図５に示すように、図４の輝度ヒストグラムから算出した画像データの平均輝度ポイントＡ０を入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブ３１の出力値変域幅（出力輝度値変域幅）ｙ０の中央値Ｈ０となる様に前記初期のトーンカーブ３１を補正して、新たなトーンカーブ３２を生成する。

すなわち、画像データの輝度ヒストグラムが図４に示した例の様な場合は、全体的に暗い画像であり、輝度ヒストグラムが暗部（左）側に寄っていることがわかる。一般的に階調表現の補正をしたい画像の場合は、図４に示した例の様に輝度の平均値が撮影者の意図した輝度ヒストグラム上の領域（多くは中央部）になく、偏っている場合が多い。

図５の例では、輝度ヒストグラムから求めた画面全体の輝度の平均値ポイントＡ０をトーンカーブ３１上の入力位置とした時のトーンカーブ３１上の対応するポイントをトーンカーブ３１の出力値変域幅（出力輝度値変域幅）ｙ０の中央値Ｈ０に持ってくる操作により、２つの折れ線（トーンカーブ）３３，３４からなる新たなトーンカーブ３２が生成される。ここで、初期のトーンカーブ３１は、入出力特性がリニアな基本トーンカーブであり、画面全体の輝度平均を入力ポイントとした場合の補正配置点がＰ１となることで、２つの折れ線（トーンカーブ）３３，３４からなる新たなトーンカーブ３２が生成される。

上記のように生成された新たなトーンカーブ３２を適用して画像を補正すると、輝度ヒストグラムは、図６のようになる。補正前の輝度ヒストグラムである図４と比較すると、輝度ヒストグラム全体の形状が明るい方向に移動していることがわかる。よって、暗い画像が階調表現領域の中央に寄るように明るく補正されたことになる。

また、本発明の第２の形態では、トーンカーブ生成手段２３は、上述した第１の形態のように輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値としたときのトーンカーブ上の対応出力値が初期のトーンカーブの出力値変域幅の中央値となる様に、初期のトーンカーブを補正した後、
前記平均輝度ポイントを境にして輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）に分割するとともに、前記平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域（入力輝度領域）に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域（入力輝度領域）における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域（入力輝度領域）における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域（各入力輝度領域）に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図７、図８は、本発明の第２の形態におけるトーンカーブ生成手段２３の処理動作を説明するための図である。なお、図７は図５の新たなトーンカーブ３２を示しており、図８は図５の新たなトーンカーブ３２をさらに補正して新たなトーンカーブ３５を生成する処理を説明するための図である。

図７、図８を参照すると、本発明の第２の形態では、図４の輝度ヒストグラムから算出した画像データの平均輝度ポイントＡ０を境にして図４の輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）ｘ１，ｘ２に分割するとともに、前記平均輝度ポイントＡ０および前記出力値変域幅ｙ０の中央値Ｈ０を境にして、前記補正されたトーンカーブ３２を前記２つの輝度領域（入力輝度領域）ｘ１，ｘ２に対応した２つのトーンカーブ３３，３４に分割し、
分割されたそれぞれの輝度領域（入力輝度領域）ｘ１，ｘ２における輝度ヒストグラムの平均輝度ポイントＡ１，Ａ２を算出し、それぞれの輝度領域（入力輝度領域）ｘ１，ｘ２における輝度ヒストグラムの平均輝度ポイントＡ１，Ａ２を入力値としたときの、各輝度領域（各入力輝度領域）ｘ１，ｘ２に対応するそれぞれのトーンカーブ３３，３４上の対応出力値が、それぞれのトーンカーブ３３，３４の出力値変域幅ｙ１，ｙ２の中央値Ｈ１，Ｈ２となる様に、それぞれのトーンカーブ３３，３４を補正して、新たなトーンカーブ３５を生成する。

すなわち、本発明の第２の形態では、第１の形態で説明した処理を行った後に、さらに輝度ヒストグラムから算出した画像データの輝度の平均値Ａ０を境界値として、図７の様に画像データを暗部の領域ｘ１と明部の領域ｘ２に分割する。さらに、分割された各領域（各入力輝度領域）ｘ１，ｘ２において、領域（入力輝度領域）ｘ１，ｘ２毎の輝度ヒストグラムを求め、領域（入力輝度領域）ｘ１，ｘ２毎の輝度の平均値Ａ１，Ａ２を算出する。そして、得られた領域（入力輝度領域）ｘ１，ｘ２毎の輝度平均値ポイントＡ１，Ａ２を、領域（入力輝度領域）ｘ１，ｘ２毎のトーンカーブ３３，３４の入力ポイントとし、トーンカーブ３３，３４上の対応する出力ポイントを、出力値変域幅（出力輝度値変域幅）ｙ１，ｙ２の中央値Ｈ１，Ｈ２に配置する様に、領域（入力輝度領域）ｘ１，ｘ２毎のトーンカーブ３３，３４をそれぞれ図８に示す様なトーンカーブ３５（３６，３７，３８，３９）に補正する。

本発明の第２の形態では、基本トーンカーブ３１（屈折点がなく入出力変換しない１：１の直線）に比べると、暗部においても、明部においても画像を明るく階調表現するようなトーンカーブ３５が算出される結果となっている。すなわち、輝度により領域を分割しそれぞれを直線で結んだトーンカーブと比較すると、暗部においては、画像を明るく表現しすぎた行き過ぎを抑制し、明部においては、出力階調に余裕があるためさらに明るく表現する方向のトーンカーブとなっている。いずれにせよ、第１の形態とくらべて、画像データをより細かく分類し、輝度ヒストグラムを用いて算出した輝度領域（入力輝度領域）毎に、輝度平均値を求めて細分化してトーンカーブを算出することにより、第１の形態の場合よりも補正する画像データに適合したトーンカーブを作成（補正）することができる。

また、本発明の第３の形態では、トーンカーブ生成手段２３は、前記各輝度領域（前記各入力輝度領域）における輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域（前記各入力輝度領域）における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）にさらに分割するとともに、前記各輝度領域（前記各入力輝度領域）における輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域（入力輝度領域）における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域（入力輝度領域）における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域（各入力輝度領域）に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図９は、本発明の第３の形態におけるトーンカーブ生成手段２３の処理動作を説明するための図である。なお、図９は図８の新たなトーンカーブ３５（３６，３７，３８，３９）をさらに補正して新たなトーンカーブ４０を生成する処理を説明するための図である。

図９を参照すると、本発明の第３の形態では、前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における輝度ヒストグラムから算出した平均輝度ポイントＡ１，Ａ２を境にして前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６にさらに分割するとともに、前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における輝度ヒストグラムから算出した平均輝度ポイントＡ１，Ａ２および各トーンカーブ３３，３４の出力値変域幅ｙ１，ｙ２の中央値Ｈ１，Ｈ２を境にして、各トーンカーブ３５をさらに分割し（３６，３７，３８，３９とし）、
分割されたそれぞれの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６における輝度ヒストグラムの平均輝度ポイントＡ３，Ａ４，Ａ５，Ａ６を算出し、それぞれの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６における輝度ヒストグラムの平均輝度ポイントＡ３，Ａ４，Ａ５，Ａ６を入力値としたときの、各輝度領域（各入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６に対応するそれぞれのトーンカーブ３６，３７，３８，３９上の対応出力値が、それぞれのトーンカーブ３６，３７，３８，３９の出力値変域幅ｙ３，ｙ４，ｙ５，ｙ６の中央値Ｈ３，Ｈ４，Ｈ５，Ｈ６となる様に、それぞれのトーンカーブ３６，３７，３８，３９を補正して、新たなトーンカーブ４０を生成する。

以上の処理をすべての輝度軸上の整数入力設定ポイントに対応するトーンカーブの輝度出力値が再配置されるまで繰り返すことで、例えば図１０に示すような画像データごとのトーンカーブ５０を最終的に生成することができる。

図１１はトーンカーブ生成手段２３の上記繰り返し処理（再帰処理）の具体例を示すフローチャートである。

図１１を参照すると、先ず、輝度ヒストグラム全体を対象とするために以下を初期設定する（ステップＳ１１）。
１） 入力範囲（入力輝度領域）：入力輝度の最小値、最大値として定義される。例えば、入力最小値＝０、入力最大値＝２５５
２） 出力範囲（初期のトーンカーブの出力輝度値変域幅）：初期のトーンカーブの出力輝度の最小値、最大値として定義される。例えば、出力最小値＝０、出力最大値＝２５５
３） また、上記入力範囲、出力範囲の他に、入力輝度値に対する出力輝度値を算出する点、すなわちトーンカーブにおいて折れ線で結ばれる際の基準となる点の分解能を指定する。２５６階調を指定すれば、すべての入力輝度値に対応した出力輝度値を求めることとなる。

しかる後、指定されている入力範囲における輝度平均値（入力輝度平均値）を算出する（ステップＳ１２）。

そして、算出した入力輝度平均値に対応する出力輝度値が出力範囲の中心（１／２）になるようにトーンカーブの1点を決定するポイントする（出力中心を設定する）（ステップＳ１３）。

そして、決定した点を直線でつないだ折れ線を新たなトーンカーブとする（トーンカーブ補正する）（ステップＳ１４）。

次いで、入出力範囲を再設定する（ステップＳ１５）。すなわち、算出された輝度平均値を境界として次の入力範囲（各入力輝度領域）を設定する。また、出力中心値を境界として次の出力範囲（新たなトーンカーブ（各トーンカーブ）の出力輝度値変域幅）を決定する。

次いで、終了判定を行なう（ステップＳ１６）。すなわち、初期設定で設定された分解能に相当する入力輝度値に対する出力輝度値がすべて決定されたか否かにより、終了判定を行なう。初期設定で設定された分解能に相当する入力輝度値に対する出力輝度値がすべて決定されていないときには、再びステップＳ１２に戻り、初期設定で設定された分解能に相当する入力輝度値に対する出力輝度値がすべて決定されるまで、ステップＳ１２〜Ｓ１５の処理を繰り返す。

上記のように、本発明のトーンカーブ生成手段２３により、トーンカーブ補正処理をすべての輝度軸上の整数入力設定ポイントに対応するトーンカーブの輝度出力値が再配置されるまで繰り返すことで、例えば図１０に示したような画像データごとのトーンカーブ５０を生成することができ、生成されたトーンカーブ５０を用いて画像（階調）補正を行った結果、図４のような輝度ヒストグラムを持つ全体的に暗い画像が、明るい方向にシフトした図６のような輝度ヒストグラムを持つ画像に補正されることになる。

また、図１２の様に、暗部、明部それぞれに輝度ヒストグラムのピーク値を持つような画像データの場合では、図１３の様なトーンカーブ６０が最終的に生成され、最終的な画像（階調）補正結果は、図１４の様に、暗部、明部の輝度ヒストグラムのピークが表現できる中央部に寄った形なり、暗部、明部の主要部が表現できる階調の中央部に近づくような補正が行われることになる。

また、トーンカーブの再配置処理（上述した第１乃至第３の形態におけるトーンカーブの生成処理）については、すべての輝度軸上の整数入力設定ポイントに対応するトーンカーブの輝度出力値が再配置されるまで行うことが理想的ではあるものの、処理負荷や処理時間などを考慮し、適宜所定回数や所定分割数などで処理を中断し、その時点で算出されたトーンカーブでの画像補正を行ってもよい。

すなわち、本発明の第４の形態として、トーンカーブ生成手段２３は、
第３の形態における前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することができる。

あるいは、本発明の第５の形態として、トーンカーブ生成手段２３は、
第３の形態における前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域（入力輝度領域）の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することができる。

あるいは、本発明の第６の形態として、トーンカーブ生成手段２３は、
第３の形態において、ある輝度領域（入力輝度領域）について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域（入力輝度領域）についてのみ、前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することができる。

具体的に、例えば図９に示す処理において、仮に、輝度ヒストグラムの平均輝度ポイントＡ１とＡ０とが例えば隣り同士となり、領域（入力輝度領域）ｘ４をもはや整数値で分割できなくなった場合には、この段階でトーンカーブの生成処理を終了させるか（第５の形態）、あるいは、領域（入力輝度領域）ｘ４以外の領域（入力輝度領域）ｘ３，ｘ５，ｘ６についてのみ、トーンカーブの生成処理（補正処理）を続行させる（第６の形態）ことができる。

また、図１５は本発明の第７の形態の画像処理装置の構成例を示す図である。図１５を参照すると、本発明の第７の形態では、トーンカーブ生成手段２３によって生成されたトーンカーブにおいて、トーンジャンプを抑制するため、トーンカーブの形状を保持したまま、トーンカーブの出力輝度値を圧縮するトーンカーブ圧縮手段２５がさらに設けられている。

すなわち、第１乃至第６のいずれかの形態において生成されたトーンカーブは、出力輝度範囲が入力輝度範囲より十分に大きい場合には最適なトーンカーブではあるものの、一般的なデジタルカメラカメラに実際搭載し実施する場合にはさらなる課題がある。すなわち、一般的なデジタルカメラでは、８ビットの入力画像を８ビットの出力画像で表現するため、第１乃至第６の形態の手順を用いてトーンカーブを再配置し、新たなトーンカーブを用いて画像補正を行った場合、生成されたトーンカーブに急激（切り立った）な部分が存在するとトーンジャンプといわれる現象が発生してしまうことが知られている。トーンジャンプ（階調とび）は、トーンカーブを用いた画像出力の出力画像において、階調の連続性が失われる現象である。具体例を挙げて説明する。入力出力とも８ビットで表現できるデータであるとした場合、入力輝度軸上の連続する２点において、輝度値が、３０、３１と滑らかに変化しているとする。ここでトーンカーブを用いた画像出力の結果、それぞれの画素値における出力輝度値３０，３１がそれぞれ４０，５０になったと仮定する。この出力結果の画像では、出力輝度値として４１〜４９の間のデータは存在しないことになる。この場合、本来、滑らかに遷移しているはずの２点間において、急激な階調の変化を生成してしまうため、出力画像としては、階調の連続性が欠落し、滑らかでなくなってしまう。トーンジャンプは、トーンカーブを用いた画像出力において最も避けなければならない不具合現象である。

そこで、本発明の第７の形態では、トーンカーブ圧縮手段２５は、トーンカーブ生成手段２３によって生成されたトーンカーブにおいて、トーンジャンプを抑制するため、トーンカーブの形状を保持したまま、トーンカーブの出力輝度値を圧縮するようになっている。具体的には、第１乃至第６の形態において生成されたトーンカーブ，例えば図１０のトーンカーブ５０を図１６に示す例の様なトーンカーブ５１に変形することができる。すなわち、全体形状を保ったまま、カーブを抑制するように圧縮することで、第１乃至第６の形態において生成されたトーンカーブ，例えば図１０のトーンカーブ５０の特性を犠牲にすることなくトーンジャンプを抑制することができる。第１乃至第６の形態において生成されたトーンカーブ，例えば図１０のトーンカーブ５０のある入力輝度値を圧縮するためには、トーンカーブ５０から出力輝度値の軸に沿って、入力輝度値をそのまま出力輝度値とする直線３１に落とした場合の距離が５３になる。この入力輝度値を例えば４０％圧縮する場合には、この距離５３に０．４を乗算することで距離５４を得る。この距離５４により示された圧縮された出力値を入力輝度値に対応する出力輝度値とする。以上を入力輝度のすべてに適用することで全体が４０％へ圧縮された新しいトーンカーブ５１を得ることができる。

本発明では、補正結果のトーンカーブが、例えば図１７に示すように基本トーンカーブ（入力輝度値が１：１でそのまま出力輝度値となる基準直線）を境界として上下双方（９１２、９１３）に配置されているカーブとなっている場合に特に有効に働く。交差点９１１を境として、９１２は、画像を明るくする作用、９１３は画像を暗くする作用がある。本発明では、基準直線からの距離を元に圧縮しているため、交差点９１１は圧縮結果においても移動することはないため、補正処理において暗くするべきところ明るくしてしまう様な不具合が発生しないようになっている。

なお、圧縮率は、実験を行いきちんと階調を再現するべき画像パターンにおいて、考えられる最も急激な傾きの補正済みトーンカーブとなった場合においても、トーンジャンプが起こらない圧縮率に設定すればよいので、４０％という数値に限定されるものではない。

また、図１８は本発明の第８の形態の画像処理装置の構成例を示す図である。図１８を参照すると、本発明の第８の形態では、第１乃至第７のいずれかの形態で得られたトーンカーブをさらに画像データの輝度ヒストグラムの輝度軸中心値に近いほど傾きが少なくなる様に補正するトーンカーブ追加補正手段２６がさらに設けられている。

このようなトーンカーブ追加補正手段２６がさらに設けられていることによって、更なるトーンジャンプの抑制を行なうことができる。

すなわち、一般に、階調表現においては極端な輝度の明暗部より、中間輝度部においてトーンジャンプが目立つことが知られている。本発明の第８の形態では、この課題を解決する為に、補正済みのトーンカーブにおいて中間輝度部分に近いほどトーンカーブの傾きを抑制し、遠ざかる（暗部、明部に近い）ほどトーンカーブの傾きを許容する様なフィルタを適用する。

具体的には、図１９に示すような２次曲線７０を利用することができる。２次曲線では中央に近いほど、傾きが緩くなっていることを活用し、２次曲線でフィルタリングすることで入力輝度値が入力輝度の中心値付近では、傾きの許容量を小さく、両端部（明部、暗部）では傾きの許容量が大きくなっている。この方法により、比較的容易に、中間輝度における急激なトーンカーブ変化を抑制し、明部、暗部のトーンカーブ変化を許容することができる。傾き補正後のトーンカーブは、図２０に符号８０で示すように、中間輝度部分１１０１の傾きが抑制された形状となる。

なお、図１８の構成例では、トーンカーブ圧縮手段２５で圧縮処理されたトーンカーブに対してトーンカーブ追加補正手段２６による追加補正処理がなされるようになっているが、本発明の第８の形態は、トーンカーブ圧縮手段２５が設けられていなくても良く、この場合には、図１８に破線で示すように、トーンカーブ生成手段２３で生成されたトーンカーブに対してトーンカーブ追加補正手段２６による追加補正処理がなされるようになっている。

補正を行う画像は、元々、撮影者の意図に反した画像であるため、これまで述べてきた本発明の処理を行うことにより、撮影者の意図を反映し、トーンジャンプを起こしにくく、画像データに対応した階調補正を容易に実現することが可能となる。

また、本発明では、後述のように特別なハードウェアを実装せずに実現でき、領域毎にトーンカーブを求めそれぞれを補正して、補正した画像を合成する方法に比べて、演算量も少なく、十分に高速である。

前述したように、本発明の画像処理装置は、図１の例においては、制御装置（ＣＰＵ）１によって実現される。

そして、本発明を実施するための上述した各形態で説明した画像処理装置および画像処理方法における処理は、図１の例においては、制御装置（ＣＰＵ）１に実現させるプログラム（画像処理プログラム）の形で提供することができる。

また、本発明を実施するための上述した最良の形態で説明した画像処理装置における処理を例えば制御装置（ＣＰＵ）１に実現させるためのプログラムは、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を解して、インターネット等のネットワークを介して配布することができる。

なお、上述の説明では、本発明の画像処理が適用される撮像装置がデジタルカメラであるとして説明したが、本発明の画像処理が適用される撮像装置は、必ずしもデジタルカメラに限定されない。

本発明の画像処理が適用される撮像装置としてのデジタルカメラのハードウェア構成例を示す図である。 本発明の画像処理装置の構成例を示す図である。 画像処理装置が図２の構成となっている場合のデジタルカメラの処理動作を説明するためのフローチャートである。 本発明の第１の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明の第１の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明のトーンカーブ生成手段によって生成された新たなトーンカーブを適用して画像を補正したときの輝度ヒストグラムを示す図である。 本発明の第２の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明の第２の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明の第３の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 最終的に生成されたトーンカーブを示す図である。 トーンカーブ生成手段の繰り返し処理（再帰処理）の具体例を示すフローチャートである。 トーンカーブ生成処理の他の例を示す図である。 トーンカーブ生成処理の他の例を示す図である。 トーンカーブ生成処理の他の例を示す図である。 本発明の第７の形態の画像処理装置の構成例を示す図である。 本発明の第７の形態のトーンカーブ圧縮手段によって圧縮されたトーンカーブを示す図である。 補正結果のトーンカーブの一例を示す図である。 本発明の第８の形態の画像処理装置の構成例を示す図である。 トーンジャンプの抑制を行なうための２次曲線をを示す図である。 トーンジャンプの抑制が行なわれたトーンカーブの一例を示す図である。

符号の説明

１ 制御装置（CPU）
２ 記憶装置
３ 撮像素子
４ フォーカスレンズ駆動装置
５ シャッタ駆動装置
６ 表示装置
７ 測光センサ
８ メニューＳＷ
９ 第１レリーズSW (RL1SW)
１０ 第２レリーズSW(RL2SW)
１１ 撮像モードＳＷ
２１ 画像サイズ変換手段
２２ 輝度ヒストグラム算出手段
２３ トーンカーブ生成手段
２４ 画像補正手段（トーンマップ処理手段）
２５ トーンカーブ圧縮手段
２６ トーンカーブ追加補正手段

Claims (15)

1. 輝度情報を有する画像データの輝度に関するヒストグラムを算出する輝度ヒストグラム算出手段と、
   輝度ヒストグラム算出手段によって算出された輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成手段と、
   トーンカーブ生成手段によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段とを有し、
   前記トーンカーブ生成手段は、初期のトーンカーブが予め与えられているときに、輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値としたときのトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に、前記初期のトーンカーブを補正した後、
   前記平均輝度ポイントを境にして輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
   分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
   分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
4. 請求項２記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
5. 請求項２記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
6. 請求項１乃至請求項５のいずれか一項に記載の画像処理装置において、前記トーンカーブ生成手段によって生成されたトーンカーブにおいて、トーンジャンプを抑制するため、トーンカーブの形状を保持したまま、トーンカーブの出力輝度値を圧縮するトーンカーブ圧縮手段をさらに備えていることを特徴とする画像処理装置。
7. 請求項１乃至請求項６のいずれか一項に記載の画像処理装置において、得られたトーンカーブをさらに画像データの輝度ヒストグラムの輝度軸中心値に近いほど傾きが少なくなる様に補正するトーンカーブ追加補正手段をさらに備えていることを特徴とする画像処理装置。
8. 請求項１乃至請求項７のいずれか一項に記載の画像処理装置において、輝度ヒストグラム算出手段は、入力画像データの輝度ヒストグラムを算出する際、入力画像データの縮小画像を用いることを特徴とする画像処理装置。
9. 輝度情報を有する画像データの輝度に関するヒストグラムを算出する輝度ヒストグラム算出工程と、
   輝度ヒストグラム算出工程によって算出された輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成工程と、
   トーンカーブ生成工程によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正工程とを有し、
   前記トーンカーブ生成工程では、初期のトーンカーブが予め与えられているときに、輝度ヒストグラムから算出した画像データの平均輝度ポイントを入力値としたときのトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に、前記初期のトーンカーブを補正した後、
   前記平均輝度ポイントを境にして輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
   分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法。
10. 請求項９記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
    分割されたそれぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法。
11. 請求項１０記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
12. 請求項１０記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、
    整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
13. 請求項１０記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
14. 請求項９乃至請求項１３のいずれか一項に記載の画像処理方法における処理をコンピュータに実現させるための画像処理プログラム。
15. 請求項１乃至請求項８のいずれか一項に記載の画像処理装置を用いたことを特徴とする撮像装置。

Images