JP2009200743A - 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 - Google Patents

Abstract

【課題】 複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、画像内の特定の対象領域（の明るさや階調が最適となるようにする。
【解決手段】 画像データ全体から特定対象領域を検出する特定対象領域検出手段２７と、特定対象領域検出手段２７で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出手段２８と、所定の輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成手段２３と、トーンカーブ生成手段２３によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段２４とを有している。
【選択図】 図３

Description

本発明は、画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置に関する。

デジタルカメラなどの撮像装置には、一般に、露出の最適化のための自動露出制御機構が組み込まれている。その露出制御方式としては、画面を複数の領域に分割して測光し、それら領域の光量の加重平均値に応じて露出を制御する平均測光方式、画面の中央部分を重点的に測光することにより露出を制御する中央重点測光方式、画面の局所点を測光して露出を制御するスポット測光方式が一般に採用されている。

このような自動露出制御機構を備えた撮像装置であっても、たとえば逆光での撮影などでは、適正な露出調整が困難なことが少なくない。

例えば、被写体の真後ろに太陽が存在するような状態では、背景と被写体との輝度差が大きいため、平均測光方式や中央重点測光方式では、被写体が黒くつぶれてしまう。また、空などの背景部分が白くとぶことが多い。スポット測光方式によれば、真逆光でも被写体が黒くつぶれないように露出を制御できるが、空などの背景に白とびを生じやすい。また、スポット測光方式でも、画面内での測光枠の位置や大きさが一定であるため、様々な撮影条件で常に被写体の適正露出を実現できるわけではない。

そこで、このような適正露出を実現するのが難しいシーンにおいても適正露出での撮影をするために、いろいろな対策が提案されている。

例えば特許文献１では、輝度ヒストグラムの二極化度合いを評価することで逆光状態を真逆光かそれ以外の逆光であるかを判断し、それぞれに対し適したダイナミックレンジ補正とトーンカーブ補正を実施する手法が提案されている。この手法では逆光シーンについての考慮をしており、その他のシーンにおいては適正な補正はなされないという問題がある。

また、特許文献２では、典型的な複数の撮像シーンに対応する特徴ヒストグラムとそれに対応するトーンカーブをあらかじめもっておき、撮像画像のヒストグラムとの近似度を求め、最も近似度の高い特徴ヒストグラムに対応したトーンカーブを近似度に基づいて補正し、そのトーンカーブを用いて撮像画像の階調補正を行う、という手法が提案されている。この手法によれば、多くのシーンにおいて撮像画像の階調補正を行うことが可能となるが、あらかじめ複数の組の特徴ヒストグラムとトーンカーブを用意しておかなければならないという問題がある。
特開２００２−９２６０７号公報 特開２００７−０６７９０７号公報

本発明は、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、画像内の特定の対象領域（例えば、人物の顔）の明るさや階調が最適となるようにすることの可能な画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置を提供することを目的としている。

上記目的を達成するために、請求項１記載の発明は、輝度情報を有する画像データ全体から特定対象領域を検出する特定対象領域検出手段と、
輝度情報を有する画像データ全体のうち、前記特定対象領域検出手段で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出手段と、
トーンカーブを生成するトーンカーブ生成手段と、
トーンカーブ生成手段によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段とを有し、
前記トーンカーブ生成手段は、初期のトーンカーブが予め与えられているときに、前記特定対象領域輝度ヒストグラムから算出した特定対象領域画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置である。

また、請求項２記載の発明は、請求項１記載の画像処理装置において、
さらに、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出手段を有し、
前記トーンカーブ生成手段は、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項３記載の発明は、請求項２記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項４記載の発明は、請求項３記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項５記載の発明は、請求項３記載の画像処理装置において、
前記トーンカーブ生成手段は、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項６記載の発明は、請求項３記載の画像処理装置において、
前記トーンカーブ生成手段は、
ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴としている。

また、請求項７記載の発明は、請求項１乃至請求項６のいずれか一項に記載の画像処理装置において、前記特定対象領域検出手段は、前記特定対象領域として人物の顔領域を検出するようになっており、前記特定対象領域輝度ヒストグラム算出手段は、特定対象領域画像データとして人物の顔領域の画像データの輝度ヒストグラムを特定対象領域輝度ヒストグラムとして算出することを特徴としている。

また、請求項８記載の発明は、請求項７記載の画像処理装置において、前記特定対象領域検出手段によって検出された人物の顔領域が複数の場合には、前記特定対象領域輝度ヒストグラムから算出される特定対象領域画像データの前記平均輝度ポイントは、前記検出された複数の顔領域の輝度中心であることを特徴としている。

また、請求項９記載の発明は、請求項７記載の画像処理装置において、前記特定対象領域検出手段によって検出された人物の顔領域が複数の場合には、前記検出された複数の顔領域に優先順位を設定し、前記特定対象領域輝度ヒストグラムから算出される特定対象領域画像データの前記平均輝度ポイントは、最も優先順位の高い顔領域の輝度中心であることを特徴としている。

また、請求項１０記載の発明は、請求項９記載の画像処理装置において、前記優先順位は、顔領域の大きさ、または、顔までの距離に基づいて設定されることを特徴としている。

また、請求項１１記載の発明は、輝度情報を有する画像データ全体から特定対象領域を検出する特定対象領域検出工程と、
輝度情報を有する画像データ全体のうち、前記特定対象領域検出工程で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出工程と、
トーンカーブを生成するトーンカーブ生成工程と、
トーンカーブ生成工程によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正工程とを有し、
前記トーンカーブ生成工程では、初期のトーンカーブが予め与えられているときに、特定対象領域輝度ヒストグラムから算出した特定対象領域画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法である。

また、請求項１２記載の発明は、請求項１２記載の画像処理方法において、
さらに、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出工程を有し、
前記トーンカーブ生成工程では、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項１３記載の発明は、請求項１２記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

また、請求項１４記載の発明は、請求項１３記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１５記載の発明は、請求項１３記載の画像処理方法において、
前記トーンカーブ生成工程では、
前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、
整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１６記載の発明は、請求項１３記載の画像処理方法において、
前記トーンカーブ生成工程では、
ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴としている。

また、請求項１７記載の発明は、請求項１１乃至請求項１６のいずれか一項に記載の画像処理方法における処理をコンピュータに実現させるための画像処理プログラムである。

また、請求項１８記載の発明は、請求項１乃至請求項１０のいずれか一項に記載の画像処理装置を用いたことを特徴とする撮像装置である。

本発明によれば、輝度情報を有する画像データ全体から特定対象領域を検出する特定対象領域検出手段と、
輝度情報を有する画像データ全体のうち、前記特定対象領域検出手段で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出手段と、
トーンカーブを生成するトーンカーブ生成手段と、
トーンカーブ生成手段によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段とを有し、
前記トーンカーブ生成手段は、初期のトーンカーブが予め与えられているときに、前記特定対象領域輝度ヒストグラムから算出した特定対象領域画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成するので、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、画像内の特定の対象領域（例えば、人物の顔）の明るさや階調が最適となるようにすることができる。

さらに、本発明によれば、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出手段をさらに有し、
前記トーンカーブ生成手段は、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成するので、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、画像内の特定の対象領域（例えば、人物の顔）の明るさや階調が最適となるようにすることができるとともに、画像データ全体の明るさや階調にも適合したトーンカーブを作成（補正）することができる。

以下、本発明を実施するための最良の形態を図面に基づいて説明する。本発明は、画像データの階調補正機能を有するデジタルカメラなどの撮像装置に適用される画像処理に関するものである。なお、以下では、説明の便宜上、本発明をデジタルカメラ（デジタルスチルカメラ）に適用するとして説明する。すなわち、撮像装置がデジタルカメラ（デジタルスチルカメラ）であるとして説明する。

本発明は、１つのトーンカーブをコントロールすることにより、様々な撮影状況に応じて、画像内の特定の対象領域（例えば、人物の顔）の明るさや階調が最適となるようにすることの可能な画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置を提供するものである。

この場合、本発明では、１本のトーンカーブを画像内の特定の対象領域（例えば、人物の顔）および画像全体に応じて部分的に補正して階調補正に使用するので、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、画像内の特定の対象領域（例えば、人物の顔）の明るさや階調が最適となるようにすることができる。

従って、本発明は、画像データの階調補正機能を有するデジタルカメラなどの撮像装置への適用に特に適している。なお、以下では、説明の便宜上、本発明をデジタルカメラ（デジタルスチルカメラ）に適用するとして説明する。すなわち、撮像装置がデジタルカメラ（デジタルスチルカメラ）であるとして説明する。

図１は本発明の画像処理が適用される撮像装置としてのデジタルスチルカメラの外観図、図２はデジタルスチルカメラのハードウェア構成例を示す図である。

最初にデジタルスチルカメラの動作概要を説明する。

図１の撮影／再生切り替えのモードダイアルを撮影モードに設定し、電源釦を押すことで、カメラが記録モードで起動する。モードダイアルおよび電源釦は図２における操作部に含まれており、モードダイアルの状態が撮影モードの状態で電源釦がＯＮになったことをＣＰＵが検知すると、ＣＰＵはモータドライバを制御して、鏡胴ユニットを撮影可能位置に移動させる。さらに撮像センサー、ＬＣＤディスプレイ等の各部に電源を投入して動作を開始させる。

各部の電源が投入されると、ファインダモードの動作が開始する。

ファインダモードでは、レンズを通して撮像センサー（ＣＣＤ，ＣＭＯＳ）に入射した光は、電気に変換されてＡ／Ｄ変換器に送られる。Ａ／Ｄ変換器では、入力されたアナログ信号を１２ｂｉｔのデジタルデータ（デジタル信号）に変換する。デジタル信号に変換されたそれぞれの信号は、デジタル信号処理ＩＣ内のセンサーＩ／Ｆ部に取り込まれ、ＹＵＶ変換部で表示可能な形式であるＹＵＶ信号に変換されて、メモリコントローラによってフレームメモリに書き込まれる。このＹＵＶ信号はメモリコントローラに読み出されて、表示出力制御部を介してＴＶやＬＣＤモニタへ送られて表示が行われる。この処理が１／３０秒間隔で行われ、１／３０秒ごとに更新されるファインダモードの表示となる。

この撮像センサーは８００万画素のセンサーであり、静止画撮影時は全画素を１／３０秒ごとに出力することができ、ファインダモード時は周辺画素を加算と間引きを組み合わせて、１／３０秒ごと例えば６４０×４８０画素に画素数を減らして出力を行う。

また、デジタル信号処理ＩＣのセンサーＩ／Ｆは、ブロック内に取り込まれたデジタルＲＧＢ信号より、画面の合焦度合いを示すＡＦ評価値と、被写体輝度を検出したＡＥ評価値と、被写体色を検出したＡＷＢ評価値を算出する。それらデータは、特徴データとしてＣＰＵに読み出されて、ＡＥ、ＡＦ、ＡＷＢのそれぞれの処理に利用される。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって作成される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦによる合焦検出動作時は、それぞれのフォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦位置としてＡＦを実行する。

ＡＥ評価値とＡＷＢ評価値は、ＲＧＢのそれぞれの積分値から作成される。例えば画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。ＣＰＵはＲＧＢ積分値を読み出し、ＡＥでは、それぞれのエリアの輝度を算出して、輝度分布から適正な露光時間を決定する。ＡＷＢでは、ＲＧＢの分布から光源の色に合わせたＡＷＢの制御値を決定する。このＡＥとＡＷＢの処理は、ファインダモード中は連続的に行われている。

図１のレリーズシャッタボタンが操作されると、合焦位置検出であるＡＦ動作と静止画記録処理が行われる。

すなわち、レリーズシャッタボタンが押されると、図２のカメラ操作部から静止画撮影開始信号がＣＰＵに取り込まれ、これにより、ＣＰＵがフレームレートに同期してモータドライバを介してレンズを駆動ことによって山登りＡＦを実行する。ＡＦ対象範囲が無限から至近までの全領域であった場合、フォーカスレンズは至近から無限、または無限から至近までの間の各フォーカス位置移動し、デジタル信号処理ＩＣで作成された各フレーム（＝各フォーカス位置）におけるＡＦ評価値をＣＰＵが読み出す。各フォーカス位置のＡＦ評価値が極大になる点を合焦位置として、フォーカスレンズを合焦位置に移動する。

ＡＦ完了後に、画像は撮像センサーによりデジタルＲＧＢ信号に変換されて出力され、デジタル信号処理ＩＣを介してフレームメモリに格納される。デジタルＲＧＢ信号は再度デジタル信号処理ＩＣに読み込まれ、ＹＵＶ変換部でＹＵＶデータに変換されて、フレームメモリに書き戻される。

スチル画像撮像時はＹＵＶ変換された画像データがデジタル信号処理ＩＣ内の画像圧縮伸張回路に送られる。画像圧縮伸張回路に送られたＹＵＶデータは圧縮され、フレームメモリに書き戻される。フレームメモリの圧縮データはデジタル信号処理ＩＣを介して読み出され、データ記憶メモリに格納される。

図３は本発明の画像処理装置の構成例を示す図である。図３を参照すると、本発明の画像処理装置は、画像データが入力する時、入力画像データのサイズを変換する画像サイズ変換手段２１と、
画像サイズ変換手段２１によってサイズが変換された画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出手段２２と、
画像サイズ変換手段２１によってサイズが変換された画像データ全体から特定対象領域を検出する特定対象領域検出手段２７と、
画像サイズ変換手段２１によってサイズが変換された画像データ全体のうち、前記特定対象領域検出手段で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出手段２８と、
所定の輝度ヒストグラムからトーンカーブを生成するトーンカーブ生成手段２３と、
トーンカーブ生成手段２３によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段（トーンマップ処理手段）２４とを有している。

ここで、トーンカーブとは、横軸を入力画像情報、縦軸を出力画像情報とした場合の入出力変換特性（関数）のことである。すなわち、トーンカーブは、それぞれの入力画像の輝度値を対応した出力画像の輝度値に変換する関数として定義されている。このように、トーンカーブを適用して、入力画像に対する出力画像を得る（あるいは所定の補正を行う）ことを、一般的に、トーンマッピング（トーンマップ処理）と呼んでいる。

また、画像サイズ変換手段２１は、入力画像データが十分に小さなサイズのものとなっている場合には、これを機能させずに、入力画像データを特定対象領域検出手段２７，特定対象領域輝度ヒストグラム算出手段２８，全体輝度ヒストグラム算出手段２２に直接与えることもできる。すなわち、この場合、画像サイズ変換手段２１は必要ではなく、特定対象領域検出手段２７は、入力画像データから直接に特定対象領域を検出し、また、特定対象領域輝度ヒストグラム算出手段２８は、直接に入力画像データの特定対象領域輝度に関する特定対象領域輝度ヒストグラムとして算出する、また、全体輝度ヒストグラム算出手段２２は、直接に入力画像データ全体の輝度に関する全体輝度ヒストグラムを算出することができる。

しかし、実際には入力画像データ（撮像された画像データ）は大サイズのものであり、輝度ヒストグラムなどを求める際の演算量を減らし、全体の処理をさらに高速化するため、（大サイズの）入力画像そのものの輝度データではなく、画像サイズ変換手段２１によって入力画像データのサイズを縮小して、表示装置用モニタリング（スルー）画像などの縮小画像の輝度ヒストグラムなどを用いることが一般的である。縮小画像を用いても入力画像の輝度ヒストグラムなどの傾向は同じであるため、求められる（本発明により補正済みの）トーンカーブに大きな違いはなく、トーンマッピング（トーンカーブを用いた画像変換・補正実施）の際にも補正済みトーンカーブに、元のサイズ（大きいサイズ）の画像を入力し出力画像に変換出力するので画質の劣化はなく、トータルでの高速化の効果の方が大きい。

また、特定対象領域検出手段２７は、特定対象領域として、例えば人物の顔領域を検出するようになっている。

被写体像の中から人物の顔領域を検出する仕方としては、以下の文献に示す手法が知られており、特定対象領域検出手段２７は、以下の文献に示されている仕方のいずれかを用いることにより、人物の顔領域を検出することができる。

すなわち、文献「テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」」に示されているような、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する仕方を用いて、人物の顔領域を検出することができる。

また、文献「電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」」に示されているような、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する仕方を用いて、人物の顔領域を検出することができる。

また、文献「画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」」に示されるような、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する仕方を用いて、人物の顔領域を検出することができる。

ところで、本発明では、トーンカーブ生成手段２３は、画像データ毎の輝度ヒストグラムを使用して、最適なトーンカーブを生成するようになっている。具体的には、トーンカーブ生成手段２３は、輝度ヒストグラムから得られる輝度の平均値を利用して、最適なトーンカーブを生成するようになっている。すなわち、トーンカーブ生成手段２３は、所定の輝度ヒストグラムから得られる輝度の平均値を入力とした時のトーンカーブ上の対応する出力値を最適な階調出力範囲へ設定させるように補正前のトーンカーブを補正して新たなトーンカーブとして生成するようになっており、このようにして生成された新たなトーンカーブを用いて画像（階調）補正を行うことによって、画像毎に最適な階調補正を行うことができる。

以下、本発明のトーンカーブ生成手段２３について詳述する。なお、以下の説明では、特定対象領域検出手段２７は、特定対象領域として、人物の顔領域を検出するようになっているものとする。すなわち、特定対象領域は、人物の顔領域であるとする。

本発明の第１の形態では、トーンカーブ生成手段２３は、初期のトーンカーブが予め与えられているときに、特定対象領域輝度ヒストグラム（人物の顔領域の画像データの輝度ヒストグラム（顔領域輝度ヒストグラム））から算出した特定対象領域画像データ（人物の顔領域の画像データ）の平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図４，図５，図６，図７は、本発明の第１の形態におけるトーンカーブ生成手段２３の処理動作を説明するための図である。

なお、図４は画像データの一例を示す図である。すなわち、図４は人物の写った画像の例であり、顔の部分にある矩形Ｆが、その範囲で顔が検出されていることを示している。顔領域の輝度ヒストグラム（顔領域輝度ヒストグラム）は、この矩形領域Ｆ内を対象として作成される。また、図５は図４の画像データの特定対象領域輝度ヒストグラム（人物の顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム））の例を示す図、図６は図４の画像データの特定対象領域輝度ヒストグラムが図５である場合における新たなトーンカーブの生成処理を説明するための図である。

初期のトーンカーブは、図６に符号３１で示すように予め与えられているとする。また、図５の特定対象領域輝度ヒストグラムから算出した顔領域Ｆの画像データの平均輝度ポイントが、図６において符号Ａ０で示すものであるとするとき、トーンカーブ生成手段２３は、図６に示すように、図５の特定対象領域輝度ヒストグラムから算出した顔領域Ｆの画像データの平均輝度ポイントＡ０を入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブ３１の出力値変域幅（出力輝度値変域幅）ｙ０の中央値Ｈ０となる様に前記初期のトーンカーブ３１を補正して、新たなトーンカーブ３２を生成する。

すなわち、顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム）が図５に示した例の様な場合は、顔領域Ｆの画像データは全体的に暗い画像であり、顔領域輝度ヒストグラムが暗部（左）側に寄っていることがわかる。

図６の例では、顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム）から求めた顔領域Ｆの画像データの平均輝度ポイントＡ０をトーンカーブ３１上の入力位置とした時のトーンカーブ３１上の対応するポイントをトーンカーブ３１の出力値変域幅（出力輝度値変域幅）ｙ０の中央値Ｈ０に持ってくる操作により、２つの折れ線（トーンカーブ）３３，３４からなる新たなトーンカーブ３２が生成される。ここで、初期のトーンカーブ３１は、入出力特性がリニアな基本トーンカーブであり、顔領域Ｆの画像データの輝度平均を入力ポイントとした場合の補正配置点がＰ１となることで、２つの折れ線（トーンカーブ）３３，３４からなる新たなトーンカーブ３２が生成される。

上記のように生成された新たなトーンカーブ３２を適用して画像を補正すると、特定対象領域輝度ヒストグラム（人物の顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム））は、図７のようになる。補正前の特定対象領域輝度ヒストグラム（人物の顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム））である図５と比較すると、特定対象領域輝度ヒストグラム（顔領域輝度ヒストグラム）全体の形状が明るい方向に移動していることがわかる。よって、暗い顔領域画像が階調表現領域の中央に寄るように明るく補正されたことになる。

このように、本発明の第１の形態では、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、顔領域Ｆの画像データの明るさや階調が最適となるようにすることができる（人物の顔部分を中心にトーンカーブをコントロールすることにより、人物の顔部分を最適な明るさにすること、および人物の顔部分の階調を最適にすることが可能となる）。

また、本発明の第２の形態では、トーンカーブ生成手段２３は、さらに、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出手段２２を有し、
前記トーンカーブ生成手段２３は、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図８，図９，図１０は、本発明の第２の形態におけるトーンカーブ生成手段２３の処理動作を説明するための図である。なお、図８は図４の画像全体の輝度ヒストグラム（全体輝度ヒストグラム）の例を示す図である。また、図９は図６の新たなトーンカーブ３２を示しており、図１０は図６（図９）の新たなトーンカーブ３２をさらに補正して新たなトーンカーブ３５を生成する処理を説明するための図である。

図９，図１０を参照すると、図５の特定対象領域輝度ヒストグラム（顔領域輝度ヒストグラム）から算出した顔領域Ｆの画像データの平均輝度ポイントＡ０を境にして図８の全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）ｘ１，ｘ２に分割するとともに、前記平均輝度ポイントＡ０および前記出力値変域幅ｙ０の中央値Ｈ０を境にして、前記補正されたトーンカーブ３２を前記２つの輝度領域（入力輝度領域）ｘ１，ｘ２に対応した２つのトーンカーブ３３，３４に分割し、
分割されたそれぞれの輝度領域（入力輝度領域）ｘ１，ｘ２における全体輝度ヒストグラムの平均輝度ポイントＡ１，Ａ２を算出し、それぞれの輝度領域（入力輝度領域）ｘ１，ｘ２における全体輝度ヒストグラムの平均輝度ポイントＡ１，Ａ２を入力値としたときの、各輝度領域（各入力輝度領域）ｘ１，ｘ２に対応するそれぞれのトーンカーブ３３，３４上の対応出力値が、それぞれのトーンカーブ３３，３４の出力値変域幅ｙ１，ｙ２の中央値Ｈ１，Ｈ２となる様に、それぞれのトーンカーブ３３，３４を補正して、新たなトーンカーブ３５を生成する。

すなわち、図６で説明した処理を行った後に、さらに図５の特定対象領域輝度ヒストグラム（顔領域輝度ヒストグラム）から算出した顔領域Ｆの画像データの輝度の平均値Ａ０を境界値として、図９の様に画像データを暗部の領域ｘ１と明部の領域ｘ２に分割する。さらに、分割された各領域（各入力輝度領域）ｘ１，ｘ２において、領域（入力輝度領域）ｘ１，ｘ２毎の全体輝度ヒストグラムの平均輝度ポイントＡ１，Ａ２を算出する。そして、得られた領域（入力輝度領域）ｘ１，ｘ２毎の平均輝度ポイントＡ１，Ａ２を、領域（入力輝度領域）ｘ１，ｘ２毎のトーンカーブ３３，３４の入力ポイントとし、トーンカーブ３３，３４上の対応する出力ポイントを、出力値変域幅（出力輝度値変域幅）ｙ１，ｙ２の中央値Ｈ１，Ｈ２に配置する様に、領域（入力輝度領域）ｘ１，ｘ２毎のトーンカーブ３３，３４をそれぞれ図１０に示す様なトーンカーブ３５（３６，３７，３８，３９）に補正する。

本発明の第２の形態では、このような処理がなされることにより、複数の組の特徴ヒストグラムとトーンカーブをあらかじめ用意しておかずとも、様々な撮影状況に応じて、顔領域Ｆの画像データの明るさや階調が最適となるようにすることができる（人物の顔部分を中心にトーンカーブをコントロールすることにより、人物の顔部分を最適な明るさにすること、および人物の顔部分の階調を最適にすることが可能となる）とともに、画像データ全体の明るさや階調にも適合したトーンカーブを作成（補正）することができる。

また、本発明の第３の形態では、トーンカーブ生成手段２３は、さらに、前記各輝度領域（前記各入力輝度領域）における全体輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域（前記各入力輝度領域）における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）にさらに分割するとともに、前記各輝度領域（前記各入力輝度領域）における全体輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
分割されたそれぞれの輝度領域（入力輝度領域）における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域（入力輝度領域）における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域（各入力輝度領域）に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴としている。

図１１は、本発明の第３の形態におけるトーンカーブ生成手段２３の上記処理動作を説明するための図である。なお、図１１は図１０の新たなトーンカーブ３５（３６，３７，３８，３９）をさらに補正して新たなトーンカーブ４０を生成する処理を説明するための図である。

図１１を参照すると、トーンカーブ生成手段２３は、前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における全体輝度ヒストグラムから算出した平均輝度ポイントＡ１，Ａ２を境にして前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６にさらに分割するとともに、前記各輝度領域（前記各入力輝度領域）ｘ１，ｘ２における全体輝度ヒストグラムから算出した平均輝度ポイントＡ１，Ａ２および各トーンカーブ３３，３４の出力値変域幅ｙ１，ｙ２の中央値Ｈ１，Ｈ２を境にして、各トーンカーブ３５をさらに分割し（３６，３７，３８，３９とし）、
分割されたそれぞれの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６における全体輝度ヒストグラムの平均輝度ポイントＡ３，Ａ４，Ａ５，Ａ６を算出し、それぞれの輝度領域（入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６における全体輝度ヒストグラムの平均輝度ポイントＡ３，Ａ４，Ａ５，Ａ６を入力値としたときの、各輝度領域（各入力輝度領域）ｘ３，ｘ４，ｘ５，ｘ６に対応するそれぞれのトーンカーブ３６，３７，３８，３９上の対応出力値が、それぞれのトーンカーブ３６，３７，３８，３９の出力値変域幅ｙ３，ｙ４，ｙ５，ｙ６の中央値Ｈ３，Ｈ４，Ｈ５，Ｈ６となる様に、それぞれのトーンカーブ３６，３７，３８，３９を補正して、新たなトーンカーブ４０を生成する。

以上の処理をすべての輝度軸上の整数入力設定ポイントに対応するトーンカーブの輝度出力値が再配置されるまで繰り返すことで、顔領域Ｆの画像データに最適で画像データ全体をも考慮した、画像の明るさや階調を最適にするためのトーンカーブを最終的に生成することができる。

図１２は本発明の第１，第２，第３の形態におけるトーンカーブ生成手段２３の処理の具体例を示すフローチャートである。

図１２を参照すると、まず、撮像光学系によって撮像された画像（図４に示したような画像）に対し、顔検出処理を実施して顔領域Ｆの情報を得た後に、図５に示したような顔領域Ｆの輝度ヒストグラム（顔領域輝度ヒストグラム）を算出する（Ｓ１０１）。

次に、図５に示す顔領域の輝度ヒストグラム（顔領域輝度ヒストグラム）の平均値を算出し、図６に示すトーンカーブにおいて、入力が顔領域の輝度ヒストグラム（顔領域輝度ヒストグラム）の平均値であったときに、その出力値が中心値になるように（例えば出力が８ｂｉｔであれば１２８になるように）、トーンカーブを補正する（Ｓ１０２）。そして、Ｓ１０１、Ｓ１０２で設定したポイントを境として、図８に示す全体輝度ヒストグラムを明部（ｘ２）と暗部（ｘ１）に分割する（Ｓ１０３）。

次に、分割された全体輝度ヒストグラムに対し、分割された領域内で、低輝度側，高輝度側それぞれの全体輝度ヒストグラムの平均値を算出する（Ｓ１０４）。そして、入力がＳ１０５で算出したヒストグラムの平均値であるとしたときに、出力値が、Ｓ１０３で分割された領域の中での中心値となるようにトーンカーブを補正する（Ｓ１０５）。そして、Ｓ１０４で算出された低輝度側，高輝度側それぞれの全体輝度ヒストグラムの平均値を境として、さらに全体輝度ヒストグラム（分割ヒストグラム）を明部と暗部に分割する（Ｓ１０６）。

その後は、分割された全体輝度ヒストグラム領域に対し、低輝度側，高輝度側のそれぞれで順次同様の処理を繰り返していき（Ｓ１０４〜Ｓ１０６を繰り返し行ない）、入力値の分解能分の分割が終了した時点で（Ｓ１０７）、トーンカーブの生成処理を終了する。

上記処理によって算出されたトーンカーブを用いて画像をトーンマップ変換することにより、初回のトーンカーブ補正（Ｓ１０２）によって画像内に検出された人物顔部分が適正な明るさとなるようになる。また、顔領域以外の部分においても、２回目以降のトーンカーブ補正（Ｓ１０５）によって全体輝度ヒストグラムの度数が大きい画像内の主要な部分に対して多くの階調が割り当てられるようなトーンカーブになるため、画像内の階調が最適になるように補正される。

このようにして、撮像光学系によって撮像された画像に対し、顔検出処理を実施して顔領域情報を得た後に、画像の明るさと階調を最適にするためのトーンカーブを生成する処理を行なうことができる。

なお、上述したトーンカーブの生成処理については、すべての輝度軸上の整数入力設定ポイントに対応するトーンカーブの輝度出力値が再配置されるまで行うことが理想的ではあるものの、処理負荷や処理時間などを考慮し、適宜所定回数や所定分割数などで処理を中断し、その時点で算出されたトーンカーブでの画像補正を行ってもよい。

すなわち、トーンカーブ生成手段２３は、
前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することができる。

あるいは、トーンカーブ生成手段２３は、
前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域（入力輝度領域）の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することができる。

あるいは、トーンカーブ生成手段２３は、
ある輝度領域（入力輝度領域）について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域（入力輝度領域）についてのみ、前記輝度領域（入力輝度領域）およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することができる。

具体的に、例えば図１１に示す処理において、仮に、輝度ヒストグラムの平均輝度ポイントＡ１とＡ０とが例えば隣り同士となり、領域（入力輝度領域）ｘ４をもはや整数値で分割できなくなった場合には、この段階でトーンカーブの生成処理を終了させるか、あるいは、領域（入力輝度領域）ｘ４以外の領域（入力輝度領域）ｘ３，ｘ５，ｘ６についてのみ、トーンカーブの生成処理（補正処理）を続行させることができる。

また、上述の例では、特定対象領域検出手段２７によって検出された人物の顔領域が１つであったが、特定対象領域検出手段２７によって検出された人物の顔領域が複数の場合には、特定対象領域輝度ヒストグラム（顔領域輝度ヒストグラム）から算出される特定対象領域画像データの前記平均輝度ポイントを、前記検出された複数の顔領域の輝度中心とすることができる。

あるいは、特定対象領域検出手段２７によって検出された人物の顔領域が複数の場合には、検出された複数の顔領域に優先順位を設定し、特定対象領域輝度ヒストグラム（顔領域輝度ヒストグラム）から算出される特定対象領域画像データの前記平均輝度ポイントを、最も優先順位の高い顔領域の輝度中心とすることができる。ここで、優先順位は、例えば、顔領域の大きさ、または、顔までの距離に基づいて設定される。このように、検出された顔の中で最も主要な人物の顔の輝度ヒストグラム情報を使用する場合には、最も主要な人物の顔を最適な明るさにすること、および主要な人物の顔部分の階調を最適にすることが可能となる。

また、本発明では、後述のように特別なハードウェアを実装せずに実現でき、領域毎にトーンカーブを求めそれぞれを補正して、補正した画像を合成する方法に比べて、演算量も少なく、十分に高速である。

前述したように、本発明の画像処理装置は、図２の例においては、ＣＰＵによって実現される。

そして、本発明を実施するための上述した各形態で説明した画像処理装置および画像処理方法における処理は、図２の例においては、ＣＰＵに実現させるプログラム（画像処理プログラム）の形で提供することができる。

また、本発明を実施するための上述した最良の形態で説明した画像処理装置における処理を例えばＣＰＵに実現させるためのプログラムは、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を解して、インターネット等のネットワークを介して配布することができる。

なお、上述の説明では、本発明の画像処理が適用される撮像装置がデジタルカメラであるとして説明したが、本発明の画像処理が適用される撮像装置は、必ずしもデジタルカメラに限定されない。

本発明の画像処理が適用される撮像装置としてのデジタルスチルカメラの外観図である。 デジタルスチルカメラのハードウェア構成例を示す図である。 本発明の画像処理装置の構成例を示す図である。 画像データの一例を示す図である。 図４の画像データの特定対象領域輝度ヒストグラム（人物の顔領域Ｆの画像データの輝度ヒストグラム（顔領域輝度ヒストグラム））の例を示す図である。 本発明の第１の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明のトーンカーブ生成手段によって生成された図６の新たなトーンカーブを適用して画像を補正したときの輝度ヒストグラムを示す図である。 図４の画像全体の輝度ヒストグラム（全体輝度ヒストグラム）の例を示す図である。 本発明の第２の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明の第２の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明の第３の形態におけるトーンカーブ生成手段の処理動作を説明するための図である。 本発明のトーンカーブ生成処理の具体例を示すフローチャートである。

符号の説明

２１ 画像サイズ変換手段
２２ 輝度ヒストグラム算出手段
２３ トーンカーブ生成手段
２４ 画像補正手段（トーンマップ処理手段）
２７ 特定対象領域検出手段
２８ 特定対象領域輝度ヒストグラム算出手段

Claims (18)

1. 輝度情報を有する画像データ全体から特定対象領域を検出する特定対象領域検出手段と、
   輝度情報を有する画像データ全体のうち、前記特定対象領域検出手段で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出手段と、
   トーンカーブを生成するトーンカーブ生成手段と、
   トーンカーブ生成手段によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正手段とを有し、
   前記トーンカーブ生成手段は、初期のトーンカーブが予め与えられているときに、前記特定対象領域輝度ヒストグラムから算出した特定対象領域画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   さらに、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出手段を有し、
   前記トーンカーブ生成手段は、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
   分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
   分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
5. 請求項３記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
6. 請求項３記載の画像処理装置において、
   前記トーンカーブ生成手段は、
   ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴とする画像処理装置。
7. 請求項１乃至請求項６のいずれか一項に記載の画像処理装置において、前記特定対象領域検出手段は、前記特定対象領域として人物の顔領域を検出するようになっており、前記特定対象領域輝度ヒストグラム算出手段は、特定対象領域画像データとして人物の顔領域の画像データの輝度ヒストグラムを特定対象領域輝度ヒストグラムとして算出することを特徴とする画像処理装置。
8. 請求項７記載の画像処理装置において、前記特定対象領域検出手段によって検出された人物の顔領域が複数の場合には、前記特定対象領域輝度ヒストグラムから算出される特定対象領域画像データの前記平均輝度ポイントは、前記検出された複数の顔領域の輝度中心であることを特徴とする画像処理装置。
9. 請求項７記載の画像処理装置において、前記特定対象領域検出手段によって検出された人物の顔領域が複数の場合には、前記検出された複数の顔領域に優先順位を設定し、前記特定対象領域輝度ヒストグラムから算出される特定対象領域画像データの前記平均輝度ポイントは、最も優先順位の高い顔領域の輝度中心であることを特徴とする画像処理装置。
10. 請求項９記載の画像処理装置において、前記優先順位は、顔領域の大きさ、または、顔までの距離に基づいて設定されることを特徴とする画像処理装置。
11. 輝度情報を有する画像データ全体から特定対象領域を検出する特定対象領域検出工程と、
    輝度情報を有する画像データ全体のうち、前記特定対象領域検出工程で検出された特定対象領域画像データの輝度に関するヒストグラムを特定対象領域輝度ヒストグラムとして算出する特定対象領域輝度ヒストグラム算出工程と、
    トーンカーブを生成するトーンカーブ生成工程と、
    トーンカーブ生成工程によって生成されたトーンカーブにより画像データを補正して出力画像データとする画像補正工程とを有し、
    前記トーンカーブ生成工程では、初期のトーンカーブが予め与えられているときに、特定対象領域輝度ヒストグラムから算出した特定対象領域画像データの平均輝度ポイントを入力値とした時のトーンカーブ上の対応出力値が前記初期のトーンカーブの出力値変域幅の中央値となる様に前記初期のトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法。
12. 請求項１２記載の画像処理方法において、
    さらに、輝度情報を有する画像データ全体の輝度に関するヒストグラムを全体輝度ヒストグラムとして算出する全体輝度ヒストグラム算出工程を有し、
    前記トーンカーブ生成工程では、前記初期のトーンカーブを補正した後、前記特定対象領域画像データの平均輝度ポイントを境にして全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域に分割するとともに、前記特定対象領域画像データの平均輝度ポイントおよび前記出力値変域幅の中央値を境にして、前記補正されたトーンカーブを前記２つの輝度領域に対応した２つのトーンカーブに分割し、
    分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法。
13. 請求項１２記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントを境にして前記各輝度領域における全体輝度ヒストグラムを高輝度側と低輝度側との２つの輝度領域にさらに分割するとともに、前記各輝度領域における全体輝度ヒストグラムから算出した平均輝度ポイントおよび各トーンカーブの出力値変域幅の中央値を境にして、各トーンカーブをさらに分割し、
    分割されたそれぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを算出し、それぞれの輝度領域における全体輝度ヒストグラムの平均輝度ポイントを入力値としたときの、各輝度領域に対応するそれぞれのトーンカーブ上の対応出力値が、それぞれのトーンカーブの出力値変域幅の中央値となる様に、それぞれのトーンカーブを補正して、新たなトーンカーブを生成することを特徴とする画像処理方法。
14. 請求項１３記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、所定回数繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
15. 請求項１３記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を、
    整数値での輝度領域の分割ができなくなるまで繰り返して行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
16. 請求項１３記載の画像処理方法において、
    前記トーンカーブ生成工程では、
    ある輝度領域について整数値での分割ができなくなったときには、整数値での分割ができる輝度領域についてのみ、前記輝度領域およびトーンカーブの分割処理、および、前記トーンカーブの補正処理を行い、新たなトーンカーブを生成することを特徴とする画像処理方法。
17. 請求項１１乃至請求項１６のいずれか一項に記載の画像処理方法における処理をコンピュータに実現させるための画像処理プログラム。
18. 請求項１乃至請求項１０のいずれか一項に記載の画像処理装置を用いたことを特徴とする撮像装置。

Images