JP2017011327A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】高コントラストで、かつ良好な画質のＨＤＲ画像を生成できるようにする。【解決手段】まず、アンダー露出画像に対しては、ゲインマップを生成してゲイン処理を行い、その後、現像処理を行う。次に、適正露出画像に対しては、アンダー露出画像用のゲインマップを用いて適正露出画像用のゲインマップに変換し、そのゲインマップを用いてゲイン処理を行い、その後現像処理も行う。そして、現像処理後のアンダー露出画像と適正露出画像とで位置合わせを行い、アンダー露出画像のゲインマップから合成比率を求め、その合成比率に基づいて２つの画像を合成してＨＤＲ画像を得る。【選択図】図１

Description

本発明は、特に、ダイナミックレンジを拡大した画像を生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、露出の異なる複数枚の画像を位置合わせして合成することにより、ダイナミックレンジが拡大された画像を実現するＨＤＲ（ハイダイナミックレンジ）技術が知られている。ところがＨＤＲ技術では、露出の異なる画像を合成する際に、画面の明るさが異なることによって生じうるトーンジャンプが目立たないように合成する必要があった。そこで従来は、露出の異なる画像をトーンカーブにより階調圧縮しつつ明るさを合わせて画像合成を行うことによって、トーンジャンプが目立ちにくい、ダイナミックレンジが拡大された画像を生成していた。しかしながら、トーンカーブによって階調圧縮と明るさ合わせと行うと、コントラストが低下してしまう問題があった。

このような問題に対し、例えば、特許文献１及び２に記載の方法では、高コントラストなＨＤＲ画像を生成するために、異なる露出の画像を合成した後、合成後の輝度分布の画像からゲイン特性を決定して階調処理を行う技術が開示されている。

特開２０１２−２９０２９号公報 特開２０１０−９８６１６号公報

しかしながら、上述の特許文献１及び２に開示された従来技術では、合成後の画像に再度、ゲイン処理等で階調処理を行うため、ノイズ量が増大してしまうという問題がある。そこで、ノイズ量の増大を抑制するために、合成後にノイズリダクション処理を行うことが考えられる。しかしながら、複数枚の画像を位置合わせするために画像変形を行うことにより、画面内で変形量に応じた帯域劣化が発生する問題がある。そのため、位置合わせして合成した画像に対し、ノイズリダクション処理及びエッジ強調処理を最適に行うのは困難であるという問題がある。

本発明は前述の問題点に鑑み、高コントラストで、かつ良好な画質のＨＤＲ画像を生成できるようにすることを目的としている。

本発明に係る画像処理装置は、互いに露出の異なる複数の画像を入力する入力手段と、前記入力手段により入力された複数の画像に係るゲイン情報をそれぞれ生成する生成手段と、前記生成手段により生成されたゲイン情報に基づいて、前記複数の画像に対してそれぞれゲイン処理を行うゲイン処理手段と、前記ゲイン処理手段によってゲイン処理された複数の画像に対して、それぞれ現像処理を行う現像処理手段と、前記現像処理手段によって現像処理された複数の画像を合成する合成手段と、を備えることを特徴とする。

本発明によれば、高コントラストで、かつ良好な画質のＨＤＲ画像を生成することができる。

実施形態に係る画像処理装置の構成例を示すブロック図である。 画像処理部内におけるアンダー露出画像を処理するための機能構成例を示すブロック図である。 画像処理部内における適正露出画像を処理するための機能構成例を示すブロック図である。 画像処理部内におけるＨＤＲ画像を生成するための機能構成例を示すブロック図である。 ゲインＭＡＰ変形部の詳細な構成例を示すブロック図である。 位置合わせ処理部の詳細な構成例を示すブロック図である。 アンダー露出画像に対する画像処理手順の一例を示すフローチャートである。 適正露出画像に対する画像処理手順の一例を示すフローチャートである。 ＨＤＲ画像を生成する処理手順の一例を示すフローチャートである。 ゲインＭＡＰ変形部による詳細な処理手順の一例を示すフローチャートである。 位置合わせ処理部による詳細な処理手順の一例を示すフローチャートである。 合成用αマップの一例を示す図である。 ゲインテーブル及び座標毎のゲインを説明するための図である。 露出の異なる２枚の画像からＨＤＲを生成する例を説明するための図である。 被写体に対して２枚の画像を撮影した例を示す図である。 歪曲収差補正及び射影変換を説明するための図である。

以下に、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、図１４に示すように、適正露出で撮影された適正露出画像と適正露出よりもアンダーな露出で撮影されたアンダー露出画像との２枚の画像を用いてダイナミックレンジの広いＨＤＲ画像を生成する処理について説明する。

図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像データに変換する。

画像処理部１０４は、通常の信号処理の他に、本実施形態におけるＨＤＲ合成処理を行う。ＨＤＲ合成処理の詳細については後述する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像データのみでなく、記録部１１０から読み出した画像データに対しても同様の画像処理を行うことができる。なお、画像処理部１０４の詳細な構成については後述する。

露光量算出部１０５は、階調処理を行って最適な入力画像を得るために、撮影時の露光量を算出する部分である。露光量を算出する際には、画像処理部１０４の処理結果を入力して露光量を算出し、露光量制御部１０６に出力する。露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現するために、光学系１０１と撮像部１０２とを制御して、絞り、シャッタースピード、及びセンサーのアナログゲインを制御する。

システム制御部１０７は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えており、本実施形態に係る画像処理装置１００全体の動作を制御、統括する制御機能部である。また、システム制御部１０７は、画像処理部１０４で処理された画像データから得られる輝度値や操作部１０８から入力された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。さらにシステム制御部１０７は、表示部１０９に画像等を表示する表示制御を行ったり、処理後の画像データを圧縮して記録部１１０に記録する制御を行ったりする。

表示部１０９は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像データや、記録部１１０から読み出した画像データに係る画像を表示する。記録部１１０は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、及び記録部１１０の間でデータのやり取りを行うために用いられる。

次に、画像処理部１０４内の処理の説明について詳細に説明する。本実施形態の画像処理部１０４が行うＨＤＲ合成処理は、撮影されたアンダー露出画像に対する処理、撮影された適正露出画像に対する処理、及びこれらの２枚の画像からＨＤＲ画像を生成する処理の３つに分けられる。

まず、画像処理部１０４における処理のうち、撮影されたアンダー露出画像に対する処理に関わる部分について説明を行う。
図２は、画像処理部１０４内におけるアンダー露出画像を処理するための機能構成例を示すブロック図である。処理の概要としては、撮影されたアンダー露出画像におけるゲイン情報としてゲインマップを生成し、ゲインマップを用いてゲイン処理を行った後、現像処理を行うことにより、アンダー露出の出力画像を生成する。

図２に示すように、撮影されたアンダー露出画像に対する処理を行うための構成として、階調特性算出部２０１、ゲインＭＡＰ生成部２０２、ゲインＭＡＰ記録部２０３、ゲイン処理部２０４、及び現像処理部２０５を備えている。以下、これらの各構成が行う処理について、図７のフローチャートを参照しながら説明する。

図７は、アンダー露出画像に対する画像処理手順の一例を示すフローチャートである。
まず、撮像部１０２から得られたアンダー露出画像が画像処理部１０４に入力されると処理を開始し、ステップＳ７０１において、階調特性算出部２０１は、ゲインマップを生成するために必要な情報である階調特性を算出する。本実施形態における階調特性は、図１３（ａ）に示すように、横軸が入力信号で、縦軸がゲイン信号を表すゲインテーブルとする。ゲインテーブルの算出方法は、被写体情報を用いて算出する公知の技術や、予め決められた階調特性をそのままゲインテーブルとして読み出す等、方法は限定しない。

続いてステップＳ７０２において、ゲインＭＡＰ生成部２０２は、ステップＳ７０１において算出された階調特性と、入力されたアンダー露出画像とを用いて、ゲインマップを生成する。ここで、ゲインマップとは、図１３（ｂ）に示すように座標（ｘ，ｙ）に対応するゲインGain(x,y)を画像サイズ分示したものである。なお、図１３（ｂ）において、Ｗは画像の水平画素数を示し、Ｈは画像の垂直画素数を示している。ゲインマップの生成方法としては、解像度の異なる画像を用いる処理や、Retinex処理等の周波数帯域の異なる画像を用いた生成方法を用いる。なお、本実施形態では、ゲイン情報として、画像内の各座標とゲインとの関係をマップ化したゲインマップを生成しているが、画像内の各座標とゲインとの関係を示すゲイン情報であれば、マップ化されていなくてもよい。

次に、ステップＳ７０３において、ゲインＭＡＰ生成部２０２は、ステップＳ７０２において生成されたゲインマップをゲインＭＡＰ記録部２０３に記録する。記録したゲインマップは後に、適正露出画像に対する処理と、ＨＤＲ画像を生成する処理とで用いられる。

次に、ステップＳ７０４において、ゲイン処理部２０４は、ステップＳ７０２において生成されたゲインマップを元に、入力されたアンダー露出画像に対してゲイン処理を行う。座標（ｘ，ｙ）のゲイン処理前のアンダー露出画像の入力信号をin(x,y)、ゲインマップによるゲイン値をGain(x,y)とすると、ゲイン処理後のアンダー露出画像の出力信号out(x,y)は、以下の式（１）により算出される。

次にステップＳ７０５において、現像処理部２０５は、ステップＳ７０４においてゲイン処理された画像に対し、ノイズリダクション処理、エッジ強調処理、ガンマ処理等を含めた現像処理を行う。この現像処理においては、ステップＳ７０１で算出した階調特性やステップＳ７０２で生成したゲインマップに応じて、ノイズリダクション処理やエッジ強調処理のパラメータを変更してもよい。

次に、画像処理部１０４における処理のうち、撮影された適正露出画像に対する処理に関わる部分について説明を行う。
図３は、画像処理部１０４内における適正露出画像を処理するための機能構成例を示すブロック図である。処理の概要としてンダー露出画像の処理と大きく異なる部分は、ゲインマップを新たに生成せずに、アンダー露出画像の処理で生成したゲインマップを読み出し、変形、変換したゲインマップをゲイン処理に適用する点である。

図３に示すように、撮影された適正露出画像に対する処理を行うための構成として、ゲインＭＡＰ記録部３０１、ゲインＭＡＰ変形部３０２、ゲインＭＡＰ変換部３０３、ゲイン処理部３０４、及び現像処理部３０５を備えている。なお、ゲインＭＡＰ記録部３０１は、図２のゲインＭＡＰ記録部２０３と同じ構成である。以下、これらの各構成が行う処理について、図８のフローチャートを参照しながら説明する。

図８は、適正露出画像に対する画像処理手順の一例を示すフローチャートである。
まず、撮像部１０２から得られた適正露出画像が画像処理部１０４に入力されると処理を開始し、ステップＳ８０１において、ゲインＭＡＰ変形部３０２は、アンダー露出画像を元に生成したゲインマップをゲインＭＡＰ記録部３０１から読み出す。

続いてステップＳ８０２において、ステップＳ８０１で読み出したゲインマップがアンダー露出画像の位置に対応しているため、ゲインＭＡＰ変形部３０２は、適正露出画像の位置に対応させるように、ゲインマップを変形させる処理を行う。ここで、適正露出画像の位置とは画像上の座標を指しており、アンダー露出画像と適正露出画像とで撮影時間が異なり、手振れの影響等により位置がずれてしまうため、位置を対応させる処理を行う必要がある。ステップＳ８０２に対応するゲインＭＡＰ変形部３０２の詳細な処理については後述する。

次に、ステップＳ８０３において、ゲインＭＡＰ変換部３０３は、ステップＳ８０２において適正露出画像の位置に対応させるように変形させたゲインマップのゲイン値を、アンダー露出画像向けから適正露出画像向けに変換する処理を行う。ここで、座標（ｘ，ｙ）における変形後のゲインマップの値をGain＿in(x,y)とし、変換後のゲインマップの値をGain＿out(x,y)とする。また、アンダー露出画像に対する適正露出の露出段差をΔevとすると、ゲインマップの変換は以下の式（２）により行われる。

次に、ステップＳ８０４において、ゲイン処理部３０４は、ステップＳ８０３において変換されたゲインマップを元に、適正露出画像に対しゲイン処理を行う。ゲイン処理の内容は、前述のステップＳ７０４と同様であるため、詳細な説明は省略する。

そして、ステップＳ８０５において、現像処理部３０５は、ステップＳ８０４においてゲイン処理された画像に対し、ノイズリダクション処理、エッジ強調処理、ガンマ処理等を含めた現像処理を行う。現像処理の内容は前述のステップＳ７０５と同様であるため、詳細な説明は省略する。

次に、ステップＳ８０２におけるゲインＭＡＰ変形部３０２の詳細な処理内容について説明を行う。前述したように、ゲインＭＡＰ変形部３０２は、アンダー露出画像の位置に対応しているゲインマップから適正露出画像の位置に対応させるようにゲインマップを変形させる処理を行う。

図１５は、被写体に対して２枚の画像を撮影した例を示す図である。また、図１６（ａ）は、第１の撮影をアンダー露出画像の撮影とし、第２の撮影を適正露出画像とした場合の２枚の撮影画像を示す図である。
図１６（ａ）に示すそれぞれの撮影画像は、図１６（ｂ）に示すように、レンズの歪曲収差を含んだ状態で撮影されている。そのため、第１の撮影で得られたアンダー露出画像と、第２の撮影で得られた適正露出画像との位置を合わせるには、図１６（ｃ）に示すように歪曲収差を補正し、その後、図１６（ｄ）に示すように、射影変換を用いて変形する必要がある。

また、本実施形態におけるアンダー露出画像及び適正露出画像に対する歪曲収差補正は、詳細は後述するが、ゲイン処理かつ現像処理後に行うため、ゲイン処理の時点では歪曲収差を含んだ画像が用いられている。そのため、適正露出画像の位置に対応させるようにゲインマップを変形させるためには、アンダー露出画像の位置に対応する歪曲収差補正を行った後に射影変換し、さらに適正露出画像の位置に対応する歪曲収差を加える必要がある。なお、歪曲収差補正や射影変換を現像処理後に行う理由としては、画像変形によって帯域むらが生じると、ノイズリダクション処理やエッジ強調処理を最適に行うことができないためである。

図５は、ゲインＭＡＰ変形部３０２の詳細な構成例を示すブロック図である。
図５に示すように、ゲインＭＡＰ変形部３０２は、歪曲収差判定部５０１、歪曲収差補正部５０２、射影変換部５０３、及び歪曲収差付加部５０４を備えている。以下、図１０のフローチャートを参照しながらゲインＭＡＰ変形部３０２の処理について説眼する。

図１０は、ステップＳ８０２におけるゲインＭＡＰ変形部３０２による詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１００１において、歪曲収差判定部５０１は、レンズ情報等を入力し、歪曲収差補正が必要か否かを判定する。この判定の結果、歪曲収差補正が必要な場合はステップＳ１００２へ進み、歪曲収差補正が不要な場合はステップＳ１００３へ進む。

ステップＳ１００２においては、歪曲収差補正部５０２は、入力されたゲインマップに対し、歪曲収差補正処理を行う。歪曲収差の補正方法は、光学中心の座標からの像高に応じた補正量のテーブルを元に、座標移動を行うことにより補正する等、公知の方法を用いる。このとき、光学中心の座標はアンダー露出画像の撮影時の光学中心の座標を指すものとする。

次にステップＳ１００３において、射影変換部５０３は、ステップＳ１００２において歪曲収差が補正されたゲインマップ、もしくは入力されたゲインマップに対して、適正露出画像の位置に合わせるために、射影変換を行う。射影変換では、以下の式（３）の様な一般的な式を用いる。ここで、射影変換係数ａ₀〜ａ₇は、移動ベクトルの検出結果を用いた最小二乗法や、ジャイロセンサー情報等を用いて算出するものとする。なお、位置合わせの方法として射影変換に限らず、アフィン変換や台形変換等を用いてもよい。

次に、ステップＳ１００４において、歪曲収差付加部５０４は、レンズ情報等を入力し、歪曲収差の付加が必要か否かを判定する。この判定の結果、歪曲収差の付加が必要な場合はステップＳ１００５へ進み、歪曲収差の付加が不要な場合はゲインＭＡＰ変形部３０２の処理を終了する。この判定では、ステップＳ１００１で歪曲収差の補正が必要と判定したか否かによって歪曲収差の付加が必要か否かを判定する。

ステップＳ１００５においては、歪曲収差付加部５０４は、ステップＳ１００３において適正露出画像の位置に合わせたゲインマップに対し、歪曲収差補正前の適正露出画像の位置に合わせるために、歪曲収差を付加する。歪曲収差の付加の方法は、光学中心の座標からの像高に応じた補正量のテーブルを元に、歪曲収差補正後の座標から歪曲収差補正前の座標に変換するといった方法を用いる。歪曲収差を付加する際の前記光学中心の座標は、適正露出画像撮影時の光学中心の座標を指すものとする。

以上の処理を行うことにより、アンダー露出画像の位置に対応しているゲインマップから適正露出画像の位置に対応させるようにゲインマップを変形させることができる。

次に、画像処理部１０４における処理のうち、現像処理後のアンダー露出画像と適正露出画像とからＨＤＲ画像を生成する処理に関わる部分について、説明を行う。
図４は、画像処理部１０４内におけるＨＤＲ画像を生成するための機能構成例を示すブロック図である。処理の概要としては、現像処理後のアンダー露出画像と適正露出画像との間で位置合わせを行うとともに、記録されているゲインマップを元に、αマップと呼ばれる合成比率を示したマップを生成する。そして、位置合わせ済のアンダー露出画像と適正露出画像とをαマップに応じて合成することにより、最終出力であるＨＤＲ画像を生成する。

図４に示すように、ＨＤＲ画像を生成する処理を行うための構成として、ゲインＭＡＰ記録部４０１、位置合わせ処理部４０２、合成用αＭＡＰ生成部４０３、及び合成処理部４０４を備えている。なお、ゲインＭＡＰ記録部４０１は、図２のゲインＭＡＰ記録部２０３と同じ構成である。以下、これらの各構成が行う処理について、図９のフローチャートを参照しながら説明する。

図９は、ＨＤＲ画像を生成する処理手順の一例を示すフローチャートである。
まず、現像処理後のアンダー露出画像及び適正露出画像が画像処理部１０４に入力されると処理を開始し、ステップＳ９０１において、位置合わせ処理部４０２は、アンダー露出画像を元に生成したゲインマップをゲインＭＡＰ記録部４０１から読み出す。

続いてステップＳ９０２において、位置合わせ処理部４０２は、入力されたアンダー露出画像、適正露出画像、及びゲインマップの位置合わせを行う。なお、この処理の詳細については後述する。

次に、ステップＳ９０３において、合成用αＭＡＰ生成部４０３は、ステップＳ９０２において位置合わせを行ったゲインマップを元に、アンダー露出画像と適正露出画像との合成比率を示すαマップを生成する。ここで、アンダー露出画像と適正露出画像との合成比率の関係について、図１２を用いて説明する。

図１２において、縦軸は合成比率を示し、横軸はゲインを示している。なお、横軸のゲインとは、アンダー露出画像にかけるゲイン、つまりゲインマップの値である。アンダー露出画像におけるゲインが大きければ大きい程、ノイズが画質に影響するため、適正露出画像の合成比率を高くする。反対に、アンダー露出画像におけるゲインが小さければ小さい程、適正露出画像では飽和している可能性が高いため、アンダー露出画像の合成比率を高くする。本実施形態では、アンダー露出画像の合成比率の値をαとし、ゲインマップの値に応じてαの値に変換することにより、例えば図１２に示すような合成用αマップを生成する。

ステップＳ９０４においては、合成処理部４０４は、ステップＳ９０３において生成された合成用αマップを元に、ステップＳ９０２において位置合わせを行ったアンダー露出画像と適正露出画像とを合成し、最終出力のＨＤＲ画像を生成する。この処理では、座標（ｘ，ｙ）のアンダー露出画像の画素値をpix＿u(x,y)とし、適正露出画像の画素値をpix＿t(x,y)とし、αマップの値をα（ｘ，ｙ）とする。この場合、合成後のＨＤＲ画像の画素値pix＿hdr(x,y)は、以下の式（４）により算出することができる。但し、０≦α（ｘ，ｙ）≦１とする。

以上の処理を行うことにより、現像処理後のアンダー露出画像と適正露出画像とからＨＤＲ画像を生成することができる。

次に、ステップＳ９０２における位置合わせ処理部４０２の詳細な処理内容について説明を行う。この処理では、位置合わせ処理部４０２は、入力されたアンダー露出画像、適正露出画像、及びゲインマップをアンダー露出画像の位置に合わせる処理を行う。

図６は、位置合わせ処理部４０２の詳細な構成例を示すブロック図である。
図６に示すように、位置合わせ処理部４０２は、歪曲収差判定部６０１、歪曲収差補正部６０２、及び射影変換部６０３を備えている。以下、図１１のフローチャートを参照しながら、位置合わせ処理部４０２の処理について説明する。

図１１は、ステップＳ９０２における位置合わせ処理部４０２による詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、歪曲収差判定部６０１は、レンズ情報等を入力し、歪曲収差補正が必要か否かを判定する。この判定の結果、歪曲収差補正が必要な場合はステップＳ１１０２へ進み、歪曲収差補正が不要な場合はステップＳ１１０３へ進む。

次に、ステップＳ１１０２において、歪曲収差補正部６０２は、入力されたアンダー露出画像、適正露出画像、及びゲインマップに対して歪曲収差補正を行う。歪曲収差の補正方法は、前述のステップＳ１００２と同様であるため、説明は省略する。
次に、ステップＳ１１０３において、射影変換部６０３は、適正露出画像に対し、アンダー露出画像の位置に合わせるために射影変換を行う。射影変換の方法は、前述のステップＳ１００３と同様であるため、説明は省略する。なお、位置合わせの方法として射影変換に限らず、アフィン変換や台形変換等を用いてもよい。以上のような手順により、入力されたアンダー露出画像、適正露出画像、及びゲインマップの位置合わせを行うことができる。

以上のように本実施形態によれば、画像変形を行って合成する前にゲイン処理を行うため、変形や合成による帯域を発生させないまま現像処理を行うことができる。このため、高コントラストでかつ高画質のＨＤＲ画像を生成することができる。なお、本実施形態では、１枚のアンダー露出画像と１枚の適正露出画像とを合成してＨＤＲ画像を生成する例について説明したが、さらにオーバー露出画像を合成してＨＤＲ画像を生成してもよい。この場合、オーバー露出画像については適正露出画像と同様の処理を行うことによって実現することができる。

（その他の実施形態）
本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 画像処理部
１０７ システム制御部

Claims (15)

1. 互いに露出の異なる複数の画像を入力する入力手段と、
   前記入力手段により入力された複数の画像に係るゲイン情報をそれぞれ生成する生成手段と、
   前記生成手段により生成されたゲイン情報に基づいて、前記複数の画像に対してそれぞれゲイン処理を行うゲイン処理手段と、
   前記ゲイン処理手段によってゲイン処理された複数の画像に対して、それぞれ現像処理を行う現像処理手段と、
   前記現像処理手段によって現像処理された複数の画像を合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記現像処理手段によって現像処理された複数の画像の間で位置合わせを行う位置合わせ手段をさらに有し、
   前記合成手段は、前記位置合わせ手段によって位置合わせが行われた複数の画像を合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置合わせ手段は、前記現像処理手段によって現像処理された複数の画像に対して歪曲収差を補正した後に位置合わせを行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記位置合わせ手段は、レンズ情報に基づいて前記複数の画像の歪曲収差を補正するか否かを判定し、補正すると判定した場合に前記複数の画像に対して歪曲収差を補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記複数の画像の中の１枚の画像に係るゲイン情報を生成し、前記生成したゲイン情報に基づいて前記複数の画像の中の残りの画像に係るゲイン情報を生成することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記複数の画像の中の１枚の画像に係るゲイン情報を、解像度または周波数帯域の異なる画像を用いて生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記複数の画像の中の残りの画像に係るゲイン情報を生成する際に、前記複数の画像の間で位置が調整されたゲイン情報を生成することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記生成手段は、前記複数の画像の中の残りの画像に係るゲイン情報を生成する際に、前記１枚の画像に係るゲイン情報の歪曲収差を補正して射影変換し、前記補正した歪曲収差を付加することによって前記複数の画像の間で位置が調整されたゲイン情報を生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、レンズ情報に基づいて前記ゲイン情報の歪曲収差を補正するか否かを判定し、補正すると判定した場合に前記１枚の画像に係るゲインマップの歪曲収差を補正することを特徴とする請求項８に記載の画像処理装置。
10. 前記１枚の画像は、最も露出が小さい画像であることを特徴とする請求項５〜９の何れか１項に記載の画像処理装置。
11. 前記合成手段は、前記複数の画像の中の１枚の画像に係るゲイン情報に基づいて、前記複数の画像に対する合成比率を算出し、前記算出した合成比率に基づいて合成を行うことを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
12. 前記現像処理は、ノイズリダクション処理及びエッジ強調処理を含むことを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 前記ゲイン情報は、画像内の各座標とゲインとの関係を示す情報であることを特徴とする請求項１〜１２の何れか１項に記載の画像処理装置。
14. 互いに露出の異なる複数の画像を入力する入力工程と、
    前記入力工程において入力された複数の画像に係るゲイン情報をそれぞれ生成する生成工程と、
    前記生成工程において生成されたゲイン情報に基づいて、前記複数の画像に対してそれぞれゲイン処理を行うゲイン処理工程と、
    前記ゲイン処理工程においてゲイン処理された複数の画像に対して、それぞれ現像処理を行う現像処理工程と、
    前記現像処理工程において現像処理された複数の画像を合成する合成工程と、
    を備えることを特徴とする画像処理方法。
15. 互いに露出の異なる複数の画像を入力する入力工程と、
    前記入力工程において入力された複数の画像に係るゲイン情報をそれぞれ生成する生成工程と、
    前記生成工程において生成されたゲイン情報に基づいて、前記複数の画像に対してそれぞれゲイン処理を行うゲイン処理工程と、
    前記ゲイン処理工程においてゲイン処理された複数の画像に対して、それぞれ現像処理を行う現像処理工程と、
    前記現像処理工程において現像処理された複数の画像を合成する合成工程と、
    をコンピュータに実行させることを特徴とするプログラム。