WO2012063634A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

１つの撮影画像に基づいて広ダイナミックレンジ画像を生成する装置および方法を提供する。画素部の行単位等、画素領域単位で異なる露光時間に設定する露光時間制御を実行し、異なる露光時間に設定した画素の画素値である複数の異なる画素情報を取得する。例えば長時間露光画素から高感度画素情報、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいて出力画像の画素値を算出する。例えば高輝度領域では、感度画素情報が飽和値となる可能性があるので低感度画素情報の重みを大きく設定し、また低輝度領域では低感度画素情報のＳＮ比が悪いと推定されるので、高感度画素情報の重みを大きく設定して出力画素値を決定する。

Description

画像処理装置、撮像装置、および画像処理方法、並びにプログラム

　本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、ダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

　このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

　しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

　このような処理を実現する手法として、連続的に露光時間の異なる複数の画像を撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。

　例えば特許文献１（特開２００８－９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０－６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

　例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。

　時間ｔ０～ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

　しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。

　そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２～ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２～短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。

　なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。

　このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

　さらに、特許文献２（特開２０００－５０１５１号公報）は、特許文献１に記載の構成と同様、異なる露光量の複数画像を撮影し、その合成処理に際して、異なる露光量の複数画像を比較して動きのあった画素領域を特定して補正を行って、合成に伴う偽色の発生を抑制する構成を開示している。

　しかしながら、上記の特許文献１，２に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。この処理を行うため、少なくとも画像１枚分のデータを保持するフレームメモリが必要となり、コストアップを招くという問題があった。また画像処理を行うＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）では、異なる露光時間の２つの画像データを入力して処理を行うことが必要となる。結果として高機能なプロセッサが必要となり、この点においてもカメラのコストアップを招くという問題があった。

　また、少なくとも２枚の画像の撮影を実行しなければらならないため、撮影時間と処理時間に多くの時間が必要となるという問題がある。また動く被写体がある場合には２枚の画像の撮影期間に被写体の動きが発生すると、良好な画像の合成ができず出力する合成画像の品質が低下するという問題もあった。

特開２００８－９９１５８号公報 特開２０００－５０１５１号公報

　本発明は、例えば、上述の問題点に鑑みてなされたものであり、異なる露光時間の画像を個別に撮影することなく、１回の撮影画像を用いてダイナミックレンジの広い画像の生成を可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本発明の第１の側面は、
　画素または画素領域単位の露光時間制御を実行する制御部と、
　前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素部と、
　前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成部を有する画像処理装置にある。

　さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画素部の行単位で露光時間制御を実行し、前記画素部は、複数の異なる行から異なる露光時間の画素情報を出力し、前記画素情報合成部は、複数の異なる行から入力する複数の画素情報を利用した演算処理により出力画像の１つの画素の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素部は、長時間露光領域から高感度画素情報を出力し、短時間露光領域から低感度画素情報を出力し、前記画素情報合成部は、前記出力画像の画素値の算出処理において、長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報とに対して被写体明るさに応じた重みを設定した加算処理を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光領域から入力する高感度画素情報が既定の閾値以上である場合、前記高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値未満である場合、前記低感度画素情報の重みをゼロまたは小さく設定し、長時間露光領域から入力する高感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値以上である場合、長時間露光領域から入力する高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画素部の２行単位で長時間露光領域と短時間露光領域とを設定した露光時間制御を実行し、前記画素部は、前記長時間露光領域と短時間露光領域の各々から少なくとも１つ以上の画素情報を出力し、前記画素情報合成部は、前記長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報の各々から入力する少なくとも１つ以上の画素情報を利用した演算処理により出力画像の１つの画素の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画素部の行単位のシャッタ制御により、行単位の露光時間制御を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画素部の色単位のシャッタ制御により、色単位の露光時間制御を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素部から出力される長時間露光領域の高感度画素の画素値に相当するデジタル値をカウントするカウンタと、前記カウンタのカウントする高感度画素の画素値が既定閾値未満である場合、該高感度画素の画素値を前記出力画像の算出用画素値として選択出力し、前記カウンタのカウントする高感度画素の画素値が既定閾値以上である場合、該高感度画素と同一色の短時間露光領域の低感度画素の画素値を前記出力画像の算出用画素値として選択出力する出力選択部を有する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素部は、長時間露光領域から高感度画素情報を出力し、短時間露光領域から低感度画素情報を出力し、前記長時間露光と短時間露光の間の露光時間である中時間露光領域から中感度画素情報を出力し、前記画素情報合成部は、前記出力画像の画素値の算出処理において、前記高感度画素情報と低感度画素情報と中感度画素情報に、被写体明るさに応じた重みを設定して演算処理を実行して出力画像の画素値を算出する。

　さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像の各画素の画素値のビット削減処理を実行する諧調変換部を有する。

　さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する信号処理を実行する信号処理部を有する。

　さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する符号化処理を実行するコーデックを有する。

　さらに、本発明の画像処理装置の一実施態様において、前記画素部は、３×３画素領域以上の領域から同一色の異なる露光時間の画素情報を出力する構成である。

　さらに、本発明の画像処理装置の一実施態様において、前記画素部は、ベイヤー配列またはＲＧＢＷ配列を有する。

　さらに、本発明の第２の側面は、
　撮像部と、
　請求項１から１６いずれかに記載の処理を実行する画像処理部を有する撮像装置にある。

　さらに、本発明の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　制御部が、画素または画素領域単位の露光時間制御を実行する制御ステップと、
　画素部が、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素情報出力ステップと、
　画素情報合成部が、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成ステップを実行する画像処理方法にある。

　さらに、本発明の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　制御部に、画素または画素領域単位の露光時間制御を実行させる制御ステップと、
　画素部に、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力させる画素情報出力ステップと、
　画素情報合成部に、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出させる画素情報合成ステップを実行させるプログラムにある。

　なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本発明の一実施例の構成によれば、１つの撮影画像に基づいて広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素部の行単位等、画素領域単位で異なる露光時間に設定する露光時間制御を実行し、異なる露光時間に設定した画素の画素値である複数の異なる画素情報を取得する。例えば長時間露光画素から高感度画素情報、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいて出力画像の画素値を算出する。例えば高輝度領域では、感度画素情報が飽和値となる可能性があるので低感度画素情報の重みを大きく設定し、また低輝度領域では低感度画素情報のＳＮ比が悪いと推定されるので、高感度画素情報の重みを大きく設定して出力画素値を決定する。
　これらの処理により、１つの撮影画像に基づく広ダイナミックレンジ画像の生成が実現される。

複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。 本発明の画像処理装置の構成例を示す図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。 本発明の実施例１に係る画像処理装置における画素情報合成処理の具体例について説明する図である。 高感度画素と低感度画素の明るさと出力との対応関係と、低感度画素の出力の調整処理としてのゲイン制御について説明する図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの画素部の露光時間制御処理例について説明する図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。 本発明の実施例１に係る画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。 本発明の実施例２に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。 本発明の実施例２に係る画像処理装置における撮像デバイスの出力選択部の構成と処理について説明する図である。 本発明の実施例２に係る画像処理装置の撮像デバイスにおいて実行する画素情報合成画像の画素値決定シーケンスについて説明するフローチャートを示す図である。 本発明の実施例３に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。 本発明の実施例３に係る画像処理装置の撮像デバイスに設定された諧調変換部の実行する処理の具体例について説明する図である。 本発明の実施例４に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。 本発明の実施例５に係る画像処理装置における撮像デバイスの画素部の構成と露光制御処理について説明する図である。 本発明の実施例５に係る画像処理装置における撮像デバイスの画素部の露光制御処理の具体例について説明する図である。 本発明の実施例６に係る画像処理装置における撮像デバイスの画素部の構成と露光制御処理について説明する図である。 本発明の実施例７に係る画像処理装置における撮像デバイスの構成と画素情報合成処理について説明する図である。 本発明の実施例８に係る画像処理装置における撮像デバイスの構成について説明する図である。

　以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
　１．画像処理装置の全体構成例について
　２．画像処理装置の具体的構成と処理の実施例について
　　（２－１．実施例１）
　　　　～
　　（２－８．実施例８）

　　［１．画像処理装置の全体構成例について］
　まず、本発明の画像処理装置の全体構成例について図２を参照して説明する。
　図２は、本発明の画像処理装置の一例である撮像装置の構成を示すブロック図である。光学レンズ１０１を通して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。
　以下、撮像デバイスの構成と処理を中心として、複数の実施例について説明する。

　　［２．画像処理装置の具体的構成と処理の実施例について］
　　（２－１．実施例１）
　まず、本発明の画像処理装置の実施例１に係る撮像デバイスの構成と処理について説明する。
　実施例１の撮像デバイス１０２は、図３に示すように画素部２０１と、演算部２０２を有する。
　画素部２０１は、例えばＲＧＢ画素からなるベイヤー配列の画素配列の各画素における光電変換によって、露光時間に応じた電荷情報を出力する。本実施例１の構成において、画素部２０１は制御部１０５の制御（シャッタ制御）により、画素領域単位（例えば行（ライン）単位）で異なる露光時間に設定される。長時間露光のなされる行からは長時間露光に基づく蓄積電化に対応する高感度画素情報２５１が出力される。また、短時間露光のなされる行からは短時間露光に基づく蓄積電化に対応する低感度画像情報２５２を出力する。露光時間の制御構成の具体例については後段で詳細に説明する。なお、撮像デバイス内に制御部を設定し、撮像デバイスにおける処理制御は、撮像デバイス内の制御部の制御によって実行する構成としてもよい。

　演算部２０２は、画素部２０１から出力される高感度画素情報２５１と、低感度画像情報２５２を入力し、これらの入力情報に基づいて１つの画像情報を生成する画素情報合成部２１１を有する。画素情報合成部２１１の出力が信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

　図４は、本発明の実施例１の撮像デバイスの画素情報合成部において実行する合成処理の例を示す図である。
　図４には、
　（ａ）画素部の撮影画像
　（ｂ）画素情報合成部の合成処理によって生成される出力画像
　これらを示している。
　なお、（ａ），（ｂ）とも撮影画像あるいは画素情報合成画像の一部領域のみを示した図である。

　図４（ａ）に示す画素部の撮影画像は、図３の撮像デバイス１０２の画素部２０１の構成に対応する図である。本例において、画素部２０１のカラーフィルタの配列はベイヤー配列であり、Ｒ，Ｇｂ，Ｇｒ，Ｂ画素が規定の配列に従って設定された構成を持つ。

　図３の撮像デバイス１０２の演算部２０２の画素情報合成部２１１は、図４（ａ）に示す画素部２０１の複数の画素情報を合成して、図４（ｂ）に示す画素情報合成画像を生成して次段の信号処理部１０３に出力する。

　図４には、異なる感度を持つ画素、すなわち２つの高感度画素と２つの低感度画素の計４つの画素から、出力画像の１つの画素の画素値を決定する処理例を示している。
　すなわち、本実施例において画素情報合成部２１１は画素部２０１において撮影される画像に含まれる４画素に基づいて、出力画像の１画素の画素値を決定する。この処理により、画素部の画素数の１／４の画素数の出力画像を生成して出力する。

　図４（ｂ）に示す画素情報合成部２１１が生成する出力画像の左上段の画素Ｇｂ（ｏｕｔ）の画素値は、図４（ａ）に示す撮影画像である画素部２０１の左上段の４つの画素、すなわち、Ｇｂ（０，０）、Ｇｂ（１，０）、Ｇｂ（０，１）、Ｇｂ（１，１）、これらの４つの画素の画素値に基づいて算出される。

　図４（ａ）画素部の撮影画像の左側に示すように、この撮影画像は、２行単位で、高感度画素領域、低感度画素領域が交互に設定される。
　高感度画素領域は、長時間露光を行う領域であり、
　低感度画素領域は、短時間露光を行う領域である。
　本実施例の構成では、このように、画素部２０１の行単位で露光時間制御を行い、２行単位で高感度画素領域と、低感度画素領域を交互に設定した画像を撮影する。画素情報合成部２１１は、これら高感度画素領域中の画素の画素値と、低感度領域中の画素の画素値を入力して１つの出力画素の画素値を決定する。

　一例として、図４（ｂ）の画素情報合成画像の左上段の画素Ｇｂ（ｏｕｔ）の画素値の算出例について説明する。画素情報合成部２１１は、図４（ｂ）の画素情報合成画像の左上段の画素Ｇｂ（ｏｕｔ）の画素値を、図４（ａ）の撮影画像の左上段の４つの画素、すなわち、
　高感度画素：Ｇｂ（０，０）、Ｇｂ（１，０）と、
　低感度画素：Ｇｂ（０，１）、Ｇｂ（１，１）、
　これら２つの高感度画素と２つの低感度画素の画素値に基づいて算出する。

　画素情報合成部２１１は、同様の画素値算出処理を、図４（ｂ）の画素情報合成画像のすべての画素、すなわち、Ｇｂ（ｏｕｔ）、Ｇｒ（ｏｕｔ）、Ｂ（ｏｕｔ）、Ｒ（ｏｕｔ）について実行する。すなわち、これらのすべての出力画像の画素値を、図４（ａ）の撮影画像の２つの高感度画素と２つの低感度画素の画素値を利用して算出する。ただし、１つの出力画素値を算出する際、４つの入力画素の画素値の寄与度（配分比率）は一定ではなく、例えば被写体の明るさに依存して決定する等の処理を行う。この処理については後段で説明する。

　また、図４に示す例では、２行単位で高感度画素領域と、低感度画素領域を交互に設定した例を示しているが、これは一例であり、画素領域の切り替え単位は２行以外の設定としてもよい。

　画素情報合成部２１１の画素値算出処理例について、図４（ｂ）に示すＧｂ（ｏｕｔ）の画素値算出を例として説明する。
　図４（ｂ）に示すＧｂ（ｏｕｔ）の画素値は例えば以下の式（式１）に従って算出する。
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　・・・・・（式１）
　ただし、
　Ｇｂ（ｘ，ｙ）は、撮影画像の（ｘ，ｙ）座標位置における画素値、
　Ｇａｉｎ：感度比を補償するゲイン値（既定値）、
　α，β，γ，ε：入力画素の寄与度を設定する係数であり、α＋β＋γ＋ε＝１の関係を満たす係数、
　である。

　このように、画素情報合成部２１１は、図４（ｂ）に示す出力画像の画素位置に対応する位置の入力画像の複数の画素から、少なくとも高感度画素と低感度画素を含む複数画素の画素値を入力して、上記式に従って図４（ｂ）に示す画素情報合成画像の各画素値を算出する。本実施例では、２つの高感度画素と２つの低感度画素の画素値を入力して、上記式に従って図４（ｂ）に示す画素情報合成画像の各画素値を算出する。

　Ｇｂ以外のＧｒ、Ｒ、Ｂについても、上記（式１）と同様の画素値算出処理を実行する。
　すなわち、図４（ｂ）の出力画像のＧｒ（ｏｕｔ）の画素値は、画素情報合成画像のＧｒ（ｏｕｔ）の画素位置に対応する撮影画像の画素領域における高感度画素領域の２つのＧｒ画素値と低感度画素領域の２つのＧｒ画素値を利用して算出する。
　図４（ｂ）の出力画像のＲ（ｏｕｔ）の画素値は、画素情報合成画像のＲ（ｏｕｔ）の画素位置に対応する撮影画像の画素領域における高感度画素領域の２つのＲ画素値と低感度画素領域の２つのＲ画素値を利用して算出する。
　図４（ｂ）の出力画像のＢ（ｏｕｔ）の画素値は、画素情報合成画像のＢ（ｏｕｔ）の画素位置に対応する撮影画像の画素領域における高感度画素領域の２つのＢ画素値と低感度画素領域の２つのＢ画素値を利用して算出する。

　上記（式１）に示すように、出力画像の画素値算出処理に際しては、入力画像である撮影画像の４つの画素値に対して係数α，β，γ，εに従った重みづけ平均を用いた処理を行っている。

　式中のＧａｉｎは、感度差を補償するための係数である。
　例えば、低感度画素：高感度画素の感度比が１：４である場合、低感度画素からの出力には４倍のゲインを与え、上記式（式１）において、
　Ｇａｉｎ＝４．０
　として設定する。
　これにより、明るさに対する線形性が保たれ、ワイドダイナミックレンジを実現することができる。

　図５は、ゲイン制御について説明する図である。
　低感度画素：高感度画素の感度比が１：４である場合、図５に示すように、低感度画素からの出力に対して４倍のゲインを与えて、低感度画素の出力を高感度画素の出力と整合させる。

　上記（式１）のα、β、γ、εは、前述したように各画素の寄与度を設定する係数である。この係数：α、β、γ、εの値は、出力画素の色、例えばＧｂ、Ｇｒ、Ｂ、Ｒ各々に対してそれぞれ異なる値を用いてもよい。また、被写体の明るさに応じて変更する設定としてもよい。

　例えば、明るい被写体に対しては、高感度画素の画素値が飽和状態、すなわち最大画素値となり、正確な画素値を反映できない場合がある。このような場合は、
　例えば、上記（式１）において、
　α＝β＝０として、高感度画素のＧｂ（０，０）とＧｂ（１，０）の画素値を適用せず、
　γ＋ε＝１として、低感度画素のＧｂ（０，１）とＧｂ（１，１）の画素値のみを適用して出力画素値を算出する処理を実行する。

　すなわち、上記の（式１）は、
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　＝［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　として、
　出力画素の画素値：Ｇｂ（ｏｕｔ）を、低感度画素のＧｂ（０，１）とＧｂ（１，１）の画素値のみを適用して算出する。
　このような処理により、飽和した高感度画素の画素値の影響を受けずに、低感度画素の有効画素値情報のみを用いて出力画素値を設定することができる。

　上記（式１）におけるＧａｉｎの値と、例えば被写体の明るさに応じたα、β、γ、εの設定値、あるいはこれらの値の算出処理アルゴリズムについては予め規定し、撮像装置内のメモリに格納しておく。あるいはハードウェアとして実装しておく。画素情報合成部２１１は、例えばメモリ格納値やハードウェア、またはアルゴリズムを適用してＧａｉｎ値と、係数：α、β、γ、εを取得または算出し、上記（式１）に従って出力値、すなわち画素情報合成画像の構成画素の画素値を算出する。

　図６は、画素部２０１の高感度画素領域と低感度画素領域との露光時間の制御例について説明する図である。
　図６の縦軸が画素部の画素行を示し、横軸が経過時間を示している。縦軸の行は、最上部が画素部の第１行であり、以下、下に向かって下位の行（行番号＝２，３，４，５・・・）となる。
　横軸の時間は、右方向に進むに従って時間が経過していることを示す。

　図６は、低感度画素：高感度画素の感度比が１：４である場合における、高感度画素領域と低感度画素領域の露光時間の制御処理例を示している。
　本例において、高感度画素の露光時間は低感度画素の露光時間の４倍に設定される。

　高感度画素領域と低感度画素領域を設定するため、電子シャッタの露光時間を行単位で制御している。例えば、図３に示す撮像デバイス１０２の画素部２０１として利用されるＣＭＯＳイメージャーは、行単位の電子シャッタ制御が可能な構成を持つ。すなわち、行単位で任意の露光時間を設定可能な構成である。例えば図３に示す制御部１０５から撮像デバイス１０２の画素部２０１に対して出力される制御信号に基づいて行単位の露光時間制御が実行される。

　図６に示す露光時間制御例は、図４（ａ）の画素部の撮影画像の左側に示すように２行単位で高感度画素領域と低感度画素領域を交互に設定した構成に対応する露光時間制御例である。
　１行目と２行目とが長時間の露光処理がなされる高感度画素領域となる。
　３行目と４行目とが短時間の露光処理がなされる低感度画素領域となる。
　以下の５行目以降も２行単位で長時間露光処理が実行される高感度画素領域と、短時間露光処理が実行される低感度画素領域が交互に設定される。

　図６に示すように、
　１行目と２行目、５行目と６行目等の高感度画素領域では、第１行のシャッタ開始（露光開始）時間ｔ１から、順次、上位行から下位行に向かって露光が開始される。時間ｔ１からの右下がり点線（Ｓ１）が高感度画素行（行番号＝１，２，５，６，・・・）の各行のシャッタ開始（露光開始）位置を示している。なお、シャッタの開閉動作は、上位行から順次、下位行に向けて実行されるので、下位行に進むに従って処理時間が遅れる。この影響でラインが右下がりに設定される。

　３行目と４行目、７行目と８行目等の低感度画素領域では、第３行のシャッタ開始（露光開始）時間ｔ２から、順次、上位行から下位行に向かって露光が開始される。時間ｔ２からの右下がり点線（Ｓ２）が低感度画素行（行番号＝３，４，７，８，・・・）の各行のシャッタ開始（露光開始）位置を示している。なお、シャッタの開閉動作は、上位行から順次下位行に向けて実行されるので、下位行に進むに従って処理時間が遅れる。この影響でラインが右下がりに設定される。

　さらに、図６の右端の右下がり点線（Ｅ１）が、各画素に蓄積された電荷の読み出し開始（露光終了）位置を示している。この画素値読み出し処理は、高感度画素行（１，２，５，６，・・・）と、低感度画素行（３，４，７，８，・・・）の区別なく、すべての行について実行される。時間ｔ３から、第１行の読み出しが開始され、以下、第２，３，４，５，６，７・・・の各行について、時間経過に従って下位行に向けて全ての行の画素値（蓄積電荷）の読み出しが行われる。

　すなわち、図６に示すシャッタ制御は、以下のような制御となる。
　高感度画素行（１，２，５，６，・・・）の露光開始時間を早め（ｔ１）に設定し、
　低感度画素行（３，４，７，８，・・・）の露光開始時間を遅れて（ｔ２）設定する。
　さらに、読み出し（露光終了）を時間（ｔ３）から上位行から順次実行する。
　この処理により、高感度画素行（１，２，５，６，・・・）の露光時間を、低感度画素行（３，４，７，８，・・・）の露光時間より長く（本例では４倍）設定し、各画素から異なる露光時間に基づく蓄積電荷（画素値）を取得することを可能としている。

　図４、図６を参照して説明したように本実施例では、２行毎に露光時間の長短を変えている。露光時間が長い方が高感度、露光時間の短い方が低感度となる。

　図７は、図６に示す露光制御の結果として画素情報合成部２１１が生成する合成画像、すなわち画素情報合成画像の生成処理の例を説明する図である。
　（式１）や図４を参照して説明したように、図３に示す画素情報合成部２１１は、複数の画素の画素値を適用して、図４（ｂ）に示す出力画像の１つの画素の画素値を決定する。

　画素情報合成部２１１は、合成画像の画素値算出式である（式１）、すなわち、
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　上記式に従って、撮影画像の複数の画素値から１つの画素値を算出する。

　先に説明したように、上記式中の係数：α、β、γ、εは、例えば被写体の明るさに応じて変更する設定としてよい。例えば、明るい被写体に対しては、高感度画素の画素値が飽和状態、すなわち最大画素値となり、正確な画素値を反映できない場合がある。このような場合は、α＝β＝０として、高感度画素のＧｂ（０，０）とＧｂ（１，０）の画素値を適用せず、γ＋ε＝１として、低感度画素のＧｂ（０，１）とＧｂ（１，１）の画素値のみを適用して出力画素値を算出する処理を実行する。

　図７は、このような処理態様について、３つの処理態様を示している。すなわち、
　（１）明るい被写体（高感度画素が飽和値）
　（２）中位の被写体（高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上）
　（３）暗い被写体（高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満）
　これらの被写体の撮影領域に対応する合成処理の態様を説明する図である。

　各処理態様について説明する。
　（１）明るい被写体（高感度画素が飽和値）
　図７（１）に示すように被写体が明るく、高感度画素が飽和値である場合は、高感度画素の画素値は、画素部の各画素において蓄積可能な最大電荷量に対応する最大画素値となり、正確な画素値を反映できない状態にある。

　このような場合は、高感度画素の画素値は、画素情報合成画像の出力画素の画素値算出に適用しない。この図７（１）に示す例では、先に説明した（式１）における係数：α、β、γ、εの設定は以下のような設定となる。
　すなわち、α＝β＝０として、高感度画素のＧｂ（０，０）とＧｂ（１，０）の画素値を適用せず、γ＋ε＝１として、低感度画素のＧｂ（０，１）とＧｂ（１，１）の画素値のみを適用して出力画素値を算出する処理を実行する。

　すなわち、例えば、図４におけるＧｂ（ｏｕｔ）の算出処理において、
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　＝［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　上記のように、高感度画素の画素値：Ｇｂ（０，０），Ｇｂ（１，０）を利用せず、低感度画素の画素値：Ｇｂ（０，１）Ｇｂ（１，１）のみを適用して画素情報合成画像の出力画素値を算出する。

　図７（１）に示す例では、
　α＝β＝０
　γ＋ε＝１
　上記制約を満たす範囲で、様々な設定が可能である。一例として、例えば、
　γ＝ε＝０．５
　このような設定として、低感度画素２画素の平均値を画素情報合成画像における１つの出力画素の画素値として設定してもよい。

　（２）中位の被写体（高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上）
　図７（２）に示すように、明るさが中位の被写体、すなわち、高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上である場合は以下の処理を行う。
　高感度画素、低感度画素とも正確な画素値を反映していると判断できるため、どちらかを選択して利用して画素情報合成画像の画素値として設定してもよいし、すべてを利用したブレンド処理を実行して画素情報合成画像の画素値を算出してもよい。

　この場合、先に説明した（式１）における係数：α、β、γ、εの設定は、
　α＋β＋γ＋ε＝１
　上記制約を満たす範囲で、様々な設定が可能である。一例として、例えば、
　α＝β＝γ＝ε＝０．２５
　このような設定として、高感度画素２画素と低感度画素２画素の計４画素の平均値を画素情報合成画像における１つの出力画素の画素値として設定してもよい。

　（３）暗い被写体（高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満）
　図７（３）に示すように、暗い被写体、すなわち、高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満である場合は以下の処理を行う。
　低感度画素の画素値は、予め定めた許容ＳＮ比未満であり、正確な画素値を反映していると言えない。このような場合は、低感度画素の画素値を適用せず、高感度画素の画素値のみに基づいて画素情報合成画像の出力画素値を算出する。

　この場合、先に説明した（式１）における係数：α、β、γ、εの設定は、
　γ＝ε＝０
　α＋β＝１
　とする。
　すなわち、例えば、図４におけるＧｂ（ｏｕｔ）の算出処理において、
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×γ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×ε］
　＝［Ｇｂ（０，０）×α］＋［Ｇｂ（１，０）×β］
　上記のように、低感度画素の画素値：Ｇｂ（０，１）Ｇｂ（１，１）を利用せず、高感度画素の画素値：Ｇｂ（０，０），Ｇｂ（１，０）のみを適用して画素情報合成画像の出力画素値を算出する。

　γ＝ε＝０
　α＋β＝１
　上記制約を満たす範囲で、様々な設定が可能である。一例として、例えば、
　α＝β＝０．５
　このような設定として、高感度画素２画素の平均値を画素情報合成画像における１つの出力画素の画素値として設定してもよい。

　図７を参照して説明したように、画素情報合成部２１１は生成する画素情報合成画像の各画素値の決定に際して、被写体の明るさによって、高感度画素と低感度画素のどちらかを使うか、両方を使うかを決めることになる。明るい場合は、高感度画素が飽和（無効）している場合があり、この際は、低感度画素の情報をそのまま使うのが好ましいが、両方の画素情報が有効である場合にはどちらを使うか、ＳＮ比を考慮して決めるのがよい。

　画素情報合成部２１１の処理の具体例について、図８を参照して説明する。
　図８に示す処理は、画素情報合成部２１１の実行する処理の１つのシーケンス例である。図８に示す例では、以下のシーケンスで画素情報合成画像の画素値算出を実行している。

　まず、ステップＳ１１において、縦方向の２画素に基づく中間的な合成画素値を算出する。
　次に、ステップＳ１２において、縦方向の２画素に基づく中間的な合成画素値同士を利用して最終的に出力する画像の画素値算出を実行する。

　すなわち、ステップＳ１１において、１つの高感度画素と１つの低感度画素のみを選択して中間的な合成画素値を算出し、その後、ステップＳ１２において、これら中間的な合成画素値に基づいて最終的に出力する画像の画素値算出を実行している。

　このシーケンスを実行する場合の各画素の寄与度に対応する重み係数の設定例について図９を参照して説明する。
　図９（１）には、図８のステップＳ１１における縦方向の２画素に基づく中間的な合成画素値を算出する処理に適用する演算と係数の例を示している。
　図９（２）には、図８のステップＳ１２における２つの中間的な合成画素値に基づく最終的な画素値算出処理に適用する演算例を示している。

　図９（１）に示すように、図８のステップＳ１１における縦方向の２画素に基づく中間的な合成画素値の算出処理として実行する演算は、以下のような演算となる。
　出力［Ｇｂ（１）］＝［Ｇｂ（０，０）×Ｗ_Ｈ］＋［Ｇｂ（０，１）×（Ｇａｉｎ）×Ｗ_Ｌ］
　　・・・・・（式２）

　なお、上記（式２）は、先に図４を参照して説明した画素情報合成画像の画素値：Ｇｂ（ｏｕｔ）の算出処理において、図８のステップＳ１１において実行する１つの中間的な合成画素値［Ｇｂ（１）］の算出式を示している。

　もう１つの中間的な合成画素値［Ｇｂ（２）］の算出は、以下の式に従って実行される。
　出力［Ｇｂ（２）］＝［Ｇｂ（１，０）×Ｗ_Ｈ］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×Ｗ_Ｌ］
　　・・・・・（式３）

　上記（式２）、（式３）において、
　Ｇｂ（ｘ，ｙ）は、撮影画像の（ｘ，ｙ）座標位置における画素値、
　Ｇａｉｎ：感度比を補償するゲイン値（既定値）、
　Ｗ_Ｈ：入力画素の高感度画素に対応する重み係数、
　Ｗ_Ｌ：入力画素の低感度画素に対応する重み係数、
　ただし、Ｗ_Ｈ＋Ｗ_Ｌ＝１の関係を満たす係数、
　である。

　図９（１）には、入力画素の高感度画素に対応する重み係数Ｗ_Ｈと、低感度画素に対応する重み係数Ｗ_Ｌの設定例を示している。
　ここでは、低感度画素の画素値に応じて、異なる係数を利用する設定としている。
　具体的には、例えば図９（１）に示す以下の設定の係数を利用する。
　なお、各画素の画素値は１０ｂｉｔ（０～１０２３）の出力であるとする。
　低感度画素の画素値（ｄａｔａ）に応じて以下の設定とする。
　（ａ）０≦ｄａｔａ＜５０の場合：Ｗ_Ｈ＝１．０、Ｗ_Ｌ＝０
　（ｂ）５０≦ｄａｔａ＜１００の場合：Ｗ_Ｈ＝０．５、Ｗ_Ｌ＝０．５
　（ｃ）１００≦ｄａｔａ＜１０２３の場合：Ｗ_Ｈ＝０、Ｗ_Ｌ＝１．０

　この係数設定は、以下のような想定に基づくものである。
　（ａ）０≦ｄａｔａ＜５０の場合
　このように、低感度画素の画素値（ｄａｔａ）が小さい場合、被写体の明るさが低く、低感度画素の画素値のＳＮ比が低いと推定される。この場合、低感度画素の画素値（ｄａｔａ）の信頼度が低いと判断され、また、近傍の高感度画素の画素値が飽和していないと推定される。このような場合は、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを０として、高感度画素の画素値に対する乗算係数：Ｗ_Ｈを１として、高感度画素の画素値のみに依存した中間的な合成画素の画素値［Ｇｂ（１）］を算出する。

　（ｂ）５０≦ｄａｔａ＜１００の場合
　このように、低感度画素の画素値（ｄａｔａ）が中程度である場合、被写体の明るさが中程度であり、低感度画素の画素値のＳＮ比が良好であると推定される。この場合、低感度画素の画素値（ｄａｔａ）の信頼度が高いと判断され、また、近傍の高感度画素の画素値も飽和していないと推定される。このような場合は、低感度画素の画素値と高感度画素の画素値をブレンドする。すなわち、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを０．５として、高感度画素の画素値に対する乗算係数：Ｗ_Ｈも０．５として、高感度画素と低感度画素の２つの画素値の平均により中間的な合成画素の画素値［Ｇｂ（１）］を算出する。

　（ｃ）１００≦ｄａｔａ＜１０２３の場合
　このように、低感度画素の画素値（ｄａｔａ）が高い場合、被写体の明るさが極めて明るいと判断される。この場合、低感度画素の画素値のＳＮ比は良好であり、低感度画素の画素値（ｄａｔａ）の信頼度が高いと判断されるが、近傍の高感度画素の画素値は飽和している可能性が高いと推定される。このような場合は、高感度画素の画素値に対する乗算係数：Ｗ_Ｈを０として、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを１として、低感度画素の画素値のみに依存した中間的な合成画素の画素値［Ｇｂ（１）］を算出する。

　このように、低感度画素情報を利用して係数の設定を行うことができる。なお、ここでは簡便化のため３種類としたが、低感度画素情報に基づいて重みを算出する関数を予め設定して、図３に示す画素情報合成部２１１が画素部２０１から入力する低感度画素情報２５２に基づいて既定の関数を適用した演算を実行して係数Ｗ_Ｈ、Ｗ_Ｌを算出する構成としてもよい。

　図９（２）には。図８のステップＳ１２の処理、すなわち、２つの中間的な合成画素値に基づく最終的な画素値算出処理に適用する演算例を示している。
　この図９（２）に示すように、図８のステップＳ１２における中間的な合成画素値に基づく最終的な画素値算出処理として実行する演算は、以下のような演算となる。
　出力［Ｇｂ（ｏｕｔ）］＝［Ｇｂ（１）×０．５］＋［Ｇｂ（２）×０．５］
　　・・・・・（式４）

　なお、上記（式４）は、先に図４を参照して説明した画素情報合成画像の画素値：Ｇｂ（ｏｕｔ）の算出処理において、図８のステップＳ１２において実行する２つの中間的な合成画素値に基づく最終的な画素値算出処理の算出式を示している。
　ここでは２つの中間的な合成画素値の単純平均によって、最終的な画素値算出を行う例を示している。

　なお、図８，図９を参照して説明した画素情報合成画像の画素値算出処理例は一例であり、例えば、重み係数の設定時に加算による重心のずれを補償する係数を設定するなど、その他の様々な処理が可能である。

　また、例えば、図２を参照して説明したＲ，Ｇｒ，Ｇｂ，Ｂの画素からなるベイヤー配列等の画素構成を持つ場合、画素情報合成画像の各画素の算出に適用する重み係数、例えばＷ_Ｈ，Ｗ_Ｌを個別に算出してもよいが、先行処理した近傍画素の算出済みの重みの値を利用する構成としてもよい。

　この算出済み重み係数の利用例について図１０を参照して説明する。
　図１０に示す例は、画素情報合成部において先行して出力画像のＧｂ画素の算出が実行され、その後にＢ画素の算出を行う場合の処理例について説明する図である。

　図１０において、中間的な合成画素値［Ｇｂ（１）］、［Ｇｂ（２）］の算出は、先に、図９（１）を参照して説明した係数設定に従い、以下の式に従って実行される。
　出力［Ｇｂ（１）］＝［Ｇｂ（０，０）×Ｗ_Ｈ１＋［Ｇｂ（０，１）×（Ｇａｉｎ）×Ｗ_Ｌ１］
　出力［Ｇｂ（２）］＝［Ｇｂ（１，０）×Ｗ_Ｈ２］＋［Ｇｂ（１，１）×（Ｇａｉｎ）×Ｗ_Ｌ２］

　出力［Ｇｂ（１）］の算出式に示される係数、Ｗ_Ｈ１、Ｗ_Ｌ１は、図９（１）を参照して説明した係数の設定態様に従って設定された係数である。
　出力［Ｇｂ（２）］の算出式に示される係数、Ｗ_Ｈ２、Ｗ_Ｌ２も、図９（１）を参照して説明した係数の設定態様に従って設定された係数である。

　これらの係数が既に算出されている場合、画素情報合成画像におけるＢ画素の算出に利用する係数、すなわち、図１０に示す画素Ｂ（ｐ）と、画素Ｂ（ｑ）に乗算する重み係数を、上記の［Ｇｂ（１）］の算出式に利用した係数、Ｗ_Ｈ１、Ｗ_Ｌ１と、［Ｇｂ（２）］の算出式に利用した係数、Ｗ_Ｈ２、Ｗ_Ｌ２とを利用して算出する構成としてもよい。

　例えば、図８のステップＳ１１に対応する処理として、Ｂの中間的な合成画素値Ｂ（１）を算出式は、以下の算出式となる。
　出力［Ｂ（１）］＝［Ｂ（ｐ）×Ｗ_Ｈｂ＋［Ｂ（ｑ）×（Ｇａｉｎ）×Ｗ_Ｌｂ］
　このような算出式となる。

　この式において利用する係数Ｗ_Ｈｂ、Ｗ_Ｌｂを例えば以下のようにして算出する。
　Ｗ_Ｈｂ＝（Ｗ_Ｈ１＋Ｗ_Ｈ２）／２
　Ｗ_Ｌｂ＝（Ｗ_Ｌ１＋Ｗ_Ｌ２）／２
　このように、Ｂの重みづけの係数を、Ｇｂの係数に基づいて算出する構成としてもよい。

　重み係数を、出力画像の各画素の色によって大きく変化させずに安定化させる処理は、結果として、出力画像の各画素の色によって高感度、低感度、どちらの画素情報の寄与度を高くするかを色に応じて大きく変化させずに安定化させることになる。これは出力画像における画素領域の露光時間を均一化して安定化させることにつながり、結果として撮影している物体が動いた場合など、露光期間のずれによる偽色の発生を防ぐことに貢献する。

　　（２－２．実施例２）
　次に、本発明の実施例２として、ＡＤ変換回路において複数の画素から一つの画素を選択して、選択画素に基づいて出力画像の画素値の設定を行う構成を持つ撮像デバイスの構成と処理例について説明する。

　図１１は、本発明の実施例２に係る撮像デバイス３００の構成例を示す図である。撮像デバイス３００は、図に示すように画素部３０１、出力選択部３０２、演算部３０３を有する。出力選択部３０２は、図１２に示すように、画素部３０１の各列からの出力画素に対する個別の出力選択部３０２ａ，３０２ｂ・・・として構成されており、各出力選択部はコンパレータ３２１、カウンタ３２２、判定部３２３を有する構成となっている。演算部３０３は画素情報合成部３１１を有する。

　なお、画像処理装置（撮像装置）の全体構成は、実施例１と同様、先に図２を参照して説明した構成を持つ。図１１には示していないが、画素部３０１、出力選択部３０２、演算部３０３には、図２に示す制御部１０５からの制御信号が入力され、各種の制御が実行される。

　画素部３０１の構成と処理は、実施例１と同様であり、
　長時間露光がなされる高感度画素行と、短時間露光がなされる低感度画素行とが２行単位で設定される。
　露光処理は、実施例１と同様、先に図６を参照して説明したと同様のシャッタ制御によって行われ、２行単位で長時間露光がなされる高感度画素行と、短時間露光がなされる低感度画素行が設定される。
　ただし、本処理例では、露光後の蓄積電荷の読み出しシーケンスが、先の実施例１とは異なる。

　先の実施例１では、図６を参照して説明したように、第１行から、２，３，４，５・・・の各行について、上から順番に読み出しを行っていた。
　これに対して、実施例２では、図１１に示すように、読み出し順が以下のような設定となる。
　第１行（高感度画素行）、
　第３行（低感度画素行）、
　第２行（高感度画素行）
　第４行（低感度画素行）、
　第５行（高感度画素行）
　第７行（低感度画素行）、
　第６行（高感度画素行）
　　：
　上記のように、
　高感度画素行と、低感度画素行とを交互に上から読み出す処理を実行する。

　このようにして読み出される画素値（蓄積電荷）は、出力選択部３０２のコンパレータ３２１に順次、出力される。コンパレータ３２１には、各列各々において、同じ色の高感度画素値と低感度画素値が順次、入力される。

　例えば、左端の列（第１列）では、
　まず、高感度画素行である第１行の［Ｇｂ（０，０）］が入力され、次に、低感度画素行である第３行の同じ色の［Ｇｂ（０，１）］が入力される。
　同様に、第２列では、高感度画素行である第１行の［Ｂ］が入力され、次に、低感度画素行である第３行の同じ色の［Ｂ］が入力される。
　このように、コンパレータ３２１には、各列各々において、同じ色の画素値について、先に高感度画素値が入力され、その後に低感度画素値が入力される。

　コンパレータ３２１は、各画素からの出力電荷量に基づくデジタルデータを生成してカウンタ３２２に出力する。本実施例では、各画素について１０ｂｉｔ（０～１０３２）のデジタル画素値を出力可能な設定として説明する。
　コンパレータ３２１は、各画素について、
　画素値＝０～１０２３
　この範囲のデジタルデータを各画素からの出力電荷量に応じて設定してカウンタ３２２に出力する。
　コンパレータ３２１は、まず高感度画素の画素値を示すデジタルデータを生成してカウンタ３２２に出力し、その後、同じ色の低感度画素の画素値を示すデジタルデータをカウンタ３２２に出力する。

　カウンタ３２２は、まず、先行してコンパレータ３２１から入力する高感度画素のデジタル値をカウントする。
　判定部３２３は、先行してコンパレータ３２１から入力する高感度画素のデジタル値が１０ｂｉｔ（０～１０３２）の半分の値である５１２以上となったか否かを判定する。高感度画素のデジタル値が５１２以上である場合、高感度画素情報、すなわち高感度画素の画素値を示すデジタルデータを破棄（初期化）する。

　次いで、低感度画素が読みだされ、低感度画素の画素情報がカウンタ３２２にデジタル値として入力される。その後、このデジタル値を出力する。

　一方、高感度画素のデジタル値が５１２未満である場合は、カウンタ３２２は高感度画素情報をそのまま保持し、低感度画素の情報で上書きされないようにする。

　この処理は、高感度画素のデジタル値が５１２以上である場合、高感度画素が飽和している可能性があり、また、低感度画素情報のＳＮ比も良好なものであるとの判断に従って、高感度画素情報を破棄して、低感度画素情報をカウンタ３２２に入力するものである。
　一方、高感度画素のデジタル値が５１２未満である場合、高感度画素が飽和している可能性はなく、また、低感度画素情報のＳＮ比が悪いとの判断に従って、高感度画素情報をカウンタ３２２にそのまま保持させる。
　なお、上記説明では、どちらを選択するかの判定閾値を半分の画素値として説明したが、閾値の値は、撮像素子の性能等によって決めることになる。

　このように、ＡＤ変換回路部を構成する出力選択部としてのコンパレータ３２１、カウンタ３２２、判定部３２３において画素情報の選択を行い、その後、先に説明した実施例１と同様、横方向の画素情報を合成（図８のステップＳ１２の処理）し、一つの画像情報として出力する。なお、縦方向の選択までを撮像素子内で行い、横方向を撮像素子の外部のＬＳＩで処理してもよい。

　図１３に示すフローチャートは、図１１に示す本発明の実施例２に係る撮像デバイス３００における画素値選択処理のシーケンスを説明するフローチャートである。
　まず、ステップＳ１０１において、コンパレータ３２１が、先行して画素部３０１から読み取られる高感度画素の画素値のデジタルデータを生成する。なお、図１３に示すフローではＧｂの画素の読み取り処理例として説明している。

　ステップＳ１０２において、カウンタ３２２が、コンパレータ３２１から入力する高感度画素の画素値のデジタルデータをカウントして、１０ｂｉｔ（０～１０２３）の半分の５１２未満であるか否かを判定する。

　高感度画素の画素値のデジタルデータが５１２未満である場合は、ステップＳ１０３に進み、一方、５１２以上である場合は、ステップＳ１０５に進む。

　高感度画素の画素値のデジタルデータが５１２未満である場合は、ステップＳ１０３に進み、高感度画素の画素値のデジタルデータを保持し、次の入力値である同じ色の低感度画素の画素値に対応するデータで上書きされないようにする。
　次に、ステップＳ１０４に進み、高感度画素の画素値のデジタル値を出力する。

　一方、ステップＳ１０２において、高感度画素の画素値のデジタルデータが５１２以上であると判定された場合は、ステップＳ１０５に進み、高感度画素の画素値対応データを破棄し、次の入力値である同じ色の低感度画素の画素値に対応するデジタル値を保持する。
　次に、ステップＳ１０６に進み、低感度画素の画素値のデジタル値を出力する。

　このように、本実施例では、画素部から、同じ色の高感度画素の画素値と低感度画素の画素値を続けて読み出し、先行して読み出す高感度画素の画素値が規定の閾値（例えば最大値の半分の値）未満であれば、高感度画素の画素値を選択出力し、高感度画素の画素値が規定の閾値（例えば最大値の半分の値）以上であれば、低感度画素の画素値を選択出力する。

　この処理により、明るい画素領域では、低感度画素の画素値を選択出力し、比較的暗い領域では高感度画素の画素値を選択出力する構成が実現され、飽和画素値やＳＮ比の悪い画素値が棄却され、精度の高い画素値を選択して出力画素の画素値を決定することが可能となる。

　　（２－３．実施例３）
　次に、本発明の実施例３として、画素情報合成部の後に、階調変換部を構成した実施例について図１４を参照して説明する。

　図１４は、実施例３に係る撮像デバイス４００の構成を示す図である。この図１４に示す構成は、先に実施例１として説明した図３に示す撮像デバイスの後に諧調変換部４１２を設けた構成である。その他の構成は図３に示す実施例１の構成と同じである。なお、画像処理装置（撮像装置）の全体構成は、実施例１と同様、先に図２を参照して説明した構成を持つ。

　図１４に示す撮像デバイス４００において、画素部４０１は、例えば先に実施例１において図４を参照して説明したＲＧｂＧｒＢ画素からなるベイヤー配列を有し、制御部１０５の制御の下、２行単位で長時間露光と短時間露光が実行される。露光シーケンスは、実施例１において説明した図６に示すシーケンスに従って行われる。

　画素部４０１は、制御部１０５の制御（シャッタ制御）により、画素領域単位（例えば行（ライン）単位）で異なる露光時間に設定され、長時間露光のなされる行からは長時間露光に基づく蓄積電化である高感度画素情報４５１が出力される。また、短時間露光のなされる行からは短時間露光に基づく蓄積電化である低感度画像情報４５２を出力する。

　演算部４０２は、画素部４０１から出力される高感度画素情報４５１と、低感度画像情報４５２を入力し、これらの入力情報に基づいて画素情報合成部４１１において１つの画素情報合成画像を生成する。この合成処理は、先の実施例１において図４や、図７～図１０を参照して説明した合成処理と同様の処理として行われる。すなわち同一色の高感度画素情報と低感度画素情報を入力して、先に説明した（式１）、あるいは（式２）～（式４）を適用して画素情報合成画像の画素値算出を実行して画素情報合成画像を生成する。

　本実施例３では、この画素情報合成部４１１の後に、階調変換部４１２を設けている。
　階調変換部４１２は、画素情報合成部４１１の生成した画素情報合成画像（例えば図４（ｂ））の各画素の画素値の諧調を変換する。具体的には、例えば画素情報合成部４１１の生成した画素情報合成画像の各画素の画素値が１４ｂｉｔ（０～１６３８３）の諧調を有する場合、各画素の画素値を１０ｂｉｔ（０～１０２３）の諧調に変換して出力するといった処理を行う。すなわち、各画素のビット数を削減した画像を生成して出力する。

　長時間露光画像と短時間露光画像の合成により生成するワイドダイナミックレンジ画像は、各画素の情報であるビット数が増加する傾向にある。例えば、通常状態が１０ｂｉｔの撮像素子において、内部で１６倍の感度比を持たせ、１６倍のワイドダイナミックレンジ画像を生成した場合、そのビット数は、１４ｂｉｔとなる。このようなビット数が増加した画像は、後段の信号処理部であるＤＳＰが処理できない場合がある。このような事態を防止するため、階調変換部４１２は、後段の信号処理部であるＤＳＰが処理できるビットレベルまで各画素のビット数を圧縮する諧調変換処理を実行する。

　階調変換部４１２の実行するビット数圧縮処理例について図１５を参照して説明する。図１５は、横軸が階調変換部４１２の入力画像の各画素の諧調［１４ｂｉｔ（０～１６３８３）を示し、縦軸が諧調変換後の出力画像における各画素の諧調［１０ｂｉｔ（０～１０２３）］を示している。このように、階調変換部４１２は、に画素情報合成部４１１の出力する多諧調の画素値をより少ないビット数に削減する処理を行う。

　この諧調変換後の画像データ、例えば各画素が１０ｂｉｔデータからなる画像を次段の信号処理部１０３（ＤＳＰ）に提供することで、信号処理部１０３（ＤＳＰ）において問題なく処理が可能となる。
　なお、階調変換部４１２の実行するビット数圧縮処理は、例えば関数を利用してビット数を低減する。この関数は最初から決められたものでも良いし、画像に応じた関数を外部から入力もしくは内部で算出してもよい。

　　（２－４．実施例４）
　次に、本発明の実施例４として、実施例３において説明した諧調変換部の後に、デモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部や、画像圧縮（ＪＰＥＧなど）処理を実行するコーデックを備えた実施例について図１６を参照して説明する。

　図１６は、実施例４に係る撮像デバイス５００の構成を示す図である。この図１６に示す構成は、先に実施例１として説明した図３に示す撮像デバイスの後にデモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部５１３と、画像圧縮（ＪＰＥＧなど）処理を実行するコーデック５１４を備えた構成である。なお、画像処理装置（撮像装置）の全体構成は、実施例１と同様、先に図２を参照して説明した構成、あるいは図２の構成から信号処理部１０３を省略した構成を持つ。

　図２の構成の信号処理部１０３で実行する処理を、図１６中の信号処理部５１３で全て実行する場合は、後段の信号処理部１０３を省略することができる。それぞれの信号処理部において異なる処理を実行する場合は、２つの信号処理部を備えた構成としてもよい。

　図１６に示す撮像デバイス５００において、画素部５０１は、例えば先に実施例１において図４を参照して説明したＲＧｂＧｒＢ画素からなるベイヤー配列を有し、制御部５２０の制御の下、２行単位で長時間露光と短時間露光が実行される。露光シーケンスは、実施例１において説明した図６に示すシーケンスに従って行われる。本実施例では制御部５２０は、撮像デバイス内に設定された玲として示している。

　画素部５０１は、制御部５２０の制御（シャッタ制御）により、画素領域単位（例えば行（ライン）単位）で異なる露光時間に設定され、長時間露光のなされる行からは長時間露光に基づく蓄積電化である高感度画素情報５５１が出力される。また、短時間露光のなされる行からは短時間露光に基づく蓄積電化である低感度画像情報５５２を出力する。

　演算部５０２は、画素部５０１から出力される高感度画素情報５５１と、低感度画像情報５５２を入力し、これらの入力情報に基づいて画素情報合成部５１１において１つの画素情報合成画像を生成する。この合成処理は、先の実施例１において図４や、図７～図１０を参照して説明した合成処理と同様の処理として行われる。すなわち同一色の高感度画素情報と低感度画素情報を入力して、先に説明した（式１）、あるいは（式２）～（式４）を適用して画素情報合成画像の画素値算出を実行して画素情報合成画像を生成する。

　本実施例４では、この画素情報合成部５１１の後に、実施例３において説明した諧調変換部５１２と、さらに、デモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部５１３と、画像圧縮（ＪＰＥＧなど）処理を実行するコーデック５１４を備えている。このような機能を搭載することで、撮像素子の後段の信号処理部を省略、または簡易化することができる。

　　（２－５．実施例５）
　次に、本発明の実施例５として、撮像デバイスにおける画素部の露光制御の新たな実施例について説明する。
　先に説明した実施例１では、図４を参照して説明したように、画素部の２行単位で長時間露光処理を実行する高感度画素領域と、短時間露光処理を実行する低感度画素領域を設定する構成としていた。
　すなわち、各行は長時間露光または短時間露光のいずれか一方のみの露光処理を固定的に実行する設定となっていた。

　本実施例５は、このような行単位で固定された露光時間を設定するのではなく、制御信号に基づいて、各行の色信号（Ｒ，Ｇｒ，Ｇｂ，Ｂ）単位で長時間露光処理または短時間露光処理のいずれ化に設定することを可能な構成とした実施例である。

　図１７に、本実施例に係る撮像デバイスの画素部の構成例を示す。
　図１７に示すように、画素部の各構成画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の各々には、２本の制御をラインが接続されている。制御信号Ａと制御信号Ｂの各ラインである。

　これらの制御信号は制御部から入力される制御信号であり、図１７に示すように、
　第１，３，５，…の奇数行では、
　制御信号Ａ１，Ａ３，Ａ５・・・がＧｂ画素に接続され、
　制御信号Ｂ１，Ｂ３，Ｂ５・・・がＢ画素に接続されている。
　また、
　第２，４，６，…の偶数行では、
　制御信号Ａ２，Ａ４，Ａ６・・・がＲ画素に接続され、
　制御信号Ｂ２，Ｂ４，Ｂ６・・・がＧｒ画素に接続されている。

　このように、各制御ラインが１つの色のみの制御信号として利用される構成となっている。
　なお、このような色対応の制御信号接続構成については、例えば非特許文献［ＩＳＳＣＣ　２００６　Ｄｉｇ．　ｔｅｃｈ．　Ｐａｐｅｒｓ，　ｐｐ．４９２－４９３（２）］に記載があり、この記載構成を用いることで各画素に対する制御信号による制御が可能である。

　本実施例５では、各色対応の制御信号により、各色対応の露光時間制御を実行する。
　図１７に示す制御信号Ａ１～Ａｎ，Ｂ１～Ｂｎのいずれも、制御部１０５（図３参照）において任意の制御信号の設定が可能であり、様々な露光時間の設定が可能となる。
　具体的には、
　（１）長時間露光制御のための露光開始と露光終了（読み取り開始）のタイミング制御信号、
　（２）短時間露光制御のための露光開始と露光終了（読み取り開始）のタイミング制御信号、
　これらの信号のいずれかを制御信号Ａ１～Ａｎ，Ｂ１～Ｂｎに設定することが可能である。

　また、長時間露光と短時間露光の２つの露光時間の設定に限らず色単位で露光時間を異ならせることも可能となる。
　すなわち、画素部の各色単位の制御が可能となり、色毎に最適な感度を選択した出力画像の生成が可能となる。

　具体的な露光時間の制御例について図１８を参照して説明する。図１８は、先に実施例１において図６を参照して説明した露光時間制御例に対応する図である。縦軸が画素部の画素行を示し、横軸が経過時間を示している。縦軸の行は、最上部が画素部の第１行であり、以下、下に向かって下位の行（行番号＝２，３，４，５・・・）となる。

　先に図６を参照して説明した例では、
　１～２行、５～６行、９～１０行・・が長時間の露光処理がなされる高感度画素領域、
　３～４行、７～８行、１１～１２行・・が短時間の露光処理がなされる低感度画素領域、
　このように設定されており、
　１つの行に含まれる画素は、すべて同一の露光時間に設定されていた。

　これに対して、本実施例においては、Ｒ，Ｇｒ，Ｇｂ，Ｂ各色単位で異なる露光時間制御が可能となる。具体例を図１８に示す。

　図１８に示す例は、
　Ｇｂ，Ｒの第１の長い露光時間と、第１の短い露光時間を設定し、
　Ｇｒ，Ｂの第２の長い露光時間と、第２の短い露光時間を設定し、
　Ｇｂ，Ｒに設定する長時間露光時間および短時間露光時間と、Ｇｒ，Ｂに設定する長時間露光時間および短時間露光時間の設定を変えた例である。

　なお、図１８では、Ｇｂ，Ｒの色ペアと、Ｇｒ，Ｂの色ペアを設定し、１つのペアの２色については同じ露光時間の組み合わせとしているが、Ｒ，Ｇｒ，Ｇｂ，Ｂの各々についてすべて長時間露光時間および短時間露光時間の設定を変えることも可能である。
　このように、本実施例を適用すれば、画素部の各色単位の制御が可能となり、色毎に最適な感度を選択した出力画像の生成が可能となる。

　　（２－６．実施例６）
　次に、本発明の実施例６として、撮像デバイスにおける画素部の新たな構成例について説明する。
　図１９に、本実施例６の撮像デバイスにおける画素部の構成例を示す。
　図１９に示す画素配列（アレイ構造）は、実施例１において図４（ａ）を参照して説明した画素部の配列を４５度回転させた配列となっている。

　この図１９に示す配列に対して、行単位の露光時間制御を行う。
　図１９に示すように、
　第１行は、Ｇｂ，Ｇｒの各画素によって構成される行、
　第２行は、Ｂ，Ｒの各画素によって構成される行、
　以下、第３，４，５…の各行が，
　Ｇｂ，Ｇｒの各画素によって構成される行、
　Ｂ，Ｒの各画素によって構成される行、
　これらが交互に繰り返される。

　この図１９に示す画素配列に対して、行単位の露光制御を実行すれば、
　ＧｂとＧｒの組み合わせ、
　ＢとＲの組み合わせ、
　上記の色画素ペア単位で、露光時間制御を実行することが可能となる。

　　（２－７．実施例７）
　次に、本発明の実施例７として、撮像デバイスにおける露光制御と画素情報合成部の合成処理の変更例について説明する。
　図２０に、本実施例７の撮像デバイスにおける露光制御と合成処理例を示す。

　図２０は、先に説明した実施例１の図４と同様の図であり、
　（ａ）画素部の撮影画像
　（ｂ）画素情報合成部の合成処理によって生成される出力画像
　これらを示している。
　なお、（ａ），（ｂ）とも撮影画像あるいは画素情報合成画像の一部領域のみを示した図である。

　先の実施例１では、画素部の２行単位で長時間露光処理を実行する高感度画素領域と、短時間露光処理を実行する低感度画素領域を設定する構成としていた。
　この実施例７では、図２０（ａ）に示すように、
　第１～２行目が長時間露光を行う高感度画素領域、
　第３～４行目が中時間露光を行う中感度画素領域、
　第５～６行目が短時間露光を行う低感度画素領域、
　以下、２行単位で、高感度画素領域、中感度画素領域、低感度画素領域を繰り返す構成となっている。

　本実施例の撮像デバイス構成は、例えば実施例１と同様、図３に示す構成を有する。
　画素情報合成部は、例えば、同一色の高感度画素と、中感度画素と、低感度画素とを３つずつ入力し、計９個の画素値に基づいて画素情報合成画像の１つの出力画素の画素値を決定する。

　例えば、図２０に示すように、図２０（ｂ）の画素情報合成画像の１つの画素Ｇｂ（ｏｕｔ）の画素値を決定する場合、以下の画素値を入力する。
　（１）高感度画素：Ｇｂ（０，０）、Ｇｂ（１，０）、Ｇｂ（２，０）、
　（２）中感度画素：Ｇｂ（０，１）、Ｇｂ（１，１）、Ｇｂ（２，１）、
　（３）低感度画素：Ｇｂ（０，２）、Ｇｂ（１，２）、Ｇｂ（２，２）、

　画素情報合成部は、これら９個の画素の画素値に基づいて画素情報合成画像の１つの画素の画素値Ｇｂ（ｏｕｔ）を算出する。

　画素情報合成部は、例えば、図２０（ｂ）に示すＧｂ（ｏｕｔ）の画素値を以下の式（式１）に従って算出する。
　Ｇｂ（ｏｕｔ）＝［Ｇｂ（０，０）×ｋ１］＋［Ｇｂ（１，０）×ｋ２］＋［Ｇｂ（２，０）×ｋ３］＋［Ｇｂ（０，１）×（Ｇａｉｎ１）×ｋ４］＋［Ｇｂ（１，１）×（Ｇａｉｎ１）×ｋ５］＋［Ｇｂ（２，１）×（Ｇａｉｎ１）×ｋ６］＋［Ｇｂ（０，２）×（Ｇａｉｎ２）×ｋ７］＋［Ｇｂ（１，２）×（Ｇａｉｎ２）×ｋ８］＋［Ｇｂ（２，２）×（Ｇａｉｎ２）×ｋ９］
　・・・・・（式５）
　ただし、
　Ｇｂ（ｘ，ｙ）は、撮影画像の（ｘ，ｙ）座標位置における画素値、
　Ｇａｉｎ１、Ｇａｉｎ２：感度比を補償するゲイン値（既定値）、
　ｋ１～ｋ９：入力画素の寄与度を設定する係数であり、ｋ１＋ｋ２＋ｋ３＋ｋ４＋ｋ５＋ｋ６＋ｋ７＋ｋ８＋ｋ９＝１の関係を満たす係数、
　である。
　なお、係数ｋ１～ｋ９の設定は、例えば被写体の明るさに応じた設定値とするなどの処理を行う。

　本実施例では、画素情報合成画像の１つの画素の画素値の算出処理に、撮像画像に含まれる高感度画素と中感度画素と低感度画素を含む９つの画素値を利用する構成としている。３段階の感度の画素値を利用することで、例えば明るさに応じた最適な画素値を算出することが可能となる。

　　（２－８．実施例８）
　次に、本発明の実施例８として、撮像デバイスにおける画素部の変更例について説明する。
　実施例１では、先に図４を参照して説明したように、Ｒ，Ｇｒ，Ｇｂ，Ｂの各画素から構成されるベイヤー配列を用いた例について説明した。
　本発明の画像処理装置は、このベイヤー配列以外の配列からなる画素部を有する構成に対しても対応可能である。図２１に示す画素配列はその一例を示す図である。

　図２１に示す画素配列は、ＲＧＢＷの画素配列を持つ。ここでＷは透明（ホワイト）を示している。
　画像の合成処理に際しては、
　Ｗ画素とＧ画素については、先に図４を参照して説明したと同様、高感度画素と低感度画素、それぞれ２つの計４画素を入力して先に説明した（式１）に従って算出する。
　ただし、Ｒ，Ｂ画素については、図２１に示す３×３画素領域には、高感度画素と低感度画素がそれぞれ１つずつしか含まれないため、１つの高感度画素の画素値と１つの低感度画素の画素値に基づいて画素情報合成画像の出力画素値を算出する。

　本実施例に係るＲＧＢＷの配列を適用した画素情報合成処理に際しても、高感度画素と低感度画素のすくなとも１画素ずつが入力されて、これ等の異なる感度の画素値を適用して画素情報合成画像の画素値を決定する。例えば、被写体が明るく高感度画素が飽和値である場合は低感度画素の画素値を用いて画素情報合成画像の画素値を設定し、被写体が暗く、低感度画素の画素値のＳＮ比が悪い場合は、高感度画素の画素値を用いる、あるいは重みを大きく設定してブレンドする等の処理を実行する。

　このような処理によって、より精度の高い画素値を設定した広ダイナミックレンジ画像を生成して出力することが可能となる。

　以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本発明の一実施例の構成によれば、１つの撮影画像に基づいて広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素部の行単位等、画素領域単位で異なる露光時間に設定する露光時間制御を実行し、異なる露光時間に設定した画素の画素値である複数の異なる画素情報を取得する。例えば長時間露光画素から高感度画素情報、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいて出力画像の画素値を算出する。例えば高輝度領域では、感度画素情報が飽和値となる可能性があるので低感度画素情報の重みを大きく設定し、また低輝度領域では低感度画素情報のＳＮ比が悪いと推定されるので、高感度画素情報の重みを大きく設定して出力画素値を決定する。
　これらの処理により、１つの撮影画像に基づく広ダイナミックレンジ画像の生成が実現される。

　　１０　輝度閾値レベル
　　１１　高輝度領域
　　１２　低輝度領域
　１０１　光学レンズ
　１０２　撮像デバイス
　１０３　信号処理部
　１０５　制御部
　２０１　画素部
　２０２　演算部
　２１１　画素情報合成部
　２５１　高感度画素情報
　２５２　低感度画素情報
　３００　撮像デバイス
　３０１　画素部
　３０２　出力選択部
　３０３　演算部
　３２１　コンパレータ
　３２２　カウンタ
　３２３　判定部
　３１１　画素情報合成部
　３５１　高感度画素情報
　３５２　低感度画素情報
　４００　撮像デバイス
　４０１　画素部
　４０２　演算部
　４１１　画素情報合成部
　４１２　諧調変換部
　４５１　高感度画素情報
　４５２　低感度画素情報
　５００　撮像デバイス
　５０１　画素部
　５０２　演算部
　５１１　画素情報合成部
　５１２　諧調変換部
　５１３　信号処理部
　５１４　コーデック
　５２０　制御部
　５５１　高感度画素情報
　５５２　低感度画素情報

Claims (19)

1. 　画素または画素領域単位の露光時間制御を実行する制御部と、
   　前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素部と、
   　前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成部を有する画像処理装置。
2. 　前記制御部は、前記画素部の行単位で露光時間制御を実行し、
   　前記画素部は、複数の異なる行から異なる露光時間の画素情報を出力し、
   　前記画素情報合成部は、複数の異なる行から入力する複数の画素情報を利用した演算処理により出力画像の１つの画素の画素値を算出する請求項１に記載の画像処理装置。
3. 　前記画素部は、
   　長時間露光領域から高感度画素情報を出力し、短時間露光領域から低感度画素情報を出力し、
   　前記画素情報合成部は、
   　前記出力画像の画素値の算出処理において、
   　長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報とに対して被写体明るさに応じた重みを設定した加算処理を実行する請求項１に記載の画像処理装置。
4. 　前記画素情報合成部は、長時間露光領域から入力する高感度画素情報が既定の閾値以上である場合、前記高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する請求項１に記載の画像処理装置。
5. 　前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値未満である場合、前記低感度画素情報の重みをゼロまたは小さく設定し、長時間露光領域から入力する高感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する請求項１に記載の画像処理装置。
6. 　前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値以上である場合、長時間露光領域から入力する高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する請求項１に記載の画像処理装置。
7. 　前記制御部は、前記画素部の２行単位で長時間露光領域と短時間露光領域とを設定した露光時間制御を実行し、
   　前記画素部は、前記長時間露光領域と短時間露光領域の各々から少なくとも１つ以上の画素情報を出力し、
   　前記画素情報合成部は、前記長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報の各々から入力する少なくとも１つ以上の画素情報を利用した演算処理により出力画像の１つの画素の画素値を算出する請求項１に記載の画像処理装置。
8. 　前記制御部は、
   　前記画素部の行単位のシャッタ制御により、行単位の露光時間制御を実行する請求項１に記載の画像処理装置。
9. 　前記制御部は、
   　前記画素部の色単位のシャッタ制御により、色単位の露光時間制御を実行する請求項１に記載の画像処理装置。
10. 　前記画像処理装置は、さらに、
    　前記画素部から出力される長時間露光領域の高感度画素の画素値に相当するデジタル値をカウントするカウンタと、
    　前記カウンタのカウントする高感度画素の画素値が既定閾値未満である場合、該高感度画素の画素値を前記出力画像の算出用画素値として選択出力し、
    　前記カウンタのカウントする高感度画素の画素値が既定閾値以上である場合、該高感度画素と同一色の短時間露光領域の低感度画素の画素値を前記出力画像の算出用画素値として選択出力する出力選択部を有する請求項１に記載の画像処理装置。
11. 　前記画素部は、
    　長時間露光領域から高感度画素情報を出力し、短時間露光領域から低感度画素情報を出力し、前記長時間露光と短時間露光の間の露光時間である中時間露光領域から中感度画素情報を出力し、
    　前記画素情報合成部は、
    　前記出力画像の画素値の算出処理において、
    　前記高感度画素情報と低感度画素情報と中感度画素情報に、被写体明るさに応じた重みを設定して演算処理を実行して出力画像の画素値を算出する請求項１に記載の画像処理装置。
12. 　前記画像処理装置は、さらに、
    　前記画素情報合成部の生成した出力画像の各画素の画素値のビット削減処理を実行する諧調変換部を有する請求項１に記載の画像処理装置。
13. 　前記画像処理装置は、さらに、
    　前記画素情報合成部の生成した出力画像に対する信号処理を実行する信号処理部を有する請求項１に記載の画像処理装置。
14. 　前記画像処理装置は、さらに、
    　前記画素情報合成部の生成した出力画像に対する符号化処理を実行するコーデックを有する請求項１に記載の画像処理装置。
15. 　前記画素部は、３×３画素領域以上の領域から同一色の異なる露光時間の画素情報を出力する構成である請求項１に記載の画像処理装置。
16. 　前記画素部は、ベイヤー配列またはＲＧＢＷ配列を有する請求項１に記載の画像処理装置。
17. 　撮像部と、
    　請求項１から１６いずれかに記載の処理を実行する画像処理部を有する撮像装置。
18. 　画像処理装置において実行する画像処理方法であり、
    　制御部が、画素または画素領域単位の露光時間制御を実行する制御ステップと、
    　画素部が、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素情報出力ステップと、
    　画素情報合成部が、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成ステップを実行する画像処理方法。
19. 　画像処理装置において画像処理を実行させるプログラムであり、
    　制御部に、画素または画素領域単位の露光時間制御を実行させる制御ステップと、
    　画素部に、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力させる画素情報出力ステップと、
    　画素情報合成部に、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出させる画素情報合成ステップを実行させるプログラム。

Images