JP2017520147A - 撮像条件を検出するための方法および装置 - Google Patents

Abstract

本発明の諸実施形態は、撮像条件を検出するための方法および装置に関する。一実施形態において、撮像条件を検出する方法が提供される。本方法は、光景の第一画像中の輝度分布に基づいて、第一画像中の撮像明度を判定することであって、該第一画像は第一カメラによって取り込まれる、該撮像明度を判定することと；光景の第二画像中のハイライト領域の検出に基づいて、第二画像の撮像露光度を判定することであって、該第二画像は第二カメラによって取り込まれる、該撮像露光度を判定することと；を備え、第一画像と第二画像とは、同一または類似の撮像条件の下で取り込まれ、第一カメラの露光量は第二カメラの露光量よりも低い。また、関連する装置、電子デバイス、およびコンピュータプログラム製品も開示される。【選択図】図１

Description

発明の分野

本発明の諸実施形態は画像処理の分野に関し、さらに具体的には、撮像条件を検出するための方法および装置に関する。

発明の背景

より高い品質を有する画像を取り込むために、デュアルカメラ構成が提案されてきた。かかる構成において、携帯電話などのユーザ装置は一つの側に２つのカメラを備えることが可能である。例えば、一つのカメラは白黒カメラとし、他方のカメラをカラーカメラとするとよい。同じ照度条件の下では、白黒カメラの露光量は、カラーカメラよりもかなり大きいことが判明している。しかして、白黒カメラは、低光度条件の下でもなお適切な露光量に達することが可能である。白黒カメラによって取り込まれた画像とカラーカメラによって取り込まれた画像とを融合することによって、最終的な画像の品質は、単一のカメラを使って取り込まれた画像よりも見た目に優れたものになろう。

デュアルカメラ構成は、当初、低光度条件における画像取り込みのために提案されたが、かかる構成は他の撮像条件においても同様に使用が可能である。相異なるカメラによって取り込まれた画像を融合する場合、相異なる撮像条件に対して相異なる処理を実施する、および／または相異なる処理パラメータを選ぶ必要がある。例えば、標準光度条件の下では、画像の解像度を向上させるために、融合において超解像処理を適用することが可能である。しかしながら、低光度条件の下では、２つのカメラによって取り込まれた画像の明度の間には比較的に大きなギャップがあるため、超解像処理を実施できない。言い換えれば、デュアルカメラ構成を使って画像を取り込む場合、撮像条件を判定することによってより良い後処理を行うことが可能である。

実際面で、ユーザに手動で撮像条件を設定するのを要求するのは実現困難である。まず、これはユーザの負担を大きく増加し、ユーザ体験をくじくことになる。さらに、アマチュアのユーザにとって、撮像条件を設定することはほぼ不可能である。いくつかの従来のソリューションは、カメラのハードウェアパラメータを読み取ることによって撮像条件を検出する。例えば、環境中の照度は、シーン反射度に基づいて検出することが可能である。しかしながら、かかる照度検出は極めてノイズ感受性が高く、検出結果の不安定性をもたらす。さらに、全てのカメラが、照度検出に必要なハードウェアを備えているものでもない。また、撮像プロセスは、照度に加え、撮像センサの特性など多くの他の要因にも影響される。従って、ハードウェアの感光パラメータを単に読み取る方法は、デュアルカメラ構成に対しては信頼性がない。

全般的に、本発明の諸実施形態は、撮像条件を検出するための方法および装置を提供する。

一態様において、本発明の実施形態は、撮像条件を検出する方法を提供する。本方法は、光景の第一画像中の輝度分布に基づいて、第一画像の撮像明度を判定することであって、該第一画像は第一カメラによって取り込まれる、該撮像明度を判定することと；光景の第二画像中のハイライト領域の検出に基づいて、第二画像の撮像露光度を判定することであって、該第二画像は第二カメラによって取り込まれる、該撮像露光度を判定することと；を備え、第一画像と第二画像とは、同一または類似の撮像条件の下で取り込まれ、第一カメラの露光量は第二カメラの露光量よりも低い。

本態様の諸実施形態は、上記の方法を実装するためのコンピュータプログラム製品をさらに備える。

他方で、本発明の諸実施形態は、撮像条件を検出するための装置も提供する。本装置は、光景の第一画像中の輝度分布に基づいて、第一画像の撮像明度を判定するよう構成された明度判定ユニットであって、該第一画像は第一カメラによって取り込まれる、該明度判定ユニットと；光景の第二画像中のハイライト領域の検出に基づいて、第二画像の撮像露光度を判定するよう構成された露光度判定ユニットあって、該第二画像は第二カメラによって取り込まれる、該露光度判定ユニットと；を備え、第一画像と第二画像とは、同一または類似の撮像条件の下で取り込まれ、第一カメラの露光量は第二カメラの露光量よりも低い。

本態様の諸実施形態は、上記の装置を備える電子デバイスをさらに備える。

以下の説明を通して、本発明の諸実施形態によれば、撮像露光度は、相対的に大きな露光量を有するカメラ（例えば、白黒カメラ）を使って見積もることができ、一方、撮像明度は、相対的に低い露光量を有する別のカメラ（例えば、カラーカメラ）を使って見積もることができるということが分かる。これにより、撮像条件を自動的に且つ正確に検出することが可能となる。一実施形態において、撮像条件に基づいて、対応する処理を有効および／または無効にすることによって、デュアルカメラモードにおける画像融合を適応制御することができる。このようにして、画像融合の効率および効果を大きく向上することが可能である。本発明の他の特徴および利点は、以下の説明を通して容易に理解可能になろう。

本発明の諸実施形態の、前述およびその他の目的、特徴、および利点は、添付の図面を参照しながら、以下の詳細な説明を読むことにより、より理解し易くなろう。これらの図中で、本発明のいくつかの実施形態が、限定でなく例示の形で提示される。

図１は、本発明の実施形態を実装可能な電子デバイスの概略ブロック図を示す。

図２は、本発明の例示的な実施形態による、撮像条件を検出する方法の概略フロー図を示す。

図３は、本発明の例示的な実施形態による、相異なる明度の下で取り込まれた画像の概略図、およびそれらの輝度ヒストグラムを示す。

図４は、本発明の例示的な実施形態による、輝度の累積分布を表す累積ヒストグラムの概略図を示す。

図５は、本発明の例示的な実施形態による、過度露光によってもたらされたハイライト領域のテクスチャの概略図を示す。

図６は、本発明の例示的な実施形態による、撮像条件を検出するための装置の概略ブロック図を示す。

これらの図全体を通して、同じまたは対応する参照符号は、同じまたは対応する部分を表す。

詳細説明

以降に、本開示の好適な実施形態を、添付の図面を参照しながらさらに詳細に説明することとする。これらの図面には本開示の好適な実施形態が示されているが、当然のことながら、本開示は、本明細書に記載された実施形態に限定されずに、様々な仕方で実装することが可能である。それどころか、これらの実施形態の提示は、本開示をより徹底的且つ完全にし、本開示の範囲を当業者に完全に伝えることを可能にするため行われるものである。

別段に示されている場合を除き、以下の説明および請求項において、用語「に基づいて」は「少なくとも部分的に基づいて」を表す。用語「備える」は、「含むが限定はされない」を表すオープンタームである。用語「複数」は、「２つ以上」を表す。用語「一つの実施形態」は「少なくとも一つの実施形態」を表し、用語「別の実施形態」は、「少なくとも一つのさらなる実施形態」を表す。

さらに、以下の説明および請求項において、用語「画像」は静止画像を含むだけでなく、動画像（例えば、ビデオのフレーム）をも含む。加えて、用語「画像を取り込む」は画像撮影のプロセスを含むだけでなく、撮影画像に対する一切の後処理プロセスをも含む。他の用語の関係定義は、以下の説明中で提示することとする。

図１は、本発明の実施形態を実装可能な電子デバイス１００のブロック図を示す。本発明の実施形態によれば、電子デバイス１００は、携帯電話などの携帯型電子デバイスであってよい。但し、当然のことながら、これは単なる例示であって限定ではない。携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ページャ、携帯型コンピュータ、携帯ＴＶ、ゲームデバイス、ラップトップコンピュータ、カメラ、ビデオカメラ、ＧＰＳデバイス、および他の型の音声およびテキスト通信システムなど、他の種類のユーザ装置も、本発明の実施形態を容易に採用することが可能である。

電子デバイス１００は、通信機能を有することができる。このため、この図に示されるように、電子デバイス１００は、トランスミッタ１１４およびレシーバ１１６と通信するため動作可能な一つ以上のアンテナ１１２を備えることが可能である。電子デバイス１００は、少なくとも一つのプロセッサコントローラ１２０をさらに備える。当然のことながら、コントローラ１２０は、電子デバイス１００の全機能を実装するために必要な回路を備える。例えば、コントローラ１２０は、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および他の支援回路を備えてよい。電子デバイス１００の制御および信号処理機能はこれらデバイスのそれぞれの能力に基づいて配分される。電子デバイス１００は、ユーザインタフェースをさらに備えるとよく、例えば、リンガ１２２、スピーカ１２４、マイクロフォン１２６、ディスプレイまたはファインダ１２８、およびキーパッド１３０などを備えるとよい。上記デバイスの全てはコントローラ１２０に連結される。

電子デバイス１００は、静止画像および／または動画像を取り込むための第一カメラ１３６および第二カメラ１３７をさらに備える。本発明の諸実施形態によれば、第一カメラ１３６および第二カメラ１３７は、同じ照度条件に対し相異なる露光量を有し得る。さらに具体的には、一実施形態において、第二カメラ１３７の露光量は、第一カメラ１３６の露光量よりもかなり大きくできる。例えば、一実施形態では、第一カメラ１３６はカラーカメラとすればよく、第二カメラ１３７を白黒カメラとすればよい。知られているように、同じ照度条件の下で、白黒カメラの露光量は、カラーカメラの露光量の３〜４倍の量であり得る。当然ながら、かかる構成は必須ではない。２つのカメラの露光量の間の差異が所定の閾値を上回る限り、第一カメラ１３６および第二カメラ１３７を実装するために、任意の現在知られているまたは将来開発されるカメラが使用されてよい。

本発明の諸実施形態によれば、第一カメラ１３６および第二カメラ１３７は、電子デバイス１００の同じ側に配置することができる。使用時、第一カメラ１３６と第二カメラ１３７とは、同じ光景の画像を同時にまたはほとんど同時に取り込むように構成することが可能である。一実施形態において、第一カメラ１３６の光軸と第二カメラ１３７の光軸とは、相互に平行にするとよい。さすれば、２つのカメラによって取り込まれた画像を融合するために、画像オフセットなどの変換を用いることが可能で、このことは既に知られている。当然ながら、２つのカメラによって取り込まれた同じ光景の画像が一緒に融合できる限り、これら２つのカメラの間での任意の他の位置関係が全て可能である。本発明の範囲はこの側面において限定はされない。

加えて、電子デバイス１００は、電子デバイス１００を動作させるために必要な様々な回路への電力を供給し、選択的に、検出可能な出力として機械的振動を提供するための振動バッテリパックなど、バッテリ１３４をさらに備える。電子デバイス１００は、ユーザ識別子モジュール（ＵＩＭ：ｕｓｅｒ ｉｄｅｎｔｉｆｉｅｒ ｍｏｄｕｌｅ）１３８をさらに備える。ＵＩＭ１３８は、通常、組み込みプロセッサを有するメモリデバイスである。ＵＩＭ１３８は、例えば、加入者アイデンティティモジュール（ＳＩＭ：ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ）、汎用集積回路カード（ＵＩＣＣ：ｕｎｉｖｅｒｓａｌ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｃａｒｄ）、汎用加入者アイデンティティモジュール（ＵＳＩＭ：ｕｎｉｖｅｒｓａｌ ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ）、またはリムーバブルユーザアイデンティティモジュール（Ｒ−ＵＩＭ：ｒｅｍｏｖａｂｌｅ ｕｓｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ）などを備えてよい。本発明の諸実施形態によれば、ＵＩＭ１３８は、カード接続検出モジュールを備えることも可能である。

電子デバイス１００は、メモリデバイスをさらに備える。例として、電子デバイス１００は、例えばキャッシュ領域中に一時的にデータを格納するための揮発性ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含め、不揮発性メモリ１４０を備えることが可能である。また、電子デバイス１００は、他の組み込み型またはリムーバブル型不揮発性メモリ１４２も備えることができる。この不揮発性メモリ１４２は、追加としてまたは代替として、例えば、ＥＥＰＲＯＭおよびフラッシュメモリなどを備えてもよい。このメモリは、電子デバイス１００の機能を実装するために、電子デバイス１００によって使われる複数の情報セグメントおよびデータ中の任意の項目を格納することができる。

当然のことながら、図１中の構造ブロック図は、例示目的のためだけのものであって、本発明の範囲を限定することは意図されていない。場合によっては、具体的な必要性に応じて、いくつかのコンポーネントを加えたりまたは省略したりしてもよい。

図２は、本発明の実施形態による、撮像条件を検出する方法２００の概略フロー図を示す。本明細書で用いる用語「撮像条件」とは、以下に限らないが、周囲条件、カメラ構成、センサ特性などを含め、画像取り込み時に画像品質に影響を与え得る要因を言う。一実施形態において、撮像条件は照度条件を含み得る。照度条件は「明度」によって測定が可能である。本発明の諸実施形態によれば、明度は、例えば、「低照度」、「標準照度」「明るい照度」など、定性的に示されてよい。これに換えてまたは加えて、明度を定量的に表すことも可能である。

さらに、撮像条件は露光レベルを備えてもよく、露光レベルは「露光度」によって測定することができる。本発明の諸実施形態によれば、露光度は例えば、例として「露光不足」、「標準露光」「過度露光」など、定性的に示されてよい。これに換えてまたは加えて、露光度を定量的に表すことも可能である。

以下の記載において、撮像の明度および露光度が、撮像パラメータの例として説明される。但し、当然のことながら、これらはあくまでも例示であって、いかなる形でも本発明の範囲を限定することは意図されていない。明度および露光度に加えて、撮像条件を特性化するために任意の他の適切な撮像パラメータも使用することが可能である。本発明の範囲はこの側面において限定はされない。

具体的に、前述したように、同じ照度条件の下で第一カメラ１３６の露光量は、第二カメラ１３７のものよりも小さい。したがって、一般に、第一カメラ１３６によって取り込まれた画像（例えばカラー画像）の処理は、主として撮像明度の影響を受け、一方、第二カメラ１３７によって取り込まれた画像（例えば、白黒画像）の処理は、主として撮像露光度の影響を受ける。したがって、一実施形態において、撮像条件の検出は、第一カメラ１３６の撮像明度を判定し、第二カメラ１３７の撮像露光度を判定するように実装されてよい。再言するが、これは単なる例示であって、いかなる形であれ本発明の範囲を限定することは意図されていない。

図２に示されるように、方法２００はステップＳ２１０から開始され、ここでは、所与の光景の第一画像中の輝度分布に基づいて、第一画像の撮像明度が判定される。本発明の諸実施形態によれば、第一画像は第一カメラ（例えば、デバイス１００中の第一カメラ１３６）によって取り込むことができる。前述したように、同じ照度条件の下では、第一カメラ１３６の露光量は極めて低い。例えば、第一カメラ１３６はカラーカメラであってよく、しかして第一画像はカラー画像であってよい。当然ながら、これは必須ではない。低露光量の任意のカメラを光景の第一画像を取り込むために用いることが可能である。

本発明の諸実施形態によれば、明度は、第一画像中の輝度分布に基づいて判定される。一般に、相異なる撮像明度は、画像中のピクセルの照度値に対し、明白に相異なる分布規則性もたらす。一例として、図３は、画像３１０、３２０、および３３０に対する輝度のヒストグラムを示す。本明細書の用語「輝度ヒストグラム」とは、画像の輝度成分のヒストグラムを言い、これは画像中の輝度の確率分布状態を反映することが可能である。図３に示された例において、画像３１０は低照度中で取り込まれ、画像３２０は標準照度中で取り込まれ、一方、画像３３０は強照度中で取り込まれている。

画像３１０、３２０、および３３０のそれぞれの照度ヒストグラム３１５、３２５、および３３５から、相異なる撮像明度は、画像の相異なる輝度分布をもたらすことが明らかに見取れる。具体的には、相対的に低い明度中で取り込まれた画像３１０に対しては、画像中の多量のピクセルが相対的に低い輝度値を有し；標準明度中で取り込まれた画像３２０に対しては、画像中のピクセルの輝度値は相対的に一様に分布され；相対的に高い明度中で取り込まれた画像３３０に対しては、画像中の多量のピクセルが相対的に高い輝度値を有する。本発明の諸実施形態によれば、かかる規則性は、画像を取り込む際に、撮像明度を見積もるために使用が可能である。

一実施形態において、第一画像を取り込む際の撮像明度は、第一画像のピクセルの輝度分布に基づいて直接に見積もることが可能である。このため、第一画像の輝度ヒストグラムを直接に使うことができる。具体的には、第一画像中で、所定のパーセントまたは数を超えるピクセルの輝度値が、下限閾値よりも低い場合、第一画像は低照度中で取り込まれたと見なすことが可能であり；第一画像中で、所定のパーセントまたは数を超えるピクセルの輝度値が、上限閾値よりも高い場合、第一画像は明るい照度中で取り込まれたと考えることが可能であり；他の場合は、第一画像は標準の照度中で取り込まれたと考えることが可能である。

あるいは、一実施形態において、撮像明度をさらに正確に見積もるために、第一画像中の輝度累積分布を用いてもよい。本明細書で用いる用語「輝度累積分布」とは、第一画像中のピクセルの輝度値の累積確率分布を言う。具体的に、輝度累積分布は、任意の所与の輝度値に対し、第一画像中のピクセルの輝度値がその輝度値以下である確率を反映する。輝度の累積ヒストグラムは、輝度累積分布を直観的に表すために用いることができる。

一例として、図４は、図３の３つの画像３１０、３２０、および３３０の輝度累積ヒストグラムの曲線４１０、４２０、４３０を示す。図４中に示された座標系において、横軸は輝度値を表し０〜２５５の範囲内にあり、縦軸は累積分布確率を表し０〜１の範囲にある。この図に示されるように、相異なる照度条件の下に取り込まれた画像の輝度累積ヒストグラムが確率「１」に収束される速度は大きく異なる。したがって、第一画像中の輝度累積分布は、撮像明度を見積もるための信頼できるインデックスとして使うことができる。

具体的に、第一画像の輝度累積分布を算定するために、まず、第一画像中の各輝度値ｎのピクセルの数ｈ（ｎ）を最初に計算することが可能で、このｎは０〜２５５の整数である。次いで、各輝度値ｎに対し、第一画像中のｎ以下の輝度値のピクセルの累積数が次式によって計算できる：
次いで、第一画像中のピクセルの総計数を使ってｃ（ｎ）を正規化し、これにより、輝度値ｎについての輝度累積分布を得る。

次に、一実施形態において、得られた輝度累積分布に基づいて、第一画像中のピクセルの所定パーセントが分布する輝度範囲を算定できる。次いで、第一画像が取り込まれたときの、撮像明度を見積もるために、この輝度範囲を用いることができる。

引き続き、図４を参照する。所定ピクセルパーセントＴは、０から１の間の範囲の値に対応し、これは、ピクセルの輝度累積分布の確率値を表す。この確率値が与えられれば、関連するピクセル輝度値を算定することができる。具体的に、正規化された輝度累積分布ｃ（ｎ）に基づいて、Ｔに関連する輝度値ｖを以下により計算することが可能である。
ｖ＝ａｒｇ ｍｉｎ（｜ｃ（ｎ）−Ｔ｜）
単なる例として、Ｔ＝０．５のときｖ＝７０であると仮定しよう。この例において、これは、画像中の５０％のピクセルがこの輝度範囲［０，７０］内に分布していることを意味する。説明をし易くするために、以下の説明において、輝度の範囲を、輝度範囲の上限ｖによって表すこととする。

本発明の諸実施形態によれば、所与のパーセント値Ｔに対し、いろいろな明度に対する輝度範囲ｖの閾値を前もって決めることが可能である。図４の参照において、単なる例示として、所定のパーセントがＴ＝０．７６に設定されていると仮定しよう。この場合、画像中の７６％のピクセルが所在する輝度の範囲が算定されることになる。さらに、明度が３つのレベル、すなわち、「低照度」、「標準照度」、および「明るい照度」に分類されているものと仮定しよう。

低照度を例として、低照度中で取り込まれたｍ個の画像３１０がトレーニングサンプルとして選択され得る。このｍは自然数である。このトレーニング段階の過程で、各画像３１０のパーセントＴのピクセルが所在する輝度範囲ｖ_ｉ，１は、輝度類累積分布に基づいて算定することが可能であり、このｉは１〜ｍの範囲の整数である。この輝度範囲ｖ_ｉ，１に基づいて、低い照度中で取り込まれたｍの画像３１０の輝度範囲ｖ_１が得られる。例えば、一実施形態において、ｖ_１はｖ_ｉ，１の平均値として計算することが可能である。また、これに換えて、ｖ_１はｖ_ｉ，１中の最大値または最小値などとして計算してもよい。得られた輝度ｖ_１は、低照度の輝度範囲の閾値として用いることができる。

言い換えれば、使用の過程で、第一画像中のパーセントＴのピクセルの輝度範囲ｖが算定される。ｖがｖ_１以下またはｖ_１に十分近い場合、第一画像は低い照度中で取り込まれたものと考えることができよう。一例として、Ｔ＝７６％のとき、トレーニングを通して、低い照度中で取り込まれた画像の中で、７６％のピクセルが［０，５０］の輝度範囲中に所在することが判明したと仮定しよう。この場合、閾値はｖ_１＝５０に設定されている。この場合、第一画像中のピクセルの７６％が輝度範囲ｖ≦ｖ_１内にある場合、第一画像が取り込まれたときの撮像明度は低照度であると判定することが可能である。

同様に、所与の閾値Ｔに対し、標準照度および明るい照度の下で取り込まれた画像の輝度範囲の閾値ｖ_２およびｖ_３を得ることができる。第一画像の輝度範囲ｖをそれらの所定の閾値と比較することによって、第一画像が取り込まれたときの撮像明度を見積もることが可能である。

さらに、一部の画像に対して、輝度累積分布が明白なピーク値を持たないことが注目される。この場合、計算された当初の輝度範囲ｖを直接使って実際の照度を見積もるのは不正確なことがある。このために、一実施形態では、第一画像中のピクセルの所定パーセントの当初の輝度範囲ｖを算定した後、その輝度範囲を調整することが可能である。

具体的に、計算された当初の輝度範囲ｖに対し、或る隣接領域［ｖ−ｌ_１，ｖ＋ｌ_２］が検討されてよく、このｌ_１およびｌ_２は所定のサイズの整数である。一部の実施形態において、ｌ_１＝ｌ_２に設定されてもよいが、但し必須ではない。この隣接領域を「輝度調査領域」と呼ぶことにしたい。一実施形態において、輝度調査領域中の輝度累積分布の変動率を計算し、この変動率に基づいて、輝度範囲ｖを調整することができる。

当然のことながら、かかる輝度範囲の調整は、トレーニング段階および／または実際の明度の検出に適用が可能である。例えば、図４に示された例において、ｖ_１、ｖ_２、および／またはｖ_３を計算する際に、得られた初期の輝度範囲を調整するために、この技法を利用できる。同様に、第一カメラによって取り込まれた第一画像に対し、明度見積もりにおいて、計算された初期の輝度範囲ｖを調整することも可能である。

一例として、図４は、輝度累積分布の変動率に基づいて、明るい照度に関連するｖ_３を調整する例を示す。この図に示されるように、輝度調査領域［ｖ_３−ｌ_１，ｖ_３＋ｌ_２］は、累積曲線上の領域４４０に対応する。輝度調査領域［ｖ_３−ｌ_１，ｖ_３＋ｌ_２］中の各輝度値ｖ_ｉに対し、累積曲線上のｖ_ｉに対応する点を算定することが可能で、この点における累積曲線の傾斜を計算することができる。知られているように、この傾斜は、輝度値がｖ_ｉのときの輝度累積分布曲線の変化率を表す。一実施形態において、最大の変動率に対応する輝度値ｖ_ｉ ^＊を選択すればよく、輝度範囲ｖ_３は、ｖ_ｉ ^＊に調整される。

当然のことながら、図４を参照して説明した前述の例は、説明目的だけのためのものであって、いかなる形においても本発明の範囲を限定することは意図されていない。例えば、明度は、「低照度」、「標準照度」および「明るい照度」の３つのレベルに限定はされない。これに換えて任意の所望のレベルに分類することが可能である。

図２を続けて参照すると、方法２００はステップＳ２２０に進み、ここで、光景の第二画像中でハイライト領域が検出され、これにより第二画像の撮像露出度が判定される。本発明の諸実施形態によれば、第二画像が、第一カメラ１３６とは別の第二カメラ１３７によって取り込まれる。具体的に、同じ輝度の下で、第二カメラ１３７の露光量は、第一カメラ１３６の露光量よりも明白に大きい。例えば、前述したように、第二カメラ１３７は白黒カメラであってよく、その露光量はカラーカメラの３〜４倍に達し得る。したがって、第二画像は白黒画像とすることができる。

本発明の諸実施形態によれば、第一画像と第二画像とに含まれる光景は同一であり、さらに、これら２つの画像は、同じまたは類似の撮像条件の下で取り込まれる。例えば、一実施形態において、第二カメラ１３７は、第一カメラが第一画像を取り込んでいる間に第二画像を取り込むことが可能である。本明細書で用いる用語「同時に」とは、第一画像と第二画像との取り込み時間の間のギャップが所定の閾値より小さいことを言う。当然ながら、これは必須ではない。２つの画像の光景および撮像条件が同一、または十分に近似することが保証される限りにおいて、第一画像と第二画像とは、相異なる時間に順次に取り込んでもよい。

第二カメラ１３７の露光量は相対的に高いので、第二カメラ１３７が第二画像を取り込むときに露光不足状態は生じないであろう、というのは合理的な仮説である。したがって、以下の説明では、どのように過度露光を検出するかに焦点を絞ることとする。過度露光が存在しない場合には、露光度は標準露光として識別される。当然ながらこれは単なる例示である。他の実施形態では、露光不足状態も同様に考慮し検出することが可能である。

一般に、過度露光の場合において第二画像が取り込まれたとき、第二画像には一つ以上のハイライト領域が含まれることになる。ハイライト領域とは、所定の閾値輝度を超える輝度の連結領域を言う。本発明の諸実施形態によれば、この現象を考慮して、第二画像中のハイライト領域を検出することによって、撮像露光度を判定することが可能である。

一実施形態において、このため、まず、適切な輝度閾値が選択されてよい。この閾値はユーザによって設定されるか、あるいは、実験または経験によって得ることができる。例えば、一実施形態では輝度閾値を２５５近く、例えば２５０を上回る値にすればよい。次いで第二画像は、この輝度閾値に基づいて２値化される。言い換えれば、輝度値が閾値より大きなピクセルのカラーは白色に設定され、輝度値が閾値以下のピクセルのカラーは黒色に設定される。あるいは、相対的に連結された領域を得るために、第二画像をモルフォロジ演算に付すことも可能である。このようにして、２値マスクを得ることができる。

２値マスクでは、連結された各白色領域をハイライト領域として識別できる。一実施形態において、かかるハイライト領域の数が所定の閾値を上回る場合、第二画像は、過度露光において取り込まれたと考えることができる。したがって、撮像露光度は、「標準露光」と判定することができる。これに換えてまたは加えて、一実施形態において、露光度をハイライト領域の面積に基づいて見積もることも可能である。

また一方、当然のことながら、光景中に白色被写体または明るいカラーを有する他の被写体がある場合、かかる連結白色領域は、２値マスクにも同様に存在することになる。この場合、撮像露光度が、ハイライト領域の数および／または面積だけに基づいて見積もられると、検出ミスが生じやすい。一実施形態では、露光度の見積もりの正確さをさらに向上するために、第一画像中の、ハイライト領域に対応する領域中に含まれるテクスチャ情報を考慮に入れることが可能である。

当然のことながら、テクスチャが第二画像中のハイライト領域中に含まれることは、通常、非常にまれである。一方で、第一カメラの露光量は相対的に低いので、第一画像が過度露光で取り込まれる可能性は極めて小さい。したがって、光景中の或る特定の領域が、第二画像においてハイライト領域として識別され、第一画像が相対的に豊かなテクスチャを有する場合、かかるテクスチャの喪失は、第二画像の過度露光によって生じた可能性が非常に高い。

一例として、図５に示されるように、画像５１０は、第一カメラによって取り込まれ、画像５２０は第二カメラによって取り込まれている。第一画像５１０中の領域５１２は、第二画像５２０中のハイライト領域に対応する。領域５１２中に含まれるテクスチャは、一見して、ハイライト領域５２２中のテクスチャより多いことが見取れる。同様に、第一画像５１０中の領域５１４中のテクスチャは、第二画像５２０中の対応するハイライト領域５２４よりも多い。この現象を使って、第二画像中のハイライト領域に対応する第一画像中の領域に含まれるテクスチャ情報を、第二カメラの露光度見積もりの正確さを向上させるために使用することができる。

具体的に、かかる実施形態において、第二画像中で検出された各ハイライト領域に対して、対応する領域を第一画像中に見出すことが可能である。次いで、その対応する領域内のテクスチャを取得することができる。知られているように、通常、テクスチャは画像中の高周波成分である。したがって、一実施形態において、第一画像中の対応する領域のエッジを抽出するために、その領域にエッジ抽出を適用することが可能である。任意の現在既知のまたは将来開発されるエッジ抽出方法を、本発明の諸実施形態と共に使用すればよい。例えば、エッジを抽出するために、エッジ演算子を適用することが可能である。このエッジ演算子の例は、以下に限らないが、ソーベル演算子、ロバーツ演算子、キャニー演算子などのうちの一つ以上を含む。当然のことながら、エッジ抽出を使ってテクスチャ情報を得ることは単なる例示であって、いかなる形においても本発明の範囲を限定することは意図されていない。エッジ抽出に加えてまたはその代わりに、画像領域中のテクスチャを抽出するために、ウェーブレット変換、ローカルバイナリパターン（ＬＢＰ：ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ）、および様々な他の方法が使われてよい。

次いで、第一画像の対応領域中のテクスチャ量を測定することが可能である。例えば、一実施形態において、該領域のテクスチャ量として使うために、抽出されたエッジの数および／または長さを計算することができる。第一画像中の、ハイライト領域に対応する領域中に含まれるテクスチャ量が、所定の閾値を上回る場合、それは、第二画像において当該領域中のテクスチャが著しく損なわれていることを示しており、過度露光によってかかる損失が生じる。

一実施形態において、第一画像中の、第二画像中で検出された全てのハイライト領域に対応する領域中に含まれるテクスチャ量が累積される。第二画像中で検出されたハイライト領域を、ｒ_ｉ、ｉ＝１，２・・・ｍと仮定しよう。各ハイライト領域ｒ_ｉに対し、対応する第一画像中の領域に含まれるテクスチャ量をＭ_ｉ，１とする。ハイライト領域に対応する、第一画像中の全ての領域中に含まれる総計テクスチャ量は：
である。

このようにして、総計テクスチャ量Ｅと所定の閾値とを比較することによって、撮像露光度を判定することができる。総計テクスチャ量Ｅが所定の閾値を超える場合、第二画像は過度露光中で取り込まれたと考えられる。逆に、総計テクスチャ量Ｅが所定の閾値より低い場合、第二画像は標準の露光中で取り込まれたと考えることができよう。

前述の例は、第一画像中の、ハイライト領域に対応する領域中に含まれる総計テクスチャ量Ｅだけを考慮している。これに換えて、一実施形態では、第二画像中のハイライト領域のテクスチャ量も考慮することが可能である。具体的に、各ハイライト領域ｒ_ｉに対し、第二画像中のハイライト領域のテクスチャ量Ｍ_ｉ，２を計算することができる。したがって、或るハイライト領域ｒ_ｉに対し、第一画像と第二画像との間のテクスチャ量の差Ｍ_ｉ，１−Ｍ_ｉ，２を算定することが可能である。次いで、テクスチャ量の差を次式により累積することができる：
これにより、Ｅ'と所定の閾値とを比較することによって撮像露光度を判定することが可能である。

当然のことながら、測定値Ｅ'の使用は随意である。実際上は、第二画像が過度露光で取り込まれる場合、第二画像のハイライト領域中に含まれるテクスチャはごくわずかで全く存在しないことさえある。したがって、Ｍ_ｉ，２を常に省略してもよい。言い換えれば、前述のように、測定値Ｅだけを使って撮像露光度を判定してもよい。

２つのカメラによって取り込まれた画像を使って撮像条件を判定した後、その撮像条件に基づいて、取り込まれたピクチャに様々な処理を施すことが可能である。例えば、一実施形態において、方法２００は、ステップＳ２３０に進むことができ、ステップＳ２１０で判定された撮像明度、およびステップＳ２２０で判定された撮像露光度に基づいて、第一画像と第二画像とが融合される。

前述のように、第一カメラ１３６と第二カメラ１３７とは、デュアルカメラ構成における２つのカメラとすることができる。例えば、第一カメラ１３６はカラーカメラとしてもよく、第二カメラ１３７は白黒カメラである。この場合、これら２つのカメラは、或る光景中の画像を同時に取り込むように構成することができる。取り込まれた画像は、融合によって、完全に仕上がった画像を最終的に形成することが可能である。このようにして、より良い品質と効果とを有する仕上がり画像を得るために、第一カメラ１３６と第二カメラ１３７との利点を同時に利用することができる。

知られているように、２つの画像（例えば、一つは白黒画像であり、他方はカラー画像である）を所与とすれば、融合は、実質上３つのフェーズに分けられる。第一フェーズは、例えば、画像アラインメント、低照度の除去などの処理を含む、前処理である。第二フェーズは、例えば、ＨＤＲ、超解像、カラー融合などの処理を含む、融合処理である。第三フェーズは、例えば、ノイズフィルタリング、カラー強調などの処理を含む、後処理である。前述の処理の中で、一部の処理は必須である。例えば、画像アラインメントは、２つのカメラによって取り込まれる画像を整列させるために、必ず実行しなければならない。

しかしながら、一部の他の処理は随意である。画像融合処理の過程で、かかる随意の処理を実行するかどうかは、撮像条件の如何によってもよい。例えば、白黒画像とカラー画像との融合に対し、カラー画像の処理は主として明度に影響され、一方、白黒画像の処理は主として露光度に影響される。一例として、カラー画像が標準の照度または明るい照度で取り込まれていれば、超解像技術を適用することが可能である。知られているように、超解像技術は、低解像度の画像に基づいて超解像度の回復を実装することができ、これにより高解像度を有する最終的画像が得られる。但し、カラー画像が低い照度で取り込まれている場合、超解像処理を適用するのは不要となろう。

これらにより、一実施形態において、自動判定された撮像条件に基づいて、画像融合における一つ以上の処理を、適応的に有効化または無効化することが可能である。一例として、かかる処理は、以下に限らないが、低照度の除去処理、ハイダイナミックレンジ処理、超解像処理、ノイズフィルタリング処理、およびカラー強調処理のうちの一つ以上を含む。なお、かかる処理自体は従来技術において既に知られており、任意の現在知られたまたは将来開発される技術を用いることが可能である。本発明の主題を混乱させるのを回避するために、かかる処理の実装の詳細は本明細書では詳記しない。

一例として、第一カメラ１３６がカラーカメラであり、第二カメラ１３７が白黒カメラである、或る実施形態において、より大きな露光量を有する白黒カメラ１３７は、露光不足にならないものと想定してもよい。これにより、カラー画像の撮像明度および白黒画像の撮像露光度に基づいて、以下の６つの露光条件を定義することができる：
１）低照度＋標準露光
２）標準照度＋標準露光
３）明るい照度＋標準露光
４）低照度＋過度露光
５）標準照度＋過度露光
６）明るい照度＋過度露光

これにより、各撮像条件に対し、融合処理の過程で有効化または無効化する必要のある様々な処理を事前設定することができる。例えば、一実施形態では、様々な随意処理を次のように設定することが可能である。

上記の表は前もって格納しておけばよい。これに換えてまたは加えて、いろいろな照度条件の下で実施する必要のある画像処理をコマンドワードによって指示してもよい。使用において、ステップＳ２１０で判定された第一画像の撮像明度、およびステップＳ２２０で判定された第二画像の撮像露光度に基づいて、上記の表および／またはコマンドワードを参照することによって、どの随意処理を有効化するかを決めることができる。

図６は、本発明の諸実施形態による、撮像条件を検出するための装置６００の概略ブロック図を示す。図中に示されるように、装置６００は：光景の第一画像中の輝度分布に基づいて、第一画像の撮像明度を判定するよう構成された明度判定ユニット６１０であって、第一画像は第一カメラにより取り込まれる、該明度判定ユニットと、光景の第二画像中のハイライト領域の検出に基づいて、第二画像の撮像露光度を判定するよう構成された露光度判定ユニット６２０であって、第二画像は第二カメラにより取り込まれる、該露光度判定ユニットと；を備える。本発明の諸実施形態によれば、第一画像と第二画像とは、同一または類似の撮像条件の下で取り込まれ、第一カメラの露光量は第二カメラの露光量よりも低い。

一実施形態において、装置６００は、第一画像中の輝度累積分布を算定するよう構成された累積分布算定ユニットと；輝度累積分布に基づいて、第一画像中の所定パーセントのピクセルの輝度範囲を算定するよう構成された輝度範囲算定ユニットと；をさらに備えることができる。かかる実施形態において、明度判定ユニット６１０は、輝度範囲に基づいて撮像明度を判定するように構成することが可能である。

一実施形態において、装置６００は、輝度調査領域中の輝度累積分布の変動率を計算するよう構成された変動率計算ユニットと；撮像明度を判定するために、変動率に基づいて輝度範囲を調整するよう構成された輝度範囲調整ユニットと；をさらに備えることができる。

一実施形態において、露光度判定ユニット６２０は、所定輝度閾値を用いて第二画像を２値化することによってハイライト領域を検出するように構成された検出ユニットを備えることが可能である。

一実施形態において、露光度判定ユニット６２０は、第二画像中のハイライト領域を検出するのに応答して、第一画像中の、ハイライト領域に対応する領域中のテクスチャを取得するよう構成されたテクスチャ取得ユニットと；テクスチャの量に基づいて撮像露光度を判定するよう構成された第一露光度判定ユニットと；を備えることができる。一実施形態において、該テクスチャ取得ユニットは、第一画像の当該領域中のエッジをテクスチャとして抽出するよう構成されたエッジ抽出ユニットを備えることが可能である。

一実施形態において、装置６００は、第一画像の撮像明度および第二画像の撮像露光度に基づいて、第一画像と第二画像とを融合するよう構成された画像融合ユニット６３０をさらに備えることができる。一実施形態において、画像融合ユニット６３０は、第一画像の撮像明度および第二画像の撮像露光度に基づいて、融合の過程で、低照度の除去処理、ハイダイナミックレンジ処理、超解像処理、ノイズフィルタリング処理、およびカラー強調処理のうちの少なくとも一つを、有効化または無効化するよう構成された適応制御ユニットを備えることが可能である。

なお、明確化のため、図６では、装置６００に含まれる随意的ユニットまたはサブユニットを示していない。また一方、当然のことながら、図１〜４を参照して前に説明した様々な特徴は、装置６００にも同様に適用可能であり、従ってここでは詳記はしない。さらに、本明細書で用いる用語「ユニット」は、ハードウェアモジュールまたはソフトウェアユニットモジュールばかりではなくてもよい。相応的に、装置６００は様々な仕方で実装されてよい。例えば、いくつかの実施形態において、装置６００は、例えば、コンピュータ可読媒体上に具現化されたコンピュータプログラム製品として実装されるなど、部分的または全体的にソフトウェアおよび／またはファームウェアによって実装されてもよい。これに換えまたは加えて、装置６００は、例えば、集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）チップ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、システムオンチップ（ＳＯＣ：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などとして実装されるなど、部分的または完全にハードウェアに基づいて実装されてもよい。本発明の範囲はこの側面において限定はされない。

説明上の目的だけのために、前述で本発明のいくつかの例示的な実施形態を説明してきた。本発明の諸実施形態は、ハードウェア、ソフトウェアまたはソフトウェアとハードウェアとの組み合わせによって実装することができる。ハードウェア部分は、専用のロジックを用いて実装することが可能であり；ソフトウェア部分は、メモリ中に格納し、例えば、マイクロプロセッサまたは専用に設計されたハードウェアなど、適切な命令実行システムによって実行することが可能である。具体的に、図２を参照して説明した前述の方法は、コンピュータプログラム製品として実装されてよい。該コンピュータプログラム製品は、非一時的コンピュータ可読媒体上に有形に格納され、マシン実行可能な命令を含み、この実行可能命令は、実行されると、該マシンが方法２００のステップを実施することを可能にする。

当業者は、前述の装置および方法が、コンピュータ実行可能命令を使って実装可能、および／またはプロセッサ制御コードに含めることが可能なことを理解していよう。実装において、かかるコードは、磁気ディスク、ＣＤまたはＤＶＤ−ＲＯＭなどの媒体、読み取り専用メモリ（ファームウェア）などのプログラマブルメモリ、または光もしくは電子信号搬送波などのデータ搬送波上で提供される。本発明のシステムは、超大規模集積回路もしくはゲートアレイ、ロジックチップおよびトランジスタなどの半導体、もしくはフィールドプログラマブルゲートアレイおよびプログラマブルロジックデバイスのようなプログラマブルハードウェアデバイスのハードウェア回路によって、実装すること、または、様々な種類のプロセッサ実行可能なソフトウェアによって実装すること、または、ファームウェアなどの前述のハードウェア回路とソフトウェアとの組み合わせによって実装すること、が可能である。

なお、前述の詳細な説明で、装置のいくつかのユニットまたはサブユニットが述べられたが、かかる区分は単に例示であって必須ではない。実際上は、本発明の諸実施形態によれば、前述の２つ以上のモジュールの特徴および機能は、一つのモジュール中に具現化することが可能である。反対に、前述の一つのモジュールの特徴および機能が複数のモジュールによって具現化されてもよい。さらに、添付の図面では、本発明の方法のオペレーションは、特定の順序で記載されているが、これらのオペレーションは、必ずしも特定の順序で実行する必要はなく、そう示唆するものでもなく、または全ての例示されたオペレーションを実行することで所望の結果が達成されるべきであると要求もしくは示唆するものでもない。それどころか、フローチャートに示されたステップはそれらの実行順序を変更することができる。これに換えてまたは加えて、一部のステップは省略が可能で、複数のステップを実行のため一つのステップに組み合せることも可能で、および／または一つのステップを実行のため複数のステップに分解することも可能である。

いくつかの実施形態を参照しながら本発明を説明してきたが、当然のことながら、本発明は、本明細書で開示された実施形態に限定はされない。本発明は、添付の特許請求の範囲の趣旨および範囲に含まれる様々な修改および等価的組み換えを包含することを意図されている。添付の特許請求の範囲は、最広義の解釈に準じ、これにより、すべてのかかる修改と、等価的構造体および機能とを包含する。

Claims (20)

1. 撮像条件を検出する方法であって、前記方法は、
   光景の第一画像中の輝度分布に基づいて、前記第一画像の撮像明度を判定することであって、前記第一画像は第一カメラによって取り込まれる、前記撮像明度を判定することと；
   前記光景の第二画像中のハイライト領域の検出に基づいて、前記第二画像の撮像露光度を判定することであって、前記第二画像は第二カメラによって取り込まれる、前記撮像露光度を判定することと；
   を含み、前記第一画像と前記第二画像とは、同一または類似の撮像条件の下で取り込まれ、前記第一カメラの露光量は前記第二カメラの露光量よりも低い、方法。
2. 前記第一画像の撮像明度を判定することが、
   前記第一画像中の輝度累積分布を算定することと；
   前記輝度累積分布に基づいて、前記第一画像中の所定パーセントのピクセルの輝度範囲を算定することと；
   前記輝度範囲に基づいて前記撮像明度を判定することと；
   を含む、請求項１に記載の方法。
3. 前記輝度範囲に基づいて前記撮像明度を判定することが、
   輝度調査領域中の前記輝度累積分布の変動率を計算することと；
   前記撮像明度を判定するために、前記変動率に基づいて前記輝度範囲を調整することと；
   を含む、請求項２に記載の方法。
4. 前記第二画像の撮像露光度を判定することが、
   所定輝度閾値を用い、前記第二画像を２値化することによって、前記ハイライト領域を検出すること、
   を含む、請求項１に記載の方法。
5. 前記第二画像の撮像露光度を判定することが、
   前記第二画像中の前記ハイライト領域を検出するのに応答して、前記第一画像中の、前記ハイライト領域に対応する領域中のテクスチャを取得することと；
   前記テクスチャの量に基づいて、前記撮像露光度を判定することと；
   を含む、請求項１に記載の方法。
6. 前記第一画像中の、前記ハイライト領域に対応する領域中のテクスチャを取得することが、
   前記テクスチャとして、前記第一画像の前記領域中のエッジを抽出すること、
   を含む、請求項５に記載の方法。
7. 前記第一画像の前記撮像明度および前記第二画像の前記撮像露光度に基づいて、前記第一画像と前記第二画像とを融合すること、
   をさらに含む、請求項１に記載の方法。
8. 前記第一画像と前記第二画像とを融合することが、
   前記融合の過程で、前記第一画像の前記撮像明度および前記第二画像の前記撮像露光度に基づいて、低照度の除去処理、ハイダイナミックレンジ処理、超解像処理、ノイズフィルタリング処理、およびカラー強調処理のうちの少なくとも一つを有効化または無効化すること、
   を含む、請求項７に記載の方法。
9. 前記第一カメラがカラーカメラであり、前記第二カメラが白黒カメラである、請求項１〜８のいずれか一項に記載の方法。
10. 撮像条件を検出するための装置であって、前記装置は、
    光景の第一画像中の輝度分布に基づいて、前記第一画像の撮像明度を判定するよう構成された明度判定ユニットであって、前記第一画像は第一カメラによって取り込まれる、前記明度判定ユニットと；
    前記光景の第二画像の中のハイライト領域の検出に基づいて、前記第二画像の撮像露光度を判定するよう構成された露光度判定ユニットであって、前記第二画像は第二カメラによって取り込まれる、前記露光度判定ユニットと；
    を備え、前記第一画像と前記第二画像とは、同一または類似の撮像条件の下で取り込まれ、前記第一カメラの露光量は前記第二カメラの露光量よりも低い、装置。
11. 前記第一画像中の輝度累積分布を算定するよう構成された累積分布算定ユニットと；
    前記輝度累積分布に基づいて、前記第一画像中の所定パーセントのピクセルの輝度範囲を算定するよう構成された輝度範囲算定ユニットと；
    をさらに備え、前記明度判定ユニットが、前記輝度範囲に基づいて前記撮像明度を判定するように構成される、請求項１０に記載の装置。
12. 輝度調査領域中の前記輝度累積分布の変動率を計算するよう構成された変動率計算ユニットと；
    前記撮像明度を判定するために、前記変動率に基づいて前記輝度範囲を調整するよう構成された輝度範囲調整ユニットと；
    をさらに含む、請求項１１に記載の装置。
13. 前記露光度判定ユニットが、
    所定輝度閾値を用い、前記第二画像を２値化することによって、前記ハイライト領域を検出するよう構成された検出ユニット、
    を備える、請求項１０に記載の装置。
14. 前記露光度判定ユニットが、
    前記第二画像中の前記ハイライト領域を検出するのに応答して、前記第一画像中の、前記ハイライト領域に対応する領域中のテクスチャを取得するよう構成されたテクスチャ取得ユニットと；
    前記テクスチャの量に基づいて、前記撮像露光度を判定するよう構成された第一露光度判定ユニットと；
    を備える、請求項１０に記載の装置。
15. 前記テクスチャとして、前記第一画像の前記領域中のエッジを抽出するよう構成されたエッジ抽出ユニット、
    をさらに備える、請求項１０に記載の装置。
16. 前記第一画像の前記撮像明度および前記第二画像の前記撮像露光度に基づいて、前記第一画像と前記第二画像とを融合するよう構成された画像融合ユニット、
    をさらに備える、請求項１０に記載の装置。
17. 前記画像融合ユニットが、
    前記融合の過程で、前記第一画像の前記撮像明度および前記第二画像の前記撮像露光度に基づいて、低照度の除去処理、ハイダイナミックレンジ処理、超解像処理、ノイズフィルタリング処理、およびカラー強調処理のうちの少なくとも一つを有効化または無効化するよう構成された適応制御ユニット、
    を備える、請求項１６に記載の装置。
18. 前記第一カメラがカラーカメラであり、前記第二カメラが白黒カメラである、請求項１０〜１７のいずれか一項に記載の装置。
19. コントローラと；
    第一カメラと；
    第二カメラの露光量が前記第一カメラの露光量よりも大きい、前記第二カメラと；
    請求項１０〜１８のいずれか一項に記載の、撮像条件を検出するための装置と；
    を備える電子デバイス。
20. 装置の処理手段に実行されると、前記装置に、請求項１から９のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。