JP2002209151A - トーンスケール関数の生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 トーンスケールの修正を行うための改良され
た方法を提供する。 【解決手段】 まばらにサンプリングされ、拡大された
ダイナミックレンジのデジタルイメージに対するトーン
スケール関数の生成方法であって、光露出に対する所定
の応答を有する高速フォトサイトと、その間に散在す
る、該光露出と同じ光露出に対してより遅い応答を有す
る低速フォトサイトとを有し、まばらにサンプリングさ
れ、拡大されたダイナミックレンジのイメージの検出装
置を提供するステップと、該検出装置を用いて、高速フ
ォトサイトから生成された高速画素値と、低速フォトサ
イトにより生成された低速画素値とを有する、まばらに
サンプリングされた高解像度デジタルイメージを生成す
るステップと、まばらにサンプリングされた高解像度デ
ジタルイメージから、低速画素値のみを用いて、トーン
スケール関数を生成するステップとからなる、トーンス
ケール関数の生成方法を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、概して、イメージ
の撮影に関し、より具体的には、拡大されたダイナミッ
クレンジにおいて、トーンスケールの修正を行う方法に
関する。

【０００２】

【従来の技術】電荷結合素子（ＣＣＤ）のようなイメー
ジ検出装置は、デジタルカメラ、スキャナおよびビデオ
カメラのような製品で、広く見つけることができる。こ
れらのイメージ検出装置は、従来の写真フィルム製品と
比較したとき、ダイナミックレンジが制限されている。
典型的な電子イメージ検出装置は、絞りが約７のダイナ
ミックレンジを有する。これは、典型的な風景に対する
露出を、かなりの正確さで決定して、結果として得られ
る信号のもれを回避しなければならないことを意味す
る。対照的に、自然の風景は、しばしば、絞りが９また
はそれ以上のダイナミックレンジを示す。これは主に、
風景の対象物に光を照らす、強度が広く変化する複数の
光源が存在する結果である。もっとも明るい部分の反射
はまた、自然の風景のダイナミックレンジに寄与する。

【０００３】写真フィルムを走査するのに用いられる電
子センサはまた、高いダイナミックレンジの信号強度を
取り扱わなければならない。１９９３年６月２２日にMi
lchに発行された米国特許第5,221,848号では、Milch
は、電子イメージセンサのダイナミックレンジを拡張す
るよう設計された方法および装置を開示している。主に
写真フィルムを走査することを意図として、Milchによ
り開示されたシステムは、複数の線形アレイを有する電
荷結合素子を用いた１パスフィルムスキャナの方法を教
示する。複数の線形アレイは、同じスペクトル感度を有
する。アレイの１つは、他のアレイよりも光に対してよ
り早く応答する。２つのアレイからの情報は結合され、
デジタル化されて、拡大されたダイナミックレンジのデ
ジタルイメージを形成する。

【０００４】デジタル電子カメラは、カラーフィルタア
レイ（Color Filter Array;ＣＦＡ）を有する単一のイ
メージセンサを利用して、まばらにサンプリングされた
（sparsely sampled）イメージを生成する。典型的なカ
ラーフィルタアレイパターンは、Bayerに対して１９７
６年７月２０日に発行された、米国特許第3,971,065号
に開示されている。補間アルゴリズムが利用されて、ま
ばらにサンプリングされたイメージから、フル解像度カ
ラーイメージを生成する。デジタルカメラはまた、高い
ダイナミックレンジを有する風景を記録する必要があ
る。デジタルカメラから、高いダイナミックレンジのイ
メージを得る１つの方法は、カメラに、高ビットデプス
（depth）のアナログ−デジタル変換器を利用すること
である。他の方法は、Gallagherらにより２０００年７
月１３日に提出された、同時係属の米国出願第09/615,3
98号に開示されている、散らばせた、高速の（ファス
ト）および低速の（スロー）フォトサイト（photosit
e）を有するイメージセンサを用いることである。この
出願は、この引用により本明細書に組み込まれる。

【０００５】

【発明が解決しようとする課題】拡大されたダイナミッ
クレンジのデジタルイメージとともに用いるよう、特に
設計されたトーンスケール関数を利用することが知られ
ている。例えば、１９９８年１０月１３日にLeeらに発
行された米国特許第5,822,453号は、デジタルイメージ
からのシーンコントラストの評価を含む、拡大されたダ
イナミックレンジのデジタルイメージの画素値を用いる
トーンスケール関数の計算方法を開示している。しか
し、Leeらにより教示された方法は、高速フォトサイト
および低速フォトサイトを有する、拡大されたダイナミ
ックレンジのイメージセンサにより撮影されたイメージ
に対して最適化されていない。

【０００６】よって、高速フォトサイトおよび低速フォ
トサイトを有する、拡大されたダイナミックレンジのイ
メージセンサにより撮影されたタイプの、拡大されたダ
イナミックレンジのイメージに、トーンスケールの修正
を行う改良された方法が必要とされている。

【０００７】

【課題を解決するための手段】本発明によれば、上述の
必要性は、下記の方法を提供することにより満たされ
る。すなわち、まばらにサンプリングされ、拡大された
ダイナミックレンジのデジタルイメージに対するトーン
スケール関数の生成方法であって、光露出に対する所定
の応答を有する高速フォトサイトと、その間に散在す
る、該光露出と同じ光露出に対してより遅い応答を有す
る低速フォトサイトとを有し、まばらにサンプリングさ
れ、拡大されたダイナミックレンジのイメージの検出装
置を提供するステップと、該検出装置を用いて、高速フ
ォトサイトから生成された高速画素値と、低速フォトサ
イトにより生成された低速画素値とを有する、まばらに
サンプリングされた高解像度デジタルイメージを生成す
るステップと、まばらにサンプリングされた高解像度デ
ジタルイメージから、低速画素値のみを用いて、トーン
スケール関数を生成するステップとからなる、トーンス
ケール関数の生成方法が提供される。

【０００８】本発明のある局面によれば、トーンスケー
ル関数は、デジタルイメージをフル解像度デジタルイメ
ージに補間する前に、まばらにサンプリングされた拡大
されたダイナミックレンジのダイナミックレンジのデジ
タルイメージに適用される。

【０００９】

【発明の実施の形態】デジタルイメージは、１以上のデ
ジタルイメージチャネルを有する。各デジタルイメージ
チャネルは、画素の２次元アレイを有する。各画素値
は、画素の幾何学的な領域に対応するイメージ撮影装置
が受け取った光の量に関連する。カラー撮像用途では、
デジタルイメージは、典型的には、赤、緑および青のデ
ジタルイメージチャネルから構成される。他の構成もま
た、実際に利用されている。例えば、シアン、マゼン
タ、および黄色のデジタルイメージチャネルである。動
画撮像用途では、デジタルイメージの時間系列と考える
ことができる。当業者であれば、本発明が、上述の任意
の用途に対するデジタルイメージに適用でき、しかしな
がら制限されないことが、認識できるであろう。

【００１０】本発明は、行および列により配置された画
素値の２次元アレイとして、デジタルイメージチャネル
を説明するが、当業者であれば、本発明は、モザイク面
（非直線）に適用でき、等しい効果を得られることが理
解される。本発明はオリジナルの画素値を処理された画
素値と置換することを説明するが、当業者はまた、処理
された画素値で新たなデジタルイメージを形成し、オリ
ジナルの画素値を保持することもまた企図されているこ
とを認識できるであろう。

【００１１】電子検出装置を用いる撮像装置は、周知で
ある。そのため、本明細書は、特に本発明による装置の
一部を構成する要素、または、本発明による装置により
直接的に協働する要素に向けられている。特に図に示さ
れていない、または、本明細書に記載されていない要素
は、従来の技術から選択できる。本明細書で用いられて
いるように、「イメージ」という語は、２次元アレイ値
であることに留意されたい。イメージは、他のイメージ
の２次元部分集合であってもよい。本発明は、プログラ
ムされたデジタルコンピュータを用いて実施される。コ
ンピュータは、パーソナルコンピュータのような、汎用
コンピュータであってもよいし、または、デジタルイメ
ージを処理するために設計された専用デジタルコンピュ
ータであってもよい。以下の開示に基づいて、本発明を
実施するコンピュータプログラムを生成するのは、プロ
グラミングの技術における通常の技能の範囲内である。

【００１２】図１は、本発明の実施に際して使用される
必須の要素を示す機能ブロック図である。対象物または
風景からの光が、レンズ２に入射し、カラーフィルタア
レイ（Color Filter Array;ＣＦＡ）を有する電荷結合
素子（ＣＣＤ）のような、拡大されたダイナミックレン
ジのイメージ検出装置１０上に、写真イメージを形成す
る。以下説明されるように、カラーフィルタアレイ（Ｃ
ＦＡ）は、高速な（ファスト）および低速な（スロー）
フォトサイトを有する。ＣＭＯＳ素子のような他の素子
が、イメージ検出装置１０として利用できる。以下より
詳細に説明されるように、イメージ検出装置１０は、ま
ばらにサンプリングされた拡大されたダイナミックレン
ジのイメージを検出する装置である。光学的ローパスフ
ィルタ６は、レンズ２とイメージ検出装置１０との間に
配置され、撮像された光のわずかににじませ、エイリア
シングの発生を低減する。Ａ／Ｄ変換器１４は、イメー
ジ検出装置１０から、撮像された光に対応する電圧信号
を受け取り、電圧信号に対応するイメージ信号を生成す
る。デジタルイメージプロセッサ２００は、Ａ／Ｄ変換
器１４からイメージ信号を受け取り、そのイメージ信号
を修正して、デジタルイメージを生成する。上述のよう
に、デジタルイメージプロセッサ２００は、プログラム
されたパーソナルコンピュータ、または、特定の目的の
イメージプロセッサであってもよい。デジタル撮像シス
テムのユーザは、キーボード、マウス、または、カメラ
本体のボタンなどのユーザ選択装置６２を利用して、イ
メージのトーン表現（tonal appearance）に関する選択
が可能である。例えばユーザは、表示装置６４上に、あ
るトーンスケール関数で生成されたイメージを見ること
ができる。そして、ユーザは所望のトーンスケールを特
定して調整できる。例えば、ユーザは、ユーザ選択装置
６２で、影を明るくすることを指示することにより、こ
の所望のトーンスケールを特定して調整できる。そし
て、調整されたトーンスケール関数は、所望のトーンス
ケールの調整を用いて生成される。ユーザからの所望の
トーンスケールの調整に基づくトーンスケール関数を生
成し、修正することは、イメージ処理の技術において周
知である。例えば、同じく譲渡されたLeeらによる米国
特許第5,012,333号は、トーンスケール関数を生成し、
イメージにその関数を適用する、対話式方法を開示す
る。本発明はまた、デジタルカメラ内にも実装できる。
このデジタル撮像システム用途では、低解像度デジタル
イメージから得られた、拡張されたデジタルイメージ
が、表示装置６４、例えば、デジタルカメラの構成要素
としての液晶表示装置（ＬＣＤ）上に表示される。ま
た、本発明は、フィルムまたは反射型スキャナ、また
は、拡大されたダイナミックレンジのデジタルイメージ
を生成する他の装置で実施できる。

【００１３】図１に示すＡ／Ｄ変換器１４は、イメージ
検出装置１０が生成した電圧信号を、イメージ信号、す
なわち、イメージ検出装置１０のフォトサイトが生成し
た電圧信号に対応するデジタル画素値のストリームに変
換する。より具体的には、Ａ／Ｄ変換器１４は、イメー
ジ検出装置１０からの、入射光の強度に関してほぼ線形
の電圧信号を、離散デジタルイメージ信号に変換する。
離散デジタルイメージ信号は、例えば、線形符号化され
た値が０〜１０２３までの範囲に入る１０ビット信号で
ある。Ａ／Ｄ変換器１４はまた、従来広く行われている
ような、線形符号値領域イメージ信号を、８ビットの対
数信号のような、非線形符号値領域イメージ信号に変換
する処理も行う。例えば、下記の方程式を利用して、１
０ビット線形イメージ信号ａ（ｘ，ｙ）を、８ビットの
対数イメージ信号ｂ（ｘ，ｙ）に変換する。（ｘ，ｙ）
は、イメージ検出装置１０に関する信号位置の行および
列の目盛り（index）を特定する。

【数１】

【００１４】（イメージ検出装置の線形応答領域におけ
る）露出の各絞りは、線形イメージ信号ａ（ｘ，ｙ）の
倍になり、その結果、対数符号化されたイメージ信号ｂ
（ｘ，ｙ）は増加する。増加の値は、５１である。この
場合、値が５１というのは、露出の絞り（ｃｖｓ）ごと
のコード値の数である。

【００１５】図２は、図１に示すデジタルイメージプロ
セッサ２００をより詳細に示す。イメージ信号は、ダイ
ナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロ
セッサ２２により受け取られる。ＤＲＥＦＡプロセッサ
２２は、イメージのダイナミックレンジを拡大し、サン
プル値を補間することにより、Ａ／Ｄ変換器１４から出
力された、まばらにサンプリングされた、高解像度のデ
ジタルイメージを処理する。そしてＤＲＥＦＡプロセッ
サ２２は、修正されたイメージ信号を、ＣＦＡ補間器２
６に送る。ここでは、カラー値は補完され、各画素にお
けるカラー値を与える。ＣＦＡ補間器２６の出力は、フ
ル解像度デジタルイメージである。パクセル化モジュー
ル２２０もまた、まばらにサンプリングされた、高解像
度のデジタルイメージを受け取り、パクセル化された
（paxelized）デジタルイメージ、すなわち、イメージ
信号から得られた低解像度デジタルイメージを生成す
る。または、拡張プロセッサ２４０もまた高解像度デジ
タルイメージを受け取る。拡張プロセッサ２４０は、パ
クセル化デジタルイメージを受け取り、そのパクセル化
デジタルイメージに基づいて、画質向上量（enhancemen
t）を計算し、高解像度デジタルイメージの画素に、そ
の画質向上量を適用して、画質が向上したデジタルイメ
ージを生成する。

【００１６】ＣＦＡ補間器２６を設けた目的は、検出し
た写真イメージの各位置の色を完全に描写して生成する
ことである。好ましい実施の形態では、イメージ検出装
置１０は、フォトサイトと呼ばれる感光素子アレイから
なる。同じく譲渡された米国特許第3,971,065号におい
てBayerにより説明されているように、各フォトサイト
は、典型的には、赤、緑、または、青のフィルタが与え
られる。米国特許第3,971,065号は、この引用により本
明細書に組み込まれる。Bayerのアレイは、カラーフィ
ルタアレイである。カラーフィルタアレイでは、緑のフ
ィルタは、フォトレジストにわたって、チェッカーボー
ドパターンで配置されており、赤および青のフィルタ
は、ラインごとに切り替わり、チェックボードパターン
の隙間を満たす。これにより、緑のフィルタサイトが、
赤または青のフィルタサイトよりも２倍多くなる。本明
細書で説明される方法は、原色の別の配置を持つカラー
フィルタアレイ、原色の数が異なるカラーフィルタアレ
イ、または、原色の組み合わせが異なるカラーフィルタ
アレイに容易に拡張できることに留意されたい。したが
って、好ましい実施の形態では、各フォトサイトは、赤
色、緑色または青色の光のいずれにも感度を有する。し
かし、好ましくは、各フォトサイトの位置で、赤、緑お
よび青の各々の露出量で表す露出に対応する画素値を得
ることが好ましい。Ａ／Ｄ変換器１４から出力された、
まばらにサンプリングされた高解像度デジタルイメージ
の画素値は、近隣の画素位置における赤、緑および青の
画素値を有する、まばらにサンプリングされたイメージ
で構成されている。

【００１７】本明細書では、「赤」「緑」および「青」
は、イメージ処理技術では周知の、イメージ検出装置１
０の原色スペクトル感度を表す。ＣＦＡ補間器２６は、
Ａ／Ｄ変換器１４から出力されたイメージ信号から、補
間されたイメージ信号を生成する。補間されたイメージ
信号は、各フォトサイトの原色に対応する画素値から構
成される。例えば、特定のフォトサイトが赤のフィルタ
で覆われている場合、Ａ／Ｄ変換器１４は、そのフォト
サイトの赤の画素値を出力する。それは、赤のフィルタ
は、本質的に、そのフォトサイトを緑および青の光から
遮るからである。ＣＦＡ補間器２６は、対応するフォト
サイトが緑および青の光に応答しない場合でも、対応す
るフォトサイトについて、緑の画素値および青の画素値
を計算する。同様に、ＣＦＡ補間器２６は、青のフォト
サイトに対応する、緑の画素値および赤の画素値を計算
し、緑のフォトサイトに対応する赤の画素値および青の
画素値を計算する。ＣＦＡ補間器２６の動作は、ＤＲＥ
ＦＡプロセッサ２２と組み合わされる。概念的には、Ｃ
ＦＡ補間器２６およびＤＲＥＦＡプロセッサ２２は、別
々の動作を行い、本実施の形態では、明確のために結合
されないとする。

【００１８】一般的に、ＣＦＡ補間器２６は、対応する
フォトサイトの画素値および関連する周辺のフォトサイ
トの画素値を考慮して動作する。周知の任意の補間器が
利用できる一方、好ましいＣＦＡ補間器の説明が、Adam
s らに１９９７年７月２９日に発行された米国特許第5,
652,621号に含まれている。当該特許の内容は、この引
用により本明細書に組み込まれる。Adamsらは、行およ
び列で配列されたカラーフォトサイトを有するイメージ
センサから得られた、デジタル化イメージ信号を処理す
る装置を説明する。カラーフォトサイトは、少なくとも
３つの別個のカラー値を生成するが、各フォトサイトの
位置に対して、１つのカラー値のみである。また、カラ
ーフォトサイトは、各フォトサイト位置についてカラー
値を補間する構造体を生成し、３つの異なるカラー値を
保持する。装置は、フォトサイト位置から失われた適切
なカラー値を、そのようなフォトサイト位置に対する追
加のカラー値の補間により生成する。適切なカラー値
は、近くのフォトサイト位置における、失われたカラー
値とは異なるカラーのカラー値から生成される。装置は
また、少なくとも２つのイメージ方向(direction)にお
ける、同じ行および列の近くのフォトサイトに対応する
画素値から、ラプラシアン２次値と、グラディエント値
と、カラー差バイアス値とを取得する。装置は、これら
の値から改善された分類に基づいて、失われたカラー値
の補間に関する好ましい配向（orientation）を選択す
る。最後に、近くの多数のカラー画素値からの、失われ
たカラー画素値が選択され、好ましい配向に適合させ
る。

【００１９】Ａ／Ｄ変換器１４から出力された、まばら
にサンプリングされた高解像度デジタルイメージは、Ｄ
ＲＥＦＡプロセッサ２２により受け取られる。ＤＲＥＦ
Ａプロセッサ２２は、イメージ信号のダイナミックレン
ジを拡大して、拡大したダイナミックレンジの修正した
イメージ信号を生成する。好ましい実施の形態では、イ
メージ検出装置１０のダイナミックレンジは、イメージ
検出装置１０の、あるフォトサイトを設計することによ
り拡大され、ゆっくりと応答する。イメージ検出装置１
０に関する、低速応答のフォトサイトの構成は、以下、
より詳細に説明する。選択されたフォトサイトのゲイン
を変化させることにより、低速応答のフォトサイトの応
答は落とされる。すなわち、遅らされる。本明細書で
は、このようなフォトサイトを低速フォトサイトと言及
する。フォトサイトのゲインを変化させることは、デジ
タルカメラ設計および製造の技術においては広く行われ
ていることである。

【００２０】図３を参照して、各フォトサイトのトップ
に樹脂小型レンズ５１を配置することは、イメージセン
サの製造における技術において広く行われている。例え
ば、特にイメージ検出装置１０がインターラインソリッ
ドステートイメージ検出装置の場合に、Ishiharaに１９
８７年５月１９日に発行された米国特許第4,667,092号
に記載されている。この内容は、この引用により本明細
書に組み込まれる。Ishiharaは、ブロック表面を有する
イメージ記憶ブロックを含む、ソリッドステートイメー
ジ装置を開示する。複数の記憶素子は、ブロック表面に
沿って埋め込まれ、電荷の形でイメージを記憶する。表
面にわたる層が堆積されて、記憶素子に対応する光学レ
ンズアレイを形成する。中間層が、ブロック表面と表面
にわたる層との間に設けられる。入射光は、レンズおよ
び中間層を通して記憶素子上で焦点を結ぶ。中間層は、
小型レンズの焦点距離を調整する調整層として機能す
る。

【００２１】図３は、インターラインソリッドステート
イメージ検出装置の断面図を示す。小型レンズ５１を除
いて、フォトサイトの各感光領域５５に関連する信号読
み出し領域は、半導体基板の全領域を、感光性トランス
デューサ領域として利用できないようにする。従来のソ
リッドステートイメージ装置は、受けた全入射光線を効
率的に利用せず、よって低感度である。フォトサイトの
上部にさらに樹脂小型レンズ５１を設けることで、入射
光線が、フォトサイトの感光領域上に焦点を結ぶことが
できる。これにより入射光線のより効率的な利用と、フ
ォトサイトの感度の向上が可能になる。よって、小型レ
ンズ５１のサイズおよび／または効率を変化させること
により、フォトサイトの感度（ゲイン）が容易に変更で
きる。そのため、インターライン装置およびＣＭＯＳセ
ンサに対して、フォトサイトのゲインを変更するには、
フォトサイトの上部に配置された小型レンズ５１を変更
することによる方法が好ましい。図３に示すように、位
置５２には、小型レンズは存在しない。よってほとんど
の入射光は、感光領域に入射しない。また、小型レンズ
は、小型レンズ５１と比較して、位置５２に、異なる半
径、形状、サイズ、または材料で製造できる。これによ
り、入射光が感光領域５５上に焦点を結ぶ効率を、小型
レンズ５１よりもより悪く構成できる。当業者であれ
ば、小型レンズ５１は、入射光の８０％を感光領域５５
上で焦点を合わせさせ、小型レンズを有しない（または
低速小型レンズを有する）位置５２により、入射光の２
０％を感光領域５５上に集めることができ、小型レンズ
５１で覆われたフォトサイトは、位置５２より早い絞り
２（２ stops）であることが理解されるであろう。この
場合には、位置５２で示すように、高速な（ファスト）
フォトサイトには小型レンズ５１が用いられ、低速フォ
トサイトには小型レンズは用いられない。

【００２２】図４を参照して、フルフレームイメージ検
出装置１０の断面図を示す。イメージ検出装置１０がフ
ルフレーム装置の場合には、フォトサイトの感光領域５
５に入射する光線は、遮光部の開口を通過しなければな
らない。遮光部は、典型的には金属から形成され、図４
の断面図に示されており、遮光マスク部５４、遮光部に
散在する大開口５６および小開口５７を備えている。好
ましい実施の形態では、フォトサイトのゲインは、遮光
マスク部５４を修正することにより変更できる。そし
て、フォトサイトの感度は、遮光マスク部５４の開口に
直接関連する。例えば、あるフォトサイトの開口サイズ
の５０％の開口を持つフォトサイトは、当該あるフォト
サイトと比較して、５０％の応答を示す。例えば、遮光
マスク部５４の大開口５６により、そのフォトサイト上
へ入射する光線の８０％が通過可能であるが、小開口５
７により、入射光線の２０％のみが通過できる。当業者
は、大開口５６を有するフォトサイトは、小開口５７を
有するフォトサイトよりも、絞り２だけ早いことが理解
できるであろう。この場合には、大開口５６は、高速フ
ォトサイトに利用され、小開口５７は、低速フォトサイ
トに利用される。よって、遮光マスクの開口は、修正さ
れ、選択されたフォトサイトの応答を調整できる。The
Eastman Kodak Companyは、金属マスク遮光部を有する
フルフレームイメージ検出装置を製造する。金属マスク
遮光部は、（ディザスキャナ用途に対して）全画素の画
素活性領域を、約８０％から約２０％に減少する。ディ
ザスキャナ用途では、センサは、水平および垂直に１／
２画素間隔で移動され、４つの画像が撮影される。よっ
て、この技術は、そのようなマスク技術を含むが、別個
のサイズの開口を用い、イメージ光に対して異なる応答
を有するイメージセンサを提供する。

【００２３】好ましい実施の形態では、図５にグラフで
示すように、選択された低速フォトサイトの応答は、同
じ露出の高速フォトサイトの応答のＸ％（Ｘ≦１００）
である。この好ましい実施の形態では、選択されたフォ
トサイトは、高速フォトサイトに対して、絞り２（−ｌ
ｏｇＸ／１００）だけ応答が遅くされている。ここでＸ
＝２５である。よって、イメージ検出装置１０は、フォ
トサイト、高速フォトサイトおよび低速フォトサイトの
複数の組から構成される。高速フォトサイトの出力応答
を集めたものは、まばらにサンプリングされた高速デジ
タルイメージ、すなわち、高速フォトサイトで検出され
た場面をまばらにサンプリングしたバージョン、を構成
する。同様に、低速フォトサイトの出力応答を集めたも
のは、まばらにサンプリングされた低速デジタルイメー
ジ、すなわち、低速フォトサイトで検出された場面をま
ばらにサンプリングしたバージョン、を構成する。

【００２４】さらに他には、選択された低速フォトサイ
トの応答は、フォトサイトを覆う中性フィルタ（neutra
l filter）を使用することにより、遅くできる。図６
は、カラーフィルタアレイ５３を有するイメージ検出装
置の断面図である。カラーフィルタアレイ５３ａは赤、
５３ｂは緑、５３ｃは赤、５３ｄは緑である。中性フィ
ルタ層５８は、上述のカラーフィルタアレイ５３を含
む。ただし、中性フィルタ５８およびカラーフィルタア
レイ５３の層の位置は問題とはならない。中性フィルタ
層５８は、中性フィルタ５９により示されるように、選
択されたフォトサイトの位置における中性フィルタのみ
を含むことに留意されたい。この場合には、中性フィル
タ層５８は、高速フォトサイトに対して透明またはほぼ
透明であり、低速フォトサイトに対する中性フィルタ５
９を含む。例えば、仮に中性フィルタ５９が光の伝達を
Ｘ％許容する材料からなる場合には、低速フォトサイト
の応答は、絞り−ｌｏｇ_２（Ｘ／１００）だけ小さくな
るであろう。

【００２５】以下、図２に示すＤＲＥＦＡプロセッサ２
２をより詳しく説明する。ＤＲＥＦＡプロセッサ２２を
設けた目的は、入力されたイメージ信号を処理し、ま
た、高速および低速フォトサイトの写真応答における際
を考慮して、増加したダイナミックレンジを有する、修
正されたイメージ信号を生成することである。したがっ
て、ＤＲＥＦＡプロセッサ２２の出力は、増加したダイ
ナミックレンジ値を有する、修正されたイメージ信号で
ある。修正されたイメージ信号は、既に説明した処理を
行うＣＦＡ補間器２６に入力される。

【００２６】本発明では、Ａ／Ｄ変換器１４とＤＲＥＦ
Ａプロセッサ２２とが直接接続されていることは要件で
はない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１
４およびイメージ検出装置１０にきわめて近接して、ハ
ードウェアまたはソフトウェアで存在する。例えば、Ｄ
ＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接に
設けることができる。しかし、ＤＲＥＦＡプロセッサ２
２はまた、イメージ検出装置１０から離れていてもよ
い。例えば、Ａ／Ｄ変換器１４から出力されたイメージ
信号は、（圧縮の後）信号線接続またはワイヤレス接続
を介して、個人のコンピュータ装置、プリンタ、または
リモートサーバに伝送され、ＤＲＥＦＡプロセッサ２２
の動作に適用できる。イメージ信号の伝送はまた、ファ
イルトランスファープロトコル（file transfer protoc
ol）または電子メールを含んでもよい。

【００２７】好ましい実施の形態では、イメージ検出装
置１０のフォトサイトの５０％が遅い応答を有するよう
に選択される。当業者であれば、低速および高速画素の
相対的なパーセンテージは重大ではなく、そして、本発
明の効果は、高速および低速フォトサイトの様々な相対
的なパーセンテージで実現できることが認識できるであ
ろう。すべてのフォトサイトが、ほぼ等しいスペクトル
感度を有するイメージ検出装置１０の場合（すなわち、
全色性（panchromatic）イメージ検出装置の場合）に
は、図７の（Ａ）は、低速フォトサイトの配置を示す。
低速フォトサイトは、応答が遅いイメージ検出装置１０
の全フォトサイトの５０％にいたる。応答の遅いフォト
サイト２８は、アスタリスク（＊）でマークされ、高速
な高速フォトサイト３０は、ブランクである。まばらに
サンプリングされたイメージは、イメージとして前に規
定されている。イメージは、カラーフィルタアレイを有
するイメージ検出装置で撮影されている。本発明によれ
ば、「まばらにサンプリングされた」という語はまた、
図７の（Ａ）に示すようなイメージセンサにより生成さ
れるイメージにあてはまることも意図している。ここで
は、高速および低速フォトサイトが散在している。さら
に、図７Ａに示す、光露出に対して所定の応答を有する
高速フォトサイトを備え、かつ、同じ光露出に対してよ
り遅い応答を有する低速フォトサイトが散在するイメー
ジ検出装置１０は、まばらにサンプリングされた拡大さ
れたダイナミックレンジのイメージ検出装置である。

【００２８】図７の（Ｂ）は、カラーイメージ検出装置
１０の配置を示す図である。ここでは、各フォトサイト
タイプ（赤、緑、または青の感光性）の５０％が、遅い
応答である。例えば、フォトサイト３２、３４、３６
は、それぞれ遅い応答をもつ赤、緑、青のフォトサイト
である。フォトサイト３８、４０、４２は、それぞれ早
い応答をもつ赤、緑、青のフォトサイトである。イメー
ジ検出装置１０はまた、先の定義に従った、まばらにサ
ンプリングされたダイナミックレンジのイメージ検出装
置であることに留意されたい。

【００２９】図７の（Ａ）および（Ｂ）は、低速フォト
サイトの位置を示す標準パターンを意味する。低速フォ
トサイトは、標準パターンで配置されることが好ましい
が、必ずしも必要でない。低速フォトサイトは、ランダ
ムにまたは半ランダムに、イメージ検出装置１０の表面
上に配置できる。低速フォトサイトの位置は、ＤＲＥＦ
Ａプロセッサ２２にアクセス可能な位置に用意される。

【００３０】図５を参照して、図５は、所定の露出に対
する高速フォトサイトの応答、および、同じ露出に対す
る低速フォトサイトの応答を示す。応答にノイズｎのレ
ベルが重ね合わさている場合には、高速フォトサイト
は、低速フォトサイトよりも、（露出レベルＥから開始
する）露出がより低い有効な信号を生じることが、容易
に確認できることに留意されたい（低速フォトサイト
は、露出レベル１００Ｅ／Ｘで始まる有効な信号を生じ
る）。また、低速フォトサイトからのデータは、高速フ
ォトサイトよりも、高い露出レベルで有効である。高い
露出レベルとは、信号レベルが１００Ｅ２^Ｓ／Ｘまでの
レベルである。Ｓは、単一のフォトサイトの固有のダイ
ナミックレンジであり、典型的にはＳは絞り約５であ
る。高速フォトサイトは、Ｅ２^Ｓの露出までの有効な応
答を生成する。高速フォトサイトと低速フォトサイトの
両方は、露出の絞り（Ｓ）における同じ応答レンジを有
する。しかし、低速フォトサイトの応答は、図５に示す
ように、好ましくは、高速フォトサイトよりも遅い、絞
り−ｌｏｇ_２（Ｘ／１００）である。高速および低速フ
ォトサイトの応答は、露出に関して重なることが好まし
い。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであるこ
とが好ましい。イメージ検出装置１０の全ダイナミック
レンジは、高速および低速フォトサイトを考慮すると、
Ｓ−ｌｏｇ_２（Ｘ／１００）である。Ｓ＝５およびＸ＝
２５である好ましい実施の形態の場合は、イメージ検出
装置１０の効果的な全ダイナミックレンジは、露出の絞
り７である。

【００３１】ＤＲＥＦＡプロセッサ２２は、低速フォト
サイトに対応する画素値を用いることにより、本発明で
生成されるデジタルイメージの全ダイナミックレンジを
拡大して、非常に高い露出に対応する領域のイメージ信
号を再構築するのに利用できる。同様に、ＤＲＥＦＡプ
ロセッサ２２はまた、高速な応答をもつフォトサイトに
対応する画素値を用いて、非常に遅い露出に対応するイ
メージ信号を再構築する。

【００３２】図８は、ＤＲＥＦＡプロセッサ２２のブロ
ック図を示す。Ａ／Ｄ変換器１４から出力される対数関
数イメージ信号ｂ（ｘ，ｙ）であるまばらにサンプリン
グされた高解像度デジタルイメージは、低速画素補償器
４４に送られる。低速画素補償器４４を設けた目的は、
絞りＸに応じたオフセットを考慮することにより、低速
フォトサイトに対応するイメージ信号を補償することで
ある。または、高速画素は、高速画素を逆の方向に調整
することにより、低速画素に等化される。好ましい実施
の形態では、低速フォトサイトに対応するイメージ信号
は、−cvs ｌｏｇ（Ｘ／１００）の量だけインクリメン
トされる。ここで、cvsは、露出絞りごとのコード値の
数である。好ましい実施の形態では、cvsの量は５１で
ある。または、低速画素補償器４４に入力されるイメー
ジ信号が、露出に対して（対数関数的よりはむしろ）線
形的に関連がある場合には、低速画素補償器４４は、低
速フォトサイトに対応するイメージ信号に、１００／Ｘ
のファクタで、倍率をかける。低速フォトサイトの位置
は、低速画素補償器４４に通知しなければならないとし
ていることに留意されたい。低速画素補償器４４の出力
は、イメージ信号ｉ（ｘ，ｙ）である。イメージ信号ｉ
（ｘ，ｙ）は、低速フォトサイトに対応する位置におい
て、高速フォトサイトの応答に関連する低速フォトサイ
トの応答の間の差を補償される。高速フォトサイトに対
応する位置においては、Ａ／Ｄ変換器１４から出力され
るイメージ信号ｂ（ｘ，ｙ）の値は、低速画素補償器４
４から出力されるイメージ信号ｉ（ｘ，ｙ）の値と同じ
である。イメージ信号ｉ（ｘ，ｙ）は、８ビット範囲に
制限されないことに注意されたい。好ましい実施の形態
では、ｉ（ｘ，ｙ）の値は、０〜３５７（すなわち９ビ
ット）である。

【００３３】次に、低速画素補償器４４から出力される
イメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部４６に入
力される。低速画素閾値部４６を設けた目的は、低速画
素値を決定するためである。低速画素値は、有効な信号
を生成するのに十分な光子を受け取らないフォトサイト
に起因して、質が低い。これら（ｘ，ｙ）位置における
画素値は、信号拡張部５０が近隣の高速画素値に基づく
新たな画素値の計算を行う処理の際に、置換される。所
定の閾値よりも小さい低速画素値のすべては、問題のあ
る画素値と考えられる。低速画素値の場合には、この所
定の閾値は、低露出応答閾値として言及される。よっ
て、画素値ｉ（ｘ，ｙ）は、低速フォトサイトの場合、
および、

【数２】 の場合には問題と考えられる。ここで、Ｔ_１は予め定め
られている。好ましい実施の形態では、Ｔ_１の値は、下
記の方程式で与えれられ、値１０２が設定されている。

【数３】 閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトのカ
ラー感度に依存する。問題のある低速画素値は、ノイズ
画素として言及される。それは、ｉ（ｘ，ｙ）の値は、
イメージ検出装置が有用となる雑音レベルに対して十分
高くはないからである。

【００３４】同様に、低速画素補償器４４から出力され
るイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に
入力される。高速画素閾値部４８を設けた目的は、質の
低い高速画素値を決定するためである。その後、これら
の位置における画素値は、信号拡張部５０による処理中
の、近隣の低速画素値に基づいて、新たな画素値を計算
することにより置き換えられる。信号拡張部５０による
処理は、以下、詳細に説明する。所定の閾値よりも大き
い高速画素値のすべては、問題のある画素と考えられ
る。高速画素の場合、高速画素の問題を検出するために
用いられる、この所定の閾値は、光露出応答閾値と言及
される。したがって高速画素値ｉ（ｘ，ｙ）は、下記方
程式の場合には問題であると考えられる。

【数４】 ここで、Ｔ_２は、所定の閾値である。好ましい実施の形
態では、Ｔ_２の値は、値２５４に設定される。閾値Ｔ_２
は、位置（ｘ，ｙ）におけるフォトサイトのカラーに依
存する。問題の位置の高速フォトサイトは、飽和画素
（saturated pixels）と言及される。それは、値ｉ
（ｘ，ｙ）は、その位置においてできるだけ高い方がよ
いからである。

【００３５】低速画素閾値部４６により決定される低速
画素の問題の位置（ｘ，ｙ）、および、高速画素閾値部
４８により決定される高速画素の問題の位置（ｘ，ｙ）
は、信号拡張部５０に入力される。さらに、低速画素補
償器４４から出力されるイメージ信号ｉ（ｘ，ｙ）はま
た、信号拡張部５０に入力される。信号拡張部５０を設
けた目的は、イメージ検出装置１０の各フォトサイト固
有のダイナミックレンジがより大きくなっている場合
に、問題の位置（ｘ，ｙ）におけるイメージ信号ｉ
（ｘ，ｙ）を、置換値と称する信号の評価と置換するこ
とである。問題の位置が、低速フォトサイトと一致する
と、置換値は、高速フォトサイトと一致する近隣のイメ
ージ信号画素値から計算される。本実施の形態では、
「近隣」という語は、ある空間的な距離を示すとする。
好ましい実施の形態では、選択された近隣のフォトサイ
トは、当該選択されたフォトサイトの２つのフォトサイ
トの距離内に存在するフォトサイトである。同様に、問
題の位置がフォトサイトと一致すると、置換値は、低速
フォトサイトと一致する近隣のイメージ信号画素値から
計算される。好ましい実施の形態では、問題のフォトサ
イトにおけるフォトサイトの色もまた、考慮している。
どの問題の位置についての置換値も、好ましくは、同色
の近隣のフォトサイトから発生される信号によっての
み、決定される。信号拡張部５０の出力は、イメージ検
出装置１０の各フォトサイトについての、実際の固有の
ダイナミックレンジＳよりはむしろ、あたかも、下記方
程式に示す固有のダイナミックレンジＳを有するフォト
サイトを持つイメージ検出装置１０により撮影されたよ
うなダイナミックレンジを有するイメージ信号ｉ’
（ｘ，ｙ）である。

【数５】 問題の位置ではない全ての（ｘ，ｙ）位置において、
ｉ’（ｘ，ｙ）の値は、ｉ（ｘ，ｙ）と等しいことに留
意されたい。

【００３６】図７の（Ｂ）に示すBayerＣＦＡパターン
に対して、信号拡張部５０により行われる処理の例とし
て、位置（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が
（図７の（Ｂ）に示すフォトサイト３４のような）緑の
フォトサイトに対応する位置とすると、イメージ信号ｉ
（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のよ
うに計算される。

【数６】 ｉ’（ｘ，ｙ）の計算に従属する信号値は、ある要件に
適合するように予定されていることに留意されたい。例
えば、（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が遅
い応答を有するを有する緑のフォトサイトに対応すると
する。そして、近隣のフォトサイトの信号レベルは、置
換値ｉ’（ｘ，ｙ）を計算するのに利用される。しか
し、これは、近隣のフォトサイトの各々の信号値もま
た、Ｔ_３より小さいと仮定する。好ましい実施の形態で
は、Ｔ_３＝Ｔ_１である。このケースに該当しない近隣の
フォトサイトの各々に対しては、その信号値は、置換値
ｉ’（ｘ，ｙ）の計算から省略される。例えば、ｉ（ｘ
−１，ｙ−１）＞Ｔ_３の場合は、値ｉ’（ｘ，ｙ）は下
記の方程式で計算される。

【数７】 一般に、位置（ｘ，ｙ）が、Bayerパターンフィルタア
レイを有するイメージ検出装置の、高速フォトサイトで
もある緑のフォトサイトに対応する場合に、問題の位置
（ｘ，ｙ）における置換値を決定するための補間スキー
ムは、以下の方程式で与えられる。

【数８】

【数９】

【００３７】問題の位置が、低速フォトサイトでもある
緑のフォトサイトに対応する場合にも、同じ等式を適用
して置換値を決定することに留意されたい。しかし、以
下の方程式も成り立つ。

【数１０】 好ましい実施の形態では、Ｔ_４＝Ｔ_２である。

【００３８】別の例として、位置ｉ（ｘ，ｙ）が問題の
フォトサイトであり、（ｘ，ｙ）が赤または青のフォト
サイトの位置に対応するとする。これもまた、図７の
（Ｂ）に示すBayerＣＦＡパターンと関連する。このと
き、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’
（ｘ，ｙ）は、以下のように計算される。

【数１１】 位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、
また高速フォトサイトにも対応するとき、置換値ｉ’
（ｘ，ｙ）を決定する方程式は、以下のように求められ
る。

【数１２】

【数１３】 この場合には、ｊまたはｋのいずれかは０でなければな
らないが、双方が０になることはない。また、問題の位
置が、低速フォトサイトでもある赤または青のフォトサ
イトに対応する場合にも、同じ方程式を適用して置換値
を決定することに留意されたい。しかし、以下の式も成
り立つ。

【数１４】 好ましい実施の形態では、Ｔ_４＝Ｔ_２である。

【００３９】１以上のまばらにサンプリングされたイメ
ージ信号から、拡大されたダイナミックレンジを有する
イメージ信号を生成するための上述の補間スキームは、
当業者であれば修正できるであろう。しかし、上述の補
間スキームに対するそのような多くの修正がえられる
が、本発明から大きく逸脱するとして考えるべきではな
い。

【００４０】当業者であれば、信号拡張部により行われ
る上述の補間スキームは、この技術において周知のロー
パスフィルタであることが認識できるであろう。典型的
には、イメージ信号に対するローパスフィルタの適用に
より、イメージ信号の解像度を低減させる類似の効果が
ある。よって、ＤＲＥＦＡプロセッサ２２により行われ
る処理方法により、イメージ検出装置１０の空間解像度
を、イメージ検出装置１０のダイナミックレンジを得る
のに扱うことができる。実際、信号のダイナミックレン
ジを増加させるために補間スキームを行うイメージの領
域は、そのイメージの同じ領域が（低速画素閾値部４６
および高速画素閾値部４８により規定される）「問題の
位置」が生じないよう、イメージ検出装置によって撮影
されていた場合に得られたイメージの同じ領域と比較し
て、顕著にソフトに（鮮明でなく）なる。

【００４１】図９は、図２に示すパクセル化モジュール
２２０をより詳細に示す。パクセル化モジュール２２０
を設けた目的は、アルゴリズムによる分析のために、パ
クセル化したデジタルイメージを生成することであり、
以下説明するように、所望の拡張プロセッサ２４０によ
り、密度、カラーバランスを決定して、所望のトーンス
ケール関数を決定する。パクセル化モジュール２２０
は、Ａ／Ｄ変換器１４からイメージを受け取る。イメー
ジ信号は、画素タイプ分離器２２２で受け取られる。画
素タイプ分離器２２２を設けた目的は、画素の各タイプ
に、別々にアクセスできることである。本発明では、フ
ォトサイトは、モノクロームのイメージ検出装置１０の
場合には、図７の（Ａ）に示すように、２タイプ、高速
または低速のタイプである。さらに、図７の（Ｂ）に示
すカラーイメージ検出装置１０の場合には、各カテゴリ
内で、フォトサイトは赤、緑または青であってもよい。
当業者は、多くの他の色および速度の組み合わせが考え
られることが認識できるであろう。よって、計６タイプ
のフォトサイトが存在する。本実施の形態では、画素タ
イプ分離器２２２は、すべての高速画素値およびすべて
の低速画素値を別々に出力する。パクセル化エンジン２
２４は、低速画素値を受け取り、数値平均化空間フィル
タリング技術を行う。その結果、パクセル化されたデジ
タルイメージが得られる。好ましい実施の形態では、パ
クセル化エンジン２２４は、ブロックサイズＮ×Ｎのブ
ロック平均化を行い、パクセル化されたデジタルイメー
ジを生成し、パクセル化モジュール２２０から出力され
る。例えば、パクセル化エンジン２２４が、Ｎ＝３２画
素のブロックサイズを用いる場合には、まばらにサンプ
リングされた高解像度デジタルイメージは、１０２４×
１５３６の解像度を持ち、そしてパクセル化されたデジ
タルイメージは、図１０に示すように、３２×４８の解
像度を持つことになる。典型的には、Ｎの値は、パクセ
ル化されたデジタルイメージがカラーおよびトーン分析
アルゴリズムによって利用されるような、小さなサイズ
になるように選択される。パクセル化されたデジタルイ
メージの各画素は、まばらにサンプリングされた高解像
度デジタルイメージのＮ×Ｎブロックに対応する。パク
セル化されたデジタルイメージの各画素値は、デジタル
イメージの各色（典型的には赤、緑および青）に対して
関連する画素値を有する。パクセル化されたデジタルイ
メージの赤の画素値は、パクセル化エンジン２２４によ
り、まばらにサンプリングされた高解像度デジタルイメ
ージの対応するＮ×Ｎブロック内の、すべての赤い画素
値を平均化することにより、決定される。好ましい実施
の形態では、画素タイプ分離器２２２は、低速画素値の
みを出力するので、パクセル化されたデジタルイメージ
の各画素は、もっぱら低速画素値を用いて計算されるこ
とに留意されたい。緑および青の画素値について、同様
の処理が続く。

【００４２】留意すべき重要なことは、画素タイプ分離
器２２２により行われる動作は、コンピュータメモリ内
の、画素データの格納位置を再配列しなくてもよいこと
である。本発明は、コンピュータメモリ内の、画素デー
タの格納位置に対するポインタアドレッシングスキーム
として、画素タイプ分離器２２２を実装する。よって、
画素タイプ分離器２２２のもっとも重要な面は、高速フ
ォトサイトと低速フォトサイトに対応する画素データ
を、別体として指標付けられることである。

【００４３】画素タイプ分離器２２２の別の実施の形態
は、各画素位置における単一の画素値のみを有するパク
セル化されたイメージを生成することである。この画素
値は、輝度画素値として考えられる。パクセル化された
デジタルイメージの輝度画素値は、まばらにサンプリン
グされた高解像度デジタルイメージの、対応するＮ×Ｎ
ブロック内の、緑の低速画素値のみを用いて得ることが
できる。または、輝度画素値は、まばらにサンプリング
された高解像度デジタルイメージの、対応するＮ×Ｎブ
ロック内の、すべての低速画素値を用いて得ることがで
きる。図２に示すさらに別の実施の形態として、パクセ
ル化モジュール２２０は、類似の技術を利用して、ＤＲ
ＥＦＡプロセッサ２２から出力されたイメージ信号か
ら、または、ＣＦＡ補間器２６から出力されたフル解像
度のデジタルイメージから、パクセル化されたデジタル
イメージを生成する。

【００４４】図２に示す低解像度モジュール２３２は、
ユーザに所望のトーンスケール調整を特定可能にするこ
とにより、バランスおよびトーンスケール関数の修正
を、ユーザが対話的に決定できるようにするために、低
解像度デジタルイメージを生成する。ユーザは、図１に
示すように、ユーザ選択装置６２で、これらの所望のト
ーンスケール調整を入力する。低解像度モジュール２３
２（図２）の動作は、以下を除いて、パクセル化モジュ
ール２２０に類似する。すなわち、ファクタＮは、一般
に、低解像度イメージが表示装置６４に対して適切にな
るよう、選択される。概して、低解像度モジュール２３
２に対するファクタＮは、パクセル化モジュール２２０
に対するファクタＮよりも大きい。好ましい実施の形態
では、低解像度でイメージを生成するのに用いられるフ
ァクタＮは、８である。表示装置６４がカラー表示装置
であれば、低解像度デジタルイメージは、各画素位置に
対して、１より大きいカラー画素値を有する。または、
表示装置６４がカラー表示装置でなければ、低解像度デ
ジタルイメージは、すでに説明したように、単一の輝度
画素値のみを有する。

【００４５】図１１は、図２に示す拡張プロセッサ２４
０をより詳しく示す。ＣＦＡ補間器２６から出力される
フル解像度デジタルイメージは、拡張プロセッサに入力
される。別の実施の形態では、拡張プロセッサ２４の位
置は、ＣＦＡ補間器２６、または、ＤＲＥＦＡプロセッ
サ２２に配置される。

【００４６】輝度−クロミナンスモジュール３２０
_１は、フル解像度デジタルイメージを受け取り、フル解
像度ＬＣＣデジタルイメージを生成する。輝度−クロミ
ナンスモジュール３２０_２は、低解像度デジタルイメー
ジを受け取り、低解像度ＬＣＣデジタルイメージを生成
する。モノクロームの撮影のような用途では、輝度クロ
ミナンスモジュール３２０は省略できる。

【００４７】シーンバランスモジュール３１０は、パク
セル化されたデジタルイメージを受け取り、バランスパ
ラメータを計算する。バランスパラメータは、最終的な
処理されたデジタルイメージを与える、色および明るさ
（brightness）の変化に関するすべてに関連する。パク
セル化されたデジタルイメージおよびバランスパラメー
タは、トーンスケール関数生成器３３０に受け取られ
る。トーンスケール関数生成器３３０は、明度（ligh
t）トーンスケール関数、すなわち、画素値の変換に用
いられる一価関数を計算する。トーンスケール関数適用
器３４０_２は、明度トーンスケール関数および低解像度
ＬＣＣデジタルイメージを受け取り、明度トーンスケー
ル関数を低解像度ＬＣＣデジタルイメージに適用して、
トーンスケール修正済みの低解像度デジタルイメージを
生成する。トーンスケール修正済みの低解像度デジタル
イメージは、ダイナミックレンジが拡大されたデジタル
イメージを表す。ダイナミックレンジが拡大されたデジ
タルイメージは、明るさおよび色に対してバランスが取
られており、トーンスケールが調整されて、暗い部分お
よび明るい部分の細部が改善されている。トーンスケー
ルが修正された低解像度デジタルイメージは、レンダリ
ングモジュール３５０が受け取る。レンダリングモジュ
ール３５０は、低解像度のレンダリングされたデジタル
イメージを生成する。イメージ検出装置により撮影され
たカラー値を、特定の出力装置に表示するのに適切なカ
ラー値に変換する工程は、しばしば「レンダリング」と
言及される。そして、低解像度のレンダリングされたデ
ジタルイメージは、ユーザからのフィードバックを集め
るため、表示装置６４に表示される。ユーザは、ボタ
ン、マウス、タッチスクリーン、スライダ、音声コマン
ドなどのユーザ選択装置６２、または、所望のトーンス
ケール調整を入力する他の方法を用いる、トーンスケー
ル関数への所望の変更を入力する。所望のトーンスケー
ル調整の例として、ユーザは、ユーザ選択装置６２を用
いて、表示装置６４上のイメージの明るい部分を暗くす
る指示を出す。そして、シーンバランスモジュール３１
０、および、トーンスケール関数生成器３３０は、修正
したバランス、および、トーンスケール関数を、それぞ
れ生成する。ユーザとの対話に依存したイメージバラン
ス、および、トーンスケールの作成は、当該技術分野で
は周知である。例えば、１９９１年４月３０日にLeeら
に発行された米国特許第5,012,333号は、イメージに依
存するトーンスケール関数を設定し、適用する対話式方
法が開示されている。トーンスケール関数適用器３４０
_２は、修正されたトーンスケール関数、および、低解像
度ＬＣＣデジタルイメージを受け取り、修正されたトー
ンスケール関数を低解像度ＬＣＣデジタルイメージに適
用して、トーンスケールが修正された低解像度デジタル
イメージを生成する。トーンスケール関数をデジタルイ
メージに適用する様々な方法が存在するが、以下でより
詳しく説明する。レンダリングモジュール３５０により
レンダリングされた後、低解像度レンダリングされたデ
ジタルイメージは、表示装置６４に表示され、ユーザが
ユーザ選択装置６２を用いてさらに調整できるようにす
る。この工程は、ユーザが更に調整しなくなるまで繰り
返して行う。その場合、トーンスケール関数適用器３４
０_１は、トーンスケール関数（または、ユーザに修正が
ない場合には修正されたトーンスケール関数）を、フル
解像度のＬＣＣデジタルイメージに適用し、トーンスケ
ールが調整されたフル解像度のＬＣＣデジタルイメージ
を生成する。ＲＧＢ変換モジュール３６０は、このＬＣ
Ｃデジタルイメージを、赤、緑、および、青の画素値で
表されるイメージに変換し戻し、トーンスケールが調整
されたフル解像度のデジタルイメージを生成する。

【００４８】他の実施の形態では、高速処理用途のよう
な、ある種の用途では、表示装置６４およびユーザ選択
装置６２は省略できる。この場合には、低解像度デジタ
ルイメージは、生成される必要がなく、トーンスケール
関数生成器３３０から出力されるトーンスケール関数
が、トーンスケール関数適用器３４０_１によるフル解像
度ＬＣＣデジタルイメージに適用される。

【００４９】輝度−クロミナンスモジュール３２０
_１は、フル解像度デジタルイメージからのフル解像度Ｌ
ＣＣデジタルイメージを生成するのに用いられる。フル
解像度デジタルイメージは、赤、緑、および、青のデジ
タルイメージチャネルを含む。各デジタルイメージチャ
ネルは、同数の画素を含む。ｉ番目の列、ｊ番目の行に
位置する赤、緑、および、青のデジタルイメージチャネ
ルに対応する画素値を、Ｒ _ｉｊ、Ｇ_ｉｊ、Ｂ_ｉｊとす
る。また、修正されたデジタルイメージの変換された画
素値をＬ_ｉｊ、Ｃ１_ｉｊ、Ｃ２_ｉｊとする。入力画素
値、および、出力画素値に関連する、３×３行列変換
は、以下のとおりである。

【数１５】 ここで、τ_ｍｎの項は、[τ]で表される３×３ＬＣＣ行
列の係数である。本発明で利用される、τ_１１、
τ_１２、τ_１３に与えられる定数は、それぞれ０．３３
３、０．３３３、０．３３３である。本発明は、他の輝
度クロミナンス変換を行うことができ、その場合でも良
好な結果が得られることに留意することが重要である。
例えば、それぞれ０．３０、０．５９、０．１１に設定
されたτ_１１、τ _１２、τ_１３値を有する行列もまた、
うまく機能する。計算値Ｃ１、Ｃ２は、デジタルカラー
差分値の例である。輝度−クロミナンスモジュール３２
０_２はまた、同じ方法で、低解像度ＬＣＣデジタルイメ
ージを生成するのに利用される。

【００５０】パクセル化モジュール２２０から出力され
たパクセル化されたデジタルイメージは、シーンバラン
スモジュール３１０を用いて実施される。本発明は、１
９９０年７月３１日にCokに発行された米国特許第4,94
5,406号に記載されたもののような、任意のシーンバラ
ンスモジュール３１０に入力される。シーンバランスモ
ジュールは、パクセル化されたデジタルイメージの画素
値に基づいて、バランスパラメータ、すなわち、理論上
の１８％のグレーカードの画素値に対応する画素値を計
算する。Cokにより教示された方法では、パクセル化さ
れたデジタルイメージの画素から、画素最小値、最大
値、平均値といったの統計的パラメータが計算される。
統計上のパラメータは、パクセル化されたデジタルイメ
ージの、異なる領域について計算され、かつ、３つのカ
ラーデジタルイメージチャネル（Ｌ，Ｃ１、およびＣ
２）について計算される。統計的パラメータは、所定の
係数を有する多重線形（multilinear）方程式で組み合
わされて、３つのバランスパラメータ、すなわち、イメ
ージ全体の明るさに関連する、Ｌチャネルバランスパラ
メータと、イメージのカラーバランス全体に関連するＣ
１およびＣ２デジタルイメージチャネルに対する２つの
クロミナンスバランスパラメータとを予測する。Ｌ、Ｃ
１、および、Ｃ２で表現されているものの、これらのカ
ラーバランス値は、カラー科学の分野に属する者に周知
の技術により、他のカラー空間（例えば、赤、緑、およ
び、青）に容易に変換できる。

【００５１】トーンスケール関数生成器３３０は、パク
セル化されたデジタルイメージを受け取り、トーンスケ
ール関数、すなわち、一価の数式、または、各入力値に
対応する単一の出力値を有する変換を計算する。本発明
は、計算の効率化のため、ルックアップテーブルとして
明度トーンスケール関数を与える。本発明は、トーンス
ケール関数を生成する種々の方法で実施できる。本発明
の好ましい実施の形態は、１９８８年３月１５日にAlko
ferに発行された米国特許第4,731,671号、および、上述
の米国特許第5,822,453号に開示された方法を利用す
る。これらの方法は、本発明に利用され、２つの別個の
トーンスケール関数を生成する。これらのトーンスケー
ル関数は、単一の明度トーンスケール関数にカスケード
され、ＬＣＣデジタルイメージの明るさおよびコントラ
ストを調整するのに用いられる。

【００５２】米国特許第5,822,453号において、Leeら
は、デジタルイメージからのシーンコントラストの評価
を含む、デジタルイメージの画素値を用いるトーンスケ
ール関数の計算方法を開示している。Leeらにより教示
された方法は、以下を含む。すなわち、デジタルイメー
ジのラプラシアンフィルタリングされたバージョンの計
算、ラプラシアン信号のヒストグラムの形成、ラプラシ
アン信号に適用されたときに、実質的に均一な領域を削
除する、ラプラシアンヒストグラムからの２つの閾値の
決定、閾値に基づく、デジタルイメージからの画素のサ
ンプリング、サンプリングされた画素からのヒストグラ
ムの形成、サンプリングされたヒストグラムの標準偏差
の計算、そして、計算された標準偏差と、所定のコント
ラストとを比較することによる、所定のコントラストと
関係があるデジタルイメージのコントラストの評価であ
る。所定のコントラストは、入力されたイメージのコン
トラストを決定する。LeeおよびKwonにより開示された
方法を利用して、第１のトーンスケール関数を計算す
る。

【００５３】米国特許第4,731,671号において、Alkofer
は、デジタルイメージのヒストグラムの正規化に基づい
て、デジタルイメージの画素値を用いてトーンスケール
関数を計算する方法を開示する。この方法は、画素値の
サンプルの標準偏差を計算することによる、デジタルイ
メージのコントラストの決定を含む。画素値のサンプル
のヒストグラムを正規化することにより、第２のトーン
スケール関数が計算される。画素値のサンプルは、選択
された画素値のサンプルのヒストグラムの形状に基づい
て、複数のコントラストインターバルに対応する、複数
の画素値のサンプルの１つから選択される。コントラス
トの調整を容易にするために、トーンスケール関数が構
築され、標準正規変量（standard normal variate）Ｚ
の単位で値を生成する。その後、これらのＺ値は、処理
されたデジタルイメージのコントラストを決定する画素
値のサンプルの標準偏差の関数である定数に乗算され
る。本発明は、第２のトーンスケール関数の分析の基礎
として、ＬＣＣパクセル化されたデジタルイメージの、
Ｌ（輝度）デジタルイメージチャネルを利用する。

【００５４】第１、および第２のトーンスケール関数
は、下記の公式を用いて、結合され、明度トーンスケー
ル関数になる。

【数１６】 ここで、LUT_２は、第２のトーンスケール関数を示し、
また、LUT_１は、第１のトーンスケール関数を示す。そ
して、LUT_ｆは、明度トーンスケール関数を示す。変数
ｊは、処理されるデジタルイメージの画素値の指標を表
す。明度トーンスケール関数ＬＵＴ_ｆは、とり得る画素
値の範囲に対して、数１６の式を評価することにより計
算される。

【００５５】明度トーンスケール関数ＬＵＴ_ｆおよびＬ
ＣＣデジタルイメージは、トーンスケール関数適用器３
４０_１および３４０_２によって受け取られる。本発明
は、明度トーンスケール関数を、フル解像度ＬＣＣデジ
タルイメージの輝度チャネル、および、低解像度ＬＣＣ
デジタルイメージのそれぞれに適用して、ソースデジタ
ルイメージの明るさおよびコントラスト属性を調整す
る。明度トーンスケール関数を、ＬＣＣデジタルイメー
ジのＬ（輝度）チャネルに直接適用することは、もっと
も高速である。しかし、本発明は、明度トーンスケール
関数を、デジタルイメージの画素に適用する他の方法を
実施することもできる。例えば、他の実施の形態が、１
９９８年９月３０日にGallagherらにより提出された米
国出願09/163,645に記載されている。また、同じく譲渡
された米国特許第5,012,333号もまた、トーンスケール
関数をデジタルイメージに適用する方法を開示する。こ
れらの方法は、以下を含む。すなわち、輝度デジタルイ
メージを空間的にフィルタリングして、２つの空間周波
数成分（高周波成分および低周波成分）にし、トーンス
ケール関数を低い空間周波数成分に適用し、トーンスケ
ールが修正された低い空間周波数成分を、高い空間周波
数成分と組み合わせる。結果としての処理されたデジタ
ルイメージは、改善された空間的に詳細なコンテンツを
備えた、拡大された明るさおよびコントラスト属性を有
する。これらの両方の方法は、空間フィルタを利用し
て、トーンスケール関数を適用する。

【００５６】ＲＧＢ変換モジュール３６０は、トーンス
ケールが調整されたフル解像度ＬＣＣデジタルイメージ
を受け取り、線形３×３行列変換を適用して、輝度−ク
ロミナンス表現を赤−緑−青チャネル表現に戻すよう変
換する。その結果、トーンスケールが調整されたフル解
像度デジタルイメージのデジタルイメージチャネルは、
ソースデジタルイメージとして、同じカラーメトリック
表現を有する。変換により、入力されたカラー画素値の
線形結合として、新たな画素値を生成する。

【００５７】ｉ番目の列、ｊ番目の行に位置する、輝度
デジタルチャネル、および、２つのクロミナンスデジタ
ルチャネルに対応する画素値を、Ｌ_ｉｊ、Ｃ１_ｉｊ、お
よびＣ２_ｉｊとする。修正されたデジタルイメージの、
変換された画素値を、Ｒ’_{ｉ ｊ}、Ｇ’_ｉｊ、Ｂ’_ｉｊと
する。入力画素値、および、出力画素値に関連する、３
×３行列変換は、以下のとおりである。

【数１７】 ここで、項η_ｍｎは、３×３行列変換の係数である。

【００５８】本発明の好ましい実施の形態は、輝度−ク
ロミナンスモジュール３２０に対応して[τ]で表される
ｌｃｃ行列の逆行列として、上述の[η]で表されるｒｇ
ｂ変換行列を構築する。これは、数１８の行列表記で数
学的に表すことができる。

【数１８】

【００５９】図１１に示すレンダリングモジュール３５
０は、トーンスケールが修正された低解像度デジタルイ
メージを受け取り、画素値に変換を施し、表示装置で直
接見ることができる、低解像度レンダリングされたデジ
タルイメージを生成する。２つの変換が利用され、直接
見るために、トーンスケールが修正された低解像度デジ
タルイメージを作成する。第１の変換は、３×３カラー
行列変換であり、トーンスケールが修正された低解像度
デジタルイメージのカラー画素に適用される。カラー行
列変換は、イメージ検出装置１０のカラーフォトサイト
のスペクトル感度と、表示装置６４のスペクトル特性と
の間の差異の原因となる。本発明により利用される上述
の方法は、１９９３年２月２３日にParulskiらに発行さ
れた米国特許第5,189,511号に教示され、説明されてい
る。第２の変換は、トーンスケールが修正された低解像
度デジタルイメージの、ダイナミックレンジが拡大され
た画素値と、典型的な表示装置と互換性のある画素値と
をマッピングする、トーンスケール関数の適用を含む。
本発明は、１９９４年４月５日にBuhrらに発行された米
国特許第5,300,381号に開示されている方法と類似の方
法を用いる。Buhrは、優先トーンマッピングを行うレン
ダリングトーンスケール関数を計算する方法を開示す
る。この方法では、トーンスケール関数のコントラスト
は、中央トーンがその強度について最大であり、影およ
び明るい画素強度に対しては優美な低めのコントラスト
を有する。このレンダリングトーンスケール関数は、ガ
ンママッピングトーンスケール関数と組み合わされて、
システムトーンスケール関数を計算する。ガンママッピ
ングトーンスケール関数は、典型的な表示装置の固有の
強度応答を補償する。システムトーンスケール関数は、
レンダリングトーンスケール関数とカスケードされ、ル
ックアップテーブルの形で、トーンスケールが修正され
た低解像度デジタルイメージの画素に適用され、低解像
度レンダリングされたデジタルイメージを生成する。

【００６０】デジタルカメラ用途では、ＬＣＤスクリー
ンなどの表示装置６４が、デジタルイメージプロセッサ
２００により生成されるデジタルイメージを見るために
用いられる。他のデジタル撮像用途では、ユーザはま
た、表示装置６４上でデジタルイメージを見ることがで
きる。ユーザは、ＬＣＤ表示装置上に呈示されたイメー
ジを見て、明るさ、カラーおよびトーンに関する選択を
行うことができる。明るさ、および、カラーに対する変
更は、図１１に示すシーンバランスモジュール３１０に
入力される。本発明は、ユーザにより選択された修正を
用いて、バランスパラメータに対してさらなる変更を行
う。カラーバランス技術の当業者は、本発明が、カラー
バランスを得ることができる、広く多様な方法で実施で
きることを認識できるであろう。

【００６１】

【発明の効果】本発明は、画素値の部分集合とともに、
トーンスケール関数が生成され、これにより、トーンス
ケール関数を生成する計算時間を減少できる、という効
果を有する。

【図面の簡単な説明】

【図１】 本発明による、拡張されたレンジのイメージ
検出装置と、デジタルイメージプロセッサとを用いるデ
ジタル撮像システムのブロック図である。

【図２】 デジタルイメージプロセッサの機能ブロック
図である。

【図３】 小型レンズアレイを用いて、選択されたフォ
トサイトの応答を変化させる、インターラインイメージ
検出装置の断面図である。

【図４】 金属マスクを用いて、選択されたフォトサイ
トの応答を変化させる、フルフレームイメージ検出装置
の断面図である。

【図５】 高速フォトサイトおよび低速フォトサイトの
応答を示すグラフである。

【図６】 中性密度フィルタアレイを用いて、選択され
たフォトサイトの応答を変化させる、イメージ検出装置
の断面図である。

【図７】 （Ａ）は、全色性のイメージ検出装置上の、
低速フォトサイトおよび高速フォトサイトの配置を示す
図である。（Ｂ）は、カラーイメージ検出装置上の、低
速フォトサイトおよび高速フォトサイトの配置を示す図
である。

【図８】 ダイナミックレンジ拡張フィルタアレイ（Ｄ
ＲＥＦＡ）プロセッサのブロック図である。

【図９】 パクセル化モジュールのブロック図である。

【図１０】 ブロック平均化のための画素の配置の例を
示す図である。

【図１１】 拡張プロセッサの機能ブロック図である。

【符号の説明】

２ レンズ ６ 光学的ローパスフィルタ １０ イメージ検出装置 １４ Ａ／Ｄ変換器 ２２ ＤＲＥＦＡプロセッサ ２６ ＣＦＡ補間器 ４４ 低速画素補償器 ４６ 低速画素閾値部 ４８ 高速画素閾値部 ５０ 信号拡張部 ６２ ユーザ選択装置 ６４ 表示装置 ２００ デジタルイメージプロセッサ ２２０ パクセル化モジュール ２２２ 画素タイプ分離器 ２２４ パクセル化エンジン ２３２ 低解像度モジュール ２４０ 拡張プロセッサ ３１０ シーンバランスモジュール ３２０ 輝度−クロミナンスモジュール ３３０ トーンスケール関数生成器 ３４０ トーンスケール関数適用器 ３５０ レンダリングモジュール ３６０ ＲＧＢ変換モジュール

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA01 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CH18 5C024 AX01 CX00 CX37 CX43 DX01 EX51 GX03 HX51 5C065 BB01 CC01 CC07 DD02 EE03 GG32 5C077 LL19 MP01 NN02 NP01 PQ03 PQ08 PQ12 RR18 RR19 TT09

Claims (1)

【特許請求の範囲】
1. 【請求項１】 まばらにサンプリングされ、拡大された
   ダイナミックレンジのデジタルイメージに対するトーン
   スケール関数の生成方法であって、 ａ）光露出に対する所定の応答を有する高速フォトサイ
   トと、その間に散在する、該光露出と同じ光露出に対し
   てより遅い応答を有する低速フォトサイトとを有し、ま
   ばらにサンプリングされ、拡大されたダイナミックレン
   ジのイメージの検出装置を提供するステップと、 ｂ）該検出装置を用いて、高速フォトサイトから生成さ
   れた高速画素値と、低速フォトサイトにより生成された
   低速画素値とを有する、まばらにサンプリングされた高
   解像度デジタルイメージを生成するステップと、 ｃ）まばらにサンプリングされた高解像度デジタルイメ
   ージから、低速画素値のみを用いて、トーンスケール関
   数を生成するステップとからなる、トーンスケール関数
   の生成方法。