JP4090141B2 - 撮像装置の階調補正方法 - Google Patents
撮像装置の階調補正方法 Download PDFInfo
- Publication number
- JP4090141B2 JP4090141B2 JP09492799A JP9492799A JP4090141B2 JP 4090141 B2 JP4090141 B2 JP 4090141B2 JP 09492799 A JP09492799 A JP 09492799A JP 9492799 A JP9492799 A JP 9492799A JP 4090141 B2 JP4090141 B2 JP 4090141B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- value
- slope
- limit value
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ等に用いられる撮像装置の階調補正方法に関し、特に、自然な感じの画像が再現できるように階調特性を改善したものである。
【０００２】
【従来の技術】
撮像装置の階調補正装置は、再現画像の輝度が被写体の輝度と対応するように映像信号を補正する。これまで、ダイナミックレンジが小さい受像装置を有効に使うために、この階調補正には種々の工夫が施されている。
【０００３】
階調補正装置を備える従来の撮像装置は、図４に示すように、露光量が異なる２種類の映像信号を１フィールド期間内に交互に出力する撮像素子１と、この映像信号を増幅する前処理部２と、アナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器３と、露光量が異なる２種類の映像信号の時間軸を揃え、分離して出力する時間軸変換器４と、この２種類の映像信号を合成するレベル合成手段５と、合成画像信号の輝度のヒストグラムを検出するヒストグラムデータ検出手段６と、このヒストグラムを基に階調特性を算出するマイクロコンピュータ７と、設定された階調特性に従って合成画像信号の階調補正を行なう階調補正手段８とを具備しており、階調補正手段８から出力された階調補正後の合成画像信号が主要映像信号処理回路９で処理され、ビデオ信号として出力される。
【０００４】
この装置では、撮像素子１が、水平ＣＣＤの転送を通常の２倍の転送速度で行ない、露光量が長時間の映像信号と短時間の映像信号との２種類の映像信号を１フィールド期間内に交互に出力する。出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２が施された後、Ａ／Ｄ変換器３でデジタル信号に変換され、時間軸変換器４により、標準速度で且つ同一タイミングの長時間露光画像信号と短時間露光画像信号とに分離され、これらの信号は、レベル合成手段５により所定の輝度レベルで重み付けされて合成される。
【０００５】
ヒストグラムデータ検出手段６は、レベル合成手段５から出力された合成画像信号のヒストグラムを検出する。この検出では、画面中の水平ｍポイント、垂直ｎポイントの合計ｍ×ｎ画素において、合成画像信号のレベルが、多段階に区分された階調レベルのどのレベルに属しているかが判定される。ヒストグラムは、ある階調を持つ画素が画面中に何個存在するかを示すものである。ヒストグラムデータ検出手段６は、検出したヒストグラムデータをマイクロコンピュータ７に出力する。
【０００６】
マイクロコンピュータ７は、このヒストグラムデータを用いて、後述する手順で階調特性を算出し、算出結果を階調補正手段８に設定する。
【０００７】
階調補正手段８は、レベル合成手段５から出力された合成画像信号に対して、マイクロコンピュータ７で設定された階調特性を実現するように階調補正を行ない、画像信号を出力する。この画像信号は主要映像信号処理手段９で処理されてビデオ出力となる。
【０００８】
マイクロコンピュータ７は、ヒストグラムデータを用いて、階調特性を図６に示す手順で求める。
【０００９】
階調特性は、基本的には、ヒストグラムの度数が高い階調レベル（即ち、輝度頻度の高い階調レベル）程、コントラストが強調されるように設定する。この特性は、各階調レベルのヒストグラムデータを規格化し、各階調レベルの規格化値を累積積分することによって得られる。この規格化のために、
ステップ１：まず、各階調レベルのヒストグラムデータＨ[n]（ここでは階調レベルｎを０〜１５の１６段階に設定している）の総和値Ｈallを算出し、
ステップ２：各階調のヒストグラムデータＨ[n]をヒストグラムデータの総和値Ｈallで除算し、各階調レベルの規格化値Ｈk1[n]を算出する。
【００１０】
この規格化されたヒストグラムデータをＨk1[0]からＨk1[n]まで累積積分し、入力画像信号の階調Ｈk1[n]に対応して累積積分値（ΣＨk1[n]）の階調を出力するようにすれば、輝度頻度の高い階調のコントラストを強調する階調特性を得ることができる。しかし、このままの階調特性で階調補正を行なうと、輝度頻度の高い階調での僅かな階調差が必要以上に強調されてＳ／Ｎが悪化したり、または、輝度頻度の低い領域でコントラストが無くなったりする場合があり、不自然な階調再現となる。
【００１１】
そこで、この階調特性の傾きに制限を加えるため、
ステップ３：規格化されたヒストグラムデータＨk1[n]が、傾きの下限値Ｃ pminより小さい場合には、この下限値を規格化された新たなヒストグラムデータＨk2[n]（＝Ｃ pmin）とし、また、Ｈk1[n]が、傾きの上限値Ｃ pmaxより大きい場合には、この上限値を規格化された新たなヒストグラムデータＨk2[n]（＝Ｃ pmax）とする。そして、Ｃ pmin≦Ｈk1[n]≦Ｃ pmaxのときはＨk2[n]にＨk1[n]をそのまま使って、
ステップ４：傾き制限後のヒストグラムデータＨk2[n]を累積積分して階調特性を求める。
【００１２】
さらに、
ステップ５：最後に、入力画像のピーク値ＫIを再現させるための規格化処理を行なう。
【００１３】
この最後の規格化処理は、映像の最大値を、階調補正処理以降の信号処理回路におけるダイナミックレンジの上限値に規格化するものとなる。
【００１４】
こうして求めた階調特性は、ヒストグラムの度数が高い階調レベル程、コントラストが強調される階調補正を可能にする。また、この階調補正により映像の最大値が後続する信号処理回路のダイナミックレンジから外れてしまう、という事態を防ぐことができる。
【００１５】
【発明が解決しようとする課題】
しかし、従来の階調補正方法では、階調特性が、どのような被写体を撮像した場合でも、一様に映像の最大値を階調補正処理以降の信号処理回路のダイナミックレンジの上限値で規格化するように設定されているため、このダイナミックレンジの飽和をもたらさないような暗い被写体を撮像したときでも、不必要に階調を上げる補正が行なわれ、不自然な画像になるという問題点を有していた。
【００１６】
本発明は、こうした従来の問題点を解決するものであり、階調補正処理以降の主要信号処理回路やモニタのダイナミックレンジを有効に活用しながら、且つ、低輝度被写体の映像に対しても自然な画像への階調補正を可能にする階調補正方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】
そこで、本発明の階調補正方法では、ヒストグラムデータの最大階調値を検出し、最大階調値に応じた階調特性を算出している。
【００１８】
そのため、様々な被写体に適応して最適な階調補正を行なうことができ、後段信号処理のダイナミックレンジを有効活用しながら、低輝度の被写体に対しても自然な画像の再現が可能になる。
【００１９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像の各階調のヒストグラムデータの総和を求め、前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、前記ヒストグラムデータの最大階調値を検出し、前記最大階調値が標準レベル以内であるときは、前記傾きの上限値および前記傾きの下限値を等しい値とし、前記最大階調値が標準レベルより大きく後処理回路のダイナミックレンジ以内であるときは、前記傾きの上限値を前記傾き下限値より大きくし、前記最大階調値が前記後処理回路のダイナミックレンジより大きいときも、前記傾きの上限値を前記傾きの下限値より大きくするようにしたものであり、こうして求めた階調特性を用いることにより、被写体の輝度に応じた階調補正を行なうことができる。
【００２０】
請求項２に記載の発明は、入力画像の各階調のヒストグラムデータの総和を求め、前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、前記ヒストグラムデータの最大階調値を検出し、前記最大階調値が標準レベル以上且つ後処理回路のダイナミックレンジ以内であるときは階調補正後のヒストグラムの最大階調値を入力信号の最大階調値と等しくし、前記最大階調値が後処理回路のダイナミックレンジより大きいときは、前記階調補正後のヒストグラムの最大階調値を前記後処理回路のダイナミックレンジの上限になるように前記階調補正後のヒストグラムの最大階調値を変更するようにしたものであり、こうして求めた階調特性を用いることにより、被写体の輝度に応じた階調補正を行なうことができる。
【００２３】
以下、本発明の実施の形態について図面を用いて説明する。
【００２４】
本発明の階調補正方法は、図４の撮像装置の階調補正装置により実施される。この装置の構成は先に説明した通りである。
【００２５】
この装置の撮像素子１は、水平ＣＣＤの転送を通常の２倍の転送速度で行ない、露光量が長時間の映像信号と短時間の映像信号との２種類の映像信号を１フィールド期間内に交互に出力する。出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２が施された後、Ａ／Ｄ変換器３でデジタル信号に変換され、時間軸変換器４により、標準速度で且つ同一タイミングの長時間露光画像信号と短時間露光画像信号とに分離される。
【００２６】
レベル合成手段５は、これらの信号を所定の輝度レベルで合成する。合成は、図５に示すように、ある合成レベルと合成幅とを規定して行なわれる。長時間露光画像信号Ｙlongに対しては、合成レベル以上から圧縮を開始するゲインＫを乗じた信号Ｋ×Ｙlongを作成し、また、短時間露光画像信号Ｙshortに対しては、オフセット値Ｙoffsetを加算した後、合成レベル以下で圧縮を行なうゲイン（１−Ｋ）を乗じた信号（１−Ｋ）×（Ｙshort+Ｙoffset）を作成し、これらを加算して合成信号Ｙmixを得る。
【００２７】
ヒストグラム検出手段６は、この合成信号の画像のヒストグラムデータを検出する。この検出では、階調レベルを１６階調に分割し（この分割数で充分な特性が得られる）、画面中の水平ｍポイント、垂直ｎポイントの合計ｍ×ｎ画素において合成信号Ｙmix のレベルがどの階調レベルに属するかを判定し、ある階調を持つ画素が画面中に何個存在するかを示すヒストグラムデータを得る。
【００２８】
マイクロコンピュータ７は、このヒストグラムデータを用いて、図３に示すアルゴリズムで階調特性を算出する。このアルゴリズムの手順は、基本的には、従来のもの（図６）と同じであり、「ヒストグラムデータの規格化」「傾き制限処理」「傾き制限処理したヒストグラムデータを用いた累積積分」及び「最大階調値に応じた規格化」という流れで階調特性が算出される。ただ、従来と異なる点は、ヒストグラムデータの最大値を求め、この最大値に応じて「傾き制限処理」及び「最大階調値による規格化」の処理を違えている点である。この実施形態では、ヒストグラムデータの最大値が、
（１）標準レベル以内である場合
（２）標準レベル以上で、且つ後処理系回路のダイナミックレンジ以内である場合
（３）後処理系回路のダイナミックレンジ以上である場合
に区分し、それぞれの場合に応じて「傾き制限処理」及び「最大階調値による規格化」の処理を違えている。
【００２９】
図３の手順について詳しく説明する。
【００３０】
ステップ11：まず、全階調のヒストグラムデータの総和値Ｈallを算出する。n階調目のヒストグラムデータをＨ[n]とするとＨallは（数１）で与えられる。
【００３１】
Hall = ΣH[n] ( n = 0〜15 ) （数１）
ステップ12：このとき、ｎ＝０から１５までＨ[n]を順に零と比較し、最後にＨ[n]≠０となるｎを最大階調値Ｎmaxとして保持しておく。
【００３２】
ステップ13：次に、（数２）により、各階調のヒストグラムデータをその総和値Ｈallで除算し、第１回目の規格化値Ｈk1[n]を算出する。
【００３３】
Hk1[n] = H[n] / Hall （数２）
図２には、被写体の最大輝度レベルが前述の（１）〜（３）の各場合におけるヒストグラムの例を示している。図２上段には第１回目の規格化を実施したヒストグラムデータの例を棒グラフで示している。横軸は階調レベルｎ（＝０〜１５）を表し、縦軸は規格化値Ｈk1[n]を表している。この規格化されたヒストグラムデータをＨk1[0]からＨk1[15]まで各階調ごとに累積積分することにより、図２上段に折れ線で示す階調特性が得られる。即ち、累積積分値Ｈks1[n]は、Ｈk1[n]を用いて表すと（数３）のようになる。
【００３４】
Hks1[n] = ΣHk1[k] ( k = 0〜n ) （数３）
このときの図２上段の図の縦軸はＨks1[n]を表す。
【００３５】
この折れ線で表された階調特性は、前述したように、輝度頻度の高い階調を選択的に伸張してコントラストを改善することはできるが、輝度頻度の大きな階調での僅かな階調差が必要以上に強調されてＳ／Ｎが悪化したり、輝度頻度の小さな階調でのコントラストが少なくなり過ぎたりして、このままでは不自然な階調再現となる。そこで、階調特性の傾きに制限を加えるため、
ステップ14：Ｈk1[n]が傾きの下限値Ｃ pminより小さい場合には、Ｈk2[n]＝Ｃ pminとし、Ｈk1[n]が傾きの上限値Ｃ pmaxより大きい場合には、Ｈk2[n]＝Ｃ pmaxとする。このとき、最大階調値Ｎmaxが前記（１）〜（３）のいずれに属するかに応じて、傾きの制限値Ｃ pmin、Ｃ pmaxを変更する。
【００３６】
この実施形態では、（１）の場合には、制限値Ｃ pmin＝Ｃ pmaxとし、また、（２）（３）の場合には、制限値Ｃ pminとＣ pmaxとに異なる値を設定して、階調特性の変位幅を規定している。
【００３７】
ステップ15：この傾き制限処理を実施したヒストグラムデータＨk2を用いて、（数４）により累積積分値Ｈks2[n]を算出する。
【００３８】
Hks2[n] = ΣHk2[k] ( k = 0〜n ) （数４）
図２上段のヒストグラム特性に対して、傾き制限処理を実施したヒストグラムデータＨk2を図２下段に棒グラフで、また、このヒストグラムデータＨk2を累積積分して求めた階調特性Ｈks2を図２下段に実線折れ線で示している。（１）の「最大階調値が標準レベル以下」の場合は、入力値と出力値とが同一になる特性であり、階調補正が行なわれない。
【００３９】
ステップ16：最後に、入力画像のピーク値を再現させるための第２回目の規格化処理を行なう。この第２回目の規格化処理では、
Hksk2[n] = Hks2[n]×Kl （数５）
により規格化値Ｈksk2[n]を求めるが、このとき、最大階調値Ｎmaxが前記（１）〜（３）のいずれに属するかに応じて、Ｋlの値を変更する。
【００４０】
この実施形態では、（１）の場合には、Ｋl＝１とし、また、（２）の場合には、階調補正出力信号の最大階調値が入力信号の最大階調値と同一となるようにＫlの値を設定している。また、（３）の場合には、階調補正出力信号の最大階調値が後処理系回路のダイナミックレンジの上限になるようにＫlの値を設定している。この第２回目の規格化を実施すると、図２下段の一点鎖線で示す階調特性Ｈkskが得られる。
【００４１】
図１には、こうして求めた（１）、（２）及び（３）の各場合における階調特性を示している。図１の下段は、Ｙmix信号を階調補正入力としたときの各場合のヒストグラムデータを示し、同図上段は、下段のヒストグラム特性図より算出される階調特性を示している。
【００４２】
この図の横軸は、階調補正入力の合成信号Ｙmixの輝度を１６階調で示しており、下位８階調が長時間露光信号Ｙlong、上位８階調が短時間露光信号Ｙshort となる。
【００４３】
なお、（１）と（２）との間を区切る標準レベルは、長時間露光信号の半分程度に設定する。この例では、標準レベルを、入力階調値で３階調目に設定している。また、（２）と（３）との間を区切る「後処理系回路のダイナミックレンジ以内」となるレベルは、入力階調値で５階調目としている。また、傾きの制限値は各階調ごとに最適値を設定すると良い。
【００４４】
以上のアルゴリズムにより、被写体の輝度に応じた階調特性が得られる。この算出結果を階調補正手段８に設定することにより、階調補正手段８は、合成信号に対して、被写体の輝度に応じた最適な階調補正を行なうことができる。即ち、高輝度部分が存在しない被写体では階調補正を実施せず、高輝度部のレベルが高くなるに従い高輝度部の階調を強調する。また、高輝度レベルが後段信号処理のダイナミックレンジを超える場合には、合成輝度信号の最大値を後段の信号処理のダイナミックレンジで決まる最大値に規格化することにより、出力信号がダイナミックレンジから外れることを防ぎ、後段信号処理のダイナミックレンジを有効に活用することができる。
【００４５】
その結果、どのような被写体に対しても、最適な階調補正効果を得ることができる。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明の階調補正方法では、階調補正演算の最大規格化値を入力画像に応じて変更することにより、どのような被写体でも、映像信号処理回路のダイナミックレンジを有効に活用し、高輝度部の画像の階調再現性を維持しつつ、低輝度画像での、Ｓ／Ｎの劣化が目立たない自然な階調再現を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態の階調補正方法で得られる階調特性図、
【図２】実施形態の階調補正方法により階調特性図を得るための手順を示す説明図、
【図３】本発明の階調補正方法の手順を示すフローチャート、
【図４】階調補正装置を備える固体撮像装置の構成図、
【図５】輝度信号の合成方法を示す概念図、
【図６】従来の階調補正方法の手順を示すフローチャートである。
【符号の説明】
１ 撮像素子
２ 前処理部
３ Ａ／Ｄ変換器
４ 時間軸変換器
５ 合成手段
６ ヒストグラム検出手段
７ マイクロコンピュータ
８ 階調補正手段
９ 主要映像信号処理手段
【発明の属する技術分野】
本発明は、ビデオカメラ等に用いられる撮像装置の階調補正方法に関し、特に、自然な感じの画像が再現できるように階調特性を改善したものである。
【０００２】
【従来の技術】
撮像装置の階調補正装置は、再現画像の輝度が被写体の輝度と対応するように映像信号を補正する。これまで、ダイナミックレンジが小さい受像装置を有効に使うために、この階調補正には種々の工夫が施されている。
【０００３】
階調補正装置を備える従来の撮像装置は、図４に示すように、露光量が異なる２種類の映像信号を１フィールド期間内に交互に出力する撮像素子１と、この映像信号を増幅する前処理部２と、アナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器３と、露光量が異なる２種類の映像信号の時間軸を揃え、分離して出力する時間軸変換器４と、この２種類の映像信号を合成するレベル合成手段５と、合成画像信号の輝度のヒストグラムを検出するヒストグラムデータ検出手段６と、このヒストグラムを基に階調特性を算出するマイクロコンピュータ７と、設定された階調特性に従って合成画像信号の階調補正を行なう階調補正手段８とを具備しており、階調補正手段８から出力された階調補正後の合成画像信号が主要映像信号処理回路９で処理され、ビデオ信号として出力される。
【０００４】
この装置では、撮像素子１が、水平ＣＣＤの転送を通常の２倍の転送速度で行ない、露光量が長時間の映像信号と短時間の映像信号との２種類の映像信号を１フィールド期間内に交互に出力する。出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２が施された後、Ａ／Ｄ変換器３でデジタル信号に変換され、時間軸変換器４により、標準速度で且つ同一タイミングの長時間露光画像信号と短時間露光画像信号とに分離され、これらの信号は、レベル合成手段５により所定の輝度レベルで重み付けされて合成される。
【０００５】
ヒストグラムデータ検出手段６は、レベル合成手段５から出力された合成画像信号のヒストグラムを検出する。この検出では、画面中の水平ｍポイント、垂直ｎポイントの合計ｍ×ｎ画素において、合成画像信号のレベルが、多段階に区分された階調レベルのどのレベルに属しているかが判定される。ヒストグラムは、ある階調を持つ画素が画面中に何個存在するかを示すものである。ヒストグラムデータ検出手段６は、検出したヒストグラムデータをマイクロコンピュータ７に出力する。
【０００６】
マイクロコンピュータ７は、このヒストグラムデータを用いて、後述する手順で階調特性を算出し、算出結果を階調補正手段８に設定する。
【０００７】
階調補正手段８は、レベル合成手段５から出力された合成画像信号に対して、マイクロコンピュータ７で設定された階調特性を実現するように階調補正を行ない、画像信号を出力する。この画像信号は主要映像信号処理手段９で処理されてビデオ出力となる。
【０００８】
マイクロコンピュータ７は、ヒストグラムデータを用いて、階調特性を図６に示す手順で求める。
【０００９】
階調特性は、基本的には、ヒストグラムの度数が高い階調レベル（即ち、輝度頻度の高い階調レベル）程、コントラストが強調されるように設定する。この特性は、各階調レベルのヒストグラムデータを規格化し、各階調レベルの規格化値を累積積分することによって得られる。この規格化のために、
ステップ１：まず、各階調レベルのヒストグラムデータＨ[n]（ここでは階調レベルｎを０〜１５の１６段階に設定している）の総和値Ｈallを算出し、
ステップ２：各階調のヒストグラムデータＨ[n]をヒストグラムデータの総和値Ｈallで除算し、各階調レベルの規格化値Ｈk1[n]を算出する。
【００１０】
この規格化されたヒストグラムデータをＨk1[0]からＨk1[n]まで累積積分し、入力画像信号の階調Ｈk1[n]に対応して累積積分値（ΣＨk1[n]）の階調を出力するようにすれば、輝度頻度の高い階調のコントラストを強調する階調特性を得ることができる。しかし、このままの階調特性で階調補正を行なうと、輝度頻度の高い階調での僅かな階調差が必要以上に強調されてＳ／Ｎが悪化したり、または、輝度頻度の低い領域でコントラストが無くなったりする場合があり、不自然な階調再現となる。
【００１１】
そこで、この階調特性の傾きに制限を加えるため、
ステップ３：規格化されたヒストグラムデータＨk1[n]が、傾きの下限値Ｃ pminより小さい場合には、この下限値を規格化された新たなヒストグラムデータＨk2[n]（＝Ｃ pmin）とし、また、Ｈk1[n]が、傾きの上限値Ｃ pmaxより大きい場合には、この上限値を規格化された新たなヒストグラムデータＨk2[n]（＝Ｃ pmax）とする。そして、Ｃ pmin≦Ｈk1[n]≦Ｃ pmaxのときはＨk2[n]にＨk1[n]をそのまま使って、
ステップ４：傾き制限後のヒストグラムデータＨk2[n]を累積積分して階調特性を求める。
【００１２】
さらに、
ステップ５：最後に、入力画像のピーク値ＫIを再現させるための規格化処理を行なう。
【００１３】
この最後の規格化処理は、映像の最大値を、階調補正処理以降の信号処理回路におけるダイナミックレンジの上限値に規格化するものとなる。
【００１４】
こうして求めた階調特性は、ヒストグラムの度数が高い階調レベル程、コントラストが強調される階調補正を可能にする。また、この階調補正により映像の最大値が後続する信号処理回路のダイナミックレンジから外れてしまう、という事態を防ぐことができる。
【００１５】
【発明が解決しようとする課題】
しかし、従来の階調補正方法では、階調特性が、どのような被写体を撮像した場合でも、一様に映像の最大値を階調補正処理以降の信号処理回路のダイナミックレンジの上限値で規格化するように設定されているため、このダイナミックレンジの飽和をもたらさないような暗い被写体を撮像したときでも、不必要に階調を上げる補正が行なわれ、不自然な画像になるという問題点を有していた。
【００１６】
本発明は、こうした従来の問題点を解決するものであり、階調補正処理以降の主要信号処理回路やモニタのダイナミックレンジを有効に活用しながら、且つ、低輝度被写体の映像に対しても自然な画像への階調補正を可能にする階調補正方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】
そこで、本発明の階調補正方法では、ヒストグラムデータの最大階調値を検出し、最大階調値に応じた階調特性を算出している。
【００１８】
そのため、様々な被写体に適応して最適な階調補正を行なうことができ、後段信号処理のダイナミックレンジを有効活用しながら、低輝度の被写体に対しても自然な画像の再現が可能になる。
【００１９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像の各階調のヒストグラムデータの総和を求め、前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、前記ヒストグラムデータの最大階調値を検出し、前記最大階調値が標準レベル以内であるときは、前記傾きの上限値および前記傾きの下限値を等しい値とし、前記最大階調値が標準レベルより大きく後処理回路のダイナミックレンジ以内であるときは、前記傾きの上限値を前記傾き下限値より大きくし、前記最大階調値が前記後処理回路のダイナミックレンジより大きいときも、前記傾きの上限値を前記傾きの下限値より大きくするようにしたものであり、こうして求めた階調特性を用いることにより、被写体の輝度に応じた階調補正を行なうことができる。
【００２０】
請求項２に記載の発明は、入力画像の各階調のヒストグラムデータの総和を求め、前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、前記ヒストグラムデータの最大階調値を検出し、前記最大階調値が標準レベル以上且つ後処理回路のダイナミックレンジ以内であるときは階調補正後のヒストグラムの最大階調値を入力信号の最大階調値と等しくし、前記最大階調値が後処理回路のダイナミックレンジより大きいときは、前記階調補正後のヒストグラムの最大階調値を前記後処理回路のダイナミックレンジの上限になるように前記階調補正後のヒストグラムの最大階調値を変更するようにしたものであり、こうして求めた階調特性を用いることにより、被写体の輝度に応じた階調補正を行なうことができる。
【００２３】
以下、本発明の実施の形態について図面を用いて説明する。
【００２４】
本発明の階調補正方法は、図４の撮像装置の階調補正装置により実施される。この装置の構成は先に説明した通りである。
【００２５】
この装置の撮像素子１は、水平ＣＣＤの転送を通常の２倍の転送速度で行ない、露光量が長時間の映像信号と短時間の映像信号との２種類の映像信号を１フィールド期間内に交互に出力する。出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２が施された後、Ａ／Ｄ変換器３でデジタル信号に変換され、時間軸変換器４により、標準速度で且つ同一タイミングの長時間露光画像信号と短時間露光画像信号とに分離される。
【００２６】
レベル合成手段５は、これらの信号を所定の輝度レベルで合成する。合成は、図５に示すように、ある合成レベルと合成幅とを規定して行なわれる。長時間露光画像信号Ｙlongに対しては、合成レベル以上から圧縮を開始するゲインＫを乗じた信号Ｋ×Ｙlongを作成し、また、短時間露光画像信号Ｙshortに対しては、オフセット値Ｙoffsetを加算した後、合成レベル以下で圧縮を行なうゲイン（１−Ｋ）を乗じた信号（１−Ｋ）×（Ｙshort+Ｙoffset）を作成し、これらを加算して合成信号Ｙmixを得る。
【００２７】
ヒストグラム検出手段６は、この合成信号の画像のヒストグラムデータを検出する。この検出では、階調レベルを１６階調に分割し（この分割数で充分な特性が得られる）、画面中の水平ｍポイント、垂直ｎポイントの合計ｍ×ｎ画素において合成信号Ｙmix のレベルがどの階調レベルに属するかを判定し、ある階調を持つ画素が画面中に何個存在するかを示すヒストグラムデータを得る。
【００２８】
マイクロコンピュータ７は、このヒストグラムデータを用いて、図３に示すアルゴリズムで階調特性を算出する。このアルゴリズムの手順は、基本的には、従来のもの（図６）と同じであり、「ヒストグラムデータの規格化」「傾き制限処理」「傾き制限処理したヒストグラムデータを用いた累積積分」及び「最大階調値に応じた規格化」という流れで階調特性が算出される。ただ、従来と異なる点は、ヒストグラムデータの最大値を求め、この最大値に応じて「傾き制限処理」及び「最大階調値による規格化」の処理を違えている点である。この実施形態では、ヒストグラムデータの最大値が、
（１）標準レベル以内である場合
（２）標準レベル以上で、且つ後処理系回路のダイナミックレンジ以内である場合
（３）後処理系回路のダイナミックレンジ以上である場合
に区分し、それぞれの場合に応じて「傾き制限処理」及び「最大階調値による規格化」の処理を違えている。
【００２９】
図３の手順について詳しく説明する。
【００３０】
ステップ11：まず、全階調のヒストグラムデータの総和値Ｈallを算出する。n階調目のヒストグラムデータをＨ[n]とするとＨallは（数１）で与えられる。
【００３１】
Hall = ΣH[n] ( n = 0〜15 ) （数１）
ステップ12：このとき、ｎ＝０から１５までＨ[n]を順に零と比較し、最後にＨ[n]≠０となるｎを最大階調値Ｎmaxとして保持しておく。
【００３２】
ステップ13：次に、（数２）により、各階調のヒストグラムデータをその総和値Ｈallで除算し、第１回目の規格化値Ｈk1[n]を算出する。
【００３３】
Hk1[n] = H[n] / Hall （数２）
図２には、被写体の最大輝度レベルが前述の（１）〜（３）の各場合におけるヒストグラムの例を示している。図２上段には第１回目の規格化を実施したヒストグラムデータの例を棒グラフで示している。横軸は階調レベルｎ（＝０〜１５）を表し、縦軸は規格化値Ｈk1[n]を表している。この規格化されたヒストグラムデータをＨk1[0]からＨk1[15]まで各階調ごとに累積積分することにより、図２上段に折れ線で示す階調特性が得られる。即ち、累積積分値Ｈks1[n]は、Ｈk1[n]を用いて表すと（数３）のようになる。
【００３４】
Hks1[n] = ΣHk1[k] ( k = 0〜n ) （数３）
このときの図２上段の図の縦軸はＨks1[n]を表す。
【００３５】
この折れ線で表された階調特性は、前述したように、輝度頻度の高い階調を選択的に伸張してコントラストを改善することはできるが、輝度頻度の大きな階調での僅かな階調差が必要以上に強調されてＳ／Ｎが悪化したり、輝度頻度の小さな階調でのコントラストが少なくなり過ぎたりして、このままでは不自然な階調再現となる。そこで、階調特性の傾きに制限を加えるため、
ステップ14：Ｈk1[n]が傾きの下限値Ｃ pminより小さい場合には、Ｈk2[n]＝Ｃ pminとし、Ｈk1[n]が傾きの上限値Ｃ pmaxより大きい場合には、Ｈk2[n]＝Ｃ pmaxとする。このとき、最大階調値Ｎmaxが前記（１）〜（３）のいずれに属するかに応じて、傾きの制限値Ｃ pmin、Ｃ pmaxを変更する。
【００３６】
この実施形態では、（１）の場合には、制限値Ｃ pmin＝Ｃ pmaxとし、また、（２）（３）の場合には、制限値Ｃ pminとＣ pmaxとに異なる値を設定して、階調特性の変位幅を規定している。
【００３７】
ステップ15：この傾き制限処理を実施したヒストグラムデータＨk2を用いて、（数４）により累積積分値Ｈks2[n]を算出する。
【００３８】
Hks2[n] = ΣHk2[k] ( k = 0〜n ) （数４）
図２上段のヒストグラム特性に対して、傾き制限処理を実施したヒストグラムデータＨk2を図２下段に棒グラフで、また、このヒストグラムデータＨk2を累積積分して求めた階調特性Ｈks2を図２下段に実線折れ線で示している。（１）の「最大階調値が標準レベル以下」の場合は、入力値と出力値とが同一になる特性であり、階調補正が行なわれない。
【００３９】
ステップ16：最後に、入力画像のピーク値を再現させるための第２回目の規格化処理を行なう。この第２回目の規格化処理では、
Hksk2[n] = Hks2[n]×Kl （数５）
により規格化値Ｈksk2[n]を求めるが、このとき、最大階調値Ｎmaxが前記（１）〜（３）のいずれに属するかに応じて、Ｋlの値を変更する。
【００４０】
この実施形態では、（１）の場合には、Ｋl＝１とし、また、（２）の場合には、階調補正出力信号の最大階調値が入力信号の最大階調値と同一となるようにＫlの値を設定している。また、（３）の場合には、階調補正出力信号の最大階調値が後処理系回路のダイナミックレンジの上限になるようにＫlの値を設定している。この第２回目の規格化を実施すると、図２下段の一点鎖線で示す階調特性Ｈkskが得られる。
【００４１】
図１には、こうして求めた（１）、（２）及び（３）の各場合における階調特性を示している。図１の下段は、Ｙmix信号を階調補正入力としたときの各場合のヒストグラムデータを示し、同図上段は、下段のヒストグラム特性図より算出される階調特性を示している。
【００４２】
この図の横軸は、階調補正入力の合成信号Ｙmixの輝度を１６階調で示しており、下位８階調が長時間露光信号Ｙlong、上位８階調が短時間露光信号Ｙshort となる。
【００４３】
なお、（１）と（２）との間を区切る標準レベルは、長時間露光信号の半分程度に設定する。この例では、標準レベルを、入力階調値で３階調目に設定している。また、（２）と（３）との間を区切る「後処理系回路のダイナミックレンジ以内」となるレベルは、入力階調値で５階調目としている。また、傾きの制限値は各階調ごとに最適値を設定すると良い。
【００４４】
以上のアルゴリズムにより、被写体の輝度に応じた階調特性が得られる。この算出結果を階調補正手段８に設定することにより、階調補正手段８は、合成信号に対して、被写体の輝度に応じた最適な階調補正を行なうことができる。即ち、高輝度部分が存在しない被写体では階調補正を実施せず、高輝度部のレベルが高くなるに従い高輝度部の階調を強調する。また、高輝度レベルが後段信号処理のダイナミックレンジを超える場合には、合成輝度信号の最大値を後段の信号処理のダイナミックレンジで決まる最大値に規格化することにより、出力信号がダイナミックレンジから外れることを防ぎ、後段信号処理のダイナミックレンジを有効に活用することができる。
【００４５】
その結果、どのような被写体に対しても、最適な階調補正効果を得ることができる。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明の階調補正方法では、階調補正演算の最大規格化値を入力画像に応じて変更することにより、どのような被写体でも、映像信号処理回路のダイナミックレンジを有効に活用し、高輝度部の画像の階調再現性を維持しつつ、低輝度画像での、Ｓ／Ｎの劣化が目立たない自然な階調再現を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態の階調補正方法で得られる階調特性図、
【図２】実施形態の階調補正方法により階調特性図を得るための手順を示す説明図、
【図３】本発明の階調補正方法の手順を示すフローチャート、
【図４】階調補正装置を備える固体撮像装置の構成図、
【図５】輝度信号の合成方法を示す概念図、
【図６】従来の階調補正方法の手順を示すフローチャートである。
【符号の説明】
１ 撮像素子
２ 前処理部
３ Ａ／Ｄ変換器
４ 時間軸変換器
５ 合成手段
６ ヒストグラム検出手段
７ マイクロコンピュータ
８ 階調補正手段
９ 主要映像信号処理手段
Claims (2)
- 入力画像の各階調のヒストグラムデータの総和を求め、
前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、
前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、
前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、
前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、
前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、
前記ヒストグラムデータの最大階調値を検出し、
前記最大階調値が標準レベル以内であるときは、前記傾きの上限値および前記傾きの下限値を等しい値とし、
前記最大階調値が標準レベルより大きく後処理回路のダイナミックレンジ以内であるときは、前記傾きの上限値を前記傾き下限値より大きくし、
前記最大階調値が前記後処理回路のダイナミックレンジより大きいときも、前記傾きの上限値を前記傾きの下限値より大きくすることを特徴とする階調補正方法。 - 入力画像の各階調のヒストグラムデータの総和を求め、
前記各階調のヒストグラムデータを前記総和で除算した規格化値を求め、
前記規格化値が階調特性の傾きに制限を加える傾きの下限値より小さなときは前記規格化値を傾きの下限値で置き換え、
前記規格化値が階調特性の傾きに制限を加える傾きの上限値より大きなときは前記規格化値を傾きの上限値で置き換え、
前記規格化値を各階調まで累積積分した各階調毎の累積積分値を求め、
前記累積積分値の階調間の差に応じて入力画像の階調補正を行う階調補正方法において、
前記ヒストグラムデータの最大階調値を検出し、
前記最大階調値が標準レベル以上且つ後処理回路のダイナミックレンジ以内であるときは階調補正後のヒストグラムの最大階調値を入力信号の最大階調値と等しくし、前記最大階調値が後処理回路のダイナミックレンジより大きいときは、前記階調補正後のヒストグラムの最大階調値を前記後処理回路のダイナミックレンジの上限になるように前記階調補正後のヒストグラムの最大階調値を変更することを特徴とする階調補正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09492799A JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09492799A JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9083422A Division JP2951910B2 (ja) | 1997-03-18 | 1997-03-18 | 撮像装置の階調補正装置及び階調補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331598A JPH11331598A (ja) | 1999-11-30 |
| JP4090141B2 true JP4090141B2 (ja) | 2008-05-28 |
Family
ID=14123615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09492799A Expired - Fee Related JP4090141B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置の階調補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4090141B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6636229B2 (en) * | 2000-03-10 | 2003-10-21 | Matsushita Electric Industrial Co., Ltd. | Gradation correction circuit, and γ correction apparatus |
| JP5052365B2 (ja) * | 2008-02-15 | 2012-10-17 | オリンパス株式会社 | 撮像システム及び画像処理方法並びに画像処理プログラム |
| JP4818393B2 (ja) * | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP5672796B2 (ja) * | 2010-01-13 | 2015-02-18 | 株式会社ニコン | 画像処理装置、画像処理方法 |
| JP5147912B2 (ja) * | 2010-09-08 | 2013-02-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| JP5644444B2 (ja) | 2010-12-03 | 2014-12-24 | 富士通株式会社 | 画像表示装置、画像表示方法、および画像処理装置 |
| JP7830141B2 (ja) * | 2022-01-19 | 2026-03-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記憶媒体 |
-
1999
- 1999-04-01 JP JP09492799A patent/JP4090141B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11331598A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2951910B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
| JP3730419B2 (ja) | 映像信号処理装置 | |
| CN101322416A (zh) | 图像信号处理装置及图像信号处理方法 | |
| US7970271B2 (en) | Brightness correction apparatus for moving images, and method and program for controlling same | |
| KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
| JP3184309B2 (ja) | 階調補正回路及び撮像装置 | |
| JP2010081511A (ja) | 撮像装置、設定値変更方法およびプログラム | |
| JP4090141B2 (ja) | 撮像装置の階調補正方法 | |
| WO2008056566A1 (en) | Image signal processing apparatus, image signal processing program and image signal processing method | |
| JP2006080942A (ja) | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 | |
| TWI381723B (zh) | 攝像裝置，影像信號處理裝置及影像信號處理方法 | |
| JP3092397B2 (ja) | 撮像装置 | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
| JP2006319831A (ja) | 画像処理装置および撮像装置 | |
| JPH06253176A (ja) | 階調補正回路及び撮像装置 | |
| JP2001352552A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JPH05103256A (ja) | 撮像装置 | |
| JP2004336244A (ja) | 補正装置 | |
| JP4414289B2 (ja) | コントラスト強調撮像装置 | |
| JP2003179809A (ja) | カメラ装置及びその信号処理方法 | |
| JP2003299107A (ja) | 撮像装置 | |
| JP3218022B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
| JP2001094871A (ja) | 信号処理方法およびその装置 | |
| JP4136775B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080226 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |