JP2004254269A - ハイライト抑制画像撮影装置 - Google Patents

Abstract

【課題】映像のハイライト部分を、光が撮像素子に到達する前に光学的，電子的に取り除き、上質な画像を取得する。
【解決手段】所望の映像を取得するカメラ部１０と、カメラ部１０から出力される赤・緑・青色チャンネルの映像出力のうち、青色チャンネルからの映像出力に基づき非二値のハイライト抑制信号を生成するハイライト抑制信号生成部２２と、カメラ部１０の結像面近傍に備えられハイライト抑制信号によって赤・緑撮像素子部１５への透過光量を光学的に制御するアクティブフィルタ部１６と、ハイライト抑制信号に基づき青チャンネル画像出力を電子的に抑制する青チャンネル整合部２３と、ハイライト抑制信号に基づき復元信号を生成する復元信号生成部２４と、カメラ部１０で取得された赤・緑・青チャンネルの画像信号を光学的，電子的にハイライト抑制されたハイライト抑制画像として出力する最終映像信号出力部２８を備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、所望の撮影対象の映像を撮影する３ＣＣＤカメラや単板式ＣＣＤカメラ等の撮影装置に関し、特に、宇宙空間の太陽光やその周囲の暗い部分，夜間の道路周辺画像とヘッドライトの明るい部分等の撮影の対象に対して、全体の良質な画像を得ようとする撮影装置に関する。
より詳しくは、夜間や暗所での自動車等のヘッドライト映像や、宇宙空間でのラチチュードの広い映像やハイコントラスト映像のようにハイライトの影響が画像全体に悪影響を与える映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除くことにより、あるいは抑制することにより、暗い部分を犠牲にせずに、画像中の特に明るい部分を取り除き、あるいは後に回復できるように適切に抑制し、画像内の暗い部分をハイライトの影響を受けることなく上質の画像として取得できるようにしたハイライト抑制画像撮影装置に関する。
【０００２】
【従来の技術】
一般に、３ＣＣＤ（３ Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：３板式）カメラや単板式ＣＣＤカメラ等によるビデオ映像の撮影や静止画像の撮影において、ラチチュード（ｌａｔｉｔｕｄｅ：明暗差の範囲）の広い画像や強烈なハイライト部分を持つ特殊画像を撮影すると、ハレーション等によって画質が著しく低下する問題があった。
例えば宇宙空間でのビデオ撮影におけるように、明暗のコントラストが強い対象を撮影しようとする場合、太陽を視野に入れて、太陽に露出を合わせれば、太陽しか写らなくなり、周囲も写るように露出を合わせれば、太陽光の影響で他の部分にはハレーションが生じて画質が劣化してしまう。また、夜間に道路などをビデオカメラで撮影すると自動車のヘッドライトのみが強く写ってしまい、他の部分にも光学的，電子的な影響を与えてしまい、画像全体の質が低下してしまう。
【０００３】
ここで、従来のカメラやビデオカメラ，ディジタルカメラ等においては、ガンマ特性を非線形にして飽和させるなどしてピーク部分を電子的にカットすることでハイライトを抑制する方法が採られていた（例えば、特許文献１−３参照。）。
このような電子的な処理によってハイライトを押さえることはある程度可能であり、見かけ上はハイライトを押さえた画像を取得することができた。
【０００４】
【特許文献１】
特開平５−２４４６２３号公報（第２−３頁、第７図）
【特許文献２】
特開平６−２３３３１０号公報（第２頁、第３図）
【特許文献３】
特開平８−１４９３７８号公報（第２頁、第５図）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、電子的処理は映像光が撮像面に到達した後に行われるようになっており、撮像面は光の散乱によるハレーションやかぶり等、画質を下げる光学的な悪影響を既に受けており、その影響を取り去ることはできなかった。このため、従来方法の電子的処理のみでは、ハイライト画像の問題を根本的に解決することにはならなかった。
また、一般のカメラでは、画像全体の感度がハイライト部分の明るさで決定されてしまうことから、暗い部分のＳ／Ｎ（信号対雑音比：画質を評価する指標となる値）が著しく落ちることになり、暗い部分の画質が低下しすることが避けられないという問題もあった。
また、特に夜間の道路などでの撮影においては、ヘッドライトの明るい部分を飽和させて、暗い側に露出を合わせたとしても、特にヘッドライトの周囲では光の散乱によるハレーションの問題が生じて、画質が低下してしまう。
自動車等のヘッドライト部分は撮像素子の特性から出力が飽和し、いったん飽和した画像信号を後に処理しても改善は微小にとどまらざるを得ず、明るい部分の画像情報量の極端な低下が避けられないという問題もあった。
このように、従来提案されている方法では、自動車のヘッドライトによる光学的散乱等の悪影響を電子的処理することによってある程度緩和できるとしても、本質的にこれらの弊害を取り除くことは不可能であった。
【０００６】
本発明は、このような従来の技術が有する問題を解決するために提案されたものであり、ラチチュードの広い映像や強烈なハイライト部分を持つ映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除き、抑制することを可能とし、ハイライトの影響を根本的，本質的に抑制，除去して、ハイライト部分の情報をできるだけ保存しつつ、上質の画像を取得することができるハイライト抑制画像撮影装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明のハイライト抑制画像撮影装置は、請求項１に記載するように、所望の映像を取得するカメラ部と、カメラ部から出力される一又は二以上の色チャンネルの映像出力のうち、少なくとも一の色チャンネルからの映像出力に基づき（又は請求項５に記載するように専用のチャンネルの映像出力に基づき）、ハイライト抑制信号を生成するハイライト抑制信号生成部と、カメラ部の結像面近傍に備えられ、ハイライト抑制信号により、各色チャンネルの撮像面への透過光量を光学的に制御するアクティブフィルタ部と、を備え、カメラ部で取得される映像が、アクティブフィルタ部を介して、ハイライトが抑制されたハイライト抑制画像として出力される構成としてある。
特に、請求項２に記載するように、アクティブフィルタ部が、ハイライト抑制信号により、各色チャンネルの撮像面の各部分への透過光量を、所定の画素単位又は所定の画像領域単位で光学的に制御する構成とすることが好ましい。
【０００８】
このような構成からなる本発明のハイライト抑制画像撮影装置によれば、例えば、所望の映像を赤，緑，青の三色の各チャンネルで画像取得可能なカラーカメラ（例えば３ＣＣＤカメラや単板式ＣＣＤカメラ）を備える場合に、３種類の映像出力のうち、例えば青チャンネルの出力を用いてヒストグラムを生成するなどして、取得画像からハイライト部分を抽出してハイライト抑制信号を生成することができる。なお、青チャンネルからハイライト抑制信号を生成するのは、一般に青チャネルが最もハイライトの影響が少ないからであり、他の色チャンネルでも良く、あるいは請求項９に記載するようにＲＧＢの合成である明るさ信号からでも良いことは勿論である。
そして、このハイライト抑制信号を赤・緑チャンネルの画像生成用のハイライト抑制信号として使用し、光学系の結像面近くに設置したアクティブフィルタ部を制御することができる。アクティブフィルタは、例えば液晶パネル等で構成でき、透過光量を画素単位で制御可能な光学フィルタとして（更には請求項１３に記載するように光学シャッタとして）用いることで、ハイライト抑制信号によって液晶フィルタ上に抑制部分の領域を生成し、例えば、赤・緑チャンネル画像のハイライト部分に相当する部分を光学的に抑制してハイライトを抑えた画像を生成できる。
【０００９】
これにより、ハイライト部分を有する映像のハイライト部分は、撮像面に到達する前にアクティブフィルタ部で光学的に抑制されことになり、映像の部分がハイライトの影響を受けることなく、上質のハイライト抑制画像として取得できるようになる。
勿論、アクティブフィルタ部による光学的抑制はハイライト部分のみに限られない。例えば、請求項６〜８に記載するように、アクティブフィルタ部による光学的抑制を、ハイライト側で強く、ローライト側で弱く、画像全体に階調的に抑制をかけることで、ラチチュードの広い対象を受け入れ、相対的にローライト側を持ち上げることができる。その結果、ローライト側のノイズも抑制できることになる。また、このようにすると、ハイライト部分を飽和させないことも可能となることから、画像の情報量をかなりの程度保存できることになる。
【００１０】
そして、請求項３に記載のハイライト抑制画像撮影装置では、アクティブフィルタ部が、カメラ部の撮像面近傍に備えられる構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、液晶等からなるアクティブフィルタをカメラ部の撮像面の直前に設置して使用することができる。
一般に、３ＣＣＤや単板式ＣＣＤ等のカメラにおいては撮像面が結像面である。従って、アクティブフィルタを撮像面の直前に位置させることで、画素単位の自動光学フィルタとして作用させることができ、上述した本発明による優れた効果を得ることができる。
なお、カラー画像を得る場合には、各色チャンネルに対応してアクティブフィルタは複数備えることができる。また、アクティブフィルタの設置位置は、カメラの構造上、結像面に一致させることができない場合もあるが、結像面から微少距離前方にずれる場合には、フィルタ効果の周囲のボケとして作用するので、結果的にフィルタ構造の陰をぼかすことになり、好ましい。
【００１１】
一方、請求項４に記載のハイライト抑制画像撮影装置では、カメラ部が、撮像面の結像面と異なる、レンズ光学系内の結像面を備え、アクティブフィルタ部が、レンズ光学系内の結像面近傍に備えられる構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、アクティブフィルタをカメラのレンズ部分に備えることができる。
一般に、カメラの撮像面以外に結像面を作ることは可能であり、例えばカメラのレンズ系の中の空間に一度結像させて、それを撮像面で再結像させることでこれを実現することができる。この場合、アクティブフィルタはレンズ内の一個の結像面に対して一個備えられれば良いことになる。このようにして、レンズ系の結像空間にアクティブフィルタを設置することで、アクティブフィルタを設置したレンズを装着することで、カメラ本体の構造を変更することなく、レンズの交換のみで本発明のハイライト抑制画像撮影装置を実現できるようになる。
【００１２】
また、請求項５に記載のハイライト抑制画像撮影装置では、カメラ部が、所望の映像を取得する画像取得チャンネル部と、ハイライト抑制信号生成用の映像を取得する、画像取得チャンネル部と異なる専用チャンネル部を備え、ハイライト抑制信号生成部が、画像取得チャンネル部で得られる映像と対応する、専用チャンネル部で取得される映像出力に基づきハイライト抑制信号を生成する構成としてある。
このように、本発明のハイライト抑制画像撮影装置では、所望の映像取得用の画像取得チャンネル部（例えば主カメラ部）と、ハイライト抑制信号用の専用チャンネル部（専用カメラ部）とを別々に設けることができる。例えば、映像取得用のカラーカメラ部と、ハイライト抑制信号を生成するための専用独立チャンネル部とを設置し、主カメラ画像出力と専用チャンネル画像出力はその出力画像の対応関係をとっておく。そして、専用チャンネルの出力のヒストグラムを生成するなどして、専用チャンネルの画像からハイライト部分を抽出し、抽出された信号からハイライト抑制信号を生成することができる。
このように、映像取得用とハイライト抑制信号用のチャンネルを別々に設けることによって、例えば映像取得用のＲＧＢ（赤・緑・青）三色のチャンネルの特定のチャンネルを抑制信号生成のために使う必要がなくなり、ＲＧＢの各チャンネルすべてに対して、光学的なハイライト抑制効果を施すことができ、より完全なハイライト抑制画像を得ることが可能となる。
【００１３】
また、請求項６に記載のハイライト抑制画像撮影装置では、ハイライト抑制信号に基づき、カメラ部からの映像出力を電子的に抑制する電子制御部を備え、カメラ部で取得される映像出力が、アクティブフィルタを介して光学的にハイライト抑制されるとともに、電子的にハイライト抑制されたハイライト抑制画像として出力される構成としてある。
このように、本発明では、カメラ部の映像出力から生成したハイライト抑制信号に基づき、アクティブフィルタを介して光学的なハイライト抑制を行うだけでなく、電子的なハイライト抑制を行うことができる。
【００１４】
例えば、青色チャンネルの画像からハイライト抑制信号を生成した場合に、そのハイライト抑制信号を用いて、まず光学的に青色画像のハイライトを信号の飽和点近くまで抑制し、次に、このハイライト抑制信号で青色画像自身を電子的に制御して青色のハイライト抑制画像を電子的に取得することができる。そして、電子制御された青色のハイライト抑制画像を、アクティブフィルタで光学的に制御された他の色チャンネル画像とを合成することで、画像出力部から正常な色再現をされたカラー画像を出力することが可能となる。電子的制御のみではある程度の画質の劣化があるが、抑制信号を生成する青色チャンネル自身にもアクティブフィルタを設置するなどして、光学的抑制と電子的抑制を組み合わせることで、アクティブフィルタを介して光学的に制御された他の色と三色合成された画像全体で見れば十分に実用的なものとなる。
このようにして、光学的制御と電子的制御との組み合わせによりハイライト部分を抑制することで、ハイライト抑制信号生成用のチャンネル（例えば青色チャンネル）についても、他のチャンネルと同様にハイライト抑制することができ、より高画質なハイライト抑制画像を出力することができるようになる。
【００１５】
また、請求項７に記載のハイライト抑制画像撮影装置では、ハイライト抑制信号生成部が、階調を示す非二値のハイライト抑制信号を生成し、カメラ部で取得される映像出力が、非二値のハイライト抑制信号により、アクティブフィルタ部を介して、ハイライト側で強く、ローライト側で弱く、階調的にハイライト抑制されたハイライト抑制画像として出力される構成としてある。
特に、請求項８に記載するように、階調を示す非二値のハイライト抑制信号に基づき、復元信号を生成する復元信号生成部を備え、アクティブフィルタ部を介して階調的にハイライト抑制されたハイライト抑制画像が、元の映像の階調に復元されて出力される構成とすることが好ましい。
このような構成とすることにより、本発明のハイライト抑制画像撮影装置では、取得画像をハイライト抑制するハイライト抑制信号を、単なる二値信号（Ｈｉｇｈ又はＬｏｗ）ではない、カメラ部で取得される映像の階調を示すハイライト側で強く、ローライト側で弱い、非二値信号として生成して、ハイライト抑制画像を取得することができる。
【００１６】
例えば、ハイライト抑制信号生成部において、映像光の強度（ハイライト度）に比例して光学的に抑制を強める特性を持つハイライト抑制信号を生成し、このハイライト抑制信号をアクティブフィルタ部に入力することで、ローライト側が強調され、ハイライト側の抑制が効いた、ハイライト抑制のコントラストが弱い階調の中間画像を生成することができる。そして、復元信号生成部において、階調特性を持つハイライト抑制信号から直接的に復元信号を生成し、この復元信号を用いて中間画像を元の映像の階調に復元することで、カメラ部で取得される映像本来の階調を持つ出力画像が得られるようになる。
一方、ハイライト抑制信号の基となる映像（例えば青チャンネル映像）については、上述したように、光学的な抑制と電子的な制御をも取り入れ、ハイライトを抑制して中間画像を生成することができ、復元された他チャンネルの階調画像とハイライト抑制の整合をとることができる。
これにより、例えば赤チャンネル及び緑チャンネルについては光学的抑制を使用し、青チャンネルについては電子的抑制のみ（又は主として電子的抑制、従として光学的抑制）を使用して、ハイライト抑制された各チャンネルの画像を合成し、最終的なハイライト抑制画像を得ることができる。なお、光学的抑制は共通のハイライト抑制信号による場合以外にも、請求項１５に記載するように、各チャンネル独自に行っても良く、それらを整合して合成すれば、正しい画像信号が出力されることは言うまでもない。
【００１７】
非二値信号からなるハイライト抑制信号を使用して光学的にハイライト抑制し、さらに階調を復元した映像は、単に電子的にハイライト抑制した映像と比較して、光学的散乱の影響を防止でき、また、撮像素子（ＣＣＤ）をノイズの少ない条件で使用でき、ラチチュードが広く、ダイナミックレンジの広い、より上質の画質を得ることが可能となる。さらに、非二値信号からなるハイライト抑制信号を、そのまま元の階調を復元するための復元信号として使用することで、ハイライト抑制信号の直線性が悪い場合でも、また非線形であっても、復元された信号に非線形ひずみは生じにくくなる。
このようにして、本発明では、ハイライト抑制信号として画像の階調を示す非二値信号を使用して光学的に抑制画像を取得し、さらに、二値信号から得られる復元信号によって抑制画像を電子的に元のラチチュードに復元することで、ノイズ等の影響の少ない上質の画質で、最終的にハイライト抑制のない正常な階調の画像や、ハイライトの抑制度合い調節した画像を得ることができる。
【００１８】
また、請求項９に記載するように、本発明のハイライト抑制画像撮影装置は、カメラ部が、長波長側で赤外線感度を有する赤外線撮像素子と、赤外線撮像素子の可視光感度をカットする光学フィルタと、可視光感度を有する可視光撮像素子を備え、ハイライト抑制信号生成部が、カメラ部から出力される可視光の映像出力に基づいてハイライト抑制信号を生成し、カメラ部で取得される映像出力が、可視光映像に基づくハイライト抑制信号により赤外線映像の透過特性が制御されたアクティブフィルタ部を介して、ハイライト抑制された赤外線画像として出力される構成とすることができる。
このような構成とすることにより、本発明のハイライト抑制画像撮影装置を赤外線カメラとして使用することができる。
【００１９】
一般に、強いハイライト部分を有する映像のハイライト抑制は、特に夜間の道路撮影などで必要となる。そして、夜間や暗所の撮影には、しばしば赤外線撮影が行われることがある。このため、赤外線のハイライト抑制を実現する必要がある。ここで、近赤外映像と可視光映像とは、通常、ハイライトの部位は大きく異ならない。また、ＣＣＤ撮影素子は、赤外線に一定の感度を有していることが認められている。そこで、本発明では、このようなＣＣＤ撮影素子の感度特性を利用し、赤外線画像のハイライト抑制が可能な撮影装置を実現している。
例えば、近赤外に一定の感度を有する赤色チャンネルについて可視光部分を別の光学フィルタでカットして赤外線カメラとして使用する。一方、青又は緑チャンネル画像からはハイライト抑制信号を生成する。そして、このハイライト抑制信号をアクティブフィルタに送ることで、ハイライトが抑制された赤外線画像を取得することができる。
このようにして、本発明では、自動車のヘッドライト等で画質が低下する夜間映像のハイライト抑制に好適な赤外線対応型の撮影装置を実現することができる。
【００２０】
また、請求項１０に記載するように、本発明のハイライト抑制画像撮影装置では、アクティブフィルタ部が、カメラ部の撮像素子と一体化された複合素子として備えられる構成としてある。
このように本発明では、アクティブフィルタ素子とＣＣＤ撮像素子を一体化した複合撮像素子として形成することができ、このようにすると、例えば本撮影装置の製造工程に置いてアクティブフィルタと各撮像素子の位置合わせ等の問題がなくなり、高性能化された撮影装置を、低コストで製造できるようになる。
【００２１】
また、請求項１１に記載するように、アクティブフィルタ部は、透過光量を制御する素子を複数段に配設した多層構造を有する構成とすることができる。
このように、本発明に係るアクティブフィルタ部は、画素単位や画像領域単位で透過光量をコントロールする素子面、例えば液晶面を複数段とすることができる。これによって、アクティブフィルタ部を透過する光は、多層化された液晶素子等を次々通過することになり、それぞれの液晶面を電子的にコントロールすることで、透過光量をより広い範囲で大幅にコントロールすることが可能となる。
本発明に係るアクティブフィルタは、光透過フィルタであり、原理的に重ねて使用することができ、任意の複数段のアクティブフィルタを多層化して使用することで、宇宙空間の太陽光のような強力な光強度にも耐え得るし、また、微弱光に対してもＣＣＤの裸の感度を維持することができる。これにより、アクティブフィルタは、光透過のダイナミックレンジを望むままに選ぶことができるようになる。特に、請求項１６及び１７に係る発明を実現するには大幅な透過光量のコントロールが必要であり、アクティブフィルタの多層化構造は特に有効である。
【００２２】
ここで、多層化されたすべての素子面については、同じハイライト抑制信号でコントロールしても良いが、透過光量に対して非線形の透過特性を持つ素子面を用いる場合や、初めから材質や特性の異なる素子面を多層化する場合は、それぞれの面に独立のハイライト抑制信号を用いることが有効である。この場合、ハイライト抑制信号は複数となるが、予め素子面の光透過特性は分かっているので、それぞれの素子面のハイライト抑制信号強度と光のハイライト抑制量との関係は既知であり、また、それぞれの特性から、それらが重ねられた多層化されたフィルタ全体での光のハイライト抑制量も求められる。従って、請求項１６及び１７におけるように、ハイライト抑制量から画像信号を生成する場合でも、その個々の層の特性を合成することで、画像生成信号を生成できることになる。
【００２３】
また、請求項１２に記載するように、アクティブフィルタ部は、電子的制御によらず、入射する光強度により透過光量を制御する素子からなる構成とすることができる。
このように、本発明では、アクティブフィルタの透過光量をコントロールする素子として、電子制御可能な液晶等の素子を用いる以外に、光強度に直接反応して、電子制御なしに照射光量により透過度をそれ自身で変化させることができる素子を用いることもでき、これによっても、電子制御可能な素子と同様に、本発明に係るアクティブフィルタの機能を実現することができる。なお、このような素子は、単独で用いても良いが、電子制御可能なアクティブフィルタと重ねて試用することが、より効果的である。
【００２４】
また、請求項１３に記載するように、アクティブフィルタ部は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御する構成とすることができる。
このような構成とすることにより、アクティブフィルタ部において、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ部で光の透過時間を電子的にコントロールすることによって透過光量をコントロールすることが可能となる。すなわち、アクティブフィルタ部を光学的シャッタとして機能させることができる。
このようなアクティブフィルタのシャッタ機能は、アクティブフィルタを構成する素子として、光のＯＮ／ＯＦＦ特性に優れた素子を使用し、素子を画素単位で面状に配列することで、効果的なシャッタ機能を実現できるようになる。
【００２５】
また、請求項１４に記載するように、各色チャンネルの撮像面に備えられる撮像素子が、所定の画素単位又は所定の画像領域単位で電荷蓄積時間を制御することにより、撮像面の感度を制御する構成とすることができる。
このように、ＣＣＤや光感知素子からなる撮像素子に対し、電荷蓄積時間を素子ごとにコントロールすることにより、ハイライト部分の露光時間を短くして時間分解能を高め、同時に感度を低下させ、ローライト部分の露光時間を長くして、電荷を蓄積し、実質的に低照度で感度をあげることができる。
【００２６】
一般に、通常の撮像素子では、電荷蓄積時間は各画素で常に一定であり、画素単位で電荷蓄積時間を変更することは行われていない。撮像素子の電荷蓄積時間を画素単位で、画素ごとに制御できるようにすることで、画像内の高照度部分の感度を下げ、ダイナミックレンジを大きくとることが可能となる。すなわち、画素単位で実効入射光量をコントロールし、高照度部分の感度を下げることで、ラチチュードの広い画像を十分なダイナミックレンジで取得することができる。
これにより、ハイライト抑制信号と組み合わせることで、撮像部単独でハイライト抑制画像を取得することができるようになる。これは、撮像部がアクティブフィルタ部の機能の一部を有していることになるので、撮像部を本発明に係るアクティブフィルタ部として使用できるようになる。
【００２７】
ここで、撮像素子においては、画素単位で電荷蓄積時間をコントロールすることにより、各画素のサンプリング周波数も入射光量に応じてコントロールすることができ、さらに、各画素単位で、通常の画像のフレーム時間より短く、あるいは長く電荷を蓄積することが可能となる。これによって、高照度側では、ハイライト側を抑制し、サンプリング周波数か高くなり、時間分解能が向上する。一方低照度側では、電荷蓄積時間が長くなり、時間分解能を犠牲にした分だけ感度を増加させることができる。
また、画素ごとに電荷蓄積時間が異なるので、画像伝送においては、画素ごとに異なるサンプリング周波数で伝送することができる。このように、サンプリング周波数が高まることで、高照度側の画像の時間分解能は高まり、有効である。なお、通常の画像機器等で表示するためには、一度画素単位の画像をフレームメモリ等に蓄積し、一定のフレーム周波数に変換して最終画像とすることが望ましい。
【００２８】
また、請求項１５に記載するように、ハイライト抑制信号生成部は、各色チャンネルごとに備えられ、ハイライト抑制画像が各色チャンネルごとに生成されるとともに、生成された各ハイライト抑制画像が合成されることにより、最終のハイライト抑制画像として出力される構成とすることができる。
このように、本発明では、各色チャンネル独自にハイライト抑制信号を生成し、各色チャンネルごとのハイライト抑制画像を生成することができる。そして、各ハイライト抑制画像からそれぞれ独自に各チャンネルの画像を復元し、それらを合成して最終画像信号を出力することができる。
このようにすると、特に各チャンネルでハイライト部分のばらつきが大きい場合に有効となる。
【００２９】
さらに、請求項１６に記載するように、ハイライト抑制信号に基づいて生成されたハイライト抑制画像の出力を所定の基準値まで抑制し、その抑制量を示す信号から生成される画像信号がハイライト抑制画像として出力される構成とすることができる。
特に、請求項１７に記載するように、ハイライト抑制信号に基づいて生成されたハイライト抑制画像のうち、ハイライト部分は所定の基準値まで抑制した抑制量を示す信号から画像信号が生成され、ローライト部分はハイライト抑制信号に基づく画像信号が生成され、各画像信号が合成されることにより、最終のハイライト抑制画像として出力される構成とすることができる。
【００３０】
このような構成とすることにより、一又は二以上の各色チャンネルからハイライト抑制信号を生成し、その抑制信号で、該当する色チャンネルでの出力が決められた値になるまで抑制し、その抑制量を取り出して新たな画像信号とすることができる。具体的には、ハイライト抑制画像出力のヒストグラムがほぼフラットになるまで抑制をし、その抑制量を新たな画像信号とする。そして、これを、例えばＲＧＢの各色チャンネルで実行することで、ＲＧＢの新たな画像信号を取り出すことができることになる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして、入力光の強さは撮像面（ＣＣＤ面）で均一化され、画像の情報は抑制量を示すハイライト抑制信号が受け持つことになる。
このようにして、本発明では、ＣＣＤからなる撮像素子ではなく、透過光量をコントロールするアクティブフィルタ部で、所望のハイライト抑制画像を生成することもできるようになる。
【００３１】
【発明の実施の形態】
以下、本発明に係るハイライト抑制画像撮影装置の好ましい実施形態について、図面を参照しつつ説明する。
［第一実施形態］
まず、図１〜図１０を参照しつつ、本発明のハイライト抑制画像撮影装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図２は、図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
これらの図に示すハイライト抑制画像撮影装置は、所望の映像の撮影が可能で、かつ、映像のハイライト部分の抑制，調整が可能な撮影装置であり、本実施形態では３ＣＣＤカラーカメラ又は単板式ＣＣＤカメラを用いて構成してある。図１にその概略を示すように、本撮影装置は、光学系（カメラ部）１０と電子系（装置部）２０とを備え、赤色と緑色の画像には光学的抑制を施し、青色の画像には電子的抑制を施し、最終的にそれら３色の画像を合成してハイライトを抑制したカラー画像を出力する。
【００３２】
光学系（カメラ部）１０は、所望の映像を取得するカメラ手段であり、レンズ系１１と、３色のチャンネルに対応して備えられた結像部及び撮像素子、すなわち、青映像結像部１２及び青撮像素子部１３，赤・緑映像結像部１４及び赤・緑撮像素子部１５を備え、さらに、光学的フィルタ手段であるアクティブフィルタ部１６を備えている。
電子系（装置部）２０は、光学系１０で得られた映像の各色のチャンネルの画像信号を入力し、電子的制御によりハイライト抑制処理を行い、最終的な映像信号を出力する装置である。具体的には、青チャンネル画像生成部２１，ハイライト抑制信号生成部２２，青チャンネル整合部２３，復元信号生成部２４，青チャンネル画像信号出力部２５，ハイライト抑制画像生成部２６，赤・緑チャンネル画像信号出力部２７及び最終映像信号出力部２８の各部を備えている。
そして、本実施形態では、青色チャンネルで取得される青色画像からハイライト部分を抽出し、電子系（装置部）２０でハイライト抑制信号を生成し、赤・緑チャンネルに備えられるアクティブフィルタ部１６を制御するようにしてある。
【００３３】
一般に、３ＣＣＤカラーカメラや単板式ＣＣＤカメラでは、カメラに入ってきた映像を赤，緑，青のフィルタを通し、それぞれの３原色の画像を得るのが普通である。また、夜間の景色の特徴として、画像中の青色成分は昼間と比較して極めて低いことから、ヘッドライト画像においては、他の色のチャンネル画像よりも青色チャンネル画像が最も飽和しにくいと考えられる。
そこで、本実施形態では、青色チャンネル画像からハイライト部分を抽出して、赤・緑チャンネル画像のハイライト部分を抑制するハイライト抑制信号を生成するようにしてある。
なお、ハイライト抑制信号の基となる色チャンネルは青色チャンネルに限られるものではなく、他のチャンネルでもまったく同様に考えることができる。例えば、白黒画像を取得する場合には、カラーカメラの一チャンネルをハイライト抑制信号生成用に用い、この信号でフィルタを制御してハイライト部分の光量を抑制して、他の残りの二チャンネルから白黒信号を取得すればよい。また、ＣＣＤは近赤外線にも感度を有するので、赤外線のハイライト抑制赤外線画像を得ることもできる（後述する第三実施形態参照）。さらに、各色チャンネルごとに、それぞれ独自にハイライト抑制信号を生成することもできる（後述する第四，第五実施形態参照）。
【００３４】
具体的には、本実施形態に係る光学系（カメラ部）１０は、本撮影装置が３ＣＣＤカラーカメラの場合、図３に示すように、カラーカメラに通常採用されているプリズム式の３ＣＣＤ撮像方式となっている。同図に示すように、映像の光軸光線はプリズムにより３方向に分光され、最終的にそれぞれの色チャンネルのＣＣＤ素子（撮像素子）に到達する。すなわち、青色画像は青色ＣＣＤ１３，赤色画像は赤色ＣＣＤ１５ａ，緑色画像は緑色ＣＣＤ１５ｂで画像生成される。
そして、赤色チャンネル及び緑色チャンネルの撮像素子１５（１５ａ，１５ｂ）の直前には、光学的抑制を行うアクティブフィルタ１６（１６ａ，１６ｂ）が備えられ、ハイライト抑制信号による制御によって対応ずる撮像素子への透過光量を光学的に調節するようになっている。なお、青色チャンネルはハイライト抑制信号生成用に使用されるためアクティブフィルタを省略してあるが（図１及び図３参照）、青色チャンネルにアクティブ部フィルタを備えることも勿論できる。
【００３５】
また、本撮影装置は単板式ＣＣＤカメラで構成することができる。
単板式ＣＣＤカメラでは、図４に示すように、マトリックス状に配設されたＣＣＤ素子の、画素単位の各ＣＣＤ素子毎に、「ＲＧＢ」（又は「ＣＭＹ」）のカラーフィルタをかけることにより、各色を取り出す方式である。このような単板式ＣＣＤは、輝度と色の情報を１つのＣＣＤ素子から取り出すことになるため、解像度の面で３ＣＣＤに比べて不利となるが、低価格化，小型軽量化等が可能で、ディジタルスチルカメラ等に用いられている。
このような単板式ＣＣＤカメラについても、アクティブフィルタ１６により光学的抑制を行うことができる。
【００３６】
この場合には、図４に示すように、ＣＣＤ素子はＲＧＢフィルタ以外に、ハイライト抑制信号を取得する為の素子であるＮフィルタを加えた、ＲＧＢＮの４種類のフィルタをＣＣＤ面として配列することになる。また、ＣＣＤ面での画素単位のＲＧＢＮ各色のカラーフィルタに対応して、画素単位で各ＲＧＢＮに対応するアクティブフィルタ１６を、ＣＣＤ素子の直前や、ＣＣＤ素子とカラーフィルタの中間等に一体化して配設する。そして、Ｎチャンネルから作られるハイライト抑制信号の制御により、画素単位のＣＣＤ素子に対して、所望の各色チャンネルの透過光量を光学的に制御することができる。
なお、Ｎフィルタを備えた専用チャンネルを設けずに、ＲＧＢフィルタを備えた三種類のチャンネルから、それぞれ単独に、あるいは全チャンネルを構成した明るさチャンネルからも抑制画像を生成することもできる。
このように、単板ＣＣＤ方式と３ＣＣＤ方式とは、画素毎にＲＧＢを取り出すか、ＲＧＢ画像のそれぞれを構造的に分離してから画素に分解して取り出すかの違いであり、いずれの方式であっても本発明に係るアクティブフィルタによる光学的なハイライト抑制が可能である。
【００３７】
さらに、各色チャンネルの撮像素子は、所定の画素単位又は所定の画像領域単位で電荷蓄積時間を制御することにより、撮像面への透過光量を制御することができるようになっている。ＣＣＤ素子や光感知素子からなる撮像素子について、電荷蓄積時間を素子ごとにコントロールすることにより、ハイライト部分の露光時間を短くして時間分解能を高め、同時に感度を低下させ、ローライト部分の露光時間を長くして、電荷を蓄積し、実質的に低照度で感度をあげることができる。
このように、撮像素子の電荷蓄積時間を画素単位で、画素ごとに制御できるようにすることで、画像内の高照度部分の感度を下げ、ダイナミックレンジを大きくとることが可能となる。すなわち、画素単位で実効入射光量をコントロールし、高照度部分の感度を下げることで、ラチチュードの広い画像を十分なダイナミックレンジで取得することができる。
【００３８】
また、このように撮像素子において画素単位で電荷蓄積時間をコントロールすることで、各画素のサンプリング周波数も入射光量に応じてコントロールすることができ、さらに、各画素単位で、通常の画像のフレーム時間より短く、あるいは長く電荷を蓄積することが可能となる。これによって、高照度側では、ハイライト側を抑制し、サンプリング周波数か高くなり、時間分解能が向上する。一方低照度側では、電荷蓄積時間が長くなり、時間分解能を犠牲にした分だけ感度を増加させることができる。
また、画素ごとに電荷蓄積時間が異なるので、画像伝送においては、画素ごとに異なるサンプリング周波数で伝送することもできる。サンプリング周波数が高まることで、高照度側の画像の時間分解能は高まり、より有効である。なお、通常の画像機器等で表示するためには、一度画素単位の画像をフレームメモリ等に蓄積し、一定のフレーム周波数に変換して最終画像とすることが望ましい。
【００３９】
アクティブフィルタ１６は、ハイライト抑制信号により、各色チャンネルの撮像面の各部分への透過光量を、所定の画素単位又は所定の画像領域単位で光学的に制御する光学フィルタである。
本実施形態では、図２に示すように、赤と緑チャンネル画像のハイライト部分のみを光学的にコントロールさせるアクティブな光学フィルタ、すなわちアクティブフィルタ１６を光学系の結像面の近くに設置してあり、ハイライト抑制信号を用いて赤と緑チャンネル画像のハイライトを光学的に抑制するようにしてある。
ここで、アクティブフィルタ１６は、例えば電子制御可能な液晶素子等を用いて構成することができる。
また、アクティブフィルタ１６は、電子的制御によらず、入射する光強度により透過光量を制御する素子によって構成することもできる。なお、このような光強度に直接反応して、電子制御なしに照射光量により透過度をそれ自身で変化させることができる素子は、単独で用いても良いが、液晶素子等の電子制御可能なアクティブフィルタと重ねて試用することがより効果的である。
【００４０】
また、アクティブフィルタ１６は、特に図示しないが、透過光量を制御する素子を複数段に配設した多層構造とすることもできる。すなわち、アクティブフィルタ１６は、画素単位や画像領域単位で透過光量をコントロールする素子面、例えば液晶面を複数段とすることができる。このようにすると、アクティブフィルタ１６を透過する光は、多層化された液晶素子等を次々通過することになり、それぞれの液晶面を電子的にコントロールすることで、透過光量をより広い範囲で大幅にコントロールすることが可能となる。本実施形態のアクティブフィルタ１６は光透過フィルタであり、原理的に重ねて使用することができ、任意の複数段のアクティブフィルタを多層化して使用することで、宇宙空間の太陽光のような強力な光強度にも耐え得るし、また、微弱光に対してもＣＣＤの裸の感度を維持することができる。これにより、アクティブフィルタ１６は、光透過のダイナミックレンジを望むままに選ぶことができるようになる。特に、後述する第三実施形態に係るハイライト抑制画像を実現するには大幅な透過光量のコントロールが必要であり、アクティブフィルタ１６の多層化構造は特に有効である。
【００４１】
ここで、アクティブフィルタ１６の多層化されたすべての素子面については、同じハイライト抑制信号でコントロールしても良いが、透過光量に対して非線形の透過特性を持つ素子面を用いる場合や、初めから材質や特性の異なる素子面を多層化する場合は、それぞれの面に独立のハイライト抑制信号を用いることが有効である。この場合、ハイライト抑制信号は複数となるが、予め素子面の光透過特性は分かっているので、それぞれの素子面のハイライト抑制信号強度と光のハイライト抑制量との関係は既知であり、また、それぞれの特性から、それらが重ねられた多層化されたフィルタ全体での光のハイライト抑制量も求められる。従って、後述する第三実施形態におけるように、ハイライト抑制量から画像信号を生成する場合でも、その個々の層の抑制量を合成することで、画像信号を生成できることになる。
【００４２】
図５にアクティブフィルタ面の状態を模式的に示す。同図（ａ）に示すように、アクティブフィルタは画素単位で光透過量が制御され、ハイライト部では光を遮蔽するような光学的抑制効果があり、例えば同図（ｂ）に示すような光抑制効果を生成することができる。
このようにアクティブフィルタ１６で適切な光学的抑制をかけることにより、その分絞り等で光量を増加させ、結果として撮像素子１５のｓ／ｎの良い状況で画像を生成することができるようになる。
【００４３】
なお、アクティブフィルタ１６は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御するシャッタとして構成することもできる。すなわち、アクティブフィルタ１６において、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ１６で透過時間を電子的にコントロールすることによって透過光量をコントロールすることが可能となる。これにより、アクティブフィルタ１６を光学的シャッタとして機能させることができる。
このようなシャッタ機能を持たせる場合には、アクティブフィルタ１６を構成する素子として、光のＯＮ／ＯＦＦ特性に優れた素子を使用し、素子を画素単位で面状に配列することで、効果的なシャッタ機能を実現できるようになる。
また、例えば液晶型プロジェクター等で使用される透過光量を各ドットで制御可能な液晶素子等の光量抑制素子を用いて構成することもできる。
【００４４】
ここで、アクティブフィルタ１６は、光学系１０の結像面１４の近傍に設置する。アクティブフィルタ１６を結像面近傍に設置するのは、結像面でなければ画像の各点を個々に光学的にコントロールできないためである。例えば、レンズ開口部にアクティブフィルタ１６を取り付けた場合、画像全体の光量は制限できたとしても、画像の各点の光量をコントロールすることはできない。図２（ｂ）に示すように、通常のレンズを用いる場合（同図に示す通常レンズ系１１）、結像部（結像面）１４は撮像素子１５の直前にあるので、アクティブフィルタ１６は撮像面の直前に設置することになる。これにより、結像面で結像された画像の各点を個々にコントロールできるようになる。
【００４５】
なお、図２（ｂ）に示すように、ＣＣＤ面（撮像素子面）が結像面そのものであるから、厳密には構造的にアクティブフィルタは結像面そのものではなく、微小量だけ結像面から前方にずれることになるが、これは高精細な画像生成にはむしろ好ましい。ＣＣＤ面にアクティブフィルタが完全に重なってしまうと、アクティブフィルタのもつ構造的光学透過特性がそのまま画像に影響を与えてしまうため、結像面から多少ずらした方がアクティブフィルタの構造が画像に与える光学的悪影響を減少させることができるからである。
そして、以上のようなアクティブフィルタ素子（アクティブフィルタ１６）は、ＣＣＤ撮像素子（撮像素子１５）と一体化した複合撮像素子として形成することができる。このようにすると、例えば本撮影装置の製造工程に置いてアクティブフィルタ１６と各撮像素子１５の位置合わせ等の問題がなくなり、高性能化された撮影装置を、低コストで製造できるようになる。
【００４６】
ところで、図２（ｂ）に示すように撮像素子１５の直前にアクティブフィルタ１６を設置させる構造では、カメラの本体側にアクティブフィルタ１６が備えられることになり、既存の３ＣＣＤカメラや単板式ＣＣＤカメラ等に応用する場合、カメラ本体内にアクティブフィルタと一体化したＣＣＤ撮像素子を備える構造に変更する必要がある。
ここで、例えばレンズ系の中に一度中継画像を生成し、その結像面にアクティブフィルタ１６を設置することで、撮像素子面直前におく場合と同様の効果を実現することが可能となる。従って、専用のレンズを開発すれば、レンズ光学系の中に一度結像させ、その面近傍にアクティブフィルタを設置することで、カメラ本体を改良しなくても本発明のハイライト抑制機能を実現できることになる。
【００４７】
そこで、本実施形態では、図６及び図７に示すように、レンズ系内に結像面とアクティブフィルタ１６を備えた専用レンズを備えることができるようにしてある。なお、同図中、アクティブフィルタ部１６を設置するレンズ系部分を除いては、図１〜図３で示した撮影装置と同様の構成となっている。
具体的には、図７（ｂ）に示すように、第一レンズ系１１−１と第二レンズ系１１−２の間の空隙に第一結像面１４−１を設定する。そして、その第一結像面１４−１の位置又はその近傍（同図では後方）に、アクティブフィルタ１６を設置するようにしてある。第一結像面１４−１に生成された実像は、第二レンズ系１１−２、更に必要に応じて第三レンズ系等（図示せず）を経て撮像素子面にある第二結像面１４−２に実像を生成するようにしてある。
このような構成とすることで、カメラ本体内に位置するＣＣＤ撮像素子面及び第二結像面１４−２の近傍には、アクティブフィルタを設定する必要が無くなり、レンズ系の改良だけで、カメラ本体の構造を変更することなくハイライト抑制画像撮影装置を実現できるようになる。
【００４８】
そして、以上のようにしてＣＣＤ撮像素子を経て取得された各色チャンネルの画像が電子信号として電子系（装置部）２０に出力される。
電子系（装置部）２０は、図１に示すように、まず光学系１０から出力される青チャンネル画像が、青チャンネル画像生成部２１で取得される。そして、この青チャンネル画像が、ハイライト抑制信号生成部２２に入力される。
ハイライト抑制信号生成部２２では、入力された青チャンネル画像のヒストグラムを生成するなどして、取得画像からハイライト部分を抽出してハイライト抑制信号を生成する。
【００４９】
ここで、ハイライト抑制信号は、後述するように、ハイライト部分のみを抑制し非ハイライト部分は抑制しない二値型の抑制信号としても良いが、本実施形態では、光学系１０で取得された元の映像の階調に従って抑制度が異なる非二値型の抑制信号を生成できるようにしてあり（後述する図８参照）、より高精細な画質のハイライト抑制画像が得られるようになっている。
そして、このハイライト抑制信号が、光学系１０のアクティブフィルタ部１６に送られ、アクティブフィルタ部１６の光透過量が制御される（図５参照）。これにより赤・緑チャンネル画像がアクティブフィルタ１６を介して光学的に抑制され、光学的ハイライト抑制がなされた赤と緑のハイライト抑制画像が電子系２０側に出力されてハイライト抑制画像生成部２６で取得される。
【００５０】
また、青チャンネルの画像は、図１に示すように、青チャンネル整合部にも入力され、ハイライト抑制信号生成部からのハイライト抑制信号によって電子的にハイライト抑制され、青チャンネルハイライト画像信号出力部２５に入力される。
なお、ハイライトの抑制量はハイライト抑制信号そのものであるから、逆変換でハイライトの抑制を電子的に解除することもできる。その場合でも光学的なハイライト抑制の効果は保たれるので、従来方式の電子的制御のみの画像と比較して劣化のない画像を得ることができる。
さらに、本実施形態では、ハイライト抑制信号が復元信号生成部２４に入力され、各チャンネルの抑制画像を元の映像の階調に復元するための復元信号として生成，出力される。復元信号は、ハイライト抑制信号と同様に、映像の階調を示す非二値の信号として生成され（図８参照）、赤・緑チャンネル画像出力部２７と青チャンネル画像信号出力部２５にそれぞれ入力されて、各チャンネルの抑制画像を電子的にコントラストを復元して復元画像が得られるようになっている。
【００５１】
ここまでで、電子的に抑制された青チャンネルハイライト抑制画像と、光学的に抑制された赤チャンネル抑制画像と緑チャンネル抑制画像の合計３チャンネルのハイライト抑制画像がそれぞれ単独に取得されたことになる。
この３チャンネルの画像が最終映像信号出力部２８に入力され、各カラーの信号処理方式に従いベクトル合成され、又はベクトル的に整合されて、ハイライト抑制カラー画像として出力されることになる。
赤・緑チャンネル画像信号出力部２７に入力される画像信号は、アクティブフィルタ１６を介して光学的にハイライト抑制された信号であり、復元信号で復元されるとｓ／ｎの改善が期待できる。一方、青チャンネル画像信号出力部２５に入力される画像信号は、電子的に抑制された画像のため、原理的にはｓ／ｎの改善は期待できない。そこで、赤・緑チャンネル画像信号出力部２７の出力と青チャンネル画像信号出力部２５の出力を最終映像信号出力部２８でベクトル合成することで、光学的及び電子的にハイライト抑制された高精細な復元カラー画像出力が得られる。以上により、光学系１０で取り込まれた所望の映像が、適正にハイライト抑制されたハイライト抑制画像として取得されることになる。
【００５２】
次に、以上のような本実施形態の撮影装置におけるハイライト抑制信号の詳細について、図８〜図１１を参照しつつ説明する。
まず、ハイライト抑制信号生成部２２で生成されるハイライト抑制信号は、画像のハイライトの部分のみ光学的に抑制することもできるが、その原理から、ハイライト部分だけではなく、どの明るさでもどの位置でも抑制できる。撮像素子は必ず微小なノイズを発生しており、暗いところでその影響が強くでることは広く知られている。
そこで、本実施形態のハイライト抑制信号は、図８に示すように、二値信号ではなく階調を持つ非二値信号として生成し、適切な光学的フィードバックがかかるように設定することができる。このような非二値の階調を持つハイライト抑制信号を用いることで、画像のｓ／ｎを高め、結果として高画質の画像を得ることができる。
【００５３】
具体的には、ハイライト抑制信号はハイライト部分の抑制のみではなく、図８に示すように、画像全体的にハイライトほど強く、ローライトほど弱くかかるように、ハイライト抑制信号生成部でハイライト抑制信号を階調を持つように生成することができる。なお、このような抑制信号では「抑制」はハイライト部分に限られないため、信号の名称としては必ずしも「ハイライト抑制」とする必要はないとも考えられるが、ハイライト部分ほど強く抑制がかかっていることからすれば、「ハイライト抑制信号」と称することは適切でもある。勿論、他の名称を採択することは自由である。
図８（ａ）の抑制特性は、入出力関係が線形関係の場合であり、飽和した時点で抑制度は一定になっている。図８（ｂ）の抑制特性は、ＣＣＤの特性を考慮して非線形の入出力関係としてある。図８（ｃ）の抑制特性は、ハイライトのみ特に強く、飽和点よりも低くなるように設定した場合である。
【００５４】
そして、このような非二値の抑制特性を持つハイライト抑制信号を生成する利点として、この抑制信号を更に抑制画像を復元するための復元信号としても使用できることがある。
画像信号の復元に同じ特性の抑制信号を復元信号として使用することで、抑制特性が線形であっても非線型であっても正しく復元できることになる。このように、どのような線形の抑制信号であっても復元信号として使用できることは、ＣＣＤ撮像素子の特性とｓ／ｎ特性のみを考慮して最も良い抑制信号（＝復元信号）を設定できることになる。これは、抑制信号の精度が悪くても、最終結果にほとんど影響を与えないことになり、アクティブフィルタで最終の画像特性がひずむ率が極めて小さいことになる。
【００５５】
以上のような非二値のハイライト抑制信号及び復元信号によって画像を取得すると、例えば図９に示すようなハイライト抑制画像を得られる。
図９（ａ）に示す画像入力信号では、飽和閾値を超える２カ所の強いハイライト部分を持っている。ここから青信号のみ取り出して、図９（ｂ）に示すような階調型のハイライト抑制信号を生成する。同図では抑制点を超えたハイライトが一定値となるように設定してある（図１０（ａ）参照）。
この抑制信号によってアクティブフィルタ１６を駆動することで、入力画像が光学的に抑制され、撮像素子のｓ／ｎ特性の良いところを用いて抑制画像を取得することができる。この抑制信号で取得される赤・緑チャンネルの画像信号は、図９（ｃ）に示すような曲線となる。ここでは一旦、信号のダイナミックレンジが狭くなっている。
青チャンネル画像についても、同一の抑制信号で電子的にハイライト抑制し、赤・緑チャンネル画像と信号特性を一致させる。
【００５６】
そして、３色チャンネルの画像をベクトル合成し、復元信号によって復元することで、図９（ｄ）に示すような最終のカラー画像が得られる。
同図に示すように、復元された最終カラー画像は、飽和点を超えるハイライト部分のみが抑制され、他の部分については元の映像の階調（図９（ａ）参照）と同一の階調を示す画像として出力されるようになる。
以上により高精細なハイライト抑制画像が得られることになる。
【００５７】
なお、ハイライト抑制信号としては、上述したような階調を持つ非二値の信号特性のものに限定されるものではなく、ハイライト部分のみを抑制する二値型の信号を用いることもできる。
二値型の抑制信号で得られる画像信号を図１０に示す。この場合、図１０（ａ）に示す飽和閾値を超えるハイライト部分のみが、図１０（ｂ）に示すような二値型の抑制信号で抑制され、最終画像として図１０（ｃ）に示すような画像が得られることになる。
【００５８】
また、上述したように、本実施形態では、アクティブフィルタ１６は、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御できるようになっている。これにより、透過光量をハイライト抑制信号に基づいて光学的にコントロールするのみならず、アクティブフィルタ１６で透過時間を電子的にコントロールすることによって透過光量をコントロール光学的シャッタとして機能させることもできる。
このようにアクティブフィルタ１６に光学的シャッタ機能を追加して、透過時間を画素毎に電子的にコントロールし、透過光量をコントロールする場合の効果を図１１に示す。
【００５９】
同図は、感度をコントロールし低下させる場合を示している。
図１１（ａ）に示すように、縦軸にアクティブフィルタ１６の光透過率をとり、横軸に時間軸をとると、通常のＣＣＤ電荷蓄積時間をシャッタで制御することにより、光透過時間をコントロールすることができる。その結果、図１１（ｂ）に示す光量積分値から明らかなように、ハイライト部分の露光時間を短くすることで時間分解能を高め、感度を低下することが可能となる。
同様にして、ローラライト部では、露光時間を長くすることで、電荷蓄積時間を長くし感度を上げることもできる。
【００６０】
以上説明したように、本実施形態に係るハイライト抑制画像撮影装置によれば、所望の映像を赤，緑，青の３色の各チャンネルで画像取得可能な光学系（カメラ部）１０と、画像信号を処理する電子系（装置部）２０を備えた３ＣＣＤカメラや単板式ＣＣＤカメラ等の撮影装置において、３種類の映像出力のうち、青チャンネルの出力画像からハイライト部分を抽出してハイライト抑制信号を生成することができる。このハイライト抑制信号を赤・緑チャンネルの画像生成用のハイライト抑制信号として使用して、アクティブフィルタ部１６を制御することができる。
そして、液晶素子等からなるアクティブフィルタ部１６をハイライト抑制信号によって制御し、アクティブフィルタ部１６上にハイライト抑制部分の領域を生成することで、赤・緑チャンネル画像のハイライト部分に相当する部分を、撮像素子に到達する前に光学的に抑制し、ハイライトを抑えた画像を生成することができ、上質なハイライト抑制画像を得ることができる。
【００６１】
［第二実施形態］
次に、本発明のハイライト抑制画像撮影装置の第二実施形態について、図１２〜図１４を参照しつつ説明する。
図１２は、本発明の第二実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１３は、図１２に示すハイライト抑制画像撮影装置の一例を模式的に示す装置全体の説明図である。また、図１４は、図１２に示すハイライト抑制画像撮影装置の他の一例を模式的に示す説明図で、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
これらの図に示すように、本実施形態のハイライト抑制画像撮影装置は、映像を取得する光学系として、所望の映像取得用チャンネルとなる光学系（主カメラ部）１０と、ハイライト抑制信号用チャンネルとなる専用光学系（専用カメラ部）３０とを別々に構成するようにしてある。その他の構成は第一実施形態と同様である。
【００６２】
具体的には、図１３に示すように、映像取得用のカラーカメラからなる主カメラ部１０と、ハイライト抑制信号を生成すための専用の独立チャンネルとなる専用カメラ部３０とを設置する。なお、図１３に示すように、専用カメラ部３０は、レンズ系３１，専用映像結像部３２，専用撮像素子部３３等の映像取得に必要な構成が備えられる。主カメラ部１０の画像出力と専用チャンネル部３０の画像出力はその出力画像の対応関係をとっておく。
そして、専用チャンネル部３０の出力のヒストグラムを生成するなどして、専用チャンネルの画像からハイライト部分を抽出し、抽出された信号からハイライト抑制信号を生成することができる。ハイライト抑制信号を生成し、最終映像を取得する電子系２０（装置部）は第一実施形態と同様である。
【００６３】
ここで、映像取得用の光学系１０とハイライト抑制信号専用の光学系３０は、図１３に示すような独立のカメラ構造でなくても良く、例えば、図１４に示すように、一つの光学系１０（プリズム）に、画像取得チャンネル部１０ａとハイライト抑制信号用の専用チャンネル部１０ｂを一体的に設けるようにしても良い。このようにすると、図１３に示したような主カメラ部と専用カメラ部の二つのカメラ部を別々に設ける必要がなくなるので、撮影装置全体の構成の簡略化，軽量化等を図ることが可能となる。
以上のように、本実施形態では、映像取得用チャンネルとなるカメラ部（主カメラ部１０）とハイライト抑制信号専用のチャンネルとなるカメラ部（専用カメラ部３０）を設け、あるいは赤緑青以外にハイライト抑制信号生成用の専用チャンネルを別に設けることにより、専用部分で生成したハイライト抑制信号により、赤・緑・青の各映像に光学的抑制をかけることができるので、より完全なハイライト抑制効果を生み出すことが可能となる。
なお、本実施形態では、撮影装置が３ＣＣＤカメラの場合を例にとって説明したが、上述した第一実施形態の場合と同様、撮影装置は単板式ＣＣＤカメラであっても良いことは言うまでもない。
【００６４】
［第三実施形態］
次に、本発明のハイライト抑制画像撮影装置の第三実施形態について、図１５〜図１７を参照しつつ説明する。
図１５は、本発明の第三実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１６は、図１５に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
これらの図に示すように、本実施形態のハイライト抑制画像撮影装置は、映像を取得する光学系が赤外線画像を取得可能な赤外線カメラを構成するようになっている。その他の構成は第一実施形態と同様である。
【００６５】
赤外線映像からハイライト抑制画像を取得する場合の原理は、上述した第一実施形態における可視光映像の場合と基本的には同様である。
但し、赤外線画像のためのハイライト抑制信号は、赤以外の緑又は青色画像から生成することが望ましい。
一般に、カラーカメラに用いられている撮像素子は、図１７に示すような波長感度特性を持っている。そして、特に赤用のＣＣＤ素子の波長感度特性は、図１７の破線で示すように、近赤外に多少の感度を有していることが特徴となっている。そこで、このようなＣＣＤ素子の感度特性を利用することで、赤外線画像を生成して所望のハイライト抑制赤外線画像を取得することができる。
【００６６】
具体的には、図１５及び図１６に示すように、第一実施形態と同様の光学系１０及び電子系２０を使用し、光学系１０の赤チャンネルに、赤外線透過フィルタ部１７と赤外線映像結像部１８及び赤外線撮像素子部１９を備え、光学的フィルタをかけて近赤外線画像を取得するようにしてある。
また、青又は緑チャンネルをハイライト抑制信号取得用に使用するようにしてある。その他の構成，機能は第一実施形態の場合と同様である。
このような構成とすることにより、本実施形態の撮影装置は、赤外線カメラとして使用することが可能となり、例えば自動車のヘッドライト等で画質が低下する夜間映像のハイライト抑制に好適な赤外線撮影装置を実現することができる。
さらに、この赤外線映像対応の撮影装置を第一実施形態の撮影装置と組み合わせることで、同一のカメラを使用して、昼間はカラー画像カメラ、夜は赤外線画像カメラとして用いることができることになる。
【００６７】
［第四実施形態］
次に、本発明のハイライト抑制画像撮影装置の第四実施形態について、図１８及び図１９を参照しつつ説明する。
図１８は、本発明の第四実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。図１９は、本実施形態に係るハイライト抑制画像撮影装置で各色チャンネルごとに得られる画像信号及びハイライト抑制信号を示すグラフ図である。
これらの図に示す本実施形態のハイライト抑制画像撮影装置は、カメラ部で取得される映像の各色チャンネル（ＲＧＢ）に対応して、各色チャンネル毎にハイライト抑制信号を生成するようになっている。その他の構成は第一実施形態と同様である。
【００６８】
図１８に示すように、本実施形態では、カメラ部１０で取得された映像は、各色チャンネル（ＲＧＢ）に対応した赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０に出力される。
各画像信号生成部には、それぞれ、ハイライト抑制信号生成部１２１，１３１，１４１と、ハイライト抑制画像生成部１２２，１３２，１４２と、各色チャンネル処理画像信号生成部１２６，１３６，１４６が備えられており、各ハイライト抑制信号生成部１２１，１３１，１４１には、それぞれ各色に対応したアクティブフィルタが備えられている（図示省略）。
そして、アクティブフィルタを透過して光学的に抑制されたハイライト抑制画像が各色チャンネルごとに生成され、生成された各ハイライト抑制画像が、最終画像出力部２８で合成されることにより、最終のハイライト抑制画像として出力されるようになっている。このようにして、本実施形態では、各色チャネルごとに最適な画像を得ることができ、その上で各色チャネルの画像信号を合成し画像信号を生成，出力できるようにしてある。
【００６９】
図１９に、各色チャンネル毎に生成，取得されるハイライト抑制画像信号を示す。同図（ａ）は赤色チャンネル、（ｂ）は緑色チャンネル、（ｃ）は青色チャンネルの信号を示している。
これらの図に示すように、各色チャンネル毎にハイライト抑制画像信号を生成することにより、ＲＧＢの各色チャンネルでハイライト部分のばらつきが多い場合に、各色チャンネル毎に独自にハイライト抑制特性を設定することができ、各色チャンネルごとにもっとも効率の良い領域でハイライト抑制を行うことができる。
そして、各色チャンネル毎のハイライト抑制画像信号から、ハイライト復元画像を生成し、それらを合成することで最終画像信号を出力することができる。
【００７０】
以上のように、本実施形態のハイライト抑制画像撮影装置では、各色チャンネル独自にハイライト抑制信号を生成し、各色チャンネルごとのハイライト抑制画像を生成することができる。そして、各ハイライト抑制画像からそれぞれ独自に各チャンネルの画像を復元し、それらを合成して最終画像信号を出力することができる。
これにより、各色チャンネルごとに独立してハイライト抑制された画像を生成することができ、各チャンネルでハイライト部分のばらつきが大きい場合にも、より鮮明で上質な最終画像を得ることができる。
【００７１】
［第五実施形態］
次に、本発明のハイライト抑制画像撮影装置の第五実施形態について、図２０〜図２２を参照しつつ説明する。
図２０は、本発明の第五実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
図２１及び図２２は、本一実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号の抑制量から生成した画像信号を示している。
【００７２】
これらの図に示す本実施形態のハイライト抑制画像撮影装置は、各色チャンネル毎にハイライト抑制画像を生成，取得できる第四実施形態の更なる変更実施形態であり、各色チャンネル毎に生成，取得されるハイライト抑制信号に基づいて生成されるハイライト抑制画像の出力を所定の基準値まで抑制し、その抑制量を示す信号から画像信号を生成し、最終のハイライト抑制画像として出力するようになっている。
そして、この場合に、ハイライト抑制信号に基づいて生成されたハイライト抑制画像のうち、ハイライト部分については所定の基準値まで抑制した抑制量を示す信号から画像信号を生成し、ローライト部分についてはハイライト抑制信号に基づく画像信号を生成して、各画像信号が合成されることにより、最終のハイライト抑制画像として出力されるようにしてある。
【００７３】
具体的には、本実施形態においては、各色チャンネルからそれぞれハイライト抑制信号を生成するとともに、各ハイライト抑制信号について、当該色チャンネルでの各画素の出力が予め決められた値（基準値）になるまで抑制し、その抑制量を取り出して新たな画像信号とするようにしてある。
すなわち、ハイライト抑制画像出力のヒストグラムがほぼフラットになるまで抑制をし、その抑制量を新たな画像信号として取り出すことができる。そして、これを各色チャンネルで行うことで、ＲＧＢの新たな画像信号を取り出すことができるようになる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして入力光の強さはＣＣＤ面で均一化され、画像の情報はハイライト抑制信号が受け持つことになる。
【００７４】
ここで、第一実施形態で示したように、アクティブフィルタは複数段に重ねて多層化することができ、光透過のダイナミックレンジを望むままに選ぶことが可能である。そこで、一般的なＣＣＤのダイナミックレンジよりもアクティブフィルタの光透過性のダイナミックレンジを大きくとるように設定することにより、上述した抑制量信号を最終の画像情報と使用する本実施形態の方式が大きな効果を発揮することになる。
この場合、ＣＣＤは、既に撮像素子としてではなく、光感知器としての役目を果たすことになり、ＣＣＤの光強度対信号出力特性がもっとも階調分解の優れている特性部分を用いることができる。また、最終的に到達する光量は一定となるので、撮像素子ＣＣＤ自身は感度が重要であり、ダイナミックレンジについては低くてもよいことになる。
【００７５】
換言すれば、本実施形態では、撮像素子であるＣＣＤではなく、透過光量コントロールするアクティブフィルタが、画像を生成していることになる。
そして、上述のような特性部分でＣＣＤからの画像出力が一定になるようなハイライト抑制信号を生成することができる。
このようにして、本実施形態では、アクティブフィルタを抑制するハイライト抑制信号を新たな画像信号とすることができるので、ＣＣＤの制約を受けずラチチュードの広い映像を表現できることになる。
【００７６】
なお、このような本実施形態においては、ＣＣＤは一定の光強度にしかさらされないことになるので、ある特定の光強度における微分感度が優れたＣＣＤを設計，使用することが好ましい。また、このような設計は、ＣＣＤから見ればラチチュードの狭い光を扱うことになり、ダイナミックレンジは極端に狭くて良く、ＣＣＤの製造コスト削減が可能となり、開発も容易に行える。勿論、既存のＣＣＤをそのまま用いることも十分可能である。
また、アクティブフィルタは、濃淡のみならず光の透過時間によっても光量をコントロールできるので（第一実施形態参照）、よりよい上質の画像を提供できることになる。もちろん、抑制信号からとＣＣＤ出力画像からの両方を組み合わせることでも、両者の特徴を取り入れたより良い画像出力を生成することができる。
【００７７】
以下、本実施形態におけるハイライト抑制信号（抑制量信号）の性質について、方程式を用いて説明する。
なお、カメラ部で取得される入力画像は光学的画像であり、まだ電子信号には変換されていないため、他のハイライト抑制信号やハイライト抑制画像信号のような電子信号と同じ場の関係式として表すことはできない。そこで、以下では情報エネルギーを定義して、関係式を求める共通の場として、それぞれを情報エネルギーの場に変換した状況で説明する。ここでは、説明を簡略化するために、以下の方程式で表現される量を情報エネルギーと定義する。
【００７８】
アクティブフィルタ直前の入力画像の情報エネルギー：ｆ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）は、次のように三色に分解することができ、それぞれの入力画像の情報エネルギー成分をｆｒ（ｘ，ｙ，Ｒ），ｆｇ（ｘ，ｙ，ｇ），ｆｂ（ｘ，ｙ，ｂ）とすると、情報エネルギーは以下の式１で表現できる。
ｆ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）＝ｆｒ（ｘ，ｙ，Ｒ），ｆｇ（ｘ，ｙ，ｇ），ｆｂ（ｘ，ｙ，ｂ）・・・式１
どの色チャンネルも同様であるので、例えば赤色チャンネルに着目した場合、赤色チャンネルの入力信号を赤色チャンネルのハイライト抑制信号により処理して、赤色チャンネルのハイライト抑制画像を生成する方程式は、情報エネルギー場で以下の式２のようになる。
ｆｒ（ｘ，ｙ，Ｒ）＝ｇｒ（ｘ，ｙ，Ｒ）・Ｋｒ（ｘ，ｙ，Ｒ）・・・式２
ここで、分解されたｆｒ（ｘ，ｙ，Ｒ）は赤チャンネル入力信号の情報エネルギー、ｇｒ（ｘ，ｙ，Ｒ）は赤色チャンネルのハイライト抑制信号の情報エネルギー、Ｋｒ（ｘ，ｙ，Ｒ）は赤色チャンネルのハイライト抑制画像出力信号の情報エネルギー、ｘ，ｙは赤色チャンネルの画像面座標、Ｒはｘ，ｙにおける赤チャンネルの信号強度の情報エネルギーを示す。他のチャンネルも同様である。
【００７９】
そして、上記式２の意味は、以下の通りとなる。
元々の画像の情報エネルギー：ｆｒ（ｘ，ｙ，Ｒ）は、光エネルギーから電子エネルギーへの変換によって、情報エネルギーがｇｒ（ｘ，ｙ，Ｒ）とＫｒ（ｘ，ｙ，Ｒ）とに分散される。従って、元の画像情報の情報エネルギー：ｆｒ（ｘ，ｙ，Ｒ）を再現するには、分散されたｇｒ（ｘ，ｙ，Ｒ）とＫｒ（ｘ，ｙ，Ｒ）との両者が必要であり、ｇｒ（ｘ，ｙ，Ｒ）とＫｒ（ｘ，ｙ，Ｒ）とから元の画像情報を再生することができる。これは、本実施形態を含め、上述した第一〜第四実施形態でもすべて共通である。
赤チャンネルの入力信号の情報エネルギー：ｆｒ（ｘ，ｙ，Ｒ）を、赤チャンネルのハイライト抑制信号の情報エネルギー：ｇｒ（ｘ，ｙ，Ｒ）で除すれば（ハイライト抑制変換処理すれば）、赤チャンネルのハイライト抑制画像出力の情報エネルギー：Ｋｒ（ｘ，ｙ，Ｒ）が得られる。
【００８０】
そして、本実施形態は、上記式２の関係が示す特殊な場合となっている。
赤チャンネルにおけるハイライト画像主力信号の情報エネルギー：Ｋｒ（ｘ，ｙ，Ｒ）を一定値Ｋｒと設定すれば、上記式２は以下の式３のようになる。
Ｋｒ＝ｆｒ（ｘ，ｙ，Ｒ）／ｇｒ（ｘ，ｙ，Ｒ）・・・式３
この式３を変形すると以下の式４のようになる。
ｇｒ（ｘ，ｙ，Ｒ）＝ｆｒ（ｘ，ｙ，Ｒ）／Ｋｒ・・・式４
この式４が示すように、赤チャンネルの入力画像の情報エネルギー：ｆｒ（ｘ，ｙ，Ｒ）を定数（１／Ｋｒ）倍したものは、赤チャンネルのハイライト抑制信号の情報エネルギー：ｇｒ（ｘ，ｙ，Ｒ）に等しいことになる。又は、赤チャンネルのハイライト抑制信号の情報エネルギー：ｇｒ（ｘ，ｙ，Ｒ）は赤チャンネルの入力画像の情報エネルギー：ｆｒ（ｘ，ｙ，Ｒ）と比例関係になることになる。
【００８１】
このとき、比例定数（１／Ｋｒ）は一定であり、ｇｒ（ｘ，ｙ，Ｒ）は赤チャンネルの元々の画像の持つ情報エネルギーそのものである。
式４に示す赤チャンネルのハイライト抑制画像出力の情報エネルギー：Ｋｒ（ｘ，ｙ，Ｒ）は定数Ｋｒであり、Ｋｒ（ｘ，ｙ，Ｒ）は画像の情報を失っている。
同様に、緑チャンネルｇｇ（ｘ，ｙ，Ｇ）、青チャンネルｇｂ（ｘ，ｙ，Ｇ）、についても、以下の式５，６に示すように、式４と全く同様のことが言える。
ｇｇ（ｘ，ｙ，Ｇ）＝ｆｇ（ｘ，ｙ，Ｇ）／Ｋｇ・・・式５
ｇｂ（ｘ，ｙ，Ｂ）＝ｆｂ（ｘ，ｙ，Ｂ）／Ｋｂ・・・式６
【００８２】
そして、本実施形態において最終の赤チャンネルのハイライト画像出力信号となるのは、赤チャンネルのハイライト画像出力信号Ｋｒ（ｘ，ｙ，Ｒ） ではなく、赤チャンネルのハイライト抑制信号ｇｒ（ｘ，ｙ，Ｒ）そのものである。
それぞれの色チャンネル出力を合成した信号は、以下の式７，８が示すようになる。
ｇ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）＝ｆｒ（ｘ，ｙ，Ｒ）／Ｋ（ｒ，ｇ，ｂ）・・・式７
ｇ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）＝ｆｒ（ｘ，ｙ，Ｒ）／Ｋｒ＋ｆｇ（ｘ，ｙ，Ｇ）／Ｋｇ＋ｆｂ（ｘ，ｙ，Ｂ）／Ｋｂ・・・式８
これは、本実施形態において、ハイライト抑制信号が、入力画像そのものであることを示している。
【００８３】
そして、以上のような方程式を実現するために、本実施形態のハイライト抑制画像撮影装置は、図２０に示すような構成としてある。
同図に示すように、本実施形態では、第四実施形態の場合と同様、各色チャンネル（ＲＧＢ）に対応した赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０が備えられている。各画像信号生成部には、それぞれ、ハイライト抑制信号生成部１２１，１３１，１４１と、ハイライト抑制画像生成部１２２，１３２，１４２と、各色チャンネル処理画像信号生成部１２６，１３６，１４６が備えられており、各ハイライト抑制信号生成部１２１，１３１，１４１には、それぞれ各色に対応したアクティブフィルタが備えられている（図示省略）。
さらに、本実施形態では、各色チャンネル毎に、出力基準値生成部１２３，１３３，１４３と、差分比較部１２４，１３４，１４４と、差分０検出部１２５，１３５，１４５が備えられている。
そして、各色チャンネルごとに生成され各ハイライト抑制画像は、最終画像出力部２８で合成されることにより、最終のハイライト抑制画像として出力される。
【００８４】
このような構成からなる本実施形態のハイライト抑制画像撮影装置では、以下のようにしてハイライト抑制画像が生成，出力される。
まず、カメラ部１０で取得された入力画像は、赤画像信号生成部１２０，緑画像信号生成部１３０，青画像信号生成部１４０で、各色チャンネルの画像信号に変換される。そして、アクティブフィルタを含むハイライト抑制信号生成部１２１，１３１，１４１でハイライト抑制信号が生成され、このハイライト抑制信号に基づき、ハイライト抑制画像生成部１２２，１３２，１４２においてハイライト抑制画像信号が生成される。
【００８５】
また、各色チャンネルの出力基準値生成部１２３，１３３，１４３では、各色チャンネル毎に予め決められた出力基準値が生成され、差分比較部１２４，１３４，１４４において、各色チャンネル毎に出力基準値とハイライト抑制画像信号が差分比較される。
さらに、差分０検出部１２５，１３５，１４５において、ハイライト抑制画像信号と出力基準値との差分が０になるまでハイライト抑制信号の抑制量が調整される。そして、差分が０になった時点で、元のハイライト抑制信号と、差分０検出部１２５，１３５，１４５を経由したハイライト抑制画像信号が合成され、各チャネルの処理画像信号が生成される。さらに、最終画像出力部２８で各色チャネルの処理画像信号が合成され、最終画像信号が生成されることになる。
【００８６】
このとき、カメラ部１０で取得される入力画像のうち、ハイライト部分についてはハイライト抑制信号（抑制量信号）から画像を生成し、ローライト部分についてはハイライト抑制信号で抑制された画像信号から画像を生成し、それらを合成して画像を出力することができる。
このようにすることで、ハイライト部分は十分に高い画像出力を生成し、ローライト部分はＣＣＤの裸の感度まで持ち上げることができて、ハイライトからローライトまで幅広い画像出力を得ることができる。このとき、表示される映像のラチチュードは、撮像側ではなく表示装置側の性能で制約されるまでに、改善されることになる。すなわち、逆光の撮影でも、太陽像そのものと、日陰の部分のディテールまですべてが同時に撮影され、あとは表示装置側の性能の限界まで表現できることになり、理想に近い撮像装置が構築できる。
【００８７】
図２１及び図２２に、本実施形態で得られるハイライト抑制画像の抑制量から生成される画像信号を示す。
図２１に示す信号は、ハイライト抑制信号そのものを画像信号として利用する場合となっている。
まず、同図（ａ）に示すような入力画像信号をハイライト抑制する場合に、そのハイライト抑制信号（同図（ｂ））について、同図（ｄ）に示すように、ハイライト抑制画像信号がフラットになるまで、ハイライト抑制信号の抑制量を制御する（同図（ｃ））。そして、得られたハイライト抑制信号（同図（ｃ））を、最終の画像信号として使用する（同図（ｅ））。
このように、図２１に示す例では、画像のハイライト部分とローライト部分のすべてについて、ハイライト抑制信号を画像信号としてそのまま利用し、最終画像信号として出力するようになっている。
【００８８】
図２２に示す信号は、ハイライト抑制信号そのものを画像信号として利用するとともに、その画像信号を、ハイライト抑制信号で抑制された抑制画像信号と合成して最終画像信号とする場合である。
まず、同図（ａ）に示すような入力画像信号をハイライト抑制する場合に、そのハイライト抑制信号（同図（ｂ））について、画像のハイライト部分は、同図（ｄ）に示すように、ハイライト抑制画像信号がほぼフラットになるまでハイライト抑制信号の抑制量を制御する（同図（ｃ））。そして、得られたハイライト抑制信号（同図（ｃ））に、同図（ｄ）に示すように、ハイライト抑制画像信号の一部（ローライト部分）を合成し、これを最終の画像信号として使用する（同図（ｅ））。
このように、図２２に示す例では、ハイライト部分についてはハイライト抑制信号を画像信号としそのまま利用するとともに、ローラライト部分については、ハイライト抑制信号で抑制された抑制画像を利用し、ハイライト部分とローライト部分の画像信号を合成して最終画像信号として出力するようになっている。
【００８９】
以上のように、本実施形態に係るハイライト抑制画像撮影装置によれば、一又は二以上の各色チャンネルからハイライト抑制信号を生成し、その抑制信号で、該当する色チャンネルでの出力が決められた値になるまで抑制し、その抑制量を取り出して新たな画像信号とすることができる。そして、これを、ＲＧＢの各色チャンネルで実行することで、ＲＧＢの新たな画像信号を取り出すことができる。このとき抑制されたこれまでの画像信号と呼ばれるものは画像の情報を失うことになる。そして、入力光の強さは撮像面（ＣＣＤ面）で均一化され、画像の情報は抑制量を示すハイライト抑制信号が受け持つことになる。
このようにして、本実施形態では、ＣＣＤからなる撮像素子ではなく、透過光量をコントロールするアクティブフィルタで、所望のハイライト抑制画像を生成することができるようになる。
【００９０】
なお、以上は本発明のハイライト抑制画像撮影装置についての好ましい実施形態であるが、本発明に係るハイライト抑制画像撮影装置は、上述した各実施形態のみに限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、図２３及び図２４に示すように、撮影装置の構成の一部は選択的に省略することができ、装置構成を簡略化することができる。
図２３に示す例では、ハイライト抑制信号から復元信号を生成する復元信号生成部２４（図１参照）を省略してある。この場合には、最終的なハイライト抑制画像は復元信号による復元のない抑制特性の画像（図９（ｃ）参照）となる。
また、図２４に示す例では、さらに、青チャンネル画像を電子的に制御する青チャンネル整合部２３と青チャンネル画像信号出力部２５（図１参照）を省略してあり、赤・緑・青チャンネル画像の光学的なハイライト抑制のみが行えるようになっている。
【００９１】
【発明の効果】
以上説明したように、本発明のハイライト抑制画像撮影装置によれば、ラチチュードの広い映像や強烈なハイライト部分を持つ映像について、光が撮像素子に到達する前に光学的，電子的にハイライト成分を取り除き、抑制することで、ハイライトの影響を本質的に抑制，除去した画像を生成でき、また、画質を劣化させることなくハイライトを復元した画像を生成することができる。
これにより、夜間や暗所での自動車等のヘッドライト映像や、宇宙空間でのハイコントラスト映像のようにハイライトの影響を受ける映像の撮影において、宇宙空間の太陽光やその暗い周囲部，夜間の道路画像のヘッドライトの部分とその周辺の暗い部分等、画像中の特に明るい部分を取り除き、あるいは適切に抑制して、画像内の暗い部分をハイライトの影響を受けることなく上質の画像で取得することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２】図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
【図３】図１に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
【図４】図１に示すハイライト抑制画像撮影装置が単板式ＣＣＤカメラである場合の光学系に備えられるＣＣＤ素子面を示す平面図である。
【図５】本発明の第一実施形態に係るハイライト抑制画像撮影装置のアクティブフィルタの制御状態を示す説明図であり、（ａ）はアクティブフィルタ面の模式図、（ｂ）はアクティブフィルタの光透過量を示すグラフ図を示している。
【図６】本発明の第一実施形態に係るハイライト抑制画像撮影装置の変更例の概略構成を示すブロック図である。
【図７】図６に示すハイライト抑制画像撮影装置を模式的に示す説明図であり、（ａ）は装置全体図、（ｂ）はレンズ系及びアクティブフィルタの詳細図である。
【図８】（ａ），（ｂ），（ｃ）は、それぞれ本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られるハイライト抑制信号の特性を示すグラフ図である。
【図９】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、（ａ）は画像入力信号、（ｂ）は階調型ハイライト抑制信号、（ｃ）は階調型ハイライト抑制画像信号、（ｄ）は階調型復元画像信号を示している。
【図１０】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる他の画像信号及びハイライト抑制信号を示すグラフ図で、（ａ）は画像入力信号、（ｂ）は二値型ハイライト抑制信号、（ｃ）は二値型ハイライト抑制画像信号を示している。
【図１１】本発明の第一実施形態に係るハイライト抑制画像撮影装置で得られる他の画像信号を示すグラフ図で、（ａ）はシャッタによる光透過時間とフィルタの光透過立を示しており、（ｂ）はシャッタ機能がある場合とない場合の画像信号の比較を示している。
【図１２】本発明の第二実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１３】図１２に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
【図１４】図１２に示すハイライト抑制画像撮影装置の他の一例を模式的に示す説明図で、３ＣＣＤカメラの光学系に備えられるプリズムとＣＣＤ及びアクティブフィルタの詳細図である。
【図１５】本発明の第三実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１６】図１５に示すハイライト抑制画像撮影装置を模式的に示す装置全体の説明図である。
【図１７】撮像素子部の感度特性を示すグラフ図である。
【図１８】本発明の第四実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図１９】本発明の第四実施形態に係るハイライト抑制画像撮影装置で各色チャンネルごとに得られる画像信号及びハイライト抑制信号を示すグラフ図であり、（ａ）は赤色チャンネル、（ｂ）は緑色チャンネル、（ｃ）は青色チャンネルの信号を示している。
【図２０】図２０は、本発明の第五実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２１】本発明の第五実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号の抑制量から生成した画像信号を示している。
【図２２】図２２は、本一実施形態に係るハイライト抑制画像撮影装置で得られる画像信号及びハイライト抑制信号を示すグラフ図であり、それぞれ（ａ）は入力画像信号、（ｂ）はハイライト抑制信号、（ｃ）はハイライト抑制信号の抑制量、（ｄ）は抑制後のハイライト抑制画像信号のヒストグラム、（ｅ）はハイライト抑制信号とその抑制量から生成した画像信号を示している。
【図２３】本発明のその他の実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【図２４】本発明のその他の実施形態に係るハイライト抑制画像撮影装置の概略構成を示すブロック図である。
【符号の説明】
１０ 光学系（カメラ部）
１１ レンズ系
１２ 青映像結像部
１３ 青撮像素子部（ＣＣＤ）
１４ 赤・緑映像結像部
１５ 赤・緑撮像素子部（ＣＣＤ）
１６ アクティブフィルタ部
２０ 電子系（装置部）
２１ 青チャンネル画像生成部
２２ ハイライト抑制信号生成部
２３ 青チャンネル整合部（電子制御部）
２４ 復元信号生成部
２５ 青チャンネル画像信号出力部
２６ ハイライト抑制画像生成部
２７ 赤・緑チャンネル画像信号出力部
２８ 最終映像信号出力部

Claims (17)

1. 所望の映像を取得するカメラ部と、
   カメラ部から出力される一又は二以上の色チャンネルの映像出力のうち、少なくとも一の色チャンネルからの映像出力に基づき、ハイライト抑制信号を生成するハイライト抑制信号生成部と、
   カメラ部の結像面近傍に備えられ、ハイライト抑制信号により、各色チャンネルの撮像面への透過光量を光学的に制御するアクティブフィルタ部と、を備え、カメラ部で取得される映像が、アクティブフィルタ部を介して、光学的にハイライトが抑制されたハイライト抑制画像として出力されることを特徴とするハイライト抑制画像撮影装置。
2. アクティブフィルタ部が、ハイライト抑制信号により、各色チャンネルの撮像面の各部分への透過光量を、所定の画素単位又は所定の画像領域単位で光学的に制御する請求項１記載のハイライト抑制画像撮影装置。
3. アクティブフィルタ部が、カメラ部の撮像面近傍に備えられる請求項１又は２記載のハイライト抑制画像撮影装置。
4. カメラ部が、撮像面の結像面と異なる、レンズ光学系内の結像面を備え、
   アクティブフィルタ部が、レンズ光学系内の結像面近傍に備えられる請求項１〜３のいずれか一項記載のハイライト抑制画像撮影装置。
5. カメラ部が、所望の映像を取得する画像取得チャンネル部と、ハイライト抑制信号生成用の映像を取得する、画像取得チャンネル部と異なる専用チャンネル部を備え、
   ハイライト抑制信号生成部が、画像取得チャンネル部で得られる映像と対応する、専用チャンネル部で取得される映像出力に基づきハイライト抑制信号を生成する請求項１〜４のいずれか一項記載のハイライト抑制画像撮影装置。
6. ハイライト抑制信号に基づき、カメラ部からの映像出力を電子的に抑制する電子制御部を備え、
   カメラ部で取得される映像出力が、アクティブフィルタ部を介して光学的にハイライト抑制されるとともに、電子的にハイライト抑制されたハイライト抑制画像として出力される請求項１〜５のいずれか一項記載のハイライト抑制画像撮影装置。
7. ハイライト抑制信号生成部が、階調を示す非二値のハイライト抑制信号を生成し、
   カメラ部で取得される映像出力が、非二値のハイライト抑制信号により、アクティブフィルタ部を介して、ハイライト側で強く、ローライト側で弱く、階調的にハイライト抑制されたハイライト抑制画像として出力される請求項１〜６のいずれか一項記載のハイライト抑制画像撮影装置。
8. 階調を示す非二値のハイライト抑制信号に基づき、復元信号を生成する復元信号生成部を備え、
   アクティブフィルタ部を介して階調的にハイライト抑制されたハイライト抑制画像が、元の映像の階調に復元されて出力される請求項７記載のハイライト抑制画像撮影装置。
9. カメラ部が、長波長側で赤外線感度を有する赤外線撮像素子と、赤外線撮像素子の可視光感度をカットする光学フィルタと、可視光感度を有する可視光撮像素子を備え、
   ハイライト抑制信号生成部が、カメラ部から出力される可視光の映像出力に基づいてハイライト抑制信号を生成し、
   カメラ部で取得される映像出力が、可視光映像に基づくハイライト抑制信号により赤外線映像の透過特性が制御されたアクティブフィルタ部を介して、ハイライト抑制された赤外線画像として出力される請求項１〜８のいずれか一項記載のハイライト抑制画像撮影装置。
10. アクティブフィルタ部が、カメラ部の撮像素子と一体化された複合素子として備えられる請求項１〜９のいずれか一項記載のハイライト抑制画像撮影装置。
11. アクティブフィルタ部が、透過光量を制御する素子を複数段に配設した多層構造を有する請求項１〜１０のいずれか一項記載のハイライト抑制画像撮影装置。
12. アクティブフィルタ部が、電子的制御によらず、入射する光強度により透過光量を制御する素子からなる請求項１〜１１記載のハイライト抑制画像撮影装置。
13. アクティブフィルタ部が、透過する光の透過時間を制御することにより、各色チャンネルの撮像面への透過光量を制御する請求項１〜１２のいずれか一項記載のハイライト抑制画像撮影装置。
14. 各色チャンネルの撮像面に備えられる撮像素子が、所定の画素単位又は所定の画像領域単位で電荷蓄積時間を制御することにより、撮像面の感度を制御する請求項１〜１３のいずれか一項記載のハイライト抑制画像撮影装置。
15. ハイライト抑制信号生成部が、各色チャンネルごとに備えられ、
    ハイライト抑制画像が各色チャンネルごとに生成されるとともに、
    生成された各ハイライト抑制画像が合成されることにより、最終のハイライト抑制画像として出力される請求項１〜１４のいずれか一項記載のハイライト抑制画像撮影装置。
16. ハイライト抑制信号に基づいて生成されたハイライト抑制画像の出力を所定の基準値まで抑制し、その抑制量を示す信号から生成される画像信号がハイライト抑制画像として出力される請求項１〜１４のいずれか一項記載のハイライト抑制画像撮影装置。
17. ハイライト抑制信号に基づいて生成されたハイライト抑制画像のうち、ハイライト部分は所定の基準値まで抑制した抑制量を示す信号から画像信号が生成され、ローライト部分はハイライト抑制信号に基づく画像信号が生成され、各画像信号が合成されることにより、最終のハイライト抑制画像として出力される請求項１６記載のハイライト抑制画像撮影装置。

Images