JP2003309764A - 画像を示す信号をリアルタイムで処理するための方法 - Google Patents
画像を示す信号をリアルタイムで処理するための方法Info
- Publication number
- JP2003309764A JP2003309764A JP2003095146A JP2003095146A JP2003309764A JP 2003309764 A JP2003309764 A JP 2003309764A JP 2003095146 A JP2003095146 A JP 2003095146A JP 2003095146 A JP2003095146 A JP 2003095146A JP 2003309764 A JP2003309764 A JP 2003309764A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity
- point
- brightness level
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 title claims description 35
- 230000035945 sensitivity Effects 0.000 claims abstract description 131
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- AAOVKJBEBIDNHE-UHFFFAOYSA-N diazepam Chemical compound N=1CC(=O)N(C)C2=CC=C(Cl)C=C2C=1C1=CC=CC=C1 AAOVKJBEBIDNHE-UHFFFAOYSA-N 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Multimedia (AREA)
- Signal Processing (AREA)
- Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Image Input (AREA)
- Facsimile Image Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
止する。 【解決手段】 観察すべき同じシーンから異なる感度の
画像を形成し、最大感度の画像上の各基本ポイントの輝
度レベルを測定し、このレベルと所定のスレッショルド
とを比較し、所定スレッショルドよりも低い輝度レベル
を有する最大感度の画像上の各基本要素に対し、最大感
度の画像の信号をディスプレイデバイスへ送り、最大感
度の画像上の他の基本ポイントに対し、異なる感度の画
像内の同じ基本ポイントの輝度レベルに従って計算され
た画像信号をディスプレイデバイスへ送る。
Description
サ(電荷結合センサ)、CMOS(相補的金属酸化膜半
導体)センサ、またはビデオカメラから送られる、画像
を示す信号をリアルタイムで処理するための方法に関す
る。本明細書では、これらのセンサまたはカメラを、感
光デバイスなる包括的用語でひとまとめにする。
すぐれている。このセンサは、例えば照明レベルが0.
003ルクスまで低くなり得る対象、およびシーンに対
して有効な信号を発生できる。
べき対象またはシーンが極めて明るい場合、ほとんどの
光を受けるCCDセンサの基本ポイント、すなわちピク
セルは、極めて短時間で飽和状態となり、当業者には
「ブルーミング(Blooming)」として知られる現象が観
察される。このブルーミング現象は、センサのピクセル
を飽和させる露光よりも露光が大きくなることから生じ
るものである。
するピクセルに干渉する。その結果、CCDセンサの眩
惑が生じ、極めて明るい対象の画像が、この眩惑する対
象に隣接する領域全体で使用できなくなる。本明細書で
は、この眩惑現象を示すのに「ブルーミング」なる用語
を使用することにする。
に対して、あまり敏感ではないが、極めて明るくはない
対象またはシーンに対して、有効な信号を発生すること
はできない。
光時間を短くし、極めて明るい領域におけるブルーミン
グ現象を低減しようとする試みは公知である。このよう
な試みの結果、極めて明るいとはいえない領域でのコン
トラストは大幅に劣化する。
の利得を高めた場合、暗い領域に対応する信号内のノイ
ズのレベルも高くなり、その結果、暗い領域に雪が降っ
たような画像が生じ、演色性が大幅に低下する。従っ
て、かかる解決案は、信号に対する充分なダイナミック
レンジを得られるようにするものではなく、例えば同じ
画像のうちの最も暗い領域に対応する信号と、最も明る
い領域に対応する信号との間のダイナミックレンジが、
170dBとなっている使用可能な画像を得ることが望
ましい。
の解決案が提案されている。このフランス国公開特許出
願は、ブルーミング現象および飽和現象を防止するため
に、例えばテレビカメラで使用される感光電荷転送デバ
イスの感度を、カメラが受ける照度にスレーブ化する方
法を開示している。
グ防止ドレインを使用し、各フレームの分析周期のうち
の第1部分の間で、光によって発生される電荷を放電す
ることから成る。得られたビデオ信号の値に従って、ス
レーブデバイスが放電時間を決定する。ブルーミング防
止ドレインに載っている電極により、一定電位に維持さ
れるブルーミング防止ドレインへ電荷を放電するため
に、デバイスの各感光素子に載っている2つの転送電極
へ、同時にパルス電圧を印加する。累積された電荷を少
しずつ放電するための一連のパルスが発生される。この
一連のパルスは、このビデオ信号に干渉する浮遊結合を
防止するために、ビデオ信号のライン抑制インターバル
中に印加される。
は、露光時間により、互いに異なる複数の画像信号を供
給する固体画像形成素子と、固体画像形成要素によって
供給されるこれら画像信号を合成するための信号合成手
段とを備え、検索された画像信号のダイナミックレンジ
を高めるために、画像信号のうちの少なくとも1つが、
他の画像信号のピクセル数よりも少ない数のピクセルを
有する固体画像形成デバイスを開示している。
デバイスを製造し、使用するものであるが、これらデバ
イスは、すべての状況に適用できるわけではなく、比較
的高価である。
第1画像センサと、より低感度にて前記第1画像センサ
によって検出された画像と同じ画像に対応する画像情報
の第2ソースと、第1画像センサおよび画像情報ソース
からの情報を組み合わせる手段とを備える、ダイナミッ
クレンジの大きい画像を発生するダブルショットカメラ
も公知となっている。
に供給される最終画像のダイナミックレンジを高めるよ
うになっているが、共通目的として、最終画像の感度を
高めるものではない。従って、同じシーンから、いくつ
かの画像が捕捉された場合、最高感度を有する信号を供
給するセンサは、飽和状態まで常にダイナミックレンジ
内に留まるが、ブルーミング現象、すなわち眩惑現象ま
では、ダイナミック作動レンジ内に留まることは決して
ない。
の目的は、最も暗い領域に対応する信号と、最も明るい
理に対応する信号の間で、大きいダイナミックレンジを
有するシーンまたは対象から、ブルーミング領域のない
高感度画像を供給するよう、センサまたはカメラによっ
て発生される信号を、リアルタイムで処理するための方
法を提案するものである。
ドよりも低い領域のコントラストが充分であり、前記所
定のスレッショルドを、例えば他の基準の周辺照度に従
って調節できる。この方法は、従来のセンサまたはカメ
ラを改造することなく、実現できるものでなければなら
ない。
対応する信号と、最大輝度の領域に対応する信号との間
のダイナミックレンジを有する観察すべきシーンから、
ブルーミング領域のない画像を供給するよう、少なくと
も1つの感光デバイスによって発生される画像を示す信
号を、リアルタイムで処理するための方法において、 −光学システムにより単数または複数の感光デバイスに
観察すべきシーンの実際の画像を形成するステップと、 −感光デバイスが、毎秒第1の所定の数の観察すべきシ
ーンの画像信号を発生するように、感光デバイスを制御
するステップと、 −感光デバイスによって発生された画像信号を収集する
ステップと、 −感光デバイスによって発生された画像信号を処理する
ステップと、 −前記処理された信号をビデオ信号に変換するステップ
と、 −前記ビデオ信号をディスプレイデバイスへ送るステッ
プと、 −毎秒第2の所定の数の、処理された画像信号に対応す
る画像をディスプレイデバイスにディスプレイするステ
ップとを有し、 −感光デバイスを制御する前記ステップが、少なくとも
異なる第1感度および第2感度を有し、前記第1感度の
ほうが第2感度よりも高くなっている、観察すべき同じ
シーンの画像信号を発生するステップを含み、 −感光デバイス自身によって発生された信号を処理する
前記ステップが、 −第1感度を有する画像上の各基本ポイントの輝度レベ
ル、および第2感度を有する画像上の各基本ポイントの
輝度レベルを決定するステップと、 −最終画像上の各基本ポイントに対し、第1感度および
第2感度の画像内の同じ基本ポイントの輝度レベルに従
って計算された画像信号を、ディスプレイデバイスに送
るステップとを有する、画像を示す信号をリアルタイム
で処理するための方法に関する。
定スレッショルドとを比較するステップと、 −所定のスレッショルドよりも低い輝度レベルを有する
第1感度の画像上の各基本ポイントに対し、第1感度の
画像の信号をディスプレイデバイスへ送るステップと、 −第1感度の画像上の他の基本ポイントに対し、第1感
度の画像内および第2感度の画像内の同じ基本ポイント
の輝度レベルに従って計算された画像信号をディスプレ
イデバイスに送るステップをも有する。
信号は、各基本ポイントに対し、 −第1感度の画像上の対応するポイントが、所定のスレ
ッショルド以下の輝度レベルを有する場合、第1感度の
画像上の対応するポイントの輝度レベルに等しい輝度レ
ベル、または −輝度レベルが所定のスレッショルドよりも高くなって
いる第1感度の画像上の基本ポイントに対し、第1感度
の画像と第2感度の画像上の対応するポイントの輝度レ
ベルの間に含まれるように計算された輝度レベルを有す
る。
所定のスレッショルドを越える輝度レベルを有する第1
感度の画像上の基本ポイントに対応する第2感度の画像
上の基本ポイントの輝度レベルに従って計算される。
ルの関数は、次のフォーム、
を有する第1感度の画像上の基本ポイントに対応する第
2感度の画像上の基本ポイントの輝度レベルであり、 −N3は、所定スレッショルドよりも高い輝度レベルを
有する第1感度の画像上の基本ポイントに対応する最終
画像上の基本ポイントの輝度レベルであり、 −S1は、第1感度の画像上のポイントに対する所定ス
レッショルド値であり、 −S2は、S1に等しい輝度レベルを有する第1感度の画
像上のポイントに対応する第2感度の画像上の基本ポイ
ントに輝度レベルであり、 −Kは、感光デバイスが区別できる異なる輝度レベルの
数である)である。
スへ送られる前記信号は、各基本ポイントに対し、 −第1感度の画像上の対応するポイントが、所定スレッ
ショルドよりも低い輝度レベルを有する場合に第1感度
の画像上の対応するポイントの輝度レベルに等しい輝度
レベル、または −輝度レベルが所定のスレッショルド以上である第1感
度の画像上の各基本ポイントに対する第1感度の画像上
と、第2感度の画像上の対応するポイントの輝度レベル
との重み付けされた和に等しい輝度レベルを有する。
ある第1感度の画像上の各基本ポイントに対し、ディス
プレイデバイスに送られる信号の輝度レベルは、第2感
度の画像の輝度レベルの約30%と、第1感度の画像の
輝度レベルの70%から成る。
信号は、各基本ポイントに対し、 −第1感度の画像の対応するポイントが、所定スレッシ
ョルド以下の輝度レベルを有する時に、第1感度の画像
の対応するポイントの輝度レベルに等しい輝度レベル、
または −第1感度の画像上の対応するポイントが、最大値に等
しい輝度レベルを有する時に、第1感度の画像の対応す
るポイントの輝度レベルに等しい輝度レベルを有する。
する基本ポイントの輝度レベルの間の線形方程式によっ
て、輝度レベルを計算する。
し、P1(i,j)は、第1感度の画像上の基本ポイントであ
り、P2(i,j)は、第2感度の画像上の基本ポイントであ
り、P3(i,j)は、ディスプレイスクリーンにディスプレ
イされる画像上の基本ポイントであり、N
(P1(i,j))は、基本ポイントP1(i,j)の輝度レベルであ
り、N(P2(i,j))は、基本ポイントP2(i,j)の輝度レベ
ルであり、N(P3(i,j))は、基本ポイントP3(i,j)の輝
度レベルであり、Nmaxは、第1感度の画像の最大輝度
レベルであり、Nsは、所定のスレッショルドの輝度レ
ベルである)である。
は、画像をディスプレイデバイスにディスプレイする、
周波数の整数倍の周波数で機能する。 −公称機能を有する感光デバイスにより、第1感度の画
像を発生し、変更された機能を有する感光デバイスによ
って第2感度の画像を発生させる。 −第2感度の画像は、アンダー露光である。 −前記アンダー露光は、感光デバイスの電子制御によ
り、または公称作動周期および変更された作動周期に同
期して、感光デバイスの前方に順次設けられた2つの同
じでない絞りを有するシャッターにより得られる。
る。 −第1感度の画像、および第2感度の画像を、異なる感
光デバイスによって得る。 −時間および空間の双方に関して一致できる基本ポイン
トを含む画像信号を、画像処理手段へ供給するように感
光デバイスを同期化する。 −前記異なる感光デバイスは、同じ技術のものであり、
一方のデバイスは、第1感度の画像を与える公称作動特
性を有し、他方のデバイスは、第2感度の画像を供給す
るよう、変更された作動特性を有する。 −アンダー露光画像を得るように、感光デバイスの電子
制御によって第2感度の画像を得る。 −前記異なる感光デバイスは、異なる技術のものであ
り、異なる感度の画像を供給する。
ていることが好ましい。 −第1感度の画像がブルーミング領域を有する時にし
か、前記画像信号処理ステップを実行しない。 −第1感度の画像にブルーミング領域がなく、ディスプ
レイデバイスへ送られる画像信号は、第1感度の画像の
信号である。 −観測すべきシーンの輝度を、検出器によって測定す
る。 −前記検出器は、輝度が所定の値に等しくなっている第
2感度の画像内の基本ポイントの数をカウントするカウ
ンターである。
施例を読めば、本発明の上記以外の目的、特徴および利
点が明らかとなると思う。
従来どおり、観察すべきシーンまたは対象から感光デバ
イスに実際の画像を形成する光学的システムを含む。か
かる感光デバイスは、公知のように、感光素子のマトリ
ックスから構成され、各感光素子は、この素子が受けた
光強度に比例した電気信号を発生する。各感光素子によ
って発生された電気信号は、信号処理デバイスにより、
ディスプレイデバイスへ送られ、観察者により、スクリ
ーン上にディスプレイされる。
が、これら感光素子により正しく再現できる値のレンジ
内にある時、この画像信号は直接使用できる。
が、所定の値に達するまで増加すると、感光素子は、そ
の飽和状態に対応する最大電気信号を発生する。光強度
が増加し続けた場合、「ブルーミング」として知られる
現象が観察される。
生し、この過剰な電荷は、感光デバイスを構成する感光
素子のマトリックス内の隣接する感光素子に干渉する。
その結果、ディスプレイデバイスは再現すべき画像上の
所定のポイント、およびこれらブルーミングポイントに
隣接するポイントに対して、最大値に達した成分を含む
信号を受ける。
た画像では、ブルーミングポイントを正しく囲み、更に
細部を認識できない広範な領域が存在するが、元のシー
ンでは、対応するポイントは、光学システムがこのポイ
ントの画像を形成している、感光素子に完全に受け入れ
できる光強度しか発生しない。換言すれば、見かけのサ
イズが、例えばN個のピクセルの表面を示す極めて明る
い対象が、ディスプレイデバイスによりM個のピクセル
(MはNよりも極めて大きい)の表面としてディスプレ
イされる。
ある。この図では、点線の下方の曲線は、理想的なセン
サが発生する理論的な信号を示し、鎖線で示された上方
の曲線は、CCDセンサが発生する実際の信号を示す。
この図から、理論的な信号が最大レベルに達する領域の
近くでは、実際の信号は最大レベルを示すので、利用で
きる情報を有するのに重要である領域をマスクしてしま
う。
するものである。本発明の第1実施例によれば、観察す
べきシーンの実際の画像が形成される感光デバイスは、
最終ディスプレイデバイス上に画像をディスプレイする
周波数の2倍の周波数で画像信号を供給するように制御
される。従って、ディスプレイされる各最終画像に対
し、2つの画像ソースを利用できる。例えばディスプレ
イデバイスにディスプレイされる画像が毎秒25個の画
像レートである場合、感光デバイスは、毎秒50個の画
像を検出するように制御される。
は、公称作動特性に従って供給された時に、感光デバイ
スによって発生される画像信号から発生される1つの画
像となるようになっている。従って、この最終画像は、
低光束を受ける感光デバイス内のポイントに対しては最
適である。
剰に大きい光束を受ける感光素子からの、および他方の
これら素子に隣接する感光素子からの、ブルーミング領
域も含むことがある。これら種々のポイントは、大きい
光束を放出するポイントのまわりで判読できないな最終
画像の領域を生じさせる。従って、この第1画像を「検
出可能な画像」または「光画像」と称することができ
る。鎖線で示す図1の上方の曲線は、この光画像のライ
ンを示している。
て供給された時に、感光デバイスによって発生される画
像信号から発生される画像となる。より正確には、この
第2画像は、第1画像でのブルーミングポイントを、そ
れらの近くのように明瞭に見ることができるように、ア
ンダー露光されている。他方、弱く照明された領域に含
まれるポイントは、認識がより困難である。従って、そ
の第2の画像を「低感度画像」または「暗い画像」と呼
ぶことができる。
スの電子制御、または感光デバイスの前方に、2つの同
じでない絞りが逐次設けられたシャッターによって行う
ことができる。図12において、点線で示す下方の曲線
は、明るい画像のポイントと同じポイントに対応するこ
の暗い画像のラインを示している。
特性から、ブルーミング領域を含まない最終画像が得ら
れる。より正確には、信号を処理する手段は、上記のよ
うに定義される明るい画像および暗い画像を示す信号
を、リアルタイムで分析する。より詳細には、これらの
処理手段は、画像の輝度レベルを決定する。
の輝度レベルに従い、ディスプレイデバイスにディスプ
レイされる最終画像上の対応する基本ポイントが有して
いなければならない輝度レベルを計算する。
い画像上の対応するポイントの輝度レベルN1の所定の
スレッショルド値S1、および暗い画像上の対応するポ
イントの輝度レベルN2の所定のスレッショルド値S
2を、例えばルックアップテーブルにより決定する。 −明るい画像上の基本ポイントの輝度レベルN1が、第
1の所定のスレッショルド値S1、例えば150(最大
レベルを255とした場合)である場合、最終画像上の
対応する基本ポイントの輝度レベルN3を、明瞭な画像
の対応する基本ポイントの輝度レベルとする。 −明るい画像上の基本ポイントの輝度レベルN1が、第
1の所定のスレッショルド値S1、例えば150である
場合、最終画像上の対応する基本ポイントの輝度レベル
N3を、暗い画像N2上の対応する基本ポイントの輝度レ
ベルに従って計算する。
図1に示される最終画像が得られる。例えば、第1の所
定のスレッショルド値S1より大きい輝度レベルN1を有
する明るい画像の任意の基本ポイントに対する暗い画像
の基本ポイントの輝度レベルN2の関数により、最終画
像の基本ポイントの輝度レベルN3を計算することがで
きる。
のとしないようにするために、輝度レベルが第1の所定
のスレッショルド値S1よりも大きい明るい画像内の基
本ポイントに対応する暗い画像内の基本ポイントの輝度
レベルの関数を、線形関数とすることが好ましい。感光
デバイスがK個の異なる輝度レベルを区別できる場合、
かかる関数を、例えば次のようなフォームにすることが
できる。
生じさせる。輝度レベルが、第1の所定のスレッショル
ド値S1に等しい明るい画像内のポイントに対し、暗い
画像内の対応するポイントは、所定の輝度レベルS2を
有する。
ド値S1よりも低い明るい画像内のポイントは、最終画
像内の対応するポイントを形成するように維持される。
ド値S1よりも高い明るい画像内のポイントは、例えば
上記関数に従って輝度が大きくされた暗い画像内の対応
するポイントに置換される。このポイントは、中間の曲
線上の図1内の領域S内に位置する。
例えば255に等しい場合、最終画像上の対応する基本
ポイントの輝度レベルを、暗い画像上の対応する基本ポ
イントの輝度レベルとする。 −明るい画像上の基本ポイントの輝度レベルが、所定の
スレッショルド値以下である場合、最終画像上の対応す
る基本ポイントの輝度レベルを、明るい画像上の対応す
る基本ポイントの輝度レベルとする。 −明るい画像上の基本ポイントの輝度レベルが、所定の
スレッショルド値より大きい場合、最終画像上の対応す
る基本ポイントの輝度レベルを、明るい画像および暗い
画像上の対応する基本ポイントの輝度レベルに従って計
算する。
ないように、明るい画像上、および暗い画像上の対応す
る基本ポイントの輝度レベルの関数を線形関数とする。
この関数は、例えば次のようなフォームとすることがで
きる。
し、P1(i,j)は、第1感度の画像上の基本ポイントであ
り、P2(i,j)は、第2感度の画像上の基本ポイントであ
り、P3(i,j)は、ディスプレイスクリーンにディスプレ
イされる画像上の基本ポイントであり、N
(P1(i,j))は、基本ポイントP1(i,j)の輝度レベルであ
り、N(P2(i,j))は、基本ポイントP2(i,j)の輝度レベ
ルであり、N(P3(i,j))は、基本ポイントP3(i,j)の輝
度レベルであり、Nmaxは、第1感度の画像の最大輝度
レベルであり、Nsは、所定のスレッショルドの輝度レ
ベルである)である。
れ、最終画像における基本ポイントの輝度レベルは、こ
の輝度レベルが所定のスレッショルド上よりも低い画像
の領域内の最良の感度を維持し、かつ輝度レベルが、こ
の所定のスレッショルドよりも大きいブルーミングソー
スよりも近い領域の視覚性を改善するように連続的に当
接される。
きるように、明るい画像の輝度レベルに対する所定のス
レッショルドを、例えば連続的に調節できるようにする
ことが好ましい。
は、各基本ポイントに対し、 −第1感度の画像上の対応するポイントが、所定スレッ
ショルドよりも低い輝度レベルを有する場合に第1感度
の画像上の対応するポイントの輝度レベルに等しい輝度
レベルまたは −輝度レベルが所定のスレッショルド以上である第1感
度の画像上の各基本ポイントに対する第1感度の画像上
と、第2感度の画像上の対応するポイントの輝度レベル
との重み付けされた和に等しい輝度レベルを、ディスプ
レイデバイスへ送ることから成る。
トの輝度は、暗い画像の輝度の30%、および明るい画
像の輝度の70%に近い良好な結果が得られたことが判
った。
光デバイスによって異なる感度を有する画像が得られ
る。例えば観測すべきシーンの実際の画像を2つの異な
る感光デバイス上、例えば画像形成光学システムの光軸
に対して、45度に傾斜した半透明プレート上に形成す
るようにできる。これら2つの感光デバイスは、画像信
号処理手段に時間と空間の双方で一致できる基本ポイン
トを備えた画像信号を供給するように同期していること
が好ましい。
のように使用できる信号を供給するように感度が異な
る。例えば第1変形例によれば、同じ技術の感光デバイ
ス、例えばCCDセンサを選択することがでる。この場
合、一方のデバイスは、第1実施例の場合のように明る
い画像を形成するような公称作動特性を有し、他方のデ
バイスは、第1実施例のように暗い画像を供給するよう
に変形された作動特性を有する。ここで、暗い画像は、
アンダー露光画像を得るように、感光デバイスを電子制
御することによって得ることもできる。
バイスを使用すること、例えば明るい画像を形成するた
めに公称作動特性を有するCCDセンサを使用し、暗い
画像を形成するためにCMOSセンサを使用することが
可能である。
ルーミング領域でない最終画像を形成するために、これ
ら2つの画像を処理する方法は、第1実施例で開示した
処理方法と同じであるので、詳細には繰り返さない。
がブルーミング領域を有している時に限り、画像信号の
処理を実行するようにすることもできる。この目的のた
めに、観察すべきシーンの全体の輝度を検出する検出器
を使用することができる。使用される部品数を増やさ
ず、かつデバイスを複雑にしないよう、かつ処理コスト
を増やさないようにするために、本発明は、この目的の
ために暗い画像の特性を活用している。
決定することから成る処理ステップを実行する時には、
実際には輝度が所定値(この所定値を有する基本ポイン
トを「白色」ポイントと称す)に等しくなっているこの
暗い画像上の基本ポイントの数をカウントするだけでよ
い。この暗い画像自身が、ブルーミング現象を受けない
ように確実にするために、これら白色ポイントによって
生じる電荷が隣接する基本ポイントに干渉しないよう、
この暗い画像を形成するセンサ、またはカメラの利得を
所定値に調節することができる。
たは少ない場合、すなわち、所定スレッショルドN1未
満である場合、同じシーンの明るい画像が、ブルーミン
グ現象を受けないことは確かである。これまで説明した
信号の処理を実行する必要はなく、明るい画像の信号を
処理することなく、最終画像のために明るい画像の信号
を使用するだけで充分である。
レッショルドN1よりも多い場合、同じ種類の明るい画
像にブルーミング現象が生じる可能性がある。この場
合、上記のような信号の処理を実行する必要がある。
ショルドN1に近くなる時のフリッカー現象を防止する
には、第1スレッショルドN1よりも低い第2スレッシ
ョルドN2をあらかじめ決定することにより、処理を開
始する上で、ヒステリシスを生じさせることができる。
レッショルドN1よりも多い場合、信号の処理を開始す
る。暗い画像内の白色ポイントの数が、第2スレッショ
ルドN2未満であれば、信号の処理を禁止する。値N1と
N2とを適当に選択することにより、完全に安定した最
終画像が確実に得られる。
レッショルドN2よりも少ない時は処理を実行せず、白
色ポイントの数が第1スレッショルドN1よりも多くな
った時に処理を実行し、これら2つのスレッショルドの
間では、ブログレッシブ処理を実行する方法を考えつく
こともできる。
レッショルドよりも低い領域が充分なコントラストを有
し、例えば周辺の輝度または他の基準に従って、前記所
定のスレッショルドを調節できるようになっており、暗
い領域に対応する信号と、最高輝度領域に対応する信号
との間のダイナミックレンジを有するシーンまたは対象
から、ブルーミング領域のない高感度の画像を形成する
ように、感光デバイスが発生する信号をリアルタイムで
処理する方法が実現された。かかる方法は、改造をしな
い感光デバイスによって実現できる。
集および再生装置のコストを実質的に高めることなく、
大ダイナミックレンジを有する画像ディスプレイの画質
を大幅に高めることができる。
施例だけに限定されるものでなく、当業者であれば、発
明の範囲内で多数の変形を行うことができる。例えば、
考慮したい輝度レベルの種々のレンジに従って、異なる
信号処理を実行するように、明るい画像内に任意の数の
所定のスレッショルドを設けることができる。また、必
要に応じて、最終結果を正確にすることができる。この
場合、異なる感度の画像を多くする必要がある。例え
ば、2つの所定のスレッショルドを固定した場合、単一
の最終画像を供給するために、感度の異なる3つの画像
を利用できるようにしなければならない。
テップにおける画像のラインの図を示す。
ベル S1−−−第1のスレッショルド値 S2−−−第2のスレッショルド値
Claims (22)
- 【請求項1】 最も暗い領域に対応する信号と、最大輝
度の領域に対応する信号との間のダイナミックレンジを
有する観察すべきシーンから、ブルーミング領域のない
画像を供給するよう、少なくとも1つの感光デバイスに
よって発生される画像を示す信号を、リアルタイムで処
理するための方法において、 −光学システムにより、単数または複数の感光デバイス
に、観察すべきシーンの実際の画像を形成するステップ
と、 −感光デバイスが、毎秒第1の所定の数の観察すべきシ
ーンの画像信号を発生するように、感光デバイスを制御
するステップと、 −感光デバイスによって発生された画像信号を収集する
ステップと、 −感光デバイスによって発生された画像信号を処理する
ステップと、 −前記処理された信号をビデオ信号に変換するステップ
と、 −前記ビデオ信号をディスプレイデバイスへ送るステッ
プと、 −毎秒第2の所定の数の、処理された画像信号に対応す
る画像をディスプレイデバイスにディスプレイするステ
ップとを有し、 −感光デバイスを制御する前記ステップが、少なくとも
異なる第1感度および第2感度を有し、前記第1感度の
ほうが第2感度よりも高くなっている、観察すべき同じ
シーンの画像信号を発生するステップを含み、 −感光デバイス自身によって発生された信号を処理する
前記ステップが、 −第1感度を有する画像上の各基本ポイントの輝度レベ
ル、および第2感度を有する画像上の各基本ポイントの
輝度レベルを決定するステップと、 −最終画像上の各基本ポイントに対し、第1感度および
第2感度の画像内の同じ基本ポイントの輝度レベルに従
って計算された画像信号を、ディスプレイデバイスに送
るステップとを有する、画像を示す信号をリアルタイム
で処理するための方法において、 −第1感度の画像の各基本ポイントの輝度レベルと、所
定スレッショルドとを比較するステップと、 −所定のスレッショルドよりも低い輝度レベルを有する
第1感度の画像上の各基本ポイントに対し、第1感度の
画像の信号をディスプレイデバイスへ送るステップと、 −第1感度の画像上の他の基本ポイントに対し、第1感
度の画像内および第2感度の画像内の同じ基本ポイント
の輝度レベルに従って計算された画像信号をディスプレ
イデバイスに送るステップをも有することを特徴とす
る、画像を示す信号をリアルタイムで処理するための方
法。 - 【請求項2】 ディスプレイデバイスへ送られる前記画
像信号が、各基本ポイントに対し、 −第1感度の画像上の対応するポイントが、所定のスレ
ッショルド以下の輝度レベルを有する場合、第1感度の
画像上の対応するポイントの輝度レベルに等しい輝度レ
ベル、または−輝度レベルが所定のスレッショルドより
も高くなっている第1感度の画像上の基本ポイントに対
し、第1感度の画像と第2感度の画像上の対応するポイ
ントの輝度レベルの間に含まれるように計算された輝度
レベルを有することを特徴とする、請求項1記載の方
法。 - 【請求項3】 最終画像上の各ポイントの輝度レベル
は、所定のスレッショルドを越える輝度レベルを有する
第1感度の画像上の基本ポイントに対応する第2感度の
画像上の基本ポイントの輝度レベルに従って計算される
ことを特徴とする、請求項2記載の方法。 - 【請求項4】 第2感度の画像の基本ポイントの輝度レ
ベルの関数は、次のフォーム、 【数1】 (ここで、 −N2は、所定のスレッショルドよりも高い輝度レベル
を有する第1感度の画像上の基本ポイントに対応する第
2感度の画像上の基本ポイントの輝度レベルであり、 −N3は、所定スレッショルドよりも高い輝度レベルを
有する第1感度の画像上の基本ポイントに対応する最終
画像上の基本ポイントの輝度レベルであり、 −S1は、第1感度の画像上のポイントに対する所定ス
レッショルド値であり、 −S2は、S1に等しい輝度レベルを有する第1感度の画
像上のポイントに対応する第2感度の画像上の基本ポイ
ントに輝度レベルであり、 −Kは、感光デバイスが区別できる異なる輝度レベルの
数である)であることを特徴とする、請求項3記載の方
法。 - 【請求項5】 ディスプレイデバイスへ送られる前記信
号が、各基本ポイントに対し、 −第1感度の画像上の対応するポイントが所定スレッシ
ョルドよりも低い輝度レベルを有する場合に、第1感度
の画像上の対応するポイントの輝度レベルに等しい輝度
レベル、または−輝度レベルが所定のスレッショルド以
上である第1感度の画像上の各基本ポイントに対する第
1感度の画像上と、第2感度の画像上の対応するポイン
トの輝度レベルとの重み付けされた和に等しい輝度レベ
ルを有することを特徴とする、請求項1記載の方法。 - 【請求項6】 輝度レベルが、所定のスレッショルド以
上である第1感度の画像上の各基本ポイントに対し、デ
ィスプレイデバイスに送られる信号の輝度レベルが、第
2感度の画像の輝度レベルの約30%と、第1感度の画
像の輝度レベルの70%から成ることを特徴とする、請
求項5記載の方法。 - 【請求項7】 ディスプレイデバイスへ送られる前記画
像信号が、各基本ポイントに対し、 −第1感度の画像の対応するポイントが所定スレッショ
ルド以下の輝度レベルを有する時に、第1感度の画像の
対応するポイントの輝度レベルに等しい輝度レベル、ま
たは −第1感度の画像上の対応するポイントが最大値に等し
い輝度レベルを有する時に、第1感度の画像の対応する
ポイントの輝度レベルに等しい輝度レベルを有すること
を特徴とする、請求項1記載の方法。 - 【請求項8】 第1感度の画像と、第2感度の画像上の
対応する基本ポイントの輝度レベルの間の線形方程式に
よって、輝度レベルを計算することを特徴とする、請求
項7記載の方法。 - 【請求項9】 前記線形方程式が、次のフォーム、 【数2】 (ここで、基本ポイントの座標iおよびjの各対に対
し、 P1(i,j)は、第1感度の画像上の基本ポイントであり、 P2(i,j)は、第2感度の画像上の基本ポイントであり、 P3(i,j)は、ディスプレイスクリーンにディスプレイさ
れる画像上の基本ポイントであり、 N(P1(i,j))は、基本ポイントP1(i,j)の輝度レベルで
あり、 N(P2(i,j))は、基本ポイントP2(i,j)の輝度レベルで
あり、 N(P3(i,j))は、基本ポイントP3(i,j)の輝度レベルで
あり、 Nmaxは、第1感度の画像の最大輝度レベルであり、 Nsは、所定のスレッショルドの輝度レベルである)で
あることを特徴とする、請求項8記載の方法。 - 【請求項10】感光デバイスが1つだけであり、この感
光デバイスが、画像をディスプレイデバイスにディスプ
レイする、周波数の整数倍の周波数で機能することを特
徴とする、請求項1〜9のいずれかに記載の方法。 - 【請求項11】 公称機能を有する感光デバイスによ
り、第1感度の画像を発生させ、変更された機能を有す
る感光デバイスによって、第2感度の画像を発生させる
ことを特徴とする、請求項10記載の方法。 - 【請求項12】 第2感度の画像が、アンダー露光であ
ることを特徴とする、請求項11記載の方法。 - 【請求項13】 前記アンダー露光が、感光デバイスの
電子制御により、または公称作動周期および変更された
作動周期に同期して、感光デバイスの前方に順次設けら
れた2つの同じでない絞りを有するシャッターにより得
られることを特徴とする、請求項12記載の方法。 - 【請求項14】 第1感度の画像、および第2感度の画
像を、異なる感光デバイスによって得ることを特徴とす
る、請求項1〜9のいずれかに記載の方法。 - 【請求項15】 時間および空間の双方に関して一致で
きる基本ポイントを含む画像信号を、画像処理手段へ供
給するように感光デバイスを同期化することを特徴とす
る、請求項14記載の方法。 - 【請求項16】 前記異なる感光デバイスが同じ技術の
ものであり、一方のデバイスが、第1感度の画像を与え
る公称作動特性を有し、他方のデバイスが、第2感度の
画像を供給するよう、変更された作動特性を有すること
を特徴とする、請求項15記載の方法。 - 【請求項17】 アンダー露光画像を得るように、感光
デバイスの電子制御によって第2感度の画像を得ること
を特徴とする、請求項16記載の方法。 - 【請求項18】 前記異なる感光デバイスが異なる技術
のものであり、異なる感度の画像を供給することを特徴
とする、請求項14記載の方法。 - 【請求項19】 第1感度の画像が、ブルーミング領域
を有する時にしか、前記画像信号処理ステップを実行し
ないことを特徴とする、請求項1〜18のいずれかに記
載の方法。 - 【請求項20】 第1感度の画像にブルーミング領域が
なく、ディスプレイデバイスへ送られる画像信号が、第
1感度の画像の信号であることを特徴とする、請求項1
9記載の方法。 - 【請求項21】 観測すべきシーンの輝度を、検出器に
よって測定することを特徴とする、請求項19記載の方
法。 - 【請求項22】 前記検出器が、輝度が所定の値に等し
くなっている第2感度の画像内の基本ポイントの数をカ
ウントするカウンターであることを特徴とする、請求項
21記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0204170 | 2002-03-29 | ||
| FR0204170A FR2838016B1 (fr) | 2002-03-29 | 2002-03-29 | Procede de traitement en temps reel d'un signal representatif d'une image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003309764A true JP2003309764A (ja) | 2003-10-31 |
Family
ID=27839419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003095146A Pending JP2003309764A (ja) | 2002-03-29 | 2003-03-31 | 画像を示す信号をリアルタイムで処理するための方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7440011B2 (ja) |
| EP (1) | EP1351498B1 (ja) |
| JP (1) | JP2003309764A (ja) |
| AT (1) | ATE463928T1 (ja) |
| DE (1) | DE60331986D1 (ja) |
| FR (1) | FR2838016B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8040400B2 (en) | 2006-08-08 | 2011-10-18 | Canon Kabushiki Kaisha | Signal processing device, image sensing system, and signal processing method |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7480421B2 (en) * | 2005-05-23 | 2009-01-20 | Canon Kabushiki Kaisha | Rendering of high dynamic range images |
| CN101674413B (zh) * | 2005-09-09 | 2011-12-21 | 佳能株式会社 | 摄像设备 |
| GB2435974A (en) * | 2006-03-07 | 2007-09-12 | I S G Thermal Systems Ltd | Imaging system including detectors using plural sensitivity levels |
| US7822328B2 (en) * | 2006-07-03 | 2010-10-26 | Samsung Electronics Co., Ltd. | Method for controlling digital photographing apparatus and digital photographing apparatus adopting the method |
| US8970707B2 (en) * | 2008-12-17 | 2015-03-03 | Sony Computer Entertainment Inc. | Compensating for blooming of a shape in an image |
| EP3195902B1 (en) * | 2010-02-24 | 2019-07-10 | Accuray, Inc. | Gantry image guided radiotherapy system |
| DE102010023166B4 (de) * | 2010-06-07 | 2016-01-21 | Dräger Safety AG & Co. KGaA | Wärmebildkamera |
| US9077910B2 (en) | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
| WO2013009697A1 (en) | 2011-07-08 | 2013-01-17 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
| CN102510450A (zh) * | 2011-10-17 | 2012-06-20 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
| TWI588774B (zh) * | 2016-07-26 | 2017-06-21 | Nat Chung Shan Inst Of Science And Tech | Programmable instant image preprocessing device and method |
| JP6439763B2 (ja) * | 2016-08-23 | 2018-12-19 | トヨタ自動車株式会社 | 画像処理装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2565753B1 (fr) | 1984-06-06 | 1987-01-16 | Thomson Csf | Procede de commande de la sensibilite d'un dispositif photosensible a transfert de charges, et dispositif pour la mise en oeuvre de ce procede |
| EP0387817A3 (en) * | 1989-03-16 | 1991-12-11 | Konica Corporation | Electronic still camera |
| JPH05506971A (ja) * | 1990-02-16 | 1993-10-07 | スキャネラ ソシエテ シビル | カメラのダイナミックレンジを増加するための装置 |
| FR2660822A1 (fr) * | 1990-04-05 | 1991-10-11 | Scanera Ste Civile Rech | Camera a double prise de vue realisant des images de haute dynamique. |
| US6204881B1 (en) * | 1993-10-10 | 2001-03-20 | Canon Kabushiki Kaisha | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
| EP0912047B1 (en) * | 1997-10-23 | 2004-04-07 | Olympus Optical Co., Ltd. | Imaging apparatus comprising means for expanding the dynamic range |
| US6906745B1 (en) * | 1998-04-23 | 2005-06-14 | Micron Technology, Inc. | Digital exposure circuit for an image sensor |
| US6075574A (en) * | 1998-05-22 | 2000-06-13 | Ati Technologies, Inc | Method and apparatus for controlling contrast of images |
| EP1057327B1 (en) * | 1998-12-22 | 2008-10-29 | Koninklijke Philips Electronics N.V. | Method of and device for forming an image of an object from a plurality of images |
| KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
| US7466358B1 (en) * | 1999-11-22 | 2008-12-16 | Panasonic Corporation | Solid-state imaging device for enlargement of dynamic range |
| JP4576658B2 (ja) * | 2000-02-29 | 2010-11-10 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
| US7298402B2 (en) * | 2000-10-26 | 2007-11-20 | Olympus Corporation | Image-pickup apparatus with expanded dynamic range capabilities |
| KR20040052491A (ko) * | 2001-03-16 | 2004-06-23 | 비젼 로보틱스 코포레이션 | 이미지 센서의 유효 다이내믹 레인지를 효과적으로증대하는 시스템 및 방법 |
-
2002
- 2002-03-29 FR FR0204170A patent/FR2838016B1/fr not_active Expired - Lifetime
-
2003
- 2003-03-18 EP EP03290682A patent/EP1351498B1/fr not_active Expired - Lifetime
- 2003-03-18 AT AT03290682T patent/ATE463928T1/de not_active IP Right Cessation
- 2003-03-18 DE DE60331986T patent/DE60331986D1/de not_active Expired - Lifetime
- 2003-03-26 US US10/397,734 patent/US7440011B2/en not_active Expired - Fee Related
- 2003-03-31 JP JP2003095146A patent/JP2003309764A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8040400B2 (en) | 2006-08-08 | 2011-10-18 | Canon Kabushiki Kaisha | Signal processing device, image sensing system, and signal processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1351498A2 (fr) | 2003-10-08 |
| FR2838016B1 (fr) | 2004-09-17 |
| EP1351498A3 (fr) | 2003-11-12 |
| FR2838016A1 (fr) | 2003-10-03 |
| US7440011B2 (en) | 2008-10-21 |
| US20030184827A1 (en) | 2003-10-02 |
| ATE463928T1 (de) | 2010-04-15 |
| EP1351498B1 (fr) | 2010-04-07 |
| DE60331986D1 (de) | 2010-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8724921B2 (en) | Method of capturing high dynamic range images with objects in the scene | |
| CN109862282B (zh) | 人物图像处理方法和装置 | |
| US8452169B2 (en) | Control of artificial lighting of a scene to reduce effects of motion in the scence on an image being acquired | |
| US8502913B2 (en) | Video processing apparatus and video processing method | |
| JP5897475B2 (ja) | 輝度及び動きからの捕捉条件の選択 | |
| US8830338B2 (en) | Imaging device | |
| US20070092244A1 (en) | Camera exposure optimization techniques that take camera and scene motion into account | |
| US9875423B2 (en) | Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic | |
| WO2018101092A1 (ja) | 撮像装置およびフリッカ判定方法 | |
| EP1704711A1 (en) | Method and apparatus for optimizing capture device settings through depth information | |
| JP5713885B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
| CN105453133A (zh) | 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 | |
| JP2009077057A (ja) | 撮像装置、撮像装置の制御方法 | |
| JP2003309764A (ja) | 画像を示す信号をリアルタイムで処理するための方法 | |
| JP2007135140A (ja) | 撮像装置 | |
| US20020012063A1 (en) | Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus | |
| US8488033B2 (en) | Photographing apparatus and photographing method | |
| US8928787B2 (en) | Photographing apparatus and photographing method | |
| JP2001008216A (ja) | 画像処理装置 | |
| JP2022171438A (ja) | 露光制御装置、撮像装置、制御方法及びプログラム | |
| KR101710627B1 (ko) | 촬상 장치 및 촬상 방법 | |
| JP2025058550A (ja) | 撮像装置 | |
| JP2018037741A (ja) | イメージセンサを有する撮像装置及びその制御プログラム | |
| JP2004005328A (ja) | 光学系の汚れ検知装置 | |
| JP2007116366A (ja) | 異物検出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081128 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090428 |