JP4200516B2 - 画像からフリッカを除去する方法 - Google Patents
画像からフリッカを除去する方法 Download PDFInfo
- Publication number
- JP4200516B2 JP4200516B2 JP2002212267A JP2002212267A JP4200516B2 JP 4200516 B2 JP4200516 B2 JP 4200516B2 JP 2002212267 A JP2002212267 A JP 2002212267A JP 2002212267 A JP2002212267 A JP 2002212267A JP 4200516 B2 JP4200516 B2 JP 4200516B2
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- image
- function
- image data
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、概ね画像処理分野に係り、より具体的には周期的に変動する光源によって生ずる偽画像を画像から除去する方法及び装置に関する。
【０００２】
【従来の技術】
ＣＭＯＳ（相補型金属酸化膜半導体）のアクティブ画素方式画像センサでは、露光制御に一般に回転シャッタが用いられる。回転シャッタは、画像センサ列のセンサ各行を順次リセットし、後刻各行の値を順次読み出すことで稼働する。露光期間はリセットと読出しの時間間隔に等しく、フレーム周期は配列内の各行の値を読み出すのに必要な時間となる。
【０００３】
図１は、本発明を明瞭に理解して貰えるよう、回転シャッタの動作について概略図示した線図である。１００行（図１には説明の便宜上９行だけを図示）を有する画像データアレイについて検討する。単一行の読み出しに必要な時間、すなわち行期間をＴとし、図１の矢印１０で示す露光期間をｎ×Ｔに設定したとする。行１の露光は時間ｔ＝０にて始まり、その行は時間ｔ＝ｎ×Ｔで読み出される。行２の露光は時間ｔ＝Ｔで開始され、行２は時間ｔ＝（ｎ＋１）×Ｔにて読み出される。配列の行１００は時間ｔ＝９９×Ｔで露光を開始し、その行は時間ｔ＝（ｎ＋９９）×Ｔにて読み出される。
【０００４】
回転シャッタの一つの特性は、図１に示す如く、各行ごとの露光が異なる時間期間に亙って起こることである。従って、シーンの照明が時間とともに変動する場合、撮像された画像の輝度は行ごとに変動する。シーンの照度レベルにおける変動期間が回転シャッタの集積期間より長くてフレーム周期よりも短い場合、上記変動は画像内に水平帯の形で偽画像(image artifacts)が現われる結果を招く。画像内の帯の数は、フレーム周期で割ったフリッカ周期に等しい。
【０００５】
光源の照度レベルにおけるこれらの時間に対する変動は、「フリッカ」として知られており、画像の水平帯は偽画像或いは「フリッカパターン」と呼ばれる。例えば、蛍光灯は非常に強いフリッカを有する。ランプの蛍光体は、電力線周波数の各ピークで励起され、ピーク間で減衰する。生成される光パルスは、交流電力線の２倍のフリッカ周波数を有する。白熱バルブはフリッカを示さないが、それはフィラメントの熱量が十分に大きく、フィラメントが交流ピーク間でかなり冷めるのを防止するからである。
【０００６】
ＣＭＯＳ画像センサの出力へのフリッカの影響は、図２の概略画像１４に例示してあり、同図では周期的な水平バー１６が非常に明白であり、画像の全般的な品質を相当に損なうものである。
【０００７】
図２に示したような画像内の水平バーの数は、フリッカ周期に対するフレーム周期の比に等しい。水平バーの振幅は、特定光源の特性とＣＭＯＳ画像センサの回転シャッタの集積期間に依存する。
【０００８】
幾つかの方法が、フレームごとのフリッカを除去するのに考案されてきた。例えば、米国特許第５，７９３，８８６号には異なる画像フレームのヒストグラムを比較し、これにより時間の関数としての平均照度の変動を取り除くようにした方法が開示されている。しかしながら、ここに記述された方法は、単一の画像フレームしか利用できず、しかもフリッカが生成画像内の一連の水平帯として明示される状況には適用し得ないのである。
【０００９】
フレームごとのフリッカを取り除く他の公知の方法は、光源の輝度をフレーム露光期間中に監視するものである。例えば、米国特許第６，２０８，４３３号に記載された方法では、光源の変動監視用に別個のセンサが用いられ、このセンサの出力が画像補正に用いられる。米国特許第５，９６０，１５３号では、撮像と光源変動の計測の両方にリニア画像センサが用いられる。光源変動を露光時間制御に用い、これにより最終画像にフリッカが現われないようにしてある。
【００１０】
さらに別の公知の方法では、露光期間をフリッカ周期の整数倍に制限することでフリッカを防止している。この種の状況下では、各行は光源変動の全周期の整数倍で光を集積する。その結果、集積された光レベルは各行ごとに同一となり、画像に帯が現われることはなくなる。本方法の欠点は、露光期間をフリッカ期間よりも短くできないことにある。光源が非常に明るく、露光期間が低減できない場合、生成画像は露出過多となる。この種の問題は、明るい蛍光源でシーンを照らすか、カメラを直接蛍光源へ向けたときに生ずることがある。
【００１１】
【発明が解決しようとする課題】
一般に、画像からフレームごとのフリッカを除去する公知の方法は、処理用に幾つかの連続画像フレームを必要としたり、フリッカを独立に監視する必要があったり、追加の入力を必要としたりする。従って、フリッカ除去用の公知の方法は完全に満足は出来ないのである。必要なものは、単一画像上に作用する周期的に変動する光源により生成されたフリッカを除去し、フリッカ周期とフレーム周期の値を除きどんな追加の入力も必要とせず、フリッカを独立して監視する必要のない方法と装置である。同じく必要とされるのは、非常に明るい蛍光照明下でも非常に低いフリッカをもって画像を撮像することに活用できる方法と装置である。
【００１２】
【課題を解決するための手段】
本発明は、蛍光源のような周期的に変動する光源により生成される画像から偽画像を除去する方法と装置を提供するものである。本発明による方法は、画像データにより表される画像から偽画像を除去するものである。本方法では、フリッカ関数を割り出し、このフリッカ関数を用いて画像データを処理して偽画像を除去する。
【００１３】
本発明にあっては、撮像シーンを照明する光源の光照射をモデル化したフリッカ関数を用いて画像を処理することにより画像から偽画像を除去或いは大幅に低減できることが判った。本発明は、回転シャッタを用いてＣＭＯＳ画像センサから収集した画像データにより表される画像から偽画像を除去するのに特に適したものである。
【００１４】
本発明の一実施形態によれば、画像を表わす画像データは、複数行の画像データからなる画像データアレイからなり、画像データの処理ステップは、行単位ベースで画像データをフリッカ関数により除算することからなる。
【００１５】
画像データのフリッカ関数の割り出しは、前以て用意したフリッカモデルに関連するパラメータ値の割り出しを含む。特に、フリッカ関数を割り出すため光源のフリッカ周波数やフリッカ振幅やフリッカ位相が割り出される。本発明の一実施形態では、フリッカ周波数とフリッカ振幅とフリッカ位相は、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線繰り返し周波数との積からフリッカ周波数を割り出し、補正列ベクトル内のフリッカエネルギを最小化してフリッカの振幅及び位相を割り出すことで割り出される。
【００１６】
より詳しくは、本発明のさらなる実施形態によれば、フリッカの振幅及び位相の初期推定を行ない、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相から計算したフリッカ関数により生成列ベクトルを除算して補正列ベクトルを計算し、補正列ベクトル内のフリッカエネルギを算出することにより、フリッカの振幅及び位相を割り出す。そこで、フリッカエネルギがさらに低減可能であるかどうか判断する。判断が否定された場合は、推定されたフリッカの振幅及び位相をフリッカ関数の割り出しに用いる。判断が肯定された場合は、フリッカの振幅及び位相の推定は改められ、さらなる補正列ベクトルが計算され、さらに補正された列ベクトルを用いてフリッカエネルギを計算する。この手順は、フリッカエネルギがこれ以上低減できなくなるまで繰り返される。
【００１７】
一旦フリッカエネルギが最小化されると、割り出されたフリッカ関数でもって画像データを除算することでフリッカが画像データから取り除かれる。
【００１８】
本発明方法は、蛍光源のような任意の周期的に変動する光源にもよってもたらされるフリッカを除去することに効果があるという長所がある。本発明方法には任意の露光期間を用いることができ、その結果、本方法は明るい蛍光源の下でさえフリッカを大幅に低減した画像の撮像に用いることができる。本発明は、単一画像上に作用する偽画像を画像から除去し、フリッカとフレーム周期の値以外のどんな追加の入力も必要とせず、フリッカを独立して監視する必要のない方法と装置を提供するものである。さらに、本発明は上記したそれらに加え或いはそれらに代わる他の特徴ならびに効果を備えた実施形態をもたらす。これらの特徴と効果の多くは、本発明の例示実施形態の下記の図面と詳細な説明とを併せ、以下に明らかとなろう。
【００１９】
【発明の実施の形態】
回転シャッタモードで動作するＣＭＯＳ画像センサでは、画像データアレイの露光期間は、図１に示したアレイ内で行ごとに変動する（ただし、特定の行では全ての画素は同一期間に亙って露光する）。撮像シーンを照らす光源の強度が時間とともに変動する場合は、画像データ内で行ごとに強度変動が生ずることがある。行期間が固定され、光源強度が時間とともに周期的に変動する場合は、強度変動は画像データから生成される画像内の周期的な水平バーの形をした偽画像として現われる。
【００２０】
集積期間がフリッカ周期の整数倍に等しい場合は、水平バーの振幅は零となろう。しかしながら、バー振幅を前以て割り出すことは一般に不可能であり、それは光源の特性が既知でないからである。加えて、画像についての水平バーパターンの垂直方向の並び方は露光期間当初の光フリッカの位相に依存する。しかしながら、振幅と同様、位相もまた前以て割り出すことはできない。
【００２１】
蛍光の点滅は、光の電源交播によって生じる。蛍光管は、水銀蒸気原子雲に電子を放射するフィラメントを含む。蒸気原子は励起され、紫外（ＵＶ）光を発する。紫外光が蛍光管の管球容器を叩くと、紫外光が管内面の蛍光体を励起する。そこで蛍光体が蛍光し、白色光を発する。
【００２２】
電子の放出は、電源の駆動電圧のピークで最大化される。１周期ごとに２つのピークが存在するため、フリッカ周波数は駆動電圧周波数の２倍となる。従って、６０Ｈｚ電気系により給電される蛍光管は１２０Ｈｚで点滅する。
【００２３】
関数（１＋αｓｉｎ２（ωｔ＋Φ））は、蛍光管の照射をモデル化するのに用いることができる。同式中、αはフリッカ振幅であり、ωはフリッカ周波数であり、Φはフリッカ位相である。このフリッカ関数はまた、画像アレイの行の行番号をもって次式の如く表わすことができる。
【００２４】
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ） （１）
【００２５】
同式中、Ｔｆはフレーム周期であり、Ｎはフレームごとのライン数である。蛍光管の実際の発光は、図３の曲線２０に示すもっと複雑な時間変動を有する。同図は、ｘ軸が時間サンプルを表わし、ｙ軸が照度を表わすグラフである。蛍光管内の蛍光体とフィラメントの特性が原因で、この関数はゆっくりと減衰する。従って、所望とあらば、上記の式（１）により与えられるもっと複雑なフリッカ関数を生成し、曲線にもっと適合させることもできる。
【００２６】
本発明の一実施形態によれば、行単位ベースのフリッカ関数でもって画像を表わす画像データを除算することにより画像から偽画像が取り除かれる。画像が二次元データアレイＩ［ｉ，ｊ］により表される場合、偽画像を除去する処理は下記の如く表わされる。
【００２７】
Ｉ’［ｉ，ｊ］＝Ｉ［ｉ，ｊ］／ｆ（ｊ） （２）
【００２８】
本発明の一実施形態によれば、フリッカ関数は照明光源のフリッカ周波数とフリッカ振幅とフリッカ位相を算出することにより割り出される。フリッカ周波数とフリッカ振幅とフリッカ位相は、本発明の一実施形態によれば、デジタル画像の各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線繰り返し周波数との積からフリッカ周波数を算出し、補正列ベクトル内のフリッカエネルギを最小化してフリッカの振幅及び位相を割り出すことで算出される。
【００２９】
より詳しくは、列ベクトルを作成するため、画像データアレイの全ての列は併せ加算されて列平均を生成する。この処理が、二次元画像データアレイを一次元ベクトルに折りたたむ。この処理は、下式により表わされる。
【００３０】
【数１】
（３）
【００３１】
この式において、Ｍは画像データの列数である。
【００３２】
フリッカの振幅及び位相を算出するため、補正列ベクトル内のフリッカエネルギを最小化するよう、初回の推定が先ずフリッカの振幅及び位相についてなされる。次に、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相から算出されたフリッカ関数により生成列ベクトルを除算することで、補正列ベクトルが計算される。そこで補正列ベクトル内でフリッカエネルギが計算され、フリッカエネルギがそれ以上低減できるかどうかの判断がなされる。この判断が否定された場合は、推定されたフリッカの振幅及び位相がフリッカ関数の割り出しに用いられる。判断が肯定された場合は、フリッカの振幅及び位相の改善推定がなされ、フリッカエネルギがそれ以上低減できなくなるまで、この手順が繰り返される。
【００３３】
補正列ベクトルのフリッカエネルギは、Ｃ［ｊ］／ｆ（ｊ）の正弦値及び余弦値を計算することにより算出される。エネルギは、画像データの平均値により正規化した２つの項の二乗の平方根である。
【００３４】
【数２】
【００３５】
式（４），（５）中、Ａ（ｊ）は、画像フレーム端での不連続部分がエネルギ値に寄与するのを防止するのに用いるアポディゼーション関数である。この種の関数例には、ハニング関数やハミング関数が含まれる。
【００３６】
フリッカエネルギは、下記で表わされる。
【００３７】
Ｅｆ＝√（ＸＳ＋ＸＣ）／＜Ｃ＞ （６）
【００３８】
式（６）では、平均画像データは列平均から割り出してある。
【００３９】
振幅と位相の関数としてのフリッカエネルギの変動により規定される面が図４にプロットしてあり、図ではｘ軸が振幅を表わしｙ軸が位相を表わす。図４に示したように、この関数は良好に規定されたユニークな最小値を備えた滑らかなものである。
【００４０】
一旦フリッカエネルギが最小化されると、フリッカ周波数の計算値と最小化から得られたフリッカの位相及び振幅の計算値を用いて割り出したフリッカ関数により画像データを除算することで、全画像から偽画像を取り除くことができる。
【００４１】
図５，６は、本発明の一実施形態になる方法の効果を示す画像である。図５の画像は、ＣＭＯＳ画像センサすなわち原画像の単色平面からの生データで構成してある。図６の画像は、本発明の一実施形態になるフリッカ補正、すなわちフリッカ補正画像を適用した結果である。図５，６から明らかなように、図５の画像に存在する水平線が図６の画像からは除去されている。
【００４２】
図７は、本発明の一実施形態によるシーンの画像から偽画像を取り除く方法を大略例示するフローチャートである。図７に示すように、本方法はステップ３０でのシーンを照らす光源の発光をモデル化するフリッカ関数の割り出しを含むものであり、その後にステップ４０でのフリッカ関数を用いてシーンの画像を表わす画像データの処理を含む。
【００４３】
図８Ａは、本発明の別の実施形態により図７のフリッカ関数を割り出すステップをより詳細に例示するフローチャートである。特に、前述した如く、撮像対象シーンを照明する光源のフリッカ関数を割り出すため、光源のフリッカ周波数とフリッカ振幅とフリッカ位相が割り出される。これは、ステップ５０に示したように先ず画像アレイの各行沿いに画像アレイの画素を寄せ集めて列ベクトルを生成することにより、図８Ａに開示した如く達成される。フリッカ周波数は、ステップ６０に示したように、フレーム周期と画像フレームごとの交流線繰り返し周波数との積から割り出される。フリッカ位相とフリッカ振幅は、ステップ７０で示すように補正列ベクトルのフリッカエネルギを最小化することにより割り出される。
【００４４】
図８Ａに示されるフリッカ位相とフリッカ振幅を割り出すステップを、図８Ｂでさらに詳細に説明する。具体的には、フリッカの振幅及び位相の初期推定はステップ７２に示した如くなされる。それ故に、補正列ベクトルは図８Ａのステップ５０で生成された列ベクトルをステップ７４の推定フリッカ関数で除算することで計算される。この推定フリッカ関数は、図８Ａのステップ６０で割り出したフリッカ周波数と図８Ｂのステップ７２で推定したフリッカ振幅とフリッカ位相を用いて計算される。補正列ベクトルのフリッカエネルギは次にステップ７６において計算され、ステップ７８においてフリッカエネルギがさらに低減できるかどうかの判断がなされる。この判断が否定された場合は、ステップ７２においてなされたフリッカ振幅とフリッカ位相の初期推定を用いてフリッカ関数が割り出される。判断が肯定された場合は、ステップ８０においてフリッカ振幅とフリッカ位相の改善推定がなされ、ステップ７４においてさらなる補正列ベクトルが計算され、ステップ７６において新たなフリッカエネルギが計算される。この手順は、フリッカエネルギがこれ以上低減できなくなるまで、すなわちステップ７８における判断がなされなくなるまで繰り返される。
【００４５】
図９は、本発明の一実施形態によりシーンの画像から偽画像を取り除く装置を図示するものである。この装置は、参照符合１００により概ね指し示したディジタルカメラなどの撮像装置を備える。撮像装置は、シーンから受光し、ＣＭＯＳ画像センサなどの画像検出ユニット１０４に光を合焦する図９のレンズにより表わされる光学システム１０２を含む。画像検出ユニットは、その上の光パターンを画像検出ユニット内に含まれるＡＤ変換器によりディジタル化される電圧サンプルアレイへ変換する。
【００４６】
フリッカ関数割り出し器１０６は、前述したように、光源のフリッカ周波数とフリッカ振幅とフリッカ位相を割り出すことでディジタル画像データから光源のフリッカ関数を割り出し、画像データプロセッサ１０８はフリッカ関数を用いて画像データを処理し、シーンの生成画像から偽画像を取り除く。
【００４７】
ここに説明した内容は本発明の例示実施形態を構成するものであるが、本発明はその範囲を逸脱することなく様々に変形可能であることは認識されたい。従って、本発明が特許請求の範囲により必要とされる範囲内にだけ限定さるべきことは理解されたい。
【００４８】
本発明の態様を以下に例示する。
【００４９】
１．画像データにより表わされる、光源により照らされたシーンの画像から偽画像を除去する方法であって、フリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記画像データを処理し、前記画像から偽画像を除去するステップを含む方法。
【００５０】
２．上記１記載の方法であって、前記画像データは複数行の画像データからなる画像データアレイからなり、前記処理ステップが行単位ベースで前記画像データを前記フリッカ関数により除算するステップを含む方法。
【００５１】
３．上記２記載の方法であって、前記フリッカ関数は、前記光源のフリッカ周波数とフリッカ振幅とフリッカ位相の関数である方法。
【００５２】
４．上記３記載の方法であって、前記フリッカ関数の割り出しステップが、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すことを含む方法。
【００５３】
５．上記４記載の方法であって、前記フリッカ関数の割り出しステップはさらに、前記画像データアレイの各行沿いに前記画像データアレイの画素を寄せ集めて列ベクトルを生成するステップを含み、さらに前記補正列ベクトルのフリッカエネルギを最小化することで前記フリッカ位相と前記フリッカ振幅を割り出すステップを含む方法。
【００５４】
６．上記５記載の方法であって、補正列ベクトルのフリッカエネルギの前記最小化ステップが、フリッカの振幅及び位相の推定ステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相とを用いて計算したフリッカ関数により生成列ベクトルを除算することで補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを計算するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００５５】
７．前記光源は、周期的に変動する光源からなる上記２記載の方法。
【００５６】
８．前記周期的に変動する光源は、蛍光源からなる上記７記載の方法。
【００５７】
９．前記画像データアレイの行の行番号で表わされる前記フリッカ関数が、
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ）
であり、αがフリッカ振幅、ωがフリッカ周波数、Φがフリッカ位相、Ｔｆがフレーム周期、Ｎが画像フレームごとの行数を表わす上記８記載の方法。
【００５８】
１０．前記画像データは回転シャッタを用いてＣＭＯＳ画像センサから収集され、露光制御をもたらす上記１記載の方法。
【００５９】
１１．複数行の画像データからなる画像データアレイにより表わされる、周期的に変動する光源により照明されたシーンの画像から偽画像を除去する方法であって、周期的に変動する光源の光照射をモデル化したフリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記画像データを処理し、前記画像から偽画像を除去するステップを含む方法。
【００６０】
１２．上記１１記載の方法であって、前記フリッカ関数は、周期的に変動する光源のフリッカ振幅とフリッカ周波数とフリッカ位相の関数である方法。
【００６１】
１３．上記１２記載の方法であって、フリッカ関数を割り出す前記ステップが、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すステップと、補正列ベクトルのフリッカエネルギを最小化することによりフリッカの振幅及び位相を割り出すステップとを含む方法。
【００６２】
１４．上記１３記載の方法であって、補正列ベクトルのフリッカエネルギを最小化する前記ステップが、フリッカの振幅及び位相の推定ステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相とを用いて計算したフリッカ関数により生成列ベクトルを除算することで補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを計算するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００６３】
１５．上記１１記載の方法であって、前記周期的に変動する光源は蛍光源からなり、前記画像データアレイの行の行番号で表わされる前記フリッカ関数が、
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ）
であり、αがフリッカ振幅、ωがフリッカ周波数、Φがフリッカ位相、Ｔｆがフレーム周期、Ｎが画像フレームごとの行数を表わす方法。
【００６４】
１６．上記１１記載の方法であって、前記画像データは回転シャッタを用いてＣＭＯＳ画像センサから収集され、画像制御をもたらす方法。
【００６５】
１７．光源によって照らされたシーンの画像から偽画像を除去する装置であって、前記シーンを表わす画像データを供給するユニットと、フリッカ関数を割り出すフリッカ関数割り出し器と、前記フリッカ関数を用いて前記画像データを処理し、前記画像から前記偽画像を除去する画像データプロセッサを備える装置。
【００６６】
１８．上記１７記載の装置であって、前記画像データが複数行の画像データからなる画像データアレイを含み、前記画像データプロセッサが行単位ベースで前記画像データを前記フリッカ関数により除算することで前記画像データを処理する装置。
【００６７】
１９．上記１８記載の装置であって、前記フリッカ関数は、前記光源のフリッカ周波数とフリッカ振幅とフリッカ位相の関数であり、前記フリッカ関数割り出し器が前記フリッカ周波数と前記フリッカ振幅と前記フリッカ位相を割り出す手段を含む装置。
【００６８】
２０． 前記光源は、蛍光源からなる上記１７記載の装置。
【００６９】
２１．ディジタル撮像方法であって、ディジタル画像を分析してフリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記ディジタル画像を処理し、該ディジタル画像から偽画像を低減するステップとを含み、前記割り出しステップが前以て定めたフリッカモデルに関連するパラメータ値の割り出しを含む方法。
【００７０】
２２．前記処理ステップが、前記ディジタル画像を前記フリッカ関数により除算するステップを含む上記２１記載のディジタル撮像方法。
【００７１】
２３．前記割り出しステップが、フリッカ周波数とフリッカ振幅とフリッカ位相の算出を含む上記２１記載のディジタル撮像方法。
【００７２】
２４．上記２３記載のディジタル撮像方法であって、フリッカ周波数とフリッカ振幅とフリッカ位相の前記割り出しステップが、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すステップと、補正列ベクトルのフリッカエネルギを最小化することによりフリッカの振幅及び位相を割り出すステップとを含む方法。
【００７３】
２５．上記２４記載のディジタル撮像方法であって、前記補正列ベクトルのフリッカエネルギを最小化するステップが、フリッカの振幅及び位相を推定するステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相を用いて計算したフリッカ関数により生成列ベクトルを除算することにより補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを算出するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００７４】
２６．ディジタル画像処理システムであって、ディジタル画像のフリッカ関数を割り出す手段と、前記フリッカ関数を用いて前記ディジタル画像内の偽画像を低減する該ディジタル画像の処理手段とを備えるシステム。
【図面の簡単な説明】
【図１】本発明の明瞭な理解を助ける回転シャッタの動作を概略説明する図である。
【図２】回転シャッタを用いてＣＭＯＳ画像センサの出力上のフリッカの影響を例示する概略画像である。
【図３】蛍光管の発光特性を例示するグラフである。
【図４】本発明の一実施形態になるフリッカ補正を例示するグラフである。
【図５】本発明の一実施形態の方法と装置の効果を表わす図であり、回転シャッタを用いたＣＭＯＳ画像センサの単色平面からの生データの画像である。
【図６】本発明の一実施形態の方法と装置の効果を表わす図であり、本発明の一実施形態によりフリッカ補正を適用した結果得られる画像である。
【図７】本発明の一実施形態による偽画像を画像から除去する方法のステップを示すフローチャートである。
【図８Ａ】本発明の他の実施形態による図７のフリッカ関数の割り出しステップを詳細に示すフローチャートである。
【図８Ｂ】本発明の他の実施形態による図８Ａのフリッカの位相及び振幅の割り出しステップを詳細に示すフローチャートである。
【図９】本発明の他の実施形態による偽画像を画像から除去する装置を概略示す図である。
【符号の説明】
１０ 露光期間
１４ 概略画像
１６ 水平バー
１００ 撮像装置
１０２ 光学システム
１０４ 画像検出ユニット
１０６ フリッカ関数割り出し器
１０８ 画像データプロセッサ
【発明の属する技術分野】
本発明は、概ね画像処理分野に係り、より具体的には周期的に変動する光源によって生ずる偽画像を画像から除去する方法及び装置に関する。
【０００２】
【従来の技術】
ＣＭＯＳ（相補型金属酸化膜半導体）のアクティブ画素方式画像センサでは、露光制御に一般に回転シャッタが用いられる。回転シャッタは、画像センサ列のセンサ各行を順次リセットし、後刻各行の値を順次読み出すことで稼働する。露光期間はリセットと読出しの時間間隔に等しく、フレーム周期は配列内の各行の値を読み出すのに必要な時間となる。
【０００３】
図１は、本発明を明瞭に理解して貰えるよう、回転シャッタの動作について概略図示した線図である。１００行（図１には説明の便宜上９行だけを図示）を有する画像データアレイについて検討する。単一行の読み出しに必要な時間、すなわち行期間をＴとし、図１の矢印１０で示す露光期間をｎ×Ｔに設定したとする。行１の露光は時間ｔ＝０にて始まり、その行は時間ｔ＝ｎ×Ｔで読み出される。行２の露光は時間ｔ＝Ｔで開始され、行２は時間ｔ＝（ｎ＋１）×Ｔにて読み出される。配列の行１００は時間ｔ＝９９×Ｔで露光を開始し、その行は時間ｔ＝（ｎ＋９９）×Ｔにて読み出される。
【０００４】
回転シャッタの一つの特性は、図１に示す如く、各行ごとの露光が異なる時間期間に亙って起こることである。従って、シーンの照明が時間とともに変動する場合、撮像された画像の輝度は行ごとに変動する。シーンの照度レベルにおける変動期間が回転シャッタの集積期間より長くてフレーム周期よりも短い場合、上記変動は画像内に水平帯の形で偽画像(image artifacts)が現われる結果を招く。画像内の帯の数は、フレーム周期で割ったフリッカ周期に等しい。
【０００５】
光源の照度レベルにおけるこれらの時間に対する変動は、「フリッカ」として知られており、画像の水平帯は偽画像或いは「フリッカパターン」と呼ばれる。例えば、蛍光灯は非常に強いフリッカを有する。ランプの蛍光体は、電力線周波数の各ピークで励起され、ピーク間で減衰する。生成される光パルスは、交流電力線の２倍のフリッカ周波数を有する。白熱バルブはフリッカを示さないが、それはフィラメントの熱量が十分に大きく、フィラメントが交流ピーク間でかなり冷めるのを防止するからである。
【０００６】
ＣＭＯＳ画像センサの出力へのフリッカの影響は、図２の概略画像１４に例示してあり、同図では周期的な水平バー１６が非常に明白であり、画像の全般的な品質を相当に損なうものである。
【０００７】
図２に示したような画像内の水平バーの数は、フリッカ周期に対するフレーム周期の比に等しい。水平バーの振幅は、特定光源の特性とＣＭＯＳ画像センサの回転シャッタの集積期間に依存する。
【０００８】
幾つかの方法が、フレームごとのフリッカを除去するのに考案されてきた。例えば、米国特許第５，７９３，８８６号には異なる画像フレームのヒストグラムを比較し、これにより時間の関数としての平均照度の変動を取り除くようにした方法が開示されている。しかしながら、ここに記述された方法は、単一の画像フレームしか利用できず、しかもフリッカが生成画像内の一連の水平帯として明示される状況には適用し得ないのである。
【０００９】
フレームごとのフリッカを取り除く他の公知の方法は、光源の輝度をフレーム露光期間中に監視するものである。例えば、米国特許第６，２０８，４３３号に記載された方法では、光源の変動監視用に別個のセンサが用いられ、このセンサの出力が画像補正に用いられる。米国特許第５，９６０，１５３号では、撮像と光源変動の計測の両方にリニア画像センサが用いられる。光源変動を露光時間制御に用い、これにより最終画像にフリッカが現われないようにしてある。
【００１０】
さらに別の公知の方法では、露光期間をフリッカ周期の整数倍に制限することでフリッカを防止している。この種の状況下では、各行は光源変動の全周期の整数倍で光を集積する。その結果、集積された光レベルは各行ごとに同一となり、画像に帯が現われることはなくなる。本方法の欠点は、露光期間をフリッカ期間よりも短くできないことにある。光源が非常に明るく、露光期間が低減できない場合、生成画像は露出過多となる。この種の問題は、明るい蛍光源でシーンを照らすか、カメラを直接蛍光源へ向けたときに生ずることがある。
【００１１】
【発明が解決しようとする課題】
一般に、画像からフレームごとのフリッカを除去する公知の方法は、処理用に幾つかの連続画像フレームを必要としたり、フリッカを独立に監視する必要があったり、追加の入力を必要としたりする。従って、フリッカ除去用の公知の方法は完全に満足は出来ないのである。必要なものは、単一画像上に作用する周期的に変動する光源により生成されたフリッカを除去し、フリッカ周期とフレーム周期の値を除きどんな追加の入力も必要とせず、フリッカを独立して監視する必要のない方法と装置である。同じく必要とされるのは、非常に明るい蛍光照明下でも非常に低いフリッカをもって画像を撮像することに活用できる方法と装置である。
【００１２】
【課題を解決するための手段】
本発明は、蛍光源のような周期的に変動する光源により生成される画像から偽画像を除去する方法と装置を提供するものである。本発明による方法は、画像データにより表される画像から偽画像を除去するものである。本方法では、フリッカ関数を割り出し、このフリッカ関数を用いて画像データを処理して偽画像を除去する。
【００１３】
本発明にあっては、撮像シーンを照明する光源の光照射をモデル化したフリッカ関数を用いて画像を処理することにより画像から偽画像を除去或いは大幅に低減できることが判った。本発明は、回転シャッタを用いてＣＭＯＳ画像センサから収集した画像データにより表される画像から偽画像を除去するのに特に適したものである。
【００１４】
本発明の一実施形態によれば、画像を表わす画像データは、複数行の画像データからなる画像データアレイからなり、画像データの処理ステップは、行単位ベースで画像データをフリッカ関数により除算することからなる。
【００１５】
画像データのフリッカ関数の割り出しは、前以て用意したフリッカモデルに関連するパラメータ値の割り出しを含む。特に、フリッカ関数を割り出すため光源のフリッカ周波数やフリッカ振幅やフリッカ位相が割り出される。本発明の一実施形態では、フリッカ周波数とフリッカ振幅とフリッカ位相は、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線繰り返し周波数との積からフリッカ周波数を割り出し、補正列ベクトル内のフリッカエネルギを最小化してフリッカの振幅及び位相を割り出すことで割り出される。
【００１６】
より詳しくは、本発明のさらなる実施形態によれば、フリッカの振幅及び位相の初期推定を行ない、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相から計算したフリッカ関数により生成列ベクトルを除算して補正列ベクトルを計算し、補正列ベクトル内のフリッカエネルギを算出することにより、フリッカの振幅及び位相を割り出す。そこで、フリッカエネルギがさらに低減可能であるかどうか判断する。判断が否定された場合は、推定されたフリッカの振幅及び位相をフリッカ関数の割り出しに用いる。判断が肯定された場合は、フリッカの振幅及び位相の推定は改められ、さらなる補正列ベクトルが計算され、さらに補正された列ベクトルを用いてフリッカエネルギを計算する。この手順は、フリッカエネルギがこれ以上低減できなくなるまで繰り返される。
【００１７】
一旦フリッカエネルギが最小化されると、割り出されたフリッカ関数でもって画像データを除算することでフリッカが画像データから取り除かれる。
【００１８】
本発明方法は、蛍光源のような任意の周期的に変動する光源にもよってもたらされるフリッカを除去することに効果があるという長所がある。本発明方法には任意の露光期間を用いることができ、その結果、本方法は明るい蛍光源の下でさえフリッカを大幅に低減した画像の撮像に用いることができる。本発明は、単一画像上に作用する偽画像を画像から除去し、フリッカとフレーム周期の値以外のどんな追加の入力も必要とせず、フリッカを独立して監視する必要のない方法と装置を提供するものである。さらに、本発明は上記したそれらに加え或いはそれらに代わる他の特徴ならびに効果を備えた実施形態をもたらす。これらの特徴と効果の多くは、本発明の例示実施形態の下記の図面と詳細な説明とを併せ、以下に明らかとなろう。
【００１９】
【発明の実施の形態】
回転シャッタモードで動作するＣＭＯＳ画像センサでは、画像データアレイの露光期間は、図１に示したアレイ内で行ごとに変動する（ただし、特定の行では全ての画素は同一期間に亙って露光する）。撮像シーンを照らす光源の強度が時間とともに変動する場合は、画像データ内で行ごとに強度変動が生ずることがある。行期間が固定され、光源強度が時間とともに周期的に変動する場合は、強度変動は画像データから生成される画像内の周期的な水平バーの形をした偽画像として現われる。
【００２０】
集積期間がフリッカ周期の整数倍に等しい場合は、水平バーの振幅は零となろう。しかしながら、バー振幅を前以て割り出すことは一般に不可能であり、それは光源の特性が既知でないからである。加えて、画像についての水平バーパターンの垂直方向の並び方は露光期間当初の光フリッカの位相に依存する。しかしながら、振幅と同様、位相もまた前以て割り出すことはできない。
【００２１】
蛍光の点滅は、光の電源交播によって生じる。蛍光管は、水銀蒸気原子雲に電子を放射するフィラメントを含む。蒸気原子は励起され、紫外（ＵＶ）光を発する。紫外光が蛍光管の管球容器を叩くと、紫外光が管内面の蛍光体を励起する。そこで蛍光体が蛍光し、白色光を発する。
【００２２】
電子の放出は、電源の駆動電圧のピークで最大化される。１周期ごとに２つのピークが存在するため、フリッカ周波数は駆動電圧周波数の２倍となる。従って、６０Ｈｚ電気系により給電される蛍光管は１２０Ｈｚで点滅する。
【００２３】
関数（１＋αｓｉｎ２（ωｔ＋Φ））は、蛍光管の照射をモデル化するのに用いることができる。同式中、αはフリッカ振幅であり、ωはフリッカ周波数であり、Φはフリッカ位相である。このフリッカ関数はまた、画像アレイの行の行番号をもって次式の如く表わすことができる。
【００２４】
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ） （１）
【００２５】
同式中、Ｔｆはフレーム周期であり、Ｎはフレームごとのライン数である。蛍光管の実際の発光は、図３の曲線２０に示すもっと複雑な時間変動を有する。同図は、ｘ軸が時間サンプルを表わし、ｙ軸が照度を表わすグラフである。蛍光管内の蛍光体とフィラメントの特性が原因で、この関数はゆっくりと減衰する。従って、所望とあらば、上記の式（１）により与えられるもっと複雑なフリッカ関数を生成し、曲線にもっと適合させることもできる。
【００２６】
本発明の一実施形態によれば、行単位ベースのフリッカ関数でもって画像を表わす画像データを除算することにより画像から偽画像が取り除かれる。画像が二次元データアレイＩ［ｉ，ｊ］により表される場合、偽画像を除去する処理は下記の如く表わされる。
【００２７】
Ｉ’［ｉ，ｊ］＝Ｉ［ｉ，ｊ］／ｆ（ｊ） （２）
【００２８】
本発明の一実施形態によれば、フリッカ関数は照明光源のフリッカ周波数とフリッカ振幅とフリッカ位相を算出することにより割り出される。フリッカ周波数とフリッカ振幅とフリッカ位相は、本発明の一実施形態によれば、デジタル画像の各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線繰り返し周波数との積からフリッカ周波数を算出し、補正列ベクトル内のフリッカエネルギを最小化してフリッカの振幅及び位相を割り出すことで算出される。
【００２９】
より詳しくは、列ベクトルを作成するため、画像データアレイの全ての列は併せ加算されて列平均を生成する。この処理が、二次元画像データアレイを一次元ベクトルに折りたたむ。この処理は、下式により表わされる。
【００３０】
【数１】
【００３１】
この式において、Ｍは画像データの列数である。
【００３２】
フリッカの振幅及び位相を算出するため、補正列ベクトル内のフリッカエネルギを最小化するよう、初回の推定が先ずフリッカの振幅及び位相についてなされる。次に、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相から算出されたフリッカ関数により生成列ベクトルを除算することで、補正列ベクトルが計算される。そこで補正列ベクトル内でフリッカエネルギが計算され、フリッカエネルギがそれ以上低減できるかどうかの判断がなされる。この判断が否定された場合は、推定されたフリッカの振幅及び位相がフリッカ関数の割り出しに用いられる。判断が肯定された場合は、フリッカの振幅及び位相の改善推定がなされ、フリッカエネルギがそれ以上低減できなくなるまで、この手順が繰り返される。
【００３３】
補正列ベクトルのフリッカエネルギは、Ｃ［ｊ］／ｆ（ｊ）の正弦値及び余弦値を計算することにより算出される。エネルギは、画像データの平均値により正規化した２つの項の二乗の平方根である。
【００３４】
【数２】
式（４），（５）中、Ａ（ｊ）は、画像フレーム端での不連続部分がエネルギ値に寄与するのを防止するのに用いるアポディゼーション関数である。この種の関数例には、ハニング関数やハミング関数が含まれる。
【００３６】
フリッカエネルギは、下記で表わされる。
【００３７】
Ｅｆ＝√（ＸＳ＋ＸＣ）／＜Ｃ＞ （６）
【００３８】
式（６）では、平均画像データは列平均から割り出してある。
【００３９】
振幅と位相の関数としてのフリッカエネルギの変動により規定される面が図４にプロットしてあり、図ではｘ軸が振幅を表わしｙ軸が位相を表わす。図４に示したように、この関数は良好に規定されたユニークな最小値を備えた滑らかなものである。
【００４０】
一旦フリッカエネルギが最小化されると、フリッカ周波数の計算値と最小化から得られたフリッカの位相及び振幅の計算値を用いて割り出したフリッカ関数により画像データを除算することで、全画像から偽画像を取り除くことができる。
【００４１】
図５，６は、本発明の一実施形態になる方法の効果を示す画像である。図５の画像は、ＣＭＯＳ画像センサすなわち原画像の単色平面からの生データで構成してある。図６の画像は、本発明の一実施形態になるフリッカ補正、すなわちフリッカ補正画像を適用した結果である。図５，６から明らかなように、図５の画像に存在する水平線が図６の画像からは除去されている。
【００４２】
図７は、本発明の一実施形態によるシーンの画像から偽画像を取り除く方法を大略例示するフローチャートである。図７に示すように、本方法はステップ３０でのシーンを照らす光源の発光をモデル化するフリッカ関数の割り出しを含むものであり、その後にステップ４０でのフリッカ関数を用いてシーンの画像を表わす画像データの処理を含む。
【００４３】
図８Ａは、本発明の別の実施形態により図７のフリッカ関数を割り出すステップをより詳細に例示するフローチャートである。特に、前述した如く、撮像対象シーンを照明する光源のフリッカ関数を割り出すため、光源のフリッカ周波数とフリッカ振幅とフリッカ位相が割り出される。これは、ステップ５０に示したように先ず画像アレイの各行沿いに画像アレイの画素を寄せ集めて列ベクトルを生成することにより、図８Ａに開示した如く達成される。フリッカ周波数は、ステップ６０に示したように、フレーム周期と画像フレームごとの交流線繰り返し周波数との積から割り出される。フリッカ位相とフリッカ振幅は、ステップ７０で示すように補正列ベクトルのフリッカエネルギを最小化することにより割り出される。
【００４４】
図８Ａに示されるフリッカ位相とフリッカ振幅を割り出すステップを、図８Ｂでさらに詳細に説明する。具体的には、フリッカの振幅及び位相の初期推定はステップ７２に示した如くなされる。それ故に、補正列ベクトルは図８Ａのステップ５０で生成された列ベクトルをステップ７４の推定フリッカ関数で除算することで計算される。この推定フリッカ関数は、図８Ａのステップ６０で割り出したフリッカ周波数と図８Ｂのステップ７２で推定したフリッカ振幅とフリッカ位相を用いて計算される。補正列ベクトルのフリッカエネルギは次にステップ７６において計算され、ステップ７８においてフリッカエネルギがさらに低減できるかどうかの判断がなされる。この判断が否定された場合は、ステップ７２においてなされたフリッカ振幅とフリッカ位相の初期推定を用いてフリッカ関数が割り出される。判断が肯定された場合は、ステップ８０においてフリッカ振幅とフリッカ位相の改善推定がなされ、ステップ７４においてさらなる補正列ベクトルが計算され、ステップ７６において新たなフリッカエネルギが計算される。この手順は、フリッカエネルギがこれ以上低減できなくなるまで、すなわちステップ７８における判断がなされなくなるまで繰り返される。
【００４５】
図９は、本発明の一実施形態によりシーンの画像から偽画像を取り除く装置を図示するものである。この装置は、参照符合１００により概ね指し示したディジタルカメラなどの撮像装置を備える。撮像装置は、シーンから受光し、ＣＭＯＳ画像センサなどの画像検出ユニット１０４に光を合焦する図９のレンズにより表わされる光学システム１０２を含む。画像検出ユニットは、その上の光パターンを画像検出ユニット内に含まれるＡＤ変換器によりディジタル化される電圧サンプルアレイへ変換する。
【００４６】
フリッカ関数割り出し器１０６は、前述したように、光源のフリッカ周波数とフリッカ振幅とフリッカ位相を割り出すことでディジタル画像データから光源のフリッカ関数を割り出し、画像データプロセッサ１０８はフリッカ関数を用いて画像データを処理し、シーンの生成画像から偽画像を取り除く。
【００４７】
ここに説明した内容は本発明の例示実施形態を構成するものであるが、本発明はその範囲を逸脱することなく様々に変形可能であることは認識されたい。従って、本発明が特許請求の範囲により必要とされる範囲内にだけ限定さるべきことは理解されたい。
【００４８】
本発明の態様を以下に例示する。
【００４９】
１．画像データにより表わされる、光源により照らされたシーンの画像から偽画像を除去する方法であって、フリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記画像データを処理し、前記画像から偽画像を除去するステップを含む方法。
【００５０】
２．上記１記載の方法であって、前記画像データは複数行の画像データからなる画像データアレイからなり、前記処理ステップが行単位ベースで前記画像データを前記フリッカ関数により除算するステップを含む方法。
【００５１】
３．上記２記載の方法であって、前記フリッカ関数は、前記光源のフリッカ周波数とフリッカ振幅とフリッカ位相の関数である方法。
【００５２】
４．上記３記載の方法であって、前記フリッカ関数の割り出しステップが、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すことを含む方法。
【００５３】
５．上記４記載の方法であって、前記フリッカ関数の割り出しステップはさらに、前記画像データアレイの各行沿いに前記画像データアレイの画素を寄せ集めて列ベクトルを生成するステップを含み、さらに前記補正列ベクトルのフリッカエネルギを最小化することで前記フリッカ位相と前記フリッカ振幅を割り出すステップを含む方法。
【００５４】
６．上記５記載の方法であって、補正列ベクトルのフリッカエネルギの前記最小化ステップが、フリッカの振幅及び位相の推定ステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相とを用いて計算したフリッカ関数により生成列ベクトルを除算することで補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを計算するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００５５】
７．前記光源は、周期的に変動する光源からなる上記２記載の方法。
【００５６】
８．前記周期的に変動する光源は、蛍光源からなる上記７記載の方法。
【００５７】
９．前記画像データアレイの行の行番号で表わされる前記フリッカ関数が、
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ）
であり、αがフリッカ振幅、ωがフリッカ周波数、Φがフリッカ位相、Ｔｆがフレーム周期、Ｎが画像フレームごとの行数を表わす上記８記載の方法。
【００５８】
１０．前記画像データは回転シャッタを用いてＣＭＯＳ画像センサから収集され、露光制御をもたらす上記１記載の方法。
【００５９】
１１．複数行の画像データからなる画像データアレイにより表わされる、周期的に変動する光源により照明されたシーンの画像から偽画像を除去する方法であって、周期的に変動する光源の光照射をモデル化したフリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記画像データを処理し、前記画像から偽画像を除去するステップを含む方法。
【００６０】
１２．上記１１記載の方法であって、前記フリッカ関数は、周期的に変動する光源のフリッカ振幅とフリッカ周波数とフリッカ位相の関数である方法。
【００６１】
１３．上記１２記載の方法であって、フリッカ関数を割り出す前記ステップが、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すステップと、補正列ベクトルのフリッカエネルギを最小化することによりフリッカの振幅及び位相を割り出すステップとを含む方法。
【００６２】
１４．上記１３記載の方法であって、補正列ベクトルのフリッカエネルギを最小化する前記ステップが、フリッカの振幅及び位相の推定ステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相とを用いて計算したフリッカ関数により生成列ベクトルを除算することで補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを計算するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００６３】
１５．上記１１記載の方法であって、前記周期的に変動する光源は蛍光源からなり、前記画像データアレイの行の行番号で表わされる前記フリッカ関数が、
ｆ（ｊ）＝１＋αｓｉｎ２（ｊωＴｆ／Ｎ＋Φ）
であり、αがフリッカ振幅、ωがフリッカ周波数、Φがフリッカ位相、Ｔｆがフレーム周期、Ｎが画像フレームごとの行数を表わす方法。
【００６４】
１６．上記１１記載の方法であって、前記画像データは回転シャッタを用いてＣＭＯＳ画像センサから収集され、画像制御をもたらす方法。
【００６５】
１７．光源によって照らされたシーンの画像から偽画像を除去する装置であって、前記シーンを表わす画像データを供給するユニットと、フリッカ関数を割り出すフリッカ関数割り出し器と、前記フリッカ関数を用いて前記画像データを処理し、前記画像から前記偽画像を除去する画像データプロセッサを備える装置。
【００６６】
１８．上記１７記載の装置であって、前記画像データが複数行の画像データからなる画像データアレイを含み、前記画像データプロセッサが行単位ベースで前記画像データを前記フリッカ関数により除算することで前記画像データを処理する装置。
【００６７】
１９．上記１８記載の装置であって、前記フリッカ関数は、前記光源のフリッカ周波数とフリッカ振幅とフリッカ位相の関数であり、前記フリッカ関数割り出し器が前記フリッカ周波数と前記フリッカ振幅と前記フリッカ位相を割り出す手段を含む装置。
【００６８】
２０． 前記光源は、蛍光源からなる上記１７記載の装置。
【００６９】
２１．ディジタル撮像方法であって、ディジタル画像を分析してフリッカ関数を割り出すステップと、前記フリッカ関数を用いて前記ディジタル画像を処理し、該ディジタル画像から偽画像を低減するステップとを含み、前記割り出しステップが前以て定めたフリッカモデルに関連するパラメータ値の割り出しを含む方法。
【００７０】
２２．前記処理ステップが、前記ディジタル画像を前記フリッカ関数により除算するステップを含む上記２１記載のディジタル撮像方法。
【００７１】
２３．前記割り出しステップが、フリッカ周波数とフリッカ振幅とフリッカ位相の算出を含む上記２１記載のディジタル撮像方法。
【００７２】
２４．上記２３記載のディジタル撮像方法であって、フリッカ周波数とフリッカ振幅とフリッカ位相の前記割り出しステップが、画像データアレイの各行沿いに画素を寄せ集めて列ベクトルを生成し、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すステップと、補正列ベクトルのフリッカエネルギを最小化することによりフリッカの振幅及び位相を割り出すステップとを含む方法。
【００７３】
２５．上記２４記載のディジタル撮像方法であって、前記補正列ベクトルのフリッカエネルギを最小化するステップが、フリッカの振幅及び位相を推定するステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相を用いて計算したフリッカ関数により生成列ベクトルを除算することにより補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを算出するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。
【００７４】
２６．ディジタル画像処理システムであって、ディジタル画像のフリッカ関数を割り出す手段と、前記フリッカ関数を用いて前記ディジタル画像内の偽画像を低減する該ディジタル画像の処理手段とを備えるシステム。
【図面の簡単な説明】
【図１】本発明の明瞭な理解を助ける回転シャッタの動作を概略説明する図である。
【図２】回転シャッタを用いてＣＭＯＳ画像センサの出力上のフリッカの影響を例示する概略画像である。
【図３】蛍光管の発光特性を例示するグラフである。
【図４】本発明の一実施形態になるフリッカ補正を例示するグラフである。
【図５】本発明の一実施形態の方法と装置の効果を表わす図であり、回転シャッタを用いたＣＭＯＳ画像センサの単色平面からの生データの画像である。
【図６】本発明の一実施形態の方法と装置の効果を表わす図であり、本発明の一実施形態によりフリッカ補正を適用した結果得られる画像である。
【図７】本発明の一実施形態による偽画像を画像から除去する方法のステップを示すフローチャートである。
【図８Ａ】本発明の他の実施形態による図７のフリッカ関数の割り出しステップを詳細に示すフローチャートである。
【図８Ｂ】本発明の他の実施形態による図８Ａのフリッカの位相及び振幅の割り出しステップを詳細に示すフローチャートである。
【図９】本発明の他の実施形態による偽画像を画像から除去する装置を概略示す図である。
【符号の説明】
１０ 露光期間
１４ 概略画像
１６ 水平バー
１００ 撮像装置
１０２ 光学システム
１０４ 画像検出ユニット
１０６ フリッカ関数割り出し器
１０８ 画像データプロセッサ
Claims (7)
- 画像データにより表わされる、光源により照らされたシーンの画像から偽画像を除去または減少する方法であって、
前記画像データは、複数行の画像データからなる画像データアレイからなり、
フリッカ関数を割り出すステップと、
行単位ベースで前記画像データを前記フリッカ関数により除算し、前記画像から偽画像を除去または減少する処理ステップ、を含み、
前記フリッカ関数は、前記光源のフリッカ周波数とフリッカ振幅とフリッカ位相の関数であり、
前記フリッカ関数の割り出しステップが、フレーム周期と画像フレームごとの交流線の繰り返し周波数との積からフリッカ周波数を割り出すことを含む
ことを特徴とする方法。 - 請求項１記載の方法であって、
前記フリッカ関数の割り出しステップはさらに、前記画像データアレイの各行沿いに前記画像データアレイの画素を寄せ集めて列ベクトルを生成するステップを含み、
さらに前記補正列ベクトルのフリッカエネルギを最小化することで前記フリッカ位相と前記フリッカ振幅を割り出すステップを含む方法。 - 請求項２記載の方法であって、
補正列ベクトルのフリッカエネルギの前記最小化ステップが、フリッカの振幅及び位相の推定ステップと、割り出されたフリッカ周波数と推定されたフリッカの振幅及び位相とを用いて計算したフリッカ関数により生成列ベクトルを除算することで補正列ベクトルを計算するステップと、補正列ベクトルのフリッカエネルギを計算するステップと、フリッカエネルギがさらに低減できるかどうか判定するステップと、フリッカエネルギがさらに低減できない場合は、推定されたフリッカの振幅及び位相を用いてフリッカ関数を割り出し、フリッカエネルギがさらに低減できる場合は、フリッカエネルギがこれ以上低減できなくなるまで、フリッカの振幅及び位相を推定し、補正列ベクトルを計算し、フリッカエネルギを計算するステップを繰り返すステップを含む方法。 - 前記光源は、周期的に変動する光源からなる請求項１〜３のいずれか１つに記載の方法。
- 前記周期的に変動する光源は、蛍光源からなる請求項４記載の方法。
- 前記画像データアレイの行の行番号で表わされる前記フリッカ関数が、
ｆ（ｊ）＝１＋αsin2（ｊωＴf／Ｎ＋Φ）
であり、αがフリッカ振幅、ωがフリッカ周波数、Φがフリッカ位相、Ｔfがフレーム周期、Ｎが画像フレームごとの行数を表わす請求項５記載の方法。 - 前記画像データは回転シャッタを用いてＣＭＯＳ画像センサから収集され、露光制御をもたらす請求項１〜６のいずれか１つに記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/927,201 | 2001-08-10 | ||
| US09/927,201 US7298401B2 (en) | 2001-08-10 | 2001-08-10 | Method and apparatus for removing flicker from images |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003110880A JP2003110880A (ja) | 2003-04-11 |
| JP2003110880A5 JP2003110880A5 (ja) | 2005-10-27 |
| JP4200516B2 true JP4200516B2 (ja) | 2008-12-24 |
Family
ID=25454378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002212267A Expired - Lifetime JP4200516B2 (ja) | 2001-08-10 | 2002-07-22 | 画像からフリッカを除去する方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7298401B2 (ja) |
| EP (1) | EP1289285B1 (ja) |
| JP (1) | JP4200516B2 (ja) |
| DE (1) | DE60239438D1 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI111417B (fi) * | 2001-06-01 | 2003-07-15 | Nokia Corp | Digitaalikameran salamavalon ohjaus |
| US6911966B2 (en) * | 2001-08-24 | 2005-06-28 | Koninklijke Philips Electronics N.V. | Matrix display device |
| KR100460755B1 (ko) * | 2002-10-10 | 2004-12-14 | 매그나칩 반도체 유한회사 | 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 플리커 잡음 제거방법 |
| JP4423889B2 (ja) * | 2002-11-18 | 2010-03-03 | ソニー株式会社 | フリッカ低減方法、撮像装置およびフリッカ低減回路 |
| US7768500B2 (en) * | 2003-06-16 | 2010-08-03 | Humanscale Corporation | Ergonomic pointing device |
| JP4259998B2 (ja) * | 2003-12-19 | 2009-04-30 | 三洋電機株式会社 | フリッカ検出装置及び撮像装置 |
| US7557799B2 (en) | 2004-06-17 | 2009-07-07 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System for determining pointer position, movement, and angle |
| US7920175B2 (en) * | 2005-01-13 | 2011-04-05 | Canon Kabushiki Kaisha | Electronic still camera performing composition of images and image capturing method therefor |
| JP4207926B2 (ja) * | 2005-05-13 | 2009-01-14 | ソニー株式会社 | フリッカ補正方法、フリッカ補正装置及び撮像装置 |
| JP4335849B2 (ja) * | 2005-06-13 | 2009-09-30 | 富士通マイクロエレクトロニクス株式会社 | フリッカ検出可能な撮像装置 |
| JP4453648B2 (ja) * | 2005-06-13 | 2010-04-21 | ソニー株式会社 | 画像処理装置および撮像装置 |
| JP2007006049A (ja) * | 2005-06-23 | 2007-01-11 | Funai Electric Co Ltd | 固体撮像装置 |
| JP4371108B2 (ja) * | 2005-12-27 | 2009-11-25 | ソニー株式会社 | 撮像装置および方法、記録媒体、並びにプログラム |
| US7561190B2 (en) * | 2006-04-19 | 2009-07-14 | Nethra Imaging Inc. | Method and system to reduce flicker artifacts in captured images |
| US8068140B2 (en) * | 2006-08-07 | 2011-11-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Still image stabilization suitable for compact camera environments |
| JP2008109370A (ja) * | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | 画像補正装置及び方法並びに撮像装置 |
| JP2009017214A (ja) * | 2007-07-04 | 2009-01-22 | Canon Inc | フリッカ検出装置及びフリッカ検出方法 |
| US8081235B2 (en) * | 2007-11-12 | 2011-12-20 | Canon Kabushiki Kaisha | Image pickup apparatus and flicker detection method therefor |
| US9055260B2 (en) * | 2007-12-17 | 2015-06-09 | Echostar Technologies L.L.C. | Electronic program guide generation apparatus, systems, and methods |
| US7911505B2 (en) * | 2008-08-20 | 2011-03-22 | Eastman Kodak Company | Detecting illuminant flicker |
| US8451356B2 (en) * | 2008-10-09 | 2013-05-28 | Sony Corporation | System and method for correcting artifacts in sequential imagers caused by transient light disturbances |
| US8441551B2 (en) * | 2008-11-14 | 2013-05-14 | Ati Technologies Ulc | Flicker detection circuit for imaging sensors that employ rolling shutters |
| EP2200277A1 (en) * | 2008-12-22 | 2010-06-23 | Thomson Licensing | Method and device to capture images by emulating a mechanical shutter |
| JP2011091775A (ja) | 2009-10-26 | 2011-05-06 | Toshiba Corp | 固体撮像装置 |
| DE112010004379T5 (de) * | 2009-11-13 | 2012-11-29 | Steven Donald Edelson | Überwachungs- und Kamerasystem und Verfahren |
| JP5625371B2 (ja) * | 2010-01-29 | 2014-11-19 | ソニー株式会社 | 画像処理装置、および信号処理方法、並びにプログラム |
| US8711245B2 (en) * | 2011-03-18 | 2014-04-29 | Digitaloptics Corporation Europe Ltd. | Methods and systems for flicker correction |
| US9088727B2 (en) | 2011-04-06 | 2015-07-21 | Pelco, Inc. | Spatially-varying flicker detection |
| US8928735B2 (en) | 2011-06-14 | 2015-01-06 | Microsoft Corporation | Combined lighting, projection, and image capture without video feedback |
| US9560314B2 (en) | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
| US8903043B2 (en) | 2011-10-24 | 2014-12-02 | Bruker Axs, Inc. | Method for correcting timing skew in X-ray data read out of an X-ray detector in a rolling shutter mode |
| KR102020941B1 (ko) | 2013-02-08 | 2019-09-11 | 삼성전자주식회사 | 움직임 추정 장치 및 추정 방법 |
| US9083887B2 (en) * | 2013-04-08 | 2015-07-14 | Samsung Electronics Co., Ltd. | Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same |
| US9554048B2 (en) * | 2013-09-26 | 2017-01-24 | Apple Inc. | In-stream rolling shutter compensation |
| EP2950523A1 (en) * | 2014-05-28 | 2015-12-02 | Thomson Licensing | Method of estimating flicker on recorded video by camcorder |
| JP6525715B2 (ja) * | 2015-05-08 | 2019-06-05 | キヤノン株式会社 | 撮像装置、光量変化の検出方法及びプログラム |
| US9571749B2 (en) * | 2015-05-26 | 2017-02-14 | Novatek Microelectronics Corp. | Flicker detecting method for image capturing device |
| KR102523301B1 (ko) * | 2015-12-15 | 2023-04-19 | 삼성전자주식회사 | 플리커를 제거하는 이미지 센서 회로 및 이를 포함하는 카메라 장치 |
| RU2658811C2 (ru) * | 2016-12-12 | 2018-06-22 | Общество С Ограниченной Ответственностью "Дисикон" | Способ и система устранения эффекта скользящего затвора камеры |
| WO2018211511A1 (en) * | 2017-05-16 | 2018-11-22 | Technion Research & Development Foundation Limited | Computational imaging of the electric grid |
| US11025825B2 (en) | 2018-07-19 | 2021-06-01 | Karl Storz Imaging, Inc. | System and method to obtain a moving endoscopic image |
| US11699207B2 (en) * | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
| US11227409B1 (en) | 2018-08-20 | 2022-01-18 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
| JP2020072392A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
| CN115866421A (zh) * | 2021-09-24 | 2023-03-28 | 北京小米移动软件有限公司 | 一种拍摄方法、拍摄装置及存储介质 |
| CN115082350B (zh) * | 2022-07-06 | 2025-07-04 | 维沃移动通信有限公司 | 频闪图像处理方法、装置、电子设备和可读存储介质 |
| CN117499790A (zh) | 2022-07-21 | 2024-02-02 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质及产品 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63105580A (ja) * | 1986-10-22 | 1988-05-10 | Hitachi Ltd | テレビカメラ |
| JPH04373365A (ja) * | 1991-06-24 | 1992-12-25 | Hitachi Ltd | テレビカメラ |
| DK0835585T3 (da) * | 1995-06-26 | 1999-05-17 | Phase One Denmark A S | Fremgangsmåde og system til billedoptagelse med et digitalt kamera |
| US5793886A (en) * | 1996-12-19 | 1998-08-11 | Eastman Kodak Company | Method of adjusting image pixel values within an image sequence by interpolation of target cumulative histograms for images to be adjusted |
| JP3098448B2 (ja) * | 1997-04-18 | 2000-10-16 | 日本電気ロボットエンジニアリング株式会社 | 画像入力装置 |
| US6295085B1 (en) * | 1997-12-08 | 2001-09-25 | Intel Corporation | Method and apparatus for eliminating flicker effects from discharge lamps during digital video capture |
| JP3506900B2 (ja) | 1998-03-03 | 2004-03-15 | 松下電器産業株式会社 | フリッカ補正装置 |
| JP3583618B2 (ja) * | 1998-06-15 | 2004-11-04 | 富士通株式会社 | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR100344505B1 (ko) * | 1998-11-30 | 2002-07-24 | 가부시끼가이샤 도시바 | 고체 이미징 장치 |
| JP2000165752A (ja) | 1998-11-30 | 2000-06-16 | Toshiba Corp | 固体撮像装置の信号処理方法及び固体撮像装置 |
| JP3375557B2 (ja) * | 1999-01-29 | 2003-02-10 | 松下電器産業株式会社 | 映像信号処理装置 |
| US6271884B1 (en) * | 1999-09-28 | 2001-08-07 | Conexant Systems, Inc. | Image flicker reduction with fluorescent lighting |
| US6710818B1 (en) * | 1999-10-08 | 2004-03-23 | Matsushita Electric Industrial Co., Ltd. | Illumination flicker detection apparatus, an illumination flicker compensation apparatus, and an ac line frequency detection apparatus, methods of detecting illumination flicker, compensating illumination flicker, and measuring ac line frequency |
| JP2003198932A (ja) | 2001-12-27 | 2003-07-11 | Sharp Corp | フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体 |
-
2001
- 2001-08-10 US US09/927,201 patent/US7298401B2/en not_active Expired - Lifetime
-
2002
- 2002-06-12 EP EP02012997A patent/EP1289285B1/en not_active Expired - Lifetime
- 2002-06-12 DE DE60239438T patent/DE60239438D1/de not_active Expired - Lifetime
- 2002-07-22 JP JP2002212267A patent/JP4200516B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7298401B2 (en) | 2007-11-20 |
| EP1289285B1 (en) | 2011-03-16 |
| DE60239438D1 (de) | 2011-04-28 |
| EP1289285A2 (en) | 2003-03-05 |
| EP1289285A3 (en) | 2004-01-28 |
| JP2003110880A (ja) | 2003-04-11 |
| US20030030744A1 (en) | 2003-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4200516B2 (ja) | 画像からフリッカを除去する方法 | |
| CN1146225C (zh) | 用于在流水线式数字视频捕获期间减少来自放电灯的闪变效应的方法和设备 | |
| CN1226863C (zh) | 闪烁检测方法和闪烁检测设备 | |
| KR101950396B1 (ko) | 촬상장치 및 촬상방법 | |
| JP4273489B2 (ja) | イメージセンサの画素配列部、それを用いたイメージセンサ及びイメージセンサのフリッカ雑音除去方法 | |
| US20040179114A1 (en) | Apparatus and method for detecting and compensating for illuminant intensity changes within an image | |
| CN103379288A (zh) | 图像处理设备、图像处理方法和程序 | |
| KR20030057465A (ko) | 플리커 보정 장치, 플리커 보정 방법 및 플리커 보정프로그램을 저정한 기록 매체 | |
| CN102356631A (zh) | 图像处理装置、信号处理方法以及程序 | |
| US20170214835A1 (en) | Endoscopic imaging | |
| JP6478984B2 (ja) | Ｈｄｒイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム | |
| US9486141B2 (en) | Identification of dental caries in live video images | |
| KR102757961B1 (ko) | 이미지에서 다중 광원의 플리커 효과 감소 | |
| JP6779670B2 (ja) | 電子内視鏡システム | |
| US20180080877A1 (en) | Device for generating fluorescence image and method for generating fluorescence image | |
| JP2017531829A (ja) | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 | |
| JP2010263423A (ja) | 画像処理方法および画像処理装置 | |
| JP3880117B2 (ja) | 画像読取方法及び装置 | |
| CN106572309A (zh) | 校正单次拍摄多重曝光图像的闪烁的方法及图像捕捉装置 | |
| JP2003187230A (ja) | 撮影画像処理装置および化粧シミュレーション装置 | |
| JP5302838B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、ｘ線画像撮影装置 | |
| JP7094161B2 (ja) | 高速度放射線撮像装置および撮像方法 | |
| JP7752695B2 (ja) | 方法及び画像キャプチャ装置 | |
| JP2002330343A (ja) | 放射線画像処理装置、画像処理システム、放射線画像処理方法、記憶媒体、及びプログラム | |
| JP2004173016A (ja) | フリッカー除去装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050706 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050706 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070727 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070807 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080616 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080808 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4200516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |