JP2000299876A - デジタルカメラ及びオートホワイトバランス制御方法 - Google Patents

デジタルカメラ及びオートホワイトバランス制御方法

Info

Publication number
JP2000299876A
JP2000299876A JP11104285A JP10428599A JP2000299876A JP 2000299876 A JP2000299876 A JP 2000299876A JP 11104285 A JP11104285 A JP 11104285A JP 10428599 A JP10428599 A JP 10428599A JP 2000299876 A JP2000299876 A JP 2000299876A
Authority
JP
Japan
Prior art keywords
white balance
gain
image signal
value
balance correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11104285A
Other languages
English (en)
Other versions
JP3896438B2 (ja
Inventor
Koji Furubayashi
晃治 古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP10428599A priority Critical patent/JP3896438B2/ja
Publication of JP2000299876A publication Critical patent/JP2000299876A/ja
Application granted granted Critical
Publication of JP3896438B2 publication Critical patent/JP3896438B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】短時間でホワイトバランス補正ができ、画質劣
化が少なく、ホワイトバランス補正後の露出レベルが崩
れないホワイトバランス制御を実現する。 【解決手段】CPU22はシャッタボタンの半押し時
に、積算ブロック36から受入するR、G、B画素の積
算値からR/G、B/Gの比を求め、これらの値と、A
E演算による撮影EV値の情報に基づいてシーン判別
(光源種の判別)を行う。そして、シーンに適した所定
のホワイトバランス調整値に従って前段ゲインブロック
30のアナログアンプゲインを制御し、ホワイトバラン
スの粗補正をする。その後、シャッタボタンの全押し時
に、記録用画像の取り込み処理を行い、この本撮像の処
理で得られた画像データからR/G、B/Gの比を求
め、これらの値に基づいて計算されたホワイトバランス
補正値に従って、後段ゲインブロック38のデジタルゲ
インを制御し、ホワイトバランスの微補正を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタルカメラに係
り、特にそのオートホワイトバランス制御技術に関す
る。
【0002】
【従来の技術】CCD等の固体撮像素子から得られる画
像信号から、赤(R)、緑(G)、青(B)の画素を別
々に積算して色温度情報を得てホワイトバランスを補正
する方式として、一般に、積算ブロックよりも前段(A
/D変換前)のアナログゲインでホワイトバランスを補
正する方式と、積算ブロックよりも後段(A/D変換
後)のデジタルゲインで補正する方式とが知られてい
る。前者の方式は例えば特開平5−37939号公報に
開示され、後者の方式は特開平5−183925号公報
に開示されている。
【0003】
【発明が解決しようとする課題】しかしながら、積算ブ
ロックより前段のアナログゲインでホワイトバランスを
補正すると、アナログゲインのバラツキにより、一度に
正確にゲインを合わせることは困難である。更に、ホワ
イトバランス補正後は、R、G、Bの積算データに補正
に補正値が反映されるため、補正後の色温度情報を使用
するのは困難である。また、ビデオカメラ(ムービー方
式)のようにフィードバック制御方式を採用する方式も
あるが、スチルカメラのように一瞬でホワイトバランス
制御を行う必要があるものに対して適用するには不向き
である。
【0004】その一方、積算ブロックより後段のデジタ
ルゲインでホワイトバランスを補正する場合、積算ブロ
ックはゲイン補正回路の前の信号から取り出すため、後
段のデジタルゲインで補正を行うと、AEレベルが変動
してしまうという不具合がある。これは、AE用の検出
データはR、G、Bの積算値から輝度レベルを計算して
おり、ホワイトバランスの演算はAEの演算より後に行
われることに起因する。また、デジタルゲインでホワイ
トバランスを補正すると、デジタル信号にゲインをかけ
ることになるため、画質劣化にもつながるという欠点が
ある。
【0005】本発明はこのような事情に鑑みてなされた
もので、短時間でホワイトバランス補正ができ、画質劣
化が少なく、ホワイトバランス後のAEレベルが崩れな
いオートホワイトバランス制御方法を提供するととも
に、その制御方法を実現可能なデジタルカメラを提供す
ることを目的とする。
【0006】
【課題を解決するための手段】前記目的を達成するため
に、本願請求項1に係るデジタルカメラは、光学像を電
気信号に変換する撮像素子と、撮影シーンの光源種を判
別する光源種判別手段と、前記光源種判別手段で判定し
た光源種に適した所定のホワイトバランス調整値にした
がって、アナログ形式の画像信号のゲインを制御するこ
とによりホワイトバランスを補正する第1のホワイトバ
ランス補正手段と、アナログ形式の画像信号からデジタ
ル形式の画像信号に変換するA/D変換器と、前記A/
D変換器から出力される画像信号に基づいて、各色チャ
ンネルのホワイトバランス補正値を求め、当該求めたホ
ワイトバランス補正値にしたがって各色チャンネルのデ
ジタル信号のゲインを制御することによりホワイトバラ
ンスを補正する第2のホワイトバランス補正手段と、を
備えたことを特徴としている。
【0007】本発明によれば、A/D変換前段の第1の
ホワイトバランス補正手段においてアナログゲインでホ
ワイトバランスを補正(粗補正)した後、更に、A/D
変換後段の第2のホワイトバランス補正手段においてデ
ジタルゲインでホワイトバランスを補正(微補正)する
ので、画質劣化が少なく、良好な画像を取得できる。光
源種の判別にあたっては、撮像素子から得られる画像信
号に基づいてシーン判別を行ってもよいし(内部測光方
式)、外部センサで色温度を測定してもよい(外部測光
方式)。
【0008】本願請求項2に係るオートホワイトバラン
ス制御方法は、撮影シーンの光源種を判別するステップ
と、その判別により特定した光源種に適した所定のホワ
イトバランス調整値にしたがって、アナログ形式の画像
信号のゲインを制御することにより第1のホワイトバラ
ンス補正を行うステップと、画像の記録実行指示の受入
に呼応して撮像素子から読み出され、前記第1のホワイ
トバランス補正によってホワイトバランスが補正された
アナログ形式の画像信号をA/D変換器によってデジタ
ル形式の画像信号に変換するステップと、前記A/D変
換器から出力されるデジタル形式の画像信号に基づい
て、各色チャンネルのホワイトバランス補正値を求める
ステップと、当該求めたホワイトバランス補正値にした
がって各色チャンネルのデジタル信号のゲインを制御す
ることにより第2のホワイトバランス補正を行うステッ
プと、を含むことを特徴としている。
【0009】また、本願請求項3に示すように、前記第
1のホワイトバランス補正にしたがってホワイトバラン
スが補正されたアナログ形式の画像信号をA/D変換器
によってデジタル形式の画像信号に変換して得られたデ
ジタル画像信号に基づいて自動露出制御用の演算を行
い、その演算結果に応じた露出制御のもとで、前記画像
の記録実行指示の受入に呼応する撮像を行うことを特徴
としている。
【0010】本発明に係るオートホワイトバランス制御
方法によれば、AE演算より前段のアナログゲインでホ
ワイトバランスを補正し、ホワイトバランスが粗補正さ
れたデータに基づいてAE演算を行う。そして、そのA
E演算に応じて適正な露出制御がなされた撮像系によっ
て、画像の記録実行指示(例えば、シャッタボタンの全
押しに相当するS2 =ONの信号)の受入に呼応して記
録用の撮像(本撮像)が行われる。この本撮像で得られ
た画像データに対して、更にデジタルゲインでホワイト
バランスの微補正を行うので、AEレベルが崩れること
なくホワイトバランス制御ができる。
【0011】
【発明の実施の形態】以下添付図面に従って本発明に係
るデジタルカメラ及びオートホワイトバランス制御方法
の好ましい実施の形態について詳説する。図1は本発明
が適用されたデジタルカメラの実施の形態を示すブロッ
ク図であり、図2はその要部の詳細な構成を示すブロッ
ク図である。これらの図に示すように、デジタルカメラ
10は、主として、撮影レンズ12、絞り装置14、C
CD固体撮像素子(以下、CCDという)16、アナロ
グ信号処理部18、デジタル信号処理部20、中央演算
処理装置(CPU)22、メモリカード24、及び液晶
モニタ(LCD)26等から構成されている。
【0012】撮影レンズ12及び絞り装置14を介して
CCD16の受光面に結像された被写体像は、CCD1
6の各感光画素(センサ)で光の入射光量に応じた量の
信号電荷に変換される。このようにして蓄積された信号
電荷は、CCD駆動回路(ドライバ)28から加えられ
るリードゲートパルスによって垂直転送路に読み出され
た後、前記ドライバ28から加えられる垂直転送パルス
によって水平転送路に転送され、水平転送パルスによっ
て信号電荷に応じた電圧信号として順次読み出され
る。、CCD16は、各感光画素において蓄積した信号
電荷をシャッタゲートパルスによってドレイン部に掃き
出すことができ、これにより電荷の蓄積時間(シャッタ
スピード)を制御する、いわゆる電子シャッタ機能を有
している。
【0013】CCD16から順次読み出された電圧信号
はアナログ信号処理部18に供給される。アナログ信号
処理部18は、第1のゲインコントロール回路(以下、
前段ゲインブロックという)30、タイミング発生回路
32、及びA/D変換器34を含む。CCD16から出
力された信号は各画素毎に赤(R)、緑(G)、青
(B)の各色信号に分離されるとともに、前段ゲインブ
ロック30においてアナログゲインによるホワイトバラ
ンス調整(第1のホワイトバランス補正)が行われる。
【0014】前段ゲインブロック30は、R信号を増幅
する増幅器30Rと、B信号を増幅する増幅器30Bと
を有している(図2参照)。これら各増幅器30R、3
0BはCPU22から出力されるR制御値(R−CON
T)、及びB制御値(B−CONT)にしたがってゲイン値
が制御される。本例ではG信号を基準としてR信号とB
信号のレベルを可変する制御がなされる。ホワイトバラ
ンス制御の詳細について後述する。
【0015】前段ゲインブロック30から出力された信
号はA/D変換器34に加えられる。A/D変換器34
は、前段ゲインブロック30から順次加えられるR、
G、B信号を10ビット(0〜1023)のデジタル形
式のR、G、B信号に変換して出力する。尚、CCD駆
動回路28、前段ゲインブロック30、及びA/D変換
器34は、タイミング発生回路32から加えられるタイ
ミング信号によって同期して駆動されるようになってい
る。
【0016】A/D変換器34から出力されたR、G、
B信号は、デジタル信号処理部20に加えられる。デジ
タル信号処理部20は、積算ブロック36、第2のゲイ
ンコントロール回路(後段ゲインブロックという)3
8、ガンマ補正ブロック40、YC処理ブロック42、
及びエンコードブロック44を含む。A/D変換器34
から出力されたR、G、B信号は、バス46を介してC
PU22内のダイナミックランダムアクセスメモリ(D
RAM)48に導かれ、DRAM48のCCDデータ格
納部48Aに記憶されるとともに、積算ブロック36に
供給される。
【0017】積算ブロック36は1画面を複数のエリア
(例えば、64×64)に分割し、各エリア毎にR、
G、B信号の色別の平均積算値を算出する回路であり、
その算出結果はCPU22に提供される。また、この積
算ブロック36はCPU22とともにAE演算部を構成
している。後段ゲインブロック38はDRAM48から
読み出されたR、G、B信号のデジタル値をそれぞれ増
減するための乗算器38R、38G、38Bから構成さ
れており(図2参照)、各色チャンネルの乗算器38
R、38G、38BにはCPU22からホワイトバラン
ス補正のための補正値を示す制御信号(R−CONT、G−
CONT、B−CONT)が加えられる。各乗算器38R、38
G、38BはDRAM48から読み出されたR、G、B
信号のデジタル値と、前記CPU22から供給される調
整値とを乗算し、この乗算によってホワイトバランス調
整されたR、G、B信号をガンマ補正ブロック40に出
力する。
【0018】かかる後段ゲインブロック38において
も、Gチャンネルを基準としてR及びBの値が調整され
る。尚、後段ゲインブロック38におけるホワイトバラ
ンス補正(第2のホワイトバランス補正)の詳細につい
ては後述する。ガンマ補正ブロック40は、ホワイトバ
ランス調整されたR、G、B信号が所望のガンマ特性と
なるように入出力特性を変更し、また、10ビットの信
号が8ビットの信号となるように変更し、YC処理ブロ
ック42に出力する。
【0019】YC処理ブロック42は、ガンマ補正され
たR、G、B信号から輝度信号Yとクロマ信号Cr、C
bとを作成する回路で構成される。これらの輝度信号Y
とクロマ信号Cr、Cb(YC信号)は、バス46を介
してDRAM48に導かれ、DRAM48のYCデータ
格納部48Bに記憶される。撮影時にDRAM48に格
納されたYC信号は、図示せぬ圧縮伸張回路によって所
定のフォーマットに従って圧縮されたのち、メモリカー
ド24などの記録媒体に記録される。メモリカードの種
類として例えばスマートメディアが使用される。尚、記
録媒体はこれに限らず、PCカード、フラッシュメモリ
ーカード、ICカード、フロッピーディスク、光磁気デ
ィスク(MO)、スティックメモリ等の他の種類であっ
てもよい。
【0020】メモリカード24に記録されているデータ
はCPU22を介して読み出しが可能であり、メモリカ
ード24から読み出されたデータは、図示せぬ圧縮伸張
回路において再生処理された後、DRAM48に格納さ
れる。画像信号を液晶モニタ26や図示せぬ外部機器に
出力する場合には、DRAM48から輝度信号と色差信
号をエンコードブロック44に供給する。
【0021】エンコードブロック44は入力された輝度
信号及び色差信号を所定の映像信号(例えば、NTSC
形式のビデオ信号)に変換して出力部から出力する。こ
れにより、撮影モード時にはCCD16を介して取得さ
れ撮像された画像が液晶モニタ26に表示され、また、
再生モード時にはメモリカード24に記録されている画
像が液晶モニタ26に再生表示される。尚、画像を表示
する手段は液晶モニタ26に限らず、他の表示装置でも
よい。
【0022】CPU22は撮影開始指示スイッチに相当
するシャッタボタン等の各種操作スイッチを含む操作部
50からの入力に基づいて各回路を統括制御するととも
に、オートフォーカス、自動露光制御、オートホワイト
バランス等の制御を行う制御手段の役割を果たす。オー
トフォーカス制御は、例えばG信号の高周波成分が最大
になるように撮影レンズ12を移動させるコントラスト
AFであり、シャッタボタンの半押し時にG信号の高周
波成分が最大になるようにレンズ駆動部52を介して撮
影レンズ12を合焦位置に移動させる。
【0023】また、自動露光制御(AE)は、1フレー
ムのR、G、B信号を積算した積算値に基づいて被写体
輝度(撮影EV)を求め、この撮影EVに基づいて絞り
値とシャッタスピードを決定し、絞り駆動部54を介し
て絞り装置14を駆動するとともに、決定したシャッタ
スピードとなるように電子シャッタによって電荷の蓄積
時間を制御し、再度1フレームのR、G、B信号を取得
して再度撮影EVを求める。
【0024】シャッタボタンの半押し時に上記測光動作
を複数回繰り返して正確な撮影EVを求め、この撮影E
Vに基づいて撮影時の絞り値とシャッタスピードを最終
的に決定する。そして、シャッタボタンの全押し時に前
記最終的に決定した絞り値になるように絞り駆動部44
を介して絞り14を駆動し、また、決定したシャッタス
ピードとなるように電子シャッタによって電荷の蓄積時
間を制御する。
【0025】また、このデジタルカメラ10はストロボ
装置56を有し、図示せぬストロボキーの操作に応じ
て、低輝度時にストロボ装置56を自動的に発光させる
低輝度自動発光モード、被写体輝度にかかわらずストロ
ボ装置56を発光させる強制発光モード、又はストロボ
装置56の発光を禁止させる発光禁止モード等に設定さ
れる。
【0026】CPU22はユーザが選択したストロボモ
ードに応じて図示しないメインコンデンサの充電制御
や、発光管(例えば、キセノン管)への放電(発光)タ
イミング等を制御する。また、CPU22はストロボモ
ードの設定に応じたホワイトバランス制御を行うように
なっている。EEPROM58にはホワイトバランス制
御に必要な調整値データが格納されており、CPU22
は必要に応じてこれらデータを活用する。
【0027】次に、ホワイトバランス制御方法について
説明する。図3は、本例のデジタルカメラ10における
画像記録動作時(録画時)の処理の流れを示すフローチ
ャートである。CPU22はシャッタボタンの半押し
(S1 =ON)操作の有無を監視し(ステップS31
0)、S1 がONしたことを検出すると、CCD16を
含む撮像系の電源ON処理を行う(ステップS31
2)。そして、撮像系が安定状態になった後、AE処理
を実行する(ステップS314)。ここでのAE演算結
果に基づいて、適正露出にセットされた時の積算データ
を基に、最初のホワイトバランス処理(1)を行う(ス
テップS316)。
【0028】この時のホワイトバランス制御は、積算ブ
ロック36から受入するR、G、B画素の積算値からR
/G、B/Gの比を求め、これらR/G、B/Gの値
と、AE演算による撮影EV値の情報に基づいてシーン
判別(光源種の判別)を行い、シーンに適した所定のホ
ワイトバランス調整値に従って、前段ゲインブロック3
0のアンプゲインを制御する。尚、シーン判別において
は、R/G、B/Gの値を利用するのに代えて、R−
Y、B−Yなど色温度情報を用いてもよい。シーン判別
の具体的手法については後述する。
【0029】このホワイトバランス処理(1)によって
AEレベルが変化することになるため、もう一度AE処
理を行う(ステップS318)。次いで、AF処理を行
う(ステップS320)。その後、CPU22はシャッ
タボタンの全押し(S2 =ON)の有無を監視し(ステ
ップS322)、S2 がONしたことを検出すると、記
録用画像の取得(本撮像)の処理において、もう一度ホ
ワイトバランス処理(2)を行う(S324)。ここで
のホワイトバランス制御は、本撮像で得られた画像デー
タから、R/G、B/Gを求め、これらR/G、B/G
の値に基づいて計算されたホワイトバランス調整値に従
って、後段ゲインブロック38のゲインを制御する。
【0030】すなわち、本撮像で取り込んだ1画面の画
像データからRの積算値、Bの積算値、Gの積算値を得
て、R/G、B/Gを求める。このとき、カラーフェリ
アを防ぐため色成分が高いデータは取り除き、残りのR
/G、B/Gデータの各比の値が1(つまり、1画面に
おいてR、G、Bの積算比率がR:G:B=1:1:
1)になるように、各色チャンネルの信号に補正をかけ
る。
【0031】これにより、本撮像に係る画像に対してホ
ワイトバランスの微調整を行うことができる。特に、ス
トロボ装置56は本撮像時にしか発光しないため、ステ
ップS316で設定したホワイトバランスが、実際のス
トロボ発光によってずれることがあるが、本実施の形態
のように、本撮像時にデジタルゲインによるホワイトバ
ランスの微補正を行うことにより、良好な画像を取得す
ることができる。
【0032】続いて、画像信号の黒レベル補正を行う
(ステップS326)。これは、CCDから取得される
画像信号のバイアスレベルが多少上下に変動するため
に、画像信号からバイアス分を除去する処理である。
尚、かかる黒レベル補正に必要な黒レベルを知るため
に、CCD16の感光画素の一部が遮光されている。画
像の取り込みが終了すると、CPU22は撮像系の電源
OFF処理を行う(ステップS328)。そして、液晶
モニタ26にプレビュー画を再生表示するとともに(ス
テップS330)、当該取得画像のデータをメモリカー
ド24に書き込む(ステップS332)。メモリカード
24への記録処理が終了したら、処理はステップS31
0に戻り、次の録画開始指示の入力を待つ。
【0033】図4には、本例のデジタルカメラ10にお
いて、シャッタボタンが押される前から、液晶モニタ2
6に動画(スルー画)を表示させている場合の撮影動作
の処理手順が示されている。録画待機中に動画を表示さ
せるモードの場合、先ず、CPU22は撮像系の電源O
N処理を行い(ステップS410)、CCD16からの
画像取り込みを可能にする。そして、動画についてAE
処理を行うとともに(ステップS412)、前段ゲイン
ブロック30を用いて、フィードバック制御によるホワ
イトバランス処理(3)を行う(ステップS414)。
【0034】次いで、CPU22はシャッタボタンの半
押し(S1 =ON)操作の有無を判定し(ステップS4
16)、S1 がONしていないときは、ステップS41
0に戻って、上記処理ステップS410〜S416)が
繰り返され、液晶モニタ26には動画が表示される。ス
テップS416においてS1 がONしたことが検出され
ると、静止画取り込みのためのAE処理を実行する(ス
テップS418)。次いで、シーン判別に基づくホワイ
トバランス処理(4)を行う(ステップS420)。こ
の処理は、図3のステップS316で説明したホワイト
バランス処理(1)とほぼ同様であるが、ステップS4
14においてフィードバックによるホワイトバランス補
正がかけられているので、正確なシーン判別を行うため
に、ゲインの逆算、或いは、S1 =ONに連動してホワ
イトバランス補正のリセットが必要となる。尚、ステッ
プS414における動画のホワイトバランスの結果を活
用することも考えられるが、フィードバックによるホワ
イトバランス補正が収束する前にシャッタボタンが押さ
れる場合もあり得るので、本例ではS1 がONした後に
改めてホワイトバランス補正を行うようにしている。
【0035】ステップS420に示したホワイトバラン
ス処理(4)によってAEレベルが変化することになる
ため、もう一度AE処理を行う(ステップS422)。
次いで、AF処理を行う(ステップS424)。その
後、CPU22はシャッタボタンの全押し(S2 =O
N)の有無を監視し(ステップS426)、S2 がON
したことを検出すると、本撮像の処理において、もう一
度ホワイトバランス処理(5)を行う(S428)。こ
こでのホワイトバランス制御は、図3のステップS32
4で説明したホワイトバランス処理(2)と同様の処理
であり、後段ゲインブロック38のデジタルゲインを制
御して、ホワイトバランスの微補正を行う。
【0036】続いて、画像信号の黒レベル補正を行い
(ステップS430)、画像の取り込みが終了したらC
PU22は撮像系の電源OFF処理を行う(ステップS
432)。そして、液晶モニタ26にプレビュー画を再
生表示するとともに(ステップS434)、当該取得画
像のデータをメモリカード24に書き込む(ステップS
436)。メモリカード24への記録処理が終了した
後、処理はステップS410に戻り、次の録画開始指示
の入力を待つことになる。尚、S1 =ON及びS2=O
Nの信号は図示せぬリモコン装置から与えられてもよ
い。
【0037】また、撮影条件をユーザが手動で設定する
マニュアル撮影モードの場合、又は、ストロボ発光時に
は、前段ゲインブロック30は予め決められている所定
のゲインに切り替えられる。この時、前段ゲインブロッ
ク30におけるホワイトバランス制御では、EEPRO
M58に保存されている各ポジションの調整されたデー
タを使用することになる。尚、前記マニュアル撮影モー
ド時、又は、ストロボ発光時には、後段ゲインブロック
38のデジタルゲインでは補正を行わず、前段ゲインブ
ロック30のアナログゲインのみでホワイトバランス補
正を行う態様も可能である。
【0038】次に、シーン判別の手法及びシーン判別に
基づくホワイトバランス制御方法の一例について説明す
る。前段ゲインブロック30におけるゲインの調整値に
相当するR制御値(R−CONT)、及びB制御値(B−CO
NT)は、ストロボモードに応じて次のように決定され
る。
【0039】まず、低輝度自動発光モードの場合のホワ
イトバランス制御について、図5のフローチャートを参
照しながら説明する。この場合、シャッタボタンの半押
し(S1 =ON)時に1フレーム分のR、G、Bデータ
から撮影EV値を取得すると(ステップS510)、そ
の撮影EV値に基づいて低輝度発光するか否かを判別す
る(ステップS512)。ここで、撮影EV値が所定の
値(10EV)以下の場合には、低輝度発光すると判別
し、ストロボ光に適したホワイトバランス制御を行う
(ステップS514)。即ち、ストロボ光に対して良好
なホワイトバランスを行うためのホワイトバランスゲイ
ン値Rg、BgがEEPROM58内に予め準備されて
おり、これらのゲイン値Rg、Bgを示す調整値(R−
CONT、B−CONT)が前段ゲインブロック30に加えられ
る。
【0040】一方、ステップS512において低輝度発
光しないと判定した時は、積算ブロック36から受入す
る各エリアごとのR、G、B信号の色別の平均積算値か
ら、R信号の積算値とG信号の積算値との比R/G、及
びB信号の積算値とG信号の積算値との比B/Gを求め
る(ステップS516)。次に、日陰らしさを検出する
(ステップS518)。この日陰らしさの検出は、以下
に示す日陰らしさの評価値を計算することによって行
う。
【0041】
【数1】日陰らしさの評価値 =F(屋外らしさ)*F
(日陰らしさ)*F(青空) 上記式において、F(屋外らしさ)は、図8に示すよう
に撮影EV値を変数とする屋外日陰らしさを表すメンバ
シップ関数の値である。また、F(日陰らしさ)は、図
10に示すように所定の輝度以下のエリアであって、日
陰検出枠内に入るエリアの個数を変数とする日陰らしさ
を表すメンバシップ関数の値であり、F(青空)は、図
11に示すように所定の輝度以上のエリアであって、青
空検出枠内に入るエリアの個数を変数とする青空を表す
メンバシップ関数の値である。
【0042】ここで、各エリアの輝度(EV値Evi)
は、次式、
【0043】
【数2】Evi=Ev+log2(Gi/45) 但し、Ev:撮影EV値 Gi:各エリアのGの平均積算値 に基づいて計算する。尚、上記式中の45は、A/D変
換後の値の中での適正値である。
【0044】また、日陰検出枠、青空検出枠等は、図7
に示すように横軸をR/Gとし、縦軸をB/Gとするグ
ラフ上に表された枠であり、各検出枠ごとに光源種など
の色分布の範囲を規定するものである。さて、前記F
(日陰らしさ)の値は、〔数2〕式によって求めたエリ
アのEV値Eviが12以下のエリアであって、エリアご
とに求めたR/G、B/Gが、図7上の日陰検出枠に入
るエリアの個数を求め、その個数に基づいて図10に示
すメンバシップ関数から求める。同様に、F(青空)の
値は、エリアのEV値Eviが12.5を越えるエリアで
あって、エリアごとに求めたR/G、B/Gが、図7上
の青空検出枠に入るエリアの個数を求め、その個数に基
づいて図11に示すメンバシップ関数から求める。尚、
F(青空)は、青空検出枠に入るエリアの個数が多い
程、日陰らしさの評価値を下げる方向に作用する値をと
る。
【0045】図2のステップS518では、F(屋外ら
しさ)と、F(日陰らしさ)と、F(青空)の各メンバ
シップ関数の値を積算して日陰らしさの評価値を求め
る。そして、ステップS520では、上記ステップS5
18で求めた日陰らしさの評価値が、所定の基準値(こ
の実施の形態では、0.47)以上か否かを判別し、日
陰らしさの評価値が0.47以上の場合には、屋外の日
陰であると判別し、屋外の日陰に適したホワイトバラン
ス制御を行う(ステップS522)。屋外の日陰のシー
ンに適したホワイトバランスを行うためのゲイン値がE
EPROM58内に予め準備されており、これらのゲイ
ン値を示す調整値(R−CONT、B−CONT)が前段ゲイン
ブロック30に加えられることによってホワイトバラン
ス補正が行われる。
【0046】一方、日陰らしさの評価値が、0.47未
満の場合には、デーライト(晴れ)と判別し、デーライ
トに適したホワイトバランス制御を行う(ステップS5
24)。デーライトのシーンに適したホワイトバランス
を行うためのゲイン値がEEPROM58内に予め準備
されており、これらのゲイン値を示す調整値(R−CON
T、B−CONT)が前段ゲインブロック30に加えられる
ことによってホワイトバランス補正が行われる。
【0047】次に、発光禁止モードの場合のホワイトバ
ランス制御について、図6のフローチャートを参照しな
がら説明する。この場合、シャッタボタンの半押し時に
撮影EV値を取得するとともに(ステップS630)、
図5のステップS516と同様に全画面が64×64に
分割された各エリアごとのR/G、B/Gを求める(ス
テップS632)。
【0048】次に、前述した日陰らしさの評価値の他
に、蛍光灯(昼光色、昼白色、白色)らしさの評価値、
及びタングステン電球らしさの評価値を、次式、
【0049】
【数3】昼光色らしさの評価値=F1(屋内らしさ)*F
(昼光色蛍光灯らしさ)
【0050】
【数4】昼白色らしさの評価値=F1(屋内らしさ)*F
(昼白色蛍光灯らしさ)
【0051】
【数5】白色らしさの評価値 =F1(屋内らしさ)*F
(白色蛍光灯らしさ)
【0052】
【数6】電球らしさの評価値 =F2(屋内らしさ)*F
(電球らしさ)*F(肌) に基づいて算出する。ここで、〔数3〕式乃至〔数5〕
式におけるF1(屋内らしさ)は、図9に示すように撮影
EV値を変数とする屋内(蛍光灯)らしさを表すメンバ
シップ関数の値であり、〔数6〕式におけるF2(屋内ら
しさ)は、図9に示すように撮影EV値(カッコ内の数
値)を変数とする屋内(タングステン電球)らしさを表
すメンバシップ関数の値である。
【0053】また、〔数3〕式乃至〔数6〕式における
F(昼光色蛍光灯らしさ)、F(昼白色蛍光灯らし
さ)、F(白色蛍光灯らしさ)及びF(電球らしさ)
は、それぞれ図7に示した昼光色検出枠、昼白色検出
枠、白色検出枠、及びタングステン電球検出枠内に入る
エリアの個数を変数とする、図12に示す蛍光灯・電球
らしさを表すメンバシップ関数の値である。
【0054】更に、〔数6〕式におけるF(肌)は、図
7に示した肌色検出枠内に入るエリアの個数を変数とす
る、図13に示す肌色を表すメンバシップ関数の値であ
る。尚、F(肌)は、肌色検出枠内のエリア数が多くな
るにしたがって電球らしさの評価値を下げるように作用
する。これは、肌色があるシーンで、タングステン電球
色に対するホワイトバランス制御を強くかけると、赤味
がとんで白っぽくなり顔色が悪くなるからである。
【0055】さて、日陰らしさの評価値(〔数1〕式参
照)、及び昼光色らしさの評価値、昼白色らしさの評価
値、白色らしさの評価値、電球らしさの評価値が算出さ
れると、これらの5つの評価値のうちの最大値が、0.
47以上か否かを判別する(図6のステップS63
6)。そして、最大値が0.47以上の場合には、その
最大値をとる評価値の光源色に適したホワイトバランス
制御を行う(ステップS638)。
【0056】一方、最大値が、0.47未満の場合に
は、デーライトと判別し、デーライトに適したホワイト
バランス制御を行う(ステップS640)。ここで、日
陰、昼光色蛍光灯、昼白色蛍光灯、白色蛍光灯、タング
ステン電球、及びデーライトの各光源色に適したホワイ
トバランス制御は、各光源色に対して良好なホワイトバ
ランスを行うためのゲイン値がEEPROM58内に予
め準備されており、これらのゲイン値を示す調整値(R
−CONT、B−CONT)が前段ゲインブロック30に加えら
れることによってホワイトバランス補正が行われる。
【0057】また、この実施の形態では、光源種検出の
ための評価値を〔数1〕式や、〔数3〕式乃至〔数6〕
式に基づいて算出するようにしたが、更に他の要素(他
のメンバシップ関数)を付加して算出するようにしても
よい。更に、光源種はこの実施の形態に限定されず、例
えば、蛍光灯は1種類又は2種類でもよい。本発明の実
施の形態によれば、前段ゲインブロック30のアナログ
ゲインでホワイトバランスを補正(粗調整)し、更に、
本撮像で得られた画像に対して後段のゲインブロック3
8のデジタルゲインでホワイトバランスを補正(微調
整)するようにしたので、画質劣化が少なく、またAE
レベルが崩れることなくホワイトバランス制御ができ
る。
【0058】特に、本実施の形態によれば、シャッタボ
タンの半押し(S1 =ON)時に、シーン判定に基づい
てホワイトバランス制御を行った後、シャッタボタンの
全押し(S2 =ON)時に、デジタルゲインによる微補
正を行うため、電球や蛍光灯のミックス光に対しても、
的確なホワイトバランス制御ができる。また、ストロボ
光が届かず、外部光源の影響が大きいシーンや、異なっ
た色温度のストロボ発光時でも的確なホワイトバランス
制御ができる。
【0059】
【発明の効果】以上説明したように本発明によれば、撮
影シーンの光源種の判別に基づいてA/D変換前にアナ
ログゲインによる第1のホワイトバランス補正を行い、
A/D変換後にデジタルゲインによる第2のホワイトバ
ランス補正を行うようにしたので、短時間でホワイトバ
ランス補正をすることができ、画質劣化が少なく、ホワ
イトバランス後にAEで求められたレベルと出力レベル
が大きく変動することもない。
【図面の簡単な説明】
【図1】本発明が適用されたデジタルカメラの実施の形
態を示すブロック図
【図2】図1に示したデジタルカメラの要部構成を示す
ブロック図
【図3】本例のデジタルカメラにおける画像記録動作時
の処理の流れを示すフローチャート
【図4】本例のデジタルカメラにおいて動画表示状態か
ら画像記録動作を開始する時の処理の流れを示すフロー
チャート
【図5】低輝度発光モード時のオートホワイトバランス
制御方法を説明するために用いたフローチャート
【図6】発光禁止モード時のオートホワイトバランス制
御方法を説明するために用いたフローチャート
【図7】光源種などの色分布の範囲を示す検出枠を示す
グラフ
【図8】屋外らしさを表すメンバシップ関数を示すグラ
【図9】屋内らしさを表すメンバシップ関数を示すグラ
【図10】日陰らしさを表すメンバシップ関数を示すグ
ラフ
【図11】青空を表すメンバシップ関数を示すグラフ
【図12】蛍光灯・電球らしさを表すメンバシップ関数
を示すグラフ
【図13】肌色を表すメンバシップ関数を示すグラフ
【符号の説明】
10…デジタルカメラ、16…CCD(撮像素子)、1
8…アナログ信号処理部、20…デジタル信号処理部、
22…中央演算処理装置(CPU)、24…メモリカー
ド、30…前段ゲインブロック(第1のホワイトバラン
ス補正手段)、34…A/D変換器、36…積算ブロッ
ク、38…後段ゲインブロック(第2のホワイトバラン
ス補正手段)
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA08 FA27 GB21 KA03 KA04 KA22 KA24 KA25 LA01 5C055 AA07 BA03 BA06 DA01 EA02 EA04 EA05 FA22 HA31 5C065 AA03 BB02 CC02 CC03 CC04 CC08 CC09 DD02 DD17 EE12 EE20 FF02 FF05 GG15 GG18 GG24 GG30 GG32 GG49 5C066 AA01 BA02 CA08 CA17 DA01 DC06 DD07 EA15 EE04 GA01 GA02 GA03 HA02 KA12 KD06 KE05 KE09 KE17 KE19 KF01 KG08 KM02 KM10 KM13

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 光学像を電気信号に変換する撮像素子
    と、 撮影シーンの光源種を判別する光源種判別手段と、 前記光源種判別手段で判定した光源種に適した所定のホ
    ワイトバランス調整値にしたがって、アナログ形式の画
    像信号のゲインを制御することによりホワイトバランス
    を補正する第1のホワイトバランス補正手段と、 アナログ形式の画像信号からデジタル形式の画像信号に
    変換するA/D変換器と、 前記A/D変換器から出力される画像信号に基づいて、
    各色チャンネルのホワイトバランス補正値を求め、当該
    求めたホワイトバランス補正値にしたがって各色チャン
    ネルのデジタル信号のゲインを制御することによりホワ
    イトバランスを補正する第2のホワイトバランス補正手
    段と、 を備えたことを特徴とするデジタルカメラ。
  2. 【請求項2】 撮影シーンの光源種を判別するステップ
    と、 その判別により特定した光源種に適した所定のホワイト
    バランス調整値にしたがって、アナログ形式の画像信号
    のゲインを制御することにより第1のホワイトバランス
    補正を行うステップと、 画像の記録実行指示の受入に呼応して撮像素子から読み
    出され、前記第1のホワイトバランス補正によってホワ
    イトバランスが補正されたアナログ形式の画像信号をA
    /D変換器によってデジタル形式の画像信号に変換する
    ステップと、 前記A/D変換器から出力されるデジタル形式の画像信
    号に基づいて、各色チャンネルのホワイトバランス補正
    値を求めるステップと、 当該求めたホワイトバランス補正値にしたがって各色チ
    ャンネルのデジタル信号のゲインを制御することにより
    第2のホワイトバランス補正を行うステップと、 を含むことを特徴とするオートホワイトバランス制御方
    法。
  3. 【請求項3】 前記第1のホワイトバランス補正にした
    がってホワイトバランスが補正されたアナログ形式の画
    像信号をA/D変換器によってデジタル形式の画像信号
    に変換して得られたデジタル画像信号に基づいて自動露
    出制御用の演算を行い、その演算結果に応じた露出制御
    のもとで、前記画像の記録実行指示の受入に呼応する撮
    像を行うことを特徴とする請求項2に記載のオートホワ
    イトバランス制御方法。
JP10428599A 1999-04-12 1999-04-12 デジタルカメラ及びオートホワイトバランス制御方法 Expired - Fee Related JP3896438B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10428599A JP3896438B2 (ja) 1999-04-12 1999-04-12 デジタルカメラ及びオートホワイトバランス制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10428599A JP3896438B2 (ja) 1999-04-12 1999-04-12 デジタルカメラ及びオートホワイトバランス制御方法

Publications (2)

Publication Number Publication Date
JP2000299876A true JP2000299876A (ja) 2000-10-24
JP3896438B2 JP3896438B2 (ja) 2007-03-22

Family

ID=14376670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10428599A Expired - Fee Related JP3896438B2 (ja) 1999-04-12 1999-04-12 デジタルカメラ及びオートホワイトバランス制御方法

Country Status (1)

Country Link
JP (1) JP3896438B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309393A (ja) * 2000-04-19 2001-11-02 Olympus Optical Co Ltd 撮像装置
JP2003087802A (ja) * 2001-09-07 2003-03-20 Ricoh Co Ltd カラー撮像装置
JP2003224865A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
JP2003224863A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
JP2003224864A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
JP2004297697A (ja) * 2003-03-28 2004-10-21 Fuji Photo Film Co Ltd 動画像処理装置および方法
JP2008072575A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理装置、方法、及びコンピュータプログラム
JP2008124928A (ja) * 2006-11-14 2008-05-29 Toshiba Corp オートホワイトバランスシステム
US7436439B2 (en) 2002-06-14 2008-10-14 Casio Computer Co., Ltd. Image pickup apparatus, gain control method, and gain control program, which sequentially set gain values in a gain adjusting circuit to select a gain value to be set in another gain adjusting circuit to maintain white balance
US7551207B2 (en) 2003-08-26 2009-06-23 Casio Computer Co., Ltd. Image pickup apparatus, white balance control method, and white balance control program
US7570284B2 (en) 2003-03-13 2009-08-04 Nikon Corporation White balance adjustment circuit and image-capturing apparatus
US7598986B2 (en) 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
JP2010183190A (ja) * 2009-02-03 2010-08-19 Canon Inc 撮像装置、その制御方法及びプログラム
JP2011166809A (ja) * 2011-04-18 2011-08-25 Sony Corp 撮像装置
CN101621705B (zh) * 2004-03-30 2012-02-08 豪威科技有限公司 自动白平衡的方法及装置
JP2012095026A (ja) * 2010-10-26 2012-05-17 Ricoh Co Ltd 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2012165147A (ja) * 2011-02-04 2012-08-30 Canon Inc 画像処理装置およびその制御方法
JP2020528248A (ja) * 2017-10-30 2020-09-17 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. ホワイトバランス処理方法、電子デバイスおよびコンピュータ可読記憶媒体
JP2020537441A (ja) * 2017-10-14 2020-12-17 華為技術有限公司Huawei Technologies Co.,Ltd. 写真撮影方法および電子装置
CN112584117A (zh) * 2020-12-11 2021-03-30 中国第一汽车股份有限公司 一种白平衡调节方法、装置、设备及存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309393A (ja) * 2000-04-19 2001-11-02 Olympus Optical Co Ltd 撮像装置
JP2003087802A (ja) * 2001-09-07 2003-03-20 Ricoh Co Ltd カラー撮像装置
JP2003224865A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
JP2003224863A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
JP2003224864A (ja) * 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd ホワイトバランス制御方法及びデジタルカメラ
US7436439B2 (en) 2002-06-14 2008-10-14 Casio Computer Co., Ltd. Image pickup apparatus, gain control method, and gain control program, which sequentially set gain values in a gain adjusting circuit to select a gain value to be set in another gain adjusting circuit to maintain white balance
US7598986B2 (en) 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
US7570284B2 (en) 2003-03-13 2009-08-04 Nikon Corporation White balance adjustment circuit and image-capturing apparatus
JP2004297697A (ja) * 2003-03-28 2004-10-21 Fuji Photo Film Co Ltd 動画像処理装置および方法
US7551207B2 (en) 2003-08-26 2009-06-23 Casio Computer Co., Ltd. Image pickup apparatus, white balance control method, and white balance control program
CN101621705B (zh) * 2004-03-30 2012-02-08 豪威科技有限公司 自动白平衡的方法及装置
JP2008072575A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理装置、方法、及びコンピュータプログラム
US8466983B2 (en) 2006-09-15 2013-06-18 Canon Kabushiki Kaisha Image processing apparatus performing white balance control
JP2008124928A (ja) * 2006-11-14 2008-05-29 Toshiba Corp オートホワイトバランスシステム
US8908061B2 (en) 2009-02-03 2014-12-09 Canon Kabushiki Kaisha Image sensing apparatus and method for controlling the same
JP2010183190A (ja) * 2009-02-03 2010-08-19 Canon Inc 撮像装置、その制御方法及びプログラム
JP2012095026A (ja) * 2010-10-26 2012-05-17 Ricoh Co Ltd 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2012165147A (ja) * 2011-02-04 2012-08-30 Canon Inc 画像処理装置およびその制御方法
JP2011166809A (ja) * 2011-04-18 2011-08-25 Sony Corp 撮像装置
JP2020537441A (ja) * 2017-10-14 2020-12-17 華為技術有限公司Huawei Technologies Co.,Ltd. 写真撮影方法および電子装置
JP2020528248A (ja) * 2017-10-30 2020-09-17 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. ホワイトバランス処理方法、電子デバイスおよびコンピュータ可読記憶媒体
CN112584117A (zh) * 2020-12-11 2021-03-30 中国第一汽车股份有限公司 一种白平衡调节方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP3896438B2 (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
JP3896438B2 (ja) デジタルカメラ及びオートホワイトバランス制御方法
US7683966B2 (en) Digital camera having an electronic flash device using LED as a flash light source
US7362370B2 (en) Image capturing apparatus, image capturing method, and computer-readable medium storing program using a distance measure for image correction
JP3473552B2 (ja) デジタルスチルカメラ
US7924343B2 (en) Photographing apparatus and exposure control method
US7944500B2 (en) Image processing system, image capturing apparatus, and system and method for detecting backlight status
JP2000224608A (ja) オートホワイトバランス制御方法
US7801433B2 (en) Camera with AF auxiliary illumination
JP2007243616A (ja) 露出制御方法及び撮像装置
JP2004157417A (ja) デジタルカメラ及びそのaf制御時の露出設定方法
JP4355500B2 (ja) デジタルカメラ
JP4158029B2 (ja) ホワイトバランス調整方法および電子カメラ
JP2002218495A (ja) ホワイトバランス制御方法及び電子カメラ
JP4374863B2 (ja) 撮像装置
JP4991366B2 (ja) ストロボ装置及びカメラ
US8041206B2 (en) Imaging apparatus and method for controlling flash emission
JP2003242504A (ja) 画像処理装置
JP2002300470A (ja) 撮像装置及びその制御方法
JP2001211457A (ja) デジタルカメラのオートホワイトバランス制御方法及びデジタルカメラ
JP3903095B2 (ja) ホワイトバランス制御方法及びデジタルカメラ
US7973829B2 (en) Image sensing apparatus, image sensing method, recording medium, and program for controlling exposure by correcting a brightness value when an optical filter is manually inserted
JP4081581B2 (ja) オートホワイトバランス制御方法
JP3903093B2 (ja) ホワイトバランス制御方法及びデジタルカメラ
JP2005260738A (ja) 撮像装置及びその露出制御方法
JP2006332936A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061108

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees