JP3633021B2 - 画像読取装置 - Google Patents

画像読取装置 Download PDF

Info

Publication number
JP3633021B2
JP3633021B2 JP05922195A JP5922195A JP3633021B2 JP 3633021 B2 JP3633021 B2 JP 3633021B2 JP 05922195 A JP05922195 A JP 05922195A JP 5922195 A JP5922195 A JP 5922195A JP 3633021 B2 JP3633021 B2 JP 3633021B2
Authority
JP
Japan
Prior art keywords
image data
pixel
white reference
image
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05922195A
Other languages
English (en)
Other versions
JPH08256264A (ja
Inventor
哉 坂下
浩二 寄本
康男 小松
篤 高橋
賢 ▲かじ▼川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP05922195A priority Critical patent/JP3633021B2/ja
Publication of JPH08256264A publication Critical patent/JPH08256264A/ja
Application granted granted Critical
Publication of JP3633021B2 publication Critical patent/JP3633021B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)
  • Storing Facsimile Image Data (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置に関する。
【0002】
【従来の技術】
デジタル複写機やファクシミリ装置などが光学的なイメージセンサを用いて原稿を読み取る場合には、光学系の歪、原稿を照射する光源の照度のばらつき、イメージセンサの画素ごとの感度ムラ等のシェーディング歪が各画素の画素値を不均質にするため、かかるシェーディング歪を電気的に是正する各種シェーディング補正技術が知られている。
【0003】
このシェーディング補正技術の代表的なものとして、原稿として読取るべき画像をイメージセンサで読取走査する前に、予め白色の基準面(以下、「白基準面」という。)を読取り、この読取画像データに基づいてシェーディング補正に用いる補正用データ(以下、「白基準画像データ」という。)を作成し、該白基準画像データに基づいてイメージセンサで原稿画像を読み取った画像の読取データの白レベルをシェーディング補正する技術がある。
【0004】
ところが、かかる従来技術では、シェーディング補正に用いる白基準画像データは、上記イメージセンサの光学的特性を正確に反映している必要があり、白基準面に付着したゴミや汚れ等の影響を受けていると、誤差が大きな補正を行うこととなり、かえって画質の劣化を招く原因となる。
【0005】
そこで、かかる白基準面に付着したゴミ等の影響を最小限に抑えるために、特開平2−202772号公報には、アナログ画信号の各ビットに対する補正係数がとり得る範囲を規定し、この範囲外の補正係数を指定するビットレベルが入力された画信号は、隣接または近傍の補正された画信号に基づいて補間する画信号補正方式が開示されている。
【0006】
しかしながら、この従来技術では、隣接または近傍に位置する画信号に基づいた局所的な補間を行っているにすぎないため、白基準面に付着した1画素〜数画素程度のゴミにしか対処することができない。
【0007】
また、特開平4−68868号公報には、1ライン分の画像データをメモリに取り込み、注目画素の前後複数画素の画素値の平均値を1ラインの右側と左側の両側からそれぞれ求めて注目画素の画素値とする包絡線回路が開示されている。
【0008】
しかしながら、この従来技術では、前後複数画素の平均値を注目画素ごとに順次求めるものであるため、シェーディング補正に用いる白基準画像データを作成するまでに時間を要し、シェーディング補正処理が遅延する。
【0009】
さらに、実開平2−55769号公報には、プレスキャン時に白基準面を読み取った読取データと、該読取データについて間引き及び欠損部の補間を行った低周波成分の補正データとに基づいて、白基準画像データを再生する画像読取装置が開示されている。
【0010】
しかしながら、この従来技術では、白基準面の読取データを間引いた部分を補間する際に、間引かずに残したデータに基づいて演算処理を行っているため、間引かずに残したデータ自身が白基準面に付着したゴミの影響を受けていると、かえって誤った低周波成分用の補正用データを用いることになり、ゴミの影響が拡大する。
【0011】
【発明が解決しようとする課題】
上述したように、特開平2−202772号公報に開示される画信号補正方式では、白基準面に付着した数画素程度のゴミにしか対応できず、特開平4−68868号公報に開示される包絡線回路では、平均化処理に伴う処理遅延が累増し、特開平2−55769号公報に開示される画像読取装置では、かえって画質の劣化を招くおそれがあるという問題があった。
【0012】
特に、シェーディング補正に用いる白基準画像データは、白基準面に付着したゴミや汚れ等の影響を除くだけでなく、イメージセンサの微細な光学的特性を正確に反映したものでなければならない。
【0013】
そこで、本発明では、上記問題点を解決し、白基準面に付着したゴミ及び汚れ等の影響を局限するとともに、イメージセンサの微細な光学的特性を正確に反映したシェーディング補正を迅速に行うことができる画像読取装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、前記記憶手段に記憶した画像データの画素毎に、該記憶手段に記憶した画像データと前記データ補間手段で補間した前記複数のラインの画像データを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新する白基準画像データ記憶制御手段とを具備することを特徴とする。
【0016】
また、請求項2の発明は、請求項1の発明において、前記白基準画像データ記憶制御手段は、前記データ補間手段で補間した複数のラインの画像データの同一画素に関する最大値および/または最小値を除くとともに、残りの画像データの平均値を各画素毎に求め、前記記憶手段に記憶した画像データと該平均値とを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新することを特徴とする。
【0017】
また、請求項3の発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、画素値に所定のしきい値以上の差がある場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段とを具備することを特徴とする。
【0018】
また、請求項4の発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが、前記記憶手段に記憶した画像データよりも第1のしきい値以上大きいか、又は前記記憶手段に記憶した画像データが、前記算定手段が算定した最大画像データよりも第2のしきい値以上大きい場合にのみ、前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段とを具備することを特徴とする。
【0019】
また、請求項5の発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、前記算定手段が算定した最大画像データに1未満の所定の定数を乗算した画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データに1未満の所定の定数を乗算した画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段とを具備することを特徴とする。
【0020】
また、請求項6の発明は、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データに1より大きいの所定の定数を乗算した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段とを具備することを特徴とする。
【0021】
【作用】
請求項1の発明によれば、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、読取手段により前記白基準面の複数のラインを新たに読取り、サンプリング手段により、該新たに読取った複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、データ補間手段により、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、白基準画像データ記憶制御手段が、前記記憶手段に記憶した画像データの画素毎に、該記憶手段に記憶した画像データと前記データ補間手段で補間した前記複数のラインの画像データを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新する。
【0023】
また、請求項2の発明によれば、前記データ補間手段で補間した複数のラインの画像データの同一画素に関する最大値および/または最小値を除くとともに、残りの画像データの平均値を各画素毎に求め、前記記憶手段に記憶した画像データと該平均値とを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新する。
【0024】
また、請求項3の発明によれば、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、読取手段により前記白基準面の複数のラインを新たに読取り、サンプリング手段により、該新たに読取った複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、データ補間手段により、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、前記データ補間手段が補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、画素値に所定のしきい値以上の差がある場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新し、前記白基準画像データとして前記記憶手段に記憶する。
【0025】
また、請求項4の発明によれば、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、読取手段により前記白基準面の複数のラインを新たに読取り、サンプリング手段により、該新たに読取った複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、データ補間手段により、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、前記データ補間手段が補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが、前記記憶手段に記憶した画像データよりも第1のしきい値以上大きいか、又は前記記憶手段に記憶した画像データが、前記算定手段が算定した最大画像データよりも第2のしきい値以上大きい場合にのみ、前記最大画像データを用いて前記記憶手段に記憶した画像データを更新し、前記白基準画像データとして前記記憶手段に記憶する。
【0026】
また、請求項5の発明によれば、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、読取手段により前記白基準面の複数のラインを新たに読取り、サンプリング手段により、該新たに読取った複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、データ補間手段により、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、前記データ補間手段が補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データに1未満の所定の定数を乗算した画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データに1未満の所定の定数を乗算した画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新し、前記白基準画像データとして前記記憶手段に記憶する。
【0027】
また、請求項6の発明によれば、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、読取手段により前記白基準面の複数のラインを新たに読取り、サンプリング手段により、該新たに読取った複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、データ補間手段により、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、前記記憶手段に記憶した画像データに1より大きい所定の定数を乗算した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新し、前記白基準画像データとして前記記憶手段に記憶する。
【0028】
【実施例】
以下、本発明の実施例について図面を参照して説明する。
【0029】
図2は、本発明に係る画像読取装置の外観構成を示す図である。
【0030】
図2(a)に示すように、この画像読取装置は、プラテンガラス21を上面に有する画像読取装置筐体22に、白色の原稿押さえ23を有する原稿押さえカバー24を開閉式に装着したものであり、原稿合わせマーク25の位置を合わせて原稿をプラテンガラス21上に載せ、原稿押さえカバー24を閉じた後に所定の操作を行うことにより、原稿の読取りが行われる。
【0031】
すなわち、図2(b)に示すように、原稿26の左辺及び下辺を原稿ガイド25に沿わせるとともに、読取面をプラテンガラス21側にして置き、原稿押さえカバー24を閉じることになる。
【0032】
なお、本実施例では、シェーディング補正に用いる白基準面25aを原稿ガイド25内に設け、この白基準面25aを読み取って白基準画像データを作成した後に原稿26を読取り、原稿26の読取データを白基準画像データに基づいてラインごとに補正している。
【0033】
図3は、上記画像読取装置の内部構造を示す図であり、原稿26をプラテンガラス21上に載せて所定の操作がなされると、ステッピングモータ22bにより副走査方向に移動する光源22cから上方に向けて光が照射され、この光が白基準面25a又は原稿26で反射した反射光がミラー22d及びレンズ22eを介してイメージセンサ制御基盤22f上のイメージセンサ22gに結像する。
【0034】
そして、イメージセンサ22gがこの結像を画像データに光電変換した後、制御ユニット22a内に設けられたA/D変換器が該画像データを量子化することで、例えば各画素が8ビットからなる256諧調のデジタル画像データが得られる。
【0035】
なお、この画像読取装置では、読取ラインを移動させながら白基準面25aを複数回読取り、それぞれの読取データに間引き及び補間処理を行なうことにより、白基準面25aに付着したゴミ及び汚れの影響を低減するとともに、生の読取データを考慮して光学系の特性を十分に反映するよう構成している。
【0036】
次に、この画像読取装置の制御ユニット22a内に設けられるシェーディング補正回路について説明する。
【0037】
図1は、本発明に係わるシェーディング補正回路の第1の実施例の細部構成を示す図である。
【0038】
図1に示すように、このシェーディング補正回路15は、補間回路15aと、パルス発生回路15bと、比較回路15cと、補正メモリ15dと、補正演算回路15eと、選択回路15fとから構成され、原稿11を読み取る前に、白基準面10を5ライン分読み取って白基準画像データを作成することとする。
【0039】
具体的には、白基準面10を読取る5ラインのうち、第2ライン〜第5ラインの読取データに対して後述する間引き及び補間を行うとともに、該補間したデータと第1ラインの読取データを用いて白基準画像データを作成する。
【0040】
補間回路15aは、白基準面10で反射し、レンズ12、イメージセンサ13及びA/D変換器14を介して入力された画素列のうち、第2ライン〜第5ラインに対応する画素列を受け取り、各画素列から画素の間引きを行うとともに、間引いた画素の画素値を補間して比較回路15cに出力する処理部である。
【0041】
具体的には、パルス発生回路15bから得られるサンプリングパルスに基づいて、入力された画素列のうち一定間隔で位置する画素をラッチすることにより、ラッチした画素以外の画素を間引くとともに、ラッチした画素の画素値に基づいて欠損部の画素値を補間する。
【0042】
すなわち、この実施例では、各画素が白基準面10に付着したゴミの影響を低減するために、白基準面10の第2ライン〜第5ラインに対応する画素列をラインごとに読み込むと、8画素づつ離隔した画素の画素値をラッチして、結果的にラッチした画素以外の画素を画素列から間引き、間引いた画素の画素値をラッチした画素の画素値に基づいて算定することにより、かかる欠損部の補間を行っている。
【0043】
ところが、ラッチした画素の画素値自体が白基準面10に付着したゴミの影響を受けていると、かかる間引き及び補間により却ってゴミの影響を拡大する結果となる。
【0044】
このため、この実施例では、白基準面10の第2ライン〜第5ラインの4ラインについて、各ラインごとに間引く画素の位置を変えながら欠損部の補間を行うことで、ラッチした画素の画素値自体が白基準面10に付着したゴミの影響を受けた場合の不具合を解消している。
【0045】
パルス発生回路15bは、上記補間回路15a及び選択回路15fにサンプリングパルスを提供するパルス発生回路である。
【0046】
比較回路15cは、補正メモリ15dに記憶した補正データと、補間回路15aが間引き及び補間を行った補間データとを画素ごとに比較して、比較結果を選択回路15cに出力する回路である。
【0047】
選択回路15fは、A/D変換器14から受け取った画素列と、比較回路15cから受け取った画素列のいずれを補正メモリ15dに出力するかを選択する処理部であり、具体的には、A/D変換器14から受け取った画素列が白基準面10の第1ラインに対応する画素列である場合には該画素列を補正メモリ15dに出力し、それ以外の場合には比較回路15cから受け取った画素列を補正メモリ15dに出力する。
【0048】
補正メモリ15dは、選択回路15fが選択した画素列を記憶するラインメモリであり、少なくとも上記画素列の各画素値を記憶できる記憶容量を有している。
【0049】
補正演算回路15eは、レンズ12及びイメージセンサ13の光学系と、A/D変換器14とを介して原稿11を読み取った画像データを、補正メモリ15dの画素値に基づいてラインごとにシェーディング補正する演算回路であり、演算結果を画像処理部16に出力する。
【0050】
上記構成を有するシェーディング補正回路15を用いて、白基準面10の第2ライン〜第5ラインを読み取る都度、画素の間引き及びその補間を行い、補正メモリ15cに記憶した第1ラインの画素列と画素ごとに比較して、より大きな画素値を補正メモリ15cに格納することにより、白基準面10に付着したゴミの影響を低減しつつ光学的特性を反映した白基準画像データを作成している。
【0051】
次に、上記パルス発生回路15bの細部構成と、該パルス発生回路15bから出力されるサンプリングパルスの発生タイミングについて説明する。
【0052】
図4は、図1に示すパルス発生回路15bの細部構成を示す図である。
【0053】
図4に示すように、このパルス発生回路15bは、8クロックの間隔でサンプリングパルスを発生するサンプリング画素アドレスカウンタ41と、ラインごとに第1パルスの発生時期をシフトするためのシフト量(第1の実施例では2クロックとする。)をサンプリング画素アドレスカウンタ41に出力するシフト量カウンタ42とからなり、サンプリング画素アドレスカウンタ41は、ビデオクロック(CK)と、ライン同期信号(LD)と、ライン同期信号に基づいて動作するシフト量カウンタ42から出力されるシフト量とを受け取ると、ラインごとにパルスの発生タイミングを2クロックシフトしたサンプリングパルスを出力する。
【0054】
図5は、このパルス発生回路15bが出力するサンプリングパルスの発生タイミングを示すタイミングチャートである。なお、このタイミングチャートでは、白基準面10の第2ライン〜第5ラインに対応する部分のみを説明する。
【0055】
図5に示すように、第2ラインの場合には、ビデオクロックの第1クロックを起点としてパルス5aを発生するとともに、次のパルス5bをパルス5aから8クロック遅れた第9クロックで発生し、同様にパルス5c及びパルス5dを発生する。
【0056】
次に、第3ラインの場合には、最初のパルス発生時期を第2ラインの場合よりも2クロックずらし、第3クロックを起点としてパルス5eを発生し、その後8クロックごとに順次パルスを発生する。
【0057】
また、第4ラインの場合には、最初のパルス発生時期を第3ラインの場合よりもさらに2クロックずらし、第5クロックを起点としてパルス5fを発生し、その後8クロックごとに順次パルスを発生する。
【0058】
さらに、第5ラインの場合には、最初のパルス発生時期を第4ラインの場合よりもさらに2クロックずらし、第7クロックを起点としてパルス5gを発生し、その後8クロックごとに順次パルスを発生する。
【0059】
このように、パルス発生回路15bは、シフト量カウンタ42に格納されたクロック数だけラインごとにパルスの発生時期をずらしながら、8クロックのパルス間隔でサンプリングパルスを発生する。
【0060】
したがって、補間回路15aでは、8クロック(8画素)のパルス間隔からなり、ラインごとに2クロック(2画素)シフトされたサンプリングパルスに基づいて、画素値のラッチを行っており、結果的に、パルス発生回路15bのサンプリングパルスに基づいてラッチした画素間に位置する7画素を間引きしている。
【0061】
なお、本実施例では、間引き間隔を8画素とし、ラインごとのシフト量を2画素とする場合について説明するが、この間引き間隔及びシフト量は任意に設定することができる。
【0062】
次に、補間回路15aの内部構成と、補間回路15aが行う補間処理とを詳細に説明する。
【0063】
図6は、図1に示す補間回路15aの細部構成を示すブロック図である。
【0064】
図6に示すように、この補間回路15aは、ラッチ回路61と、レジスタ62と、補間係数算出回路63と、乗算器64及び65と、加算器66とから構成される。
【0065】
ラッチ回路61は、パルス発生回路15bが出力するサンプリングパルスに基づいて、白基準面10の第2ライン〜第5ラインに対応する各画素列から8画素ごとに画素値をラッチする回路である。
【0066】
なお、このラッチ回路61がラッチした画素値は、次の画素値をラッチするまでラッチ回路61内部に保持され、次の画素値をラッチした時点でレジスタ62に出力する。
【0067】
レジスタ62は、ラッチ回路61から受け取った画素値を保持するレジスタであり、ラッチ回路61が画素値を乗算器64に出力する際に、レジスタ内部に保持した画素値が乗算器65に出力される。
【0068】
すなわち、レジスタ62及びラッチ回路61には、入力された画素列から連続してラッチされる8画素離れた2つの画素の画素値がそれぞれ格納されることになる。
【0069】
例えば、図5に示すサンプリングパルスの場合には、ラッチ回路61は、まず最初にパルス5aに基づいてラッチした第1画素の画素値を内部に保持し、該ラッチ回路61が、次のパルス5bに基づいて第9画素の画素値をラッチした時点で、第1画素の画素値をレジスタ62に出力し、第9画素の画素値を内部に保持する。したがって、この時点で、レジスタ62には第1画素の画素値が保持され、ラッチ回路61には第9画素の画素値が保持される。
【0070】
そして、レジスタ62及びラッチ回路61がそれぞれ保持する画素値が乗算部64及び65に出力され、必要な補正係数との積を取った後に加算されることにより、第2画素〜第8画素までの画素値が補間される。
【0071】
次に、ラッチ回路61が次のパルス5cに基づいて第17画素の画素値をラッチしたならば、ラッチ回路61内部に保持した第9画素の画素値がレジスタ62に出力され、同様の処理が行われる。
【0072】
このように、上記ラッチ回路61及びレジスタ62に保持した画素値に基づいて間引いた画素の画素値を補間する。
【0073】
次に、上記構成を有する補間回路15aが行う補間処理について具体的に説明する。
【0074】
図7は、上記補間回路15aが行う補間処理の具体例を示す図である。
【0075】
図7に示すように、ここでは、パルス7aに基づいてラッチされ、レジスタ62内に保持された第n画素と、パルス7bに基づいてラッチされ、ラッチ回路61内に保持された第n+8画素との間に位置する第n+1画素〜第n+7画素の画素値を、第n画素の画素値及び第n+8画素の画素値を比例配分して補間する場合について説明する。
【0076】
第n画素の画素値を’a’とし、第n+8画素の画素値を’b’とすると、第n+i画素(i=1〜7)の画素値ciは、
ci = {(8−i)/8}×n + (i/8)×(n+8)
と推定することができる。
【0077】
このため、各画素値は、
c1 = 7/8×n+(1/8)×(n+8)
c2 = 6/8×n+(2/8)×(n+8)
c3 = 5/8×n+(3/8)×(n+8)
c4 = 4/8×n+(4/8)×(n+8)
c5 = 3/8×n+(5/8)×(n+8)
c6 = 2/8×n+(6/8)×(n+8)
c7 = 1/8×n+(7/8)×(n+8)
と算定できる。
【0078】
したがって、レジスタ62に保持された第n画素の画素値aと、ラッチ回路61に保持された第n+8画素の画素値bとを用いて、第n+i画素の画素値ciを補間する場合には、補正係数算出回路63は、乗算器65に対しては(8−i)/8を出力し、乗算器64に対しては(i/8)を出力する。
【0079】
そして、補間回路15aは、上記補間手順により補間された画素列を比較回路15cに出力し、比較回路15は、該画素列の各画素値を補正メモリ15d内に保持する画素列の画素値と画素ごとに比較して、より大きな画素値を補正メモリ15d内に格納する。
【0080】
例えば、補間回路15aが白基準面10の第2ラインの処理を行った時点では、第1ラインを読み取った画素列の各画素値が補正メモリ15d内に格納されているため、第1ラインを読取った画素列と、第2ラインについて間引き及び補間処理を行った画素列とを画素ごとに比較して、画素値が大きな方を補正メモリ15d内に格納することとなる。
【0081】
上記一連の処理を白基準面10の第2ライン〜第5ラインに対してそれぞれ行うことにより、白基準面10に付着したゴミの影響を低減した白基準画像データを補正メモリ15d内に保持することができる。
【0082】
そして、原稿11を読み取った画像データがラインごとに入力されると、補正演算回路15eでは、補正メモリ15内の白基準画像データに基づいてシェーディング補正を行い、画像処理部16に出力する。
【0083】
なお、この画像処理部16では、シェーディング歪の補正を行った画像データに対して、フィルタ処理、拡大縮小処理、2値化処理等の予設定された画像処理を行っている。
【0084】
次に、上記シェーディング補正回路15が行う白基準画像データの作成手順について説明する。
【0085】
図8は、シェーディング補正回路15が行う白基準画像データの作成手順を示すフローチャートである。なお、ここでは、白基準面の第1ラインを取り込んだ画素列Xの各画素値を、第2ライン〜第5ラインの画素列にそれぞれ間引き及び補間を施したデータで更新する場合について説明する。
【0086】
まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ801)、該画素列Xを補正メモリ15dに格納する(ステップ802)。
【0087】
そして、次のラインである第2ラインの画素列の画素値を間引きながら取り込むとともに(ステップ803)、該画素列の間引いた画素の画素値を補間した補間データYを作成する(ステップ804)。
【0088】
次に、補正メモリ15dに記憶した画素列Xの画素位置を示す変数iを1に初期設定するとともに(ステップ805)、該補正メモリ15dに記憶した第i画素の画素値Xiを読み出して(ステップ806)、第2ラインの画素列の画素値を間引いて補間したデータYのi番目の画素の画素値Yiと大小比較する(ステップ807)。
【0089】
その結果、画素値Yiが画素値Xiよりも大きな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ808)、画素値Yiが画素値Xi以下である場合には、そのままステップ809に移行する。
【0090】
そして、補正メモリに第i+1画素が存在するか否かを確認し(ステップ809)、該画素が存在する場合には変数iをインクリメントして(ステップ810)、ステップ806に移行する。
【0091】
これに対して、補正メモリに第i+1画素が存在しない場合には、5ライン分の取り込みを終了したか否かを確認し(ステップ811)、5ライン分の処理が終了していない場合には、間引く画素位置を一定量移動して(ステップ812)、ステップ803に移行し、次のラインに対してステップ803〜811の処理を繰り返し、5ライン分の取り込みを終了したならば、白基準画像データの作成処理を終了する。
【0092】
上記一連の処理を行うことにより、白基準面10の第1ラインの読取データを第2ライン〜第5ラインに対して間引き及び補間を施したデータで更新することとができるため、白基準面10に付着したゴミの影響を低減しつつ光学的特性を十分に反映したシェーディング補正用の白基準画像データを補正メモリ15d内に保持することが可能となる。
【0093】
次に、上記一連の処理を行った場合の処理結果を具体的に示す。
【0094】
図9は、最終的に補正メモリ15dに保持される白基準画像データの画素列の画素値の波形等を示す図である。
【0095】
図9(a)は、白基準面10の第1ラインを読み取った画素列の画素値の波形を示しており、白基準面10に付着したゴミの影響を受けて、画素9a〜画素9bの間で画素値が落ち込む様子を示している。
【0096】
図9(b)は、パルス発生回路15bが発生したサンプリングパルスを示しており、このパルスが補間回路15aに出力され、補間回路15aが行う第2ライン〜第5ラインの間引き処理に利用される。
【0097】
また、本実施例では、サンプリング間隔を8画素としているので、各パルスを8クロック離間するとともに、シフト量を2画素としているので、各ラインに発生するパルスが2画素づつずれている。
【0098】
図9(c)は、白基準面の第2ライン〜第5ラインを読み取った各ラインに間引き及び補間を行った処理結果を示しており、第5ラインは、ラッチした画素9c自体がゴミの影響を受け、ゴミの影響を拡大した結果となっているが、第2ライン〜第4ラインについては、ゴミの影響を受けた画素を間引いた補間が行なわれ、画素値の落ち込みは見られない。
【0099】
図9(d)は、補正メモリ15dに保持されるデータが順次改善される様子を示している。
【0100】
すなわち、まず第1ラインの読取データが補正メモリ15dに格納させた時点では、上述したように画素9a〜画素9bの間で画素値の落ち込みが見られるが、該第ラインの読取データを第2ラインに間引き及び補間を施したデータで更新すると、画素9d〜画素9eに示すように落ち込みが改善されている。
【0101】
さらに、第3ライン及び第4ラインにそれぞれ間引き及び補間を施したデータで更新することにより、画素9f〜9g及び画素9h〜画素9iに示すように落ち込み部分が改善される。
【0102】
そして、最後に、第5ラインに基づいて更新することとなるが、この第5ラインに間引き及び補間を施したデータは、ラッチした画素9c自体がゴミの影響を受け、ゴミの影響を拡大した結果となっている。
【0103】
しかし、本実施例では、画素ごとに画素値を比較して、画素値の大きな方を採用するよう構成しているので、この第5ラインが補正メモリ15dの内容に悪影響をもたらさない。
【0104】
このように、第2ライン〜第5ラインにそれぞれ間引き及び補間を施したデータで第1ラインの読取データを更新した結果が、最終的に補正メモリ15dに記憶され、白基準画像データとして利用される。
【0105】
上述したように、第1の実施例では、ラインごとに2クロック単位でタイミングがシフトされた8クロック間隔のサンプリングパルスに基づいて、第2ライン〜第5ラインの読取データに対する画素の間引き及び補間を行うとともに、白基準面10の第1ラインの読取データと、第2ライン〜第5ラインに間引き及び補間を行ったデータとそれぞれ画素ごとに比較して画素値が最も大きなものを白基準画像データの構成画素として採用し、該構成画素からなる白基準画像データに基づいて原稿11を読み取った画像データを補正するよう構成したので、白基準面に付着したゴミ及び汚れ等の影響を局限するとともに、イメージセンサの微細な光学的特性を正確に反映したシェーディング補正を迅速に行うことができる。
【0106】
ところで、上記第1の実施例では、シェーディング補正回路15内の比較回路15cにおいて、間引き及び補間を行った画素の画素値と、補正メモリ15d内の画素の画素値とを大小比較し、大きな画素を補正メモリ15d内に保持するよう構成しているので、第1ラインの読取データ及び第2ライン〜第5ラインを補間したデータのうち、常に画素値が最大のものが白基準画像データの構成要素として利用されることになる。
【0107】
すなわち、白基準面にゴミが付着した場合には、一般的には当該部分の反射率が低下するため、第1の実施例ではその最大値を白基準画像データとして採用している。
【0108】
しかしながら、常に最大値をとることとすると、白基準画像データの各画素値が全体に高くなる傾向が生じ、また、白基準面よりも反射率が高いゴミが付着した場合には、白基準面に付着したゴミの影響を拡大することになる。
【0109】
そこで、以下では、かかる不具合を是正するシェーディング補正回路の第2の実施例について説明する。なお、説明の便宜上、上記第1の実施例と同様の部分については同一の符号を付することとしてその詳細な説明を省略する。
【0110】
図10は、本発明に係わるシェーディング補正回路の第2の実施例の細部構成を示す図である。
【0111】
図10に示すように、このシェーディング補正回路100は、図1に示す補間回路15a、パルス発生回路15b、比較回路15c、補正メモリ15d、補正演算回路15e及び選択回路15fに、ラインメモリ101a〜101dと、演算回路102を付加した構成となる。
【0112】
図1に示すシェーディング補正回路15と同様に、補間回路15aは、入力された画素列の中から8画素ごとに画素値をラッチするとともに、ラッチした画素間に位置する画素の画素値を補間する処理部であり、パルス発生回路15bは、上記補間回路15aが行うラッチのタイミングをサンプリングパルスとして提供するパルス発生回路である。
【0113】
また、補正メモリ15dは、比較回路15cにおける比較結果を記憶する記憶部であり、補正演算回路15eは、原稿11をラインごとに読み取った画像データを、補正メモリ15dの画素値に基づいてシェーディング補正する演算回路である。
【0114】
さらに、選択回路15fは、A/D変換器14から出力された画素列と比較回路15fから出力された画素列のいずれを補正メモリ15dに出力するかを選択する処理部であり、具体的には、A/D変換器14から出力された画素列が白基準面10の第1ラインに対応する画素列である場合には該画素列を補正メモリ15dに出力し、その以外の場合には比較回路15fから出力された画素列を補正メモリ15dに出力する。
【0115】
ラインメモリ101a〜101dは、補間回路15aが間引き及び補間した画素列を白基準面の読取ラインごとに記憶する記憶部である。なお、この第2の実施例においても、上記第1の実施例の場合と同様に、白基準面の読取ライン数を5ラインとし、そのうち第2ライン〜第5ラインに対応する4つのラインメモリを設けている。
【0116】
演算回路102は、上記4つのラインメモリ101a〜101dに保持した画素列の対応する位置に存在する各画素値から、それぞれ最大値及び最小値のものを除いた2つの画素値の平均値をとる演算を行う演算回路である。
【0117】
ここで、最大値を除く理由は、白基準面に反射率の高いゴミが付着し、本来の白基準画像データよりも高い画素値が出現した場合を考慮したためであり、最小値を除く理由は、白基準面に反射率の低いゴミが付着し、画素値が落ち込んだ場合を考慮したためである。
【0118】
上記構成を有するシェーディング補正回路100を用いることにより、反射率が異なる各種のゴミが白基準面に付着した場合であっても、かかるゴミの影響を除去したシェーディング補正を行うことができる。
【0119】
次に、上記演算回路102の細部構成について具体的に説明する。
【0120】
図11は、上記演算回路102の細部構成を示す図である。
【0121】
図11に示すように、この演算回路102は、最大値除去部102aと、最小値除去部102bと、平均値算出部102cとから構成される。
【0122】
最大値除去部102aは、ラインメモリ101a〜101dに格納された各画素列のうち、対応する位置に保持された4つの画素の画素値を同時に受け付け、かかる4つの画素値の最大値を算出し、該最大値を除去した3つの画素の画素値をそれぞれ最小値除去部102bに出力する処理部である。
【0123】
最小値除去部102bは、最大値除去部102aから受け取った3つの画素値から最小値を算出し、該最小値を除いた2つの画素値を平均値算出部102cに出力する処理部である。
【0124】
平均値算出部102cは、最小値除去部102bから受け取った2つの画素値の平均値を算出する処理部である。
【0125】
上記演算回路102を用いることにより、ラインメモリ101a〜101d内に保持する各画素の対応する位置に保持された4つの画素値のうち、最大値及び最小値を除去した2つの画素値の平均が、補正メモリ15dに格納され、該補正メモリ15d内に保持された画素値が、補正演算回路15eがシェーディング補正を行う際の白基準画像データとして使用される。
【0126】
次に、上記シェーディング補正回路100が白基準画像データを作成するまでの処理手順について説明する。
【0127】
図12は、シェーディング補正回路100が行う白基準画像データの作成手順を示すフローチャートである。
【0128】
まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ1201)、該画素列Xを補正メモリ15dに格納する(ステップ1202)。
【0129】
そして、白基準面10の読取ラインを示す変数jに2を設定した後(ステップ1203)、白基準面10の第jラインの画素列を間引きながらラッチして取り込む(ステップ1204)。なお、変数jに2を初期設定した理由は、間引き及び補間を行う第2ライン〜第5ラインに対応する変数としてjを用いているためである。
【0130】
次に、ラッチして取り込んだ第jラインの間引いた画素の画素値を補間したデータYjを作成し(ステップ1205)、ラインメモリjに格納する(ステップ1206)。
【0131】
そして、白基準面10の第5ラインまでの画素列の取り込みを終了したか否かを確認し(ステップ1207)、取り込みを終了していない場合には、間引く画素位置を一定量移動させ(ステップ1208)、変数jをインクリメントした後(ステップ1209)にステップ1204に移行する。
【0132】
これに対して、第5ラインまでの画素列を取り込み、間引き及び補間処理を終了して、その結果を各ラインメモリに格納した場合には、補正メモリ15d及び各ラインメモリに記憶した画素列の画素位置を示す変数iを1に初期設定し(ステップ1210)、各ラインメモリ内の第i画素の画素値を読み出す(ステップ1211)。
【0133】
そして、各ラインメモリから読み出した画素値の最大値及び最小値を判別し(ステップ1212)、該最大値及び最小値を除いた2つの画素の平均値Miを求める(ステップ1213)。
【0134】
すなわち、本実施例では、4つのラインメモリ101a〜101dにそれぞれ格納した画素列を対応する画素ごとに比較して、最大値及び最小値を除いた2つの画素の平均値Miを利用している。
【0135】
次に、補正メモリ15d内に記憶した画素列の第i画素の画素値Xiを読みだし(ステップ1214)、該画素値Xiと、ステップ1213で算出した平均値Miとを比較する(ステップ1215)。
【0136】
そして、画素値Xiが平均値Miよりも小さければ平均値Miを補正メモリ15dの第i画素として格納し(ステップ1216)、平均値Miよりも大きければそのまま次の処理に移行する。
【0137】
そして、補正メモリ15d内に次に処理すべき第i+1画素が存在するか否かを確認し(ステップ1217)、次に処理すべき画素が存在する場合には、変数iをインクリメントした後(ステップ1218)にステップ1211に移行し、次に処理すべき画素が存在しない場合には処理を終了する。
【0138】
上記一連の処理を行うことにより、白基準面10に反射率の高いゴミが付着した場合であっても、かかるゴミの影響を低減したシェーディング補正用の白基準画像データを補正メモリ15d内に保持することが可能となる。
【0139】
次に、上記一連の処理を行った場合の処理結果を具体的に示す。
【0140】
図13は、最終的に補正メモリ15dに保持される白基準画像データの画素列の画素値の波形等を示す図である。
【0141】
図13(a)は、白基準面10の第1ラインの読取データの画素列の画素値を示す波形であり、白基準面10に付着した反射率の高いゴミの影響を受けて、画素13a〜画素13bの間で画素値が上がり、白基準面10に付着した反射率の低いゴミの影響を受けて、画素13c〜13dの間で画素値が落ち込む様子を示している。なお、画像読取装置の光学的特性を受けて、画素13s〜画素13tの間にゆらぎが見られる。
【0142】
図13(b)は、パルス発生回路15bが発生するサンプリングパルスを示しており、このパルスが補間回路15aに出力され、補間回路15aが白基準面10の第2ライン〜第5ラインから画素をラッチする際に利用される。
【0143】
また、この実施例では、第1の実施例の場合と同様に、サンプリング間隔を8画素としているので、各パルスが8クロック離間するとともに、シフト量を2画素としているので、各ラインに発生するパルスが2画素づつずれている。
【0144】
図13(c)は、白基準面10を読み取った第2ライン〜第5ラインについて間引き及び補間を行った処理結果を示しており、第2ラインでは、ラッチした画素13e自体が反射率の高いゴミの影響を受けているため該反射率の高いゴミの影響を拡大した結果となっている。
【0145】
また、第3ライン及び第4ラインについては、ゴミの影響を受けた画素を間引いて補間を行っているため、画素値の落ち込みは見られない。
【0146】
さらに、第5ラインでは、ラッチした画素13f自体が反射率の低いゴミの影響を受けているため、該反射率の低いゴミの影響を拡大した結果となっている。
【0147】
そして、上記第2ライン〜第5ラインの各画素値が、それぞれラインメモリ101a〜101dに格納される。
【0148】
図13(d)は、白基準面10の第1ラインを示す波形と、図13(c)に示す第2ライン〜第5ラインを対応する画素ごとに比較して、最大値及び最小値を除いた2つの画素の平均値を示す波形とを対比して示す図である。
【0149】
第2ライン〜第5ラインを対応する画素ごとに比較して、最大値及び最小値を除いた2つの画素の平均値を示す波形を見ると、白基準面10に付着したゴミの影響を受けた画素13a〜画素13bに示す突出部分と、画素13c〜画素13dに示す落ち込み部分が解消しているだけでなく、画素13s〜画素13tに示すゆらぎ部分も解消されている。
【0150】
すなわち、白基準面10に付着したゴミの影響のみならず、本来残すべき光学系の影響をも除去した結果となっている。
【0151】
図13(e)は、最終的に補正メモリ15d内に保持される白基準画像データを示す図であり、具体的には、図13(d)に示す2つの波形を画素ごとに比較して、画素値の大きなものを採用している。
【0152】
この白基準画像データによると、画素13s〜画素13tに示す光学系の特性部分を残したまま、画素13a〜画素13b及び画素13c〜画素13dに出現した白基準面10の付着したゴミの影響を除去できたことが分かる。
【0153】
上述したように、第2の実施例では、白基準面10の第2ライン〜第5ラインに応じて2クロック単位でタイミングがシフトされた8クロック間隔のサンプリングパルスに基づいて、画素の間引きと、間引いた画素の画素値の補間とを行って各ラインメモリ101a〜101dに格納するとともに、対応する画素の画素値のうちの最大値及び最小値を除去した2つの画素の平均値を算出して、補正メモリ15dに格納した第1ラインの画素列を補正して白基準画像データを作成し、該白基準画像データに基づいて原稿11を読み取った画像データを補正するよう構成したので、白基準面11に反射率の高いゴミが付着した場合であっても、光学系の特性を十分に反映したシェーディング補正を迅速かつ適正に行うことができる。
【0154】
ところで、上記第1の実施例は、補正メモリ15dに格納した白基準面10の第1ラインの画素列を、第2ライン〜第5ラインに間引き及び補間を行った画素列と画素ごとに比較して最も大きな画素値に置換するよう構成し、また、上記第2の実施例は、白基準面10の第2ライン〜第5ラインに間引き及び補間を行った各画素列を画素ごとに比較して最大値及び最小値を除いた平均値を算出し、該平均値を補正メモリ15dに格納した白基準面10の第1ラインの画素列と比較して、より大きな画素値を補正メモリ15dに格納するよう構成した。
【0155】
すなわち、上記第1の実施例及び第2の実施例は、いずれも第1ラインの画素列と、第2ライン〜第5ラインの画素列に基づく補正データとを比較して、より大きな画素値を白基準画像データの構成要素をして採用するよう構成している。
【0156】
このため、上記第1ラインが光学的特性に係わる情報を保持していたとしても、第2ライン〜第5ラインの画素列に基づく補正データの各画素値が、第1ラインの画素列の各画素値よりも大きな場合には、光学的特性を没却する結果となる。
【0157】
そこで、以下では、上記第1ラインの画素列が有する光学的特性に係わる情報の喪失を避けるために、補正メモリ15dに格納した第1ラインの画素列を第2ライン〜第5ラインの画素列に基づく補正データに置き換えるための条件を設けた第3の実施例〜第6の実施例について説明する。
【0158】
なお、第3の実施例及び第4の実施例は、第1ラインの画素列の画素値と、第2ライン〜第5ラインの画素列に基づく補正データとを画素ごとに比較した場合に、その差が、あるしきい値よりも小さければ補正データによる置換を行わないという制限を設けている。また、第5の実施例及び第6の実施例は、2ライン〜第5ラインの画素列に基づく補正データと、第1ラインの読取データとを比較する際に、所定の定数を掛けた値を用いるという制限を設けている。
【0159】
まず、第3の実施例について説明する。
【0160】
図14は、本発明に係わるシェーディング補正回路の第3の実施例の細部構成を示す図である。
【0161】
図14に示すように、このシェーディング補正回路140は、図1に示す補間回路15a、パルス発生回路15b、比較回路15c、補正メモリ15d及び補正演算回路15eに、減算器140aと、基準値記憶部140bと、セレクタ部140c及び140dとを付加した構成となる。
【0162】
図1に示すシェーディング補正回路15と同様に、補間回路15aは、入力された画素列の中から8画素ごとに画素値をラッチするとともに、ラッチした画素間に位置する画素の画素値を補間する処理部であり、パルス発生回路15bは、補間回路15a、セレクタ部140c及びセレクタ部140dに対してサンプリングパルスを出力するパルス発生回路である。
【0163】
また、補正メモリ15dは、セレクタ部140c及び140dが選択した選択結果を記憶する記憶部であり、補正演算回路15eは、原稿11をラインごとに読み取った画像データを、補正メモリ15dの画素値に基づいてシェーディング補正する演算回路である。
【0164】
さらに、減算器140aは、補間回路15aが処理した画素列の画素値から、補正メモリ15dに記憶した第1ラインの画素列の画素値を減じて、両者の差を比較回路15cに出力する処理部である。
【0165】
基準値記憶部140bは、補間回路15aが処理した画素列の画素値で補正メモリ15dに記憶した第1ラインの画素列の画素値を置換するか否かのしきい値を記憶する記憶部であり、該しきい値としては、イメージセンサの感度むら及び光量分布による歪に基づく経験値及び理論値を踏まえた値が格納される。
【0166】
比較回路15cは、補間回路15aが処理した画素列の画素値と、補正メモリ15dに記憶した第1ラインの画素列の画素値との差を減算器140aから受け取ると、この値を基準値記憶部140bに記憶したしきい値と比較して、比較結果をセレクト信号としてセレクタ部140cに出力する処理部である。
【0167】
なお、補間回路15aからの画素値と、補正メモリ15dからの画素値との差がしきい値を超える場合にはセレクト信号を’1’として、補間回路15aからの画素値を新たに採用する旨をセレクタ部140cに通知するとともに、しきい値以下である場合にはセレクト信号を’0’として、補間回路15aからの画素値を採用しない旨をセレクタ部140cに通知する。
【0168】
セレクタ部140cは、比較回路15cから受け取ったセレクト信号に基づいて、補正メモリ15dから受け取った画素値と、補間回路15aから受け取った画素値のいずれの画素値を選択するかを決定し、該選択した画素値をセレクタ部140dに出力する処理部である。
【0169】
具体的には、セレクト信号が’1’の場合には、補間回路15dから受け取った画素値をセレクタ部140dに出力し、セレクト信号が’0’の場合には、補正メモリ15dから受け取った画素値をセレクタ部140dに出力する。
【0170】
セレクタ部140dは、白基準面10の第1ラインについては読取データを補正メモリ15dに出力し、第2ライン以降についてはセレクタ部140cから受け取ったデータを補正メモリ15dに出力する処理部である。
【0171】
次に、上記シェーディング補正回路140が白基準画像データを作成するまでの処理手順について説明する。
【0172】
図15は、シェーディング補正回路140が行う白基準画像データの作成手順を示すフローチャートである。
【0173】
第1の実施例の場合と同様に、まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ1501)、該画素列Xを補正メモリ15dに格納する(ステップ1502)。
【0174】
そして、次のラインである第2ラインの画素列の画素値を間引きながら取り込むとともに(ステップ1503)、該画素列の間引いた画素の画素値を補間した補間データYを作成する(ステップ1504)。
【0175】
次に、補正メモリ15dに記憶した画素列Xの画素位置を示す変数iを1に初期設定するとともに(ステップ1505)、該補正メモリ15dに記憶した第i画素の画素値Xiを読み出して(ステップ1506)、第2ラインの画素列の画素値を間引いて補間したデータYのi番目の画素の画素値Yiから画素値Xiを減じた値が、しきい値aよりも大きいか否かを確認する(ステップ1507)。
【0176】
その結果、画素値Yi−画素値Xiがしきい値aよりも大きな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ1508)、しきい値a以下である場合には、そのままステップ1509に移行する。
【0177】
そして、補正メモリに第i+1画素が存在するか否かを確認し(ステップ1509)、該画素が存在する場合には変数iをインクリメントして(ステップ1510)、ステップ1506に移行する。
【0178】
これに対して、補正メモリに第i+1画素が存在しない場合には、5ライン分の取り込みを終了したか否かを確認し(ステップ1511)、5ライン分の処理が終了していない場合には、間引く画素位置を一定量移動して(ステップ1512)、ステップ1503に移行し、次のラインに対してステップ1503〜1511の処理を繰り返し、5ライン分の取り込みを終了したならば、白基準画像データの作成処理を終了する。
【0179】
上記一連の処理を行うことにより、補間回路15aが補間したデータと、補正メモリ15dに記憶したデータとの差が、しきい値以下である場合には、白基準面10に付着したゴミの影響ではなく、イメージセンサの感度むらによる歪又は光量分布による歪と考えて、該補間回路が補間したデータを棄却し、光学系の特性を十分反映させることができる。
【0180】
次に、上記一連の処理を行った場合の処理結果を具体的に示す。
【0181】
図16は、順次補正メモリ15dに保持される中間結果と、最終的に補正メモリ15dに保持される白基準画像データの波形を示す図である。
【0182】
図16(a)は、白基準面10の第1ラインの読取データの画素列の画素値を示す波形であり、白基準面10に付着したゴミの影響を受けて、画素16a〜16bの間で画素値が落ち込むとともに、画素16cの近傍で光量分布による歪が生じ、また画素16dの近傍で感度むらによる歪が生じた様子を示している。
【0183】
図16(b)は、白基準面10の第2ラインの読取データに対して間引き及び補間処理を施した処理結果を実線で示し、この時点で補正メモリ15dに保持される第1ラインの読取データを点線で示す図であり、実線で示す第2ラインの処理結果については、ラッチした画素が白基準面10に付着したゴミの影響を受けたため、ゴミの影響が画素16e〜画素16fに拡大するとともに、光学的特性を示す画素16c及び画素16d近傍の歪が除去されている。
【0184】
そして、本実施例では、点線及び実線で示す各画素値の差が、あるしきい値よりも大きい場合には実線で示す第2ラインの処理結果を採用し、しきい値以下である場合には点線で示す第1ラインの読取データを採用することとしているため、画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16bの落ち込みを一部改善する結果となる。
【0185】
図16(c)は、白基準面10の第3ラインの読取データに対して間引き及び補間処理を施した処理結果を実線で示し、この時点で補正メモリ15dに保持される第2ラインまでの処理結果を点線で示す図であり、実線で示す第3ラインの処理結果については、ラッチした画素が白基準面10に付着したゴミの影響と、光学的特性を示す画素16c及び画素16d近傍の歪とが、ともに除去されている。
【0186】
そして、本実施例による処理を行うと、画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16bの落ち込みが完全に解消され、白基準面10に付着したゴミの影響が改善されることが分かる。
【0187】
図16(d)は、白基準面10の第5ラインまでの処理を終了した時点で、最終的に補正メモリ15dに保持される白基準画像データを示す図であり、光学的特徴を示す画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16bに示す白基準面10に付着したゴミの影響が改善されたことが分かる。
【0188】
上述したように、第3の実施例では、補間回路15aが処理した画素列の画素値と、補正メモリ15dに保持した画素列の画素値との差が、基準値記憶部140bに記憶したしきい値よりも大きな場合にのみ補間回路15aが処理した画素列の画素値を採用するよう構成したので、光学的特性を残したままの状態で白基準面10に付着したゴミの影響を低減することができる。
【0189】
次に、第4の実施例について説明する。
【0190】
この第4の実施例は、補間回路15aが処理した画素列の画素値と、補正メモリ15dに保持した画素列の画素値との差に着目する点では、上記第3の実施例と共通するが、補間回路15aが処理した画素列の画素値が、補正メモリ15dに保持した画素列の画素値よりも大きいか否かで、異なるしきい値を用いるよう構成した点に特徴がある。
【0191】
図17は、本発明に係わるシェーディング補正回路の第4の実施例の細部構成を示す図である。
【0192】
図17に示すように、このシェーディング補正回路170は、図14に示す補間回路15a、パルス発生回路15b、補正メモリ15d、補正演算回路15e、減算器140a、基準値記憶部140b、セレクタ部140c及びセレクタ部140dに、凸側差分比較部171及び凹側差分比較部172を付加した構成となる。
【0193】
すなわち、図14に示す第3の実施例の基準値記憶部140b及び比較回路15cを、凸側差分比較部171及び凹側差分比較部172に対してそれぞれ設けた点と、セレクタ部140cが2つのセレクタ信号を受けて選択処理を行う点が異なる。
【0194】
凸側差分比較部171は、補間回路15aが処理した画素列の画素値が、補正メモリ15dに保持した画素列の画素値よりも小さな場合(以下、「凸の場合」と言う。)を対象として設けた処理部であり、しきい値’a’を記憶した基準値記憶部171a及び比較回路171bからなる。
【0195】
凹側差分比較部172は、補間回路15aが処理した画素列の画素値が、補正メモリ15dに保持した画素列の画素値よりも大きな場合(以下、「凹の場合」と言う。)を対象として設けた処理部であり、しきい値’b’を記憶した基準値記憶部172a及び比較回路172bからなる。
【0196】
なお、比較回路171b及び172bは、同図に示す比較回路15cと同様の処理を行う処理部であり、それぞれセレクト信号1及びセレクト信号2をセレクタ部140cに出力する。
【0197】
セレクタ部140cは、凸側差分比較部171の比較回路171bから出力されるセレクト信号1と、凹側差分比較部172の比較回路172bから出力されるセレクト信号2とに基づいて、補正メモリ15dから受け取った画素値と、補間回路15aから受け取った画素値のいずれの画素値を選択するかを決定し、該選択した画素値をセレクタ部140dに出力する処理部である。
【0198】
具体的には、セレクト信号1又はセレクト信号2のいずれかが’1’の場合には、補間回路15dから受け取った画素値をセレクタ部140dに出力し、セレクト信号1及びセレクト信号2がともに’0’の場合には、補正メモリ15dから受け取った画素値をセレクタ部140dに出力する。なお、セレクト信号1及びセレクト信号2がともに’1’の場合には、エラー処理を行う。
【0199】
次に、上記シェーディング補正回路170が白基準画像データを作成するまでの処理手順について説明する。
【0200】
図18は、シェーディング補正回路170が行う白基準画像データの作成手順を示すフローチャートである。
【0201】
第3の実施例の場合と同様に、まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ1801)、該画素列Xを補正メモリ15dに格納する(ステップ1802)。
【0202】
そして、次のラインである第2ラインの画素列の画素値を間引きながら取り込むとともに(ステップ1803)、該画素列の間引いた画素の画素値を補間した補間データYを作成する(ステップ1804)。
【0203】
次に、補正メモリ15dに記憶した画素列Xの画素位置を示す変数iを1に初期設定するとともに(ステップ1805)、該補正メモリ15dに記憶した第i画素の画素値Xiを読み出して(ステップ1806)、第2ラインの画素列の画素値を間引いて補間したデータYのi番目の画素の画素値Yiから画素値Xiを減じた値が、0以上のしきい値aよりも大きいか否かを確認する(ステップ1807)。
【0204】
その結果、画素値Yi−画素値Xiがしきい値aよりも大きな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ1809)、ステップ1810に移行する。
【0205】
これに対して、しきい値a以下である場合には、画素値Yiから画素値Xiを減じた値が、0以下のしきい値bよりも小さいか否かを確認し(ステップ1808)、画素値Yi−画素値Xiがしきい値bよりも小さな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ1809)、ステップ1810に移行する。
【0206】
そして、補正メモリに第i+1画素が存在するか否かを確認し(ステップ1810)、該画素が存在する場合には変数iをインクリメントして(ステップ1811)、ステップ1806に移行する。
【0207】
これに対して、補正メモリに第i+1画素が存在しない場合には、5ライン分の取り込みを終了したか否かを確認し(ステップ1812)、5ライン分の処理が終了していない場合には、間引く画素位置を一定量移動して(ステップ1813)、ステップ1803に移行し、次のラインに対してステップ1803〜1812の処理を繰り返し、5ライン分の取り込みを終了したならば、白基準画像データの作成処理を終了する。
【0208】
上記一連の処理を行うことにより、補間回路15aが補間したデータの各画素値が、補正メモリ15dに記憶した各画素値よりも大きいか否かで、異なるしきい値を設け、いずれかのしきい値以下である場合には、白基準面10に付着したゴミの影響ではなく、イメージセンサの感度むらによる歪又は光量分布による歪と考えて、該補間回路が補間したデータを棄却し、光学系の特性を十分反映させることができる。
【0209】
次に、上記一連の処理を行った場合の処理結果を具体的に示す。
【0210】
図19は、順次補正メモリ15dに保持される中間結果と、最終的に補正メモリ15dに保持される白基準画像データの波形を示す図である。
【0211】
図19(a)は、白基準面10の第1ラインの読取データの画素列の画素値を示す波形であり、白基準面10に付着した反射率の低いゴミの影響を受けて画素16a〜16bの間で画素値が落ち込むとともに、白基準面10に付着した反射率の高いゴミ又はノイズの影響を受けて画素19a〜19bの間で画素値が突出した様子を示している。なお、画素16cの近傍で光量分布による歪が生じ、また画素16dの近傍で感度むらによる歪が生じている。
【0212】
図19(b)は、白基準面10の第2ラインの読取データに対して間引き及び補間処理を施した処理結果を実線で示し、この時点で補正メモリ15dに保持される第1ラインの読取データを点線で示す図であり、実線で示す第2ラインの処理結果については、ラッチした画素が白基準面10に付着したゴミの影響を受けたため、ゴミの影響が画素16e〜画素16f及び画素19c〜画素19dにそれぞれ拡大するとともに、光学的特性を示す画素19c及び画素19d近傍の歪が除去されている。
【0213】
そして、本実施例では、凸の場合にはしきい値aを用い、凹の場合にはしきい値bを用いて、点線及び実線で示す各画素値の差としきい値との比較を行い、各しきい値よりも大きい場合にのみ実線で示す第2ラインの処理結果を採用することとしているため、画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16bの落ち込み及び画素19a〜画素19bの突出を一部改善する結果となる。
【0214】
図19(c)は、白基準面10の第3ラインの読取データに対して間引き及び補間処理を施した処理結果を実線で示し、この時点で補正メモリ15dに保持される第2ラインまでの処理結果を点線で示す図であり、実線で示す第3ラインの処理結果については、ラッチした画素が白基準面10に付着したゴミの影響と、光学的特性を示す画素16c及び画素16d近傍の歪とが、ともに除去されている。
【0215】
そして、本実施例による処理を行うと、画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16bの落ち込み及び画素19a〜画素19bの突出が完全に解消され、白基準面10に付着したゴミの影響が改善されることが分かる。
【0216】
図19(d)は、白基準面10の第5ラインまでの処理を終了した時点で、最終的に補正メモリ15dに保持される白基準画像データを示す図であり、光学的特徴を示す画素16c及び画素16d近傍の歪を残した状態で、画素16a〜画素16b及び画素19a〜画素19bに示す白基準面10に付着したゴミの影響が改善されたことが分かる。
【0217】
特に、画素19a〜画素19bに示す突出部が、画素16a〜画素16bに示す落ち込み部よりもその程度が軽微となる場合に本実施例は有効であり、かかる場合に、第3の実施例に示すような共通のしきい値を用いると、画素19a〜画素19bの突出部を光学系の特性と捉えて残置するおそれが生じる。
【0218】
上述したように、第4の実施例では、補間回路15aが処理した画素列の画素値が、補正メモリ15dに保持した画素列の画素値よりも大きな場合(凸の場合)と、補正メモリ15dに保持した画素列の画素値よりも小さな場合(凹の場合)とで異なるしきい値を用いることにより、白基準面10に付着したゴミの反射率が高い場合及びノイズの影響をなくすことができる。
【0219】
次に、第5の実施例について説明する。
【0220】
第5の実施例は、2ライン〜第5ラインの画素列に基づく補正データに所定の定数を掛けたものを、第1ラインの読取データと比較するよう構成した実施例である。
【0221】
図20は、本発明に係わるシェーディング補正回路の第5の実施例の細部構成を示す図である。
【0222】
図20に示すように、このシェーディング補正回路200は、図14に示す第3の実施例の場合と同様に、補間回路15a、パルス発生回路15b、比較回路15c、補正メモリ15d、補正演算回路15e、セレクタ部140c及びセレクタ部140dを有するとともに、乗算器200aを付加している。
【0223】
補間回路15aは、入力された画素列の中から8画素ごとに画素値をラッチするとともに、ラッチした画素間に位置する画素の画素値を補間する処理部であり、パルス発生回路15bは、補間回路15a、セレクタ部140c及びセレクタ部140dに対してサンプリングパルスを出力するパルス発生回路である。
【0224】
補正メモリ15dは、セレクタ部140c及び140dが選択した選択結果を記憶する記憶部であり、補正演算回路15eは、原稿11をラインごとに読み取った画像データを、補正メモリ15dの画素値に基づいてシェーディング補正する演算回路である。
【0225】
そして、乗算器200aは、補間回路15aが処理した画素列の画素値に対して1未満の定数を掛け、その演算結果を比較回路15cに出力する処理部であり、該定数は、イメージセンサの感度むら及び光量分布による歪に基づく経験値及び理論値を踏まえた値が利用される。
【0226】
なお、上記定数を1未満とした理由は、補間回路15aが第2ライン〜第5ラインを間引きして補間したデータよりも、補正メモリ15dに記憶するデータを重視するためである。
【0227】
換言すると、イメージセンサの感度むら及び光量分布による歪等に代表される光学的特性をできるだけ残すために1未満の定数を乗算しているのである。
【0228】
比較回路15cは、補間回路15aが処理した画素列の画素値に対して所定の定数を乗算した値と、補正メモリ15dに記憶した画素列の画素値とを比較して、比較結果をセレクト信号としてセレクタ部140cに出力する処理部である。
【0229】
セレクタ部140cは、比較回路15cから受け取ったセレクト信号に基づいて、補正メモリ15dから受け取った画素値と、補間回路15aから受け取った画素値のいずれの画素値を選択するかを決定し、該選択した画素値をセレクタ部140dに出力する処理部である。
【0230】
セレクタ部140dは、白基準面10の第1ラインについては読取データを補正メモリ15dに出力し、第2ライン以降についてはセレクタ部140cから受け取ったデータを補正メモリ15dに出力する処理部である。
【0231】
次に、上記シェーディング補正回路200が白基準画像データを作成するまでの処理手順について説明する。
【0232】
図21は、シェーディング補正回路200が行う白基準画像データの作成手順を示すフローチャートである。
【0233】
第3の実施例の場合と同様に、まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ2101)、該画素列Xを補正メモリ15dに格納する(ステップ2102)。
【0234】
そして、次のラインである第2ラインの画素列の画素値を間引きながら取り込むとともに(ステップ2103)、該画素列の間引いた画素の画素値を補間した補間データYを作成する(ステップ2104)。
【0235】
次に、補正メモリ15dに記憶した画素列Xの画素位置を示す変数iを1に初期設定するとともに(ステップ2105)、該補正メモリ15dに記憶した第i画素の画素値Xiを読み出して(ステップ2106)、第2ラインの画素列の画素値を間引いて補間したデータYのi番目の画素の画素値Yiに所定の1未満の定数aを乗算した値が、画素値Xiよりも大きいか否かを確認する(ステップ2107)。
【0236】
その結果、画素値Yi×aが、画素値Xiよりも大きな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ2108)、画素値Xi以下である場合には、そのままステップ2109に移行する。
【0237】
そして、補正メモリに第i+1画素が存在するか否かを確認し(ステップ2109)、該画素が存在する場合には変数iをインクリメントして(ステップ2110)、ステップ2106に移行する。
【0238】
これに対して、補正メモリに第i+1画素が存在しない場合には、5ライン分の取り込みを終了したか否かを確認し(ステップ2111)、5ライン分の処理が終了していない場合には、間引く画素位置を一定量移動して(ステップ2112)、ステップ2103に移行し、次のラインに対してステップ2103〜2111の処理を繰り返し、5ライン分の取り込みを終了したならば、白基準画像データの作成処理を終了する。
【0239】
上記一連の処理を行うことにより、仮に補正メモリ15dに記憶した画素列と、補間回路15aが作成したデータの値とがほぼ同じレベルの値を有するとしても、補正メモリ15dに記憶した画素列に存在する光学的な特徴を失うことなく、該白基準面10に付着したゴミの影響を低減することができる。
【0240】
次に、上記乗算処理の概念について具体的に示す。
【0241】
図22は、乗算器200aが乗算処理を行う前後の画素列の画素値の波形を示す図であり、乗算処理前の波形を実線で示し、乗算処理後の波形を点線で示している。
【0242】
図22に示すように、補間回路15aが白基準面10の第2ライン〜第5ラインについて間引き及び補間処理を施した結果に対して1未満の定数を乗算すると、当然ながらその値は図示したように低下する。
【0243】
そこで、かかる1未満の定数を乗算して値を低下させる意味を説明すると、原則的には、白基準面10の各ラインは同じ光学系を用いて読み取られるため、その読取データはほぼ同一レベルとなり、光学的な特性も各ラインの読取データに共通して生起する。
【0244】
また、白基準面10の第2ライン〜第5ラインに対して間引き及び補間処理を行うと、第1の実施例〜第4の実施例に示したように、光学的な特性が失われることが多い。
【0245】
このため、白基準面10の第1ラインの読取データと、第2ラインに間引き及び補間を施した結果とを単に比較すると、第1ラインの読取データに存在する光学的な特性が、第2ライン〜第5ラインを補間したデータで置換されてしまい、光学的特性が十分に反映した白基準画像データを作成できない。
【0246】
そこで、本実施例では、白基準面10の第2ライン〜第5ラインを補間したデータに1未満の定数を掛けることにより、該データの有意性を低減しているのである。
【0247】
上述したように、第5の実施例では、補間回路15aが処理した画素列の画素値に1未満の定数を乗算した値と、補正メモリ15dに保持した画素列の画素値とを比較して、前者の方が大きい場合にのみ補間回路15aが処理した画素列の画素値を採用するよう構成したので、光学的特性を残したままの状態で白基準面10に付着したゴミの影響を低減することができる。
【0248】
次に、第6の実施例について説明する。
【0249】
この第6の実施例は、補間回路15aが処理した画素列の画素値と、補正メモリ15dに保持した画素列の画素値の一方に定数を掛けることに着目した点では上記第5の実施例と共通するが、補正メモリ15dに保持した画素列の画素値に1以上の定数を乗算するよう構成した点に特徴がある。
【0250】
補正メモリ15dに保持した画素列の画素値に1以上の定数を積算する意味は、上記第5の実施例に示す白基準面10の第2ライン〜第5ラインを補間したデータに1未満の定数を掛けることと等価な意味を有しているため、光学的特性を残したままの状態で白基準面10に付着したゴミの影響を低減することができることが分かる。
【0251】
図23は、本発明に係わるシェーディング補正回路の第6の実施例の細部構成を示す図である。
【0252】
図23に示すように、このシェーディング補正回路230は、図20に示す第5の実施例の場合と同様に、補間回路15a、パルス発生回路15b、比較回路15c、補正メモリ15d、補正演算回路15e、セレクタ部140c、セレクタ部140d及び乗算器200aから構成される。
【0253】
ただし、乗算器200aは、第5の実施例のように補間回路15aが処理した画素列の画素値に対して1未満の定数を掛けるのではなく、補正メモリ15dに記憶した画素列の画素値に1以上の定数を乗算して、その演算結果を比較回路15cに出力する点が異なる。
【0254】
なお、該定数は、第5の実施例と同様に、イメージセンサの感度むら及び光量分布による歪に基づく経験値及び理論値を踏まえた値が利用される。
【0255】
次に、上記シェーディング補正回路230が白基準画像データを作成するまでの処理手順について説明する。
【0256】
図21は、シェーディング補正回路230が行う白基準画像データの作成手順を示すフローチャートである。
【0257】
第5の実施例の場合と同様に、まず、白基準面10の第1ラインを読取った画素列Xの各画素値を取り込み(ステップ2401)、該画素列Xを補正メモリ15dに格納する(ステップ2402)。
【0258】
そして、次のラインである第2ラインの画素列の画素値を間引きながら取り込むとともに(ステップ2403)、該画素列の間引いた画素の画素値を補間した補間データYを作成する(ステップ2404)。
【0259】
次に、補正メモリ15dに記憶した画素列Xの画素位置を示す変数iを1に初期設定するとともに(ステップ2405)、該補正メモリ15dに記憶した第i画素の画素値Xiを読み出して(ステップ2406)、第2ラインの画素列の画素値を間引いて補間したデータYのi番目の画素の画素値Yiが、画素値Xiに所定の1以上の定数aを乗算した値よりも大きいか否かを確認する(ステップ2407)。
【0260】
その結果、画素値Yiが、画素値Xi×aよりも大きな場合には、画素値Yiを補正メモリ15dの第i画素の位置に格納し(ステップ2408)、画素値Xi×a以下である場合には、そのままステップ2409に移行する。
【0261】
そして、補正メモリに第i+1画素が存在するか否かを確認し(ステップ2409)、該画素が存在する場合には変数iをインクリメントして(ステップ2410)、ステップ2406に移行する。
【0262】
これに対して、補正メモリに第i+1画素が存在しない場合には、5ライン分の取り込みを終了したか否かを確認し(ステップ2411)、5ライン分の処理が終了していない場合には、間引く画素位置を一定量移動して(ステップ2412)、ステップ2403に移行し、次のラインに対してステップ2403〜2411の処理を繰り返し、5ライン分の取り込みを終了したならば、白基準画像データの作成処理を終了する。
【0263】
上記一連の処理を行うことにより、仮に補正メモリ15dに記憶した画素列と、補間回路15aが作成したデータの値とがほぼ同じレベルの値を有するとしても、補正メモリ15dに記憶した画素列に存在する光学的な特徴を失うことなく、該白基準面10に付着したゴミの影響を低減することができる。
【0264】
図22は、乗算器200aが乗算処理を行う前後の画素列の画素値の波形を示す図であり、乗算処理前の波形を実線で示し、乗算処理後の波形を点線で示すように、補正メモリ15dに記憶した画素列の各画素値に対して1以上の定数を乗算すると、その値は図示したように上昇する。
【0265】
すなわち、比較回路15cが比較する対象は、補正メモリ15d内に記憶した画素列の画素値と、補間回路15aからの出力であるため、かかる補正メモリ15d内に記憶した画素列の画素値に1以上の定数を掛けることは、補間回路15aからの出力に1未満の定数を掛けることと等価であるため、第5の実施例と同様に、白基準面10の第2ライン〜第5ラインを補間したデータの有意性を低減できることが分かる。
【0266】
上述したように、第5の実施例では、補間回路15aが処理した画素列の画素値と、補正メモリ15dに保持した画素列の画素値に1以上の定数を乗算した値とを比較して、前者の方が大きい場合にのみ補間回路15aが処理した画素列の画素値を採用するよう構成したので、光学的特性を残したままの状態で白基準面10に付着したゴミの影響を低減することができる。
【0267】
なお、上記第1の実施例〜第6の実施例では、白基準面10の第1ラインの読取データを基準データとして、該第1ラインの読取データを、第2ライン〜第5ラインの読取データに間引き及び補間処理を施した結果を用いて更新するよう構成したが、本発明はこれに限定されるものではなく、第2ライン以降の読取データ及び複数のラインを基準データとすることもできる。
【0268】
また、白基準面10の第2ライン〜第5ラインの4ラインを、間引き及び補間処理の対象としたが、5ライン以上を対象とすることもできる。
【0269】
さらに、上記第1の実施例〜第6の実施例では、間引き間隔を8画素とし、読取ラインに応じて2画素ずつ間引き画素をシフトするよう構成したが、本発明はこれに限定されるものではなく、任意に間引き間隔及びシフト量を設定することができる。
【0270】
また、上記第1の実施例〜第6の実施例では、白基準面10の異なるラインを用いて間引き及び補間処理を行うこととしたが、同一ラインについて間引き位置を変えながら補間処理を行うこともできる。
【0271】
【発明の効果】
以上詳細に説明したように、請求項1の発明では、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、新たに読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、記憶手段に記憶した画像データの画素毎に、該記憶手段に記憶した画像データと前記データ補間手段で補間した前記複数のラインの画像データを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新するよう構成したので、白基準面に付着したゴミ及び汚れ等の影響を低減するとともに、感度ムラや光量分布に伴う歪に代表される光学的特性を失うことなくシェーディング補正を迅速に行うことが可能となる。
【0273】
また、請求項2の発明では、補間した複数のラインの画像データの同一画素に関する最大値および/または最小値を除くとともに、残りの画像データの平均値を各画素毎に求め、前記記憶手段に記憶した画像データと該平均値とを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新するよう構成したので、白基準面に付着した反射率が高いゴミおよびノイズの影響をも除去することが可能となる。
【0274】
また、請求項3の発明では、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、新たに読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、記憶手段に記憶した画像データとを同一画素に関して比較して、画素値に所定のしきい値以上の差がある場合にのみ最大画像データを用いて記憶手段に記憶した画像データを更新するよう構成したので、感度ムラや光量分布に伴う歪に代表される光学的特性をより正確に反映することが可能となる。
【0275】
また、請求項4の発明では、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、新たに読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、記憶手段に記憶した画像データとを同一画素に関して比較して、最大画像データが記憶手段に記憶した画像データよりも第1のしきい値以上大きいか、又は記憶手段に記憶した画像データが最大画像データよりも第2のしきい値以上大きい場合にのみ、最大画像データを用いて記憶手段に記憶した画像データを更新するよう構成したので、光学的特性により画素値が落ち込んだ部分と、画素値が突出した部分とを区別して取り扱うことが可能となる。
【0276】
また、請求項5の発明では、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、新たに読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データに1未満の所定の定数を乗算した画像データと、記憶手段に記憶した画像データとを同一画素に関して比較して、最大画像データに1未満の所定の定数を乗算した画像データが大きい場合にのみ最大画像データを用いて記憶手段に記憶した画像データを更新するよう構成したので、感度ムラや光量分布に伴う歪に代表される光学的特性をより正確に反映することが可能となる。
【0277】
また、請求項6の発明では、イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データを記憶手段に記憶した後に、新たに読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングし、該サンプリングした画像データに基づき該ラインの他の画素の画像データを算出するとともに、補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定し、該算定した最大画像データと、記憶手段に記憶した画像データに1より大きい所定の定数を乗算した画像データとを同一画素に関して比較して、最大画像データが大きい場合にのみ最大画像データを用いて記憶手段に記憶した画像データを更新するよう構成したので、感度ムラや光量分布に伴う歪に代表される光学的特性をより正確に反映することが可能となる。
【図面の簡単な説明】
【図1】本発明に係わるシェーディング補正回路の第1の実施例の構成を示すブロック図。
【図2】本発明に係る画像読取装置の外観構成を示す図。
【図3】図2に示す画像読取装置の内部構造を示す図。
【図4】図1に示すパルス発生回路の細部構成を示すブロック図。
【図5】図1に示すパルス発生回路が出力するサンプリングパルスの発生タイミングを示すタイミングチャート。
【図6】図1に示す補間回路の細部構成を示すブロック図。
【図7】図1に示す補間回路が行う補間処理の具体例を示す図。
【図8】図1に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図9】図1に示すシェーディング補正回路の補正メモリに保持する白基準画像データの画素列の画素値の波形等を示す図。
【図10】本発明に係わるシェーディング補正回路の第2の実施例の構成を示すブロック図。
【図11】図10に示す演算回路の細部構成を示すブロック図。
【図12】図10に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図13】図10に示すシェーディング補正回路の補正メモリに保持する白基準画像データの画素列の画素値の波形等を示す図。
【図14】本発明に係わるシェーディング補正回路の第3の実施例の構成を示すブロック図。
【図15】図14に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図16】図14に示す補正メモリに保持される中間結果と、最終的に保持される白基準画像データの波形を示す図。
【図17】本発明に係わるシェーディング補正回路の第4の実施例の構成を示すブロック図。
【図18】図17に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図19】図17に示す補正メモリに保持される中間結果と、最終的に保持される白基準画像データの波形を示す図。
【図20】本発明に係わるシェーディング補正回路の第5の実施例の構成を示すブロック図。
【図21】図20に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図22】図20に示す乗算器が乗算処理を行う前後の波形を示す図。
【図23】本発明に係わるシェーディング補正回路の第6の実施例の構成を示すブロック図。
【図24】図23に示すシェーディング補正回路が行う白基準画像データの作成手順を示すフローチャート。
【図25】図23に示す乗算器が乗算処理を行う前後の波形を示す図。
【符号の説明】
10,25a 白基準面、 11,26 原稿、
12,22e レンズ、 13 イメージセンサ、
14 A/D変換器、 15,100 シェーディング補正回路、
140,170,200,230 シェーディング補正回路、
15a 補間回路、 15b パルス発生回路、
15c,171b,172b 比較回路、
15d 補正メモリ、 15e 補正演算回路、 15f 選択回路、
16 画像処理部、 21 プラテンガラス、 22 読取装置筐体、
22a 制御ユニット、 22b ステッピングモータ、
22c 光源、 22d ミラー、
22f イメージセンサ制御基盤、 22g イメージセンサ、
23 原稿押さえ、 24 原稿押さえカバー、
25 原稿合わせマーク、 41 サンプリング画素アドレスカウンタ、
42 シフト量カウンタ、 61 ラッチ回路、 62 レジスタ、
63 補正係数算出回路、 64,65 乗算器、 66 加算器、
101a,101b,101c,101d ラインメモリ、
102 演算回路、 102a 最大値除去部、
102b 最小値除去部、 102c 平均値算出部、
140a 減算器、 200a 乗算器、
140b,171a,172a 基準値記憶部、
140c,140d セレクタ、
171 凸側差分比較部、 172 凹側差分比較部

Claims (6)

  1. イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、
    前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、
    前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、
    前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、
    前記記憶手段に記憶した画像データの画素毎に、該記憶手段に記憶した画像データと前記データ補間手段で補間した前記複数のラインの画像データを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新する白基準画像データ記憶制御手段と
    を具備することを特徴とする画像読取装置。
  2. 前記白基準画像データ記憶制御手段は、
    前記データ補間手段で補間した複数のラインの画像データの同一画素に関する最大値および/または最小値を除くとともに、残りの画像データの平均値を各画素毎に求め、前記記憶手段に記憶した画像データと該平均値とを同一画素に関して比較し、各画素の最大画像データに基づいて白基準画像データとし、該白基準画像データで前記記憶手段に記憶した画像データを更新することを特徴とする請求項1記載の画像読取装置。
  3. イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、
    前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、
    前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、
    前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、
    前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、
    前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、画素値に所定のしきい値以上の差がある場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段と
    を具備することを特徴とする画像読取装置。
  4. イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、
    前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、
    前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、
    前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、
    前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、
    前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが、前記記憶手段に記憶した画像データよりも第1のしきい値以上大きいか、又は前記記憶手段に記憶した画像データが、前記算定手段が算定した最大画像データよりも第2のしきい値以上大きい場合にのみ、前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段と
    を具備することを特徴とする画像読取装置。
  5. イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、
    前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、
    前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、
    前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、
    前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、
    前記算定手段が算定した最大画像データに1未満の所定の定数を乗算した画像データと、前記記憶手段に記憶した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データに1未満の所定の定数を乗算した画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段と
    を具備することを特徴とする画像読取装置。
  6. イメージセンサによる画像の読取走査に先だって該イメージセンサにより白基準面を読取り、該イメージセンサにより読取った画像データに基づいて形成した白基準画像データを記憶手段に記憶するとともに、該記憶手段に記憶した白基準画像データに基づき前記イメージセンサにより読取った画像の読取データを補正するシェーディング補正手段を有する画像読取装置において、
    前記イメージセンサにより前記白基準面を読取った画像データを前記記憶手段に記憶した後に、前記イメージセンサにより前記白基準面を新たに複数ライン分読取る読取手段と、
    前記読取手段により読取った前記複数のラインの画像データをそれぞれ異なる複数の画素位置で間欠的にサンプリングするサンプリング手段と、
    前記サンプリング手段でサンプリングした画像データに基づき該ラインの他の画素の画像データを算出して補間するデータ補間手段と、
    前記データ補間手段で補間した複数のラインの画像データを同一画素に関して比較して各画素の最大画像データを算定する算定手段と、
    前記算定手段が算定した最大画像データと、前記記憶手段に記憶した画像データに1より大きい所定の定数を乗算した画像データとを同一画素に関して比較して、前記算定手段が算定した最大画像データが大きい場合にのみ前記最大画像データを用いて前記記憶手段に記憶した画像データを更新する更新手段と
    を具備することを特徴とする画像読取装置。
JP05922195A 1995-03-17 1995-03-17 画像読取装置 Expired - Fee Related JP3633021B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05922195A JP3633021B2 (ja) 1995-03-17 1995-03-17 画像読取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05922195A JP3633021B2 (ja) 1995-03-17 1995-03-17 画像読取装置

Publications (2)

Publication Number Publication Date
JPH08256264A JPH08256264A (ja) 1996-10-01
JP3633021B2 true JP3633021B2 (ja) 2005-03-30

Family

ID=13107114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05922195A Expired - Fee Related JP3633021B2 (ja) 1995-03-17 1995-03-17 画像読取装置

Country Status (1)

Country Link
JP (1) JP3633021B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284463B2 (en) 2007-12-28 2012-10-09 Brother Kogyo Kabushiki Kaisha Image reading apparatus
US8174737B2 (en) 2007-12-28 2012-05-08 Brother Kogyo Kabushiki Kaisha Image reading apparatus

Also Published As

Publication number Publication date
JPH08256264A (ja) 1996-10-01

Similar Documents

Publication Publication Date Title
US5585926A (en) Document reading apparatus capable of rectifying a picked up image data of documents
EP0371055B1 (en) Apparatus for enhancing and thresholding scanned microfilm images and methods for use therein
JPS639279A (ja) スキャナ
JP4151793B2 (ja) 撮像装置および画像の高解像化方法
WO1989001268A1 (en) Apparatus and methods for locating edges and document boundaries in video scan lines
EP0743617B1 (en) Image processing method and apparatus thereof
US5299029A (en) Image processing apparatus capable of preventing deterioration in image quality
US7755682B2 (en) Color interpolation method for Bayer filter array images
US5001768A (en) Image reading apparatus
US4954913A (en) Image reading apparatus
JP3031994B2 (ja) 画像処理装置
JP3633021B2 (ja) 画像読取装置
JPH06261238A (ja) 撮像装置
JP2002344737A (ja) 画像読み取り装置
JP3578878B2 (ja) 画像処理装置
US20010048772A1 (en) Apparatus and method for efficient implementation of 2-dimensional pixel window averaging
JPH08256263A (ja) 画像読取装置
JP2887840B2 (ja) 画像読取り装置
JPH07298053A (ja) 画像処理装置
JPH0898022A (ja) 画像読取装置および画像読取方法
JP3552180B2 (ja) 画像の2値化方法および装置
JPH10243220A (ja) 画像データ処理装置
JP2002190929A (ja) 画像読取装置及び画像処理方法並びに記憶媒体
JPH03225480A (ja) 画素補間回路
JP2671802B2 (ja) シェーディング補正方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100107

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110107

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120107

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130107

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees