JPH10276324A - Image reading device - Google Patents

Image reading device

Info

Publication number
JPH10276324A
JPH10276324A JP9092914A JP9291497A JPH10276324A JP H10276324 A JPH10276324 A JP H10276324A JP 9092914 A JP9092914 A JP 9092914A JP 9291497 A JP9291497 A JP 9291497A JP H10276324 A JPH10276324 A JP H10276324A
Authority
JP
Japan
Prior art keywords
white reference
data
reference data
correction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9092914A
Other languages
Japanese (ja)
Other versions
JP3754173B2 (en
Inventor
Shinichi Wakahara
真一 若原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP09291497A priority Critical patent/JP3754173B2/en
Publication of JPH10276324A publication Critical patent/JPH10276324A/en
Application granted granted Critical
Publication of JP3754173B2 publication Critical patent/JP3754173B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 白基準部材の副走査方向の読み取り先頭位置
を特定し、読み取り先頭位置が白基準部材から外れない
ようにし、かつ、白基準部材の副走査方向先端部の長さ
マージンを最小に抑える。 【解決手段】 白基準板15の主走査方向両端A,Bの
白基準データのうち、先端ラインから数ライン進めたと
ころの白基準データをピークホールドブロック42a,
42bでピークホールドし、そのレベルがある設定レベ
ルより高いことが判断ブロック43により判断されたと
きに白基準先頭ライン検出信号が出力される。そしてこ
のときの補正用白基準データレベル、即ちラインセンサ
7の出力に基づいてビデオアンプ(可変増幅回路32)
のゲインコントロール値を設定する。
(57) [Summary] [Problem] To specify the reading start position of a white reference member in the sub-scanning direction, prevent the reading start position from deviating from the white reference member, and lengthen the leading end of the white reference member in the sub-scanning direction. The margins to a minimum. SOLUTION: Among white reference data at both ends A and B in a main scanning direction of a white reference plate 15, white reference data advanced by several lines from a front end line is used as a peak hold block 42a.
The peak is held at 42b, and when it is determined by the determination block 43 that the level is higher than a certain set level, a white reference head line detection signal is output. Then, based on the correction white reference data level, that is, the output of the line sensor 7, the video amplifier (variable amplifier circuit 32)
Set the gain control value of.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、イメージスキャ
ナ、ファクシミリ、複写機等において、画像読み取りを
行うために一次元のラインセンサを有する画像読取装置
に関し、特に、ラインセンサによって、白基準部材の白
基準画像を読み取り、各光電変換素子の出力に基づいて
白基準データとして記憶し、原稿の画像を読み取る際
に、各光電変換素子の出力を補正用白基準データに基づ
いて補正するシェーディング補正技術の改良に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image reading apparatus having a one-dimensional line sensor for reading an image in an image scanner, a facsimile, a copying machine or the like. A shading correction technique of reading a reference image, storing the white reference data based on the output of each photoelectric conversion element, and correcting the output of each photoelectric conversion element based on the correction white reference data when reading the image of the document. Regarding improvement.

【0002】[0002]

【従来の技術】画像読取装置の画像処理部は、一次元配
列された複数の光電変換素子を有するラインセンサ(C
CDに代表される)を用いて読み取られた画像データに
対して各種の画像処理を行う。その一つにCCD画素ご
との感度むらや照度むらを補正するためのシェーディン
グ補正がある。これは原稿読み取り台(コンタクトガラ
ス)の有効画像読み取り領域外に補正用白基準データを
作成するための白基準部材を用意しておき、白基準部材
を読み取って補正用白基準データとして記憶し、実際の
原稿の読み取りの際に、各CCDの出力を補正用白基準
データに基づいて補正するというものである。
2. Description of the Related Art An image processing unit of an image reading apparatus includes a line sensor (C) having a plurality of one-dimensionally arranged photoelectric conversion elements.
Various types of image processing are performed on image data read using a CD (typified by a CD). One of them is shading correction for correcting sensitivity unevenness and illuminance unevenness for each CCD pixel. In this method, a white reference member for preparing white reference data for correction is prepared outside the effective image reading area of the document reading table (contact glass), and the white reference member is read and stored as white reference data for correction. In actual reading of an original, the output of each CCD is corrected based on the correction white reference data.

【0003】このシェーディング補正に関する技術は是
までに種々提案されている。例えば特開平3−2898
72号公報には、シェーディング補正の白基準を読み取
るとき、白原稿を副走査方向に複数ライン読み取り、読
み取られた各ラインのイメージデータを主走査方向に複
数のブロックに分割し、主走査方向の同一位置にあたる
ブロック複数ライン分をそれぞれサンプリングし、これ
により得られたサンプリングデータについて、値が最大
のもの、及び最小のものから所定の数のデータを除去
し、残りのデータについて平均値を求め、シェーディン
グ補正用データを作成するようにした技術が提案されて
いる。
Various techniques relating to the shading correction have been proposed. For example, JP-A-3-2898
No. 72 discloses that when reading a white reference for shading correction, a white original is read in a plurality of lines in the sub-scanning direction, and the image data of each read line is divided into a plurality of blocks in the main scanning direction, and the white document is read in the main scanning direction. Each of a plurality of lines of the block corresponding to the same position is sampled, and for the obtained sampling data, a predetermined number of data are removed from the maximum value and the minimum value, and an average value is obtained for the remaining data. Techniques have been proposed for creating shading correction data.

【0004】また、特開平6−121162号公報に
は、白基準部材の第1領域における白基準画像をライン
センサで読み取り、各光電変換素子の出力に基づいて暫
定補正用データを記憶し、第1領域に対して主走査方向
にずれた白基準部材の第2領域における白基準画像をラ
インセンサで読み取り、各光電変換素子の出力を暫定補
正用データに基づいて補正して暫定補正済データとして
記憶し、暫定補正済データに基づいて白基準部材の欠陥
を特定し、特定された欠陥に基づいて暫定補正用データ
を修正することによって補正用データを作成する技術が
提案されている。
In Japanese Patent Application Laid-Open No. Hei 6-121162, a white reference image in a first area of a white reference member is read by a line sensor, and provisional correction data is stored based on the output of each photoelectric conversion element. A line sensor reads a white reference image in a second region of the white reference member that is displaced in the main scanning direction with respect to one region, and corrects the output of each photoelectric conversion element based on the provisional correction data as provisional corrected data. There has been proposed a technique of storing and specifying a defect of a white reference member based on provisionally corrected data and correcting the provisional correction data based on the specified defect to generate correction data.

【0005】[0005]

【発明が解決しようとする課題】上述したように、白基
準読み取り時のノイズを除去して正確なシェーディング
補正を行う技術は従来より知られている。ところで、シ
ェーディング補正を行うための白基準の読み取りは画像
データを読み込む前に白基準部材を読み込むことにより
行うが、白基準部材の読み取り位置への走行体の移動
は、例えばステッピングモータを用いる場合は、白基準
部材の位置まで移動するのに必要な数のステッピングパ
ルスを白基準部材読み取り位置に合わせて発生させ、ス
テッピングモータをこのステッピングパルス分駆動する
ことで行っていた。
As described above, a technique for removing noise during white reference reading and performing accurate shading correction has been conventionally known. By the way, the reading of the white reference for performing the shading correction is performed by reading the white reference member before reading the image data, but the movement of the traveling body to the reading position of the white reference member is performed, for example, when a stepping motor is used. In this case, a necessary number of stepping pulses for moving to the position of the white reference member are generated in accordance with the reading position of the white reference member, and the stepping motor is driven by this stepping pulse.

【0006】そして、そのパルス数を発生した後にビデ
オのゲインコントロール値を読み取り、白基準データの
読み取りを行っていた。ここで、白基準部材位置への移
動に際しての精度の問題があり、移動精度ばらつきを吸
収するために、副走査方向にマージンを持たせている。
After generating the number of pulses, the video gain control value is read, and the white reference data is read. Here, there is a problem of accuracy in moving to the white reference member position, and a margin is provided in the sub-scanning direction in order to absorb variations in movement accuracy.

【0007】しかしながら、白基準部材を際限なく大き
くすることは困難であり、また装置そのものの小型化の
要求があり、限られた大きさの白基準部材で白基準デー
タの読み取りを確実に行わなければならない。
However, it is difficult to increase the size of the white reference member without limit, and there is a demand for downsizing of the apparatus itself. Therefore, it is necessary to reliably read the white reference data with the white reference member having a limited size. Must.

【0008】白基準データを読み込むための白基準部材
の位置が、本来あるべき位置からずれていると、白基準
部材の外にある画像データを読み取ってしまい、正しく
シェーディング補正演算を行えない場合が生じるという
問題がある。
If the position of the white reference member for reading the white reference data is deviated from the original position, image data outside the white reference member may be read, and correct shading correction calculation may not be performed. There is a problem that arises.

【0009】そこで本発明は、白基準部材の副走査方向
の読み取り先頭位置を特定し、読み取り先頭位置が白基
準部材から外れないようにし、かつ、白基準部材の副走
査方向先端部の長さマージンを最小に押さえることがで
きる画像読取装置を提供することを目的とする。
Therefore, the present invention specifies the reading start position of the white reference member in the sub-scanning direction, prevents the reading start position from deviating from the white reference member, and sets the length of the leading end of the white reference member in the sub-scanning direction. An object of the present invention is to provide an image reading apparatus capable of minimizing a margin.

【0010】[0010]

【課題を解決するための手段】この目的を達成するため
に、請求項1記載の発明は、一次元配列された複数の光
電変換素子を有するラインセンサによって、白基準部材
の白基準画像を読み取り、各光電変換素子の出力に基づ
いて補正用白基準データとして記憶し、原稿の画像を読
み取る際に、各光電変換素子の出力を補正用白基準デー
タに基づいて補正するシェーディング補正方式を採用す
る画像処理装置を備えた画像読取装置において、白基準
部材の主走査方向の両端位置で補正用白基準データのピ
ークホールドを行うピークホールド手段、このピークホ
ールド値が所定レベル以上のとき、白基準先頭ラインで
あると判断する判断手段、白基準先頭ラインであると判
断された場合は、補正用白基準データのレベルに基づい
てビデオアンプのゲインコントロール値を決定するゲイ
ンコントロール値決定手段を備えたことを特徴とする。
In order to achieve this object, according to the present invention, a white reference image of a white reference member is read by a line sensor having a plurality of one-dimensionally arranged photoelectric conversion elements. A shading correction method of storing the white reference data for correction based on the output of each photoelectric conversion element and correcting the output of each photoelectric conversion element based on the white reference data for correction when reading the image of the document. In an image reading apparatus provided with an image processing device, peak holding means for holding peaks of correction white reference data at both end positions of a white reference member in the main scanning direction. The determination means for determining that the line is a line, and if it is determined that the line is the white reference head line, the video amplifier is determined based on the level of the correction white reference data. Characterized by comprising a gain control value determining means for determining the in-control value.

【0011】また請求項2記載の発明は、請求項1記載
の発明において、決定されたゲインコントロール値に基
づいてシェーディング補正データのサンプリングを行う
際に、新規に取り込んだデータを検証することにより、
補正用白基準データとして取り込むべきかどうかを判断
することを特徴とする。
According to a second aspect of the present invention, when sampling the shading correction data based on the determined gain control value in the first aspect of the invention, newly acquired data is verified.
It is characterized in that it is determined whether or not it should be taken in as correction white reference data.

【0012】また請求項3記載の発明は、請求項2記載
の発明において、補正用白基準データとして取り込むべ
きと判断した際には、補正用白基準データの平均化処理
演算の対象としてデータを演算に加え、対象外と判断し
た際には前ラインまでに平均化処理を行ったデータに置
き換えて補正用白基準データの平均化処理演算を行うこ
とを特徴とする。
According to a third aspect of the present invention, in the second aspect of the present invention, when it is determined that the correction white reference data should be taken in, the data is subjected to an averaging process operation of the correction white reference data. In addition to the calculation, when it is determined that the data is not the target, the averaging process of the correction white reference data is performed by replacing the data with the data that has been subjected to the averaging process up to the previous line.

【0013】また請求項4記載の発明は、請求項2記載
の発明において、補正用白基準データとして取り込むべ
きと判断した際には、補正用白基準データの平均化処理
演算の対象としてデータを演算に加え、対象外と判断し
た際には取り込むべきデータが現れて演算処理が完結す
るまで副走査方向に補正用白基準データのサンプリング
位置を変えて補正用白基準データのサンプリングを続
け、各画素の補正用白基準データとしての演算処理が終
了した時点で白基準データのサンプリングを終了するこ
とを特徴とする。
According to a fourth aspect of the present invention, in the second aspect of the invention, when it is determined that the correction white reference data should be taken in, the data is subjected to an averaging processing operation of the correction white reference data. In addition to the calculation, when it is determined that the data is not to be processed, the data to be captured appears and the sampling position of the correction white reference data is changed in the sub-scanning direction until the calculation processing is completed. Sampling of the white reference data is terminated at the time when the calculation processing as the correction white reference data for the pixel is completed.

【0014】[0014]

【発明の実施の形態】以下、本発明の実施の形態を添付
図面に沿って詳細に説明する。図1は画像読取装置の構
成図である。装置本体1の右側上部に自動給紙装置(A
DF)2が設けられ、本体上面には原稿読み取り台3が
設けられており、これによってイメージスキャナを構成
している。この場合、装置本体1の内部には、光源4a
とミラー4bとを備えた第1の走行体4と、ミラー5
a,5bを備えた第2の走行体5と、レンズ6と、一次
元の光電変換素子(本例ではCCDを使用する)7と、
第1、第2の走行体4,5を駆動するステッピングモー
タ8とからなる露光走査光学系9が設けられている。な
お、この露光走査光学系9の下段の構成についてのここ
での説明は省略する。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a configuration diagram of the image reading apparatus. An automatic paper feeder (A
DF) 2 is provided, and a document reading table 3 is provided on the upper surface of the main body, thereby constituting an image scanner. In this case, the light source 4 a
A first traveling body 4 having a mirror 4b and a mirror 5b
a second traveling body 5 having a and 5b, a lens 6, a one-dimensional photoelectric conversion element (a CCD is used in this example) 7,
An exposure scanning optical system 9 including a stepping motor 8 for driving the first and second traveling bodies 4 and 5 is provided. The description of the lower configuration of the exposure scanning optical system 9 is omitted here.

【0015】また、自動給紙装置2には、ADFユニッ
ト10と、原稿台11とが設けられている。ADFユニ
ット10内にはステッピングモータ12が備えられてい
る。さらに、原稿読み取り台3の上部に原稿押さえ板1
4が回動自在に取り付けられており、原稿13はその原
稿押さえ板14の下にセットされる。原稿読み取り台3
の端部には、シェーディング補正用の白基準板15が配
置されている。
The automatic paper feeder 2 has an ADF unit 10 and a document table 11. A stepping motor 12 is provided in the ADF unit 10. Further, a document holding plate 1 is provided on the document reading table 3.
A document 13 is set below the document pressing plate 14. Document reading table 3
A white reference plate 15 for shading correction is disposed at the end of the white reference plate 15.

【0016】図2は画像読取装置の全体制御ブロック図
である。また、図3はブックモード時の原稿読み取り部
の構成図、図4はADFモード時の原稿読み取り部の構
成図である。図2に示す画像読取装置は、光源4a、C
CD7、ステッピングモータ8,12、CPU16、光
源ドライバ17、CCD駆動部18、画像処理部19、
モータドライバ20,28、スキャンバッファ25、I
/Fコントローラ26、バッファコントローラ27を備
える。
FIG. 2 is an overall control block diagram of the image reading apparatus. FIG. 3 is a configuration diagram of the document reading unit in the book mode, and FIG. 4 is a configuration diagram of the document reading unit in the ADF mode. The image reading apparatus shown in FIG.
CD 7, stepping motors 8, 12, CPU 16, light source driver 17, CCD driving unit 18, image processing unit 19,
Motor drivers 20, 28, scan buffer 25, I
/ F controller 26 and a buffer controller 27.

【0017】原稿読み取りモードとしては、図3に示す
ような原稿読み取り台3を用いて画像データの読み取り
を行うブックモードと、図4に示すような自動給紙装置
2を用いて画像データの読み取りを行うADFモードと
がある。
As a document reading mode, a book mode in which image data is read using a document reading table 3 as shown in FIG. 3 and a reading mode of image data using an automatic paper feeder 2 as shown in FIG. And ADF mode.

【0018】そこで、まず、図3に示すようなブックモ
ードにおける画像データ読み取りの基本動作について述
べる。原稿13を原稿押さえ板14下の原稿読み取り台
3上にセットした後、CPU16は光源ドライバ17を
動作させて光源4aをオンにする。次に、CCD駆動部
18により駆動されるCCD7で白基準板15を読み取
り、画像処理部19内のA/Dコンバータ(図示せず)
でアナログディジタル変換を行い、画像データのシェー
ディング補正用の基準データとして画像処理部19内の
RAM(図示せず)に記憶する。
First, the basic operation of reading image data in the book mode as shown in FIG. 3 will be described. After setting the document 13 on the document reading table 3 below the document pressing plate 14, the CPU 16 operates the light source driver 17 to turn on the light source 4a. Next, the white reference plate 15 is read by the CCD 7 driven by the CCD driving unit 18, and an A / D converter (not shown) in the image processing unit 19.
Performs analog-to-digital conversion, and stores the reference data for shading correction of image data in a RAM (not shown) in the image processing unit 19.

【0019】CPU16は、モータドライバ(駆動装
置)20をドライブしてステッピングモータ8を動作さ
せ、これにより、第1の走行体4は原稿13のある方向
へ移動する。第1の走行体4が原稿面を一定速度で走査
することにより、その原稿13の画像データがCCD7
により光電変換される。
The CPU 16 drives a motor driver (driving device) 20 to operate the stepping motor 8, whereby the first traveling body 4 moves in a certain direction of the document 13. When the first traveling body 4 scans the document surface at a constant speed, the image data of the document 13 is transferred to the CCD 7.
Is subjected to photoelectric conversion.

【0020】図5は図2に示す画像処理部19の最も基
本的な構成を示すブロック図である。図5に示す画像処
理部19は、アナログビデオ処理部21、シェーディン
グ補正処理部22、画像データ処理部23、2値化処理
部24を備える。ここで光電変換されたアナログビデオ
信号aは、アナログビデオ処理部21でディジタル変換
の処理まで行われた後、シェーディング補正処理部2
2、画像データ処理部23により、それぞれシェーディ
ング補正、各種の画像データ処理を行った後、2値化処
理部24により所望とする2値化処理された2値化デー
タbを作成する。その後、その2値化データbをスキャ
ンバッファ25に順次記憶していく。
FIG. 5 is a block diagram showing the most basic configuration of the image processing section 19 shown in FIG. The image processing unit 19 illustrated in FIG. 5 includes an analog video processing unit 21, a shading correction processing unit 22, an image data processing unit 23, and a binarization processing unit 24. Here, the analog video signal a photoelectrically converted is subjected to digital conversion processing in an analog video processing unit 21 and then to a shading correction processing unit 2.
2. After performing shading correction and various types of image data processing by the image data processing unit 23, the binarization processing unit 24 creates the desired binarized data b by the binarization processing unit 24. Thereafter, the binarized data b is sequentially stored in the scan buffer 25.

【0021】I/Fコントローラ26は、スキャンバッ
ファ25内のデータを外部のホストコンピュータ(図示
せず)等の装置に出力する制御を行う。バッファコント
ローラ27は、スキャンバッファ25への画像データの
入出力管理を行う。
The I / F controller 26 controls output of data in the scan buffer 25 to an external device such as a host computer (not shown). The buffer controller 27 manages input / output of image data to / from the scan buffer 25.

【0022】次に、図4に示すようなADFモードにお
ける画像データ読み取りの基本動作について述べる。こ
の場合にも、まず、白基準板15が読み込まれた後、ス
テッピングモータ12をCPU16がモータドライバ
(駆動装置)28でドライブすることにより、原稿台1
1にセットされた原稿13を、分離ローラ29、搬送ロ
ーラ30で搬送していき、第1の走行体4の所定の読み
取り位置まで搬送する。このとき、原稿13は一定速度
で搬送されていき、第1の走行体4は、停止したままで
原稿面の画像データをCCD7で読み取る。
Next, the basic operation of reading image data in the ADF mode as shown in FIG. 4 will be described. Also in this case, first, after the white reference plate 15 is read, the CPU 16 drives the stepping motor 12 by the motor driver (driving device) 28 so that the original table 1 is read.
The document 13 set to 1 is transported by the separation roller 29 and the transport roller 30, and is transported to a predetermined reading position of the first traveling body 4. At this time, the document 13 is conveyed at a constant speed, and the CCD 7 reads the image data of the document surface while the first traveling body 4 is stopped.

【0023】以下、ブックモードと同様の処理を行い、
2値化された画像データは、スキャンバッファ25に記
憶され、I/Fコントローラ26を介してホストコンピ
ュータ(図示せず)等に送られる。
Hereinafter, the same processing as in the book mode is performed.
The binarized image data is stored in the scan buffer 25 and sent to a host computer (not shown) or the like via the I / F controller 26.

【0024】図6は図5に示す画像処理部19をさらに
詳細に示すブロック図である。図5に示すアナログビデ
オ処理部21は、プリアンプ回路31と、可変増幅回路
32を備えている。また、シェーディング補正処理部2
2は、A/Dコンバータ33、黒演算回路34、シェー
ディング補正演算回路35、ラインバッファ36を備え
ている。
FIG. 6 is a block diagram showing the image processing section 19 shown in FIG. 5 in further detail. The analog video processing section 21 shown in FIG. 5 includes a preamplifier circuit 31 and a variable amplifier circuit 32. The shading correction processing unit 2
2 includes an A / D converter 33, a black operation circuit 34, a shading correction operation circuit 35, and a line buffer 36.

【0025】光源4aにより原稿読み取り台3上にある
原稿13を照射し、反射光をシェーディング調整板37
を通してレンズ6によって集光し、ラインセンサ7にて
結像する。なお、図6では、説明簡単化のために、反射
光を折り返すためのミラーは省略している。シェーディ
ング調整板37は、ラインセンサ7の中央部と端部での
反射光量の差を無くすための光量調整の役割を果たす。
これは、シェーディング演算処理において、あまりにラ
インセンサ中央部と端部で反射光量の差が有りすぎる
と、多分に歪を含んだ演算結果しか得られないために、
予め反射光量の差を無くした後にシェーディング演算処
理を行うためのものである。
The original 13 on the original reading table 3 is irradiated by the light source 4a, and the reflected light is reflected by the shading adjusting plate 37.
The light is condensed by a lens 6 through the light source, and is imaged by a line sensor 7. In FIG. 6, a mirror for folding the reflected light is omitted for simplification of the description. The shading adjustment plate 37 plays a role of adjusting the amount of light for eliminating the difference in the amount of reflected light between the center and the end of the line sensor 7.
This is because if there is too much difference in the amount of reflected light between the central part and the end part of the line sensor in the shading calculation processing, only a calculation result containing a large amount of distortion can be obtained.
This is for performing shading arithmetic processing after eliminating the difference in the amount of reflected light in advance.

【0026】図7(a),(b)はシェーディング調整
板の有無による再現レベルの相違を示す説明図であり、
同図(a)が、調整板37が無い場合の白基準板15の
ビデオデータを読み込んだ際の再現レベル分布である。
このように中央部のレベルが高く、端部でレベルが落ち
る。同図(b)が、シェーディング調整板37を用いた
際のレベル分布例である。ラインセンサ7で光電変換を
した後に、アナログビデオデータとしてレベル調整し、
A/Dコンバータ33にてディジタル変換を行う。ディ
ジタル化したビデオデータは黒側のオフセット分となる
部分を黒演算回路34の演算処理にて取り除き、シェー
ディング補正演算回路35に送る。
FIGS. 7A and 7B are explanatory diagrams showing the difference in reproduction level depending on the presence or absence of a shading adjustment plate.
FIG. 7A shows a reproduction level distribution when the video data of the white reference plate 15 is read without the adjustment plate 37.
Thus, the level at the center is high and the level drops at the ends. FIG. 7B is an example of a level distribution when the shading adjustment plate 37 is used. After the photoelectric conversion by the line sensor 7, the level is adjusted as analog video data,
Digital conversion is performed by the A / D converter 33. In the digitized video data, a portion corresponding to an offset on the black side is removed by the arithmetic processing of the black arithmetic circuit 34 and sent to the shading correction arithmetic circuit 35.

【0027】特に詳しくは説明しないが、この際の黒側
のオフセット分には、ラインセンサ7からの出力が2チ
ャンネル構成の場合、チャンネル間の差分を含んでい
る。ここでの演算処理は、特にはチャンネル間の誤差成
分を除くのが大きな目的である。
Although not described in detail, the offset on the black side at this time includes a difference between channels when the output from the line sensor 7 has a two-channel configuration. The arithmetic processing here has a great purpose particularly to remove error components between channels.

【0028】白基準データのサンプリング処理を行う前
にビデオデータに対する増幅処理のゲイン値を決定する
ためにゲイン設定用のデータ読み取りを行わなければな
らない。白基準板15を設定した固定ゲイン値にて読み
取り、その読み取ったラインデータ中の画素のピーク検
出処理を行うことにより、そのピーク値を以てビデオデ
ータに対する増幅処理のゲイン設定とする。よってシェ
ーディング演算処理用の白基準データのサンプリングか
らそのゲイン値にて画像データを読み取る。
Before performing the sampling processing of the white reference data, data for gain setting must be read in order to determine the gain value of the amplification processing for the video data. The white reference plate 15 is read at a set fixed gain value, and peak detection processing of pixels in the read line data is performed. The peak value is used as a gain setting for amplification processing on video data. Therefore, the image data is read from the sampling of the white reference data for the shading calculation processing with the gain value.

【0029】ゲイン設定用のピークデータの検出は白基
準板15の副走査方向の先頭ラインを検出して行う。白
基準板15の先頭位置は黒部材である必要がある。黒部
材であることにより、白基準板15との切り分けを行う
ことができる。白基準板15の先頭ラインを検知する処
理例を示す。
The peak data for gain setting is detected by detecting the first line of the white reference plate 15 in the sub-scanning direction. The head position of the white reference plate 15 needs to be a black member. The black member can be separated from the white reference plate 15. An example of processing for detecting the leading line of the white reference plate 15 is shown.

【0030】図8は白基準板のビデオレベルデータ中の
検知位置A及びBを示す。図9は白基準板先頭ライン検
出回路のブロック図、図10は白基準板先頭ライン検出
及びピークホールドデータサンプリングラインのタイミ
ング図である。図8に示すA範囲とB範囲の画像データ
を基に白基準先頭ライン検出信号を出力する図9に示す
検出ブロック41は、A範囲画像データ用のピークホー
ルドブロック41aと、B範囲画像データ用のピークホ
ールドブロック42bと、これらの出力を基に白基準先
頭ラインを判断する白基準先頭ライン判断ブロック43
を備えている。
FIG. 8 shows detection positions A and B in the video level data of the white reference plate. FIG. 9 is a block diagram of a white reference plate leading line detection circuit, and FIG. 10 is a timing diagram of a white reference plate leading line detection and peak hold data sampling line. The detection block 41 shown in FIG. 9 for outputting a white reference head line detection signal based on the image data in the range A and the range B shown in FIG. 8 includes a peak hold block 41a for the range A image data and a peak hold block 41a for the range B image data. And a white reference head line determination block 43 for determining a white reference head line based on these outputs.
It has.

【0031】白基準板15外部が黒であると、ビデオデ
ータは殆どレベルを持たない。このレベルデータ中の検
知位置がA及びBの範囲である。A,Bの範囲の中でピ
ークホールド処理を行い、検出したレベルがある設定し
たレベルよりも高いときに判断ブロック43は白基準板
15を読み取ったデータであると判断し、そのラインデ
ータを白基準板15の先頭ライン位置であると判断す
る。
If the outside of the white reference plate 15 is black, the video data has almost no level. The detection position in this level data is the range of A and B. A peak hold process is performed within the range of A and B, and when the detected level is higher than a certain set level, the determination block 43 determines that the data is obtained by reading the white reference plate 15, and converts the line data to white. It is determined that the position is the head line position of the reference plate 15.

【0032】なお、A,Bと白基準板15の主走査方向
の両端の位置でピークホールド処理を行ったのは、もし
白基準板15の取り付け状態により斜めに設置されてい
た場合にはA,Bの両端とも白基準板15であると判断
してはじめて白基準先頭ラインであると判断させるため
である。そのために両端を検出位置としたものである。
The reason why the peak hold processing is performed at both ends of the white reference plate 15 in the main scanning direction of A and B is that if the white reference plate 15 is installed obliquely depending on the mounting state of the white reference plate 15, , B are determined to be white reference head lines only after they are determined to be the white reference plate 15. Therefore, both ends are set as the detection positions.

【0033】もし、片側だけ白基準板15と判断した際
には、その白基準板15が斜めに設置されていることに
なり、正しく白基準板15を読み取ることができない。
また白基準板15のエッジ部分では反射の状態が特に大
きく変化する可能性があるので、先端ラインを検出して
から数ライン進めたところの白基準板15の読み取りで
ピークホールド処理を行うことが望ましい。本処理によ
って白基準板15の先端ライン検出を行い、その先端ラ
イン検出からピークホールド処理を行うことによって正
しいビデオアンプに対するゲイン設定を行うことができ
る。
If it is determined that only one side is the white reference plate 15, the white reference plate 15 is installed obliquely, and the white reference plate 15 cannot be read correctly.
In addition, since there is a possibility that the state of reflection at the edge portion of the white reference plate 15 may change significantly, the peak hold process may be performed by reading the white reference plate 15 a few lines after detecting the leading end line. desirable. By performing this processing, the front end line of the white reference plate 15 is detected, and the peak hold processing is performed based on the detection of the front end line, whereby the correct gain setting for the video amplifier can be performed.

【0034】上記ビデオデータの増幅処理に対して正し
いゲイン設定を行い、そのゲイン設定により白基準デー
タをサンプリングする。サンプリング処理の際には主走
査方向、副走査方向にサンプリングした白基準データが
新規に白基準データの平均演算処理に加えてよいかどう
かの判断処理を行う。
A correct gain setting is made for the video data amplification processing, and white reference data is sampled by the gain setting. At the time of the sampling process, it is determined whether the white reference data sampled in the main scanning direction and the sub-scanning direction may be newly added to the average calculation process of the white reference data.

【0035】その際には、例えば主走査方向に隣接の画
素とのレベル差を幾つ以内にするかを設定し、もしその
差分設定以上のレベル差を検知した際には異常画素であ
ると判断する。また副走査方向に対しても同様に前ライ
ンデータとのレベル差を幾つまでにするかを予め設定し
ておき、そのレベル差以上の差分を検出したなら異常画
素であると判断する。本例では主走査方向、副走査方向
の両方を異常画素の検出対象としたが、主走査方向及び
副走査方向の単独処理であっても同様である。
In this case, for example, the level difference between adjacent pixels in the main scanning direction is set to be within the range. If a level difference exceeding the difference setting is detected, it is determined that the pixel is an abnormal pixel. I do. Similarly, in the sub-scanning direction, how many levels are different from the previous line data is set in advance, and if a difference greater than the level difference is detected, it is determined that the pixel is an abnormal pixel. In this example, both the main scanning direction and the sub-scanning direction are detected as abnormal pixels. However, the same applies to a single process in the main scanning direction and the sub-scanning direction.

【0036】新規に取り込んだデータが、白基準データ
として取り込むべきと判断した際には、平均値処理演算
ブロックによる白基準データの平均化処理演算の対象と
して、そのデータを演算処理に加える。逆に、対象外と
判断した際には前ラインまでに平均化処理を行ったデー
タを現データに置き換えて白基準データの平均化処理を
行う。本処理を行うことにより異常画素を含まない白基
準データを形成することができる。
When it is determined that the newly fetched data should be fetched as white reference data, the data is added to the calculation processing as an object of averaging processing of the white reference data by the average value processing calculation block. Conversely, when it is determined that the data is out of the target, the data subjected to the averaging process up to the previous line is replaced with the current data, and the averaging process of the white reference data is performed. By performing this processing, white reference data that does not include abnormal pixels can be formed.

【0037】図11は白基準データ取り込み判断処理及
び平均化演算処理の第1の例を示すブロック図である。
白基準データ格納用のラインバッファ51、副走査方向
差分検出ブロック52、主走査方向差分検出ブロック5
3、平均化処理演算ブロック54を備えている。
FIG. 11 is a block diagram showing a first example of the white reference data loading determination processing and the averaging calculation processing.
Line buffer 51 for storing white reference data, sub-scanning direction difference detection block 52, main scanning direction difference detection block 5
3. An averaging processing operation block 54 is provided.

【0038】新規の読み取りデータと前ラインまでの平
均化処理データとの比較を副走査方向差分検出ブロック
52で行い、主走査方向に対しては主走査方向差分検出
ブロック53で行う。主走査方向に関しては1タイミン
グ前の主走査方向の画素との比較処理を行い、その差分
結果で新規読み取りデータを、平均化処理演算ブロック
54による平均化処理演算に加えるかを決める。なお、
差分量は設定スレッシュの形で与える。
The comparison between the new read data and the averaging processing data up to the previous line is performed by the sub-scanning direction difference detection block 52, and the main scanning direction difference detection block 53 is used for the main scanning direction. With respect to the main scanning direction, comparison processing is performed with the pixel in the main scanning direction one timing before, and it is determined whether the new read data is to be added to the averaging processing operation by the averaging processing operation block 54 based on the difference result. In addition,
The difference amount is given in the form of a set threshold.

【0039】平均化演算処理ブロック54ではこの判定
結果を受けて、新規読み取りデータを演算処理に入れる
か前ラインまでの平均化処理データを演算に用いるかの
処理を行い、白基準データを生成する。例えば、平均化
処理を4データに対して行う場合には4ライン分のデー
タを読み込んで白基準データを生成する。
The averaging operation processing block 54 receives the result of the determination, and performs a process as to whether the newly read data is included in the operation processing or the averaging processing data up to the previous line is used for the operation, and generates white reference data. . For example, when the averaging process is performed on four data, four lines of data are read to generate white reference data.

【0040】また、新規に取り込んでデータが、白基準
データとして取り込むべきと判断した際には白基準デー
タの平均化処理演算の対象として、そのデータを演算処
理に加える。逆に対象外と判断した際には演算処理を行
わず、次ライン以降で取り込むべきデータが現れて平均
化演算処理が完結するまで、副走査方向に白基準データ
のサンプリング位置を変えて白基準データのサンプリン
グを続け、各画素の白基準データとしての演算処理が終
了した時点で白基準データのサンプリングを終了する。
本処理を行うことにより異常画素を含まず、さらに平均
化処理に対して新規のデータを演算処理対象とした白基
準データを形成することができる。
When it is determined that the newly acquired data should be acquired as white reference data, the data is added to the arithmetic processing as an object of the averaging processing operation of the white reference data. On the other hand, if it is determined that the data is out of the target, the arithmetic processing is not performed. The sampling of the data is continued, and the sampling of the white reference data is completed when the arithmetic processing as the white reference data of each pixel is completed.
By performing this processing, it is possible to form white reference data that does not include an abnormal pixel and that has new data subjected to arithmetic processing for the averaging processing.

【0041】図12は白基準データ取り込み判断処理及
び平均化演算処理の第2の例を示すブロック図である。
副走査方向差分検出ブロック52、主走査方向差分検出
ブロック53の他、白基準データ格納及び演算処理対象
画素カウント値格納用のラインバッファ61、平均化処
理演算及び演算対象カウント処理用のブロック62を備
える。
FIG. 12 is a block diagram showing a second example of the white reference data loading determination processing and the averaging calculation processing.
In addition to the sub-scanning direction difference detection block 52 and the main scanning direction difference detection block 53, a line buffer 61 for storing white reference data and storing a pixel count value for calculation processing, and a block 62 for averaging processing and calculation processing count processing are provided. Prepare.

【0042】主走査方向、副走査方向の差分検出は上述
した通りであるが、平均化処理を行う上で、例えば4デ
ータを平均化処理する際には、新規読み取りデータが平
均化演算処理に加えられるかどうかを、ブロック62で
それぞれの画素単位にカウント処理し、カウント処理し
た結果をラインバッファ61に白基準データと共に格納
する。このカウント値が全ての白基準データにおいて4
になったところで白基準データのサンプリングを終了す
る。
The difference detection in the main scanning direction and the sub-scanning direction is as described above. However, when averaging, for example, when averaging four data, the newly read data is applied to the averaging operation. In a block 62, whether or not it is added is counted for each pixel unit, and the count result is stored in the line buffer 61 together with the white reference data. This count value is 4 in all the white reference data.
, The sampling of the white reference data ends.

【0043】[0043]

【発明の効果】請求項1記載の発明によれば、白基準部
材の副走査方向の読み取り先頭位置を特定することで、
読み取り先頭位置が白基準部材から外れることを防止
し、また白基準部材の副走査先端部の長さマージンを最
小に抑えることが可能となる。
According to the first aspect of the present invention, by specifying the reading start position of the white reference member in the sub-scanning direction,
It is possible to prevent the reading start position from deviating from the white reference member, and to minimize the length margin of the sub-scanning leading end of the white reference member.

【0044】請求項2記載の発明によれば、白基準デー
タとしての演算処理に欠陥画素を取り入れないようにす
ることが可能になる。
According to the second aspect of the present invention, it is possible to prevent defective pixels from being included in the arithmetic processing as white reference data.

【0045】請求項3記載の発明によれば、欠陥画素検
出による再読み取りを実施しないので、処理上のオーバ
ヘッドを無くすことが可能になる。
According to the third aspect of the present invention, since re-reading by detecting a defective pixel is not performed, it is possible to eliminate processing overhead.

【0046】請求項4記載の発明によれば、白基準デー
タ中に欠陥画素を含まない精度の高い白基準データを生
成することが可能になる。
According to the fourth aspect of the present invention, it is possible to generate highly accurate white reference data that does not include a defective pixel in the white reference data.

【図面の簡単な説明】[Brief description of the drawings]

【図1】画像読取装置の構成図である。FIG. 1 is a configuration diagram of an image reading apparatus.

【図2】画像読取装置の全体制御ブロック図である。FIG. 2 is an overall control block diagram of the image reading apparatus.

【図3】ブックモード時の原稿読み取り部の構成図であ
る。
FIG. 3 is a configuration diagram of a document reading unit in a book mode.

【図4】ADFモード時の原稿読み取り部の構成図であ
る。
FIG. 4 is a configuration diagram of a document reading unit in an ADF mode.

【図5】図2に示す画像処理部の最も基本的な構成を示
すブロック図である。
FIG. 5 is a block diagram illustrating the most basic configuration of the image processing unit illustrated in FIG. 2;

【図6】図5に示す画像処理部をさらに詳細に示すブロ
ック図である。
FIG. 6 is a block diagram showing the image processing unit shown in FIG. 5 in further detail;

【図7】シェーディング調整板の有無による再現レベル
の相違を示す説明図である。
FIG. 7 is an explanatory diagram showing a difference in reproduction level depending on the presence or absence of a shading adjustment plate.

【図8】白基準板のビデオレベルデータ中の検知位置A
及びBを示す図である。
FIG. 8 shows a detection position A in video level data of a white reference plate.
FIG.

【図9】白基準板先頭ライン検出回路のブロック図であ
る。
FIG. 9 is a block diagram of a white reference plate leading line detection circuit.

【図10】白基準板先頭ライン検出及びピークホールド
データサンプリングラインのタイミング図である。
FIG. 10 is a timing chart of a white reference plate leading line detection and peak hold data sampling line.

【図11】白基準データ取り込み判断処理及び平均化演
算処理の第1の例を示すブロック図である。
FIG. 11 is a block diagram illustrating a first example of a white reference data capturing determination process and an averaging calculation process.

【図12】白基準データ取り込み判断処理及び平均化演
算処理の第2の例を示すブロック図である。
FIG. 12 is a block diagram illustrating a second example of the white reference data capturing determination process and the averaging calculation process.

【符号の説明】[Explanation of symbols]

15 白基準板 19 画像処理部 21 アナログビデオ処理部 22 シェーディング補正処理部 23 画像データ処理部 24 2値化処理部 35 シェーディング補正演算回路 41 白基準板先頭ライン検出ブロック 42a,42b ピークホールドブロック 43 白基準先頭ライン判断ブロック 15 White reference plate 19 Image processing unit 21 Analog video processing unit 22 Shading correction processing unit 23 Image data processing unit 24 Binarization processing unit 35 Shading correction operation circuit 41 White reference plate head line detection block 42a, 42b Peak hold block 43 White Reference first line judgment block

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 一次元配列された複数の光電変換素子を
有するラインセンサによって、白基準部材の白基準画像
を読み取り、各光電変換素子の出力に基づいて補正用白
基準データとして記憶し、原稿の画像を読み取る際に、
各光電変換素子の出力を補正用白基準データに基づいて
補正するシェーディング補正方式を採用する画像処理装
置を備えた画像読取装置において、 白基準部材の主走査方向の両端位置で補正用白基準デー
タのピークホールドを行うピークホールド手段、このピ
ークホールド値が所定レベル以上のとき、白基準先頭ラ
インであると判断する判断手段、白基準先頭ラインであ
ると判断された場合は、補正用白基準データのレベルに
基づいてビデオアンプのゲインコントロール値を決定す
るゲインコントロール値決定手段を備えたことを特徴と
する画像読取装置。
1. A white sensor which reads a white reference image of a white reference member by a line sensor having a plurality of one-dimensionally arranged photoelectric conversion elements, stores the white reference image as correction white reference data based on the output of each photoelectric conversion element, and When reading the image of
In an image reading apparatus provided with an image processing device adopting a shading correction method for correcting the output of each photoelectric conversion element based on the correction white reference data, the correction white reference data is set at both ends of the white reference member in the main scanning direction. A peak hold means for performing peak hold of, a determination means for determining, when the peak hold value is equal to or higher than a predetermined level, a white reference head line, and a correction white reference data when determined to be a white reference head line. An image reading device comprising a gain control value determining means for determining a gain control value of the video amplifier based on the level of the video amplifier.
【請求項2】 請求項1記載の画像読取装置において、 決定されたゲインコントロール値に基づいてシェーディ
ング補正データのサンプリングを行う際に、新規に取り
込んだデータを検証することにより、補正用白基準デー
タとして取り込むべきかどうかを判断することを特徴と
する画像読取装置。
2. The image reading apparatus according to claim 1, wherein when sampling the shading correction data based on the determined gain control value, the newly read data is verified to obtain correction white reference data. An image reading apparatus for determining whether or not the image should be taken in as an image.
【請求項3】 請求項2記載の画像読取装置において、 補正用白基準データとして取り込むべきと判断した際に
は、補正用白基準データの平均化処理演算の対象として
データを演算に加え、対象外と判断した際には前ライン
までに平均化処理を行ったデータに置き換えて補正用白
基準データの平均化処理演算を行うことを特徴とする画
像読取装置。
3. The image reading apparatus according to claim 2, wherein when it is determined that the correction white reference data is to be taken in, the data is added to the calculation as an object of averaging processing of the correction white reference data. An image reading apparatus, wherein when it is determined that the data is outside the range, the averaging process is performed on the correction white reference data by replacing the data with the data that has been subjected to the averaging process up to the previous line.
【請求項4】 請求項2記載の画像読取装置において、 補正用白基準データとして取り込むべきと判断した際に
は、補正用白基準データの平均化処理演算の対象として
データを演算に加え、対象外と判断した際には取り込む
べきデータが現れて演算処理が完結するまで副走査方向
に補正用白基準データのサンプリング位置を変えて補正
用白基準データのサンプリングを続け、各画素の補正用
白基準データとしての演算処理が終了した時点で白基準
データのサンプリングを終了することを特徴とする画像
読取装置。
4. The image reading apparatus according to claim 2, wherein when it is determined that the correction white reference data should be taken in, the data is added to the calculation as an object of averaging processing of the correction white reference data. If it is determined that the pixel is to be taken outside, sampling of the correction white reference data is continued by changing the sampling position of the correction white reference data in the sub-scanning direction until the calculation processing is completed and the correction white reference data of each pixel is continued. An image reading apparatus, wherein sampling of white reference data is completed at the time of completion of calculation processing as reference data.
JP09291497A 1997-03-27 1997-03-27 Image reading device Expired - Fee Related JP3754173B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09291497A JP3754173B2 (en) 1997-03-27 1997-03-27 Image reading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09291497A JP3754173B2 (en) 1997-03-27 1997-03-27 Image reading device

Publications (2)

Publication Number Publication Date
JPH10276324A true JPH10276324A (en) 1998-10-13
JP3754173B2 JP3754173B2 (en) 2006-03-08

Family

ID=14067763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09291497A Expired - Fee Related JP3754173B2 (en) 1997-03-27 1997-03-27 Image reading device

Country Status (1)

Country Link
JP (1) JP3754173B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153328A (en) * 2012-01-25 2013-08-08 Kyocera Document Solutions Inc Image reading device and image forming device
JP2015046882A (en) * 2014-09-22 2015-03-12 京セラドキュメントソリューションズ株式会社 Image reading apparatus and image forming apparatus
JP2016067005A (en) * 2015-10-14 2016-04-28 京セラドキュメントソリューションズ株式会社 Image reading device and image forming apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153328A (en) * 2012-01-25 2013-08-08 Kyocera Document Solutions Inc Image reading device and image forming device
JP2015046882A (en) * 2014-09-22 2015-03-12 京セラドキュメントソリューションズ株式会社 Image reading apparatus and image forming apparatus
JP2016067005A (en) * 2015-10-14 2016-04-28 京セラドキュメントソリューションズ株式会社 Image reading device and image forming apparatus

Also Published As

Publication number Publication date
JP3754173B2 (en) 2006-03-08

Similar Documents

Publication Publication Date Title
JP3754173B2 (en) Image reading device
JP3569059B2 (en) Image reading device
JPH0927909A (en) Image reading device
JP3907033B2 (en) Image reading device
JP4513622B2 (en) Image reading device
JP3539812B2 (en) Image reading device
JP2001036742A (en) Image reading device
JP2002237945A (en) Image reading device
JPH1098616A (en) Image processing device
JP3011942B2 (en) Digital image output device
JP2003333335A (en) Image processing device
JP2003032490A (en) Image processing device
JP2002247352A (en) Image processing device
US20250337843A1 (en) Image processor, image processing method, and non-transitory recording medium
JPH09219793A (en) Image reading device
JP4037622B2 (en) Image processing device
JP2002262086A (en) Image processing device
JP2004104363A (en) Image reading device
JPH11187207A (en) Image reading device
JP2000175039A (en) Image reading device
JP2000032262A (en) Image reading device
JP3638708B2 (en) Image playback device
JPH08237478A (en) Image reader
JP2004172807A (en) Image reading device
JP2003244435A (en) Image processing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees