JPH09247540A - 画素欠陥補正装置 - Google Patents

画素欠陥補正装置

Info

Publication number
JPH09247540A
JPH09247540A JP8045166A JP4516696A JPH09247540A JP H09247540 A JPH09247540 A JP H09247540A JP 8045166 A JP8045166 A JP 8045166A JP 4516696 A JP4516696 A JP 4516696A JP H09247540 A JPH09247540 A JP H09247540A
Authority
JP
Japan
Prior art keywords
pixel
data
defective
defect correction
coordinate data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8045166A
Other languages
English (en)
Other versions
JP3805421B2 (ja
Inventor
Takeji Uejima
岳二 上島
Osamu Inagaki
修 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP04516696A priority Critical patent/JP3805421B2/ja
Publication of JPH09247540A publication Critical patent/JPH09247540A/ja
Application granted granted Critical
Publication of JP3805421B2 publication Critical patent/JP3805421B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 置き換える正常画素の判別処理を高速化して
画素欠陥補正処理の効率を向上することができる画素欠
陥補正装置を提供する。 【解決手段】 撮像素子2からの画素信号をアナログ処
理回路3とA/D変換器4とを介して画像データとして
取り込むフレームメモリ5と、撮像素子2の水平方向お
よび垂直方向の欠陥画素座標データと欠陥画素を置き換
える正常画素の位置データとを欠陥画素座標データテー
ブルとしてテーブルメモリに有し、この欠陥画素座標デ
ータテーブルの欠陥画素座標データと置き換える正常画
素の位置データとに基づいて上記フレームメモリ5に取
り込まれた画像データに対して欠陥画素の画素データを
正常画素の画素データに置き換える画素欠陥補正を行う
システムコントローラ9とを備え、このシステムコント
ローラ9により画素欠陥補正処理がなされた画像データ
を通常の画像データとしてフレームメモリ5から出力す
る画素欠陥補正装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画素欠陥補正装
置、より詳しくは、撮像素子の欠陥画素を補正して通常
の画像データとして出力する画素欠陥補正装置に関す
る。
【0002】
【従来の技術】CCD等の固体撮像素子は、半導体基板
上に多数の光電変換素子を配列して構成する撮像デバイ
スであり、古くから使用されている撮像管と比べて、は
るかに小型、軽量、安価であるという利点を備えている
ことから、テレビカメラや画像センサなどの各種の広い
分野で利用されている。
【0003】こうした撮像素子は、最近では、できるだ
け小型で高感度、高画質であることが求められており、
小さなチップに超微細な画素が多数作り込まれるように
なってきている。このために、例えば半導体基板の結晶
欠陥、パターンの不良、基板表面に付着した塵などの影
響を受け易く、光電変換を正常に行うことができない欠
陥画素が生じることがあって、生産性における歩留まり
の向上を阻止する一因となっている。
【0004】そこで、歩留まりを向上させるために、欠
陥画素から読み出した画素データを正常画素から読み出
した画素データに置換して画素欠陥を救済する技術手段
が、例えば特開平5−68209号公報、特開平5−4
8974号公報、特開平5−236358号公報、特開
平6−6643号公報などに記載されている。
【0005】このような従来の画素欠陥補正装置の全体
の構成を、本発明の実施の形態を表す図1のブロック図
を援用して説明する。
【0006】この画素欠陥補正装置は、入射された被写
体の光学像を結像させるレンズ系1と、このレンズ系1
により結像された被写体像を光電変換して電気信号とし
て出力する撮像素子2と、増幅やオプティカルブラック
クランプなどの処理を行って上記撮像素子2からの出力
を後述するA/D変換器4の入力レベルに合わせるアナ
ログ処理回路3と、このアナログ処理回路3から出力さ
れたアナログ信号をデジタル信号に変換するA/D変換
器4と、撮像された画像データを一旦記憶しておくフレ
ームメモリ5と、モニタなどに表示するデータを記憶し
ておく表示メモリ6と、この表示メモリ6からの画像デ
ータをモニタなどの規格に合うように変換して(一般的
にはD/A変換によりアナログ信号にしてから同期信号
を付加する)出力する出力処理回路7と、この画素欠陥
補正装置の動作モードを管理するとともに画素欠陥補正
処理を行うシステムコントローラ9と、このシステムコ
ントローラ9から出力されたモード信号によりそのモー
ドに応じたタイミングで上記撮像素子2を駆動して信号
を読み出す撮像素子駆動回路8と、上記システムコント
ローラ9およびフレームメモリ5とともにバス接続され
ており、画素欠陥補正された画像をパーソナルコンピュ
ータなどにSCSI等の規格の装置を介して転送するパ
ーソナルコンピュータインタフェース(パーソナルコン
ピュータI/F)10とを有して構成されている。
【0007】次に、このような画素欠陥補正装置の全体
の動作を説明する。
【0008】レンズ系1により撮像素子2の撮像面に結
像された被写体像は、該撮像素子2により光電変換され
て電気信号として出力される。この出力された信号は、
アナログ処理回路3により増幅された後にオプティカル
ブラッククランプ等のアナログ処理が行われて、A/D
変換器4によりデジタルデータに変換される。
【0009】このデジタルデータは、一旦フレームメモ
リ5に記憶された後に、システムコントローラ9により
後述するような画素欠陥補正処理を施される。欠陥補正
された画像データはフレームメモリ5から出力されて、
表示に用いられるデータが表示メモリ6に記憶される。
【0010】表示メモリ6は、表示のタイミングに合わ
せて画像データを読み出して、出力処理回路7に送出す
る。
【0011】出力処理回路7は、上記表示メモリ6から
受けたデジタル信号をアナログ信号に変換した後に、同
期信号を付加してからモニタなどの表示手段に映像信号
として出力する。
【0012】また、上記フレームメモリ5に記憶されて
いる欠陥補正が施されたデータは、パーソナルコンピュ
ータI/F10を通じてパーソナルコンピュータなどの
外部装置に転送され、その後、該パーソナルコンピュー
タに接続された例えばプリンタなどにより、プリント画
像として出力される。
【0013】次に、従来の画素欠陥補正装置内のシステ
ムコントローラ9内部の動作について、図11のフロー
チャートを参照して説明する。
【0014】撮像素子2により撮像された画素信号は、
アナログ処理回路3とA/D変換器4を経由して、フレ
ームメモリ5に転送される(ステップS51)。
【0015】続いて、図12に示すような欠陥画素の座
標データを格納してあるテーブル(欠陥画素座標データ
テーブル)により参照する座標データが残っているか否
かを判断して(ステップS52)、全ての欠陥画素の座
標データについて参照が終わっている場合には、後述す
るステップS56へ進む。
【0016】一方、参照しようとする座標データが残っ
ている場合には、図12に示したような欠陥画素座標デ
ータテーブルから欠陥画素の水平方向の座標データおよ
び垂直方向の座標データを取得する(ステップS5
3)。
【0017】そして、取得した欠陥画素の座標データを
中心にして、周りの画素から正常画素である画素のデー
タを取得する(ステップS54)。通常は、欠陥画素の
すぐ左隣の画素または右隣の画素が正常画素であるなら
ば、その画素データを取得する。
【0018】このときに画素データを取得する画素が正
常画素であるか否かの判断は、上記図12に示した欠陥
画素座標データテーブルを参照して、該データテーブル
中に取得しようとしている画素データに係る座標に一致
する座標が存在しなければ、正常画素であると見なすこ
とにより行う。
【0019】次に、上記ステップS53における欠陥画
素の座標位置の画素データを、上記ステップS54にお
いて取得した正常画素の画素データに置き換える(ステ
ップS55)。
【0020】その後、再び上記ステップS52に戻り、
参照する座標データがなくなるまで、上記ステップS5
2からステップS55の処理を繰り返して行う。
【0021】そして、上記ステップS52において、欠
陥画素座標データテーブルから全ての画素欠陥位置の座
標データを取得し終わった場合には、上記ステップS5
2からステップS55の処理によって画素欠陥補正処理
が終了した画像データを、フレームメモリ5からモニタ
またはパーソナルコンピュータ等の出力装置に出力して
(ステップS56)、この処理を終了する。
【0022】
【発明が解決しようとする課題】このような従来の画素
欠陥補正装置は、上述のように、欠陥画素を周囲の正常
画素で置き換えるにあたって、置き換えようとする画素
が正常画素であるかどうかの判別を、欠陥画素座標デー
タテーブル内の欠陥画素に係る座標データを検索して、
同じ座標データがなければ正常画素であると判断するこ
とにより行っている。しかしながら、このような判別手
段では、正常画素であるか否かを判別するために、全て
の欠陥画素について、置き換えようとする画素の座標デ
ータをデータテーブル内の全座標データと照合しなけれ
ばならず、画素欠陥補正処理全体に時間を要してしまう
という難点がある。
【0023】また上記従来の画素欠陥補正装置は、間引
き読み出しやブロック読み出しを行おうとする場合に
も、読み出し対象とならない欠陥画素を含む全ての欠陥
画素について、置き換えようとする画素の座標データを
データテーブル内の全座標データと照合してしまってい
たために、やはり画素欠陥補正処理全体に時間を要して
いた。
【0024】本発明は上記事情に鑑みてなされたもので
あり、画素欠陥補正を短時間で効率的に行うことができ
る画素欠陥補正装置を提供することを目的としている。
【0025】
【課題を解決するための手段】上記の目的を達成するた
めに、請求項1による本発明の画素欠陥補正装置は、撮
像素子からの画素信号をフレームメモリに画像データと
して取り込む画素データ取込手段と、上記撮像素子に係
る欠陥画素の水平方向および垂直方向の座標データと上
記欠陥画素を置き換える正常画素の位置データとを欠陥
画素座標データテーブルとして備えこの欠陥画素座標デ
ータテーブルの欠陥画素の座標データと正常画素の位置
データとに基づいて上記フレームメモリに取り込まれた
画像データに対して欠陥画素の画素データを正常画素の
画素データに置き換える画素欠陥補正処理を行う画素欠
陥補正手段と、上記画素欠陥補正手段により画素欠陥補
正処理がなされた画像データを通常の画像データとして
出力する画像データ出力手段とを備えたものである。
【0026】また、請求項2による本発明の画素欠陥補
正装置は、撮像素子からの画素信号をフレームメモリに
画像データとして取り込む画素データ取込手段と、上記
撮像素子に係る欠陥画素の水平方向および垂直方向の座
標データを間引き読み出しのモードに対応した複数のテ
ーブルとして有する欠陥画素座標データテーブルを備え
この欠陥画素座標データテーブルが有する複数のテーブ
ルの内の指定されたモードの間引き読み出しを行うのに
必要なテーブルのみを参照して画素欠陥補正処理を行う
画素欠陥補正手段と、上記画素欠陥補正手段により画素
欠陥補正処理がなされた画像データを通常の画像データ
として出力する画像データ出力手段とを備えたものであ
る。
【0027】さらに、請求項3による本発明の画素欠陥
補正装置は、撮像素子からの画素信号をフレームメモリ
に画像データとして取り込む画素データ取込手段と、上
記撮像素子に係る欠陥画素の水平方向および垂直方向の
座標データを水平方向座標毎に並べた複数のテーブルと
してまたは垂直方向座標毎に並べた複数のテーブルとし
て有する欠陥画素座標データテーブルを備えこの欠陥画
素座標データテーブルが有する複数のテーブルの内の指
定された部分読み出しを行うのに必要なテーブルのみを
参照して画素欠陥補正処理を行う画素欠陥補正手段と、
上記画素欠陥補正手段により画素欠陥補正処理がなされ
た画像データを通常の画像データとして出力する画像デ
ータ出力手段とを備えたものである。
【0028】従って、請求項1による本発明の画素欠陥
補正装置は、画素データ取込手段が撮像素子からの画素
信号をフレームメモリに画像データとして取り込み、画
素欠陥補正手段が、上記撮像素子に係る欠陥画素の水平
方向および垂直方向の座標データと上記欠陥画素を置き
換える正常画素の位置データとを欠陥画素座標データテ
ーブルとして備え、この欠陥画素座標データテーブルの
欠陥画素の座標データと正常画素の位置データとに基づ
いて上記フレームメモリに取り込まれた画像データに対
して欠陥画素の画素データを正常画素の画素データに置
き換える画素欠陥補正処理を行い、画像データ出力手段
が、上記画素欠陥補正手段により画素欠陥補正処理がな
された画像データを通常の画像データとして出力する。
【0029】また、請求項2による本発明の画素欠陥補
正装置は、画素データ取込手段が撮像素子からの画素信
号をフレームメモリに画像データとして取り込み、画素
欠陥補正手段が、上記撮像素子に係る欠陥画素の水平方
向および垂直方向の座標データを間引き読み出しのモー
ドに対応した複数のテーブルとして有する欠陥画素座標
データテーブルを備え、この欠陥画素座標データテーブ
ルが有する複数のテーブルの内の指定されたモードの間
引き読み出しを行うのに必要なテーブルのみを参照して
画素欠陥補正処理を行い、画像データ出力手段が、上記
画素欠陥補正手段により画素欠陥補正処理がなされた画
像データを通常の画像データとして出力する。
【0030】さらに、請求項3による本発明の画素欠陥
補正装置は、画素データ取込手段が撮像素子からの画素
信号をフレームメモリに画像データとして取り込み、画
素欠陥補正手段が、上記撮像素子に係る欠陥画素の水平
方向および垂直方向の座標データを水平方向座標毎に並
べた複数のテーブルとしてまたは垂直方向座標毎に並べ
た複数のテーブルとして有する欠陥画素座標データテー
ブルを備え、この欠陥画素座標データテーブルが有する
複数のテーブルの内の指定された部分読み出しを行うの
に必要なテーブルのみを参照して画素欠陥補正処理を行
い、画像データ出力手段が、上記画素欠陥補正手段によ
り画素欠陥補正処理がなされた画像データを通常の画像
データとして出力する。
【0031】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1から図4は本発明の第1の実
施形態を示したものであり、図1は画素欠陥補正装置の
構成を示すブロック図、図2はシステムコントローラに
よる画素欠陥補正処理の動作を示すフローチャート、図
3は欠陥画素座標データテーブルを示す図、図4は欠陥
画素の周囲に割り振られた置き換え位置を示す図であ
る。
【0032】この画素欠陥補正装置は、図1に示すよう
に、入射された被写体の光学像を結像させるレンズ系1
と、このレンズ系1により結像された被写体像を光電変
換して電気信号として出力する撮像素子2と、増幅やオ
プティカルブラッククランプなどの処理を行って上記撮
像素子2からの出力を後述するA/D変換器4の入力レ
ベルに合わせるアナログ処理回路3と、このアナログ処
理回路3から出力されたアナログ信号をデジタル信号に
変換するA/D変換器4と、撮像された画像データを一
旦記憶しておく画素データ取込手段であり画像データ出
力手段たるフレームメモリ5と、モニタなどに表示する
データを記憶しておく表示メモリ6と、この表示メモリ
6からの画像データをモニタなどの規格に合うように変
換して(一般的にはD/A変換によりアナログ信号にし
てから同期信号を付加する)出力する出力処理回路7
と、この画素欠陥補正装置の動作モードを管理するとと
もに後述する欠陥画素座標データテーブルを記憶するテ
ーブル用メモリを備えていて画素欠陥補正処理を行う画
素欠陥補正手段たるシステムコントローラ9と、このシ
ステムコントローラ9から出力されたモード信号により
そのモードに応じたタイミングで上記撮像素子2を駆動
して信号を読み出す撮像素子駆動回路8と、上記システ
ムコントローラ9およびフレームメモリ5とともにバス
接続されており、画素欠陥補正された画像をパーソナル
コンピュータなどにSCSI等の規格の装置を介して転
送するパーソナルコンピュータインタフェース(パーソ
ナルコンピュータI/F)10とを有して構成されてい
る。
【0033】次に、上記図1に示したような画素欠陥補
正装置の全体の動作を説明する。
【0034】すなわち、レンズ系1により撮像素子2の
撮像面に結像された被写体像は、該撮像素子2により光
電変換されて電気信号として出力される。この出力され
た信号は、アナログ処理回路3により増幅された後にオ
プティカルブラッククランプ等のアナログ処理が行われ
て、A/D変換器4によりデジタルデータに変換され
る。
【0035】このデジタルデータは、一旦フレームメモ
リ5に記憶された後に、システムコントローラ9により
後述するような画素欠陥補正処理を施される。欠陥補正
された画像データはフレームメモリ5から出力されて、
表示に用いられるデータが表示メモリ6に記憶される。
【0036】表示メモリ6は、表示のタイミングに合わ
せて画像データを読み出して、出力処理回路7に送出す
る。
【0037】出力処理回路7は、上記表示メモリ6から
受けたデジタル信号をアナログ信号に変換した後に、同
期信号を付加してからモニタなどの表示手段に映像信号
として出力する。
【0038】また、上記フレームメモリ5に記憶されて
いる欠陥補正が施されたデータは、パーソナルコンピュ
ータI/F10を通じてパーソナルコンピュータなどの
外部装置に転送され、その後、該パーソナルコンピュー
タに接続された例えばプリンタなどにより、プリント画
像として出力される。
【0039】続いて、本実施形態の画素欠陥補正装置内
のシステムコントローラ9の動作について、図2のフロ
ーチャートを参照して説明する。
【0040】上記撮像素子2により撮像された画像デー
タは、アナログ処理回路3とA/D変換器4を経て、フ
レームメモリ5内に取り込まれる(ステップS1)。
【0041】次に、図3に示すような欠陥画素座標デー
タテーブルにより参照する座標データが残っているか否
かを判断して(ステップS2)、全ての欠陥画素の座標
データについて参照が終わっている場合には、後述する
ステップS7へ進む。
【0042】一方、参照しようとする座標データが残っ
ている場合には、図3に示す欠陥画素座標データテーブ
ルから欠陥画素の水平方向の座標データおよび垂直方向
の座標データを取り込む(ステップS3)。
【0043】そして、図3に示す欠陥画素座標データテ
ーブルから、欠陥画素の画素データを正常画素の画素デ
ータに置き換えるための、正常画素の位置を示す置き換
え位置項目に格納されている置き換え位置データを取得
する(ステップS4)。
【0044】続いて、この取得した置き換え位置のデー
タが示す位置にある正常画素の画素データを取得する
(ステップS5)。
【0045】ここで、欠陥画素座標データテーブル内の
置き換え位置項目に格納されている置き換え位置データ
は、例えば図4に示すように、欠陥画素の位置を中心と
して周囲の画素位置に番号を割り当てて、左の画素位置
を1、右の画素位置を2、下の画素位置を3、上の画素
位置を4、左上の画素位置を5、右上の画素位置を6、
左下の画素位置を7、右下の画素位置を8、というよう
にしておくことで置き換え位置を指定する。
【0046】こうして正常画素の画素データを取得した
後に、フレームメモリ5上の欠陥画素の座標位置の画素
データを、上記ステップS5で取得した正常画素の画素
データに置き換える(ステップS6)。
【0047】その後、再び上記ステップS2へ戻って、
参照する座標データがなくなるまで上記ステップS2か
らステップS6の処理を繰り返す。
【0048】そして、ステップS2において、欠陥画素
座標データテーブルから参照する座標データがなくなっ
た場合には、画素欠陥補正処理の行われたフレームメモ
リ5の画像データを出力して(ステップS7)、処理を
終了する。
【0049】このような第1の実施形態によれば、欠陥
画素の画素データを正常画素の画素データで置き換える
場合に、全ての欠陥画素について、置き換えようとする
画素の座標データを欠陥画素座標データテーブル内の全
座標データと照合する必要がなく、予め置き換える画素
の位置が明確になっているために、画素欠陥補正処理を
行う時間を短縮することができる。
【0050】図5から図7は本発明の第2の実施形態を
示したものであり、図5はシステムコントローラによる
画素欠陥補正処理の動作を示すフローチャート、図6は
1/2の間引き読み出しを行う場合の4つの選択肢とな
る欠陥画素座標データテーブルを示す図、図7は2のべ
き乗分の1の間引き読み出しを行う場合における欠陥画
素座標データテーブルを示す図である。
【0051】この第2の実施形態において、上述の第1
の実施形態と同様である部分については説明を省略し、
主として異なる点についてのみ説明する。
【0052】この実施形態における画素欠陥補正装置
は、間引き読み出しを行う間引きモードに好適に対応す
ることができるようにしたものであり、その構成は、上
記図1に示したものと同様である。
【0053】次に、本実施形態の画素欠陥補正装置内の
システムコントローラ9の動作について、図5のフロー
チャートを参照して説明する。
【0054】上記撮像素子2により撮像された画像デー
タは、アナログ処理回路3とA/D変換器4を経て、フ
レームメモリ5内に取り込まれる(ステップS11)。
【0055】続いて、ステップS11で取り込んだ画像
データを間引きモードで表示する場合の欠陥画素座標デ
ータテーブルの選択を行う(ステップS12)。
【0056】通常は、欠陥画素座標データテーブル1つ
に、撮像素子2の全画素に対する欠陥画素の座標データ
が含まれているが、このときの欠陥画素座標データテー
ブルは、例えばフレームメモリ5の画像データの水平方
向および垂直方向の画素をそれぞれ1/2の間引きで出
力する場合には、図6に示すようになる。
【0057】すなわち、欠陥画素の座標データを、水平
方向の座標データが偶数でありかつ垂直方向の座標デー
タが偶数であるもので1つのテーブル、水平方向の座標
データが偶数でありかつ垂直方向の座標データが奇数で
あるもので1つのテーブル、水平方向の座標データが奇
数でありかつ垂直方向の座標データが偶数のもので1つ
のテーブル、水平方向の座標データが奇数でありかつ垂
直方向の座標データが奇数であるもので1つのテーブル
の、合計4つのテーブル構成になっているものから、1
つのテーブルを選択する。
【0058】次に、選択した欠陥画素座標データテーブ
ルにより参照する座標データが残っているか否かを判断
して(ステップS13)、全ての欠陥画素の座標データ
について参照が終わっている場合には、後述するステッ
プS17へ進む。
【0059】一方、参照しようとする座標データが残っ
ている場合には、選択した欠陥画素座標データテーブル
から欠陥画素の水平方向の座標データおよび垂直方向の
座標データを取り込む(ステップS14)。
【0060】そして、欠陥画素の周囲にある正常画素を
検索してその画素データを取得する(ステップS1
5)。
【0061】フレームメモリ5上の欠陥画素の座標位置
にある画素データを、上記ステップS15で取得した正
常画素の画素データに置き換える(ステップS16)。
【0062】その後、再び上記ステップS13へ戻っ
て、参照する座標データがなくなるまで上記ステップS
13からステップS16の処理を繰り返す。
【0063】そして、ステップS13において、欠陥画
素座標データテーブルから参照する座標データがなくな
った場合には、画素欠陥補正処理の行われたフレームメ
モリ5の画像データを出力して(ステップS17)、処
理を終了する。
【0064】また、間引きモードが1/2以外にもあ
り、フレームメモリ5の内容を複数の間引きモードで出
力する場合、つまり、例えば1/2間引き、1/4間引
き、…、1/2^n (ここに記号^はべき乗を表す。以
下同様)のような複数の間引きモードがあってこれらの
内の1つを選択して出力する場合には、図7に示すよう
な、各間引きモードにおいて画素欠陥補正対象となる座
標データを各テーブルに格納させて、これらのテーブル
によって欠陥画素座標データテーブルを構成することに
より、各間引きモードに対応したテーブルを参照するこ
とで、画素欠陥補正処理を行うこともできる。
【0065】さらにこのとき、欠陥画素座標データテー
ブルの各テーブルに同一の座標データが存在するが、こ
れを各テーブルの座標データが重複しないように、水平
垂直画素が1/2^n のテーブルを先頭にして、次に1
/2^(n-1) のテーブルを配置し、このテーブルには、
1/2^(n-1) の欠陥画素座標データの中で1/2^n
と重複していない座標データのみを格納する。同様にし
て、順次、座標データが重複することのないように各テ
ーブルに格納していく。
【0066】そして、指定された間引きモードにおい
て、欠陥画素座標データテーブルを使用して画素欠陥補
正処理を行う場合に、上述のように配置された各テーブ
ルの、先頭のテーブルから座標データを参照し始めて、
順次、指定された間引きモードに対応するテーブルまで
の座標データを参照することにより、その間引きモード
で対象となる欠陥画素の座標データを、重複することな
く全て参照することができる。
【0067】なお、上述では、欠陥画素の周囲にある正
常画素を検索してその画素データを取得するようにして
いるが、図6,図7に示した各テーブル内のデータに、
上述の第1の実施形態において図3に示したような置き
換え位置を示すデータも格納するようにしておけば、よ
り効率を向上することができる。
【0068】このような第2の実施形態によれば、間引
きモードにおいて画素欠陥補正処理を行う場合に、対象
とならない画素に対しては画素欠陥補正処理を行わない
ために、効率良く処理することができる。
【0069】図8から図10は本発明の第3の実施形態
を示したものであり、図8はシステムコントローラによ
る画素欠陥補正処理の動作を示すフローチャート、図9
は行方向(垂直方向)毎に構成された欠陥画素座標デー
タテーブルを示す図、図10は列方向(水平方向)毎に
構成された欠陥画素座標データテーブルを示す図であ
る。
【0070】この第3の実施形態において、上述の第
1,第2の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。
【0071】この実施形態における画素欠陥補正装置
は、部分読み出しに好適に対応して、ポインタを用いて
行毎または列毎に分類された欠陥画素座標データテーブ
ルを有するようにしたものであり、該画素欠陥補正装置
の電気的な構成は上記図1に示したものと同様である。
【0072】次に、本実施形態の画素欠陥補正装置内の
システムコントローラ9の動作について、図8のフロー
チャートを参照して説明する。
【0073】上記撮像素子2により撮像された画像デー
タは、アナログ処理回路3とA/D変換器4を経て、フ
レームメモリ5内に取り込まれる(ステップS21)。
【0074】フレームメモリ5内の画像データを一部分
読み出して表示するための水平(行)/垂直(列)の開
始座標と終了座標の設定を行う(ステップS22)。
【0075】図9に示すような欠陥画素座標データイン
デックステーブルより開始行の欠陥画素座標データテー
ブルへのポインタを取得する(ステップS23)。
【0076】続いて、現在取得されている欠陥画素座標
データテーブルポインタの行が終了行であるか否かを判
断し(ステップS24)、終了行となった場合には後述
するステップS30へ行く。
【0077】一方、終了行でない場合には、現在の取得
されている欠陥画素座標データテーブルへのポインタか
らの欠陥画素の座標データがあるか否かを判断して(ス
テップS25)、座標データがない場合には後述するス
テップS29へ行く。
【0078】また、欠陥画素の座標データがある場合に
は、ポインタで示される図9の欠陥画素座標データテー
ブルから座標データを取得する(ステップS26)。
【0079】こうした取得した欠陥画素の座標データ
が、部分読み出しの開始行から終了行の範囲内であるか
否かを判断して(ステップS27)、範囲内である場合
には画素欠陥補正処理を行って(ステップS28)か
ら、範囲内でない場合にはこのステップS28の処理を
行わずに、上記ステップS25に戻る。
【0080】上記ステップS28の画素欠陥補正処理
は、上記図11のステップS54からステップS55で
説明した処理と同様であり、取得した欠陥画素の座標デ
ータを中心にして周りの画素から正常画素である画素の
データを取得して、欠陥画素の座標位置の画素データを
取得した正常画素の画素データに置き換えることにより
行う。
【0081】そして、上記ステップS25において、全
ての座標データを処理して未処理の座標データがなくな
った場合には、次の行の欠陥画素座標テーブルのポイン
タを欠陥画素座標インデックステーブルより求めて(ス
テップS29)、上記ステップS24へ戻る。
【0082】そして、ステップS24において、ステッ
プS29で求められた欠陥画素座標データテーブルへの
ポインタが終了行である場合には、フレームメモリ5の
内容を出力して(ステップS30)、この処理を終了す
る。
【0083】なお、上述では図9に示したような行方向
(垂直方向)毎に構成された欠陥画素座標データテーブ
ルを用いたが、図10に示すように、列方向(水平方
向)毎に構成された欠陥画素座標データテーブルを用い
ることも可能であるのはいうまでもない。
【0084】また、上述では、欠陥画素の周囲にある正
常画素を検索してその画素データを取得するようにして
いるが、図9,図10に示した各テーブル内のデータ
に、上述の第1の実施形態において図3に示したような
置き換え位置を示すデータも格納するようにしておけ
ば、より効率を向上することができる。
【0085】このような第3の実施形態によれば、部分
読み出しによる画像データの出力時の画素欠陥補正にお
いて、画像データを表示する範囲外の行データまたは列
データに対して画素欠陥補正を行う必要がないために、
処理の高速化を図ることができる。
【0086】以上詳述したような上記実施形態には、以
下のごとき発明が含まれる。
【0087】(1) 撮像素子からの画素信号をフレー
ムメモリに画像データとして取り込む画素データ取込手
段と、上記撮像素子に係る、欠陥画素の水平方向および
垂直方向の座標データと、上記欠陥画素を置き換える正
常画素の位置データとを欠陥画素座標データテーブルと
して備え、この欠陥画素座標データテーブルの欠陥画素
の座標データと正常画素の位置データとに基づいて、上
記フレームメモリに取り込まれた画像データに対して、
欠陥画素の画素データを正常画素の画素データに置き換
える画素欠陥補正処理を行う画素欠陥補正手段と、上記
画素欠陥補正手段により画素欠陥補正処理がなされた画
像データを通常の画像データとして出力する画像データ
出力手段と、を具備することを特徴とする画素欠陥補正
装置。
【0088】(2) 撮像素子からの画素信号をフレー
ムメモリに画像データとして取り込む画素データ取込手
段と、上記撮像素子に係る欠陥画素の水平方向および垂
直方向の座標データを間引き読み出しのモードに対応し
た複数のテーブルとして有する欠陥画素座標データテー
ブルを備え、この欠陥画素座標データテーブルが有する
複数のテーブルの内の指定されたモードの間引き読み出
しを行うのに必要なテーブルのみを参照して画素欠陥補
正処理を行う画素欠陥補正手段と、上記画素欠陥補正手
段により画素欠陥補正処理がなされた画像データを通常
の画像データとして出力する画像データ出力手段と、を
具備することを特徴とする画素欠陥補正装置。
【0089】(3) 撮像素子からの画素信号をフレー
ムメモリに画像データとして取り込む画素データ取込手
段と、上記撮像素子に係る欠陥画素の水平方向および垂
直方向の座標データを、水平方向座標毎に並べた複数の
テーブルとして、または垂直方向座標毎に並べた複数の
テーブルとして有する欠陥画素座標データテーブルを備
え、この欠陥画素座標データテーブルが有する複数のテ
ーブルの内の指定された部分読み出しを行うのに必要な
テーブルのみを参照して画素欠陥補正処理を行う画素欠
陥補正手段と、上記画素欠陥補正手段により画素欠陥補
正処理がなされた画像データを通常の画像データとして
出力する画像データ出力手段と、を具備することを特徴
とする画素欠陥補正装置。
【0090】(4) 上記画素欠陥補正手段は、さら
に、欠陥画素を置き換える正常画素の位置データを上記
欠陥画素座標データテーブルに備え、この欠陥画素座標
データテーブルの欠陥画素の座標データと正常画素の位
置データとに基づいて、上記フレームメモリに取り込ま
れた画像データに対して、欠陥画素の画素データを正常
画素の画素データに置き換える画素欠陥補正処理を行う
ものであることを特徴とする(2)に記載の画素欠陥補
正装置。
【0091】(5) 上記画素欠陥補正手段は、さら
に、欠陥画素を置き換える正常画素の位置データを上記
欠陥画素座標データテーブルに備え、この欠陥画素座標
データテーブルの欠陥画素の座標データと正常画素の位
置データとに基づいて、上記フレームメモリに取り込ま
れた画像データに対して、欠陥画素の画素データを正常
画素の画素データに置き換える画素欠陥補正処理を行う
ものであることを特徴とする(3)に記載の画素欠陥補
正装置。
【0092】(6) 上記欠陥画素座標データテーブル
が有する間引き読み出しのモードに対応した複数のテー
ブルは、各テーブル内のデータが互いに重複しないよう
に格納されていることを特徴とする(2)または(4)
に記載の画素欠陥補正装置。
【0093】(7) 上記画素欠陥補正手段は、上記欠
陥画素座標データテーブルの上記間引き読み出しのモー
ドに対応した複数のテーブルとして、水平方向と垂直方
向が共に偶数である座標データのテーブルと、水平方向
が偶数であり垂直方向が奇数である座標データのテーブ
ルと、水平方向が奇数であり垂直方向が偶数である座標
データのテーブルと、水平方向と垂直方向が共に奇数で
ある座標データのテーブルとの4つのテーブルを有し、
1/2間引き読み出しによる画像データを出力する場合
に、上記4つのテーブルの内の1つを参照して画素欠陥
補正処理を行うものであることを特徴とする(6)に記
載の画素欠陥補正装置。
【0094】(8) 上記画素欠陥補正手段は、上記欠
陥画素座標データテーブルの上記間引き読み出しのモー
ドに対応した複数のテーブルとして、1/2^k 間引き
用のテーブルに対して格納するデータが重複しないよう
に1/2^(k-1)間引き用のテーブルを順次構成したn
個の1/2^k (k=n,n−1,…,1)(nは自然
数、記号^はべき乗を表す)間引き用のテーブルと、間
引きなし用のテーブルとを有し、1/2^m (n≧m≧
1)間引きによる画像データを出力する場合に、k=
n,…,mまでの上記1/2^k 間引き用のテーブルを
参照して画素欠陥補正処理を行うものであることを特徴
とする(6)に記載の画素欠陥補正装置。
【0095】(9) 上記欠陥画素座標データテーブル
が有する複数のテーブルの内の部分読み出しに必要なテ
ーブルの選択は、各水平方向の座標データの先頭アドレ
スを有するインデックステーブル、または各垂直方向の
座標データの先頭アドレスを有するインデックステーブ
ルを参照することにより行うものであることを特徴とす
る(3)または(5)に記載の画素欠陥補正装置。
【0096】(10) 上記正常画素の位置データは、
欠陥画素の近傍に位置する各画素に順次付した番号でな
ることを特徴とする(1),(4)または(5)に記載
の画素欠陥補正装置。
【0097】(1)に記載の発明によれば、欠陥画素の
画素データを正常画素の画素データで置き換える場合
に、予め置き換える正常画素の位置データがわかるため
に、欠陥画素座標データテーブルを参照しながら正常画
素であるかを判断する必要がなく、処理時間を短縮する
ことができる。
【0098】(2)に記載の発明によれば、間引き読み
出しのモードを複数種類有する場合に、各モードに対応
する欠陥画素の座標データがテーブル毎にまとめられて
いるために、必要なテーブルのみを参照すれば良く不要
なテーブルを参照する必要がないために、画素欠陥補正
処理を効率良く行うことができる。
【0099】(3)に記載の発明によれば、部分読み出
しを行う場合に、欠陥画素の座標データを水平方向座標
毎または垂直方向座標毎にまとめた複数のテーブルの内
の部分読み出しを行うのに必要なテーブルのみを参照す
れば良く、不要なテーブルを参照する必要がないため
に、画素欠陥補正処理を効率良く行うことができる。
【0100】(4)に記載の発明によれば、上記(2)
に記載の発明と同様の効果を奏するとともに、欠陥画素
の画素データを正常画素の画素データで置き換える場合
に、予め置き換える正常画素の位置データがわかるため
に、欠陥画素座標データテーブルを参照しながら正常画
素であるかを判断する必要がなく、処理時間をさらに短
縮することができる。
【0101】(5)に記載の発明によれば、上記(3)
に記載の発明と同様の効果を奏するとともに、欠陥画素
の画素データを正常画素の画素データで置き換える場合
に、予め置き換える正常画素の位置データがわかるため
に、欠陥画素座標データテーブルを参照しながら正常画
素であるかを判断する必要がなく、処理時間をさらに短
縮することができる。
【0102】(6)に記載の発明によれば、上記(2)
または(4)に記載の発明と同様の効果を奏するととも
に、欠陥画素座標データテーブルが有する間引き読み出
しのモードに対応した各テーブルに、同一の座標データ
が重複して存在することはないために、欠陥画素座標デ
ータテーブルのデータ量を少なくすることができ、画素
欠陥補正処理を効率良く行うことができる。
【0103】(7)に記載の発明によれば、上記(6)
に記載の発明と同様の効果を奏するとともに、使用頻度
の高い間引き読み出しである水平方向の画素と垂直方向
の画素を1/2間引き読み出しする場合に、処理対象と
なる1つのテーブルのみを参照すれば良いために、画素
欠陥補正処理を効率良く行うことができる。
【0104】(8)に記載の発明によれば、上記(6)
に記載の発明と同様の効果を奏するとともに、1/2^
m 間引きを行う場合に、k=n,…,mまでの1/2^
k 間引き用のテーブルを参照すれば良く、しかも各テー
ブルのデータが重複していないために、画素欠陥補正処
理を効率良く行うことができる。
【0105】(9)に記載の発明によれば、上記(3)
または(5)に記載の発明と同様の効果を奏するととも
に、部分読み出しに必要なテーブルの選択をインデック
ステーブルを参照することにより行うために、不要なテ
ーブルのデータを読み込むことがなく、処理するデータ
量が少なくなって画素欠陥補正処理に要する時間を短縮
することができる。
【0106】(10)に記載の発明によれば、上記
(1),(4)または(5)に記載の発明と同様の効果
を奏するとともに、置き換える正常画素の位置を少ない
データ量で指定することができる。
【0107】
【発明の効果】以上説明したように請求項1に記載の本
発明の画素欠陥補正装置によれば、欠陥画素の画素デー
タを正常画素の画素データで置き換える場合に、予め置
き換える正常画素の位置データがわかるために、欠陥画
素座標データテーブルを参照しながら正常画素であるか
を判断する必要がなく、処理時間を短縮することができ
る。
【0108】また、請求項2に記載の本発明の画素欠陥
補正装置によれば、間引き読み出しのモードを複数種類
有する場合に、各モードに対応する欠陥画素の座標デー
タがテーブル毎にまとめられているために、必要なテー
ブルのみを参照すれば良く不要なテーブルを参照する必
要がないために、画素欠陥補正処理を効率良く行うこと
ができる。
【0109】また、請求項3に記載の本発明の画素欠陥
補正装置によれば、部分読み出しを行う場合に、欠陥画
素の座標データを水平方向座標毎または垂直方向座標毎
にまとめた複数のテーブルの内の部分読み出しを行うの
に必要なテーブルのみを参照すれば良く、不要なテーブ
ルを参照する必要がないために、画素欠陥補正処理を効
率良く行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の画素欠陥補正装置の
構成を示すブロック図。
【図2】上記第1の実施形態において、システムコント
ローラによる画素欠陥補正処理の動作を示すフローチャ
ート。
【図3】上記第1の実施形態の欠陥画素座標データテー
ブルを示す図。
【図4】上記第1の実施形態において、欠陥画素の周囲
に割り振られた置き換え位置を示す図。
【図5】本発明の第2の実施形態において、システムコ
ントローラによる画素欠陥補正処理の動作を示すフロー
チャート。
【図6】上記第2の実施形態において、1/2の間引き
読み出しを行う場合の4つの選択肢となる欠陥画素座標
データテーブルを示す図。
【図7】上記第2の実施形態において、2のべき乗分の
1の間引き読み出しを行う場合における欠陥画素座標デ
ータテーブルを示す図。
【図8】本発明の第3の実施形態において、システムコ
ントローラによる画素欠陥補正処理の動作を示すフロー
チャート。
【図9】上記第3の実施形態において、行方向(垂直方
向)毎に構成された欠陥画素座標データテーブルを示す
図。
【図10】上記第3の実施形態において、列方向(水平
方向)毎に構成された欠陥画素座標データテーブルを示
す図。
【図11】従来の画素欠陥補正装置におけるシステムコ
ントローラによる画素欠陥補正処理の動作を示すフロー
チャート。
【図12】従来の欠陥画素座標データテーブルを示す
図。
【符号の説明】
1…レンズ系 2…撮像素子 3…アナログ処理回路 4…A/D変換器 5…フレームメモリ(画素データ取込手段,画像データ
出力手段) 6…表示メモリ 7…出力処理回路 8…撮像素子駆動回路 9…システムコントローラ(画素欠陥補正手段) 10…パーソナルコンピュータインタフェース

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子からの画素信号をフレームメモ
    リに画像データとして取り込む画素データ取込手段と、 上記撮像素子に係る、欠陥画素の水平方向および垂直方
    向の座標データと、上記欠陥画素を置き換える正常画素
    の位置データとを欠陥画素座標データテーブルとして備
    え、この欠陥画素座標データテーブルの欠陥画素の座標
    データと正常画素の位置データとに基づいて、上記フレ
    ームメモリに取り込まれた画像データに対して、欠陥画
    素の画素データを正常画素の画素データに置き換える画
    素欠陥補正処理を行う画素欠陥補正手段と、 上記画素欠陥補正手段により画素欠陥補正処理がなされ
    た画像データを通常の画像データとして出力する画像デ
    ータ出力手段と、 を具備することを特徴とする画素欠陥補正装置。
  2. 【請求項2】 撮像素子からの画素信号をフレームメモ
    リに画像データとして取り込む画素データ取込手段と、 上記撮像素子に係る欠陥画素の水平方向および垂直方向
    の座標データを間引き読み出しのモードに対応した複数
    のテーブルとして有する欠陥画素座標データテーブルを
    備え、この欠陥画素座標データテーブルが有する複数の
    テーブルの内の指定されたモードの間引き読み出しを行
    うのに必要なテーブルのみを参照して画素欠陥補正処理
    を行う画素欠陥補正手段と、 上記画素欠陥補正手段により画素欠陥補正処理がなされ
    た画像データを通常の画像データとして出力する画像デ
    ータ出力手段と、 を具備することを特徴とする画素欠陥補正装置。
  3. 【請求項3】 撮像素子からの画素信号をフレームメモ
    リに画像データとして取り込む画素データ取込手段と、 上記撮像素子に係る欠陥画素の水平方向および垂直方向
    の座標データを、水平方向座標毎に並べた複数のテーブ
    ルとして、または垂直方向座標毎に並べた複数のテーブ
    ルとして有する欠陥画素座標データテーブルを備え、こ
    の欠陥画素座標データテーブルが有する複数のテーブル
    の内の指定された部分読み出しを行うのに必要なテーブ
    ルのみを参照して画素欠陥補正処理を行う画素欠陥補正
    手段と、 上記画素欠陥補正手段により画素欠陥補正処理がなされ
    た画像データを通常の画像データとして出力する画像デ
    ータ出力手段と、 を具備することを特徴とする画素欠陥補正装置。
JP04516696A 1996-03-01 1996-03-01 画素欠陥補正装置 Expired - Fee Related JP3805421B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04516696A JP3805421B2 (ja) 1996-03-01 1996-03-01 画素欠陥補正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04516696A JP3805421B2 (ja) 1996-03-01 1996-03-01 画素欠陥補正装置

Publications (2)

Publication Number Publication Date
JPH09247540A true JPH09247540A (ja) 1997-09-19
JP3805421B2 JP3805421B2 (ja) 2006-08-02

Family

ID=12711689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04516696A Expired - Fee Related JP3805421B2 (ja) 1996-03-01 1996-03-01 画素欠陥補正装置

Country Status (1)

Country Link
JP (1) JP3805421B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040038193A (ko) * 2002-10-31 2004-05-08 주식회사 하이닉스반도체 이미지센서의 불량픽셀 보상장치
JP2006113751A (ja) * 2004-10-13 2006-04-27 Toyota Motor Corp 幾何変換回路
JP2006155518A (ja) * 2004-12-01 2006-06-15 Toyota Motor Corp 幾何補正方法および装置
JP2007028520A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp デジタルカメラ
WO2007049348A1 (ja) * 2005-10-27 2007-05-03 Shimadzu Corporation 放射線撮像装置および放射線検出信号処理方法
DE102006006547A1 (de) * 2006-02-13 2007-08-23 Siemens Ag Verfahren zur Bildverarbeitung und Bildverarbeitungssystem
JP2007281926A (ja) * 2006-04-07 2007-10-25 Casio Comput Co Ltd 固体撮像素子のキズ情報記憶装置、及びキズ情報記憶方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040038193A (ko) * 2002-10-31 2004-05-08 주식회사 하이닉스반도체 이미지센서의 불량픽셀 보상장치
JP2006113751A (ja) * 2004-10-13 2006-04-27 Toyota Motor Corp 幾何変換回路
JP2006155518A (ja) * 2004-12-01 2006-06-15 Toyota Motor Corp 幾何補正方法および装置
JP2007028520A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp デジタルカメラ
WO2007049348A1 (ja) * 2005-10-27 2007-05-03 Shimadzu Corporation 放射線撮像装置および放射線検出信号処理方法
JPWO2007049348A1 (ja) * 2005-10-27 2009-04-30 株式会社島津製作所 放射線撮像装置および放射線検出信号処理方法
DE102006006547A1 (de) * 2006-02-13 2007-08-23 Siemens Ag Verfahren zur Bildverarbeitung und Bildverarbeitungssystem
DE102006006547B4 (de) * 2006-02-13 2007-12-06 Siemens Ag Verfahren zur Bildverarbeitung und Bildverarbeitungssystem
JP2007281926A (ja) * 2006-04-07 2007-10-25 Casio Comput Co Ltd 固体撮像素子のキズ情報記憶装置、及びキズ情報記憶方法

Also Published As

Publication number Publication date
JP3805421B2 (ja) 2006-08-02

Similar Documents

Publication Publication Date Title
US7893972B2 (en) Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
JP3912672B2 (ja) 固体撮像装置及びその画素欠陥検査方法
US20120120295A1 (en) Image sensor, data output method, image pickup device, and camera
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
JPH09247540A (ja) 画素欠陥補正装置
JP3866017B2 (ja) 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体
US20040169737A1 (en) Image sensing apparatus, image sensing method, recording medium, and program
JPH07336605A (ja) 画素欠陥補正装置
JP3925914B2 (ja) 画素欠陥補正装置および画素欠陥補正方法
JPH0759011A (ja) 固体撮像素子の欠陥画素の自動検出装置及び自動補正装置
JP4390940B2 (ja) 欠陥画素検出装置
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法
US8139128B2 (en) Image capture device and image processing method for the same
JPS635666A (ja) 固体撮像装置の欠陥補正装置
JP2007306506A (ja) 撮像装置
JPH10136265A (ja) 欠陥画素補正装置
JPH08163445A (ja) 静止画像データ生成装置
JP2009027252A (ja) 撮像素子及び撮像装置
JP2010004253A (ja) 撮像装置及びその黒レベル検出方法
JPH07274077A (ja) ディジタル電子スチルカメラ
JP2009027253A (ja) 撮像素子及び撮像装置
JP2001157216A (ja) 撮像装置及び撮像方法
JP2005136720A (ja) 撮像装置、画像取得装置、及び撮像システム
JPH09191426A (ja) 撮像装置
JP2001203939A (ja) メモリの制御方法、カメラの制御方法及びカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees