JP3989112B2 - White scratch signal level suppression device for solid-state imaging device - Google Patents
White scratch signal level suppression device for solid-state imaging device Download PDFInfo
- Publication number
- JP3989112B2 JP3989112B2 JP00558499A JP558499A JP3989112B2 JP 3989112 B2 JP3989112 B2 JP 3989112B2 JP 00558499 A JP00558499 A JP 00558499A JP 558499 A JP558499 A JP 558499A JP 3989112 B2 JP3989112 B2 JP 3989112B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- level
- circuit
- white
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像素子から出力される映像信号における白キズの信号レベルを抑制し、画質を改善する固体撮像装置の白キズ信号レベル抑制装置に関する。
【0002】
【従来の技術】
従来、ビデオカメラなどに用いられる固体撮像装置において、CCD(Charge Coupled Device)などの撮像素子は、フォトダイオードのような光電変換素子を多数配列したもので、光電変換した電荷を蓄積する光電変換部と、蓄積した電荷を時系列に転送する転送部より構成される。光電変換部では、光量に応じた電荷が各画素のポテンシャル井戸に蓄積される。転送部では、蓄積した電荷を行単位(1ラインごと)で水平転送部に転送し、時系列に出力する。この操作を全行に対して行うことで、1画面分のデータを出力する。
【0003】
ところで、撮像素子から出力される映像信号の輝度信号には白キズが発生することがある。このような撮像素子に発生する白キズは、撮像素子そのものにあるキズが原因で映像となって現れるもので、常に同じ画素で発生する。光電変換部での電荷の蓄積時間が長くなるにつれて白キズの信号レベルも高くなるためキズが目立つようになり画質が劣化する原因となる。
【0004】
従って、長時間露光によって感度を上げようとすると、それに伴い白キズが目立つようになり画質の劣化となる。
【0005】
【発明が解決しようとする課題】
上記の如く、従来の固体撮像装置では、長時間露光によって電荷の蓄積時間が長くなると、それに伴い白キズが目立つようになり画質が劣化するという問題があった。
【0006】
そこで、本発明は、上記の問題に鑑み、撮像素子から出力される映像信号より白キズの信号を判別し、白キズの信号レベルを抑制し、画質を改善する固体撮像装置の白キズ信号レベル抑制装置を提供することを目的とするものである。
【0007】
【課題を解決するための手段】
請求項1記載の発明による固体撮像装置の白キズ信号レベル抑制装置は、
撮像素子から出力される映像信号に関して、前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が設定された所定の画素数分の幅(抑制する水平方向の画素数)以下の信号である場合に、白キズの信号であると判断し、突出した部分の信号レベルを前後の信号レベルにまで抑制するレベル抑制回路と、
前記撮像素子の長時間露光の蓄積時間に応じて前記レベル抑制回路で抑制する前記の画素数分の幅を制御する制御回路とを具備したものである。
【0008】
請求項2記載の発明による固体撮像装置の白キズ信号レベル抑制装置は、
撮像素子から出力される映像信号に関して、現在の映像信号と1フレーム又は1フィールド前の映像信号との差分をとり、該差分値に基づきその映像信号が白キズの信号であるか否かを判別する判別回路と、
前記判別回路で白キズの信号であると判別された前記映像信号に関して、前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が予め設定された所定の画素数分の幅(抑制する水平方向の画素数)以下の信号である場合に、白キズの信号であると判断し、突出した部分の信号レベルを前後の信号レベルにまで抑制するレベル抑制回路とを具備したものである。
【0009】
請求項3記載の発明による固体撮像装置の白キズ信号レベル抑制装置は、
撮像素子から出力される映像信号に関して、現在の映像信号と1フレーム又は1フィールド前の映像信号との差分値に基づき、その映像信号が白キズの信号であるか否かを判別する判別回路と、
前記判別回路で白キズの信号であると判別された前記映像信号に関して、前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が設定された所定の画素数分の幅(抑制する水平方向の画素数)以下の信号である場合に、白キズの信号であると判断し、突出した部分の信号レベルを前後の信号レベルにまで抑制するレベル抑制回路と、
前記撮像素子の長時間露光の蓄積時間に応じて前記レベル抑制回路で抑制する前記の画素数分の幅を制御する制御回路とを具備したものである。
【0010】
請求項4記載の発明は、請求項1又は3に記載の固体撮像装置の白キズ信号レベル抑制装置において、
前記制御回路は、前記撮像素子の蓄積時間が長くなるに従い前記レベル抑制回路で抑制する前記の画素数分の幅を大きくすることを特徴とする。
【0011】
請求項4の発明においては、蓄積時間が長くなると白キズの信号レベルが高くなると同時に1画素分のキズが回りの画素レベルも高くしてしまうので、蓄積時間が長ければ設定する画素数分の幅を大きくし、蓄積時間が短ければ幅を短くするようにする。
【0012】
請求項5記載の発明は、請求項2又は3に記載の固体撮像装置の白キズ信号レベル抑制装置において、
前記判別回路は、現在の映像信号と1フレーム又は1フィールド前の映像信号との差分値が、設定した基準値より小さければ白キズとして判別し、基準値より大きい場合は白キズではないと判別することを特徴とする。
【0013】
請求項1,3,4の発明においては、レベル抑制回路は突出した部分の信号レベルを抑制するものであり、抑制する所定の画素数分の幅(抑制する水平方向の画素数)を蓄積時間の長さに応じて制御する。即ち、蓄積時間が長いときにはレベル抑制する画素数分の幅を大きくし、蓄積時間が短いときにはレベル抑制する画素数分の幅を小さくすることで最適な白キズ信号レベルの抑制を図る。
【0014】
請求項2,3の発明においては、現在の映像信号と1フレーム前又は1フィールド前の映像信号との差分値の大きさに応じて白キズであるか否かを判別し、白キズである場合にレベル抑制回路にてその白信号レベルの抑制を図るようにしたものである。
【0015】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
図1は本発明の一実施の形態の固体撮像装置の白キズ信号レベル抑制装置を示すブロック図である。
【0016】
図1において、撮像した映像信号は撮像素子1により電気信号に変換されてサンプル・ホールド回路(以下S/H回路)2を経てAGC回路3に入力される。S/H回路2では撮像素子1で光電変換によって生じた画素ごとの電気信号からクランプパルスを用いてサンプル・ホールドして、信号部分を抽出する。抽出された信号成分は、AGC回路3で所定の利得で増幅された後、A/D変換器4でデジタル信号に変換され信号処理回路5でガンマ、ディテール処理等の信号処理をされて映像信号として出力される。
【0017】
信号処理回路5から出力される映像信号は、レベル抑制回路ブロック14内のレベル抑制回路6を経てD/A変換器7でアナログ映像信号に変換され、エンコーダ8によりNTSCエンコードされ同期信号等の各種の信号が付加されて出力される。
【0018】
レベル抑制回路ブロック14は、白キズの信号を検出しこれを抑制するブロックであり、レベル抑制回路6,遅延手段としてのフレームメモリ9,減算器10,判別回路11,制御回路12で構成されている。
【0019】
レベル抑制回路ブロック14には、信号処理回路5から出力された映像信号の輝度信号を入力として供給している。そして、入力された輝度信号は、レベル抑制回路6及びフレームメモリ9の入力となり、また減算器10の減算入力となる。フレームメモリ9の出力は1フレーム期間遅延された映像信号であり、減算器10の被減算入力となる。減算器10の減算出力は判別回路11の入力となっている。
【0020】
レベル抑制回路6では、前後の信号のレベルと比較してレベルの高い突出した部分の信号で、かつ該突出した部分の信号が制御回路12により制御可能に設定された画素数分の幅(抑制すべき水平方向の画素数)以下の信号である場合に、白キズの信号であると一画素単位で判断し、その突出した部分の信号レベルを前後の信号レベルにまで抑制することにより白キズ信号のレベル抑制を実現している。このようにレベル抑制回路6は、制御回路12より入力される制御信号に応じて白キズの信号レベルを抑制している。しかし、上述したレベル抑制回路6では、隣り合う画素間のレベルの変化でレベル抑制を制御しているので、映像レベルの変化を白キズと誤認する場合がある。
【0021】
そこで、本実施の形態ではさらに、フレームメモリ9と減算器10と判別回路11とを設け、現在の映像信号と1フレーム前の映像信号との差分値の大きさを判別回路11にて基準の値と比較し、その比較結果を用いることにより、白キズと確認できる確率を高める(誤認することのない)ようにしている。そして、判別回路11から出力される比較結果(判別信号)が映像レベルの変化ではなくて白キズの信号と考えられるときにのみレベル抑制回路6において前後の信号レベルと比較してレベルの高い突出した部分の信号レベルを前後の信号レベルにまで抑制できるようにしている。
【0022】
判別回路11は、減算器10の減算結果に応じてその信号が白キズの信号であるか否か判別信号を出力する。白キズの信号は常に同じ画素で発生しレベルが一定であることから、現在の映像信号とフレームメモリ9により1フレーム遅延した映像信号との差分値(減算器10の減算値)が、設定された基準の値より小さい値であれば白キズであると判別し、基準の値より大きい値であれば白キズではないと判別する。これは、差分値が基準の値より大きければ、1フレーム前と現在の映像信号間の映像変化量であるとし、白キズではないとするものである。逆に、差分値が基準の値より小さければ、1フレーム前と現在の映像信号とでほぼ同じレベルの状態にあるとして、白キズとするものである。そして、判別回路11で白キズではないと判別された画素の信号に対してはレベル抑制回路6で信号レベルの抑制は行わないように構成することができる。
【0023】
制御回路12は、端子13に入力する撮像素子1の電荷の蓄積時間(即ち露光時間)を示すパルス信号の長短に応じてレベル抑制回路6で白キズの信号を何画素数分に亘ってレベル抑制するかを示す制御信号を出力する。電荷の蓄積時間が長くなるに従いレベル抑制回路6の抑制する画素数分の幅(抑制する水平方向の画素数)を大きくするように制御する。これは、撮像素子1の電荷の蓄積時間が長くなると白キズの信号レベルも高くなり、1画素分のキズが周りの画素のレベルも高くしてしまうためである。従って、制御回路12では、蓄積時間が長ければレベル抑制回路6で設定する画素数分の幅を大きくし、蓄積時間が短ければレベル抑制回路6で設定する画素数分の幅を短くするように制御する。
【0024】
図2は上記レベル抑制回路6の構成例を示すブロック図であり、図3及び図4は図2の動作のタイミングチャートを示している。
【0025】
図2において、レベル抑制回路6は、映像信号(画素信号)の入力端子61と、最小値選択回路62と、遅延回路63と、最小値選択回路64と、最大値選択回路66と、スイッチ67と、制御回路12からの制御信号の入力端子68と、判別回路11からの判別信号の入力端子69と、出力端子70とを備えて構成されている。
【0026】
入力端子61には信号処理回路5から映像信号(画素信号)が入力し、最小値選択回路62の一つの入力端及び遅延回路63に供給されている。遅延回路63は入力映像信号に対して所定の画素数分の時間幅(抑制する水平方向の画素数)例えば1画素分の時間遅延を与えるための回路であり、その遅延時間幅(遅延画素数)の設定は入力端子68からの制御信号によって変更することができるようになっている。最小値選択回路62は2つの入力信号の内小さい方の入力信号を選択的に出力し、2つの入力信号が同じレベルの場合にはそのレベルの信号を出力する回路である。遅延回路63からの遅延出力は前記最小値選択回路62の他方の入力端に供給されると共に、最小値選択回路64の一つの入力端及び遅延回路65に供給されている。遅延回路65は前記遅延回路63と同様な遅延時間を有しており、その遅延出力は最小値選択回路64の他方の入力端に供給される。最小値選択回路64も前記最小値選択回路62と同様に2つの入力信号の内小さい方の入力信号を選択的に出力し、2つの入力信号が同じレベルの場合にはそのレベルの信号を出力する回路である。最小値選択回路62の選択出力と最小値選択回路64の選択出力とは、最大値選択回路66の2つの入力端に供給されている。最大値選択回路66は2つの入力信号の内大きい方の入力信号を選択的に出力し、2つの入力信号が同じレベルの場合にはそのレベルの信号を出力する回路である。最大値選択回路66の選択出力はスイッチ67の1つの入力端Pに供給され、スイッチ67のもう1つの入力端Qには前記遅延回路63からの遅延出力が供給されている。スイッチ67は、入力端子69からの判別信号(即ち判別回路11で判別された信号が白キズか否か)によって、白キズ判別信号であれば入力端P即ち最大値選択回路66の出力を選択し、白キズでないと判別された信号であれば入力端Q即ち遅延回路63の出力を選択して出力端子70から出力するようになっている。
【0027】
次に、図2の動作を説明する。ここで、前記遅延回路63,65の遅延時間幅は、制御回路12により1画素に設定されているものとする。
【0028】
図3は入力端子61からの入力映像信号の幅が1画素の場合(即ち前後の信号レベルと比較してレベルの高い突出した信号の幅が1画素の場合)のタイミングチャートである。入力映像信号の幅が図3(a) のように1画素の場合、遅延回路63,65でそれぞれ1画素分遅延されて、図3(b) ,(c) のようになる。最小値選択回路62では、信号(a) ,(b) の小さい方を選択することにより図3(d) の出力となる。また、最小値選択回路64では、信号(b) ,(c) の小さい方を選択することにより図3(e) の出力となる。そして、最大値選択回路66では、信号(d) と(e) の大きい方を選択することにより図3(f) の出力となる。従って、遅延回路63,65の遅延時間が1画素に設定されていて、入力映像信号の幅が1画素である場合(即ち設定値以下である場合)には、この1画素の信号は白キズであると判断し、1画素分の突出した信号レベルを前後の信号レベルにまで抑制してスイッチ67の入力端Pに供給することができる。
【0029】
図4は入力端子61からの入力映像信号の幅が2画素の場合のタイミングチャートである。入力映像信号の幅が図4(a) のように2画素の場合、遅延回路63,65でそれぞれ1画素分遅延されて、図4(b) ,(c) のようになる。最小値選択回路62では、信号(a) ,(b) の小さい方を選択することにより図4(d) の出力となる。また、最小値選択回路64では、信号(b) ,(c) の小さい方を選択することにより図4(e) の出力となる。そして、最大値選択回路66では、信号(d) と(e) の大きい方を選択することにより図4(f) の出力(これは図4(b) と同様な信号である)となる。従って、遅延回路63,65の遅延時間が1画素に設定されていて、入力映像信号の幅が2画素である場合(即ち設定値を越える場合)には、この2画素の信号は白キズではない(つまり映像変化である)と判断し、2画素分の突出した信号レベルを抑制することなくスイッチ67の入力端Pに供給することができる。
【0030】
以上の図3及び図4で説明したように、図2の破線枠で示した回路部分6Aにより所定の画素数分の幅に基づく白キズ判別が行われ、かつ白キズの場合は突出した信号レベルを前後の信号レベルにまで抑制してスイッチ67の入力端Pに供給することができる。
【0031】
スイッチ67では、図2の破線枠で示した回路部分6Aによる白キズ判別及び抑制に加えて、前述したような判別回路(現在の映像信号と1フレーム又は1フィールド前の映像信号との差分をとり、該差分値に基づきその映像信号が白キズの信号であるか否かを判別する回路)11の判別結果が、白キズであると判別した場合のみ入力端Pを選択し、このとき最大値選択回路66から白キズ抑制された出力(f) が出力端子70からD/A変換器7へ出力される。また、判別回路11の判別結果が、白キズでないと判別した場合には入力端Qを選択し、このとき遅延回路63からの白キズ抑制されない出力(b) が出力端子70からD/A変換器7へ出力されるようにしている。スイッチ67によって白キズ判別及び抑制の確実性を増すことができる。
【0032】
図5は図2における破線枠の回路部分6Aのレベル抑制動作を概略的に示している。図5(a) は入力映像信号におけるレベルの高い突出した信号が、制御回路12によって設定される画素数の幅以下の場合に、出力として突出した信号部分が除去されている様子を示している。図5(b) は入力映像信号におけるレベルの高い突出した信号が、制御回路12によって設定される画素数の幅より大きい場合に、突出した信号部分が除去されることなくそのまま出力されている様子を示している。
【0033】
図6(a) ,(b) は制御回路12の制御特性例を示すもので、入力される蓄積時間の値に応じて設定される画素数分の幅の変化例を2例示している。図6(a) は電荷蓄積時間(露光時間)を増加に伴い、レベル抑制する画素数の幅が直線的に増大する制御特性を示しており、図6(b) は電荷蓄積時間(露光時間)を増加に伴い、レベル抑制する画素数の幅が段階的に増加する制御特性を示している。
【0034】
また、上記実施の形態においては、フレーム相関を利用して白キズの信号レベルを判別する回路について説明したが、フレームメモリ9に代えてフィールドメモリを使用することによって、フィールド相関を利用して白キズの信号レベルを判別する回路を構成してもよい。
【0035】
なお、図1の実施の形態では、フレーム相関を利用して白キズの信号レベルを判別する回路を用いた場合について説明しているが(即ちレベル抑制回路ブロック14における遅延手段として1フレーム遅延するためのフレームメモリを使用しているが)、固体撮像装置を後述する高感度モードで使用する場合には、遅延手段としてこのフレームメモリに代えて1フィールド遅延するためのフィールドメモリを使用しても良い。
【0036】
このように固体撮像装置の高感度モードでは、レベル抑制回路ブロック14としてフィールド相関を利用した回路を用いることができる。以下に通常感度モードと高感度モードについて説明する。
【0037】
即ち、固体撮像装置における白キズ信号レベル抑制装置では、撮像素子の光電変換部に1フィールド期間ごとに露光蓄積された電荷に基づいて得られる映像信号から白キズ成分を抑制する場合(通常感度モード時)には、映像信号がフレーム間で相関を有している(これは1フレームを構成する奇数フィールドと偶数フィールドとではインターレースしているため相関が少なくフレーム間は相関が比較的多いためである)ことを利用して、現在入力している映像信号と1フレーム遅延した映像信号との差分をとることによりフレーム間の変化成分を抽出し、判別回路11に供給している。
【0038】
また、固体撮像装置における白キズ信号レベル抑制装置では、撮像素子の光電変換部に1フレーム期間のn倍(nは自然数)の期間ごとに露光蓄積された電荷に基づきかつ露光電荷のないフィールドについては補間を行って得られる映像信号から白キズ成分を抑制する場合(高感度モード時)には、常に奇数フィールドか偶数フィールドか一方のフィールドに固定されるため、映像信号がフィールド間で相関を有していることを利用して、現在入力している映像信号と1フィールド遅延した映像信号との差分をとることによりフレーム間の変化成分を抽出し、判別回路11に供給して白キズ抑制を図ることができる。なお、高感度モードの場合は、現在の映像信号と1フレーム遅延した映像信号との差分をとることによって白キズ成分を抽出することも可能である。つまり、遅延手段としてフレームメモリを用いれば、通常感度モード,高感度モードの両方に適用することができる。
【0039】
一般に、ビデオカメラなどの固体撮像装置では、固体撮像素子としてCCD(Charge Coupled Device)が使用される。図3〜図5を参照しながら通常感度モードと高感度モードについて説明する。
【0040】
図7はCCDの構成の一例を示した図である。
図7に示すCCDは、被写体からの光を受光し電気信号に変換する光電変換部21と、この光電変換部21に蓄積した信号電荷がフィールドシフトパルス(FS)に同期して転送される垂直転送部22と、垂直転送部22に転送された1画面分の信号電荷が1ラインごとに転送される水平転送部23と、水平転送された信号電荷を画素ごとに端子25から出力する出力部24とから構成されている。
【0041】
図8はビデオカメラの通常感度モードにおけるCCD出力とビデオ出力のタイミングチャートを示している。通常感度モード時のCCDビデオカメラの露光時間は1フィールド(1/60s)である。
【0042】
図8(a) は露光時間(1フィールド)、図8(b)は光電変換部21から垂直転送部22へ信号電荷を読み出すフィールドシフトパルス(FS)、図8(c) はCCD出力信号、図8(d) はビデオ出力信号、をそれぞれ示している。
【0043】
図8(b) に示すようにフィールドシフトパルスを1フィールド毎にCCDに対して出力している。これにより、光電変換部21に1フィールド期間蓄積された電荷(つまり、図8(a) に示す期間A,B,C,D……に蓄積された電荷)はそれぞれ、図8(c) に示すよう1フィールド期間遅れたCCD出力信号として出力され、さらにそれが信号処理手段(信号処理回路5,エンコーダ8等)によって図8(d) に示すようにビデオ信号に変換されて出力される。
【0044】
一方、高感度モード時のCCDビデオカメラ(或いはコマ落とし長時間露光ビデオカメラ)では、前記フィールドシフトパルスを間引くことにより露光時間を通常の1フィールドから2,4,6,……フィールドと長くすることによって高感度化を実現している。なお、露光時間の変化を2フィールド毎としているのは、読み出す信号電荷の奇数フィールド/偶数フィールド(ODD/EVEN)を何れかに固定することで映像出力のジッタを防止するためである。
【0045】
次に、図9を参照して、長時間露光による高感度モード動作を説明する。
図9はビデオカメラの高感度モードにおけるCCD出力とビデオ出力のタイミングチャートを示している。
【0046】
図9(a) は露光時間(2フィールド)、図9(b) は光電変換部21から垂直転送部22へ信号電荷を読み出すフィールドパルス、図9(c) はCCD出力信号、図9(d) はビデオ出力信号、をそれぞれ示している。
【0047】
図9(b) に示すようにフィールドシフトパルスを毎フィールド出さずに2フィールドごとに出す例を示している。CCD出力信号は図9(c) のように2フィールドごとに出力される。このCCD出力信号は、2フィールド期間33の間に露光蓄積された電荷が、1フィールド期間31に出力されるので、長時間露光した信号が得られる。
【0048】
しかし、フィールド期間31の次のフィールド期間32は露光信号出力が無いので、後段の信号処理回路5のメモリを用いてフィールド期間32をフィールド期間31の露光信号で補間する必要がある。このようにして光電変換部21で長時間露光を行い、高感度な図9(d) に示すビデオ出力信号が得られる。なお、前記メモリ補間は公知の方法を用いて行う。例えば、露光信号出力が無くなる直前の信号をそのまま用いたり、露光信号出力が無くなる前後の信号から補間(前後の平均値を利用する等)により求める。
【0049】
図8,図9のようにこの露光時間を映像出力の明るさに応じて自動的に制御することを自動感度切替と称する。自動感度切替は例えば輝度信号の積分値或いはピーク値のレベルを明/暗の2つのしきい値と比較し、暗いと判断された場合には露光時間を2フィールド(1/30s),4フィールド,……と増加し、明るいと判断された場合には露光時間を2フィールドずつ減少させるか1フィールドのみとする。即ち、映像が暗い場合は2フィールド期間,4フィールド期間,……と伸張された周期のフィールドシフトパルスを、映像が明るい場合には2フィールド期間ずつ短縮された周期又は1フィールド周期のフィールシフトパルスをCCDに供給することにより実現している。
【0050】
図10は、本発明の他の実施の形態に係る、自動感度切替機能を備えた固体撮像装置の白キズ信号レベル抑制装置のブロック図を示している。
【0051】
図10において、図1と異なる点は、露光時間制御回路15とCCD駆動回路16を設けて自動感度切替可能とする一方、蓄積時間に相当する露光時間制御信号S4 を端子13に供給することにより、被写体からの光の明暗に応じて白キズ判別のための設定画素数を自動的に設定できるようにしたことである。信号処理回路5からの輝度信号を露光時間制御回路15に導きその輝度信号の積分値或いはピーク値のレベルを明/暗の2つのしきい値と比較し、その比較結果を示す露光時間制御信号S4 を発生してCCD駆動回路16に供給する。CCD駆動回路16は、フィールドシフトパルス(FS)を含むCCD駆動パルスS5 を発生して撮像素子1を駆動するものであるが、CCD駆動パルスS5 の中のFSのパルス周期つまりFSのパルス間引き量は前記露光時間制御信号S4 によって制御される。即ち、露光時間制御回路15で映像が明るいと判断された場合(通常感度モード時)は、FSの周期は例えば1フィールドとされ撮像素子1の光電変換部の電荷蓄積時間は短く設定され同時に制御回路12の設定画素数も小さく設定され、映像が暗いと判断された場合(高感度モード時)は、FSの周期は例えば2フィールドとされ撮像素子1の光電変換部の電荷蓄積時間を長く設定され同時に制御回路12の設定画素数も大きく設定される。なお、露光時間制御回路15による露光時間(FSパルス周期)の設定は、前述したように映像が暗い場合は2フィールド期間,4フィールド期間,……と伸張された周期のフィールドシフトパルスを、映像が明るい場合には2フィールド期間ずつ短縮された周期又は1フィールド周期のフィールシフトパルスを撮像素子(CCD)に供給することにより行うようにすることができる。また、明/暗の2つのしきい値を切替可能にすることにより感度切替を行えるようにしてもよい。さらに、露光時間制御回路15からの露光時間制御信号S4 が映像が暗い結果を示している場合には、フレームメモリ9をフィールドメモリに切り換えるように構成することもできる。
【0052】
以上述べた判別回路11による現在の映像信号と1フレーム又は1フィールド遅延した映像信号との差分の大小、及び制御回路12による撮像素子1の電荷蓄積時間の長短に応じて、レベル抑制回路6を制御することにより、最適な白キズ抑制を行なうことが可能となる。
【0053】
尚、上記実施の形態では、撮像素子からの現在の映像信号と1フレーム又は1フィールド遅延した映像信号との差分値および撮像素子の電荷蓄積時間に応じてレベル抑制回路を制御する場合について説明したが、本発明では、現在の映像信号と1フレーム又は1フィールド遅延した映像信号との差分および撮像素子の電荷蓄積時間の両者に応じて制御する場合に限らず、これらのいずれか一方で制御するようにしてもよい。例えば、蓄積時間による制御をせずにレベル抑制回路で抑制する画素数分の幅を一定にして白キズ信号のレベル抑制を行ってもよい。
【0054】
尚、以上の実施の形態では、本発明の固体撮像装置の白キズ信号レベル抑制装置は、ビデオカメラのようなものだけでなく、VTRやTV受像機等の映像機器における白キズ信号レベル抑制装置に応用することが可能である。
【0055】
さらに、本発明に係る固体撮像装置は、ビデオカメラに限らず各種用途の撮像機器例えば医用撮像機器などに使用することが可能である。
【0056】
【発明の効果】
以上述べたように本発明によれば、撮像素子から出力される映像信号より白キズの信号を判別し、白キズの信号レベルを抑制し、画質を改善することが可能となる。また、現在の映像信号と1フレーム又はフィールド遅延した映像信号との差分値或いは撮像素子の電荷の蓄積時間に応じて白キズ抑制の制御を行ない、白キズの信号であると判別された画素の信号のレベルを、その前後のレベルにまで抑制することで白キズ信号のレベル抑制を図ることができる。さらに、一画素単位でかつリアルタイムで白キズ信号レベル抑制を行なっているため、多くのキズや新たに発生したキズに対しても適応することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の固体撮像装置の白キズ信号レベル抑制装置を示すブロック図。
【図2】レベル抑制回路の構成例を示すブロック図。
【図3】図2の動作のタイミングチャート。
【図4】図2の動作のタイミングチャート。
【図5】図2における破線枠の回路部分6Aのレベル抑制動作を概略的に示す図。
【図6】制御回路12の制御特性例を示す特性図。
【図7】CCDの構成の一例を示した図。
【図8】ビデオカメラの通常感度モードにおけるCCD出力とビデオ出力のタイミングを示すタイミングチャート。
【図9】ビデオカメラの高感度モードにおけるCCD出力とビデオ出力のタイミングを示すタイミングチャート。
【図10】本発明の他の実施の形態の固体撮像装置の白キズ信号レベル抑制装置を示すブロック図。
【符号の説明】
1…撮像素子
6…レベル抑制回路
9…フレームメモリ(遅延手段)
10…減算器
11…判別回路
12…制御回路
13…蓄積時間設定端子
14…レベル抑制回路ブロック[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a white scratch signal level suppressing device for a solid-state imaging device that suppresses the signal level of white scratches in a video signal output from an image sensor and improves image quality.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a solid-state imaging device used for a video camera or the like, an imaging element such as a CCD (Charge Coupled Device) is an array of a large number of photoelectric conversion elements such as photodiodes, and a photoelectric conversion unit that accumulates photoelectrically converted charges. And a transfer unit that transfers the accumulated charges in time series. In the photoelectric conversion unit, a charge corresponding to the amount of light is accumulated in the potential well of each pixel. The transfer unit transfers the accumulated charges to the horizontal transfer unit in units of rows (each line) and outputs them in time series. By performing this operation on all lines, data for one screen is output.
[0003]
Incidentally, white flaws may occur in the luminance signal of the video signal output from the image sensor. Such white scratches that occur in the image sensor appear as images due to scratches in the image sensor itself, and always occur at the same pixel. As the charge accumulation time in the photoelectric conversion unit becomes longer, the signal level of white scratches also increases, so that the scratches become conspicuous and the image quality deteriorates.
[0004]
Therefore, if the sensitivity is increased by long exposure, white flaws become conspicuous and the image quality deteriorates.
[0005]
[Problems to be solved by the invention]
As described above, in the conventional solid-state imaging device, there is a problem that when the charge accumulation time becomes longer due to long exposure, white scratches become conspicuous and image quality deteriorates.
[0006]
Therefore, in view of the above problems, the present invention discriminates a white scratch signal from the video signal output from the image sensor, suppresses the white scratch signal level, and improves the image quality. The object is to provide a suppression device.
[0007]
[Means for Solving the Problems]
A white scratch signal level suppressing device for a solid-state imaging device according to the invention of
The video signal output from the image sensor is a protruding signal having a higher level than the preceding and following signal levels, and the width of the protruding portion of the signal corresponding to a predetermined number of pixels (suppressing horizontal direction) A level suppression circuit that determines that the signal is a white scratch signal and suppresses the signal level of the protruding portion to the front and rear signal levels,
And a control circuit for controlling the width corresponding to the number of pixels to be suppressed by the level suppression circuit in accordance with an accumulation time of long exposure of the image sensor.
[0008]
A white scratch signal level suppressing device for a solid-state imaging device according to a second aspect of the present invention comprises:
Regarding the video signal output from the image sensor, the difference between the current video signal and the video signal of one frame or one field before is taken, and whether or not the video signal is a white scratch signal is determined based on the difference value. A discriminating circuit for
The video signal determined to be a white defect signal by the determination circuit is a protruding signal having a higher level than the preceding and following signal levels, and the signal of the protruding portion is a predetermined value set in advance. When the signal is equal to or less than the width of the number of pixels (the number of pixels in the horizontal direction to be suppressed), the level suppressing circuit determines that the signal is a white defect signal and suppresses the signal level of the protruding portion to the previous and next signal levels. Are provided.
[0009]
A white scratch signal level suppressing device for a solid-state imaging device according to a third aspect of the present invention comprises:
A discriminating circuit for discriminating whether or not the video signal is a white defect signal based on a difference value between the current video signal and the video signal of one frame or one field before the video signal output from the image sensor; ,
The video signal determined to be a white defect signal by the determination circuit is a protruding signal having a higher level than the previous and subsequent signal levels, and a predetermined pixel in which the signal of the protruding portion is set A level suppression circuit that determines that the signal is a white defect signal when the signal is less than a few minutes (the number of pixels in the horizontal direction to be suppressed), and suppresses the signal level of the protruding portion to the previous and next signal levels; ,
And a control circuit for controlling the width corresponding to the number of pixels to be suppressed by the level suppression circuit in accordance with an accumulation time of long exposure of the image sensor.
[0010]
According to a fourth aspect of the present invention, in the white scratch signal level suppressing device for the solid-state imaging device according to the first or third aspect,
The control circuit increases the width corresponding to the number of pixels to be suppressed by the level suppression circuit as the accumulation time of the image sensor increases.
[0011]
In the invention of
[0012]
The invention according to
The discriminating circuit discriminates as a white flaw if the difference value between the current video signal and the video signal of one frame or one field before is smaller than the set reference value, and discriminates that it is not a white flaw if larger than the reference value. It is characterized by doing.
[0013]
In the first, third, and fourth aspects of the invention, the level suppression circuit suppresses the signal level of the protruding portion, and the accumulation time is set to a width corresponding to a predetermined number of pixels (the number of pixels in the horizontal direction to be suppressed). Control according to the length. That is, when the accumulation time is long, the width corresponding to the number of pixels whose level is suppressed is increased, and when the accumulation time is short, the width corresponding to the number of pixels whose level is suppressed is decreased so as to suppress the optimum white scratch signal level.
[0014]
According to the second and third aspects of the present invention, it is determined whether or not there is a white flaw according to the size of the difference value between the current video signal and the video signal one frame before or one field before. In this case, the level suppression circuit suppresses the white signal level.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a white scratch signal level suppressing device for a solid-state imaging device according to an embodiment of the present invention.
[0016]
In FIG. 1, a picked-up video signal is converted into an electric signal by an
[0017]
The video signal output from the
[0018]
The level
[0019]
The level
[0020]
In the
[0021]
Therefore, in the present embodiment, a
[0022]
The
[0023]
The
[0024]
FIG. 2 is a block diagram showing a configuration example of the
[0025]
2, the
[0026]
A video signal (pixel signal) is input from the
[0027]
Next, the operation of FIG. 2 will be described. Here, it is assumed that the delay time width of the
[0028]
FIG. 3 is a timing chart when the width of the input video signal from the
[0029]
FIG. 4 is a timing chart when the width of the input video signal from the
[0030]
As described above with reference to FIGS. 3 and 4, the
[0031]
In the
[0032]
FIG. 5 schematically shows the level suppressing operation of the
[0033]
FIGS. 6A and 6B show examples of control characteristics of the
[0034]
In the above embodiment, the circuit for determining the white scratch signal level using the frame correlation has been described. However, by using a field memory instead of the
[0035]
In the embodiment of FIG. 1, the case where a circuit for discriminating the signal level of white scratches using frame correlation has been described (that is, one frame is delayed as a delay means in the level suppression circuit block 14). However, when the solid-state imaging device is used in a high sensitivity mode, which will be described later, a field memory for delaying one field instead of the frame memory may be used as the delay means. good.
[0036]
Thus, in the high sensitivity mode of the solid-state imaging device, a circuit using field correlation can be used as the level
[0037]
That is, in the white scratch signal level suppressing device in the solid-state imaging device, the white scratch component is suppressed from the video signal obtained based on the charge accumulated in the photoelectric conversion unit of the image sensor for each field period (normal sensitivity mode). The video signal has a correlation between the frames (this is because the odd field and the even field constituting one frame are interlaced, so the correlation is small and the correlation between the frames is relatively large. By utilizing the difference between the currently input video signal and the video signal delayed by one frame, a change component between frames is extracted and supplied to the
[0038]
Further, in the white scratch signal level suppressing device in the solid-state imaging device, a field having no exposure charge based on the charge accumulated and exposed every n times (n is a natural number) of one frame period in the photoelectric conversion unit of the image sensor. When the white flaw component is suppressed from the video signal obtained by interpolation (in high sensitivity mode), the odd number field or even field is always fixed, so the video signal is correlated between the fields. The difference between the currently input video signal and the video signal delayed by one field is extracted by using this, and the change component between frames is extracted and supplied to the
[0039]
In general, a solid-state imaging device such as a video camera uses a CCD (Charge Coupled Device) as a solid-state imaging device. The normal sensitivity mode and the high sensitivity mode will be described with reference to FIGS.
[0040]
FIG. 7 is a diagram showing an example of the configuration of a CCD.
The CCD shown in FIG. 7 receives a light from a subject and converts it into an electrical signal, and a vertical transfer in which signal charges accumulated in the
[0041]
FIG. 8 shows a timing chart of CCD output and video output in the normal sensitivity mode of the video camera. The exposure time of the CCD video camera in the normal sensitivity mode is 1 field (1/60 s).
[0042]
8A shows an exposure time (one field), FIG. 8B shows a field shift pulse (FS) for reading signal charges from the
[0043]
As shown in FIG. 8B, a field shift pulse is output to the CCD for each field. As a result, the charges accumulated in the
[0044]
On the other hand, in a CCD video camera (or frame dropping long exposure video camera) in the high sensitivity mode, the exposure time is increased from the normal one field to 2, 4, 6,... Field by thinning out the field shift pulse. High sensitivity is realized by this. The reason for changing the exposure time every two fields is to prevent jitter in the video output by fixing the odd field / even field (ODD / EVEN) of the signal charge to be read out to any one.
[0045]
Next, the high sensitivity mode operation by long exposure will be described with reference to FIG.
FIG. 9 shows a timing chart of CCD output and video output in the high sensitivity mode of the video camera.
[0046]
9A is an exposure time (2 fields), FIG. 9B is a field pulse for reading signal charges from the
[0047]
As shown in FIG. 9B, an example is shown in which the field shift pulse is output every two fields without being output every field. The CCD output signal is output every two fields as shown in FIG. 9 (c). In this CCD output signal, since the charge accumulated during the two-
[0048]
However, since there is no exposure signal output in the
[0049]
Automatic control of the exposure time according to the brightness of the video output as shown in FIGS. 8 and 9 is called automatic sensitivity switching. In the automatic sensitivity switching, for example, the level of the integrated value or peak value of the luminance signal is compared with two threshold values of light / dark, and when it is determined to be dark, the exposure time is set to 2 fields (1/30 s), 4 fields. ,..., And if it is judged bright, the exposure time is decreased by two fields or only one field. That is, when the image is dark, a field shift pulse with a period expanded by 2 field periods, 4 field periods,..., And when the image is bright, a field shift pulse with a period shortened by 2 field periods or a field shift pulse with 1 field period. This is realized by supplying to the CCD.
[0050]
FIG. 10 is a block diagram of a white scratch signal level suppressing device for a solid-state imaging device having an automatic sensitivity switching function according to another embodiment of the present invention.
[0051]
10 differs from FIG. 1 in that an exposure
[0052]
In accordance with the difference between the current video signal by the
[0053]
In the above embodiment, the case where the level suppression circuit is controlled according to the difference value between the current video signal from the image sensor and the video signal delayed by one frame or one field and the charge accumulation time of the image sensor has been described. However, in the present invention, the control is not limited to the case where the control is performed according to both the difference between the current video signal and the video signal delayed by one frame or one field and the charge accumulation time of the imaging device, but any one of these is controlled. You may do it. For example, the level of the white flaw signal may be suppressed by making the width corresponding to the number of pixels suppressed by the level suppression circuit constant without performing control based on the accumulation time.
[0054]
In the above embodiment, the white flaw signal level suppressing device of the solid-state imaging device of the present invention is not limited to a video camera, but a white flaw signal level suppressing device in video equipment such as a VTR and a TV receiver. It is possible to apply to.
[0055]
Furthermore, the solid-state imaging device according to the present invention can be used not only for video cameras but also for imaging devices for various purposes such as medical imaging devices.
[0056]
【The invention's effect】
As described above, according to the present invention, it is possible to determine a white defect signal from the video signal output from the image sensor, suppress the signal level of the white defect, and improve the image quality. Also, white flaw suppression control is performed according to the difference value between the current video signal and the video signal delayed by one frame or field, or the charge accumulation time of the image sensor, and the pixel of the pixel determined to be a white flaw signal is controlled. By suppressing the level of the signal to the level before and after that, the level of the white scratch signal can be suppressed. Furthermore, since the white scratch signal level is suppressed in real time in units of pixels, it can be applied to many scratches and newly generated scratches.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a white scratch signal level suppressing device of a solid-state imaging device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration example of a level suppression circuit.
FIG. 3 is a timing chart of the operation of FIG.
4 is a timing chart of the operation of FIG.
5 is a diagram schematically showing a level suppressing operation of a
FIG. 6 is a characteristic diagram illustrating an example of control characteristics of the
FIG. 7 is a diagram illustrating an example of a configuration of a CCD.
FIG. 8 is a timing chart showing the timing of CCD output and video output in the normal sensitivity mode of the video camera.
FIG. 9 is a timing chart showing the timing of CCD output and video output in the high sensitivity mode of the video camera.
FIG. 10 is a block diagram showing a white scratch signal level suppressing device of a solid-state imaging device according to another embodiment of the present invention.
[Explanation of symbols]
1 ... Image sensor
6 ... Level suppression circuit
9: Frame memory (delay means)
10 ... Subtractor
11: Discrimination circuit
12 ... Control circuit
13 ... Accumulation time setting terminal
14 ... Level suppression circuit block
Claims (5)
前記撮像素子の長時間露光の蓄積時間に応じて前記レベル抑制回路で抑制する前記の画素数分の幅を制御する制御回路と
を具備したことを特徴とする固体撮像装置の白キズ信号レベル抑制装置。The video signal output from the image sensor is a protruding signal having a higher level than the preceding and following signal levels, and the width of the protruding portion of the signal corresponding to a predetermined number of pixels (suppressing horizontal direction) A level suppression circuit that determines that the signal is a white scratch signal and suppresses the signal level of the protruding portion to the front and rear signal levels,
And a control circuit that controls a width corresponding to the number of pixels to be suppressed by the level suppression circuit in accordance with an accumulation time of long exposure of the image sensor. apparatus.
前記判別回路で白キズの信号であると判別された前記映像信号に関して、前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が予め設定された所定の画素数分の幅(抑制する水平方向の画素数)以下の信号である場合に、白キズの信号であると判断し、突出した部分の信号レベルを前後の信号レベルにまで抑制するレベル抑制回路と
を具備したことを特徴とする固体撮像装置の白キズ信号レベル抑制装置。Regarding the video signal output from the image sensor, the difference between the current video signal and the video signal of one frame or one field before is taken, and whether or not the video signal is a white scratch signal is determined based on the difference value. A discriminating circuit for
The video signal determined to be a white defect signal by the determination circuit is a protruding signal having a higher level than the preceding and following signal levels, and the signal of the protruding portion is a predetermined value set in advance. When the signal is equal to or less than the width of the number of pixels (the number of pixels in the horizontal direction to be suppressed), the level suppressing circuit determines that the signal is a white defect signal and suppresses the signal level of the protruding portion to the previous and next signal levels. A white flaw signal level suppressing device for a solid-state imaging device.
前記判別回路で白キズの信号であると判別された前記映像信号に関して、前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が設定された所定の画素数分の幅(抑制する水平方向の画素数)以下の信号である場合に、白キズの信号であると判断し、突出した部分の信号レベルを前後の信号レベルにまで抑制するレベル抑制回路と、
前記撮像素子の長時間露光の蓄積時間に応じて前記レベル抑制回路で抑制する前記の画素数分の幅を制御する制御回路と
を具備したことを特徴とする固体撮像装置の白キズ信号レベル抑制装置。A discriminating circuit for discriminating whether or not the video signal is a white defect signal based on a difference value between the current video signal and the video signal of one frame or one field before the video signal output from the image sensor; ,
The video signal determined to be a white defect signal by the determination circuit is a protruding signal having a higher level than the previous and subsequent signal levels, and a predetermined pixel in which the signal of the protruding portion is set A level suppression circuit that determines that the signal is a white defect signal when the signal is less than a few minutes (the number of pixels in the horizontal direction to be suppressed), and suppresses the signal level of the protruding portion to the previous and next signal levels; ,
And a control circuit that controls a width corresponding to the number of pixels to be suppressed by the level suppression circuit in accordance with an accumulation time of long exposure of the image sensor. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00558499A JP3989112B2 (en) | 1999-01-12 | 1999-01-12 | White scratch signal level suppression device for solid-state imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00558499A JP3989112B2 (en) | 1999-01-12 | 1999-01-12 | White scratch signal level suppression device for solid-state imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000209505A JP2000209505A (en) | 2000-07-28 |
| JP3989112B2 true JP3989112B2 (en) | 2007-10-10 |
Family
ID=11615301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00558499A Expired - Fee Related JP3989112B2 (en) | 1999-01-12 | 1999-01-12 | White scratch signal level suppression device for solid-state imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3989112B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7522761B2 (en) | 2005-09-02 | 2009-04-21 | International Business Machines Corporation | System and method for detecting a streak in a compressed gray scale image |
| JP4789602B2 (en) * | 2005-11-29 | 2011-10-12 | キヤノン株式会社 | Imaging apparatus and defective pixel processing method |
| JP2009253668A (en) * | 2008-04-07 | 2009-10-29 | Fujifilm Corp | Imaging device and image defect correcting method |
-
1999
- 1999-01-12 JP JP00558499A patent/JP3989112B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000209505A (en) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005130045A (en) | Image pickup apparatus and image pickup element used therefor | |
| US7262793B2 (en) | Imager and image quality correcting method performing correction based on the output of different readout modes | |
| JP2001078087A (en) | Imaging device and signal processing method thereof | |
| JPH0335870B2 (en) | ||
| JP4840578B2 (en) | Flicker detection method and apparatus for imaging apparatus | |
| JP4763375B2 (en) | Imaging apparatus and image data correction method | |
| JP2008054136A (en) | Imaging apparatus and drive control method | |
| JP2007288131A (en) | Solid-state imaging device, solid-state imaging device, and driving method thereof | |
| JP2000209507A (en) | Noise reduction circuit for solid-state imaging device | |
| JP3989112B2 (en) | White scratch signal level suppression device for solid-state imaging device | |
| JP3616870B2 (en) | Imaging apparatus and signal processing method thereof | |
| JP5106055B2 (en) | Imaging apparatus and flicker detection method thereof | |
| JP2005176115A (en) | Imaging device | |
| JP3918292B2 (en) | Video imaging device | |
| EP1549046A2 (en) | Solid-state imaging device, digital camera and digital video camera | |
| JP2000196916A (en) | Noise reduction device | |
| JP2004172925A (en) | Dark current correction device and method for electronic camera | |
| JP5106056B2 (en) | Imaging apparatus and flicker detection method thereof | |
| JP2970092B2 (en) | Video camera | |
| JPH06189200A (en) | Solid-state image pickup device | |
| JP3788449B2 (en) | Imaging apparatus and signal processing method thereof | |
| JP4306653B2 (en) | Imaging apparatus and signal processing method thereof | |
| JPH10336516A (en) | Video camera with automatic sensitivity switching device | |
| JP2006157341A (en) | Solid-state image sensor smear correction method, solid-state image sensor signal processing apparatus, and image pickup apparatus | |
| JP2004120331A (en) | Television camera equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |