JP3260385B2 - イメージ信号の検出方法 - Google Patents
イメージ信号の検出方法Info
- Publication number
- JP3260385B2 JP3260385B2 JP52002998A JP52002998A JP3260385B2 JP 3260385 B2 JP3260385 B2 JP 3260385B2 JP 52002998 A JP52002998 A JP 52002998A JP 52002998 A JP52002998 A JP 52002998A JP 3260385 B2 JP3260385 B2 JP 3260385B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- detected
- voltage
- capacitance
- time interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Description
【発明の詳細な説明】 本発明は光電装置（photosensitive devices）のアレ
ーによりイメージ信号を検出する方法に関し、この光電
装置はそれぞれのキャパシタンスの電荷量または充電量
（charge of capacitance）が変更可能なものである。
ーによりイメージ信号を検出する方法に関し、この光電
装置はそれぞれのキャパシタンスの電荷量または充電量
（charge of capacitance）が変更可能なものである。
モノリシック集積（monolithic integrated）された
イメージセンサシステムにおいては、センサ素子のアレ
ーは通常、信号の読み取りのための電子回路とともに集
積回路（IC）上に組み立てられる。集積光センサ（inte
grated optical sensors）の分野においては、フォトダ
イオード，バイポーラ型フォトトランジスタ，電荷結合
素子（CCD）および光電MOSトランジスタ（light−sensi
tive MOS transistors）が光電装置として使用可能であ
る。これらの装置のアレーで、光に依存する信号、すな
わち充電量，電圧または電流は、通常、読み取られた後
でデジタル信号に変換され、さらなる処理を受けるか、
あるいは、これら光に依存する信号は、アナログ／デジ
タル変換を経ずに直接的に表示される。
イメージセンサシステムにおいては、センサ素子のアレ
ーは通常、信号の読み取りのための電子回路とともに集
積回路（IC）上に組み立てられる。集積光センサ（inte
grated optical sensors）の分野においては、フォトダ
イオード，バイポーラ型フォトトランジスタ，電荷結合
素子（CCD）および光電MOSトランジスタ（light−sensi
tive MOS transistors）が光電装置として使用可能であ
る。これらの装置のアレーで、光に依存する信号、すな
わち充電量，電圧または電流は、通常、読み取られた後
でデジタル信号に変換され、さらなる処理を受けるか、
あるいは、これら光に依存する信号は、アナログ／デジ
タル変換を経ずに直接的に表示される。
結合方法（integrating method）によってイメージ信
号を読み取る工程は公知である。例えば、光電装置の信
号電流が所定の時間にわたりキャパシタンスの上に結合
される（integrated）。この結合の結果として、光照度
（illumination intensity）と時間とに対して比例する
信号電圧が発生し、この信号電圧はその集積回路上の周
辺回路から簡単に読み取ることができる。上記従来技術
にかかる光電装置の一例においては、予め所定の電位に
より充電されたキャパシタンスが、光電装置により発生
した光電流により放電される。
号を読み取る工程は公知である。例えば、光電装置の信
号電流が所定の時間にわたりキャパシタンスの上に結合
される（integrated）。この結合の結果として、光照度
（illumination intensity）と時間とに対して比例する
信号電圧が発生し、この信号電圧はその集積回路上の周
辺回路から簡単に読み取ることができる。上記従来技術
にかかる光電装置の一例においては、予め所定の電位に
より充電されたキャパシタンスが、光電装置により発生
した光電流により放電される。
ある適用分野、たとえば自動車の分野など、輝度が頻
繁に変化し、かつ一つのイメージの中の輝度に大きな差
異がある場合においては、イメージ信号のダイナミック
ス（dynamics）に対して求められる要求は非常に大き
い。この要求に対応するイメージ信号ダイナミクスは、
一つのイメージの中の光照度の変化が余りにも大き過ぎ
る結果、上述の先行技術にかかる方法では達成できな
い。もし、例えばあるイメージセンサ素子にとって光照
度が高すぎる場合、最初に所定の電圧で充電されていた
キャパシタンスの電圧は非常に急速に下降し、その結
果、キャパシタンスが光電装置の信号電流により放電さ
れる時間が経過した後、もしキャパシタンスがその時間
の終了時に完全に放電していた場合には、入射した光照
度が最初どの程度高かったのかを評価することは、もは
や不可能となる。ゆえに公知の方法では、限られた範囲
のダイナミックレンジ（dynamic range）しか持たな
い。
繁に変化し、かつ一つのイメージの中の輝度に大きな差
異がある場合においては、イメージ信号のダイナミック
ス（dynamics）に対して求められる要求は非常に大き
い。この要求に対応するイメージ信号ダイナミクスは、
一つのイメージの中の光照度の変化が余りにも大き過ぎ
る結果、上述の先行技術にかかる方法では達成できな
い。もし、例えばあるイメージセンサ素子にとって光照
度が高すぎる場合、最初に所定の電圧で充電されていた
キャパシタンスの電圧は非常に急速に下降し、その結
果、キャパシタンスが光電装置の信号電流により放電さ
れる時間が経過した後、もしキャパシタンスがその時間
の終了時に完全に放電していた場合には、入射した光照
度が最初どの程度高かったのかを評価することは、もは
や不可能となる。ゆえに公知の方法では、限られた範囲
のダイナミックレンジ（dynamic range）しか持たな
い。
米国特許出願（US−Ａ）4479062号は、受光素子のア
レーが配置され、入射光に関する情報を蓄積する光電変
換装置を開示している。この公知の装置では、受光素子
のアレーの出力信号の飽和度（saturation）を検出する
ために、飽和度検出装置を備えている。もし受光素子の
アレーの出力信号が飽和した場合には、蓄積時間が減少
される。米国特許出願（US−Ａ）4479062号によれば、
イメージ受光素子のアレーの中の全てのイメージ受光素
子が過飽和状態でなくなるまで、すなわち受光素子アレ
ーの出力信号が飽和レベルを越えなくなるまで、検出時
間が漸次減少される。受光素子アレーの出力信号が飽和
レベルを越えなくなった時、全てのイメージセンサ素子
が有効な信号を供給する。その後、最後に突き止められ
た結合時間とともに得られたイメージが評価される。
レーが配置され、入射光に関する情報を蓄積する光電変
換装置を開示している。この公知の装置では、受光素子
のアレーの出力信号の飽和度（saturation）を検出する
ために、飽和度検出装置を備えている。もし受光素子の
アレーの出力信号が飽和した場合には、蓄積時間が減少
される。米国特許出願（US−Ａ）4479062号によれば、
イメージ受光素子のアレーの中の全てのイメージ受光素
子が過飽和状態でなくなるまで、すなわち受光素子アレ
ーの出力信号が飽和レベルを越えなくなるまで、検出時
間が漸次減少される。受光素子アレーの出力信号が飽和
レベルを越えなくなった時、全てのイメージセンサ素子
が有効な信号を供給する。その後、最後に突き止められ
た結合時間とともに得られたイメージが評価される。
米国特許出願（US−Ａ）4479062号に開示された方法
は、以下の点において問題がある。すなわち、多重イメ
ージ獲得のために注がれた努力にも係わらず、結果とし
て得られるイメージは、低いS/N比を持つイメージセン
サ素子、例えば低い輝度値を持つイメージセンサ素子を
持つ可能性がある。しかし観察者にとっては、得られる
実画像（real scene）のS/N比ができるかぎり大きい方
が有利である。観察者にとってS/N比が大きいというこ
とは、静的で光の変動に左右されない物体はそのイメー
ジの中でも確実に静的な様子で表現されるという意味で
あり、そして一画像の中の低いコントラストを解像でき
るという意味でもある。この公知の方法のさらなる問題
は、獲得されたイメージのイメージセンサ素子全体とし
てのダイナミックレンジが、１イメージを獲得するため
の単一のイメージセンサ素子の物理的に限定されたダイ
ナミックレンジ、すなわち等価ノイズ信号に対する最大
信号の比率に限られるという事である。観察者にとって
高いダイナミックレンジとは、現実のシーンにおける非
常に明るい領域と非常に暗い領域との両方が正確に表現
されることができ、かつ所定の感度しきい値を越えたと
たんに同じ明るさまたは同じ暗さで表現されるというこ
とが起こらないという意味である。
は、以下の点において問題がある。すなわち、多重イメ
ージ獲得のために注がれた努力にも係わらず、結果とし
て得られるイメージは、低いS/N比を持つイメージセン
サ素子、例えば低い輝度値を持つイメージセンサ素子を
持つ可能性がある。しかし観察者にとっては、得られる
実画像（real scene）のS/N比ができるかぎり大きい方
が有利である。観察者にとってS/N比が大きいというこ
とは、静的で光の変動に左右されない物体はそのイメー
ジの中でも確実に静的な様子で表現されるという意味で
あり、そして一画像の中の低いコントラストを解像でき
るという意味でもある。この公知の方法のさらなる問題
は、獲得されたイメージのイメージセンサ素子全体とし
てのダイナミックレンジが、１イメージを獲得するため
の単一のイメージセンサ素子の物理的に限定されたダイ
ナミックレンジ、すなわち等価ノイズ信号に対する最大
信号の比率に限られるという事である。観察者にとって
高いダイナミックレンジとは、現実のシーンにおける非
常に明るい領域と非常に暗い領域との両方が正確に表現
されることができ、かつ所定の感度しきい値を越えたと
たんに同じ明るさまたは同じ暗さで表現されるというこ
とが起こらないという意味である。
本発明の目的は、ダイナミックレンジが大きくかつ精
度が高い光信号検出方法を提供することである。
度が高い光信号検出方法を提供することである。
この目的は、請求項１に記載の方法によって達成され
る。
る。
本発明は、個々の光電装置のキャパシタンスの充電量
が変更可能な光電装置のアレーによりイメージ信号を検
出する方法を提供し、この方法においては、最初に個々
の光電装置の光信号が以下のサブステップによって検出
される。すなわち、所定の電圧で上記キャパシタンスの
充電状態を作りだすサブステップと、上記光信号によっ
て光電装置に発生する光電流により、あるいは光信号か
ら導き出される量によりキャパシタンスの充電量を変化
させ、かつ所定の時間間隔の後で上記キャパシタンスの
電圧を検出するサブステップと、上記検出電圧が有効範
囲内にあるか否かを判断し、もし有効範囲内であれば上
記検出された光信号を特徴づける有効信号を検出電圧に
基づいて決定するサブステップと、もし有効範囲外であ
れば、上記検出を繰り返す度に上記所定時間間隔から減
少または増大する時間間隔で、所定回数だけ上記サブス
テップを繰り返すか、あるいは検出電圧が有効範囲内と
判断されるまで上記ステップを繰り返すサブステップに
よって検出される。その後、個々の光電装置に関して検
出された光信号を特徴づける有効信号は、その有効信号
が検出された時間間隔とともに記憶される。もし、検出
された光信号を特徴づける有効信号が上記サブステップ
の中で検出されない場合には、所定の信号が記憶され
る。最後に、個々の光電装置に関して記憶された有効信
号とそれぞれの検出に割り当てられた時間間隔とから、
イメージ信号が得られる。
が変更可能な光電装置のアレーによりイメージ信号を検
出する方法を提供し、この方法においては、最初に個々
の光電装置の光信号が以下のサブステップによって検出
される。すなわち、所定の電圧で上記キャパシタンスの
充電状態を作りだすサブステップと、上記光信号によっ
て光電装置に発生する光電流により、あるいは光信号か
ら導き出される量によりキャパシタンスの充電量を変化
させ、かつ所定の時間間隔の後で上記キャパシタンスの
電圧を検出するサブステップと、上記検出電圧が有効範
囲内にあるか否かを判断し、もし有効範囲内であれば上
記検出された光信号を特徴づける有効信号を検出電圧に
基づいて決定するサブステップと、もし有効範囲外であ
れば、上記検出を繰り返す度に上記所定時間間隔から減
少または増大する時間間隔で、所定回数だけ上記サブス
テップを繰り返すか、あるいは検出電圧が有効範囲内と
判断されるまで上記ステップを繰り返すサブステップに
よって検出される。その後、個々の光電装置に関して検
出された光信号を特徴づける有効信号は、その有効信号
が検出された時間間隔とともに記憶される。もし、検出
された光信号を特徴づける有効信号が上記サブステップ
の中で検出されない場合には、所定の信号が記憶され
る。最後に、個々の光電装置に関して記憶された有効信
号とそれぞれの検出に割り当てられた時間間隔とから、
イメージ信号が得られる。
本発明にかかる方法の一実施例では、もし検出電圧が
キャパシタンスの完全な放電状態に一致する場合には、
判断ステップにおいて上記検出電圧が有効範囲内にない
と判断される。この場合には、上記電圧が検出された後
の検出時間間隔は、上記の所定時間間隔から、繰り返し
の度に減少するように設定される。
キャパシタンスの完全な放電状態に一致する場合には、
判断ステップにおいて上記検出電圧が有効範囲内にない
と判断される。この場合には、上記電圧が検出された後
の検出時間間隔は、上記の所定時間間隔から、繰り返し
の度に減少するように設定される。
本発明にかかる方法では、例えばイメージセンサ素子
からなるイメージセンサアレーによる結像の時に、光信
号の検出においてダイナミックレンジの拡張をもたら
す。本発明の方法によれば、個々のイメージセンサ素子
の過動作（overdriving）や全体のイメージセンサアレ
ーの過動作といった、作動レンジからの逸脱が防止され
る。
からなるイメージセンサアレーによる結像の時に、光信
号の検出においてダイナミックレンジの拡張をもたら
す。本発明の方法によれば、個々のイメージセンサ素子
の過動作（overdriving）や全体のイメージセンサアレ
ーの過動作といった、作動レンジからの逸脱が防止され
る。
本発明によれば、各イメージの捕捉の後、各イメージ
センサ素子に関して有効な信号が存在するか否かを決定
する。もし存在するならば、個々のイメージセンサ素子
の値が結合時間（integration time）の情報とともに、
例えば中間メモリ（intermediate memory）などに記憶
される。この記憶ステップは、この部分的なイメージの
中にイメージセンサ素子の有効でない信号が既に存在す
る場合でも、また実行される。明るさの値と結合時間の
情報のコントロールは、例えばデジタルプロセッサによ
って実現される。
センサ素子に関して有効な信号が存在するか否かを決定
する。もし存在するならば、個々のイメージセンサ素子
の値が結合時間（integration time）の情報とともに、
例えば中間メモリ（intermediate memory）などに記憶
される。この記憶ステップは、この部分的なイメージの
中にイメージセンサ素子の有効でない信号が既に存在す
る場合でも、また実行される。明るさの値と結合時間の
情報のコントロールは、例えばデジタルプロセッサによ
って実現される。
本発明の望ましい実施例においては、部分的なイメー
ジの捕捉は最も大きな感度、つまり最も長い結合時間で
開始する。これにより、全てのイメージセンサ素子が最
初のこの環境の中で最大のS/N比を示すことが確実にな
る。もしその後、ある短縮された結合時間の間、残りの
イメージセンサ素子が依然として過動作状態（overdriv
en）、つまり有効信号を示さない状態にあるならば、中
間メモリの中のイメージセンサ素子は、もし必要であれ
ば、例えば最大の代表値を採用することができるし、あ
るいは選ばれた結合時間を短縮することもできる。
ジの捕捉は最も大きな感度、つまり最も長い結合時間で
開始する。これにより、全てのイメージセンサ素子が最
初のこの環境の中で最大のS/N比を示すことが確実にな
る。もしその後、ある短縮された結合時間の間、残りの
イメージセンサ素子が依然として過動作状態（overdriv
en）、つまり有効信号を示さない状態にあるならば、中
間メモリの中のイメージセンサ素子は、もし必要であれ
ば、例えば最大の代表値を採用することができるし、あ
るいは選ばれた結合時間を短縮することもできる。
上記イメージの多重捕捉（multiple acquisition）の
結果、複数のイメージセンサ素子から１個の合成イメー
ジが得られる。この合成イメージは、異なる結合時間で
得られた可能性がある部分的なイメージから作り上げら
れたものである。上記合成イメージを評価できるように
するために、さらなるステップにおいて、明るさの値と
結合時間の情報とが１個ずつ整合され、各イメージセン
サ素子に関して正確な明るさ情報が得られるようにしな
ければならないことは明らかである。この整合作業は所
望のソフトウエアを用いることで達成される。
結果、複数のイメージセンサ素子から１個の合成イメー
ジが得られる。この合成イメージは、異なる結合時間で
得られた可能性がある部分的なイメージから作り上げら
れたものである。上記合成イメージを評価できるように
するために、さらなるステップにおいて、明るさの値と
結合時間の情報とが１個ずつ整合され、各イメージセン
サ素子に関して正確な明るさ情報が得られるようにしな
ければならないことは明らかである。この整合作業は所
望のソフトウエアを用いることで達成される。
本発明にかかる方法によれば、各イメージセンサ素子
のS/N比だけでなく、イメージに含まれる全てのイメー
ジセンサ素子の全体のダイナミックレンジを改善するこ
とができる。例えば、単一のイメージセンサ素子が、フ
ォトダイオードの典型的な値である60dBのダイナミック
レンジを所有したとする。ここでダイナミックレンジと
は、等価ノイズ信号に対する最大信号の比率として定義
されている。もし今、幾つかのイメージが異なる結合時
間つまり感度で得られたとし、結合時間の変化は例えば
1msから10μｓまでを含み、これが40dBに相当したとす
る。その結果、そのイメージに含まれる全てのイメージ
センサ素子の全体のダイナミックレンジは、単に両方の
ダイナミック値を加算することで得られ、60dB＋40dB＝
100dBとなる。
のS/N比だけでなく、イメージに含まれる全てのイメー
ジセンサ素子の全体のダイナミックレンジを改善するこ
とができる。例えば、単一のイメージセンサ素子が、フ
ォトダイオードの典型的な値である60dBのダイナミック
レンジを所有したとする。ここでダイナミックレンジと
は、等価ノイズ信号に対する最大信号の比率として定義
されている。もし今、幾つかのイメージが異なる結合時
間つまり感度で得られたとし、結合時間の変化は例えば
1msから10μｓまでを含み、これが40dBに相当したとす
る。その結果、そのイメージに含まれる全てのイメージ
センサ素子の全体のダイナミックレンジは、単に両方の
ダイナミック値を加算することで得られ、60dB＋40dB＝
100dBとなる。
本発明の望ましい実施例は、添付図を参照して以下に
詳細に説明する。添付図において、 図１は本発明にかかる方法において適用される１個の
イメージセンサを示し、 図2Aおよび2Bは、本発明にかかる信号検出方法を明ら
かにするための時間変化図であり、 図３は本発明にかかる方法で検出された光信号にさら
なる評価を加える方法を示す概略説明図である。
詳細に説明する。添付図において、 図１は本発明にかかる方法において適用される１個の
イメージセンサを示し、 図2Aおよび2Bは、本発明にかかる信号検出方法を明ら
かにするための時間変化図であり、 図３は本発明にかかる方法で検出された光信号にさら
なる評価を加える方法を示す概略説明図である。
以下に本発明の望ましい実施例を説明するが、この実
施例の中ではフォトダイオードがイメージセンサ素子と
して使用されている。図１において、フォトダイオード
10が示され、そのブロック層キャパシタンス（blocking
layer capacitance）12は明確にするために個別素子
（discrete element）として示されている。フォトダイ
オード10のカソードはスイッチ14を介してポテンシャル
（potential）＋U_DDに接続することができる。フォト
ダイオード10のアノードは０ボルトのポテンシャル、す
なわちアースに接続されている。フォトダイオード10の
カソードはスイッチ16を介して出力端子18にも接続する
ことができる。
施例の中ではフォトダイオードがイメージセンサ素子と
して使用されている。図１において、フォトダイオード
10が示され、そのブロック層キャパシタンス（blocking
layer capacitance）12は明確にするために個別素子
（discrete element）として示されている。フォトダイ
オード10のカソードはスイッチ14を介してポテンシャル
（potential）＋U_DDに接続することができる。フォト
ダイオード10のアノードは０ボルトのポテンシャル、す
なわちアースに接続されている。フォトダイオード10の
カソードはスイッチ16を介して出力端子18にも接続する
ことができる。
読み出し工程のスタートにおいて、最初にスイッチ14
は閉じられ、一方スイッチ16は開かれる。そのため、出
力電圧U_ausは電圧U_DDと同電位になり、フォトダイオ
ード10のブロック層キャパシタンス12は電圧U_DDまで充
電される。その後、スイッチ14は開かれる。例えば所定
の光照度を持つイメージ信号等のような光信号によって
生じた光照射20により、フォトダイオード10の中に光電
流が生じ、この光電流がフォトダイオード10のブロック
層キャパシタンス12の上に結合（integrated）される。
光によって生み出されたこの信号電流によって、電圧U_
ausは時間とともに降下する。所定の時間が経過した後
にスイッチ16が閉じられる。結果として得られる信号電
圧U_ausは、フォトダイオード10の上に降り注ぐ光の特
徴を示すものであるが、この時、出力端子18で読み出し
可能となる。
は閉じられ、一方スイッチ16は開かれる。そのため、出
力電圧U_ausは電圧U_DDと同電位になり、フォトダイオ
ード10のブロック層キャパシタンス12は電圧U_DDまで充
電される。その後、スイッチ14は開かれる。例えば所定
の光照度を持つイメージ信号等のような光信号によって
生じた光照射20により、フォトダイオード10の中に光電
流が生じ、この光電流がフォトダイオード10のブロック
層キャパシタンス12の上に結合（integrated）される。
光によって生み出されたこの信号電流によって、電圧U_
ausは時間とともに降下する。所定の時間が経過した後
にスイッチ16が閉じられる。結果として得られる信号電
圧U_ausは、フォトダイオード10の上に降り注ぐ光の特
徴を示すものであるが、この時、出力端子18で読み出し
可能となる。
本発明にかかる方法は、１個のイメージセンサアレー
の中のそれぞれのイメージセンサ素子の信号、すなわち
図１の中で示されたフォトダイオードに代表されるイメ
ージセンサ素子の信号を複数回にわたり連続的に結合し
（integrating）、それぞれの信号が有効信号か否かを
判断することからなり、各結合には異なる結合時間（in
tegration times）が用いられる。有効信号とは、出力
電圧U_ausが有効範囲内にある時に有効とされる。
の中のそれぞれのイメージセンサ素子の信号、すなわち
図１の中で示されたフォトダイオードに代表されるイメ
ージセンサ素子の信号を複数回にわたり連続的に結合し
（integrating）、それぞれの信号が有効信号か否かを
判断することからなり、各結合には異なる結合時間（in
tegration times）が用いられる。有効信号とは、出力
電圧U_ausが有効範囲内にある時に有効とされる。
図１に示されたイメージセンサ素子の出力端（output
node）18において電圧U_ausが時間とともに変化する様
子が図2A,2Bに示されている。図１に示されたイメージ
センサ素子は、ブロック層キャパシタンス12が読み出し
時において完全に放電していない間はずっと有効な出力
信号を供給する。図2Aにおいては、フォトダイオードは
低い照射強度を受けており、結合時間すなわち検出時間
t_int1の後、ブロック層キャパシタンス12は充分には放
電していない。そのため、時間t_int1の後、フォトダイ
オードが受ける照射強度に比例し、かつ光電流が結合さ
れている時間、つまりキャパシタンスが放電している間
の時間に比例する有効出力信号22が得られる。この場
合、つまり低い照射強度の場合では、より短い期間t_in
t2での再検出が不要となる。
node）18において電圧U_ausが時間とともに変化する様
子が図2A,2Bに示されている。図１に示されたイメージ
センサ素子は、ブロック層キャパシタンス12が読み出し
時において完全に放電していない間はずっと有効な出力
信号を供給する。図2Aにおいては、フォトダイオードは
低い照射強度を受けており、結合時間すなわち検出時間
t_int1の後、ブロック層キャパシタンス12は充分には放
電していない。そのため、時間t_int1の後、フォトダイ
オードが受ける照射強度に比例し、かつ光電流が結合さ
れている時間、つまりキャパシタンスが放電している間
の時間に比例する有効出力信号22が得られる。この場
合、つまり低い照射強度の場合では、より短い期間t_in
t2での再検出が不要となる。
フォトダイオードが大きな照射強度を受けた場合の時
間に対する電圧U_ausの変化が図2Bに示されている。キ
ャパシタンスは電圧＋U_DDから0vへ急速に放電される。
そのため、時間間隔t_int1の間には有効な出力信号が得
られない。その結果、時間間隔t_int1より短い時間間隔
t_int2の間で更なる検出が実行される。この２回目の時
間間隔の後の読み出し時において、キャパシタンスはま
た既に完全に放電されている。そのため、この時もまた
有効信号が得られない。さらに短い検出時間間隔、つま
りt_int3において、初めてキャパシタンスは検出時にお
いて完全に放電されていない。そのため、第３の時間間
隔t_int3の終了時に有効な出力信号が得られる。
間に対する電圧U_ausの変化が図2Bに示されている。キ
ャパシタンスは電圧＋U_DDから0vへ急速に放電される。
そのため、時間間隔t_int1の間には有効な出力信号が得
られない。その結果、時間間隔t_int1より短い時間間隔
t_int2の間で更なる検出が実行される。この２回目の時
間間隔の後の読み出し時において、キャパシタンスはま
た既に完全に放電されている。そのため、この時もまた
有効信号が得られない。さらに短い検出時間間隔、つま
りt_int3において、初めてキャパシタンスは検出時にお
いて完全に放電されていない。そのため、第３の時間間
隔t_int3の終了時に有効な出力信号が得られる。
前回の検出において有効な出力信号が得られない時、
結合時間つまり検出時間間隔が漸次減少することによ
り、そのイメージの中の全てのイメージセンサ素子の全
体としてのダイナミックレンジが増大する。
結合時間つまり検出時間間隔が漸次減少することによ
り、そのイメージの中の全てのイメージセンサ素子の全
体としてのダイナミックレンジが増大する。
図３はイメージセンサアレーによって得られるイメー
ジ情報を評価するために使用しうる装置を示す。個々の
イメージセンサ素子よりなり、個々の素子が光信号を検
出し、図３にはその内の25個が例として示されたイメー
ジセンサアレー30は、コントロール回路32を介して中間
メモリ34と接続されている。中間メモリ34においては、
特別な記憶位置がイメージセンサアレー30の各イメージ
素子に割り当てられている。上述のコントロール装置32
は、必要に応じて、イメージセンサアレー30のイメージ
センサ素子からの多重アクセスを誘導する。さらに、コ
ントロール装置32は個々の検出時間の後に、イメージセ
ンサ素子から有効信号が得られたか否かを各場合におい
て判断する。個々の有効信号が、個々の結合時間に関す
る情報とともにコントロール装置32によって中間メモリ
34つまりイメージメモリの個々の記憶位置に記憶され
る。規則的な割り当てのため、各ピクセルが各結合時間
ごとにアクセスされるのが有利である。また、このアク
セスと中間メモリへの書き込みとを並行して行うのが望
ましい。個々の結合時間に関する追加的な情報ととも
に、イメージ情報はイメージメモリ34から読み出され、
ついで処理されあるいは表示される。
ジ情報を評価するために使用しうる装置を示す。個々の
イメージセンサ素子よりなり、個々の素子が光信号を検
出し、図３にはその内の25個が例として示されたイメー
ジセンサアレー30は、コントロール回路32を介して中間
メモリ34と接続されている。中間メモリ34においては、
特別な記憶位置がイメージセンサアレー30の各イメージ
素子に割り当てられている。上述のコントロール装置32
は、必要に応じて、イメージセンサアレー30のイメージ
センサ素子からの多重アクセスを誘導する。さらに、コ
ントロール装置32は個々の検出時間の後に、イメージセ
ンサ素子から有効信号が得られたか否かを各場合におい
て判断する。個々の有効信号が、個々の結合時間に関す
る情報とともにコントロール装置32によって中間メモリ
34つまりイメージメモリの個々の記憶位置に記憶され
る。規則的な割り当てのため、各ピクセルが各結合時間
ごとにアクセスされるのが有利である。また、このアク
セスと中間メモリへの書き込みとを並行して行うのが望
ましい。個々の結合時間に関する追加的な情報ととも
に、イメージ情報はイメージメモリ34から読み出され、
ついで処理されあるいは表示される。
上述の本発明にかかる方法の代替すべき実施例とし
て、図2A,2Bに示された長い最初の結合時間t_int1に代
えて、短い結合時間つまりt_int3を本発明方法の最初に
用いてもよい。この場合には、電圧＋U_DDに対して所定
の割合以上低下した電圧を持つ出力信号が有効な出力信
号として認識されるであろう。この割合は例えば電圧＋
U_DDの10％であるかもしれない。もし出力電圧が有効範
囲外にあれば、つまり出力電圧の低下が10％未満であれ
ば、結合時間は増加し、例えばt_int3からt_int2へと増
加する。このようにして、イメージセンサアレーのイメ
ージセンサ素子の感度が上昇する。
て、図2A,2Bに示された長い最初の結合時間t_int1に代
えて、短い結合時間つまりt_int3を本発明方法の最初に
用いてもよい。この場合には、電圧＋U_DDに対して所定
の割合以上低下した電圧を持つ出力信号が有効な出力信
号として認識されるであろう。この割合は例えば電圧＋
U_DDの10％であるかもしれない。もし出力電圧が有効範
囲外にあれば、つまり出力電圧の低下が10％未満であれ
ば、結合時間は増加し、例えばt_int3からt_int2へと増
加する。このようにして、イメージセンサアレーのイメ
ージセンサ素子の感度が上昇する。
光信号例えば光照度が所定期間にわたってキャパシタ
ンスの充電量の変化を経て検出される限り、イメージセ
ンサ素子としてフォトダイオードに代えて他の光電装置
を使用することが可能であることは明らかである。この
ような代替装置としては、例えばバイポーラ型フォトト
ランジスタや光電MOSトランジスタなどがある。
ンスの充電量の変化を経て検出される限り、イメージセ
ンサ素子としてフォトダイオードに代えて他の光電装置
を使用することが可能であることは明らかである。この
ような代替装置としては、例えばバイポーラ型フォトト
ランジスタや光電MOSトランジスタなどがある。
有効信号が検出されない限り、結合時間の変化は通常
は有効信号が検出されるまで継続される。これに代え
て、異なる結合時間を持つ検出の繰り返しはある回数だ
け行われ、その後例えば所定の値が光照度のために使用
されてもよい。
は有効信号が検出されるまで継続される。これに代え
て、異なる結合時間を持つ検出の繰り返しはある回数だ
け行われ、その後例えば所定の値が光照度のために使用
されてもよい。
光電流を直接使用するのに代えて、光電流から導き出
される量つまり増幅回路などを用いて準備された量を用
いることで、キャパシタンスの充電量を変更することも
できる。
される量つまり増幅回路などを用いて準備された量を用
いることで、キャパシタンスの充電量を変更することも
できる。
イメージ検出とは別に、本発明は例えば戸外の監視方
法などに用いることもできる。
法などに用いることもできる。
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 999999999 ボーデンゼーヴェルク ゲレーテテクニ ーク ゲーエムベーハー ドイツ国，Ｄ―88662 ウーバーリンゲ ン アルテ ヌースドルファー ストラ ーセ 15番 (72)発明者 シャンツ ミヒャエル ドイツ国，Ｄ―46047 オーバーハウゼ ン，ヨハン―シェーファー―ストラーセ 35アー番 (72)発明者 ホスチッカ ベートリッヒ ドイツ国，Ｄ―47058 ヅイスブルク, ジーゲラーストラーセ 27番 (72)発明者 ヴェルトハイマー ライナー ドイツ国，Ｄ―82211 ヘルシンク，マ ーデライネ―ルーオフ―ストラーセ 24 イー番 (72)発明者 キサキーレック ハーカン ドイツ国，Ｄ―81476 ミュンヘン，ロ ーススピッツストラーセ 32番 (56)参考文献 特開 平５−75931（ＪＰ，Ａ) 特開 平５−3553（ＪＰ，Ａ) 特開 平４−314277（ＪＰ，Ａ) 特表 平４−502688（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/335 H01L 27/146
Claims (6)
- 【請求項１】個々の光電装置（10）のキャパシタンス
（12）の充電量が変更可能な光電装置のアレー（30）に
よりイメージ信号を検出する検出方法において、 （ａ）個々の光電装置によって光信号（20）を検出する
ステップであって、 （a1）所定の電圧（＋U_DD）で上記キャパシタンスの充
電状態を作り出すサブステップと、 （a2）上記光信号（20）で上記光電装置（10）に発生す
る光電流により、あるいは光電流から導き出される量に
より上記キャパシタンス（12）の充電量を変化させ、か
つ所定の時間間隔の後で上記キャパシタンス（12）の電
圧を検出するサブステップと、 （a3）上記検出電圧が有効範囲内にあるか否かを判断
し、もし有効範囲内であれば、検出された光信号を特徴
づける有効信号を上記検出電圧に基づいて決定するサブ
ステップと、 （a4）もし有効範囲外であれば、上記検出を繰り返す度
に上記所定時間間隔から減少または増大する時間間隔
で、所定回数だけ上記サブステップ（a1）〜（a3）を繰
り返すか、あるいは検出電圧がステップ（a3）において
有効範囲内と判断されるまで上記サブステップ（a1）〜
（a3）を繰り返すサブステップと、を含むステップと、 （ｂ）個々の光電装置（10）に関して決定され、かつ検
出された光信号を特徴づける有効信号を、上記有効信号
が検出された時間間隔とともに記憶し、もし検出された
光信号を特徴づける有効信号がサブステップ（a1）〜
（a4）の中で検出されない場合には、所定の信号を記憶
するステップと、 （ｃ）個々の光電装置に関して記憶された有効信号とそ
れぞれの検出に割り当てられた時間間隔とからイメージ
信号を得るステップと、を備えたことを特徴とする検出
方法。 - 【請求項２】請求項１に記載の検出方法であって、 サブステップ（a1）はキャパシタンス（12）を所定の電
圧まで充電する工程を含み、かつサブステップ（a2）で
はキャパシタンス（12）は光電流あるいは光電流から導
き出される量により放電されることを特徴とする検出方
法。 - 【請求項３】請求項２に記載の検出方法であって、 サブステップ（a3）において、もし検出電圧がキャパシ
タンス（12）の完全放電状態と一致する時は、検出電圧
が有効範囲内にないと判断され、上記電圧が検出された
後の検出時間間隔を、上記の所定時間間隔から、検出を
繰り返す度に減少させることを特徴とする検出方法。 - 【請求項４】請求項２に記載の検出方法であって、 サブステップ（a3）において、もし検出電圧がキャパシ
タンス（12）の所定値より小さい放電状態に対応する時
は、検出電圧が有効範囲内にないと判断され、上記電圧
が検出された後の検出時間間隔を、上記の所定時間間隔
から、検出を繰り返す度に増大させることを特徴とする
検出方法。 - 【請求項５】請求項２ないし４のいずれかに記載の検出
方法であって、 光電装置（10）としてフォトダイオードが用いられ、キ
ャパシタンス（12）はフォトダイオードのブロック層キ
ャパシタンスであることを特徴とする検出方法。 - 【請求項６】請求項１ないし５のいずれかに記載の検出
方法であって、 ステップ（ｂ）において、有効信号が各場合において上
記信号の検出のために用いられる時間間隔とともに中間
メモリ（34）に記憶されることを特徴とする検出方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19644479A DE19644479A1 (de) | 1996-10-25 | 1996-10-25 | Verfahren zum Erfassen eines optischen Signals |
| DE19644479.9 | 1996-10-25 | ||
| PCT/EP1997/005899 WO1998019454A1 (de) | 1996-10-25 | 1997-10-24 | Verfahren zum erfassen eines bildsignals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000504519A JP2000504519A (ja) | 2000-04-11 |
| JP3260385B2 true JP3260385B2 (ja) | 2002-02-25 |
Family
ID=7810032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP52002998A Expired - Fee Related JP3260385B2 (ja) | 1996-10-25 | 1997-10-24 | イメージ信号の検出方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6198086B1 (ja) |
| EP (1) | EP0934649B1 (ja) |
| JP (1) | JP3260385B2 (ja) |
| KR (1) | KR100328781B1 (ja) |
| DE (2) | DE19644479A1 (ja) |
| IL (1) | IL129512A (ja) |
| WO (1) | WO1998019454A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997017800A1 (en) * | 1995-11-07 | 1997-05-15 | California Institute Of Technology | An image sensor with high dynamic range linear output |
| JP2002528970A (ja) | 1998-10-19 | 2002-09-03 | ベン−グリオン ユニバーシィティー オブ ザ ネゲブ | ダイナミック・レンジを適応的に実時間で拡張する方法を使用する光学撮像装置 |
| JP4649272B2 (ja) * | 2005-06-08 | 2011-03-09 | シャープ株式会社 | 表示装置 |
| US7468532B2 (en) * | 2005-07-12 | 2008-12-23 | Aptina Imaging Corporation | Method and apparatus providing capacitor on an electrode of an imager photosensor |
| JP2007228054A (ja) * | 2006-02-21 | 2007-09-06 | Stanley Electric Co Ltd | 光学式反射型センサ用受光回路 |
| US7573033B2 (en) * | 2006-02-27 | 2009-08-11 | Innovative Engineering & Consulting Corp. | Automatically optimized cyclic integration |
| US8289430B2 (en) * | 2007-02-09 | 2012-10-16 | Gentex Corporation | High dynamic range imaging device |
| US20090109427A1 (en) * | 2007-10-31 | 2009-04-30 | Ng Mei Yee | Conversion Of Properties Of Light To Frequency Counting |
| DE102012216065A1 (de) * | 2012-09-11 | 2014-03-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug |
| DE102013222305A1 (de) * | 2013-11-04 | 2015-05-07 | Conti Temic Microelectronic Gmbh | Verfahren zur Bildaufnahme durch ein Fahrerassistenzsystem |
| KR102178409B1 (ko) * | 2019-08-27 | 2020-11-13 | 서강대학교산학협력단 | 단광자 검출 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4079422A (en) * | 1976-10-12 | 1978-03-14 | Eastman Kodak Company | Charge injection device readout |
| US4479062A (en) * | 1981-02-06 | 1984-10-23 | Asahi Kogaku Kogyo Kabushiki Kaisha | Photo-electric conversion device with accumulation time control |
| WO1990001844A1 (en) * | 1988-08-02 | 1990-02-22 | Sorex Corporation | Wide dynamic range image sensor |
| US5236871A (en) | 1992-04-29 | 1993-08-17 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method for producing a hybridization of detector array and integrated circuit for readout |
| US5548773A (en) | 1993-03-30 | 1996-08-20 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Digital parallel processor array for optimum path planning |
| US5386128A (en) | 1994-01-21 | 1995-01-31 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Monolithic in-based III-V compound semiconductor focal plane array cell with single stage CCD output |
| US5471515A (en) | 1994-01-28 | 1995-11-28 | California Institute Of Technology | Active pixel sensor with intra-pixel charge transfer |
-
1996
- 1996-10-25 DE DE19644479A patent/DE19644479A1/de not_active Withdrawn
-
1997
- 1997-10-24 WO PCT/EP1997/005899 patent/WO1998019454A1/de not_active Ceased
- 1997-10-24 US US09/254,133 patent/US6198086B1/en not_active Expired - Fee Related
- 1997-10-24 KR KR1019997003497A patent/KR100328781B1/ko not_active Expired - Fee Related
- 1997-10-24 EP EP97950026A patent/EP0934649B1/de not_active Expired - Lifetime
- 1997-10-24 JP JP52002998A patent/JP3260385B2/ja not_active Expired - Fee Related
- 1997-10-24 IL IL12951297A patent/IL129512A/xx not_active IP Right Cessation
- 1997-10-24 DE DE59702357T patent/DE59702357D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0934649A1 (de) | 1999-08-11 |
| DE19644479A1 (de) | 1998-05-07 |
| EP0934649B1 (de) | 2000-09-13 |
| DE59702357D1 (de) | 2000-10-19 |
| IL129512A0 (en) | 2000-02-29 |
| KR20000052703A (ko) | 2000-08-25 |
| IL129512A (en) | 2003-01-12 |
| JP2000504519A (ja) | 2000-04-11 |
| WO1998019454A1 (de) | 1998-05-07 |
| US6198086B1 (en) | 2001-03-06 |
| KR100328781B1 (ko) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100659443B1 (ko) | Ｘ-ｙ 어드레스가능 ｍｏｓ 화상 형성 장치 사용 방법, 화상 감지용 제품 및 ｘ-ｙ 어드레스가능 ｍｏｓ 화상 형성 장치 시스템 | |
| KR100657103B1 (ko) | Ｘ－ｙ 어드레스지정가능 ｍｏｓ 이미저 센서 및 사용 방법, ｘ－ｙ 어드레스지정가능 ｍｏｓ 촬상 시스템 | |
| JP5107442B2 (ja) | 高ダイナミックレンジ画像センサ検知アレイのためのシステム及び方法 | |
| US6831689B2 (en) | Optical imager using a method for adaptive real-time expanding of the dynamic range | |
| US6642503B2 (en) | Time domain sensing technique and system architecture for image sensor | |
| KR100718404B1 (ko) | 능동 픽셀 센서 | |
| US7026596B2 (en) | High-low sensitivity pixel | |
| AU713290B2 (en) | Local autoadaptive optical sensor | |
| US7038820B1 (en) | Automatic exposure control for an image sensor | |
| TW437057B (en) | Image sensor circuit and imaging system | |
| US8022350B2 (en) | Imaging pixel comprising a comparator to compare integrated photocurrent to a reference value and digital output circuitry | |
| EP1078390A1 (en) | Active pixel cmos sensor with multiple storage capacitors | |
| JP3260385B2 (ja) | イメージ信号の検出方法 | |
| KR20160034887A (ko) | 픽셀 포화를 방지하기 위한 방법 | |
| EP1233612B1 (en) | CMOS image sensor with extended dynamic range | |
| JP6661841B2 (ja) | 撮像用途のための拡張高ダイナミックレンジ直接注入回路 | |
| US8063963B2 (en) | Imaging device having a pixel structure with high dynamic range read-out signal | |
| US20040223065A1 (en) | Wide dynamic range active pixel with knee response | |
| JP4902658B2 (ja) | イメージセンサ | |
| EP0495976A1 (en) | Autofocus chip with reference level determination circuit | |
| US20080164403A1 (en) | Wide Dynamic Range Sensor | |
| CN119496996A (zh) | 像素电路、图像传感器以及电子设备 | |
| Chapinal et al. | Design and test of a CMOS camera with analog memory for synchronous image capture | |
| WO2001039491A1 (en) | Image sensor bulk current feedback for controlling illumination | |
| JP2003189190A (ja) | イメージセンサ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071214 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081214 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |