JP3962431B2 - 高ダイナミックレンジのリニア出力を有する画像センサ - Google Patents

高ダイナミックレンジのリニア出力を有する画像センサ Download PDF

Info

Publication number
JP3962431B2
JP3962431B2 JP51840097A JP51840097A JP3962431B2 JP 3962431 B2 JP3962431 B2 JP 3962431B2 JP 51840097 A JP51840097 A JP 51840097A JP 51840097 A JP51840097 A JP 51840097A JP 3962431 B2 JP3962431 B2 JP 3962431B2
Authority
JP
Japan
Prior art keywords
pixel
signal
array
integration time
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51840097A
Other languages
English (en)
Other versions
JP2000516774A (ja
Inventor
ヨディドーペクト,オルリー
アール フォッサム,エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology
Original Assignee
California Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology filed Critical California Institute of Technology
Publication of JP2000516774A publication Critical patent/JP2000516774A/ja
Application granted granted Critical
Publication of JP3962431B2 publication Critical patent/JP3962431B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

発明の起源
本願に記載の発明は、NASAとの契約に基づいた研究を行ってなされた発明であり、契約当事者が所有権を保持することを選択した一般法96−517(合衆国法典第35巻202条)の規定に基づいている。
発明の利用分野
本発明は半導体画像センサに関し、さらに具体的には、CMOSの能動ピクセルのセンサ回路におけるダイナミックレンジを広げるシステムと方法に関する。
発明の背景と要約
能動ピクセルセンサ(”APS”)は特殊な感光装置である。各能動ピクセルは、ピクセル自体の中に感光素子及び1つ以上の能動トランジスタを備えている。能動トランジスタは、ピクセル内の感光素子が発する信号を増幅し緩衝する。かようなAPS装置の一つがFossum等による米国特許第5,471,515号に開示されており、その開示は参考としてここに援用される。
APS装置は、広範囲の画像形成用途に新たに出現した技術である。APSは、十分に開発されて広く使用されている電荷結合素子(CCD)と比べていくつもの重要な利点を持っている。CCDにはいくつものステージがあるため、良い信号忠実度を維持するために、CCDでは、完全に近い電荷転送効率を維持しなければならない。そのためCCDはイオン化ダメージとディスブレースメントダメージの両方のダメージを受け易くなる。特に高エネルギの粒子および光子によって起こるディスプレースメントダメージはCCDにとって致命的であることが分かっている。
大きなCCDアレイは、製造時に工学的な難しさがある。CCDの要件が非常に厳しいので特別の成形法が必要であるから、CCD装置は装置の小型化が困難である。この成形法では、CCDを、相補形金属酸化物半導体(CMOS)集積回路のような1チップ集積回路と容易には集積させることができない。またCCDは、分光応答度の範囲と読出し速度が限定される。さらに、CCDの読出しは破壊式であり、すなわちCCDの記憶値は読み出されると破壊される。CCD装置で非破壊式読出しを実行することは困難である。
対照的に、APSは、入力信号を、能動ピクセル自身によって受信して処理するので、CCDに固有のいくつもの距離にわたる電荷の転送がない。その結果、APS装置では、CCDに付随する多くの欠点が回避される。例えば、APS装置の性能は、アレイの大きさが増大した場合、維持することができる。APSの読出し速度は、通常、CCDの読出し速度より高い。CMOSの電子回路には画像センサが設けられていることが多いので、電力消費量を著しく減少させることができる。APS装置は、CMOSのプロセスと本質的に互換性があるので、製造費を減少ささせることができる。多くの1チップの操作と制御は、タイミングとA−D変換を含めて比較的容易に実現することができる。また、APS装置は、放射線ダメージを受けにくいので非破壊読出し用に計画することができる。さらに、APS装置の能動ピクセルは、ランダムアクセスおよび1チップ信号処理を行うことができる。
画像装置の性能の一つの重要な判断基準は、検出器の飽和レベルと検出器のノイズレベルの比率、すなわち信号対ノイズ比(SN比)である。これは、画像装置のダイナミックレンジで表すことができる。そのダイナミックレンジは、通常、20・log(SN比)によりdBで、またはlog2(SN比)により二値(ビット)で表される。ダイナミックレンジが大きければ大きいほど画像装置は優れている。
特に、低い光信号を検出したり明度の変動が大きい画像を捕獲したりする用途には、大きいダイナミックレンジが望ましい。
すでに報告されているCMOSベースのAPS回路のダイナミックレンジは、信号チェーン回路の飽和レベル(一般に、5ボルト電源の場合、約1.2ボルトである)およびセンサのノイズフロア(一般に約150μVである)の両者によって制限されている。その結果、ダイナミックレンジは約78dB(13ビット)になり、このダイナミックレンジは、最新式のCCD装置のそれに匹敵している。
画像装置の出力電圧信号は、入力光レベル、量子効率を含む光結合装置と検出器の特性の効率、有効能動感知面積、積分時間およびボルト/エレクトロンで表される電気変換利得によって決まる。出力信号は下記式で近似的に表すことができる。
Figure 0003962431
式中、Φは入射光子束であり、fは結合光システムのf−絞りであり、τopticsは光システムの透過率であり、Adetはピクセルサイズであり、Tintは積分時間であり、ηはピクセルの量子効率であり、そしてGはボルト/エレクトロンで表される変換利得である。APS装置の一般的な値はそれぞれ、fが8であり、τopticsが80%であり、Adetが20μmであり、Tintは33msであり、ηは25%であり、そしてG≒10μV/e-である。
与えられたハードウエア機器構成に対する画像装置の露出は、通常、開口(すなわちf−絞り)または積分時間を変えることによって制御される。入力光レベルが低い場合には、SN比を改善するために積分時間が増大される。入力光が明るい場合には、高いSN比を維持しながら検出器の飽和を回避するために積分時間が低下される。積分時間の低い方の限界は読出し時間によって設定される。
積分時間を制御する従来技術がいくつかある。たとえば、N行のピクセルを有するCMOSのAPS装置の積分時間は、読出しより前にピクセルの行をリセットすることによって制御することができる。1行のピクセルの読出し時間がTrowの場合、全フレームの読出し時間はNTrowである。1行のピクセルが読出し時に新しい積分にリセットされるので、積分時間は単にフレーム時間NTrowである。
図1は、代表的なAPSを示す。ピクセルアレイ102は、N行のピクセルを備え、各行はM個の列を有している。列並列信号チェーン104例えばM個の記憶素子を有するサンプリングコンデンサバンクが、読出し用に使用される。
読出しの特定の作動の場合、ある行が、一つの時点での読出しに選択される。選択された行のM個のピクセルからのセンサのデータはコンデンサバンク104にコピーされる。また、そのコピープロセスは、選択された行内のピクセルをリセットして、新しい積分を始める。コンデンサバンク104内のM個の記憶素子は次に、順次走査されて読出しが行われる。次いで上記読出しプロセスは、次の行に対して繰り返し行われる。したがって、各ピクセルに対する積分時間は同一であり、フレームの読出し時間すなわちNTrowに等しい。
別の従来技術の方法では、CMOSのAPS装置のピクセル構造の中に内蔵された電子切換え機構が用いられ、電子遮断と同時積分を行うことができる。このことは、Fossum等が1996年1月22日付けで出願した米国仮特許願第60/010,305号に開示されている。
本発明の発明者等には、露出が画像全体に対して同じままであるという上記2つの方法の限界が分かった。この場合、周囲の環境によっては、検出される画像のディストーションが起こることがある。例えば、屋外のシーンは、太陽に照らされた領域に対して最適に露出されても光を遮られた領域は露出不足にされる。その結果、光を遮られた領域はディテールが失われることになる。
上記問題の解決策の一つは、非リニア出力センサを使用することである。このセンサは、低い光レベルに対して高い微分利得を有し、高い光レベルに対して低い微分利得を有するようにされている。非リニア利得は各ピクセル内で獲得することが望ましい。その結果、ピクセルからピクセルへの転送機能の変動によって、固定パターンのノイズが許容できない値になることがある。
別の方法は、CCD装置内の各ピクセル中に多数の記憶サイトを実現して、同じピクセルからの異なる積分信号を記録する方法である。各ピクセル内に2個の記憶サイトがある場合、一方の記憶サイトは短い積分期間に対応し、第2の記憶サイトは長い積分期間に対応して、ダイナミックレンジが増大する。読出しデータは、表示、記憶および転送を行うため非リニア法を用いて符号化して低ビットカウントに変形することができる。この方法の限界の一つは、読取りを行うのに2倍のデータが必要なので読出し時間が2倍になるため、読出し速度が低下することである。もう一つの限界は、2つの記憶サイトがピクセルのかなりの面積を占めるので、フィルファクタが低下することである。
上記限界にかんがみ、本発明は、APSセンサのダイナミックレンジを増大するためのAPSセンサとその操作法における新しい技術を示す。本発明の好ましい実施態様によれば、各能動ピクセルに対して少なくとも2つの異なる積分時間が得られる。各能動ピクセルに対して多数の積分時間を実現するため1つ以上の列並列信号チェーンが用いられる。読出しのための列並列信号チェーンを1つしか持っていないAPS装置の場合、各ピクセルは、1回のフレーム読出し中に多数回サンプリングされるので、多数の積分時間が得られる。
本発明の別の態様では、2つ以上の列並列信号チェーンを使用して、各ピクセルに対して異なる積分時間の多重データ点を得ることによってフレーム速度が増大される。列並列信号チェーンの数を異なる積分時間の数と整合させることによって、与えられたAPS装置に対して最大のフレーム速度が得られる。本発明によるこのようなシステムの好ましい操作モードには、多数の列を列並列信号チェーンに同時に複写し、次に、各チェーンを順次走査して、すべての列並列信号チェーンを同時に読み出すことが含まれている。そのフレーム速度は、読出し用のたゞ1つの列並列信号チェーンによって同じ数の積分時間を得るのと比べて、列並列信号チェーンの数に等しい倍率で増大する。したがって、本発明のAPS装置のダイナミックレンジは、最短積分時間に対する最長積分時間の比率で与えられる倍率で拡張される。
新しい読出し法も説明する。この方法は、各能動ピクセルに対して多数の積分時間を獲得することにより、単一の列並列信号チェーンを有する従来のAPS装置のダイナミックレンジを改善するのに使用できる。APS装置が、各ピクセルの多数の積分時間を得るのに、非破壊の読出しで用いられるときは、特別の利点が得られる。
別の態様では、列並列信号チェーンに、A−D変換器を備えたディジタルプロセッサが組み込まれる。
1チップバッファメモリユニットおよび/または多重ソースフォロワを各ピクセルに用いて、本発明のシステムの柔軟性と性能を一層強化することができる。
【図面の簡単な説明】
本発明の上記利点と他の利点は、下記の添付図面に示されているような本発明の好ましい実施態様の詳細な説明を見れば、一層明らかになるであろう。
図1は、ピクセル毎に同じ積分時間を生成する、単一列並列信号チェーンを備えた能動ピクセルセンサを示す。
図2は、本発明の好ましい実施態様の、読出しのために2つの列並列信号チェーンを備えた能動ピクセルセンサを示す。
図3は、能動ピクセルの構造の一実施例、および米国特許第5,471,515号に開示された列並列信号チェーンのセルを示す。
図4は、単一列並列信号チェーンを備えた能動ピクセルを用いて多数の積分時間を得る読出し法を示す。
図5は、能動ピクセルアレイに対して2つの列並列信号チェーンを位置決めするための別のフロアプランを示す。
好適な実施例の説明
好ましい実施態様の説明を、実現の一実施例としてCMOSのAPS装置を用いて行う。しかし、この方法と設計は、他の能動ピクセルセンサでも実現可能であり、かつ他の画像獲得システムに使用できる。
設計構造と操作モード
図2は本発明の第1の好ましい実施態様200を示す。能動ピクセルアレイ202はN個の行とM個の列を有し、したがって合計M×N個のピクセルを有している。各ピクセルには、1つの感光素子と1つ以上の能動トランジスタが設けられている。この能動トランジスタは、ピクセル内の感光素子が発する信号を増幅し緩衝する。各能動ピクセルは、対応する列バスに接続されている出力ソースフォロワを1つ備えている。読出し用に2つの列並列信号チェーンがある。これら信号チェーン204と206は、各々読み取られるピクセルからの電気信号を一時的に記憶するM個の記憶素子を備えている。これら列並列信号チェーン204と206は、アナログ処理のためのコンデンサバンクおよびディジタル処理のためのA−D変換器(ADC)または画像情報を処理できる他の装置によって実現できる。
また装置200には、ピクセルの適切な行/列をアドレス指定する行と列のデコーダを有する制御回路(図示せず)、同期化に用いるクロックジェネレータ回路および読出し回路が設けられている。この制御回路は、ピクセルの読出しおよび列並列信号チェーンの所望の積分時間による所望のシーケンスでの作動の制御を行う。
列並列信号チェーンのかような能動ピクセルと記憶素子の一実施例を図3に示す。これは、参考として援用される、読出し用の単一列並列信号チェーンを有する能動ピクセルアレイを記載する米国特許第5,471,151号に開示されている。図3は光ゲート310、DCバイアス転送ゲート311、出力浮動拡散314、リセットトランジスタ315、ドレイン拡散316、ゲートソースフォロワ317および行選択トランジスタ318を備えた能動ピクセルを示す。回路304は、能動ピクセルの列によって共用されている記憶素子を示す。この記憶素子304は、ロードトランジスタ320、リセットレベルを緩衝してエクスポートする第1出力回路321および信号レベルを緩衝してエクスポートする第2出力回路322を備えている。図2に示す構造において、列の各能動ピクセルは、304と実質的に同じこのような2つの記憶素子に接続されている。他の設計の能動ピクセルと列記憶素子も本発明に使用できると解すべきである。
作動中、能動ピクセルアレイ202中のピクセルの行、例えば行n210が先ず、読出しのために選択される。行n210のM個のピクセルを表現する信号は、第1の列並列信号チェーン204内の対応するM個の記憶素子に、同時に複写される。この複写プロセスの継続時間のTcopyは、APS装置の場合、一般に約1〜10μsである。またこの複写プロセスで行n210内のピクセルがリセットされ、行n210内の新しい積分が開始される。次に、行210に対してΔ個の行だけシフトしている別の行220すなわち行(n−Δ)内のM個のピクセルの信号が、時間Tcopy中に、第2の列並列信号チェーン206内の対応するM個の記憶素子に同時に複写され、次い行(n−Δ)220内のピクセルは別の積分のためにリセットされる。第1列並列信号チェーン204と第2列並列信号チェーン206の各々のM個の記憶素子は、同時にそれぞれ走査され読出しが行われる。各列並列信号チェーン内のM個の記憶素子は順次走査され、その中の信号が読み出される。これによって、行n210と行(n−Δ)220の読出しが完了する。1個のピクセルを走査し読み出す時間のTscanは一般に100ms〜10μsである。次いで、次の2つの行が、同じ方式で読み出すのに選択される。したがって、単一の行読出しプロセスによって、2つの別個の行のピクセルの読出しが行われる。
上記読出しプロセスは、能動ピクセルアレイ202内のあらゆる行が読み取られてフレームを完成するまで繰り返される。その結果、アレイ202内のあらゆる能動ピクセルから2組のセットのデータが得られる。その一方のデータは第1列並列信号チェーン204由来のデータであり、他方のデータは第2列並列信号チェーン206由来のデータである。これら2組のデータは異なる積分時間を有し、そして同じピクセルに対する2つのデータの点が、行読出しプロセスの時間にΔを掛けたタイムラグにより、異なる時点で読み出される。
行読出しの時間は、図1に示すような従来技術のシステムの行読出しの場合の(Tcopy+MTscan)に比べて下記式で表される。
row=2Tcopy+MTscan (2)
フレームの全読出し時間は下記式であらわされる。
frame=NTrow (3)
図1に示す従来技術のシステムでは、各ピクセルの積分時間は同じであり、かつフレームの読出し時間である。しかし、図2に示すシステムの2つの列並列信号チェーン204と206からの2組の読出しは積分時間が異なっている。第1列並列信号チェーン204に複写される信号の積分時間は下記式で表され、
1int=(N−Δ)Trow (4)
そして第2列並列信号チェーン206に複写される信号の積分時間は下記式で表される。
2int=ΔTrow (5)
その結果、能動ピクセルセンサ200のダイナミックレンジD2は、システム100のダイナミックレンジD1のT1int/T2int倍の比率で改善される。すなわち
Figure 0003962431
例えば、N=512でΔ=2の場合、13ビットのダイナミックレンジが8ビットから21ビットまで、または78dBから126dBまで拡大される。
検出された画像は、第2列並列信号チェーン206由来の短い積分時間T2intのデータを用いて、画像の明るい部分を読み出すことによって再構成される。逆に画像の暗い部分は、第1列並列信号チェーン204由来の長い積分時間T1intのデータを用いて読み出される。したがって、長い積分時間T1intにより飽和されて現れるシーンの部分は、短い積分時間T2intを用いることによってうまく処理することができる。
本発明の第2の実施態様では、ダイナミックレンジを拡張するため、図1に示すシステム100に、図2に示すシステムの読出し法を使用する。その読出し順序を図4に示す。能動ピクセルアレイ102内のピクセルの行n110が先ず、読出しのために選択される。次いで、行n110のM個のピクセルの信号が、列並列信号チェーン104内の対応するM個の記憶素子に同時に複写される。またその複写プロセスは、行n110のピクセルをリセットし、行n110内で新しい積分を開始する。次に列並列信号チェーン104のM個の記憶素子が順次走査されてその中の信号が読み出される。次いで、別の行(n−Δ)402のM個のピクセルの信号が、列並列信号チェーン104内の対応するM個の記憶素子に同時に複写される。その行402は、行110からΔ個の行だけ離れている。次に行(n−Δ)402内のピクセルが、別の積分を行うためにリセットされる。次に、列並列信号チェーン104のM個の記憶素子が再び順次走査され、その中の信号が読み出される。これによって、所要合計時間が(2Tcopy+2MTscan)=2Trowである1つの行読出しプロセスが完了する。
次に、上記プロセスは、アレイ102内の能動ピクセルのN個の行がすべて処理されるまで、行(n+1)と行(n−Δ+1)などについて繰り返される。その全フレーム読出し時間はN(2Tcopy+2MTscan)=2NTrowであるが、これは図1に示す従来技術の読出しのフレーム時間の2倍である。しかし、図4に示す読出しを用いて2組のデータが得られ、一方の組のデータは第1積分時間:T1int=(N−Δ)2Trowを有し、他方の組のデータは第2積分時間:T1int=Δ2Trowを有している。同じピクセルからの異なる積分時間の2つのデータ点が、2つの異なる時点で読み出される。2つのデータ点を読み出す間のタイムラグはΔ(2Tcopy+2MTscan)=2ΔTrowである。
そのダイナミックレンジの増大は、2つの列並列信号チェーンのセンサ構造200を使用する第1実施態様の場合とほゞ同じであるが、積分時間は異なっている。この第2の実施態様は、単一の列並列信号チェーンを有するすでに製造されているCMOSのAPSセンサと互換性があるという追加の利点があるが、読出し時間/フレームが増大するため、読み出すためのフレーム速度は低下する。
第3の実施態様では、能動ピクセルアレイにおいて、3つ以上の積分時間が実現される。各能動ピクセルに対してk個(k>1)の積分時間がある場合、それぞれの積分時間は、読出し用に1つしか列並列信号チェーンがない図1の構造100が用いられると、T1int=kΔ1row、T2int=kΔ2row、…、およびTkint=k(N−Δ1−Δ2…−Δk-1)Trowである。フレームのそれぞれの読出し時間はTframe=NkTrowである。例えば、N=585でk=4であり、Δ1として1を選択することができ、Δ2=8でΔ3=64の場合、T1int=1×4Trow、T2int=8×4Trow、T3int=64×4Trow、およびT2int=512×4Trowである。
これに加えて、k個の列並列信号チェーンが実施されて、第1実施態様200と類似の方式で使用できる。ピクセルのk個の行が同時に読み出され、それぞれ、k個の列並列信号チェーンに記憶される。そのk個の列並列信号チェーンは次に、同時に走査されて読み出される。したがって、フレーム時間は、ほゞ1/kまで低下するが、k個の積分時間に対して単一の列並列信号チェーンを用いる場合に比べて、ほゞ同じダイナミックレンジの増大が達成される。
さらに、1〜kという中間の数の列並列信号チェーンを用いて、特定の用途に適応した、所望の組合わせのk個の積分時間とフレーム速度を作ることができる。少なくとも1つの列並列信号チェーンを用いて、異なる積分時間を有する少なくとも2組のデータが得られる。
上記諸実施態様は破壊読出しを用いることを考えており、その場合、能動ピクセルは、その中の信号がコピーされ読み出された後、別の積分を行うためリセットされる。破壊読み出しの一つの利点は、1チップ相関ダブリングサンプリングを、多数の能動ピクセルセンサで実現して固定パターンのノイズやkTCノイズのようなノイズを抑制することができることである。このことは、Mendis等による”CMOS Active Pixel Image Sensor”,IEEE Transactions On Electron Devices, Vol.41(3),pp.452-453, March, 1994に開示されている。また非破壊読出しも、ダイナミックレンジを増大するため、および速度を高くすることができるようにするために、上記実施態様とともに利用できる。各ピクセルはその信号の積分を続け、そのピクセル値が複写され次いでリセットすることなしにコピーされる。非破壊読出しの一つの利点は、同じ多数の積分期間を得るのに必要な行の数が、破壊読み出しの場合より少ないことである。例えば、非破壊読出しは、破壊読出しの場合の585行ではなく512行のピクセルを有する1つの列並列信号チェーンを用いて、4つの異なる積分時間:T1int=1×4Trow、T2int=8×4Trow、T3int=64×4Trow、およびT2int=512×4Trowを得るために使用できる。このことは、512行の能動ピクセルアレイ内にΔ1=1、Δ2=7、およびΔ3=56を選択することによって実行することができる。
装置の実現
(1)ピクセルの選択 先に述べたダイナミックレンジを広げるのを目的とする能動ピクセルアレイの構造を、実現するのにいくつもの可能性がある。好ましいピクセルの構造は図3に示す光ゲートのCMOSのAPSである。しかし能動型および受動型の多くのピクセルの構造体を使用することができる。このようなピクセル構造体の例としては、ホトダイオードCMOSのAPS、ピンホトダイオードCMOSのAPS、受動ピクセルホトダイオードセンサ、電荷変調装置能動ピクセルセンサ、およびバイポーラトランジスタベースピクセルがある。
(2)チップのレイアウト 1つ以上の列並列信号チェーンは、そのピクセル内に、コンデンサおよびA−D変換器(ADC)を含む異なる素子を用いることができる。図2に示すような多重列並列信号チェーンおよび図1に示すような単一の列並列信号チェーンの物理的フロアプランは、本発明を実行する場合、所望どおりに変えることができる。例えば、第2の列並列信号チェーン206は、図5に示すように、第1列並列信号チェーン204とともに能動ピクセルアレイ202の下部に配置することができる。
(3)ピクセル当たりの多重出力 本発明の発明者等は、各ピクセル内に、上記のような1つの出力ソースフォロワ(例えば図3)ではなくて複数の出力ソースフォロワを含めることができると考えている。各出力ソースフォロワは別個の列バスに連結することができ、一方、各列バスはそれ自身の列並列信号チェーンに連結することができる。この方法によれば、積分時間を選ぶ際に大きな柔軟性が得られる。
(4)ピクセルの同期化 上記実施態様は、同時ではなくて異なる時点で読み出される、同じピクセルからの異なる積分時間の多重データ点を用いる。同じピクセルからの2個以上のデータ点の出力を同期化することが所望の場合は、オンチップバッファメモリが必要である。そのバッファメモリは、そのピクセルからのすべてのデータ点が読み出されて、そのすべてのデータ点を同時に送り出すことができるようになるまで、ピクセルからのデータを保持する。図2に示す第1実施態様200の場合、そのバッファメモリは大きさがΔ個の行でなければならず、最悪の場合でも画像からのデータの半分を記憶する容量を有している。オンチップADCを用いる場合、バッファメモリの出力は、ADCの入力であってもよい。
高性能アナログディジタル変換器(”ADC”)
分解能が高い高速ADCを、本発明の上記方法を用いて製造することができる。各ピクセルから生成される多重データ点は、各データ点を1つのADCにより処理する多重ADCによってアナログからディジタルへ変換することができる。このことによって、各データ点からのビットを結合することによる高分解能の変換および多数のADCを並列で作動させることによる高い変換速度を達成することができる。
例えば、図1に示す、1ピクセルにつき4データ点の読出しを行う構造は、上記のADCに使用することができる。例示すれば、N=585、k=4、Δ1=1、Δ2=3、Δ3=64の場合、T1int=1×4Trow、T2int=8×4Trow、T3int=64×4Trow、およびT2int=512×4Trowになると考えられる。各データ点が3ビットADCを用いて変換されると、12ビットの長さのADCワードが、それらADCの4つの出力をまとめることによって得られる。正確に制御することができる時間領域を使用して、前記4つの各データ点間に8×の有効利得が得られる。このことを表1に示す。4つの各ADCを単一スロープのADCとして示してあり、そのスロープは増加分が0.250mV/ステップで合計8レベルである。各変換に必要な時間は8サイクルである。その4つのADCは並列で作動させることができるので、12ビットの分解能を得るための合計時間は8サイクルのままである。一般に、各サイクルは、1μsのオーダーのサイクルであり、その結果、完全な変換は8μsで完了することができる。4つのデータ点に対応する4つのADCからのビットは、外部へ12ビットの出力を生成させるため組み立て直しが行われる。
Figure 0003962431
nビットのダイナミックレンジを得るということは、nビットの分解能を得ることではないことに言及する。例えば、上記の場合のセンサは、ピクセルに与えられた光度に対し、3つの長い積分時間にわたって、飽和させることができるので、積分時間が最も短いデータだけが使用される。有効数字の個数を改善する一つの方法は、より高い分解能のADCを使用して、変換領域をいくらかオーバラップさせる方法である。
本発明を、いくつかの実施態様を参照して詳細に説明してきたが、、本発明が関連する技術分野の当業者は、前記実施態様に、各種の変更と拡張を行うことができることが分かるであろう。
例えば、前記諸実施態様の方法は、行および列並列の読出しチェーンの読出しユニットを使用している。読出しユニットは、隣接しているピクセル区画(例えば7×7のピクセル領域)または他の所望の形態のような他のピクセルブロックでもよいと解すべきである。したがって、読出しチェーンは、ユニットの選択に適応するように変更することができる。前記諸実施態様には、各ピクセルに対して2つの積分信号を得ることが記載されているが、いかなる数、例えば3または4個の積分時間を使用できると解すべきである。積分時間の数を増大しながらフレーム速度を維持するため追加の列並列信号チェーンを付け加えることができる。あるいは、本発明の読出し法を用いて、チップの構造を、より遅いフレーム速度の価格に維持して、積分時間の数を増やすことができる。
これらおよび他の改善と拡張は下記の特許請求の範囲に含まれる。

Claims (13)

  1. 半導体材料より形成された基板;
    前記基板上に形成された複数のピクセル回路を有し、各ピクセル回路が画像のピクセルを表示するピクセル信号を生成する画像検出器アレイ;
    前記基板上に形成されて前記画像検出器アレイに結合された第1信号バッファアレイであって、前記ピクセル回路の第1のグループからのピクセル信号をそれぞれ記憶するように結合される記憶素子を有している第1信号バッファアレイ;
    前記基板上に形成されて前記画像検出器アレイに結合された第2信号バッファアレイであって、前記ピクセル回路の第2のグループからのピクセル信号をそれぞれ記憶するように結合される記憶素子を有しており、前記第2のグループは予め定められたピクセル回路の数だけ前記第1のグループから変位されている第2信号バッファアレイ;
    前記画像検出器アレイならびに前記第1および第2信号バッファアレイを制御するように結合された制御回路であって、第1の積分時間についてはピクセル回路から前記第1バッファに読み出すことを制御しまた前記第1の積分時間と異なる第2の積分時間についてはピクセル回路から前記第2バッファに読み出すことを制御して、前記第1および第2バッファに各ピクセル回路についての2つの異なる積分時間を有する2つの異なる信号を記憶させる制御回路;
    それぞれ前記第1信号バッファアレイの記憶素子に結合されて前記第1の積分時間の信号からディジタルビットの第1の部分を作り出すアナログ−ディジタル変換器よりなる第1ADCアレイ;および
    それぞれ前記第2信号バッファアレイの記憶素子に結合されて前記第2の積分時間の信号からディジタルビットの第2の部分を作り出すアナログ−ディジタル変換器よりなる第2ADCアレイ、
    を備えてなり、
    前記第1および第2の積分時間は、前記第1および第2のグループの間の前記予め定められたピクセル回路の数により決まる差を有しており、
    前記制御回路は、第1のグループのピクセル回路からの前記第1の積分時間についての信号および第2のグループのピクセル回路からの前記第2の積分時間についての信号を選択して、前記第1のグループのピクセル回路が前記第2のグループのピクセル回路よりも少ない光を受けている1つのフレームを形成するようにされ、また前記制御回路はさらに、各ピクセルについての前記アナログ−ディジタル変換器の前記第1および第2ADCアレイからのディジタルビットの前記第1および第2の部分を結合して、前記第1および第2ADCアレイ内の前記アナログ−ディジタル変換器の分解能よりも高い分解能を有するディジタル出力とするようにされている、
    画像装置。
  2. 前記制御回路が、さらに、前記予め定められた数のピクセル回路により隔てられた2つの異なるグループのピクセル回路を、それぞれ前記第1および第2信号バッファアレイに読み出すようにされている、請求の範囲1に記載の装置。
  3. 前記制御回路がさらに、前記第1および第2信号バッファアレイにそれぞれに読み込まれる2つの異なるグループのピクセル回路の間の前記予め定められたピクセル回路の数を変化させて、前記第1および第2の積分時間の間の前記差を変えるようにされている、請求の範囲2に記載の装置。
  4. 各ピクセル回路内にトランジスタ増幅器をさらに備えてなる請求の範囲1に記載の装置。
  5. 前記基板上に形成され、異なる時点に生成されてそれぞれ前記第1および第2の積分時間を有している各ピクセル回路からの出力信号を記憶するようにされたバッファメモリをさらに備えて、前記出力信号の読出しを許容するようにした、請求の範囲1に記載の装置。
  6. 前記バッファメモリが、前記第1および第2のグループの間の前記予め定められたピクセル回路の数と等しい数のメモリセルを有している、請求の範囲5に記載の装置。
  7. 前記制御回路は、各ピクセル回路が前記第1および第2信号バッファアレイ内の前記記憶素子の1つによる順次読出しの間に信号を累算することを可能にする手段を有している、請求の範囲1に記載の装置。
  8. 各ピクセル回路内にリセットゲートをさらに備えており、前記制御回路は、前記第1信号バッファアレイまたは前記第2信号バッファアレイの何れかによるサンプリングが完了すれば累算された信号を消去するように前記リセットゲートを制御するための操作が可能である、請求の範囲1に記載の装置。
  9. 前記制御回路が、さらに前記1つのフレームを作り出すために前記第1および第2信号バッファアレイを用いて少なくとも3回前記ピクセル回路をサンプリングして前記ピクセル回路のそれぞれに対して異なる積分時間についての3セットのデータ生成するようにされ、前記第1および第2信号バッファアレイの少なくとも一つが前記ピクセル回路を2回サンプリングするように作動するようにされている、請求の範囲1に記載の装置。
  10. 感光ピクセルよりなる画像アレイを使用して光学画像を検出する方法であって:
    画像からの光を2次元的に配置した前記画像アレイを使用して受けて、ピクセル信号を作り出すこと;
    前記画像アレイからのピクセル信号を順次読み出し、前記感光ピクセルの予め定められた量だけ隔てられた2つのグループの感光ピクセルを読み出して、前記感光ピクセルのそれぞれについて、前記予め定められた量により決まる異なる積分時間を有する第1積分時間ピクセル信号および第2積分時間ピクセル信号を取得することにより1つの出力フレームを作り出すこと;
    ピクセルの第1積分時間ピクセル信号からデジタルビットの第1の部分を作り出すこと;
    その同じピクセルの第2積分時間ピクセル信号からデジタルビットの第2の部分を作り出すこと;および
    ディジタルビットの前記第1および第2の部分を結合してその同じピクセルのディジタル出力にすること、
    よりなる方法。
  11. さらに、フレーム読出しにおいて得られた第1のグループのピクセルからの前記第1積分時間信号の少なくとも一部と、同じフレーム読出しからの第2のグループのピクセルからの前記第2積分時間ピクセル信号の一部を結合して出力フレームを形成すること、
    よりなる請求の範囲1に記載の方法。
  12. 前記ピクセル回路が列および行に配列されており、さらに:
    各列内のピクセルにそれぞれ結合された記憶素子を有する第1信号読出しバッファアレイを用意すること;
    第1の行を前記第1読出しバッファアレイの前記記憶素子に読み込んで前記第1積分時間ピクセル信号のセットを取得すること;
    前記第1読出しバッファアレイ内の前記記憶素子を順次走査して前記第1積分時間ピクセル信号の前記セットを読み出すこと;
    予め定められた行数だけ前記第1の行から隔てられた前記アレイ内の第2の行を選択すること;
    次いで前記第2の行を前記第1読出しバッファアレイの前記記憶素子に読み込んで前記第2積分時間ピクセル信号のセットを取得すること;
    次いで前記第1読出しバッファアレイ内の前記記憶素子を順次走査して前記第2積分時間ピクセル信号の前記セットを読み出すこと;および
    上記読みプロセスのそれぞれを、前記第1の行の次の行および前記第2の行の次となる別の行について、全部の行が読みとられるまで繰り返すこと、
    よりなる請求の範囲1に記載の方法。
  13. さらに、ピクセル回路を読んだ後にそのピクセル回路内のピクセル信号を消去して新しい積分プロセスを開始すること、
    よりなる請求の範囲1に記載の方法。
JP51840097A 1995-11-07 1996-11-07 高ダイナミックレンジのリニア出力を有する画像センサ Expired - Fee Related JP3962431B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US626095P 1995-11-07 1995-11-07
US60/006,260 1995-11-07
PCT/US1996/018287 WO1997017800A1 (en) 1995-11-07 1996-11-07 An image sensor with high dynamic range linear output

Publications (2)

Publication Number Publication Date
JP2000516774A JP2000516774A (ja) 2000-12-12
JP3962431B2 true JP3962431B2 (ja) 2007-08-22

Family

ID=21720056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51840097A Expired - Fee Related JP3962431B2 (ja) 1995-11-07 1996-11-07 高ダイナミックレンジのリニア出力を有する画像センサ

Country Status (6)

Country Link
US (2) US6115065A (ja)
EP (1) EP0862829B1 (ja)
JP (1) JP3962431B2 (ja)
AU (1) AU1159397A (ja)
DE (1) DE69628187D1 (ja)
WO (1) WO1997017800A1 (ja)

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE509734C3 (sv) * 1995-02-17 1999-06-21 Foersvarets Forskningsanstalt Bildsensor med inbyggd oeverexponeringskontroll
US6550949B1 (en) 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
JP3219036B2 (ja) * 1997-11-11 2001-10-15 日本電気株式会社 固体撮像装置
US6008486A (en) * 1997-12-31 1999-12-28 Gentex Corporation Wide dynamic range optical sensor
CA2320153A1 (en) 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6809766B1 (en) * 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
US6529242B1 (en) * 1998-03-11 2003-03-04 Micron Technology, Inc. Look ahead shutter pointer allowing real time exposure control
US6552745B1 (en) * 1998-04-08 2003-04-22 Agilent Technologies, Inc. CMOS active pixel with memory for imaging sensors
US6078037A (en) * 1998-04-16 2000-06-20 Intel Corporation Active pixel CMOS sensor with multiple storage capacitors
US6580455B1 (en) * 1998-05-05 2003-06-17 Pixart Technology, Inc. High definition image sensor
US6410899B1 (en) 1998-06-17 2002-06-25 Foveon, Inc. Active pixel sensor with bootstrap amplification and reduced leakage during readout
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
WO2000005874A1 (en) * 1998-07-22 2000-02-03 Foveon, Inc. Multiple storage node active pixel sensors
US6665012B1 (en) * 1998-09-22 2003-12-16 Pixim, Inc. Process-scalable high spatial resolution and low bit resolution CMOS area image sensor
US6246043B1 (en) * 1998-09-22 2001-06-12 Foveon, Inc. Method and apparatus for biasing a CMOS active pixel sensor above the nominal voltage maximums for an IC process
JP2002528970A (ja) * 1998-10-19 2002-09-03 ベン−グリオン ユニバーシィティー オブ ザ ネゲブ ダイナミック・レンジを適応的に実時間で拡張する方法を使用する光学撮像装置
US7139025B1 (en) * 1998-10-29 2006-11-21 Micron Technology, Inc. Active pixel sensor with mixed analog and digital signal integration
EP1003329B1 (en) * 1998-11-18 2006-03-29 C.S.E.M. Centre Suisse D'electronique Et De Microtechnique Sa Method and device for forming an image
US6870565B1 (en) * 1998-11-24 2005-03-22 Micron Technology, Inc. Semiconductor imaging sensor array devices with dual-port digital readout
US6707499B1 (en) * 1998-12-08 2004-03-16 Industrial Technology Research Institute Technique to increase dynamic range of a CCD image sensor
US6977685B1 (en) 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6267501B1 (en) * 1999-03-05 2001-07-31 Raytheon Company Ambient temperature micro-bolometer control, calibration, and operation
JP3819631B2 (ja) * 1999-03-18 2006-09-13 三洋電機株式会社 固体撮像装置
US6972794B1 (en) * 1999-06-15 2005-12-06 Micron Technology, Inc. Dual sensitivity image sensor
JP2001069408A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像素子およびその駆動方法ならびにカメラシステム
US6693670B1 (en) 1999-07-29 2004-02-17 Vision - Sciences, Inc. Multi-photodetector unit cell
US6697114B1 (en) 1999-08-13 2004-02-24 Foveon, Inc. Triple slope pixel sensor and arry
US7268814B1 (en) 1999-10-05 2007-09-11 California Institute Of Technology Time-delayed-integration imaging with active pixel sensors
WO2001026382A1 (en) * 1999-10-05 2001-04-12 California Institute Of Technology Time-delayed-integration imaging with active pixel sensors
US6809768B1 (en) 2000-02-14 2004-10-26 Foveon, Inc. Double slope pixel sensor and array
US6882367B1 (en) 2000-02-29 2005-04-19 Foveon, Inc. High-sensitivity storage pixel sensor having auto-exposure detection
JP3615454B2 (ja) * 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
GB0015685D0 (en) * 2000-06-28 2000-08-16 Vlsi Vision Ltd Image sensors with multiple integration read cycle
EP1303978A4 (en) 2000-07-05 2006-08-09 Vision Sciences Inc PROCESS FOR COMPRESSING THE DYNAMIC RANGE
US6847070B2 (en) * 2000-08-09 2005-01-25 Dalsa, Inc. Five transistor CMOS pixel
US7045753B1 (en) 2000-08-09 2006-05-16 Dalsa, Inc. Five transistor CMOS pixel
EP1353791A4 (en) * 2000-11-27 2006-11-15 Vision Sciences Inc REDUCING THE PRONOUNCE OF IMAGE SENSORS
US6566697B1 (en) 2000-11-28 2003-05-20 Dalsa, Inc. Pinned photodiode five transistor pixel
US6943831B2 (en) * 2001-01-24 2005-09-13 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
DE10110108A1 (de) * 2001-03-02 2002-09-19 Reimar Lenz Digitalkamera mit CMOS-Bildsensor verbesserter Dynamik und Verfahren zum Ansteuern eines CMOS-Bildsensors
US6924841B2 (en) * 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7202897B2 (en) * 2001-07-11 2007-04-10 Sony Corporation Solid-state image pickup exposure control system and method
RU2231233C2 (ru) * 2001-07-27 2004-06-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт промышленного телевидения "Растр" Устройство формирования сигнала изображения
JP4831892B2 (ja) 2001-07-30 2011-12-07 株式会社半導体エネルギー研究所 半導体装置
RU2235443C2 (ru) * 2001-08-16 2004-08-27 Федеральное государственное унитарное предприятие "Научно-исследовательский институт промышленного телевидения "Растр" Телевизионная камера на матрице приборов с зарядовой связью
JP4532899B2 (ja) * 2001-08-17 2010-08-25 マイクロン テクノロジー, インク. 列並列adcを有するcmosセンサにおける倍速化
US7002629B2 (en) * 2001-08-23 2006-02-21 Goodrich Corporation CCD image detector and method of operating a CCD as an image detector
US6927796B2 (en) * 2001-09-24 2005-08-09 The Board Of Trustees Of The Leland Stanford Junior University CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
US6963370B2 (en) * 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
US7071982B2 (en) * 2001-10-24 2006-07-04 Texas Instruments Incorporated Adaptive relative and absolute address coding CMOS imager technique and system architecture
US8054357B2 (en) * 2001-11-06 2011-11-08 Candela Microsystems, Inc. Image sensor with time overlapping image output
US6795117B2 (en) 2001-11-06 2004-09-21 Candela Microsystems, Inc. CMOS image sensor with noise cancellation
US7233350B2 (en) * 2002-01-05 2007-06-19 Candela Microsystems, Inc. Image sensor with interleaved image output
US20030103158A1 (en) * 2001-12-05 2003-06-05 Creo Il. Ltd. System and method for the formation of multiple exposure images
JP4135360B2 (ja) 2001-12-25 2008-08-20 ソニー株式会社 固体撮像装置
JP3944829B2 (ja) * 2002-01-17 2007-07-18 ソニー株式会社 固体撮像装置およびその駆動方法
US20030193594A1 (en) * 2002-04-16 2003-10-16 Tay Hiok Nam Image sensor with processor controlled integration time
US6868138B2 (en) * 2002-05-29 2005-03-15 The Regents Of The University Of Michigan Method, processor and computed tomography (CT) machine for generating images utilizing high and low sensitivity data collected from a flat panel detector having an extended dynamic range
JP2004064165A (ja) * 2002-07-25 2004-02-26 Hitachi Ltd 撮像装置および撮像方法
KR20040017862A (ko) * 2002-08-22 2004-03-02 삼성전자주식회사 이미지 센서를 위한 아날로그-디지털 변환기
US7382407B2 (en) * 2002-08-29 2008-06-03 Micron Technology, Inc. High intrascene dynamic range NTSC and PAL imager
US6894264B2 (en) * 2002-10-15 2005-05-17 Applera Corporation System and methods for dynamic range extension using variable length integration time sampling
GB0224770D0 (en) * 2002-10-24 2002-12-04 Council Cent Lab Res Councils Imaging device
US7489352B2 (en) * 2002-11-15 2009-02-10 Micron Technology, Inc. Wide dynamic range pinned photodiode active pixel sensor (APS)
US7029138B2 (en) * 2003-02-18 2006-04-18 Ford Global Technologies, Llc Trunk release handle for automobiles
US7015960B2 (en) 2003-03-18 2006-03-21 Candela Microsystems, Inc. Image sensor that uses a temperature sensor to compensate for dark current
KR100855957B1 (ko) * 2004-02-09 2008-09-02 삼성전자주식회사 화면 주변부의 밝기를 보상하는 고체 촬상 소자 및 그구동 방법
US7238977B2 (en) * 2004-08-19 2007-07-03 Micron Technology, Inc. Wide dynamic range sensor having a pinned diode with multiple pinned voltages
EP1641249A1 (en) * 2004-09-27 2006-03-29 STMicroelectronics Limited Improvements in or relating to image sensors
JP4485371B2 (ja) * 2005-01-06 2010-06-23 パナソニック株式会社 固体撮像装置
US20060219873A1 (en) * 2005-04-01 2006-10-05 Martin Steven M Detection system for a flow cytometer
JP5178994B2 (ja) * 2005-05-26 2013-04-10 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US8013927B2 (en) * 2005-07-08 2011-09-06 Nikon Corporation Solid-state image sensors
US7488083B2 (en) 2005-08-22 2009-02-10 Gentex Corporation Vehicular rearview components and assemblies
US7996188B2 (en) 2005-08-22 2011-08-09 Accuri Cytometers, Inc. User interface for a flow cytometer system
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4704153B2 (ja) * 2005-09-02 2011-06-15 浜松ホトニクス株式会社 固体撮像装置
US7659925B2 (en) * 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
US8017402B2 (en) 2006-03-08 2011-09-13 Accuri Cytometers, Inc. Fluidic system for a flow cytometer
US8303894B2 (en) 2005-10-13 2012-11-06 Accuri Cytometers, Inc. Detection and fluidic system of a flow cytometer
KR100725837B1 (ko) * 2005-10-24 2007-06-08 (주) 픽셀플러스 이미지센서의 자동 노출 제어 방법
JP4792923B2 (ja) * 2005-11-07 2011-10-12 ソニー株式会社 物理量検出装置、物理量検出装置の駆動方法および撮像装置
US7780916B2 (en) * 2006-03-08 2010-08-24 Accuri Cytometers, Inc. Flow cytometer system with unclogging feature
US8283177B2 (en) * 2006-03-08 2012-10-09 Accuri Cytometers, Inc. Fluidic system with washing capabilities for a flow cytometer
US7427736B2 (en) * 2006-03-23 2008-09-23 Micron Technology, Inc. Method and apparatus for providing a rolling double reset timing for global storage in image sensors
EP2022253B1 (en) * 2006-05-23 2015-11-04 Thomson Licensing Image sensor circuit
JP2009538075A (ja) * 2006-05-24 2009-10-29 トムソン ライセンシング 撮像素子のピクセルを読み出してリセットするための回路および方法
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US7514716B2 (en) * 2006-08-29 2009-04-07 Aptina Imaging Corporation In-pixel analog memory with non-destructive read sense circuit for high dynamic range global shutter pixel operation
US8687087B2 (en) 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US7714903B2 (en) * 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
US8077310B2 (en) * 2006-08-30 2011-12-13 Accuri Cytometers, Inc. System and method of capturing multiple source excitations from a single location on a flow channel
US20080062293A1 (en) * 2006-09-08 2008-03-13 Dalsa Corporation Method for multiphase charge transfer in a lamel shutter and apparatus containing such a shutter
US8715573B2 (en) 2006-10-13 2014-05-06 Accuri Cytometers, Inc. Fluidic system for a flow cytometer with temporal processing
US8445286B2 (en) 2006-11-07 2013-05-21 Accuri Cytometers, Inc. Flow cell for a flow cytometer system
JP4961982B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7739060B2 (en) * 2006-12-22 2010-06-15 Accuri Cytometers, Inc. Detection system and user interface for a flow cytometer system
US7616243B2 (en) * 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7488928B2 (en) 2007-04-20 2009-02-10 Alexander Krymski Image sensor circuits and methods with multiple readout lines per column of pixel circuits
US8009214B2 (en) * 2007-06-13 2011-08-30 Forza Silicon Individual row calibration in an image sensor
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
MX2010002455A (es) * 2007-09-05 2010-07-01 Hiok Nam Tay Sensor de imagen cmos de gama dinamica amplia.
DE102007045448B4 (de) * 2007-09-24 2025-01-30 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
CN101822041B (zh) * 2007-10-09 2012-06-20 株式会社尼康 摄影装置
US20090102939A1 (en) * 2007-10-18 2009-04-23 Narendra Ahuja Apparatus and method for simultaneously acquiring multiple images with a given camera
JP5145866B2 (ja) * 2007-10-26 2013-02-20 株式会社ニコン 固体撮像素子
JP2009130582A (ja) * 2007-11-22 2009-06-11 Nikon Corp 固体撮像装置、電子カメラ
US8432541B2 (en) * 2007-12-17 2013-04-30 Accuri Cytometers, Inc. Optical system for a flow cytometer with an interrogation zone
JP5018539B2 (ja) * 2008-02-18 2012-09-05 株式会社ニコン 撮像装置
US9019411B2 (en) 2008-05-01 2015-04-28 Alexander Krymski Image sensors and methods with pipelined readout
US8174603B2 (en) * 2008-05-01 2012-05-08 Alexander Krymski Image sensors and methods with antiblooming channels and two side driving of control signals
US7804438B2 (en) * 2008-05-02 2010-09-28 Alexander Krymski Image sensors and dual ramp analog-to-digital converters and methods
JP5074297B2 (ja) 2008-05-29 2012-11-14 シャープ株式会社 固体撮像装置およびその駆動方法、並びに電子情報機器
US20090321799A1 (en) * 2008-06-25 2009-12-31 Velichko Sergey A Method and apparatus for increasing conversion gain in imagers
US8134624B2 (en) * 2008-07-03 2012-03-13 Aptina Imaging Corporation Method and apparatus providing multiple exposure high dynamic range sensor
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8507279B2 (en) * 2009-06-02 2013-08-13 Accuri Cytometers, Inc. System and method of verification of a prepared sample for a flow cytometer
US8004674B2 (en) * 2009-06-02 2011-08-23 Accuri Cytometers, Inc. Data collection system and method for a flow cytometer
JP5146499B2 (ja) * 2009-08-08 2013-02-20 株式会社ニコン 固体撮像素子
US8194166B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074980A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8134628B2 (en) * 2009-09-30 2012-03-13 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) * 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8144220B2 (en) * 2009-09-30 2012-03-27 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8149303B2 (en) * 2009-09-30 2012-04-03 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194165B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
JP5460276B2 (ja) * 2009-12-04 2014-04-02 キヤノン株式会社 撮像装置及び撮像システム
EP2520080B1 (en) * 2009-12-30 2017-08-02 BYD Company Limited Method for reading out high dynamic range image frame in image sensor and device using the same
US8779387B2 (en) * 2010-02-23 2014-07-15 Accuri Cytometers, Inc. Method and system for detecting fluorochromes in a flow cytometer
WO2011149080A1 (ja) * 2010-05-28 2011-12-01 浜松ホトニクス株式会社 固体撮像装置
US9551600B2 (en) 2010-06-14 2017-01-24 Accuri Cytometers, Inc. System and method for creating a flow cytometer network
WO2012004928A1 (ja) * 2010-07-08 2012-01-12 パナソニック株式会社 撮像装置
US9113136B2 (en) * 2010-07-15 2015-08-18 Mediatek Singapore Pte. Ltd. Video processing apparatus and method for simultaneously displaying a plurality of video signals on display device
JP5906596B2 (ja) 2010-08-16 2016-04-20 株式会社ニコン 撮像装置
US8994843B2 (en) 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
JP5578008B2 (ja) * 2010-10-12 2014-08-27 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
EP2633284B1 (en) 2010-10-25 2021-08-25 Accuri Cytometers, Inc. Systems and user interface for collecting a data set in a flow cytometer
US8415623B2 (en) 2010-11-23 2013-04-09 Raytheon Company Processing detector array signals using stacked readout integrated circuits
US8723093B2 (en) 2011-01-10 2014-05-13 Alexander Krymski Image sensors and methods with shared control lines
JP5288645B2 (ja) * 2011-02-24 2013-09-11 株式会社半導体エネルギー研究所 半導体装置
US9052497B2 (en) 2011-03-10 2015-06-09 King Abdulaziz City For Science And Technology Computing imaging data using intensity correlation interferometry
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
US9099214B2 (en) 2011-04-19 2015-08-04 King Abdulaziz City For Science And Technology Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
KR101294479B1 (ko) * 2011-07-20 2013-08-07 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
KR101273197B1 (ko) * 2011-08-16 2013-06-17 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
DE102012109129B4 (de) * 2011-09-27 2017-06-29 Heptagon Micro Optics Pte. Ltd. Sensor-Pixelanordnung und getrennte Anordnung einer Speicherung und Akkumulation mit parallelem Erfassen und Auslesen
WO2013099264A1 (ja) * 2011-12-27 2013-07-04 株式会社ニコン 固体撮像素子および撮像装置
US10341743B1 (en) * 2012-05-25 2019-07-02 Altia Systems, Inc. Bandwidth efficient multiple user panoramic video stream delivery system and method
US20150018642A1 (en) 2013-07-12 2015-01-15 Sandeep Gulati Tissue pathlength resolved noninvasive analyzer apparatus and method of use thereof
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
JP5564551B2 (ja) * 2012-12-18 2014-07-30 株式会社半導体エネルギー研究所 半導体装置及び電子機器
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP6261883B2 (ja) * 2013-06-03 2018-01-17 浜松ホトニクス株式会社 光観察装置、それに用いる撮像装置、及び光観察方法
US9369648B2 (en) 2013-06-18 2016-06-14 Alexander Krymski Image sensors, methods, and pixels with tri-level biased transfer gates
KR20150068740A (ko) * 2013-12-12 2015-06-22 삼성전자주식회사 오버샘플링 회수를 조절할 수 있는 이미지 센서와 이를 포함하는 이미지 데이터 처리 시스템
JP6354221B2 (ja) * 2014-03-12 2018-07-11 株式会社リコー 撮像装置及び電子機器
US9716841B2 (en) 2014-06-20 2017-07-25 Analog Devices, Inc. Adaptive gain adjustment in an imaging system
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US12401911B2 (en) 2014-11-07 2025-08-26 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US12401912B2 (en) 2014-11-17 2025-08-26 Duelight Llc System and method for generating a digital image
US12445736B2 (en) 2015-05-01 2025-10-14 Duelight Llc Systems and methods for generating a digital image
JP2015146650A (ja) * 2015-05-06 2015-08-13 株式会社半導体エネルギー研究所 半導体装置
US9843756B2 (en) 2015-05-27 2017-12-12 Samsung Electronics Co., Ltd. Imaging devices, arrays of pixels receiving photocharges in bulk of select transistor, and methods
US9843753B2 (en) * 2015-11-02 2017-12-12 Omnivision Technologies, Inc. Imaging systems including row-period compensators and associated methods
US10033947B2 (en) 2015-11-04 2018-07-24 Semiconductor Components Industries, Llc Multi-port image pixels
US10015429B2 (en) * 2015-12-30 2018-07-03 Omnivision Technologies, Inc. Method and system for reducing noise in an image sensor using a parallel multi-ramps merged comparator analog-to-digital converter
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
WO2019121070A1 (en) 2017-12-21 2019-06-27 Robert Bosch Gmbh Intensity-normalized image sensor
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership A pixel readout circuit and a method for imaging
US11496703B2 (en) 2019-07-25 2022-11-08 Trustees Of Dartmouth College High conversion gain and high fill-factor image sensors with pump-gate and vertical charge storage well for global-shutter and high-speed applications
US11343454B2 (en) 2019-08-16 2022-05-24 Semiconductor Components Industries, Llc Imaging systems and methods for performing pixel binning and variable integration for analog domain regional feature extraction
US10819915B1 (en) 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
CN119743678B (zh) * 2024-12-26 2025-10-28 中国科学院上海技术物理研究所 固定帧频下的遥感探测器积分时间快速自适应方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5793782A (en) * 1980-12-02 1982-06-10 Canon Inc Solid-state image pickup device having storage time controlling function
JPS5848577A (ja) * 1981-09-18 1983-03-22 Semiconductor Res Found 固体撮像装置の画像信号読出し方法
DE3138240A1 (de) * 1981-09-25 1983-04-07 Siemens AG, 1000 Berlin und 8000 München Zweidimensionaler halbleiter-bildsensor mit steuerung oder regelung der integrationszeit
JPS59108463A (ja) * 1982-12-14 1984-06-22 Olympus Optical Co Ltd 固体撮像装置
FR2538651B1 (fr) * 1982-12-23 1986-08-22 Thomson Csf Procede de modulation de la sensibilite d'un dispositif photosensible a transfert de ligne et dispositif mettant en oeuvre ce procede
FR2580133B1 (ja) * 1985-04-05 1988-06-24 Thomson Csf
GB8610483D0 (en) * 1986-04-29 1986-09-17 British Aerospace Imaging apparatus
JPH07118788B2 (ja) * 1986-10-28 1995-12-18 株式会社東芝 電子スチルカメラ
JPS63245073A (ja) * 1987-03-31 1988-10-12 Canon Inc 撮像装置
US4819070A (en) * 1987-04-10 1989-04-04 Texas Instruments Incorporated Image sensor array
US5162914A (en) * 1987-06-09 1992-11-10 Canon Kabushiki Kaisha Image sensing device with diverse storage fumes used in picture composition
IL83213A (en) * 1987-07-16 1991-08-16 Technion Res & Dev Foundation Intelligent scan image sensor
US4959723A (en) * 1987-11-06 1990-09-25 Canon Kabushiki Kaisha Solid state image pickup apparatus having multi-phase scanning pulse to read out accumulated signal
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US5084704A (en) * 1990-02-02 1992-01-28 Grumman Aerospace Corporation Focal plane analog-to-digital converter
JP2938123B2 (ja) * 1990-03-30 1999-08-23 株式会社東芝 多機能デジタルカメラ
US5264940A (en) * 1990-10-08 1993-11-23 Olympus Optical Co., Ltd. Image sensing apparatus having exposure level and dynamic range control circuit
KR940000840B1 (ko) * 1991-03-21 1994-02-02 삼성항공산업 주식회사 팩시밀리용 렌즈
JPH04313268A (ja) * 1991-04-10 1992-11-05 Sony Corp 固体撮像装置
JPH0630186A (ja) * 1992-07-10 1994-02-04 Fuji Xerox Co Ltd イメ−ジセンサの駆動方法及びイメ−ジセンサ
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2994158B2 (ja) * 1992-11-24 1999-12-27 株式会社東芝 固体撮像装置
US5585847A (en) * 1992-12-23 1996-12-17 Loral Fairchild Corporation Electronic color imaging technique and structure using a very high resolution monochrome full-frame CCD imager
JP3287056B2 (ja) * 1993-03-24 2002-05-27 ソニー株式会社 固体撮像装置
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
JPH0738815A (ja) 1993-07-19 1995-02-07 Olympus Optical Co Ltd 固体撮像素子
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5471515A (en) * 1994-01-28 1995-11-28 California Institute Of Technology Active pixel sensor with intra-pixel charge transfer
US6166768A (en) * 1994-01-28 2000-12-26 California Institute Of Technology Active pixel sensor array with simple floating gate pixels
US5541402A (en) * 1994-10-17 1996-07-30 At&T Corp. Imaging active pixel device having a non-destructive read-out gate
US5576763A (en) * 1994-11-22 1996-11-19 Lucent Technologies Inc. Single-polysilicon CMOS active pixel
US6122009A (en) * 1995-05-31 2000-09-19 Sony Corporation Image pickup apparatus fabrication method thereof image pickup adaptor apparatus signal processing apparatus signal processing method thereof information processing apparatus and information processing method
JP3680366B2 (ja) 1995-08-11 2005-08-10 ソニー株式会社 撮像装置
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
DE19644479A1 (de) * 1996-10-25 1998-05-07 Fraunhofer Ges Forschung Verfahren zum Erfassen eines optischen Signals
US6584235B1 (en) * 1998-04-23 2003-06-24 Micron Technology, Inc. Wide dynamic range fusion using memory look-up
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7050094B2 (en) * 2000-10-26 2006-05-23 Micron Technology, Inc. Wide dynamic range operation for CMOS sensor with freeze-frame shutter

Also Published As

Publication number Publication date
EP0862829B1 (en) 2003-05-14
EP0862829A4 (en) 1999-11-10
EP0862829A1 (en) 1998-09-09
AU1159397A (en) 1997-05-29
WO1997017800A1 (en) 1997-05-15
US6115065A (en) 2000-09-05
JP2000516774A (ja) 2000-12-12
DE69628187D1 (de) 2003-06-18
US7190398B1 (en) 2007-03-13

Similar Documents

Publication Publication Date Title
JP3962431B2 (ja) 高ダイナミックレンジのリニア出力を有する画像センサ
US11595600B2 (en) Method, apparatus and system providing a storage gate pixel with high dynamic range
US7375748B2 (en) Differential readout from pixels in CMOS sensor
El Gamal et al. Pixel-level processing: why, what, and how?
US7050094B2 (en) Wide dynamic range operation for CMOS sensor with freeze-frame shutter
US6795117B2 (en) CMOS image sensor with noise cancellation
US7728892B2 (en) Image sensor with a capacitive storage node linked to transfer gate
TWI461060B (zh) 具有光暈降低機制的影像感應器
US8772695B2 (en) Image sensor arrangement
US20090108207A1 (en) CMOS Sensor Adapted for Dental X-Ray Imaging
TW200849986A (en) Solid-state imaging device, method of driving the same, signal processing method for the same, and imaging apparatus
EP2832090A1 (en) Cmos image sensors implementing full frame digital correlated double sampling with global shutter
US20110285885A1 (en) Imaging system for creating an image of an object
JP4157862B2 (ja) アナログ‐デジタル変換器及びその動作方法、撮像装置並びにランプ発生器の動作方法
Yamada et al. A 140dB-dynamic-range MOS image sensor with in-pixel multiple-exposure synthesis
Fossum Low power camera-on-a-chip using CMOS active pixel sensor technology
Yadid-Pecht et al. Image sensor with high dynamic range linear output
Fish et al. Low Power CMOS Imager Circuits
JP4521050B2 (ja) アナログ‐デジタル変換器及びその動作方法、ランプ発生器及びその動作方法並びに撮像装置
JP2024528318A (ja) ピクセル配列、画像センサ、およびピクセル配列を動作させる方法
Sartori et al. MInOSS project
El Gamal et al. Č Ü Š Ä Ś Š ČÖÓ×× Ņ Ļ Żø Ļ Ųø Ņ ĄÓŪ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050506

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060710

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees