JP6282303B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP6282303B2
JP6282303B2 JP2016086545A JP2016086545A JP6282303B2 JP 6282303 B2 JP6282303 B2 JP 6282303B2 JP 2016086545 A JP2016086545 A JP 2016086545A JP 2016086545 A JP2016086545 A JP 2016086545A JP 6282303 B2 JP6282303 B2 JP 6282303B2
Authority
JP
Japan
Prior art keywords
image data
digital image
image
exposure
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016086545A
Other languages
English (en)
Other versions
JP2016225971A (ja
Inventor
優作 元長
優作 元長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201680031420.3A priority Critical patent/CN107615752B/zh
Priority to PCT/JP2016/002530 priority patent/WO2016194340A1/en
Priority to US15/567,437 priority patent/US10735679B2/en
Priority to EP16802782.9A priority patent/EP3304888B1/en
Priority to KR1020177032189A priority patent/KR20170134692A/ko
Priority to KR1020197025562A priority patent/KR20190104445A/ko
Publication of JP2016225971A publication Critical patent/JP2016225971A/ja
Application granted granted Critical
Publication of JP6282303B2 publication Critical patent/JP6282303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/199—Back-illuminated image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像素子および撮像装置に関する。
近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。
図１６は、一般的な撮像装置の構成ブロック図である。図１６において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。
ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。
特開２０１３−２６６７５号
上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像信号を転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。
すなわち、撮像素子１５００から画像信号処理回路１５０１への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
また、ＨＤＲ撮影処理を行う際には、撮像素子で露出が異なる複数枚の画像を撮影し、撮像素子の外部に設けられた画像処理回路に複数枚の画像データを出力して合成処理することによりＨＤＲ画像を作成している。このとき、撮像素子の外部にある画像処理回路に複数枚の画像データを送信する必要があるため撮像素子から画像処理回路への送信データ量や消費電力が増大するという課題がある。
本発明は、ダイナミックレンジの広い高画質な画像を取得できる撮像素子を提供することを目的としてなされたものである。
上述した課題を解決するために、本発明の撮像素子は、互いに積層されている複数の半導体基板を備えた撮像素子であって、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とするものである。
また、本発明の撮像装置は、互いに積層されている複数の半導体基板を備え、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される前記ＨＤＲ画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とするものである。
本発明によれば、ダイナミックレンジの広い高画質な画像を取得しつつ、周辺回路の消費電力削減にも寄与する撮像素子及び撮像装置を提供することができる。
実施例１における撮像素子の概略構造を示す図である。 実施例１におけるデータバス構成の一例を説明する図である。 実施例１における画素、カラムＡＤＣブロックの構成を示す図である。 実施例１における撮像素子の積層構成を示す図である。 実施例１における撮像素子の断面図である。 実施例１における撮像システムのシステム概要図である。 実施例１におけるダイナミックレンジの拡大方法の説明図である。 実施例１におけるＨＤＲ処理の説明図である。 実施例１における読み出しタイミングを示す図である。 実施例１における読み出しフローを示す図である。 実施例１におけるＨＤＲ処理・送信フローを示す図である。 実施例２における読み出しタイミングを示す図である。 実施例２における読み出しフローを示す図である。 実施例３における読み出しタイミングを示す図である。 実施例３における読み出しフローを示す図である。 一般的な撮像装置の構成を示す図である。
（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。
撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。
第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各行に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。
第２のチップ１１は、列毎に設けられたＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。
このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。
素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、切り出し、間引き等の処理を行う。素子内演算部１１８で処理された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。
ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。
列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。
例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。
ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。
水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。
データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。
このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。
フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。
転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。
選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。
なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。
また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。
比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。
例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。
なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により図１の水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。
図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。
撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。
図５に、図１〜図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図５において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。
撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。
Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。
上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。
回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。
回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。
撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１によりお互いに電気的に接続されている。なお、図５では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図５に示した構成を有する撮像素子５０６上の撮像面に結像される。
撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換処理が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。
全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
表示部５１１は、画像データの表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェース部である。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
次に、本実施例で行うＨＤＲ処理を用いたダイナミックレンジの拡大方法について、図７および図８を用いて説明する。ＨＤＲ処理は、同一被写体を異なる露出で撮影した複数フレームの画像から画像内の領域ごとに使用可能な出力範囲を抽出して１枚の画像に合成することにより、ダイナミックレンジを拡大する処理である。
ここでは、一例として、露出が適正露出からマイナス２段の「アンダー露出画像」、露出が適正の「適正露出画像」、露出が適正露出からプラス２段の「オーバー露出画像」の３枚の画像を撮像する。なお、ここでは露出を蓄積時間で制御する例について説明するが、蓄積時間に限定されるものではなく、ＩＳＯ感度（ゲイン）をフレーム毎に異ならせるなど別の方法で露出を制御してもよい。
図７は、露出を蓄積時間で制御した場合の露出とダイナミックレンジの関係を表す図である。また、図８は、各露出で撮影した撮影画像とＨＤＲにおいて画像合成される画像を示す図である。図７の横軸は被写体輝度で、縦軸は撮像素子からの出力信号レベルを示しており、出力レンジは黒レベル６０１から飽和レベル６０２までとなる。
図７では、アンダー露出画像６０６、適正露出画像６０５、オーバー露出画像６０４の各々について、被写体輝度に対する信号値の関係をプロットしている。アンダー画像６０６は、図８（ａ）に示すように適正露出よりも露出アンダーで撮影した画像である。また、適正画像６０５は、図８（ｂ）に示すように適正露出で撮影した画像である。さらに、オーバー画像６０４は、図８（ｃ）に示すように適正露出よりも露出オーバーで撮影した画像である。
次に、露出ごとのダイナミックレンジについて説明する。黒レベル６０１から飽和レベル６０２までの出力レンジにおいて、黒レベル６０１に近いレベルの信号ほどノイズの影響を受けやすく、出力値の信頼性が低い。ノイズの影響を受けやすい出力レンジをレベル６０１〜６０３の範囲とすると、画像として使用可能な出力レンジは、レベル６０３〜６０２の範囲となる。
各露出で撮影した画像において使用可能な出力レベル範囲６０３〜６０２に対応する被写体輝度が、各露出で撮影した画像で使用可能な出力範囲（ダイナミックレンジ）となる。アンダー露出画像６０６のダイナミックレンジは輝度レンジ６０９である。図８（ａ）に示すアンダー露出画像６０６から使用可能な出力範囲である輝度レンジ６０９を抽出した画像データを図８（ｄ）に示す。
また、適正露出画像６０５のダイナミックレンジは輝度レンジ６０８である。図８（ｂ）に示す適正露出画像６０５から使用可能な出力範囲である輝度レンジ６０８を抽出した画像データを図８（ｅ）に示す。
さらに、オーバー露出画像６０４のダイナミックレンジは輝度レンジ６０７である。図８（ｃ）に示すオーバー露出画像６０４から使用可能な出力範囲である輝度レンジ６０７を抽出した画像データを図８（ｆ）に示す。なお、図８（ｆ）は人物以外の背景画像であり、破線７０１の範囲内の画像データは含んでいない。
ここで、アンダー露出画像６０６における輝度レンジ６０９よりも低い輝度レンジではノイズの影響を受けるのに対し、オーバー露出画像６０４における輝度レンジ６０７よりも低い輝度レンジ６１０ではそれほどノイズの影響を受けない。そこで、出力レンジ６０１〜６０３を得るために、オーバー露出画像６０４については輝度レンジ６１０の画像データも用いる。
そして、異なる露出で撮影した画像データ（図８（ａ）〜（ｃ））から抽出した画像データ（図８（ｄ）〜（ｆ））を合成することで、輝度レンジ６０９，６０８，６０７および６１０を包含したダイナミックレンジの広い画像データ（図８（ｇ））を生成することができる。
なお、図８（ａ）〜（ｃ）の画像データから使用可能な出力範囲を抽出する際に、重みづけをして信号抽出を行ってもよい。
次に、露出が異なる複数フレームの画像データを取得し、取得した複数フレームの画像データを撮像素子５０６内のフレームメモリに保存する処理について、図９および図１０を用いて説明する。図９は、露出が異なる３枚の画像データを取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１０は、撮像装置の処理を示すフローチャートである。
図１０のステップＳ９０１において、アンダー露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ１〜ｔ２において行ごとに各画素のリセット処理を開始し、リセットが終わった行からアンダー露出画像の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
ステップＳ９０２において、アンダー露出画像の信号読み出しを開始するとともに、適正露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ３〜ｔ４において、行ごとにアンダー露出画像の信号読み出しを行うとともに、各行のアンダー露出画像の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から適正露出画像の電荷蓄積を開始する。
ステップＳ９０３において、読み出したアンダー露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｌに保存する。
ステップＳ９０４において、適正露出画像の信号読み出しを開始するとともに、オーバー露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ５〜ｔ６において、行ごとに適正露出画像の信号読み出しを行うとともに、各行の適正露出画像の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行からオーバー露出画像の電荷蓄積を開始する。
ステップＳ９０５において、読み出した適正露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｍに保存する。
ステップＳ９０６において、オーバー露出画像の信号読み出しを行う。すなわち、図９の時刻ｔ７〜ｔ８において、行ごとにオーバー露出画像の信号読み出しを行う。
ステップＳ９０７において、読み出したオーバー露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｈに保存する。
以上の処理で、露出が異なる複数の画像データを取得し、取得した画像データを撮像素子５０６内のフレームメモリ１１７に保存することができる。なお、フレームメモリ１１７は、少なくとも３枚の画像データを保存することができる容量を備えていれば良い。また、本実施例では、アンダー露出画像、適正露出画像、オーバー露出画像の順に取得する例について説明したが、この順序に限らない。例えば、適正露出画像、アンダー露出画像、オーバー露出画像の順に取得すれば、各露出画像の重心位置をより近づけることができる。
次に、フレームメモリ１１７に保存された露出が異なる複数の画像データを用いたＨＤＲ画像生成処理について、図１１のフローチャートを用いて説明する。
ステップＳ１００１において、全体制御演算部５０９の制御により、フレームメモリ１１７の領域Ｌ，Ｍ，Ｈにそれぞれ保存されている露出が異なる複数の画像データを素子内演算部１１８に入力する。
ステップＳ１００２において、素子内演算部１１８は、全体制御演算部５０９の制御により、図７および図８を用いて説明したような露出が異なる複数の画像データを用いたＨＤＲ画像生成処理を実行する。演算部１１８は、ＨＤＲ画像生成処理や画像の合成処理を行う機能も有する。
すなわち、フレームメモリ１１７の領域Ｌ，Ｍ，Ｈに記憶されている同一被写体を撮影した露出が異なる複数の画像データから画像内の領域ごとに使用可能な出力レベル範囲に含まれる画像データを抽出する。そして、画像間の位置合わせをした上で合成処理を行うことによりダイナミックレンジの広い１枚の画像（ＨＤＲ画像）を生成する。ここで、合成処理を行う場合、入力された画像データとフレームメモリ１１７に保存されている画像データとを合成し、フレームメモリ１１７の任意の領域に保存する。
ステップＳ１００３において、全体制御演算部５０９の制御により、フレームメモリ１１７に保存されたＨＤＲ画像をＰ／Ｓ変換部１１９へ送信し、さらに撮像信号処理回路５０７へ出力する。以上のようなＨＤＲ画像生成処理により、ダイナミックレンジの広い画像を生成することができる。
（実施例２）
以下、図１２、１３を参照して、本発明の実施例２について説明する。実施例２の撮像システム、ＨＤＲ画像生成処理については、実施例１の図１〜図８、図１１を用いて説明したものと同様であるため、ここでは省略する。
実施例１では、異なる露出で順次撮影した複数の画像データからダイナミックレンジの広い画像データを生成する方法について説明した。しかしながら被写体ブレなど画像間で被写体の位置が変化した場合、単純な位置合わせ処理では画像内の全ての領域を適切に合成できない場合が考えられる。
この課題を改善する方法として、電荷蓄積時間が重複した画像データを合成するために、電荷蓄積開始時刻（露光開始時刻）を揃える信号読み出しを行う処理について、図１２および図１３を用いて説明する。図１２は、露出が異なる３枚の画像データを取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１３は、実施例２における撮像装置の処理を示すフローチャートである。
実施例２においても電荷蓄積時間により露出を制御しており、「アンダー露出画像」（図１２の蓄積時間Ｌに相当する画像）、「適正露出画像−アンダー露出画像」（図１２の蓄積時間Ｍ−Ｌに相当する画像）、「オーバー露出画像−適正露出画像」（図１２の蓄積時間Ｈ−Ｍに相当する画像）を順次取得する。そして、演算処理により、アンダー露出画像、適正露出画像、オーバー露出画像を生成する。なお、ここでは、アンダー露出画像を適正露出からマイナス２段の画像とする。また、オーバー露出画像を適正露出からプラス２段の画像とする。
図１３のステップＳ１２０１において、アンダー露出画像の電荷蓄積を開始する。すなわち、図１２の時刻ｔ１〜ｔ２において、行ごとに各画素のリセット処理を開始し、リセット処理が終わった行からアンダー露出画像の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
ステップＳ１２０２において、アンダー露光画像の信号読み出しを開始するとともに、「適正露出画像−アンダー露出画像」の電荷蓄積を開始する。すなわち、図１３の時刻ｔ３〜ｔ４において、行ごとにアンダー露出画像の信号読み出しを行うとともに、各行のアンダー露出画像の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から「適正露出画像−アンダー露出画像」の電荷蓄積を開始する。
ステップＳ１２０３において、読み出したアンダー露出画像のデジタル画像データをフレームメモリ１１７の領域Ｌに保存する。
ステップＳ１２０４において、「適正露出画像−アンダー露出画像」の信号読み出しを開始するとともに、「オーバー露出画像−適正露出画像」の電荷蓄積を開始する。すなわち、図１３の時刻ｔ５〜ｔ６において行ごとに「適正露出画像−アンダー露出画像」の信号読み出しを行うとともに、各行の「適正露出画像−アンダー露出画像」の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から「オーバー露出画像−適正露出画像」の電荷蓄積を開始する。
ステップＳ１２０５において、ステップＳ１２０４で読み出した「適正露出画像−アンダー露出画像」（図１２の蓄積時間Ｍ−Ｌに相当する画像）とフレームメモリ１１７の領域Ｌに保存されている「アンダー露出画像」（図１２の蓄積時間Ｌに相当する画像）とを素子内演算部１１８に入力して加算処理を実行する。この加算処理により「適正露出画像」（図１２の蓄積時間Ｍに相当する画像）を得ることができる。
ステップＳ１２０６において、加算処理により得られた適正露出画像のデジタル画像データをフレームメモリ１１７の領域Ｍに保存する。
ステップＳ１２０７において、「オーバー露出画像−適正露出画像」の信号読み出しを行う。
すなわち、図１２の時刻ｔ７〜ｔ８において、行ごとに「オーバー露出画像−適正露出画像」の信号読み出しを行う。
ステップＳ１２０８において、ステップＳ１２０７で読み出した「オーバー露出画像−適正露出画像」（図１２の蓄積時間Ｈ−Ｍに相当する画像）とフレームメモリ１１７の領域Ｍに保存されている「適正露出画像」（図１２の蓄積時間Ｍに相当する画像）とを素子内演算部１１８に入力して加算処理を実行する。この加算処理により「オーバー露出画像」（図１２の蓄積時間Ｈに相当する画像）を得ることができる。
ステップＳ１２０９において、加算処理により得られたオーバー露出画像のデジタル画像データをフレームメモリ１１７の領域Ｈに保存する。
以上のようにして取得した蓄積開始時刻が同一で露出の異なる複数の画像データを用いて実施例１と同様にＨＤＲ画像生成処理を行うことにより、被写体ブレの影響を軽減しながら、ダイナミックレンジの広い画像を生成することが可能となる。
（実施例３）
以下、図１４、１５を参照して、本発明の実施例３について説明する。実施例３の撮像システム、ＨＤＲ画像生成処理については、実施例１の図１〜図８、図１１を用いて説明したものと同様であるため、ここでは省略する。
実施例２では、異なる露出で複数の画像を撮影する際に、蓄積開始時刻を揃える信号読み出し方法について説明した。しかしながら実施例２の方法では、アンダー露出画像とオーバー露出画像の蓄積終了時刻が大きく異なることから、被写体ブレの影響を完全に解消できない場合が考えられる。
この課題を改善するためには、異なる露出の複数の画像を撮影する際に、各電荷蓄積時間の中間時刻を揃えることが望ましい。本実施例では、後段処理で各露出の画像データの電荷蓄積時間の中間時刻を揃えることが可能な信号読み出し処理について、図１４および図１５を用いて説明する。図１４は、露出が同一の画像を８枚取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１５は、実施例３における撮像装置の処理を示すフローチャートである。
実施例３においても電荷蓄積時間により露出を制御しており、露出が適正露出からマイナス２段の画像（以下、「分割露出画像」と称す）を複数枚連続して取得し、演算処理によりアンダー露出画像（図１４の蓄積時間Ｌに相当する画像）、適正露出画像（図１４の蓄積時間Ｍに相当する画像）、オーバー露出画像（図１４の蓄積時間Ｌに相当する画像）を生成する。
図１５のステップＳ１４０１において、分割露出画像１枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ１〜ｔ２において、行ごとに各画素のリセット処理を開始し、リセット処理が終わった行から分割露出画像１枚目の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
ステップＳ１４０２において、分割露出画像１枚目の信号読み出しを開始するとともに、分割露出画像２枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ２〜ｔ３において、行ごとに分割露出画像１枚目の読み出しを行うとともに、各行の分割露出画像１枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像２枚目の電荷蓄積を開始する。
ステップＳ１４０３において、読み出した分割露出画像１枚目のデジタル画像データをフレームメモリ１１７の領域Ｈに保存する。
ステップＳ１４０４において、分割露出画像２枚目の信号読み出しを開始するとともに、分割露出画像３枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ３〜ｔ４において、行ごとに分割露出画像２枚目の読み出しを行うとともに、各行の分割露出画像２枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像３枚目の電荷蓄積を開始する。
ステップＳ１４０５において、ステップＳ１４０４で読み出した分割露出画像２枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４０６において、分割露出画像３枚目の信号読み出しを開始するとともに、分割露出画像４枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ４〜ｔ５において、行ごとに分割露出画像３枚目の読み出しを行うとともに、各行の分割露出画像３枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像４枚目の電荷蓄積を開始する。
ステップＳ１４０７において、ステップＳ１４０６で読み出した分割露出画像３枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４０８において、読み出した分割露出画像３枚目をフレームメモリ１１７の領域Ｍに保存する。
ステップＳ１４０９において、分割露出画像４枚目の信号読み出しを開始するとともに、分割露出画像５枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ５〜ｔ６において、行ごとに分割露出画像４枚目の読み出しを行うとともに、各行の分割露出画像４枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像５枚目の電荷蓄積を開始する。
ステップＳ１４１０において、ステップＳ１４０９で読み出した分割露出画像４枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４１１において、読み出した分割露出画像４枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
ステップＳ１４１２において、読み出した分割露出画像４枚目をフレームメモリ１１７の領域Ｌに保存する。
ステップＳ１４１３において、分割露出画像５枚目の信号読み出しを開始するとともに、分割露出画像６枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ６〜ｔ７において、行ごとに分割露出画像５枚目の読み出しを行うとともに、各行の分割露出画像５枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像６枚目の電荷蓄積を開始する。
ステップＳ１４１４において、ステップＳ１４１３で読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４１５において、読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
ステップＳ１４１６において、読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｌに保存されている画像を素子内演算部１１８で加算処理して領域Ｌに保存する。
ステップＳ１４１７において、分割露出画像６枚目の信号読み出しを開始するとともに、分割露出画像７枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ７〜ｔ８において、行ごとに分割露出画像６枚目の読み出しを行うとともに、各行の分割露出画像６枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像７枚目の電荷蓄積を開始する。
ステップＳ１４１８において、ステップＳ１４１７で読み出した分割露出画像６枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４１９において、読み出した分割露出画像６枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
ステップＳ１４２０において、分割露出画像７枚目の信号読み出しを開始するとともに、分割露出画像８枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ８〜ｔ９において、行ごとに分割露出画像７枚目の読み出しを行うとともに、各行の分割露出画像７枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像８枚目の電荷蓄積を開始する。
ステップＳ１４２１において、ステップＳ１４２０で読み出した分割露出画像７枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
ステップＳ１４２２において、分割露出画像８枚目の読み出しを開始する。すなわち、図１４の時刻ｔ９〜ｔ１０において、行ごとにアンダー画像８枚目の読み出しを行う。
ステップＳ１４２３において、ステップＳ１４２２で読み出した分割露出画像８枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
以上の処理を行うことで、ＨＤＲ画像生成処理に使用する異なる露出の複数の画像データをフレームメモリ１１７の領域Ｈ、Ｍ、Ｌにそれぞれ保存することができる。
そして、取得した露出の異なる複数の画像データを用いて実施例１と同様にＨＤＲ画像生成処理を行うことにより、異なる露出で撮影した複数の画像の中間時刻を揃えることができるため、被写体ブレの影響をさらに軽減しながら、ダイナミックレンジの広い画像を生成することが可能となる。
なお、各画像の加算処理を行う際に位置合わせ処理を行ってもよい。また、ＨＤＲ画像生成処理を行う際の位置合わせ処理は、すべての露出画像で使用している４枚目と５枚目の分割露出画像の位置が一致するように合成してもよい。それ以降の処理は実施例１、２と同様である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１ 画素
１０ 第１のチップ
１１ 第２のチップ
１１７ フレームメモリ
１１８ 素子内演算部

Claims (18)

  1. 互いに積層されている複数の半導体基板を備えた撮像素子であって、
    入射光を受光して光電変換する複数の画素が配置された撮像手段と、
    前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
    前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、
    前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、
    前記ＨＤＲ画像データを外部に出力する出力手段と、
    を有し、
    前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とする撮像素子。
  2. 前記撮像手段により露出を異ならせて複数回の撮像を行なうことにより前記露出が異なる複数のデジタル画像データを時系列に順次取得し、前記フレームメモリに記憶することを特徴とする請求項１に記載の撮像素子。
  3. 所定露出のデジタル画像データ、前記所定露出を下回る露出のデジタル画像データ、前記所定露出を上回る露出のデジタル画像データを所定の順序で取得して、各々のデジタル画像データを前記フレームメモリに記憶することを特徴とする請求項２に記載の撮像素子。
  4. 前記撮像手段により連続した複数回の撮像を行ない、前記複数回の撮像で得られる複数のデジタル画像データを合成することにより前記露出が異なる複数のデジタル画像データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
  5. １回目に撮像したデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、１回目と２回目に撮像したデジタル画像データから前記所定露出のデジタル画像データを生成し、１回目から３回目に撮像したデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項４に記載の撮像素子。
  6. 前記複数のデジタル画像データの２以上のデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、前記複数のデジタル画像データの３以上のデジタル画像データから前記所定露出のデジタル画像データを生成し、前記複数のデジタル画像データのすべてのデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項４に記載の撮像素子。
  7. 蓄積時間の中間時刻が揃うように、前記複数のデジタル画像データを合成することを特徴とする請求項６に記載の撮像素子。
  8. 前記フレームメモリおよび前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
  9. 前記フレームメモリおよび前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項８に記載の撮像素子。
  10. 互いに積層されている複数の半導体基板を備え、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有する撮像素子と、
    前記撮像素子から出力される前記ＨＤＲ画像データに所定の信号処理を施す信号処理部と、
    前記画像を表示する表示部と、
    前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
    を有し、
    前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とする撮像装置。
  11. 前記撮像手段により露出を異ならせて複数回の撮像を行なうことにより前記露出が異なる複数のデジタル画像データを時系列に順次取得し、前記フレームメモリに記憶することを特徴とする請求項１０に記載の撮像装置。
  12. 所定露出のデジタル画像データ、前記所定露出を下回る露出のデジタル画像データ、前記所定露出を上回る露出のデジタル画像データを所定の順序で取得して、各々のデジタル画像データを前記フレームメモリに記憶することを特徴とする請求項１１に記載の撮像装置。
  13. 前記撮像手段により連続した複数回の撮像を行ない、前記複数回の撮像で得られる複数のデジタル画像データを合成することにより前記露出が異なる複数のデジタル画像データを生成することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
  14. １回目に撮像したデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、１回目と２回目に撮像したデジタル画像データから前記所定露出のデジタル画像データを生成し、１回目から３回目に撮像したデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項１３に記載の撮像装置。
  15. 前記複数のデジタル画像データの２以上のデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、前記複数のデジタル画像データの３以上のデジタル画像データから前記所定露出のデジタル画像データを生成し、前記複数のデジタル画像データのすべてのデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項１３に記載の撮像装置。
  16. 蓄積時間の中間時刻が揃うように、前記複数のデジタル画像データを合成することを特徴とする請求項１５に記載の撮像装置。
  17. 前記フレームメモリおよび前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１０乃至１６のいずれか１項に記載の撮像装置。
  18. 前記フレームメモリおよび前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項１７に記載の撮像装置。
JP2016086545A 2015-05-29 2016-04-22 撮像素子および撮像装置 Active JP6282303B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201680031420.3A CN107615752B (zh) 2015-05-29 2016-05-25 摄像器件和摄像设备
PCT/JP2016/002530 WO2016194340A1 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus
US15/567,437 US10735679B2 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus
EP16802782.9A EP3304888B1 (en) 2015-05-29 2016-05-25 Image pickup device and imaging apparatus
KR1020177032189A KR20170134692A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치
KR1020197025562A KR20190104445A (ko) 2015-05-29 2016-05-25 촬상 소자 및 촬상장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015109427 2015-05-29
JP2015109427 2015-05-29

Publications (2)

Publication Number Publication Date
JP2016225971A JP2016225971A (ja) 2016-12-28
JP6282303B2 true JP6282303B2 (ja) 2018-02-21

Family

ID=57746084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086545A Active JP6282303B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置

Country Status (5)

Country Link
US (1) US10735679B2 (ja)
EP (1) EP3304888B1 (ja)
JP (1) JP6282303B2 (ja)
KR (2) KR20190104445A (ja)
CN (1) CN107615752B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12126910B2 (en) 2021-03-26 2024-10-22 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924573B2 (en) * 2016-03-15 2024-03-05 Trustees Of Dartmouth College Stacked backside-illuminated quanta image sensor with cluster-parallel readout
US11044411B2 (en) * 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus
JP7039237B2 (ja) * 2017-09-29 2022-03-22 キヤノン株式会社 撮像装置、撮像システム、移動体、回路チップ
JP7129264B2 (ja) 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
JP7245016B2 (ja) * 2018-09-21 2023-03-23 キヤノン株式会社 光電変換装置および撮像システム
JP7224708B6 (ja) 2019-03-15 2023-04-18 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法
CN112019773B (zh) * 2019-05-13 2023-06-16 上海图漾信息科技有限公司 深度数据测量头、测量装置和方法
KR102766574B1 (ko) * 2019-06-18 2025-02-12 삼성전자주식회사 픽셀 어레이 및 이미지 센서

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4103129B2 (ja) * 2002-04-19 2008-06-18 ソニー株式会社 固体撮像装置および撮像方法
JP2004048421A (ja) 2002-07-12 2004-02-12 Minolta Co Ltd 撮像装置
JP2006229627A (ja) 2005-02-17 2006-08-31 Canon Inc デジタルカメラ
JP4687139B2 (ja) * 2005-02-23 2011-05-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US20070177048A1 (en) 2006-01-31 2007-08-02 Phil Van Dyke Long exposure images using electronic or rolling shutter
JP2008118389A (ja) 2006-11-02 2008-05-22 Canon Inc 撮像装置、画像処理装置、及び画像処理方法
KR101380615B1 (ko) 2007-06-28 2014-04-14 삼성전자주식회사 영상 동적 범위 향상 방법 및 장치
JP5251412B2 (ja) * 2008-10-09 2013-07-31 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
JP5269735B2 (ja) * 2009-10-08 2013-08-21 株式会社東芝 固体撮像装置
US8699821B2 (en) 2010-07-05 2014-04-15 Apple Inc. Aligning images
JP5734121B2 (ja) 2011-07-15 2015-06-10 ルネサスエレクトロニクス株式会社 固体撮像装置
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
FR2996034B1 (fr) 2012-09-24 2015-11-20 Jacques Joffre Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
CN103973958B (zh) 2013-01-30 2018-04-03 阿里巴巴集团控股有限公司 图像处理方法及设备
JP6190184B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
TWI501639B (zh) 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
JP2015041792A (ja) * 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12126910B2 (en) 2021-03-26 2024-10-22 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof

Also Published As

Publication number Publication date
CN107615752B (zh) 2021-01-12
US20180115724A1 (en) 2018-04-26
EP3304888A4 (en) 2018-10-31
EP3304888A1 (en) 2018-04-11
US10735679B2 (en) 2020-08-04
CN107615752A (zh) 2018-01-19
JP2016225971A (ja) 2016-12-28
KR20190104445A (ko) 2019-09-09
KR20170134692A (ko) 2017-12-06
EP3304888B1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP6282303B2 (ja) 撮像素子および撮像装置
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
CN109742094B (zh) 摄像元件以及电子设备
CN105684421B (zh) 电子设备
CN106210463B (zh) 摄像装置和摄像设备
US10750106B2 (en) Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
US10356339B2 (en) Image pickup device and imaging apparatus with reducing magnification processing
JP6513164B2 (ja) 撮像素子および撮像装置
US11089217B2 (en) Image-pickup apparatus and control method thereof
WO2016194340A1 (en) Image pickup device and imaging apparatus
JP2023054229A (ja) 電子機器
JP2018019238A (ja) 撮像素子およびその駆動方法、ならびに電子機器
JP2018148590A (ja) 電子機器、及び撮像素子
JP2019220945A (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180123

R151 Written notification of patent or utility model registration

Ref document number: 6282303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151