JP7277251B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラなどの撮像装置において、非常に明るい環境下での撮影のために、撮影光量の透過率を低下させて撮影する技法が知られている。これは、明るい環境下であっても、絞りを開いて被写界深度の浅い被写体表現を実現するため、又は長秒露光を行っても飽和を発生させずに被写体（例えば、滝等）の動いた軌跡を表現するためであり、従来はＮＤフィルタ等の光学フィルタを用いて行われていた。

これに対し、特許文献１は、光電変換部により変換された電荷を蓄積部に複数回転送し、複数回転送された電荷をまとめて蓄積することで、露光時間、露光量などの条件を高速かつ自在に変化させることができる固体撮像装置を開示している。この件を応用して撮像素子の動作を制御することで、１フレーム期間において、短い蓄積期間を１フレーム期間に均等に分散させ、複数回まとめて蓄積することで光学フィルタを用いずに光量調整を可能としつつ、かつ、自然な動画を得ることができる。

また、特許文献２は、フォトダイオードにおける光電変換部からの電荷がフローティングディフュージョン部（ＦＤ部）に転送されることにより、フローティングディフュージョン部の電位が光に応じて変化する固体撮像装置を開示している。また、特許文献２では、ＦＤ部で発生するリセットによる固定パターンノイズに対し、信号電荷を転送前の暗出力をサンプリングしてコンデンサに蓄積しておき、明出力との差をとることで固定パターンノイズを除去する技術も開示されている。また、特許文献３は、各々異なるシェーディング補正を施された複数枚の露光画像データを多重加算して合成画像データを作成する際に、ノイズ低減用のダーク画像データに対しても、シェーディング補正の影響を考慮した補正を行う撮像装置を開示している。

特開２０１０－１５７８９３号公報 特開平９－４６５９６号公報 特許第０５８８９３２４号公報

しかしながら、特許文献１においては、ＦＤ部においてリセットにより発生するノイズ等の、固定パターンノイズの影響を抑制する構成が用いられておらず、ノイズにより画質が悪化してしまう。また、特許文献２の撮像装置では、ＦＤ部におけるリセットによる固定パターンノイズを暗出力として差し引くことで画質を向上させている。しかしながら、特許文献１のように１フレーム内で複数回の蓄積を行う際には、この他に光電変換部から電荷を保持するメモリ部に電荷を転送する際に発生するタイプの固定パターンノイズが存在する。特許文献２においては、メモリ部への転送の際に生じる固定パターンノイズに対する対策がなされておらず、差し引きされずに残ってしまうため、画質が悪化してしまう。また、特許文献３の撮像装置では、露光された画像にシェーディング補正が施されることによってノイズ低減演算に生じる誤差の影響を、ノイズ低減演算に用いるダーク画像に対してもそれに応じた数値的な演算を施すことで打ち消している。しかし、特許文献１のように複数回露光を行う際には、補正すべき固定パターンノイズがフローティングディフュージョン領域に発生するものと、蓄積部とフォトダイオード間の経路通過時に発生するものの２種類がある。さらに、固定パターンノイズは、一撮影周期中にそれぞれ異なる回数発生している。そのため、各々発生回数が異なる複数の種類のノイズの影響を単一のダーク画像から再現することは困難であり、ノイズ低減演算において差し引きすべき固定パターンノイズを正確に推測できず、ノイズ低減が不十分となり画質が劣化する恐れがある。

本発明は、光学フィルタを用いずに光量調整を行いつつも、撮像素子における固定パターンノイズの影響を抑制可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、１つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子と、前記撮像素子を制御し、シャッタを開いた状態で撮像した第１の画像とシャッタを閉じた状態で撮像した第２の画像とを取得する取得手段と、前記第２の画像を用いて前記第１の画像を補正する補正手段と、を備える。前記取得手段は、前記第１の画像を、１撮影周期中に前記電荷保持部に時分割で電荷を蓄積して取得し、前記第２の画像を、前記第１の画像に対応する時分割の回数以下の回数で前記電荷保持部に電荷を蓄積して取得し、前記第２の画像に対応する１回あたりの露光蓄積時間は、前記第１の画像に対応する１回あたりの露光蓄積時間より短い。

本発明によれば、光学フィルタを用いずに光量調整を行いつつも、撮像素子における固定パターンノイズの影響を抑制可能な撮像装置を提供することができる。

撮像装置の外観を示す図である。 撮像装置の構成を示す図である。 撮像素子の回路を示す図である。 読み出し回路を示す図である。 第１実施形態における、撮像素子の駆動シーケンスを示すタイミングチャートである。 従来例における、撮像素子の駆動シーケンスを示すタイミングチャートである。 第２実施形態における、撮像素子の駆動シーケンスを示すタイミングチャートである。 第３実施形態における、撮像素子の駆動シーケンスを示すタイミングチャートである。 第３実施形態における、撮像装置の構成を示す図である。 第３実施形態における、撮像動作を示すフローチャートである。

（第１実施形態）
図１は、撮像装置１００の外観図である。図１（Ａ）は撮像装置１００の正面図、図１（Ｂ）は撮像装置１００の背面図である。撮像装置１０は、例えば、静止画および動画の撮影が可能なデジタルモーションカメラである。本実施形態では、撮像装置本体とレンズが一体となった撮像装置の例を説明するがこれに限られるものではなく、例えば、レンズ交換式のデジタル一眼カメラであってもよい。また、撮像素子１８４から出力される画像信号を処理する画像処理部は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子１８４や撮像光学系とは別のハードウェアにより構成されていてもよい。また、画像処理部の機能の全部又は一部を、撮像素子１８４に搭載するようにしてもよい。

撮像装置１００は、撮像装置本体１５１、撮像装置本体１５１の正面部に撮像光学系１５２、撮像装置本体１５１の上面部にスイッチＳＴ１５４を備える。また、撮像装置１００は撮像装置本体１５１の背面部に、表示部１５３、スイッチＭＶ１５５、選択レバー１５６、メニューボタン１５７、アップスイッチ１５８、ダウンスイッチ１５９、ダイアル１６０および再生ボタン１６１を備える。

撮像装置本体１５１は、内部に撮像素子１８４やシャッタ装置を収納した撮像装置１００の本体部である。撮像光学系１５２は、撮像素子１８４に被写体の光学像を結像するための光学系であり、内部にレンズや絞りを有している。表示部１５３は、撮影情報や映像を表示するための表示部である。表示部１５３は、ダイナミックレンジの広い映像の輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、表示部１５３には、必要に応じて画面の向きを変えるための可動機構を備えていてもよい。

スイッチＳＴ１５４は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチＭＶ１５５は、動画撮影を開始および停止するためのボタンである。選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのメニューボタンである。アップスイッチ１５８およびダウンスイッチ１５９は、各種の設定値を変更するためのアップダウンスイッチである。ダイアル１６０は、各種の設定値を変更するためのダイアルである。再生ボタン１６１は、撮像装置１００内の記録媒体１９３に記録されている映像を表示部１５３上で再生する再生モードへ移行するためのボタンである。

図２は、撮像装置１００の構成例を示すブロック図である。撮像装置１００は、撮像光学系１５２、絞り１８１、絞り制御部１８２、光学フィルタ１８３、撮像素子１８４、ブレ補正レンズ１８５およびブレ補正駆動部１８６を備える。また、撮像装置１００は、デジタル信号処理部１８７、タイミング発生部１８９、システム制御ＣＰＵ１７８、スイッチ入力手段１７９およびメモリ部１９０を備える。また、撮像装置１００は、表示Ｉ／Ｆ１９１、表示部１５３、記録Ｉ／Ｆ１９２、記録媒体１９３、プリントＩ／Ｆ１９４、外部Ｉ／Ｆ１９６および無線Ｉ／Ｆ１９８を備える。

光軸１８０は、撮像光学系１５２の光軸である。撮像光学系１５２は、被写体の光学像を撮像素子１８４に結像させる。撮像光学系１５２は、フォーカスレンズ、シフトレンズ等の複数のレンズを含む。絞り１８１は、撮像光学系１５２を通る光の量を調節する。絞り制御部１８２は、絞り１８１を制御する。光学フィルタ１８３は、撮像素子１８４に入射する光の波長および撮像素子１８４に伝達する空間周波数を制限する。

撮像素子１８４は、撮像光学系１５２を介して結像された被写体の光学像を電気的な画像信号に変換する。撮像素子１８４は、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。

デジタル信号処理部１８７は、撮像素子１８４より出力された画像信号のアナログ処理とアナログ－デジタル変換を行い、デジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部１８９は、撮像素子１８４およびデジタル信号処理部１８７に各種タイミング信号を出力し、各種タイミングを制御する。システム制御ＣＰＵ１７８は、各種演算を行い、撮像装置１００全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。すなわち、タイミング発生部１８９およびシステム制御ＣＰＵ１７８は、撮像素子１８４における信号電荷の転送や蓄積、読み出しのタイミングを制御する制御手段の機能を有する。

メモリ部１９０は、映像データを一時的に記憶する。表示Ｉ／Ｆ１９１は、撮影された映像を表示部１５３に表示するためのインターフェースである。表示部１５３は、液晶ディスプレイ等の表示部である。記録Ｉ／Ｆ１９２は、記録媒体１９３に記録または読み出しを行うためのインターフェースである。記録媒体１９３は、映像データや付加データ等を記録するためのメモリ等の記録媒体である。記録媒体１９３は、撮像装置１００に備え付けられていてもよいし着脱可能でもよい。

プリントＩ／Ｆ１９４は、撮影された映像を外部のプリンタ１９５に出力し印刷するためのインターフェースである。プリンタ１９５は、小型インクジェットプリンタ等のプリンタである。外部Ｉ／Ｆ１９６は、外部装置１９７等と通信するためのインターフェースである。外部装置１９７は、コンピュータやテレビなどの画像を表示可能な装置である。無線Ｉ／Ｆ１９８は、外部のネットワーク１９９と通信するためのインターフェースである。ネットワーク１９９は、インターネットなどのコンピュータネットワークである。スイッチ入力部１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチを含み、ユーザからの操作を受け付ける。

図３は、撮像素子１８４の画素の構成を示す回路図である。撮像素子１８４は、２次元配列された多数の画素要素（画素部）を有している。図３では、撮像素子１８４の多数の画素要素のうち、１行１列目（１，１）の画素部３００と、最終行であるｍ行１列目（ｍ、１）の画素部３０１を示している。画素部３００と画素部３０１の構成は同じであるため、各画素の各構成要素には同じ符号を付している。なお、信号保持部を有する撮像素子１８４の基本構造は、特許文献１にて開示されているので説明は省略する。

＜撮像素子構成と画像信号生成過程及び減光手段の説明＞
１つの画素部３００は、フォトダイオード５００、第１の転送トランジスタ５０１Ａ、信号保持部５０７Ａ、第２の転送トランジスタ５０２Ａを有する。さらに、画素部３００は、第３の転送トランジスタ５０３、フローティングディフュージョン領域（以下、ＦＤ領域と記す）５０８、リセットトランジスタ５０４、増幅トランジスタ５０５、選択トランジスタ５０６を有する。さらに、画素部３００には、電源線５２０、電源線５２１および信号出力線５２３が含まれる。なお、本実施形態では各画素部に電荷保持部が１つある例を説明するが、これに限られるものではなく、電荷保持部は複数あってもよい。

フォトダイオード５００のアノードは、接地線に接続されている。フォトダイオード５００のカソードは、第１の転送トランジスタ５０１Ａのソース、第３の転送トランジスタ５０３のソースに、それぞれ接続されている。第１の転送トランジスタ５０１Ａのドレインは、第２の転送トランジスタ５０２Ａのソースに接続されている。第１の転送トランジスタ５０１Ａのドレインと第２の転送トランジスタ５０２Ａのソースとの間の接続ノードは、電荷保持部５０７Ａを構成する。

第２の転送トランジスタ５０２Ａのドレインは、リセットトランジスタ５０４のソースおよび増幅トランジスタ５０５のゲートに接続されている。第２の転送トランジスタ５０２Ａのドレイン、リセットトランジスタ５０４のソースおよび増幅トランジスタ５０５のゲートの接続ノードは、ＦＤ領域５０８を構成する。増幅トランジスタ５０５のソースは、選択トランジスタ５０６のドレインに接続されている。リセットトランジスタ５０４のドレインおよび増幅トランジスタ５０５のドレインは、電源線５２０に接続されている。第３の転送トランジスタ５０３のドレインは、電源線５２１に接続されている。選択トランジスタ５０６のソースは、信号出力線５２３に接続されている。信号出力線５２３の他端は、読み出し回路６００に接続されている。

撮像素子１８４の複数の画素は、行単位で、垂直走査回路７００から行方向に配された制御線に接続されている。各行の制御線は、転送トランジスタ５０１Ａ，５０２Ａ，５０１Ｂ，５０２Ｂ，５０３、リセットトランジスタ５０４、選択トランジスタ５０６のゲートにそれぞれ接続された複数の制御線を含む。垂直走査回路３０７から各トランジスタに、システム制御ＣＰＵ１７８からの制御信号に基づいて各制御パルスが送出される。各トランジスタは、制御パルスがハイレベルのときにオンとなり、制御パルスがローレベルのときにオフとなる。

具体的には、第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａにて制御される。第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａにて制御される。リセットトランジスタ５０４は、リセットパルスφＲＥＳで制御される。選択トランジスタ５０６は、選択パルスφＳＥＬで制御される。第３の転送トランジスタ５０３は、転送パルスφＴＸ３にて制御される。

＜ノイズリセット回路構成説明＞
図４は、撮像素子１８４の読み出し回路６００の構成例を示す回路図である。読み出し回路６００では、リセットノイズの補正を行うことができる。読み出し回路６００は、各画素部とは信号出力線５２３を通して接続されており、各画素部から出力された電荷信号が送られてくる。読み出し回路６００は、第１のスイッチ４１４、第２のスイッチ４１５、第３のスイッチ４１８、第４のスイッチ４１９、第１の容量４１０、第２の容量４１１、第１の水平出力線４２４、第２の水平出力線４２５、出力アンプ４２１を含む。

第１のスイッチ４１４は、容量４１０への画素信号の書き込みを制御するスイッチである。第１のスイッチ４１４は、転送パルスＴｓで制御されるスイッチであり、転送パルスＴｓがハイレベルのときにオン状態となり、信号出力線５２３の出力端子と容量４１０とを接続する。第２のスイッチ４１５は、容量４１１への画素信号の書き込みを制御するスイッチである。第２のスイッチ４１５は、転送パルスＴｎで制御されるスイッチであり、転送パルスＴｎがハイレベルのときにオン状態となり、信号出力線５２３の出力端子と容量４１１とを接続する。

第３のスイッチ４１８は、容量４１０に保持されている画素信号の出力アンプ４２１への出力を制御するスイッチである。第４のスイッチ４１９は、容量４１１に保持されている画素信号の出力アンプ４２１への出力を制御するスイッチである。第３のスイッチ４１８および第４のスイッチ４１９は、水平シフトレジスタ４３１からの制御信号に応じてオン状態になる。これにより、容量４１０に書き込まれた信号は、第３のスイッチ４１８および水平出力線４２４を介して出力アンプ４２１に出力される。また、容量４１１に書き込まれた信号は、第４のスイッチ４１９および水平出力線４２５を介して出力アンプ４２１に出力される。

出力アンプ４２１は、水平出力線４２４と水平出力線４２５からの信号の差動信号を出力する。出力アンプ４２１の出力は、デジタル信号処理部１８７に送られ、Ａ／Ｄ変換器でデジタル信号に変換される。転送パルスＴｓ、転送パルスＴｎおよび水平シフトレジスタ４３１からの信号は、システム制御ＣＰＵ１７８による制御に基づいて、タイミング発生部１８９から供給される信号である。

図５を用いて撮像素子１８４の動作の詳細を説明する。図５は、第１実施形態における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。以下の説明では、３０ｆｐｓの条件で動画撮影を行うことを想定し、１撮影周期である１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、画像信号を得る場合を例に、撮像素子の制御のタイミングを説明する。タイミングチャートに示される光電変換・蓄積・排出等のタイミング情報はメモリ部１９０に記憶されており、システム制御ＣＰＵ１７８が撮影を行う際にメモリ部１９０から読み出した上で撮像素子１８４に伝達し、撮像素子１８４の動作を制御する。

撮像素子１８４は垂直方向に多数行の画素列があり、以下の説明では、図３に示される回路図の（１，１）の画素部３００を含む第１行を例に、撮像素子の制御のタイミングを説明する。これらの制御が水平同期信号により垂直方向に走査されることで撮像素子１８４の全画素の蓄積動作が行われる。なお、図５のタイミングチャートでは時間の間隔を模式的に示しており、実際の制御の時間間隔とは異なる。

図５においては、時刻ｔ１～時刻ｔ１６までを一つの撮影周期（Ｎ番目の撮影周期）とする。以下では、撮影条件として、動画は１／３０秒の周期中に、動画信号の主成分となる明出力信号として１／４８０秒の蓄積を４回加算することにより１／１２０秒の露光１回分と等価な露光量を得る場合を一例として示している。

まず、時刻ｔ１において、垂直走査回路７００から供給される第１行の転送パルスφＴＸ３（１）がハイレベルからローレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されてフォトダイオード５００での信号電荷の蓄積が開始される。また、同時に第１行の転送パルスφＴＸ１（１）がローレベルからハイレベルとなる。これにより、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷は第１行の動画の電荷を保持する信号保持部５０７Ａへ転送が開始される。この時点を撮影周期の開始とする。なお、時刻ｔ１においてシャッタは閉じており、いわゆるダーク画像が撮像される。

時刻ｔ２において、第１行の転送パルスφＴＸ１（１）がローレベルとなる。これにより、第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。また、同時に第１行の転送パルスφＴＸ３（１）がローレベルからハイレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００が再びリセット状態になる。

時刻ｔ３において、時刻ｔ１の時と同様に、再び第１行の転送パルスφＴＸ３（１）がハイレベルからローレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されてフォトダイオード５００での信号電荷の蓄積が開始される。また、同時に第１行の転送パルスφＴＸ１（１）がローレベルからハイレベルとなる。これにより、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷は第１行の動画の電荷を保持する信号保持部５０７Ａへ転送が開始される。

時刻ｔ４において、時刻ｔ２の時と同様に、第１行の転送パルスφＴＸ１（１）がローレベルとなる。これにより、第３の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。また、同時に第１行の転送パルスφＴＸ３（１）がローレベルからハイレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００が再びリセット状態になる。

時刻ｔ３～時刻ｔ４の動作は時刻ｔ１からｔ２の動作の繰り返し動作となっており、本実施形態では、上記繰り返し動作が、時刻ｔ４の後にさらに２回行われ、総計で図示の蓄積時間６０１－１，６０１－２，６０１－３，６０１－４の計４回行われる。なお、蓄積時間６０１－３、６０１－４における制御動作は、蓄積時間６０１－１，６０１－２とすべて同様であるため説明を省略する。上記４回の動作により生じた電荷信号は、信号保持部５０７Ａにおいて積算されて保持される。蓄積時間６０１－１～６０１－４では、シャッタが閉じた状態で露光蓄積が行われ、暗出力信号（第２の画像信号）が取得される。

なお、本実施形態では、光電変換された電荷の信号保持部５０７Ａへの転送を４回行う例を説明したが、これに限られるものではなく、信号保持部５０７Ａへの転送すなわち蓄積部である信号保持部５０７Ａでの蓄積は複数回行われればその回数は問わない。なお、時刻ｔ１～ｔ２等の４回の暗出力信号の蓄積時間はそれぞれ、後述する明出力信号における蓄積時間に対し、短い時間であるとする。望ましくは、撮像装置１００が制御可能な最小時間単位の時間であることが求められる。

上記４回の繰り返しが終了した後、時刻ｔ５において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなる。これにより、第１行のリセットトランジスタ５０４がオフとなって、ＦＤ領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなる。これにより、第１行の選択トランジスタ５０６がオンとなって、第１行の電荷信号の読み出しが可能となる。

時刻ｔ６において、第１行の転送パルスφＴＸ２（１）がハイレベルとなる。これにより、第１行の第２の転送トランジスタ５０２Ａがオンとなって、信号保持部５０７Ａに保持されていた電荷信号がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出され、読み出し回路６００に供給される。この時、同時に読み出し回路６００内の転送パルスＴｎがハイレベルとなる。これにより、回路内の第２のスイッチ４１５がオンとなって、信号出力線５２３を通じて読み出し回路６００に供給された電荷信号は信号保持部４１１に転送されて保持される。

時刻ｔ７において第１行のリセットパルスφＲＥＳ（１）がハイレベルになる。これにより、リセットトランジスタ５０４がオン状態になり、第１行のＦＤ領域５０８および第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ７においては、第１行の選択パルスφＳＥＬ（１）、第１行の転送パルスφＴＸ２（１）、読み出し回路６００の転送パルスＴｎはローレベルとなっている。信号保持部４１１に転送されて保持された信号は、固定パターンノイズ信号を主として含む暗出力信号である。

時刻ｔ８において、再び垂直走査回路７００から供給される第１行の転送パルスφＴＸ３（１）がハイレベルからローレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されてフォトダイオード５００での動画用としての信号電荷の蓄積が開始される。

時刻ｔ９において、第１行の転送パルスφＴＸ１（１）がローレベルからハイレベルになる。これにより、第１の転送トランジスタ５０１Ａがオンとなり、時刻ｔ８からフォトダイオード５００に蓄積され続けていた信号電荷は、第１行の動画の電荷を保持する信号保持部５０７Ａに転送され始める。

時刻ｔ１０において第１行の転送パルスφＴＸ１（１）がハイレベルからローレベルになる。これにより、第１行の転送トランジスタ５０１Ａがオフとなった時点で、信号保持部５０７Ａへのフォトダイオードからの電荷の転送が終了する。同時に、第１行の転送パルスφＴＸ３（１）がローレベルからハイレベルに戻り、再び第１行のフォトダイオード５００がリセット状態になる。

時刻ｔ８から時刻ｔ１０が、撮影周期における動画の１回の蓄積時間１／４８０秒に相当し、右上がり斜線部領域の蓄積時間６０２－１として図示される。このような蓄積動作を離散的に４回行い、右上がり斜線部領域の蓄積時間６０２－１、６０２－２、６０２－３、６０２－４として図示される。そして、これら４回の蓄積を加算することで１回分の蓄積と同等の蓄積時間（１／４８０秒×４回＝１／１２０秒）を得る。なお、蓄積時間６０２－２、６０２－３、６０２－４における制御動作は蓄積時間６０２－１とすべて同様であるため説明を省略する。蓄積時間６０２－１～６０２－４では、シャッタが開いた状態で露光蓄積が行われ、明出力信号（第１の画像信号）が取得される。

時刻ｔ１１において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなる。これにより、第１行のリセットトランジスタ５０４がオフとなって、ＦＤ領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなる。これにより、第１行の選択トランジスタ５０６がオンとなって、第１行の電荷信号の読み出しが可能となる。

時刻ｔ１２において、第１行の転送パルスφＴＸ２（１）がハイレベルとなる。これにより、第１行の第２の転送トランジスタ５０２Ａがオンとなって、信号保持部５０７Ａに保持されていた電荷信号がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５および選択トランジスタ５０６を介して信号出力線５２３に読み出され、読み出し回路６００に供給される。この時、同時に読み出し回路６００内の転送パルスＴｓがハイレベルとなる。これにより、回路内の第１のスイッチ４１４がオンとなって、信号出力線５２３を通じて読み出し回路６００に供給された電荷信号は信号保持部４１０に転送されて保持される。

時刻ｔ１３において、第１行のリセットパルスφＲＥＳ（１）がハイレベルとなる。これにより、リセットトランジスタ５０４がオン状態になり、第１行のＦＤ領域５０８および第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ１３には、第１行の選択パルスφＳＥＬ（１）、第１行の転送パルスφＴＸ２（１）、読み出し回路６００の転送パルスＴｓはローレベルとなっている。

ここで、信号保持部４１０に転送されて保持された信号は、最終的な画像出力信号の主成分となる明出力信号である。なお、本実施形態においては、明出力信号と暗出力信号の露光・蓄積を等しく４回行う例について説明するが、これに限られるものではなく、暗出力信号を取得する際の露光・蓄積の繰り返し回数は、明出力信号の露光・蓄積の繰り返し回数以下であればよい。

時刻ｔ１４において、水平シフトレジスタ４３１からの信号Ｔｄがハイレベルとなる。これにより、第３のスイッチ４１８と第４の４１９を同時にオンの状態にする。そして、信号保持部４１０に書き込まれた最終的な画像出力信号の主成分となる明出力信号を水平出力線４２４を介して出力アンプ４２１に出力する。また、信号保持部４１１に書き込まれた固定パターンノイズ信号を主として含む暗出力信号を水平出力線４２５を介して出力アンプ４２１に出力する。出力アンプ４２１では水平出力線４２４および水平出力線４２５からの信号の差動信号を出力する。これにより、最終的な画像出力信号の主成分となる明出力信号から残留固定パターンノイズを取り除いた画像信号を取り出すことが可能となる。

時刻ｔ１５において、パルス信号Ｔｄがハイレベルからローレベルとなる。これにより、第３のスイッチ４１８と第４の４１９をオフの状態にして、出力アンプ４２１への出力が終了し、撮影周期が終了する。

時刻ｔ１６において、時刻ｔ１の際と同様に第１行の転送パルスφＴＸ３（１）がハイレベルからローレベルとなる。これにより、第３の転送トランジスタ５０３Ａがオフになり、光電変換部５００のリセット状態が解除され、時刻ｔ１６からｔ１７で図示される次の撮影周期が開始される。これは、時刻ｔ１からｔ１５で解説した一つ前の撮影周期における動作と同様の動作の繰り返しとなるため、詳しい説明は省略する。

なお、第２行目のタイミングチャートは、時刻ｔ１直後の水平同期振動φＨに同期して実行される。すなわち時刻ｔ１から時刻ｔ１６の間に全行のタイミングチャートが開始される。例えば、時刻ｔ０のときの水平同期信号φＨによって開始されるタイミングチャートを第ｍ行とする。そのときのスイッチ信号は、φＳＥＬ（ｍ）、φＲＥＳ（ｍ）、φＴＸ３（ｍ）、φＴＸ１Ａ（ｍ）、φＴＸ１Ｂ（ｍ）、φＴＸ２Ａ（ｍ）、φＴＸ２Ｂ（ｍ）と表すことが可能となる。

＜減光手段による光量調整効果＞
以上のようなタイミングチャートにより、動画信号の主成分となる明出力信号を、１／３０秒の１撮影周期中に時分割した１／４８０秒の蓄積を４回加算することで、１／１２０秒の露光１回分と等価な露光量を得ることができる。この露光量は、１撮影周期である１／３０秒間フルに露光した場合に比して、１／４の露光時間となっている。よって、総露光量が１／４となる、ＮＤ２段分の減光効果が発揮されている。

本実施形態ではＮＤ２段分の効果を発揮する例を説明したが、１回あたりの露光（光電変換）・蓄積時間１／４８０秒を適宜設定することによって、総露光量を制御し、減光効果を任意に調整することができる。例えば、１／３０秒の１撮影周期中に４回に渡り露光・蓄積・転送動作を繰り返す場合、１回あたりの設定可能な露光時間は、最大で１撮影周期である１／３０秒の１／４にあたる１／１２０秒となる。このとき、露光時間の合計は１／１２０秒露光を４回繰り返すため、４倍して、１／３０秒となり、１撮影周期の時間である１／３０秒に等しくなる。これがＮＤ効果なしの状態に相当する。

また、１／３０秒の１撮影周期中に４回に渡り露光・蓄積・転送動作を繰り返し、１回あたりの露光時間が半分の１／２４０秒である場合、同様に露光時間の合計は１／２４０秒を４倍して、１／６０秒となる。これは１撮影周期の時間である１／３０秒の１／２なので、１／３０秒全て露光した場合に比べて１／２の光量を受けたことになる。つまり、光量を１／２にする、ＮＤ１段分の効果となる。また、同様に１回あたりの露光時間が１／４８０秒である場合、露光時間の合計は１／４８０秒を４倍して、１／１２０秒となる。これは１撮影周期の時間である１／３０秒の１／４なので、１／３０秒全て露光した場合に比べて１／４の光量を受けたことになる。つまり、光量を１／４にする、ＮＤ２段分の効果となる。同様に１回あたりの露光時間が１／９６０秒である時、光量が１／８となるＮＤ３段分の効果が、さらには１回当たりの露光時間が１／１９２０秒である時、光量が１／１６となるＮＤ４段分の効果が発揮される。このように、１回あたりの露光・蓄積時間を調整することで、減光量を調整することが可能となっている。

本実施形態の撮影動作で得られた動画は、１／３０秒の撮影周期中に略等間隔で設定された短い蓄積時間を加算することによって、１つの画像信号を得る構成となっている。そのため、コマ送り的なパラパラ感のない高品位な動画を得ることができる。なお、上記実施形態では、動画の蓄積加算回数を４回前提で説明したが、例えば８回、１６回、３２回、６４回の場合でも適用可能である。

＜固定パターンノイズの除去＞
ただし、動画信号の主成分となる明出力信号においては、画素における残留固定パターンノイズが含まれ、画質の悪化を引き起こす懸念がある。本実施形態においては、残留固定パターンノイズによる画質の悪化を抑制するために、動画信号の主成分となる明出力信号から、画素に生じる固定パターンノイズの信号を差し引くために、固定パターンノイズ信号を見積もるための期間を設けて対応している。図５における時刻ｔ１から時刻ｔ７までの期間がそれに相当する。

従来、固定パターンノイズ対策としては、ＦＤ領域５０８で生じるリセットノイズを想定し、その影響の除去を行う技術が特許文献１において紹介されている。従来技術を適用した場合の撮像タイミングチャートを図６に示す。図６は、従来例における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。図６は、図５と同じく、３０ｆｐｓの条件で動画撮影を行うことを想定し、１撮影周期である１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、画像信号を得る場合に対応している。時刻Ｔ１から時刻Ｔ１２までを１つの撮影周期としている。

従来例（図６）と本実施形態（図５）が異なる点は、固定パターンノイズを見積もる期間の動作にある。従来例では、撮影周期は時刻Ｔ１において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると、第１行のリセットトランジスタ５０４がオフとなって、ＦＤ領域５０８のリセット状態が解除される時点から始まる。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の電荷信号の読み出しが可能となる。これは、本実施形態における時刻ｔ５の動作と同じ動作である。本実施形態では、ｔ１から始まってｔ５までに４回繰り返される６０１－１、６０１－２、６０１－３、６０１－４のフォトダイオードから転送トランジスタ５０１Ａを経由した信号保持部５０７Ａへの転送・蓄積の期間が存在した。しかし、従来例のタイミングチャートではこれが存在しない。

また、従来例における時刻Ｔ２では第１行の転送パルスφＴＸ２（１）がハイレベルとなると、第１行の第２の転送トランジスタ５０２Ａがオンとなって、信号保持部５０７Ａに保持されていた電荷信号がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出され、読み出し回路６００に供給される。この時、同時に読み出し回路６００内の転送パルスＴｎがハイレベルとなり、回路内の第２のスイッチ４１５がオンとなって、信号出力線５２３を通じて読み出し回路６００に供給された電荷信号は信号保持部４１１に転送されて保持される。これは本実施形態における時刻ｔ６の動作と等しい動作であるが、上述したように、本実施形態では存在した蓄積時間６０１－１～６０１－４の転送・蓄積動作が、従来例では存在しない。そのため、従来例の時刻Ｔ２で信号保持部４１１に転送されて保持された電荷は、フォトダイオード５００及び転送トランジスタ５０１Ａ由来の電荷は存在せず、ＦＤ領域５０８で生じるリセットノイズ信号のみが暗出力信号として保持されている。

時刻Ｔ３において、第１行のリセットパルスφＲＥＳ（１）がハイレベルとなる。これにより、リセットトランジスタ５０４がオン状態になり、第１行のＦＤ領域５０８および第１の信号保持部５０７Ａがリセットされる。なお、時刻Ｔ３には、第１行の選択パルスφＳＥＬ（１）、第１行の転送パルスφＴＸ２（１）、読み出し回路６００の転送パルスＴｎはローレベルとなっている。これは、上記と同様に図５における時刻ｔ７の動作に等しい。

図６における時刻Ｔ４～時刻Ｔ９の動作は、蓄積時間６０２－１，６０２－２，６０２－３，６０２－４の４回繰り返す露光・蓄積期間を通じて明出力信号を得る動作である。これは、図５における時刻ｔ８～ｔ１３の蓄積時間６０２－１～６０２－４の４回繰り返す露光・蓄積期間を通じて明出力信号を得る動作と等しい動作を行っており、両者は等しい明出力信号が得られる。そのため、説明を省略する。得られた明出力信号は、信号保持部４１０に保持される。

図６の時刻Ｔ１０において、図５の時刻ｔ１４と同様に、読み出し回路の水平シフトレジスタ４３１からの信号Ｔｄがハイレベルになる。これにより、第３のスイッチ４１８と第４のスイッチ４１９を同時にオンの状態にする。そして、信号保持部４１０に書き込まれた画像出力信号の主成分となる明出力信号を水平出力線４２４を介して出力アンプ４２１に出力する。また、信号保持部４１１に書き込まれた固定パターンノイズ信号を主として含む暗出力信号を水平出力線４２５を介して出力アンプ４２１に出力する。出力アンプ４２１では、水平出力線４２４、水平出力線４２５からの信号の差動信号を出力する。これにより、最終的な画像出力信号の主成分となる明出力信号から残留固定パターンノイズを取り除いた画像信号を取り出すことが可能となる。

このとき、図６における信号保持部４１１に保持されている暗出力信号はＦＤ領域５０８で生じるリセットノイズ信号のみであり、それを固定パターンノイズ信号として明出力信号から差し引きしている。特許文献１においては、明出力信号（以下、Ｓｓとする）の値から上記ＦＤ領域５０８のリセットノイズ信号（以下、第１のノイズ信号ＳＲとする）のみを差し引きすることで、画質の向上を図っている。

一方、本実施形態のように、各画素において電荷保持部５０７Ａを光電変換部５００からＦＤ領域５０８までの間の経路に有する撮像素子の場合、固定パターンノイズの発生源はフローティングディフュージョン５０８のみではない。光電変換部５００にて生じた電荷信号は、時刻ｔ９～ｔ１０の動作ように、光電変換部と電荷保持部５０７Ａの間の転送を制御する第１の転送トランジスタ５０１Ａのオフ／オン切替によって光電変換部５００から電荷保持部５０７Ａへ移動される。このとき、電荷保持部５０７Ａには、光電変換部５００で生じた電荷信号に加えて、前述の従来例にはない、第１の転送トランジスタ５０１Ａを経由した転送に起因する固定パターンノイズＳ_Ｔが加算されて保持される。

一例として、図５において、時刻ｔ８～時刻ｔ１０の間に蓄積時間６０２－１で図示された１回の露光・転送・蓄積動作後に、電荷保持部５０７Ａに保持された総電荷をＳａ１とする。１回の露光時間（１／４８０秒）において光電変換部５００で光電変換によって生じた電荷をＳｐとすると、Ｓａ１＝Ｓｐ＋Ｓ_Ｔとなる。

また、複数回の露光・蓄積を繰り返す本実施形態では、第１の転送トランジスタ５０１Ａのオフ／オン切替を行うことによる、光電変換部５００から電荷保持部５０７Ａへの転送を、複数回繰り返し行っている。そのため、第１の転送トランジスタ５０１Ａを経由した転送に起因する固定パターンノイズＳ_Ｔは、１回の転送ごとに毎回略同量が生じる。電荷保持部５０７Ａには、最終的に光電変換部５００にて光電変換によって生じた電荷に加えて、第１の転送トランジスタ５０１Ａのオフ／オン切替回数に略線形比例した量の固定パターンノイズが保持されることとなる。この場合、Ｍ回転送後の電荷保持部５０７Ａに保持された総電荷ＳａＭは、ＳａＭ＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔとなる。上記例においては４回の転送が行われているため、総電荷はＳａ４＝４×Ｓｐ＋４×Ｓ_Ｔとなる。

この後、時刻ｔ１１においてＦＤ領域５０８のリセットを解除した後、信号保持部５０７Ａから第２の転送トランジスタ５０２Ａを経由してＦＤ領域５０８、信号出力線５２３へ信号電荷が転送される。この際、ＦＤ領域５０８の通過に際して、ＦＤ領域５０８におけるリセットノイズ信号ＳＲが加算される。よって、明出力信号Ｓｓとして信号出力線５２３から読み出し回路６００へ出力される電荷信号は、転送回数をＭ回とすると、Ｓｓ＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒである。本実施形態においては４回の転送が行われているため、明出力信号ＳｓはＳｓ＝４×Ｓｐ＋４×Ｓ_Ｔ＋Ｓ_Ｒとなる。このように、明出力信号Ｓｓには、光電変換によって生じた電荷Ｓｐに加えて、固定パターンノイズとして転送トランジスタ５０１Ａ経由の転送に起因するノイズであるＭ回分のＳ_Ｔと、ＦＤ起因の１回分のリセットノイズＳ_Ｒが含まれる。

明出力信号Ｓｓから、従来例通りにＦＤ領域５０８におけるリセットノイズＳ_Ｒのみの差し引きを行うと、従来例においては、差し引きされた最終的な出力信号ＳＦは、転送回数をＭ回とすると下記の式で表される。
ＳＦ＝Ｓｓ－Ｓ_Ｒ
＝（Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒ）－Ｓ_Ｒ
＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ
このように、従来例では、最終的な出力信号ＳＦにはＭ回分の第１の転送トランジスタ５０１Ａ経由の転送に起因するノイズＭ×Ｓ_Ｔのノイズ成分が全て残ってしまい、画質悪化の原因となってしまう。４回の転送が行われている場合は、最終的な出力信号ＳｓはＳｓ＝４×Ｓｐ＋４×Ｓ_Ｔとなり、４回分のノイズ成分Ｓ_Ｔが残留していることになる。

一方、本実施形態では、図５における時刻ｔ１～時刻ｔ７の間に、リセットノイズＳ_Ｒ取得に加え、複数回の第１の転送トランジスタ５０１Ａのオン／オフ切替による転送に起因するノイズＳ_Ｔを含めたノイズ補正信号Ｓｎの取得を行っている。そのため、第１の転送トランジスタ５０１Ａ経由の転送に起因するノイズを除去することができる。

具体的には、図５の時刻ｔ１～時刻ｔ２のごく短時間の期間において、転送パルスφＴＸ３がハイレベルからローレベルとなり、第１行のフォトダイオード５００のリセットが解除される。同時に転送パルスφＴＸ１がローレベルからハイレベルとなり、第１の転送トランジスタ５０１Ａがオン状態になる。この時、フォトダイオード５００においてごく短時間に光電変換で生じたわずかな電荷をＳｐ＿ｍｉｎとすると、この電荷Ｓｐ＿ｍｉｎは信号保持部５０７Ａへと転送されることとなる。また、この際に第１の転送トランジスタ５０１Ａを経由して光電変換部５００から信号保持部５０７Ａへの転送が行われているため、それに付随して、第１の転送トランジスタ５０１Ａを経由する転送に起因したノイズＳ_Ｔが生じる。この転送に起因するノイズＳ_Ｔはわずかな電荷Ｓｐ＿ｍｉｎと共に信号保持部５０７Ａに加算蓄積されて保持される。その結果、時刻ｔ１～時刻ｔ２の蓄積時間６０１－１で図示された１回の露光・転送・蓄積動作後に、電荷保持部５０７Ａに保持された総電荷Ｓａ１は、Ｓａ１＝Ｓｐ＿ｍｉｎ＋Ｓ_Ｔとなる。

時刻ｔ３以降に蓄積時間６０１－１と同様の動作が蓄積時間６０１－２，６０１－３，６０１－４で計４回繰り返される。第１の転送トランジスタ５０１Ａを経由することに起因するノイズＳ_Ｔは転送回数に略線形比例して積算されるため、Ｍ回転送後の電荷保持部５０７Ａに保持された最終的な電荷ＳａＭは、ＳａＭ＝Ｍ×Ｓｐ＿ｍｉｎ＋Ｍ×Ｓ_Ｔとなる。本実施形態では、Ｍ＝４回であるため、最終的な電荷Ｓａ４は、Ｓａ４＝４×Ｓｐ＿ｍｉｎ＋４×Ｓ_Ｔとなる。

時刻ｔ５～時刻ｔ７においてＦＤ領域５０８のリセットを解除した後、信号保持部５０７Ａから第２の転送トランジスタ５０２Ａを経由してＦＤ領域５０８、ひいては信号出力線５２３へ信号電荷が転送される。この際、ＦＤ領域５０８の通過に際して、ＦＤ領域５０８におけるリセットノイズ信号Ｓ_Ｒが加算される。信号出力線５２３から読み出し回路６００へ出力される暗出力信号Ｓｎは、Ｍ回転送時にはＳｎ＝Ｍ×Ｓｐ＿ｍｉｎ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒとなる。本実施形態においてはＭ＝４回であるため、Ｓｎ＝４×Ｓｐ＿ｍｉｎ＋４×Ｓ_Ｔ＋Ｓ_Ｒとなる。この暗出力信号Ｓｎは、信号保持部４１１に保持される。

また、時刻ｔ８以降に蓄積時間６０２－１，６０２－２，６０２－３，６０２－４で示された１／４８０秒間ずつの４回の露光・転送・蓄積により取得する明出力信号Ｓｓの電荷量はＳｓ＝４×Ｓｐ＋４×Ｓ_Ｔ＋Ｓ_Ｒである。この明出力信号Ｓｓの電荷は信号保持部４１０に保持される。Ｍ回転送の場合、Ｓｓ＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒとなる。

時刻ｔ１４～時刻ｔ１５において、信号保持部４１０に保存された明出力信号Ｓｓから、信号保持部４１１に保存された暗出力信号Ｓｎの差分をとった最終的な出力信号ＳＦは、Ｍ回転送時においては、下記の式で表される。
ＳＦ ＝Ｓｓ－Ｓｎ
＝（Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒ）－（Ｍ×Ｓｐ＿ｍｉｎ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒ）
＝Ｍ×（Ｓｐ－Ｓｐ＿ｍｉｎ）
このとき、電荷Ｓｐ＿ｍｉｎを発生させる露光時間は撮像装置１００が制御可能な最小時間単位であり、極めて短時間であるとして、Ｓｐ＞＞Ｓｐ＿ｍｉｎとする。この場合、ＳＦ＝Ｍ×（Ｓｐ－Ｓｐ＿ｍｉｎ）をＳＦ＝Ｍ×Ｓｐと近似でき、ノイズの影響を排除し、光電変換によって生じた電荷信号Ｓｐの項のみを取り出せたこととなる。本実施形態ではＭ＝４回であり、ＳＦ＝４×Ｓｐとなる。なお、本実施形態ではＳｐ＿ｍｉｎの露光時間を撮像装置が制御可能な最小時間単位としたが、それに限定されるものではなく、明出力信号の取得の際の１回あたりの露光時間より短ければよい。

ただし、時刻ｔ１～時刻ｔ２で生じた電荷Ｓｐ＿ｍｉｎが、時刻ｔ８～時刻ｔ１０で生じた電荷Ｓｐに対し、無視できるほど小さくない場合も存在する。例えば、減光手段による減光割合が増加する場合に起こりうる。本実施形態ではＮＤ２段を想定して、明出力信号取得の際の１回あたりの露光蓄積時間が１／４８０秒であった。しかし、ＮＤ３段であれば１／９６０秒、ＮＤ４段であれば１／１９２０秒と、明出力信号取得の際の１回あたりの露光蓄積時間が短くなる。この場合、明出力信号の１回あたりの露光蓄積で得られる電荷Ｓｐの値は小さくなる。一方で、暗出力信号を取得する際の時間は変わらないため、電荷Ｓｐ＿ｍｉｎの値は不変である。その結果、電荷Ｓｐ＿ｍｉｎより十分に大きい値を持っていた電荷Ｓｐも、ＮＤ段数が上がると、両者の差が相対的に減少し、電荷Ｓｐ＿ｍｉｎの影響を無視できなくなってくる。

そこで、設定されたＮＤ段数において、電荷Ｓｐ＿ｍｉｎが電荷Ｓｐに対し無視できるほど小さくない場合、最終的な出力信号ＳＦ＝Ｍ×（Ｓｐ－Ｓｐ＿ｍｉｎ）においてノイズが除去できた信号が取得できるようにする。そのためには、明出力信号取得の際の１回あたりの露光時間を電荷Ｓｐ＿ｍｉｎによる減少量に相当する分だけ増加すればよい。一例として、Ｓｐ＿ｍｉｎを差し引くことでＳｐに対して１０％の減少がある場合には、明出力信号取得の際の１回あたりの露光時間１／４８０秒を、減少の影響を打ち消すべく１０％増加させ、１１／４８００秒を１回当たりの露光時間と設定すればよい。すなわち、減光手段による減光量が所定の減光量を超えた場合には、明出力信号取得の際の１回あたりの露光時間を、暗出力信号取得の際の１回あたりの露光蓄積時間の分増やせばよい。このように、減光手段による減光量が所定の割合を超えた場合には、明出力信号取得の際の１回あたりの露光時間を増加させることで、ノイズの影響を抑制することができる。

以上、本実施形態によると、短い蓄積期間を１フレーム期間に均等に分散させ、複数回まとめて蓄積することで撮像信号を得る場合においても、複雑な固定パターンノイズ成分を撮像信号より除去し、画質を向上させることができる。

（第２実施形態）
第１実施形態においては、明出力信号を得る期間における４回の露光・蓄積動作（６０２－１～６０２－４）の繰り返し回数と同回数である４回の期間で、ノイズ補正信号作成のための暗出力を得る露光・蓄積動作（６０１－１～６０１－４）を行っていた。本実施形態では、１回の暗出力の露光・蓄積回数によりノイズ補正情報を取得する例について説明する。なお、本実施形態では、明出力信号を得る期間における露光・蓄積動作より少ない回数の例として１回の場合について説明するがこれに限られるものではなく、暗出力を得る露光蓄積動作の回数は、明出力を得る露光蓄積動作の回数以下であればよい。

図７は、第２実施形態における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。以下の説明では、第１実施形態（図５）と同様に、３０ｆｐｓの条件で動画撮影を行うことを想定し、１撮影周期である１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、画像信号を得る場合を例に、撮像素子の制御のタイミングを説明する。タイミングチャートに示される光電変換・蓄積・排出等のタイミング情報はメモリ部１９０に記憶されており、システム制御ＣＰＵ１７８が撮影を行う際にメモリ部１９０から読み出した上で撮像素子１８４に伝達し、撮像素子１８４の動作を制御する。図７においては、時刻ｔ１～時刻ｔ１７までを一つの撮影周期（Ｎ番目の撮影周期）として、時刻ｔ１７以降はその繰り返しとなる。

時刻ｔ１において、垂直走査回路７００から供給される第１行の転送パルスφＴＸ３（１）がハイレベルからローレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されてフォトダイオード５００での信号電荷の蓄積が開始される。また同時に、第１行の転送パルスφＴＸ１（１）がローレベルからハイレベルになる。これにより、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷は第１行の動画の電荷を保持する信号保持部５０７Ａに転送され始める。この時刻ｔ１を撮影周期の開始とする。

時刻ｔ２において、第１行の転送パルスφＴＸ１（１）がローレベルとなる。これにより、第１の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。また同時に、第１行の転送パルスφＴＸ３（１）がローレベルからハイレベルとなる。これにより、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００が再びリセット状態になる。

第２実施形態では、時刻ｔ１～時刻ｔ２で１回の蓄積・転送動作が行われているため、信号保持部５０７Ａに保存された暗出力信号は、このわずかな蓄積時間に生じた電荷Ｓｐ＿ｍｉｎと転送に起因するノイズＳ_Ｔが１回だけ加算されている。そのため、時刻ｔ１～時刻ｔ２の蓄積時間７０１－１で図示された１回の露光・転送・蓄積動作後に、電荷保持部５０７Ａに保持された総電荷Ｓａ１’’は、Ｓａ１’’＝Ｓｐ＿ｍｉｎ＋Ｓ_Ｔとなる。時刻ｔ１～時刻ｔ２は第１実施形態と同様であるが、第１実施形態では暗出力信号取得のために４回の蓄積・転送動作を行ったのに対し、第２実施形態においては暗出力信号の取得のための信号保持部５０７Ａへの蓄積・転送動作をこの１回のみで終了する。

時刻ｔ３において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなる。これにより、第１行のリセットトランジスタ５０４がオフとなって、ＦＤ領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなる。これにより、第１行の選択トランジスタ５０６がオンとなって、第１行の電荷信号の読み出しが可能となる。

時刻ｔ４において、第１行の転送パルスφＴＸ２（１）がハイレベルとなる。これにより、第１行の第２の転送トランジスタ５０２Ａがオンとなって、信号保持部５０７Ａに保持されていた電荷信号がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。この際、ＦＤ領域５０８を通過する際にリセットノイズＳ_Ｒが加算された信号が信号出力線５２３に読み出されており、この読み出された暗出力信号をＳｎ１’’とすると、Ｓｎ１’’＝Ｓｐ＿ｍｉｎ＋Ｓ_Ｔ＋Ｓ_Ｒとなる。

また、第２実施形態では第１実施形態の場合と異なり、信号出力線５２３が直接デジタル信号処理部１８７に連結しているとする。信号出力線５２３を通じてデジタル信号処理部１８７に出力された暗出力信号の情報は、ＣＰＵ１７８によりメモリ部１９０に保存され。

時刻ｔ５において第１行のリセットパルスφＲＥＳ（１）がハイレベルになる。これにより、リセットトランジスタ５０４がオン状態になり、第１行のＦＤ領域５０８、第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ５には、第１行の選択パルスφＳＥＬ（１）、第１行の転送パルスφＴＸ２（１）はローレベルとなっている。

時刻ｔ６において、再び第１行のリセットパルスφＲＥＳ（１）がローレベルとなる。これにより、第１行のリセットトランジスタ５０４がオフとなって、ＦＤ領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなる。これにより、第１行の選択トランジスタ５０６がオンとなって、第１行の電荷信号の読み出しが可能となる。

時刻ｔ７において、第１行の転送パルスφＴＸ２（１）がハイレベルとなる。これにより、第１行の第２の転送トランジスタ５０２Ａがオンとなって、信号保持部５０７Ａに保持されていた電荷信号がＦＤ領域５０８に転送される。そして、ＦＤ領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５および選択トランジスタ５０６を介して信号出力線５２３に読み出される。この時、時刻ｔ５～時刻ｔ７の間には露光・蓄積動作が１回も行われていないため、従来例の場合と同様に、信号出力線５２３に読み出される信号には、ＦＤ領域５０８におけるリセットノイズＳ_Ｒのみが含まれる。これを第２の暗出力信号Ｓｎ２”（＝ＳＲ）とする。第２の暗出力信号Ｓｎ２”は、信号出力線５２３からデジタル信号処理部１８７に出力され、ＣＰＵ１７８によりメモリ部１９０に情報が保存される。時刻ｔ１～時刻ｔ８までに得られた２種の信号は、ともに固定パターンノイズを主とする暗出力信号である。暗出力信号の情報はデジタル信号処理部１８７を通じてメモリ部１９０に記憶されている。

時刻ｔ９～時刻ｔ１４までの動作は、４回繰り返す露光・蓄積期間を通じて明出力信号を得る動作である。これは、第１実施形態（図５）の時刻ｔ８～時刻ｔ１３において４回繰り返す露光・蓄積期間（蓄積時間６０２－１～６０２－４）を通じて明出力信号を得る動作と同様であるため、説明を省略する。第１実施形態と第２実施形態とでは、等しい明出力信号が得られる。ただし、信号出力線５２３に読み出された信号は、直接デジタル信号処理部１８７に出力され、ＣＰＵ１７８によりメモリ部１９０に明出力情報として保存されるものとする。

４回の露光・蓄積を行う場合、明出力信号Ｓｓは、固定パターンノイズ信号であるＳ_Ｔ，Ｓ_Ｒを含み、Ｓｓ＝４×Ｓｐ＋４×Ｓ_Ｔ＋Ｓ_Ｒで表される。固定パターンノイズ信号を含むため、このままでは画質が悪化している懸念がある。明出力信号Ｓｓは、転送に起因するノイズＳ_Ｔは４回分、リセットノイズＳ_Ｒは１回分と含まれる回数が異なる。そのため、明出力信号Ｓｓから除去すべきノイズ信号を単純に１回ずつのＳ_Ｔ，Ｓ_Ｒを含む第１の暗出力信号Ｓｎ１”＝Ｓｐ＿ｍｉｎ＋Ｓ_Ｔ＋Ｓ_Ｒの整数倍では見積もることができない。

そこで、本実施形態では、メモリ部１９０に保存した、第１の暗出力信号Ｓｎ１”と第２の暗出力信号Ｓｎ２”を組み合わせて、明出力信号Ｓｓより差し引くことで、ノイズ影響の除去を行う。ノイズ除去演算後の最終的な画像出力信号をＳＦ、明出力信号取得時の露光・蓄積繰り返し回数をＭ回とすると、下記の式で演算することでノイズ影響を除去できる。
ＳＦ＝Ｓｓ－Ｍ×（Ｓｎ１”－Ｓｎ２”）－Ｓ_Ｒ
この時、Ｓｎ１”＝Ｓｐ＿ｍｉｎ＋Ｓ_Ｔ＋Ｓ_Ｒ，Ｓｎ２”＝Ｓ_Ｒ，Ｓｓ＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒなので、上記式は下記のように展開できる。
ＳＦ＝Ｓｓ－Ｍ×｛（Ｓｐ＿ｍｉｎ＋Ｓ_Ｔ＋Ｓ_Ｒ）－Ｓ_Ｒ｝－Ｓ_Ｒ
＝Ｓｓ－Ｍ×（Ｓｐ＿ｍｉｎ＋Ｓ_Ｔ）－Ｓ_Ｒ
＝Ｓｓ－（Ｍ×Ｓｐ＿ｍｉｎ＋Ｍ×Ｓ_Ｔ－Ｓ_Ｒ）
＝Ｍ×Ｓｐ＋Ｍ×Ｓ_Ｔ＋Ｓ_Ｒ－（Ｍ×Ｓｐ＿ｍｉｎ＋Ｍ×Ｓ_Ｔ－Ｓ_Ｒ）
＝Ｍ×Ｓｐ－Ｍ×Ｓｐ＿ｍｉｎ
＝Ｍ×（Ｓｐ－Ｓｐ＿ｍｉｎ）

第１実施形態と同様に、Ｓｐ＿ｍｉｎの露光時間は撮像装置が制御可能な最小時間単位であり、極めて短時間であるとして、Ｓｐ＞＞Ｓｐ＿ｍｉｎとすると、ＳＦ＝Ｍ×Ｓｐと近似できる。そのため、取得した明出力信号からノイズ影響を排除し、光電変換によって生じた電荷信号Ｓｐの項のみを取り出せたこととなる。本実施形態では転送回数Ｍは４回であるため、ＳＦ＝４×Ｓｐとなる。また、第１実施形態と同様に、Ｓｐ＿ｍｉｎの露光時間は撮像装置が制御可能な最小時間単位に限定されるものではなく、明出力信号の取得の際の１回あたりの露光時間より短ければよい。

以上、本実施形態によると、明出力信号取得時の露光・蓄積繰り返し回数より少ない回数の露光・蓄積回数により取得された暗出力信号を用いた場合においても、複雑な固定パターンノイズ成分を除去し、画質を向上させた画像を取得することが可能となる。

（第３実施形態）
第１実施形態および第２実施形態においては、撮影周期ごとに毎回暗出力信号を得ていた。しかし、暗出力信号の値に変化がない環境においては、毎回暗出力信号を得る必要はなく、それ以前に得た暗出力信号の値を記録しておき、その値を補正信号として用いてもよい。第３実施形態では、過去に記録した暗出力信号の情報を補正信号として用いて、撮像画像からノイズを除去する補正を行う例を説明する。

図８は、第２実施形態における、撮像素子１８４の駆動シーケンスを示すタイミングチャートである。以下の説明では、第２実施形態（図７）と同様に、３０ｆｐｓの条件で動画撮影を行うことを想定し、１撮影周期である１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、画像信号を得る場合を例に、撮像素子の制御のタイミングを説明する。タイミングチャートに示される光電変換・蓄積・排出等のタイミング情報はメモリ部１９０に記憶されており、システム制御ＣＰＵ１７８が撮影を行う際にメモリ部１９０から読み出した上で撮像素子１８４に伝達し、撮像素子１８４の動作を制御する。図８においては、時刻ｔ１～時刻ｔ１７までを一つの撮影周期（Ｎ番目の撮影周期）とし、時刻ｔ１７～時刻ｔ２３をＮ＋１番目の撮影周期としている。以下では、第２実施形態と異なる点について説明を行う。

第３実施形態では、過去に記録した暗出力信号の情報を補正信号として用いて、撮像画像からノイズを除去する補正を行う。そこで、Ｎ番目の撮影周期で暗出力信号を取得し、Ｎ＋１番目の撮影周期では暗出力信号を得る期間Ｐｎを設けず、Ｎ番目の撮影周期で取得した暗出力信号の情報に基づいて補正を行う例について説明する。すなわち、図８では、Ｎ番目の撮影周期では暗出力信号と明出力信号の双方の取得期間Ｐｎ，Ｐｓを設けているが、Ｎ＋１番目の撮影周期では暗出力信号を得る期間Ｐｎを設けず、明出力信号を取得する期間Ｐｓ’のみを設けている。

本実施形態（図８）における時刻ｔ１～ｔ１７のＮ番目の撮影周期の動作は、第２実施形態（図７）における時刻ｔ１～ｔ１７の動作と同様である。このＮ番目の撮影周期からは、暗出力信号（第１の暗出力信号Ｓａ１’’と第２の暗出力信号Ｓａ２’’）と明出力信号Ｓｓの双方が得られ、ＣＰＵ１７８はそれらの情報をメモリ部１９０に保存する。そして、明出力信号Ｓｓから暗出力信号を数値演算した値を差し引くことでノイズの除去を行う。本実施形態においては、Ｎ番目の撮影周期のノイズ除去処理が終了した後も暗出力信号の情報を保存しておき、次のＮ＋１撮影周期のノイズ除去処理においても使用する。

本実施形態における時刻ｔ１７～時刻ｔ２３のＮ＋１番目の撮影周期の動作は明出力信号の取得動作のみを含み、暗出力信号の取得動作は含んでいない。時刻ｔ１７～時刻ｔ２３の明出力信号取得動作は、第２実施形態（図７）における時刻ｔ９～時刻ｔ１６の明出力信号取得動作と同様である。取得された明出力信号は、ＣＰＵ１７８によりメモリ部１９０に保存される。

ここで、Ｎ＋１番目の撮影周期においては暗出力信号を取得していないため、ノイズ除去のために明出力信号から差し引きすべき暗出力信号が同じ撮影周期からは得られない。そこで、Ｎ番目の撮影周期において取得した暗出力信号情報をメモリ部１９０に保持しておき、Ｎ＋１番目の撮影周期から取得した明出力信号から、Ｎ番目の撮影周期から取得した暗出力信号を演算して差し引くことで、ノイズ除去を可能とする。

本実施形態によると、ノイズの低減を実現しつつも、撮影周期ごとに暗出力信号を処理する必要がなくなるため、ＣＰＵ１７８の演算量を低減することができる。また、本実施形態では、暗出力信号の転送に要する時間がなくなることにより、一撮影周期中における明出力信号の露光・蓄積に使用できる時間の制限がなくなり、シャッタ速度の設定の自由度が増す。

動画を長時間撮影することにより、撮像素子１８４が発熱した場合には暗出力信号に変化が生じ、保存した暗出力信号情報では理想的なノイズ除去を実現できない場合がある。そこで、第３実施形態の変形例として、温度検知手段を備え、撮像素子温度を検知してその検知結果に応じて、暗出力信号をとり直す構成について説明する。図９は、第３実施形態の変形例における撮像装置１００の構成を説明する図である。図２の撮像装置１００に対し、図９で示す撮像装置１００には温度検知部１８８が追加され、その他の構成は同様である。

図１０は、温度変化を想定した場合の動画撮影処理を示すフローチャートである。動画撮影が開始により図１０のフローは開始される。
ステップＳ００１において、図８におけるＮ番目の撮影周期における撮像動作と同様の動作を行い、暗出力信号と明出力信号の両方を取得してメモリ部１９０に保存する。また、明出力信号から暗出力信号を演算した値を差し引いてノイズ除去を行った信号を、この撮影周期における最終的な撮像信号としてメモリ１９０に保存する。暗出力信号と明出力信号の両方を取得するシークエンスを、第１の撮像シークエンスとする。最終的な撮像信号の取得・保存まで終了した時点で、ステップＳ００２に進む。

ステップＳ００２において、ステップＳ００１で取得された暗出力信号を最新の暗出力信号として情報を更新して、メモリ１９０に保存し、ステップＳ００３に進む。
ステップＳ００３において、ユーザにより動画撮像を終了する動作が行われたか否かを判定する。終了する動作が行われていた場合はフローを終了し、そうでない場合はステップＳ００４に進む。

ステップＳ００４において、温度検知部１８８により検出される撮像素子１８４の温度において、所定以上の変化があるか否かの判定を行う。温度に所定の温度以上の変化がある場合はステップＳ００１に戻り、明出力信号と共に暗出力信号の取得も行う。一方、温度が所定の温度未満の変化である場合はステップＳ００５に進む。

ステップＳ００５において、図８におけるＮ＋１番目の撮影周期における撮像動作と同様の動作を行い、明出力信号のみを取得してメモリ部１９０に保存する。また、ステップＳ００２において保存された暗出力信号を、本ステップで取得した明出力信号から差し引く演算を行い、ノイズ除去を行う。明出力信号から暗出力信号を差し引いた信号を、この撮影周期における最終的な撮像信号としてメモリ１９０に保存する。明出力信号のみを取得し、過去に保存した暗出力信号を用いて補正を行うこのシークエンスを、第２の撮像シークエンスとする。最終的な撮像信号の取得・保存まで終了したら、ステップＳ００３に戻る。

本変形例によると、撮影周期ごとに暗出力信号をとる必要性をなくし演算量を低減しつつも、温度変化による暗出力信号の誤差が生じた場合には、新たな暗出力信号をとり直すことで、高精度に固定パターンノイズの影響を除去することができる。なお、新たな暗出力信号をとり直す条件として、温度の変化の例を説明したがこれに限られるものではない。例えば、明出力信号を取得するための分割回数を変更した場合や、明出力信号を取得するための露光時間を変更した場合にも、明出力信号のノイズ補正に適した暗出力信号を取得するために新たな暗出力信号をとり直すようにすればよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１８４ 撮像素子
１８７ デジタル信号処理部
１７８ システム制御ＣＰＵ
５００ 光電変換部
５０７Ａ 第１の信号保持部

Claims (10)

1. １つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子と、
   前記撮像素子を制御し、シャッタを開いた状態で撮像した第１の画像とシャッタを閉じた状態で撮像した第２の画像とを取得する取得手段と、
   前記第２の画像を用いて前記第１の画像を補正する補正手段と、を備え、
   前記取得手段は、
   前記第１の画像を、１撮影周期中に前記電荷保持部に時分割で電荷を蓄積して取得し、
   前記第２の画像を、前記第１の画像に対応する時分割の回数以下の回数で前記電荷保持部に電荷を蓄積して取得し、
   前記第２の画像に対応する１回あたりの露光蓄積時間は、前記第１の画像に対応する１回あたりの露光蓄積時間より短いことを特徴とする撮像装置。
2. 前記第２の画像に対応する露光蓄積の回数は、前記第１の画像に対応する露光蓄積の回数と等しいことを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、前記撮像素子の温度に所定の温度以上の変化があった場合に、前記第２の画像を取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記取得手段は、前記第１の画像に対応する露光蓄積時間が変更された場合に、前記第２の画像を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記取得手段は、前記第１の画像に対応する時分割の回数が変更された場合に、前記第２の画像を取得することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、前記第２の画像からノイズ補正のための補正情報を生成し、前記第１の画像から前記補正情報を差し引くことで前記第１の画像を補正することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正情報を記憶するメモリをさらに備えることを特徴とする請求項６に記載の撮像装置。
8. 前記第２の画像に対応する１回あたりの露光蓄積時間は撮像装置が制御可能な最小時間単位であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 時分割による前記第１の画像の減光量が所定の減光量を超えた場合、前記第１の画像に対応する１回あたりの露光蓄積時間を、前記第２の画像に対応する１回あたりの露光蓄積時間の分増やすことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. １つの光電変換部に対して少なくとも１つの電荷保持部を有する画素を２次元に配列した撮像素子を有する撮像装置の制御方法であって、
    シャッタを開いた際の第１の画像を、１撮影周期中に前記電荷保持部に時分割で電荷を蓄積して取得する工程と、
    シャッタを閉じた際の第２の画像を、前記第１の画像に対応する時分割の回数以下の回数で前記電荷保持部に電荷を蓄積して取得する工程と、
    前記第２の画像を用いて前記第１の画像を補正する工程と、を有し、
    前記第２の画像に対応する１回あたりの露光蓄積時間は、前記第１の画像に対応する１回あたりの露光蓄積時間より短いことを特徴とする制御方法。

Images