JP5582945B2 - 撮像システム - Google Patents

Description

本発明は撮像システムに関し、特に固体撮像素子から信号を読み出す技術に関する。

デジタルカメラやデジタルビデオカメラには、一般的に、ＣＭＯＳイメージセンサや、ＣＣＤイメージセンサ等の固体撮像素子が搭載されている。本発明が解決しようとする課題についての理解を容易とするために、先ず、固体撮像素子における撮像信号の読み出しについて、以下に説明する。

図８は、デジタルカメラ等に用いられている一般的なインターライン型ＣＣＤイメージセンサの概略構成を示す図である。ＣＣＤイメージセンサは、フォトダイオード８０１と、転送ゲート８０２、垂直転送ＣＣＤ８０３、水平転送ＣＣＤ８０４、出力アンプ８０５を有する。フォトダイオード８０１は、入射光を受けて電荷を発生させる。転送ゲート８０２は、フォトダイオード８０１で発生した電荷を垂直転送ＣＣＤ８０３へ転送する。垂直転送ＣＣＤ８０３は、フォトダイオード８０１から転送された電荷を、水平転送ＣＣＤ８０４へ移送する。水平転送ＣＣＤ８０４は、垂直転送ＣＣＤ８０３から移送されてきた電荷を出力アンプ８０５へ移送する。出力アンプ８０５は、水平転送ＣＣＤ８０４によって移送された電荷を電圧信号に変換して出力する。

図８のＣＣＤイメージセンサによる撮像信号の一般的な読み出し方法は、概略、以下の通りである。すなわち、先ず、転送ゲート８０２を閉じた状態でフォトダイオード８０１を感光させる。これにより、フォトダイオード８０１では照射された光に応じた電荷が発生する。続いて、転送ゲート８０２を開いて、フォトダイオード８０１から各垂直転送ＣＣＤ８０３へ電荷を一斉に転送する。

転送ゲート８０２を閉じて各垂直転送ＣＣＤ８０３への電荷の転送を完了した後、各垂直転送ＣＣＤ８０３の電荷を１回分転送し、各列の端部に保持されている電荷を、１行分ずつ水平転送ＣＣＤ８０４へと移送する。その後、水平転送ＣＣＤ８０４に、順次、不図示の転送パルスを与え、１行分の画素信号を出力アンプ８０５に１画素分ずつ移送する。出力アンプ８０５において１画素分ずつ電荷は電圧信号に変換され、撮像信号として出力される。

以降、同様に、各垂直転送ＣＣＤ８０３の電荷を１回分転送して、各列の電荷を１行分ずつ水平転送ＣＣＤ８０４へ移送し、順次、不図示の転送パルスを水平転送ＣＣＤ８０４に与え、出力アンプ８０５を介して１行分の画素信号を出力するという手順を繰り返す。こうして、全エリアの垂直ＣＣＤ８０３の全画素の電荷を順次走査して、撮像信号を読み出す。

図９は、デジタルカメラ等に用いられる一般的なＣＭＯＳイメージセンサの概略の等価回路図である。ＣＭＯＳイメージセンサは、フォトダイオード９０１、転送ゲート９０２、増幅ＭＯＳ９０３、選択ゲート９０４、垂直出力線９０５、水平走査スイッチ９０６を有する。また、ＣＭＯＳイメージセンサは、水平出力線９０７、出力アンプ９０８、垂直走査回路９０９、水平走査回路９１０及び画素リセットゲート９１１を有する。

フォトダイオード９０１は、光信号を受けて電荷を発生させる。転送ゲート９０２は、垂直走査回路９０９からの転送パルスに従って、フォトダイオード９０１で発生した電荷をＦＤ部へ転送させる。増幅ＭＯＳ９０３は、ＦＤ部へ転送された電荷を電圧信号に変換し、増幅させる。選択ゲート９０４は、垂直走査回路９０９からの行選択パルスに従って画素を選択し、選択された画素の電圧信号を画素部から垂直出力線９０５へ出力させる。垂直出力線９０５は、画素から出力された電圧信号を水平出力線９０７へ伝達させる。

水平走査スイッチ９０６は、水平走査回路９１０からの列選択パルスに従って、垂直出力線９０５から水平出力線９０７への電圧信号の伝達を制御する。水平出力線９０７は、垂直出力線９０５から水平走査スイッチ９０６を介して伝達される電圧信号を、出力アンプ９０８へ出力させる。出力アンプ９０８は、水平出力線９０７を介して出力された電圧信号を、増幅させて出力する。

垂直走査回路９０９は、転送パルスや行選択パルス、画素リセットゲート９１１の制御を行う画素リセットパルス等の画素部の各ゲートを制御するための制御パルスを順次出力する。水平走査回路９１０は、水平走査スイッチ９０６の開閉を制御する水平走査パルスを、順次出力する。画素リセットゲート９１１は、フォトダイオード９０１やＦＤ部の電荷の蓄積及びリセットを制御する。

図９のＣＭＯＳイメージセンサによる撮像信号の一般的な読み出し方法は、概略、以下の通りである。ＣＭＯＳイメージセンサは、１系列の垂直出力線９０５を同一列に配置された複数の画素で共有しているため、同一のタイミングで読み出すことが可能なのは、同一の垂直出力線９０５を共有している画素群のうち１画素のみである。したがって、ＣＭＯＳイメージセンサにおける画素部から垂直出力線９０５への撮像信号の読み出しは、１画素行毎に順に行われる。水平出力線９０７についても同様に、１系列の水平出力線９０７が複数の画素列で共有されている。そのため、同一のタイミングで読み出すことが可能なのは、同一の水平出力線９０７を共有している画素列のうちの１列にあたる１画素分の信号のみである。したがって、ＣＭＯＳイメージセンサにおいて、垂直出力線９０５から水平出力線９０７への撮像信号の読み出しは、１画素列毎に順に行われる。

まず、画素リセットゲート９１１を開いた状態で転送ゲート９０２を開き、フォトダイオード９０１とＦＤ部の電荷を吐き出してリセット状態とした上で、所定の画素行について、信号の蓄積から読み出しまでの制御を開始する。先ず、転送ゲート９０２を閉じて、フォトダイオード９０１を感光させる。これにより、フォトダイオード９０１では照射された光に応じた電荷が発生する。続いて、リセットゲート９１１を閉じてＦＤ部のリセットを解除し、転送ゲート９０２を開いてフォトダイオード９０１からＦＤ部へ一行分の電荷を一斉に転送する。

次いで、転送ゲート９０２を閉じて各ＦＤ部への電荷の転送を完了した後、行選択ゲート９０４を開いて、ＦＤ部に保持された電荷を垂直出力線９０５へ出力する。このとき、増幅アンプ９０３を介すことで、ＦＤ部へ保持された電荷は電圧信号に変換、増幅されて垂直出力線９０５へ出力される。この状態で、同一の水平出力線９０７に接続された水平走査スイッチ９０６群のうち、最初に信号読み出しを行う１列分の水平走査スイッチ９０６を１列ずつ順に開閉し、垂直出力線９０５の電圧信号を１列分だけ水平出力線９０７へと伝達する。

水平出力線９０７へ伝達された電圧信号が出力アンプ９０８を介して出力された後、次に信号読み出しを行う１列分の水平走査スイッチ９０６を１列ずつ順に開閉し、垂直出力線９０５の電圧信号を１列分だけ水平出力線９０７へと伝達する。この動作を、信号読み出しを行う全ての行に対して順々に行っていく。以上の動作を、必要な行数に相当する分だけ、所定の時間間隔を空けて繰り返して、全ての画素の撮像信号を読み出す。

以上に説明した通り、一般的に固体撮像素子からの信号読み出しは、１画面（１フレーム）分の信号を読み出す際、１行分の信号の読み出しが終了した後に次の行の読み出し動作に移るというように、１行毎に順々に行われる。

さて、近年、３Ｄシネマや３Ｄディスプレイ等、３Ｄ映像及び３Ｄ映像関連機器の普及が急速に進んでいる。３Ｄ映像の撮影は、従来、フィルムカメラ等でも行われてきたが、デジタルカメラやデジタルビデオカメラ等のデジタル撮像機器の普及に伴い、３Ｄ映像を生成するための元となる画像も、これらのデジタル撮像機器を用いて撮影されるようになってきている。

３Ｄ映像を視聴する仕組みとしては、対象物を左目で見た像と右目で見た像にそれぞれ対応するように視差を持たせた「右目画像」と「左目画像」とを用意し、「右目画像」を右目で見て、「左目画像」を左目で見るようにするものが一般的である。「左目画像」を左目に、「右目画像」を右目にそれぞれ効果的に分離する手段の１つとして、時分割方式と呼ばれる手法が知られている。

時分割方式では、「左目画像」と「右目画像」とを時差を持たせて交互に表示し、これを視聴者の右目と左目とに分離して視聴させることで、映像を３Ｄ映像として認識させる。具体的には、例えば、同期信号に従って開閉するシャッタを左右のレンズ備えた、特殊な眼鏡を使用し、交互に表示される「左目画像」「右目画像」に同期して、左右のシャッタを開閉する方法がある。表示画像の切り替えに同期するように、発生させた同期信号に従って、「左目画像」が表示されるタイミングで左目用レンズのシャッタを開け、「右目画像」が表示されるタイミングで右目用レンズのシャッタを開けるようにする。

これにより、「左目画像」は左目へ、「右目画像」は右目へと効果的に分離され、立体感が損なわれ難い３Ｄ映像として視聴することができる。このような時分割方式の表示方法は、３Ｄの動画や静止画を表示する一般的な手法として、近年広く用いられている。

これに対し、３Ｄ映像として再生することができる画像の撮影方法として、異なる視点の画像を同時に撮影するという方法がある。例えば、複数台のカメラ（例えば、左目視点のカメラと右目視点のカメラの２台）を使用して異なる視点の画像を同時に取得する方法がある。また、特殊なレンズを使用して被写体像に視差を持たせることで、被写体像を光学的に複数視点（例えば、左目視点と右目視点）の像に分離し、分離された像を単一又は複数の固体撮像素子に結像させ、撮影する方法もある。

更に、１つのカメラの中に視差を持たせた複数の光学系と、各光学系の対応する固体撮像素子を配置することで、複数視点の被写体像を撮影するデジタルカメラが知られている（非特許文献１参照）。

非特許文献１に記載のデジタルカメラでは、取得した複数視点の被写体像は、前述の「左目画像」「右目画像」の生成に用いられ、３Ｄ画像として表示するところまでを１台で行うことが可能である。すなわち、左目視点の像と右目視点の像とを同時に撮影し、生成した「左目画像」と「右目画像」とを、同機に搭載された表示装置に交互に表示することで、３Ｄ映像の鑑賞を可能にしている。

富士フイルム株式会社、３Ｄデジタルカメラ ＦｉｎｅＰｉｘ ＲＥＡＬ ３Ｄ Ｗ１、使用説明書

前述したとおり、従来、固体撮像素子からの撮像信号の読み出しにおいては、行単位の画素の信号を１行分ずつ順々に読み出す、といった読み出し方法が一般的である。すなわち、単一のイメージセンサを用いたデジタルカメラを１台のみ使用して３Ｄ画像生成のための被写体像を撮影する場合、「左目画像」及び「右目画像」の各々を生成するための撮像信号が入り混じった状態で、１フレーム分の撮像信号が読み出される。そして、全ての撮像信号の読み出しが完了してから、次の次に表示する「右目フレーム」及び「左目フレーム」の生成を行うこととなる。

しかしながら、３Ｄ映像や３Ｄ画像を表示するためのディスプレイやプロジェクタ等の多くの表示装置は、「左目画像」と「右目画像」とを交互に切り替えながら表示するものが一般的である。したがって、多くの表示装置で採用されているこのような表示方法を用いる場合、固体撮像素子からの従来の撮像信号の読み出し方法を用いると、次のフレームへの表示切り替えまでのタイムラグが大きくなってしまう。これは、「左目画像」を先に表示したくても、固体撮像素子の全領域（「左目画像」＋「右目画像」）の読み出しが完了するまでは「左目画像」用の撮像信号のすべてを得ることができないため、「左目画像」を生成することができないからである。

本発明は、固体撮像素子からの撮像信号の読み出しから、撮像信号から生成された画像信号が表示されるまでの、タイムラグを低減することを可能にする、撮像システムを提供することを目的とする。

上記目的を達成するために、本発明に係る撮像システムは、入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、前記切り替え手段により前記第１の撮影モードに切り替えられた場合に、前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記切り替え手段により前記第２の撮影モードに切り替えられた場合に、前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする。

本発明に係る別の撮像システムは、入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、前記撮像手段によって撮影された画像を表示する表示手段と、前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、前記表示手段の表示方式が２次元表示である場合に、前記切り替え手段により前記第１の撮影モードに切り替えて前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記表示手段の表示方式が３次元表示である場合に、前記切り替え手段により前記第２の撮影モードに切り替えて前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする。

本発明に係る更に別の撮像システムは、入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、前記撮像手段によって撮影された画像を表示する表示手段と、前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、前記切り替え手段により前記第２の撮影モードに切り替えて３次元撮影を行う場合であって、前記表示手段の表示方式が時分割方式以外の表示方式である場合に、前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記表示手段の表示方式が時分割方式である場合に、前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする。

本発明によれば、固体撮像素子からの撮像信号の読み出しから撮像信号から生成された画像信号が表示されるまでのタイムラグを低減することができる。

本発明の実施形態に係る撮像システムの概ねの全体構成を示すブロック図である。 図１の撮像システムが備える光学系の構成を示す図である。 図２に示される固体撮像素子として用いられるＣＭＯＳイメージセンサの等価回路図である。 図１の撮像システムの撮像動作及び表示動作のフローチャートである。 図３のステップＳ１３，１７で用いられる、固体撮像素子からの２Ｄ読み出し用の駆動パターンを示す図である。 図３のステップＳ０３，０７で用いられる、固体撮像素子からの３Ｄ読み出し用の駆動パターンを示す図である。 図３に示されるＣＭＯＳイメージセンサの変形例に係る等価回路図である。 一般的なインターライン型のＣＣＤイメージセンサの概略構成を示す図である。 一般的なＣＭＯＳイメージセンサの概略の等価回路図である。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。本発明は、固体撮像素子を用いて取得した撮像信号を基に、時分割方式で表示可能な画像信号を生成することができる撮像装置に適用される。あるいは、撮像装置と、この撮像装置によって取得された画像信号を時分割方式で表示することが可能な表示装置と、を備えた撮像システムに適用される。

＜撮像システムの概略構成＞
図１は、本発明の実施形態に係る撮像システムの概ねの全体構成を示すブロック図である。図１の撮像システムは、具体的には、動画撮影が可能なデジタルカメラである。撮像システムは、光学系１と、メカニカルシャッタ２と、固体撮像素子３と、Ａ／Ｄ変換器４と、タイミング信号発生回路５と、駆動回路６とを有する。

光学系１は、レンズや絞りなどの光学部材で構成される。光学系１の詳細については後述する。メカニカルシャッタ２は、固体撮像素子３の露光時間を制御するために、固体撮像素子３の遮光を行う。固体撮像素子３は、入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、発生した電荷に基づいた電気信号をアナログ信号として出力する。固体撮像素子３の詳細については後述する。Ａ／Ｄ変換器４は、固体撮像素子３から出力された電気信号（アナログ信号）をデジタル画像信号に変換する。タイミング信号発生回路５は、固体撮像素子３及びＡ／Ｄ変換器４を動作させる信号を発生する。駆動回路６は、光学系１、メカニカルシャッタ２及び固体撮像素子３を駆動する。

撮像システムはまた、信号処理回路７と、画像メモリ８と、画像記憶媒体９と、記憶回路１０と、画像表示装置１１と、表示回路１２と、システム制御部１３と、不揮発性メモリ（ＲＯＭ）１４と、揮発性メモリ１５（ＲＡＭ）とを有する。

信号処理回路７は、撮影した画像信号に必要な各種補正等の信号処理を行う。画像メモリ８は、信号処理された画像データを記憶する。画像記憶媒体９は、撮像システムから取り外し可能であり、画像データを記憶する。記憶回路１０は、信号処理された画像データを画像記憶媒体９に記憶させる。画像表示装置１１は、信号処理された画像データを表示する。画像表示装置１１は、撮像システム自体に搭載されているものでもよいし、外部接続されたディスプレイ等の表示装置や投影装置であってもよい。表示回路１２は、画像表示装置１１に画像を表示させる。システム制御部１３は、撮像システム全体を制御する。

不揮発性メモリ（ＲＯＭ）１４には、システム制御部１３で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、画像信号の各種補正に用いるデータ等が記憶されている。揮発性メモリ（ＲＡＭ）１５には、不揮発性メモリ１４に記憶されたプログラム、制御データ及び補正データを転送して記憶しておく等、システム制御部１３が撮像システムを制御する際に使用される。

撮像システムはまた、撮像システムの主電源である電源スイッチ１６と、動画の取得を指示するスイッチ（ＳＷ１）１７と、静止画の取得を指示するスイッチ（ＳＷ２）１８とを有する。更に、撮像システムは、第１の撮影モードである３次元撮影（以下「３Ｄ撮影」と記す）と第２の撮影モードである２次元撮影（以下「２Ｄ撮影」と記す）とを切り替える２Ｄ／３Ｄ切り替えスイッチ（不図示）を備えている。

＜撮像システムの撮像動作の一例＞
撮影動作に先立ち、撮像システムの電源投入時等のシステム制御部１３の動作開始時には、不揮発性メモリ１４から必要なプログラム、制御データ及び補正データが揮発性メモリ１５に転送され、記憶される。これらのプログラムやデータは、システム制御部１３が撮像システムを制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ１４から揮発性メモリ１５に転送され、或いは、システム制御部１３が直接に不揮発性メモリ１４内のデータを読み出して使用する。

［撮影動作］
先ず、システム制御部１３からの制御信号により、光学系１の絞りやレンズが駆動され、適切な明るさに設定された被写体像が固体撮像素子３上に結像する。続いて、メカニカルシャッタ２が、システム制御部１３からの制御信号により、必要な露光時間となるように固体撮像素子３の動作に合わせて固体撮像素子３を遮光するように駆動される。なお、固体撮像素子３が電子シャッタ機能を有する場合は、このときにメカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。

固体撮像素子３は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。固体撮像素子３から出力されたアナログ画像信号は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスにより、Ａ／Ｄ変換器４でデジタル画像信号に変換される。

次に、システム制御部１３により制御される信号処理回路７において、デジタル画像信号に対して、各種補正値の導出（判定）と補正、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。信号処理回路７内の画像メモリ８は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

信号処理回路７で信号処理された画像データや画像メモリ８に記憶されている画像データは、記憶回路１０により画像記憶媒体９に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて画像記憶媒体９に記憶される。また、Ａ／Ｄ変換器４でデジタル画像信号に変換された画像データは、信号処理回路７で解像度変換処理を施された後、表示回路１２において画像表示装置１１に適した信号に変換され、画像表示装置１１に表示される。記憶回路１０は、システム制御部１３からの要求に応じて、画像記憶媒体９の種類や空き容量等の情報をシステム制御部１３に出力する。

なお、システム制御部１３からの制御信号により、信号処理回路７においては、信号処理をせずに、デジタル画像信号をそのまま画像データとして画像メモリ８や記憶回路１０に出力するようにしてもよい。また、信号処理回路７は、システム制御部１３からの要求に応じて、信号処理の過程で生じたデジタル画像信号や画像データの情報、それらの情報から抽出された情報をシステム制御部１３に出力するようにしてもよい。デジタル画像信号や画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報が挙げられる。

［再生動作］
画像記憶媒体９に画像データが記憶されている場合、記憶回路１０は、システム制御部１３からの制御信号にしたがって、画像記憶媒体９から画像データを読み出す。そして、信号処理回路７は、システム制御部１３からの制御信号により、画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ８に記憶する。画像メモリ８に記憶された画像データは、信号処理回路７で解像度変換処理を実施された後、表示回路１２において画像表示装置１１に適した信号に変換されて、画像表示装置１１に表示される。

＜撮像システムの光学系＞
図２は、撮像システムが備える光学系１の構成を示す図である。光学系１は、レンズや絞りを有し、被写体像を固体撮像素子３の撮像面に結像させる単眼レンズユニット２０１と、単眼レンズユニット２０１にアダプタとして装着された視差分割装置２０２とを有する。

視差分割装置２０２は、同一の被写体像をミラー等によって視差を持たせた複数の像（ここでは左右２つの像）に分割する。なお、視差分割装置２０２を着脱可能としておけば、３Ｄと２Ｄの双方の撮影を同一の撮像システムで行うことができる。その際、視差分割装置２０２は、３Ｄ撮影時に装着され、２Ｄ撮影時には装着されない構成とする。

固体撮像素子３は、ここでは、単板のＣＭＯＳイメージセンサを用いることとする。また、固体撮像素子３の撮像面の一方の片側半分に光学系１によって第１の視差を持たせた第１の像が結像し、固体撮像素子３の撮像面の他方の片側半分に、光学系１によって第２の視差を持たせた第２像が結像するものとする。以下、第１の像が結像される領域を「第１の像取得領域」と呼び、第２の像が結像される領域を「第２の像取得領域」と呼ぶこととする。このように、光学系１では、同一の被写体像を異なる光軸を通して第１の像取得領域と第２の像取得領域のそれぞれに結像させる。

＜固体撮像素子の構成＞
図３は、撮像システムが備える固体撮像素子３（つまり、図２に示される固体撮像素子３）として用いられるＣＭＯＳイメージセンサの等価回路図である。図３に示したＣＭＯＳイメージセンサの構成要素のうち、図９に示したＣＭＯＳイメージセンサの構成要素と同じ構成要素については、図９で用いた符号と同じ符号が付されており、各構成要素の機能は同等である。本実施形態における固体撮像素子３としてのＣＭＯＳイメージセンサが、従来の固体撮像素子である図９に示したＣＭＯＳイメージセンサと異なる点は以下の通りである。

図３の固体撮像素子３では、第１の像取得領域と第２の像取得領域とで、信号の転送に関わる制御パルスの伝送路が分かれている。すなわち、第１の像取得領域の駆動パルスは、第１の垂直走査回路（ＶＳＲ１）３１１及び第１の水平走査回路（ＨＳＲ１）３０１から与えられる。また、第２の像取得領域の駆動パルスは、第２の垂直走査回路（ＶＳＲ２）３１２及び第２の水平走査回路（ＨＳＲ２）３０２から与えられる。

＜固体撮像素子からの信号の読み出し方法＞
このような構成を備える固体撮像素子３からの信号の読み出し動作について、以下に、撮像システムの撮像動作等を交えて説明する。図４は、撮像システムの撮像動作及び表示動作のフローチャートである。先ず、動画の取得を指示するスイッチ（ＳＷ１）１７がオンされているか否かが判定される（ステップＳ０１）。スイッチ（ＳＷ１）１７がオフの場合（Ｓ０１で“ＮＯ”）、スイッチ（ＳＷ１）１７がオンになるのを検知するまでステップＳ０１が繰り返される。スイッチＳＷ１がオンの場合（Ｓ０１で“ＹＥＳ”）、処理はステップＳ０２へ進められる。

ステップＳ０２では、２Ｄ／３Ｄ切り替えスイッチ（図１では不図示）の状態が検知され、これから行う動画撮影が２Ｄ撮影か３Ｄ撮影かが判定される。２Ｄ撮影の場合、処理はステップＳ０３へ進められ、３Ｄ撮影の場合、処理はステップＳ１３へ進められる。ステップＳ０３では、固体撮像素子３に信号を蓄積した後、２Ｄ撮影に対応する第１の読み出しモードとして後に示す図６を参照して説明する２Ｄ読み出し用の駆動パターンを用いて信号の読み出しが行われ、その後、処理はステップＳ０４へ進められる。ステップＳ０４では、ステップＳ０３で読み出した信号が２Ｄ映像として画像表示装置１１に表示される。

一方、ステップＳ１３では、固体撮像素子３に信号を蓄積した後、３Ｄ撮影に対応する第２の読み出しモードとして後に示す図５を参照して説明する３Ｄ読み出し用の駆動パターンを用いて信号の読み出しが行われ、その後、処理はステップＳ１４へ進められる。ステップＳ１４では、ステップＳ１３で読み出した信号が３Ｄ映像として画像表示装置１１に表示される。

ステップＳ０４の処理後とステップＳ１４の処理後には共に、処理はステップＳ０５に進められる。ステップＳ０５では、静止画の取得を指示するスイッチ（ＳＷ２）１８がオンされているか否かが判定される。スイッチ（ＳＷ２）１８がオンされていない場合（Ｓ０５で“ＮＯ”）、静止画の撮影を行わないと判断され、処理はステップＳ０１に戻される。スイッチ（ＳＷ２）１８がオンされている場合（Ｓ０５で“ＹＥＳ”）、静止画の撮影を開始するために、処理はステップＳ０６へ進められる。

ステップＳ０６では、２Ｄ／３Ｄ切り替えスイッチの状態が検知され、これから行う静止画撮影が２Ｄ撮影か３Ｄ撮影かが判定される。２Ｄ撮影の場合、処理はステップＳ０７へ進められ、３Ｄ撮影の場合、処理はステップＳ１７へ進められる。

ステップＳ０７では、固体撮像素子３に信号を蓄積した後、後に示す図６を参照して説明する２Ｄ読み出し用の駆動パターンを用いて信号の読み出しが行われ、その後、処理はステップＳ０８へ進められる。ステップＳ０８では、ステップＳ０７で読み出した信号が２Ｄ映像として画像表示装置１１に表示される。

一方、ステップＳ１７では、固体撮像素子３に信号を蓄積した後、後述の、後に示す図５を参照して説明する３Ｄ読み出し用の駆動パターンを用いて信号の読み出しが行われ、その後、処理はステップＳ１８へ進められる。ステップＳ１８では、ステップＳ１７で読み出した信号が３Ｄ映像として画像表示装置１１に表示される。

ステップＳ０８の処理後とステップＳ１８の処理後には共に、処理はステップＳ０９に進められる。ステップＳ０９では、静止画の取得を指示するスイッチ（ＳＷ２）１８がオンされているか否かが判定される。スイッチ（ＳＷ２）１８がオンされていない場合（Ｓ０９で“ＮＯ”）、静止画の取得が完了したと判断され、処理はステップＳ１０に進められる。スイッチ（ＳＷ２）１８がオンされている場合（Ｓ０９で“ＹＥＳ”）、静止画の取得を再度行うために、処理はステップＳ０６へ戻される。

ステップＳ１０では、動画の取得を指示するスイッチ（ＳＷ１）１７がオンされているか否かが判定される。スイッチ（ＳＷ１）１７がオンされている場合（Ｓ１０で“ＹＥＳ”）、動画を取得するために処理はステップＳ０２へ戻される。一方、スイッチ（ＳＷ１）１７がオンされていない場合（Ｓ１０で“ＮＯ”）、一連の撮像動作は終了となる。

なお、上記形態では、ステップＳ０２，Ｓ０６での判定を２Ｄ／３Ｄ切り替えスイッチの状態から行うようにしたが、このような形態に限定されるものではない。例えば、撮像装置が撮像装置とは別体の表示装置に接続されてなる撮像システムの場合、撮像装置がその表示装置の表示方式が２次元表示（２Ｄ表示）であるか３次元表示（３Ｄ表示）であるかを自動で取得し、判定するようにしてもよい。この場合、例えば、有線又は無線の適切な通信手段（不図示）によって表示装置の表示形式を取得し、判定に用いればよい。

また、視差分割装置２０２の着脱状態を識別し、視差分割装置２０２が装着されている場合には３Ｄ撮影が行われ、視差分割装置２０２が装着されていない場合には２Ｄ撮影が行われるというように、撮影方式を自動判定する構成としてもよい。更に、２Ｄ撮影か３Ｄ撮影かのみを判定したが、ステップＳ０２，Ｓ０６で３Ｄ撮影と判定された後に、画像表示装置１１における３Ｄ画像の表示形式が時分割方式か時分割方式以外の方式かを判定して、信号読み出しの駆動パターンを決定するようにしてもよい。

更にまた、事前に使用者が選択し、設定しておいた表示形式に従って、駆動パターンを決定してもよい。例えば、画像表示装置が時分割方式であった場合、後述の図５に示す駆動パターンを選択するようにする。一方、画像表示装置が時分割方式以外の方式（例えば、レンチキュラー方式やパララックスバリア方式に代表される視差分割方式等）であった場合、２Ｄ像と同様に後述の図６に示す駆動パターンを選択するようにする。

ステップＳ０４，Ｓ０８，Ｓ１４，Ｓ１８において、所定の画像を外部接続された画像表示装置１１に表示する場合は、その画像表示装置１１の表示形式を通信により自動判定して、画像表示装置１１に合わせた駆動パターンで読み出しを行うようにすればよい。なお、自動判定に代えて、使用者が設定を行うようにしてもよい。

＜信号読み出しの駆動パターン＞
図５は、図４に示されるフローチャートの撮像動作におけるステップＳ１３，１７の処理で用いられる信号読み出しの駆動パターンを示す図である。この駆動パターンでは、第１の像取得領域の１フレーム分の信号と第２の像取得領域の１フレーム分の信号とを交互のタイミングで読み出す。すなわち、第１の垂直走査回路３１１、第２の垂直走査回路３１２、第１の水平走査回路３０１及び第２の水平走査回路３０２を駆動させる。

具体的には、第１の垂直走査回路３１１と第２の垂直走査回路３１２の信号の読み出しに関わる駆動パルスを駆動させるタイミングを異ならせ、交互に駆動させるようにする。また、第１の水平走査回路３０１を第１の垂直走査回路３１１を駆動させるタイミングに付随して駆動させ、第２の水平走査回路３０２を第２の垂直走査回路３１２を駆動させるタイミングに付随して駆動させる。第１の垂直走査回路３１１及び第１の水平走査回路３０１を、第１の像取得領域のうち、読み出したい画素数分の信号読み出しが完了するまで駆動して、第１の像取得領域の１フレーム分にあたる信号の読み出しを完了する。その後、第２の垂直走査回路３１２及び第２の水平走査回路３０２を、第２の像取得領域のうち、読み出したい画素数分の信号読み出しが完了するまで駆動して、第２の像取得領域の１フレーム分にあたる信号の読み出しを完了する。これを交互に繰り返すことで、第１の像取得領域の１フレーム分にあたる信号と第２の像取得領域の１フレーム分にあたる信号とを交互に読み出す。

図６は、図４に示されるフローチャートの撮像動作におけるステップＳ０３，０７の処理で用いられる信号読み出しの駆動パターンを示す図である。この駆動パターンでは、第１の像取得領域と第２の像取得領域との双方の領域から、同一行にあたる画素の信号を一続きで読み出す。すなわち、第１の垂直走査回路３１１、第２の垂直走査回路３１２、第１の水平走査回路３０１及び第２の水平走査回路３０２を駆動させる。

具体的には、第１の像取得領域と第２の像取得領域の双方の同一画素行同士が一続きで読み出されるように、第１の垂直走査回路３１１と第２の垂直走査回路３１２とが同時に駆動される。また、第１の水平走査回路３０１を第１の垂直走査回路３１１を駆動させるタイミングに付随して駆動させ、第２の水平走査回路３０２を第２の垂直走査回路３１２を駆動させるタイミングに付随して駆動させる。

但し、水平走査回路の駆動に関しては、第１の水平走査回路３０１による１行分の走査が完了した後に続けて第２の水平走査回路３０２による１行分の走査を行うように、各像取得領域の１行分にあたる画素信号の読み出し毎に交互に駆動するようにする。これは、第１の水平走査回路３０１と第２の水平走査回路３０２とを同タイミングで駆動すると、第１の像取得領域と第２の像取得領域との信号が水平出力線９０７に同時に出力されてしまうためである。

次に、図３に示したフローチャートにおけるステップＳ０２，０６の処理において、２Ｄ撮影か３Ｄ撮影かの判定結果にしたがって信号読み出しの駆動パターンを異ならせるようにした理由について説明する。

２Ｄ画像は固体撮像素子３の全領域から得た撮像信号を使用して生成される。このとき、図１の駆動パターンで信号読み出しを行ってしまうと、第１の像取得領域から得た画像の信号と第２の像取得領域から得た画像の信号が左右２つの画像に分断されて読み出される。そのため、読み出し後に２つの画像のつなぎ目を合成する必要が生じる。これにより、画像合成に関わる画像処理回路（例えば、信号処理回路７）が複雑化したり、回路規模が大きくなったりしてしまうという不都合が生じる。

このような不都合が生じることを防ぐために、ステップＳ０２，０６の処理では、２Ｄ撮影か３Ｄ撮影かの判定結果に基づいて、２Ｄ撮影の場合には２つの撮像領域の信号が分断されないように、読み出しの駆動パターンを図６のパターンに変更するようにする。但し、視差分割方式の３Ｄ画像に関しては、第１の像取得領域から取得した画像と第２の像取得領域から取得した画像とを同時に表示しても構わないため、図６の駆動パターンで読み出すようにしても構わない。

上述の通りに、図５及び図６に示される信号読み出しの駆動パターンを用いることにより、固体撮像素子３からの撮像信号の読み出しから撮像信号から生成された画像信号を表示するまでの間のタイムラグを低減することができる。また、２Ｄ画像と３Ｄ画像をそれぞれの画像処理に適した順序で信号を読み出すことができ、画像処理回路が複雑化したり、回路規模が大きくなったりしてしまうのを防ぐことができる。

＜その他の実施形態＞
上記実施形態では、水平走査回路の構成については、図３に示されるように、第１の水平走査回路３０１と第２の水平走査回路３０２とに系を分けたが、従来のＣＭＯＳイメージセンサのように、１つの水平走査回路で駆動させるようにしてもよい。その場合、３Ｄ読み出しを行う際には、以下のように駆動させればよい。先ず、水平走査回路の駆動を、第１の像取得領域の先頭にあたる列から第１の像取得領域の末尾にあたる列まで行う。これを読み出したい行数分繰り返すことで、第１の像取得領域の１フレーム分の読み出しを行う。次に、水平走査回路の駆動を、第１の像取得領域に相当する部分を飛ばして、第２の像取得領域の先頭にあたる列から第２の像取得領域の末尾にあたる列まで行う。これを読み出したい行数分繰り返すことで、第２の像取得領域の１フレーム分の読み出しを行う。

或いは、第１の像取得領域と第２の像取得領域の水平走査スイッチ９０６のゲートの開閉を、独立して制御することが可能な回路構成としてもよい。図７は、図３に示される固体撮像素子３としてのＣＭＯＳイメージセンサの変形例に係る等価回路図である。

図７の構成では、第１の像取得領域と第２の像取得領域に対して、共通の水平走査回路９１０が設けられている。水平走査回路９１０から第１の像取得領域と第２の像取得領域の各水平走査スイッチ９０６のゲートまでの間に、第１の像取得領域と第２の像取得領域とで別々に制御可能な第１の領域選択スイッチ７０１と第２の領域選択スイッチ７０２を設けている。

このＣＭＯＳイメージセンサを用いて図５に示される信号読み出しを行う場合、第１の像取得領域の信号読み出し時には、第１の領域選択スイッチ７０１をオンし、第２の領域選択スイッチ７０２をオフしておく。また、第２の像取得領域の信号読み出し時には、第２の領域選択スイッチ７０２をオンし、第１の領域選択スイッチ７０１をオフしておく。
また、図６に示される信号読み出しを行う場合、第１の領域選択スイッチ７０１と第２の領域選択スイッチ７０２の両方をオンし、全領域の水平走査を有効にすればよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１ 光学系
３ 固体撮像素子
６ 駆動回路
１１ 画像表示装置
１２ 表示回路
１３ システム制御部
３０１ 第１の水平走査回路（ＨＳＲ１）
３０２ 第２の水平走査回路（ＨＳＲ２）
３１１ 第１の垂直走査回路（ＶＳＲ１）
３１２ 第２の垂直走査回路（ＶＳＲ２）
７０１ 第１の領域選択スイッチ
７０２ 第２の領域選択スイッチ

Claims (4)

1. 入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、
   前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、
   前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、
   前記切り替え手段により前記第１の撮影モードに切り替えられた場合に、前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記切り替え手段により前記第２の撮影モードに切り替えられた場合に、前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする撮像システム。
2. 前記切り替え手段により前記第２の撮影モードに切り替えられて３次元撮影を行う場合、前記撮像手段は、同一の被写体像を異なる光軸を通して前記第１および第２の像取得領域のそれぞれに結像させることを特徴とする請求項１記載の撮像システム。
3. 入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、
   前記撮像手段によって撮影された画像を表示する表示手段と、
   前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、
   前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、
   前記表示手段の表示方式が２次元表示である場合に、前記切り替え手段により前記第１の撮影モードに切り替えて前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記表示手段の表示方式が３次元表示である場合に、前記切り替え手段により前記第２の撮影モードに切り替えて前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする撮像システム。
4. 入射光を受光して電荷を発生させる複数の画素が２次元的に配置され、前記複数の画素が光学系によって第１の視差を持たせた第１の像が結像される第１の像取得領域および前記光学系によって第２の視差を持たせた第２の像が結像される第２の像取得領域に分割されてなる少なくとも１つの固体撮像素子を有する撮像手段と、
   前記撮像手段によって撮影された画像を表示する表示手段と、
   前記第１および第２の像取得領域から信号を読み出すための読み出し手段と、
   前記撮像手段による撮影モードとして２次元撮影を行う第１の撮影モードと３次元撮影を行う第２の撮影モードのいずれかに切り替える切り替え手段と、
   前記切り替え手段により前記第２の撮影モードに切り替えて３次元撮影を行う場合であって、前記表示手段の表示方式が時分割方式以外の表示方式である場合に、前記第１および第２の像取得領域のそれぞれからの信号を同一のフレームとして読み出し、前記表示手段の表示方式が時分割方式である場合に、前記第１および第２の像取得領域のそれぞれからの信号を異なるフレームとして読み出すように前記読み出し手段を制御する制御手段と、を備えたことを特徴とする撮像システム。

Images