JP2017200157A - 高解像度立体撮像装置 - Google Patents

Abstract

【課題】イメージセンサが小型のままでもその画素数以上の高解像度の立体撮像を実現する高解像度立体撮像装置を提供する。
【解決手段】マイクロレンズアレイ駆動部３１は、マイクロレンズアレイ等の光路変調素子３２を、垂直同期信号に同期したタイミング発生回路３３で、圧電素子の駆動回路３４を用いて、イメージセンサ２８の画素よりも微小な振幅で振動させ、信号処理部３５で、撮像した時系列画像に対して所定の画素補間処理を行い、得られた合成画像に対して視差画像分離及び画素補間処理を行い、左目用及び右目用の視差画像を生成する。
【選択図】図３

Description

本発明は、高解像度の立体映像の取得を可能にする撮像装置に関する。

近年、映像制作や医療応用等の分野では高画質が求められており、制作用や（カメラ部がロッドレンズを含む軸部の後方にある）硬性内視鏡用カメラは水平画素数がおよそ４０００画素や８０００画素クラスへと従来のハイディフィニション（１９２０画素×１０８０画素）を大きく超える高精細化が進んでいる。

一方で、カメラの操作性や機動性を向上する目的でその小型化が求められ、その結果イメージセンサの小型化とともに画素の微細化も進んでいる。

従来技術として、水平解像度を８０００画素相当とするイメージセンサは光学的な画素サイズの限界から実用的なＦ値の画像を取得するためには撮像領域の水平寸法は１２ｍｍ程度が小型化の限界だった。

特開２０１０−２５３１５５号公報

特開２０１０−２５３１５６号公報

特開２０１０−２８４３６９号公報

特開２０１４−０７６１９２号公報

Ｙ．Ｋｕｒｏｋｉ，"Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｍｏｔｉｏｎ ｉｍａｇｅ ｑｕａｌｉｔｙ Ｂｙ ｕｓｉｎｇ ｈｉｇｈ ｆｒａｍｅ Ｒａｔｅ ｆｒｏｍ ｓｈｏｏｔｉｎｇ ｔｏ ｄｉｓｐｌａｙｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐ（２００９），ｐｐ．５７７−５８０．

図１はＭＴＦの周波数レスポンス特性を示す式であり（テレビジョンカメラの設計技術、映像情報メディア学会、コロナ社、ｐ．１１５、１９９９）、図２は図１の式を計算して得たＭＴＦの周波数レスポンス特性をグラフ化したものである。図２においては、それぞれの曲線より下が解像できる範囲を意味する。

イメージセンサの画素の微細化には、図１及び図２に示すように回折現象による限界が生じ、ＭＴＦの値が低下することにより、例えばＦ値４での撮像では画素１．５μｍ程度が解像の限界を与える。

しかしながら、Ｆ値４での撮像では解像の限界である１．５μｍの画素を水平に８０００個配置したとしてもその長さは１２ｍｍとなってしまい、従来の技術では、一般に直径１０ｍｍが許容最大の大きさとされる、カメラ部がフレキシブルな軸部の先端にある軟性内視鏡や、さらなる小型化が要求される携帯電話のカメラ等を十分に小型化することができなかった。

また、立体映像の機能についても、特に医療用映像等においてその必要性は切実であるにもかかわらず、水平８０００画素オーダーの高精細映像となると、従来の技術では十分に小型化することができなかった。

そのため、水平８０００画素オーダーの高精細化や立体映像化は、軟性内視鏡や携帯電話のカメラ等でその必要性は認められつつも、それを実現することができないという問題があった。

本発明は、このような問題に鑑みてなされたものであり、イメージセンサは小型のままで高解像度の立体映像の取得を可能にする撮像装置を提供することを目的とするものである。

本発明は、上記目的を達成するために、
入射光の経路を変調する光路変調素子と、
前記光路変調素子を振動させる圧電素子と、
前記圧電素子を制御するための制御信号を発生させるタイミング発生回路と、
前記光路変調素子の背面に配置され、前記光路変調素子により光路を変調された入射光を撮像するイメージセンサと、
前記イメージセンサで撮像された時系列画像が偶数番目の時系列画像であるか又は奇数番目の時系列画像であるかを判定するタイミング判定回路と、
前記タイミング判定回路で偶数番目の時系列画像と判定された画像に所定の処理を行ったものを記憶する第１の記憶回路と、
前記タイミング判定回路で奇数番目の時系列画像と判定された画像に所定の処理を行ったものを記憶する第２の記憶回路と、
前記第１の記憶回路及び前記第２の記憶回路に記憶された画像に所定の処理を行い、前記イメージセンサで撮像した画像よりも高解像度のカラー画像を生成する第１の信号処理部と、
前記第１の信号処理部で生成された画像に所定の処理を行い、視差画像を生成する第２の信号処理部と、
前記第２の信号処理部で生成された視差画像に対して各種出力制御処理を行う画像出力回路を有する画像出力部と、
を備えることを特徴とする。

本発明によれば、イメージセンサが小型のままで高解像度の立体映像の取得を実現することができる。

ＭＴＦの周波数レスポンス特性を示す式である。 図１の式を計算して得たＭＴＦの周波数レスポンス特性を示す図である。 本発明の機能的な構成を示すブロック図である。 マイクロレンズアレイの構成図である。 圧電素子の動作を示すタイミングチャートである。 マイクロレンズアレイが空間を移動することにより結像位置が変化することを示す説明図である。 マイクロレンズアレイが空間を移動した前と後におけるイメージセンサ画素の配置を示す説明図である。 時刻ｔ＝ｔｅｖｅｎにおけるイメージセンサ画素の配置を配置し直したものを示す説明図である。 第１の記憶回路に記憶された画像と第２の記憶回路に記憶された画像をもとに合成された画像に係る画素の配置を示す説明図である。 第２の信号処理部で視差画像を生成する方法の説明図である。 従来の一つのレンズを通る光を瞳の位置で遮光することにより立体撮像を可能とする方法の原理を示す説明図である。 ブロッホの法則と呼ばれる、輝度と表示時間の積として明るさを知覚するヒトの視覚特性を示す式である。 本発明の撮像処理の手順を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。なお、本発明は以下の記述のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

図３は、本発明に係る撮像装置１００の機能的な構成を示すブロック図である。この図に示すように、撮像装置１００は、イメージセンサ撮像部２７、マイクロレンズアレイ駆動部３１、信号処理部３５及び画像出力部３８を備える。

イメージセンサ撮像部２７は、イメージセンサ９、イメージセンサ用駆動回路２８、タイミング判定回路１４、第１の記憶回路２９及び第２の記憶回路３０を備える。

イメージセンサ９は、受光した像を撮像する撮像素子であり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。イメージセンサ９で撮像される画素は正方画素となる。イメージセンサ９はイメージセンサ用駆動回路２８からの制御信号に基づいて動作する。

タイミング判定回路１４は、イメージセンサ９で撮像された時系列画像が偶数番目の時系列画像１８であるか又は奇数番目の時系列画像１９であるかを判定するための回路である。

第１の記憶回路２９は、イメージセンサ９で撮像された時系列画像のうち、偶数番目の時系列画像１８を記憶するための回路である。第１の記憶回路２９に画像が記憶される際には、水平方向及び垂直方向のそれぞれの画素は、偶数番目の画素として記憶される。

第２の記憶回路３０は、イメージセンサ９で撮像された時系列画像のうち、奇数番目の時系列画像１９を記憶するための回路である。第２の記憶回路３０に画像が記憶される際には、水平方向及び垂直方向のそれぞれの画素は、奇数番目の画素として記憶される。

以上のようなイメージセンサ撮像部２７の構成により、イメージセンサ９で撮像された時系列画像は、タイミング判定回路１４において偶数番目の時系列画像１８であるか又は奇数番目の時系列画像１９であるか判定され、偶数番目の時系列画像１８については、その水平方向及び垂直方向のそれぞれの画素は偶数番目の画素として第１の記憶回路２９に記憶され、奇数番目の時系列画像１９については、水平方向及び垂直方向のそれぞれの画素は奇数番目の画素として第２の記憶回路３０に記憶される。

マイクロレンズアレイ駆動部３１は、カメラシャーシ８、マイクロレンズアレイ１０、ガイド１１、弾性体１３、圧電素子１２、圧電素子駆動回路３４及びタイミング発生回路３３を備える。

マイクロレンズアレイ１０は光路変調および立体映像取得のための素子であり、個体の板状部材である。マイクロレンズアレイ１０は、ガラスや樹脂性のように光学的な性質が固定のものであっても、液晶レンズのように光学的な性質が可変で制御可能なものであっても良い。

図４はマイクロレンズアレイ１０の構成図である。左図は光軸の光入射側から見た正面図、右図はそのＡＡ断面図である。

マイクロレンズアレイ１０は、正面図に示すように、カメラシャーシ８の内側に配置されており、カメラシャーシ８の内側の対向する位置に設けられた圧電素子１２と弾性体１３により支持されている。また、側面図に示すように、マイクロレンズアレイ１０の背面にはイメージセンサ９が配置されている。

マイクロレンズアレイ１０は圧電素子１２に接合固定されているため、圧電素子１２が動作するとマイクロレンズアレイ１０もそれに連動して振動する。

図に示す構成により、マイクロレンズアレイ１０はイメージセンサ９に対して斜め４５°の角度で微動する。例えば、圧電素子１２の変位を１．５μｍ×√２／２とする電圧信号を加えた場合には、１．５μｍの正方画素の縦横方向に１／２画素に相当するマイクロレンズアレイ１０の移動を行うことができる。

圧電素子１２は電圧の制御により伸縮変化させることができる素子であり、アクチュエータとして制御することができる。圧電素子１２としてはピエゾ素子等が用いられる。

圧電素子１２は、図４に示すように、カメラシャーシ８の内側の弾性体１３に対向する位置に設けられており、弾性体１３とともにマイクロレンズアレイ１０を支持している。

圧電素子駆動回路３４は垂直同期信号に同期したタイミング発生回路３３からの制御信号に基づいて圧電素子１２を制御する。

図５は圧電素子１２の動作を示すタイミングチャートである。

圧電素子１２の動作は、垂直同期信号に同期したタイミング発生回路３３からの制御信号に基づいて制御され、圧縮と伸長を交互に繰り返す。

圧電素子１２はマイクロレンズアレイ１０に接合固定されているため、圧電素子１２が動作するとマイクロレンズアレイ１０も連動して振動する。すなわち、マイクロレンズアレイ１０の位置の時間的変動は、圧電素子１２が動作するタイミングに対応する。

以下、圧電素子１２の動作の２分の１周期ごとの時刻ｔ＝ｔ０，ｔ１，ｔ２，・・・のうち、偶数番目の時刻ｔ＝ｔ０，ｔ２，ｔ４，・・・をｔｅｖｅｎ、奇数番目の時刻ｔ＝ｔ１，ｔ３，ｔ５，・・・をｔｏｄｄと表記する。

弾性体１３は、図４に示すように、カメラシャーシ８の内側の圧電素子１２に対向する位置に設けられており、マイクロレンズアレイ１０の微動に対応した可動範囲を有する弾力性を提供し、圧電素子１２とともにマイクロレンズアレイ１０を支持している。
弾性体１３は、少なくともマイクロレンズアレイ１０の微動に対応することができるものであれば、ゴム材やバネ材等でよい。

ガイド１１は、カメラシャーシ８の内側にイメージセンサ９に対し斜め方向に配置されており、マイクロレンズアレイ１０のスライド移動をスムースに行うためのガイドである。

以上のようなマイクロレンズアレイ駆動部３１の構成により、圧電素子１２を垂直同期信号に同期した２値のタイミングで制御することにより、マイクロレンズアレイ１０を微小な振幅で振動させながらイメージセンサ９で撮像することができる。この撮像のタイミングの数は適宜増やすこともできる。

上記の構成では弾性体１３を用いているが、弾性体１３に代えて圧電素子１２を用いることもできる。例えば、カメラシャーシ８の内側に２つの圧電素子１２を対向するように配置し、逆位相の動作を行うように構成することもできる。

また、その動作方向もイメージセンサ９に対して斜め４５°に限るものではなく、重視するサンプリングの方向に応じて任意である。

信号処理部３５は、第１の記憶回路３０に記憶された画像と第２の記憶回路３１に記憶された画像にカラーデモザイク及び画素補間を行い、カラー画素からなる合成画像２２を生成する第１の信号処理部３６と、視差画像分離及び画素補間を行い、右目用及び左目用の視差画像２５、２６を生成する第２の信号処理部３７を備える。

画像出力部３８は、信号処理部３５で生成された視差画像２５、２６に対して各種出力制御処理を行う画像出力回路３９を備える。これにより、画像情報が所定の信号方式により伝送装置やディスプレイ装置等の表示装置に出力される。

図６はマイクロレンズアレイ１０が空間を移動することにより結像位置が変化することをイメージセンサ画素１７とともに示す説明図である。図（Ａ）は時刻ｔ＝ｔｅｖｅｎにおける光路、図（Ｂ）は時刻ｔ＝ｔｏｄｄにおいてマイクロレンズアレイ１０の１つのマイクロレンズ１６ｂが距離ｄ’移動したときの光路を示している。

図に示すように、上方からの入射光１５はマイクロレンズアレイ１０の１つのマイクロレンズ１６で屈折し、通過した光はイメージセンサ９上で結像する。ここで、マイクロレンズアレイ１０の１つのマイクロレンズ１６の幅は、イメージセンサ画素１７の４つ分に相当する。

ここで、時刻ｔ＝ｔｅｖｅｎにおけるイメージセンサ１７上の結像位置は、時刻ｔ＝ｔｏｄｄのときには、マイクロレンズアレイ１０の位置の移動に連動して移動する。すなわち、マイクロレンズアレイ１０は光路変調素子として機能していることになる。

なお、イメージセンサ画素１７は、イメージセンサ９がベイヤー配列と呼ばれるカラーフィルタが装着された単板カラーセンサで水平方向断面の場合、ラインごとに赤（Ｒ）緑（Ｇ）赤（Ｒ）緑（Ｇ）・・・の配列や緑（Ｇ）青（Ｂ）緑（Ｇ）青（Ｂ）・・・の配列であるので、その両方を示す意味でＲ／Ｇ，Ｂ／Ｇ，Ｒ／Ｇ，Ｂ／Ｇと表記する。

図７はマイクロレンズアレイ１０が空間を移動した前と後におけるイメージセンサ画素１７の配置を示す説明図である。

ここで、イメージセンサ画素１８は時刻ｔ＝ｔｅｖｅｎにマイクロレンズ１６ａから見たイメージセンサ画素（ｉ，ｊ）、イメージセンサ画素１９は時刻ｔ＝ｔｏｄｄにマイクロレンズ１６ｂから見たイメージセンサ画素（ｉ，ｊ）’、子午線２０はマイクロレンズ１５，１６の光軸中心を通る子午線である。子午線２１は、立体撮像の視差画像の境界を意味する。

画素のｉ及びｉ’はそれぞれ横方向の座標、ｊ及びｊ’はそれぞれ縦方向の座標である。横方向の座標がｉ’で縦方向の座標がｊ’の画素は（ｉ，ｊ）’と表記する。また、赤、緑又は青のカラーフィルタに対応させ、（ｉ，ｊ）の後にＲ、Ｇ又はＢと表記する。以下、同様である。

図８は時刻ｔ＝ｔｅｖｅｎにおけるイメージセンサ画素１８の配置を配置し直したものを示す説明図である。
図に示すように、時刻ｔ＝ｔｅｖｅｎにおけるイメージセンサ画素１８は、その水平方向及び垂直方向のそれぞれの画素が偶数番目の画素として配置し直す処理が行われてから第１の記憶回路２９に記憶される。

時刻ｔ＝ｔｏｄｄにおけるイメージセンサ画素１９については図示していないが、その水平方向及び垂直方向のそれぞれの画素が奇数番目の画素として配置し直す処理が行われてから第２の記憶回路３０に記憶される。

この図では、イメージセンサ画素１８のうち、左目用画素に対応するものはＬｅｆｔ、右目用画素に対応するものはＲｉｇｈｔと表記している。以下、同様である。

また、新たに画素（１，１）Ｒを画素（２，１）Ｒ、画素（１，１）’Ｒを画素（１，２）Ｒと表記する。これは、元々の画素数に対し縦横２倍の解像度の画素番号を付与することで光のサンプリング位置に正しく対応させ、大量の画素情報の取得が可能とするためである。この解像度は縦横２倍に限られるものではなく、感度が許す限り、縦横任意の倍数の画像取得とすることも可能である。

図９は第１の記憶回路２９に記憶された画像及び第２の記憶回路３０に記憶された画像をもとに合成された画像２２に係る画素の配置を示す図である。

図に示すように、第１の記憶回路２９に記憶された画像と第２の記憶回路３０に記憶された画像とが、第１の信号処理部３６において行われる、カラーデモザイクを含む画素補間処理により全画素充填され、カラー画素からなる１枚の合成画像２２となる。合成画像２２は、もとのイメージセンサ９で撮像した画像よりも高解像度化されたものになる。

第１の信号処理部３６において行われる、カラーデモザイクを含む画素補間処理には、例えば図８の（５，５）画素であれば、数１、数２及び数３に示すように、注目画素のＲＧＢ値を近傍の画素のＲＧＢ値から色ごとに画素間の距離の逆数を乗じて平均を求める手法が用いられる。
（数１）
（５，５）Ｒ＝（１／３×（５，２）Ｒ＋１／３×（２,５）Ｒ＋（５，６）Ｒ＋（６，５）Ｒ ）／（１／３＋１／３＋１＋１）
（数２）
（５，５）Ｇ＝（４,５）Ｇ＋（５，４）Ｇ＋１／√５×（６，７）Ｇ＋１／√５×（７，６）Ｇ ）／（１＋１＋１／√５＋１／√５）
（数３）
（５，５）Ｂ ＝ （１／√５×（４，３）Ｂ ＋ １／√５×（３，４）Ｂ＋１／√５×（４,７）Ｂ＋１／√５×（７，４）Ｂ）／（１／√５ ＋１／√５＋１／√５＋１／√５）

以下、（４，５）画素のように１つの画素値が存在している画素の残りの色の値を求めることをカラーデモザイク手法、（５，５）画素のようにＲＧＢ値を全て求めることを画素補間手法と呼ぶ。

これらの手法は、上記の例では近傍４画素の線形和として示したが、画質向上を目的としてさらに多くの画素に対してＳＩＮＣ関数のような特殊な重み付けをして平均を計算することも可能である。

また、画面最外周境界の画素値は、上記と同様に存在する近傍の画素値から外挿法により求めることを基本とするが、目立ちにくい部分であるので、最も近傍の色情報をそのまま用いることも可能である。この画面最外周境界の処理は、カラーデモザイクを含む画素補間手法に含むものとする。

図１０は第２の信号処理部３７で視差画像２５、２６を生成する方法の説明図である。

図に示すように、第１の信号処理部３６でカラーデモザイクを含む画素補間処理を行って取得されたカラー画素２２は、まず半分の画素数となる左目用画素２３と右目用画素２４に分割される。さらに、それらに画素補間処理が行われることにより、立体映像に利用される全画面の視差画像２５、２６が生成される。

図１１は、非特許文献１に示されている１つのレンズで立体画像を取得する原理を示す図である。その原理を以下に説明する。

Ｌｅｎｓ１の左手対物側の焦点距離におかれた四角いオブジェクトから拡散反射される光はＬｅｎｓ１を通過後平行光となり、Ｌｅｎｓ２を通過後Ｌｅｎｓ２の焦点距離に置かれたイメージセンサ９上かつ光軸上に結像する。
一方、Ｌｅｎｓ１の焦点距離よりも内側に置かれた丸いオブジェクトから拡散反射される光はＬｅｎｓ１を通過後広がる光となり、Ｌｅｎｓ２を通過後イメージセンサ９より遠くに結像しようとするところをイメージセンサ９で遮られるため、イメージセンサ９上にはぼやけた像が形成される。
ここで、図１１上図を上面図と見てその下半分すなわち、被写体に向かって左半分の光を遮るとその半分の光がイメージセンサ９に到達しないため、丸いオブジェクトに対応するぼやけた像はイメージセンサ９上、上方すなわち被写体に向かって右方向に画像の分布中心が位置する。一方、図１１下図のように逆の半分が遮光された場合には、画像の分布中心は逆の方向に位置する。
これら２つの画像は視差を生じさせることになるが、これらを両眼視すると立体画像が知覚されることとなる。なお、光学系によって正立像、倒立像が結像するものがあり、左右の扱いが異なることがあるが、視差画像の左右は実際に対応して読み替えることができる。

したがって、この原理を適用すれば、第２の信号処理部３７で生成される左目用及び右目用の視差画像２５，２６を用いて立体映像を実現することができる。

図１２はブロッホの法則と呼ばれる、輝度と表示時間の積として明るさを知覚するヒトの視覚特性を示す式である（Ｊ．Ａ．Ｊ．Ｒｏｕｆｓ：Ｄｙｎａｍｉｃ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｖｉｓｉｏｎ．Ｉ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｒｅｌａｔｉｏｎｓｈｉｐｓ Ｂｅｔｗｅｅｎ ｆｌｉｃｋｅｒ ａｎｄ ｆｌａｓｈ ｔｈｒｅｓｈｏｌｄｓ，Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ，１２，ｐ．２６１−２７８，１９７２）。

この法則が成立する時間は２０ｍｓ程度である。これは視覚の積分時間を意味する。
よって、この時間内に２つの画像以上を適切に提示する、１００Ｈｚ以上で正しいサンプリング位置に表示することで高解像度の表示が可能となる。動画に適用する場合には、１００Ｈｚ以上で撮像することが効果的である。

図１３は、本発明の撮像処理の手順を示すフローチャートである。

Ｓ１は初期設定処理のフロー部分である。ここでは、イメージセンサ及び周辺回路２７等の初期状態が設定される。

次にＳ２は、初期位置設定処理のフロー部分である。ここでは、マイクロレンズアレイ１０の初期位置が設定される。

次にＳ３は、タイミング信号発生処理のフロー部分である。ここでは、タイミング発生回路３３からイメージセンサ９の垂直同期信号に同期したタイミング信号が発生する。

次にＳ４は、タイミング判定処理のフロー部分である。ここでは、タイミング判定回路１４において、初期値を偶数として映像の垂直同期信号の１サイクルごとに奇数、偶数を繰り返すカウンタを用いて、イメージセンサ９で撮像された時系列画像が偶数番目の時系列画像であるか又は奇数番目の時系列画像であるか判定される。ここで、偶数カウントの場合にはＳ５に進み、奇数カウントの場合にはＳ７に進む。

Ｓ５は圧電素子１２の圧縮動作のフロー部分である。ここでは、圧電素子１２の圧縮動作に対応して、マイクロレンズアレイ１０は時刻ｔ＝ｔｅｖｅｎの位置、すなわち予め映像の垂直同期信号のカウントが偶数カウントの場合として設定された位置に移動する。

次にＳ６は、第１の記憶回路２９の記憶処理のフロー部分である。ここでは、時刻ｔ＝ｔｅｖｅｎにイメージセンサ９で撮像された画像は、水平方向及び垂直方向のそれぞれの画素が偶数番目の画素として、その画素値が第１の記憶回路２９に記憶される。続いてＳ９に進む。

Ｓ７は圧電素子１２の伸長動作のフロー部分である。ここでは、圧電素子１２の伸長動作に対応して、マイクロレンズアレイ１０は時刻ｔ＝ｔｏｄｄの位置、すなわち予め映像の垂直同期信号のカウントが奇数カウントの場合として設定された位置に移動する。

次にＳ８は、第２の記憶回路３０の記憶処理のフロー部分である。ここでは、時刻ｔ＝ｔｏｄｄにイメージセンサ９で撮像された画像は、水平方向及び垂直方向のそれぞれの画素が奇数番目の画素として、その画素値が第２の記憶回路３０に記憶される。続いてＳ９に進む。

Ｓ９は第１の画像処理のフロー部分である。ここでは、第１の信号処理部３６において、イメージセンサ９のカラーフィルタを通して得られた赤、緑及び青の画素値の情報をもとに、前述したカラーデモザイク及び画素補間処理が行われ、色情報が全画面にわたり決定され、合成画像が生成される。

次にＳ１０は、第２の画像処理のフロー部分である。ここでは、まず、前述したようにマイクロレンズが光の入射角度の違いにより左目用と右目用に画像を分離する機能があることを用いて、第１の画像処理で生成された合成画像から左目用及び右目用の視差画像２３、２４が分離生成される。続いてそれらの視差画像２３、２４に係る画素群に対して画素補間処理が行われ、それぞれ全画面の視差画像２５、２６が生成される。

次にＳ１１は、画像出力処理のフロー部分である。ここでは、画像出力部３８はＳ１０で生成された画像情報が任意の伝送装置や表示装置に合わせた信号方式で出力される。

以上のように、本発明の実施形態によれば、マイクロレンズアレイ１０をイメージセンサ画素１７より微小な振幅で振動させながら撮像された時系列画像に対して所定の画素補間処理が行われ、得られた合成画像２２に対して視差画像分離及び画素補間処理が行われ、左目用及び右目用の視差画像２５、２６が生成されるので、イメージセンサ９は小型のままでもその画素数以上の高解像度の立体撮像を実現することができる。

具体的には、次の例のような効果をもたらす。すなわち、軟性内視鏡において体内に挿入されることから一般に外径およそ１０ｍｍが撮像部の大きさの制約であることと、イメージセンサの画素サイズに光学的な回折現象による制約があることから例えばＦ値４での十分な解像度性能を得ようとすると実現していなかった現時点で実用上最高水準となる水平８０００画素クラス相当の性能を、水平４０００画素クラスの（代表的な画素数フォーマットは縦２１６０横３８４０画素、１．５μｍの画素を用いた場合イメージセンサの撮像エリアの対角線寸法はおよそ６．６ｍｍ、パッケージとシャーシを含めて最大外径を１０ｍｍ以下とすることが可能となる）イメージセンサを用いて実現することができる。

また、本発明の実施形態には、左右画像の視差により立体画像を取得するもののほか、垂直画像の視差の視差により立体画像を取得するものもある。すなわち、マイクロレンズ１６として球面レンズを使用した場合にも、垂直方向の視差により立体画像を得ることができる。
水平方向及び垂直方向の視差画像を取得し、立体画像の表示を行うと、表示を見る姿勢として、例えば横になって見ても立体知覚が可能となるなど、見方の自由度が増す効果が得られる。

本発明は、内視鏡カメラや携帯電話機や携帯情報端末等の小型カメラに適用することができるものである。

本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施例、変形例を含むことは、本明細書に記載の実施形態や思想から本発明の属する分野における当業者にとって明らかである。

１ ＭＴＦの周波数特性レスポンスを示す式
２ Ｂｌｏｃｈの法則と呼ばれる視覚特性を示す式
３ 式１を計算した結果をグラフ化した例。グラフにおいて、それぞれ曲線より下が解像できる範囲を意味する。
４ 画素ピッチ：４μｍ、水平画素数：２ｋ画素、水平サイズ：８ｍｍでの空間周波数の例
５ 画素ピッチ：２μｍ、水平画素数：４ｋ画素、水平サイズ：８ｍｍでの空間周波数の例
６ 画素ピッチ：１．５μｍ、水平画素数：５．３ｋ画素、水平サイズ：８ｍｍでの空間周波数の例
７ 画素ピッチ：１μｍ、水平画素数：８ｋ画素、水平サイズ：８ｍｍでの空間周波数の例
８ カメラシャーシ
９ イメージセンサ
１０ マイクロレンズアレイ
１１ マイクロレンズアレイのスライド移動ガイド
１２ 圧電素子
１３ 弾性体
１４ タイミング判定回路
１５ マイクロレンズに入射し屈折、通過する光線
１６ａ 時刻ｔ＝ｔｅｖｅｎにおける位置のマイクロレンズ
１６ｂ 時刻ｔ＝ｔｏｄｄにおける位置のマイクロレンズ
１７ イメージセンサ画素
１８ 時刻ｔ＝ｔｅｖｅｎにマイクロレンズから見たイメージセンサ画素
１９ 時刻ｔ＝ｔｏｄｄにマイクロレンズから見たイメージセンサ画素
２０ マイクロレンズの光軸中心を通る子午線
２１ ２つの取得画素から合成された画素
２２ 合成された画素にカラーデモザイクを含む補間処理を行い、生成されたＲＧＢ画素
２３ 左目用の視差を有する画素
２４ 右目用の視差を有する画素
２５ 左目用画素に補間処理を行い、生成された全画面のＲＧＢ画素
２６ 右目用画素に補間処理を行い、生成された全画面のＲＧＢ画素
２７ イメージセンサ撮像部
２８ イメージセンサ及びその駆動回路
２９ 第１の記憶回路
３０ 第２の記憶回路
３１ マイクロレンズアレイ駆動部
３２ マイクロレンズアレイ及びその移動ユニット
３３ タイミング発生回路
３４ 圧電素子駆動回路
３５ 信号処理部
３６ カラーデモザイクを含む画素補間回路
３７ 視差画像分離および画素補間回路
３８ 画像出力部
３９ 画像出力回路
１００ 撮像装置

Claims (5)

1. 入射光の経路を変調する光路変調素子と、
   前記光路変調素子を振動させる圧電素子と、
   前記圧電素子を制御するための制御信号を発生させるタイミング発生回路と、
   前記光路変調素子の背面に配置され、前記光路変調素子により光路を変調された入射光を撮像するイメージセンサと、
   前記イメージセンサで撮像された時系列画像が偶数番目の時系列画像であるか又は奇数番目の時系列画像であるかを判定するタイミング判定回路と、
   前記タイミング判定回路で偶数番目の時系列画像と判定された画像に所定の処理を行ったものを記憶する第１の記憶回路と、
   前記タイミング判定回路で奇数番目の時系列画像と判定された画像に所定の処理を行ったものを記憶する第２の記憶回路と、
   前記第１の記憶回路及び前記第２の記憶回路に記憶された画像に所定の処理を行い、前記イメージセンサで撮像した画像よりも高解像度のカラー画像を生成する第１の信号処理部と、
   前記第１の信号処理部で生成された画像に所定の処理を行い、視差画像を生成する第２の信号処理部と、
   前記第２の信号処理部で生成された視差画像に対して各種出力制御処理を行う画像出力回路を有する画像出力部と、
   を備えることを特徴とする撮像装置。
2. 前記光路変調素子は、マイクロレンズアレイであることを特徴とする請求項に記載の撮像装置。
3. 前記イメージセンサのフレームレートが１００Ｈｚ以上であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記イメージセンサの画素数が縦２１６０×横３８４０以上であることを特徴とする請求項１乃至３に記載の撮像装置。
5. 前記イメージセンサの光軸から見た外径が１０ｍｍ以下であることを特徴とする請求項１乃至４に記載の撮像装置。