JP2009117976A - 撮像装置 - Google Patents

Abstract

【課題】コンパクトな構成でありながら、複数の波長域にそれぞれ対応した複数の測距用画像を得ることができることができる撮像装置を提供する。
【解決手段】撮像装置１００は、光軸が互いに略平行である複数のレンズ１０ａ、１０ｂと、異なる複数の透過波長特性にそれぞれ対応する複数のフィルタ要素群が順次配列された複合フィルタ３０と、複数のレンズ１０ａ、１０ｂがそれぞれ結像する複数の像を、複合フィルタ３０を介して撮像する一の撮像素子２０と、撮像素子２０で撮像された複数の画像を用いて測距演算を行う測距演算部５３とを備え、測距演算部５３は、複数のフィルタ要素群の各々を介して得られた複数の画像から、複数の透過波長特性にそれぞれ対応する複数の視差情報を算出する。
【選択図】図１

Description

本発明は、複数の画像を用いて測距演算を行う機能を備えた撮像装置に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置は、光学レンズ等の光学ブロックを通して、被写体の情報をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子で撮像することにより、被写体の２次元画像情報を取得する。

また、３次元情報を取得するために、互いにずらして配置された複数の撮像装置により撮像される複数の画像を用いて測距演算を行う技術が知られている。測距演算では、周知のように画像間の視差情報が算出され、視差情報から被写体までの距離が算出される。

ただし、上記の従来技術では、複数の撮像装置を備えるために装置規模が大きくなる。これに対して、特許文献１は、複数の光学ブロックと一つの撮像素子とを備えた複眼タイプの撮像装置を開示している。複数の光学ブロックが複数の像を一つの撮像素子上で隣り合う２つの領域に形成する。この一つの撮像素子が複数の画像信号を形成し、それら複数の画像を用いて測距演算が行われる。一つの撮像装置で測距を行うことができるので、測距のための構成をコンパクトにできる。

また、従来から複数の波長に対応した撮像システムとして、異なる撮像環境下で撮像できる撮像装置が知られている。複数の波長は典型的には可視光と近赤外光である。例えば車両周辺の撮影用の撮像システムにおいて、可視光の像を撮像する撮像装置と、非可視光（典型的には近赤外光）の像を撮像する撮像装置とを備え、これらを照明環境に合わせて切り換えるものが知られている。また、可視光撮影と近赤外光撮影の切換は、複数種類の被写体の撮像にも有用である。例えば撮像装置を検出用のセンサに用いる場合のように、可視光の像から物体を検出する撮像装置と、近赤外光の像から物体を検出する撮像装置とを備え、被写体に応じて撮像装置を切り換えるものが知られている。近赤外光の像から検出される被写体は例えば体内器官や虹彩等であり、この種の技術は医療用カメラとしても有用である。
特開２００３−１４３４５９号公報

しかしながら、特許文献１に記載の撮像装置は可視光下でしか用いることができず、撮像環境や被写体が制限されてしまう。これに対し、上述の可視光と近赤外光に対応する撮像システムのように、互いに異なる波長に対応した複数の撮像装置を切り換えることも可能であるが、搭載スペースを多く必要とし、取り付け方法も煩雑化し、部品点数も増えてコストが高くなるという問題があった。また、可視光用および非可視光用の光学フィルタを切り換える機構を設けることも考えられるが、対振動耐久性に乏しく、撮像装置が大きくなってしまうという問題もあった。

本発明は、上記従来の問題を解決するためになされたもので、コンパクトな構成でありながら、複数の波長域にそれぞれ対応した複数の画像を得ることができ、これらの画像から正確に視差情報を算出することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、光軸が互いに略平行である複数の光学ブロックと、異なる複数の透過波長特性にそれぞれ対応する複数のフィルタ要素群が順次配列された複合フィルタと、前記複数の光学ブロックがそれぞれ結像する複数の像を、前記複合フィルタを介して撮像する一の撮像素子と、前記撮像素子で撮像された前記複数の画像を用いて測距演算を行う測距演算部とを備え、前記測距演算部は、前記複数のフィルタ要素群の各々を介して得られた複数の画像から、前記複数の透過波長特性にそれぞれ対応する複数の視差情報を算出する構成を有している。

この構成により、透過波長特性が異なる複数のフィルタ要素群からなる複合フィルタを設けて、複数の光学ブロックの各々が結像する複数の像を、複合フィルタを介して一の撮像素子により撮像する。従って、複数の光学ブロックと一の撮像素子を備える構成により、各々の透過波長特性に対応した複数の画像を得ることができる。そして、視差算出部が、撮像素子で撮像された複数の画像から、複数の透過波長特性にそれぞれ対応する複数の視差情報を算出する。この結果、コンパクトな構成でありながら、複数の波長域にそれぞれ対応した複数の画像を得ることができ、これらの画像から正確に視差情報を算出することができる。

また、本発明に係る撮像装置は、前記撮像素子により撮像された画像を、前記複数のフィルタ要素群の各々を介して得られた画像毎に分離する分離部を備えた構成を有している。

これにより、撮像素子により撮像された画像を、各透過波長特性に対応した画像毎に分離することができ、複数の波長域にそれぞれ対応した複数の画像を得ることができる。

また、本発明に係る撮像装置において、前記複合フィルタは、少なくとも可視光線域の光を透過する可視光透過フィルタ要素群と、可視光線域以外の波長の光を透過する非可視光透過フィルタ要素群とを有し、前記測距演算部は、前記可視光透過フィルタ要素群を介して前記撮像素子により得られる複数の可視光画像から前記視差情報を算出し、前記非可視光透過フィルタ要素群を介して前記撮像素子により得られる複数の非可視光画像から前記視差情報を算出する構成を有している。

この構成により、可視光透過フィルタ要素群と非可視光透過フィルタ要素群からなる複合フィルタを介して、撮像素子より複数の像を撮像するので、可視光および近赤外光等の非可視光の光学特性を持った画像を一の撮像素子から得ることができる。従って、コンパクトな構成でありながら、可視光および非可視光の波長に対応した複数の画像を得て、これらの画像から視差情報を算出することができる。

また、本発明に係る撮像装置において、前記非可視光透過フィルタ要素群は、近赤外線域の光を透過する構成を有している。

これにより、可視光および近赤外光の光学特性に持った可視光画像および近赤外光画像を得ることができ、コンパクトな構成でありながら、可視光および近赤外光の波長に対応した複数の画像を得て、これらの画像から視差情報を算出することができる。

また、本発明に係る撮像装置において、前記可視光透過フィルタ要素群は、カラーフィルタにより構成されている。

この構成により、可視光透過フィルタ要素群はカラーフィルタにより構成されるので、非可視光の光学特性を持った非可視光画像（近赤外光画像等）とともに、可視光の光学特性を持った可視光画像としてカラー画像を得ることができる。これにより、被写体の色判定が可能なカラー画像と、非可視光撮影による特徴的な画像と、視差情報とを得ることができる。非可視光撮影による特徴的な画像は、例えば近赤外光撮影による皮下組織の画像であり、これにより、本発明を医療分野の内視鏡等に適用して、撮像機能や測定機能の向上を図ることができる。

また、本発明に係る撮像装置において、前記複数の光学ブロックは、光軸間を結ぶ基線が交差するように配置された少なくとも３つの光学ブロックを含み、前記測距演算部は、前記基線が異なる複数の光学ブロック対を介して得られる複数の画像対からそれぞれ算出される複数の視差情報に基づいて、測距演算結果を求める構成を有している。

この構成により、互いに交差する複数の基線に対応する視差情報を得ることができ、これら複数の視差情報に基づいて最終的な測距演算結果を透過波長特性毎に算出するので、より正確な測距情報を得ることができる。

また、本発明に係る撮像装置は、前記複数の光学ブロックとして、第１および第２のレンズ対を備え、前記第１のレンズ対の画角は、前記第２のレンズ対の画角よりも大きい構成を有している。

これにより、異なる画角のレンズ対（例えば広角レンズ対、狭角（望遠）レンズ対）で複眼レンズが構成され、視野が広い画像対と狭い画像対を１つの撮像素子で撮像することができ、これらの画像対に基づいた複数の視差情報等の測距情報を得ることができる。従って、視野が広い画像を用いて被写体全体を大まかに把握しつつ、視野が狭い画像を用いて被写体の特定部分を高精度に検証したい場合に好適である。

また、本発明に係る撮像装置は、前記複数の光学ブロックとして、第１および第２のレンズ対を備え、前記撮像素子は、前記第１のレンズ対が像を形成する画像領域と、前記第２のレンズ対が像を形成する画像領域とで、画素の大きさが互いに異なる構成を有している。

これにより、互いに解像度が異なる複数の画像対を得ることができ、これらの画像対に基づいた複数の視差情報等の測距情報を得ることができる。撮像する被写体の形状や大きさ等に応じて、高解像度または低解像度の画像対を使い分けて、これらの画像対から視差情報等の測距情報を得ることができる。

また、本発明に係る撮像装置において、前記測距演算部は、算出された前記複数の視差情報に基づいて、被写体までの距離情報を算出する構成を有している。この構成により、被写体までの距離情報を視差情報に基づいて算出することができる。

また、本発明に係る撮像装置は、前記複数の光学ブロックの温度を測定する温度測定部を備え、前記温度測定部の測定結果に応じて、前記測距演算を行う構成を有している。

この構成により、複数の光学ブロックの温度測定結果に応じて、測距演算を行うので、温度変化によって各光学ブロックの光学特性が変化した場合に、当該光学特性の変化が及ぼす測距演算の誤差を適正に補正して、これらの情報を算出することができる。

本発明は、異なる複数の透過波長特性にそれぞれ対応する複数のフィルタ要素群が順次配列された複合フィルタを備え、複数の光学ブロックがそれぞれ結像する複数の像を、複合フィルタを介して一の撮像素子により撮像し、複数のフィルタ要素群の各々を介して得られた複数の画像から複数の視差情報を算出するので、コンパクトな構成でありながら、複数の波長域に対応した複数の画像を得ることができ、これらの画像から正確に視差情報を算出することができるという効果を有する撮像装置を提供することができるものである。

（第１の実施の形態）
以下、本発明の第１の実施の形態に係る撮像装置について、図面を用いて説明する。本実施の形態の撮像装置は、例えば医療用カメラであり、内視鏡に用いられてよい。
本発明の第１の実施の形態の撮像装置１００の構成を図１に示す。図１に示されるように、撮像装置１００は、光学ブロックアレイとしてのレンズアレイ１０と、撮像素子２０と、複合フィルタ３０と、前処理部４０と、信号処理部５０と、駆動処理部６０と、外部接続システム７０とを備えている。

レンズアレイ１０は一対のレンズ１０ａ、１０ｂを備えている。一対のレンズ１０ａ、１０ｂの光軸は互いにほぼ平行になるように配置されている。レンズ１０ａ、１０ｂは本発明の構成要件である光学ブロックに相当しており、本発明においては、複数の光学系が一体成型されてもよく、複数の光学系が一体に取り付けられてもよい。撮像素子２０はレンズ１０ａ、１０ｂがそれぞれ結像する２つの像を撮像する。撮像素子２０はＣＣＤ（Charge Coupled Device）により構成される。なお、撮像素子２０は、ＭＯＳ（Metal Oxide Semiconductor）型撮像素子であってもよい。

一対のレンズ１０ａ、１０ｂと撮像素子２０との配置関係について、図２に基づいて説明する。図２に示されるように、撮像素子２０の受光面には領域Ａと領域Ｂが設けられている。レンズ１０ａ、１０ｂをレンズＡ、Ｂとすると、レンズＡが結像する像を領域Ａにて受光し、レンズＢが結像する像を領域Ｂにて受光する。撮像素子２０は、受光面の各領域Ａ、Ｂで受光する像を撮像する。

複合フィルタ３０は、異なる複数の透過波長特性にそれぞれ対応する複数のフィルタ要素群が順次配列されて構成されている。複合フィルタ３０は撮像素子２０上に設けられ、これにより、レンズアレイ１０および撮像素子２０の間に位置している。複合フィルタの具体例を図３（ａ）、（ｂ）に例示する。図３（ａ）の例においては、複合フィルタ３０Ａは、可視光透過フィルタ要素群３１および非可視光透過フィルタ要素群３２を有している。これらフィルタ要素群３１、３２を構成するフィルタ要素が互い違いに千鳥模様状に配列されている。本実施の形態では非可視光が赤外光である。図３（ｂ）の例においては、複合フィルタ３０Ｂは、可視光透過フィルタ要素群３１および非可視光透過フィルタ要素群３２の各フィルタ要素が垂直方向（紙面上下方向）に交互に縞模様状に配列されている。フィルタ要素群３１、３２の各フィルタ要素は、撮像素子２０の各画素に対応して配置されている。

一対のレンズ１０ａ、１０ｂがそれぞれ結像する像は、複合フィルタ３０の各フィルタ要素群３１、３２を介して、撮像素子２０により撮像される。また、上述の通り、撮像素子２０の撮像領域Ａにてレンズ１０ａが結像する像が撮像され、撮像素子２０の撮像領域Ｂにてレンズ１０ｂが結像する像が撮像される。このとき、レンズＡおよびレンズＢが結像する像の光の各々は、複合フィルタ３０のフィルタ要素群３１、３２の双方を透過して、撮像素子２０の受光面に入射する。なお、複合フィルタ３０は、撮像素子２０の受光面上に一体に取り付けられたオンチップフィルタであることが好ましい。これにより、構成をよりコンパクトにすることができ、また、複合フィルタ３０の各フィルタ要素を撮像素子２０の各画素に正確に対応させて配置することができる。

可視光透過フィルタ要素群３１は少なくとも可視光線域（λ（以下、波長を表す記号とする。）＝約３８０ｎｍ〜約７８０ｎｍ）の光を通すように形成されており、非可視光透過フィルタ要素群３２は可視光以外の波長の光を通すように形成されている。

非可視光透過フィルタ要素群３２の透過波長特性の例を図４に示す。図４に示されるように、非可視光透過フィルタ要素群３２は、約８００ｎｍ以下の波長の光を透過せず、約８００ｎｍ以上の波長の光を透過する特性を有する。近赤外線域の波長は約７００ｎｍ〜約２５００ｎｍであり、従って、非可視光透過フィルタ要素群３２は近赤外線域の光を透過する。

前処理部４０は、例えば相関二重サンプリング回路（以下、ＣＤＳ（Correlated Double Sampling）回路とする）、自動利得補正回路（以下、ＡＧＣ（Auto Gain Control）回路とする）およびＡＤコンバータ回路（以下、ＡＤＣ（Analog/Digital Converter）回路とする）等により構成されている。ＣＤＳ回路では撮像素子２０による撮像画像の雑音を除去し、ＡＧＣ回路ではＣＤＳ回路からの信号に対してＡＧＣのアナログ信号処理を行い、ＡＤＣ回路ではＡＧＣ回路からのアナログ信号をデジタル信号に変換する。

信号処理部５０は、前処理部４０から出力される画像信号に対して様々な信号処理を施して、外部接続システム７０へ出力するための出力用の画像信号を生成する回路群である。信号処理部５０は、分離補正部５１と、画像信号処理部５２と、測距演算部５３と、出力切替部５４と、カメラ設定用パラメータ保持部５５と、露光制御部５６とを備えている。

分離補正部５１は、撮像素子２０により撮像された画像を、複数のフィルタ要素群の各々を介して得られた画像毎に分離して、欠損部分の画素を補完することにより補正処理を行う。具体的には、例えば複合フィルタ３０Ａまたは３０Ｂを用いた場合、撮像素子２０で生成される画像には、可視光透過フィルタ要素群３１を介して得られる可視光画像と、非可視光透過フィルタ要素群３２を介して得られる近赤外光画像とがそれぞれ含まれている。分離補正部５１は、撮像素子２０で撮像された画像中の各画素が可視光画像または近赤外光画像のどちらに対応しているかを判別し、各画素の信号を可視光画像と近赤外光画像に振り分け、これにより、フィルタ要素群３１、３２毎に画像を分離する。

なお、図３（ａ）、図３（ｂ）に示されるように、複合フィルタ３０Ａ、３０Ｂを比較すると、下記の点で千鳥状のパターンを持つ複合フィルタ３０Ａが有利である。すなわち、複合フィルタ３０Ａを設けた構成では、可視光透過フィルタ要素群３１を介して得られる画像において画素の欠損する部分も千鳥状のパターンになる。この画素が欠損した部分において、隣接する可視光透過フィルタ要素群３１の画素の信号を比較し、それぞれ画素の相関の高い水平方向・垂直方向の画素から欠損部分を補完するというように画像信号処理が行われる。非可視光透過フィルタ要素群３２を介して得られる画像の補完処理も同様である。このような処理により、撮像デバイスが本来持っている水平解像度・垂直解像度を落とさずに可視光側の画像と近赤外光側の画像を生成することができ、そのデータを用いて精度の高い距離情報を提供できる。

画像信号処理部５２は、分離補正部５１から出力される各画像に対して画像信号処理を行う。画像信号処理には、色分離、ホワイトバランス、色差信号の生成、ガンマ（γ）補正、ニー処理、アパーチャ処理、出力クリップ処理、同時化、キャリブレーション等が含まれる。

測距演算部５３は、視差算出部５３１および距離算出部５３２を備えている。視差算出部５３１は、撮像素子２０で撮像される画像から、各レンズ１０ａ、１０ｂが結像する２つの像間の視差情報を算出する。具体的には、視差算出部５３１は、フィルタ要素群３１、３２の各々を介して得られた可視光画像および近赤外光画像から視差情報を算出する。距離算出部５３２は、各視差情報に基づいて、被写体までの距離情報を算出する。測距演算部５３は、後述のカメラ設定用パラメータ保持部５５に設定された制御パラメータに従って、各処理を行う。これにより、可視光、近赤外光といった透過波長特性に合わせた視差情報および距離情報の算出を行うことができる。

出力切替部５４は、ＮＴＳＣ（National Television Standards Committee）、ＰＡＬ（Phase Alternation by Line）、デジタル出力といった出力方式を選択して、選択結果に従った出力信号を生成し、外部接続システム７０へ出力する。出力方式は、後述の外部接続システム７０により設定される。出力切替部５４は、カメラ設定用パラメータ保持部５５に設定された制御パラメータに従って各処理を行う。これにより、可視光、近赤外光といった透過波長特性に合わせた出力切替を行うことができる。

カメラ設定用パラメータ保持部５５は、可視光用パラメータ保持部５５１および近赤外光用パラメータ保持部５５２を備えている。可視光用パラメータ保持部５５１は、可視光に対応した制御パラメータ（以下、可視光用パラメータとする）を保持し、近赤外光用パラメータ保持部５５２は、近赤外光に対応した制御パラメータ（以下、近赤外光用パラメータとする）を保持する。各制御パラメータとしては、例えばシャッタースピード、露光時間、視差測定範囲、距離測定範囲等に関する設定値が数値化されて設定されている。

露光制御部５６は、分離補正部５１で分離された可視光画像および近赤外光画像の輝度の平均値をそれぞれ算出し、算出結果に基づいて撮像素子２０の露光時間を制御する。露光制御部５６も、カメラ設定用パラメータ保持部５５に設定された制御パラメータに従って処理を行う。露光制御についても、可視光用パラメータと近赤外光用パラメータの切換が行われてよい。これは時系列にて出力切替を行う場合であって、可視光と近赤外光の露光制御を独立して行える場合に適しており、これにより、可視光、近赤外光といった透過波長特性に合わせた露光制御を行うことができる。

駆動処理部６０は、垂直転送駆動回路（以下、Ｖｄｒ（Vertical driver）回路とする）やタイミングジェネレータ回路（以下、ＴＧ（Timing Generator）回路とする）等により構成されている。駆動処理部６０は、露光制御部５６の制御に従って、撮像素子２０の駆動処理を制御する。

外部接続システム７０は、カメラ設定用パラメータ保持部５５に接続されており、通信制御やボタン操作により、可視光用パラメータ保持部５５１と近赤外光用パラメータ保持部５５２のいずれかを選択して、制御パラメータを切り換える。この切り換えにより、分離補正部５１、画像信号処理部５２、測距演算部５３、露光制御部５６および出力切替部５７が動作する際の制御パラメータが切り換えられる。外部接続システム７０による制御パラメータの設定に応じて、画像信号処理部５２は、可視光画像および近赤外光画像のそれぞれに対して、各画像に適した画像処理を行い、視差算出部５３１および距離算出部５３２は、可視光画像および近赤外光画像のそれぞれから視差情報および距離情報を算出する。

外部接続システム７０は、ボタン操作等により、出力切替部５４の出力方式を選択する。また、外部接続システム７０では、ボタン操作等により、可視光画像と赤外光画像とを同時に出力する同時出力、これらの画像のいずれか一方を選択して出力する片方選択出力、または時間経過に応じて画像を切り替えて出力する時系列出力のいずれかの出力方法を選択して設定することができる。これに合わせて、外部接続システム７０は、可視光画像または近赤外光画像から算出される視差情報および距離情報の出力についても、同時出力、片方選択出力または時系列出力のいずれかの出力方法に設定することができる。

次に、本発明の第１の実施の形態における撮像装置１００の動作について説明する。外部接続システム７０は、出力切替部５４の出力方式の選択を行い、併せてカメラ設定用パラメータ保持部５５における制御パラメータの切り換え設定を行い、更に可視光画像および赤外光画像の各画像の出力方法と、これらの画像から算出される視差情報および距離情報の出力方法を同時出力、片方選択出力または時系列出力のいずれかに設定する。

撮像素子２０は、一対のレンズ１０ａ、１０ｂがそれぞれ結像する像を撮像する。撮像素子２０の撮像処理は駆動処理部６０の制御に従って行われる。撮像素子２０の撮像画像は、複合フィルタ３０の各フィルタ要素群３１、３２を介して撮像され、可視光透過フィルタ群３１を透過した可視光画像と、非可視光透過フィルタ要素群３２を透過した近赤外光画像とを含んでいる。

次に、前処理部４０が、撮像素子２０により撮像された画像に対して、ＣＤＳ、ＡＧＣ、ＡＤＣ等の前処理を行い、デジタル画像信号を信号処理部５０に入力する。信号処理部５０では、分離補正部５１が、前処理が行われた画像を可視光画像および赤外光画像に分離し、欠損部分を補完する。分離された可視光画像および赤外光画像は、露光制御部５６および画像信号処理部５２に入力される。

露光制御部５６は、分離補正部５１から入力される可視光画像と近赤外光画像の輝度平均値を別々に算出し、可視光フィルタ（可視光透過フィルタ要素群３１）と近赤外光フィルタ（非可視光透過フィルタ要素群３２）に合わせた露光制御を行い、これにより、光学入力特性に最適な制御を施した出力の期待値を得ることができる。なお、時系列で出力切替を行う場合は、フレーム間引き、ライン間引き、または信号処理の倍速駆動により可視光画像と近赤外光画像を時系列で出力できる。この場合は、可視光側の画像と近赤外光側の画像とで露光制御を独立して行うことができる。このことを利用し、露光制御についても可視光用パラメータと近赤外光用パラメータとを切り替えてよい。他の信号処理部と合わせてパラメータ切換えを行うことで、システム用途に向けた特性の違う撮像を好適に行うことができる。

画像信号処理部５２は、分離補正部５１から出力される各画像に対して画像信号処理を行い、処理後の可視光画像および赤外光画像を測距演算部５３に入力する。測距演算部５３は、可視光画像および近赤外光画像の各々から視差情報および距離情報を算出する。すなわち、視差算出部５３１は、可視光用パラメータを用いて、レンズ１０ａ、１０ｂが結像する可視光画像間の視差情報を算出し、また、近赤外光用パラメータを用いて、レンズ１０ａ、１０ｂが結像する近赤外光画像間の視差情報を算出する。

距離算出部５３２は、視差情報算出部５３１により算出された視差情報に基づいて、被写体までの距離情報を算出する。距離算出部５３２は、カメラ設定用パラメータ保持部５５に設定された制御パラメータに従って、可視光画像から算出された視差情報に基づき、可視光用パラメータを用いて被写体までの距離を算出し、また、近赤外光画像から算出された視差情報に基づき、近赤外光用パラメータを用いて被写体までの距離を算出する。算出された視差情報および距離情報は、出力切替部５４に入力される。

出力切替部５４は、外部接続システム７０により選定された出力方式（例えばＮＴＳＣ、ＰＡＬ、デジタル出力等）に従って、出力信号を生成する。このとき、出力切替部５４は、カメラ設定用パラメータ保持部５５に設定された制御パラメータに従って、出力信号の生成処理を行う。そして、出力切替部５４は、外部接続システム７０での設定情報に従って、可視光画像および赤外光画像の各画像と、これらの画像から算出される視差情報および距離情報とを同時出力、片方選択出力または時系列出力のいずれか出力方法で、外部接続システム７０へ出力する。

なお、可視光画像および近赤外光画像を時系列で出力パターンを切り換えて出力する場合、フレーム間引き、ライン間引きまたは信号処理の倍速駆動が行われる。この場合、前述のように、可視光画像と近赤外光画像で露光制御を独立させてよく、露光制御パラメータも可視光用と近赤外光用とで切り換えてよく、パラメータ切換が他の信号処理回路と共に好適に行われる。

このような本発明の第１の実施の形態の撮像装置１００によれば、透過波長特性が異なる複数のフィルタ要素群３１、３２からなる複合フィルタ３０を設けて、複数のレンズ１０ａ、１０ｂの各々が結像する複数の像を、複合フィルタ３０を介して一の撮像素子２０により撮像する。従って、複数のレンズ１０ａ、１０ｂを一の撮像素子を備える構成により、各々の透過波長特性に対応した複数の画像を得ることができる。そして、視差算出部５３１が、撮像素子２０で撮像された複数の画像から、複数の透過波長特性にそれぞれ対応する複数の視差情報を算出する。これにより、コンパクトな構成でありながら、複数の波長域にそれぞれ対応した複数の画像を得ることができ、これらの画像から正確に視差情報を算出することができる。この結果、被写体の種類に関係なく、また、様々な撮像環境に対応して、視差情報を算出できる撮像装置を得ることができる。

本実施の形態の撮像装置は、例えば前述した医療用カメラであり、内視鏡を構成する。そして、可視光画像とともに近赤外光画像を用いて組織が検出され、そして、可視光画像と近赤外光画像での測距情報や立体情報が有用に用いられる。

また、本発明の第１の実施の形態の撮像装置１００によれば、撮像素子２０により撮像された画像を、複数のフィルタ要素群３１、３２の各々を介して得られた画像毎に分離する分離補正部５１を備えたので、撮像素子１０により撮像された画像を、各透過波長特性に対応した画像毎に分離することができ、複数の波長域にそれぞれ対応した複数の画像を得ることができる。

また、本発明の第１の実施の形態の撮像装置１００によれば、可視光透過フィルタ要素群３１と非可視光透過フィルタ要素群３２からなる複合フィルタ３０を介して、撮像素子１０より複数の像を撮像するので、可視光および非可視光の光学特性を持った画像を一の撮像素子１０から同時に得ることができる。従って、コンパクトな構成でありながら、可視光および非可視光の波長に対応した複数の画像を得て、これらの画像から視差情報を算出することができる。

また、本発明の第１の実施の形態の撮像装置１００によれば、非可視光透過フィルタ要素群３２は近赤外線域の光を透過する構成を有するので、可視光および近赤外光の光学特性を持った可視光画像および近赤外光画像を得ることができ、コンパクトな構成でありながら、可視光および近赤外光の波長域に対応した複数の画像を得て、これらの画像から視差情報を算出することができる。

また、本発明の第１の実施の形態の撮像装置１００によれば、測距演算部５３は、算出された複数の視差情報に基づいて、被写体までの距離情報を算出する構成を有しているので、被写体までの距離情報を視差情報に基づいて算出することができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の第２の実施の形態の撮像装置１１０の構成を図５に示す。図５に示されるように、撮像装置１１０は、レンズアレイ１１と、撮像素子２１と、複合フィルタ３０と、前処理部４０と、信号処理部５０Ａと、駆動処理部６０と、外部接続システム７０とを備えている。本発明の第１の実施の形態と同様に、複合フィルタ３０は、図３（ａ）、（ｂ）に示した複合フィルタ３０Ａまたは３０Ｂを用いている。

第２の実施の形態に係る撮像装置１１０の構成の概略について、第１の実施の形態に係る撮像装置１００と対比して説明する。図１に示されるように、第１の実施の形態に係る撮像装置１００では、レンズアレイ１０は一対のレンズ１０ａ、１０ｂを備えているのに対し、図５に示されるように、第２の実施の形態に係る撮像装置１１０では、レンズアレイ１１は３つのレンズ１１ａ、１１ｂ、１１ｃを備えている。また、後述の通り、レンズアレイの構成の相違に対応して、撮像素子の受光面の領域設定が異なる。また、図１では、測距演算部５３は１つのみであるのに対し、図５では、３つの測距演算部５３ａ〜５３ｃおよび正誤判定部５３ｄを有する測距部５３Ａが設けされている。

図５に示されるように、レンズアレイ１１は、３つのレンズ１１ａ〜１１ｃを備えている。３つのレンズ１１ａ〜１１ｃの光軸は互いにほぼ平行になるように配置されている。３つのレンズ１１ａ〜１１ｃはＬ字状に配置されており、これにより、光軸間を結ぶ３本の基線Ｌ、Ｍ、Ｎが互いに交差し、三角形を構成する。なお、レンズアレイは４つ以上のレンズで構成されてもよい。この場合、少なくとも３つ以上のレンズにて、基線が互いに交差するように配置されていればよい。

３つのレンズ１１ａ〜１１ｃと撮像素子２１との配置関係について、図６に基づいて説明する。図６に示されるように、撮像素子２１の受光面には領域Ａ、領域Ｂおよび領域Ｃが設けられている。レンズ１１ａ、１１ｂ、１１ｃをレンズＡ、Ｂ、Ｃとすると、レンズＡが結像する像を領域Ａにて受光し、レンズＢが結像する像を領域Ｂにて受光し、レンズＣが結像する像を領域Ｃにて受光する。そして、受光面の領域Ａ、領域Ｂおよび領域Ｃの全てにて画像信号が生成される。

上述の通り、測距演算部５３Ａは３つの測距演算部５３ａ〜５３ｃと正誤判定部５３ｄとを備えている。図１で示した測距演算部５３と同様に、各測距演算部５３ａ〜５３ｂはそれぞれ視差算出部（図５にて不図示）および距離算出部（図５にて不図示）を備えている。なお、各測距演算部５３ａ〜５３ｃは、それぞれにて並列処理を行っても良いし、１系統で多重処理を行ってもよい。

３つの測距演算部５３ａ〜５３ｃの各々は基線Ｌ、Ｍ、Ｎの各基線に対応する測拒を行う。基線Ｌ測距演算部５３ａにおいては、視差算出部が基線Ｌに沿った撮像素子２１の領域Ａおよび領域Ｂで撮像された画像対から視差情報を算出し、距離算出部が視差情報に基づいて被写体までの距離情報を算出する。同様に、基線Ｍ測距演算部５３ｂにおいては、基線Ｍに沿った撮像素子２１の領域Ｂおよび領域Ｃで撮像された画像対から視差情報および距離情報を算出する。更に同様に、基線Ｎ測距演算部５３ｃにおいては、基線Ｎに沿った撮像素子２１の領域Ｃおよび領域Ａで撮像された画像対から視差情報および距離情報を算出する。

また、各測距演算部５３ａ〜５３ｃは、第１の実施の形態と同様に、フィルタ要素群３１、３２の各々を介して得られた可視光画像および近赤外光画像の各々から、視差情報および距離情報を算出する。

正誤判定部５３ｄは、測距演算部５３ａ〜５３ｃによりそれぞれ算出された３つの視差情報および３つの距離情報を比較参照して、最終的な視差情報および距離情報を決定する。例えば、正誤判定部５３ｄは、各測距演算部５３ａ〜５３ｃから出力される視差情報または距離情報の３つの算出値を照合し、多数決による処理を行って、最終的な視差情報および距離情報を算出する。これにより、高い測距精度が得られ、視差情報および距離情報をより正確に算出することができる。

次に、本発明の第２の実施形態における撮像装置１１０の動作について説明する。撮像素子２１が３つのレンズ１１ａ、１１ｂ、１１ｃがそれぞれ結像する像を撮像する。このとき、各レンズ１１ａ〜１１ｃがそれぞれ結像する像は、フィルタ要素群３１、３２を介して、撮像素子２１により撮像される。従って、撮像素子２１の撮像画像には可視光画像と近赤外光画像とが含まれる。

分離補正部５１は、前処理が行われた画像を可視光画像および赤外光画像に分離して、欠損部分を補完する。測距演算部５３ａ〜５３ｃは、可視光画像および近赤外光画像から、視差情報および距離情報を算出する。これにより、測距演算部５３ａ〜５３ｃにて、各基線Ｌ、Ｍ、Ｎに対応し、且つ、可視光画像および近赤外光画像に対応する視差情報および距離情報がそれぞれ算出される。

また、正誤判定部５３ｄは、各測距演算部５３ａ〜５３ｃにより算出された視差情報と距離情報を、可視光画像または近赤外光画像の画像毎に比較参照して、最終的な視差情報および距離情報を最終値として算出する。出力切替部５４は、外部接続システム７０により選定された出力方式に従って出力信号を生成する。また、出力切替部５４は、外部接続システム７０での設定情報に従って、可視光画像と赤外光画像とこれらの画像から算出される視差情報および距離情報とを同時出力、片方選択出力または時系列出力のいずれかで、外部接続システム７０へ出力する。

本発明の第２の実施の形態の撮像装置１１０によれば、少なくとも３つのレンズ１１ａ、１１ｂ、１１ｃは、光軸間を結ぶ基線Ｌ、Ｍ、Ｎが交差するように配置され、測距演算部５３ａ、５３ｂ、５３ｃが、基線が異なる複数のレンズ対を介して得られる複数の画像対からそれぞれ算出される複数の視差情報に基づいて、測距演算結果を求める。この構成により、互いに交差する複数の基線Ｌ、Ｍ、Ｎに対応する視差情報を得ることができ、これら複数の視差情報に基づいて最終的な測距演算結果を透過波長特性毎に算出するので、より正確な測距情報を得ることができる。なお、４つ以上のレンズを用い、各レンズ間の基線長の増加分に合わせて測距演算部を拡張することで、視差情報および被写体までの距離の測距精度をより高めることができる。

なお、本実施の形態の撮像装置１１０において、３つのレンズ１１ａ〜１１ｃ以外に、画像撮像専用のレンズを設けてもよい。すなわち、レンズ１１ａ〜１１ｃは、各レンズ１１ａ〜１１ｃが撮像する像間の視差情報および距離情報を算出するのに用いられるが、これらのレンズ１１ａ〜１１ｃとは別に画像を撮像するだけのためのレンズを設けてもよい。このとき、撮像素子２１の受光面には画像撮像専用レンズが結像する像を受光する撮像領域（専用撮像領域を呼ぶ）が新たに設けられ、画像撮像専用レンズと撮像素子２１との間には、複数のフィルタ要素群３１、３２を有する複合フィルタ３０は設けられず、単一の可視光透過フィルタ（単一フィルタと呼ぶ）が設けられる。

撮像素子２１は、単一フィルタを介して、画像撮像専用レンズが結像する像を撮像する。撮像素子２１の専用撮像領域では、可視光画像のみを撮像する。撮像素子２１の他の撮像領域Ａ〜Ｃでは可視光画像および近赤外光画像の双方の画像を撮像するのに対して、撮像素子２１の専用撮像領域では可視光画像のみを撮像するので、より高い解像度の可視光画像を得ることができる。また、専用フィルタを赤（Ｒ）、緑（Ｇ）および青（Ｂ）のカラーフィルタで構成することで、より高い解像度でカラーの可視光画像を得ることができる。なお、画像撮像専用レンズと撮像素子２１との間には、単一の可視光透過フィルタに代えて、単一の非可視光透過フィルタを設けてもよい。これにより、撮像素子２１の専用撮像領域では近赤外光画像のみを撮像するので、より高い解像度の近赤外光画像を得ることができる。このように、測距も兼ねたレンズと別に画像撮像専用レンズを設けたことで、より高い解像度の可視光画像または非可視光画像を得ることができる。

（第３の実施の形態）
以下、本発明の第３の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の第３の実施の形態の撮像装置１２０の構成を図７に示す。図７に示されるように、撮像装置１２０は、レンズアレイ１２と、撮像素子２２と、複合フィルタ３０と、前処理部４０と、信号処理部５０Ｂと、駆動処理部６０と、外部接続システム７０とを備えている。本発明の第１および第２の実施の形態と同様に、複合フィルタ３０は図３（ａ）、図３（ｂ）に示した複合フィルタ３０Ａまたは３０Ｂを用いている。

第３の実施の形態に係る撮像装置１２０の概略について、第１の実施の形態に係る撮像装置１００と対比して説明する。図１に示されるように、第１の実施の形態に係る撮像装置１００では、レンズアレイ１０は一対のレンズ１０ａ、１０ｂを備えているに対して、図７に示されるように、第３の実施の形態に係る撮像装置１２０では、レンズアレイ１２は４つのレンズ１２ａ〜１２ｄを備えている。また、レンズアレイの構成の相違に対応して、撮像素子の受光面の領域設定が異なる。

図７に示されるように、レンズアレイ１２は、４つのレンズ１２ａ〜１２ｄを備えている。４つのレンズ１２ａ〜１２ｄの光軸は互いにほぼ平行になるように配置されている。ここで、レンズ１２ａおよびレンズ１２ｃは互いに同一のレンズであり、広角レンズ対１２Ａを構成する。レンズ１２ｂおよびレンズ１２ｄは互いに同一のレンズであるが、レンズ１２ａ、１２ｂより狭く、狭角レンズ対１２Ｂを構成する。なお、本実施の形態では、各レンズ対を横方向に配置したが、縦または斜めに配置してもよい。図７では、レンズ１２ａおよび１２ｂと、レンズ１２ｃおよび１２ｄとをそれぞれレンズ対としてもよい。また、レンズ１２ａおよび１２ｄと、レンズ１２ｂおよび１２ｃとをそれぞれレンズ対としてもよい。

４つのレンズ１２ａ〜１２ｄと撮像素子２２との配置関係について、図８に基づいて説明する。図８に示されるように、撮像素子２２の受光面には領域Ａ、領域Ｂ、領域Ｃおよび領域Ｄが設けられている。レンズ１２ａ〜１２ｄをレンズＡ〜Ｄとすると、レンズＡが結像する像を領域Ａにて受光し、レンズＢが結像する像を領域Ｂにて受光し、レンズＣが結像する像を領域Ｃにて受光し、レンズＤが結像する像を領域Ｄにて受光する。そして、受光面の領域Ａ、領域Ｂ、領域Ｃおよび領域Ｄの全てにて画像信号が生成される。また、撮像素子２２は複合フィルタ３０を介して各レンズ１２ａ〜１２ｄが結像する像を撮像するので、広角レンズ対１２Ａおよび狭角レンズ対１２Ｂを介して得られる可視光画像および近赤外光画像を一の撮像素子２２の撮像画像から同時に同一の解像度で得ることができる。

測距演算部５３は、第１の実施の形態と同様に、視差算出部５３１および距離算出部５３２を備えている。視差算出部５３１は、分離補正部５１により分離される可視光画像および近赤外光画像の各々から、広角レンズ対１２Aのレンズ１２ａ、１２ｃが結像する２つの像間の視差情報を算出するとともに、狭角レンズ対１２Ｂのレンズ１２ｂ、１２ｄが結像する２つの像間の視差情報を算出する。これにより、可視光画像および近赤外光画像の各々について、広角レンズ画像対の視差情報および狭角レンズ画像対の視差情報を算出することができる。

距離算出部５３２は、視差算出部５３１により算出された各視差情報に基づいて、被写体までの距離情報を算出する。具体的には、距離算出部５３２は、視差算出部５３１の算出結果を用い、広角レンズ対１２Ａが結像する像間の視差情報に基づいて、広角レンズ対１２Ａの被写体までの距離情報を算出し、狭角レンズ対１２Ｂが結像する像間の視差情報に基づいて、狭角レンズ対１２Ｂの被写体までの距離情報を算出する。これにより、可視光画像および近赤外光画像の各々について、広角レンズ対１２Ａに対応する距離情報および狭角レンズ１２Ｂに対応する距離情報を算出することができる。なお、測距演算部５３は、第１の実施の形態と同様に、カメラ設定用パラメータ保持部５５に設定された制御パラメータに従って、各処理を行う。

このような本発明の第３の実施の形態の撮像装置１２０によれば、互いに画角が異なる広角レンズ対１２Ａおよび狭角レンズ対１２Ｂを備えているので、異なる画角のレンズ対（例えば広角レンズ対、狭角（望遠）レンズ対）で複眼レンズが構成され、これにより、視野が広い画像対と狭い画像対を１つの撮像素子で撮像することができ、これらの画像対に基づいた複数の視差情報等の測距情報を得ることができる。従って、視野が広い画像を用いて被写体全体を大まかに把握しつつ、視野が狭い画像を用いて被写体の特定部分を高精度に検証したい場合に好適である。

本実施の形態の撮像装置１２０は、例えば人物の顔の撮影に用いられる。広角レンズ対１２Ａによって人物の顔全体が撮像され、この画像から人物の顔の特徴、形状または向き等、大雑把な範囲の画像情報を得ることができる。これに対し、狭角レンズ対１２Ｂによる撮像画像では、例えば目元周辺のみが撮像されており、目の形状、特徴または向き等、被写体の顔の一部分である特徴的な範囲の画像情報を高解像度で得ることができる。

広角レンズ対１２Ａによる撮像画像からは、顔全体までの距離情報を算出することができ、狭角レンズ対１２Ｂによる撮像画像からは、特徴的な範囲である目元周辺までの距離情報を正確に算出することができる。このことから、例えば広角レンズ対１２Ａによる撮像画像で顔認証、顔向き検知を行いつつ、更に狭角レンズ対１２Ｂによる撮像画像で視線検知、網膜検知または虹彩認識等を行うことができる撮像装置を、１つの撮像素子２２を用いて融合した形で得ることができる。このような撮像装置を用いることで、例えば監視用途向けまたは車両用途向けの検知・認識システムをより小型かつより高精度に実現することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更および変形することが可能である。

上述した各実施の形態では、複合フィルタ３０は、図３（ａ）、（ｂ）で例示したように、可視光透過フィルタ要素群３１および非可視光透過フィルタ要素群３２で構成されているが、可視光透過フィルタ要素群３１を、カラーフィルタにより構成してもよい。

図９は、複合フィルタの構成例であって、可視光透過フィルタ要素群３１をカラーフィルタにより構成したものを示す。図９の複合フィルタ３０Ｃにおいては、可視光透過フィルタ要素群３１が、複数の赤（Ｒ）フィルタ３１ａ、緑（Ｇ）フィルタ３１ｂおよび青（Ｂ）フィルタ３１ｃとから構成されている。図９の複合フィルタ３０Ｃは、ＲＧＢベイヤ配列のカラー撮像素子用フィルタにおけるＧの一部を非可視光透過フィルタ要素（近赤外光撮像用の可視光カットフィルタ要素）に置き換えた構成に相当する。図の例では、Ｂの画素に挟まれたＧが置き換えられており、従って、全数のうちの半分（２つに１つ）のＧ画素フィルタが近赤外光用フィルタに置き換わっている。

このような複合フィルタ３０Ｃを撮像装置１００、１１０、１２０に用いることにより、可視光透過フィルタ要素群３１はＲＧＢのカラーフィルタにより構成されるので、非可視光の光学特性を持った非可視光画像（近赤外光画像）とともに、可視光の光学特性を持った可視光画像としてカラー画像を得ることができる。従って、カラー画像による色彩判断および近赤外光画像による近赤外反射の双方の特徴を活用した画像認識等の処理を一の撮像装置で実現できる。

また、複眼光学系に複合フィルタ３０Ｃを用いた場合、視差情報および被写体までの距離情報の算出は、カラー画像および近赤外光画像を用いて同様に行える。従って、被写体の奥行き方向の情報を踏まえた立体画像（３Ｄ）情報のカラー画像による提供も可能となる。

以上の通り、複合フィルタ３０Ｃを撮像装置１００、１１０、１２０に用いることにより、可視光透過フィルタ要素群３１はＲＧＢのカラーフィルタにより構成されるので、非可視光の光学特性を持った非可視光画像（近赤外光画像）とともに、可視光の光学特性を持った可視光画像としてカラー画像を得ることができ、これらの画像から視差情報および距離情報を得ることができる。これにより、被写体の色判定が可能なカラー画像と、非可視光撮影による特徴的な画像と、視差情報とを得ることができる。非可視光撮影による特徴的な画像は、例えば近赤外光撮影による皮下組織の画像であり、これにより、本発明を医療分野の内視鏡等に適用して、撮像機能や測定機能の向上を図ることができる。例えば、カラー画像による患部の色彩判定と、近赤外光画像による皮下組織（例えば血管）の情報とを一の撮像装置で立体画像にて提供することが実現できる。特に第２の実施の形態で説明したように、各レンズ間の基線が互いに交差するように配置された３つ以上のレンズを用いることにより、立体画像の精度をより高くすることができる。このような構成の撮像装置を用いることにより、患部の詳細な状況を高精度に判断し得る医療システムを小型且つ簡素なシステム構成で実現することができる。

また、第３の実施の形態では、レンズ対１２Ａおよびレンズ１２Ｂの画角は互いに異なる構成であった。これに対して、両レンズ対の画角を略同一として、代わりに、レンズ対１２Ａが像を形成する画像領域Ａ、Ｃと、レンズ対１２Ｂが像を形成する画像領域Ｂ、Ｄとで、画素の大きさが互いに異なる構成としてもよい。

これにより、互いに解像度が異なる複数の画像対を得ることができ、これらの画像対に基づいた複数の視差情報等の測距情報を得ることができる。撮像する被写体の形状や大きさ等に応じて、高解像度または低解像度の画像対を使い分けて、これらの画像対から視差情報等の測距情報を得ることができる。また、本発明の範囲内で、レンズ対１２Ａが像を形成する画像領域Ａ、Ｃと、レンズ対１２Ｂが像を形成する画像領域Ｂ、Ｄとで、画素ピッチが異なってもよく、これによっても同様の利点が得られる。

また、上述した各実施の形態において、各レンズの温度を測定する温度測定部を備え、温度測定部の測定結果に応じて、視差情報および距離情報を算出してもよい。すなわち、温度測定部が各レンズの温度を測定し、測拒演算部の視差算出部および距離算出部が、視差情報および被写体までの距離情報を各レンズの温度に応じて調整して、これらの情報を最終的に算出してもよい。

この構成により、複数のレンズの温度測定結果に応じて、測拒演算を行うので、温度変化によって各レンズの光学特性が変化した場合に、当該光学特性の変化が及ぼす視差情報または測距演算の誤差を適正に補正して、これらの情報を適正に算出することができる。各レンズの光学特性の変化として、例えば各レンズの焦点距離の変化が挙げられる。各レンズの焦点距離は各レンズの温度変化に応じて線形的に変化する。

また、上記実施態様では、撮像素子、前処理部、駆動処理部および信号処理部はそれぞれ別に設けられていたが、これらを同一の半導体ウエハ上に形成してもよい。また、撮像素子、前処理部および駆動処理部のみを一体化して１つの半導体ウエハ上に形成し、これとは別の半導体ウエハ上に信号処理部を形成してもよい。また、前処理部、駆動処理部および信号処理部のみを一体化して１つの半導体ウエハ上に形成し、これとは別の半導体ウエハ上に撮像素子を形成してもよい。また、前処理部および駆動処理部のみを一体化して１つの半導体ウエハ上に形成し、これとは別の半導体ウエハ上に撮像素子を形成し、更に別の半導体ウエハ上に信号処理部を形成してもよい。これらにより、撮像装置をよりコンパクトな構成とすることができる。

以上のように、本発明は、コンパクトな構成でありながら、複数の波長域にて測距用の複数の撮像画像を得ることができるという効果を有し、医療用、車両用等の測距機能付き撮像装置等として有用である。

本発明の第１の実施の形態における撮像装置の構成を示す図 本発明の第１の実施の形態における撮像装置のレンズと撮像素子との配置関係を示す図 （ａ）複合フィルタの構成例を示す図 （ｂ）複合フィルタの構成例を示す図 複合フィルタの非可視光透過フィルタ要素群の透過波長特性を例示する図 本発明の第２の実施の形態における撮像装置の構成を示す図 本発明の第２の実施の形態における撮像装置のレンズと撮像素子との配置関係を示す図 本発明の第３の実施の形態における撮像装置の構成を示す図 本発明の第３の実施の形態における撮像装置のレンズと撮像素子との配置関係を示す図 複合フィルタの構成の変形例を示す図

符号の説明

１０、１１、１２ レンズアレイ
１０ａ、１０ｂ、１１ａ〜１１ｃ、１２ａ〜１２ｄ レンズ
１２Ａ、１２Ｂ レンズ対
２０、２１、２２ 撮像素子
３０、３０Ａ、３０Ｂ、３０Ｃ 複合フィルタ
３１ 可視光透過フィルタ要素群
３２ 非可視光透過フィルタ要素群
４０ 前処理部
５０、５０Ａ、５０Ｂ 信号処理部
５１ 分離補正部
５２ 画像信号処理部
５３、５３Ａ 測距演算部
５３ａ〜５３ｃ 基線Ａ〜Ｃ測距演算部
５３ｄ 正誤判定部
５４ 出力切替部
５５ カメラ設定用パラメータ保持部
５５１ 可視光用パラメータ保持部
５５２ 近赤外光用パラメータ保持部
５６ 露光制御部
６０ 駆動処理部
７０ 外部接続システム
Ｌ、Ｍ、Ｎ 基線
１００、１１０、１２０ 撮像装置

Claims (10)

1. 光軸が互いに略平行である複数の光学ブロックと、
   異なる複数の透過波長特性にそれぞれ対応する複数のフィルタ要素群が順次配列された複合フィルタと、
   前記複数の光学ブロックがそれぞれ結像する複数の像を、前記複合フィルタを介して撮像する一の撮像素子と、
   前記撮像素子で撮像された前記複数の画像を用いて測距演算を行う測距演算部とを備え、
   前記測距演算部は、前記複数のフィルタ要素群の各々を介して得られた複数の画像から、前記複数の透過波長特性にそれぞれ対応する複数の視差情報を算出することを特徴とする撮像装置。
2. 前記撮像素子により撮像された画像を、前記複数のフィルタ要素群の各々を介して得られた画像毎に分離する分離部を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記複合フィルタは、少なくとも可視光線域の光を透過する可視光透過フィルタ要素群と、可視光線域以外の波長の光を透過する非可視光透過フィルタ要素群とを有し、
   前記測距演算部は、前記可視光透過フィルタ要素群を介して前記撮像素子により得られる複数の可視光画像から前記視差情報を算出し、前記非可視光透過フィルタ要素群を介して前記撮像素子により得られる複数の非可視光画像から前記視差情報を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記非可視光透過フィルタ要素群は、近赤外線域の光を透過することを特徴とする請求項３に記載の撮像装置。
5. 前記可視光透過フィルタ要素群は、カラーフィルタにより構成されたことを特徴とする請求項３に記載の撮像装置。
6. 前記複数の光学ブロックは、光軸間を結ぶ基線が交差するように配置された少なくとも３つの光学ブロックを含み、
   前記測距演算部は、前記基線が異なる複数の光学ブロック対を介して得られる複数の画像対からそれぞれ算出される複数の視差情報に基づいて、測距演算結果を求めることを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
7. 前記複数の光学ブロックとして、第１および第２のレンズ対を備え、
   前記第１のレンズ対の画角は、前記第２のレンズ対の画角よりも大きいことを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
8. 前記複数の光学ブロックとして、第１および第２のレンズ対を備え、
   前記撮像素子は、前記第１のレンズ対が像を形成する画像領域と、前記第２のレンズ対が像を形成する画像領域とで、画素の大きさが互いに異なることを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
9. 前記測距演算部は、算出した前記複数の視差情報に基づいて、被写体までの距離情報を算出することを特徴とする請求項１ないし８のいずれかに記載の撮像装置。
10. 前記複数の光学ブロックの温度を測定する温度測定部を備え、前記温度測定部の測定結果に応じて、測距演算を行うことを特徴とする請求項１ないし9のいずれかに記載の撮像装置。