JP2016100700A - 撮像装置、撮像方法、撮像プログラム、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】高画素かつ高解像度の画像を速い撮像速度で取得する。【解決手段】撮像装置は、結像光学系１１１により形成された光学像を符号化パターンで符号化して符号化像を生成する符号化手段１１４と、該符号化像を撮像する撮像素子１１３と、第１の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を生成する画像生成手段１７０とを有する。第１の画像から該複数の画像成分を分離して複数の第２の画像を生成する処理を行うことができる。【選択図】図１

Description

本発明は、高速度撮像に好適な撮像技術に関する。

高速移動する被写体や高速変化する現象を連続的に撮像するために行われる高速度撮像では、１秒間あたりの連続撮像回数が露光時間と撮像素子の全画素の画素情報（電荷）の読み出し時間によって決まる。このうち、全画素の画素情報の読み出し時間が１秒間あたりの連続撮像回数を制限する。

全画素の画素情報の読み出し時間を短くするための手法として、画素数自体を少なくする手法や、特許文献１および特許文献２にて開示されているように高速度撮像時に画素情報を読み出す画素を間引く手法が知られている。また、特許文献１には、高速度撮像時に各単位画素における露光時間が短縮されて単位画素の実効的な感度が低減するのを回避するために、複数の画素の画素情報を加算してから読み出す手法も開示されている。一方、特許文献２には、画素情報を読み出す画素を間引くことで出力画像の画素数が減少するのを回避するために、画素ライン単位で間引いて画素情報を読み出した後に、間引いた画素ラインの画素情報を復元する方法も開示されている。

特開２００５−２７８１３５号公報 特開２００８−１４７９０４号公報

しかしながら、特許文献１にて開示された手法では、画素情報が読み出される画素数が少なくなるために、撮像により得られる画像の画素数も減少する。また、特許文献２にて開示された手法では、間引いた画素ラインの画素情報を復元するために得られる画像の画素数が減少することを防ぐことはできる。しかし、画素ライン単位で画素情報を間引くことによる実質的なサンプリング周波数の低下により、間引いた画素情報を復元しても高解像度な画像を得ることができない。したがって、これら特許文献１，２に開示された手法では、高画素かつ高解像度の画像を速い撮像速度で取得することが難しい。

本発明は、高画素かつ高解像度の画像を速い撮像速度で取得することができるようにした撮像装置および撮像方法を提供する。

本発明の一側面としての撮像装置は、結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成する符号化手段と、該符号化像を撮像する撮像素子と、第１の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を生成する画像生成手段とを有することを特徴とする。

また、本発明の他の一側面としての撮像方法は、結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像方法であって、第１の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を生成することを特徴とする。

さらに、本発明の他の一側面としての撮像プログラムは、結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像装置のコンピュータに、第１の画像を取得するための撮像素子の露光時間内において、互いに異なる符号化パターンで符号化された複数の符号化像を順次形成しながら撮像素子により撮像を行うことで、複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を生成する処理を行わせることを特徴とする。

なお、上記第１の画像から複数の画像成分を分離して複数の第２の画像を生成する処理を行う画像処理装置および画像処理方法や、該処理をコンピュータに行わせる画像処理プログラムも本発明の他の一側面を構成する。

本発明によれば、互いに異なる符号化パターンによって符号化された複数の符号化像を１回の露光時間内で撮像して第１の画像を生成するので、該第１の画像から高画素かつ高解像度の複数の連続した画像（第２の画像）を分離することができる。すなわち、速い撮像速度で高画素かつ高解像度の複数の連続画像を取得することができる。

本発明の実施例１である高速度撮像装置の構成を示すブロック図。 実施例１における高速度撮像方法によるシミュレーション結果と高速度撮像方法の工程を説明する図。 実施例１における高速度撮像方法における露光および読み出しスケジュールを説明する図。 実施例１における分離画像生成工程を説明する図。 実施例１における符号化パターンの例を示す図。 実施例１における符号化パターンの別の例を示す図。 実施例１における符号化パターンのさらに別の例を示す図。 本発明の実施例２である高速度撮像装置の構成を示すブロック図。 本発明の実施例３である高速度撮影装置の構成を示すブロック図。 実施例１における高速度撮像方法による別のシミュレーション結果を示す図。 本発明の実施例４である高速度撮像装置の構成を示すブロック図。 本発明の実施例５である高速度撮影装置の構成を示すブロック図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である高速度撮像装置（以下、高速度カメラという）１００の構成を示す。高速度カメラ１００は、画像を取得するための画像取得部１１０を有する。画像取得部１１０は、結像光学系１１１と、開口絞り１１２と、撮像素子１１３と、空間光変調器１１４とを有する。画像取得部１１０の各要素は、駆動制御部１８０、状態検知部１９０およびシステムコントローラ１７０により制御される。

結像光学系１１１は、不図示の被写体からの光を結像させて被写体像（光学像）を形成する。符号化手段としての空間光変調器１１４は、結像光学系１１１と撮像素子１１３と間（撮像素子１１３の前側）に配置され、被写体像を符号化する。空間光変調器１１４は、撮像素子１１３の複数の画素と同じ数の複数の光変調部を有する透過型液晶パネルにより構成され、光変調部ごとに光の透過率を変化させるように駆動することができる。なお、空間光変調器１１４として、透過型液晶パネル以外のものを用いてもよい。

撮像素子１１３は、複数の画素を有し、空間光変調器１１４により符号された被写体像（以下、符号化像という）の光電変換、すなわち撮像を行う。撮像素子１１３としては、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を用いることができる。

画像生成手段としてのシステムコントローラ１７０は、画像取得工程として、単一の第１の画像としての撮影画像を生成するための撮像素子１１３の露光時間内に空間光変調器１１４の符号化パターンを順次変更する。これにより、該露光時間内において互いに異なる符号化パターンに対応する複数の符号化像が撮像素子１１３上に順次形成される。撮像素子１１３は、このようにして順次形成される複数の符号化像を露光時間内で続けて撮像することで、複数の符号化像に対応する画像成分が重畳された撮影画像のアナログ画像信号を出力する。

撮像素子１１３から出力された撮影画像のアナログ画像信号は、Ａ／Ｄコンバータ１２０によりデジタル画像信号に変換される。画像分離手段としての画像処理部１３０は、デジタル画像信号に変換された撮影画像（第１の画像）から、重畳された複数の符号化像に対応する画像成分を分離して複数の静止画像（第２の画像：以下、分離画像という）を生成する。この分離画像生成工程では、画像取得工程（撮像時）における符号化パターンの情報を必要とするが、この情報は予め記憶部（記憶手段）１４０に保持（記憶）されている。生成された複数の分離画像は半導体メモリ等の記憶媒体１５０に記憶され、またＬＣＤ等の表示部１６０を通して確認することができる。

本実施例では、上述のように画像取得工程と分離画像生成工程の２つの工程を有している。図２を用いてこれらの工程をより具体的に説明する。図２には、被写体である車が高速に移動（走行）するシーンを高速度撮像する場合のシミュレーション結果を示している。

図２において、ｏ_ｋ（ｉ，ｊ）は、第１の画像である撮影画像を取得するための撮像素子１１３の露光時間（以下、全露光時間という）Ｔ_ｅｘｐｏをＬ個に均等に分割したときの時間Ｔ_ｅｘｐｏ／Ｌに相当する分割露光時間Ｔ_ｋにおける符号化前の被写体像を示している。ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ、ｋ＝１，２，…，Ｌである。ＭおよびＮは撮像素子１１３の縦横の画素数であり、図２の例では、Ｍ×Ｎ＝１０２４×１０２４である。Ｌは重畳する被写体像（符号化像）の数であり、図２ではＬ＝４である。

本実施例では、各分割露光時間Ｔ_ｋにおける被写体像ｏ_ｋ（ｉ，ｊ）を符号化パターンｆ_ｋ（ｉ，ｊ）で符号化して符号化像を形成する。ここで、符号化パターンｆ_ｋ（ｉ，ｊ）は透過率分布であり、符号化像はｆ_ｋ（ｉ，ｊ）．＊ｏ_ｋ（ｉ，ｊ）と表される。「．＊」は、配列の要素ごとの積を行うことを意味する演算子である。画像取得工程で取得される第１の画像としての撮影画像ｇ（ｉ，ｊ）は、全てのｆ_ｋ（ｉ，ｊ）．＊ｏ_ｋ（ｉ，ｊ）の和で表される。

次に、分離画像生成工程について説明する。分離画像生成工程では、撮影画像ｇ（ｉ，ｊ）からＬ個の分離画像ｐ_ｋ（ｉ，ｊ）を生成する。このとき、画像取得工程における符号化パターンの情報を用いた画像推定処理を行うことにより、被写体像Ｏ_ｋ（ｉ，ｊ）に近い分離画像ｐ_ｋ（ｉ，ｊ）を得る。本実施例では、分離画像ｐ_ｋ（ｉ，ｊ）が撮影画像ｇ（ｉ，ｊ）と同じ画素数を有するという特徴を有する。

次に、本実施例の高速度カメラと従来の高速度カメラにおける露光および読み出しスケジュールを比較しながら説明する。図３（ａ）には、従来の高速度カメラにおける露光および読み出しスケジュールを示している。従来の高速度カメラでは、被写体像による撮像素子の露光が行われた後、該撮像素子からの画像信号の読み出しが行われる。露光時間をＴ_ｅｘｐｏとし、読み出し時間をＴ_ｒｅａｄとすると、１つの撮影画像を得るための撮像に要する時間（以下、全撮像時間という）はＴ=（Ｔ_ｅｘｐｏ＋Ｔ_ｒｅａｄ）となる。したがって、１秒間で撮像により取得できる撮影画像の画像数は１／Ｔ画像となる。

従来の高速度カメラでは、読み出し時間Ｔ_ｒｅａｄがボトルネックとなり、高速度撮像に限界がある。また、連続した２つの撮影画像を取得するための２回の撮像間の時間間隔（以下、撮像時間間隔という）Ｔ_ｉｎｔが全撮像時間Ｔと等しいために、被写体が高速移動する場合には連続撮像により取得された撮影画像間での被写体の動きが滑らかにならない。

図３（ｂ）には、本実施例の高速度カメラにおける露光および読み出しスケジュールを示している。ここでは、図２に示したように１つの撮影画像に４つの符号化像（画像成分）が重畳される場合のスケジュールを示している。各分割露光期間Ｔ_ｋ（ｋ＝１，２，３，４）では、図２に示した被写体像ｏ_ｋ（ｉ，ｊ）をｆ_ｋ（ｉ，ｊ）で示した符号化パターンで符号化された符号化像による撮像素子１１３の露光が行われる。全ての符号化像による露光が終わった後、撮像素子１１３からの画像信号の読み出しが行われる。

本実施例では、１つの撮影画像を取得するための露光中に撮像素子１１３上に複数の被写体像（符号化像）を順次形成し、これら複数の符号化像に対応する画像成分が重畳された後に撮像素子１１３からの画像信号の読み出しを行う。このため、読み出し時間Ｔ_ｒｅａｄにかかわらず、連続した２つの被写体像（符号化像）のうち一方による露光と他方による露光の間の時間間隔としての撮像時間間隔Ｔ_ｉｎｔ（＝Ｔ_{ｉｎｔ＿ｍｉｎ}）を短く、望ましくは最小にすることができる。したがって、撮影画像をそれぞれの符号化像に対応する複数の分離画像に分離することで、高速移動する被写体の動きが滑らかな複数の画像（分離画像）を取得することができる。なお、本実施例において、撮像時間間隔Ｔ_{ｉｎｔ＿ｍｉｎ}は符号化の切り替え速度に応じて変更される。

また、分離画像生成工程で撮影画像から分離される分離画像は、前述したように撮影画像と同じ画素数を有するため、高画素かつ高解像度の画像である。したがって、本実施例によれば、速い撮像速度で高画素かつ高解像度の複数の連続画像（分離画像）を取得することができる。

なお、図３（ｂ）に示した露光および読み出しスケジュールは例にすぎず、他のスケジュール、例えば分割露光期間Ｔ_ｋとＴ_ｋ＋１と間に露光しない時間を設けてもよい。また、各分割露光期間Ｔ_ｋは全露光時間Ｔ_ｅｘｐｏを等分割した時間でなくてもよい。ただし、各分割露光期間Ｔ_ｋを同じとすることで、分離画像ｐ_ｋ（ｉ，ｊ）に対する露光条件を均一にすることができる。

次に、分離画像生成工程において、撮影画像ｇ（ｉ，ｊ）から分離画像ｐ_ｋ（ｉ，ｊ）を画像推定処理により生成（出力）する方法について説明する。撮影画像ｇ（ｉ，ｊ）は、被写体像をｏ_ｋ（ｉ，ｊ）とし、符号化パターンをｆ_ｋ（ｉ，ｊ）とするととき、以下の式（１）のように表すことができる。

ここで、η（ｉ，ｊ）はノイズである。本実施例では、以下の式（２）で示す評価関数を最小にする推定分離画像ｐ_ｋ（ｉ，ｊ）を、分離画像ｐ_ｋ（ｉ，ｊ）として出力する。

ただし、φｐ_ｋは正則化項である。また、γは正則化項の効果を調整するパラメータであり、符号化により間引きされたｐ_ｋ（ｉ，ｊ）の画素を補間する効果を有する。

なお、式（２）の第一項はＬ２−ノルムに限らず、撮像時の符号化パターンｆ_ｋ（ｉ，ｊ）を用いていれば、Ｌ１?ノルムでも構わない。また、式（２）の第二項の正則化項φ（ｐ_ｋ）としては、例えば以下の式（３）に示すＴＶ（Total Variation：全変動）ノルム正則化項が挙げられる。

ただし、これ以外の正則化項φｐ_ｋを用いてもよい。

次に、図４のフローチャートを用いて、画像取得工程（画像取得方法）と分離画像生成工程（画像処理方法）を含む撮像工程（撮像方法）の流れを詳細に説明する。画像取得工程は、コンピュータとしてのシステムコントローラ１７０によってコンピュータプログラムとしての画像取得プログラムに従って行われる。また、分離画像生成工程は、コンピュータとしての画像処理部１３０によってコンピュータプログラムとしての画像処理プログラムに従って行われる。画像取得プログラムと画像処理プログラムとにより撮像プログラムが構成される。

まず、ステップｓ１０１では、システムコントローラ１７０は、画像取得工程を行う。すなわち、図３（ｂ）にて説明したスケジュールにて複数の符号化像を撮像素子１１３上に順次形成しながら撮像を行い、複数の符号化像に対応する画像成分が重畳された撮影画像ｇを取得する。

次に、ステップｓ１０２では、画像処理部１３０は、推定分離画像ｐ_ｋの初期値を与える。その後、ステップｓ１０３では、画像処理部１３０は、推定分離画像ｐ_ｋについて、式（２）で与えられる評価関数の値を計算する。この際、撮像時の符号化パターンｆ_ｋは記憶部１４０に予め記憶されており、画像処理部１３０は、記憶部１４０から該符号化パターンｆ_ｋを読み出す。

次に、ステップｓ１０４では、画像処理部１３０は、ステップｓ１０３で計算した評価関数値が予め設定された閾値よりも小さいか否かを判断する。評価関数値が閾値より小さい場合は、画像処理部１３０は、推定分離画像ｐ_ｋが確からしいと見なして該推定分離画像ｐ_ｋを仮の出力用の分離画像とする。ただし、この仮の出力用分離画像には、被写体像の符号化により画素情報が欠落した画素が含まれる。このため、画像処理部１３０は、仮の出力用分離画像において欠落した画素情報を補間する補間処理を行って最終的な出力用の分離画像を生成し、これを出力する。

一方、評価関数値が閾値より大きい場合は、画像処理部１３０は、推定分離画像ｐ_ｋの推定が不十分と見なしてステップｓ１０５に進む。

ステップｓ１０５では、画像処理部１３０は推定処理のループ数をカウントし、カウントしたループ数が予め設定されたループ数に達した場合は、推定処理を終了する。ループ数が設定ループ数に達しない場合はステップｓ１０６に進む。

ステップｓ１０６では、画像処理部１３０は、推定分離画像ｐ_ｋを更新する。これ以降、最終的に処理が終了するまで、ステップｓ１０３〜ステップｓ１０６を繰り返し、全ステップが終了した時点での推定分離画像ｐｋを仮の出力用の分離画像とし、上述した補間処理を行ってから最終的な出力用の分離画像として出力する。全ステップが終了した時点で評価関数値が閾値より小さくならなかった場合は、分離画像ｐｋを出力しないように設定してもよい。

なお、図４に示す一連の画像推定処理を行うに際して、ＴｗＩＳＴアルゴリズム（参考文献１参照）等、高速な画像推定処理アルゴリズムを用いてもよい。図２および図１０に示すシミュレーションでは同手法を用いている。

参考文献１ J. M. Bioucas-Dias and M. A. T. Figueiredo, “A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration,” IEEE Trans. on Image Processing, vol. 16, Dec. 2007.
図４を用いて説明した撮影画像ｇから分離画像ｐ_ｋを生成する工程では、撮像時の符号化パターンｆ_ｋが既知であることを利用して被写体像ｏ_ｋを推定する。この場合、高画質な画像を精度良く推定するために、符号化パターンｆ_ｋは以下の式（４），（５），（７），（８）で示す条件のうち少なくとも１つを満足することが望ましい。

式（４）は、ｋ番目（ｋ＝１，２，…，Ｌ）の分割露光時間Ｔ_ｋにおける符号化パターンをｆ_ｋとしたときの条件を示す。この条件を満足することにより、高解像度かつ高フレームレートでありながら、撮像素子１１３の露光量（受光量）を増やすことができ、ノイズの少ない画像を取得することができる。

式（４）の下限値を下回ると、露光量が低下して画像中のノイズが増加する。一方、式（４）の上限値を超えると、露光量は増加するものの、生成された分離画像ｐ_ｋは被写体像ｏ_ｋからかけ離れた画像となる。したかって、十分な露光量を確保しつつ、分離画像の推定を正しく行うためには、式（４）の条件を満足することが望ましい。

なお、さらに好ましくは、式（４）の範囲を以下の範囲とするとよい。

以下の式（５）は、ｋ番目（ｋ＝１，２，…，Ｌ）の分割露光時間Ｔ_ｋにおける符号化パターンをｆ_ｋとしたときの条件を表している。ただし、Ｒ_{ｋ１,ｋ２}は式（６）にて表されるように、互いに隣り合う分割露光時間Ｔ_ｋ１，Ｔ_ｋ２での符号化パターンｆ_ｋ１，ｆ_ｋ２の相互相関を表す。

式（５）は、符号化パターンｆ_ｋ１，ｆ_ｋ２間の相互相関の平均値を表しており、Ｒ_{ｋ１,ｋ２}の相互相関が全く無いときには０．５の値をとり、正の相関が強いほど１．０に近づき、負の相関が強いほど０．０に近づく。

式（５）の下限値を下回ると、分離画像ｐ_ｋの生成は容易になるが、生成された分離画像の解像度が低下する。一方、式（５）の上限値を超えると、生成された分離画像ｐ_ｋは被写体像ｏ_ｋからかけ離れた画像となるため好ましくない。

なお、さらに好ましくは、式（５）の条件の範囲を以下の範囲とするとよい。

図５には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像（画像成分）の数がＬ＝４である場合の符号化パターンの例を示す。図５に示した符号化パターンにおいて、黒い部分が、空間光変調器１１４において透過率が最小の光変調部に対応する部分（以下、最小透過率部という）である。また、符号化パターンにおいて、白い部分が、空間光変調器１１４において透過率が最大の光変調部に対応する部分（以下、最大透過率部という）を示している。図５では、符号化パターンｆ_ｋを乱数により決定している。このときの式（５）の値は０．５０１１となり、符号化パターン間に相互相関はほとんど見られない。

本実施例では、図５に示すような周期性が無い符号化パターンで被写体像を符合化するため、符合化による実質的なサンプリング周波数の低下を抑制することができ、この結果、図４にて説明した分離画像生成工程により高解像度の分離画像を得ることができる。したがって、本実施例によれば、高画素かつ高解像度の複数の連続画像を速い撮像速度で取得することができる高速度カメラおよび高速度撮像方法を実現することができる。

図６には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像の数がＬ＝４である場合の符号化パターンの別の例を示す。図６の左側には符号化パターンを、右側には左側の符号化パターン中に示した水平方向に延びる直線上での透過率（０〜１）のプロファイルを示している。図６の符号化パターンのうち黒い部分が最小透過率部（透過率は０）を、グレーの部分が透過率が最大と最小の間の値である中間透過率部（透過率は０．６）を、白い部分が最大透過率部（透過率は１）を示している。

符号化パターンｆ_ｋにおける最小透過率部の透過率は、図６（ａ）に示すように０に限られず、図６（ｂ）や図６（ｃ）に示すように０より高い透過率であってもよい。また、符号化パターンｆ_ｋは、図６（ｄ）に示すように多諧調の透過率分布を持っていてもよい。

図６（ｂ），（ｃ）に示すような透過率分布を与えることにより、撮像素子１１３の露光量をより多くすることが可能になる。ただし、あまり露光量を多くすると、生成される分離画像ｐ_ｋが被写体像ｏ_ｋからかけ離れた画像となるために好ましくない。

したがって、ここでは複数（Ｌ個）の符号化パターンｆ_ｋのうち符号化パターン全体としての透過率が最小および最大である符号化パターンの該透過率をそれぞれｍｉｎ（ｆ_ｋ（ｉ，ｊ））およびｍａｘ（ｆ_ｋ（ｉ，ｊ））とする。このとき、ｍｉｎ（ｆ_ｋ（ｉ，ｊ））とｍａｘ（ｆ_ｋ（ｉ，ｊ））との比が、以下の式（７）で示す条件を満足することが望ましい。

図７には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像の数がＬ＝４である場合の符号化パターンのさらに別の例を示す。図５と同様に、図７に示した符号化パターンにおいても、黒い部分が最小透過率部であり、白い部分が最大透過率部である。

ここで、符号化パターンにおける最小透過率部（つまりは撮像素子１１３上において受光量が最小となる画素）の数をＰ_ｍｉｎとし、最大透過率部（撮像素子１１３上において受光量が最大となる画素）の数をＰ_ｍａｘとする。このとき、図７（ａ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝０．２５の符号化パターンｆ_ｋを、図７（ｂ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝１の符号化パターンｆ_ｋを、図７（ｃ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝４の符号化パターンｆ_ｋをそれぞれ示している。Ｐ_ｍａｘ／Ｐ_ｍｉｎを大きくするとより多くの露光量が得られるが、あまり露光量が多すぎると、生成される分離画像ｐ_ｋが被写体像ｏ_ｋからかけ離れた画像となるために好ましくない。したがって、Ｐ_ｍａｘ／Ｐ_ｍｉｎは、以下の式（８）で示す条件を満足することが望ましい。

ただし、本実施例にいう符号化パターンにおける透過率は、被写体像の符合化を行う際の誤差を考慮して±１０％の公差を含む。

図１０には、本実施例の高速度カメラによる高速度撮像の別のシミュレーション結果を示している。この図では、被写体であるサッカーボールが回転しながら移動するシーンを高速度撮像するシミュレーション例を示す。このように、本実施例によれば、被写体の移動軌跡や該移動軌跡の周期性にかかわらず、高速度撮像を行うことができる。

なお、図１０および図２には分離画像としてモノクロ画像を取得する場合のシミュレーション例を示しているが、本実施例で説明した高速度カメラ（高速度撮像方法）によってカラー画像を取得することもできる。このことは、後述する他の実施例についても同じである。

図８には、本発明の実施例２である高速度カメラ２００の構成を示している。実施例１の高速度カメラ１００と同じ構成要素には、実施例１と同符号を付して説明に代える。実施例１では、符号化パターンを生成するために撮像素子１１３の前側に空間光変調器１１４を用いたが、本実施例では、撮像素子１１３の前側に符号化マスク１１５を配置している。

符号化マスク１１５は、例えば図７（ｂ）に示すような透過率分布を有する。符号化マスク１１５が符号化マスク駆動部１１６によって分割露光時間Ｔ_ｋごとに結像光学系１１１の光軸に直交する方向に変位（移動）されることにより、実施例１と同様に、被写体像を符号化するための符号化パターンを順次変更することができる。これにより、分割露光時間Ｔ_ｋごとに、互いに異なる符号化パターンに対応する符号化像が撮像素子１１３上に順次形成され、撮像素子１１３はこれら符号化像を重畳させながら撮像を行う。

図９には、本発明の実施例３である高速度カメラ３００の構成を示している。実施例１，２の高速度カメラ１００と同じ構成要素には、実施例１と同符号を付して説明に代える。

本実施例では、実施例２と同じ符号化マスク１１５を撮像素子１１３の前側に配置するが、さらに結像光学系１１１の一部に偏心ユニット１１７を設けている。本実施例では、実施例２のように符号化マスク１１５を光軸に直交する方向に変位させず、分割露光時間Ｔ_ｋごとに偏心ユニット１１７を偏心ユニット駆動部１１８を通じて光軸に直交する方向に変位させる。これにより、実施例１，２と同様に、被写体像を符号化するための符号化パターンを順次変更することができ、この結果、分割露光時間Ｔ_ｋごとに互いに異なる符号化パターンに対応する符号化像が撮像素子１１３上に順次形成される。撮像素子１１３はこれら符号化像を重畳させながら撮像を行う。

なお、本実施例では、結像光学系１１１の一部として設けた偏心ユニット１１７を光軸に直交する方向に変位させる場合について説明したが、結像光学系の全体を光軸に直交する方向に変位させて符号化パターンを順次異ならせるようにしてもよい。

また、上記各実施例では、空間光変調器１１４や符号化マスク１１５を結像光学系１１１からの光を撮像素子１１３に向けて透過させる部材とし、符号化パターンを透過率分布とした場合について説明した。しかし、空間光変調器や符号化マスクを結像光学系１１１からの光を撮像素子１１３に向けて反射する部材とし、符号化パターンを反射率分布としてもよい。この場合も、前述した式（４），（５），（７），（８）の条件のうち少なくとも１つを満足することが望ましい（式（７）や式（８）では透過率を反射率と読み替える）。

図１１には、本発明の実施例４である高速度カメラ４００の外観を示している。実施例１〜３にて説明した構成を、コンパクトデジタルカメラのように小型の高速度カメラ４００の内部に収めることができる。

図１２には、本発明の実施例５である高速度撮像装置（高速度撮像システム）５００の構成を示している。本実施例では、実施例１〜３で説明した画像取得部１１０としてのカメラ５１０と、画像処理部１３０としてのパーソナルコンピュータ（画像処理装置）１３１とが別々の装置として構成されている。

カメラ５１０は、その内部に撮像素子（図１等における１１３）を有し、分割露光時間Ｔ_ｋごとに異なる符号化パターンで符号化した被写体像（符号化像）を重畳させながら撮像を行う。カメラ５１０は、ケーブルまたは半導体メモリ等の記憶媒体１５１を介してパーソナルコンピュータ１３１に撮影画像のデータを送信する。パーソナルコンピュータ１３１は、これにインストールされたコンピュータプログラムである画像処理プログラムによって、図４に示した分離画像生成処理を行い、複数の分離画像を生成（出力）する。分離画像は、モニタ１６１上に表示されたりプリンタ等の画像出力装置１７１により印刷されたりする。

このように分離画像生成処理を処理能力が高いパーソナルコンピュータ１３１で行ったり、クラウドコンピューティングを用いて行ったりすることで、カメラ５１０に高性能なＣＰＵを用いた画像処理部を設けることなく、手軽に高速度撮像を行うことができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００，２００，３００，４００ 高速度カメラ
１１１ 結像光学系
１１３ 撮像素子
１１４ 空間光変調器
１１５ 符号化マスク
１１７ 偏心ユニット
１３０ 画像処理部

Claims (21)

1. 結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成する符号化手段と、
   該符号化像を撮像する撮像素子と、
   第１の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した前記第１の画像を生成する画像生成手段とを有することを特徴とする撮像装置。
2. 前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する画像分離手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の画素数をＭ×Ｎとし、前記露光時間をＬ個の分割露光時間に分割したときの該分割露光時間をＴ_ｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔ_ｋにおける前記符号化パターンをｆ_ｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、前記符号化パターンｆ_ｋ（ｉ，ｊ）は、
   
   なる条件を満足することを特徴とする請求項１または２に記載の撮影装置。
4. 前記撮像素子の画素数をＭ×Ｎとし、前記露光時間をＬ個の分割露光時間に分割したときの該分割露光時間をＴ_ｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔ_ｋにおける前記符号化パターンをｆ_ｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、互いに隣り合う前記分割露光時間Ｔ_ｋ1 ，Ｔ_ｋ2における前記符号化パターンｆ_ｋ１（ｉ，ｊ），ｆ_ｋ２（ｉ，ｊ）は、Ｒ_{ｋ１，ｋ２}を、
   
   とするとき、
   
   なる条件を満足することを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、
   前記撮像素子の画素数をＭ×Ｎとし、前記露光時間をＬ個の分割露光時間に分割したときの該分割露光時間をＴ_ｋ（ｋ＝１，２，…，Ｌ）とし、該分割露光時間Ｔ_ｋのそれぞれにおける前記符号化パターンｆ_ｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）のうち前記透過率または前記反射率が最小および最大である符号化パターンの透過率または反射率をそれぞれｍｉｎ（ｆ_ｋ（ｉ，ｊ））およびｍａｘ（ｆ_ｋ（ｉ，ｊ））とするとき、
   
   なる条件を満足することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、
   前記符号化パターンにおける前記透過率または前記反射率が最小および最大となる部分に対応する前記撮像素子の画素の数をそれぞれＰ_ｍｉｎおよびＰ_ｍａｘとするとき、
   
   なる条件を満足することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. 前記分割露光時間は、前記露光時間を等分割した時間であることを特徴とする請求項３から６のいずれか一項に記載の撮像装置。
8. 前記符号化手段は、前記撮像素子の複数の画素に対応する複数の光変調部を有する空間光変調器であり、
   前記複数の光変調部を駆動することで前記符号化パターンを異ならせることを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
9. 前記符号化手段は、符号化マスクであり、
   該符号化マスクを前記撮像素子に対して変位させることで前記符号化パターンを異ならせることを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
10. 前記符号化手段は、符号化マスクであり、
    該符号化マスクおよび前記撮像素子に対して前記結像光学系の全体または一部を変位させることにより前記符号化パターンを異ならせることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 前記符号化パターンを保持する記憶手段を有し、
    前記画像分離手段は、前記記憶手段に保持された前記符号化パターンを用いて、前記第１の画像から前記複数の画像成分を分離して前記複数の第２の画像を生成することを特徴とする請求項２に記載の撮像装置。
12. 前記第２の画像は、前記第１の画像と同じ画素数を有することを特徴とする請求項２または１１に記載の撮像装置
13. 前記画像分離手段は、前記第２の画像を生成する際に、前記符号化手段による符号化によって欠落した画素情報を補間する処理を行うことを特徴とする請求項２，１１または１２に記載の撮像装置。
14. 前記補間処理は、Total Variation を用いることを特徴とする請求項１３に記載の撮像装置。
15. 結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像方法であって、
    第１の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した前記第１の画像を生成することを特徴とする撮像方法。
16. 前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成することを特徴とする請求項１５に記載の撮像方法。
17. 結像光学系により形成された光学像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像する撮像装置のコンピュータに、
    第１の画像を取得するための前記撮像素子の露光時間内において、互いに異なる前記符号化パターンで符号化された複数の前記符号化像を順次形成しながら前記撮像素子により撮像を行うことで、前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した前記第１の画像を生成する処理を行わせるコンピュータプログラムであることを特徴とする撮像プログラム。
18. 前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する処理を含むことを特徴とする請求項１７に記載の撮像プログラム。
19. 請求項１に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して前記複数の第２の画像を生成する処理を行うことを特徴とする画像処理装置。
20. 請求項１に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して前記複数の第２の画像を生成する処理を行うことを特徴とする画像処理方法。
21. コンピュータプログラムであって、コンピュータに、請求項１に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して前記複数の第２の画像を生成する処理を行わせることを特徴とする画像処理プログラム。