関連出願の相互参照
本願は、本明細書に引用により援用する、2008年11月4日に提出された米国仮特許出願第61/111,182号の利益を主張する。
背景
ハイパースペクトル撮像素子は、一般的には物体または情景のスペクトルまたは波長依存成分を調べるために使用される、周知の装置である。(ハイパースペクトル撮像素子は撮像分光計とも呼ばれている。)ハイパースペクトル撮像素子では、所与の物体または情景から発せられたまたは反射された光の画像が、通常はこの物体または情景の1つの線画像を通すスリット素子である分光計の入口に形成される。そうすると、分光計は、光をその波長に従ってスリット素子の向きに直交する方向に分散させながら、この光の画像を容易に観察または記録できる別の場所に再び形成する。このようにして、物体または情景の各線画像を2次元データアレイに分解し、この物体または情景を、ライン毎に増分して走査することにより、3次元データキューブを形成する。
蛍光顕微鏡検査は、さまざまな細胞力学をより深く理解するために、広範囲にわたって使用される。この解析ツールの幅広い応用への刺激となっているのは主に、生理的検体に対してある範囲の感度を有する蛍光タンパク質、ナノ結晶、および有機発蛍光団の、進行中の開発である。蛍光プローブの開発および応用は、細胞および組織生理学の研究を激変させた。しかしながら、これらのプローブが生み出す潜在的な情報を十分に活用するには、検出システムが、発蛍光団の組合せの分光変化を同時にモニタする必要がある。これが必要となる理由は、ほとんどの細胞応答が単独で生じず、細胞エフェクタに反応する複雑な一連の事象があるからである。さらに、生理学的興味の対象となる試料は、細胞の不均一な集団で構成されていることが多い。この集団の各細胞は、場合によっては他の細胞と結合し摂動に対して独自のパターンで反応する。このような事象の時系列を蛍光技術で求めるためには、スペクトル撮像システムが、高い空間、スペクトル、および時間の分解能の適切な組合せを示さなければならない。現在利用できるシステムの走査要件のため、これらパラメータのうち1つ以上が別のパラメータの改善の犠牲になることが多い。これは、生物学的プロセスの時間的経過における空間的または時間的な不明確さにつながる。これらの同じ限界は内因性蛍光信号にもあり、走査技術では検出することが難しい、試料の異なる分子と固有の時間的相互作用の固有の組合せが存在することが多い。加えて、多くの内因性および外因性蛍光造影剤は、時間の経過とともに光退色し、統合期間全体にわたって信号を収集できる非走査手法の恩恵を受けるであろう。反射率および吸収に基づく信号も同様に、検出については走査に基づく撮像分光計に対して妥協する。
早期および前癌検出のための内視鏡撮像技術において強まりつつある傾向は、その技術の診断能力を画像のスペクトル成分を改善することによって高めることであった。分光技術は、ニコチンアミドアデニンジヌクレオチド(「NADH」)、フラビンアデニンジヌクレオチド(「FAD」)、コラーゲン、ならびにオキシおよびデオキシヘモグロビンといった内因性癌バイオマーカに、蛍光および反射率に基づく際立った分光的特徴があることを示してきた。これら分子バイオマーカは、前および早期癌領域を、より伝統的な形態学的および構造的特徴として識別する際の、重要な指標の役割を果たすことができる。撮像分光計が提案されてきたが、欠点のためにその用途は手頃なリアルタイムスクリーニングツールに限定されてきた。これらの手法の主な限界は、より大きなスペクトル帯域幅を得るために、液晶または音響光学といった高額の可同調フィルタに依存していることであった。こうしたフィルタは、極めて高額であるだけでなく、スペクトルデータを連続的に収集するので画像収集時間に遅れがある(>約23秒)。計算トモグラフィ撮像分光計(「CTIS」)といったスナップショット技術は、この限界を回避しているが、収集後処理が長い(約30〜60分)ので、これも生体内撮像には不向きである。
リモートセンシングは、交戦地帯、氷河、深海、ハリケーン、ガスの柱、生物兵器等の危険なまたは近づきにくい領域から情報を取得するのに役立つツールである。撮像分光計は、リモートセンシング技術を向上させ、試料からのわずかなスペクトル特徴に基づいて重要な情報を提供する。この装置は、衛星および航空機といった高速で移動する乗物で使用されることが多く、結果として高速データ収集を必要とする。走査に基づく手法は、この高速取得要件を満たすために、画像の大きさ、コントラスト、および/またはスペクトル分解能について妥協することが多い。場合によっては、問題となっている事象、たとえばミサイルがその標的に命中したことの確認は、あまりに短期間で明らかになるので、走査手法を、ミサイルが標的に命中したことの確認といったことに使用するのは実際不可能である。このため、非走査スナップショットスペクトル撮像技術が望ましいであろう。
食品検査は、我が国で消費される食品の品質を保証するのに重要な役割を果たす。しかしながら、このプロセスは一般的に、見た目に明らかな欠陥を対象とした、食品の人手による観察である。この手法には、多くの欠陥は人間の目で観察できないことを含めていくつかの限界がある。また、これは、遅いプロセスとなる可能性もあり、人為的ミスおよびサンプリング誤差が生じやすい。スペクトル撮像技術は、食品の複数の欠陥を、特有のスペクトル特徴に基づいて迅速かつ定量的に評価できることによって、この分野で重要な役割を果たすことができる。市場に投入するまでの時間に対する影響を最小にするために、検査所は情報を非常に素早く取得し分析しなければならず、これは走査に基づく手法の有用性を制限する。
概要
本開示は概してハイパースペクトルおよびマルチスペクトル撮像の分野に属する。より具体的には、本開示は、ある実施例に従うと、小型画像マッピング分光計(「IMS」)システムおよび方法に関する。
本開示の一実施例は、画像マッピング分光計を提供する。画像マッピング分光計は、画像マッピングフィールドユニットを含む。画像マッピング分光計はさらに、スペクトル分離ユニットを含む。画像マッピング分光計はさらに、選択的撮像素子を含む。
本開示の別の実施例は、スペクトル撮像方法を提供する。スペクトル撮像方法は、光学試料を与えることを含む。スペクトル撮像方法はさらに、画像マッピング分光計を与えることを含み、画像マッピング分光計は、画像マッピングフィールドユニットと、スペクトル分離ユニットと、選択的撮像素子とを含む。スペクトル撮像方法はさらに、光学試料を画像マッピング分光計によって撮像することを含む。
本開示の他の実施例は、画像マッピングフィールドユニットの製造方法を提供する。画像マッピングフィールドユニットの製造方法は、画像マッピングフィールドユニット基板を与えることを含む。この方法はさらに、光学部品断面プロファイルを与えることを含む。この方法はさらに、光学部品断面プロファイルに特化した表面成形ダイヤモンドツールを与えることを含む。この方法はさらに、表面成形ダイヤモンドツールを用いて光学部品断面プロファイルを画像マッピングフィールドユニット基板に形成することによりマッピング素子を形成することを含む。
本発明の特徴および利点は当業者には明らかであろう。当業者は数多くの変更を行なうことができるが、このような変更は本開示の精神に含まれる。
例示される本開示のいくつかの特定の実施例は、部分的には以下の説明および添付の図面を参照することによって理解されるであろう。
画像マッピング分光計(「IMS」)システムの一実施例に従う、3次元オブジェクトキューブの電荷結合素子(「CCD」)アレイへの撮像シーケンスを示す。
本開示の実施例に従うIMSシステムの基本構成を示す。
本開示の実施例に従う、可能な画像マッピングフィールドユニット(「IMFU」)設計の例を示す。
本開示の実施例に従う、特定設計の表面成形ダイヤモンドツールを用いてIMFUを製造するためのダイヤモンド機械加工構成(ラスターフライカット)を示す。
本開示の実施例に従う、複数の小面(facet)が形成された表面成形ダイヤモンドツールを示す。
典型的にはダイヤモンド機械加工のラスターフライカットによって生じる、「エッジ侵食」として知られている製造関連の収差を示す。
本開示の実施例に従う、エッジ侵食効果を最小にできるいくつかのIMFU設計構成を示す。
本開示の実施例に従い、(a)はIMFUの小型光学部品によって生じる回折効果をシミュレートしたものを示し、(b)は約1%の最小クロストークのための隣のサブ瞳の最適配置を示す。
(a)は本開示の実施例に従うIMSシステムからの実際の瞳によって作られた画像を示し、25の傾斜(5つのx傾斜および5つのy傾斜)があり、回折によって生じた楕円形の瞳を示す。これはミュレートした瞳によって作られた画像と比較される(b)。実際の瞳およびシミュレートした瞳のy軸およびx軸を通る断面はそれぞれ(c)および(d)に示される。
本開示の実施例に従うレンズアレイ部品の異なる選択的撮像素子構成を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて最終像平面でのISMシステムのスペクトル分離を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、y軸の3つの傾斜角およびx軸の3つの傾斜角を有する画像マッピング器の一例を示す。傾斜の総数は9であり、これは選択的撮像素子のサブシステムの数に相当し、画像センサの表面における画像ラインの間の分離にも関連する。
本開示の一実施例に従う単軸傾斜画像マッピング器を示す。
本開示の一実施例に従う環状ミラーを有する反射型IMSシステムを示す。
本開示の一実施例に従うビームスプリッタを有する反射型IMSシステムを示す。
本開示の一実施例に従う反射型傾斜IMSシステムを示す。
本開示の一実施例に従う屈折型IMSシステムを示す。
本開示の一実施例に従うIMSレンズのアレイを示す。
本開示の一実施例に従うマルチスペクトルまたは「範囲拡大」IMSシステムを示す。
本開示の一実施例に従う、単一の画像検出器を用いるマルチスペクトルまたは「スペクトル範囲拡大」IMSシステムを示す。
本開示の一実施例に従う、フィールド圧縮部品を用いる拡大スペクトルサンプリングIMSシステムを示す。
本開示の一実施例に従う動的IMSシステムを示す。
本開示の一実施例に従う導波路IMSを示す。
本開示の一実施例に従う複数のIMFUを有するIMSシステムを示す。
本開示の一実施例に従う、内視鏡に応用するのに適しているであろうIMSシステムを示す。
本開示の一実施例に従う、眼科に応用するのに適しているであろうIMSシステムを示す。
本開示の一実施例に従う、倒立顕微鏡のサイドポートにおけるIMSシステム組立の一例を示す。
(a)は本開示の実施例に従う初期IMFUを示す。(b)はサイズ比較のために(a)のIMFUを米国の25セント硬貨とともに示す。(c)は(a)のIMFUのランプミラー1−5の中央領域のザイゴ(Zygo)のNewView 5000による3次元画像を示し、擬似色は深さ情報を示す
図28のシステムの例から得られた画像を示す。(a)は1951USAF分解能試験対象の1つのサブ画像を示し、(b)は1×5の瞳の画像を示し、(c)はハロゲン源からの画像を示し、(d)はソース画像空間マッピングラインからのスペクトル拡散を示す。
本開示の実施例に従う初期IMSシステムを示す。IMSシステムは1回の統合事象で100×100×25の3次元(x,y,λ)データキューブを収集することができる。(b)はIMSシステムの概略図を示す。
本開示の実施例に従う、CCDカメラ上の視野(「FOV」)の重なりを示す。隣接する再撮像レンズのFOVが重なり合うことでCCD領域を十分に利用できる。
本開示のある実施例に従う、1951USAF分解能試験対象の分散していない画像を示す。原画像(a)はビニング(binning)なしで16ビットカメラを用いて得ることができる(画素サイズ〜9μm)。(b)は復元された画像を示す。比較のために、(c)に示されるように同じバーの画像を顕微鏡のサイドポートで単色カメラを用いて直接撮影した。FOVにおける最上段のバーはグループ7の要素6に属している(バーの幅〜2.19μm)。
本開示の実施例に従う、分散していない画像からの1つのマッピングラインの点拡がり関数を示す。カメラの画素サイズは9μmに等しい。x位置およびy位置は、CCDカメラのグローバル座標における画像の中の場所を示す。
本開示の実施例に従う、緑の蛍光ビードの100×100×25システムからのIMS画像を示す。原画像は、16ビットCCDカメラを用いて統合時間約6秒で得ることができる。ビードのスペクトルは復元された画像中の点Aから得られる。
本開示の実施例に従う、赤および黄の蛍光ビードのIMS画像を示す。原画像は、16ビットCCDカメラを用いて統合時間約2秒で得ることができる。黄のビードのスペクトルは復元された画像中の点Bから得られ、赤のビードのスペクトルは復元された画像中の点Cから得られる。
本開示の実施例に従う初期IMSシステムの図を示す。IMSシステムは1回の統合事象で285×285×62の3次元(x,y,λ)データキューブを収集することができる。このシステムの概略図は図31の(b)と同様である。
側部において、基準CCDを用いて撮像した生体試料を示す。この生体試料は、ウシの肺動脈の内皮細胞を含み、この細胞を、MitoTracker(登録商標)Red CMXRosでインキュベートしてミトコンドリアを標識し、BODIPY(登録商標)ファラシジン(phallacidin)でフィラメントアクチン(Fアクチン)を標識し、4',6−ジアミノ−2−フェニルインドール(「DAPI」)で核を標識した。下側において、本開示の実施例に従う、IMSシステムを用いて撮影した、スペクトル間隔約5〜8nmの約500〜約684nmの生体試料の28のスペクトル帯画像を示す。
(a)は本開示の実施例に従う、軸が表示されたIMFU製造のためのNanotech 250UPLマシンを示す。(b)はx傾斜のミラー小面を作るためにIMFUを回転させるのに使用されるゴニオメータ固定具の拡大図を示す。
(a)は本開示の実施例に従う、285のミラー小面ならびにx軸およびy軸の25の傾斜を有する大型フォーマットのIMFUの上面図をサイズ比較のために米国の25セント硬貨とともに示す。(b)は図28(a)の大型フォーマットのIMFUの拡大側面図を示す。
本開示の実施例に従う、大型フォーマットのIMFUにおける個々のミラー小面の白色干渉計による表面プロファイル測定を示す。(a)は部品の左端、(b)はその中央、(c)はその右端を示す。
本開示の実施例に従う、幅75ミクロンの表面成形ダイヤモンドツールを用いて製造された大型フォーマットのIMFU(285のミラー小面)から得られた典型的な粗さの結果を示す。
本特許または出願ファイルは、彩色された図面を少なくとも1つ含む。この特許または特許出願公報の写はカラー図面とともに、要求し必要な費用を支払えば特許庁から提供されるであろう。
本開示にはさまざまな変形および代替形態が可能であるが、実施例の特定の例が図面に示され本明細書でより詳細に説明される。しかしながら、実施例の特定の例についての説明は、本発明を開示された特定の形態に限定することを意図しているのではなく、逆に、この開示は、一部添付の請求項によって示されるすべての変形および均等物を包含することが理解されるはずである。
説明
本開示は、一般的にはハイパースペクトルおよびマルチスペクトル撮像の分野に属する。より具体的には、本開示は、ある実施例に従うと、小型画像マッピング分光計(「IMS」)システムおよび方法に関する。
この文書の文脈において「マッピング」という用語は一般的に、データを変換して最終画像を形成するプロセスを意味する。典型的な撮像システムでは、マッピング変換は線形でもよく、軸対称であることが多い。マッピングはまた、何らかの配列または配向の任意のプロセスを含んでいてもよく、これにより、スペクトルおよび空間情報を並列に収集することができる。
本明細書で使用される「レンズ」は一般的に、任意の光学部品または組合された屈折力を有する複数の光学部品の組合せを意味する。レンズは、1つ以上の屈折部品、1つ以上の回折部品、1つ以上の反射部品、および屈折、回折、および/または反射部品の任意の組合せを含み得る。
本明細書で使用される「マッピングライン」は一般的に、光学試料全体または光学試料の一部を通る1次元の点の集まりを意味する。「マッピング画素」は一般的に、光学試料内の任意の場所からの1つの点を意味する。「マッピング領域」は一般的に、光学試料全体または光学試料の一部を通る2次元の連続した点の集まりを意味する。「傾斜」は一般的に、主光線または中心光線が光学試料内の1点からまたはその1点まで伝搬する方向を意味する。
本明細書で使用される「開口絞り」または「絞り」は一般的に、光学試料内のある軸方向の点からの光の束を制限する物理的な構成要素を意味する。光学系における任意の光学空間内の絞りの像を「瞳」と呼んでもよい。場合によっては光学部品の絞りを「瞳」と呼ぶことがある。なぜならこれらは互いの共役像でありその例に対して同じ機能を果たすからである。
本開示は、ある実施例に従い、画像マッピング原理に基づいたハイパースペクトルおよびマルチスペクトル撮像に役立つ画像マッピング分光計(IMS)を提供する。この開示の装置および方法は、生体および医療用撮像、生体計算、監視用途、リモートセンシング(たとえばミサイル防衛、即席爆発装置の検出、現場検出、生化学的検出)、大気撮像(たとえば気象学または汚染スクリーニングにおけるもの)、食品検査、ならびに実時間スペクトル撮像を必要とするその他多数の用途(たとえばラーマン分光法、コヒーレントアンチストークスラマン散乱(「CARS」)、および分光−偏光分析および偏光分析)に応用されてもよい。IMSは、走査を必要とすることなくスペクトル情報を瞬時に取得できる。IMSは、大量の画像およびスペクトルデータを並列に取得してもよい。たとえば、IMSは約100万のボクセル(voxel)を一度に取得できる。IMSは、ある実施例では約520万のボクセルを一度に取得してもよく、他の実施例では約1600万と約1億の間のボクセルの同時取得に備えてもよい。IMSは、画像データを、遠隔場所に、たとえば、(約10mよりも長い)長い距離離れた場所および/または視線の範囲で見ることができない場所に、送信することができる。走査なしシステムの利点は、たとえば高い光学スループット、高速画像取得、および高いスペクトル/空間相関関係を含む。画像を生成するために、IMSは非常に限定された処理(画像の再マッピング)を必要とすることで、高速で明確で直接的な手順を提供できる。これが有益であるいくつかの応用例があり、そのような応用例の1つは、生体細胞内の複数の蛍光プローブの同時で高分解能の細胞小器官顕微鏡検査のための蛍光スペクトル撮像の分野にある。
本開示はまた、ある実施例に従い、たとえば顕微鏡、内視鏡、ポイントオブケア(「POC」)装置、カメラ、暗視機器等の、1つ以上のその他の撮像システムと結合されるIMSを提供する。また、IMSを、任意の電磁放射線、たとえば紫外線、可視光線、および赤外線のスペクトル帯に応用してもよい。可視および近赤外、中波赤外、長波赤外およびその他多くの領域などのスペクトル範囲を組合せてマルチバンドを実現することも可能であろう。
本開示はまた、ある実施例に従い、1つのアレイ検出器またはアレイ検出器を組合せたものにおいて全スペクトル情報を同時に取得することができる分光撮像方法を提供する(たとえばIMSは大型フォーマットの検出器または数個の検出器を使用してもよい)。本発明を特定の理論または作用機構に限定することなく、IMSはそれでもやはり画像マッピング領域の方向を空間的に変えて検出器/画素の間の空間を得ることによって機能すると現在考えられている。したがって、回折部品、屈折部品、および/または組合された部品を使用することによって、IMSはこの空間をこれら再分配された画像区域からのスペクトル情報で満たすことができる。この空間およびスペクトルについて再分配された最終画像を、画像センサ(たとえば電荷結合素子(「CCD」)、相補型金属酸化物半導体(「CMOS」)、フォトダイオードのアレイ、アバランシェフォトダイオード、光電子増倍管のアレイ、熱検出器など)によって検出および/または記録することにより、明確な3次元(x,y,λ)情報(「データキューブ」と呼ばれることがある)を画像センサ上に与えることができる。
限定ではなく説明のために、提案するIMS機器の動作原理を図1に示す。例として、オブジェクトのさまざまな点に対する色が重なり合っていない4つのスペクトル帯からなる単純な光学試料について考える(図1のA)。まず、3次元(x,y,λ)オブジェクトの選択された行をシフトし大型フォーマットの画像センサに撮像してスペクトル拡散のための領域を作る(図1のB)。この領域は図面では白い正方形(画像センサの個々の検出器)で表わされている。行をシフトさせた後、垂直方向に分散させて1つの画像における3次元(x,y,λ)情報を取得する(図1のC)。すなわち、空間およびスペクトル情報を1回のスナップショットで符号化してもよく、すべての空間−スペクトル成分を画像センサの異なる検出器にマッピングしてもよい。このような手法の重要性は、同じ空間的場所に多数のスペクトル帯があるオブジェクトについては大きくなる(このようなオブジェクトの一例を図1のDに示す)。従来の撮像を用いて、数個の波長帯を同一の検出器で統合してもよく、スペクトル特徴は失われるかもしれない(図1のE)が、これはIMSマッピング技術によって保存される(図1のF)。
なお、x、y、およびλ要素の総数は、典型的には画像センサ上の検出器の総数を超えず、明確で直接的な空間−スペクトル情報を提供する。本明細書において使用される「明確な」は一般的に、3次元(x,y,λ)データキューブからの一般的にボクセルと呼ばれる最小データ量と、2次元画像センサからの個々の検出器との間の直接的な1対1の対応関係を意味する。たとえば、1024×1024の検出器の画像センサは、256×256×16または512×512×4のデータキューブを明確に取得することができ、ここで最初の2つの数はx方向およびy方向における空間要素の量を表わし、3番目の数はスペクトル帯の数を表わす。画像取得後に、データを再びマッピングして処理し(一般的にはいくつかのコンピュータおよび/またはソフトウェアを使用)、鮮やかなカラー画像をコンピュータ画面に表示してもよく、ここからスペクトルを実時間で各マッピング画素で取得できる。なお、不明確なデータも収集して空間/スペクトルサンプリングを向上させてもよいが、これには画像処理技術が必要であり、結果として画像表示が遅くなる可能性がある。
一般的に、本開示のIMSは、画像マッピングフィールドユニット(「IMFU」)と、スペクトル分離ユニット(「SSU」)と、選択的撮像素子とを含む。IMSは、それ自身でまたは他の研究もしくは診断ツール(倒立顕微鏡、内視鏡など)と組合せて使用することができる自律的な機器として設計してもよい。IMSレイアウトの一例の概念図を図2に示す。ここでは光学試料(図示せず)をIMSによって撮像する。光学試料は、物理的オブジェクトでも、撮像前システムからの画像でも、いずれかの共役像でもよい。光学試料は、透過、反射または蛍光といった任意の仕組みによってIMS撮像のための電磁放射線を提供してもよい。この電磁放射線をまず1次瞳6を通して収集してもよい。この1次瞳6は、1つ以上の任意のリレーレンズ1に先行および/または後続していてもよい。図2に示される実施例では、任意のリレーレンズ1が1次瞳6の前にも後ろにもある。任意のリレーレンズは、光学試料からの画像をIMFUに中継して伝えることができるどのような光学部品であってもよい。たとえば、任意のリレーレンズは、1つのレンズでも、レンズのアレイでも、屈折率分布型(「グリン(GRIN)」)レンズでも、光ファイバでも、1束の光ファイバでもよい。(光ファイバの任意のリレーレンズは内視鏡用途では特に有用である。)電磁放射線は次にIMFU2に入射する。以下でさらに説明するように、IMFU2は、電磁放射線の向きを変えて選択的撮像素子3に向けるときに、「画像マッピング」または「マッピング」とも呼ばれる画像の空間的再編成を行なう。IMFUは、一般的に任意の仮想または実際の画像共役場所もしくはフィールド空間、または画像共役場所から1ミリメートル以内のところに位置していてもよい。一般的に、選択的撮像素子3は、空間的に隔てられた2つの部品:(1)集光対物レンズまたは集光対物レンズのアレイ3a、および(2)再撮像レンズのアレイ3bを含む。図2に示されるように、SSU4を選択的撮像素子3の上記2つの構成要素の間に配置してもよい。SSUは一般的に、瞳共役場所、または絞り空間、または瞳共役場所から数ミリメートル以上の範囲内にある。たとえば、SSU4は、1次瞳6とIMFU2との間、IMFU2と選択的撮像素子3との間、または選択的撮像素子3と画像センサ5との間にあってもよい。最後に、電磁放射線が画像センサ5に入射する。画像センサ5は、CCDといった電磁放射線を定量的に測定することが可能な検知部または検出器の任意のアレイを含み得る。簡潔にするためにこの開示が所与の光学部品を1つのレンズまたはプリズムとして説明または示すことがあるが、所望の効果を得るために各部品が複数のレンズまたはプリズムを含む場合があることが理解されるはずである。本明細書で使用されるIMSの「構成」は一般的に、相対的な、要素(光学試料、1次瞳、任意のリレーレンズ、IMFU、選択的撮像素子の集光対物レンズ、選択的撮像素子の再撮像レンズアレイ、SSU、および画像センサを含む)の数、種類およびレイアウトを意味する。
IMFUまたはマッピング器は、画像を空間的に再編成し、スペクトル情報の符号化に使用される画像空間に光学的に空白の領域を作る。IMFUは、その面上に空間的に配置された光学部品を含んでいてもよい。ある配置は、同様の光学機能を示すことにより、光学素子の論理的グループ分けを形成することができる。たとえば、マッピング領域1、4、および7が同様の光学機能を示しIMFU光学部品グループAとして論理的にグループ分けされてもよく、マッピング領域2、3、8、および9がIMFU光学部品グループAの光学機能とは異なる同様の光学機能を示し、マッピング領域2、3、8および9がIMFU光学部品グループBとして論理的にグループ分けされてもよい。ある実施例ではIMFU光学部品グループをIMFUの面の上で対称となるように配置してもよい。ある実施例ではIMFU光学部品グループの配置が幾何学的形状および/または繰返しパターンを形成してもよい。光学部品を、マッピングライン、マッピング画素、および/またはマッピング領域といった特に有用なマッピング形状で配置してもよいが、他の一般的な形状(たとえば正方形、三角形、「L」、「O」など)を使用することもできる。特定のマッピングライン、マッピング画素、および/またはマッピング領域の光学部品はしたがって、その形状特有の同様の光学機能を示すであろう。他の実施例におけるIMFU光学部品グループの配置はランダムでも無秩序でもよい。1つの光学部品グループが生成した画像を、サブ画像と呼んでもよい。IMFUの面の上のIMFU光学部品グループの特定の配置を、IMFUの「幾何学形態」と呼んでもよい。IMFUの幾何学形態がマッピングを一意的に定めることが、本開示の利益を受ける当業者には理解されるであろう。さらに、IMFUの幾何学形態は静的でも動的でもよく、この幾何学形態を、システムの分解または光学試料の妨害を伴うことなく、実時間で制御して変化させてもよい。
IMFU光学部品は、オブジェクトの点からの主光線の向きを画像内の新たな場所に変えることができる。IMFU光学部品は、屈折型、反射型または導波路でもよい。屈折型の手法は、たとえばプリズムのアレイ、レンズのアレイ、および/または光学部品の組合せを含み得る。反射型の手法は、カタジオプトリック(catadioptric)型の手法と同様、たとえば鏡および/またはレンズのアレイを含み得る。導波路の手法は、たとえば光ファイバを含み得る。任意の種類のマッピング器も、より従来的な視野レンズまたはミラーと同様、屈折力を有し得るものであり、リレー光学系からの射出瞳を、選択的撮像素子の対物レンズの入射瞳または集光対物レンズの瞳のアレイに、再び撮像することができる。これにより、小型で光学的に効率的な多重撮像システムが可能である。マッピング器はまた、各マッピング部品に対してアナモルフィックなまたは円筒形の湾曲を取入れ、これにより、システムのスペクトル分解能を高めることができる。最後に、IMFUは、屈折および反射部品を組合せてこれらの異なるタスクを個々にまたは組合せて実行することができる。IMFUのスペクトル分離を補正してもよい。
図3は、可能なIMFU設計の数個の例を示す。以下の説明では、固有の傾斜角9つのみについて述べるが、実際これよりも多くの傾斜角を使用することができる。加えて、ミラー部品のみを示しているが、IMFU部品はたとえばプリズム、レンズ、および光学部品の組合せを含んでいてもよい。図3の(a)の幾何学的形態は、オブジェクトを通る水平マッピングライン全体の向きを、9つの異なる角度方向に変えることを示している。x軸およびy軸という2つの軸の周りで回転させることにより、大きなスペクトルサンプリングおよび/またはシステムの分解能を提供できる。この手法は、概念および製造の簡潔さに利点がある。しかしながら、この手法の場合、より大きな傾斜のミラーについてはマッピングされている画像が焦点から外れることによってフィールドのエッジ部分では空間分解能が低下することがある。この欠陥は、図3の(b)に示される第2の幾何学的形態で小さくすることができ、ここでは画像マッピングラインを水平(x軸)方向において2、3または4以上のセグメントに分割してもよい。この幾何学的形態の場合、マッピング性能はより優れているが、作成するのはより困難である可能性がある。図3の(c)に示される具体例としての第3のIMFUの幾何学的形態は、静的または能動的な画素サイズミラーマッピングの手法である(たとえばMEMSミラー、液晶変調器など)。この概念は、用途が広く、スペクトルおよび空間情報双方を記録するための任意の数の再マッピング方式を提供することができる。なお、マッピング画素は正方形または矩形である必要はない。円形マッピング画素のマッピング器の一例を、図3の(d)に示し、これは図3(c)に示されるものと概念的には同様である。傾斜させたマッピング部品に加え、各傾斜ミラー小面(facet)が、反射した(または屈折した)光を焦点に集めるための屈折力を有していてもよい。この焦点効果を画像マッピング画素サイズの圧縮に使用することにより、図3の(e)に示されるようにシステムのスペクトルサンプリングを増すことができる。図3の(f)に示されるように、IMFU全体が屈折力を有していてもよく、システム内の前部光学部品の射出瞳の再撮像に使用されてもよい。図3の(g)では、2つ以上の要素マッピング器の組合せを使用してもよく、これはタスクを個々にまたは集合的に組合せて画像マッピングという目的を果たす。
上記のように、IMFUは屈折型でも反射型でもよい。屈折IMFUは、反射IMFUと幾何学的形態は同様であるが、屈折IMFUは光学試料のマッピング画素の主光線の向きを、光が表面から反射するときではなく透過するときに変えることができる。屈折型および反射型はいずれも、静的または動的に使用できる。たとえば、高精細度テレビ(「HDTV」)で使用することができるデジタル光プロセッサ(「DLP」)装置と同様に機能する動的微小電気機械システム(「MEMS」)ミラーアレイを開発してもよい。たとえば、適切なDLPは、テキサス州ダラスのテキサスインスツルメンツ(Texas Instruments)から市場で入手できる。既存のDLPのこの用途における主な欠点は、2つの可能な位置(オンおよびオフ)のみに限定されることであり、したがって空間/スペクトル分解能の実時間調整に対して十分な柔軟性を提供することはできない。このため、個々の光学試料マッピング画素の向きを、像平面の任意の領域に変えることにより応用範囲を最大にすることができる、ヨー(yaw)およびピッチ(pitch)にいくつかの傾斜位置があるアナログまたは高ビット深度アレイを使用してもよい。動的IMFUの他の例も液晶変調器および屈折型液体変調器(ミクロ流体に基づく)を含み得る。このようなマッピング器を、液晶変調器またはMEMSに基づく回転プリズムおよび/またはプリズムアレイのような、可同調屈折または回折SSUと組合せてもよい。IMSを、そのスペクトルおよび空間分解能を実時間で調整できる適応型装置として使用してもよい。
IMFUを、たとえば精密ダイヤモンドラスターフライカット、低速スライドサーボを用いるダイヤモンド旋盤加工、高速ツールサーボを用いるダイヤモンド旋盤加工、マイクロダイヤモンドフライス加工、精密線引(ruling)、CNCに基づくマイクロ研削および研磨、直接ビーム書込に基づくグレースケールリソグラフィ、マスクを使用するグレースケールリソグラフィ、多段リフローリソグラフィを含む任意の利用可能な方法を用いて製造してもよい。ダイヤモンド機械加工の手法には、他の技術と比較していくつかの利点がある。まず、各光学部品の大きさ、角度および相対的位置を非常に正確に維持することができる。なぜなら、これは精度を数的に制御したステージによって決定されるからである。第2に、複雑なマッピング傾斜の幾何学的形態(ロール−ヨー−ピッチを含む)は、精密傾斜ステージをダイヤモンド旋盤加工の旋盤に追加することによって可能であろう。第3に、初期プロトタイプ開発コストおよび時間がそれほど多くない。第4に、精密アライメントの特徴をIMFUに取入れることにより、IMFUとバッフルおよびレンズ焦点アレイといった他の部品とのアライメント精度を高めることができる。
特に、IMFUを、IMFUのミラー小面といった薄く直線的でアスペクト比の高い特徴を形成するために有望なダイヤモンド機械加工方法であるダイヤモンドラスターフライカットを用いて製造してもよい。画像のアスペクト比とはその幅をその高さで割ったものであることが、この開示の利益を受ける当業者には理解されるはずである。ダイヤモンドラスターフライカットでは、図4の(a)に示されるように、ツールをスピンドルを中心として回転させ、被加工物(すなわちIMFU)から材料を掘出してもよい。この例では、被加工物がy軸を横切り薄いミラー小面を形成してもよい。隣接する小面を形成するために、被加工物を図4の(b)に示されるようにz軸に沿って移動させてもよい。これを、表面全体が切削されるまでIMFUの長さに沿って繰返してもよい。図4の(b)は、被加工物を切削するツールの拡大図を示す。なお、小面の異なる角度は、被加工物の、特定のx−z面における高さの違いに対応し得る。ダイヤモンドラスターフライカットを用いて製造されたIMFUの一例が図5の(a)および(c)に示される。いくつかの実施例では、新たな技術を、表面成形ダイヤモンドツールを用いて適用し、IMFU基板に個々の小面の断面プロファイルを形成してもよい。従来のラスターフライカットでは、マッピング器全体を含む個々の光学部品を、ダイヤモンドツールをマッピング器の基板材料において横方向(マッピング器の面に平行)および軸方向(マッピング器の面に垂直)双方に動かすことによって形成できる。このツールが通過する度に、必要な材料の小さな部分が除去される。その結果、個々の光学部品を製造するにはこのツールを複数回通過させる必要があり、これは高額かつ時間のかかるプロセスに繋がる。一方、表面成形ダイヤモンドツールを用いて製造する場合、横方向の移動は不要であり、軸方向の移動だけで個々の光学部品(または光学部品群)を形成することができる。
さらに、小型でより高いサンプリング(>100要素)のIMFUが必要とするミラー小面は一層小さいであろう。小面の幅を縮小することにより、光学部品の断面プロファイルに合わせて予め成形したツールを使用することができる。これには、製造時間の大幅な短縮、プログラムの簡潔性、より高密度で配置されたミラー小面、および切削方向に垂直な軸の機械精度とは無関係の幾何学的形状の高い相対精度を含むいくつかの利点がある。
この手法の短所は、ツールの形状、チップおよび/またはその他の欠陥のために、ミラー小面の断面の誤差を補正する能力がほとんどないことである。これにより、ダイヤモンドツールの品質は、製造プロセスにおける重要な要素となる可能性がある。表面成形製造ツールの一例が図4の(a)および(b)に示される。図示のツールに加え、複数の小面および/または特徴を有するより複雑な幾何学形態も可能であり、場合によっては、1つの表面成形ツールよりも好都合である。図5は、一体化されて1つの表面になった6つの小面を有する表面成形ツールの一例を示す。この方法は、複雑なIMFUの製造には有利であろう。なぜなら、これは(1)製造時間を短縮し、(2)多軸傾斜を可能とし、(3)より高密度の特徴を可能とし、(4)切削方向に平行な軸に対するダイヤモンドマシンの精度とは無関係であるからである。
刃先角θ、主横逃げ角α、主チップ逃げ角φ、トップすくい角β、ツール幅、切削の最大深さ、エッジ品質、および材料といった、表面成形ダイヤモンドツールに対して考慮し得るいくつかの設計パラメータがある。これらの幾何学的パラメータは図4の(b)および(d)に示される。平底ツールのチップ幅および切削の最大深さは、ツールの主要な設計パラメータである。なぜならこれらはシステムの光学設計を決めるからである。ツールのチップ幅はミラー小面の幅となるのに対し、切削の最大深さは実現可能な最大のy軸傾斜を決定する。他のツールパラメータの適切な選択は、最適な切削性能、耐久性、ツールの製造性、および総費用にとって重要であろう。
IMFUの幾何学的形態は、製造プロセスの重要な側面でもある。図6に示されるダイヤモンドツールの幾何学的形態(刃先角)によって生じるエッジ侵食の効果を減じるために、光学部品に対し(1)図7の(a)および図7の(b)に示されるようにy軸方向において段違いにすることにより、エッジでの段の高さの相違を最小にし、光学部品を(2)図7の(c)および図7(d)に示されるようにx傾斜についてグループ分けすることにより、段の高さの相違がある小面の数を減じ、および/または光学部品を(3)図7の(e)に示されるように凹状のx傾斜小面の位置の方向にすることにより、刃先角を隣接する小面の傾斜の大きさの分だけ減じることができる。
回折効果は、特に、典型的には高密度で詰込まれた何百から何百万もの小型光学部品を必要とする、大型フォーマットの空間撮像状況にとっては、IMFU設計の別の重要な側面であろう。最も顕著な回折効果は、およそ数十〜数百ミクロンである小面の幅によって生じると考えられる。瞳の中では、この回折効果が、図8の(a)に示されるように、小面の幅に対して共役である軸における幾何学的直径を伸ばすことにより、楕円形の瞳を作ることがある。この回折によって生じる楕円形の瞳は、システムに対して2倍の効果を有する。第1に、これはクロストークに繋がり得る。クロストークは一般的に、IMFUの1つのサブ画像からの光が別のサブ画像の光路の中に入ったときに生じる現象を意味する。第1のサブ画像を形成するIMFU光学部品グループは、第2のサブ画像を形成する光学部品グループの隣にある場合がある。クロストークは典型的に、隣り合う瞳、集光対物レンズ、および/または再撮像レンズに生じ、最終画像の劣化に繋がることが多い。1%までのクロストークに対し、最小分離傾斜角度は約α1%=x/f〜1.35λ/bでなければならず、この式においてλは光の波長、bは小面の幅である。このクロストークは図8の(b)に示されるように理論的に検証できる。なお、瞳の距離は、たとえば小面の断面、表面粗さおよび入射回折限界スポットサイズといった、IMFUに関連する他の要因によって、変化する可能性がある。瞳の間隔は、常にではないが典型的に、選択的撮像素子の集光対物レンズおよび/または再撮像レンズの間隔に関連する。これは選択的撮像素子の要素のうち少なくとも1つに対して軸対称であることが多いからである。第2に、楕円形の瞳は、スペクトルの範囲内に「超分解能」効果を生み出し得る。本明細書で使用される「超分解能」は一般的に、1つの点光源の画像をレイリー基準よりも近い隣接する1つの光源と区別することができるような状況を指す。レイリー基準は、1つの点光源の画像の第1の回折最小値が隣の点の最大値と一致する場合の最小の分解可能な特徴として受入れられている基準であることが理解されるはずである。
大型フォーマットのIMSシステムにとっては、光学部品の限定された、またはほぼ限定された撮像分解能を維持することが重要であることが多い。一般的に受入れられている最小分解可能基準であるナイキストサンプリングでは、少なくとも2つのIMFU光学部品が入射回折限界スポットの中にありこれを分解できることが必要である。したがって、IMFUの個々の光学部品の幅の範囲は、入射回折限界スポットサイズの幅の約2分の1からスポットサイズ数個までであろう。回折限界スポットサイズは一般的に、光学試料からの極小点の収差のない画像と言われる。
楕円形の瞳は、非対称の点拡がり関数を生み出すことがあり、空間方向に垂直なスペクトル方向における軸がより狭い。この効果は図9において見ることができ、IMFUの285の小面は幅が70ミクロンである。これらの小面は25の多軸傾斜(5つのx傾斜、5つのy傾斜)に対して配置されている。図9の(a)は、実際の瞳のアレイの原画像を示す。比較のために、理論上の瞳のアレイの画像を図9の(b)に示す。これら両画像のy軸およびx軸双方における断面プロファイルをそれぞれ図9の(c)および図9の(d)で比較する。y軸について(図9の(c))、理論上のおよび測定された瞳の直径および位置は極めて一致度が高い。しかしながら、x軸については(図9の(d))、測定された瞳の直径は、シミュレーションに基づいて予測されたものよりもはるかに大きい。これは、IMFUの各ミラー小面に対し追加された屈折力のためである。これはIMSシステムのスペクトル分解能を増す第2の方法に繋がる。
IMSのスペクトル分解能を高めるために、IMFUの個々の光学部品は、反射したマッピングライン幅を実際の部品自体よりも小さくなるように圧縮するための屈折力を有していてもよい。これに代えて、光学部品の別のアレイをIMFUの前または後に加えてこの屈折力を生成してもよい。この屈折力を使用してマッピングラインの幅を実際のIMFU部品よりも狭くすることにより、追加されたスペクトルの広がりに対して隣接するマッピングラインの間にさらなる光学空間を形成することにより、システムのスペクトル分解能を増してもよい。加えて、IMFUの屈折力を使用して、リレー光学部品の入射瞳を、選択的撮像素子の集光対物レンズまたは集光対物レンズのアレイの入射瞳に、再度撮像し、より小型で光学的に効率的なIMS設計にすることができる。
SSUは一般的に、光学試料のスペクトル分離の原因となる。これは、屈折光学部品、回折光学部品または組合された光学部品いずれで構成されてもよい。このような部品の例は、楔、プリズム、回折格子、グリズム(プリズムと格子の組合せであって、カメラ通過時に選択された中央波長の光がずれないように配置される)、計算によって生成したホログラムなどを含み得る。SSUはIMFUの後の任意の光学空間に配置してもよいが、選択的撮像素子の瞳の位置にあることが好ましい。なぜなら、特に、すべてのフィールド点からの光が部品の同じ領域を照射することによってより均一的な色分離を与えるからである。分散方向、または複数の分散方向は、画像マッピングフィールドユニットの主マッピング軸を除いてどのような方向でもよい。分散がマッピング軸に生じた場合、色および空間情報が失われるかまたは減少する可能性がある。SSUは、瞳の空間全体における1つの連続する光学部品かまたはより小さな光学部品のアレイで構成されてもよい。異なるSSU設計は、各オブジェクト点に対してスペクトル分離が同じまたはこれらの点の間で異なる光学部品のように単純であってもよい。これらは単一のSSU光学部品として設計することができ、またはこのような光学部品のアレイとして設計することができる。受動および能動部品双方が可能である。能動部品は、液晶変調器(可同調プリズム、楔、回折格子、コンピュータ生成ホログラム(「CGH」))、調整可能な傾斜および楔角度を有する楔のアレイ(場合によってはMEMSに基づく)、電気光学変調器、電磁光学部品、または格子の組合せであり、これは変化する相互回折角度とともに異なる格子定数を与える。能動または受動プリズムを、直視プリズム(すなわちAmici型)で使用されるもののような均一分散および/またはゼロ変位を有するものとして設計することも好都合である。これによりさらに小型で均一的にサンプリングされたスペクトル設計が可能であるためである。
選択的撮像素子は、IMFUおよびSSUとともに機能して、分散したオブジェクトを画像センサに再度配置し再度撮像する。上記のように、光学試料は、IMFUおよびSSUそれぞれによって空間的およびスペクトル的に再編成してもよい。IMS構成は、(a)各サブ画像を選択的に分離する光学系、(b)各傾斜方向を選択的に分離する光学系、および(c)マッピング角度総数の間に多数の撮像素子を有する混合設計を含む、多数の可能な選択的撮像素子の種類および位置を含み得る。
いくつかの実施例が提供するIMS構成は、IMFUの幾何学的形態からの同数の光学部品グループおよび/またはマッピング傾斜方向と一致する選択的撮像素子の再撮像光学系のアレイを有する。この解決策の利点は、オブジェクト区域間のさまざまな間隔を与える柔軟性であるが、設計が複雑である場合があり、非対称のマッピング幾何学的形態に対してアナモルフィックな光学部品を必要とする可能性がある。このような方法は、図3の(c)および図3の(d)に示されるようなあるマッピング器の幾何学的形態にとっておよび可同調/動的IMS実施例にとって最適であろう。製造された選択的撮像素子の再撮像レンズアレイの例が図10に示される。このレンズアレイは、図10の(b)および図10の(c)に示されるような、1つの色消しされたダブレットレンズまたは数個のレンズで構成されてもよい。選択的撮像素子の色収差を図11に示されるように補正してもよい。図11は、F帯(〜486nm)、d帯(〜587.6nm)、およびC帯(〜656.3nm)のスポット図および変調伝達関数の図を示す。この設計は、これらの可視波長において回折が制限されている。SSUユニットによって導入されるスペクトル拡散は、図12に示されるように、さまざまなフィールド位置について、およそ800ミクロンである。歪を原因とするマッピング収差も最小にすることができるが、これは画像を表示のために再びマッピングできるからである。これはさほど重要ではない。アライメントのために、各サブシステムは、静的または動的いずれかの調整可能な焦点を有していてもよい。可能な動的光学部品は、たとえばMEMS、電気湿潤、ミクロ流体、および液晶レンズを含み得る。
他の実施例は、光学系のアレイを有するIMS構成を提供することができ、マッピング角度の数は、図13に示されるようにスペクトル拡散に必要な分離画素の数に相当するであろう。しかしながら、この相関関係は必ずしも1対1でなくてもよい。なぜなら、スペクトル拡散を傾斜させてマッピング角度の数よりも多い画素をカバーすることができるが、それでもなお線形的な関係にあるはずであるからである。マッピング光学部品を、画像全体がカバーされるまでIMFUにおいて繰返してもよい。図13では、たとえばy軸に沿って繰返される固有の傾斜角度が9つある。
IMFUミラーの傾斜角度の大きさおよび方向は、各画像マッピングラインからの光が絞りおよび同様に中間瞳に方向付けられる場所を決定することができる。異なるミラー傾斜角度の数は、瞳のサブ領域の数に正比例していてもよい。図13に示される例では、傾斜角度が9つであるため、瞳のサブ領域は9つである。これらのサブ領域の後ろには、各傾斜ミラーの瞳のサブ領域からの光を撮像センサ(CCDまたはその他のアレイ検出器)に再び撮像する光学系のアレイがあってもよい。各レンズは、光学試料全体の視野(「FOV」)を有していてもよいが、特定のマッピング角度からの光を受けるだけでもよい。結果として、画像のマッピングラインを分離する(またはより複雑なマッピングの場合、マッピングライン部分またはマッピング画素を分離する)大きな暗領域があるかもしれない。SSUを中間瞳位置に配置して各画像マッピング領域またはマッピングラインからの光をこれら暗領域に対応する角度に分散させてもよい。画像センサ上の最終画像は、図13の(c)に示されものと同様に見えるであろう。
簡単なソフトウェアアルゴリズムによって、光学試料および各オブジェクトマッピング画素に対するスペクトル情報を再マッピングしてもよい。再マッピングを、たとえばデジタル信号処理(「DSP」)ユニットを用いてハードウェアで行なってもよい。ソフトウェアによる解決策でもハードウェアによる解決策でも、3次元(x、y、λ)データキューブをモニタ画面上に実時間で表示することができるであろう。いくつかの実施例では、画像センサが、1つの大型フォーマットの検出器の代わりに、1つ以上のマッピング角度に対応する複数の検出器を含むことも可能であろう。このように、図13を一例として用いると、大判カメラまたは9つの低分解能カメラ、またはすべてのマッピング角度が撮像されることを保証する任意の数のカメラを用いることができる。複数のカメラの使用を実現することにより、空間およびスペクトル分解能を増し、画像間の、または赤外線(「IR」)のような大型フォーマットの検出器が一般的に非常に高価で容易に入手できない用途における、未使用の領域を最小にすることができる。単一の部品からなる画像センサは、システムをより小型にし、より均一的な応答を提供し、画像取得を簡単にすることができる。
ある実施例では、IMSが傾斜軸が1つのIMFUを含んでいてもよい。これは特に、選択的撮像素子内の構成部品の総数を減じマッピング角度の数を制限し、一方ではそれでもなおスペクトル拡散に対して十分な分離を与えるためには、有効であろう。たとえば、IMFUは1つの方向(y軸の周り)に2、3の傾斜しか必要としない場合があり、スリットまたはピンホールマスクを中間画像面で用いると、画像センサにおける分離を大きくすることができる。他の実施例では、球形または円筒形の再撮像システムのアレイを用いて分離を大きくすることができる。レンズのアレイを利用するシステムは非対称の形状を必要とする場合があり、これは結果として非対称の点拡がり関数となる。これを補うために、これらのシステムは、アナモルフィックなリレー撮像システムを必要とする場合がある。このような1方向傾斜マッピング器の例は図14に示される。
上記のようにIMSは反射型でもよい。反射型IMSシステムの例は図15から図17に示される。図15は、傾斜を設けた環状ミラーを有する反射型システムを示す。図16はビームスプリッタを有する反射型IMSを示し、図17は傾斜したIMFUを有する反射型IMSを示す。これらのシステムにおいて、上記のようなSSUの任意の選択を用いてもよい。加えて、選択的撮像素子は数多くの異なる構成を有していてもよい。たとえば、単一のコリメート対物レンズおよび再撮像対物レンズのアレイからなるものであっても、または再撮像対物レンズのアレイを有するコリメータのアレイからなるものでもよい。アレイ部品の数も、設計手法および選択された重要な部品構成によっても変わる可能性がある。
本開示のIMS構成の1つの具体例は、環状ミラーを備えた反射型システムである。このIMSの実施例は一般的に、反射型画像マッピングフィールドユニットで高い光学スループットを維持する。これは、対物レンズ1と集光対物レンズとの間の絞り位置に環状の折返しミラーを配置することによって可能であろう(図15参照)。(視野絞りの場所にある)光学試料からの光線を対物レンズ1によって撮像してもよく、これは、対物レンズに対する絞りの役割を果たす環状ミラー内の小さな中央の開口を遮られないまま通過する。(黒の線で示される)これらの光線を、集光対物レンズによってIMFU上に撮像してもよい。この画像を、たとえば図13に示される傾斜した矩形の鏡によって水平方向のサブマッピング領域に「マッピング」してもよい。各ミラーは、幅におけるマッピング画素1つのみを除く画像の長さ全体でもよい。異なるミラー角度を、画像全体がカバーされるまでIMFUにおいて繰返してもよい。図13では、y軸に沿って繰返される9つの固有の傾斜角度がある。これらのミラーから反射した光(図15の彩色された線で示される)は、集光対物レンズを通って戻ってもよいが、第1の対物レンズの絞りの外側の環状のミラー領域に戻る。環状のミラー面は、集光対物レンズ(L2)の絞りとして作用することができ、また元々のシステムの経路から光を瞳リレーに向かって反射してもよい。なお、集光対物レンズおよび再撮像レンズアレイは選択的撮像素子を形成する。
集光対物レンズと再撮像レンズアレイとの間に配置された瞳リレーは、環状ミラー(絞り)をよりアクセスしやすい中間の瞳の場所に撮像する一方で、最終画像を画像センサ上に合わせるのに適切な倍率を加える。マッピングミラー傾斜角度の大きさおよび方向は、対応する画像マッピングラインからの光が絞りまたはその共役中間瞳場所のどこに向けられるかを決定し得る。異なるマッピング角度の数は、瞳のサブ領域の数に正比例してもよい。レンズのアレイによって、特定のマッピングサブ領域の各サブ瞳からの光を、CCD検出器またはその他のアレイ検出器といった画像センサ上に再び撮像してもよい。各レンズは、光学試料全体のFOVを有していてもよいが、各々は特定のマッピング角度からの光しか受けないであろう。SSUを選択的撮像素子の絞りまたはその共役瞳位置に配置して、各マッピングラインまたはマッピング領域からの光をこれら暗領域に対応する角度に分散させてもよい。
上記システムには、全体の機能性を保ちつつ以下の小さな変形があってもよい。環状ミラーに小面を形成することにより、マッピングされた光の一部を元のシステムの経路から外れた方向に偏向させてもよい。環状ミラーは、中央領域が好ましいが表面上の任意の場所において遮蔽されていない領域を有していてもよい。鏡面は平坦である必要はないが、それに関連する何らかの屈折力を有していてもよい。集光対物レンズを、固有の(または数個の)マッピング角度を受けるように配置してもよい。瞳リレーも、空間データの圧縮のために配置および/またはアナモルフィックにしてもよい。また、SSUは1つのシステムまたはシステムのアレイでもよい。SSUは、屈折型、回折型、および/または組合せ部品でもよい。レンズアレイはアナモルフィックにしてもよい。環状ミラーは、その表面上またはその表面近くに配置されたSSUを有していてもよい。
本開示のIMS構成の別の具体例は、ビームスプリッタを有する反射型IMSである。ビームスプリッタを有するこの反射型IMSは、ビームスプリッタによって接続された2つの光路からなるものであってもよい。一方は「再撮像」光路(L0、L1、L2、L3およびIMFUで構成される)と呼ばれ、他方は「マッピング」光路(IMFU、L3、L2、L4、光学系のアレイL5、SSU、および画像センサで構成される)と呼ばれる。このシステムの1つの実施例が図16に示される。ここでは、IMFUが光をN=25の異なる瞳に反射するが、この数は任意の数でよい。画像センサ上の空白領域の大きさはNに比例してもよい。L0、L3およびL5のアレイの開口は、画像リレーシステムによって共役にされる。分散プリズムは、L5のアレイの入射瞳に配置されて光学試料からのマッピングラインからのスペクトルを拡散させることにより、SSUとして機能してもよい。光学試料の画像は、L3、L2、L4、およびL5を通過後、マッピングされてもよく、ビームを、コリメートし、分散させ、再撮像してもよい。実際、画像を、画像センサ上に、検出器領域の上に分散させたマッピングラインのパターンで、マッピングしてもよい。各x、y、およびλ要素を、異なるカメラ画素に直接マッピングしてもよい。撮像システムは、オブジェクト空間および画像空間双方についてテレセントリックであることで焦点ずれの影響を小さくしてもよい。残念ながらこの仕組みは非常にエネルギ効率が低く、光の約75%まで失われる可能性がある(50%ビームスプリッタで2回通過するため)。その最大の利点は、単純で対称性があることであり、これによって画像センサアレイ全体を容易に使用することができる。
本開示のIMSの別の具体例は、反射型で傾斜したIMSである。1つのこのようなIMSシステムは、図17に示され、任意のリレーレンズ、IMFU、コリメートレンズのアレイ、ブレーズド回折格子、再撮像対物レンズのアレイ、および像平面に位置する画像センサからなる。回折格子の線はこの文書の頁の面に平行であるため、示されている断面において散乱効果は見えない。ここでモデルとして形成されているIMFUには、像の異なる高さに位置する4つの傾斜した小面(マッピングライン)がある。これにより、図17に示されているように、画像を、複数のマッピング画素行によって分離された、X方向に沿うマッピングラインに、再編成することができる。回折格子はこれらのマッピングラインをy方向に拡散させてもよく、これによって空間およびスペクトル情報双方を同時に、走査なしで記録できる。このシステムの1つの利点は、これがビームスプリッタによる光の損失を回避することである。その最大の欠点はマッピング部品の傾斜であり、これによって、結果として焦点から外れる領域が増える可能性がある。これは、オブジェクト/中間画像を傾斜させて共役面を最適化することによって埋合わせてもよい。
上記のようにIMSは屈折型でもよい。このようなIMSは、反射型システムと、IMFUが反射型の代わりに屈折型部品であること以外、概念的には同様である。このようなIMSの1つの利点は、このシステムは広げたままにすることができるので、光学機器があまり複雑でなくより小型になる点である。屈折効果は、望ましくない分散を導入してスペクトル分離を生じさせることもある。マッピング中のスペクトル分離によって、近隣の像点が最終画像で重なり、情報を曖昧にし、画像処理の補正が必要になる場合があることが、本開示の利益を受けた当業者には理解されるはずである。これにより、IMSシステムの主な利点のうちの1つである、実時間画像表示のための直接的で明確なデータ取得が損なわれる可能性がある。したがって、IMFU内の屈折光学部品のこのスペクトル分離およびその他の色収差を補正することが好都合であろう。これは、分散が異なる2つ以上の屈折性材料を組合せること、屈折および反射部品を組合せること、ならびに回折および屈折部品を組合せることを含むがこれらに限定されない数多くの方法で行なうことができる。光学試料からの光を、リレー光学素子L1(たとえば図18に示される)が中継してIMFUに送ってもよい。この画像は、ごく小さなプリズムによって多くのサブ領域または個々のマッピング画素に「マッピング」されてもよい。これらプリズムは、それらに関連した異なる角度があってもよく、図18で異なる色で示されているように、光を異なる経路に沿って進ませてもよい。「マッピングされた」画像からの異なる光路を対物レンズL2によって集め、瞳の中の特定のサブ領域に導いてもよい。SSUは、これらサブ領域の光を、最終画像の中でIMFUによって形成された暗領域に対応する異なる角度に分散させてもよい。SSUの直後に、レンズのアレイが光を画像センサ(たとえばCCD、CMOS、または同様の検出器)上に再び撮像してもよく、ここで簡単なソフトウェアアルゴリズムが光学試料をスペクトル情報を用いて再びマッピングすることができる。
上記システムには、全体の機能性を保ちつつ以下の小さな変形があってもよい。対物レンズ2を、固有の(または数個の)マッピング角度を受けるように配置してもよい。また、スペクトル分離ユニットは1つのシステムまたはシステムのアレイでもよい。スペクトル分離ユニットは、屈折型または回折型部品でもよい。レンズアレイを、スペクトルまたは空間情報圧縮のためにアナモルフィックにしてもよい。
本開示のあるIMSに対する別の手法は、視野絞りがレンズの焦点面と一致するように配置された「レンズのアレイ」の用途に基づく。このようなIMS構成は反射および屈折手法を用いてもよい。マイクロレンズアレイは、並列サンプリングプローブの役割を果たすことができる。図19はこの概念を示す。全体的な撮像原理はここでも同じであり、IMSに上記レイアウトで使用されたものと同様の他の部品を補充してもよい。このシステムのこの場合の空間分解能は、アレイ内のレンズの詰込み密度によって決まるであろう。なぜなら、各レンズが1つの像点に関わり得るからである。視野絞りから出た光線は、マイクロレンズ通過後、光軸に平行に現われ得る。マッピング器で反射すると、光線は特定の方向に伝搬して必要な画像マッピングを実現するであろう。この手法の1つの利点は、焦点外れに対して反応しないことである。このシステムの精度は、アレイ内のレンズの均一性およびビームのコリメートの質に依存するであろう。
より多くの量のおよび/またはより高品質のスペクトル情報を取得するために、図20に示されるようにダイクロイックミラーを選択的撮像素子の画像空間に追加してもよい。ダイクロイックミラーによって、このシステムは、光学試料からのスペクトル情報を、可視光線と近赤外線といった隣り合うスペクトル帯および紫外線と中波赤外線といった隣り合っていないスペクトル帯を含む2つ以上の異なるスペクトル帯で、収集できる。加えて、このスペクトル情報を単一のスペクトル帯の中でも高めて、スペクトル分解能を元のシステムの2倍以上にしてもよい。図20に示される構成は、追加のカメラ(画像センサ検出器♯2)を利用することにより、第2の帯域の情報を収集することができる。この図において、画像センサ検出器♯1は、可視帯の赤から緑の領域から光を収集してもよく、画像センサ検出器♯2は、緑から紫外線までの光を収集してもよい。しかしながら、この概念を、図21に示されるように選択された波長領域のフィルタが近隣の検出器画素の行の前に配置されている、単一のカメラ画像センサに応用してもよい。フィルタなしの画像センサ検出器は、図21の(a)に示されるように、光学試料からの1つのマッピングライン(ライン#1)からのスペクトルを、光学試料からの次のマッピングライン(ライン♯2)に拡散させるだけの場合がある。この例については、ライン♯1からの青色−紫外線スペクトルのための空間がない。フィルタ(たとえば図21の(b)参照)を画像センサに追加し、画像の点拡がり関数をオーバーサンプリングすることによって、ライン2からさらなるスペクトルを得ることが可能であろう(たとえば図21の(c)参照)。この手法の代価は、システムの光学スループットが低下し得ることである。これを克服するには、CCDおよびCMOS画像検出器で既に使用されているものと同様のレンズアレイを用いてフィルファクタ(fill factor)の問題を解消すればよい。
別のIMS構成は、マイクロレンズアレイおよび/またはマイクロ視野絞りアレイを用いてマッピング器上の小面を光学的に圧縮し、スペクトルのためのさらなる空間を生み出してもよい。1つの可能な実施例が図22に示される。この例では、1組のマイクロ円筒レンズアレイが、選択的撮像素子の後の、サブ画像面近くに配置される。レンズアレイおよび/またはマイクロ絞りアレイは、画像の子午面ではなくその正中面に屈折力を加えることができる。これにより、画像をスペクトル拡散させるために用いられる方向でもある正中面においてより狭い非対称の点拡がり関数を最終画像面に形成することができる。
動的IMSシステムを図23に示す。このシステムは、3次元(x,y,λ)データキューブ全体に対してデジタル光学ズームカメラシステムのように機能することができ、動作中IMS構成を変えることにより光学試料の1つまたは複数のマッピング領域から異なる空間およびスペクトルサンプリングを得る。対象となる1つの以上の領域(「ROI」)にズームし、より高いスペクトルおよび空間分解能を得ることが可能であろう。本明細書で使用される「ズーム」は一般的に、光学試料の画像のROIのサンプルの数を増やすことを意味する。デジタルズームは、画像センサを含むセンサのアレイを電子的に再構成することにより画像センサの選択された領域内のサンプルの数を変更することができる。光学ズームは一般的にハードウェア再構成を意味し、これにより、光学試料の画像を変更してそのサンプリングを画像センサによって変えることができる。スペクトルズームは一般的に、所与のスペクトル範囲に対する検知素子の数を増すこと、または所与の数の検知素子に対するスペクトル範囲を減じることを、意味する。空間ズームは一般的に、所与の空間マッピング領域に対する検知素子の数を増すこと、または所与の数の検知素子に対する空間マッピング領域を減じることを意味する。これは、システムの重要な部品すなわちIMFU、SSU、選択的撮像素子、および任意で画像リレーレンズ、のうち1つ以上に対して動的部品を利用することによって実現されるであろう。リレーレンズは、光学試料の画像の大きさを変更することができ、IMFU上の画像サンプリングを増すことにより空間ドメインをズームする。複数のIMFUおよび/または動的リレーレンズが使用される場合、図25と同様に、光学ズームを画像上の2つ以上の場所に設けることが可能であろう。動的IMFUは、MEMS技術を用いてミラーの傾斜を調整し対象となる画像マッピング画素を選択的撮像素子に向けて選択的に反射し、スペクトルおよび空間ドメイン内にズームを作り出すことができる。次にこれらのマッピング画素を、SSUの分散を動的に調整することによって、多少スペクトル拡散させてもよい。SSUのスペクトル拡散を調整するための1つの可能な手法は、平凸および平凹レンズ対または同様の材料を利用することによってプリズムのような構造(たとえば図23参照)を形成することである。平凸レンズを回転させることにより、プリズムの角度が変化し、プリズムの分散も変えることができる。動的に変化できる最後の部品は、選択的撮像素子内のレンズアレイである。レンズアレイのパワーを調整することにより、最終画像の大きさも調整することができ、スペクトルおよび空間双方について画像のサンプリングの増加を生み出す。これはまた、(カメラをビニングすることにより)画像をより速くするおよび/または動的範囲を改善することを可能にするであろう。
上記屈折型または反射型手法に代えて、IMSシステムは、導波路マッピング器を使用することによって図24の(a)に示されるように隣接する像点の間に光学的に空白の領域を形成してもよい。リレー光学部品(1次瞳および0、1または2以上の任意のリレーレンズ)は、光学試料を導波路マッピング器の入力面上に撮像する。図24の(b)に示されるように、導波路マッピング器は、個々の導波路からの光を、マッピング器の面の出力の分離されたマッピング画素に案内してもよい。なお、このマッピングは、マッピング器の入力端と出力端との間で干渉性または非干渉性でもよい。マッピング器の面を、大きなFOV対物レンズ(L2)によって撮像し、SSUによって分散させ、再撮像レンズによってCCD検出器といった画像センサ上に撮像してもよい。この構成は、屈折型および反射型構成部品よりも複雑ではない選択的撮像素子を利用するが、各導波路構造の周りに集中するため光学スループットはより低い可能性がある。
IMSシステムの別の実施例は、互いに撮像される2つ以上のIMFU素子を含む。言い換えれば、これらは互いの画像共役物である。複数IMFU共役構成は図25に示される。この設計において、光学試料を任意のリレーレンズを通して第1のIMFU上に撮像してもよい。このリレーシステムは任意である。なぜなら、光学試料は何らかの前方光学素子を用いて第1のIMFU上に直接撮像できるからである。第1のIMFUは、IMFUリレーレンズによって第2のIMFUに撮像してもよい。次々にまたは並列に順次カスケード接続される複数のIMFUリレーレンズおよび複数のIMFUが、IMFUおよびリレーレンズのアレイを形成してもよい。このアレイ手法は、システムを小型に保つのに有利であろう。図25では、設計概念を限定するためではなく単純にするために、示されているIMFUは2つのみである。最後のIMFU(図25の第2のIMFU)および選択的撮像素子の後、SSUおよび画像センサはたとえば図18の例の先の概念と同じように機能する。この設計のIMFUは、静的または動的または組合せでもよい。この種のIMSシステムは、動的システム(図23)において有利で、第1の部品は光学試料から1つ以上のROIを選択することができ、これらROIを第2のIMFUに導いて1つ以上の画像センサ検出器に対してより高度のサンプリングおよびマッピングを行なってもよい。この手法はまた、最終マッピングの1つの側面にしか関わらない各共役IMFUによって、各IMFUの設計を簡単にできるであろう。たとえば、第1のIMFUはx軸における傾斜に関わっていてもよく、第2のIMFUはy軸の傾斜に関わっていてもよい。このことは、この実施例の各IMFUが他のIMFUと同一の幾何学的形態または機能を有している必要はなく、各IMFUは独立して機能しても依存して機能してもよいことを示唆している。
先に述べたように、IMSを多数のさまざまな応用例に適合させることができる。たとえば、IMSは内視鏡に特に適しているであろう。このIMS概念の内視鏡版を図26に示す。IMSシステムの動作についての説明は、広帯域源がここでの光学試料となる組織(肉眼で見えるまたは顕微鏡で見える大きさ)のある領域を照射し得る干渉性のマルチファイバの束(「MFB」)の組織(遠位)側から始まる。これ以外の内視鏡撮像部品も、図26に示されるMFBの代わりにまたはこれに加えて使用できる。これら内視鏡撮像部品は、非干渉性ファイバの束、小型対物レンズ、小型レンズ、およびグリンレンズを含み得る。組織からの反射光および/または蛍光を、小型対物レンズを通して収集しMFBの遠位端に撮像した後、近位端に伝えてもよい。画像リレーシステムは、MFB近位面からの組織画像を拡大し再びIMFUに撮像してもよい。ここでの例示のために、IMFUは、像面での1×200マッピング画素に相当する大きさのミラー小面のアレイで構成されていてもよい。なお、IMFUも、プリズム、レンズのアレイ、および/または部品の組合せで構成されていてもよい。各ミラー小面は、組織画像(光学試料)の一部を、選択的撮像素子の瞳内の特定の領域に偏向させてもよい(異なる光線色で示す)。光を、瞳の中においてSSU(すなわちプリズムアレイ)によりスペクトル拡散(すなわち分散)させて、マッピング面とは方向が異なる面における角度の範囲としてもよい。再撮像レンズアレイは各サブ領域を画像センサ上に撮像してもよい。各サブ画像は1組のマッピング領域に対する空間およびスペクトル情報を含み得る。最後に、簡単なソフトウェア再マッピングによって、サブ画像を再結合して光学試料(組織)の「マッピングされていない」画像を形成する一方で、各マッピング領域のスペクトル特徴を保存する。走査または画像処理がないため、このシステムは内視鏡用途において重要な実時間でのハイパースペクトル画像の取得および表示を行なうことができる。
眼科医は長い間さまざまな目の状態および病気の評価において光学装置に依存してきた。特に重要なのは、目の内面の後側にあり光信号を脳が処理できる信号に変換する感光光受容体を含む目の網膜の撮像である。網膜の観察および画像取込には、網膜の照射および撮像を同時に行なうことができる眼底カメラと呼ばれる複雑な光学装置の使用が必要である。照射システムが外部照射か内部照射かによって設計が異なる主に2種類の眼底カメラがある。いずれの種類が与える入射照明も、網膜によって散乱した後、眼科医が直接見ることができる眼底カメラの撮像素子部によって捉えられる、および/または画像検知装置によって捉えられる。眼科医が網膜の写真を記録するためにCCDまたはCMOSカメラといったデジタル検出器を使用することがますます多くなっている。これらのデジタル写真を用いて、何らかの病気を識別し、その病気の患者の生涯にわたる進行を追跡することができる。これに関連して、IMSシステムは眼科学にとって重要な撮像ツールとなるであろう。このシステムは、網膜の3次元(x,y,λ)画像を、画像内の各マッピング画素からのスペクトル内に含まれるさらなる診断情報とともに取得することができる。図27は、眼底カメラに組込まれたIMSシステムの一例を示す。IMSシステムは、網膜の画像が位置する眼底カメラのサイドポートまたはカメラポートに配置される。IMSシステムは、目を撮像するための独立型システムとして使用することもできる。独立型IMSシステムの場合、眼底カメラで通常使用されているのと同じやり方で、システムの外部からまたは内部で照射をIMSシステムに取入れることができる。眼科に応用されるIMSシステムの主な利点は、IMSシステムがその3次元データキューブを迅速な実時間撮像のために正に並列に収集できる点である。これは、目の動きが不随意であるために生じる一時的な曖昧さを軽減するのに重要である。並列に取得することによって、照射の強度を低下させることもできる。なぜなら、すべての像点から収集した信号は同時に統合され、患者の目の負担が少ないからである。IMSシステムにとって必要である簡単なソフトウェア画像再マッピングによっても眼科医に対して実時間のフィードバックが可能であり、診察を管理しより高品質の診断情報を提供するのに役立つ。
本発明をより理解しやすくするために、以下で具体的な実施例の例を示す。以下の例は本発明の範囲全体を限定または規定すると理解されてはならない。
実施例
作業卓上プロトタイプIMSおよびマッピング素子(またはマッピング器、画像マッピングフィールドユニット、または「IMFU」)のプロトタイプを組立て、ビームスプリッタを備える反射型画像マッピング分光計(「IMS」)として構成した。このプロトタイプシステムの概略図および実際の組立の図を図28に示す。
このIMS構成の光学試料は、倒立顕微鏡、すなわち市場ではカールツァイス社(Carl Zeiss Inc.)から入手できるAxio Observer A1またはAX10から得た。実演のために、選択的撮像素子のレンズアレイを、単レンズ(低倍率顕微鏡対物レンズ)と置き換え、異なる瞳位置に移して対応する傾斜角度の視野(「FOV」)を撮像した。IMFUのプロトタイプは、高純度アルミニウムのラスターフライカットを用いて製造した。マッピング素子には1方向のみにおいて5つの傾斜角度があった(合計175のランプミラー)。IMFUを製造するために、Nanotech 250UPLダイヤモンド回転旋盤を用いた。最初の光学部品の切削プロセスは、約120時間と長時間を要した。所望のマッピング素子を作っておけば、複製または成形プロセス(たとえば射出成形、打抜き成形など)いずれかによって大量生産することができ、より手頃になる。
図29の(a)は、第1のプロトタイプIMFUを示す。図29の(c)に示されるように、個々の光学部品の小面をさらに特徴付け、市場ではザイゴ社(Zygo Corporation)から入手できる白色光干渉計NewView 5000を用いて角度および表面品質を検証した。マッピング素子の前および側面にバッフルを追加して遷移マッピング光学部品からの散乱光を減じてもよい。また、レンズアレイをマッピング器に追加し、散乱光をマッピング器の光学部品のエッジから外してマッピング光学部品の表面の中央により近くなるように集めることによって、散乱光を減じ易くしてもよい。レンズアレイも近隣のIMFU光学部品の陰影効果を減じることができる。これは特に、高さの相違が最大になるであろう光学部品のエッジ部分では重要である。プロトタイプIMFUは、ダイヤモンドフライカット技術を用いて製造したが、ダイヤモンドフライス加工およびグレースケールリソグラフィといった他の技術を所望の幾何学的形状に応じて用いて製造してもよい。グレースケールリソグラフィは、この素子の大量生産のための代替技術であるが、最初の開発段階で多大なプロセス開発時間およびコストを要する場合がある。
図30は、このシステムプロトタイプを用いて実施された最初の撮像実験を示す。図30の(a)は、中央FOVに対する1951USAF分解能試験対象の画像を示す。この図面はマッピング方向を1つしか示しておらず、この場合分散は導入されなかった。図30の(b)は、IMSが単一モード(λ〜630nm)ファイバレーザ(オブジェクト)からの出力を画像マッピング器の少なくとも5つのマッピングラインに撮像しているときの、選択的撮像素子の瞳の画像を示す。この例では、IMFUの各マッピングラインは概して、入射画像の1つの(場合によっては不連続な)ラインを固有の方向に反射することができる小型ランプミラーである。5つの明るい領域は、異なるライン光学部品およびその対応する角度から反射したオブジェクトからの光に対応する。線形のIMFUの幾何学的形態および表面粗さによって生じる回折および迷光効果が、これら中央領域の外側の光の強度の原因となる。再撮像レンズをある瞳位置から次の位置へと移すと、結果として得られる画像は、異なる1組の線形マッピングという点を除けば図30の(a)に示されるものと同様である。
図30の(c)は、ハロゲン光源によって照射された光ファイバのプロトタイプシステム(IMFUおよびSSUを除く)によって撮影された画像を示す。この多色画像は、広いスペクトル帯で構成され、標準撮像システムから得られるであろう典型的な画像を表わす。この画像は一般的には白い円に見え、スペクトル情報はすべて失われる。この画像の中には、最終システムで修正できる横方向の色収差のために画像内にいくつかの青色および赤色の外側領域がある。プロトタイプシステムを再構成してIMFUおよびSSUを含むようにした場合、この多色画像の全スペクトル特徴が得られる。これは、傾斜角度が同一の1組のランプミラーについて図30の(d)に示される。画像のスペクトルデータからわかるように、マッピングラインは、近隣ミラー−マッピング部品(繰返される赤から緑の領域)の間の空白領域に分散している場合がある。最終画像を復元するために、再撮像レンズを他の瞳の位置に移動させて他のマッピングラインの画像を取得し、単純な画像処理を行なって当初の画像をそのスペクトル特徴とともに復元することができる。
第2の作業用プロトタイプIMSを構成してこれが蛍光顕微鏡画像を取得する機能を実演した。IMSは、空間およびスペクトルドメインそれぞれについて約0.45ミクロンおよび約5.6nm分解能に相当する、100×100×25サンプリングの3次元(x,y,λ)データキューブを得ることができた。このIMSシステムを、前光学素子として市場ではカールツァイス社から入手できる倒立顕微鏡AX10に結合した。このプロトタイプシステムの写真を図31の(a)に示し、概略的なレイアウトを図31の(b)に示す。試験片を顕微鏡の台の上に置き、市場ではEXFOライフサイエンス&インダストリアルディビジョン(EXFO Life Sciences & Industrial Division)から入手できる120W X-cite(登録商標)アークランプによって照射した。蛍光信号を、市場ではカールツァイス社から入手できるEC Plan-Neofluar、40×/開口数〜0.75の対物レンズを用いた。中間画像を、IMSシステムの視野絞りと同一場所にある顕微鏡の側部の画像ポートの外側で形成した。視野絞りにおける中間画像を、最初に倍率約10倍の画像リレーシステム(オブジェクトおよび画像空間双方においてテレセントリック)によって特注生産の画像IMFUに再度撮像した。この画像リレーシステムの1つの役割は、画像の分解能を、画像PSFの大きさをIMFUの大きさと一致させることによって保存することである。他の役割は、主光線を正しく誘導するIMFUの側面で厳密なテレセントリック性を与えることである。IMFUは、25の異なる2次元傾斜角度(x軸およびy軸双方に対して0°、±0.23°、±0.46°)を有する1次元ミラーアレイであり、これはマッピングされた画像のゾーンを25の異なる方向に反射することができた。IMFU上のマッピング光学部品の総数は100で、各々の寸法は長さ約16mm×幅約160μmであった。図31の(b)において、y軸に対する傾斜角のみが示されている。方向が変えられた光を、集光レンズ(約130mmのチューブレンズ、市場ではカールツァイス社から入手できる、開口数〜0.033、FOV〜25mm)によって集め、瞳の面に25の別々の瞳を形成した。市場ではエドモンドオプティクス社(Edmund Optics)から入手可能な約5.56×のビーム拡大器(Gold Seriesテレセントリックレンズ58258、FOV〜8mm)によって瞳の寸法を調整し再撮像レンズアレイ光学部品のものに合わせた。拡大した瞳を、市場ではタワーオプティクス社(Tower Optics)から入手可能なカスタムプリズム、SF4、楔角度約10°、によって分散させ、再撮像システムの5×5アレイによって、大型フォーマットのCCDカメラ(Apogee U16M、4096×4096画素、画素サイズ約9ミクロン、RMSノイズ:10.5e−、暗電流:0.13e−/画素)上に、再撮像した。各再撮像レンズは、焦点距離約60mmの正の色消しダブレットレンズ(エドモンドオプティクス社の47698、直径〜6.25mm)および焦点距離約12.5mmの負の色消しダブレットレンズ(エドモンドオプティクス社の45420、直径〜6.25mm)で構成されて焦点距離の長い(焦点距離〜350mm)レンズを形成した。なお、ここで示されるIMSプロトタイプは、全CCD分解能を使用しない。しかしながら、この大型画像センサにより、将来のシステム開発におけるシステム分解能を改善された分解能にすることができるであろう。
最終画像のフォーマットは、3次元(x,y,λ)データキューブの記録2次元画像センサへのマッピングを最大化するのに非常に重要であろう。多くの場合、画像センサ上の各検出器または画素が光学試料からの信号を記録することが好都合である。明確なデータ収集のために、データキューブ内の各ボクセルは、画像センサ上のおよそ1つの画素に対応していてもよい。画像センサ内の利用できる検出器のうちすべてまたはほとんどを効率的に利用する明確なマッピングは、IMFUからのサブ画像が互いに近接していることを必要とするであろう。なお、構成のほとんどにおいて、画像センサは、IMFUの2つ以上のサブ画像を有し得る。製造誤差、光学収差、迷光、他の説明できない製造誤差および光学効果の補正のために、IMFUの幾何学的形態は、隣接するサブ画像間に一定の距離を設けてもよい。理想的には、この未使用の画像センサ表面領域は、全検出表面積の約40%以下の大きさでなければならない。一方、サブ画像が重なり合って不明確なデータおよび明確なデータ双方を含むことも有益であり、これはシステムの利用できるスペクトルおよび空間成分を改善し得る。この重なりは、画像センサ上の数個の検出器と同じほど小さくてもよく、画像センサ上のすべての検出器まで及んでもよい。先に述べたように、サブ画像の重なりが大きすぎる場合の欠点は、ソフトウェア復元アルゴリズムが非常に長時間を要し、IMSがデータを実時間表示する機能が失われることである。マッピングされた最終画像のサブ画像が、表1に記載されているような業界標準カメラフォーマットおよびアスペクト比に一致するように配置されることも有利であろう。しかしながら、特別フォーマットを使用してもよい。
表1に記載された寸法は、各画像センサ製造業者に少し違いがあるため、おおよその寸法である。最も一般的なアスペクト比のうちのいくつかは、1:1、3:2、および4:3であろう。
このプロトタイプIMSの再撮像レンズセットのFOVは、隣接するレンズセットと重なることによってCCDカメラの利用可能な領域を最大化するように設計された。IMFUプレートの画像全体は正方形の形状であるが、再撮像レンズセットのFOVは円形であったので、IMFUプレートの画像の外側には存在するFOVの内側以外の4つの空白領域があった(図32参照)。これら空白領域のため、近隣の再撮像レンズセットのFOVは重なることができた。これにより、CCDカメラ上の撮像領域を十分に利用することができた。このCCDカメラは、正方形の(36.8×36.8mm)表面積内に16のメガピクセルを含む10.5/16.8MPフォーマットチップを使用した。
画像性能を検証しIMSプロトタイプの空間およびスペクトル分解能を試験するために、分散していない1951USAF分解能テスト対象を撮像し、(1つのミラーマッピング部品からの)1つの画像マッピングラインの点拡がり関数(「PSF」)を測定した。蛍光ビードを用いて作った試験サンプルのスペクトル画像を取得した。結果を図33〜図36に示す。
第3のプロトタイプIMSを構成し、蛍光標本に対して285×285×62の3次元(x,y,λ)データキューブを収集することが可能な大型フォーマット構成を示した。IMS構成のレイアウトは、第2のプロトタイプと同様であり、図37に示される。このIMS構成は、大型フォーマットIMFUにおける主要な技術的進歩を表わす。IMFUは幅がわずか約70ミクロンで高密度で詰込まれたミラー小面光学部品を有し、285の小面をリレー光学素子のFOVの中に置くことができた。小面の大きさが小さいため、回折効果を設計において考慮する必要があり、さらなる傾斜角度を与えてサブ撮像システム間のクロストークを最小にした。最後に、IMFUの幾何学的形態を最適化してエッジ侵食効果を減じシステムスループットを改善した。
第3のプロトタイプの生物学的撮像機能を、MitoTracker Red CMXRosでインキュベートしてミトコンドリアを標識し、BODIPY FLファラシジンでフィラメントアクチン(Fアクチン)を標識し、DAPIで核を標識したウシの肺動脈の内皮細胞を撮像することによって、評価した。カラーCCDカメラを用いて撮影した基準画像を、比較のために図38の左上に示す。下側の一連の画像は、IMSシステムを用いて1回の約4秒の統合事象で撮影した。25のスペクトル画像のサンプルを、約505から約684nmのスペクトル範囲にわたって表示し、サンプリング平均は約5nmである。セル内のスペクトル符号化特徴は、容易に識別可能であり、基準画像との強い相関関係を示す。
さまざまな幾何学的形態のIMFUを製造するために、3つの異なる表面成形ツール設計を開発した。表2は、各表面成形ツールの異なる設計仕様を示す。ツール♯1は、図31に示されるIMS蛍光ハイパースペクトル顕微鏡内で使用される100部品のIMFUを製造するために使用される第1の表面成形ツールであった。この表面成形ツールは、幅が約160ミクロンの平底のチップを有し、辺の長さが約16mmの正方形のIMFUを製造するために使用された。ツール♯2は、約75ミクロンの平底の表面成形ツールであり、図37に示されるより大型のフォーマットのIMSシステムのために開発され、これはそれでもなお集光対物レンズのFOVの制約の中にある。この表面成形ツールは、空間サンプリングを250部品のIMFUまで拡大した。ツール♯3も幅が約75ミクロンであったが、刃先角を小さくしてエッジ侵食効果を最小にしている。
IMFUの製造のために、高精度CNC4軸ダイヤモンド旋盤(Nanotech 250UPL)を使用した。この機械は、ナノメートルレベルの精度で各軸(x,y,z)の移動が約200mmである。被加工物をx軸およびz軸移動の2つのステージ上に置き、スピンドルおよびダイヤモンドツールはx軸ステージ上に置いた(図39の(a)参照)。ミラー光学部品の小面は、被加工物をy軸方向に上下動させることによって切削した。y方向の傾斜は、x方向およびy方向双方に移動させながら各マッピングライン光学部品を切削することによって得られた。マッピングライン光学部品の切削後、スピンドルおよびツールが移動して被加工物から離れ、巻戻し、次のマッピングライン光学部品の切削を開始する。また、被加工物は、次のマッピングライン光学部品の切削前に、ツール幅の分だけz軸方向に進む。x傾斜は、被加工物をゴニオメータ(Newport P/N:手動高分解能マイクロメータP/N: HR-13を有するGON40-U)に載置することによって得た。このとき切削面がゴニオメータの回転軸と一致するようにした(図39の(b)参照)。ゴニオメータを手動で回転させるので、x傾斜は同時に作られた。終了すると、ゴニオメータを次のx傾斜に調整し、このプロセスをすべてのミラー光学部品小面が作られるまで繰返す。異なるx傾斜に対しY高さ補償ファクタを適用した。大きなx傾斜角度については、z軸補償ファクタも使用しコサイン効果を補償してもよい。
IMFU光学部品を製造するためには、一般的に、最初に粗く切削することによってアルミニウム基板に異なるミラー小面を設ける。この基板も、表3に示されるような他のダイヤモンド機械加工可能な材料から作ってもよい。この工程の後、精密切削プログラムを用いてIMFU光学部品を整え、最良の表面粗さにし、金属フラップ、チップおよびその他の破片といった見た目上の欠陥を取除く。
図40の(a)は、ツール♯3を用いて製造した最終大型フォーマット(250部品)IMFUの写真を示す。図40の(b)は、IMFUの拡大側面図を示し、小面の優れた整列状態を示している。x傾斜グループ分けおよび凹の向きならびに段違いにされたy傾斜が容易に観察される。
ミラー光学部品小面の傾斜および幅を、白色光干渉計(ザイゴ社のNewview)を用いて測定した。部品試験の前に、IMFUを干渉計の電動4軸ステージ(X、Y、θX、θY)上に置き、調整してIMFUのゼロ傾斜(x軸およびy軸)ミラー小面からの反射光をシステムの光軸と整列させた。残りの傾斜があれば記録し他の小面傾斜測定値から引いた。1.0×視野レンズを備えた10×ミロー(Mirau)対物レンズ(FOV=0.72mm×0.54mm、解像度=1.12ミクロン)を用いてデータを収集した。10個の測定値を各傾斜位置について取得しその平均値を求めた。表4は最終結果を示し、測定値を設計された傾斜値と比較している。この研究の結果は、所望の傾斜値と実際に測定された値が優れて一致していることを示す。最大傾斜誤差はx傾斜について−2mradであり(α2=0.010rad)であり、傾斜のほとんどに大きな誤差はなかった。
各光学部品小面の幅を、その小面の左、中央および右端の表面を通る断面プロファイルで測定した。図42は、これら測定値から得られる典型的な結果を示す。製造プロセス中、およそ5ミクロンの重なりを導入して隣り合う小面間の薄い金属フラップを除去した。この重なりによって、小面の設計された幅は、小面位置に応じ、約75ミクロンから約70〜65ミクロン間に変化した。中央のx傾斜(2−4)について、測定された幅は、70ミクロンの約+/−1ミクロン以内であったが、端に位置するx傾斜(1および5)の場合、これはy軸に応じて約50〜70ミクロンに変化した。y傾斜のために最も高いマッピングライン光学部品となったものは、図41の2次元強度マップに示されるように、重なりとエッジ侵食のためにより薄い。
ミラー光学部品小面の表面の粗さは、最終画像のコントラストおよびIMFUのスループットを低下させる。この効果を定量化するために、50×ミロー対物レンズ、2.0×視野レンズ(FOV=0.07mm×0.05mm、解像度=0.11ミクロン)を有する白色光干渉計を用いた。図42は、1つの小面から得られた典型的な粗さの結果を示す。この製造方法の場合、ツールの欠陥によって、小面の長さに沿ってラインが生じる。IMFUの表面粗さのより統計的な推定値を得るために、ランダムに選択した10の小面表面領域を測定し、平均rms粗さが5.3+/−1.2nmであることがわかった。この粗さの値に基づきIMFUの光学スループットを推定したところおよそ97%であった。
本発明の広い範囲を示す数値範囲およびパラメータにかかわらず、特定の例において記載された数値はできるだけ正確に報告されている。しかしながら、どのような数値も、必然的にそれぞれの試験測定値に見られる標準偏差のため、本質的に何らかの誤差を含んでいる。
このように、本発明は、上記目的および利点ならびに本質的な目的および利点の達成に適応している。当業者によって数多くの変更が加えられてもよいが、このような変更は一部が添付の請求項によって示される本発明の精神に含まれる。
関連出願の相互参照
本願は、本明細書に引用により援用する、2008年11月4日に提出された米国仮特許出願第61/111,182号の利益を主張する。
背景
ハイパースペクトル撮像素子は、一般的には物体または情景のスペクトルまたは波長依存成分を調べるために使用される、周知の装置である。(ハイパースペクトル撮像素子は撮像分光計とも呼ばれている。)ハイパースペクトル撮像素子では、所与の物体または情景から発せられたまたは反射された光の画像が、通常はこの物体または情景の1つの線画像を通すスリット素子である分光計の入口に形成される。そうすると、分光計は、光をその波長に従ってスリット素子の向きに直交する方向に分散させながら、この光の画像を容易に観察または記録できる別の場所に再び形成する。このようにして、物体または情景の各線画像を2次元データアレイに分解し、この物体または情景を、ライン毎に増分して走査することにより、3次元データキューブを形成する。
蛍光顕微鏡検査は、さまざまな細胞力学をより深く理解するために、広範囲にわたって使用される。この解析ツールの幅広い応用への刺激となっているのは主に、生理的検体に対してある範囲の感度を有する蛍光タンパク質、ナノ結晶、および有機発蛍光団の、進行中の開発である。蛍光プローブの開発および応用は、細胞および組織生理学の研究を激変させた。しかしながら、これらのプローブが生み出す潜在的な情報を十分に活用するには、検出システムが、発蛍光団の組合せの分光変化を同時にモニタする必要がある。これが必要となる理由は、ほとんどの細胞応答が単独で生じず、細胞エフェクタに反応する複雑な一連の事象があるからである。さらに、生理学的興味の対象となる試料は、細胞の不均一な集団で構成されていることが多い。この集団の各細胞は、場合によっては他の細胞と結合し摂動に対して独自のパターンで反応する。このような事象の時系列を蛍光技術で求めるためには、スペクトル撮像システムが、高い空間、スペクトル、および時間の分解能の適切な組合せを示さなければならない。現在利用できるシステムの走査要件のため、これらパラメータのうち1つ以上が別のパラメータの改善の犠牲になることが多い。これは、生物学的プロセスの時間的経過における空間的または時間的な不明確さにつながる。これらの同じ限界は内因性蛍光信号にもあり、走査技術では検出することが難しい、試料の異なる分子と固有の時間的相互作用の固有の組合せが存在することが多い。加えて、多くの内因性および外因性蛍光造影剤は、時間の経過とともに光退色し、統合期間全体にわたって信号を収集できる非走査手法の恩恵を受けるであろう。反射率および吸収に基づく信号も同様に、検出については走査に基づく撮像分光計に対して妥協する。
早期および前癌検出のための内視鏡撮像技術において強まりつつある傾向は、その技術の診断能力を画像のスペクトル成分を改善することによって高めることであった。分光技術は、ニコチンアミドアデニンジヌクレオチド(「NADH」)、フラビンアデニンジヌクレオチド(「FAD」)、コラーゲン、ならびにオキシおよびデオキシヘモグロビンといった内因性癌バイオマーカに、蛍光および反射率に基づく際立った分光的特徴があることを示してきた。これら分子バイオマーカは、前および早期癌領域を、より伝統的な形態学的および構造的特徴として識別する際の、重要な指標の役割を果たすことができる。撮像分光計が提案されてきたが、欠点のためにその用途は手頃なリアルタイムスクリーニングツールに限定されてきた。これらの手法の主な限界は、より大きなスペクトル帯域幅を得るために、液晶または音響光学といった高額の可同調フィルタに依存していることであった。こうしたフィルタは、極めて高額であるだけでなく、スペクトルデータを連続的に収集するので画像収集時間に遅れがある(>約23秒)。計算トモグラフィ撮像分光計(「CTIS」)といったスナップショット技術は、この限界を回避しているが、収集後処理が長い(約30〜60分)ので、これも生体内撮像には不向きである。
リモートセンシングは、交戦地帯、氷河、深海、ハリケーン、ガスの柱、生物兵器等の危険なまたは近づきにくい領域から情報を取得するのに役立つツールである。撮像分光計は、リモートセンシング技術を向上させ、試料からのわずかなスペクトル特徴に基づいて重要な情報を提供する。この装置は、衛星および航空機といった高速で移動する乗物で使用されることが多く、結果として高速データ収集を必要とする。走査に基づく手法は、この高速取得要件を満たすために、画像の大きさ、コントラスト、および/またはスペクトル分解能について妥協することが多い。場合によっては、問題となっている事象、たとえばミサイルがその標的に命中したことの確認は、あまりに短期間で明らかになるので、走査手法を、ミサイルが標的に命中したことの確認といったことに使用するのは実際不可能である。このため、非走査スナップショットスペクトル撮像技術が望ましいであろう。
食品検査は、我が国で消費される食品の品質を保証するのに重要な役割を果たす。しかしながら、このプロセスは一般的に、見た目に明らかな欠陥を対象とした、食品の人手による観察である。この手法には、多くの欠陥は人間の目で観察できないことを含めていくつかの限界がある。また、これは、遅いプロセスとなる可能性もあり、人為的ミスおよびサンプリング誤差が生じやすい。スペクトル撮像技術は、食品の複数の欠陥を、特有のスペクトル特徴に基づいて迅速かつ定量的に評価できることによって、この分野で重要な役割を果たすことができる。市場に投入するまでの時間に対する影響を最小にするために、検査所は情報を非常に素早く取得し分析しなければならず、これは走査に基づく手法の有用性を制限する。
概要
本開示は概してハイパースペクトルおよびマルチスペクトル撮像の分野に属する。より具体的には、本開示は、ある実施例に従うと、小型画像マッピング分光計(「IMS」)システムおよび方法に関する。
本開示の一実施例は、画像マッピング分光計を提供する。画像マッピング分光計は、画像マッピングフィールドユニットを含む。画像マッピング分光計はさらに、スペクトル分離ユニットを含む。画像マッピング分光計はさらに、選択的撮像素子を含む。
本開示の別の実施例は、スペクトル撮像方法を提供する。スペクトル撮像方法は、光学試料を与えることを含む。スペクトル撮像方法はさらに、画像マッピング分光計を与えることを含み、画像マッピング分光計は、画像マッピングフィールドユニットと、スペクトル分離ユニットと、選択的撮像素子とを含む。スペクトル撮像方法はさらに、光学試料を画像マッピング分光計によって撮像することを含む。
本開示の他の実施例は、画像マッピングフィールドユニットの製造方法を提供する。画像マッピングフィールドユニットの製造方法は、画像マッピングフィールドユニット基板を与えることを含む。この方法はさらに、光学部品断面プロファイルを与えることを含む。この方法はさらに、光学部品断面プロファイルに特化した表面成形ダイヤモンドツールを与えることを含む。この方法はさらに、表面成形ダイヤモンドツールを用いて光学部品断面プロファイルを画像マッピングフィールドユニット基板に形成することによりマッピング素子を形成することを含む。
本発明の特徴および利点は当業者には明らかであろう。当業者は数多くの変更を行なうことができるが、このような変更は本開示の精神に含まれる。
例示される本開示のいくつかの特定の実施例は、部分的には以下の説明および添付の図面を参照することによって理解されるであろう。
A〜Fは画像マッピング分光計(「IMS」)システムの一実施例に従う、3次元オブジェクトキューブの電荷結合素子(「CCD」)アレイへの撮像シーケンスを示す。
本開示の実施例に従うIMSシステムの基本構成を示す。
A〜Gは本開示の実施例に従う、可能な画像マッピングフィールドユニット(「IMFU」)設計の例を示す。
A〜Dは本開示の実施例に従う、特定設計の表面成形ダイヤモンドツールを用いてIMFUを製造するためのダイヤモンド機械加工構成(ラスターフライカット)を示す。
本開示の実施例に従う、複数の小面(facet)が形成された表面成形ダイヤモンドツールを示す。
AおよびBは典型的にはダイヤモンド機械加工のラスターフライカットによって生じる、「エッジ侵食」として知られている製造関連の収差を示す。
A〜Eは本開示の実施例に従う、エッジ侵食効果を最小にできるいくつかのIMFU設計構成を示す。
本開示の実施例に従い、AはIMFUの小型光学部品によって生じる回折効果をシミュレートしたものを示し、Bは約1%の最小クロストークのための隣のサブ瞳の最適配置を示す。
Aは本開示の実施例に従うIMSシステムからの実際の瞳によって作られた画像を示し、25の傾斜(5つのx傾斜および5つのy傾斜)があり、回折によって生じた楕円形の瞳を示す。これはミュレートした瞳によって作られた画像と比較される(B)。実際の瞳およびシミュレートした瞳のy軸およびx軸を通る断面はそれぞれCおよびDに示される。
A〜Cは本開示の実施例に従うレンズアレイ部品の異なる選択的撮像素子構成を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて選択的撮像素子の色収差補正を検証するシミュレーションから得られた結果を示す。
本開示の実施例に従う、光学モデリングソフトウェアを用いて最終像平面でのISMシステムのスペクトル分離を検証するシミュレーションから得られた結果を示す。
A〜Cは本開示の実施例に従う、y軸の3つの傾斜角およびx軸の3つの傾斜角を有する画像マッピング器の一例を示す。傾斜の総数は9であり、これは選択的撮像素子のサブシステムの数に相当し、画像センサの表面における画像ラインの間の分離にも関連する。
本開示の一実施例に従う単軸傾斜画像マッピング器を示す。
本開示の一実施例に従う環状ミラーを有する反射型IMSシステムを示す。
本開示の一実施例に従うビームスプリッタを有する反射型IMSシステムを示す。
本開示の一実施例に従う反射型傾斜IMSシステムを示す。
本開示の一実施例に従う屈折型IMSシステムを示す。
本開示の一実施例に従うIMSレンズのアレイを示す。
本開示の一実施例に従うマルチスペクトルまたは「範囲拡大」IMSシステムを示す。
本開示の一実施例に従う、単一の画像検出器を用いるマルチスペクトルまたは「スペクトル範囲拡大」IMSシステムを示す。Aはフィルタなしの画像センサの例を示し、BおよびCは各々フィルタ付きの画像センサの例を示す。
本開示の一実施例に従う、フィールド圧縮部品を用いる拡大スペクトルサンプリングIMSシステムを示す。
図23およびAは本開示の一実施例に従う動的IMSシステムを示す。
AおよびBは本開示の一実施例に従う導波路IMSを示す。
本開示の一実施例に従う複数のIMFUを有するIMSシステムを示す。
本開示の一実施例に従う、内視鏡に応用するのに適しているであろうIMSシステムを示す。
本開示の一実施例に従う、眼科に応用するのに適しているであろうIMSシステムを示す。
本開示の一実施例に従う、倒立顕微鏡のサイドポートにおけるIMSシステム組立の一例を示す。
Aは本開示の実施例に従う初期IMFUを示す。Bはサイズ比較のためにAのIMFUを米国の25セント硬貨とともに示す。CはAのIMFUのランプミラー1−5の中央領域のザイゴ(Zygo)のNewView 5000による3次元画像を示し、擬似色は深さ情報を示す。
図28のシステムの例から得られた画像を示す。Aは1951USAF分解能試験対象の1つのサブ画像を示し、Bは1×5の瞳の画像を示し、Cはハロゲン源からの画像を示し、Dはソース画像空間マッピングラインからのスペクトル拡散を示す。
本開示の実施例に従う初期IMSシステムを示す。IMSシステムは1回の統合事象で100×100×25の3次元(x,y,λ)データキューブを収集することができる。Aはプロトタイプシステムを示し、BはIMSシステムの概略図を示す。
本開示の実施例に従う、CCDカメラ上の視野(「FOV」)の重なりを示す。隣接する再撮像レンズのFOVが重なり合うことでCCD領域を十分に利用できる。
本開示のある実施例に従う、1951USAF分解能試験対象の分散していない画像を示す。原画像Aはビニング(binning)なしで16ビットカメラを用いて得ることができる(画素サイズ〜9μm)。Bは復元された画像を示す。比較のために、Cに示されるように同じバーの画像を顕微鏡のサイドポートで単色カメラを用いて直接撮影した。FOVにおける最上段のバーはグループ7の要素6に属している(バーの幅〜2.19μm)。
本開示の実施例に従う、分散していない画像からの1つのマッピングラインの点拡がり関数を示す。カメラの画素サイズは9μmに等しい。x位置およびy位置は、CCDカメラのグローバル座標における画像の中の場所を示す。
本開示の実施例に従う、緑の蛍光ビードの100×100×25システムからのIMS画像を示す。原画像は、16ビットCCDカメラを用いて統合時間約6秒で得ることができる。ビードのスペクトルは復元された画像中の点Aから得られる。
本開示の実施例に従う、赤および黄の蛍光ビードのIMS画像を示す。原画像は、16ビットCCDカメラを用いて統合時間約2秒で得ることができる。黄のビードのスペクトルは復元された画像中の点Bから得られ、赤のビードのスペクトルは復元された画像中の点Cから得られる。
本開示の実施例に従う初期IMSシステムの図を示す。IMSシステムは1回の統合事象で285×285×62の3次元(x,y,λ)データキューブを収集することができる。このシステムの概略図は図31のBと同様である。
側部において、基準CCDを用いて撮像した生体試料を示す。この生体試料は、ウシの肺動脈の内皮細胞を含み、この細胞を、MitoTracker(登録商標)Red CMXRosでインキュベートしてミトコンドリアを標識し、BODIPY(登録商標)ファラシジン(phallacidin)でフィラメントアクチン(Fアクチン)を標識し、4',6−ジアミノ−2−フェニルインドール(「DAPI」)で核を標識した。下側において、本開示の実施例に従う、IMSシステムを用いて撮影した、スペクトル間隔約5〜8nmの約500〜約684nmの生体試料の25のスペクトル帯画像を示す。
Aは本開示の実施例に従う、軸が表示されたIMFU製造のためのNanotech 250UPLマシンを示す。Bはx傾斜のミラー小面を作るためにIMFUを回転させるのに使用されるゴニオメータ固定具の拡大図を示す。
Aは本開示の実施例に従う、285のミラー小面ならびにx軸およびy軸の25の傾斜を有する大型フォーマットのIMFUの上面図をサイズ比較のために米国の25セント硬貨とともに示す。Bは図29のAの大型フォーマットのIMFUの拡大側面図を示す。
本開示の実施例に従う、大型フォーマットのIMFUにおける個々のミラー小面の白色干渉計による表面プロファイル測定を示す。(a)は部品の左端、(b)はその中央、(c)はその右端を示す。
本開示の実施例に従う、幅75ミクロンの表面成形ダイヤモンドツールを用いて製造された大型フォーマットのIMFU(285のミラー小面)から得られた典型的な粗さの結果を示す。
本特許または出願ファイルは、彩色された図面を少なくとも1つ含む。この特許または特許出願公報の写はカラー図面とともに、要求し必要な費用を支払えば特許庁から提供されるであろう。
本開示にはさまざまな変形および代替形態が可能であるが、実施例の特定の例が図面に示され本明細書でより詳細に説明される。しかしながら、実施例の特定の例についての説明は、本発明を開示された特定の形態に限定することを意図しているのではなく、逆に、この開示は、一部添付の請求項によって示されるすべての変形および均等物を包含することが理解されるはずである。
説明
本開示は、一般的にはハイパースペクトルおよびマルチスペクトル撮像の分野に属する。より具体的には、本開示は、ある実施例に従うと、小型画像マッピング分光計(「IMS」)システムおよび方法に関する。
この文書の文脈において「マッピング」という用語は一般的に、データを変換して最終画像を形成するプロセスを意味する。典型的な撮像システムでは、マッピング変換は線形でもよく、軸対称であることが多い。マッピングはまた、何らかの配列または配向の任意のプロセスを含んでいてもよく、これにより、スペクトルおよび空間情報を並列に収集することができる。
本明細書で使用される「レンズ」は一般的に、任意の光学部品または組合された屈折力を有する複数の光学部品の組合せを意味する。レンズは、1つ以上の屈折部品、1つ以上の回折部品、1つ以上の反射部品、および屈折、回折、および/または反射部品の任意の組合せを含み得る。
本明細書で使用される「マッピングライン」は一般的に、光学試料全体または光学試料の一部を通る1次元の点の集まりを意味する。「マッピング画素」は一般的に、光学試料内の任意の場所からの1つの点を意味する。「マッピング領域」は一般的に、光学試料全体または光学試料の一部を通る2次元の連続した点の集まりを意味する。「傾斜」は一般的に、主光線または中心光線が光学試料内の1点からまたはその1点まで伝搬する方向を意味する。
本明細書で使用される「開口絞り」または「絞り」は一般的に、光学試料内のある軸方向の点からの光の束を制限する物理的な構成要素を意味する。光学系における任意の光学空間内の絞りの像を「瞳」と呼んでもよい。場合によっては光学部品の絞りを「瞳」と呼ぶことがある。なぜならこれらは互いの共役像でありその例に対して同じ機能を果たすからである。
本開示は、ある実施例に従い、画像マッピング原理に基づいたハイパースペクトルおよびマルチスペクトル撮像に役立つ画像マッピング分光計(IMS)を提供する。この開示の装置および方法は、生体および医療用撮像、生体計算、監視用途、リモートセンシング(たとえばミサイル防衛、即席爆発装置の検出、現場検出、生化学的検出)、大気撮像(たとえば気象学または汚染スクリーニングにおけるもの)、食品検査、ならびに実時間スペクトル撮像を必要とするその他多数の用途(たとえばラーマン分光法、コヒーレントアンチストークスラマン散乱(「CARS」)、および分光−偏光分析および偏光分析)に応用されてもよい。IMSは、走査を必要とすることなくスペクトル情報を瞬時に取得できる。IMSは、大量の画像およびスペクトルデータを並列に取得してもよい。たとえば、IMSは約100万のボクセル(voxel)を一度に取得できる。IMSは、ある実施例では約520万のボクセルを一度に取得してもよく、他の実施例では約1600万と約1億の間のボクセルの同時取得に備えてもよい。IMSは、画像データを、遠隔場所に、たとえば、(約10mよりも長い)長い距離離れた場所および/または視線の範囲で見ることができない場所に、送信することができる。走査なしシステムの利点は、たとえば高い光学スループット、高速画像取得、および高いスペクトル/空間相関関係を含む。画像を生成するために、IMSは非常に限定された処理(画像の再マッピング)を必要とすることで、高速で明確で直接的な手順を提供できる。これが有益であるいくつかの応用例があり、そのような応用例の1つは、生体細胞内の複数の蛍光プローブの同時で高分解能の細胞小器官顕微鏡検査のための蛍光スペクトル撮像の分野にある。
本開示はまた、ある実施例に従い、たとえば顕微鏡、内視鏡、ポイントオブケア(「POC」)装置、カメラ、暗視機器等の、1つ以上のその他の撮像システムと結合されるIMSを提供する。また、IMSを、任意の電磁放射線、たとえば紫外線、可視光線、および赤外線のスペクトル帯に応用してもよい。可視および近赤外、中波赤外、長波赤外およびその他多くの領域などのスペクトル範囲を組合せてマルチバンドを実現することも可能であろう。
本開示はまた、ある実施例に従い、1つのアレイ検出器またはアレイ検出器を組合せたものにおいて全スペクトル情報を同時に取得することができる分光撮像方法を提供する(たとえばIMSは大型フォーマットの検出器または数個の検出器を使用してもよい)。本発明を特定の理論または作用機構に限定することなく、IMSはそれでもやはり画像マッピング領域の方向を空間的に変えて検出器/画素の間の空間を得ることによって機能すると現在考えられている。したがって、回折部品、屈折部品、および/または組合された部品を使用することによって、IMSはこの空間をこれら再分配された画像区域からのスペクトル情報で満たすことができる。この空間およびスペクトルについて再分配された最終画像を、画像センサ(たとえば電荷結合素子(「CCD」)、相補型金属酸化物半導体(「CMOS」)、フォトダイオードのアレイ、アバランシェフォトダイオード、光電子増倍管のアレイ、熱検出器など)によって検出および/または記録することにより、明確な3次元(x,y,λ)情報(「データキューブ」と呼ばれることがある)を画像センサ上に与えることができる。
限定ではなく説明のために、提案するIMS機器の動作原理を図1に示す。例として、オブジェクトのさまざまな点に対する色が重なり合っていない4つのスペクトル帯からなる単純な光学試料について考える(図1のA)。まず、3次元(x,y,λ)オブジェクトの選択された行をシフトし大型フォーマットの画像センサに撮像してスペクトル拡散のための領域を作る(図1のB)。この領域は図面では白い正方形(画像センサの個々の検出器)で表わされている。行をシフトさせた後、垂直方向に分散させて1つの画像における3次元(x,y,λ)情報を取得する(図1のC)。すなわち、空間およびスペクトル情報を1回のスナップショットで符号化してもよく、すべての空間−スペクトル成分を画像センサの異なる検出器にマッピングしてもよい。このような手法の重要性は、同じ空間的場所に多数のスペクトル帯があるオブジェクトについては大きくなる(このようなオブジェクトの一例を図1のDに示す)。従来の撮像を用いて、数個の波長帯を同一の検出器で統合してもよく、スペクトル特徴は失われるかもしれない(図1のE)が、これはIMSマッピング技術によって保存される(図1のF)。
なお、x、y、およびλ要素の総数は、典型的には画像センサ上の検出器の総数を超えず、明確で直接的な空間−スペクトル情報を提供する。本明細書において使用される「明確な」は一般的に、3次元(x,y,λ)データキューブからの一般的にボクセルと呼ばれる最小データ量と、2次元画像センサからの個々の検出器との間の直接的な1対1の対応関係を意味する。たとえば、1024×1024の検出器の画像センサは、256×256×16または512×512×4のデータキューブを明確に取得することができ、ここで最初の2つの数はx方向およびy方向における空間要素の量を表わし、3番目の数はスペクトル帯の数を表わす。画像取得後に、データを再びマッピングして処理し(一般的にはいくつかのコンピュータおよび/またはソフトウェアを使用)、鮮やかなカラー画像をコンピュータ画面に表示してもよく、ここからスペクトルを実時間で各マッピング画素で取得できる。なお、不明確なデータも収集して空間/スペクトルサンプリングを向上させてもよいが、これには画像処理技術が必要であり、結果として画像表示が遅くなる可能性がある。
一般的に、本開示のIMSは、画像マッピングフィールドユニット(「IMFU」)と、スペクトル分離ユニット(「SSU」)と、選択的撮像素子とを含む。IMSは、それ自身でまたは他の研究もしくは診断ツール(倒立顕微鏡1705、内視鏡など)と組合せて使用することができる自律的な機器として設計してもよい。IMSレイアウトの一例の概念図を図2に示す。ここでは光学試料200をIMSによって撮像する。光学試料は、物理的オブジェクトでも、撮像前システムからの画像でも、いずれかの共役像でもよい。光学試料は、透過、反射または蛍光といった任意の仕組みによってIMS撮像のための電磁放射線を提供してもよい。この電磁放射線をまず1次瞳201を通して収集してもよい。この1次瞳201は、1つ以上の任意のリレーレンズ202に先行および/または後続していてもよい。図2に示される実施例では、任意のリレーレンズ202が1次瞳201の前にも後ろにもある。任意のリレーレンズは、光学試料からの画像をIMFU203に中継して伝えることができるどのような光学部品であってもよい。たとえば、任意のリレーレンズは、1つのレンズでも、レンズのアレイでも、屈折率分布型(「グリン(GRIN)」)レンズでも、光ファイバでも、1束の光ファイバでもよい。(光ファイバの任意のリレーレンズは内視鏡用途では特に有用である。)電磁放射線は次にIMFU203に入射する。以下でさらに説明するように、IMFU203は、電磁放射線の向きを変えて選択的撮像素子204に向けるときに、「画像マッピング」または「マッピング」とも呼ばれる画像の空間的再編成を行なう。IMFUは、一般的に任意の仮想または実際の画像共役場所もしくはフィールド空間、または画像共役場所から1ミリメートル以内のところに位置していてもよい。一般的に、選択的撮像素子204は、空間的に隔てられた2つの部品:(1)集光対物レンズまたは集光対物レンズのアレイ204a、および(2)再撮像レンズのアレイ204bを含む。図2に示されるように、SSU205を選択的撮像素子204の上記2つの構成要素の間に配置してもよい。SSUは一般的に、瞳共役場所、または絞り空間、または瞳共役場所から数ミリメートル以上の範囲内にある。たとえば、SSU205は、1次瞳201とIMFU203との間、IMFU203と選択的撮像素子204との間、または選択的撮像素子204と画像センサ206との間にあってもよい。最後に、電磁放射線が画像センサ206に入射する。画像センサ206は、CCDといった電磁放射線を定量的に測定することが可能な検知部または検出器の任意のアレイを含み得る。簡潔にするためにこの開示が所与の光学部品を1つのレンズまたはプリズムとして説明または示すことがあるが、所望の効果を得るために各部品が複数のレンズまたはプリズムを含む場合があることが理解されるはずである。本明細書で使用されるIMSの「構成」は一般的に、相対的な、要素(光学試料200、1次瞳201、任意のリレーレンズ202、IMFU203、選択的撮像素子の集光対物レンズ204a、選択的撮像素子の再撮像レンズアレイ204b、SSU205、および画像センサ206を含む)の数、種類およびレイアウトを意味する。
IMFU203またはマッピング器は、画像を空間的に再編成し、スペクトル情報の符号化に使用される画像空間に光学的に空白の領域を作る。IMFU203は、その面上に空間的に配置された光学部品を含んでいてもよい。ある配置は、同様の光学機能を示すことにより、光学素子の論理的グループ分けを形成することができる。たとえば、図3に示されるマッピング領域1、4、および7が同様の光学機能を示しIMFU光学部品グループAとして論理的にグループ分けされてもよく、図3に示されるマッピング領域2、3、8、および9がIMFU光学部品グループAの光学機能とは異なる同様の光学機能を示し、マッピング領域2、3、8および9がIMFU光学部品グループBとして論理的にグループ分けされてもよい。ある実施例ではIMFU光学部品グループをIMFUの面の上で対称となるように配置してもよい。ある実施例ではIMFU光学部品グループの配置が幾何学的形状および/または繰返しパターンを形成してもよい。光学部品を、マッピングライン、マッピング画素、および/またはマッピング領域といった特に有用なマッピング形状で配置してもよいが、他の一般的な形状(たとえば正方形、三角形、「L」、「O」など)を使用することもできる。特定のマッピングライン、マッピング画素、および/またはマッピング領域の光学部品はしたがって、その形状特有の同様の光学機能を示すであろう。他の実施例におけるIMFU光学部品グループの配置はランダムでも無秩序でもよい。1つの光学部品グループが生成した画像を、サブ画像と呼んでもよい。IMFUの面の上のIMFU光学部品グループの特定の配置を、IMFUの「幾何学形態」と呼んでもよい。IMFUの幾何学形態がマッピングを一意的に定めることが、本開示の利益を受ける当業者には理解されるであろう。さらに、IMFUの幾何学形態は静的でも動的でもよく、この幾何学形態を、システムの分解または光学試料の妨害を伴うことなく、実時間で制御して変化させてもよい。
IMFU光学部品は、オブジェクトの点からの主光線の向きを画像内の新たな場所に変えることができる。IMFU光学部品は、屈折型、反射型または導波路でもよい。屈折型の手法は、たとえばプリズムのアレイ、レンズのアレイ、および/または光学部品の組合せを含み得る。反射型の手法は、カタジオプトリック(catadioptric)型の手法と同様、たとえば鏡および/またはレンズのアレイを含み得る。導波路の手法は、たとえば光ファイバを含み得る。任意の種類のマッピング器も、より従来的な視野レンズまたはミラーと同様、屈折力を有し得るものであり、リレー光学系からの射出瞳を、選択的撮像素子の対物レンズの入射瞳または集光対物レンズの瞳のアレイに、再び撮像することができる。これにより、小型で光学的に効率的な多重撮像システムが可能である。マッピング器はまた、各マッピング部品に対してアナモルフィックなまたは円筒形の湾曲を取入れ、これにより、システムのスペクトル分解能を高めることができる。最後に、IMFUは、屈折および反射部品を組合せてこれらの異なるタスクを個々にまたは組合せて実行することができる。IMFUのスペクトル分離を補正してもよい。
図3は、可能なIMFU設計の数個の例を示す。以下の説明では、固有の傾斜角9つのみについて述べるが、実際これよりも多くの傾斜角を使用することができる。加えて、ミラー部品のみを示しているが、IMFU203部品はたとえばプリズム、レンズ、および光学部品の組合せを含んでいてもよい。図3のAの幾何学的形態は、オブジェクトを通る水平マッピングライン301全体の向きを、9つの異なる角度方向302に変えることを示している。x軸およびy軸という2つの軸の周りで回転させることにより、大きなスペクトルサンプリングおよび/またはシステムの分解能を提供できる。この手法は、概念および製造の簡潔さに利点がある。しかしながら、この手法の場合、より大きな傾斜のミラーについてはマッピングされている画像が焦点から外れることによってフィールドのエッジ部分では空間分解能が低下することがある。この欠陥は、図3のBに示される第2の幾何学的形態で小さくすることができ、ここでは画像マッピングラインを水平(x軸)方向303において2、3または4以上のセグメントに分割してもよい。この幾何学的形態の場合、マッピング性能はより優れているが、作成するのはより困難である可能性がある。図3のCに示される具体例としての第3のIMFU203の幾何学的形態は、静的または能動的な画素サイズミラーマッピング304の手法である(たとえばMEMSミラー、液晶変調器など)。この概念は、用途が広く、スペクトルおよび空間情報双方を記録するための任意の数の再マッピング方式を提供することができる。なお、マッピング画素304は正方形または矩形である必要はない。円形マッピング画素305のマッピング器の一例を、図3のDに示し、これは図3のCに示されるものと概念的には同様である。傾斜させたマッピング部品に加え、各傾斜ミラー小面(facet)が、反射した(または屈折した)光を焦点に集めるための屈折力306を有していてもよい。この焦点効果を画像マッピング画素サイズの圧縮に使用することにより、図3のEに示されるようにシステムのスペクトルサンプリングを増すことができる。図3のFに示されるように、IMFU203全体が屈折力307を有していてもよく、システム内の前部光学部品の射出瞳の再撮像に使用されてもよい。図3のGでは、2つ以上の要素マッピング器の組合せを使用してもよく、これはタスクを個々にまたは集合的に組合せて画像マッピングという目的を果たす。
上記のように、IMFU203は屈折型でも反射型でもよい。屈折IMFU203は、反射IMFU203と幾何学的形態は同様であるが、屈折IMFU203は光学試料のマッピング画素の主光線の向きを、光が表面から反射するときではなく透過するときに変えることができる。屈折型および反射型はいずれも、静的または動的に使用できる。たとえば、高精細度テレビ(「HDTV」)で使用することができるデジタル光プロセッサ(「DLP」)装置と同様に機能する動的微小電気機械システム(「MEMS」)ミラーアレイを開発してもよい。たとえば、適切なDLPは、テキサス州ダラスのテキサスインスツルメンツ(Texas Instruments)から市場で入手できる。既存のDLPのこの用途における主な欠点は、2つの可能な位置(オンおよびオフ)のみに限定されることであり、したがって空間/スペクトル分解能の実時間調整に対して十分な柔軟性を提供することはできない。このため、個々の光学試料マッピング画素の向きを、像平面の任意の領域に変えることにより応用範囲を最大にすることができる、ヨー(yaw)およびピッチ(pitch)にいくつかの傾斜位置があるアナログまたは高ビット深度アレイを使用してもよい。動的IMFU2302の他の例も液晶変調器および屈折型液体変調器(ミクロ流体に基づく)を含み得る。このようなマッピング器を、液晶変調器またはMEMSに基づく回転プリズムおよび/またはプリズムアレイのような、可同調屈折または回折SSU2303と組合せてもよい。IMSを、そのスペクトルおよび空間分解能を実時間で調整できる適応型装置として使用してもよい。
IMFU203を、たとえば精密ダイヤモンドラスターフライカット、低速スライドサーボを用いるダイヤモンド旋盤加工、高速ツールサーボを用いるダイヤモンド旋盤加工、マイクロダイヤモンドフライス加工、精密線引(ruling)、コンピュータ数値制御(computer numerical controlled(CNC))に基づくマイクロ研削および研磨、直接ビーム書込に基づくグレースケールリソグラフィ、マスクを使用するグレースケールリソグラフィ、多段リフローリソグラフィを含む任意の利用可能な方法を用いて製造してもよい。ダイヤモンド機械加工の手法には、他の技術と比較していくつかの利点がある。まず、各光学部品の大きさ、角度および相対的位置を非常に正確に維持することができる。なぜなら、これは精度を数的に制御したステージによって決定されるからである。第2に、複雑なマッピング傾斜の幾何学的形態(ロール−ヨー−ピッチを含む)は、精密傾斜ステージをダイヤモンド旋盤加工の旋盤に追加することによって可能であろう。第3に、初期プロトタイプ開発コストおよび時間がそれほど多くない。第4に、精密アライメントの特徴をIMFU203に取入れることにより、IMFU203とバッフルおよびレンズ焦点アレイといった他の部品とのアライメント精度を高めることができる。
特に、IMFU203を、IMFU203のミラー小面といった薄く直線的でアスペクト比の高い特徴を形成するために有望なダイヤモンド機械加工方法であるダイヤモンドラスターフライカットを用いて製造してもよい。画像のアスペクト比とはその幅をその高さで割ったものであることが、この開示の利益を受ける当業者には理解されるはずである。ダイヤモンドラスターフライカットでは、図4のAに示されるように、ツールをスピンドル401を中心として回転させ、被加工物402(すなわちIMFU)から材料を掘出してもよい。この例では、被加工物402がy軸を横切り薄いミラー小面を形成してもよい。隣接する小面を形成するために、被加工物を図4のCに示されるようにz軸に沿って移動させてもよい。これを、表面全体が切削されるまでIMFU402の長さに沿って繰返してもよい。図4のBは、被加工物402を切削するツール403の拡大図を示す。なお、小面の異なる角度は、被加工物402の、特定のx−z面における高さの違いに対応し得る。ダイヤモンドラスターフライカットを用いて製造されたIMFU203の一例が図39のAおよびBに示される。いくつかの実施例では、新たな技術を、表面成形ダイヤモンドツールを用いて適用し、IMFU基板402に個々の小面の断面プロファイルを形成してもよい。従来のラスターフライカットでは、マッピング器全体を含む個々の光学部品を、ダイヤモンドツールをマッピング器の基板材料において横方向(マッピング器の面に平行)および軸方向(マッピング器の面に垂直)双方に動かすことによって形成できる。このツールが通過する度に、必要な材料の小さな部分が除去される。その結果、個々の光学部品を製造するにはこのツールを複数回通過させる必要があり、これは高額かつ時間のかかるプロセスに繋がる。一方、表面成形ダイヤモンドツールを用いて製造する場合、横方向の移動は不要であり、軸方向の移動だけで個々の光学部品(または光学部品群)を形成することができる。
さらに、小型でより高いサンプリング(>100要素)のIMFU203が必要とするミラー小面は一層小さいであろう。小面の幅を縮小することにより、光学部品の断面プロファイルに合わせて予め成形したツールを使用することができる。これには、製造時間の大幅な短縮、プログラムの簡潔性、より高密度で配置されたミラー小面、および切削方向に垂直な軸の機械精度とは無関係の幾何学的形状の高い相対精度を含むいくつかの利点がある。
この手法の短所は、ツールの形状、チップおよび/またはその他の欠陥のために、ミラー小面の断面の誤差を補正する能力がほとんどないことである。これにより、ダイヤモンドツールの品質は、製造プロセスにおける重要な要素となる可能性がある。表面成形製造ツールの一例が図4のAおよびBに示される。図示のツールに加え、複数の小面および/または特徴を有するより複雑な幾何学形態も可能であり、場合によっては、1つの表面成形ツールよりも好都合である。図5は、一体化されて1つの表面になった6つの小面502〜507を有する表面成形ツール501の一例を示す。この方法は、複雑なIMFU203の製造には有利であろう。なぜなら、これは(1)製造時間を短縮し、(2)多軸傾斜を可能とし、(3)より高密度の特徴を可能とし、(4)切削方向に平行な軸に対するダイヤモンドマシンの精度とは無関係であるからである。
刃先角θ403、主横逃げ角α404、主チップ逃げ角φ405、トップすくい角β406、ツール幅、切削の最大深さ、エッジ品質、および材料といった、表面成形ダイヤモンドツールに対して考慮し得るいくつかの設計パラメータがある。これらの幾何学的パラメータは図4のBおよびDに示される。平底ツールのチップ幅および切削の最大深さは、ツールの主要な設計パラメータである。なぜならこれらはシステムの光学設計を決めるからである。ツールのチップ幅はミラー小面の幅となるのに対し、切削の最大深さは実現可能な最大のy軸傾斜を決定する。他のツールパラメータの適切な選択は、最適な切削性能、耐久性、ツールの製造性、および総費用にとって重要であろう。
IMFUの幾何学的形態は、製造プロセスの重要な側面でもある。図6に示されるダイヤモンドツールの幾何学的形態(刃先角)によって生じるエッジ侵食601の効果を減じるために、光学部品に対し(1)図7のAおよび図7のBに示されるようにy軸方向において段違いにすることにより、エッジでの段の高さの相違701を最小にし、光学部品を(2)図7のCおよび図7のDに示されるようにx傾斜702についてグループ分けすることにより、段の高さの相違701がある小面の数を減じ、および/または光学部品を(3)図7のEに示されるように凹状のx傾斜小面の位置の方向にすることにより、刃先角703を隣接する小面の傾斜の大きさの分だけ減じることができる704。
回折効果は、特に、典型的には高密度で詰込まれた何百から何百万もの小型光学部品を必要とする、大型フォーマットの空間撮像状況にとっては、IMFU203設計の別の重要な側面であろう。最も顕著な回折効果は、およそ数十〜数百ミクロンである小面の幅によって生じると考えられる。瞳の中では、この回折効果が、図8のAに示されるように、小面の幅に対して共役である軸における幾何学的直径を伸ばすことにより、楕円形の瞳を作ることがある。この回折によって生じる楕円形の瞳は、システムに対して2倍の効果を有する。第1に、これはクロストークに繋がり得る。クロストークは一般的に、IMFU203の1つのサブ画像からの光が別のサブ画像の光路の中に入ったときに生じる現象を意味する。第1のサブ画像を形成するIMFU203光学部品グループは、第2のサブ画像を形成する光学部品グループの隣にある場合がある。クロストークは典型的に、隣り合う瞳、集光対物レンズ、および/または再撮像レンズに生じ、最終画像の劣化に繋がることが多い。1%までのクロストークに対し、最小分離傾斜角度は約α1%=x/f〜1.35λ/bでなければならず、この式においてλは光の波長、bは小面の幅である。このクロストークは図8のBに示されるように理論的に検証できる。なお、瞳の距離は、たとえば小面の断面、表面粗さおよび入射回折限界スポットサイズといった、IMFU203に関連する他の要因によって、変化する可能性がある。瞳の間隔は、常にではないが典型的に、選択的撮像素子204の集光対物レンズ204aおよび/または再撮像レンズ204bの間隔に関連する。これは選択的撮像素子の要素のうち少なくとも1つに対して軸対称であることが多いからである。第2に、楕円形の瞳は、スペクトルの範囲内に「超分解能」効果を生み出し得る。本明細書で使用される「超分解能」は一般的に、1つの点光源の画像をレイリー基準よりも近い隣接する1つの光源と区別することができるような状況を指す。レイリー基準は、1つの点光源の画像の第1の回折最小値が隣の点の最大値と一致する場合の最小の分解可能な特徴として受入れられている基準であることが理解されるはずである。
大型フォーマットのIMSシステムにとっては、光学部品の限定された、またはほぼ限定された撮像分解能を維持することが重要であることが多い。一般的に受入れられている最小分解可能基準であるナイキストサンプリングでは、少なくとも2つのIMFU光学部品が入射回折限界スポットの中にありこれを分解できることが必要である。したがって、IMFU203の個々の光学部品の幅の範囲は、入射回折限界スポットサイズの幅の約2分の1からスポットサイズ数個までであろう。回折限界スポットサイズは一般的に、光学試料からの極小点の収差のない画像と言われる。
楕円形の瞳は、非対称の点拡がり関数を生み出すことがあり、空間方向に垂直なスペクトル方向における軸がより狭い。この効果は図9において見ることができ、IMFU203の285の小面は幅が70ミクロンである。これらの小面は25の多軸傾斜(5つのx傾斜、5つのy傾斜)に対して配置されている。図9のAは、実際の瞳のアレイ901の原画像を示す。比較のために、理論上の瞳のアレイの画像を図9のBに示す。これら両画像のy軸およびx軸双方における断面プロファイルをそれぞれ図9のCおよび図9のDで比較する。y軸について(図9のC)、理論上のおよび測定された瞳の直径および位置は極めて一致度が高い。しかしながら、x軸については(図9のD)、測定された瞳の直径は、シミュレーションに基づいて予測されたものよりもはるかに大きい。これは、IMFU203の各ミラー小面に対し追加された屈折力のためである。これはIMSシステムのスペクトル分解能を増す第2の方法に繋がる。
IMSのスペクトル分解能を高めるために、IMFU203の個々の光学部品は、反射したマッピングライン幅を実際の部品自体よりも小さくなるように圧縮するための屈折力を有していてもよい。これに代えて、光学部品の別のアレイをIMFU203の前または後に加えてこの屈折力を生成してもよい。この屈折力を使用してマッピングラインの幅を実際のIMFU203部品よりも狭くすることにより、追加されたスペクトルの広がりに対して隣接するマッピングラインの間にさらなる光学空間を形成することにより、システムのスペクトル分解能を増してもよい。加えて、IMFU203の屈折力を使用して、リレー光学部品の入射瞳201を、選択的撮像素子204の集光対物レンズまたは集光対物レンズのアレイの入射瞳に、再度撮像し、より小型で光学的に効率的なIMS設計にすることができる。
SSU205は一般的に、光学試料のスペクトル分離の原因となる。これは、屈折光学部品、回折光学部品1701または組合された光学部品いずれで構成されてもよい。このような部品の例は、楔、プリズム、回折格子、グリズム(プリズムと格子の組合せであって、カメラ通過時に選択された中央波長の光がずれないように配置される)、計算によって生成したホログラムなどを含み得る。SSU205はIMFU203の後の任意の光学空間に配置してもよいが、選択的撮像素子204の瞳の位置にあることが好ましい。なぜなら、特に、すべてのフィールド点からの光が部品の同じ領域を照射することによってより均一的な色分離を与えるからである。分散方向、または複数の分散方向は、画像マッピングフィールドユニットの主マッピング軸を除いてどのような方向でもよい。分散がマッピング軸に生じた場合、色および空間情報が失われるかまたは減少する可能性がある。SSU205は、瞳の空間全体における1つの連続する光学部品かまたはより小さな光学部品のアレイで構成されてもよい。異なるSSU205設計は、各オブジェクト点に対してスペクトル分離が同じまたはこれらの点の間で異なる光学部品のように単純であってもよい。これらは単一のSSU205光学部品として設計することができ、またはこのような光学部品のアレイとして設計することができる。受動および能動部品双方が可能である。能動部品は、液晶変調器(可同調プリズム、楔、回折格子、コンピュータ生成ホログラム(「CGH」))、調整可能な傾斜および楔角度を有する楔のアレイ(場合によってはMEMSに基づく)、電気光学変調器、電磁光学部品、または格子の組合せであり、これは変化する相互回折角度とともに異なる格子定数を与える。能動または受動プリズムを、直視プリズム(すなわちAmici型)で使用されるもののような均一分散および/またはゼロ変位を有するものとして設計することも好都合である。これによりさらに小型で均一的にサンプリングされたスペクトル設計が可能であるためである。
選択的撮像素子204は、IMFU203およびSSU205とともに機能して、分散したオブジェクトを画像センサ206に再度配置し再度撮像する。上記のように、光学試料200は、IMFU203およびSSU205それぞれによって空間的およびスペクトル的に再編成してもよい。IMS構成は、(a)各サブ画像を選択的に分離する光学系、(b)各傾斜方向を選択的に分離する光学系、および(c)マッピング角度総数の間に多数の撮像素子を有する混合設計を含む、多数の可能な選択的撮像素子204の種類および位置を含み得る。
いくつかの実施例が提供するIMS構成は、IMFU203の幾何学的形態からの同数の光学部品グループおよび/またはマッピング傾斜方向と一致する選択的撮像素子の再撮像光学系のアレイを有する。この解決策の利点は、オブジェクト区域間のさまざまな間隔を与える柔軟性であるが、設計が複雑である場合があり、非対称のマッピング幾何学的形態に対してアナモルフィックな光学部品を必要とする可能性がある。このような方法は、図3のCおよび図3のDに示されるようなあるマッピング器の幾何学的形態にとっておよび可同調/動的IMS実施例にとって最適であろう。製造された選択的撮像素子の再撮像レンズアレイ204bの例が図10に示される。このレンズアレイ1001は、図10のBおよび図10のCに示されるような、1つの色消しされたダブレットレンズ1002または数個のレンズ1003で構成されてもよい。選択的撮像素子の色収差を図11A〜図11Fに示されるように補正してもよい。図11A〜図11Fは、F帯(〜486nm)、d帯(〜587.6nm)、およびC帯(〜656.3nm)のスポット図1101、1103、1105および変調伝達関数の図1102、1104、1106を示す。この設計は、これらの可視波長において回折が制限されている。SSUユニット205によって導入されるスペクトル拡散1201は、図12に示されるように、さまざまなフィールド位置について、およそ800ミクロンである。歪を原因とするマッピング収差も最小にすることができるが、これは画像を表示のために再びマッピングできるからである。これはさほど重要ではない。アライメントのために、各サブシステムは、静的または動的いずれかの調整可能な焦点を有していてもよい。可能な動的光学部品は、たとえばMEMS、電気湿潤、ミクロ流体、および液晶レンズを含み得る。
他の実施例は、光学系のアレイを有するIMS構成を提供することができ、マッピング角度の数は、図13に示されるようにスペクトル拡散に必要な分離画素の数に相当するであろう。しかしながら、この相関関係は必ずしも1対1でなくてもよい。なぜなら、スペクトル拡散を傾斜させてマッピング角度の数よりも多い画素をカバーすることができるが、それでもなお線形的な関係にあるはずであるからである。マッピング光学部品を、画像全体がカバーされるまでIMFU203において繰返してもよい。図13では、たとえばy軸に沿って繰返される固有の傾斜角度1301が9つある。
IMFU203ミラーの傾斜角度の大きさおよび方向は、各画像マッピングラインからの光が絞りおよび同様に中間瞳に方向付けられる場所を決定することができる。異なるミラー傾斜角度の数は、瞳のサブ領域の数に正比例していてもよい。図13に示される例では、傾斜角度が9つであるため、瞳のサブ領域1302は9つである。これらのサブ領域の後ろには、各傾斜ミラーの瞳のサブ領域からの光を撮像センサ(CCDまたはその他のアレイ検出器)1303に再び撮像する光学系のアレイがあってもよい。各レンズは、光学試料全体の視野(「FOV」)1304を有していてもよいが、特定のマッピング角度からの光を受けるだけでもよい。結果として、画像のマッピングラインを分離する(またはより複雑なマッピングの場合、マッピングライン部分またはマッピング画素を分離する)1306大きな暗領域があるかもしれない。SSU205を中間瞳位置に配置して各画像マッピング領域またはマッピングラインからの光をこれら暗領域1305に対応する角度に分散させてもよい。画像センサ206上の最終画像は、図13のCに示されものと同様に見えるであろう。
簡単なソフトウェアアルゴリズムによって、光学試料および各オブジェクトマッピング画素に対するスペクトル情報を再マッピングしてもよい。再マッピングを、たとえばデジタル信号処理(「DSP」)ユニットを用いてハードウェアで行なってもよい。ソフトウェアによる解決策でもハードウェアによる解決策でも、3次元(x、y、λ)データキューブをモニタ画面上に実時間で表示することができるであろう。いくつかの実施例では、画像センサが、1つの大型フォーマットの検出器の代わりに、1つ以上のマッピング角度に対応する複数の検出器を含むことも可能であろう。このように、図13を一例として用いると、大判カメラまたは9つの低分解能カメラ、またはすべてのマッピング角度が撮像されることを保証する任意の数のカメラを用いることができる。複数のカメラの使用を実現することにより、空間およびスペクトル分解能を増し、画像間の、または赤外線(「IR」)のような大型フォーマットの検出器が一般的に非常に高価で容易に入手できない用途における、未使用の領域を最小にすることができる。単一の部品からなる画像センサ206は、システムをより小型にし、より均一的な応答を提供し、画像取得を簡単にすることができる。
ある実施例では、IMSが傾斜軸が1つのIMFU1401を含んでいてもよい。これは特に、選択的撮像素子204内の構成部品の総数を減じマッピング角度の数を制限し、一方ではそれでもなおスペクトル拡散に対して十分な分離を与えるためには、有効であろう。たとえば、IMFUは1つの方向(y軸の周り)に2、3の傾斜しか必要としない場合があり1402、スリットまたはピンホールマスクを中間画像面で用いると、画像センサ206における分離を大きくすることができる。他の実施例では、球形または円筒形の再撮像システムのアレイを用いて分離を大きくすることができる。レンズのアレイを利用するシステムは非対称の形状を必要とする場合があり、これは結果として非対称の点拡がり関数となる。これを補うために、これらのシステムは、アナモルフィックなリレー撮像システムを必要とする場合がある。このような1方向傾斜マッピング器の例は図14に示される。
上記のようにIMSは反射型でもよい。反射型IMSシステムの例は図15から図17に示される。図15は、傾斜を設けた環状ミラー1501を有する反射型システムを示す。図16はビームスプリッタ1601を有する反射型IMSを示し、図17は傾斜したIMFU203を有する反射型IMSを示す。これらのシステムにおいて、上記のようなSSU1701の任意の選択を用いてもよい。加えて、選択的撮像素子206は数多くの異なる構成を有していてもよい。たとえば、単一のコリメート対物レンズ204aおよび再撮像対物レンズのアレイ204bからなるものであっても、または再撮像対物レンズのアレイ204bを有するコリメータのアレイ1703からなるものでもよい。アレイ部品の数も、設計手法および選択された重要な部品構成によっても変わる可能性がある。
本開示のIMS構成の1つの具体例は、環状ミラー1501を備えた反射型システムである。このIMSの実施例は一般的に、反射型画像マッピングフィールドユニットで高い光学スループットを維持する。これは、対物レンズ1 1502と集光対物レンズ1503との間の絞り位置に環状の折返しミラーを配置することによって可能であろう(図15参照)。(視野絞り1504の場所にある)光学試料200からの光線を対物レンズ1502によって撮像してもよく、これは、対物レンズに対する絞りの役割を果たす環状ミラー内の小さな中央の開口を遮られないまま通過する。(黒の線で示される)これらの光線を、集光対物レンズ1503によってIMFU203上に撮像してもよい。この画像を、たとえば図13に示される傾斜した矩形の鏡によって水平方向のサブマッピング領域に「マッピング」してもよい。各ミラーは、幅におけるマッピング画素1つのみを除く画像の長さ全体でもよい。異なるミラー角度を、画像全体がカバーされるまでIMFU203において繰返してもよい。図13では、y軸に沿って繰返される9つの固有の傾斜角度1301がある。これらのミラーから反射した光(図15の彩色された線で示される)は、集光対物レンズ1503を通って戻ってもよいが、第1の対物レンズの絞り201の外側の環状のミラー領域に戻る。環状のミラー面は、集光対物レンズ(L2)1503の絞り201として作用することができ、また元々のシステムの経路から光を瞳リレー1505に向かって反射してもよい。なお、集光対物レンズ1503および再撮像レンズアレイ204bは選択的撮像素子204を形成する。
集光対物レンズ1503と再撮像レンズアレイ204bとの間に配置された瞳リレー1505は、環状ミラー(絞り)201をよりアクセスしやすい中間の瞳の場所に撮像する一方で、最終画像を画像センサ206上に合わせるのに適切な倍率を加える。マッピングミラー傾斜角度の大きさおよび方向は、対応する画像マッピングラインからの光が絞りまたはその共役中間瞳場所のどこに向けられるかを決定し得る。異なるマッピング角度の数は、瞳のサブ領域の数に正比例してもよい。レンズのアレイによって、特定のマッピングサブ領域の各サブ瞳からの光を、CCD検出器またはその他のアレイ検出器といった画像センサ206上に再び撮像してもよい。各レンズは、光学試料全体のFOV1304を有していてもよいが、各々は特定のマッピング角度1306からの光しか受けないであろう。SSU205を選択的撮像素子の絞りまたはその共役瞳位置に配置して、各マッピングラインまたはマッピング領域からの光をこれら暗領域に対応する角度に分散させてもよい。
上記システムには、全体の機能性を保ちつつ以下の小さな変形があってもよい。環状ミラーに小面を形成することにより、マッピングされた光の一部を元のシステムの経路から外れた方向に偏向させてもよい。環状ミラーは、中央領域が好ましいが表面上の任意の場所において遮蔽されていない領域を有していてもよい。鏡面は平坦である必要はないが、それに関連する何らかの屈折力を有していてもよい。集光対物レンズ1503を、固有の(または数個の)マッピング角度を受けるように配置してもよい。瞳リレー1505も、空間データの圧縮のために配置および/またはアナモルフィックにしてもよい。また、SSU205は1つのシステムまたはシステムのアレイでもよい。SSU205は、屈折型、回折型、および/または組合せ部品でもよい。レンズアレイ204bはアナモルフィックにしてもよい。環状ミラー1501は、その表面上またはその表面近くに配置されたSSU205を有していてもよい。
本開示のIMS構成の別の具体例は、ビームスプリッタを有する反射型IMSである。ビームスプリッタを有するこの反射型IMSは、ビームスプリッタ1601によって接続された2つの光路からなるものであってもよい。一方は「再撮像」光路(1602、1603、1604、1605およびIMFU203で構成される)と呼ばれ、他方は「マッピング」光路(IMFU203、1605、1604、1606、光学系のアレイ204b、SSU205、および画像センサ206で構成される)と呼ばれる。このシステムの1つの実施例が図16に示される。ここでは、IMFU203が光をN=25の異なる瞳901に反射するが、この数は任意の数でよい。画像センサ上の空白領域の大きさはNに比例してもよい。1602、1603および204bのアレイの開口は、画像リレーシステムによって共役にされる。分散プリズム205は、204bのアレイの入射瞳に配置されて光学試料からのマッピングラインからのスペクトルを拡散させることにより、SSU205として機能してもよい。光学試料の画像は、1605、1604、1606、および204bを通過後、マッピングされてもよく、ビームを、コリメートし、分散させ、再撮像してもよい。実際、画像を、画像センサ206上に、検出器領域の上に分散させたマッピングラインのパターンで、マッピングしてもよい。各x、y、およびλ要素を、異なるカメラ画素に直接マッピングしてもよい。撮像システムは、オブジェクト空間および画像空間双方についてテレセントリックであることで焦点ずれの影響を小さくしてもよい。残念ながらこの仕組みは非常にエネルギ効率が低く、光の約75%まで失われる可能性がある(50%ビームスプリッタで2回通過するため)。その最大の利点は、単純で対称性があることであり、これによって画像センサ206アレイ全体を容易に使用することができる。
本開示のIMSの別の具体例は、反射型で傾斜したIMSである。1つのこのようなIMSシステムは、図17に示され、任意のリレーレンズ202、IMFU203、コリメートレンズのアレイ1703、ブレーズド回折格子1701、再撮像対物レンズのアレイ204b、および像平面に位置する画像センサ206からなる。回折格子の線はこの文書の頁の面に平行であるため、示されている断面において散乱効果は見えない。ここでモデルとして形成されているIMFU203には、像の異なる高さに位置する4つの傾斜した小面(マッピングライン)がある。これにより、図17に示されているように、画像を、複数のマッピング画素行によって分離された、X方向に沿うマッピングラインに、再編成することができる。回折格子はこれらのマッピングラインをy方向に拡散させてもよく、これによって空間およびスペクトル情報双方を同時に、走査なしで記録できる。このシステムの1つの利点は、これがビームスプリッタによる光の損失を回避することである。その最大の欠点はマッピング部品の傾斜であり、これによって、結果としてIMFU203領域が焦点から外れる領域が増える可能性がある。これは、オブジェクト/中間画像200を傾斜させて共役面を最適化することによって埋合わせてもよい。
上記のようにIMSは屈折型でもよい。このようなIMSは、反射型システムと、IMFU203が反射型の代わりに屈折型部品であること以外、概念的には同様である。このようなIMSの1つの利点は、このシステムは広げたままにすることができるので、光学機器があまり複雑でなくより小型になる点である。屈折効果は、望ましくない分散を導入してスペクトル分離を生じさせることもある。マッピング中のスペクトル分離によって、近隣の像点が最終画像で重なり、情報を曖昧にし、画像処理の補正が必要になる場合があることが、本開示の利益を受けた当業者には理解されるはずである。これにより、IMSシステムの主な利点のうちの1つである、実時間画像表示のための直接的で明確なデータ取得が損なわれる可能性がある。したがって、IMFU203内の屈折光学部品のこのスペクトル分離およびその他の色収差を補正することが好都合であろう。これは、分散が異なる2つ以上の屈折性材料を組合せること、屈折および反射部品を組合せること、ならびに回折および屈折部品を組合せることを含むがこれらに限定されない数多くの方法で行なうことができる。光学試料からの光を、リレー光学素子202(たとえば図18に示される)が中継してIMFU203に送ってもよい。この画像は、ごく小さなプリズムによって多くのサブ領域または個々のマッピング画素に「マッピング」されてもよい。これらプリズムは、それらに関連した異なる角度があってもよく、図18で異なる色で示されているように、光を異なる経路に沿って進ませてもよい。「マッピングされた」画像からの異なる光路を対物レンズL2 204bによって集め、瞳の中の特定のサブ領域に導いてもよい。SSU205は、これらサブ領域の光を、最終画像の中でIMFU203によって形成された暗領域に対応する異なる角度に分散させてもよい。SSU205の直後に、レンズのアレイ204bが光を画像センサ206(たとえばCCD、CMOS、または同様の検出器)上に再び撮像してもよく、ここで簡単なソフトウェアアルゴリズムが光学試料をスペクトル情報を用いて再びマッピングすることができる。
上記システムには、全体の機能性を保ちつつ以下の小さな変形があってもよい。対物レンズ204aを、固有の(または数個の)マッピング角度を受けるように配置してもよい。また、スペクトル分離ユニット205は1つのシステムまたはシステムのアレイでもよい。スペクトル分離ユニット205は、屈折型または回折型部品でもよい。レンズアレイ204bを、スペクトルまたは空間情報圧縮のためにアナモルフィックにしてもよい。
本開示のあるIMSに対する別の手法は、視野絞り1503がレンズの焦点面と一致するように配置された「レンズのアレイ」1901の用途に基づく。このようなIMS構成は反射および屈折手法を用いてもよい。マイクロレンズアレイは、並列サンプリングプローブの役割を果たすことができる。図19はこの概念を示す。全体的な撮像原理はここでも同じであり、IMSに上記レイアウトで使用されたものと同様の他の部品を補充してもよい。このシステムのこの場合の空間分解能は、アレイ内のレンズの詰込み密度によって決まるであろう。なぜなら、各レンズが1つの像点に関わり得るからである。視野絞り1503から出た光線は、マイクロレンズ通過後、光軸に平行に現われ得る。マッピング器で反射すると、光線は特定の方向に伝搬して必要な画像マッピングを実現するであろう。この手法の1つの利点は、焦点外れに対して反応しないことである。このシステムの精度は、アレイ内のレンズの均一性およびビームのコリメートの質に依存するであろう。
より多くの量のおよび/またはより高品質のスペクトル情報を取得するために、図20に示されるようにダイクロイックミラーを選択的撮像素子204の画像空間に追加してもよい。ダイクロイックミラー2001によって、このシステムは、光学試料からのスペクトル情報を、可視光線と近赤外線といった隣り合うスペクトル帯および紫外線と中波赤外線といった隣り合っていないスペクトル帯を含む2つ以上の異なるスペクトル帯で、収集できる。加えて、このスペクトル情報を単一のスペクトル帯の中でも高めて、スペクトル分解能を元のシステムの2倍以上にしてもよい。図20に示される構成は、追加のカメラ(画像センサ検出器♯2 2002)を利用することにより、第2の帯域の情報を収集することができる。この図において、画像センサ検出器♯1 2003は、可視帯の赤から緑の領域2004から光を収集してもよく、画像センサ検出器♯2 2002は、緑から紫外線2005までの光を収集してもよい。しかしながら、この概念を、図21に示されるように選択された波長領域のフィルタが近隣の検出器画素の行の前に配置されている、単一のカメラ画像センサ206に応用してもよい。フィルタなしの画像センサ検出器は、図21のAに示されるように、光学試料からの1つのマッピングライン(ライン#1)2101からのスペクトルを、光学試料からの次のマッピングライン(ライン♯2)2102に拡散させるだけの場合がある。この例については、ライン♯1からの青色−紫外線スペクトルのための空間がない2103。フィルタ(たとえば図21のB参照)を画像センサに追加し2104、画像の点拡がり関数をオーバーサンプリングする2105ことによって、ライン2からさらなるスペクトルを得ることが可能であろう(たとえば図21のC参照)。この手法の代価は、システムの光学スループットが低下し得ることである。これを克服するには、CCDおよびCMOS画像検出器で既に使用されているものと同様のレンズアレイを用いてフィルファクタ(fill factor)の問題を解消すればよい。
別のIMS構成は、マイクロレンズアレイ2201および/またはマイクロ視野絞りアレイ2202を用いてマッピング器上の小面を光学的に圧縮し、スペクトルのためのさらなる空間を生み出してもよい。1つの可能な実施例が図22に示される。この例では、1組のマイクロ円筒レンズアレイ2205が、選択的撮像素子204の後の、サブ画像面近くに配置される。レンズアレイ204bおよび/またはマイクロ絞りアレイ2202は、画像の子午面2204ではなくその正中面2203に屈折力を加えることができる。これにより、画像をスペクトル拡散させるために用いられる方向でもある正中面2203においてより狭い非対称の点拡がり関数2105を最終画像面に形成することができる。
動的IMSシステムを図23に示す。このシステムは、3次元(x,y,λ)データキューブ全体に対してデジタル光学ズームカメラシステムのように機能することができ、動作中IMS構成を変えることにより光学試料の1つまたは複数のマッピング領域から異なる空間およびスペクトルサンプリングを得る。対象となる1つの以上の領域(「ROI」)2301にズームし、より高いスペクトルおよび空間分解能を得ることが可能であろう。本明細書で使用される「ズーム」は一般的に、光学試料200の画像のROI2301のサンプルの数を増やすことを意味する。デジタルズームは、画像センサ206を含むセンサのアレイを電子的に再構成することにより画像センサ206の選択された領域内のサンプルの数を変更することができる。光学ズームは一般的にハードウェア再構成を意味し、これにより、光学試料200の画像を変更してそのサンプリングを画像センサ206によって変えることができる。スペクトルズームは一般的に、所与のスペクトル範囲に対する検知素子の数を増すこと、または所与の数の検知素子に対するスペクトル範囲を減じることを、意味する。空間ズームは一般的に、所与の空間マッピング領域に対する検知素子の数を増すこと、または所与の数の検知素子に対する空間マッピング領域を減じることを意味する。これは、システムの重要な部品すなわちIMFU2302、SSU2303、選択的撮像素子2304、および任意で画像リレーレンズ2305、のうち1つ以上に対して動的部品を利用することによって実現されるであろう。リレーレンズ2305は、光学試料の画像の大きさを変更することができ、IMFU2302上の画像サンプリングを増すことにより空間ドメインをズームする。複数のIMFU2302および/または動的リレーレンズ2305が使用される場合、図25と同様に、光学ズームを画像上の2つ以上の場所に設けることが可能であろう。動的IMFU2302は、MEMS技術を用いてミラーの傾斜を調整し対象となる画像マッピング画素を選択的撮像素子2304に向けて選択的に反射し、スペクトルおよび空間ドメイン内にズームを作り出すことができる。次にこれらのマッピング画素を、SSU2303の分散を動的に調整することによって、多少スペクトル拡散させてもよい。SSU2303のスペクトル拡散を調整するための1つの可能な手法は、平凸および平凹レンズ対または同様の材料を利用することによってプリズムのような構造(たとえば図23のA参照)を形成することである。平凸レンズを回転させることにより、プリズムの角度が変化し、プリズムの分散も変えることができる。動的に変化できる最後の部品は、選択的撮像素子204内のレンズアレイ2305である。レンズアレイ2305の屈折力を調整することにより、最終画像の大きさも調整することができ、スペクトルおよび空間双方について画像のサンプリングの増加を生み出す。これはまた、(カメラをビニングすることにより)画像をより速くするおよび/または動的範囲を改善することを可能にするであろう。
上記屈折型または反射型手法に代えて、IMSシステムは、導波路マッピング器2401を使用することによって図24のAに示されるように隣接する像点の間に光学的に空白の領域を形成してもよい。リレー光学部品202(1次瞳201および0、1または2以上の任意のリレーレンズ)は、光学試料200を導波路マッピング器2401の入力面上に撮像する。図24のBに示されるように、導波路マッピング器2401は、個々の導波路2402からの光を、マッピング器の面2403の出力の分離されたマッピング画素に案内してもよい。なお、このマッピングは、マッピング器の入力端2404と出力端2403との間で干渉性または非干渉性でもよい。マッピング器の面2403を、大きなFOV対物レンズ(L2)204aによって撮像し、SSU205によって分散させ、再撮像レンズ204bによってCCD検出器といった画像センサ206上に撮像してもよい。この構成は、屈折型および反射型構成部品よりも複雑ではない選択的撮像素子204を利用するが、各導波路構造の周りに集中する2404ため光学スループットはより低い可能性がある。
IMSシステムの別の実施例は、互いに撮像される2つ以上のIMFU203素子を含む。言い換えれば、これらは互いの画像共役物である。複数IMFU共役構成は図25に示される。この設計において、光学試料200を任意のリレーレンズ202を通して第1のIMFU2501上に撮像してもよい。このリレーシステム202は任意である。なぜなら、光学試料200は何らかの前方光学素子を用いて第1のIMFU2501上に直接撮像できるからである。第1のIMFU2501は、IMFUリレーレンズ2503によって第2のIMFU2502に撮像してもよい。次々にまたは並列に順次カスケード接続される複数のIMFUリレーレンズ2503および複数のIMFU203が、IMFU203およびリレーレンズ202のアレイを形成してもよい。このアレイ手法は、システムを小型に保つのに有利であろう。図25では、設計概念を限定するためではなく単純にするために、示されているIMFU203は2つのみである。最後のIMFU203(図25の第2のIMFU2502)および選択的撮像素子204の後、SSU205および画像センサ206はたとえば図18の例の先の概念と同じように機能する。この設計のIMFU203は、静的または動的または組合せでもよい。この種のIMSシステムは、動的システム(図23)において有利で、第1の部品は光学試料200から1つ以上のROI2301を選択することができ、これらROI2301を第2のIMFU2501に導いて1つ以上の画像センサ206検出器に対してより高度のサンプリングおよびマッピングを行なってもよい。この手法はまた、最終マッピングの1つの側面にしか関わらない各共役IMFU203によって、各IMFU203の設計を簡単にできるであろう。たとえば、第1のIMFU2501はx軸における傾斜に関わっていてもよく、第2のIMFU2502はy軸の傾斜に関わっていてもよい。このことは、この実施例の各IMFU203が他のIMFU203と同一の幾何学的形態または機能を有している必要はなく、各IMFU203は独立して機能しても依存して機能してもよいことを示唆している。
先に述べたように、IMSを多数のさまざまな応用例に適合させることができる。たとえば、IMSは内視鏡に特に適しているであろう。このIMS概念の内視鏡版を図26に示す。IMSシステムの動作についての説明は、広帯域源がここでの光学試料200となる組織(肉眼で見えるまたは顕微鏡で見える大きさ)のある領域を照射し得る干渉性のマルチファイバの束(「MFB」)2601の組織(遠位)側から始まる。これ以外の内視鏡撮像部品も、図26に示されるMFBの代わりにまたはこれに加えて使用できる。これら内視鏡撮像部品は、非干渉性ファイバの束、小型対物レンズ2602、小型レンズ、およびグリンレンズを含み得る。組織からの反射光および/または蛍光を、小型対物レンズ2602を通して収集しMFB2601の遠位端に撮像した後、近位端に伝えてもよい。画像リレーシステム202は、MFB2602近位面からの組織画像を拡大し再びIMFU203に撮像してもよい。ここでの例示のために、IMFU203は、像面での1×200マッピング画素に相当する大きさのミラー小面のアレイで構成されていてもよい。なお、IMFU203も、プリズム、レンズのアレイ、および/または部品の組合せで構成されていてもよい。各ミラー小面は、組織画像(光学試料200)の一部を、選択的撮像素子204の瞳内の特定の領域に偏向させてもよい(異なる光線色で示す)。光を、瞳の中においてSSU205(すなわちプリズムアレイ)によりスペクトル拡散(すなわち分散)させて、マッピング面とは方向が異なる面における角度の範囲としてもよい。再撮像レンズ204bアレイは各サブ領域を画像センサ206上に撮像してもよい。各サブ画像は1組のマッピング領域に対する空間およびスペクトル情報を含み得る。最後に、簡単なソフトウェア再マッピングによって、サブ画像を再結合して光学試料(組織)の「マッピングされていない」画像を形成する一方で、各マッピング領域のスペクトル特徴を保存する。走査または画像処理がないため、このシステムは内視鏡用途において重要な実時間でのハイパースペクトル画像の取得および表示を行なうことができる。
眼科医は長い間さまざまな目の状態および病気の評価において光学装置に依存してきた。特に重要なのは、目の内面の後側にあり光信号を脳が処理できる信号に変換する感光光受容体を含む目の網膜2701の撮像である。網膜の観察および画像取込には、網膜の照射および撮像を同時に行なうことができる眼底カメラ2702と呼ばれる複雑な光学装置の使用が必要である。照射システムが外部照射か内部照射かによって設計が異なる主に2種類の眼底カメラがある。いずれの種類が与える入射照明も、網膜によって散乱した後、眼科医が直接見ることができる眼底カメラの撮像素子部によって捉えられる、および/または画像検知装置によって捉えられる。眼科医が網膜の写真を記録するためにCCDまたはCMOSカメラといったデジタル検出器を使用することがますます多くなっている。これらのデジタル写真を用いて、何らかの病気を識別し、その病気の患者の生涯にわたる進行を追跡することができる。これに関連して、IMSシステムは眼科学にとって重要な撮像ツールとなるであろう。このシステムは、網膜の3次元(x,y,λ)画像2703を、画像内の各マッピング画素からのスペクトル内に含まれるさらなる診断情報とともに取得することができる。図27は、眼底カメラに組込まれたIMSシステムの一例を示す。IMSシステムは、網膜の画像2703が位置する眼底カメラのサイドポートまたはカメラポートに配置される。IMSシステムは、目を撮像するための独立型システムとして使用することもできる。独立型IMSシステムの場合、眼底カメラで通常使用されているのと同じやり方で、システムの外部からまたは内部で照射をIMSシステムに取入れることができる。眼科に応用されるIMSシステムの主な利点は、IMSシステムがその3次元データキューブを迅速な実時間撮像のために正に並列に収集できる点である。これは、目の動きが不随意であるために生じる一時的な曖昧さを軽減するのに重要である。並列に取得することによって、照射の強度を低下させることもできる。なぜなら、すべての像点から収集した信号は同時に統合され、患者の目の負担が少ないからである。IMSシステムにとって必要である簡単なソフトウェア画像再マッピングによっても眼科医に対して実時間のフィードバックが可能であり、診察を管理しより高品質の診断情報を提供するのに役立つ。
本発明をより理解しやすくするために、以下で具体的な実施例の例を示す。以下の例は本発明の範囲全体を限定または規定すると理解されてはならない。
実施例
作業卓上プロトタイプIMSおよびマッピング素子(またはマッピング器、画像マッピングフィールドユニット、または「IMFU」)のプロトタイプを組立て、ビームスプリッタを備える反射型画像マッピング分光計(「IMS」)として構成した。このプロトタイプシステムの概略図および実際の組立の図を図28に示す。
このIMS構成の光学試料は、倒立顕微鏡、すなわち市場ではカールツァイス社(Carl Zeiss Inc.)から入手できるAxio Observer A1またはAX10から得た。実演のために、選択的撮像素子のレンズアレイを、単レンズ(低倍率顕微鏡対物レンズ)と置き換え、異なる瞳位置に移して対応する傾斜角度の視野(「FOV」)を撮像した。IMFU203のプロトタイプは、高純度アルミニウムのラスターフライカットを用いて製造した。マッピング素子には1方向のみにおいて5つの傾斜角度があった(合計175のランプミラー)。IMFU203を製造するために、Nanotech 250UPLダイヤモンド回転旋盤を用いた。最初の光学部品の切削プロセスは、約120時間と長時間を要した。所望のマッピング素子を作っておけば、複製または成形プロセス(たとえば射出成形、打抜き成形など)いずれかによって大量生産することができ、より手頃になる。
図29のAは、第1のプロトタイプIMFU203を示す。図29のCに示されるように、個々の光学部品の小面をさらに特徴付け、市場ではザイゴ社(Zygo Corporation)から入手できる白色光干渉計NewView 5000を用いて角度および表面品質を検証した。マッピング素子の前および側面にバッフルを追加して遷移マッピング光学部品からの散乱光を減じてもよい。また、レンズアレイをマッピング器に追加し、散乱光をマッピング器の光学部品のエッジから外してマッピング光学部品の表面の中央により近くなるように集めることによって、散乱光を減じ易くしてもよい。レンズアレイも近隣のIMFU203光学部品の陰影効果を減じることができる。これは特に、高さの相違が最大になるであろう光学部品のエッジ部分では重要である。プロトタイプIMFU203は、ダイヤモンドフライカット技術を用いて製造したが、ダイヤモンドフライス加工およびグレースケールリソグラフィといった他の技術を所望の幾何学的形状に応じて用いて製造してもよい。グレースケールリソグラフィは、この素子の大量生産のための代替技術であるが、最初の開発段階で多大なプロセス開発時間およびコストを要する場合がある。
図30は、このシステムプロトタイプを用いて実施された最初の撮像実験を示す。図30のAは、中央FOVに対する1951USAF分解能試験対象の画像を示す。この図面はマッピング方向を1つしか示しておらず、この場合分散は導入されなかった。図30のBは、IMSが単一モード(λ〜630nm)ファイバレーザ(オブジェクト)からの出力を画像マッピング器203の少なくとも5つのマッピングラインに撮像しているときの、選択的撮像素子の瞳の画像209を示す。この例では、IMFU203の各マッピングラインは概して、入射画像の1つの(場合によっては不連続な)ラインを固有の方向に反射することができる小型ランプミラーである。5つの明るい領域は、異なるライン光学部品およびその対応する角度から反射したオブジェクトからの光に対応する。線形のIMFU203の幾何学的形態および表面粗さによって生じる回折および迷光効果が、これら中央領域の外側の光の強度の原因となる。再撮像レンズ204bをある瞳位置から次の位置へと移すと、結果として得られる画像は、異なる1組の線形マッピングという点を除けば図30のAに示されるものと同様である。
図30のCは、ハロゲン光源によって照射された光ファイバのプロトタイプシステム(IMFU203およびSSU205を除く)によって撮影された画像を示す。この多色画像は、広いスペクトル帯で構成され、標準撮像システムから得られるであろう典型的な画像を表わす。この画像は一般的には白い円に見え、スペクトル情報はすべて失われる。この画像の中には、最終システムで修正できる横方向の色収差のために画像内にいくつかの青色および赤色の外側領域がある。プロトタイプシステムを再構成してIMFU203およびSSU205を含むようにした場合、この多色画像の全スペクトル特徴が得られる。これは、傾斜角度が同一の1組のランプミラーについて図30のDに示される。画像のスペクトルデータからわかるように、マッピングラインは、近隣ミラー−マッピング部品(繰返される赤から緑の領域)の間の空白領域に分散している場合がある。最終画像を復元するために、再撮像レンズ204bを他の瞳の位置に移動させて他のマッピングラインの画像を取得し、単純な画像処理を行なって当初の画像をそのスペクトル特徴とともに復元することができる。
第2の作業用プロトタイプIMSを構成してこれが蛍光顕微鏡画像を取得する機能を実演した。IMSは、空間およびスペクトルドメインそれぞれについて約0.45ミクロンおよび約5.6nm分解能に相当する、100×100×25サンプリングの3次元(x,y,λ)データキューブを得ることができた。このIMSシステムを、前光学素子として市場ではカールツァイス社から入手できる倒立顕微鏡AX10に結合した。このプロトタイプシステムを図31のAに示し、概略的なレイアウトを図31のBに示す。試験片を顕微鏡の台の上に置き、市場ではEXFOライフサイエンス&インダストリアルディビジョン(EXFO Life Sciences & Industrial Division)から入手できる120W X-cite(登録商標)アークランプによって照射した。蛍光信号を、市場ではカールツァイス社から入手できるEC Plan-Neofluar、40×/開口数〜0.75の対物レンズを用いた。中間画像を、IMSシステムの視野絞り1503と同一場所にある顕微鏡の側部の画像ポート3102の外側で形成した。視野絞りにおける中間画像を、最初に倍率約10倍の画像リレーシステム202(オブジェクトおよび画像空間双方においてテレセントリック)によって特注生産の画像IMFU203に再度撮像した。この画像リレーシステム203の1つの役割は、画像の分解能を、画像PSFの大きさをIMFU203の大きさと一致させることによって保存することである。他の役割は、主光線を正しく誘導するIMFU203の側面で厳密なテレセントリック性を与えることである。IMFU203は、25の異なる2次元傾斜角度(x軸およびy軸双方に対して0°、±0.23°、±0.46°)を有する1次元ミラーアレイであり、これはマッピングされた画像のゾーンを25の異なる方向に反射することができた。IMFU203上のマッピング光学部品の総数は100で、各々の寸法は長さ約16mm×幅約160μmであった。図31のBにおいて、y軸に対する傾斜角のみが示されている。方向が変えられた光を、集光レンズ204a(約130mmのチューブレンズ、市場ではカールツァイス社から入手できる、開口数〜0.033、FOV〜25mm)によって集め、瞳の面901に25の別々の瞳を形成した。市場ではエドモンドオプティクス社(Edmund Optics)から入手可能な約5.56×のビーム拡大器3101(Gold Seriesテレセントリックレンズ58258、FOV〜8mm)によって瞳の寸法を調整し再撮像レンズアレイ光学部品204bのものに合わせた。拡大した瞳を、市場ではタワーオプティクス社(Tower Optics)から入手可能なカスタムプリズム、SF4、楔角度約10°、によって分散させ、再撮像システム204bの5×5アレイによって、大型フォーマットのCCDカメラ206(Apogee U16M、4096×4096画素、画素サイズ約9ミクロン、RMSノイズ:10.5e−、暗電流:0.13e−/画素)上に、再撮像した。各再撮像レンズ204bは、焦点距離約60mmの正の色消しダブレットレンズ(エドモンドオプティクス社の47698、直径〜6.25mm)および焦点距離約12.5mmの負の色消しダブレットレンズ(エドモンドオプティクス社の45420、直径〜6.25mm)で構成されて焦点距離の長い(焦点距離〜350mm)レンズを形成した。なお、ここで示されるIMSプロトタイプは、全CCD分解能を使用しない。しかしながら、この大型画像センサ206により、将来のシステム開発におけるシステム分解能を改善された分解能にすることができるであろう。
最終画像のフォーマットは、3次元(x,y,λ)データキューブの記録2次元画像センサ206へのマッピングを最大化するのに非常に重要であろう。多くの場合、画像センサ206上の各検出器または画素が光学試料200からの信号を記録することが好都合である。明確なデータ収集のために、データキューブ内の各ボクセルは、画像センサ206上のおよそ1つの画素に対応していてもよい。画像センサ206内の利用できる検出器のうちすべてまたはほとんどを効率的に利用する明確なマッピングは、IMFU203からのサブ画像が互いに近接していることを必要とするであろう。なお、構成のほとんどにおいて、画像センサ206は、IMFU203の2つ以上のサブ画像を有し得る。製造誤差、光学収差、迷光、他の説明できない製造誤差および光学効果の補正のために、IMFU203の幾何学的形態は、隣接するサブ画像間に一定の距離を設けてもよい。理想的には、この未使用の画像センサ206表面領域は、全検出表面積の約40%以下の大きさでなければならない。一方、サブ画像が重なり合って不明確なデータおよび明確なデータ双方を含むことも有益であり、これはシステムの利用できるスペクトルおよび空間成分を改善し得る。この重なりは、画像センサ206上の数個の検出器と同じほど小さくてもよく、画像センサ206上のすべての検出器まで及んでもよい。先に述べたように、サブ画像の重なりが大きすぎる場合の欠点は、ソフトウェア復元アルゴリズムが非常に長時間を要し、IMSがデータを実時間表示する機能が失われることである。マッピングされた最終画像のサブ画像が、表1に記載されているような業界標準カメラフォーマットおよびアスペクト比に一致するように配置されることも有利であろう。しかしながら、特別フォーマットを使用してもよい。
表1に記載された寸法は、各画像センサ206製造業者に少し違いがあるため、おおよその寸法である。最も一般的なアスペクト比のうちのいくつかは、1:1、3:2、および4:3であろう。
このプロトタイプIMSの再撮像レンズセットのFOV3201は、隣接するレンズセットと重なる3202ことによってCCDカメラの利用可能な領域を最大化するように設計された。IMFU203プレートの画像全体は正方形の形状であるが、再撮像レンズセットのFOV3201は円形であったので、IMFU203プレートの画像の外側には存在するFOV3201の内側以外の4つの空白領域があった(図32参照)。これら空白領域のため、近隣の再撮像レンズセットのFOV3201は重なることができた。これにより、CCDカメラ上の撮像領域を十分に利用することができた。このCCDカメラは、正方形の(36.8×36.8mm)表面積内に16のメガピクセルを含む10.5/16.8MPフォーマットチップを使用した。
画像性能を検証しIMSプロトタイプの空間およびスペクトル分解能を試験するために、分散していない1951USAF分解能テスト対象を撮像し、(1つのミラーマッピング部品からの)1つの画像マッピングラインの点拡がり関数(「PSF」)を測定した。蛍光ビードを用いて作った試験サンプルのスペクトル画像を取得した。結果を図33〜図36に示す。
第3のプロトタイプIMSを構成し、蛍光標本に対して285×285×62の3次元(x,y,λ)データキューブを収集することが可能な大型フォーマット構成を示した。IMS構成のレイアウトは、第2のプロトタイプと同様であり、図37に示される。このIMS構成は、大型フォーマットIMFUにおける主要な技術的進歩を表わす。IMFU203は幅がわずか約70ミクロンで高密度で詰込まれたミラー小面光学部品を有し、285の小面をリレー光学素子のFOVの中に置くことができた。小面の大きさが小さいため、回折効果を設計において考慮する必要があり、さらなる傾斜角度を与えてサブ撮像システム間のクロストークを最小にした。最後に、IMFU203の幾何学的形態を最適化してエッジ侵食効果を減じシステムスループットを改善した。
第3のプロトタイプの生物学的撮像機能を、MitoTracker Red CMXRosでインキュベートしてミトコンドリアを標識し、BODIPY FLファラシジンでフィラメントアクチン(Fアクチン)を標識し、DAPIで核を標識したウシの肺動脈の内皮細胞を撮像することによって、評価した。カラーCCDカメラ3702を用いて撮影した基準画像を、比較のために図38の左上に示す。下側の一連の画像は、IMSシステムを用いて1回の約4秒の統合事象で撮影した。25のスペクトル画像のサンプルを、約505から約684nmのスペクトル範囲にわたって表示し、サンプリング平均は約5nmである。セル内のスペクトル符号化特徴は、容易に識別可能であり、基準画像との強い相関関係を示す。
さまざまな幾何学的形態のIMFU203を製造するために、3つの異なる表面成形ツール設計を開発した。表2は、各表面成形ツールの異なる設計仕様を示す。ツール♯1は、図31に示されるIMS蛍光ハイパースペクトル顕微鏡内で使用される100部品のIMFU203を製造するために使用される第1の表面成形ツールであった。この表面成形ツールは、幅が約160ミクロンの平底のチップを有し、辺の長さが約16mmの正方形のIMFU203を製造するために使用された。ツール♯2は、約75ミクロンの平底の表面成形ツールであり、図37に示されるより大型のフォーマットのIMSシステムのために開発され、これはそれでもなお集光対物レンズのFOVの制約の中にある。この表面成形ツールは、空間サンプリングを250部品のIMFUまで拡大した。ツール♯3も幅が約75ミクロンであったが、刃先角を小さくしてエッジ侵食効果を最小にしている。
IMFU203の製造のために、高精度CNC4軸ダイヤモンド旋盤(Nanotech 250UPL)を使用した。この機械は、ナノメートルレベルの精度で各軸(x,y,z)の移動が約200mmである。被加工物402をy軸3901およびz軸3902移動の2つのステージ上に置き、スピンドル401およびダイヤモンドツールはx軸ステージ3903上に置いた(図39のA参照)。ミラー光学部品の小面は、被加工物402をy軸方向に上下動させることによって切削した。y方向の傾斜は、x方向およびy方向双方に移動させながら各マッピングライン光学部品を切削することによって得られた。マッピングライン光学部品の切削後、スピンドル401およびツールが移動して被加工物402から離れ、巻戻し、次のマッピングライン光学部品の切削を開始する。また、被加工物402は、次のマッピングライン光学部品の切削前に、ツール幅の分だけz軸方向に進む。x傾斜は、被加工物402をゴニオメータ(Newport P/N:手動高分解能マイクロメータP/N: HR-13を有するGON40-U)に載置することによって得た。このとき切削面がゴニオメータの回転軸3904と一致するようにした(図39のB参照)。ゴニオメータを手動で回転させるので、x傾斜は同時に作られた。終了すると、ゴニオメータを次のx傾斜に調整し、このプロセスをすべてのミラー光学部品小面が作られるまで繰返す。異なるx傾斜に対しY高さ補償ファクタを適用した。大きなx傾斜角度については、z軸補償ファクタも使用しコサイン効果を補償してもよい。
IMFU光学部品を製造するためには、一般的に、最初に粗く切削することによってアルミニウム基板に異なるミラー小面を設ける。この基板も、表3に示されるような他のダイヤモンド機械加工可能な材料から作ってもよい。この工程の後、精密切削プログラムを用いてIMFU203光学部品を整え、最良の表面粗さにし、金属フラップ、チップおよびその他の破片といった見た目上の欠陥を取除く。
図40のAは、ツール♯3を用いて製造した最終大型フォーマット(250部品)IMFU203の写真を示す。図40のBは、IMFU203の拡大側面図を示し、小面の優れた整列状態を示している。x傾斜グループ分けおよび凹の向きならびに段違いにされたy傾斜が容易に観察される。
ミラー光学部品小面の傾斜および幅を、白色光干渉計(ザイゴ社のNewview)を用いて測定した。部品試験の前に、IMFU203を干渉計の電動4軸ステージ(X、Y、θX、θY)上に置き、調整してIMFU203のゼロ傾斜(x軸およびy軸)ミラー小面からの反射光をシステムの光軸と整列させた。残りの傾斜があれば記録し他の小面傾斜測定値から引いた。1.0×視野レンズを備えた10×ミロー(Mirau)対物レンズ(FOV=0.72mm×0.54mm、解像度=1.12ミクロン)を用いてデータを収集した。10個の測定値を各傾斜位置について取得しその平均値を求めた。表4は最終結果を示し、測定値を設計された傾斜値と比較している。この研究の結果は、所望の傾斜値と実際に測定された値が優れて一致していることを示す。最大傾斜誤差はx傾斜について−2mradであり(α2=0.010rad)であり、傾斜のほとんどに大きな誤差はなかった。
各光学部品小面の幅を、その小面の左、中央および右端の表面を通る断面プロファイルで測定した。図42は、これら測定値から得られる典型的な結果を示す。製造プロセス中、およそ5ミクロンの重なりを導入して隣り合う小面間の薄い金属フラップを除去した。この重なりによって、小面の設計された幅は、小面位置に応じ、約75ミクロンから約70〜65ミクロン間に変化した。中央のx傾斜(2−4)について、測定された幅は、70ミクロンの約+/−1ミクロン以内であったが、端に位置するx傾斜(1および5)の場合、これはy軸に応じて約50〜70ミクロンに変化した。y傾斜のために最も高いマッピングライン光学部品となったものは、図41の2次元強度マップに示されるように、重なりとエッジ侵食のためにより薄い。
ミラー光学部品小面の表面の粗さは、最終画像のコントラストおよびIMFU203のスループットを低下させる。この効果を定量化するために、50×ミロー対物レンズ、2.0×視野レンズ(FOV=0.07mm×0.05mm、解像度=0.11ミクロン)を有する白色光干渉計を用いた。図42は、1つの小面から得られた典型的な粗さの結果を示す。この製造方法の場合、ツールの欠陥によって、小面の長さに沿ってラインが生じる。IMFU203の表面粗さのより統計的な推定値を得るために、ランダムに選択した10の小面表面領域を測定し、平均rms粗さが5.3+/−1.2nmであることがわかった。この粗さの値に基づきIMFU203の光学スループットを推定したところおよそ97%であった。
本発明の広い範囲を示す数値範囲およびパラメータにかかわらず、特定の例において記載された数値はできるだけ正確に報告されている。しかしながら、どのような数値も、必然的にそれぞれの試験測定値に見られる標準偏差のため、本質的に何らかの誤差を含んでいる。
このように、本発明は、上記目的および利点ならびに本質的な目的および利点の達成に適応している。当業者によって数多くの変更が加えられてもよいが、このような変更は一部が添付の請求項によって示される本発明の精神に含まれる。