JP2014128366A - 眼科装置および位置合わせ方法 - Google Patents

Abstract

【課題】 画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。
【解決手段】 異なる倍率の画像を取得する画像取得手段と、前記画像または前記画像の取得条件の少なくとも一方に基づいて前記画像間の中間の倍率を持つ画像の取得法を決定する決定手段と、取得された画像を位置合わせする位置合わせ手段と、を備えることを特徴とする眼科装置。
【選択図】 図１

Description

本発明は眼科装置および位置合わせ方法に関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。

以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。

それを解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像の取得を可能にしている。

このような高横分解能なＳＬＯ画像は動画像として取得することができ、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、ＳＬＯ画像を用いて視機能との関連を評価するために視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測が行われている。図６（ｂ）に高横分解能なＳＬＯ画像の例を示す。視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。

前記ＳＬＯ画像において、視細胞Ｐを観察したり視細胞Ｐの分布を計測する場合にはフォーカス位置を網膜外層（図６（ａ）のＢ５）付近に設定して図５（ｂ）のようなＳＬＯ画像を取得する。一方、網膜内層（図５（ａ）のＢ２からＢ４）には網膜血管や分岐した毛細血管が走行している。

これまで、眼部の低倍率画像Ｄｌと高倍率画像Ｄｈとの位置合わせ技術として、補償光学ＳＬＯ画像の取得位置を低倍率な眼底画像上に表示する技術が特許文献１に開示されている。

特開２０１０−２５９５４３号公報 特開２００９−２７６３２７号公報 特開２００７−１１７７１４号公報

これまで高横分解能な画像（高倍率画像Ｄｈ）を広画角な画像（低倍率画像Ｄｌ）の上に重畳表示（図５（ｃ））するには、両画像の画角や画素サイズが大きく異なり、両画像に共通する画像特徴がないために正確に位置合わせできない場合があった。

そこで各取得倍率の画像に共通した画像特徴を含む中間倍率の画像Ｄｍを取得しておき、該中間倍率画像Ｄｍを介して位置合わせを行うことによって画角や画素サイズが大きく異なる画像同士を正確に位置合わせする技術が必要となる。

また眼部の低倍率画像には図６（ｄ）に示すように、断層像の取得位置や取得範囲が重畳されることがある。この重畳画像は通常、断層像（図６（ａ））を並べて表示することで取得位置を確認しながら眼部の層形状を観察することに用いられる。

低倍率画像Ｄｌ上に高倍率画像Ｄｈが正確に位置合せされていれば、高倍率画像Ｄｈ上に断層像の取得位置を重畳表示できる。従って、高倍率画像Ｄｈにおける視細胞Ｐの分布（例えば視細胞の死滅範囲）と、眼部の層形状（例えば網膜外層の菲薄化）との関連性を観察・分析することが可能になる。

なお、断層像の取得位置以外にも眼部の低倍率画像Ｄｌ上には
ｉ） 層形状値の分布（図６（ｅ））
ｉｉ） 網膜感度値の分布（図６（ｆ））
ｉｉｉ） 治療用レーザの照射位置（図６（ｇ））
が重畳される場合がある。低倍率画像Ｄｌ上に高倍率画像Ｄｈが正確に位置合せされていれば、前記高倍率画像Ｄｈ上の画像特徴とこれらの情報との関連性を観察・分析できるようになる。例えば、
ｉ）を用いると、網膜外層厚の分布と、視細胞密度分布
ｉｉ）を用いると、視機能測定値の分布と、視細胞密度分布
ｉｉｉ）を用いると、治療部位と、毛細血管の分布や血流速度
との関連性を観察・分析できるようになる。

しかしながら特許文献１に記載の技術では、低倍率画像Ｄｌと高倍率画像Ｄｈとの相対位置を追尾技術によって対応づけており、固視が著しく不安定な被験者の場合に対応できるよう画像処理を用いて位置合わせを行う技術の開示はない。

また特許文献２に記載の技術は、フルフィールドＯＣＴを用いて撮影された細胞画像と、低倍率な眼底画像との位置合わせ及び表示を行う技術について開示している。しかし画素サイズが大きく異なる画像に共通する画像特徴がない場合や、固視が不安定な被験者の場合にも対応できるように画像処理して位置合わせを行う技術の開示はない。

さらに特許文献３に記載の技術は、断層像の取得位置を眼底画像上に表示する技術について開示している。しかし、断層像の取得位置や網膜感度分布を細胞レベルの高倍率画像Ｄｈ上に表示する技術の開示はない。

本発明は上記の課題に鑑みてなされたものであり、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせすることを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

異なる倍率の画像を取得する画像取得手段と、
前記画像または前記画像の取得条件の少なくとも一方に基づいて前記画像間の中間の倍率を持つ画像の取得法を決定する決定手段と、
取得された画像を位置合わせする位置合わせ手段と、
を備える。

また、本発明の一態様による画像処理方法は、
異なる倍率の画像を取得する画像取得工程と、
前記画像または前記画像の取得条件の少なくとも一方に基づいて前記画像間の中間の倍率を持つ画像の取得法を決定する決定工程と、
取得された画像を位置合わせする位置合わせ工程と、
を備えることを特徴とする。

本発明によれば、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。

本発明の第一の実施形態に係る眼科装置１０の機能構成例を示すブロック図である。 眼科装置１０を含むシステムの構成例を示すブロック図である。 本発明の第一の実施形態に係るＳＬＯ像撮像装置２０の全体の構成の一例について説明する図である。 記憶部１２０、画像処理部１３０に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。 本発明の第一の実施形態に係る眼科装置１０が実行する処理の一例を示すフローチャートである。 本発明での画像処理内容の一例を説明する図である。 本発明の第一の実施形態に係るＳ５２０で実行される処理の一例の詳細を示すフローチャートである。 本発明の第一の実施形態に係るＳ５２０及びＳ５３０での画像処理内容の一例を説明する図である。 本発明の第一の実施形態に係るＳ５３０で実行される処理の一例の詳細を示すフローチャートである。 本発明の第一の実施形態に係るＳ５４０で実行される処理の一例の詳細を示すフローチャートである。 本発明の第二の実施形態に係る眼科装置１０の機能構成例を示すブロック図である。 本発明の第二の実施形態に係る眼科装置１０が実行する処理の一例を示すフローチャートである。 本発明の第二の実施形態に係るＳ１２３０で実行される処理の一例の詳細を示すフローチャートである。 本発明の第三の実施形態に係る断層像撮像装置５０の全体の構成の一例について説明する図である。 表示画面の一例を示す図である。 表示画面の一例を示す図である。 表示画面の一例を示す図である。

以下、添付図面に従って本発明に係る眼科装置及び方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。

［第１の実施形態］
本実施形態に係る眼科装置は、高倍率画像Ｄｈとして補償光学ＳＬＯ画像、低倍率画像として眼部断層像の走査位置が重畳された眼部のＳＬＯ画像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌの取得倍率の違いや高倍率画像Ｄｈの固視位置に基づき中間倍率画像Ｄｍの取得要否、取得倍率や取得位置を判定し、中間倍率画像Ｄｍを取得する。次に、取得倍率の低い画像から順に倍率の近い画像同士を両画像に共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する。

これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。

なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされている場合の画像表示例として低倍率画像Ｄｌ上に表示された眼部断層像の走査位置を高倍率画像Ｄｈ上に重畳表示する場合について説明する。

（全体構成）
図２（ａ）は本実施形態に係る眼科装置１０を含むシステムの構成図である。図２（ａ）に示すように眼科装置１０は、ＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、あるいは眼科装置１０がＳＬＯ像撮像装置２０に直接接続されている構成であってもよい。

ＳＬＯ像撮像装置２０は眼部の低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈを撮像する装置である。ＳＬＯ像撮像装置２０は低倍率画像Ｄｌや中間倍率画像Ｄｍ、高倍率画像Ｄｈを撮像し、前記低倍率画像Ｄｌや前記中間倍率画像Ｄｍ、前記高倍率画像Ｄｈ、及びその取得時に用いた固視標位置ＦｌやＦｍ、Ｆｈの情報を眼科装置１０、データサーバ４０へ送信する。

なお、ｍは倍率番号を表し、ｌ＜ｍ＜ｈとする。また、各倍率の画像を異なる位置で取得する場合にはＤｌｉ，Ｄｍｊ，Ｄｈｋのように表す。すなわちｉ，ｊ，ｋは各々取得位置番号を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘ、ｋ＝１，２，．．．，ｋｍａｘとする。

データサーバ４０は被検眼の低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ、及び取得時に用いた固視標位置Ｆｌ、Ｆｍ、Ｆｈ、画像の取得倍率ごとに観察される画像特徴を記載したリスト、サイズの大きな画像特徴が存在する確率を示すマップを保持する。ＳＬＯ像撮像装置２０が出力する低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ、画像取得時に用いた固視標位置Ｆｌ、Ｆｍ、Ｆｈを該サーバに保存する。また眼科装置１０からの要求に応じ、低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ、固視標位置Ｆｌ、Ｆｍ、Ｆｈ、画像の取得倍率ごとの画像特徴リスト、画像特徴の存在確率マップを眼科装置１０に送信する。

次に、図１を用いて本実施形態に係る眼科装置１０の機能構成を説明する。図１は眼科装置１０の機能構成を示すブロック図であり、眼科装置１０は画像取得部１１０、記憶部１２０、画像処理部１３０、指示取得部１４０を有する。

また、画像処理部１３０は決定部１３１、位置合わせ部１３２、表示部１３３を備え、決定部１３１は要否判定部１３１１、倍率決定部１３１２、位置決定部１３１３、順序決定部１３１４を有する。

図３を用いて補償光学系を備えたＳＬＯ像撮像装置２０の構成を説明する。

２０１は光源であり、ＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。本実施例では撮像と波面測定のための光源を共用しているが、それぞれを別光源とし、途中で合波する構成としても良い。

光源２０１から照射された光は、単一モード光ファイバー２０２を通って、コリメータ２０３により、平行な測定光２０５として照射される。

照射された測定光２０５はビームスプリッタからなる光分割部２０４を透過し、補償光学の光学系に導光される。

補償光学系は、光分割部２０６、波面センサー２１５、波面補正デバイス２０８および、それらに導光するための反射ミラー２０７−１〜４から構成される。ここで、反射ミラー２０７−１〜４は、少なくとも眼の瞳と波面センサー２１５、波面補正デバイス２０８とが光学的に共役関係になるように設置されている。また、光分割部２０６として、本実施例ではビームスプリッタを用いる。また、本実施例では波面補正デバイス２０８として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。

補償光学系を通過した光は、走査光学系２０９によって、１次元もしくは２次元に走査される。

走査光学系２０９として、本実施形態では主走査用（眼底水平方向）と副走査用（眼底垂直方向）に２つのガルバノスキャナーを用いた。より高速な撮影のために、走査光学系２０９の主走査側に共振スキャナーを用いてもよい。

走査光学系２０９で走査された測定光２０５は、接眼レンズ２１０−１および２１０−２を通して眼２１１に照射される。眼２１１に照射された測定光２０５は眼底で反射もしくは散乱される。接眼レンズ２１０−１および２１０−２の位置を調整することによって、眼２１１の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。

眼２１１の網膜から反射もしくは散乱された反射散乱光（戻り光）は、入射した時と同様の経路を逆向きに進行し、光分割部２０６によって一部は波面センサー２１５に反射され、光線の波面を測定するために用いられる。

波面センサー２１５は補償光学制御部２１６に接続され、受光した波面を補償光学制御部２１６に伝える。波面補正デバイス２０８も補償光学制御部２１６に接続されており、補償光学制御部２１６から指示された変調を行う。補償光学制御部２１６は波面センサー２１５の測定結果による取得された波面を基に収差のない波面へと補正するような変調量（補正量）を計算し、波面補正デバイス２０８にそのように変調するように指令する。なお、波面の測定と波面補正デバイス３０８への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。

光分割部２０６を透過した反射散乱光は光分割部２０４によって一部が反射され、コリメータ２１２、光ファイバー２１３を通して光強度センサー２１４に導光される。光強度センサー２１４で光は電気信号に変換され、制御部２１７によって眼部画像として画像に構成されて、ディスプレイ２１８に表示される。

なお、図３の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによってＳＬＯ像撮像装置２０は通常のＳＬＯ装置としても動作し、広画角なＳＬＯ画像（低倍率画像Ｄｌ）を撮像できる。

次に、図４を用いて眼科装置１０のハードウェア構成について説明する。図４において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。

眼科装置１０を構成する各ブロックの機能については、図５のフローチャートに示す眼科装置１０の具体的な実行手順と関連付けて説明する。

＜ステップ５１０＞
画像取得部１１０はＳＬＯ像撮像装置２０に対して、低倍率画像Ｄｌおよび高倍率画像Ｄｈ、固視標位置Ｆｌ及びＦｈの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Ｆｌを設定して低倍率画像Ｄｌを取得し、傍中心窩Ｆｈに固視標位置を設定して高倍率画像Ｄｈを取得する。すなわち、画像取得部１１０は異なる倍率の画像を取得する画像取得手段の一例に相当する。なお、画像取得位置の設定方法はこれに限定されず、任意の位置に設定してよい。

ＳＬＯ像撮像装置２０は該取得要求に応じて低倍率画像Ｄｌ、高倍率画像Ｄｈ、固視標位置Ｆｌ、Ｆｈを取得し送信するので、画像取得部１１０はＳＬＯ像撮像装置２０からＬＡＮ３０を介して低倍率画像Ｄｌ、高倍率画像Ｄｈ、固視標位置Ｆｌ、Ｆｈを受信する。画像取得部１１０は受信した低倍率画像Ｄｌ、高倍率画像Ｄｈ、固視標位置Ｆｌ、Ｆｈを記憶部１２０に格納する。

＜ステップ５２０＞
決定部１３１において、低倍率画像Ｄｌと高倍率画像Ｄｈとの中間の解像度を持つ中間倍率画像Ｄｍの取得に関する要否と、該中間倍率画像Ｄｍの取得が必要と判定した場合に中間倍率画像Ｄｍの倍率、取得位置、取得順序を決定する。また、決定部１３１は画像取得部１１０に対して中間倍率画像Ｄｍの取得要求を行い、画像取得部１１０が中間倍率画像Ｄｍを取得する。ここで、決定部１３１は、画像取得手段によって取得された画像または当該画像の取得条件の少なくとも一方に基づいて画像取得手段によって取得された画像間の中間の倍率を持つ画像の取得法を決定する決定手段の一例に相当する。
なお、中間倍率画像Ｄｍを取得する方法として
１）画像取得部１１０がＳＬＯ像撮像装置２０に対して中間倍率画像Ｄｍの取得を要求し、ＳＬＯ像撮像装置２０が取得した中間倍率画像Ｄｍを記憶部１２０に転送する
２）画像取得部１１０がデータサーバ４０に対して保管されている中間倍率画像Ｄｍの転送を要求し、データサーバから中間倍率画像Ｄｍを転送する
の２つがあり、本実施形態では１）の場合として説明する。

もちろん、本発明は１）の場合に限定されるものではなく、２）のように実施してもよい。

本ステップの処理については、図７に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５３０＞
位置合わせ部１３２は、低倍率画像Ｄｌと高倍率画像Ｄｈとの位置合わせを行う。Ｓ５３０において中間倍率画像Ｄｍが取得されている場合には、該中間倍率画像Ｄｍも用いて低倍率画像Ｄｌ上の高倍率画像Ｄｈの位置が決定される。ここで、位置合わせ部１３２は取得された画像を位置合わせする位置合わせ手段の一例に相当する。

本ステップの処理については、図９に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５４０＞
表示手段の一例に相当する表示部１３３は、Ｓ５３０において得られた位置合わせパラメータの値に基づき、低倍率画像Ｄｌ上に高倍率画像Ｄｈを重畳表示する。

なお本実施形態では低倍率画像Ｄｌ上に眼部断層像の走査位置情報が重畳されているので、高倍率画像Ｄｈ上に眼部断層像の走査位置情報が重畳表示できる。

本ステップの処理については、図１０に示すフローチャートを用いて後に詳しく説明する。

なお、表示部１３３は低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈが重ね合わされた画像を表示するとともに、低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈが重ね合わされた画像の拡大図および中間倍率画像Ｄｍ、高倍率画像Ｄｈが重ね合わされた画像を表示することとしてもよい。すなわち、表示部１３３は図１５に示すような表示を行うこととしてもよい。なお図１５では低倍率画像Ｄｌ上に倍率の異なる３つの画像を重ね合わせている。図１５に示すように本実施例における重ね合わせる画像の枚数は３枚に限定されるものではなく、４枚以上であってもよい。

また、表示部１３３は低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈが重ね合わされた画像および中間倍率画像Ｄｍ、高倍率画像Ｄｈが重ね合わされた画像を表示するとともに、ユーザーにより指定された高倍率画像Ｄｈを表示することとしても良い。すなわち、表示部１３３は図１６に示すような表示を行うこととしてもよい。なお図１６では低倍率画像Ｄｌ上に倍率の異なる３つの画像を重ね合わせている。

この場合、高倍率画像Ｄｈは複数枚重ね合わせた画像であっても良いし、動画であってもよい。なお、複数の画像の表示部１３３における配置は任意の配置とすることが可能である。なお、高倍率画像Ｄｈの動画と静止画とを切替可能にしてもよい。

また、断層画像の取得位置を表示可能な低倍率画像Ｄｌ上に高倍率画像Ｄｈを表示可能であるため、高倍率画像Ｄｈ上に断層画像の取得位置を表示することも可能となる。例えば、図１７に示すように高倍率画像上に断層画像の取得位置Ａを表示することが可能である。

＜ステップ５５０＞
指示取得部１４０は、低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ、固視標位置Ｆｌ、Ｆｍ、Ｆｈ、Ｓ５３０において取得された位置合わせパラメータ値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ５６０へ、保存が指示されなかった場合はＳ５７０へと処理を進める。

＜ステップ５６０＞
画像処理部１３０は、検査日時、披検眼を同定する情報、低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈと眼部特徴、固視標位置Ｆｌ、Ｆｍ、Ｆｈ、位置合わせパラメータ値を関連付けてデータサーバ４０へ送信する。

＜ステップ５７０＞
指示取得部１４０は眼科装置１０による低倍率画像Ｄｌと高倍率画像Ｄｈに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は低倍率画像Ｄｌと高倍率画像Ｄｈに関する処理を終了する。一方、処理継続の指示を取得した場合にはＳ５１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

次に図７に示すフローチャートを参照しながら、Ｓ５２０で実行される処理の詳細について説明する。

まず、低倍率画像Ｄｌと高倍率画像Ｄｈとの中間の倍率を持つ画像（中間倍率画像）Ｄｍの取得条件の種類として、取得の要否、取得倍率（画角及び画素サイズ）、取得位置及び合焦位置、取得順序が挙げられる。ただし、取得順序は中間倍率画像Ｄｍを複数取得する場合に限られる。

また、これらの各取得条件の値の設定に関しては大きく
ａ）取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
ｂ）取得倍率を任意設定可能とし、取得位置は高倍率画像Ｄｈと同じにする
の２種類が考えられる。

ａ）は取得される中間倍率画像Ｄｍの取りうる各属性の値を限定できる利点があるものの、中間倍率画像Ｄｍの取得位置が他の倍率の画像の取得位置と異なる場合には収差補正をやり直す必要が生じる。一方、ｂ）は取得位置が変わらないため中間倍率画像Ｄｍ取得のために収差補正をやり直す必要がないものの、取得される中間倍率画像Ｄｍの持つ属性値が多様に変化し得るため撮像装置制御ソフトウェアや画像管理ソフトウェアの対応が必要となる。

本実施形態ではＳＬＯ撮像装置２０がリアルタイムに収差補正を行うため、ａ）の方法を用いる。この場合、操作者によって選択された高倍率画像Ｄｈの取得倍率（画角と画素サイズ）や取得位置、合焦位置の設定に基づいて中間倍率画像Ｄｍの取得の要否、取得位置と合焦位置を自動選択する。

もちろんｂ）の方法を用いて中間倍率画像Ｄｍの取得法を決定してもよい。ｂ）の方法を用いる場合は操作者によって選択された高倍率画像Ｄｈの取得倍率（画角と画素サイズ）及び取得位置、合焦位置の設定に基づいて中間倍率画像Ｄｍの取得の要否、取得倍率（画角と画素サイズ）、合焦位置を自動選択する。

さらに、中間倍率画像Ｄｍの取得法を決定する際に用いる情報として
ｉ）眼部で一般的に観察されやすい画像特徴を取得倍率（画素サイズと画角）別に記載したリスト
ｉｉ）位置合わせに利用可能な大きな画像特徴が存在する確率を示すマップ
ｉｉｉ）低倍率画像Ｄｌ及び高倍率画像Ｄｈに対する特徴抽出結果
ｉｖ）低倍率画像Ｄｌ及び高倍率画像Ｄｈに関する画質指標値（Ｓ／Ｎ比や平均輝度値）
が考えられる。

ｉ）は取得要否判定及び取得倍率の設定に用いられる。

ｉｉ）は視神経乳頭やアーケード血管（（図６（ｃ）の高倍率画像ＤｈをＵ字型に囲む網膜血管））のような眼部のランドマークが存在する位置を多数の健常者に対して取得し存在確率として表示したマップであり、取得要否判定、取得倍率、取得位置の設定に利用できる。図８（ｅ）に該存在確率マップの右眼、（ｆ）に左眼の場合の例を示す。

ｉｉｉ）は取得要否判定、取得倍率、取得位置の設定に用いることができる。

ｉｖ）は、ｉ）もしくはｉｉ）に加えて補助的に用いることができる。例えば、画質指標値の値が閾値Ｔｑ未満の場合に強制的に中間倍率画像Ｄｍの取得が必要と判定したり、選択しうる全ての中間倍率を選択したり、取得位置の間隔を狭く設定する。本実施形態では中間倍率画像Ｄｍの取得条件のうち取得要否判定及び倍率設定をｉ）、取得位置をｉｉ）を用いて決定する。なお、ｉｉｉ）を用いる場合については実施形態２及び３で説明する。

＜ステップ７１０＞
決定部１３１は、低倍率画像Ｄｌ及び高倍率画像Ｄｈに関する属性情報を記憶部１２０より取得する。具体的には画角［μｍ］及び画素サイズ［μｍ／ｐｉｘｅｌ］、固視位置及び合焦位置、フレームレート［ｆｒａｍｅ／ｓｅｃ］及びフレーム数［ｆｒａｍｅ］、取得日時、の情報を取得する。

本実施形態では、低倍率画像Ｄｌとして画角が１２８００×６４００［μｍ］、画素サイズ１６．０×１６．０［μｍ／ｐｉｘｅｌ］、固視位置が中心窩、合焦位置は網膜外層、フレームレートは１６［ｆｒａｍｅ／ｓｅｃ］、フレーム数が１６［ｆｒａｍｅ］、取得日時が２０１１年１１月１１日１１時１１分１１秒とする。また、高倍率画像Ｄｈは画角が４００×４００［μｍ］、画素サイズ１．０×１．０［μｍ／ｐｉｘｅｌ］、固視位置が中心窩、合焦位置は網膜外層、フレームレートは３２［ｆｒａｍｅ／ｓｅｃ］、フレーム数が３２［ｆｒａｍｅ］、取得日時が２０１１年１１月１１日１１時１２分１２秒とする。

＜ステップ７２０＞
要否判定部１３１１は、中間倍率画像取得の要否判定を行う。本実施形態では、眼部で一般的に観察されやすい画像特徴を取得倍率（実際には画角と画素サイズ）別に記載した下記のリストを用いて判定する。

取得する画像の倍率（画角と画素サイズ）に関して４種類の組み合わせが選択可能であり、各々の倍率の画像においてよく観察される画像特徴が表記されている。なお、特に取得倍率の高い画像（倍率番号４）において合焦位置により観察可能な画像特徴が異なるため、網膜内層に合焦位置を設定した場合に観察される画像特徴と、網膜外層に合焦位置を設定した場合に観察される画像特徴の両方が記載されている。倍率番号１、２、３の画像については合焦位置が内層・外層どちらの場合でも観察される画像特徴は共通している。

本実施形態では合焦位置が低倍率画像Ｄｌ・高倍率画像Ｄｈとも網膜外層であるので、網膜外層に合焦位置を設定した場合に観察される画像特徴を用いる。
なお、画角や画素サイズの単位はスキャナの振り角に基づいて［ｄｅｇ］及び［ｄｅｇ／ｐｉｘｅｌ］で表記してもよいし、健常者の眼軸長（２４ｍｍ）を前提として［μｍ］及び［μｍ／ｐｉｘｅｌ］で表記してもよい。

なお一般的に、健常者において視細胞が２〜３［μｍ］、毛細血管が８〜１０［μｍ］、細めの動静脈が２０〜１００［μｍ］、アーケード血管が１００〜２００［μｍ］、視神経乳頭が１．５［ｍｍ］程度の大きさを持つとされている。

前記画像特徴リストを参照した場合に、低倍率画像Ｄｌと高倍率画像Ｄｈに共通する画像特徴がなければ中間倍率画像Ｄｍの取得が必要と判定し、該共通する画像特徴があれば中間倍率画像Ｄｍの取得は不要と判定する。本実施形態では共通する画像特徴がないため、中間倍率画像Ｄｍの取得が必要と判定する。

＜ステップ７３０＞
倍率決定部１３１２は、Ｓ７２０において中間倍率画像Ｄｍの取得が必要と判定された場合に、中間倍率画像Ｄｍの取得倍率（画角及び画素サイズ）を決定する。中間倍率画像Ｄｍの取得倍率の設定は以下の方針で行う。

ｉ）低倍率画像Ｄｌと共通する画像特徴を持つ中間倍率画像Ｄｍのうち最も高い倍率を持つ画像の倍率を第１の中間倍率、高倍率画像Ｄｈと共通する画像特徴を持つ中間倍率画像Ｄｍのうち最も低い倍率を持つ画像の倍率を第２の中間倍率とする。両中間倍率が同じであれば該共通する中間倍率を設定して本ステップを終了する。

ｉｉ）両中間倍率が異なる場合に、両中間倍率画像に共通する画像特徴が前記画像特徴リストにあれば各々を中間倍率として決定し、本ステップを終了する。

ｉｉｉ）もしｉｉ）において共通する画像特徴が前記画像特徴リストになければ、低倍率画像Ｄｌを第１の中間倍率画像、高倍率画像Ｄｈを第２の中間倍率画像、第１の中間倍率画像を第３の中間倍率画像、第２の中間倍率画像を第４の中間倍率画像と置き換えて再び上記ｉ）及びｉｉ）を実行する。

上記のような中間倍率選択の操作を、第ｎの中間倍率画像と第ｎ＋１の中間倍率画像に共通する画像特徴が含まれると判定されるまで繰り返す。なお、選択可能な中間倍率の全てを用いても上記終了条件に至らない場合には、それまでに得られた中間倍率を設定して本ステップを終了する。すなわち、決定手段の一例に相当する決定部１３１は、画像または画像の取得条件の少なくとも一方に基づいて、中間倍率画像の取得要否、取得倍率、画角、画素サイズ、取得位置、合焦位置、取得順序の少なくとも一つを決定する。

本実施形態では、低倍率画像Ｄｌ（画像特徴リスト上の倍率番号１）と共通する画像特徴（アーケード血管）を持つ第１の中間倍率画像の画角及び画素サイズとして、倍率番号２の画角と画素サイズを選択する。すなわち第１の中間倍率画像の画角及び画素サイズとして画角１６００×１６００［μｍ］と画素サイズ４．０×４．０［μｍ／ｐｉｘｅｌ］を選択する。また、高倍率画像Ｄｈ（倍率番号４）と共通する画像特徴（毛細血管）を持つ第２の中間倍率画像の画角と画素サイズとして、倍率番号３の画角と画素サイズ、すなわち画角 ８００×８００［μｍ］と画素サイズ ２．０×２．０［μｍ／ｐｉｘｅｌ］を選択する。倍率番号２と倍率番号３では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ７４０に進む。

＜ステップ７４０＞
位置決定部１３１３は、Ｓ７３０で設定された取得倍率（画角及び画素サイズ）を持つ中間倍率画像Ｄｍｊの取得位置と合焦位置を設定する。

中間倍率画像Ｄｍｊの取得位置を決定するために、本実施形態では高倍率画像Ｄｈの固位置、画角、画素サイズのデータと、位置合わせに利用可能な大きな画像特徴に関する存在確率マップを用いる。該存在確率マップは図８（ｆ）に示すように、視神経乳頭やアーケード血管のような眼部のランドマークが存在する位置を多数の健常者に対して取得し存在確率を（濃度値として）表わしたマップである。

中間倍率画像Ｄｍｊの取得位置の設定のうち、まず倍率番号２の中間倍率画像Ｄ２ｊの取得位置設定法について説明する。すなわち、高倍率画像Ｄｈの取得位置における該存在確率マップの値を調べる。該存在確率値が一定値未満（無色）の場合は高倍率画像Ｄｈの取得位置から該存在確率が高い領域（濃色）まで最も中間倍率画像Ｄ２ｊの取得枚数が少ない方向で、かつ重なる領域を一定割合持つような移動幅で取得位置を移動させ中間倍率画像Ｄ２ｊを取得する。

本実施形態では、高倍率画像Ｄｈの取得位置（傍中心窩）にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像Ｄ２ｊ同士が画像幅の１／４だけ重なる移動幅で固視位置を移動させ倍率番号２の中間倍率画像Ｄ２ｊを取得する。図８（ａ）の上下方向に並んだ複数の点線矩形領域が中間倍率画像Ｄ２ｊの取得位置を表している。

次に、倍率番号３の中間倍率画像Ｄ３の取得位置については、高倍率画像Ｄｈの取得位置と同じ位置に設定する。なぜなら、倍率番号２の中間倍率画像Ｄ２ｊの取得位置の中に高倍率画像Ｄｈの取得位置と同じ位置が含まれているためである。

また合焦位置の設定法としては、低倍率画像Ｄｌと高倍率画像Ｄｈとの合焦位置が同じであれば同じ合焦位置とし、異なっている場合は中間倍率画像Ｄｍｊの倍率数をｉ（本実施形態では２）として以下のように設定する。

すなわち、低倍率画像Ｄｌの合焦位置から（低倍率画像Ｄｌの合焦位置から高倍率画像Ｄｈの合焦位置までの距離）×１／（ｉ＋１）だけ高倍率画像Ｄｈの合焦位置側に移動させた位置を倍率番号２の中間倍率画像Ｄ２の合焦位置とする。倍率番号３の中間倍率画像Ｄ３の合焦位置は、低倍率画像Ｄｌの合焦位置から（低倍率画像Ｄｌの合焦位置から高倍率画像Ｄｈの合焦位置までの距離）×２／（ｉ＋１）だけ高倍率画像Ｄｈの合焦位置側に移動させた位置に設定する。

なお、合焦位置の設定法はこれに限定されるものではない。例えば低倍率画像Ｄｌと高倍率画像Ｄｈとの合焦位置が異なっている場合に倍率番号２・倍率番号３の両中間倍率画像とも、低倍率画像Ｄｌの合焦位置と高倍率画像Ｄｈの合焦位置との中間位置に設定してよい。あるいは、低倍率画像Ｄｌと同じ合焦位置に設定したり、高倍率画像Ｄｈと同じ合焦位置に設定してもよい。

＜ステップ７５０＞
順序決定部１３１４は、Ｓ７２０からＳ７４０で決定された中間倍率画像Ｄｍｊの取得順序を決定する。

本実施形態では、より低倍率な中間倍率画像から先に取得するものとし、かつ同じ倍率の中間倍率画像が複数枚取得される場合には、前記存在確率マップ上の値の高い領域が含まれる位置から取得開始して固視位置の近い順に取得するものとする。なお、中間倍率画像の取得順序はこれに限らず、任意の設定法を用いてよい。

次に図９に示すフローチャートを参照しながら、Ｓ５４０で実行される位置合わせ処理の詳細について説明する。なお、Ｓ５４０で実行される処理において画角番号という用語を用いて説明するが、Ｓ７２０において説明した倍率番号と同じ意味で用いる。したがって、本実施形態ではＡｉｎｉｔ＝１、Ａｍａｘ＝４である。

＜ステップ９１０＞
画像取得部１１０が取得した各動画像（低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ）から、代表画像を生成する。すなわち、異なる倍率の画像の少なくとも一方は、眼部の断層像もしくは眼部の動画像に基づいて生成された画像である。

本実施形態では、動画像のフレーム間位置合わせの際に設定された基準フレームを代表画像に設定する。基準フレームの設定法としては任意の公知の設定法を用いることができ、本実施形態では先頭番号のフレームを基準フレームに設定する。また、代表画像の生成法はこれに限らず、例えば各動画像に関する重ね合わせ画像を生成して該重ねあわせ画像を代表画像としても良い。

なおフレーム間位置あわせ手法としては任意の公知の手法を用いることができる。本実施形態では画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いてフレーム間位置合わせを行うものとする。

＜ステップ９２０＞
画角番号を初期化する。該初期値Ａｉｎｉｔは位置合わせを行う順序の設定により値が変わり得るが、本実施形態では低倍率画像Ｄｌから倍率が低い順に位置合わせを行う。すなわち、低倍率画像Ｄｌのもつ画角番号（１）をＡｉｎｉｔに代入してＳ９３０へ処理を進める。

＜ステップ９３０＞
位置合わせ部１３２は、同一倍率の画像が複数あって互いに重なる領域がある場合（図８（ｄ）の高倍率画像（実線矩形領域））に、該重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に同一倍率画像同士の位置を合わせる。

本実施形態では、倍率番号２の中間倍率画像Ｄ２ｊが異なる位置で複数取得されているため、倍率番号２の中間倍率画像Ｄ２ｊに対して同一倍率画像間位置合わせを行う。画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて同一画角画像間位置あわせを行う。

＜ステップ９４０＞
位置合わせ部１３２は、画角番号が隣接した画像同士の位置合わせを行う。

すなわち、画角番号Ａの画像と、画角番号Ａ−１の画像同士の位置あわせを行う。ただし、画角番号が初期値Ａｉｎｉｔの場合は、本ステップは省略される。

基本的に低倍率の画像から順に位置合わせを行うので、画角番号（倍率番号）が小さいものから順に位置合わせが行われる。

ここで、Ｓ９３０において位置合わせされた複数の同一倍率画像がある場合には、該複数の同一倍率画像を１つの画像とみなして位置合わせを行う。また、
同一倍率画像が複数あり、かつ独立している（取得位置が分離して互いに重なる領域がない）場合（図８（ｃ）の高倍率画像（実線矩形領域））には、該独立した画像の数だけ位置合わせ処理を行う。ただし、該独立した複数の同一倍率画像が複数の倍率にわたって存在する場合には、先に隣接倍率ごとの位置あわせを繰り返し行い、それを各固視位置ごとに実行してもよい（倍率優先の場合）。あるいは、ある隣接倍率間位置あわせを全固視位置で実行してから他の隣接倍率間位置合わせに進んでもよい（固視位置優先の場合）。

なお、画像の固視位置を位置あわせパラメータのうち並進（ｘ及びｙ）に関する初期値として用いることで位置あわせパラメータの変動範囲を削減できる。

また、例えば画質（Ｓ／Ｎ比等）が著しく低く位置あわせパラメータを変動させても画像間類似度が閾値Ｔｒを超えない場合には、位置あわせパラメータの正解値がないとみなして該固視位置に両画像を合わせてよい。

＜ステップ９５０＞
画角番号を１だけ増やし、Ｓ９６０へ処理を進める。

＜ステップ９６０＞
画角番号が最大値Ａｍａｘを超えたか否かを判定し、最大値Ａｍａｘより大きい場合にはＳ５４０に処理を進める。画角番号が最大値以下の場合にはＳ９３０に処理を戻す。

次に図１０に示すフローチャートを参照しながら、Ｓ５４０で実行される処理の詳細について説明する。

＜ステップ１０１０＞
表示部１３３は、高倍率画像Ｄｈの表示フレームを選択する。

Ｓ９１０では位置合わせに適した代表フレームを生成したが、本ステップで生成・選択する表示用の代表画像と同じ画像である場合には本ステップは省略してよい。

ここでは、観察もしくは計測対象の細胞や病変が含まれるフレーム、瞬目や固視ずれのないフレームを選択する。前者は指示取得部１４０を通じた操作者の指定により設定できる。後者はフレーム全体の輝度平均値が閾値Ｔ１以上という条件と、フレーム間位置合わせパラメータ値の変動量が閾値Ｔ２未満という条件を満たすフレームのうち先頭フレームを選択する。なお、瞬目や固視ずれの判定法は上記に限定されるものではなく、任意の公知の手法を用いてよい。

＜ステップ１０２０＞
表示部１３３は、複数の高倍率画像Ｄｈｋが取得されている場合に高倍率画像Ｄｈｋ間の濃度差を補正する。任意の公知の輝度補正法を適用でき、本実施形態では各高倍率画像ＤｈｋにおいてヒストグラムＨｋを生成し、ヒストグラムＨｋの平均と分散が高倍率画像Ｄｈｋ間で共通した値になるように各高倍率画像Ｄｈｋの輝度値を線形変換することにより濃度差を補正する。

＜ステップ１０３０＞
表示部１３３は、高倍率画像Ｄｈを動画像として低倍率画像Ｄｌ上に表示させる場合に、高倍率画像Ｄｈの再生速度を設定する。再生速度は、画像表示エリア内に再生速度調整スライダや、コマ送りボタンを配置しておき、指示取得手段１４０を通じて操作者が指定することにより調整する。

なお、複数の高倍率画像Ｄｈｋを低倍率画像Ｄｌ上に表示させる場合には脈波のような生体信号に基づく周期データを画像取得時に同時に取得しておき、該周期データを用いて各高倍率画像Ｄｈｋの再生タイミングを同期させる。

＜ステップ１０４０＞
表示部１３３は、各高倍率画像Ｄｈの表示・非表示や表示倍率を設定する。

画像の表示・非表示は、モニタ３０５に取得画像に関するリストを表示させておき、該取得画像リストの画像名付近にユーザインターフェース（以下ＵＩと表記する。本実施形態ではチェックボックスとする）を配置し、指示取得手段１４０を通じて該ＵＩ（チェックボックス）のＯＮ／ＯＦＦを操作者が指定することにより設定する。全画像を一括指定するＵＩ（チェックボックス）や、画像タイプ別の一括指定ＵＩ（チェックボックス）も用意し、多数の画像に関する表示・非表示の切り替えを容易にする。

本ステップでは、画像の表示・非表示だけでなく、高倍率画像Ｄｈｋ同士の撮影位置が近く重なり領域がある場合や、同じ固視位置で複数回撮影している場合の重なり順（表示レイヤ）の設定も行う。動画像の重なり順の設定法に関しては、手動設定も含め任意の設定法を用いることができる。本実施形態では、画像の画質指標や固視ずれ量を算出しておき、画質指標値と固視ずれ量の線形和を評価関数として最も評価値が高い画像を最前レイヤに設定して表示する。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。また、固視ずれ量としては隣接フレーム間の並進移動距離の絶対値を全フレームに渡って加算した値を用いる。なお、固視ずれを評価可能な指標であれば任意の指標を用いてよい。

表示倍率については、指示取得部１４０を通じて操作者が指定することで設定する。

＜ステップ１０５０＞
表示部１３３は、低倍率画像Ｄｌに関連付けられた眼部断層像の走査位置情報（走査線や走査範囲）を高倍率画像Ｄｈ上に重畳表示する。本実施形態では、図６（ｈ）に示すように、低倍率画像Ｄｌ上に十字型走査（クロススキャン）したＢスキャン像の走査位置と、矩形領域内を走査した３次元断層像の走査範囲が重畳されており、Ｂスキャン像の走査位置が高倍率画像上に重畳表示される。

これにより、例えば眼部断層像の走査位置付近の高倍率画像Ｄｈ上の細胞分布と、走査位置における断層像を並べて表示することで微視的な細胞の分布と、巨視的な断層像上の層形状との対応関係を比較観察できる。

なお、走査位置と高倍率画像Ｄｈとの対応関係を観察しやすくするために、表示部１３３では高倍率画像Ｄｈもしくは低倍率画像Ｄｌの透明度を指示取得部１４０を通じて操作者が調整できる。すなわち、指示取得部１４０は、低倍率画像上に表示される画像同士が互いに重なり合う関係にある場合に、画像の重なり順序、表示の可否、もしくは透明度の少なくとも一つを制御する手段の一例に相当する。

また、本実施形態では高倍率画像Ｄｈに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図６（ｆ）に示すように、網膜感度値のマップを高倍率画像Ｄｈ上に重畳表示してもよい。あるいは、図６（ｅ）に示すような眼底形状の計測値に関するマップを高倍率画像Ｄｈ上に重畳表示してもよい。また、同図（ｇ）に示すような、治療用レーザの照射位置マップを高倍率画像Ｄｈ上に重畳表示してもよい。この場合、高倍率画像Ｄｈは動画像として表示でき、レーザ照射位置と、血球の移動や血管形状の変化との関係を観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Ｄｈ上に重畳表示してもよい。すなわち、本実施例では高倍率画像上に、断層像の走査位置、レーザの照射位置、眼底形状分布、網膜感度分布の少なくとも一つを重畳表示する。

なお、本実施形態では低倍率画像Ｄｌは単一の広画角ＳＬＯ画像としたが、本発明はこれに限定されない。例えば、異なる取得位置の低倍率画像Ｄｌｉ同士を位置合わせして得られる合成画像を低倍率画像Ｄｌとし、該低倍率画像Ｄｌに対して高倍率画像Ｄｈを位置合わせしてもよい。この場合、該低倍率画像Ｄｌ上には断層像の走査位置情報が重畳されているので、高倍率画像Ｄｈ上に眼部断層像の走査位置情報を重畳表示できる。

以上述べた構成によれば、眼科装置１０は、補償光学ＳＬＯ画像と眼部断層像の走査位置が重畳された眼部のＳＬＯ画像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌとの取得倍率の違いと、高倍率画像Ｄｈの取得位置に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像Ｄｍを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する。

これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。

［第２の実施形態］
本実施形態では、高倍率画像Ｄｈとして補償光学ＳＬＯ画像、低倍率画像Ｄｌとして広画角断層像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌにおける特徴抽出結果に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像Ｄｍを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する場合について説明する。

これにより、画角や画素サイズが大きく異なる眼部断層像同士を正確に位置合わせできる。

なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされた場合の表示例として広画角断層像の走査位置を高倍率画像Ｄｈ上に重畳表示し、操作者が該走査位置を移動するのに連動して広画角断層像の表示スライスを変更する場合について説明する。

本実施形態に係る眼科装置１０と接続される機器の構成を図２（ｂ）に示す。本実施形態ではＳＬＯ像撮像装置２０に加えて、断層像撮像装置５０と接続される点が第１実施形態と異なっている。断層像撮像装置５０は眼部の断層像を撮像する装置であり、例えばタイムドメイン方式もしくはフーリエドメイン方式のＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）である。眼部断層像撮像装置５０は不図示の操作者による操作に応じ、不図示の被検眼の断層像を３次元的に撮像する。撮像した断層像は眼科装置１０へと送信される。

また、データサーバ４０は被検眼の低倍率画像Ｄｌ、中間倍率画像Ｄｍ、高倍率画像Ｄｈ、及びその取得時に用いた固視標位置Ｆｌ、Ｆｍ、Ｆｈのような取得条件データ以外に、眼部の画像特徴や眼部の画像特徴の分布に関する正常値も保持する。眼部の画像特徴として、本実施形態では視神経乳頭や網膜血管、視細胞Ｐや毛細血管Ｑ、血球Ｗを扱う。なお画像特徴としてはこれに限らず、例えば神経節細胞の軸索や篩状板孔に関する画像特徴を扱ってもよい。眼科装置１０が出力する眼部の画像特徴は該サーバに保存される。また眼科装置１０からの要求に応じて眼部の画像特徴や眼部の画像特徴の分布に関する正常値データが眼科装置１０に送信される。

次に、本実施形態に係る眼科装置１０の機能ブロックを図１１に示す。画像処理部１３０に画像特徴取得部１３４を備える点が実施形態１の場合と異なっている。

また本実施形態での画像処理フローは図１２に示す通りであり、Ｓ１２２０、Ｓ１２３０、Ｓ１２４０、Ｓ１２５０以外は実施形態１の場合と同様である。そこで、本実施形態ではＳ１２２０、Ｓ１２３０、Ｓ１２４０、Ｓ１２５０における処理のみ説明する。

＜ステップ１２２０＞
画像特徴取得部１３４は、低倍率画像Ｄｌから視神経乳頭とアーケード血管Ａを、高倍率画像Ｄｈから視細胞Ｐと毛細血管を検出する。すなわち、画像特徴取得部１３４は異なる倍率の画像から画像特徴を取得する。

まず、視神経乳頭の検出処理は以下の手順で実行される。

ｉ）健常者の視神経乳頭部をＳＬＯで取得した視神経乳頭テンプレート画像を予め用意しておき、該テンプレート画像とのテンプレートマッチングにより視神経乳頭の概略位置を検出する。

ｉｉ）ｉ）で得られた位置に可変形状モデルを配置し、変形が完了した該可変形状モデルの位置を視神経乳頭領域の境界とする。

なお、視神経乳頭の検出処理としては上記方法に限定されるものではなく、任意の公知な検出手法を用いて良い。

次に、アーケード血管の検出処理は以下の手順で実行される。すなわち、網膜血管は線状構造を有しているため、線状構造を強調するフィルタを用いて網膜血管を抽出する。具体的には、低倍率画像Ｄｌをアーケード血管の半径に相当するサイズσのガウス関数により平滑化した上でヘッセ行列に基づく線強調フィルタを適用し、閾値Ｔａにより二値化することでアーケード血管を抽出する。ただし、血管を検出する方法はこれに限らず任意の公知の手法を用いてよい。

視細胞の検出処理は１）高周波ノイズ低減処理、２）画像の二値化の手順で行われる。

１）は、例えば高倍率画像Ｄｈに対して高速フーリエ変換（ＦＦＴ）を用いて周波数変換を行い、低域通過フィルタを適用して高周波成分の信号値をカットする。該フィルタ済高倍率画像Ｄｈを逆フーリエ変換することで空間領域に戻し、高周波成分が除去された高倍率画像Ｄｈを生成する。

２）では１）で生成されたノイズ低減後の高倍率画像Ｄｈに対して閾値Ｔｂで二値化し、視細胞Ｐを検出する。

毛細血管は高倍率画像Ｄｈから以下の手順で血球成分の移動範囲として特定する。

（ａ） フレーム間位置合わせ済みの高倍率画像Ｄｈの隣接フレーム間で差分処理を行う（差分動画像を生成する）。

（ｂ） （ａ）で生成した差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（分散）を算出する
（ｃ） 前記差分動画像の各ｘ−ｙ位置において輝度分散が閾値Ｔｖ以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する
なお毛細血管の検出処理はこの方法に限定されるものではなく、任意の公知の方法を用いて良い。例えば、高倍率画像Ｄｈの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。

＜ステップ１２３０＞
決定部１３１において、低倍率画像Ｄｌと高倍率画像Ｄｈとの中間の解像度を持つ中間倍率画像Ｄｍの取得に関する要否と、該中間倍率画像Ｄｍの取得が必要と判定した場合に中間倍率画像Ｄｍの取得倍率、取得位置、取得順序を決定する。また、決定部１３１は画像取得部１１０に対して中間倍率画像Ｄｍの取得要求を行い、画像取得部１１０が中間倍率画像Ｄｍを取得する。

本ステップの処理については、図１３に示すフローチャートを用いて後に詳しく説明する。

＜ステップ１２４０＞
位置合わせ部１３２は、低倍率画像Ｄｌと高倍率画像Ｄｈとの位置合わせを行う。Ｓ１２３０において中間倍率画像Ｄｍが取得されている場合には、該中間倍率画像Ｄｍも用いて低倍率画像Ｄｌ上の高倍率画像Ｄｈの位置が決定される。ここで、位置合わせ手段の一例に相当する位置合わせ部１３２は、画像、画像の取得条件または画像特徴の少なくとも一つに基づいて前記画像の位置合わせを行う順序を決定する。

本ステップの処理は基本的に実施形態１の場合と同様に行う。ただし、Ｓ１２２０にて低倍率画像Ｄｌ及び高倍率画像Ｄｈに対して特徴抽出が行われており、さらに中間倍率画像Ｄｍに対しても特徴抽出が行われている場合には位置合わせの評価関数に該特徴量を用いてよい。特徴ベースの位置合わせでは、画素値ベースの位置合わせよりさらに高速に位置合わせを実行できる。

＜ステップ１２５０＞
表示部１３３は、Ｓ１２４０において得られた位置合わせパラメータ値に基づき、図６（ｈ）に示すように低倍率画像Ｄｌ上に高倍率画像Ｄｈを重畳表示する。本実施形態において低倍率画像Ｄｌは３次元断層像であるため、実際には低倍率画像Ｄｌのｚ軸方向の投影画像（平均値投影画像）を生成し、該投影画像上に高倍率画像Ｄｈを重畳表示する。なお本実施形態では低倍率画像Ｄｌ上の特定の走査位置を該投影画像上に十字型の矢印で表示し、各矢印の位置で切り出した断層像を、（高倍率画像Ｄｈと該投影画像との）重畳画像と並べて表示させる。

該投影画像に断層像の走査位置情報が重畳されているため、高倍率画像Ｄｈ上に眼部断層像の走査位置情報が重畳表示される。さらに指示取得部１４０を通じて操作者が、表示されている断層像の位置を示す矢印を（上下もしくは左右に）動かすことができるので、該操作に連動して切り出される（表示される）断層像も変化する。

なお、上記投影画像を生成する方法としては平均値投影に限らず、任意の投影法を用いてよい。例えば最大値投影（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ；ＭＩＰ）でもよい。あるいは画像特徴取得部１３４において層境界を取得しておき、特定の層境界間に限定して投影することで特定の組織や病変に関する投影像を生成してもよい。

また、高倍率画像Ｄｈは静止画に限定されるものではなく、動画像でもよい。

さらに、本実施形態では高倍率画像Ｄｈに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図６（ｆ）に示すように、
網膜感度値のマップを高倍率画像Ｄｈ上に重畳表示してもよい。あるいは、図６（ｅ）に示すような眼底形状の計測値に関するマップを高倍率画像Ｄｈ上に重畳表示してもよい。また、同図（ｇ）に示すような、治療用レーザの照射位置マップを高倍率画像Ｄｈ上に重畳表示してもよい。この場合、高倍率画像Ｄｈは動画像として表示でき、レーザ照射位置と、血球の移動や血管形状の変化との関係を観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Ｄｈ上に重畳表示してもよい。

次に図１３に示すフローチャートを参照しながら、Ｓ１２３０で実行される処理の詳細について説明する。

＜ステップ１３１０＞
決定部１３１は、画像特徴取得部１３４がＳ１２２０で取得した眼部の画像特徴と、属性情報を記憶部１２０より取得する。

すなわち、低倍率画像Ｄｌに関する画像特徴として視神経乳頭及びアーケード血管領域、高倍率画像Ｄｈに関する画像特徴として視細胞Ｐ及び毛細血管領域を取得する。

また、属性情報として低倍率画像Ｄｌ及び高倍率画像Ｄｈに関して、画角［μｍ］及び画素サイズ［μｍ／ｐｉｘｅｌ］、固視位置及び合焦位置、フレームレート［ｆｒａｍｅ／ｓｅｃ］及びフレーム数［ｆｒａｍｅ］、取得日時、の情報を取得する。なお、具体的な属性情報は実施形態１の場合と同様であるので省略する。

＜ステップ１３２０＞
要否判定部１３１１は、中間倍率画像取得の要否判定を行う。本実施形態では、Ｓ１３１０で取得された低倍率画像Ｄｌの画像特徴と高倍率画像Ｄｈの画像特徴との間で共通する画像特徴がなければ中間倍率画像Ｄｍの取得が必要と判定し、共通する画像特徴があれば中間倍率画像Ｄｍの取得は不要と判定する。

本実施形態では、共通する画像がないため、中間倍率画像Ｄｍの取得が必要と判定する。

なお本ステップにおける処理を高速化するため第１実施形態の場合と同様に、取得画像の倍率ごとによく観察される画像特徴に関するリストを用いて中間倍率画像取得の要否を判定しても良い。

＜ステップ１３３０＞
倍率決定部１３１２は、Ｓ１３２０において中間倍率画像Ｄｍの取得が必要と判定された場合に、中間倍率画像Ｄｍの倍率（画角及び画素サイズ）の設定を行う。

中間倍率画像Ｄｍの倍率の設定は基本的に第１実施形態におけるＳ７３０の場合と同様であるが、以下の２点が異なる。

まずＳ７３０のｉ）において、該画像特徴リスト上で低倍率画像Ｄｌと共通する画像特徴を持つ中間倍率画像Ｄｍのうち最も高い倍率の画像に対して特徴抽出を行い、該リスト上に記載された画像特徴が抽出されれば第１の中間倍率とする。もし該画像特徴が抽出されなかった場合は（該画像特徴が抽出されるまで）より倍率の低い中間倍率画像を選択し、同様の判定処理を行って第１の中間倍率を設定する。もし選択可能な（該リスト上で低倍率画像Ｄｌと共通する画像特徴を持つ）中間倍率画像の全てを用いても画像特徴が抽出されない場合には、最も低倍率画像の倍率に近い中間倍率画像の倍率を第１の中間倍率として設定する。

また、高倍率画像Ｄｈと共通する画像特徴を持つ中間倍率画像Ｄｍのうち最も低い倍率の画像に対しても同様に特徴抽出を行い、前記画像特徴リスト上に記載された画像特徴が抽出されれば第２の中間倍率とする。もし該画像特徴が抽出されなかった場合は（該画像特徴が抽出されるまで）より倍率の高い中間倍率画像を選択し、同様の判定処理を行って第２の中間倍率を設定する。もし選択可能な（該画像特徴リスト上で高倍率画像Ｄｈと共通する画像特徴を持つ）中間倍率画像Ｄｍの全てを用いても画像特徴が抽出されない場合には、最も高倍率画像の倍率に近い中間倍率画像の倍率を第２の中間倍率として設定する。

次に、Ｓ７３０のｉｉ）において、両中間倍率画像に共通する画像特徴が前記画像特徴リストにあるか調べるかわりに両中間倍率画像に対して特徴抽出を行い、共通する画像特徴が存在すれば各々の中間倍率画像が持つ倍率を中間倍率として設定する。

本実施形態では、低倍率画像Ｄｌ（画像特徴リスト上の倍率番号１）と共通する画像特徴（アーケード血管）を持つ第１の中間倍率画像の画角及び画素サイズとして、倍率番号２の画角と画素サイズを選択する。すなわち画角１６００×１６００［μｍ］と画素サイズ４．０×４．０［μｍ／ｐｉｘｅｌ］を該第１の中間倍率画像として選択し、Ｓ１２２０と同様に線状構造強調フィルタを用いてアーケード血管や細い動静脈を抽出する。また、高倍率画像Ｄｈ（倍率番号４）と共通する画像特徴（毛細血管）を持つ第２の中間倍率画像の画角と画素サイズとして、倍率番号３の画角と画素サイズを選択する。すなわち画角８００×８００［μｍ］と画素サイズ ２．０×２．０［μｍ／ｐｉｘｅｌ］を該第２の中間倍率画像として選択し、Ｓ１２２０と同様に線状構造強調フィルタを用いて毛細血管や細い動静脈を抽出する。倍率番号２と倍率番号３では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ１３４０に進む。

上記のように決定手段の一例に相当する決定部１３１は画像特徴に基づき前記中間倍率画像の取得法を決定する。

なお、本ステップにおいて特徴抽出処理は必須要件ではなく、本ステップの処理を高速に行うために実施形態１と同じ方法で中間倍率画像Ｄｍの倍率（画角及び画素サイズ）の設定を行ってもよい。

＜ステップ１３４０＞
位置決定部１３１３は、Ｓ１３３０で設定された倍率（画角及び画素サイズ）を持つ中間倍率画像Ｄｍｊの取得位置と合焦位置を設定する。

中間倍率画像Ｄｍｊの取得位置を決定するために、本実施形態ではＳ１３１０で取得された高倍率画像Ｄｈの固視位置、画角、画素サイズのデータと低倍率画像Ｄｌの画像特徴を用いる。

中間倍率画像Ｄｍｊの取得位置の設定のうち、まず倍率番号２の中間倍率画像Ｄ２ｊの取得位置設定法について説明する。すなわち、高倍率画像Ｄｈの取得位置における低倍率画像Ｄｌ上の画像特徴の有無を調べる。該画像特徴が存在しない場合は高倍率画像Ｄｈの取得位置から該画像特徴が存在する領域まで最も中間倍率画像Ｄ２ｊの取得枚数が少ない方向で、かつ中間倍率画像Ｄ２ｊ同士が重なる領域を一定割合持つ移動幅で取得位置を移動させ中間倍率画像Ｄ２ｊを取得する。

本実施形態では、高倍率画像Ｄｈの取得位置（傍中心窩）にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像Ｄ２ｊ同士が画像幅の１／４だけ重なる移動幅で固視位置を移動させ倍率番号２の中間倍率画像Ｄ２ｊを取得する。図８（ａ）において、上下方向に並んだ複数の点線矩形領域が中間倍率画像Ｄ２ｊを表わしている。

次に、倍率番号３の中間倍率画像Ｄ３の取得位置については、実施形態１の場合と同様に、高倍率画像Ｄｈの取得位置と同じ位置に設定する。

また合焦位置の設定法については高倍率画像Ｄｈの合焦位置と同じ位置に設定する。ただし、合焦位置の設定法はこれに限定されず、任意の方法を用いてよい。

＜ステップ１３５０＞
順序決定部１３１４は、Ｓ１３２０からＳ１３４０で決定された中間倍率画像Ｄｍｊの取得順序を決定する。

本実施形態では、より低倍率な中間倍率画像から先に取得するものとし、かつ同じ倍率の中間倍率画像が複数枚取得される場合には、サイズの大きな画像特徴が含まれる位置から開始して固視位置の近い順に取得するものとする。なお、中間倍率画像の取得順序はこれに限らず、任意の設定法を用いてよい。

また、本実施形態では中間倍率画像の取得方法を第１実施形態と同様に
ａ）取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
（図８（ａ））という方針で決定したが、それに限定されるものではない。
例えば、第１実施形態のｂ）で説明した
ｂ）取得倍率を任意設定可能とし、取得位置は高倍率画像Ｄｈと同じにする
（図８（ｂ））という方針で決定してもよい。ｂ）の方法を用いる場合は操作者によって選択された高倍率画像Ｄｈの取得倍率（画角と画素サイズ）及び取得位置、合焦位置の設定に基づいて中間倍率画像Ｄｍの取得要否、取得倍率、合焦位置を自動選択する。

以上述べた構成によれば、眼科装置１０は、補償光学ＳＬＯ画像と広画角断層像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌにおける特徴抽出結果に基づいて中間倍率画像Ｄｍの取得要否・取得倍率・取得位置を判定し、中間倍率画像を取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する。

これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。

［第３の実施形態］
本実施形態では、高倍率画像Ｄｈとして補償光学断層像、低倍率画像Ｄｌとして広画角断層像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌにおける特徴抽出結果に基づいて中間倍率画像Ｄｍの取得要否・取得倍率・取得位置を判定し、中間倍率画像Ｄｍを取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する場合について説明する。

これにより、画角や画素サイズが大きく異なる眼部断層像同士を正確に位置合わせできる。

なお、本実施形態では画角や画素サイズが大きく異なる眼部画像同士が位置合わせされている場合の画像表示例として広画角断層像の走査位置を高倍率画像Ｄｈ上に重畳表示する。

本実施形態に係る眼科装置１０と接続される機器の構成を図２（ｃ）に示す。本実施形態では補償光学系を備えた断層像撮像装置５０と接続される点が第１実施形態と異なっている。なお、本実施形態に係る画像処理装置１０の機能ブロック図は第２の実施形態と同様であるため、説明を省略する。

また、データサーバ４０は実施形態２の場合と同様に、眼部の画像特徴や眼部の画像特徴の分布に関する正常値データも保持しているものとする。

次に、図１４を用いて補償光学系を備えた断層像撮像装置５０の構成を説明する。図１４において、２０１は光源であり、本実施例では波長８４０ｎｍのＳＬＤ光源を用いる。光源２０１は低干渉性のものであれば良く、波長幅３０ｎｍ以上のＳＬＤ光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源２０１から照射された光は、単一モード光ファイバー２０２を通って、ファイバーカプラー５２０まで導光される。ファイバーカプラー５２０によって、測定光経路５２１と参照光経路５２２に分岐される。ファイバーカプラーは１０：９０の分岐比のものを使用し、投入光量の１０％が測定光経路５２１に行くように構成する。測定光経路５２１を通った光は、コリメータ２０３により、平行な測定光として照射される。コリメータ２０３以降の構成は実施形態１と同様であり、補償光学系や走査光学系を通して眼２１１に照射し、眼２１１からの反射散乱光は再度同様の経路をたどって光ファイバー５２１に導光されてファイバーカプラー５２０に到達する。一方、参照光経路５２２を通った参照光はコリメータ５２３で出射され、光路長可変部５２４で反射して再度ファイバーカプラー５２０に戻る。ファイバーカプラー５２０に到達した測定光と参照光は合波され、光ファイバー５２５を通して分光器５２６に導光される。分光器５２６によって分光された干渉光情報をもとに、制御部２１７によって眼部の断層像が構成される。制御部２１７は光路長可変部５２４を制御し、所望の深さ位置の画像を取得できる。

なお、図１４の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによって断層像撮像装置５０は通常の断層像撮像装置としても動作し、広画角な断層像（低倍率画像Ｄｌ）を撮像できる。

また、本実施形態では補償光学系を備えた断層像撮像装置５０はＳＤ−ＯＣＴ（Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）として構成しているが、ＳＤ−ＯＣＴであることが必須の要件ではない。例えば、ＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）として構成してもよい。ＳＳ−ＯＣＴの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、ＳＳ−ＯＣＴでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。

本実施形態に係る眼科装置１０の画像処理フローは第２実施形態の場合と同様であり、Ｓ１２２０、Ｓ１２３０、Ｓ１２４０、Ｓ１２５０以外は実施形態２の場合と同様である。そこで、本実施形態ではＳ１２２０、Ｓ１２３０、Ｓ１２４０、Ｓ１２５０における処理のみ説明する。

＜ステップ１２２０＞
画像特徴取得部１３４は、記憶部１２０に格納された低倍率画像Ｄｌ、すなわち３次元の眼部断層像から、画像特徴として、内境界膜、視神経線維層境界、神経節細胞層境界、内網状層境界、外網状層境界、視細胞内節外節境界、網膜色素上皮境界、視神経乳頭部、中心窩、網膜血管を抽出する。ただし、網膜血管領域はｘ−ｙ平面に投影された領域として特定する。そして、抽出した画像特徴のうち図６（ａ）に示すように、内境界膜Ｂ１、内網状層境界Ｂ４、視細胞内節外節境界Ｂ５、網膜色素上皮境界Ｂ６及び中心窩Ｆ１を取得する。また、取得した各々の画像特徴を記憶部１２０に格納する。

ここで、低倍率画像Ｄｌに対する特徴抽出手順を具体的に説明する。

はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である３次元断層像を２次元断層像（Ｂスキャン像）の集合と考え、各２次元断層像に対して以下の処理を行う。まず、着目する２次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に２次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、該抽出した候補から１番上の線分を内境界膜Ｂ１、上から２番目の線分を神経線維層境界Ｂ２、３番目の線分を内網状層境界Ｂ４として抽出する。また、内境界膜Ｂ１よりも外層側（図６（ａ）において、ｚ座標が大きい側）にあるコントラスト最大の線分を視細胞内節外節境界Ｂ５として抽出する。さらに、該層境界候補群のうち一番下の線分を網膜色素上皮境界Ｂ６として抽出する。なお、これらの線分を初期値としてＳｎａｋｅｓやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。なお、可変形状モデルやグラフカットを用いた境界抽出は、３次元断層像に対し３次元的に実行してもよいし、各々の２次元断層像に対し２次元的に実行してもよい。また、層の境界を抽出する方法は、眼部の断層像から層の境界を抽出可能な方法であれば、いずれの方法を用いてもよいことはいうまでもない。

眼部断層像から層の境界を抽出した後、更に、当該抽出した内境界膜Ｂ１の形状から陥凹の深い順に２か所の陥凹部を検出することにより、視神経乳頭部と中心窩を抽出する。ここではより陥凹の浅い方を中心窩として、陥凹の深い方を視神経乳頭部として抽出する。

さらに、低倍率画像Ｄｌ（眼部断層像）を深度方向（ｚ軸方向）に投影した画像に対して、線状構造を強調するフィルタを適用することによってｘ−ｙ平面上の血管領域を特定する。

次に、高倍率画像Ｄｈ、すなわち３次元の補償光学断層像から、画像特徴として毛細血管と視細胞を抽出する。

毛細血管領域は、補償光学断層像のｚ軸方向に関する平均値投影像に対して線状構造を強調するフィルタを適用することにより抽出する。ただし、血管抽出処理は任意の公知の手法を用いることができ、例えば閾値Ｔ３未満の領域を抽出してもよい。

また視細胞は該補償光学断層像を視細胞内節外節境界（ＩＳ／ＯＳ）もしくは視細胞内節外節境界のやや外層側（ｚ軸の正の方向）に沿って切り出した曲断面画像上で実施形態２のＳ１２２０と同様な手順で抽出するものとする。

＜ステップ１２３０＞
決定部１３１において、低倍率画像Ｄｌと高倍率画像Ｄｈとの中間の解像度を持つ中間倍率画像Ｄｍｊの取得に関する要否と、該中間倍率画像Ｄｍｊの取得が必要と判定した場合に中間倍率画像Ｄｍｊの取得倍率、取得位置、取得順序を決定する。また、決定部１３１は画像取得部１１０に対して中間倍率画像Ｄｍの取得要求を行い、画像取得部１１０が中間倍率画像Ｄｍを取得する。

なお、中間倍率画像Ｄｍを取得する方法として
１）画像取得部１１０が断層像撮像装置５０に対して中間倍率画像Ｄｍの取得を要求し、断層像撮像装置５０が取得した中間倍率画像Ｄｍを記憶部１２０に転送する
２）画像取得部１１０がデータサーバ４０に対して保管されている中間倍率画像Ｄｍの転送を要求し、データサーバから中間倍率画像Ｄｍを転送する
の２つがあり、本実施形態では１）の場合として説明する。

もちろん、本発明は１）の場合に限定されるものではなく、２）のように実施してもよい。

本ステップの処理については、図１３に示すフローチャートを用いて後に詳しく説明する。

＜ステップ１２４０＞
位置合わせ部１３２は、低倍率画像Ｄｌと高倍率画像Ｄｈとの位置合わせを行う。Ｓ１２３０において中間倍率画像Ｄｍｊが取得されている場合には、該中間倍率画像Ｄｍｊも用いて低倍率画像Ｄｌ上の高倍率画像Ｄｈの位置が決定される。

本ステップの処理は基本的に実施形態２の場合と同様であるが、低倍率画像Ｄｌと高倍率Ｄｈとも３次元画像であり代表画像生成ステップが不要である点、類似度評価関数として３次元の相関係数を用い座標変換法として３次元Ａｆｆｉｎｅ変換を用いる点が異なる。なお、類似度評価関数や座標変換法はこれに限定されるものではなく、任意の公知の手法を用いてよい。

また、Ｓ１２２０にて低倍率画像Ｄｌ及び高倍率画像Ｄｈに対して特徴抽出が行われており、さらに中間倍率画像Ｄｍに対しても特徴抽出が行われている場合には位置合わせの評価関数に該特徴量を用いてよい。特徴ベースの位置合わせでは、画素値ベースの位置合わせよりさらに高速に位置合わせを実行できる。

＜ステップ１２５０＞
表示部１３３は、Ｓ１２４０において得られた位置合わせパラメータの値に基づき、図６（ｈ）に示すように低倍率画像Ｄｌ上に高倍率画像Ｄｈを重畳表示する。本実施形態において低倍率画像Ｄｌ及び高倍率画像Ｄｈはともに３次元断層像であるため、実際にはｚ軸方向に関し低倍率画像Ｄｌと高倍率画像Ｄｈの投影画像（平均値投影画像）を生成し、低倍率画像Ｄｌの投影画像上に高倍率画像Ｄｈの投影画像を重畳表示する。

なお本実施形態では低倍率画像Ｄｌ上の特定の走査位置を低倍率画像Ｄｌの投影画像上に十字型の矢印で表示し、各矢印の位置で切り出した断層像を、図６（ｈ）のような重畳画像と並べて表示させる。横（ｘ軸）方向の矢印の位置で切り出した広画角断層像の例を図８（ｈ）に示す。図８（ｈ）では、低倍率画像の断層像だけでなく、高倍率画像とｙ軸方向の走査線の位置も重畳表示される。ただし、図８（ｈ）では説明の簡便性のため広画角断層像のうち、中心窩に近い領域のみ表示している。

本実施形態では、図６（ｈ）に示すように高倍率画像Ｄｈ上に眼部断層像の走査位置情報が重畳表示される。さらに指示取得部１４０を通じて操作者が、図６（ｈ）の断層像の表示位置を示す矢印を（上下もしくは左右に）動かすことができるので、該操作に連動して切り出される（表示される）低倍率画像Ｄｌ及び高倍率画像Ｄｈの表示スライスも変化する。

また、図８（ｄ）に示すように固視位置の異なる高倍率画像Ｄｈが複数取得されている場合には、第１実施形態の場合と同様の方法を用いて、高倍率画像Ｄｈｋ間で輝度特性が類似するような調整を行う。すなわち、各画像が類似した輝度特性を持つように輝度調整して低倍率画像上に表示する。さらに、高倍率画像Ｄｈｋ同士の撮影位置が近く重なりがある場合（撮影位置が同一である場合も含む）には、重なっている領域の表示法を以下のいずれかに設定する。すなわち、画像の画質指標値を算出しておき、最も評価値が高い画像を表示させるか、各高倍率画像Ｄｈｋを半透明表示させて輝度をブレンディングする。ここで画質指標値は任意の公知の指標を用いることができ、本実施形態では画像ヒストグラムの平均輝度値を用いる。

なお、上記投影画像を生成する方法としては平均値投影に限らず、任意の投影法を用いてよい。例えば最大値投影（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ；ＭＩＰ）でもよい。あるいは画像特徴取得部１３４において層境界を取得しておき、特定の層境界間に限定して投影することで特定の組織や病変に関する投影像を生成してもよい。

また、高倍率画像Ｄｈは静止画に限定されるものではなく、動画像でもよい。

さらに、本実施形態では高倍率画像Ｄｈに重畳する情報を眼部断層像の走査位置としたが、これに限定されるものではない。例えば、図６（ｆ）に示すように、 網膜感度値のマップを高倍率画像Ｄｈ上に重畳表示してもよい。あるいは、図６（ｅ）に示すような眼底形状の計測値に関するマップを高倍率画像Ｄｈ上に重畳表示してもよい。また、同図（ｇ）に示すような、治療用レーザの照射位置マップを高倍率画像Ｄｈ上に重畳表示してもよい。この場合、レーザ照射位置と、血管病変を含む血管の分布を一覧して観察できる。さらに、上記各マップのうちの複数の情報を組み合わせて高倍率画像Ｄｈ上に重畳表示してもよい。

次に図１３に示すフローチャートを参照しながら、Ｓ１２３０で実行される処理の詳細について説明する。なお、ステップ１３５０については実施形態２の場合と同様であるので、説明は省略する。

＜ステップ１３１０＞
決定部１３１は、画像特徴取得部１３４がＳ１２２０で取得した眼部の画像特徴と、属性情報を記憶部１２０より取得する。

すなわち、低倍率画像Ｄｌに関する画像特徴として視神経乳頭及びアーケード血管領域、高倍率画像Ｄｈに関する画像特徴として視細胞Ｐ及び毛細血管領域を取得する。

また、属性情報として低倍率画像Ｄｌ及び高倍率画像Ｄｈに関して、画角［μｍ］及び画素サイズ［μｍ／ｐｉｘｅｌ］、固視位置及びコヒーレンスゲート位置、フレームレート［ｆｒａｍｅ／ｓｅｃ］及びフレーム数［ｆｒａｍｅ］、取得日時、の情報を取得する。

本実施形態では、低倍率画像Ｄｌとして画角が１２８００×６４００×１６００［μｍ］、画素サイズ２０．０×２０．０×５．０［μｍ／ｐｉｘｅｌ］、固視位置が中心窩、コヒーレンスゲート位置は網膜内層、取得日時が２０１１年１１月１１日１１時１１分１１秒とする。また、高倍率画像Ｄｈは画角が４００×４００×４００［μｍ］、画素サイズ１．０×１．０×１．０［μｍ／ｐｉｘｅｌ］、固視位置が傍中心窩、コヒーレンスゲート位置は網膜内層、取得日時が２０１１年１１月１１日１１時１２分１２秒とする。

＜ステップ１３２０＞
要否判定部１３１１は、中間倍率画像取得の要否判定を行う。本実施形態では、Ｓ１３１０で取得された低倍率画像Ｄｌの画像特徴と高倍率画像Ｄｈの画像特徴との間で共通する画像特徴がなければ中間倍率画像Ｄｍの取得が必要と判定し、共通する画像特徴があれば中間倍率画像Ｄｍの取得は不要と判定する。

本実施形態では、共通する画像がないため、中間倍率画像Ｄｍの取得が必要と判定する。

なお本ステップにおける処理を高速化するため以下に示すような、取得画像の倍率ごとによく観察される画像特徴の種類に関するリストを用いて中間倍率画像取得の要否を判定しても良い。

なお、上記画像特徴リストは断層像撮像装置５０としてＳＤ−ＯＣＴを用いる場合であり、もしＳＳ−ＯＣＴを用いる場合には、網膜だけでなく脈絡膜も取得範囲に入るので、中間倍率画像Ｄｍの取得条件設定の際に以下のような画像特徴リストを用いる。下記画像特徴リストにおいて、深度方向の取得位置に応じて画像特徴が分けて表記されている。倍率番号１の場合は取得範囲が網膜・脈略膜の双方を含んでいるため画像特徴は共通である。

＜ステップ１３３０＞
倍率決定部１３１２は、Ｓ１３２０において中間倍率画像Ｄｍの取得が必要と判定された場合に、中間倍率画像Ｄｍの倍率（画角及び画素サイズ）の設定を行う。

中間倍率画像Ｄｍの倍率の設定は基本的に第２実施形態におけるＳ１３３０の場合と同様であるが、ｚ軸方向の画角及び画素サイズの設定を含む点が異なっている。

本実施形態では、低倍率画像Ｄｌ（画像特徴リスト上の倍率番号１）と共通する画像特徴（アーケード血管）を持つ第１の中間倍率画像の画角及び画素サイズとして、倍率番号２の画角と画素サイズを選択する。すなわち画角１６００×１６００×１６００［μｍ］と画素サイズ４．０×４．０×４．０［μｍ／ｐｉｘｅｌ］を該第１の中間倍率画像として選択し、ｚ軸方向に投影した画像に対しＳ１２２０と同様に線状構造強調フィルタを適用しアーケード血管や細い動静脈を抽出する。また、高倍率画像Ｄｈ（倍率番号４）と共通する画像特徴（毛細血管）を持つ第２の中間倍率画像の画角と画素サイズとして、倍率番号３の画角と画素サイズを選択する。すなわち画角 ８００×８００×８００［μｍ］と画素サイズ ２．０×２．０×２．０［μｍ／ｐｉｘｅｌ］を該第２の中間倍率画像として選択し、ｚ軸方向に投影した画像に対しＳ１２２０と同様に線状構造強調フィルタを適用して毛細血管や細い動静脈を抽出する。倍率番号２と倍率番号３では共通する画像特徴が存在するため、両倍率を中間倍率として設定しステップ１３４０に進む。

なお、本ステップにおいて特徴抽出処理は必須要件ではなく、本ステップの処理を高速に行うためにＳ１３２０で示した画像特徴リストを用いて（実施形態１と同様に）中間倍率画像Ｄｍの倍率（画角及び画素サイズ）の設定を行ってもよい。

＜ステップ１３４０＞
位置決定部１３１３は、Ｓ１３３０で設定された倍率（画角及び画素サイズ）を持つ中間倍率画像Ｄｍｊの取得位置とコヒーレンスゲート位置を設定する。ただし、本実施形態では断層像撮像装置５０はＳＤ−ＯＣＴとして構成されているため、各倍率の画像ともｚ軸方向に関しては網膜が撮像されており深度方向の取得位置は各倍率とも同じ位置（網膜全体）を取得するものとする。

まず中間倍率画像Ｄｍｊの取得位置を決定するために、本実施形態ではＳ１３１０で取得された高倍率画像Ｄｈの固視位置、画角、画素サイズのデータと低倍率画像Ｄｌの画像特徴を用いる。

中間倍率画像Ｄｍｊの取得位置の設定のうち、まず倍率番号２の中間倍率画像Ｄ２ｊの取得位置設定法について説明する。すなわち、高倍率画像Ｄｈの取得位置における低倍率画像Ｄｌ上の画像特徴の有無を調べる。該画像特徴が存在しない場合は高倍率画像Ｄｈの取得位置から該画像特徴が存在する領域まで最も中間倍率画像Ｄ２ｊの取得枚数が少ない方向で、かつ中間倍率画像Ｄ２ｊ同士が重なる領域を一定割合持つ移動幅で取得位置を移動させ中間倍率画像Ｄ２ｊを取得する。

本実施形態では、高倍率画像Ｄｈの取得位置（傍中心窩）にアーケード血管が存在しないため、該血管領域を含むように上下方向に、かつ中間倍率画像Ｄ２ｊ同士が画像幅の１／４だけ重なる移動幅で固視位置を移動させ倍率番号２の中間倍率画像Ｄ２ｊを取得する。図８（ａ）の上下方向に並んだ複数の点線矩形領域が本実施形態における中間倍率画像Ｄ２ｊを表わしている。

次に、倍率番号３の中間倍率画像Ｄ３の取得位置については、実施形態１の場合と同様に、高倍率画像Ｄｈの取得位置と同じ位置に設定する。

またコヒーレンスゲート位置の設定法としては、低倍率画像Ｄｌと高倍率画像Ｄｈとのコヒーレンスゲート位置が同じであれば同じコヒーレンスゲート位置とする。該両画像でコヒーレンスゲート位置が異なっている場合は各中間倍率画像とも、低倍率画像Ｄｌのコヒーレンスゲート位置と高倍率画像Ｄｈのコヒーレンスゲート位置との中間位置に設定する。本実施形態では、コヒーレンスゲートが低倍率画像Ｄｌ・高倍率画像Ｄｈとも網膜内層に設定されているので、各中間倍率画像ともコヒーレンスゲートは網膜内層に設定される。なお、コヒーレンスゲートの設定法はこれに限定されるものではなく、低倍率画像Ｄｌと同じコヒーレンスゲート位置に設定したり、あるいは高倍率画像Ｄｈと同じコヒーレンスゲート位置に設定してもよい。

なお、本実施形態では眼部断層像としてＳＤ−ＯＣＴの場合、かつ網膜厚が正常な場合を念頭において説明したが、ＳＳ−ＯＣＴの場合には図８（ｇ）に示すように眼部断層像が高深達、すなわち網膜だけでなく更に深い位置に存在する脈絡膜も画像中に含まれる。このような高深達画像に対しては、ｘ−ｙ平面内の位置だけでなくｚ軸方向の取得位置も変化させて中間倍率画像の取得位置を設定する。図８（ｇ）においては、高倍率画像Ｄｈの取得位置が脈絡膜であるため、画像特徴リストを参照して中間倍率画像Ｄｍのｚ軸方向の取得位置を脈絡膜付近に設定する。あるいは、網膜が黄斑浮腫等の疾病の影響で厚みが増している場合にも同様に、高倍率画像Ｄｈのｚ軸方向の取得位置に対して中間倍率画像Ｄｍのｚ軸方向の取得位置を一定距離ずつ高倍率画像Ｄｈの取得位置側に移動させて中間倍率画像Ｄｍを取得する。

また、本実施形態では中間倍率画像の取得方法を第１実施形態と同様に
ａ）取得倍率を固定もしくは選択式とし、取得位置を任意設定可能にする
（図８（ａ））という方針で決定したが、それに限定されるものではない。

例えば、第１実施形態のｂ）で説明した
ｂ）取得倍率を任意設定可能とし、取得位置は高倍率画像Ｄｈと同じにする
（図８（ｂ））という方針で決定してもよい。ｂ）の方法を用いる場合は操作者によって選択された高倍率画像Ｄｈの取得倍率（画角と画素サイズ）及び取得位置、合焦位置の設定に基づいて中間倍率画像Ｄｍの取得要否、取得倍率、合焦位置を自動選択する。

以上述べた構成によれば、眼科装置１０は、補償光学断層像と広画角断層像を取得する。高倍率画像Ｄｈと低倍率画像Ｄｌにおける特徴抽出結果に基づいて中間倍率画像の取得要否・取得倍率・取得位置を判定し、中間倍率画像を取得する。次に、倍率の低い画像から順に倍率の近い画像同士を共通する画像特徴に基づき位置合わせすることで低倍率画像Ｄｌ上の高倍率画像Ｄｈの相対位置を決定する
これにより、画角や画素サイズが大きく異なる眼部画像同士を正確に位置合わせできる。

［その他の実施形態］
上述の実施形態では位置合わせ対象画像をＳＬＯ画像や眼部断層像として実現したが、本発明の実施形態はこれに限定されない。例えば、低倍率画像Ｄｌを眼底カメラ画像、高倍率画像Ｄｈを補償光学眼底カメラ画像として実現してもよい。また、低倍率画像Ｄｌを広画角ＳＬＯ画像、高倍率画像Ｄｈを補償光学断層像の投影像のようにモダリティの異なる画像として実現してもよい。また、補償光学ＳＬＯ像撮像装置２０と断層像撮像装置５０との複合機と、眼科装置１０が直接接続された構成として実現してもよい。

さらに、上述の実施形態では本発明を眼科装置として実現したが、本発明の実施形態は眼科装置のみに限定されない。例えばコンピュータのＣＰＵ等のプロセッサにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

１１０ 画像取得部
１３１ 決定部
１３２ 位置合わせ部

Claims (10)

1. 異なる倍率の画像を取得する画像取得手段と、
   前記画像または前記画像の取得条件の少なくとも一方に基づいて前記画像間の中間の倍率を持つ画像の取得法を決定する決定手段と、取得された画像を位置合わせする位置合わせ手段と、
   を備えることを特徴とする眼科装置。
2. 前記決定手段は、前記画像または前記画像の取得条件の少なくとも一方に基づいて、前記中間倍率画像の取得要否、取得倍率、画角、画素サイズ、取得位置、合焦位置、取得順序の少なくとも一つを決定することを特徴とする請求項１に記載の眼科装置。
3. 前記眼科装置は前記異なる倍率の画像から画像特徴を取得する画像特徴取得手段をさらに備え、前記決定手段は前記画像特徴に基づき前記中間倍率画像の取得法を決定することを特徴とする請求項１乃至請求項２に記載の眼科装置。
4. 前記位置合わせ手段は、前記画像、前記画像の取得条件または前記画像特徴の少なくとも一つに基づいて前記画像の位置合わせを行う順序を決定することを特徴とする請求項１乃至請求項３に記載の眼科装置。
5. 前記眼科装置は表示手段をさらに備え、各画像が類似した輝度特性を持つように輝度調整して低倍率画像上に表示することを特徴とする請求項１乃至請求項４に記載の眼科装置。
6. 前記表示手段は、高倍率画像上に、断層像の走査位置、レーザの照射位置、眼底形状分布、網膜感度分布の少なくとも一つを重畳表示することを特徴とする請求項１乃至請求項５に記載の眼科装置。
7. 前記眼科装置は、低倍率画像上に表示される画像同士が互いに重なり合う関係にある場合に、画像の重なり順序、表示の可否、もしくは透明度の少なくとも一つを制御する手段を備えることを特徴とする請求項１乃至請求項６に記載の眼科装置。
8. 前記異なる倍率の画像の少なくとも一方が、眼部の断層像もしくは眼部の動画像に基づいて生成された画像であることを特徴とする請求項１乃至請求項７に記載の画像処理装置。
9. 異なる倍率の画像を取得する画像取得工程と、
   前記画像または前記画像の取得条件の少なくとも一方に基づいて前記画像間の中間の倍率を持つ画像の取得法を決定する決定工程と、取得された画像を位置合わせする位置合わせ工程と、
   を備えることを特徴とする位置合わせ方法。
10. 請求項９に記載の工程をコンピュータで実行させるためのプログラム。

Images