JP6766882B2 - 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラムに関する。

標本に関する三次元位置情報を有する立体顕微鏡画像を生成できる顕微鏡がある（例えば、特許文献１参照）。
特許文献１ 特開２０１０−２４３５９７号公報

立体顕微鏡画像の観察作業は、時間を要する難しい作業だった。

本発明の第１の態様においては、顕微鏡の立体画像の少なくとも一部の指定を受け付ける受付部と、指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成する画像生成部と、を含む画像処理装置が提供される。

本発明の第２の態様においては、上記の画像処理装置と、顕微鏡画像データを画像処理装置に出力する顕微鏡と、画像処理装置から出力された画像データに基づく画像を表示する表示装置とを含む顕微鏡システムが提供される。

本発明の第３の態様においては、顕微鏡の立体画像の少なくとも一部の指定を受け付けることと、指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成することと、を含む画像処理方法が提供される。

本発明の第４の態様においては、コンピュータプログラムであって、コンピュータに、顕微鏡の立体画像の少なくとも一部の指定を受け付けることと、指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成することと、を実行させるコンピュータプログラムが提供される。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。

顕微鏡システム１００のブロック図である。 顕微鏡が出力する画像データ４１０の模式図である。 立体顕微鏡画像データ３１０の模式図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 立体拡大画像データ３４０の概念を説明する模式図である。 拡大画像３４１の模式図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 画像処理装置１０１が実行する処理の流れ図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 画像処理装置１０１が実行する処理の流れ図である。 表示装置１５０に表示される画像を示す図である。 表示装置１５０に表示される画像を示す図である。 顕微鏡システム１００のブロック図である。 表示装置１５０に表示される画像を示す図である。 画像処理装置１０２が実行する処理の概念を示す模式図である。 表示装置１５０に表示される画像を示す図である。

以下、発明の実施の形態を通じて本発明を説明する。下記の実施形態は請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、顕微鏡システム１００のブロック図である。顕微鏡システム１００は、画像処理装置１０１、顕微鏡１１０、入力装置１２０、および表示装置１５０を含む。

顕微鏡１１０は、共焦点顕微鏡である。共焦点顕微鏡は、ひとつの標本において、異なる焦点面毎の画像データを生成する。顕微鏡１１０により生成された画像データは、画像処理装置１０１に出力される。

入力装置１２０は、ユーザの操作に対応して、画像処理装置１０１に対する指示を出力する。入力装置１２０としては、マウスおよびキーボードを使用できる。なお、入力装置１２０として、マウスに替えて、ジョイスティック、タッチパッド、タッチパネル等を使用してもよい。また、マウスおよびキーボードに加えて、３Ｄマウス、モーションセンサ等を併用してもよい。表示装置１５０は、液晶表示パネルを有し、画像処理装置１０１が出力した顕微鏡の画像をユーザが視認できる状態で表示する。

画像処理装置１０１は、受付部１３０および画像生成部１４０を有する。受付部１３０は、ユーザに操作された入力装置１２０から指示を受け付けて、画像生成部１４０に反映させる。また、受付部１３０は、処理の開始、中断、および終了等を受け付けて、画像生成部１４０の動作に反映させる。また、受付部１３０は、画像生成部１４０が画像処理を実行する場合に、処理の種類を指定し、処理内容の選択肢、処理の程度等を、入力装置１２０を通じてユーザから受け付けて、画像生成部１４０の動作に反映させる。

画像生成部１４０は、顕微鏡１１０から取得した画像データに対する画像処理を、受付部１３０を通じて受け付けた指示に従って実行する。また、画像生成部１４０は、受付部１３０を通じて受け付けた指示に従って画像を生成し、表示装置１５０に出力する。

一例として、画像生成部１４０は、顕微鏡１１０から取得した、異なる焦点面に関する複数の画像データ（標本の二次元の像の情報）を合成して、三次元の輝度分布の情報（標本の三次元の像の情報）を有する立体顕微鏡画像データを生成する。また、画像生成部１４０は、生成された立体顕微鏡画像データに基づいて二次元の顕微鏡画像（二次元の顕微鏡画像データ）を生成し、表示装置１５０に出力して表示させる。

顕微鏡１１０からの画像データは、ＪＰＥＧ，ＢＭＰなど汎用のフォーマットで生成される。なお、これに代えて画像処理装置１０１で画像処理が可能な専用のフォーマットで生成されてもよい。

なお、画像生成部１４０が立体顕微鏡画像データから生成する二次元の顕微鏡画像は、画像生成部１４０が顕微鏡１１０から取得した画像データに基づいて生成した立体顕微鏡画像データの一部に基づく顕微鏡画像と言い換えることができる。また更に、この二次元の顕微鏡画像は、立体顕微鏡画像データを所謂レンダリングして生成した画像と言い換えることができる。

図２および図３は、画像生成部１４０が、顕微鏡１１０が取得した複数の画像データ４１０から、立体顕微鏡画像データ３１０を生成する処理を示す模式図である。図２および図３には、説明のため直交座標系（Ｘ−Ｙ−Ｚ座標系）を記載した。画像データ４１０は、顕微鏡１１０によって標本におけるひとつの焦点面で撮像することにより生成された、当該標本における蛍光の輝度分布を示す画像のデータである。顕微鏡１１０は、異なる複数の焦点面のそれぞれにおいて、画像データ４１０を取得する。

画像生成部１４０は、画像データ４１０の各々の焦点面を図中の座標系におけるＸ−Ｙ平面に平行な面とした場合に、画像データ４１０をＺ軸方向に積み重ね、各焦点面間の輝度分布を再構成することにより、図３に示す立体顕微鏡画像データ３１０を生成する。換言すれば、画像生成部１４０は、二次元に配列されたピクセルを含む複数の二次元の画像データを積み重ねて合成することにより立体顕微鏡画像データ３１０を生成する。ここでのピクセルとは、二次元の画像データを画像として扱うときの最小単位であって、各ピクセルが輝度値を有している。立体顕微鏡画像データ３１０は、三次元の輝度分布の情報を有する。

立体顕微鏡画像データ３１０は、二次元に配列された複数のピクセルの層を複数重ねた構造を有する立体画像データと言い換えることができる。また、上記の立体顕微鏡画像データは、三次元に配列されたボクセルにより形成された立体画像データと言い換えることもできる。なお、以下の説明において立体顕微鏡画像データ３１０の上記ピクセルとボクセルとをまとめて「画素」ともいう。また、図示の直交座標系（Ｘ−Ｙ−Ｚ座標系）は、立体顕微鏡画像データ３１０の向きを示すために記載したものである。

また、表示装置１７０に表示されるまで、立体顕微鏡画像データ３１０は画像データとして取り扱われる（例えば、画像処理装置１０１では画像データとして処理される）ため、以下、立体顕微鏡画像データ３１０と称するが、当該データが示している情報は画像であるので説明の便宜上、同じ参照番号を用いて適宜、立体顕微鏡画像３１０と称する。後述する立体拡大画像データ３４０についても同様に、説明の便宜上、同じ参照番号を用いて立体拡大画像３４０と称する。

更に、上記のように、異なる焦点面で輝度分布を取得できる顕微鏡１１０としては、ＳＴＯＲＭ（ＳＴｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：確率的光学再構築顕微鏡法）、ＳＩＭ（Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：構造化照明顕微鏡法）、ＬＳＦＭ（Ｌｉｇｈｔ Sｈｅｅｔ Fｌｕｏｒｅｓｃｅｎｃｅ Ｍｉｃｒｏｓｃｏｐｙ：光シート顕微鏡法）、ＳＴＥＤ（ＳＴｉｍｕｌａｔｅｄ Ｅｍｉｓｓｉｏｎ Ｄｅｐｌｅｔｉｏｎ： 誘導放出抑制法）、ＰＡＬＭ（ＰｈｏｔｏＡｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：光活性化局在性顕微鏡法）、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等、既存の顕微鏡を例示できる。また既存の顕微鏡以外で得られる画像、例えばＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）等で取得した画像が用いられてもよい。

図４に示すように、画像生成部１４０は、上記の通り立体顕微鏡画像データに基づいて生成した顕微鏡画像３３１、３３２、３３３を表示装置１５０に表示させて、受付部１３０は、顕微鏡画像３３１、３３２、３３３の位置の指定を受け付けることにより、立体顕微鏡画像データ３１０の少なくとも一部の指定を受け付ける。

図４の例において、表示装置１５０は３枚の顕微鏡画像３３１、３３２、３３３を含む三面図３３０と、ボタン５２０とを表示する。顕微鏡画像３３１は図３に示した立体顕微鏡画像３１０のＸ−Ｚ面に平行な側面の画像であり、顕微鏡画像３３２はＹ−Ｚ面に平行な側面の画像であり、顕微鏡画像３３３はＸ−Ｙ面に平行な側面の画像である。

顕微鏡画像３３１、３３２、３３３は立体顕微鏡画像データ３１０の一部であると言いえる。また更に、顕微鏡画像３３１、３３２、３３３は、立体顕微鏡画像データ３１０を所謂レンダリングして生成した画像と言い換えることができる。

顕微鏡画像３３１には、三次元直交座標系におけるＸ軸と平行な直線４２１と、Ｚ軸と平行な直線４２３とが、重ねて表示される。直線４２１、４２３は互いに直交する。直線４２１、４２３は、マウスカーソル５７０を重ねてマウスをドラッグ操作することにより、個別に移動できる。受付部１３０は、直線４２１、４２３の延在方向と直交する方向の移動を受け付ける。これにより、受付部１３０はユーザからの入力装置１２０としてのマウスの操作により、顕微鏡画像３３１内の直線４２１、４２３の交点４２９の位置の指定を受け付ける。

同様に、顕微鏡画像３３２には、上記三次元直交座標系におけるＹ軸と平行な直線４２２と、Ｚ軸と平行な直線４２３とが、重ねて表示される。直線４２２、４２３は互いに直交し、マウスのドラッグ操作により、個別に移動できる。受付部１３０は、直線４２２、４２３の延在方向と直交する方向の移動を受け付ける。これにより、受付部１３０はユーザからの入力装置１２０としてのマウスの操作により、顕微鏡画像３３２内の、直線４２２、４２３の交点４２８の位置の指定を受け付ける。

更に、顕微鏡画像３３３には、上記三次元直交座標系におけるＸ軸と平行な直線４２１と、Ｙ軸と平行な直線４２２とが、重ねて表示される。直線４２１、４２２は互いに直交し、マウスのドラッグ操作により個別に移動できる。受付部１３０は、直線４２１、４２２の延在方向と直交する方向の移動を受け付ける。これにより、受付部１３０はユーザからの入力装置１２０としてのマウスの操作により、顕微鏡画像３３３内の、直線４２１、４２２の交点４２７の位置の指定を受け付ける。

顕微鏡画像３３１、３３２、３３３は、同じ立体顕微鏡画像データ３１０に基づく画像なので、上記の顕微鏡画像３３１に重なる直線４２１と、顕微鏡画像３３３に重なる直線４２１は、いずれか一方を移動させた場合に他方も連動する。また、顕微鏡画像３３２に重なる直線４２２と顕微鏡画像３３３に重なる直線４２２とは、いずれか一方を移動させた場合に、他方も連動する。更に、顕微鏡画像３３３に重なる直線４２３と顕微鏡画像３３１に重なる直線４２２とは、いずれか一方を移動させた場合に、他方も連動する。

よって、３枚の顕微鏡画像３３１、３３２、３３３のうちのいずれか２枚の画像において３本の直線４２１、４２２、４２３を移動させれば、立体顕微鏡画像データ３１０内の一点の位置を指定できる。顕微鏡画像３３１、３３２、３３３は、位置指定用の画像と言い換えることができる。

更に、ユーザが入力装置１２０としてのマウスを操作して、表示装置１５０に三面図３３０と併せて表示されたボタン５２０を押した場合に、受付部１３０は、直線４２１、４２２、４２３の交点４２７、４２８、４２９により指定された位置を、指定位置として受け付ける。

図６に示すように、画像生成部１４０は、受付部１３０に受け付けられた指定位置４２０に基づいて、拡大すべき立体顕微鏡画像データ３１０の一部３５０（すなわち、立体顕微鏡画像３１０の一部）を特定する。図６に示す例では、画像生成部１４０は、一部３５０として指定位置４２０を中心とした予め定められた半径を有する球が特定されている。なお、指定位置４２０に基づいて特定される立体顕微鏡画像データ３１０の一部３５０は、他の形状であってもよく、円錐または多角錐、円柱または多角柱、多面体等であってよい。当該一部３５０の形状はデフォルトで設定されており、入力装置１２０によりユーザが選択できるようになっていてよい。

画像生成部１４０は、指定位置４２０に基づいて特定された立体顕微鏡画像３１０の一部３５０を拡大する立体拡大画像データ３４０を生成する。図６に示す例では当該一部３５０が球状であることに対応して、画像生成部１４０は、球状の立体画像を表す立体拡大画像データ３４０を生成する。

立体拡大画像データ３４０は、表示装置１５０において立体顕微鏡画像３１０の当該一部３５０よりも大きく表示される画像のデータであるともいえる。なお、生成される立体拡大画像データ３４０において、画像を形成する画素の一部が不足して画像に欠損が生じる場合は、画像生成部１４０が補完用の画素を生成して欠損した画素を補填してもよい。

画像生成部１４０は、立体顕微鏡画像データ３１０から図５に示す表示用顕微鏡画像３２１を生成する。また、画像生成部１４０は、立体拡大画像データ３４０から図７に示す拡大画像３４１を生成する。

図５に示した例で、画像生成部１４０は、三次元の立体顕微鏡画像データ３１０に基づく像（立体顕微鏡画像３４０）を投影面３２２に投影した、二次元の表示用顕微鏡画像３２１を生成する。ここで、表示用顕微鏡画像３２１は立体顕微鏡画像データ３１０の一部であると言い換えられる。また更に、表示用顕微鏡画像３２１は、立体顕微鏡画像データ３１０を所謂レンダリングして生成した画像と言い換えることができる。

図７に示した例で、画像生成部１４０は、立体拡大画像データ３４０に基づく像（立体拡大画像３４０）を投影面３４２に投影して、拡大画像３４１を生成する。立体拡大画像データ３４０は立体顕微鏡画像３１０で指定位置４２０を含む一部２５０を拡大した画像のデータなので、拡大画像３４１は表示用顕微鏡画像３２１よりも拡大された画像となる。よって、顕微鏡システム１００においては、ユーザから立体顕微鏡画像３１０内の指定位置４２０を受け付けた場合に、指定位置４２０を含む領域を拡大した立体拡大画像３４０に基づいた拡大画像３４１が表示されるので、立体顕微鏡画像を詳細に観察できる。これにより、立体顕微鏡画像の観察作業が容易になる。

また、画像生成部１４０が立体拡大画像データ３４０から生成する拡大画像３４１は、画像生成部１４０が生成した立体顕微鏡画像データ３１０の一部であるとも言い換えることができる。また更に、拡大画像３４１は、立体拡大画像データ３４０を所謂レンダリングして生成した画像であると言い換えることもできる。

更に、画像生成部１４０は、立体拡大画像３４０を投影面３４２に投影する場合に、予め定めた閾値よりも高い輝度を有する像を投影して拡大画像３４１を生成してもよい。これにより、拡大画像３４１のコントラストが高くなると共に、立体拡大画像データ３４０が有する標本の内部の構造の情報が表された拡大画像３４１を生成できる。これにより、拡大画像３４１において、注目すべき個所を観察しやすくなり、立体顕微鏡画像の観察作業が容易になる。

図８は、拡大画像３４１を生成した後に、画像生成部１４０が表示装置１５０に表示させる画像を示す図である。画像生成部１４０は、生成した拡大画像３４１を、表示用顕微鏡画像３２１に重ねた画像を生成して表示装置１５０に表示させる。

ここで、拡大画像３４１は、表示用顕微鏡画像３２１において、拡大画像３４１の中心の位置が、ユーザが指定した指定位置と一致するように重ね合わされる。これにより、表示用顕微鏡画像３２１全体における拡大画像３４１の位置が直感的に理解されるので、顕微鏡による立体顕微鏡画像の観察がより容易になる。

また、顕微鏡システム１００においては、立体顕微鏡画像３１０の一部を拡大して表示装置１５０に表示するので、拡大画像の生成に係る画像処理に係る負荷が小さく、円滑な画像表示が可能になる。よって、立体顕微鏡画像３１０の観察作業が容易になる。

図９は、画像生成部１４０の他の画像処理について説明する図である。図８で表示装置１５０の画面に表示されたボタン５２０にマウスカーソルを当ててマウスボタンを押し下げた場合、図９に示すように、表示装置１５０には、拡大画像３４１を重ねた表示用顕微鏡画像３２１と共に、２つのキー５１０、５３０が表示される。

更に、図中上側に表示されたキー５１０にマウスカーソルを重ねてマウスボタンを押し下げる操作が受け付けられた場合、キー５１０上でのマウスカーソルの位置で特定される回転方向および回転量だけあたかも立体顕微鏡画像３１０が回転したように表示用顕微鏡画像３２１が変化する。図９の例では図８の状態から立体顕微鏡画像３１０がＺ軸まわりに回転したように表示用顕微鏡画像３２１が表示されている。これは、仮想的には、画像生成部１４０が、図５に示した立体顕微鏡画像３１０の投影面３２２に対する傾きを変化させて、当該投影面３２２に立体顕微鏡画像３１０を投影した新たな表示用顕微鏡画像３２１を生成して表示しているといえる。

同様に、キー５１０上でのマウスカーソルの位置で特定される回転方向および回転量だけあたかも立体拡大画像３４０が回転したように拡大画像３４１が変化する。図９の例では図８の状態から立体拡大画像３４０がＺ軸まわりに回転したように拡大画像３４１が表示されている。これは、仮想的には、画像生成部１４０が、図７に示した立体拡大画像３４０の投影面３２２に対する傾きを変化させて、当該投影面３２２に立体拡大画像３４０を投影した新たな拡大画像３４１を生成して表示する。なお、投影面３２２は説明のための仮想的なものである。画像生成部１４０は、新たに生成した拡大画像３４１を、新たに生成した表示用顕微鏡画像３２１に重ね合せて、表示装置１５０に出力する。このように、キー５１０への操作があるごとに新たな表示用顕微鏡画像３２１および拡大画像３４１を順次表示することにより、表示装置１５０には、あたかも立体顕微鏡画像３１０および立体拡大画像３４０が同期して回転する様子が表示される。これにより、立体顕微鏡画像３１０を様々な方向から網羅的に観察できる。よって、立体顕微鏡画像３１０の観察作業が容易になる。

ここで、画像生成部１４０は、立体顕微鏡画像３１０内でユーザが指定した指定位置４２０と拡大画像３４１の中心とが一致する位置関係を保持し続けるように、拡大画像３４１を表示用顕微鏡画像３２１に重ね合わせる。これにより、ユーザは、観察方向を変化させても拡大画像３４１と表示用顕微鏡画像３２１との位置関係が容易に把握でき、立体顕微鏡画像３１０の観察が一層容易になる。

図１０は、図９に示した画像が表示装置１５０に表示されている状態で、図中下側に位置するキー５３０が操作された場合に、画像生成部１４０が実行する処理を説明する図である。キー５３０の操作方法は、キー５１０の場合と同じである。受付部１３０がマウスを通じてキー５３０の操作の入力を受け付けた場合、画像生成部１４０は、立体拡大画像３４０についてのみ観察方向を変化させた拡大画像３４１を表示する。

これにより、表示用顕微鏡画像３２１が固定されている状態で、観察方向の変化に対応した拡大画像３４１が順次表示される。よって、注目したい領域を様々な方向から網羅的に観察することができる。また、画像処理装置１０１に対する処理負荷を増加させることなく、拡大画像３４１による立体拡大画像を詳細に観察できる。よって、顕微鏡による立体画像の観察作業が一層容易になる。

なお、上記の例では、受付部１３０は、表示用顕微鏡画像３２１および拡大画像３４１と共に表示装置１５０に表示されたキー５１０、５３０を通じて、回転の入力を受け付けた。しかしながら、キー５１０、５３０を用いなくてもよい。例えば、表示装置１５０において表示用顕微鏡画像３２１および拡大画像３４１が表示されている領域内にマウスカーソルが位置する状態でマウスがドラッグ操作された場合に、ドラッグ操作に応じた回転の入力を受け付けてもよい。例えば、受付部１３０が表示用顕微鏡画像３２１の上方（＋Ｚ方向）の位置をドラッグして（−Ｚ方向に）引き下げる操作を受け付けた場合に、画像生成部１４０は、立体顕微鏡画像３１０をＺ軸に回転させた場合に対応する新たな表示用顕微鏡画像３２１を生成する。同様に、画像生成部１４０は、立体拡大画像３４０をＺ軸に直交するＸ軸回りに仮想的に回転させた場合に対応する新たな拡大画像３４１を生成する。これにより、立体顕微鏡画像３１０および立体拡大画像３４０の観察方向の入力をより直感的に操作させて、顕微鏡による立体画像の観察を、一層容易にすることができる。

図１１は、画像処理装置１０１の処理手順を示す流れ図である。画像処理装置１０１による画像処理が開始されると、まず、画像生成部１４０が、顕微鏡１１０から取得した複数の画像データ４１０に基づいて、図２及び図３に示したように、立体顕微鏡画像データ３１０を生成する。（ステップＳ１０１）。

次に、画像生成部１４０は、立体顕微鏡画像データ３１０に基づいて、複数の顕微鏡画像３３１、３３２、３３３を含む位置指定用の三面図３３０を生成し（ステップＳ１０２）、図４に示したように、表示装置１５０に表示させる（ステップＳ１０３）。次いで、画像生成部１４０は、表示した三面図３３０に対してユーザが指定した指定位置を受付部１３０が受け付けるのを待って待機する（ステップＳ１０４：ＮＯ）。

次に、ステップＳ１０４において、ユーザにより指定位置が確定されると（ステップＳ１０４：ＹＥＳ）、画像生成部１４０は、立体顕微鏡画像３１０において、指定位置を含む領域を特定して、当該領域を拡大した立体拡大画像データ３４０を生成する（ステップＳ１０５）。更に、画像生成部１４０は、立体拡大画像データ３４０に基づいて、表示装置１５０に表示する拡大画像３４１を生成する（ステップＳ１０６）。

次に、画像生成部１４０は、生成した拡大画像３４１を、表示装置１５０に表示させて（ステップＳ１０７）、処理を終了する。こうして、ユーザは、三面図３３０を通じて指定した指定位置４２０を含む領域の拡大画像を観察できる。このように、画像処理装置１０１を備えた顕微鏡システム１００は、注目する領域の指定を入力することが容易である。また、立体顕微鏡画像データ３１０のうち、指定位置または領域のみを処理するので処理負荷が軽く、円滑に動作する。よって、顕微鏡による立体顕微鏡画像の観察作業の効率が向上され、必要な手間および時間が減縮されるので、観察作業が容易になる。

なお、上記実施例では、位置を指定する場合に、立体顕微鏡画像データ３１０の３面の顕微鏡画像３３１、３３２、３３３を用いた。しかしながら、立体顕微鏡画像データ３１０において互いに交差する２面の顕微鏡画像で立体顕微鏡画像データ３１０内の１点を指定できるので、２面の顕微鏡画像のみを表示してもよい。また、４面以上の顕微鏡画像を表示してもよい。４面以上の顕微鏡画像を表示する場合には、立体顕微鏡画像データ３１０のいずれかの面に対して傾斜した方向から見た顕微鏡画像が含まれていてもよい。

また、複数の顕微鏡画像を表示する場合に、一部の顕微鏡画像の表示の大きさが異なっていてもよい。例えば、位置を指定するために直線４２１、４２２、４２３を移動している最中の顕微鏡画像を大きく表示し、他の顕微鏡画像は小さく表示してもよい。

なお、上記実施例では画像生成部１４０が立体顕微鏡画像データ３１０から生成する位置指定用の二次元の顕微鏡画像は、立体顕微鏡画像データ３１０の３つの側面の顕微鏡画像３３１、３３２、３３３であったが、立体顕微鏡画像３１０の任意の断面の画像であってもよい。さらに、画像生成部１４０が立体顕微鏡画像データ３１０から生成する位置指定用の二次元の顕微鏡画像は、立体顕微鏡画像３１０を任意の面に投影して生成された画像であってもよい。この場合、画像生成部１４０は、互いに交差する３つの仮想的な投影面に立体顕微鏡画像３１０を投影した３つの二次元の顕微鏡画像を、上記３つの側面の顕微鏡画像３３１、３３２、３３３に代えて用いてもよい。更に、位置指定用の顕微鏡画像は、三次元の画像データから二次元の画像を生成する既存の他の方法で生成したものであってもよい。

図１２は、入力装置１２０を通じて、画像処理装置１０１において指定位置を指定する操作の変形例を説明する図である。図１２は、表示装置１５０に表示される画像を示す。

図１２に示す例では、図１１のステップ１０３において、画像生成部１４０は、立体顕微鏡画像データ３１０の一部のデータ（つまり、立体顕微鏡画像３１０の一部の位置）を指定する位置指定用の画像として、顕微鏡画像３３３を表示装置１５０に表示する。また、画像生成部１４０は、顕微鏡画像３２３の下方に配置されたスライダ５４０と、顕微鏡画像３２３から離れた位置に配されたボタン５２０とを表示装置１５０に併せて表示する。

画像生成部１４０は、立体顕微鏡画像３１０（立体顕微鏡画像データ３１０）をＺ軸に垂直な平面で切断した切断面の画像である顕微鏡画像３３３を生成して、位置指定用に表示装置１５０に表示する。

また、画像生成部１４０が表示するスライダ５４０は、目盛り５４１およびノブ５４２を有する。ノブ５４２は、表示装置１５０に現在表示されている顕微鏡画像３３３が、Ｚ軸方向に並んだ複数の顕微鏡画像３３３のうちの何枚目であるかを、対向する目盛り５４１により示す。また、ノブ５４２は、マウスドラッグで図中水平にスライドさせることにより、表示装置１５０に表示させる顕微鏡画像３３３を、Ｚ軸方向に並んだ複数の顕微鏡画像３３３のうちの何枚目にするかを選択できる。こうして、ユーザがマウスによりノブ５４２をスライドしたことで指定した顕微鏡画像３３３を画像生成部１４０が表示装置１５０に表示する。なお、スライダ５４０の目盛り５４１に代えて、スライダ５４０の横軸には、立体顕微鏡画像３１０におけるＺ座標等、顕微鏡画像３３３のＺ軸方向の位置を示す指標が示されてもよい。

更に、図１２に示した例においても、図４と同様に標識４３０により示す直交座標系のＸ軸に平行な直線４２１と、同じくＹ軸に平行な直線４２２とが、顕微鏡画像３３３に重ねて表示される。直線４２１、４２３は、カーソル５７０を重ねてマウスをドラッグ操作することにより個別に移動できる。直線４２１、４２２を移動する場合、直線４２１、４２２は、それぞれの延在方向と直角な方向に移動する。よって、入力装置１２０としてのマウスを操作することにより、直線４２１、４２２を移動させて、表示用顕微鏡画像３３１内の一点に、直線４２１、４２３の交点４２９を移動できる。

こうして、スライダ５４０のノブ５４２を操作することにより、標識４３０で示す三次元座標におけるＺ方向の位置を指定でき、更に、直線４２１、４２２を移動させて顕微鏡画像３３３上の一点に、直線４２１、４２２の交点を移動させることができる。

更に、図１１のステップＳ１０４において、ユーザが入力装置１２０としてのマウスを操作して、表示装置１５０に表示されたボタン５２０を押すことにより、受付部１３０は、選択された顕微鏡画像３３３のなす平面上で、直線４２１、４２２が交差する位置を、指定位置４２０として受け付ける。ここで、特定の顕微鏡画像３３３の選択によってＺ方向の位置が指定され、顕微鏡画像３３３内の位置の指定によってＸＹ平面内の位置が指定されるので、当該指定位置４２０は三次元空間上の位置を指定しているといえる。

さらに、画像生成部１４０は、立体顕微鏡画像３１０において指定位置４２０を含む領域を特定して、当該領域を拡大した立体拡大画像データ３４０を生成する（図１１のステップＳ１０５）。更に、画像生成部１４０は、立体拡大画像データ３４０に基づいて、表示装置１５０に表示する拡大画像３４１を生成し（図１１のステップＳ１０６）、拡大画像３４１を表示装置１５０に表示させる（ステップＳ１０７）。

このように、図１２に示した例では、Ｚ軸方向に並んだ複数の顕微鏡画像３３３のうちからのいずれか一つの特定と、特定された顕微鏡画像３３３の面内で指定された位置との組み合わせことにより、立体顕微鏡画像３１０における位置（立体顕微鏡画像データ３１０におけるデータの一部）を容易に指定することができる。これによりステップＳ１０５からＳ１０６において当該位置を含む領域を拡大した拡大画像３４１が表示されるので、立体顕微鏡画像の観察を容易にすることができる。

また、上記の例では、画像生成部１４０は、立体顕微鏡画像データ４１０をＸ−Ｙ平面に平行な断面で切った顕微鏡画像を表示して選択させた。しかしながら、画像生成部１４０が表示させる顕微鏡画像がなす平面は、Ｘ−Ｙ平面に平行な面とは限らず、Ｙ−Ｚ平面またはＸ−Ｚ平面と平行な面であってもよい。また、いずれの座標軸とも平行ではない平面に形成された顕微鏡画像を用いることもできる。

図１３は、図１１のステップＳ１０２からＳ１０４の他の例を説明する図である。図１３は、表示装置１５０に表示される画像を示す。図１３の例においてはステップＳ１０２およびＳ１０３で位置指定用の顕微鏡画像３３４を生成して表示することに代えて、位置指定用の参照画像４４０を生成して表示する。

図１３に示す例において、画像生成部１４０は、図中左側に表示用顕微鏡画像３３４を、図中右側に参照画像４４０を表示装置１５０に表示する。また、画像生成部１４０は、表示用顕微鏡画像３３４の下方に、キー５１０を、参照画像４４０の下方にフィールド４５０およびボタン５２０をそれぞれ表示する。

図１３において画像生成部１４０が表示した表示用顕微鏡画像３３４は、立体顕微鏡画像データ３１０を投影面３２２に投影して画像生成部１４０が生成する。ここで、受付部１３０がマウスによりキー５１０を押す操作を受け付けることにより、図９で説明したのと同様に、キー５１０上でのマウスカーソルの位置で特定される回転方向および回転量だけあたかも立体顕微鏡画像３１０が回転したように表示用顕微鏡画像３３４が変化する。図９の例では図８の状態から立体顕微鏡画像３１０がＺ軸まわりに回転したように表示用顕微鏡画像３２１が表示されている。これは、仮想的には、画像生成部１４０が、図５に示した立体顕微鏡画像３１０の投影面３２２に対する傾きを変化させて、当該投影面３２２に立体顕微鏡画像３１０を投影した新たな表示用顕微鏡画像３３４を生成して表示しているといえる。なお、投影面３２２は説明のための仮想的なものである。

画像生成部１４０が生成して表示する参照画像４４０は、画像生成部１４０が、立体顕微鏡画像データ３１０に基づいて生成した立体参照画像データを投影面に投影して生成される。ここで、立体参照画像データは、例えば、立体顕微鏡画像３１０における像の情報（輝度分布）を消去して、立体顕微鏡画像３１０の生成領域（参照画像４４０の外枠に対応）を残した画像を表すデータである。

例えば、図５に示すように立体顕微鏡画像３１０の生成領域が直方体である場合には、表示装置１５０に表示される参照画像４４０は、図１３に示すようにそれぞれが平行に対向する２対の壁面４４１、４４２により、短い筒状の枠体４４３をなす。

更に、受付部１３０がマウスによりキー５１０を押す操作を受け付けた場合に、画像生成部１４０は、上記の通り当該操作により回転量および回転方向に対応した新たな表示用顕微鏡画像３２４を生成するとともに、同じ回転量および回転方向に対応した新たな参照画像４４０も生成して、それらを表示する。よって、図１３に示す表示装置１５０の画面においては、表示用顕微鏡画像３３４と、参照画像４４０とが、常に、同じ向きで表示される。

なお、標識４３０により示す三次元直交座標系は、参照画像４４０が形成する直方体のいずれか２つの面と常に平行である。よって、マウスによるキー５１０の操作で表示用顕微鏡画像３３４が更新された場合は、参照画像４４０の更新に伴って、標識４３０の向きも更新される。

画像生成部１４０は、また、図中に標識４３０により示す三次元座標系のＸ軸、Ｙ軸、またはＺ軸に平行な３本の直線４２１、４２２、４２３を、参照画像４４０の内側に表示する。これら直線４２１、４２２、４２３の各々は、マウスのドラッグ操作により個別に移動できる。なお、直線４２１、４２２、４２３の各々は、それぞれの延在方向と直角な方向にのみ移動する。

また、直線４２１、４２２、４２３は、互いに直交して、３本が一点で交差する。よって、例えば、直線４２１を標識４３０で示すＹ軸方向に移動させた場合は直線４２３もＹ方向に移動し、直線４２１をＺ方向に移動した場合は、直線４２２もＺ方向に移動する。よって、３本の直線４２１、４２２、４２３のうち、２本を移動させることにより、立体参照画像データが形成する空間内の任意の位置に直線４２１、４２２、４２３の交点を移動できる。

換言すれば、顕微鏡システム１００においては、入力装置１２０を操作して、直線４２１、４２２、４２３のうちの２本を移動させることにより、指定位置４２０を指定できる。更に、顕微鏡システム１００においては、入力装置１２０としてのマウスのクリック操作によりボタン５２０を押して、入力した指定位置４２０を確定できる。

さらに、画像生成部１４０は、立体顕微鏡画像３１０において指定位置４２０を含む領域を特定して、当該領域を拡大した立体拡大画像データ３４０を生成する（図１１のステップＳ１０５）。更に、画像生成部１４０は、立体拡大画像データ３４０に基づいて、表示装置１５０に表示する拡大画像３４１を生成し（図１１のステップＳ１０６）、拡大画像３４１を表示装置１５０に表示させる（ステップＳ１０７）。

図１３の例によれば、簡潔に表示された参照画像４４０内の直線４２１、４２２、４２３をマウスにより操作して、立体顕微鏡画像データ３１０内の指定位置を、たやすく指定できる。これにより、顕微鏡による立体画像の観察を容易にすることができる。

なお、上記のように、３本の直線４２１、４２２、４２３のうちの２本を移動させることにより、立体顕微鏡画像データ３１０内の任意の位置を指定することができる。よって、参照画像４４０に表示する直線を２本にして、表示を簡素化することもできる。これにより、画像生成部１４０の処理の負担を軽減できる。

また、図１３に示す例では、表示装置１５０に、文字を表示し、また、文字入力できるフィールド４５０が表示されている。画像生成部１４０は、参照画像４４０内の直線４２１、４２２、４２３により指定位置４２０が指定された場合に、指定された指定位置４２０を、標識４３０により表示された三次元直交座標系における座標値でフィールド４５０に表示してもよい。これにより、参照画像４４０の直線４２１、４２２、４２３を用いて入力した指定位置４２０の位置精度が向上される。よって、顕微鏡による立体画像の観察を一層容易にすることができる。

また、画像生成部１４０は、入力装置１２０としてのキーボード等によりフィールド４５０に入力された座標値を受付部１３０が受け付けた場合に、入力された座標値を、参照画像４４０の直線４２１、４２２、４２３の位置に反映させてもよい。これにより、指定位置の位置精度を向上できると共に、指定位置４２０の微調整が容易になる。よって、顕微鏡による立体画像の観察を一層容易にすることができる。

なお、上記の例では、受付部１３０は表示装置１５０に表示されたキー５１０を通じて、回転の入力を受け付けた。しかしながら、キー５１０を用いなくてもよい。例えば、表示装置１５０において表示用顕微鏡画像３３４が表示されている領域内にマウスカーソルが位置する状態でマウスがドラッグ操作された場合に、ドラッグ操作に応じた回転の入力を受け付けてもよい。例えば、受付部１３０が表示用顕微鏡画像３２１の上方（＋Ｚ方向）の位置をドラッグして（−Ｚ方向に）引き下げる操作を受け付けた場合に、画像生成部１４０は、立体顕微鏡画像３１０をＺ軸に回転させた場合に対応する新たな表示用顕微鏡画像３３４を生成する。これにより、立体顕微鏡画像３１０および立体拡大画像３４０の観察方向の入力をより直感的に操作させて、顕微鏡による立体画像の観察を、一層容易にすることができる。

図１４は、入力装置１２０を通じて、画像処理装置１０１において指定位置４２０を指定する操作のまた他の変形例を説明する図である。図１４は、表示装置１５０に表示される画像を示す。

図１４に示す例において、画像生成部１４０は、図１１のステップＳ１０２において位置指定用の顕微鏡画像６３４を生成し、表示装置１５０に表示する（同図ステップＳ１０３）。また、画像生成部１４０は、顕微鏡画像６３４の側方にキー５１０を表示する。

図１４に示す顕微鏡画像６３４は、図５を用いて説明したのと同様に、立体顕微鏡画像データ３１０を投影面３２２に投影して画像生成部１４０が生成する。ここで、受付部１３０がマウスによりキー５１０を押す操作を受け付けることにより、図９で説明したのと同様に、画像生成部１４０は、図５に示した立体顕微鏡画像３１０の投影面３２２に対する傾きを仮想的に変化させた場合の当該投影面３２２に、立体顕微鏡画像３１０を投影した新たな表示用顕微鏡画像３２４を生成し、表示装置１５０に表示させる。これにより、表示装置１５０には、あたかも立体顕微鏡画像３１０が回転して観察方向が変化している様子が表示される。

顕微鏡システム１００においては、上記の顕微鏡画像６３４に対して、マウスの操作でカーソル５７０を顕微鏡画像６３４の所望の位置に移動させ、更に、当該位置でマウスをクリック操作する。ここで、受付部１３０は、マウスがクリック操作された時点のカーソル５７０の位置で指定された標本の、顕微鏡画像６３４内の位置（ＸＹ座標）を特定する。また、当該顕微鏡画像６３４は立体顕微鏡画像データ３１０に基づいて生成されているので、受付部１３０は、顕微鏡画像６３４の標本の位置と立体顕微鏡画像３１０の標本の位置の関係から、カーソル５７０の位置で指定された標本のＺ方向の位置（深さ方向における位置）を特定する。これを仮想的に説明するならば、受付部１３０は、マウスがクリック操作された時点のカーソル５７０の位置に、顕微鏡画像６３４が形成された面に直交する方向に存在する、立体顕微鏡画像データ３１０内の所定の閾値以上の輝度値を有する画素であって、当該方向において一番手前の画素の位置を、指定位置４２０として受け付ける。こうして、顕微鏡システム１００において、指定位置４２０を簡潔な手順で直感的に指定できるので、顕微鏡による立体画像の観察が容易になる。

なお、上記の例では、受付部１３０は、表示装置１５０に表示されたキー５１０を通じて、観察方向の入力を受け付けた。しかしながら、キー５１０を用いなくてもよい。例えば、表示装置１５０において顕微鏡画像６３４が表示されている領域内にマウスカーソルが位置する状態でマウスがドラッグ操作された場合に、ドラッグ操作に応じた観察方向の入力を受け付けてもよい。例えば、受付部１３０が顕微鏡画像６３４の上方（＋Ｚ方向）の位置をドラッグして（−Ｚ方向に）引き下げる操作を受け付けた場合に、画像生成部１４０は、図５に示した立体顕微鏡画像３１０の投影面３２２に対する傾きをＺ軸に直交するＸ軸回りに仮想的に変化させた場合の当該投影面３２２に、立体顕微鏡画像３１０を投影した新たな顕微鏡画像６３４を生成する。これにより、立体顕微鏡画像３１０の観察方向の入力をより直感的に操作させて、顕微鏡による立体画像の観察を、一層容易にすることができる。

なお、位置指定用に二次元の顕微鏡画像を用いるのに代えて、ユーザが視差等により立体感を感じる立体画像を用いてもよい。また、拡大画像３４１を表示することに代えて、ユーザが視差等により立体感を感じる立体拡大画像を表示してもよい。この場合に、この立体画像と立体拡大画像を表示する表示装置１５０として、ＶＲヘッドマウントディスプレイ、ＶＲゴーグル、裸眼３Ｄモニタ、３Ｄホログラム等の立体表示装置が用いられる。また、表示装置１５として立体表示装置を使用する場合は、３Ｄマウス（３Ｄｃｏｎｎｅｘｉｏｎ（登録商標））やモーションセンサーデバイス（キネクト（登録商標）、ＬＥＡＰ（登録商標）等）などのポインティングデバイスを、マウスに替えて、あるいはマウスに加えて使用してもよい。

この場合に、図１１のステップＳ１０２に代えて、画像生成部１４０は、立体顕微鏡画像データ３１０に基づいて、位置指定用に立体画像を生成し、ステップＳ１０３に代えて当該立体画像を立体表示装置に表示する。ステップＳ１０４において、受付部１３０は、ポインティングデバイスを介してユーザから三次元立体画像内の位置の指定を受け付け、指定位置とする。画像生成部１４０は、ステップＳ１０５において指定位置を含む領域を拡大した立体拡大画像データを生成し、ステップＳ１０６に代えて、立体拡大画像データに基づいて立体拡大画像を生成し、ステップＳ１０７に代えて、当該立体拡大画像を立体表示装置に表示する。これにより、ユーザが直接的に立体感を感じる立体画像を用いるので、拡大する立体顕微鏡画像データの指定が容易になり、立体表示装置に立体拡大画像を表示するため、拡大した部位の観察しやすくなる。したがって、立体顕微鏡画像における一連の観察作業を一層容易に行うことができる。

なお、上記いずれの実施例においても、立体顕微鏡画像データ３１０から二次元の表示用顕微鏡画像３２１を生成し、また、参照画像データから二次元の表示用参照画像４４０を生成して表示装置１５０に表示した。これに代えて、表示用顕微鏡画像３２１および表示用参照画像４４０を立体表示装置で立体表示してもよい。

また、上記いずれの実施例においても、受付部１３０は顕微鏡画像内の位置の指定により立体顕微鏡画像データ３１０の少なくとも一部の指定を受け付けるが、指定の方法はこれに限られない。受付部１３０は、立体顕微鏡画像データ３１０の少なくとも一部の指定として、位置の指定に代えて立体顕微鏡画像データ３１０の三次元空間の領域の指定を受け付けてもよい。この場合、例えば、二次元の顕微鏡画像内において、ユーザがある位置でマウスをドラッグしつつ移動することで移動量を対角線とする矩形が表示され、ドラッグをリリースすることにより、受付部１３０でその矩形が受け付けられてもよい。そして、画像生成部１４０は、指定された矩形の位置に関する情報（例えば、矩形の４つの頂点の座標）を受付部１３０から取得し、その情報に基づいて、指定された矩形を含む予め設定された領域（例えば、指定された矩形の対角線を直径とする領域）を拡大すべき領域として特定する。また、受付部１３０は、入力装置１２０としてキーボード等により直接入力される立体顕微鏡画像３１０（立体顕微鏡画像データ３１０）の座標を位置情報として受け付けてもよい。この場合、立体顕微鏡画像３１０上の点を指定するように１点の座標を受け付けてもよいし、立体顕微鏡画像３１０上の領域を指定するように複数点の座標（例えば、矩形領域であれば４つの頂点の座標）を受け付けてもよい。画像生成部１４０は、受け付けられた座標を取得し、その座標に対応する点や領域を含む領域を拡大すべき領域として特定する。さらに、受付部１２０は、立体顕微鏡画像３１０で拡大すべき領域自体の指定を受け付けてもよい。この場合、立体顕微鏡画像３１０において、ある位置でマウスをドラッグしつつ移動することで移動量を直径または半径とする円が表示され、ドラッグをリリースすることでその円が拡大すべき領域として受け付けられてもよい。そして、画像生成部１４０は、指定された円の位置に関する情報（例えば、円の中心座標と半径）を取得し、指定された円を拡大すべき領域として特定する。上記いずれの場合も領域の指定は、矩形や円に限られず他の形状で指定されてもよい。

図１５は、入力装置１２０を通じて、画像処理装置１０１において指定位置４２０を指定する操作のまた他の変形例を説明する図である。図１５は、表示装置１５０に表示される画像を示す。

図１５に示す例において、図１１のステップＳ１０３で、画像生成部１４０は、表示装置１５０の図中左側に、図１２に示した顕微鏡画像３３３、スライダ５４０およびボタン５２０と同じ画像を表示する。また、画像生成部１４０は、表示装置１５０の図中右側に、位置参照画像６４０、フィールド４５０、およびボタン５２０を表示する。位置参照画像６４０は図１３の立体拡大画像データ３４０と同型であってよい。

図１２と同様に、入力装置１２０としてのマウスで、顕微鏡画像３３３に重ねて表示された直線４２１、４２２と、顕微鏡画像３３３の下に隣接した表示されたスライダ５４０がユーザにより操作されることにより、位置が指定される（図１１のステップＳ１０４）。ボタン５２０が押し下げられることにより、受付部１３０は指定位置４２０の指定を受け付ける。

さらに、画像生成部１４０は、立体顕微鏡画像３１０において指定位置４２０を含む領域を特定して、当該領域を拡大した立体拡大画像データ３４０を生成する（図１１のステップＳ１０５）。更に、画像生成部１４０は、立体拡大画像データ３４０に基づいて、表示装置１５０に表示する拡大画像３４１を生成し（図１１のステップＳ１０６）、拡大画像３４１を表示装置１５０に表示させる（ステップＳ１０７）。

ここで、図１５に示す例では、画像生成部１４０は顕微鏡画像３３３における直線４２１、４２２の移動と連動して、位置参照画像６４０内に表示された直線４２１、４２２を移動させる。これにより、ユーザは、顕微鏡画像３３３側で自身が移動させた指定位置４２０の位置を、位置参照画像６４０においてリアルタイムで確認できる。

これにより、指定位置４２０を指定する場合の、指定位置４２０の確認が容易になる上に、指定位置４２０の位置精度も向上される。よって、顕微鏡による立体画像の観察作業が容易になる。

また、図１５に示す例でも、表示装置１５０には、文字を表示し、また、文字を入力できるフィールド４５０が表示されている。画像生成部１４０は、顕微鏡画像３３３内で指定位置４２０が指定された場合に、指定された指定位置４２０を、標識４３０により表示された三次元直交座標系における座標値でフィールド４５０に表示してもよい。これにより、位置参照画像６４０の直線４２１、４２２、４２３を用いて入力した指定位置４２０の位置精度が向上される。よって、顕微鏡による立体画像の観察を一層容易できる。

更に、画像生成部１４０は、入力装置１２０としてのキーボード等によりフィールド４５０に入力された座標値を受付部１３０が受け付けた場合に、入力された座標値を、位置参照画像６４０の直線４２１、４２２、４２３の位置に反映させてもよい。これにより、指定位置の位置精度を向上できると共に、指定位置４２０の微調整が容易になる。よって、顕微鏡による立体画像の観察を一層容易にすることができる。

上記いずれの実施例および変形例においても、拡大画像３４１は、立体拡大画像３４０の少なくとも一部を任意の面に投影して生成された画像である。これに代えて、拡大画像３４１は、立体拡大画像３４０の断面に現れる画像であってもよい。更に、拡大画像３４１は、三次元画像データである立体拡大画像データ３４０から二次元の画像を生成する既存の他の方法で生成したものであってもよい。

同様に、上記いずれの実施例および変形例においても、表示用顕微鏡画像３２１は、立体顕微鏡画像３１０の少なくとも一部を任意の面に投影して生成された画像である。これに代えて、表示用顕微鏡画像３２１は、立体顕微鏡画像３１０の断面に現れる画像であってもよい。更に、表示用顕微鏡画像３２１は、三次元画像データである立体顕微鏡画像データ３１０から二次元の画像を生成する既存の他の方法で生成したものであってもよい。

図１６は、表示装置１５０に表示される表示用顕微鏡画像および拡大画像の変形例（図１１のステップＳ１０６、Ｓ１０７の変形例）を示す。図１６の例において、受付部１３０は、立体拡大画像データ３４０の断面の位置を受け付ける。また、画像生成部１４０は、立体拡大画像データ３４０における指定された位置の断面像を二次元画像として出力する。

画像生成部１４０は、表示用顕微鏡画像３２１、拡大画像３４１、面指定表示４２４、キー５１０、ボタン５２０、およびフィールド４５０を表示装置１５０に表示する。拡大画像３４１は、表示用顕微鏡画像３２１に重ねて表示されている。

画像生成部１４０は、マウスによる図中左側のキー５１０の操作により、表示用顕微鏡画像３２１を指示された傾きで表示する。また、画像生成部１４０は、マウスによる図中右側のキー５１０の操作に応じて、拡大画像３４１を、指示された傾きで表示装置１５０に表示する。

更に、画像生成部１４０は、フィールド４５０への数値入力またはマウスによる断面追加ボタン５２０の操作に応じて、拡大画像３４１に対して、面指定表示４２４を重ねて表示する。また、画像生成部１４０は、画面上の面指定表示４２４をマウスのドラッグ操作により移動させて、面指定表示４２４を、所望の断面が得られる位置に配置する。更に、画像生成部１４０は、図中右側に位置するキーに対するマウスの操作に応じて面指定表示４２４の傾きを変更する。こうして、面指定表示４２４が所望の断面と一致した場合は、マウスによりボタン５２０のひとつを押して面指定表示４２４の位置を固定する。

以下、予定した断面のすべてが指定されるまで上記の操作を繰り返し、立体拡大画像データ３４０に対して複数の断面の位置および傾きが指定される。画像処理装置１０１では、上記のようなマウスの操作による面指定表示４２４の他に、フィールド４５０に数値を入力することにより、断面の傾き、枚数等を指定することもできる。フィールド４５０に入力する数値は、無単位の相対値、または、標本における実寸でもよい。

なお、上記の例では、表示装置１５０に表示されたキー５１０を通じたマウスの操作により、表示用顕微鏡画像３２１および面指定表示４２４の回転の指示を入力した。しかしながら、キー５１０を表示装置１５０に明示的に表示しなくても、表示用顕微鏡画像３２１または面指定表示４２４が表示されている領域内にカーソル５７０が位置する状態でマウスをドラッグ操作することにより、表示用顕微鏡画像３２１または面指定表示４２４が、カーソル５７０の移動方向に追従して回転するインターフェースとしてもよい。これにより、表示装置１５０に表示された表示用顕微鏡画像３２１および面指定表示４２４の回転を、より直感的に操作して、顕微鏡による立体画像の観察を一層容易にすることができる。

図１７は、上述のように、面指定表示４２４の配置が完了した後に、画像生成部１４０が画像処理を実行して表示装置１５０に出力する画像を示す。表示装置１５０には、図１６に示した画像において面指定表示４２４により指定された断面が現れた、複数の断面画像３７０が表示される。

断面画像３７０の各々は、表示用断面画像３７１および表示用拡大断面画像３７２をそれぞれ含む。表示用断面画像３７１は、図１６に示した表示用顕微鏡画像３２１を生成する場合に元になった立体顕微鏡画像データ３１０を、面指定表示４２４により切断した断面に現れた画像である。また、表示用拡大断面画像３７２は、図１６に示した拡大画像３４１を生成する場合に元になった立体拡大画像データ３４０を、面指定表示４２４により切断した断面に現れた画像である。画像生成部１４０は、面指定表示４２４により指定されたそれぞれの断面に現れる表示用断面画像３７１および表示用拡大断面画像３７２を重ね合わせて断面画像３７０を生成する。

このように、顕微鏡システム１００においては、面指定表示４２４の配置により面の位置を指定することにより、当該位置の面で生成された断面の画像を表示装置１５０に出力できる。これにより、立体顕微鏡画像データ３１０の内部を、任意の断面において簡単に観察できる。よって、顕微鏡による立体画像の観察が容易になる。

図１８は、画像処理装置１０１による他の処理を実行した後に表示装置１５０に表示される画像を示す図である。ここで画像生成部１４０が実行する処理は、立体拡大画像データ３４０から拡大画像３４１を生成する場合に、拡大画像３４１の中心を含む第１領域に表示される第１画像３４３と、第１領域の外側に位置する第２領域に表示される第２画像３４４とを併せて生成する処理である。

図示の例では、画像生成部１４０が出力する第１画像３４３として、立体拡大画像データ３４０の該当領域を拡大した、神経細胞５５０の立体拡大画像データが生成される。神経細胞５５０は、塊状の細胞体５５１と、細胞体５５１の近傍に突出した樹状突起５５２と、細胞体５５１から長く延びた軸索５５３とを有する。

ここで、画像生成部１４０は、主に細胞体５５１を含む表示用顕微鏡画像として、第１画像３４３を生成する。また、画像生成部１４０は、第１画像３４３の周囲の領域に形成され、樹状突起５５２を含む第２画像３４４を生成する。

ここで、第１画像３４３は、立体拡大画像データ３４０に含まれる細胞体５５１の画像をそのまま拡大した画像である。第２画像３４４は、立体拡大画像データ３４０の該当領域において、細胞体５５１の周囲に突出する樹状突起５５２が強調された画像として生成される。換言すれば、第２画像３４４においては、樹状突起５５２以外の要素の表示が抑制された画像といえる。これにより、画像生成部１４０が、立体拡大画像データ３４０から拡大画像３４１を生成した場合、図１８に示すように、第１画像に表示された神経細胞の細胞体５５１の周囲に、放射状に延在する樹状突起５５２が強調された第２画像３４４が表示される。

これにより、拡大画像３４１においても、神経細胞の樹状突起が周囲に拡がっていることが感覚的に把握でき、関心の対象である神経細胞と、隣接細胞（隣接構造）との接触状態、接続状態等を理解しやすくなる。よって、顕微鏡による立体画像の観察作業が容易になる。

なお、第２画像３４４で強調される対象は樹状突起５５２のような、第１領域と第２領域とでつながっているものに限られない。他の例として、第１領域と第２領域とのそれぞれに共通して含まれ、離散的に存在している細胞のような対象であってもよい。また、第２画像３４４における特定の対象の強調は、第１画像３４３と表示条件が異なることの一例であって強調以外の表示条件を異ならせてもよい。

なお、上記の例では、表示装置１５０に表示されたキー５１０を通じたマウスの操作により、表示用顕微鏡画像３２１および拡大画像３４１の回転の指示を入力した。しかしながら、キー５１０を表示装置１５０に明示的に表示しなくても、表示用顕微鏡画像３２１または拡大画像３４１が表示されている領域内にカーソル５７０が位置する状態でマウスをドラッグ操作することにより、表示用顕微鏡画像３２１または拡大画像３４１が、カーソル５７０の移動方向に追従して回転するインターフェースとしてもよい。これにより、表示装置１５０に表示された表示用顕微鏡画像３２１および拡大画像３４１の回転を、より直感的に操作して、顕微鏡による立体画像の観察を一層容易できる。

図１９は、長い標本に沿って視野を移動させるトレース観察をする場合の処理を、段階を追って説明する図である。この例では、長い軸索につながった神経細胞が観察の対象となる。

画像生成部１４０は、顕微鏡１１０から取得した画像データ４１０に基づいて立体顕微鏡画像データ３１０を生成し、生成した立体顕微鏡画像データ３１０を投影面３２２に投影して表示用顕微鏡画像３２１を生成する。こうして生成された表示用顕微鏡画像３２１は、画像生成部１４０から表示装置１５０に出力されて表示される。これにより、図示のように、表示装置１５０には、長い軸索を含む表示用顕微鏡画像３２１が表示される。

表示装置１５０に表示された表示用顕微鏡画像３２１は、キー５１０をマウスを通じて操作することにより、表示装置１５０の画面上で、任意の角度から観察できる。よって、観察の対象となる軸索付きの神経細胞が見え易い位置および傾きで、表示用顕微鏡画像３２１を表示させることができる。

顕微鏡システム１００においては、表示装置１５０に表示された表示用顕微鏡画像３２１に対して、トレース観察の開始位置を、マウスの操作により指定する。なお、顕微鏡１１０は、トレースライン４６１の入力方法として、２つの方法を実装している。トレースライン４６１を形成する方法のひとつとして、マウスのドラッグ操作により描く連続的なラインでトレースラインを指定する方法がある。また、トレースライン４６１の経路上の複数の点の位置を指定して、画像処理装置１０１に、複数の点の間のトレースラインを補完させる方法がある。

顕微鏡システム１００では、上記の２つの方法を両方実装しており、用途に応じて選択して使い分けることができる。図示の例では、表示装置１５０の表示画像の右上のボタン５２１により、トレースライン４６１を、ライン、すなわち、マウスのドラッグ操作により連続的に入力することが選択されている。

この場合、ユーザは、まず、観察の開始位置にカーソル５７０を当てた状態でマウスボタンを押し下げ、ボタンを押し下げたままマウスを移動させるドラッグ操作により、観察の対象となる神経細胞の軸索に沿ってカーソル５７０を移動させる。これにより、マウスボタンが開放されるまでの間、トレースの経路となるトレースライン４６１が、画像生成部１４０により、表示装置１５０に表示された表示用顕微鏡画像３２１に重ねて表示される。もうひとつの方法については、図２３を参照して後述する。

図２０は、上記の操作に続く段階を説明する図である。図中に矢印４６０により示すように、マウスのドラッグによりカーソル５７０が観察範囲の終端に到達すると、ユーザは、マウスボタンの解放により、表示用顕微鏡画像３２１にして観察範囲の指定の入力が確定される。これにより観察の開始位置および終了位置の指定が受付部１３０に受け付けられ、画像生成部１４０は、指定された軸索の映像に重ねて、カーソル５７０の軌跡として描かれたトレースライン４６１を、表示用顕微鏡画像３２１に重ねて表示装置１５０に表示する。

図２１は、上記の操作に続いて画像処理装置１０１が実行する処理を説明する図である。図示のように、トレースラインとして、拡大画像を生成する位置が指定された後、ユーザが操作するマウスで実行のボタン５２０が押されると、画像生成部１４０は、まず、トレースライン４６１の開始位置を最初の指定位置４２０として取得し、立体顕微鏡画像データ３１０に基づいて立体拡大画像データ３４０を生成する。次いで、画像生成部１４０は、生成された立体拡大画像データ３４０から拡大画像３４１を生成する。

こうして生成された拡大画像３４１は、表示用顕微鏡画像３２１におけるトレースライン４６１の始点に中心が一致するように、表示用顕微鏡画像３２１に重ねて表示される。更に、画像生成部１４０は、表示装置１５０に拡大画像３４１を出力すると、トレースライン４６１上の、終端側により近い点を選んで、その位置を中心として、次の立体拡大画像データ３４０を生成する。

画像生成部１４０が上記のようなトレースライン上の新しい指定位置の取得から拡大画像３４１の表示までの一連の画像処理を繰り返すことにより、表示装置１５０においては、トレースライン４６１に沿って、拡大画像３４１が終端に向かって順次表示される。これにより、拡大画像３４１の視野よりも大きな長さを有する軸索５５３をトレースして、連続的に観察できる。これにより、顕微鏡の高い解像度と、長い標本の連続観察とを両立させた観察を容易に実行できる。

なお、上記の例では、表示装置１５０に表示されたキー５１０を通じたマウスの操作により、表示用顕微鏡画像３２１の回転の指示を入力した。しかしながら、キー５１０を表示装置１５０に明示的に表示しなくても、表示用顕微鏡画像３２１が表示されている領域内にカーソル５７０が位置する状態でマウスをドラッグ操作することにより、表示用顕微鏡画像３２１が、カーソル５７０の移動方向に追従して回転するインターフェースとしてもよい。これにより、表示装置１５０に表示された表示用顕微鏡画像３２１の回転を、より直感的に操作して、顕微鏡による立体画像の観察を一層容易できる。

図２２は、図１９から図２１を参照して説明した画像処理装置１０１による処理の手順を示す流れ図である。画像処理装置１０１による画像処理が開始されると、まず、画像生成部１４０が、顕微鏡１１０から取得した複数の画像データ４１０に基づいて、図２及び図３に示したように、立体顕微鏡画像データ３１０を生成する。（ステップＳ１１１）。

次に、画像生成部１４０は、立体顕微鏡画像データ３１０に基づく顕微鏡画像を生成して（ステップＳ１１２）、表示装置１５０に表示させる（ステップＳ１１３）。なお、この例では、立体顕微鏡画像データ３１０を投影面３２２に投影して生成した表示用顕微鏡画像３２１を生成して（ステップＳ１１１）、表示装置１５０に表示させた（ステップＳ１１３）。

次に、位置指定の入力として、表示装置１５０に表示させた表示用顕微鏡画像３２１に対してユーザがトレースライン４６１を入力するのを受付部１３０が監視しつつ、画像生成部１４０は待機する（ステップＳ１１４：ＮＯ）。ユーザが、位置の指定の入力としてトレースライン４６１を入力すると（ステップＳ１１４：ＹＥＳ）、受付部１３０は、入力されたトレースラインを受け付けて（ステップＳ１１５）、画像生成部１４０に参照させる。

次に、画像生成部１４０は、取得したトレースライン４６１に基づいて、表示用顕微鏡画像３２１に重ねて、トレースライン４６１を表示装置１５０に順次表示する（ステップＳ１１６）。この後、マウスのドラッグ操作が継続している間、画像生成部１４０は、表示装置１５０に表示するトレースライン４６１の延伸に勤める（ステップＳ１１７：ＹＥＳ）。

続いて、マウスによるトレースラインの入力が完了すると（ステップＳ１１７：ＹＥＳ）、画像生成部１４０は、ユーザが実行を指示するボタン５２０を押すことを監視しつつ待機する（ステップＳ１１８：ＮＯ）。ユーザが、マウスの操作によりボタン５２０を押して画像処理の開始を指示すると（ステップＳ１１８：ＹＥＳ）、画像生成部１４０は、立体顕微鏡画像データ３１０の一部から、立体拡大画像データ３４０を生成し（ステップＳ１１９）、生成した立体拡大画像データ３４０から、拡大画像３４１を生成する（ステップＳ１２０）。

更に、画像生成部１４０は、トレースライン４６１により指定されているにもかかわらず拡大画像３４１を生成していない位置が残っているか否かを調べ（ステップＳ１２１）、トレースライン上の位置で未処理が残っている場合は（ステップＳ１２１：ＮＯ）、処理の対象となる指定位置４２０を更新して（ステップＳ１２２）、ステップＳ１１９から１２１までのステップを繰り返す。そして、未処理の位置が残っていない場合は、処理を終了する。このように、ユーザは、予めトレースの経路を指定しておくことにより、糸状など長い標本を容易に観察することができる。

図２３は、画像処理装置１０１に対してトレースライン４６１を入力する場合の他の方法を説明する図である。この方法は、図１９から図２１を参照して説明した手順に代えて実行することにより、画像処理装置１０１にトレースライン４６１を入力できる。まず、図１９に示した画面において、ボタン５２１によりトレースライン４６１の入力としてポイントを選択する。これにより、表示装置１５０には、図２３に示す画像が表示される。

図示のように、画像生成部１４０は、表示装置１５０の図中左側に、図９にも示した表示用顕微鏡画像３２１を表示する。また、画像生成部１４０は、表示装置１５０の図中右側に、図１３にも示した表示用参照画像４４０を表示する。更に、画像生成部１４０は、表示装置１５０の図中下段に、キー５１０、ボタン５２０、およびフィールド４５０を表示する。

図示の表示用顕微鏡画像３２１は、図１９に示した表示用顕微鏡画像３２１と同様に、キー５１０をマウスにより操作して回転させることができる。表示用参照画像４４０は、図９について説明した通り、表示用顕微鏡画像３２１が回転した場合に、それに追従して回転する。よって、表示用顕微鏡画像３２１および表示用参照画像４４０の相対位置は固定されている。

また、表示用参照画像４４０の内側には、直線４２１、４２２、４２３が表示されている。ユーザは、マウスの操作を通じて直線４２１、４２２、４２３のうちの２本を移動させることにより、その交点の位置を立体顕微鏡画像データ３１０の領域内で移動できる。

そこで、ユーザは、トレースする対象物に重なる位置を指定して、当該位置４２０を、トレースライン４６１上のひとつの点として、マウスの操作により登録のボタン５２０を押すことにより受付部１３０に登録する。こうして、最初のトレースのポイントＡが登録により画像処理装置１０１に保持される。

更に、上記の操作をくり返して、複数のポイント、図示の例では、トレースポイントＢからＤの位置を受付部１３０に受け付させる。そして、十分な数のトレースポイントが登録された後、ユーザは、マウスの操作によりトレースの実行を指示するボタン５２０を押して、画像処理の実行を画像生成部１４０に指示する。

これにより、画像処理装置１０１においては、画像生成部１４０が、複数のトレースポイントＡ〜Ｄを経由するトレースライン４６１を生成し、表示用顕微鏡画像３２１に重ねて、表示装置１５０に表示する。更に、画像生成部１４０は、図２１に示した場合と同様に、拡大画像３４１を更新しながら、トレースライン４６１をなぞって拡大画像３４１を移動させる。こうして、ユーザは、指定したトレースラインに沿って、軸索全体を連続的に観察する。

なお、上記の例では、表示装置１５０に表示されたキー５１０を通じたマウスの操作により、表示用顕微鏡画像３２１および表示用参照画像４４０の回転の指示を入力した。しかしながら、キー５１０を表示装置１５０に明示的に表示しなくても、表示用顕微鏡画像３２１または表示用参照画像４４０が表示されている領域内にカーソル５７０が位置する状態でマウスをドラッグ操作することにより、表示用顕微鏡画像３２１および表示用参照画像４４０が、カーソル５７０の移動方向に追従して回転するインターフェースとしてもよい。これにより、表示装置１５０に表示された表示用顕微鏡画像３２１および表示用参照画像４４０の回転を、より直感的に操作して、顕微鏡による立体画像の観察を一層容易できる。

図２４は、画像処理装置１０１がまた他の処理を実行する場合に、表示装置１５０に表示される画像を示す。画像生成部１４０は、図中左側部分に、拡大画像３４１を重ね合わせた表示用顕微鏡画像３２１を表示する。

また、画像生成部１４０は、図中右側部分に、拡大画像３４１を画像処理により二値化した二値化画像３８０を表示する。更に、画像の中央には、設定された閾値を数値で表示するフィールド４５０と、次に説明する処理の設定および実行を指示するボタン５２０が配される。また、二値化画像３８０の上方には、後述する判定の結果を表示する表示欄４８０が配される。

図示の画像が表示装置１５０に表示されている場合、画像処理装置１０１における画像生成部１４０は、入力された位置４２０に対応する立体拡大画像データ３４０を既に生成し、更に、表示用顕微鏡画像３２１がなす面と平行な投影面に立体拡大画像データ３４０を投影して、拡大画像３４１を生成している。

上記のような状態で、ユーザは、マウスおよびキーボードを使用して、画像処理装置１０１に閾値を設定する。閾値を設定する場合、入力した閾値の値は、数値によりフィールド４５０に表示される。入力された数値は、設定を指示するボタン５２０をマウスで操作することにより確定され、閾値受付部を形成する受付部１３０により受け付けられた後、画像生成部１４０に保持される。

次に、ユーザがマウスを操作して、実行を指示するボタン５２０を押すと、画像生成部１４０は、立体拡大画像データ３４０を形成する画素のひとつひとつの輝度を閾値と比較して、閾値を超えたか否かにより二値化する。更に、画像生成部１４０は、二値化した画素を立体拡大画像データに再構成する。更に画像生成部１４０は、例えば、再構成された立体拡大画像データ３４０において閾値を超えた画素の割合に基づいて、処理した立体拡大画像データ３４０の、画像としての品質の良否を判定する。

画像生成部１４０は、判定結果を表示装置１５０に出力して表示させる。表示装置１５０に表示された画面の表示欄４８０に判定結果が表示される。また、同画面には、再構成された二値化画像３８０も併せて表示される。これにより、判定結果の妥当性を、ユーザが確認できる。このように、画像処理装置１０１は、位置４２０に対応した立体拡大画像を自動的に評価できるので、顕微鏡画像を評価する作業を省力化できる。よって、顕微鏡による立体画像の観察作業が、容易になる。なお、二値化は表示条件の一例であって、画像生成部１４０は、各画素の輝度が閾値を超えたか否かにより、二値化以外の方法で異なる表示条件で表示する拡大画像を出力してもよい。

図２５は、画像処理装置１０２を含む顕微鏡システム１００のブロック図である。図２５に示す顕微鏡システム１００において、画像処理装置１０２は、次に説明する部分で、図１に示した顕微鏡システム１００と異なる。また、顕微鏡１１１も、図１に示した顕微鏡１１０と異なる。その他の部分は、画像処理装置１０１と同じ構造を有するので、共通の要素には同じ参照番号を付して重複する説明を省く。

画像処理装置１０２は、顕微鏡１１１からの入力を受け、立体顕微鏡画像データ３１０を画像生成部１４０および表示装置１５０に取得させる画像対応部１６０を備える点で、画像処理装置１０１と異なる。また、この顕微鏡システム１００では、顕微鏡１１１が、互いに異なる顕微鏡法で標本から立体顕微鏡画像データ３１０を生成する複数の顕微鏡を含む点で、画像処理装置１０１と異なる。

上記のような顕微鏡システム１００において、画像処理装置１０２の画像対応部１６０は、互いに異なる顕微鏡法で構成された２つの立体顕微鏡画像データ３１０を顕微鏡１１１から取得して、それらを対応付ける処理を実行する。画像対応部１６０は、一方の立体顕微鏡画像データ３１０を構成する画素の各々の三次元座標値である画素位置と、他方の立体顕微鏡画像データ３１０の画素位置とを対応付ける。ここでいう画素位置は、各立体顕微鏡画像データの内側の位置なので、画像位置と呼ぶこともできる。

図２６は、画像対応部１６０により対応付けられた２つの立体顕微鏡画像データ３１０から生成した、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２を、表示装置１５０に並置して表示した状態を示す。

本実施例において、第１表示用顕微鏡画像４０１は、ＳＩＭ（Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：構造化照明顕微鏡法）により標本を撮像する。ＳＩＭは、周期的な照度パターンを有する照明下で標本を観察し、観察像に生じる干渉縞に基づいて照明光波長よりも小さな標本の微細構造を表す顕微鏡画像を再構成することができる。

また、第２表示用顕微鏡画像４０２は、ＳＴＯＲＭ（ＳＴｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ：確率的光学再構築顕微鏡法）により標本を撮像して得られた立体顕微鏡画像データ３１０から生成された。ＳＴＯＲＭは、複数の蛍光画像から高精度に検出した蛍光色素の位置情報を重ね合わせることで、照明光波長よりも高い分解能で蛍光画像を再構築できる。

第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２の各々は、それぞれ、図２を参照して説明したように、複数の焦点面で撮像した二次元顕微鏡画像を積み重ねることにより生成された立体顕微鏡画像データ３１０を、図５を参照して説明したように、投影面に投影して生成された。更に、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２は、画像対応部１６０に対応付けられて、像の大きさ、傾き、および表示位置が揃えられている。

よって、顕微鏡法の相違に起因するテクスャの違いを除くと、同じ大きさ、同じ傾き、同じ表示位置の第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２が表示されている。また，第１拡大画像４０３および第２拡大画像４０４は相互に対応付けられているので、キー５１０の操作により第１拡大画像４０３が回転した画像に更新された場合は、第２拡大画像４０４も同じように回転した表示用顕微鏡画像に更新される。

図２７は、画像生成部１４０により実行される処理の概念を説明する図である。画像生成部１４０は、第１表示用顕微鏡画像４０１の元になった立体顕微鏡画像データ３１０内のひとつの位置が、マウスにより操作されるカーソル５７０により受付部１３０に受付けられると、受け付けられた位置に対応する、他方の立体顕微鏡画像データ３１０内の位置を特定する。更に、画像生成部１４０は、指定された位置と特定された位置のそれぞれについて、予め設定された大きさの領域を特定する。本実施例で特定される領域は、指定された位置と特定された位置を中心とする、所定の半径の球に包囲された領域である。

更に、画像生成部１４０は、特定された領域について、立体拡大画像データを生成し、生成した立体拡大画像データを投影面に投影して第１拡大画像４０３を生成する。立体拡大画像データの倍率は、予め設定されていた倍率であってもよいし、位置が指定された後に画像処理装置１０１がユーザに問い合わせてもよい。

次に、画像生成部１４０は、第１表示用顕微鏡画像４０１で指定された位置と、第２表示用顕微鏡画像４０２で特定された位置とのそれぞれに、拡大顕微鏡画像データから生成した拡大画像３４１の位置を特定する。第１顕微鏡画像データおよび第２顕微鏡画像データは既に、画像対応部１６０により、同じ大きさ、向きおよび位置に揃えられているので、画像生成部１４０は、第１表示用顕微鏡画像４０１内の位置と同じ位置を、第２表示用顕微鏡画像４０２における対応する位置として特定する。

次に、画像生成部１４０は、第２表示用顕微鏡画像４０２の元になった立体顕微鏡画像データ３１０において、第１表示用顕微鏡画像４０１の場合と同じ半径を有する円形の領域を特定して、領域を特定する。更に、画像生成部１４０は、立体拡大画像データを生成した上で、先に説明した場合と同じ倍率で、立体拡大画像データ３４０を生成する。更に、生成した立体拡大画像データを投影面に投影して、第２拡大画像４０４を生成する。

図２８は、上記の一連の処理が終了した後に表示装置１５０に表示される画像を示す図である。表示装置１５０には、第１拡大画像４０３を重ね合わされた第１表示用顕微鏡画像４０１と、第２拡大画像４０４を重ね合わされた第２表示用顕微鏡画像４０２とが並べて表示される。ここで、第１拡大画像４０３の中心は、第１表示用顕微鏡画像４０１に対して指定された位置と一致している。

よって、第１拡大画像４０３は、第１表示用顕微鏡画像４０１の指定された位置の周囲を、恰も虫眼鏡で拡大して観察しているかのように表示する。よって、ユーザは、第１表示用顕微鏡画像４０１により全体を俯瞰しつつ、ユーザ自身が注目した領域について拡大された、第１拡大画像を観察できる。これにより、顕微鏡画像の直感的な観察作業を実施できる。

また、画像生成部１４０は、第２拡大画像４０４を、第２表示用顕微鏡画像４０２に重畳して表示する。第２拡大画像４０４の中心は、第１表示用顕微鏡画像４０１に対して指定された位置に対応する。よって、第２拡大画像４０４は、第２表示用顕微鏡画像４０２において、第１拡大画像４０３に対応する位置の周囲を、恰も虫眼鏡で拡大して観察しているかのように表示するので、ユーザは、第２表示用顕微鏡画像４０２全体を俯瞰しつつ、顕微鏡画像の直感的な観察作業を実施できる。

更に、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２は、予め、像の大きさ、向きおよび位置を合わせて表示されている。また、第１拡大画像４０３および第２拡大画像４０４は、それぞれ、表示されている第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２に対して、同じ倍率で拡大されている。

これにより、第１表示用顕微鏡画像４０１と第２表示用顕微鏡画像４０２との倍率や向きが異なって撮影されていても、第１表示用顕微鏡画像４０１と第２表示用顕微鏡画像４０２との画像全体の比較観察を容易に実施できる。更に、第１表示用顕微鏡画像４０１と第２表示用顕微鏡画像４０２においてユーザが注目した領域についての比較観察を容易に実施できる。

更に、ユーザは、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２の一方の内の位置を指定することにより、第１拡大画像４０３およびそれに合わせて生成された第２拡大画像４０４を並置して観察できる。よって、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２を比較観察する場合のユーザの操作手順が簡略になり、比較観察の作業効率が向上する。

なお、上記の例では、第１拡大画像４０３および第２拡大画像４０４は、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２にそれぞれ重ねて表示された。また、第１拡大画像４０３および第２拡大画像４０４の中心が、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２において指定された位置に一致するように表示された。

しかしながら、表示のレイアウトは、上記のようなものに限られない。例えば、画像生成部１４０は、第１表示用顕微鏡画像４０１および第１拡大画像４０３を、互いに重ねることなく、並置して表示装置１５０に表示してもよい。また、画像生成部１４０は、第１拡大画像４０３を表示装置１５０に単独で表示してもよい。更に、画像生成部１４０は、第１拡大画像４０３の中心が、第１表示用顕微鏡画像４０１においてユーザが指定位置と異なる位置に配置して表示してもよい。

第２表示用顕微鏡画像４０２および第２拡大画像４０４に関しても、同様に、表示のレイアウトは、上記のものに限られない。例えば、画像生成部１４０は、第２表示用顕微鏡画像４０２および第２拡大画像４０４を、互いに重ねることなく、並置して表示装置１５０に表示してもよい。また、画像生成部１４０は、第２拡大画像４０４を表示装置１５０に単独で表示してもよい。更に、画像生成部１４０は、第２拡大画像４０４の中心が、第２表示用顕微鏡画像４０２においてユーザが指定位置と異なる位置に配置して表示してもよい。

なお、画像生成部１４０は、第１拡大画像４０３および第１表示用顕微鏡画像４０１と、および第２拡大画像４０４および第２表示用顕微鏡画像４０２との少なくとも一方を、重ねることなく並置して表示装置１５０に表示してもよい。また、画像生成部１４０は、第１表示用顕微鏡画像４０１および第２表示用顕微鏡画像４０２の少なくとも一方を表示装置１５０に表示せずに、第１拡大画像４０３および第２拡大画像４０４の少なくとも一方を単独で表示装置１５０に表示してもよい。いずれの場合も、表示装置１５０には、ユーザが指定位置を含む領域の第１拡大画像４０３および第２拡大画像４０４の少なくとも一方が表示されるので、指定した領域を詳細に観察でき、立体顕微鏡画像の観察作業が容易になる。

また、画像生成部１４０は、第１拡大画像のデータおよび第２拡大画像のデータにおいて手前側に位置するか、奥に位置するかに応じて、第１表示用顕微鏡画像４０１、第２表示用顕微鏡画像４０２、第１拡大画像４０３、および第２拡大画像４０４の明るさおよび色を変化させる画像処理を実行してもよい。この場合、例えば、立体顕微鏡画像データ３１０および立体拡大画像データ３４０において、より手前側に位置する部分を、より明るく、または、より赤くし、立体顕微鏡画像データ３１０および立体拡大画像データ３４０において、より奥に位置する部分を、より暗く、または、より青くする。これにより、第１表示用顕微鏡画像４０１、第２表示用顕微鏡画像４０２、第１拡大画像４０３、および第２拡大画像４０４の奥行き感が強調され、立体顕微鏡画像がより観察しやすくなる。

なお、上記いずれの実施例および変形例においても、画像生成部１４０は、立体拡大画像データ３４０が示す領域の形状および大きさを変更してもよい。ここで、形状は、立体図形、例えば、球、円錐または多角錐、円柱または多角柱、多面体等を含む。例えば、立体拡大画像データ３４０が示す領域の形状を、球体から円盤状あるいはレンズ状に変更したり、球体の径を小さくすることを含む。これにより、投影面３４２に投影する場合に、立体拡大画像データ３４０の内部に位置するものを隠蔽するものが少なくなり、立体拡大画像データ３４０の内部を観察することが容易になる。よって、顕微鏡による立体画像の観察作業が容易になる。

また、上記いずれの実施例および変形例においても、受付部１３０は顕微鏡画像または三次元立体画像の位置の指定を受け付けることにより、立体顕微鏡画像データ３１０の少なくとも一部の指定を受け付けている。これに代えて、受付部１３０は顕微鏡画像または三次元立体画像の範囲の指定を受け付けることにより、立体顕微鏡画像データ３１０の少なくとも一部の指定を受け付けてもよい。この場合に、受付部１３０は、顕微鏡画像または三次元立体画像へのマウスのドラッグ・アンド・リリースの操作を受け付けて、ドラッグの開始位置を中心としてリリース位置を半径とする球の領域、または、ドラッグの開始位置とリリース位置を対角の頂点とする立方体の領域の指定を受け付けてもよい。

また、上記いずれの実施例および変形例においても、画像生成部１４０は、拡大画像３４１および表示用顕微鏡画像３２１を重ねることなく並置して表示装置１５０に表示してもよい。また、画像生成部１４０は、表示用顕微鏡画像３２１を表示装置１５０に表示せずに、拡大画像３４１を単独で表示装置１５０に表示してもよい。いずれの場合も、表示装置１５０には、ユーザが指定位置を含む領域の拡大画像３４１が表示されるので、指定した領域を詳細に観察でき、立体顕微鏡画像の観察作業が容易になる。

また、上記いずれの実施例および変形例においても、画像生成部１４０は、表示装置１５０に出力して表示させる拡大画像３４１における輝度値を特定の範囲に分布させる輝度変換をしてもよい。画像生成部１４０は、例えば、拡大画像３４１における輝度値（言い換えると、拡大画像３４１の各画素の輝度値）が２５６階調のうちの低い（暗い）方に集中して分布している場合に、画像生成部１４０は、その分布が２５６階調全体に広がるように輝度の変換を行う。具体的には、拡大画像３４１の各画素の輝度値のうち、輝度値の高い画素の輝度値がより高く（より明るく）なるように各画素の輝度を変換する。一方、例えば、拡大画像３４１における輝度値（言い換えると、拡大画像３４１の各画素の輝度値）が２５６階調のうちの高い（明るい）方に集中して分布している場合、画像生成部１４０は、その分布が２５６階調全体に広がるように、拡大画像３４１の画素のうち、輝度値の低い画素の輝度値がより低く（より暗く）なるように各画素の輝度を変換する。これにより、拡大画像３４１でそれまで見えていなかった輝度の差が表れて標本の微細な構造の像が観察できる。この場合に変換前の輝度値と変換後の輝度値との関係が記述された既知のルックアップテーブル等が用いられる。

また、上記いずれの実施例および変形例においても、画像生成部１４０は、立体顕微鏡画像３１０および立体拡大画像３４０において手前側に位置する像と、奥側に位置する像とで、表示用顕微鏡画像３２１および拡大画像３４１の明るさおよび色を変化させる画像処理を実行してもよい。この場合、例えば、立体顕微鏡画像３１０および立体拡大画像３４０において、より手前側に位置する像をより明るくし、より奥側に位置する像をより暗くする。または、立体顕微鏡画像データ３１０および立体拡大画像データ３４０において、より手前側に位置する像をより赤くし、より奥側に位置する部分をより青くしてもよい。これにより、表示用顕微鏡画像３２１および拡大画像３４１の奥行き感が強調され、立体顕微鏡画像がより観察しやすくなる。よって、立体顕微鏡拡大画像の観察作業が一層容易になる。

画像処理装置１０１の各動作が、コンピュータプログラムとして提供され、当該コンピュータプログラムをインストールすることにより実現されてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 顕微鏡システム、１０１、１０２ 画像処理装置、１１０、１１１ 顕微鏡、１２０ 入力装置、１３０ 受付部、１４０ 画像生成部、１５０ 表示装置、１６０ 画像対応部、３１０ 立体顕微鏡画像データ、３２１ 表示用顕微鏡画像、３３１、３３２、３３３ 顕微鏡画像、３３４ 表示用顕微鏡画像、３２２、３４２ 投影面、３３０ 三面図、３４０ 立体拡大画像データ、３４１ 拡大画像、３４３ 第１画像、３４４ 第２画像、３７０ 断面画像、３７１ 表示用断面画像、３７２ 表示用拡大断面画像、３８０ 二値化画像、４０１ 第１表示用顕微鏡画像、４０２ 第２表示用顕微鏡画像、４０３ 第１拡大画像、４０４ 第２拡大画像、４１０ 画像データ、４２１、４２２、４２３ 直線、４２４ 面指定表示、４２０ 位置、４２７、４２８、４２９ 交点、４３０ 標識、４４０ 参照画像、４４１、４４２ 壁面、４４３ 枠体、４５０ フィールド、４６０ 矢印、４６１ トレースライン、４８０ 表示欄、５１０、５３０ キー、５２０、５２１ ボタン、５４０ スライダ、５４１ 目盛り、５４２ ノブ、５５０ 神経細胞、５５１ 細胞体、５５２ 樹状突起、５５３ 軸索、５７０ カーソル、６３４ 顕微鏡画像、６４０ 位置参照画像

Claims (30)

1. 顕微鏡の立体画像の少なくとも一部の指定を受け付ける受付部と、
   前記指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成する画像生成部と、
   を含む画像処理装置。
2. 前記第１拡大画像と前記第２拡大画像は、それぞれ前記立体画像における異なる観察方向に対応する画像であり、
   前記受付部は、さらに前記立体画像の観察方向の変更の指示を受け付け、
   前記画像生成部は、前記観察方向の変更の指示に応じて、前記表示装置に表示される画像が前記第１拡大画像から前記第２拡大画像に変更するように前記第１拡大画像の画像データと前記第２拡大画像の画像データを前記表示装置に出力する請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記指定された前記立体画像の一部を拡大した立体拡大画像を生成し、
   前記観察方向の変更の指示に応じて、任意の投影面に対する前記立体拡大画像の傾きを変化させて、異なる観察方向から前記立体拡大画像を前記投影面に投影した前記第１拡大画像の画像データと前記第２拡大画像の画像データを生成する請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記第１拡大画像と前記第２拡大画像が異なる時刻に前記表示装置に表示されるように、前記第１拡大画像の画像データと前記第２拡大画像の画像データを前記表示装置に出力する請求項１に記載の画像処理装置。
5. 前記画像生成部は、第１拡大画像で拡大される前記立体画像の領域よりも広い領域の第１顕微鏡画像と、第２拡大画像で拡大される前記立体画像の領域よりも広い領域の第２顕微鏡画像とを前記表示装置に表示するための画像データを生成する請求項１又は２に記載の画像処理装置。
6. 前記画像生成部は、前記第１拡大画像と前記第１顕微鏡画像を重畳し、前記第２拡大画像と前記第２顕微鏡画像を重畳して前記表示装置に表示するための画像データを生成する請求項５に記載の画像処理装置。
7. 前記画像生成部は、前記顕微鏡の前記立体画像の少なくとも一部の顕微鏡画像を前記表示装置に表示するための画像データを生成し、
   前記受付部は、前記顕微鏡画像の少なくとも一部の指定を受け付ける、請求項１に記載の画像処理装置。
8. 前記顕微鏡画像は、前記顕微鏡の前記立体画像における互いに非平行な少なくとも２つの面の顕微鏡画像を含み、
   前記受付部は、前記少なくとも２つの面の顕微鏡画像のそれぞれの少なくとも一部の指定を受け付ける、請求項７に記載の画像処理装置。
9. 前記顕微鏡画像は、前記顕微鏡の前記立体画像における互いに平行な複数の面の顕微鏡画像を含み、
   前記受付部は、前記複数の面の顕微鏡画像から特定の顕微鏡画像の選択を受け付けると共に、前記特定の顕微鏡画像の少なくとも一部の指定を受け付ける、請求項７または８に記載の画像処理装置。
10. 前記顕微鏡画像は、前記顕微鏡の前記立体画像を含み、
    前記受付部は、前記立体画像の少なくとも一部の指定を受け付ける、請求項７から９のいずれか１項に記載の画像処理装置。
11. 前記顕微鏡画像は、前記顕微鏡の前記立体画像を任意の面に投影した投影画像を含み、
    前記受付部は、前記投影画像の少なくとも一部の指定を受け付ける、請求項７から１０のいずれか１項に記載の画像処理装置。
12. 前記画像生成部は、参照画像を前記表示装置に表示するための画像データを生成し、
    前記受付部は、前記参照画像の少なくとも一部の指定を受け付け、
    前記画像生成部は、指定された前記参照画像の少なくとも一部に対応する前記立体画像の一部に対応する前記第１拡大画像と、前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる前記第２拡大画像を表示装置に表示するための画像データを生成する、請求項１に記載の画像処理装置。
13. 前記画像生成部は、前記受付部で指定を受け付けた前記立体画像における位置を示す位置参照画像を前記表示装置に表示するための画像データを生成する、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記受付部は、拡大画像を表示する経路に関する情報の入力を受け付け、
    前記画像生成部は、前記第１拡大画像と前記第２拡大画像が前記経路に沿って異なる時刻に前記表示装置に表示されるように、前記第１拡大画像の画像データと前記第２拡大画像の画像データとを前記表示装置に出力する請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記受付部は、拡大画像の画素値に関する閾値の入力を受け付け、
    前記画像生成部は、前記閾値に基づく異なる表示条件で前記第１拡大画像と前記第２拡大画像を前記表示装置に表示するための画像データを生成する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記画像生成部は、前記顕微鏡とは異なる顕微鏡法で取得された第２立体画像における、前記指定を受け付けた前記立体画像の一部に対応する領域の拡大画像を前記表示装置に表示するための画像データを生成する、請求項１から１５のいずれか１項に記載の画像処理装置。
17. 請求項１から１６のいずれか１項に記載の画像処理装置と、
    顕微鏡画像データを前記画像処理装置に出力する顕微鏡と、
    前記画像処理装置から出力された画像データに基づく画像を表示する表示装置とを含む顕微鏡システム。
18. 顕微鏡の立体画像の少なくとも一部の指定を受け付けることと、
    前記指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成することと、を含む画像処理方法。
19. 前記第１拡大画像と前記第２拡大画像は、それぞれ前記立体画像における異なる観察方向に対応する画像であり、
    前記受け付けることは、さらに前記立体画像の観察方向の変更の指示を受け付けることを含み、
    前記画像データを生成することは、前記観察方向の変更の指示に応じて、前記表示装置に表示される画像が前記第１拡大画像から前記第２拡大画像に変更するように前記第１拡大画像の画像データと前記第２拡大画像の画像データを前記表示装置に出力することを含む請求項１８に記載の画像処理方法。
20. 前記画像を生成することは、前記指定された前記立体画像の一部を拡大した立体拡大画像を生成することを含み、
    前記観察方向の変更の指示に応じて、任意の投影面に対する前記立体拡大画像の傾きを変化させて、異なる観察方向から前記立体拡大画像を前記投影面に投影した前記第１拡大画像の画像データと前記第２拡大画像の画像データを生成する請求項１９に記載の画像処理方法。
21. 前記生成することは、第１拡大画像と前記第２拡大画像が異なる時刻に前記表示装置に表示されるように、前記第１拡大画像の画像データと前記第２拡大画像の画像データを前記表示装置に出力することを含む請求項１８に記載の画像処理方法。
22. 前記生成することは、
    第１拡大画像で拡大される前記立体画像の領域よりも広い領域の第１顕微鏡画像と、第２拡大画像で拡大される前記立体画像の領域よりも広い領域の第２顕微鏡画像とを前記表示装置に表示するための画像データを生成すること
    を含む請求項２１に記載の画像処理方法。
23. 前記生成することは、前記第１拡大画像と、前記第１顕微鏡画像とを重畳し、前記第２拡大画像と前記第２顕微鏡画像を重畳して前記表示装置に表示するための画像データを生成することを含む、請求項２２に記載の画像処理方法。
24. 前記顕微鏡の前記立体画像の少なくとも一部の顕微鏡画像を前記表示装置に表示するための画像データを生成することをさらに備え、
    前記受け付けることは、前記顕微鏡画像の少なくとも一部の指定を受け付けることを含む、
    請求項１８から２３のいずれか一項に記載の画像処理方法。
25. 前記顕微鏡画像は、前記顕微鏡の前記立体画像における互いに非平行な少なくとも２つの面の顕微鏡画像を含み、
    前記受け付けることは、前記少なくとも２つの面の顕微鏡画像のそれぞれの少なくとも一部の指定を受け付けることを含む請求項２４に記載の画像処理方法。
26. 前記顕微鏡画像は、前記顕微鏡の前記立体画像における互いに平行な複数の面の顕微鏡画像を含み、
    前記受け付けることは、前記複数の面の顕微鏡画像から特定の顕微鏡画像の選択を受け付けると共に、前記特定の顕微鏡画像の少なくとも一部の指定を受け付けることを含む請求項２４または２５に記載の画像処理方法。
27. 前記顕微鏡画像は、前記顕微鏡の前記立体画像を含み、
    前記受け付けることは、前記立体画像の少なくとも一部の指定を受け付けることを含む請求項２４から２６のいずれか一項に記載の画像処理方法。
28. 前記顕微鏡画像は、前記顕微鏡の前記立体画像を任意の面に投影した投影画像を含み、
    前記受け付けることは、前記投影画像の少なくとも一部の指定を受け付けることを含む、請求項２４から２７のいずれか一項に記載の画像処理方法。
29. 参照画像を前記表示装置に表示するための画像データを生成することをさらに含み、
    前記受け付けることは、前記参照画像の少なくとも一部の指定を受け付けることを含み、
    前記生成することは、指定された前記参照画像の少なくとも一部に対応する前記立体画像の一部に対応する前記第１拡大画像と、前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる前記第２拡大画像を表示装置に表示するための画像データを生成することを含む、
    請求項１８から２３のいずれか１項に記載の画像処理方法。
30. コンピュータプログラムであって、コンピュータに、
    顕微鏡の立体画像の少なくとも一部の指定を受け付けることと、
    前記指定された前記立体画像の一部に対応する第１拡大画像と、前記指定された前記立体画像の一部に対応し、かつ前記第１拡大画像とは異なる第２拡大画像を表示装置に表示するための画像データを生成することと、
    を実行させるコンピュータプログラム。

Images