JPH11231228A - 顕微鏡システム - Google Patents

顕微鏡システム

Info

Publication number
JPH11231228A
JPH11231228A JP10029933A JP2993398A JPH11231228A JP H11231228 A JPH11231228 A JP H11231228A JP 10029933 A JP10029933 A JP 10029933A JP 2993398 A JP2993398 A JP 2993398A JP H11231228 A JPH11231228 A JP H11231228A
Authority
JP
Japan
Prior art keywords
stage
horizontal
coordinates
image
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10029933A
Other languages
English (en)
Other versions
JP4332905B2 (ja
Inventor
Masaya Yamaguchi
雅哉 山口
Akitoshi Suzuki
昭俊 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP02993398A priority Critical patent/JP4332905B2/ja
Publication of JPH11231228A publication Critical patent/JPH11231228A/ja
Application granted granted Critical
Publication of JP4332905B2 publication Critical patent/JP4332905B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】 【課題】 本発明は、標本を載置するステージの移動
を、遠隔で制御可能な顕微鏡システムに関し、焦点ずれ
を起こすことなく標本の観察を行うことを目的とする。 【解決手段】 標本を載置するステージの水平移動を制
御する水平移動制御手段と、ステージの上下移動を制御
する上下移動制御手段とを有する顕微鏡システムにおい
て、標本の任意の位置における水平座標および焦点位置
である高さ座標からなる三次元座標を読み込む座標読込
手段と、少なくとも3箇所以上の三次元座標を記憶する
記憶手段と、各三次元座標のうち複数の各水平座標と、
標本の観察位置の水平座標とから、観察位置の高さ座標
を算出する高さ座標算出手段と、水平座標へのステージ
の移動を、水平移動制御手段に指示する水平移動指示手
段と、高さ座標へのステージの移動を、上下移動制御手
段に指示する上下移動指示手段とを有することを特徴と
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、標本を載置するス
テージの移動を、遠隔で制御可能な顕微鏡システムに関
する。
【0002】
【従来の技術】従来、標本を載置するステージの移動
を、遠隔で制御可能な顕微鏡システムとして、例えば、
図5に示すものが知られている。図において、遠隔操作
される一方側Aには、顕微鏡1が設置されている。顕微
鏡1には、標本3を走査するためのステージ5が取り付
けられている。
【0003】ステージ5には、ステージ5の水平移動お
よび上下移動を制御するスキャニングステージコントロ
ーラ7が接続されている。スキャニングステージコント
ローラ7および顕微鏡1の対物レンズ9等の可動部は、
通信インタフェース11により画像伝送装置13aに接
続されており、画像伝送装置13a側からの制御が可能
にされている。
【0004】顕微鏡1の上部には、標本3の観察像を撮
像するカメラ15が取り付けられている。画像伝送装置
13aには、カメラ15により撮像される標本3の画像
17を表示するモニタ19aが接続されている。画像伝
送装置13aには、標本3を観察するための種々の設定
を行う操作手段21aが接続されている。
【0005】一方、遠隔操作を行う他方側Bには、一方
側Aの画像伝送装置13aと同種の画像伝送装置13b
が設置されている。画像伝送装置13aと画像伝送装置
13bとは、例えば、通信回線23等により、相互に接
続されている。他方側Bの画像伝送装置13bには、一
方側Aの画像伝送装置13aから伝送される標本3の画
像17を表示するモニタ19bが接続されている。
【0006】画像伝送装置13bには、標本3を観察す
るために遠隔操作に必要な種々の設定を行う操作手段2
1bが接続されている。この操作手段21bでは、例え
ば、一方側Aに設置されている顕微鏡1のステージ5の
走査,対物レンズ9の倍率の変更,撮像した画像17の
伝送要求等が行われる。
【0007】上述した顕微鏡システムは、例えば、医療
現場において、患者を手術する場所と、患者の患部の状
態を確認する場所とが離れている場合に使用されてい
る。具体的には、癌患者の手術の際に、離れた場所にい
る専門の病理医等が、患部の癌細胞の状態を確認するた
めに、顕微鏡1のステージ5上に載置される標本3を、
遠隔操作で観察する場合に使用されている。
【0008】ここで、標本3とは、患部の一部を薄く切
断したものをスライドグラス3a上に載せたものであ
る。このような場合には、先ず、一方側Aで、手術され
る患者の患部から標本3が作成される。作成された標本
3は、検査員等により顕微鏡1のステージ5上に載置さ
れる。
【0009】次に、検査員等は、操作手段21aを操作
し、標本3の要部全体が観察できる程度の低い倍率に、
対物レンズ9を切り替える。そして、検査員等は、モニ
タ19a等を見ながら標本3の焦点を合わせる。焦点が
合わせられた標本3の画像17は、検査員等が操作手段
21aを操作することにより、通信回線23を介して、
静止画像として他方側Bの画像伝送装置13bに伝送さ
れる。
【0010】画像伝送装置13bに伝送された画像17
は、他方側Bのモニタ19bに表示される。他方側Bで
は、病理医等がモニタ19bに表示される画像17を観
察する。ここから先の顕微鏡1の操作は、病理医等の遠
隔操作により行われ、標本3の画像17が詳細に観察さ
れる。
【0011】病理医等は、詳細に観察したい標本3の位
置および倍率等を操作手段21bから入力する。操作手
段21bにより入力された設定は、画像伝送装置13b
を介して、一方側Aの画像伝送装置13aに伝えられ
る。画像伝送装置13aは、画像伝送装置13bからの
要求を受け、スキャニングステージコントローラ7およ
び顕微鏡1を制御して、ステージ5を水平移動し、同時
に指定された高倍率の対物レンズ9に切り替える。
【0012】そして、カメラ15により拡大された画像
17が撮像され、静止画像として画像伝送装置13b側
に伝送される。さらに、病理医等は、同様の操作を繰り
返し、操作手段21bによりステージ5を水平移動し、
標本3の複数の箇所を詳細に観察する。このように、病
理医等が顕微鏡1を遠隔操作することで、離れた場所で
手術が行われても、患部の状態が詳細に観察され、病理
医等の的確な指示のもとに、手術が行われる。
【0013】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の顕微鏡システムでは、観察する標本3のスラ
イドグラス3aが、ステージ5に対して水平に載置され
ていない場合には、ステージ5を水平移動していくと、
画像17の焦点がずれてしまうという問題があった。
【0014】このような場合には、病理医等が、一方側
Aにいる検査医等に焦点を合わせる依頼を行い、画像1
7を再度転送して、焦点が合ったことを確認しなくては
ならず、病理医等が患部の状態について迅速に判断する
ことができないという問題があった。現実には、スライ
ドグラス3aが傾いていると、観察位置を変更する都
度、焦点がずれるため、病理医等は、見たい画像17を
得るために、検査医等に対して何回も、焦点合わせを依
頼しなければならなかった。
【0015】本発明は、かかる従来の問題点を解決する
ためになされたもので、ステージ上に標本を傾いて載置
した場合にも、焦点ずれを起こすことなく標本の観察を
行うことができる顕微鏡システムを提供することを目的
とする。
【0016】
【課題を解決するための手段】請求項1の顕微鏡システ
ムは、標本を載置するステージの水平移動を制御する水
平移動制御手段と、前記ステージの上下移動を制御する
上下移動制御手段とを有する顕微鏡システムにおいて、
前記ステージ上に載置される標本の任意の位置における
水平座標(X,Y)および焦点位置である高さ座標Zか
らなる三次元座標(X,Y,Z)を読み込む座標読込手
段と、前記座標読込手段により読み込まれる前記標本の
少なくとも3箇所以上の三次元座標(Xn,Yn,Z
n);(n=1,2,...)を記憶する記憶手段と、
前記記憶手段に記憶される前記各三次元座標(Xn,Y
n,Zn)のうち複数の前記各水平座標(Xn,Yn)
と、前記標本の観察位置の水平座標(Xa,Ya)とか
ら、前記観察位置の高さ座標Zaを算出する高さ座標算
出手段と、前記水平座標(Xa,Ya)への前記ステー
ジの移動を、前記水平移動制御手段に指示する水平移動
指示手段と、前記高さ座標Zaへの前記ステージの移動
を、前記上下移動制御手段に指示する上下移動指示手段
とを有することを特徴とする。
【0017】請求項2の顕微鏡システムは、請求項1記
載の顕微鏡システムにおいて、前記高さ座標算出手段
は、同一直線上にない3個の前記水平座標(X1,Y
1),(X2,Y2),(X3,Y3)および高さ座標
Z1,Z2,Z3と、前記水平座標(Xa,Ya)とか
ら、前記観察位置の高さ座標Zaを算出することを特徴
とする。
【0018】請求項3の顕微鏡システムは、請求項1記
載の顕微鏡システムにおいて、前記上下移動指示手段に
より指示を受け、前記上下移動制御手段により制御され
る前記ステージの上下移動は、前記水平移動指示手段の
指示を受け、前記水平移動制御手段により制御される前
記ステージの水平移動と、同時に行われることを特徴と
する。
【0019】請求項4の顕微鏡システムは、請求項3記
載の顕微鏡システムにおいて、前記上下移動制御手段
は、前記上下移動指示手段の指示による前記ステージの
移動の後に、さらに、自動焦点機能により、前記観察位
置の焦点を合わせるための微調整が行われることを特徴
とする。
【0020】(作用)請求項1の顕微鏡システムでは、
ステージ上に載置される標本の3箇所以上の三次元座標
(Xn,Yn,Zn)が、予め、座標読込手段により読
み込まれ、記憶手段に記憶され、これ等三次元座標(X
n,Yn,Zn)から、ステージに載置される標本のス
テージに対する傾きが求められる。
【0021】このため、標本の任意の観察位置での水平
座標(Xa,Ya)を指定することで、標本を観察する
前に、高さ座標算出手段により、水平座標(Xa,Y
a)での焦点位置,すなわち観察位置での高さ座標Za
を求めることが可能になる。そして、水平移動指示手段
および上下移動指示手段が、水平移動制御手段および上
下移動制御手段に、ステージの移動を指示し、指定され
た水平座標(Xa,Ya)および求められた高さ座標Z
aまでステージが移動される。
【0022】このため、標本の観察時に、観察位置での
水平座標(Xa,Ya)にステージを移動した後に、焦
点合わせを行う時間が不要になり、ステージを移動して
から、実際に観察が行える状態になるまでの時間が短縮
される。また、標本を観察する前に、観察位置での水平
座標(Xa,Ya)での高さ座標Zaが求まるため、例
えば、従来、遠隔操作によりステージを移動する際に必
要であった自動焦点機能が不要にされる。
【0023】請求項2の顕微鏡システムでは、ステージ
に載置される標本のステージに対する傾きが、標本上の
同一直線上にない3個の水平座標(X1,Y1),(X
2,Y2),(X3,Y3)および高さ座標Z1,Z
2,Z3から求められるため、座標読込手段により読み
込む三次元座標(Xn,Yn,Zn)の測定箇所が3箇
所と最小限にされ、測定時間が短縮される。
【0024】また、三次元座標(Xn,Yn,Zn)の
記憶に必要な記憶手段の記憶容量が最小限になる。請求
項3の顕微鏡システムでは、上下移動指示手段の指示に
よるステージの上下移動と、水平移動指示手段の指示に
よるステージの水平移動とが同時に行われるため、水平
移動制御手段による観察位置までのステージの水平移動
の完了前に、上下移動制御手段により、焦点位置である
高さ座標まで、ステージを上下移動することが可能にな
る。
【0025】このため、観察位置での水平座標(Xa,
Ya)を指定してから、実際に観察を行える状態になる
までの時間が短縮される。請求項4の顕微鏡システムで
は、上下移動指示手段の指示によるステージの上下移動
の後に、自動焦点機能により観察位置での焦点の微調整
が行われるため、自動焦点機能の負荷が最小限にされ、
自動焦点機能を備える顕微鏡システムでは、観察位置で
の焦点合わせの時間を短縮することが可能になる。
【0026】
【発明の実施の形態】以下、本発明の実施形態を図面を
用いて詳細に説明する。図1は、本発明の顕微鏡システ
ムの第1の実施形態(請求項1ないし請求項3に対応す
る)を示している。図において、遠隔操作される一方側
Aには、顕微鏡31,画像伝送装置33aおよびモニタ
35aが設置されている。
【0027】顕微鏡31の上部には、標本37の観察像
を撮像するカメラ39が取り付けられている。顕微鏡3
1には、標本37を走査するために、ステージ41が取
り付けられている。顕微鏡31は、標本37を様々な倍
率で観察するための交換可能な複数の対物レンズ43を
有している。
【0028】顕微鏡31のステージ41と画像伝送装置
33aとの間には、ステージ41の水平移動および上下
移動を制御するスキャニングステージコントローラ45
が配置されている。スキャニングステージコントローラ
45は、座標読込部47,水平移動制御部49および上
下移動制御部51を有している。
【0029】この実施形態では、座標読込部47,水平
移動制御部49および上下移動制御部51は、座標読込
手段,水平移動制御手段,上下移動制御手段の一形態と
して構成されている。座標読込部47は、ステージ41
の位置を、三次元座標(X,Y,Z)として読み込む機
能を有している。
【0030】水平移動制御部49は、画像伝送装置33
aからの指示を受け、ステージ41を所定の水平座標
(X,Y)までの移動する機能を有している。上下移動
制御部51は、画像伝送装置33aからの指示を受け、
ステージ41を所定の高さ座標Zまでの移動する機能を
有している。
【0031】スキャニングステージコントローラ45お
よび顕微鏡31の対物レンズ43等の可動部は、例え
ば、RS232CまたはGPIB等の通信インタフェー
ス53により画像伝送装置33aに接続されており、画
像伝送装置33a側から制御が可能にされている。画像
伝送装置33aには、標本37を観察するための種々の
設定を行うために、例えば、キーボード等からなる操作
手段55aが接続されている。
【0032】画像伝送装置33aは、画像入出力部57
a,画像メモリ59a,画像伝送部61aおよび制御部
63aを有している。画像入出力部57aは、カメラ3
9により撮像される標本37の観察像を画像65として
取り込み、取り込んだ画像65をモニタ35aに表示す
る機能を有している。
【0033】また、画像入出力部57aは、操作手段5
5aからの指示により、取り込んだ画像65を静止画像
として画像メモリ59aに書き込む機能を有している。
画像伝送部61aは、画像メモリ59aから転送される
画像65を、他方側Bに出力する機能、および、他方側
Bからの各種設定を入力する機能を有している。制御部
63aは、ワークメモリ67,高さ座標算出手段69,
水平移動指示手段71および上下移動指示手段73を有
している。
【0034】また、制御部63aは、顕微鏡システム全
体の制御を行うために、図示しないマイクロコンピュー
タ等の中央制御回路を有している。ワークメモリ67
は、ステージ41上に載置される標本37の複数の位置
を三次元座標(Xn,Yn,Zn)として記憶する。こ
の実施形態では、ワークメモリ67は、3箇所分の三次
元座標(X1,Y1,Z1),(X2,Y2,Z2),
(X3,Y3,Z3)を記憶する記憶領域を有してい
る。
【0035】高さ座標算出手段69は、観察位置の水平
座標(Xa,Ya)から、その観察位置での焦点位置、
すなわちステージ41の高さ座標Zaを求める機能を有
している。この実施形態では、高さ座標算出手段69
は、例えば、ソフトウエアのプログラムとして、画像伝
送装置33a内に構成されている。
【0036】水平移動指示手段71は、操作手段55a
または操作手段55bにより指示される水平座標(X,
Y)を受けて、その座標位置にステージ41を移動する
ため、スキャニングステージコントローラ45の水平移
動制御部49に、水平座標(X,Y)を出力する機能を
有している。上下移動指示手段73は、操作手段55a
または操作手段55bにより指示される高さ座標Zを受
けて、その座標位置にステージ41を移動するため、ス
キャニングステージコントローラ45の上下移動制御部
51に、高さ座標Zを出力する機能を有している。
【0037】この実施形態では、水平移動指示手段71
および上下移動指示手段73は、マイクロコンピュータ
に内蔵されるI/Oポート等により構成されている。一
方、遠隔操作を行う他方側Bには、画像伝送装置33b
が設置されている。画像伝送装置33aと画像伝送装置
33bとは、例えば、電話回線等の通信回線75によ
り、相互に接続されている。
【0038】画像伝送装置33bは、画像入出力部57
b,画像メモリ59b,画像伝送部61bおよび制御部
63bを有している。画像入出力部57bは、画像メモ
リ59bに記憶される画像65を取り込み、取り込んだ
画像65をモニタ35bに表示する機能を有している。
画像伝送部61bは、画像伝送装置33bから伝送され
る画像65を入力して画像メモリ59bに転送する機
能、および、各種設定を画像伝送装置33bに出力する
機能を有している。
【0039】制御部63bは、画像伝送装置33b全体
を制御する機能を有している。制御部63bには、標本
37を観察するための種々の設定を行うために、例え
ば、キーボード等からなる操作手段55bが接続されて
いる。操作手段55bでは、例えば、一方側Aに設置さ
れている顕微鏡31のステージ41の走査,対物レンズ
43の倍率の変更,撮像した画像65の伝送要求等が行
われる。
【0040】上述した顕微鏡システムは、例えば、医療
現場において、患者を手術する場所と、患者の患部の状
態を確認する場所とが離れている場合に使用されてい
る。具体的には、癌患者の手術の際に、離れた場所にい
る専門の病理医等が、患部の癌細胞の状態を確認する際
に、顕微鏡31のステージ41上に載置される標本37
を、遠隔操作を行うことで観察する場合に使用される。
【0041】ここで、標本37とは、患部の一部を薄く
切断したものをスライドグラス37a上に載せたもので
ある。このような場合には、先ず、一方側Aで、手術さ
れる患者の患部から標本37が作成される。作成された
標本37は、検査員等により顕微鏡31のステージ41
上に載置される。
【0042】次に、検査員等は、操作手段55aを操作
し、標本37を観察するために利用する最大の倍率に、
対物レンズ43を切り替える。そして、図2に示すよう
に、検査員等は、モニタ35a等を見ながら標本37の
スライドグラス37a上の任意の3箇所(X1,Y
1),(X2,Y2),(X3,Y3)について、それ
ぞれ焦点を合わせる。
【0043】この際に、検査員は、この後に求めるスラ
イドグラス37aのステージ41に対する傾きが精度良
く求まるように、任意の3箇所(X1,Y1),(X
2,Y2),(X3,Y3)を頂点とする三角形の面積
が大きくなるように、スライドグラス37a上の相互に
離れた位置を3箇所指定する。
【0044】また、スライドグラス37aは透明で、焦
点を合わせることが難しいため、予め、測定する3箇所
を決めておき、この位置に印を付けておいても良い。そ
して、図1に示したように、検査員等が、各位置の焦点
を合わせる毎に、操作手段55aを操作することによ
り、各位置の三次元座標(X1,Y1,Z1),(X
2,Y2,Z2),(X3,Y3,Z3)が、スキャニ
ングステージコントローラ45の座標読込部47を介し
て、画像伝送装置33aのワークメモリ67に記憶され
る。
【0045】画像伝送装置33aは、ワークメモリ67
に記憶された3箇所の三次元座標(X1,Y1,Z
1),(X2,Y2,Z2),(X3,Y3,Z3)か
ら標本37のスライドグラス37aのステージ41に対
する傾きを求める。以下に、スライドグラス37aのス
テージ41に対する傾きを求めるための具体例を示す。
【0046】式(1)は、定数C1,C2,C3を含む
平面の式である。
【数1】 式(2)は、式(1)を3箇所の座標について表したも
のを、行列式として纏めたものである。
【数2】 この例では、先ず、ワークメモリ67に記憶されている
3箇所の三次元座標(X1,Y1,Z1),(X2,Y
2,Z2),(X3,Y3,Z3)を式(2)に代入
し、式(2)を解いて、定数C1,C2,C3を求め
る。
【0047】求めた定数C1,C2,C3を式(1)に
適用することにより、3箇所の三次元座標(X1,Y
1,Z1),(X2,Y2,Z2),(X3,Y3,Z
3)を通る平面の式,すなわち、スライドグラス37a
のステージ41に対する傾きが求められる。
【0048】この後に、検査員等は、標本37の全体が
観察できる位置に、ステージ41を移動し、焦点を合わ
せる。焦点が合わせられた標本37の画像65は、検査
員等が操作手段55aを操作することにより、画像入出
力部57aを介して、静止画像として画像メモリ59a
に取り込まれる。
【0049】画像伝送装置33aは、画像メモリ59a
に取り込まれた画像65を、画像伝送部61aに転送す
る。画像伝送部61aは、転送された画像65を、通信
回線75を介して、他方側Bの画像伝送装置33bの画
像伝送部61bに伝送する。画像伝送装置33bは、画
像伝送部61bに伝送された画像65を、画像メモリ5
9bに転送する。
【0050】そして、画像メモリ59bに転送された画
像65は、画像入出力部57bにより読み込まれ、モニ
タ35bに表示される。病理医等は、モニタ35bに表
示される画像65を観察する。ここからの顕微鏡31の
操作は、病理医等の遠隔操作により行われ、標本37の
画像65が詳細に観察される。
【0051】病理医等は、標本37を詳細に観察したい
位置および倍率等を操作手段55bから入力する。病理
医等が入力した観察位置は、図2に示したように、画像
伝送装置33bの制御部63bで、水平座標(Xa,Y
a)に変換される。観察位置の水平座標(Xa,Ya)
および倍率は、画像伝送装置33bを介して、一方側A
の画像伝送装置33aに伝えられる。
【0052】画像伝送装置33aの制御部63aは、高
さ座標算出手段69により、指示された観察位置の水平
座標(Xa,Ya)と、前述した平面の式(1)とか
ら、観察位置の高さ座標Zaを求める。次に、水平移動
指示手段71は、水平移動制御部49に観察位置の水平
座標(Xa,Ya)へのステージ41の移動を指示す
る。
【0053】同時に、上下移動指示手段73は、上下移
動制御部51に観察位置の高さ座標Zaへのステージ4
1の移動を指示する。水平移動制御部49および上下移
動制御部51は、水平移動指示手段71および上下移動
指示手段73の指示を受け、ステージ41を所定の位置
に移動し、観察位置の水平座標(Xa,Ya)への移動
と焦点位置である高さ座標Zaへの移動が同時に行われ
る。
【0054】また、制御部63aは、通信インタフェー
ス53を介して、顕微鏡31を制御し、顕微鏡31の対
物レンズ43を高倍率のものに切り替える。この後に、
カメラ39により撮像される観察位置の拡大された画像
65が、画像入出力部57aを介して画像メモリ59a
に取り込まれる。そして、制御部63aは、画像メモリ
59aの画像データを、画像伝送部61aに転送し、画
像65が他方側Bの画像伝送装置33bに伝送される。
【0055】画像伝送装置33bの制御部63bは、画
像65を画像メモリ59bに取り込み、取り込んだ画像
65を、画像入出力部57bに出力する。画像入出力部
57bは、画像65をモニタ35bに出力する。病理医
等は、モニタ35bに表示される拡大された画像65を
観察し、次に、観察したい観察位置の水平座標(Xa,
Ya)を、操作手段55bにより、画像伝送装置33b
に入力する。
【0056】そして、画像伝送装置33aにより、観察
位置での高さ座標Zaの算出が行われ、人手等で焦点を
合わせることなく、ステージ41が焦点位置に移動し、
次の観察位置での画像65が、他方側Bのモニタ35b
に表示される。
【0057】以上のように構成された顕微鏡システムで
は、ステージ41上に載置される標本37の3箇所の三
次元座標(X1,Y1,Z1),(X2,Y2,Z
2),(X3,Y3,Z3)を、予め、座標読込部47
により読み込み、ワークメモリ67に記憶したので、こ
れ等三次元座標(X1,Y1,Z1),(X2,Y2,
Z2),(X3,Y3,Z3)から、ステージ41に載
置される標本37のステージ41に対する傾きを求める
ことができる。
【0058】このため、標本37の任意の観察位置での
水平座標(Xa,Ya)を指定することで、標本37を
観察する前に、高さ座標算出手段69により、水平座標
(Xa,Ya)での焦点位置,すなわち観察位置での高
さ座標Zaを求めることができる。さらに、標本37の
観察時に、観察位置での水平座標(Xa,Ya)にステ
ージ41を移動した後に、焦点合わせを行う時間が不要
になり、ステージ41を移動してから、実際に観察が行
える状態になるまでの時間を短縮することができる。
【0059】また、標本37を観察する前に、観察位置
での水平座標(Xa,Ya)での高さ座標Zaを求める
ことができるため、例えば、従来、遠隔操作によりステ
ージ41を観察位置での水平座標(Xa,Ya)まで移
動を行う場合に必要であった自動焦点機能を不要にする
ことができる。そして、ステージ41に載置される標本
37のステージ41に対する傾きを、標本37上の同一
直線上にない3個の水平座標(X1,Y1),(X2,
Y2),(X3,Y3)および高さ座標Z1,Z2,Z
3から求めたので、観察前に座標読込部47による読み
込まれる三次元座標(Xn,Yn,Zn)の測定箇所を
3箇所と最小限にすることができ、測定時間を短縮で
き、また、ワークメモリ67の記憶容量を最小限にする
ことができる。
【0060】さらに、上下移動指示手段73の指示によ
るステージ41の上下移動と、水平移動指示手段71の
指示によるステージ41の水平移動とを同時に行ったの
で、水平移動制御部49による観察位置までのステージ
41の水平移動の完了前に、上下移動制御部51によ
り、焦点位置である高さ座標まで、ステージ41を上下
移動することができ、観察位置での水平座標(Xa,Y
a)を指定してから、実際に観察が行える状態になるま
での時間を短縮することができる。
【0061】図3は、本発明の顕微鏡システムの第2の
実施形態(請求項1に対応する)を示している。この実
施形態では、一方側Aの画像伝送装置33aのワークメ
モリ67は、4箇所以上の三次元座標を記憶できる記憶
領域を有している。この実施形態では、病理医等による
標本37の観察前に検査員等が、顕微鏡31のステージ
41上に載置される標本37のスライドグラス37a上
の任意の4箇所について、焦点を合わせる。
【0062】検査員等が、各位置の焦点を合わせる毎
に、操作手段55aを操作することにより、各位置の三
次元座標(X1,Y1,Z1),(X2,Y2,Z
2),(X3,Y3,Z3),(X4,Y4,Z4)
が、スキャニングステージコントローラ45の座標読込
部47を介して、画像伝送装置33aのワークメモリ6
7に記憶される。
【0063】画像伝送装置33aは、ワークメモリ67
に記憶された3箇所の三次元座標(X1,Y1,Z
1),(X2,Y2,Z2),(X3,Y3,Z3),
(X4,Y4,Z4)から標本37のスライドグラス3
7aのステージ41に対する傾きを求める。以下に、ス
ライドグラス37aのステージ41に対する傾きを求め
るための具体例を示す。
【0064】式(3)は、上述した第1の実施形態の式
(1)を4箇所の位置座標について表したものを、行列
式として纏めたものである。
【数3】 測定箇所が4箇所以上の場合には、式(3)のままで
は、定数C1,C2,C3が定まらないので、先ず、例
えば、最小二乗法等の手法を使い、各位置での高さ座標
Znと求める平面との距離を最小にする条件式である式
(4)を求める。
【数4】 そして、式(4)に、各三次元座標(X1,Y1,Z
1),(X2,Y2,Z2),(X3,Y3,Z3),
(X4,Y4,Z4)を代入し、定数C1,C2,C3
を求める。求めた定数C1,C2,C3を式(1)に適
用することにより、4箇所の三次元座標(X1,Y1,
Z1),(X2,Y2,Z2),(X3,Y3,Z
3),(X4,Y4,Z4)の各座標に最も近い平面の
式が求められる。
【0065】この後に、検査員等は、標本37の全体が
観察できる位置に、ステージ41を移動し、焦点を合わ
せる。焦点が合わせられた標本37の画像65は、検査
員等が操作手段55aを操作することにより、静止画像
として他方側Bの画像伝送装置33bに伝送され、画像
65がモニタ35bに表示される。
【0066】この後に、上述した第1の実施形態と同様
にして、他方側Bにいる病理医等により、遠隔操作で画
像65の観察が行われる。この実施形態の顕微鏡システ
ムにおいても、上述した第1の実施形態と同様の効果を
得ることができるが、この実施形態では、予め、標本3
7の4箇所を測定し、4箇所の三次元座標(X1,Y
1,Z1),(X2,Y2,Z2),(X3,Y3,Z
3),(X4,Y4,Z4)の各座標に最も近い平面の
式を求めたので、例えば、スライドグラス37aの測定
箇所に異物等の凹凸がある場合にも、この凹凸の影響を
最小限にして、平面の式を求めることができる。
【0067】図4は、本発明の顕微鏡システムの第3の
実施形態(請求項4に対応する)を示している。この実
施形態では、画像伝送装置33aに自動焦点機能77が
搭載されている。
【0068】この実施形態では、高さ座標算出手段69
により、他方側Bから指示される観察位置の水平座標
(Xa,Ya)から、高さ座標Zaが求められ、水平移
動制御部49および上下移動制御部51により、観察位
置にステージ41が移動した後に、さらに、自動焦点機
能77により、焦点の微調整が行われる。このため、ス
テージ41を観察位置に移動した後の自動焦点機能77
によるステージ41の上下移動は極小さく、短時間で行
われる。
【0069】また、病理医による標本37の観察前に、
検査員等が行う複数箇所の三次元座標の測定も自動焦点
機能77を利用して行われる。この実施形態において
も、上述した第1の実施形態を同様の効果を得ることが
できるが、この実施形態では、上下移動指示手段73の
指示によるステージ41の上下移動の後に、自動焦点機
能77により観察位置での焦点の微調整を行ったので、
自動焦点機能77の負荷を最小限にすることができ、自
動焦点機能77を備える顕微鏡システムでは、観察位置
での焦点合わせの時間を短縮することができる。
【0070】なお、上述した第1の実施形態では、三次
元座標(Xn,Yn,Zn)を測定した後に、検査員等
が、全体を観察できる位置にステージ41を移動して、
焦点合わせを行った例について述べたが、本発明はかか
る実施形態に限定されるものではなく、例えば、三次元
座標(Xn,Yn,Zn)を測定した後には、標本37
のスライドグラス37aのステージ41に対する傾き
が、平面の式として求められているため、検査員等が観
察位置での水平座標(Xa,Ya)を入力した後に、高
さ座標算出手段69により、焦点位置であるステージ4
1の高さ座標を求め、ステージ41を制御部63aの制
御により移動しても良い。
【0071】また、上述した第2の実施形態では、4箇
所の三次元座標(X1,Y1,Z1),(X2,Y2,
Z2),(X3,Y3,Z3),(X4,Y4,Z4)
から平面の式を求めた例について述べたが、本発明はか
かる実施形態に限定されるものではなく、例えば、式
(3)および式(4)を応用して、5箇所以上の三次元
座標(Xn,Yn,Zn);(n=1,2,...)か
ら平面の式を求めても良く、この場合には、より高い精
度で、標本37のスライドグラス37aのステージ41
に対する傾きを求めることができる。
【0072】
【発明の効果】請求項1の顕微鏡システムでは、ステー
ジ上に載置される標本の3箇所以上の三次元座標(X
n,Yn,Zn)を、予め、座標読込手段により読み込
み、記憶手段に記憶したので、これ等三次元座標(X
n,Yn,Zn)から、ステージに載置される標本のス
テージに対する傾きを求めることができる。
【0073】このため、標本の任意の観察位置での水平
座標(Xa,Ya)を指定することで、標本を観察する
前に、高さ座標算出手段により、水平座標(Xa,Y
a)での焦点位置,すなわち観察位置での高さ座標Za
を求めることができる。さらに、標本の観察時に、観察
位置での水平座標(Xa,Ya)にステージを移動した
後に、焦点合わせを行う時間が不要になり、ステージを
移動してから、実際に観察が行える状態になるまでの時
間を短縮することができる。
【0074】また、標本を観察する前に、観察位置での
水平座標(Xa,Ya)での高さ座標Zaを求めること
ができるため、例えば、従来、遠隔操作によりステージ
を観察位置での水平座標(Xa,Ya)まで移動を行う
場合に必要であった自動焦点機能を不要にすることがで
きる。請求項2の顕微鏡システムでは、ステージに載置
される標本のステージに対する傾きを、標本上の同一直
線上にない3個の水平座標(X1,Y1),(X2,Y
2),(X3,Y3)および高さ座標Z1,Z2,Z3
から求めたので、座標読込手段により読み込む三次元座
標(Xn,Yn,Zn)の測定箇所を3箇所と最小限に
することができ、測定時間を短縮することができる。
【0075】また、三次元座標(Xn,Yn,Zn)の
記憶に必要な記憶手段の記憶容量を最小限にすることが
できる。請求項3の顕微鏡システムでは、上下移動指示
手段の指示によるステージの上下移動と、水平移動指示
手段の指示によるステージの水平移動とを同時に行った
ので、水平移動制御手段による観察位置までのステージ
の水平移動の完了前に、上下移動制御手段により、焦点
位置である高さ座標まで、ステージを上下移動すること
ができ、観察位置での水平座標(Xa,Ya)を指定し
てから、実際に観察が行える状態になるまでの時間を短
縮することができる。
【0076】請求項4の顕微鏡システムでは、上下移動
指示手段の指示によるステージの上下移動の後に、自動
焦点機能により観察位置での焦点の微調整を行ったの
で、自動焦点機能の負荷を最小限にすることができ、自
動焦点機能を備える顕微鏡システムでは、観察位置での
焦点合わせの時間を短縮することができる。
【図面の簡単な説明】
【図1】本発明の顕微鏡システムの第1の実施形態を示
す説明図である。
【図2】標本のスライドグラスの測定位置の詳細を示す
説明図である。
【図3】本発明の顕微鏡システムの第2の実施形態を示
す説明図である。
【図4】本発明の顕微鏡システムの第3の実施形態を示
す説明図である。
【図5】従来の顕微鏡システムを示す説明図である。
【符号の説明】
37 標本 41 ステージ(ステージ) 47 座標読込部(座標読込手段) 49 水平移動制御部(水平移動制御手段) 51 上下移動制御部(上下移動制御手段) 67 ワークメモリ(記憶手段) 69 高さ座標算出手段 71 水平移動指示手段 73 上下移動指示手段 77 自動焦点機能

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 標本を載置するステージの水平移動を制
    御する水平移動制御手段と、 前記ステージの上下移動を制御する上下移動制御手段
    と、 を有する顕微鏡システムにおいて、 前記ステージ上に載置される標本の任意の位置における
    水平座標(X,Y)および焦点位置である高さ座標Zか
    らなる三次元座標(X,Y,Z)を読み込む座標読込手
    段と、 前記座標読込手段により読み込まれる前記標本の少なく
    とも3箇所以上の三次元座標(Xn,Yn,Zn);
    (n=1,2,...)を記憶する記憶手段と、 前記記憶手段に記憶される前記各三次元座標(Xn,Y
    n,Zn)のうち複数の前記各水平座標(Xn,Yn)
    と、前記標本の観察位置の水平座標(Xa,Ya)とか
    ら、前記観察位置の高さ座標Zaを算出する高さ座標算
    出手段と、 前記水平座標(Xa,Ya)への前記ステージの移動
    を、前記水平移動制御手段に指示する水平移動指示手段
    と、 前記高さ座標Zaへの前記ステージの移動を、前記上下
    移動制御手段に指示する上下移動指示手段と、 を有することを特徴とする顕微鏡システム。
  2. 【請求項2】 請求項1記載の顕微鏡システムにおい
    て、 前記高さ座標算出手段は、同一直線上にない3個の前記
    水平座標(X1,Y1),(X2,Y2),(X3,Y
    3)および高さ座標Z1,Z2,Z3と、前記水平座標
    (Xa,Ya)とから、前記観察位置の高さ座標Zaを
    算出することを特徴とする顕微鏡システム。
  3. 【請求項3】 請求項1記載の顕微鏡システムにおい
    て、 前記上下移動指示手段により指示を受け、前記上下移動
    制御手段により制御される前記ステージの上下移動は、
    前記水平移動指示手段の指示を受け、前記水平移動制御
    手段により制御される前記ステージの水平移動と、同時
    に行われることを特徴とする顕微鏡システム。
  4. 【請求項4】 請求項3記載の顕微鏡システムにおい
    て、 前記上下移動制御手段は、前記上下移動指示手段の指示
    による前記ステージの移動の後に、さらに、自動焦点機
    能により、前記観察位置の焦点を合わせるための微調整
    が行われることを特徴とする顕微鏡システム。
JP02993398A 1998-02-12 1998-02-12 顕微鏡システム Expired - Lifetime JP4332905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02993398A JP4332905B2 (ja) 1998-02-12 1998-02-12 顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02993398A JP4332905B2 (ja) 1998-02-12 1998-02-12 顕微鏡システム

Publications (2)

Publication Number Publication Date
JPH11231228A true JPH11231228A (ja) 1999-08-27
JP4332905B2 JP4332905B2 (ja) 2009-09-16

Family

ID=12289797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02993398A Expired - Lifetime JP4332905B2 (ja) 1998-02-12 1998-02-12 顕微鏡システム

Country Status (1)

Country Link
JP (1) JP4332905B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003027748A1 (de) * 2001-09-19 2003-04-03 Siemens Aktiengesellschaft Vorrichtung und verfahren zur planparallelen ausrichtung einer zu inspizierenden ebenen objektoberfläche zu einer fokusebene eines objektives
KR100438212B1 (ko) * 2002-08-09 2004-07-01 학교법인고려중앙학원 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치
JP2008503723A (ja) * 2004-06-17 2008-02-07 ピー タファス、トリアンタフィロス 物体に関する位置を自動的に探知して操作するシステム
JP2008046327A (ja) * 2006-08-15 2008-02-28 Yokogawa Electric Corp 合焦補正方法
US7423743B2 (en) 2000-12-29 2008-09-09 Icos Vision Systems Nv Method and an apparatus for measuring positions of contact elements of an electronic component
US7508974B2 (en) 1998-01-16 2009-03-24 Scanner Technologies Corporation Electronic component products and method of manufacturing electronic component products
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
CN103688205A (zh) * 2011-07-25 2014-03-26 佳能株式会社 摄像装置
CN103955051A (zh) * 2014-05-12 2014-07-30 广州博隆兴中信息科技有限公司 一种面向活体组织的实时自动对焦显微成像装置和方法
WO2014141647A1 (ja) * 2013-03-13 2014-09-18 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2015537217A (ja) * 2012-11-20 2015-12-24 ディーシージー システムズ、 インコーポライテッドDcg Systems Inc. ナノプロービング時の迅速で非破壊のサンプルのナビゲーションのためのサンプルの3次元事前特性評価における非接触顕微鏡検査のシステム及び方法
WO2016163064A1 (en) 2015-04-08 2016-10-13 Canon Kabushiki Kaisha Stage apparatus and microscope
WO2016163122A1 (en) 2015-04-08 2016-10-13 Canon Kabushiki Kaisha Stage apparatus and microscope
CN111183385A (zh) * 2017-09-29 2020-05-19 徕卡生物系统成像股份有限公司 实时自动聚焦扫描
KR20210100181A (ko) * 2019-01-18 2021-08-13 테크사이트, 인크 광 현미경검사를 위한 기준 초점 평면을 식별하기 위한 인쇄 커버슬립 및 슬라이드

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008196A (ja) * 2017-06-27 2019-01-17 株式会社オプティマ 観察システム、制御装置、制御方法、及びプログラム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7508974B2 (en) 1998-01-16 2009-03-24 Scanner Technologies Corporation Electronic component products and method of manufacturing electronic component products
US7423743B2 (en) 2000-12-29 2008-09-09 Icos Vision Systems Nv Method and an apparatus for measuring positions of contact elements of an electronic component
WO2003027748A1 (de) * 2001-09-19 2003-04-03 Siemens Aktiengesellschaft Vorrichtung und verfahren zur planparallelen ausrichtung einer zu inspizierenden ebenen objektoberfläche zu einer fokusebene eines objektives
KR100438212B1 (ko) * 2002-08-09 2004-07-01 학교법인고려중앙학원 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치
JP2008503723A (ja) * 2004-06-17 2008-02-07 ピー タファス、トリアンタフィロス 物体に関する位置を自動的に探知して操作するシステム
JP2008046327A (ja) * 2006-08-15 2008-02-28 Yokogawa Electric Corp 合焦補正方法
US8878923B2 (en) 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
JP2009198525A (ja) * 2008-02-19 2009-09-03 Yokogawa Electric Corp 創薬スクリーニング装置
JP2012523583A (ja) * 2009-04-13 2012-10-04 ゼネラル・エレクトリック・カンパニイ 改良型予測オートフォーカスシステム及びその方法
CN103688205A (zh) * 2011-07-25 2014-03-26 佳能株式会社 摄像装置
JP2015537217A (ja) * 2012-11-20 2015-12-24 ディーシージー システムズ、 インコーポライテッドDcg Systems Inc. ナノプロービング時の迅速で非破壊のサンプルのナビゲーションのためのサンプルの3次元事前特性評価における非接触顕微鏡検査のシステム及び方法
EP2975444A4 (en) * 2013-03-13 2016-11-23 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
US11320642B2 (en) 2013-03-13 2022-05-03 Sony Corporation Information processing apparatus, information processing method, and information processing program
WO2014141647A1 (ja) * 2013-03-13 2014-09-18 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JPWO2014141647A1 (ja) * 2013-03-13 2017-02-16 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN105026977A (zh) * 2013-03-13 2015-11-04 索尼公司 信息处理装置、信息处理方法和信息处理程序
US10678041B2 (en) 2013-03-13 2020-06-09 Sony Corporation Information processing apparatus, information processing method, and information processing program
CN103955051A (zh) * 2014-05-12 2014-07-30 广州博隆兴中信息科技有限公司 一种面向活体组织的实时自动对焦显微成像装置和方法
WO2016163064A1 (en) 2015-04-08 2016-10-13 Canon Kabushiki Kaisha Stage apparatus and microscope
WO2016163122A1 (en) 2015-04-08 2016-10-13 Canon Kabushiki Kaisha Stage apparatus and microscope
US10371930B2 (en) 2015-04-08 2019-08-06 Canon Kabushiki Kaisha Stage apparatus and microscope
US11422351B2 (en) 2017-09-29 2022-08-23 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
CN111183385B (zh) * 2017-09-29 2022-04-08 徕卡生物系统成像股份有限公司 实时自动聚焦扫描
JP2020535477A (ja) * 2017-09-29 2020-12-03 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. リアルタイムの自動焦点調節走査
CN111183385A (zh) * 2017-09-29 2020-05-19 徕卡生物系统成像股份有限公司 实时自动聚焦扫描
US12078790B2 (en) 2017-09-29 2024-09-03 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
KR20210100181A (ko) * 2019-01-18 2021-08-13 테크사이트, 인크 광 현미경검사를 위한 기준 초점 평면을 식별하기 위한 인쇄 커버슬립 및 슬라이드
CN113302539A (zh) * 2019-01-18 2021-08-24 泰克赛特有限公司 用于识别光学显微镜法的参考焦平面的印刷盖玻片和载玻片
JP2022518233A (ja) * 2019-01-18 2022-03-14 テックサイト・インコーポレイテッド 光学顕微鏡の基準焦点面を識別するための印刷カバースリップ及びスライド
CN113302539B (zh) * 2019-01-18 2023-11-17 泰克赛特有限公司 用于改善显微成像的方法
US11988823B2 (en) 2019-01-18 2024-05-21 Techcyte, Inc. Printed coverslip for identifying reference focal plane for light microscopy
US11994662B2 (en) 2019-01-18 2024-05-28 Techcyte, Inc. Printed slide for identifying reference focal plane for light microscopy

Also Published As

Publication number Publication date
JP4332905B2 (ja) 2009-09-16

Similar Documents

Publication Publication Date Title
JP4332905B2 (ja) 顕微鏡システム
JP2925647B2 (ja) 顕微鏡変倍装置
EP2194414B1 (en) Microscope system and method of operation thereof
JP5325522B2 (ja) 複合型観察装置
JP2011186305A (ja) バーチャルスライド作成装置
JP4878913B2 (ja) 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム
US9582088B2 (en) Microscope
JP2001059940A (ja) 顕微鏡及び記録媒体
US20040105000A1 (en) Microscopic image capture apparatus
JP2005157340A (ja) 立体顕微鏡
JP2010112969A (ja) 共焦点顕微鏡
JP2007148221A (ja) 間欠撮影装置
EP1564575B1 (en) Micromanipulation system operating within the field of view of a microscope
JP4936841B2 (ja) 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015082099A (ja) 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム
KR20010092741A (ko) 현미경화상관찰시스템, 그 제어방법 및 제어프로그램을기록한 컴퓨터에 판독 가능한 기록매체
JP2010078940A (ja) 顕微鏡システム、顕微鏡システムにおけるフォーカスドリフトの補正方法及びプログラム。
JP5767142B2 (ja) 医療用観察システム
JP2010079035A (ja) 顕微鏡システム、該制御プログラム、及び該制御方法
JP4346888B2 (ja) 顕微鏡装置
JPS62130305A (ja) 画像処理式測定装置
JP2018066911A (ja) 拡大観察装置
JP2010266750A (ja) 観察装置および観察システム
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
JP2006153636A (ja) 3次元計測方法および3次元計測方法をコンピュータに実行させるプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150703

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150703

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150703

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term