JPH1156757A - 立体内視鏡 - Google Patents

立体内視鏡

Info

Publication number
JPH1156757A
JPH1156757A JP9237850A JP23785097A JPH1156757A JP H1156757 A JPH1156757 A JP H1156757A JP 9237850 A JP9237850 A JP 9237850A JP 23785097 A JP23785097 A JP 23785097A JP H1156757 A JPH1156757 A JP H1156757A
Authority
JP
Japan
Prior art keywords
solid
image pickup
image
imaging
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9237850A
Other languages
English (en)
Other versions
JP4016459B2 (ja
Inventor
Masaaki Morizumi
雅明 森住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP23785097A priority Critical patent/JP4016459B2/ja
Publication of JPH1156757A publication Critical patent/JPH1156757A/ja
Application granted granted Critical
Publication of JP4016459B2 publication Critical patent/JP4016459B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

(57)【要約】 【目的】 挿入部に設けた一対の撮像ユニットのうち、
一方側の撮像ユニットの固体撮像素子及びその基板を、
他方側の固体撮像素子及びその基板に対して上下方向の
反対側に向けて配置して、両撮像ユニットにおける対物
レンズ間の間隔を立体視するのに最適な間隔となるよう
に調整できるようにする。 【構成】 挿入部2の先端に設けた2組の撮像ユニット
11L,11Rを上下逆方向を向けるように配置し、回
路基板16Lと回路基板16Rとでは、上下逆の位置に
配置することにより、対物レンズ13L,13Rを所望
の間隔となるように配置でき、左目画像と右目画像とで
適切な視差を持つように配置できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、挿入部の先端部分
に撮像ユニットを平行に2組設けて、これら2組の撮像
ユニットから左右両眼用の画像を取得するようにした立
体内視鏡に関するものである。
【0002】
【従来の技術】内視鏡は、患者の体腔等の内部に挿入さ
れる挿入部の先端に、観察対象部を照明する照明部と、
この照明部からの照明光の下で検査や診断等を行うため
の観察部とが設けられている。観察部は対物レンズを有
し、この対物レンズの結像位置にイメージガイドの入射
端を配置するか、またはCCD等の固体撮像素子が配置
するように構成される。前者は光学式内視鏡、後者は電
子内視鏡と呼ばれるものであり、電子内視鏡は固体撮像
素子で撮像して光電変換した電気信号を外部に取り出し
て、映像信号処理装置に伝送して、この映像信号処理装
置で所定の信号処理を行った上で、モニタ画面に映像を
表示する構成としたものである。
【0003】近年においては、体腔内等の映像を立体的
に把握できるようにするために、立体視が可能な映像情
報を得るようにした立体内視鏡が開発され、実用化され
るようになってきている。立体画像を得るための方式は
種々あるが、挿入部の先端に左右一対の撮像ユニットを
設けて、これら両撮像ユニットから得た2種類の画像を
モニタ画面に交互に表示するようにしたものが一般的で
ある。そして、モニタ画面に交互に映し出される映像に
連動して開閉する液晶シャッタを装着した眼鏡を着用し
てモニタ画面を目視すると、このモニタ画面に表示され
ている映像を立体的に観察できることになる。
【0004】ここで、撮像ユニットは、対物レンズを含
む光学系と固体撮像素子とから構成され、固体撮像素子
は回路基板に搭載されている。回路基板には固体撮像素
子の他に電子部品等が搭載される関係から、ある程度の
大きさが必要であり、このような基板を挿入部の軸線方
向の同じ位置で、軸線と直交する方向に2枚設けると、
挿入部が太径化してしまう。このために、固体撮像素子
及び回路基板は挿入部の軸線方向に向けて配置し、対物
レンズからの光路をプリズムを用いて90°曲げた上
で、固体撮像素子に入射させるようにしている。
【0005】
【発明が解決しようとする課題】ところで、挿入部に設
けられる2つの撮像ユニットを構成する各々の対物レン
ズは、視差を持たせるために、左右にある程度間隔を置
いて配置する必要がある。しかしながら、撮像ユニット
としては、対物レンズだけでなく、プリズム及び固体撮
像素子とその基板から構成されることから、基板の幅寸
法等の制約から、2つの対物レンズが離れ過ぎて、左右
の画像が大きくずれてしまい、モニタ画面に表示して、
このモニタ画像を目視した時に、映像は立体的に認識で
きず二重に見えてしまうことになる。そこで、両対物レ
ンズより被写体側の位置に逆ガリレオレンズを配置して
結像倍率を小さくすると、あたかも両対物レンズの間隔
が短くなったと同様の状態になる。しかしながら、回路
基板の寸法・形状によっては、なお2つの対物レンズを
正確に立体視できる位置関係とすることができない場合
がある。
【0006】本発明は以上の点に鑑みてなされたもので
あって、その目的とするところは、固体撮像素子とその
回路基板を備えた一対の撮像ユニットにおける両対物レ
ンズを、モニタ画面に表示した時に立体視するのに最適
な間隔に配置できるようにすることにある。
【0007】
【課題を解決するための手段】前述した目的を達成する
ために、本発明は、対物レンズと、この対物レンズの光
路を略90°曲げるプリズムと、このプリズムにより曲
げられた光路における対物レンズの結像位置に配置した
固体撮像素子及びその基板とからなる撮像ユニットを、
挿入部の先端に所定の間隔を置いて2組配置し、これら
2組の撮像ユニットにより所定の視差を持った左右両眼
用の画像を取得するようにした立体内視鏡であって、前
記両撮像ユニットのうち、一方側の撮像ユニットの固体
撮像素子及びその基板を、他方側の固体撮像素子及びそ
の基板に対して上下方向の反対側に向くように配置する
構成としたことをその特徴とするものである。
【0008】
【発明の実施の形態】以下、図面に基づいて本発明の実
施の一形態について説明する。まず、図1に内視鏡の全
体構成を示す。同図において、1は内視鏡、2は光源部
と映像信号処理部とを一体に設けた光源ユニットであ
る。内視鏡1は、体腔内に挿入される挿入部3と、この
挿入部3の基端部に連結して設けた本体操作部4と、本
体操作部4から引き出されたユニバーサルコード5とか
ら構成される。ユニバーサルコード5が先端側が分岐し
ており、そのうちの1本のコード5aには光源ユニット
2における光源部側ソケット2aに着脱可能に接続され
る光源コネクタ6が設けられている。また、他方のコー
ド5bには光源ユニット2に設けた映像信号処理部側ソ
ケット2bに着脱可能に接続される電気コネクタ7が設
けられている。また、光源ユニット2にはモニタ8が接
続されている。
【0009】図2に挿入部3の先端部分3aの構成を示
す。先端部分3aはハウジング9を有し、このハウジン
グ9には中央の部位に設けた観察部と、この観察部の両
側に位置する照明部とから構成され、照明部には左右一
対設けたライトガイド10,10(図4参照)の出射端
が臨んでおり、体腔内に照明光を照射するためのもので
ある。ライトガイド10は、挿入部3から本体操作部4
を経てユニバーサルコード5にまで延在されており、さ
らにこのユニバーサルコード5のコード5aに導かれ
て、光源コネクタ6に入射端が臨んでいる。
【0010】ライトガイド10,10間における観察部
には、図3及び図4に示したように、2組の撮像ユニッ
ト11L,11Rが設けられている。これら撮像ユニッ
ト11L,11Rは、それぞれ図5及び図6に示したよ
うに、対物レンズ鏡胴12L,12Rに対物レンズ13
L,13Rを装着し、これら各対物レンズ鏡胴12L,
12Rには光路を90°曲げるためのプリズム14L,
14Rが接合・固定されている。以上の対物光学系は撮
像ユニット11Lも撮像ユニット11Rも同様の構成で
ある。プリズム14L,14Rには撮像手段として、固
体撮像素子15L,15Rが接合して設けられ、これら
固体撮像素子15L,15Rはそれぞれ回路基板16
L,16Rに搭載されている。
【0011】ここで、固体撮像素子15Lと固体撮像素
子15Rとでは、天地が逆に装着されることになる。即
ち、プリズム14Lへの固体撮像素子15Lの接合方向
と、プリズム14Rへの固体撮像素子15Rの接合方向
の上下が逆になっている。このために、回路基板16L
からのケーブル17Lの引き出し方向と、回路基板16
Rからのケーブル17Rの引き出し方向とは逆になる。
回路基板16Rからは前方側にケーブル17Rが引き出
されるが、このケーブル17Rは回路基板16Rの裏面
側で折り返すようにして挿入部3内に引き回されてい
る。そして、ケーブル17L,17Rは、ライトガイド
10と共に挿入部3,本体操作部4及びユニバーサルコ
ード5内に引き回されて、コード5bから電気コネクタ
7に設けた端子(図示せず)に接続される。
【0012】立体内視鏡として構成されることから、挿
入部3の先端には、前述した2組の撮像ユニット11
L,11Rが装着されるが、図4からも明らかなよう
に、2組の撮像ユニット11L,11Rは間隔Dだけ離
間させた状態に配置されており、さらにこれら撮像ユニ
ット11L,11Rより被写体側の位置には大きな開口
を有する観察窓18(図2参照)が形成されており、こ
の観察窓18には凹レンズと凸レンズとを組み合わせた
逆ガリレオレンズ19が装着されている。
【0013】而して、2組の撮像ユニット11L,11
Rで取得した画像信号を光源ユニット2における映像信
号処理部に伝送して所定の信号処理を行った上で、モニ
タ8に左右の画像が交互に表示される。そして、観察を
行う者は液晶シャッタ付きの眼鏡を着用して、モニタ8
における画像の切り換わりに連動して液晶シャッタを開
閉することによって、モニタ8に映し出されている映像
を立体的に認識できることになる。ここで、撮像ユニッ
ト11L,11Rを構成する対物レンズ13L,13R
の間隔を広くしすぎると、視差が必要以上に大きくな
り、立体視できなくなり、実質的に二重像となってしま
う。従って、対物レンズ13L,13Rは両眼視差を持
たせるのに適切な間隔に配置されなければならない。撮
像ユニット11L,11Rは固体撮像素子15L,15
Rを搭載した回路基板16L,16Rが最も大型で幅の
広い部材であり、通常は、2組の撮像ユニット11L,
11Rの配置間隔はこの回路基板16L,16Rの外形
寸法により制約を受ける。
【0014】以上のことから、撮像ユニット11Rと撮
像ユニット11Lとを上下逆方向を向けるように配置し
ている。即ち、図3及び図4に示したように、撮像ユニ
ット11Rの回路基板16Rが上側に、また撮像ユニッ
ト11Lの回路基板16Lは下側に位置している。これ
によって、2組の撮像ユニット11L,11Rのそれぞ
れの回路基板16L,16Rは相互に干渉し合うことが
なくなり、対物レンズ鏡胴12L,12Rを密着させた
状態にしても配置することができる。このために、2つ
の対物レンズ13L,13Rの間隔Dは任意に調整する
ことができることになり、両対物レンズ13L,13R
の視野を、それぞれ左目画像と右目画像として正確な立
体視が可能になる位置関係となるように配置できる。
【0015】ところで、撮像ユニット11Rを撮像ユニ
ット11Lの上方で受光面は相互に対面する状態に配置
されることになるから、それぞれの固体撮像素子15
L,15Rでは、物体Sは図7に示したように撮像され
る。ここで、固体撮像素子15Rで得た画像を軸Aを中
心として反転させると、固体撮像素子15Lと同じ面と
なり、この状態では両画像の上下及び左右の位置関係は
同じになる。以上のことから、撮像ユニット11Lと撮
像ユニット11Rとでは、固体撮像素子及びその回路基
板を水平走査ラインと平行な軸に沿って反転させるよう
に配置し、それ以外は同一の構成とする。これによっ
て、固体撮像素子15Lでは左目画像が、また固体撮像
素子15Rでは、左目画像に対して所定の視差を持った
右目画像が得られる。ただし、固体撮像素子15Rの転
送部15RTは、固体撮像素子15Lの転送部15LT
とは反対側に位置させる必要がある。図5にあるよう
に、撮像ユニット11L側では挿入部3の基端方向、即
ち対物レンズ鏡胴12Lとは反対方向にケーブル17L
を引き出すのに対して、図6にあるように、撮像ユニッ
ト11R側では、挿入部3の先端方向、即ち対物レンズ
12R方向にケーブル17Rを接続して、このケーブル
17Rを折り返すようにする。
【0016】以上のようにして得られた両眼視差を持っ
た2つの画像は、図8に示したような映像信号処理回路
により信号処理がなされる。この図から明らかなよう
に、撮像ユニット11Lの固体撮像素子15L及び撮像
ユニット11Rの固体撮像素子15Rを駆動して、各固
体撮像素子15L,15Rで蓄積した電荷が読み出され
る。そして、固体撮像素子15L,15Rから読み出さ
れた画像信号は、画像信号処理回路20L,20Rで所
定の画像信号を生成するのに必要なブランキング,γ補
正,輪郭補正,アパーチャ補正,ホワイトバランス等各
種の信号処理が行われた上で、A/D変換器21L,2
1Rによりデジタル信号に変換された上で、画像メモリ
22L,22Rに記録される。
【0017】そして、画像メモリ22L,22Rに1フ
ィールド分の画像データが取り込まれると、その画像デ
ータが読み出されて、D/A変換器23L,23Rでア
ナログ信号に変換されて出力される。そして、切換スイ
ッチ24により画像メモリ22Lからの画像信号と、画
像メモリ22Rからの画像信号とが交互にモニタ8に取
り込まれて、左目画像と右目画像とがモニタ8に交互に
表示される。
【0018】モニタ8に表示される画像は、通常は1/
60秒毎に画像を切り換えるが、右目画像と左目画像と
が交互に表示されることから、画像の切り換えタイミン
グは1/120秒とする。そして、液晶シャッタを有す
る眼鏡を着用してモニタ8を観察すると、映像は立体的
に把握できるようになる。両対物レンズ13L,13R
を立体視を可能とする上で最も好適な位置関係となるよ
うに配置できるから、モニタ8に表示された映像は忠実
な立体視が可能になる。
【0019】なお、前述した実施の形態においては、固
体撮像素子15L,15Rの配置を前後逆にすることに
よって、左目画像と右目画像との方向を一致させるよう
に構成したが、上下に配置される2つの固体撮像素子か
ら得られた画像信号を所要の信号処理を行うことによっ
ても、2つの画像の方向を一致させることができる。即
ち、図9に示したように、一方の固体撮像素子15Rで
得られた画像信号を信号処理回路20Rで処理した上
で、画像回転回路25にその信号を取り込んで、この画
像回転回路25により固体撮像素子15Rで得られた画
像を180°回転させる処理を行った上で、A/D変換
器21Rを介して画像メモリ22Rに取り込むようにす
る。このように構成すれば、一方の固体撮像素子15R
からのケーブル17Rを折り返す必要がなく、固体撮像
素子15Lと同じ方向から引き出すように構成すること
ができる。
【0020】
【発明の効果】以上説明したように、本発明は、一方側
の撮像ユニットの固体撮像素子及びその基板を、他方側
の固体撮像素子及びその基板に対して上下方向の反対側
に向けて配置する構成としたので、両撮像ユニットにお
ける対物レンズ間の間隔を立体視するのに最適な間隔と
なるように調整できる等の効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の一形態を示す立体内視鏡の全体
構成図である。
【図2】挿入部の先端部分の断面図である。
【図3】図2のX−X断面図である。
【図4】2個の撮像ユニットの配置関係を示す説明図で
ある。
【図5】左目画像用の撮像ユニットの断面図である。
【図6】右目画像用の撮像ユニットの断面図である。
【図7】2組の撮像ユニットで得られる左目画像と右目
画像との水平方向及び垂直方向の位置関係を示す説明図
である。
【図8】映像信号処理部の構成を示すブロック図であ
る。
【図9】本発明の他の実施の形態を示す立体内視鏡の映
像信号処理部の構成を示すブロック図である。
【符号の説明】
1 内視鏡 2 光源ユニット 8 モニタ 11L,11R 撮像ユニット 12L,12R 対物レンズ鏡筒 13L,13R 対物レンズ 14L,14R プリズム 15L,15R 固体撮像素子 16L,16R 回路基板 18 観察窓 19 逆ガリレオレンズ 20L,20R 映像信号処理回路 22L,22R 画像メモリ 24 切換スイッチ 25 画像回転回路

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 対物レンズと、この対物レンズの光路を
    略90°曲げるプリズムと、このプリズムにより曲げら
    れた光路における対物レンズの結像位置に配置した固体
    撮像素子及びその基板とからなる撮像ユニットを、挿入
    部の先端に所定の間隔を置いて平行に2組配置し、これ
    ら2組の撮像ユニットにより所定の視差を持った左右両
    眼用の画像を取得するようにした立体内視鏡において、
    前記両撮像ユニットのうち、一方側の撮像ユニットの固
    体撮像素子及びその基板を、他方側の固体撮像素子及び
    その基板に対して上下方向の反対側に向くように配置す
    る構成としたことを特徴とする立体内視鏡。
  2. 【請求項2】 前記2組の撮像ユニットにおける一方の
    撮像ユニットの固体撮像素子に対して、他方の撮像ユニ
    ットの固体撮像素子を、その中心位置を含み、水平走査
    ラインと平行な軸回りに180°反転させて配置する構
    成としたことを特徴とする請求項1記載の立体内視鏡。
  3. 【請求項3】 前記2組の撮像ユニットを構成する固体
    撮像素子の一方からの画像信号を画像信号回転手段によ
    り180°画像を回転させる構成としたことを特徴とす
    る請求項1記載の立体内視鏡。
  4. 【請求項4】 前記挿入部には、前記両撮像ユニットに
    おける対物レンズより被写体側の位置に逆ガリレオレン
    ズを配置する構成としたことを特徴とする請求項1記載
    の立体内視鏡。
JP23785097A 1997-08-20 1997-08-20 立体内視鏡 Expired - Fee Related JP4016459B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23785097A JP4016459B2 (ja) 1997-08-20 1997-08-20 立体内視鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23785097A JP4016459B2 (ja) 1997-08-20 1997-08-20 立体内視鏡

Publications (2)

Publication Number Publication Date
JPH1156757A true JPH1156757A (ja) 1999-03-02
JP4016459B2 JP4016459B2 (ja) 2007-12-05

Family

ID=17021346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23785097A Expired - Fee Related JP4016459B2 (ja) 1997-08-20 1997-08-20 立体内視鏡

Country Status (1)

Country Link
JP (1) JP4016459B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6149582A (en) * 1998-05-29 2000-11-21 Fuji Photo Optical Co., Ltd. Front end structure of stereoscopic endoscope
AT510376A3 (de) * 2010-09-14 2012-06-15 Bosch Gmbh Robert Kollektion von linearlagern mit identischer abtastbaugruppe
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
CN105223684A (zh) * 2011-03-30 2016-01-06 富士胶片株式会社 内窥镜及其摄像装置
WO2018211755A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 撮像装置
JP2020537178A (ja) * 2017-10-13 2020-12-17 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung ステレオビデオ内視鏡の光学系

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6149582A (en) * 1998-05-29 2000-11-21 Fuji Photo Optical Co., Ltd. Front end structure of stereoscopic endoscope
AT510376A3 (de) * 2010-09-14 2012-06-15 Bosch Gmbh Robert Kollektion von linearlagern mit identischer abtastbaugruppe
AT510376B1 (de) * 2010-09-14 2012-10-15 Bosch Gmbh Robert Kollektion von linearlagern mit identischer abtastbaugruppe
CN105223684A (zh) * 2011-03-30 2016-01-06 富士胶片株式会社 内窥镜及其摄像装置
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
WO2018211755A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 撮像装置
JP6489671B1 (ja) * 2017-05-19 2019-03-27 オリンパス株式会社 撮像装置
US11432704B2 (en) 2017-05-19 2022-09-06 Olympus Corporation Image pickup apparatus and endoscope
JP2020537178A (ja) * 2017-10-13 2020-12-17 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung ステレオビデオ内視鏡の光学系
US11357390B2 (en) 2017-10-13 2022-06-14 Olympus Winter & Ibe Gmbh Optical system for a stereo video endoscope

Also Published As

Publication number Publication date
JP4016459B2 (ja) 2007-12-05

Similar Documents

Publication Publication Date Title
US6142932A (en) Front end structure of stereoscopic endoscope including an elongated lens
US7671888B2 (en) Stereoscopic-endoscope display control apparatus and stereoscopic endoscope system
US6184923B1 (en) Endoscope with an interchangeable distal end optical adapter
JPH0882766A (ja) 立体視内視鏡
JP2004524553A6 (ja) 光軸合わせ能力を有する単軸立体ビデオ撮像装置
JP3379589B2 (ja) 立体視内視鏡
JPH0735989A (ja) 立体視内視鏡
JPS63210813A (ja) ビデオスコ−プ装置
JPS63244011A (ja) 電子内視鏡
JP4016459B2 (ja) 立体内視鏡
JP3093875B2 (ja) 立体視内視鏡
JPH0815616A (ja) 立体内視鏡撮像装置
JP3257641B2 (ja) 立体視内視鏡装置
JP3599778B2 (ja) 立体視内視鏡システム
JPH06208061A (ja) 立体視内視鏡
JP2986659B2 (ja) 立体画像撮影像・表示システム
JPH0416812A (ja) ステレオ内視鏡
JP2001221961A (ja) 双眼光学アダプタ
KR100481645B1 (ko) 현미경으로부터 출력된 영상의 입체 출력 시스템
US6149582A (en) Front end structure of stereoscopic endoscope
JPS62211040A (ja) 内視鏡
JPH08248328A (ja) 立体内視鏡
JPH07333552A (ja) ヘッドマウントディスプレイ
JP4261148B2 (ja) ステレオ電子内視鏡システム
JPH08122665A (ja) 立体視内視鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees