JPH0980322A - 電子内視鏡装置 - Google Patents

電子内視鏡装置

Info

Publication number
JPH0980322A
JPH0980322A JP7264864A JP26486495A JPH0980322A JP H0980322 A JPH0980322 A JP H0980322A JP 7264864 A JP7264864 A JP 7264864A JP 26486495 A JP26486495 A JP 26486495A JP H0980322 A JPH0980322 A JP H0980322A
Authority
JP
Japan
Prior art keywords
image
ccd
line
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7264864A
Other languages
English (en)
Other versions
JP3115216B2 (ja
Inventor
Shigeo Suzuki
茂夫 鈴木
Fujio Okada
藤夫 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP07264864A priority Critical patent/JP3115216B2/ja
Publication of JPH0980322A publication Critical patent/JPH0980322A/ja
Application granted granted Critical
Publication of JP3115216B2 publication Critical patent/JP3115216B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

(57)【要約】 【課題】 撮像素子の構造を複雑にすることなく、また
クロック周波数を高くすることなく、画質の向上を図る
ようにする。 【解決手段】 CCD14と、このCCD14において
1/60秒の期間内の1回の露光で得られた画像信号に
つき、次の1/60秒で奇数ラインの画像信号を読み出
し、更に次の1/60秒で偶数ラインの画像信号を読み
出すように制御するCCD駆動回路24と、奇数及び偶
数ラインの画像信号を記憶するメモリ33,34と、こ
のメモリ33,34内の画像信号を混合して1フレーム
の画像を形成する混合回路35と、を有し、上記の奇数
ラインの画像信号を読み出す期間において、CCD14
へ新たな画素信号が蓄積されないように入射光を遮断す
るシャッタ19を光源装置等に設ける。これによれば、
従来のクロック周波数で1フレームの画像を良好に得る
ことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は電子内視鏡装置、特
に全画素を読み出して1フレームの画像を形成するため
の画像信号処理に関する。
【0002】
【従来の技術】電子内視鏡装置等において、撮像素子と
して例えばCCD(Charge Coupled Device)が用いら
れており、このCCDでは光電変換素子により画素単位
で蓄積される電荷を読み出すことにより、画像信号(ビ
デオ信号)が得られることになる。また、このCCDの
上面には、画素単位で色フィルタが配置されており、こ
れによってカラー画像を得ることが可能となっている。
【0003】図5には、上記CCDの色フィルタの配列
状態が示されており、図示されるように、CCD1の撮
像面には例えばMg(マゼンタ)、G(グリーン)、C
y(シアン)、Ye(イエロー)が画素単位で配列され
ている。従って、これらの色フィルタを透過した光によ
り、CCD1では蓄積電荷が得られることになる。そし
て、上から順番にライン数の番号を付したとすると、従
来の色差線順次混合読出し方式によれば、上下画素の蓄
積電荷が混合されて読み出され、ライン1とライン2の
混合信号、ライン3とライン4の混合信号、…が第1
(奇数)フィールドのビデオ信号、ライン2とライン3
の混合信号、ライン4とライン5の混合信号、…が第2
(偶数)フィールドのビデオ信号として読み出される。
【0004】図6には、上記CCD1における信号の読
出し状態が示されており、図示されるように、信号の蓄
積及び読出しは1/60秒(垂直同期期間)毎に行われ
る。そして、蓄積混合信号の読出しは、図6(B)に示
されるように、次の1/60秒の間で行われることにな
り、この結果、(ライン1+ライン2),(ライン3+
ライン4),(ライン5+ライン6)…の混合信号から
なる第1フィールドのビデオ信号、(ライン2+ライン
3),(ライン4+ライン5),(ライン6+ライン
7)…の混合信号からなる第2フィールドのビデオ信号
が1/60秒毎に得られることになる。
【0005】図7には、CCD1の内部構成が示されて
おり、このCCD1はインターライン型となっている。
図示されるように、画素毎に光電変換素子2が整列配置
され、この光電変換素子2の配列の1列毎に隣接して画
素毎の蓄積電荷を転送する垂直CCD3が配置される。
また、この垂直CCD3に接続して水平CCD4が配置
され、この水平CCD4には、転送された電荷を電圧に
変換するための出力アンプ5が接続される。
【0006】そして、この場合には、図示の光電変換素
子2内に示した丸(○)記号が上記のMgフィルタを介
して得られる蓄積電荷、三角(△)記号がGフィルタを
介して得られる蓄積電荷、四角(□)記号がCyフィル
タを介して得られる蓄積電荷、掛け(×)記号がYeフ
ィルタを介して得られる蓄積電荷に対応することにな
る。
【0007】従って、図7の構成では、図(A)に示さ
れるように、上記の画素の蓄積電荷が1/60秒の期間
において蓄積されると、次の1/60秒の期間内で図
(B)に示されるように、各光電変換素子2から蓄積電
荷が垂直CCD3へ転送されることになり、このとき、
上述のようにライン1とライン2の電荷量が加算され
る。また、同一期間内に、上記垂直CCD3の蓄積電荷
は、水平CCD4へ順次移され、出力アンプ5を介して
外部へ出力される。この結果、図7(B)では第1フィ
ールドの情報が1/60秒の期間で読み出されることに
なる。
【0008】また、上記の図6(B)における上記第1
フィールド情報の読出しの期間では、同時に次のビデオ
信号のために、上記光電変換素子2による蓄積を行って
おり、この蓄積電荷は次の1/60秒の期間で、図7
(C)に示されるように、ビデオ信号が第2フィールド
情報として読み出される。このようにして、モニタ上に
は、例えば上記第1フィールド情報と第2フィールド情
報に基づいてインターレース走査することにより、被観
察体内の画像が表示される。
【0009】
【発明が解決しようとする課題】しかしながら、上記電
子内視鏡装置においては、上述したように、垂直方向で
隣接するライン同士の画素信号を加算することからモア
レ現象が生じやすく、また上記の第1フィールド情報と
第2フィールド情報との間に、1/60秒の時間のずれ
があり、この間に被観察体等に動きがあると、画質が低
下するという問題がある。
【0010】一方、従来においては、画素信号を加算し
て読み出すのではなく、1/60秒の期間内に全画素
を、ライン1、ライン2、ライン3…というように、順
次読み出すことも提案されている。しかし、この場合は
上記垂直CCD3の構造を倍の密度で形成しなければな
らないため、構成が複雑となり、しかもクロック周波数
が倍となるし、1画素毎に電荷をクリアーにするための
リセットパルスのタイミング合せも煩雑となる。また、
クロック周波数が倍となるために、ノイズ放射も多くな
るという問題がある。
【0011】本発明は上記問題点に鑑みてなされたもの
であり、その目的は、撮像素子の構造を複雑にすること
なく、またクロック周波数を高くすることなく、画質の
向上を図ることができる電子内視鏡装置を提供すること
にある。
【0012】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、撮像素子により画素毎に蓄積された画像
信号を順次読み出す電子内視鏡装置において、1回の露
光で上記撮像素子において画素毎に得られた画像信号に
つき、最初に奇数又は偶数のいずれかのラインの画像信
号を読み出し、次に残りのラインの画像信号を読み出す
ように制御する撮像素子駆動回路と、この撮像素子駆動
回路で画像信号を読み出す際の所定の時間に、撮像素子
へ画素信号が蓄積されないように入射光を遮断する光遮
断手段と、上記撮像素子から得られた奇数ラインの画像
信号及び偶数ラインの画像信号を記憶するメモリと、こ
のメモリ内の画像信号を混合して1フレームの画像を形
成する画像形成回路と、を含んでなることを特徴とす
る。上記において、第1モードの奇数ライン信号及び偶
数ライン信号は、第2モードの場合と同様に、奇数フィ
ールド信号及び偶数フィールド信号として用いられるも
のであるが、両者のビデオ信号を区別するために異なる
表現とした。
【0013】作用 上記本発明の構成によれば、例えば1/60秒の期間
(従来の1フィールドのビデオ信号を得るための期間)
内での露光(露光時間は任意)により蓄積された電荷
は、まず次の1/60秒の期間で奇数ラインが読み出さ
れ、更に次の1/60秒の期間で偶数ラインが読み出さ
れることになる。ここで、従来においては、上記奇数ラ
インの蓄積電荷を垂直CCDへ転送した後、順次読み出
している間に、次の露光による電荷の蓄積が開始される
が、本発明では、この期間内での露光をなくすために、
例えば光源光をシャッタで遮断することとしている。即
ち、この光源光の遮断により、上記偶数ラインの蓄積電
荷が読出し可能となり、これによって、撮像素子で設け
られている全画素分の信号が読み出される。
【0014】そして、上記奇数ライン及び偶数ラインの
ビデオ信号は、混合されて1フレームの画像として形成
され、所定の処理が施された後に、モニタ等へ出力され
る。従って、この1フレームのビデオ信号によれば、1
/60秒の期間内の1回の露光で得られた情報によって
形成されており、また異なる色フィルタの2画素の信号
を混合しないので、画質の向上が図れることになる。
【0015】
【発明の実施の形態】図1〜図4には、実施形態例に係
る電子内視鏡装置の説明図が示され、図1は回路構成を
示し、図2は当該装置の構造を示している。図2におい
て、電子内視鏡装置はスコープとしての電子内視鏡1
0、カメラコントロールユニット(CCU)11及び光
源装置12から構成され、上記電子内視鏡10の先端部
には上記図5及び図7で説明したものと同様のCCD1
4が配置される。即ち、図4に示されるように、画素を
構成する光電変換素子2、この光電変換素子2の列の隣
に配置され、蓄積電荷を転送する垂直CCD3、この垂
直CCD3に接続された水平CCD4、この水平CCD
4の出力側に接続された出力アンプ5が設けられる。
【0016】この電子内視鏡10では、その操作部にフ
リーズスイッチ15が設けられており、このフリーズス
イッチ15と上記CCD14とはコネクタ17を介して
上記CCU11へ接続される。また、上記電子内視鏡1
0内には、先端部までライトガイド16が配設されてお
り、このライトガイド16は上記コネクタ17ともう一
方のコネクタ18を介して光源装置12へ接続される。
そして、この光源装置12内には、シャッタ19、シャ
ッタ駆動回路20、光源ランプ21及び光源電源部22
が設けられる。
【0017】図1において、上記CCD14にはCCD
駆動回路24が接続され、このCCD駆動回路24によ
り奇数ラインのビデオ信号と偶数ラインのビデオ信号が
分けて読み出される。一方、CCD14の後段には、必
要なビデオ信号を抽出するためのCDS(Correlated D
ouble Sampling−相関二重サンプリング)回路25、各
信号のレベル差を調整するためのAGC(Automatic Ga
in Control−自動利得制御)回路26、A/D変換器2
7が設けられ、またこれらの回路を統轄制御するCPU
28が設けられる。
【0018】そして、上記A/D変換器27の後段に、
切替え回路32を介して奇数ラインのビデオ信号を記憶
する第1メモリ33及び偶数ラインのビデオ信号を記憶
する第2メモリ34が設けられており、この切替え回路
32の切替え動作によって該当するビデオ信号が各メモ
リ33,34へ供給される。これらのメモリ33,34
の後段には、上記奇数ラインと偶数ラインのビデオ信号
を混合し、1フレームのビデオ信号とする混合(MI
X)回路35が接続され、この混合回路35には、デジ
タル信号処理回路36、D/A変換器37,38が接続
される。
【0019】上記デジタル信号処理回路36では、モニ
タ上に表示するための必要な信号処理を実行し、色差信
号(C信号)と輝度信号(Y信号)を形成しており、後
段のD/A変換器37からはC信号、D/A変換器38
からはY信号が出力される。
【0020】当該例は以上の構成からなり、その作用を
図3及び図4を参照しながら説明する。まず、撮影時に
は光源装置12の光源ランプ21からシャッタ19の開
時に出力された光が、ライトガイド16を介して電子内
視鏡10の先端部から被観察体内へ照射される。そうす
ると、CCD14にはこの被観察体内の像光が入射さ
れ、この像光によってCCD14の画素対応の光電変換
素子には電荷が蓄積される。図3には、このCCD14
での動作状態が示されており、上記の蓄積電荷は、図3
(A)のように、従来において1フィールドのビデオ信
号を得る場合と同様に、例えば1/60秒の期間内で抽
出されるように制御される。
【0021】図4には、上記CCD14内での電荷の読
出し状態が示されており、上記の1/60秒の期間内に
は、図4(A)に示されるように、画素毎の光電変換素
子2に電荷が蓄積される。この蓄積電荷は、被観察体内
からの像光により、電子シャッタ速度等に基づいて得ら
れるものである。そして、次の1/60秒の期間では、
図2のシャッタ19がシャッタ駆動回路20によって閉
状態とされ、図3(C)の100に示されるように、C
CD14への入射光が遮断されることになり、CCD1
4の電荷蓄積は行われない。
【0022】また、この期間では図3(B)に示される
ように、CCD14の奇数ライン、即ちライン1、ライ
ン3、ライン5…が読み出される。この状態は、図4
(B)に示されており、この例では、Mgフィルタを介
して得られた蓄積電荷(○)と、Gフィルタを介して得
られた蓄積電荷(△)が垂直CCD3へ転送されて、水
平CCD4を介して出力アンプ5から読み出されること
になる。
【0023】そうして、次の1/60秒の期間では、C
CD14の偶数ライン、即ちライン2、ライン4、ライ
ン6…が読み出される。この状態は、図4(C)に示さ
れており、図示のように、Cyフィルタを介して得られ
た蓄積電荷(□)と、Yeフィルタを介して得られた蓄
積電荷(×)が垂直CCD3及び水平CCD4を介して
出力アンプ5から読み出される。
【0024】このようにして読み出されたビデオ信号
は、図1のCDS回路25でサンプリングされ、AGC
回路26でゲイン調整された後に、A/D変換器27を
介して切替え回路32へ供給される。この切替え回路3
2は、CPU28の制御(フィールドシフトパルス)に
基づいて、後段の第1メモリ33と第2メモリ34への
接続を切り替えており、これによって、上記の奇数ライ
ンのビデオ信号が第1メモリ33へ格納され、また偶数
ラインのビデオ信号が第2メモリ34へ格納される。
【0025】その後、これらのメモリ33,34内に一
旦記憶されたビデオ信号は、所定の読出し速度で読み出
されて混合回路35へ出力されることになり、この混合
回路35で1フレームのビデオ信号が形成される。次段
のデジタル信号処理回路36では、色差信号(C信号)
と輝度信号(Y信号)への信号処理が行われ、これらの
信号はD/A変換器37,38を介してモニタへ供給さ
れることになり、これによって、モニタ上に被観察体内
の画像が表示される。
【0026】なお、上述したように、電子内視鏡10の
操作部に配置されているフリーズスイッチ15が押され
たときには、上記のようにして得られたビデオ信号に基
づいて静止画処理が施され、この静止画をモニタ上に表
示することができる。
【0027】上記実施形態例では、上記の全画素読出し
方式によって画像を常に形成するようにしたが、例えば
上記フリーズスイッチ15により静止画を得る場合にの
み上記の全画素読出し方式を適用し、その他の場合は図
6及び図7で示した従来方式によって画像を形成するよ
うにしてもよい。
【0028】また、光遮断手段として光源装置12側で
光源光を遮断するシャッタ19を用いたが、この光遮断
手段としては、CCD14に対し被観察体内からの像光
を遮断するための他の構成が適用でき、例えば電子内視
鏡10側で光の入射を遮断することが可能である。
【0029】
【発明の効果】以上説明したように、本発明によれば、
1回の露光で撮像素子において得られた画像信号につ
き、最初に奇数又は偶数のいずれかのラインの画像信号
を読み出し、次に残りのラインの画像信号を読み出すよ
うに制御し、またこの画像信号の読出しの際に、撮像素
子へ画素信号が蓄積されないように入射光を遮断し、こ
のようにして得られた奇数ラインの画像信号と偶数ライ
ンの画像信号を混合して1フレームの画像を形成するよ
うにしたので、全画素を順番に読み出す方式の場合のよ
うに撮像素子の構造を複雑にすることなく、画質の向上
を図ることが可能となる。また、クロック周波数を高く
する必要がなく、リセットパルスのタイミング合せも煩
雑とならず、ノイズ放射も抑制できるという利点があ
る。
【図面の簡単な説明】
【図1】本発明の実施形態例に係る電子内視鏡装置の回
路構成を示すブロック図である。
【図2】上記電子内視鏡装置の概略構造を示す図であ
る。
【図3】実施形態例におけるCCDでの動作を示す説明
図である。
【図4】実施形態例のCCDの構造及び読出し状態を示
す説明図である。
【図5】CCDに配置される色フィルタの構成を示す図
である。
【図6】従来のCCDでの動作を示す説明図である。
【図7】従来のCCDの構造及び読出し状態を示す説明
図である。
【符号の説明】 1,14 … CCD、 2 … 光電変換素子、 3 … 垂直CCD、 4 … 水平CCD、 19 … シャッタ、 20 … シャッタ駆動回路、 24 … CCD駆動回路、 28 … CPU、 32 … 切替え回路、 33 … 第1メモリ、 34 … 第2メモリ、 35 … 混合回路。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子により画素毎に蓄積された画像
    信号を順次読み出す電子内視鏡装置において、 1回の露光で上記撮像素子において画素毎に得られた画
    像信号につき、最初に奇数又は偶数のいずれかのライン
    の画像信号を読み出し、次に残りのラインの画像信号を
    読み出すように制御する撮像素子駆動回路と、 この撮像素子駆動回路で画像信号を読み出す際の所定の
    時間に、撮像素子へ画素信号が蓄積されないように入射
    光を遮断する光遮断手段と、 上記撮像素子から得られた奇数ラインの画像信号及び偶
    数ラインの画像信号を記憶するメモリと、 このメモリ内の画像信号を混合して1フレームの画像を
    形成する画像形成回路と、を含んでなることを特徴とす
    る電子内視鏡装置。
JP07264864A 1995-09-19 1995-09-19 電子内視鏡装置 Expired - Fee Related JP3115216B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07264864A JP3115216B2 (ja) 1995-09-19 1995-09-19 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07264864A JP3115216B2 (ja) 1995-09-19 1995-09-19 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JPH0980322A true JPH0980322A (ja) 1997-03-28
JP3115216B2 JP3115216B2 (ja) 2000-12-04

Family

ID=17409283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07264864A Expired - Fee Related JP3115216B2 (ja) 1995-09-19 1995-09-19 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3115216B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6995786B2 (en) 2001-09-25 2006-02-07 Fujinon Corporation Electronic endoscope forming still image by double-speed reading

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425511B2 (ja) 1996-09-17 2003-07-14 富士写真光機株式会社 全画素読出し式電子内視鏡装置
JP3398551B2 (ja) 1996-09-17 2003-04-21 富士写真光機株式会社 全画素読出し式電子内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6995786B2 (en) 2001-09-25 2006-02-07 Fujinon Corporation Electronic endoscope forming still image by double-speed reading

Also Published As

Publication number Publication date
JP3115216B2 (ja) 2000-12-04

Similar Documents

Publication Publication Date Title
JP3448169B2 (ja) 全画素読出し式電子内視鏡装置
US7030923B2 (en) Digital camera having overlapped exposure
US6903770B1 (en) Digital camera which produces a single image based on two exposures
JP3847811B2 (ja) 撮像装置
KR20080013715A (ko) 촬상 장치 및 그것을 이용한 내시경 장치
JP2004064165A (ja) 撮像装置および撮像方法
JP2000106678A (ja) 撮像装置
JP3115216B2 (ja) 電子内視鏡装置
JPH0990244A (ja) 電子内視鏡装置
JP3494569B2 (ja) 電子内視鏡装置
JP2001352483A (ja) 動画静止画撮像装置
JP3738654B2 (ja) デジタルカメラ
JP3165359B2 (ja) 電子内視鏡装置
JP2623154B2 (ja) 固体撮像デバイスの駆動方法
JP3298772B2 (ja) 電子内視鏡装置
JP3836593B2 (ja) 電子内視鏡装置
JP3535623B2 (ja) カラー撮像装置
JP3380458B2 (ja) 電子内視鏡装置
JP3380459B2 (ja) 電子内視鏡装置
JP3847820B2 (ja) 撮像装置
JP3378790B2 (ja) 電子内視鏡装置
JP3420929B2 (ja) 電子内視鏡光量制御装置
JP3678906B2 (ja) 電子内視鏡露光制御装置
JP3420930B2 (ja) 電子内視鏡の信号処理回路
JPH0865578A (ja) 固体撮像装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080929

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080929

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090929

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090929

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120929

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130929

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees