JPH07117640B2 - オートフォーカス装置 - Google Patents

オートフォーカス装置

Info

Publication number
JPH07117640B2
JPH07117640B2 JP4302666A JP30266692A JPH07117640B2 JP H07117640 B2 JPH07117640 B2 JP H07117640B2 JP 4302666 A JP4302666 A JP 4302666A JP 30266692 A JP30266692 A JP 30266692A JP H07117640 B2 JPH07117640 B2 JP H07117640B2
Authority
JP
Japan
Prior art keywords
line
sight
detection
focus
sight direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP4302666A
Other languages
English (en)
Other versions
JPH05341175A (ja
Inventor
正文 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Optical Co Ltd filed Critical Olympus Corp
Priority to JP4302666A priority Critical patent/JPH07117640B2/ja
Publication of JPH05341175A publication Critical patent/JPH05341175A/ja
Publication of JPH07117640B2 publication Critical patent/JPH07117640B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、オートフォーカス装
置、さらに詳しくは、撮影者の視線方向を検出すること
により、目標とする被写体に焦点が合うようにするため
のオートフォーカス装置に関する。
【0002】
【従来の技術】撮像素子の出力映像信号中、測距視野か
らの映像信号を用いて焦点検出を行うカメラ等におい
て、測距視野位置を任意に選択することにより、全視野
周辺部にある目標被写体についても自動焦点検出また
は、自動焦点調節を可能とし、従来装置における構図を
定める際の制約を除去しようとする技術手段が、特開昭
60−226280号公報により開示されている。
【0003】しかし、上記技術手段においては、測距視
野区分(フォーカスエリア)の選択をジョイスティック
等を用いて手動で行うようにしているので、操作が面倒
で撮影に時間がかかり、このため速写が要求される撮影
には適当ではないので、特にスチルカメラには不向きで
ある。
【0004】この不具合を解決するために、ファインダ
を覗く操作者の視線を検知し、この検知出力に応じて焦
点検出を行うことが、特開昭61−61135号公報に
記載されている。
【0005】
【発明が解決しようとする課題】しかしながら、視線方
向の検出にあたって、操作者によって個人差があり、こ
の個人差を除去しないと正確な視線方向の検出を行うこ
とができない。
【0006】本発明の目的は、このような問題点に鑑み
てなされたものであって、視線方向の検出にあたって、
撮影者が予め特定方向を注視している状態での検出出力
を記憶することにより、正確な視線方向の検出を行い、
この検出結果に基づいて、極めて容易にしかも迅速に撮
影者の意図した通りの構図で、目標とする被写体にピン
トが合うようにしたオートフォーカス装置を提供するに
ある。
【0007】
【課題を解決するための手段】本発明のオートフォーカ
ス装置は、撮影者の眼球の視線方向を検出する視線検出
手段と、カメラのファインダ視野内において所定の領域
に撮影者を注視させるために表示状態となる表示手段
と、初期設定スイッチの操作に応じて上記表示手段を上
記表示状態となしその時の上記視線検出手段による検出
結果を初期位置として記憶する記憶手段と、この記憶手
段に記憶された初期位置と上記視線検出手段による検出
結果とから視線方向の移動を検出すると共に、この時の
視線方向を演算する演算手段と、この演算された視線方
向に基づいて焦点検出エリアを選択する選択手段と、こ
の選択手段によって選択された焦点検出エリアについて
焦点状態を検出する焦点状態検出手段とを具備する。
【0008】
【作用】視線検出手段により撮影者の眼球の視線方向を
検出し、初期設定スイッチの操作に応じて表示手段を表
示状態として、その時の視線検出手段による検出結果を
記憶手段が初期位置として記憶して、この初期位置と視
線検出手段の検出結果とから演算手段が視線方向の移動
を検出すると共に視線方向を演算し、この演算された視
線方向に基づいて選択手段が焦点検出エリアを選択し、
この焦点検出エリアについて焦点状態検出手段が焦点状
態を検出する。
【0009】
【実施例】以下、図示の実施例によって本発明を説明す
る。図1に本発明のオートフォーカス装置を適用したス
チルビデオカメラの一実施例を示す。固体撮像素子1の
受光面上には、同受光面を赤,青,緑の3色に分解する
色モザイク状の色分解フィルタ2が配置され、さらにそ
の前方には、赤外光カットフィルタ3が配置されてい
る。したがって、撮影レンズ4によって被写体5の光像
を固体撮像素子1の受光面に結像させるとき、被写体光
は赤外光を上記赤外光カットフィルタ3によって除外さ
れた後、色分解フィルタ2を透過して固体撮像素子1の
各画素に受光される。固体撮像素子1は駆動パルス発生
回路6の発生する駆動パルスによって走査されることに
より各画素から光電変換信号が色信号として読み出され
る。この色信号は、赤(R)信号,緑(G)信号および
青(B)信号に区分され増幅回路7に導かれてそれぞれ
増幅される。R信号とB信号は固体撮像素子1から増幅
回路7へ線順次式で入力され、こののち、それぞれサン
プルホールド回路(以下、S/H回路と略記する)9,
10によって連続した信号となる。その後、R,G,B
の各色信号は、ゲイン調整回路11を経て、一方では、
被写体の焦点検出範囲を指示するフォーカスエリア内の
ビデオ信号のみがゲート回路12を通じて画像メモリ1
3に導かれて、同メモリ13に記憶される。画像メモリ
13に記憶されたビデオ信号のコントラストは、次のコ
ントラスト検出回路14で演算される。コントラスト検
出はレンズ駆動装置19によって撮影レンズ4を駆動し
ながら繰り返し行われる。コントラストの最大値が検出
されたときレンズ駆動が停止して焦点検出動作が終了す
ることになる。
【0010】ゲイン調整回路11のG,R,Bの各出力
信号は、他方、電子ビューファインダ15に導かれて被
写体像を表示するとともに、ゲート回路16を通じて磁
気記録装置などの画像記録装置18に記録される。ゲー
ト回路16はレリーズスイッチSW3の閉成と同期信号
発生回路17からの出力信号に同期して開き、画像記録
装置18に画像信号を送るようになっている。
【0011】視線方向検出回路20は、撮影者が電子ビ
ューファインダ15に表示された被写体像を睨んでいる
ファインダ画枠上の位置を検出する回路で、ファインダ
画枠上の視線方向X,Y座標を検出する。フォーカスエ
リア検出回路21は、視線方向検出回路20で検出され
たファインダ画枠上のX,Y座標を中心に所定範囲の領
域を検出する回路で、ゲート回路12を制御するととも
に、電子ビューファインダ15の画面にフォーカスエリ
アを表示する。フォーカスエリアは視線の動きに応じて
常に動いているが、フォーカスエリア検出回路21に接
続されているスイッチSW1を閉成したときは、フォー
カスエリアはロックされるようになっている。またスイ
ッチSW2を閉成すると、フォーカスエリアは画面中央
付近の所定位置に復帰するようになっている。視線は常
に微動しており、この動きをフォーカスエリアが忠実に
追従すると、フォーカスエリアが見づらくなるので、あ
る所定以下の視線方向の検出は受け付けないような閾値
回路もフォーカスエリア検出回路21に含まれている。
【0012】同期信号発生回路17は上記駆動パルス発
生回路6の出力を受け、上記電子ビューファインダ15
に水平同期信号および垂直同期信号を送出するととも
に、上記S/H回路9,10,視線方向検出回路20,
フォーカスエリア検出回路21など、殆ど全回路にタイ
ミングパルスを供給し、各ブロックの信号のタイミング
を制御している。OSC22は基準パルス発生回路であ
る。
【0013】上記視線方向検出回路20は、例えば、図
2に示すように構成されている。この検出回路では、視
線方向を検出する方法として、E・O・G(electro-oc
ulography)と呼ばれている、眼球の動きを検出する公
知の方法が用いられている。眼球にはその前後で電位差
が生じているので、目25の左右両側に電極26,27
を貼り付け、その電位差を目25の動きにしたがって取
り出すと、正面を向いているときは電位差はなく零であ
るが、左を向くと左側の電極26の方が正の電位とな
り、逆に右を向くと右側の電極27の方が正の電位とな
る。したがって、左右の電極26,27の電位差を差動
増幅回路30により増幅した信号として取り出すと、こ
の増幅した左右方向(X方向)信号により、左右いずれ
の方向を見ているか(左右の視線方向)を検出すること
ができる。同様に、目25の上下に電極28,29を貼
り付けることにより、両電極28,29間の電位差を取
り出すことができるので、この電極28,29間の電位
差を差動増幅回路31により増幅した信号として取り出
すと、この増幅した上下方向(Y方向)信号により、上
下のいずれの方向を見ているか(上下の視線方向)を検
出することができる。
【0014】上記視線方向検出回路20で視線方向X,
Yが検出されると、図3に示すように、電子ビューファ
インダ15のファインダ画枠15a内に上記視線方向
X,Yを中心にしてX±β,Y±αの範囲でフォーカス
エリア33が表示される。なお、このときスイッチSW
2を閉成すれば、図4に示すように、フォーカスエリア
33は視線方向X,Yに関係なく、ファインダ画枠15
a内の中央付近の所定位置に復帰する。
【0015】このように上記実施例は構成されているの
で、撮影者は電子ビューファインダ15のファインダ画
枠15a内のピントを合わせたい被写体像を注目する
と、撮影者の被写体像を見る目25の視線方向が検出さ
れ、注目した部分が上記フォーカスエリア33として表
示される(図3参照)。また同時に、このフォーカスエ
リア33のコントラストが最大になるようにレンズ駆動
がなされる。したがって、ここで、レリーズスイッチS
W3を閉成すれば、上記フォーカスエリア33にピント
の合った撮影が行われる。撮影者はファインダ画枠15
aの合焦させたい部分に視線を動かすだけでよいので、
極めて簡単に任意の構図の写真を撮ることができ、しか
も表示によって撮影者はフォーカスエリア33の位置を
確認することができる。
【0016】図5は本発明のオートフォーカス装置を適
用したスチルビデオカメラの他の実施例である。撮影レ
ンズ34を通過した被写体光は、このとき透明状態にあ
る液晶(以下、LCDと記す)35を透過した後、赤外
光カットフィルタ36および半透過ミラー37を透過し
て固体撮像素子38で受光される。そして、この固体撮
像素子38で受光された被写体光の像信号は、図1に示
した如き処理回路を経て信号処理されたのち、被写体像
がファインダ用LCD表示素子39で表示される。
【0017】一方、撮影者の目25は、接眼レンズ4
0,半透過ミラー41を介して上記ファインダ用LCD
表示素子39に表示される被写体像を睨んでいる。ま
た、目25は接眼レンズ40を介して赤外発光ダイオー
ド(以下、赤外光LEDと記す)42により赤外光を照
射されるようになっていて、このため、目25の像は、
上記接眼レンズ40および半透過ミラー41を経て、さ
らにレンズ43およびこのとき透明状態にあるLCD4
4を透過して半透明ミラー37に反射され上記固体撮像
素子38に結像されるようになっている。
【0018】ここで、上記図5に示す実施例において、
視線方向を検出する原理について図6(A)〜(C)を
参照して説明する。図6(A)〜(C)は接眼レンズ4
0を前方から見た図である。今、ファインダ用LCD表
示素子39の表示画面の中央付近の所定位置に視線が一
致しているときは図6(B)に示すように接眼レンズ4
0のレンズ枠40aの中央に目25の瞳孔25aの中心
が位置する状態にあるものとする。そして、目25の瞳
孔25aの中心と、左右の一端つまり目頭または目尻と
の距離をxとし、瞳孔25aの中心と下瞼との距離をy
とする。従って、視線が右方を向いたときは、図6
(A)に示すように目25の瞳孔25aの中心と一端と
の距離xが短くなり、視線が左方を向いたときは、図6
(C)に示すように距離xが長くなる。また、同様に、
視線が上方を向いたときは距離yが長くなり、視線が下
方を向いたときは距離yが短くなる。
【0019】次に図7および図8を用いて、このことを
もう少し詳しく説明する。図7において、眼球50は直
径が約20mmの球で、その前面は透明な角膜(図示せ
ず)に覆われ、その内側に上記瞳孔25aを形成する虹
彩51があり、さらにその内側に水晶体52がある。眼
球50の内部53にはゼリー状の透明な硝子体が詰まっ
ている。また角膜と水晶体52との間は眼房水で満たさ
れている。したがって、外界から眼球50に入る光線
は、角膜,眼房水,水晶体52,硝子体を通過して網膜
54に達する。このとき、見ようとする対象物の像を網
膜54の中心(中心窩)54aに位置させるために、眼
球50の全体はその中心が略固定された回転運動を行
う。
【0020】そこで、眼球50の回転中心をO,視線が
上記レンズ枠40aの中央部付近、すなわち、LCD表
示素子39の表示画面の中央部位置(例えば、図4に示
したフォーカスエリア33の位置に相当する)に一致し
ているときの視線方向の軸(以下、視軸と記す)を一点
鎖線55で、またこれより視線が傾いたときの視軸を実
線56で示す。そして、視軸が一点鎖線55と実線56
で示す位置にあるときの、瞳孔25aの中心のx方向に
対する変位をΔx,上記ファインダ用LCD表示素子3
9の表示画面上でのx方向の変位をΔX,瞳孔25aと
眼球50の回転中心Oとの距離をa,眼球50の回転中
心Oと上記LCD表示素子39の表示画面との距離をb
とすると、 ΔX=(b/a)Δx で表される。
【0021】同様に、瞳孔25aの中心のy方向の変化
をΔy,上記LCD表示素子39の表示画面上でのy方
向の変位をΔYとすると、 ΔY=(b/a)Δy で表される。
【0022】但し、視軸が一点鎖線55で示す方向にあ
るときと実線56で示す方向にあるときとで眼球50の
回転中心Oが変位していることによって、図8に示すよ
うに、目25の位置が上記接眼レンズ40のレンズ枠4
0a上でx方向にΔLx,y方向にΔLy変位していた
とすると、 ΔX=(b/a)Δx+ΔLx……(1) ΔY=(b/a)Δy+ΔLy……(2) で表される。
【0023】次に、上記図5に示したカメラにおけるオ
ートフォーカス動作を図9に示すフローチャートに基づ
いて説明する。まず、前記スイッチSW2(図1参照)
と同等のスイッチを閉成することにより、フォーカスエ
リアがファインダ用LCD表示素子39の表示画面上の
中央付近の所定位置に復帰し、このとき、フォーカスエ
リアは点滅表示することにより撮影者の視線をフォーカ
スエリアの方向に向けさせる。次にLCD44が透過状
態(以下、オンとする)になり、LCD35が遮光状態
(以下、オフとする)になったのち、赤外光LED42
が点灯する。すると、目25の像は、固体撮像素子38
に結像するので、このときの瞳孔25aの中心から、目
25の一端までの距離xと、下瞼までの距離yとが測定
される(図6(A)〜(C)参照)。
【0024】つまり、このとき眼球50のパターン認識
により特徴抽出が行われ眼球の初期位置の記憶がなされ
る。次に赤外光LED42がオフとなった後、LCD4
4がオフになり、LCD35がオンになる。すると、固
体撮像素子38には撮影レンズ34を通過した被写体像
が結像されるので、ファインダ用LCD表示素子39の
画面上の被写体像の表示が更新される。次にフォーカス
エリアがロックされているか否かがチェックされる。具
体的には前記スイッチSW1(図1参照)と同等のスイ
ッチが閉成されているか否かを判断することになる。こ
のスイッチが始めから閉成されていた場合には、フォー
カスエリアが上記画面の中央付近の所定位置にロックさ
れることになる。上記スイッチが閉成されていなければ
フォーカスエリアはロックされていないので、次にLC
D44がオン,LCD35がオフになったのち赤外光L
ED42がオンになって、上記と同様に眼球50のパタ
ーン認識が行われる。このときのパターン認識は、視線
方向の検出、つまり眼球の位置変化を調べるためのもの
である。
【0025】次に赤外光LED42がオフになったの
ち、上記パターン認識の結果、眼球50の位置が所定量
変化したかどうかがチェックされる。もし、眼球50の
位置が所定量以上変化していれば、上記(1),(2)
式に基づき視線方向の演算が行われ、フォーカスエリア
の位置が変更しLCD表示素子39上での表示位置も変
更する。眼球50の位置が変化していなければ、視線方
向の演算およびフォーカスエリアの位置変更は行われな
い。勿論、フォーカスエリアがロックされていれば、フ
ォーカスエリアは動かない。
【0026】次にレリーズされているかどうかがチェッ
クされる。もし、前記レリーズスイッチSW3に相当す
るスイッチが閉成されるなどしてレリーズがなされてい
れば、固体撮像素子38に結像されファインダ用LCD
表示素子39に表示されている被写体像の画像信号が磁
気記録装置などに記憶され、この後、フォーカスエリア
が画面上の中央付近の所定位置に復帰して一連のオート
フォーカス動作を終了する。また、レリーズされていな
ければ、上記フローの、赤外光LED42をオフにした
後、LCD44をオフし、LCD35をオンにして被写
体の表示更新を行う動作に戻るので、フォーカスエリア
がロックされていない限り、上述した視線方向の検出→
フォーカスエリアの表示→被写体表示の更新の動作が繰
り返し行われる。そして、途中でフォーカスエリアがロ
ックされたならば、このときの視線方向に一致したフォ
ーカスエリアの表示が不動になる。
【0027】なお上述した実施例において、眼球50の
動きは、瞳孔25aの中心の変位を検出することにより
捕らえるようにしたが、虹彩51あるいは、その他の眼
球50の特徴部分の変位を捕らえるようにしてもよい。
【0028】また、本発明は上述したようにスチルビデ
オカメラに限ることなく、ムービービデオカメラや銀塩
フィルムカメラの場合にも同様に適用できること勿論で
ある。
【0029】
【発明の効果】以上述べたように本発明によれば、視線
方向の検出にあたって、撮影者が予め特定方向を注視し
ている状態での検出出力を記憶することにより、正確な
視線方向の検出を行い、この検出結果に基づいて、極め
て容易にしかも迅速に撮影者の意図した通りの構図で、
目標とする被写体にピントを合わせることができる。
【図面の簡単な説明】
【図1】本発明のオートフォーカス装置を適用したスチ
ルビデオカメラの一実施例を示す電気回路のブロック
図。
【図2】上記図1中の視線方向検出回路の一例を示す構
成図。
【図3】電子ビューファインダの画面上に表示された各
状態を示す正面図。
【図4】電子ビューファインダの画面上に表示された各
状態を示す正面図。
【図5】本発明装置を適用したスチルビデオカメラの他
の実施例を示す概略構成の断面図。
【図6】(A)〜(C)は、視線方向を検出するパター
ン認識の原理を説明するための接眼レンズを通して見た
目の正面図。
【図7】視線方向の演算式を求めるための説明図。
【図8】視線方向の演算式を求めるための説明図。
【図9】上記図5に示した装置の動作を説明するフロー
チャート。
【符号の説明】
14 ‥‥‥‥コントラスト検出回路(焦点状態検出手
段) 20 ‥‥‥‥視線方向検出回路(視線検出手段) 39 ‥‥‥‥ファインダ用LCD表示素子(表示手
段) 50 ‥‥‥‥眼球

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 撮影者の眼球の視線方向を検出する視線
    検出手段と、 カメラのファインダ視野内において、所定の領域に撮影
    者を注視させるために表示状態となる表示手段と、 初期設定スイッチの操作に応じて上記表示手段を上記表
    示状態となし、その時の上記視線検出手段による検出結
    果を初期位置として記憶する記憶手段と、 この記憶手段に記憶された初期位置と、上記視線検出手
    段による検出結果とから視線方向の移動を検出すると共
    に、この時の視線方向を演算する演算手段と、 この演算された視線方向に基づいて焦点検出エリアを選
    択する選択手段と、 この選択手段によって選択された焦点検出エリアについ
    て焦点状態を検出する焦点状態検出手段と、 を具備したことを特徴とするオートフォーカス装置。
JP4302666A 1992-11-12 1992-11-12 オートフォーカス装置 Expired - Lifetime JPH07117640B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4302666A JPH07117640B2 (ja) 1992-11-12 1992-11-12 オートフォーカス装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4302666A JPH07117640B2 (ja) 1992-11-12 1992-11-12 オートフォーカス装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP63015355A Division JPH088656B2 (ja) 1988-01-26 1988-01-26 オートフォーカス装置

Publications (2)

Publication Number Publication Date
JPH05341175A JPH05341175A (ja) 1993-12-24
JPH07117640B2 true JPH07117640B2 (ja) 1995-12-18

Family

ID=17911730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4302666A Expired - Lifetime JPH07117640B2 (ja) 1992-11-12 1992-11-12 オートフォーカス装置

Country Status (1)

Country Link
JP (1) JPH07117640B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63194237A (ja) * 1987-02-09 1988-08-11 Hitachi Ltd カメラ
JPH07121081B2 (ja) * 1987-03-06 1995-12-20 富士写真光機株式会社 オ−トフオ−カス装置

Also Published As

Publication number Publication date
JPH05341175A (ja) 1993-12-24

Similar Documents

Publication Publication Date Title
JPH07128579A (ja) 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器
EP0625332B1 (en) Viewing apparatus
JP2021131441A (ja) 電子機器
JPH088656B2 (ja) オートフォーカス装置
JPH05192299A (ja) 眼底カメラ
JPH10170813A (ja) 焦点検出装置、自動焦点調節装置及びカメラ
JP3130905B2 (ja) 光学機器
JP2002214659A (ja) ぶれ補正機能付きカメラ
JP7822741B2 (ja) 電子機器及び電子機器の制御方法
JPH05328197A (ja) 撮影装置
JPH07283993A (ja) 映像情報処理装置
JPH07117640B2 (ja) オートフォーカス装置
JP2003189136A (ja) カメラ
JPH07117641B2 (ja) 電子カメラのオートフォーカス装置
JPH0556924A (ja) ビデオカメラ
JP2013122495A (ja) 焦点検出装置およびカメラ
JP2003225208A (ja) 眼底カメラ
JPH0564061A (ja) ビデオカメラ
JPH07287160A (ja) 電子ビューファインダユニット及びそれを含むカメラシステム
JPH07327931A (ja) 眼底カメラ
JP2025130427A (ja) 撮像装置
JP2000131599A (ja) 視線選択機能を有する装置およびカメラ
JPH07336585A (ja) 観察装置及び該観察装置を有する撮影装置
JP2000271088A (ja) 眼底撮影装置
JPH086538A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081218

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081218

Year of fee payment: 13