JPH0811071A - マニピュレータの制御装置 - Google Patents
マニピュレータの制御装置Info
- Publication number
- JPH0811071A JPH0811071A JP6171894A JP17189494A JPH0811071A JP H0811071 A JPH0811071 A JP H0811071A JP 6171894 A JP6171894 A JP 6171894A JP 17189494 A JP17189494 A JP 17189494A JP H0811071 A JPH0811071 A JP H0811071A
- Authority
- JP
- Japan
- Prior art keywords
- slave manipulator
- surveillance camera
- camera
- manipulator
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
置の移動速度、移動方向をオペレータの操作感覚と一致
させる。 【構成】カメラの焦点距離とカメラからスレーブマニピ
ュレータ手先位置までの距離を検出し、この検出信号か
ら、カメラ焦点距離とカメラからスレーブマニピュレー
タ手先位置までの距離の比に比例した速度でスレーブマ
ニピュレータ手先位置が移動するような動作指令を出力
する。
Description
ースレーブマニピュレータの制御装置に関し、特に、制
御装置のスレーブマニピュレータの作業空間各軸移動量
演算を行うものに関する。
用いてスレーブマニピュレータをジョイスティックやマ
スターアームを用いて遠隔操縦することによって作業を
行うとき、スレーブマニピュレータのエンドエフェクタ
を作業対象物にある距離まで接近させる場合は、広角で
環境周囲の映像を捉えながらマニピュレータのエンドエ
フェクタを移動させ、作業対象物にアプローチして実際
に作業を行う場合は、ズームカメラに切り換えるか、ズ
ームアップ操作することによって作業対象物を大きく捉
え、慎重な作業を行っている。この時、スレーブマニピ
ュレータの移動速度はオペレータによるジョイスティッ
クやマスターアームの操作量に対して一定に設定してい
るか、あるいは、速度切り換えスイッチによってオペレ
ータがスイッチ操作することによって移動速度を切り換
えている。また、カメラのズーム率に対応してオペレー
タの操作量に対するスレーブマニピュレータの移動速度
の割合を変化させる方法もある(特開平4−10178
8号公報)。そしてこの時、移動方向はいずれの場合も
オペレータの操作方向に対し常に一定である。
がジョイスティック、あるいはマスターアームを使って
スレーブマニピュレータに動作指令を与えるときに、カ
メラの焦点距離を変化させると作業対象物の像の大きさ
が変わるために、TVモニタに映し出されたスレーブマ
ニピュレータの手先位置(位置決め制御の対象点であ
り、以下制御点という)の動作速度とオペレータの操作
感覚が一致しないという問題があった。また、ズーム率
によってマスタとスレーブの移動速度の割合を変化させ
る方法では、スレーブの制御点に全く関係なく移動速度
の割合を変化させてしまうので、モニタ上のスレーブマ
ニピュレータ制御点の移動速度は必ずしも一定になると
は限らない。また、カメラ座標系とロボット座標系の奥
行き方向が一致していない時に、TVモニタ上の移動速
度と移動方向がオペレータの操作量と操作方向に一致せ
ず、これによってもオペレータの操作感覚を紛らわすこ
とになる。本発明は上記の問題を解決するためになされ
たもので、オペレータの操作量と操作方向に対応して、
TVモニタ上のスレーブマニピュレータ制御点の移動速
度が、カメラの焦点距離やカメラからスレーブマニピュ
レータ制御点までの距離、あるいはカメラの姿勢が変化
しても常に設定した値に一定となるようなマニピュレー
タの制御装置を提供することを目的とする。
ために、本発明は、ズーム機構と位置・姿勢変更機能を
有する監視カメラによって捉えられた映像をTVモニタ
で見ながらオペレータがジョイスティックあるいはマス
ターアームを使って遠隔作業を行うマスタースレーブ方
式のマニピュレータの制御装置において、前記監視カメ
ラの焦点距離と、前記監視カメラから前記スレーブマニ
ピュレータの手先位置までの距離を検出し、前記監視カ
メラの焦点距離と前記監視カメラから前記スレーブマニ
ピュレータの手先位置までの距離の比に比例した速度で
前記スレーブマニピュレータの手先位置が移動するよう
な動作指令を出力すること手段を設けたことを特徴とす
るマニピュレータの制御装置。
ィックまたはマスターアームの操作量や操作方向に対す
るTVモニタ上のスレーブマニピュレータ制御点の移動
速度が、カメラの焦点距離やカメラからスレーブマニピ
ュレータまでの距離、あるいはカメラの姿勢が変化して
も、常に設定した値に一定となるため、どのような状況
でもTVモニタに映し出されたスレーブマニピュレータ
のエンドエフェクタの動作とオペレータの操作感覚が一
致する。
る。図1は本発明の実施例の構成を示す図であり、スレ
ーブ側は、スレーブマニピュレータ1とそれを監視する
ズーム機能と位置・姿勢変更機能を有するカメラ装置
3、そしてこれらの制御を行うスレーブ制御装置4から
構成されている。また、マスタ側はカメラ装置3の捉え
た映像を映し出すTVモニタ5とスレーブマニピュレー
タ1を操作するジョイスティック6とズームスイッチや
カメラ方向制御を行うためのスイッチを含む操作卓7
と、これらを制御するマスタ制御装置8から構成されて
いる。なお、カメラ装置の焦点距離と位置・姿勢は、オ
ペレータが作業(スレーブマニピュレータの移動)に伴
って、適宜設定しなおすものを想定しているが、スレー
ブマニピュレータの移動に伴って自動的に焦点距離と位
置・姿勢がある時間間隔毎に設定されるものでもよい。
3が捉えた映像をTVモニタ5を見ながらオペレータ9
がジョイスティック6を操作する。ジョイスティック6
の操作量と操作方向はマスタ制御装置8に入力されて、
スレーブ制御装置4に送出される。スレーブ制御装置4
はカメラ装置3からカメラの焦点距離と姿勢量を検出
し、ジョイスティック6の操作量と操作方向からスレー
ブマニピュレータ制御点2のカメラ座標系での移動速度
を演算し、ロボット座標系へ座標変換した後、関節空間
各軸の速度へ変換してスレーブマニピュレータ1への指
令を行う。
す。オペレータはまず、操作卓においてTVモニタ上の
スレーブマニピュレータ制御点の速度を設定する(ステ
ップ1)。そして、オペレータがジョイスティックを操
作するとき、カメラ装置から現在の焦点距離と姿勢を検
出し(ステップ2)、現在のカメラ装置からスレーブマ
ニピュレータ制御点までの距離を検出し(ステップ
3)、スレーブマニピュレータ制御点のカメラ座標系で
の各軸移動速度を計算し(ステップ4)、その後、ロボ
ット座標系へ座標変換し(ステップ5)、各関節角へ変
換してスレーブマニピュレータへ動作指令を出力する
(ステップ6)。
く説明する。カメラ撮像面上(CCD素子上)の速度V
S は、式(1)に示すように、TVモニタ上でのスレー
ブマニピュレータ制御点の移動速度VM に、TVモニタ
の画面の大きさに比例した定数KM を乗じたものであ
る。 VS = KM ・VM ……(1)
速度VC を、式(2)に示すように、前記VS にカメラ
レンズ中心からスレーブマニピュレータ制御点2までの
距離DR とカメラの焦点距離fS の比を乗じ、さらにジ
ョイスティックの操作量に比例した定数KJ (KJ ≦
1)を乗じたものとする所に特徴がある。 VC =(DR /fS )・VS ・KJ ……(2) すなわち、スレーブマニピュレータの制御点の実際の指
令速度VC は、 VC =(DR ・KM ・KJ ・VM )/fS とするものである。なお、KJ は、ジョイスティックの
操作量(倒し角度等)に従って速度指令を変化できる形
式の場合のものであり、最大操作量の場合1となる。速
度指令が一定の形式のものではKJ =1となる。
離fS 、カメラからスレーブマニピュレータ制御点まで
の距離DR の比との関係を示しており、焦点距離fS が
大きくなるにつれて、または、カメラからスレーブマニ
ピュレータ制御点までの距離DR が小さくなるにつれ
て、スレーブマニピュレータのカメラ座標系での移動速
度VC は小さくなる。また、ジョイスティックの操作量
に応じて速度VC は変化する。 そしてこのカメラ座標
系での速度VC をロボット座標系での速度VR へ、カメ
ラの姿勢量によって計算された変換行列Tによって変換
して動作指令を出力する。。 VT = T・VC このようにすると、オペレータによるジョイスティック
の操作によって、ある操作量に対するスレーブマニピュ
レータ制御点の移動速度VR は、カメラの焦点距離や姿
勢、カメラからスレーブマニピュレータ制御点までの距
離に応じて変化する。しかしながら、結果的にはTVモ
ニタ上のスレーブマニピュレータ制御点の移動速度はあ
らかじめ設定した値に一定となり、また。ジョイスティ
ックの操作方向とTVモニタ上の移動方向は一致する。
ペレータによるジョイスティックまたはマスターアーム
の操作量や操作方向に対するTVモニタ上のスレーブマ
ニピュレータ制御点の移動速度が、カメラの焦点距離や
カメラからスレーブマニピュレータまでの距離、あるい
はカメラの姿勢が変化しても(オペレータの意思で変化
させた場合も)、常に設定した値に一定となるため、ど
のような状況でもTVモニタに映し出されたスレーブマ
ニピュレータのエンドエフェクタの動作とオペレータの
操作感覚が一致し、これによって、オペレータの負担が
軽減でき、作業の能率と安全性が向上するという効果が
ある。
ータ制御装置の構成図
ュレータ制御点までの距離の比、あるいはジョイスティ
ックの操作量に応じたカメラ座標系でのスレーブマニピ
ュレータ制御点の移動速度を示した図
Claims (3)
- 【請求項1】 ズーム機構と位置・姿勢変更機能を有す
る監視カメラによって捉えられた映像をTVモニタで見
ながらオペレータがジョイスティックあるいはマスター
アームを使って遠隔作業を行うマスタースレーブ方式の
マニピュレータの制御装置において、 前記監視カメラの焦点距離と、前記監視カメラから前記
スレーブマニピュレータの手先位置までの距離を検出
し、前記監視カメラの焦点距離と前記監視カメラから前
記スレーブマニピュレータの手先位置までの距離の比に
比例した速度で前記スレーブマニピュレータの手先位置
が移動するような動作指令を出力する手段を設けたこと
を特徴とするマニピュレータの制御装置。 - 【請求項2】 ズーム機構と位置・姿勢変更機能を有す
る監視カメラによって捉えられた映像をTVモニタで見
ながらオペレータがジョイスティックあるいはマスター
アームを使って遠隔作業を行うマスタースレーブ方式の
マニピュレータの制御装置において、 前記監視カメラの焦点距離と、前記監視カメラから前記
スレーブマニピュレータの手先位置までの距離を検出
し、前記監視カメラの焦点距離と前記監視カメラから前
記スレーブマニピュレータの手先位置までの距離の比を
ジョイスティックあるいはマスターアームで与える指令
速度に乗じる手段を設けたことを特徴とするマニピュレ
ータの制御装置。 - 【請求項3】 前記監視カメラの姿勢量から、ジョイス
ティックあるいはマスターアームによる動作指令に対す
るTVモニタ上での前記スレーブマニピュレータの移動
方向が常に一致するように座標変換を行う請求項1また
は2記載のマニピュレータ制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6171894A JPH0811071A (ja) | 1994-06-29 | 1994-06-29 | マニピュレータの制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6171894A JPH0811071A (ja) | 1994-06-29 | 1994-06-29 | マニピュレータの制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0811071A true JPH0811071A (ja) | 1996-01-16 |
Family
ID=15931788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6171894A Pending JPH0811071A (ja) | 1994-06-29 | 1994-06-29 | マニピュレータの制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0811071A (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
| JP2002127060A (ja) * | 2000-10-23 | 2002-05-08 | Matsushita Electric Ind Co Ltd | ロボット装置 |
| US7221775B2 (en) | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
| US7280673B2 (en) | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| US7286157B2 (en) | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
| US7346187B2 (en) | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
| EP2092874A1 (en) | 2008-02-21 | 2009-08-26 | Olympus Medical Systems Corporation | Manipulator operation system |
| US7671728B2 (en) | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
| US7825792B2 (en) | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
| US8174572B2 (en) | 2005-03-25 | 2012-05-08 | Sensormatic Electronics, LLC | Intelligent camera selection and object tracking |
| WO2015024579A1 (en) * | 2013-08-19 | 2015-02-26 | Abb Technology Ltd | Robot manipulated viewpoint |
| US9036028B2 (en) | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
| WO2017022307A1 (ja) * | 2015-07-31 | 2017-02-09 | オリンパス株式会社 | マニピュレータシステム |
| JP2017061032A (ja) * | 2011-03-23 | 2017-03-30 | エスアールアイ インターナショナルSRI International | 高機能遠隔マニピュレーターシステム |
| JP2018202541A (ja) * | 2017-06-02 | 2018-12-27 | 日立Geニュークリア・エナジー株式会社 | 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法 |
| CN111152218A (zh) * | 2019-12-31 | 2020-05-15 | 浙江大学 | 一种异构仿人机械臂的动作映射方法及系统 |
| CN111699077A (zh) * | 2018-02-01 | 2020-09-22 | Abb瑞士股份有限公司 | 用于机器人的基于视觉的操作 |
| US11083533B2 (en) | 2016-02-25 | 2021-08-10 | Olympus Corporation | Manipulator system and operating method thereof |
| US11298199B2 (en) | 2016-02-25 | 2022-04-12 | Olympus Corporation | Manipulator system and method for restricting a retreating motion of a manipulator according to a protrusion state of a manipulator joint |
-
1994
- 1994-06-29 JP JP6171894A patent/JPH0811071A/ja active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
| JP2002127060A (ja) * | 2000-10-23 | 2002-05-08 | Matsushita Electric Ind Co Ltd | ロボット装置 |
| US7460685B2 (en) | 2002-11-12 | 2008-12-02 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
| US7221775B2 (en) | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
| US7286157B2 (en) | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
| US7280673B2 (en) | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| US7346187B2 (en) | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
| US8174572B2 (en) | 2005-03-25 | 2012-05-08 | Sensormatic Electronics, LLC | Intelligent camera selection and object tracking |
| US9036028B2 (en) | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
| US9881216B2 (en) | 2005-09-02 | 2018-01-30 | Sensormatic Electronics, LLC | Object tracking and alerts |
| US9407878B2 (en) | 2005-09-02 | 2016-08-02 | Sensormatic Electronics, LLC | Object tracking and alerts |
| US7671728B2 (en) | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
| US7825792B2 (en) | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
| US8013729B2 (en) | 2006-06-02 | 2011-09-06 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
| EP2092874A1 (en) | 2008-02-21 | 2009-08-26 | Olympus Medical Systems Corporation | Manipulator operation system |
| US8308633B2 (en) | 2008-02-21 | 2012-11-13 | Olympus Medical Systems Corp. | Manipulator operation system |
| EP2092874B1 (en) * | 2008-02-21 | 2019-05-29 | Olympus Corporation | Manipulator operation system |
| JP2017061032A (ja) * | 2011-03-23 | 2017-03-30 | エスアールアイ インターナショナルSRI International | 高機能遠隔マニピュレーターシステム |
| WO2015024579A1 (en) * | 2013-08-19 | 2015-02-26 | Abb Technology Ltd | Robot manipulated viewpoint |
| JPWO2017022307A1 (ja) * | 2015-07-31 | 2017-08-03 | オリンパス株式会社 | マニピュレータシステム |
| WO2017022307A1 (ja) * | 2015-07-31 | 2017-02-09 | オリンパス株式会社 | マニピュレータシステム |
| US11083533B2 (en) | 2016-02-25 | 2021-08-10 | Olympus Corporation | Manipulator system and operating method thereof |
| US11298199B2 (en) | 2016-02-25 | 2022-04-12 | Olympus Corporation | Manipulator system and method for restricting a retreating motion of a manipulator according to a protrusion state of a manipulator joint |
| JP2018202541A (ja) * | 2017-06-02 | 2018-12-27 | 日立Geニュークリア・エナジー株式会社 | 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法 |
| CN111699077A (zh) * | 2018-02-01 | 2020-09-22 | Abb瑞士股份有限公司 | 用于机器人的基于视觉的操作 |
| US20200353624A1 (en) * | 2018-02-01 | 2020-11-12 | Abb Schweiz Ag | Vision-based operation for robot |
| CN111699077B (zh) * | 2018-02-01 | 2024-01-23 | Abb瑞士股份有限公司 | 用于机器人的基于视觉的操作 |
| US11926065B2 (en) * | 2018-02-01 | 2024-03-12 | Abb Schweiz Ag | Vision-based operation for robot |
| CN111152218A (zh) * | 2019-12-31 | 2020-05-15 | 浙江大学 | 一种异构仿人机械臂的动作映射方法及系统 |
| CN111152218B (zh) * | 2019-12-31 | 2021-10-08 | 浙江大学 | 一种异构仿人机械臂的动作映射方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0811071A (ja) | マニピュレータの制御装置 | |
| CN110825076B (zh) | 基于视线和力反馈的移动机器人编队导航半自主控制方法 | |
| CN111941392B (zh) | 机器人操作装置、机器人及机器人操作方法 | |
| EP2648406B1 (en) | Method for switching viewing modes in a camera | |
| JPH1034570A (ja) | ロボット遠隔制御システム | |
| JP3376029B2 (ja) | ロボットの遠隔操作装置 | |
| JPH03213278A (ja) | ロボットの遠隔操作支援方式 | |
| JP2004128646A (ja) | 監視システムおよび制御装置 | |
| JP3657854B2 (ja) | 遠隔地観測装置 | |
| CN113612928B (zh) | 遥操作系统、遥操作方法及芯片 | |
| JPH0430981A (ja) | 遠隔操縦型ロボットのテレビカメラ制御装置 | |
| JPH0215349B2 (ja) | ||
| JPH07328971A (ja) | Tvカメラ付マニピュレータ | |
| JPH10249786A (ja) | マニピュレータの制御装置および操作支援装置 | |
| JPS5828601B2 (ja) | ロボツト制御のためのテイ−チング方法 | |
| JP2000101990A (ja) | 監視カメラ装置 | |
| CN116372889A (zh) | 示教轨迹处理方法、装置、机械臂、示教控制器及系统 | |
| JP2634880B2 (ja) | ロボットの遠隔操作装置 | |
| JPH02185379A (ja) | マニピュレータ装置 | |
| JP2520660B2 (ja) | 遠隔操作式マニピユレ―タ装置 | |
| CN111699077B (zh) | 用于机器人的基于视觉的操作 | |
| JPH09116806A (ja) | カメラ制御装置 | |
| CN111890352A (zh) | 基于全景导航的移动机器人触控式遥操作控制方法 | |
| CN116661447B (zh) | 水下机器人的控制方法、水下机器人及存储介质 | |
| JPH07117403B2 (ja) | ロボットの視覚座標校正方法およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 7 Free format text: PAYMENT UNTIL: 20080413 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090413 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20110413 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20120413 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20120413 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20120413 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 13 Free format text: PAYMENT UNTIL: 20140413 |
|
| EXPY | Cancellation because of completion of term |