JPH0811071A - マニピュレータの制御装置 - Google Patents

マニピュレータの制御装置

Info

Publication number
JPH0811071A
JPH0811071A JP6171894A JP17189494A JPH0811071A JP H0811071 A JPH0811071 A JP H0811071A JP 6171894 A JP6171894 A JP 6171894A JP 17189494 A JP17189494 A JP 17189494A JP H0811071 A JPH0811071 A JP H0811071A
Authority
JP
Japan
Prior art keywords
slave manipulator
surveillance camera
camera
manipulator
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6171894A
Other languages
English (en)
Inventor
Kenichi Yasuda
賢一 安田
Shinji Murai
真二 村井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP6171894A priority Critical patent/JPH0811071A/ja
Publication of JPH0811071A publication Critical patent/JPH0811071A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

(57)【要約】 【目的】TVモニタ上のスレーブマニピュレータ手先位
置の移動速度、移動方向をオペレータの操作感覚と一致
させる。 【構成】カメラの焦点距離とカメラからスレーブマニピ
ュレータ手先位置までの距離を検出し、この検出信号か
ら、カメラ焦点距離とカメラからスレーブマニピュレー
タ手先位置までの距離の比に比例した速度でスレーブマ
ニピュレータ手先位置が移動するような動作指令を出力
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、遠隔操作を行うマスタ
ースレーブマニピュレータの制御装置に関し、特に、制
御装置のスレーブマニピュレータの作業空間各軸移動量
演算を行うものに関する。
【0002】
【従来の技術】非構造環境下などにおいて監視カメラを
用いてスレーブマニピュレータをジョイスティックやマ
スターアームを用いて遠隔操縦することによって作業を
行うとき、スレーブマニピュレータのエンドエフェクタ
を作業対象物にある距離まで接近させる場合は、広角で
環境周囲の映像を捉えながらマニピュレータのエンドエ
フェクタを移動させ、作業対象物にアプローチして実際
に作業を行う場合は、ズームカメラに切り換えるか、ズ
ームアップ操作することによって作業対象物を大きく捉
え、慎重な作業を行っている。この時、スレーブマニピ
ュレータの移動速度はオペレータによるジョイスティッ
クやマスターアームの操作量に対して一定に設定してい
るか、あるいは、速度切り換えスイッチによってオペレ
ータがスイッチ操作することによって移動速度を切り換
えている。また、カメラのズーム率に対応してオペレー
タの操作量に対するスレーブマニピュレータの移動速度
の割合を変化させる方法もある(特開平4−10178
8号公報)。そしてこの時、移動方向はいずれの場合も
オペレータの操作方向に対し常に一定である。
【0003】
【発明が解決しようとする課題】ところが、オペレータ
がジョイスティック、あるいはマスターアームを使って
スレーブマニピュレータに動作指令を与えるときに、カ
メラの焦点距離を変化させると作業対象物の像の大きさ
が変わるために、TVモニタに映し出されたスレーブマ
ニピュレータの手先位置(位置決め制御の対象点であ
り、以下制御点という)の動作速度とオペレータの操作
感覚が一致しないという問題があった。また、ズーム率
によってマスタとスレーブの移動速度の割合を変化させ
る方法では、スレーブの制御点に全く関係なく移動速度
の割合を変化させてしまうので、モニタ上のスレーブマ
ニピュレータ制御点の移動速度は必ずしも一定になると
は限らない。また、カメラ座標系とロボット座標系の奥
行き方向が一致していない時に、TVモニタ上の移動速
度と移動方向がオペレータの操作量と操作方向に一致せ
ず、これによってもオペレータの操作感覚を紛らわすこ
とになる。本発明は上記の問題を解決するためになされ
たもので、オペレータの操作量と操作方向に対応して、
TVモニタ上のスレーブマニピュレータ制御点の移動速
度が、カメラの焦点距離やカメラからスレーブマニピュ
レータ制御点までの距離、あるいはカメラの姿勢が変化
しても常に設定した値に一定となるようなマニピュレー
タの制御装置を提供することを目的とする。
【0004】
【課題を解決するための手段】本発明の目的を達成する
ために、本発明は、ズーム機構と位置・姿勢変更機能を
有する監視カメラによって捉えられた映像をTVモニタ
で見ながらオペレータがジョイスティックあるいはマス
ターアームを使って遠隔作業を行うマスタースレーブ方
式のマニピュレータの制御装置において、前記監視カメ
ラの焦点距離と、前記監視カメラから前記スレーブマニ
ピュレータの手先位置までの距離を検出し、前記監視カ
メラの焦点距離と前記監視カメラから前記スレーブマニ
ピュレータの手先位置までの距離の比に比例した速度で
前記スレーブマニピュレータの手先位置が移動するよう
な動作指令を出力すること手段を設けたことを特徴とす
るマニピュレータの制御装置。
【0005】
【作用】上記手段により、オペレータによるジョイステ
ィックまたはマスターアームの操作量や操作方向に対す
るTVモニタ上のスレーブマニピュレータ制御点の移動
速度が、カメラの焦点距離やカメラからスレーブマニピ
ュレータまでの距離、あるいはカメラの姿勢が変化して
も、常に設定した値に一定となるため、どのような状況
でもTVモニタに映し出されたスレーブマニピュレータ
のエンドエフェクタの動作とオペレータの操作感覚が一
致する。
【0006】
【実施例】以下、本発明の実施例を図に基づいて説明す
る。図1は本発明の実施例の構成を示す図であり、スレ
ーブ側は、スレーブマニピュレータ1とそれを監視する
ズーム機能と位置・姿勢変更機能を有するカメラ装置
3、そしてこれらの制御を行うスレーブ制御装置4から
構成されている。また、マスタ側はカメラ装置3の捉え
た映像を映し出すTVモニタ5とスレーブマニピュレー
タ1を操作するジョイスティック6とズームスイッチや
カメラ方向制御を行うためのスイッチを含む操作卓7
と、これらを制御するマスタ制御装置8から構成されて
いる。なお、カメラ装置の焦点距離と位置・姿勢は、オ
ペレータが作業(スレーブマニピュレータの移動)に伴
って、適宜設定しなおすものを想定しているが、スレー
ブマニピュレータの移動に伴って自動的に焦点距離と位
置・姿勢がある時間間隔毎に設定されるものでもよい。
【0007】次に本装置の動作を説明する。カメラ装置
3が捉えた映像をTVモニタ5を見ながらオペレータ9
がジョイスティック6を操作する。ジョイスティック6
の操作量と操作方向はマスタ制御装置8に入力されて、
スレーブ制御装置4に送出される。スレーブ制御装置4
はカメラ装置3からカメラの焦点距離と姿勢量を検出
し、ジョイスティック6の操作量と操作方向からスレー
ブマニピュレータ制御点2のカメラ座標系での移動速度
を演算し、ロボット座標系へ座標変換した後、関節空間
各軸の速度へ変換してスレーブマニピュレータ1への指
令を行う。
【0008】図2は本発明の演算フローチャートを示
す。オペレータはまず、操作卓においてTVモニタ上の
スレーブマニピュレータ制御点の速度を設定する(ステ
ップ1)。そして、オペレータがジョイスティックを操
作するとき、カメラ装置から現在の焦点距離と姿勢を検
出し(ステップ2)、現在のカメラ装置からスレーブマ
ニピュレータ制御点までの距離を検出し(ステップ
3)、スレーブマニピュレータ制御点のカメラ座標系で
の各軸移動速度を計算し(ステップ4)、その後、ロボ
ット座標系へ座標変換し(ステップ5)、各関節角へ変
換してスレーブマニピュレータへ動作指令を出力する
(ステップ6)。
【0009】ここで本発明の移動速度の演算方法を詳し
く説明する。カメラ撮像面上(CCD素子上)の速度V
S は、式(1)に示すように、TVモニタ上でのスレー
ブマニピュレータ制御点の移動速度VM に、TVモニタ
の画面の大きさに比例した定数KM を乗じたものであ
る。 VS = KM ・VM ……(1)
【0010】本発明では、実空間(カメラ座標系)での
速度VC を、式(2)に示すように、前記VS にカメラ
レンズ中心からスレーブマニピュレータ制御点2までの
距離DR とカメラの焦点距離fS の比を乗じ、さらにジ
ョイスティックの操作量に比例した定数KJ (KJ
1)を乗じたものとする所に特徴がある。 VC =(DR /fS )・VS ・KJ ……(2) すなわち、スレーブマニピュレータの制御点の実際の指
令速度VC は、 VC =(DR ・KM ・KJ ・VM )/fS とするものである。なお、KJ は、ジョイスティックの
操作量(倒し角度等)に従って速度指令を変化できる形
式の場合のものであり、最大操作量の場合1となる。速
度指令が一定の形式のものではKJ =1となる。
【0011】図3はカメラ座標系での速度VC と焦点距
離fS 、カメラからスレーブマニピュレータ制御点まで
の距離DR の比との関係を示しており、焦点距離fS
大きくなるにつれて、または、カメラからスレーブマニ
ピュレータ制御点までの距離DR が小さくなるにつれ
て、スレーブマニピュレータのカメラ座標系での移動速
度VC は小さくなる。また、ジョイスティックの操作量
に応じて速度VC は変化する。 そしてこのカメラ座標
系での速度VC をロボット座標系での速度VR へ、カメ
ラの姿勢量によって計算された変換行列Tによって変換
して動作指令を出力する。。 VT = T・VC このようにすると、オペレータによるジョイスティック
の操作によって、ある操作量に対するスレーブマニピュ
レータ制御点の移動速度VR は、カメラの焦点距離や姿
勢、カメラからスレーブマニピュレータ制御点までの距
離に応じて変化する。しかしながら、結果的にはTVモ
ニタ上のスレーブマニピュレータ制御点の移動速度はあ
らかじめ設定した値に一定となり、また。ジョイスティ
ックの操作方向とTVモニタ上の移動方向は一致する。
【0012】
【発明の効果】以上述べたように、本発明によれば、オ
ペレータによるジョイスティックまたはマスターアーム
の操作量や操作方向に対するTVモニタ上のスレーブマ
ニピュレータ制御点の移動速度が、カメラの焦点距離や
カメラからスレーブマニピュレータまでの距離、あるい
はカメラの姿勢が変化しても(オペレータの意思で変化
させた場合も)、常に設定した値に一定となるため、ど
のような状況でもTVモニタに映し出されたスレーブマ
ニピュレータのエンドエフェクタの動作とオペレータの
操作感覚が一致し、これによって、オペレータの負担が
軽減でき、作業の能率と安全性が向上するという効果が
ある。
【図面の簡単な説明】
【図1】 本発明の実施例である遠隔作業用マニピュレ
ータ制御装置の構成図
【図2】実施例の制御フローチャートを示す図
【図3】カメラの焦点距離とカメラからスレーブマニピ
ュレータ制御点までの距離の比、あるいはジョイスティ
ックの操作量に応じたカメラ座標系でのスレーブマニピ
ュレータ制御点の移動速度を示した図
【符号の説明】
1 スレーブマニピュレータ 2 スレーブマニピュレータ制御点 3 カメラ装置 4 スレーブ制御装置 5 TVモニタ 6 ジョイスティック 7 操作卓 8 マスタ制御装置 9 オペレータ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 ズーム機構と位置・姿勢変更機能を有す
    る監視カメラによって捉えられた映像をTVモニタで見
    ながらオペレータがジョイスティックあるいはマスター
    アームを使って遠隔作業を行うマスタースレーブ方式の
    マニピュレータの制御装置において、 前記監視カメラの焦点距離と、前記監視カメラから前記
    スレーブマニピュレータの手先位置までの距離を検出
    し、前記監視カメラの焦点距離と前記監視カメラから前
    記スレーブマニピュレータの手先位置までの距離の比に
    比例した速度で前記スレーブマニピュレータの手先位置
    が移動するような動作指令を出力する手段を設けたこと
    を特徴とするマニピュレータの制御装置。
  2. 【請求項2】 ズーム機構と位置・姿勢変更機能を有す
    る監視カメラによって捉えられた映像をTVモニタで見
    ながらオペレータがジョイスティックあるいはマスター
    アームを使って遠隔作業を行うマスタースレーブ方式の
    マニピュレータの制御装置において、 前記監視カメラの焦点距離と、前記監視カメラから前記
    スレーブマニピュレータの手先位置までの距離を検出
    し、前記監視カメラの焦点距離と前記監視カメラから前
    記スレーブマニピュレータの手先位置までの距離の比を
    ジョイスティックあるいはマスターアームで与える指令
    速度に乗じる手段を設けたことを特徴とするマニピュレ
    ータの制御装置。
  3. 【請求項3】 前記監視カメラの姿勢量から、ジョイス
    ティックあるいはマスターアームによる動作指令に対す
    るTVモニタ上での前記スレーブマニピュレータの移動
    方向が常に一致するように座標変換を行う請求項1また
    は2記載のマニピュレータ制御装置。
JP6171894A 1994-06-29 1994-06-29 マニピュレータの制御装置 Pending JPH0811071A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6171894A JPH0811071A (ja) 1994-06-29 1994-06-29 マニピュレータの制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6171894A JPH0811071A (ja) 1994-06-29 1994-06-29 マニピュレータの制御装置

Publications (1)

Publication Number Publication Date
JPH0811071A true JPH0811071A (ja) 1996-01-16

Family

ID=15931788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6171894A Pending JPH0811071A (ja) 1994-06-29 1994-06-29 マニピュレータの制御装置

Country Status (1)

Country Link
JP (1) JPH0811071A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
JP2002127060A (ja) * 2000-10-23 2002-05-08 Matsushita Electric Ind Co Ltd ロボット装置
US7221775B2 (en) 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US7280673B2 (en) 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US7286157B2 (en) 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7346187B2 (en) 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
EP2092874A1 (en) 2008-02-21 2009-08-26 Olympus Medical Systems Corporation Manipulator operation system
US7671728B2 (en) 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7825792B2 (en) 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US8174572B2 (en) 2005-03-25 2012-05-08 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
WO2015024579A1 (en) * 2013-08-19 2015-02-26 Abb Technology Ltd Robot manipulated viewpoint
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
WO2017022307A1 (ja) * 2015-07-31 2017-02-09 オリンパス株式会社 マニピュレータシステム
JP2017061032A (ja) * 2011-03-23 2017-03-30 エスアールアイ インターナショナルSRI International 高機能遠隔マニピュレーターシステム
JP2018202541A (ja) * 2017-06-02 2018-12-27 日立Geニュークリア・エナジー株式会社 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法
CN111152218A (zh) * 2019-12-31 2020-05-15 浙江大学 一种异构仿人机械臂的动作映射方法及系统
CN111699077A (zh) * 2018-02-01 2020-09-22 Abb瑞士股份有限公司 用于机器人的基于视觉的操作
US11083533B2 (en) 2016-02-25 2021-08-10 Olympus Corporation Manipulator system and operating method thereof
US11298199B2 (en) 2016-02-25 2022-04-12 Olympus Corporation Manipulator system and method for restricting a retreating motion of a manipulator according to a protrusion state of a manipulator joint

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
JP2002127060A (ja) * 2000-10-23 2002-05-08 Matsushita Electric Ind Co Ltd ロボット装置
US7460685B2 (en) 2002-11-12 2008-12-02 Intellivid Corporation Method and apparatus for computerized image background analysis
US7221775B2 (en) 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US7286157B2 (en) 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7280673B2 (en) 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US7346187B2 (en) 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
US8174572B2 (en) 2005-03-25 2012-05-08 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US9881216B2 (en) 2005-09-02 2018-01-30 Sensormatic Electronics, LLC Object tracking and alerts
US9407878B2 (en) 2005-09-02 2016-08-02 Sensormatic Electronics, LLC Object tracking and alerts
US7671728B2 (en) 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7825792B2 (en) 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US8013729B2 (en) 2006-06-02 2011-09-06 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
EP2092874A1 (en) 2008-02-21 2009-08-26 Olympus Medical Systems Corporation Manipulator operation system
US8308633B2 (en) 2008-02-21 2012-11-13 Olympus Medical Systems Corp. Manipulator operation system
EP2092874B1 (en) * 2008-02-21 2019-05-29 Olympus Corporation Manipulator operation system
JP2017061032A (ja) * 2011-03-23 2017-03-30 エスアールアイ インターナショナルSRI International 高機能遠隔マニピュレーターシステム
WO2015024579A1 (en) * 2013-08-19 2015-02-26 Abb Technology Ltd Robot manipulated viewpoint
JPWO2017022307A1 (ja) * 2015-07-31 2017-08-03 オリンパス株式会社 マニピュレータシステム
WO2017022307A1 (ja) * 2015-07-31 2017-02-09 オリンパス株式会社 マニピュレータシステム
US11083533B2 (en) 2016-02-25 2021-08-10 Olympus Corporation Manipulator system and operating method thereof
US11298199B2 (en) 2016-02-25 2022-04-12 Olympus Corporation Manipulator system and method for restricting a retreating motion of a manipulator according to a protrusion state of a manipulator joint
JP2018202541A (ja) * 2017-06-02 2018-12-27 日立Geニュークリア・エナジー株式会社 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法
CN111699077A (zh) * 2018-02-01 2020-09-22 Abb瑞士股份有限公司 用于机器人的基于视觉的操作
US20200353624A1 (en) * 2018-02-01 2020-11-12 Abb Schweiz Ag Vision-based operation for robot
CN111699077B (zh) * 2018-02-01 2024-01-23 Abb瑞士股份有限公司 用于机器人的基于视觉的操作
US11926065B2 (en) * 2018-02-01 2024-03-12 Abb Schweiz Ag Vision-based operation for robot
CN111152218A (zh) * 2019-12-31 2020-05-15 浙江大学 一种异构仿人机械臂的动作映射方法及系统
CN111152218B (zh) * 2019-12-31 2021-10-08 浙江大学 一种异构仿人机械臂的动作映射方法及系统

Similar Documents

Publication Publication Date Title
JPH0811071A (ja) マニピュレータの制御装置
CN110825076B (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN111941392B (zh) 机器人操作装置、机器人及机器人操作方法
EP2648406B1 (en) Method for switching viewing modes in a camera
JPH1034570A (ja) ロボット遠隔制御システム
JP3376029B2 (ja) ロボットの遠隔操作装置
JPH03213278A (ja) ロボットの遠隔操作支援方式
JP2004128646A (ja) 監視システムおよび制御装置
JP3657854B2 (ja) 遠隔地観測装置
CN113612928B (zh) 遥操作系统、遥操作方法及芯片
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置
JPH0215349B2 (ja)
JPH07328971A (ja) Tvカメラ付マニピュレータ
JPH10249786A (ja) マニピュレータの制御装置および操作支援装置
JPS5828601B2 (ja) ロボツト制御のためのテイ−チング方法
JP2000101990A (ja) 監視カメラ装置
CN116372889A (zh) 示教轨迹处理方法、装置、机械臂、示教控制器及系统
JP2634880B2 (ja) ロボットの遠隔操作装置
JPH02185379A (ja) マニピュレータ装置
JP2520660B2 (ja) 遠隔操作式マニピユレ―タ装置
CN111699077B (zh) 用于机器人的基于视觉的操作
JPH09116806A (ja) カメラ制御装置
CN111890352A (zh) 基于全景导航的移动机器人触控式遥操作控制方法
CN116661447B (zh) 水下机器人的控制方法、水下机器人及存储介质
JPH07117403B2 (ja) ロボットの視覚座標校正方法およびシステム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20080413

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20110413

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20120413

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20120413

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20120413

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 13

Free format text: PAYMENT UNTIL: 20140413

EXPY Cancellation because of completion of term