JP6106594B2 - ヒューマン・マシン連携ロボットシステム - Google Patents

ヒューマン・マシン連携ロボットシステム Download PDF

Info

Publication number
JP6106594B2
JP6106594B2 JP2013538978A JP2013538978A JP6106594B2 JP 6106594 B2 JP6106594 B2 JP 6106594B2 JP 2013538978 A JP2013538978 A JP 2013538978A JP 2013538978 A JP2013538978 A JP 2013538978A JP 6106594 B2 JP6106594 B2 JP 6106594B2
Authority
JP
Japan
Prior art keywords
automatic
semi
robot
task
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013538978A
Other languages
English (en)
Other versions
JP2013543764A (ja
Inventor
グレゴリー ヘイガー
グレゴリー ヘイガー
ニコラ パドワ
ニコラ パドワ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of JP2013543764A publication Critical patent/JP2013543764A/ja
Application granted granted Critical
Publication of JP6106594B2 publication Critical patent/JP6106594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the program is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, leader-follower control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35472—Mode selection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39004—Assisted by automatic control system for certain functions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39025—Spheric tool interrupts transmitted calibration beam, in different configurations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40399—Selection of leader-follower operation mode
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40413—Robot has multisensors surrounding operator, to understand intention of operator

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • Manipulator (AREA)

Description

関連発明の相互参照
本出願は、２０１０年１１月１１日に出願された米国仮出願６１／４１２，５８７および２０１１年２月１７日に出願された米国仮出願６１／４４３，７７９に基づく優先権を主張するもので、その全内容は参照により本願に組み込まれる。
本発明は、アメリカ国立科学財団によって授与された付与番号ＣＰＳ０９３１８０５号の米国政府の支援により発明された。米国政府は、本発明において一定の権利を有する。
１．技術分野
本発明の特許請求の範囲に記載された最新の実施の態様の技術分野はロボットシステムに関し、より詳しくは、半自動、双方性ロボットシステムとシミュレーションされた半自動、双方性ロボットシステムとに関する。
２．関連技術の考察
ロボットシステムは、反復的な、複雑な、錯綜した、および／または危険なタスクの実行に有用である。例えば、手術の場合のように、複雑な処置は外科医にとって高い作業負荷を意味する。加えて、最近の手術室へのロボットの導入により、外科医の訓練および評価をするための新たな技術が必要になっている。このため、近年、外科的ジェスチャモデリングが大きな注目を集め、また、通常、隠れマルコフモデルまたはその変形を利用するいくつかの方法が、オフラインでの技能モデル化および分類のために提案されている（J. Rosen, J. Brown, L. Chang, M. Sinanan および B. Hannaford, "Generalized approach for modeling minimally invasive surgery as a stochastic process using a discrete markov model, "IEEE Trans, on Biomedical Engineering, vol. 53, no. 3, pp. 399-413, 2006; H. C. Lin, I. Shafran, D. Yuh および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006; B. Varadarajan, C. E. Reiley, H. Lin, S. Khudanpur, および G. D. Hager, "Data-derived models for segmentation with application to surgical assessment and training," in MICCAI(1), 2009, pp.426-434）。
繊細なロボットの開発に伴い、別のグループが、特定の外科的タスクを自動化するための技術を提案している。取り組みがなされているタスクの例として、糸結び（kot tying）がある。エイチ．ジー．メイヤー他の文献（H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, および J. Schmidhuber, "A system for robotic heart surgery that learns to tie knots using recurrent neural networks," in IROS, 2006, pp. 543-548）においては、実演からループ軌道を学習するためにリカレントニューラルネットワークが用いられている。ジェイ．ヴァン．ベルグ他の文献（J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X. -Y. Fu, K. Goldberg, および P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081）においては、ロボット動力学が習得されて増加速度で軌道を再現している。針挿入のタスクも多大な注目を集めている。例えば、幾何学的タスクモデルが、エフ．ナゲオッテ他の文献（F. Nageotte, P. Zanne, C. Doignon, および M. de Mathelin, "Stitching planning in laparoscopic surgery: Towards robot-assisted suturing," Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009）において、針挿入の経路案をコンピュータで計算するように設計されている。シー．スタウブ他の文献（C. Staub, T. Osa, A. Knoll, および R. Bauernschmitt, "Automation of tissue piercing using circular needles and vision guidance for computer aided laparoscopic surgery," in ICRA, 2010, pp. 4585-4590）において、外科医がレーザポインタを用いて挿入点にマークした後、針挿入のための円運動が自動的に行われる。しかし、生体組織のような対象物および縫合糸を取り扱うかまたはオペレータとの連携を提供するかのいずれかの自動化方法の必要性が残っている。
ロボットと手術者との間での連携を可能にする自然な方法として、最新の状況に基づいて相互作用モードを変更するという方法がある。これは、マニピュレータに経路の制約を課すように仮想固定具を用いる顕微鏡手術における曲線追従タスク上で実証されている（D. Kragic および G. Hager, "Task modeling and specification for modular sensory based human-machine cooperative systems," in IROS, 2003, pp. 3192-3197）。
最新の外科的タスクの実時間認識のための状況モデリングが、通常オートマトンまたは隠れマルコフモデルを用いる以下の文献において取り組まれている。
・B. P. L. Lo, A. Darzi, および G. -Z. Yang, "Episode classification for the analysis of tissue/instrument interaction with multiple visual cues," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2003, pp. 230-237.
・K. Yoshimitsu, F. Miyawaki, T. Sadahiro, K. Ohnuma, Y. Fuki, D. Hashimoto, および K. Masamune, "Development and evaluation of the second version of scrub nurse robot (snr) for endoscopic and laparoscopic surgery," in IROS, 2007, pp. 2288-2294.
・S. Speidel, G. Sudra, J. Senemaud, M. Drentschew, B. P. Mller-Stich, C. Gutt および R. Dillmann, "Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling," in Med. Imaging.SPIE, 2008.
・N. Padoy, D. Mateus, D. Weinland, M. -O. Berger, および N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009.
しかし、これらのアプローチでは、ヒューマン・マシンの相互作用によってオペレーションを行うことはできない。したがって、改善されたヒューマン・マシン連携ロボットシステムの必要性が残っている。
概要
本発明のいくつかの実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザがとる行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つを実行させる。
本発明のいくつかの実施の形態に係るマルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたシミュレーション・センサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザのとった行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、シミュレーション・センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つをシミュレーションさせる。
さらなる目的及び利点が、明細書、図面および実施の態様を考慮することにより明白になるであろう。
本発明の実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムの概略図である。 本発明の他の実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムを示す図である。 図２に示す半自動、相互作用ロボットシステムの他の図である。 本発明の実施の態様に係る使用に適したダ・ビンチ・ロボットの構成の一例を示す図である。患者側のマニピュレータおよび内視鏡カメラ（左）とマスターマニピュレータ（右）とを示す。 手動および自動のサブタスク間での移行を含む、本発明の実施の態様に係るタスクモデルの概略図である。 本発明の実施の形態に係る単一の器具を用いて実行されたピンタスクを示す。図６（ａ）は、ポッドの開始および終了の状態を示し、図６（ｂ）は、器具の例示的な軌道を示す。赤色（暗い）部分は自動化の注釈付の区分を示す。 ２つの器具を用いて実行された縫合タスクを示す。図７（ａ）は、ポッドの開始および終了の状態を示し、図７（ｂ）は、２つの器具の例示的な軌道を示す。それらは、本来は交わっているが、より良い可視化のために分離している。赤色（暗い）部分は自動化の注釈付の区分を示す。 本発明の実施の形態に係る一例で用いた座標系を示す。 平均的な軌道の例を示す。図９（ａ）は、入力軌道（点線）および平均軌道（黒の実線）を示す。図９（ｂ）は、入力軌道（実線）および平均軌道（黒の点線）を示す。経時的に１フレーム軸線を表示することにより図示するように回転を強調する。 マスターマニピュレータの作業空間分析を示す。図１０（ａ）は、ピンタスクにおけるマスターマニピュレータの３Ｄ（三次元）動作を示す。手動による動作（左）とＨＭＣによる動作（右）とを同一スケールを用いて左右に示す。図１０（ｂ）は、縫合タスクにおける左右のマスターマニピュレータの３Ｄ（三次元）動作を示す。手動による動作（左）とＨＭＣによる動作（右）とを同一スケールを使用して左右に示す。左の楕円は、常に左のマニピュレータに対応する。 ＨＭＣフレームワークを用いて実行されたタスクの説明図である。全部の動作を例示の映像で見ることができる。
以下に、本発明のいくつかの実施の形態を詳細に説明する。実施の形態の説明において、明瞭化のために特定の用語を用いている。しかし、本発明は、そのように選択した特定の用語に限定されるものではない。当業者であれば、本発明の広範な概念から逸脱することなく他の同等の構成要素を用いたり他の方法を開発したりすることは認識するであろう。背景技術および発明の詳細な説明の欄を含む本願の明細書において言及したすべての参考文献は、それぞれの参考文献が個別に組み込まれたかのように参照により組み込まれる。
本発明のいくつかの実施の形態によると、遠隔操作のロボット支援は、いくつかの一般的に発生するタスクを自律的に実施する可能性を提供する。本発明のいくつかの実施の形態は、タスクから「ステップ」とも称されるサブタスクへの自然な分割を用いる新規な外科用ヒューマン・マシン連携（ＨＭＣ）システムを提供することができる。そのシステムでは、手術タスクの一部が外科医の完全な管理下で自律的に実行される一方、手術タスクの他の部分が手動で実行される。本発明の実施の形態に係るロボットシステムは、手動のサブタスク（ステップ）の完了を自動的に識別し、途切れなく次の自動化されたタスクまたはステップを実行し、次に、制御を外科医に戻す。本発明の実施の形態は実証に基づく学習に基づく。本実施の形態は、実行した動作の学習のための経時的曲線平均化およびタスクの完了の認識のために隠れマルコフモデルを使用する。例えば、本発明の実施の形態にしたがってダ・ビンチ遠隔手術用ロボットは改造されている。ヒューマン・マシン連携が直感的に理解できるような２つの例示的タスクにおいて、自動化された制御が、マスターマニピュレータの作業空間の利用を改善することを示す。このようなシステムは、ロボットの従来の使用方法を制限するものではないが、全制御を外科医に委ねている間機能を高めているので、外科的機能の向上に関して安全かつ受け入れ可能な解決策を提供する。
以下詳述する本発明のいくつかの実施の態様および例示は、手術用ロボットに関するが、本発明の全体的な概念は、手術用ロボットのみに限定されるものではない。本発明の他の実施の形態には、製造および／または組み立てロボットや、危険なまたは離れた環境において使用するための遠隔操作ロボットのような他の種類のロボットが含まれる。ただし、これに限定されるものではない。
本明細書で使用している用語の「タスク」は、概略、ロボットシステムによって実行されるマルチステップのどの工程も含む。例えば、手術ロボットの場合には、タスクは、手術手順の少なく一部となり得る。用語の「ステップ」は、アクチュエータ組立体の少なくとも一部の少なくとも１つの移動および／または回転を含む。
図１は、本発明の実施の形態に係るマルチステップのタスクを実行するための半自動、相互作用ロボットシステム１００の概略図である。半自動、相互作用ロボットシステム１００は、ユーザ・インタフェース・システム１０２と、ユーザ・インタフェース・システム１０２と通信を行うように構成された認識システム１０４と、認識システム１０４と通信を行うように構成された制御システム１０６と、制御システム１０６と通信を行うように構成されたセンサ・アクチュエータ・システム１０８とを含む。認識システム１０４は、ユーザがユーザ・インタフェース・システム１０２を操作する間にユーザのとる行動を認識し、その認識された行動およびそのマルチステップタスクのタスクモデル１１０に基づいて、制御システム１０６に選択的に命令を出して、センサ・アクチュエータ・システム１０８に、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの１つを実行させる。
ユーザ・インタフェース・システム１０２は、１人、２人またはそれより多くのオペレータによって操作されるような制御を含むことができる。その制御は、手動操作の制御とすることができるが、それに代えて、または追加的に、これに限定されないが、フットペダルのようなユーザの体の手以外の部分によって操作されることが可能な制御を含めることができる。例えば、従来の手術用ロボットはクラッチペダルを備えており、これにより、ユーザが、１または２以上のセンサ・アクチュエータ構成部分をロボットによる制御から切り離すことができる。これは、例えば、大まかな補正および／または緊急解除を行うために有用である。ユーザ・インタフェース・システム１０２が、観察および／または表示装置も備えると、１または２以上のユーザが、例えば、手術中の患者や組立中の製品を観察することができる。いくつかの実施の態様では、表示装置は、これに限定されないが、医用画像のような画像を表示することができる。例えば、外科的用途の場合には、画像には、これに限定されないが、実時間可視光像、実時間超音波、実時間ＯＣＴ画像および／または他のモダリティを含めることができ、または、ＭＲＩ、ＣＴ、ＰＥＴ等のような術前画像を含めることができる。さまざまな画像モダリティは、例えば、選択可能、プログラム可能、重ね合わせ可能で、さらに／または、グラフの形式および／または数値の形式または記号の形式で重ね合わされた他の情報を含むことができる。
認識システム１０４は、例えば、コンピュータまたは他の任意な適切なデータ処理および記憶デバイスに実装することができる。いくつかの実施の形態では、認識システム１０４は、認識および他の処理を実行するコンピュータに記憶されたコンピュータ実行可能命令から構成することができる。しかし、他の実施の形態においては、認識システムは、コンピュータに記憶されたソフトウエア命令というより、ハードワイヤードのデバイスとして構成することができる。そのコンピュータは、例えば、ワークステーション、デスクトップまたはラップトップコンピュータのようなローカルコンピュータでもよく、または、例えば、ネットワークを通じて接続された遠方に配置されたおよび／または分散型コンピュータシステムであってもよい。そのコンピュータは、１または２以上のデータ記憶装置およびメモリデバイスも含めることができる。タスクモデル１１０は、例えば、コンピュータのデータ記憶装置に記憶されるようにしてもよい。認識システムは、いくつかの実施の形態で、ユーザの特定の動作を認識するために、ロボット運動学を利用することができる。タスクモデルに基づくと、そのような動作は、多機能タスクを実行する際の１つのステップによって識別することができる。これに代えて、または、これに加えて、ユーザ・インタフェース・システム１０２および／またはセンサ・アクチュエータ・システム１０８は、観察装置を備え、これにより、一人のユーザもしくは複数のユーザ、および／またはセンサ・アクチュエータ・システムの構成部分、および／または患者もしくは操作されている対象物の動きをより直接的に観察することができるようにしてもよい。観察システムは、例えば、これに限定されないが、移動する対象物を観察および区分化することができるように、１または２以上のカメラを備えることができる。
認識システム１０４は、制御システムの制御下において、自動ステップ、半自動ステップまたはダイレクトステップをセンサ・アクチュエータ・システムによって実行すべきか否かを決定するという意味で、スイッチングシステムに似た動作をすることができる。ダイレクトステップは、従来の遠隔操作ロボットシステムにおいて実行されるステップに似てまたは変わりなく実行されるステップとすることができる。自動ステップは、ロボットの制御下で完全に遂行されるステップとすることができる。例えば、ユーザが、センサ・アクチュエータ・システムの少なくとも一部を、さらなるステップが実行される位置まで移動してもよい。この最初の動きは、ダイレクトステップの可能性のある１つの例示である。認識システムが、次に、このステップがユーザによって行われたことを認識し、タスクモデルに基づいて、自動ステップの実行を命令してもよい。例えば、認識システムは、ダイレクトステップにおいて動かされたセンサ・アクチュエータ・システムの一部を、これらに限定されるものではないが、外科的処置のための手術ツールもしくは縫合糸、または組立作業のための組立ツールもしくは組立部品のような対象物を持ち上げかつ保持して戻る位置まで移動するように命令することができる。これは、単に１つの具体的な例示であり、本発明の範囲を限定することを意図するものではない。当業者は、可能性のある例が極めて多数存在することを認識するであろう。
他の例では、認識システム１０４は、ユーザが、センサ・アクチュエータ・システムの一部をマルチステップのタスクを実行するための位置に移動したことを認識することができ、次に、認識システムは、タスクモデルに基づいて、センサ・アクチュエータ・システムの他の部分がユーザを支援するように他のステップを実行することを命令する。これに限定されないが、一例としては、ユーザが１つのロボットアームを操作している間、認識システムが、他のロボットアームの操作を命令してユーザを支援する。自動ステップでは、例えば、ユーザのために対象物を保持し続けることができる。外科的処置では、自動ステップにより、例えば、ライト、カメラ、内視鏡を保持し続けたり、縫合糸を切断するために保持し続けたりすることができる。組立作業では、自動ステップでは、例えば、ユーザが部品を取り付けることができるように、組立中の製品を保持しおよび／またはマニピュレータで操作することができる。これらの例は、本発明のいくつかの概念の説明を補助するために示すもので、発明の範囲を限定することを意図するものではない。当業者にとって、非常に多数の例が、本発明の広範な概念内で可能性がということは明らかであろう。
いくつかの実施の態様において、ユーザ入力システムは入力デバイスを備えることができ、入力デバイスは、ユーザが、手動または口頭の少なくとも一方によりコマンドを入力して認識システムと通信を行い、これにより、命令の起動または修正を行って制御システムに送信できるように構成される。当該命令には、これには、限定されないが、手信号を含めることができ、手信号は、センサ・アクチュエータ・システムのマニピュレーション制御が、継続されている間、またはその制御から分離されている間ユーザから提供される。
図２および図３は、本発明の実施の形態に係る半自動、相互作用ロボットシステム２００を示す。この実施の形態では、半自動、相互作用ロボットシステム２００は、改良型ＤＡ ＶＩＮＣＩロボットシステムのような手術ロボットシステムである。この実施の形態では、ユーザ・インタフェース・システム２０２は、外科医用コンソールである。ワークステーション２０４および／またはデータ処理および記憶システム２０６は、認識システムおよびタスクモデルを含むように構成されている。センサ・アクチュエータ・システム２０８は、複数の多関節アーム２１０を含む手術ロボット・センサ・アクチュエータ・システムである。制御システムは、ワークステーション２０４、データ処理および記憶システム２０６および／またはセンサ・アクチュエータ・システム２０８に備えることができる。ユーザ・インタフェース・システム２０２は、右手用制御装置２１２および左手用制御装置２１４と右目用表示装置２１６および左目用制御装置２１８とを備える。複数の多関節アーム２１０の少なくとも１つのアームは、把持装置またはツール取付組立体２２０の少なくとも一方を含めることができる。
本発明のいくつかの実施の形態においては、タスクモデルは、例えば、隠れマルコフモデルにすることができる。しかし、本発明の広範な概念は、隠れマルコフモデルのみに限定されるものではない。例えば、マルコフ特性が正確な近似値であることを必要としない他のモデルであっても本発明の他の実施の形態において使用することができる。本発明のいくつかの実施の形態では、タスクモデルは機械学習モデルである。
本発明の他の実施の形態においては、センサ・アクチュエータ・システム１０８および／または２０８は、現実の物理系システムというより、シミュレーションすることができるものである。このことは、半自動、相互作用ロボットシステム１００および／または２００によって実行されるタスクのシミュレーションに有益な場合がある。シミュレーションは、例えば、ユーザの訓練に役に立つ。しかし、シミュレーションは、これらに限定されるものではないが、実行予定のタスクの計画および／またはさまざまな可能性のあるタスクの実験または試験の実施のような他の目的に有用である。
以下の特定の実施の形態は、本発明のいくつかの概念を詳細に説明するために提示するものである。しかし、本発明の広範な概念は、それらの特定の実施の形態に限定されるものではない。
例
ＩＮＴＵＩＴＩＶＥ ＳＵＲＧＩＣＡＬ社のＤＡ ＶＩＮＣＩ手術システムのような遠隔手術ロボットの利用の増加に伴い、手術を指導、評価および実施するための新たな方法が提供されている。一方では、大量の客観的な実演データはロボットから収集することができる（H. C. Lin, I. Shafran, D. Yuh, および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006）。他方では、その技術により、近い将来、特定の手術タスクが自動化される可能性がある（J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X.-Y. Fu, K. Goldberg, および P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081）。しかし、オペレータ、手術対象物に適応でき、また、手術中に途切れのない支援を提供することができる高効率のヒューマン・マシン連携システムを設計するために、収集した実演データをどのように用いるのかは明確ではなかった。
この実施の形態では、手術の実演から、本発明の実施の形態に係る遠隔操作タスクの間連携して外科医を支援する方法を学習するヒューマン・マシン連携（ＨＭＣ）システムを示す。これは、純自動化に焦点を合わせる以前の研究を補完するものである（H. G. Mayer, F. J. Gomez, D. Wierstra, I. Nagy, A. Knoll, および J. Schmidhuber, "A system for robotic heart surgery that learns to tie knots using recurrent neural networks," in IROS, 2006, pp. 543-548; F. Nageotte, P. Zanne, C. Doignon, and M. de Mathelin, "Stitching planning in laparoscopic surgery: Towards robot-assisted suturing," Robotic Res., vol. 28, no. 10, pp. 1303-1321, 2009; Berg10）。ここでは、タスクは、手動のサブタスクおよび潜在的に自動化可能なサブタスクに分解されている。このシステムでは、次に、実時間で、手動のサブタスクの終了が認識されることによってオペレータが支援され、残りのサブタスクが自動化される。システムでは、また、状況的拡張現実（ＡＲ）情報がオペレータの視界に提供されてオペレータによる認識作業の負荷が減少される。自動化予定のサブタスクは、オペレータの作業空間の最適な利用を可能にするために選択されている。これらのサブタスクは、対象物と相互作用しない移送タスクを含む。遠隔操作の間、手動実行と自動実行との間での移行は、自動的であり途切れない。さらに、オペレータは、必要な場合に、軌道を修正するために、自動実行の途中で介入することができる。
ここでは、研究目的のためのみに使用したＤＡ ＶＩＮＣＩ手術ロボット（G. Guthart および J. K. S. Jr., "The intuitiveTM telesurgery system: Overview and application," in ICRA, 2000, pp. 618-621）を使用して本アプローチを実証している。そのロボットは２つのマスター・コンソール・マニピュレータから構成されており、２つのマスター・コンソール・マニピュレータは、立体的内視鏡的な視覚化の状況下で３つの患者側マニピュレータを遠隔操作する（図４参照）。最初に、オペレータが、数回タスクを実行し、自動化すべきサブタスクに対応するデータのセグメントに注釈付けをしている間、ロボットからの運動学的データを記録する。次に、隠れマルコフモデル（ＨＭＭ）に基づいてアプローチを使用して、実時間で、最新の手動のサブタスクが完了したことを判断する。一旦、自動実行に移行すると、自動化サブタスクに対応する器具の動作がロボットに提供される。この動作は、動的時間伸縮法（ＤＴＷ）に基づく経時的曲線平均化アプローチを使用することによって実演データから学習される。最後に、監視目的のため、オペレータの立体的視界内に、計画された軌道を重ね合わせて表示する。
２つの操作タスクを使用して、本アプローチ、つまり、訓練ポッドの基本位置に３つのピンを移動し、縫合ポッド上で縫合を実施することを実演する。実験では、ヒューマン・マシン連携フレームワークのようなものは直感的に理解できるものであり、また、マスターマニピュレータの大きな動きを減少させ、さらに、これにより、手の位置を再調整するためのクラッチ操作を減少させることによってオペレータの作業空間の利用を高度に改善することができた。
タスクモデル
この実施の形態の目的のために、あるタスクが、連続する時間的な順序で実行する必要のある順序付けられたサブタスク（つまりステップ）の集合から構成されているとする。説明を容易にするために、タスクは、手動サブタスクと自動化されたサブタスクとの間で交互に入れ替わり、手動サブタスクから開始されるものと仮定する。これは、手動または自動化の各タイプの連続するサブタスクを単一の分割不可能なサブタスクのように集合させることによって達成することができる。
タスクＴを、連続するサブタスクＴ1，．．．，ＴNから構成する。ここで、N=2nである。Ｔ2，Ｔ4，．．．，ＴNは、自動化されたサブタスクであると仮定する。この例では、そのようなサブタスクは、対象物との相互作用や微細な操作を伴わないが、それに代えて、より大きな動作が必要となる。
図５は、タスクモデルを簡潔に示しており、タスクモデルはオートマトンとしてみることができ、そのオートマトンでは、移行が、手動のサブタスクの完了の認識、または、自動サブタスクの終了のいずれかに起因して開始される。
例示タスク
本アプローチを実演するために用いた２つのタスクを図６および図７に示す。第１のタスクは、ピンタスクと称され、単一の器具を必要とし、３つのピンを３主要位置に移動することにある（図６（ａ））。このタスクは、システムにより学習された６つの大きな搬送動作と、オペレータの実行による把持およびピン留めを含む６つの微細な動作とからなる。サブタスクの概要を表１に示す。器具によって実行される動作を図６（ｂ）に示しており、そこでは、搬送および微細な動作は異なる色で表されている。
表１：ピンタスクの説明 スター印（＊）は、自動化されているサブタスクを示す。
第２のタスクは、縫合タスクと称され、２つの器具（「左」および「右」によって表す）を必要とし、３つの針の挿入による縫合の実行（図７（ａ））からなる。このタスクは、３つの連続する位置で反復される５つの一般的な動作からなる。３つの微細な動作、つまり、右の器具による針の把持、左の器具による針の挿入および左の器具による針の把持が、外科医によって実行される。２つの搬送動作、つまり、左の器具による糸の引き出しと次の縫合点の位置での針の右の器具へ手渡しとが学習されて自動化される。手動／自動化サブタスクに連結されたすべてのサブタスクを表２に示す。２つの器具によって実行された動作を図７（ｂ）に示しており、そこでは、搬送および微細な動作は異なる色で表されている。
表２：縫合タスクの説明 （＊）は、自動化されているサブタスクを示す。（ＲＴ）は「右ツール」および（ＬＴ）は「右ツール」を表す。
ロボット環境
セットアップでは、タスクを達成するために使用するポッドは、各７度の自由度（ＤＯＦ）を持つ２つの患者側マニピュレータ（ＰＳＭ）によって操作することができる。各ＰＳＭは、手術器具を制御する。本ケースでは、ＰＳＭは、タスクの間同一の器具、つまり、２つの大きな針ドライバを有している。７度の自由度は、器具把持装置の開口に対応する。ダ・ビンチ・ロボット（Ｇｕｔｈａｒｔ００）を用いることにより、より多くの一般的な遠隔操作の構成が可能であるが、簡略化のために、左右それぞれのマスターマニピュレータが、左右それぞれのＰＳＭを制御するものと仮定する。遠隔操作の間、器具およびポッドは、立体内視鏡カメラによって監視されており、器具およびポッドは、特定の６ＤＯＦマニピュレータを用いて移動することができる。
４つの主座標系（またはフレーム）はこのセットアップでは重要性を持つ（図８参照）。タスク座標系Ｃtaskは、タスクに特有のもので、ロボット初期運動学とは無関係である。カメラ座標系Ｃcamは、立体内視鏡カメラの位置を示し、また、器具座標系Ｃｊ instは、器具ｊの位置を示し、ｊ∈｛０，１｝によって左または右の器具を表す。最後に、例えば、ロボットのベースを表す世界の原点は、Ｃworldによって表す。
［Ｔ，Ｒ］∈Ｒ3×ＳＯ3によって、移動Ｔおよび回転Ｒからなる３Ｄ変位を表す。以下において、各時間ｔでの、ＣcamからＣｊ instまでの変位［ＴIN t，ＲIN t］（ここで、「IN」は、上付き文字の「in j」を意味するものとする。）と、ＣworldからＣcamまでの変位［Ｔca t，Ｒca t］とは分かっているものとする。これらの変位は、ダ・ビンチ研究インタフェース（S. DiMaio および C. Hasser, "The da vinci research interface," Insight Journal. [オンライン]。 http://hdl.handle.net/10380/1464から入手可能）を用いて収集される。加えて、ＣcamからＣtaskまでの変位［Ｔta t，Ｒta t］を知る必要がある。この変位は、タスクを開始する前に、トレーニングポッドを基準世界位置に配置し、さらに、［Ｔca t，Ｒca t］を用いてカメラ動作を追跡することによって得る。短いタスクの場合、ポッドはその初期基準位置に留まっていると推測する。長いタスクの場合、ポッドが移動したとすると、その対応変位が、目視可能なポッド追跡によって提供されるであろう。また、直交座標空間における２つの患者側マニピュレータの直線速度／角速度と、把持装置の状態と、ワークステーション分析のための２つの主マニピュレータの直交座標位置も収集する。これらのデータは４０Ｈｚの周波数で収集する。
また、立体内視鏡カメラは較正されている。これにより、外科医の立体視界内において、複数の軌道の３Ｄ拡張実在情報を重ね合わせることができる。
実演データ
指示により、オペレータが各タスクをＭ回実演すると、タスク｛ｒk｝1≦k≦Mの一連のＭ回の記録が得られる。各記録は、１≦ｔ≦｜ｒk｜の場合のＲ26＝Ｒ14×Ｒ12において、値ｒk t＝（^ｒk t，・ｒk t）を取る長さ｜ｒk｜の多次元時系列ｒk＝｛ｒk 1，．．．，ｒk n｝（なお、ここで、ｎは、下付き文字の｜ｒk｜を意味する。）に対応する。投影^ｒk tは、６次元直交座標速度のみならず２器具の把持状態も包含する。これらのデータは、認識システムによって使用されることになる。投影・ｒk tは、制御軌道を学習するために使用する予定の２器具の６次元直交座標位置を包含する。２器具の位置は、タスク座標系において、ロボット初期運動学とは無関係に表現される。
各ｒkごとに、自動化されるべきタスクの一部は、オペレータによってラベル付される。これにより、ｒkを、サブタスクＴ1，．．．，ＴNに対応するＮデータセグメント｛ｒ(k,1)，ｒ(k,2) ，．．．，ｒ(k,N)｝に分解する。次のセクションでは、以下のことを説明する。
・手動タスクＴ2i+1，１≦ｉ≦ｎの完了を決定する認識モデルＨiをトレーニングする方法。このため、トレーニングデータ｛^ｒ(k,2i+1)，^ｒ(k,2i+2)｝1≦k≦Mから構築されたＨＭＭを使用する。
・器具によって自動的に実行される予定のサブタスクＴ2i，１≦ｉ≦ｎのために軌道を計算する方法。このため、ＤＴＷに基づいて経時的曲線平均化技術を用い、それをデータ｛・ｒ(k,2i)｝1≦k≦Mに適用する。
認識
認識システムの目的は、各手動タスクが完了したことを判断し、自動制御への途切れのない移行を実行することにある。オペレータは、自動化が軌道の制御を引き継ぐまで、オペレータが次のサブタスクを手動で開始および実行しているかのように、連続する動作を当然に実行すべきである。途切れのない移行を行うため、オペレータが、自動軌道が開始されることができる地点に到達した瞬間を決定する必要がある。この決定は、ＨＭＭに基づいて一時的なモデルから計算される、サブタスク完了の実時間測定値を用いて行われる。
隠れマルコフモデルは、公式には、５個１組のλ＝（Ｓ，Ａ，Ｏ，Ｂ，π）として定義される。ここで、Ｓは、そのモデル内の状態ｘ∈｛１，．．．，Ｓ｝の数であり、Ａは、トポロジーをモデル化する、状態間の遷移確率マトリクスであり、ＯはケースＲ14における観察空間である。Ｂは観察モデルで、どの観察o∈Ｏおよび状態ｘに対しても、oがｘによって観察される確率Ｂｘ（o）＝Ｐ（o｜ｘ）を示す。πは初期状態における確率分布である。
サブタスクの完了を測定するため、ＨＭＭ Ｈiを使用しており、ＨＭＭ Ｈiは、手動サブタスクＴ2i+1および自動化されるサブタスクＴ2i+2をそれぞれモデル化する２つのＨＭＭ Ｈi 0およびＨi 1の連結したものから構成されている。Ｈi 0およびＨi 1は、それぞれ、データ｛^ｒ(k,2i+1)｝1≦k≦Mおよび｛^ｒ(k,2i+2)｝1≦k≦Mから構築されている。実験のため、左および右のＨＭＭおよび観察分布としてのガウス混合を使用する。パラメータをエヌ．パドイ他の文献（N. Padoy, D. Mateus, D. Weinland, M. -O. Berger および N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009"）に示すように初期化する。状態数は、トレーニングシーケンスの長さから決定され、また、確率は、データを、利用可能な状態と同一の連続数に均等に分割することによってそのデータから初期化される。次に、期待値最大化を適用してパラメータを改善する。２つのＨＭＭが連結されると、Ｈi 0の最後の状態が、Ｈi 1の第１の状態に移行するように修正される。その移行の確率は、Ｈi 0における予想された時間が、トレーニングデータから算出された、サブタスクの平均持続時間と等しくなるように、選択される。
ＨＭＭ Ｈiの状態ｘごとに、以下の２値指標関数を定義する。
以下のように、時間ｔに手動タスクを完了させる確率Θtを、自動化されるタスクに相当するＨＭＭの状態に到達させた確率によって定義する。
ここで、01:tは、最新の時間ｔまでの観察結果を示し、Ｘtは、時間ｔにおけるＨＭＭの状態を示すランダム変数である。この式は、ＨＭＭの前向き確率を使用して計算される（L. R. Rabiner, "A tutorial on hidden markov models and selected applications in speech recognition," Proceedings of the IEEE, vol. 77, no. 2, pp. 257-286, 1989）。
最終的に、タスク完了の決定は、識別閾値β（０＜β＜１）を用いて、短い時区間δに渡って平均化を行うことによって得られる。
自動化
制御
ロボットアームは、ダ・ビンチ研究インタフェース（ＤｉＭａｉｏ２００８）を用いて制御される。器具ごとに、直交座標動作Δ＝［ΔＴ｜ΔＲ］を、主マニピュレータの外科医の操作によって起こる動作に重ね合わせる制御モードが使用される。ある実験では、その動作Δは、カメラ座標系Ｃcamに与えられる。
｛［Ｔt｜Ｒt］｝1≦t≦τを学習後の軌道とする。その学習後の軌道は、次のセクションで説明するようにタスク座標系Ｃtaskに表示されて計算処理される。この軌道は、その初期位置を減算することによって正規化されて、Ｔ1＝０，Ｒ1＝Ｉｄとなっている。所定の器具に対し、自動化された実行が開始された瞬間に、ツール先端の位置において、この相対軌道が実行される。これは、Ｃtaskに表示されているＴin 1によって示される。実験では、そのような実行は、手動制御と自動実行との間に途切れのない移行を形成するための自然な方法であることが分かった。自動制御が開始された時に最新のツール位置に対し相対的に軌道を実行するということは、例えば異なる位置で針を挿入することによって正確に実演されたタスクとは異なるようにオペレータがマニピュレータの操作を変更できるという柔軟性を残すことになる。
重ね合わせ動作は、以下の式によって１≦t≦τの期間に与えられる。
平均動作計算
このセクションでは、所定の器具のためにロボットに動作｛［Ｔt｜Ｒt］｝1≦t≦τを与える学習方法について説明する。自動化サブタスクＴ2iに関して、動作がデータ｛・ｒ(k,2i)｝1≦k≦Mから計算される。ここでは、考慮対象の器具の直交座標位置および方向のみのデータを使用する。以下において、回転は四元数で表し、７次元位置データは、指数２ｉを外した｛~ｒk｝1≦k≦Mによって表す。
経時的曲線平均化を用いることにより、実演されたシーケンスから有意義な動作を学習することができる。経時的曲線平均化は、最初に、ケイ．ワング他の文献（K. Wang および T. Gasser, "Alignment of curves by dynamic time warping," Annals of Statistics, vol. 25, no. 3, pp.1251-1276, 1997）に表されていて、次に、連続データにさらに二値データにも良好に適用されている（S.-A. Ahmadi, T. Sielhorst, R. Stauder, M. Horn, H. Feussner, および N. Navab, "Recovery of surgical workflow without explicit models," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2006, pp. 420-428）。この方法は、予想最小化アルゴリズムに類似する反復手順からなり、その手順においては、全ての軌道が、平均化される前に、動的時間伸縮（H. Sakoe および S. Chiba, "Dynamic programming algorithm optimization for spoken word recognition," IEEE Trans. Acoust. Speech Signal Process., vol. 26, no. 1, pp. 43-49, 1978）を用いて基準平均軌道に対し時間的に同期されている。その結果得た平均値は、次の反復の際に基準として使用される。このアプローチを使用すると、平均値は入力軌道の平均長さと等しい長さτを持つ。このアプローチによって生成された平均軌道を図９に示す。
そのアプローチ以下に簡潔に要約して示す。
・~ｒrefを基準シーケンスとする。ＤＴＷを用いて~ｒkを時間的に~ｒrefにワープさせ、そのワープ関数をｈk(t)で表す。
・~ｒrefに関する平均時系列を以下のように算出する。
・~ｒkを平均時系列に変換できるようにする、いわゆる、シフト関数ｕk(t)＝ｈk(ｈ-1(t))を計算する。
・平均値を計算する。
・~ｒrefを~ｒavgによって置換し、収束するまで置換を繰り返す。
最初の基準として、同一の方法を用いて、入力シーケンスを２つずつ再帰的に結合する。このアプローチを以下の方法で動作データに適合した：第１に、時間ワープの同期のために３Ｄの位置データのみを使用する。これは、位置は主要な特徴であり、また、方向情報は、本ケースにおいて、同期に関して主要な役割を演ずるものではないことが判明しているからである。第２に、上記のステップのいくつかは、２つの四元数間を補間すること、または、多数の四元数を平均化することのいずれかを必要とする。それぞれに対し、ＳＬＥＲＰ補間（E. B. Dam, M. Koch, および M. Lillhohn, "Quaternions, interpolation and animation," University of Copenhagen, Tech. Rep. DIKU-TR98/5, 1998）および球平均化を使用する（F. L. Markley, Y. Cheng, J. L. Crassidis, および Y. Oshman, "Averaging quaternions," Journal of Guidance, Control, and Dynamics, vol. 30, no. 4, pp. 1193-1196, 2007）。タスク座標系において平均軌道を計算した後、その平均軌道の初期位置を減算してその平均軌道を正規化する。
論文から、データが高次元である場合や多数の局所変動を含んでいる場合には、ＤＴＷ同期は正しくない場合があるということが分かっている。このような場合に対し、エフ．ゾウ他の論文に示されているような、さらに進化した経時的同期技術（F. Zhou および F. De la Torre, "Canonical time warping for alignment of human behavior," in Advances in Neural Information Processing Systems Conference (NIPS), December 2009）が、提案されており、その高度な経時的同期技術を代わりに用いることができる。しかし、これは本発明に係るデータに当てはまるものではない。図９（ａ）に、本アプローチが、いくつかの実演されたシーケンスから滑らかな平均化された動作を提供する方法を示す。図９（ｂ）は、学習済み軌道の回転動作を強調している。
実験
ダ・ビンチ・ロボットを用い、ＣＩＳＳＴ蔵書（A. Deguet, R. Kumar, R. Taylor, および P. Kazanzides, "The CISST libraries for computer assisted intervention systems," Insight Journal. [オンライン]。 http://hdl.handle.net/10380/1465aから入手可）に基づいて、モジュラーアプリケーションでＨＭＣアプローチを実行した。このアプリケーションは、役割を伴う５つの相互作用するスレッドを含む。つまり、１）完了認識、２）経路設計、３）ロボット制御、４）可視化重ね合わせ、および５）メインタスク制御である。
実験のため、各タスクを５回実行してタスクモデルを構築した。説明のための動画は、オペレータが２つの説明のためのタスクを実行している間におけるヒューマン・マシン連携システムを用いるオペレータの視界を示す。オペレータが動作を実行しているときに、視界内にはラベル「手動」が表示される。サブタスクを完了させたオペレータの計算済み確率も示される。制御が自動モーションに切り替わると、ラベル「自動」が表示されるとともに計画された軌道も表示される。この表示された軌道は、オペレータの視界を妨げないようにするために、実際の位置に正確には重ね合わされていない。その代り、この表示された軌道は、視界の最上部に移動されている。これにより、オペレータの監視および認識する作業負荷の減少の目的が達成される。当動画は、手動操作と自動実行との間での途切れのない移行を示す。それは、また、例えば、ダ・ビンチ・ロボットの内視鏡カメラを回転することによってダ・ビンチ・ロボットを自由に操作することができることも示す。針を挿入する際に繰り返される失敗の試行または把持装置の予期しない開閉のような異常値に対する本アプローチのロバスト性についても説明する。図１１に、ＨＭＣシステムを用いてタスクを実行する間に得られたいくつかの画像を示す。
さらに別のオペレータ達に本システムを使用することを依頼し、そのオペレータ達が、移行が途切れなく行われかつ直感的に理解できることを認識した。しかし、第１回目の試行の際には、事前にその特定のタスクをまったく行ったことのないオペレータが、予期した動作を正確に行えないということは起こり得る。この場合には、完了が少し遅れて認識されるようにし、これにより、軌道が、正確かつ予期した位置からわずかに転移されるようにしてもよい。この場合には、最終的にはツール位置の調整が必要になる。これにより、ユーザが、タスクを正確に（実演データと同様の方法で）実行する方法を学習するために２，３回の試行を行う必要があること、または、最新に操作したオペレータにより実演されたデータを含めかつオペレータの操作スタイルを例示することによってタスクモデルを構築する必要があることが分かる。実験では、ＨＭＭモデルは２つの直交座標の混合を使用し、さらに、β＝０．９を用いて自動実行を起動する。Θtを１秒間にわたり平均化する。
遠隔操作制御を容易にする本アプローチの利点には、マスターマニピュレータの動作がかなり減少されているということが含められる。実際、大きな搬送動作が自動的に実行され、大きな搬送動作によってオペレータの移動は何ら必要とされない。このことから、２つの結果、つまり、マスターマニピュレータを再調整するためにクラッチ操作を行う必要性がほとんど存在しなくなるということ、また、マスターマニピュレータの衝突が発生する確率が低くなるということが得られる。
マスターマニピュレータの作業空間の分析を図１０に示す。図１０は、ＨＭＣシステムを用いた場合または用いない場合のそれぞれにおけるマスターマニピュレータの動作を比較する。ピンタスクの場合には、図１０（ａ）は、ＨＭＣシステムを用いたときには、マスターマニピュレータの作業空間が、かなり小さな容積まで減少することを示す。これは、遂行すべき動きが、ここではピンの把持または押し付けのみに拘束されているからである。縫合タスクの場合には、左の器具のみが自動化されている。図１０（ｂ）は、ＨＭＣシステムを用いたときに、右のマニピュレータが、同様な作業空間を使用することを示す。しかし、左のマニピュレータは、ＨＭＣフレームワークを用いると、その役割が２つの微細な動作、つまり、針の把持および針の手渡しに限定されるので、かなり小さな作業空間を使用する。表３に、マスターマニピュレータの位置の各方向においておよび５シーケンスを平均化したもののマスターマニピュレータの位置の標準偏差を比較したものを示す。
マニピュレータによって搬送された距離に関して同様の結果を観察した。つまり、搬送された距離は、実験の間、ピンタスクに関しては、４分の１に、また、縫合タスクの場合には１．３分の１に減少された平均値にある。タスク完了の時間は、ＨＭＣアプローチを使用した場合および使用しない場合とも同様で、ピンタスクに関しては平均４８秒で、縫合タスクに関しては６４秒である。自動化した搬送動作を早めることによって時間を減少させることは直接的な方法であろう。
表３：ピンタスク（右マスターマニピュレータ）および縫合タスク（左マスターマニピュレータ）に関するマスターマニピュレータの位置の標準偏差（ｍｍ）。ＨＭＣシステムを使用する場合と使用しない場合との比較。
考察および結論
ここでは、本発明の実施の形態に係る実演からの学習に基づく遠隔手術のための新規なヒューマン・マシン連携のアプローチを説明した。微細な動作はオペレータにより実行され、一方、動作の終了の実時間が認識されると、これが起因となって、以前に学習した動作であるが対象とのいかなる相互作用も含まない動作の自動的な実行が起動される。ダ・ビンチ遠隔手術ロボットを用いることにより、そのような動作が大きな搬送動作である場合には、そのような連携により、マスターマニピュレータの作業空間の使用が改善されることが分かった。さらに、実験では、そのようなヒューマン・マシン連携により、手動操作と自動化の実行との間で途切れのない直感的に理解できる切り替えを行うことができることを示している。
本アプローチは、対象物についてすべてをシステムに入力しておくことも、動作を予めプログラムすることも必要としない。つまり、認識システム、実行された動作およびサブタスクの順序は、自動化されている部分にラベル付がされている実演のシーケンスから直接的に察することができる。さらに、オペレータの視界内に、計画された３Ｄ軌道を表示することによって、オペレータは自動化された動作を監視することができる。実行された動作はマスターマニピュレータの動きに重ね合わされるので、オペレータは必要に応じて軌道を修正することができる。最後に、自動実行は、ロボットにクラッチ操作をすることによって、または助手に制御を停止することを指示することによって、安全に止めることができる。
本アプローチは、内視鏡カメラから得られる視覚情報を活用することによって、針の挿入のような微細なマニピュレータ操作のサブタスクまで拡大適用することができる。例えば生体組織と器具との接触のような環境からの合図を学習フレームワークに組み込むことができる。また、連続するサブタスクが順次的でないことがあるが、オプションを含むことができるような、長いタスクも含めることができる。
最後に、タスク固有の動作を学習することに加え、ＨＭＣシステムの機能の向上に、例えば、音声コマンドによって起動されるような単純な一般的な動作を自動化する可能性を含めることができる。特定のツールに焦点を合わせるためのカメラの自動変位のような一般的な動作により、遠隔操作ロボットの人間工学的な利用を改善することもできるであろう。
本明細書において図示及び説明した実施の態様は、当業者に、本発明を構成及び実施する方法を教示することのみを意図する。本発明の実施の態様を説明した際に特定の用語を明瞭化を目的として使用した。しかし、本発明は、そのように選択された特定の用語に限定されることは意図していない。本発明の上記の実施の態様は、上記の記載内容を考慮することにより、当業者が認識するように、本発明から逸脱することなく変更または多様化することができる。したがって、本発明およびそれと等価なものの範囲内で、本発明は、特に説明したものとは異なる別の方法で実行することができる。
１００，２００ 半自動、相互作用ロボットシステム
１０２，２０２ ユーザ・インタフェース・システム
１０４ 認識システム
１０６ 制御システム
１０８，２０８ センサ・アクチュエータ・システム
２０４ ワークステーション
２０６ データ処理および記憶システム
２１０ 多関節アーム
２１２ 右手用制御装置
２１４ 左手用制御装置
２１６ 右目用表示装置
２１８ 左目用表示装置
２２０ 把持装置またはツール取付組立体

Claims (18)

  1. マルチステップタスクを実行するための半自動、相互作用ロボットシステムであって、
    ユーザ・インタフェース・システムと、
    前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
    前記認識システムと通信を行うように構成された制御システムと、
    前記制御システムと通信を行うように構成されたロボットのセンサ・アクチュエータ・システムとを備え、
    前記マルチステップタスクが、前記ロボットの制御下で完全に遂行されるステップである少なくとも1つの自動ステップと、前記自動ステップではないステップである少なくとも一つのダイレクトステップと、を含み、
    前記認識システムが、前記マルチステップタスクのタスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記マルチステップタスクの中の前記ダイレクトステップを実行させるように、前記制御システムに指示を行い、
    前記認識システムは、さらに、前記ダイレクトステップの完了を認識するよう構成されており、
    前記認識システムは、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記ダイレクトステップが完了したら、前記認識された行動および前記マルチステップタスクの前記タスクモデルに基づいて、前記マルチステップタスクの前記自動ステップを実行させるように、前記制御システムに指示を行うように構成されている半自動、相互作用ロボットシステム。
  2. 前記ロボットの前記センサ・アクチュエータ・システムは、複数の多関節アームを備える、請求項１に記載の半自動、相互作用ロボットシステム。
  3. 前記複数の多関節アームの少なくとも１つは、把持装置またはツール取付組立体の一方を備える、請求項２に記載の半自動、相互作用ロボットシステム。
  4. 前記タスクモデルは、隠れマルコフモデルである、請求項１に記載の半自動、相互作用ロボットシステム。
  5. 前記タスクモデルは、機械学習モデルである、請求項１に記載の半自動、相互作用ロボットシステム。
  6. 前記ユーザ・インタフェース・システムは、ユーザ観察システムを備えており、前記ユーザ観察システムは、前記ユーザの少なくとも一部の動作を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項１に記載の半自動、相互作用ロボットシステム。
  7. 前記観察システムは、カメラを備える、請求項６に記載の半自動、相互作用ロボットシステム。
  8. 前記ロボットの前記センサ・アクチュエータ・システムは、センサシステムを備えており、前記センサシステムは、操作される対象の少なくとも一部の特性を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項１に記載の半自動、相互作用ロボットシステム。
  9. 前記ユーザ・インタフェース・システムは、入力装置を備えており、前記入力装置は、前記ユーザが、手動でまたは口頭での少なくとも一方により前記認識システムに送信されるコマンドを入力することを許容して、前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成されている、請求項１に記載の半自動、相互作用ロボットシステム。
  10. 前記ユーザ・インタフェース・システムは、実行予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項１に記載の半自動、相互作用ロボットシステム。
  11. マルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムであって、
    ユーザ・インタフェース・システムと、
    前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
    前記認識システムと通信を行うように構成された制御システムと、
    前記制御システムと通信を行うように構成されたロボットのシミュレーション・センサ・アクチュエータ・システムとを備え、
    前記マルチステップタスクが、前記ロボットの制御下で完全に遂行されるステップである少なくとも1つの自動ステップと、前記自動ステップではないステップである少なくとも一つのダイレクトステップと、を含み、
    前記認識システムが、前記マルチステップタスクのタスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記ロボットの前記シミュレーション・センサ・アクチュエータ・システムに、前記マルチステップタスクの中の前記ダイレクトステップの実行をシミュレーションさせるように、前記制御システムに指示を行い、
    前記認識システムは、さらに、前記ダイレクトステップの完了を認識するよう構成されており、
    前記認識システムは、さらに、前記ロボットの前記センサ・アクチュエータ・システムに、前記ダイレクトステップが完了したら、前記認識された行動および前記マルチステップタスクの前記タスクモデルに基づいて、前記マルチステップタスクの前記自動ステップを実行させるように、前記制御システムに指示を行うように構成されている半自動、相互作用ロボットシミュレーションシステム。
  12. 前記ロボットの前記シミュレーション・センサ・アクチュエータ・システムは、複数の多関節アームをシミュレーションする、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。
  13. 前記タスクモデルは、隠れマルコフモデルである、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。
  14. 前記タスクモデルは、機械学習モデルである、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。
  15. 前記ユーザ・インタフェース・システムは、シミュレーション予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項１１に記載の半自動、相互作用ロボットシミュレーションシステム。
  16. 前記認識システムは、さらに、前記自動ステップが完了したら、前記タスクモデルに基づいて、ユーザが前記ユーザ・インタフェース・システムの操作中にとった行動を認識し、前記ロボットの前記センサ・アクチュエータ・システムに第２の前記ダイレクトステップを実行させるように、前記制御システムに指令を行うように構成されている、請求項１に記載の半自動、相互作用ロボットシステム。
  17. 前記半自動、相互作用ロボットシステムは、前記ユーザからの手動入力に応じて、前記ダイレクトステップを実行する、請求項１に記載の半自動、相互作用ロボットシステム。
  18. 前記半自動、相互作用ロボットシステムは、前記半自動、相互作用ロボットシステムの制御のもとで前記自動ステップを実行し、前記ユーザの移動を必要としない、請求項１に記載の半自動、相互作用ロボットシステム。
JP2013538978A 2010-11-11 2011-11-14 ヒューマン・マシン連携ロボットシステム Active JP6106594B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41258710P 2010-11-11 2010-11-11
US61/412,587 2010-11-11
US201161443779P 2011-02-17 2011-02-17
US61/443,779 2011-02-17
PCT/US2011/060638 WO2012065175A2 (en) 2010-11-11 2011-11-14 Human-machine collaborative robotic systems

Publications (2)

Publication Number Publication Date
JP2013543764A JP2013543764A (ja) 2013-12-09
JP6106594B2 true JP6106594B2 (ja) 2017-04-05

Family

ID=46051612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013538978A Active JP6106594B2 (ja) 2010-11-11 2011-11-14 ヒューマン・マシン連携ロボットシステム

Country Status (6)

Country Link
US (1) US9283675B2 (ja)
EP (1) EP2637594A4 (ja)
JP (1) JP6106594B2 (ja)
KR (1) KR101891138B1 (ja)
CN (1) CN103249368B (ja)
WO (1) WO2012065175A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085429A1 (ja) * 2019-11-01 2021-05-06 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 被遠隔操作装置、遠隔操作システム、遠隔操作装置

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160898B2 (en) * 2011-01-25 2015-10-13 Autofuss System and method for improved video motion control
EP2740434A4 (en) 2011-08-04 2015-03-18 Olympus Corp MEDICAL MANIPULATOR AND CONTROL METHOD THEREOF
JP6005950B2 (ja) * 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
CN103648425B (zh) 2011-08-04 2016-10-19 奥林巴斯株式会社 医疗用机械手和手术支援装置
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
US10299773B2 (en) * 2011-08-21 2019-05-28 Transenterix Europe S.A.R.L. Device and method for assisting laparoscopic surgery—rule based approach
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
EP2788828A1 (de) * 2011-12-09 2014-10-15 Daimler AG Verfahren zum betreiben einer produktionsanlage
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
JP6306024B2 (ja) * 2012-10-01 2018-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム
TWI499879B (zh) * 2012-12-21 2015-09-11 Ind Tech Res Inst 工序分析監控系統及其方法
US20140201629A1 (en) * 2013-01-17 2014-07-17 Microsoft Corporation Collaborative learning through user generated knowledge
US9056396B1 (en) * 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10744646B2 (en) 2013-08-29 2020-08-18 Wayne State University Camera control system and method
EP4184483B1 (en) 2013-12-20 2024-09-11 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
DE102014204251A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Verfahren zu einer Interaktion zwischen einer Assistenzvorrichtung und einem medizinischen Gerät und/oder einem Bedienpersonal und/oder einem Patienten, Assistenzvorrichtung, Assistenzsystem, Einheit und System
EP3186782A1 (en) 2014-08-25 2017-07-05 X Development LLC Methods and systems for augmented reality to display virtual representations of robotic device actions
US9272418B1 (en) 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
US10070835B2 (en) 2014-12-31 2018-09-11 General Electric Company X-ray imaging method and apparatus using positioning assemblies having multiple degrees of freedom
GB2533803A (en) * 2014-12-31 2016-07-06 Gen Electric Mammography device and method
CN104552297B (zh) * 2015-01-15 2016-01-27 合肥工业大学 一种六自由度串联机器人的控制系统及其控制方法
CA2882968C (en) 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
US9409294B1 (en) * 2015-03-05 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Hierarchical geometric plan composition (HGPC) framework for robot task planning
KR20240164819A (ko) * 2015-05-15 2024-11-20 마코 서지컬 코포레이션 로봇식 의료 절차에 대한 지침을 제공하기 위한 시스템들 및 방법들
KR102523779B1 (ko) 2015-06-09 2023-04-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 절차 아틀라스를 갖는 수술 시스템의 구성
US9910761B1 (en) 2015-06-28 2018-03-06 X Development Llc Visually debugging robotic processes
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
JP6778199B2 (ja) * 2015-08-25 2020-10-28 川崎重工業株式会社 遠隔操作ロボットシステム
CN105108764B (zh) * 2015-09-14 2017-03-29 南京工程学院 机器人智能机械手及其控制系统
KR20180068336A (ko) * 2015-11-12 2018-06-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 훈련 또는 보조 기능들을 갖는 수술 시스템
US20190008598A1 (en) * 2015-12-07 2019-01-10 M.S.T. Medical Surgery Technologies Ltd. Fully autonomic artificial intelligence robotic system
DE102015122998B3 (de) * 2015-12-30 2017-01-05 Haddadin Beteiligungs UG (haftungsbeschränkt) Roboter und Verfahren zum Betreiben eines Roboters
US10737377B2 (en) * 2016-03-15 2020-08-11 Kindred Systems Inc. Systems, devices, articles, and methods for robots in workplaces
US10500726B2 (en) * 2016-04-25 2019-12-10 Kindred Systems Inc. Facilitating device control
US10671937B2 (en) 2016-06-08 2020-06-02 D-Wave Systems Inc. Systems and methods for quantum computation
US11315438B1 (en) * 2016-06-24 2022-04-26 Verily Life Sciences Llc Surgical training systems and methods
CN106003049B (zh) * 2016-07-05 2018-06-12 李亚楠 人-机协作系统的控制方法
JP6662746B2 (ja) * 2016-10-07 2020-03-11 ファナック株式会社 機械学習部を備えた作業補助システム
JP6534126B2 (ja) * 2016-11-22 2019-06-26 パナソニックＩｐマネジメント株式会社 ピッキングシステム及びその制御方法
US11263547B2 (en) 2017-01-30 2022-03-01 D-Wave Systems Inc. Quantum annealing debugging systems and methods
TWI710871B (zh) * 2017-05-22 2020-11-21 達明機器人股份有限公司 協作型機器人編程速度的方法
EP3409230B1 (de) * 2017-05-31 2019-05-22 Siemens Healthcare GmbH Bewegen eines roboterarms
US20180348742A1 (en) 2017-06-01 2018-12-06 X Development Llc Planning and Adapting Projects Based on a Buildability Analysis
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
CN107433591A (zh) * 2017-08-01 2017-12-05 上海未来伙伴机器人有限公司 多维度交互机器人应用控制系统及方法
US20200170710A1 (en) * 2017-08-23 2020-06-04 The General Hospital Corporation Surgical decision support using a decision theoretic model
EP3479971A1 (en) * 2017-11-03 2019-05-08 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method of performing assembling of an object, and assembly system
US20190139441A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Contextual training systems and methods
JP7185639B2 (ja) * 2017-11-28 2022-12-07 川崎重工業株式会社 技能伝承機械装置
KR101977274B1 (ko) * 2017-12-29 2019-08-28 한국생산기술연구원 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치
US10881472B2 (en) * 2018-02-20 2021-01-05 Verb Surgical Inc. Correcting a robotic surgery user interface device tracking input
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US11100418B2 (en) 2018-02-28 2021-08-24 D-Wave Systems Inc. Error reduction and, or, correction in analog computing including quantum processor-based computing
US11250726B2 (en) 2018-05-24 2022-02-15 Verily Life Sciences Llc System for simulation of soft bodies
EP3804918A4 (en) * 2018-05-25 2022-03-30 Kawasaki Jukogyo Kabushiki Kaisha ROBOT SYSTEM AND ADDITIONAL LEARNING METHOD
CN109102873A (zh) * 2018-05-31 2018-12-28 上海联影医疗科技有限公司 C型臂设备及其训练方法、装置、医学影像系统及存储介质
WO2019228530A1 (en) * 2018-05-31 2019-12-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for controllinig an x-ray imaging device
IT201800006156A1 (it) * 2018-06-08 2019-12-08 Metodo di controllo predittivo di un robot e relativo sistema di controllo
WO2019239436A1 (en) 2018-06-14 2019-12-19 Alma Mater Studiorum - Universita' Di Bologna Electrospun fibers for a local release of an anti-inflammatory drug and a promyelinating drug
US11179846B2 (en) * 2018-07-24 2021-11-23 Yan Yufik Method and systems for enhancing collaboration between robots and human operators
US10821603B2 (en) * 2018-09-05 2020-11-03 The Boeing Company Methods and apparatus for robot control
GB2577715B (en) 2018-10-03 2022-10-05 Cmr Surgical Ltd Device interoperation
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
KR102213061B1 (ko) * 2018-12-03 2021-02-09 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치
JP7336463B2 (ja) * 2018-12-27 2023-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
CN109662779B (zh) * 2019-01-25 2021-06-18 李汉忠 一种经尿道电切镜手术机器人系统
US11900264B2 (en) 2019-02-08 2024-02-13 D-Wave Systems Inc. Systems and methods for hybrid quantum-classical computing
EP3753684B1 (en) 2019-06-21 2022-08-10 Robert Bosch GmbH Method and system for robot manipulation planning
JP7217212B2 (ja) * 2019-09-03 2023-02-02 日立Ｇｅニュークリア・エナジー株式会社 現場監視装置、現場監視方法及び現場監視プログラム
CN110507972B (zh) * 2019-09-26 2025-04-04 北京晓数聚数字科技有限公司 一种人与机器人协作投篮竞赛系统
US11529737B2 (en) 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
CN111513856B (zh) * 2020-04-28 2021-08-03 王欢 一种多机械臂联动式外科手术机器人
DE102020207085A1 (de) 2020-06-05 2021-12-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters und robotersteuereinheit
WO2022026953A1 (en) * 2020-07-31 2022-02-03 The Johns Hopkins University Robotic system for remote operation of equipment in infectious environments
US12144570B2 (en) * 2020-08-05 2024-11-19 Carl Zeiss Meditec Ag Robotic surgical system and method for configuring a surgical robot
US20220058518A1 (en) * 2020-08-23 2022-02-24 Keith Louis DeSanto Using machine learning algorithms and nanotechnology combinations to clean an indoor environment.
CN112356030B (zh) * 2020-11-05 2022-04-22 苏州工业园区卡鲁生产技术研究院 机器人的控制方法、装置、计算机设备和存储介质
WO2022109177A1 (en) 2020-11-22 2022-05-27 Intuitive Surgical Operations, Inc. Systems and methods for surgical data classification
KR20230113600A (ko) 2020-12-03 2023-07-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 능력을 평가하기 위한 시스템들 및 방법들
KR20220089828A (ko) * 2020-12-22 2022-06-29 주식회사 에이스로보테크 협동 로봇 시스템.
US12343878B2 (en) * 2021-08-24 2025-07-01 Plus One Robotics, Inc. Systems and methods for determining operational paradigms for robotic picking based on pick data source
CN114888804B (zh) * 2022-05-18 2024-03-12 深圳鹏行智能研究有限公司 基于工作链的机器人控制装置及方法、介质、机器人

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US10820949B2 (en) 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
CA2437286C (en) * 2002-08-13 2008-04-29 Garnette Roy Sutherland Microsurgical robot system
US20060166620A1 (en) 2002-11-07 2006-07-27 Sorensen Christopher D Control system including an adaptive motion detector
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
EP2142133B1 (en) 2007-04-16 2012-10-10 NeuroArm Surgical, Ltd. Methods, devices, and systems for automated movements involving medical robots
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
JP5141876B2 (ja) * 2007-09-12 2013-02-13 株式会社国際電気通信基礎技術研究所 軌道探索装置
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8543240B2 (en) 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US9542001B2 (en) * 2010-01-14 2017-01-10 Brainlab Ag Controlling a surgical navigation system
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
CN101870107B (zh) * 2010-06-26 2011-08-31 上海交通大学 骨科手术辅助机器人的控制系统
US8880223B2 (en) * 2012-07-16 2014-11-04 Florida Institute for Human & Maching Cognition Anthro-centric multisensory interface for sensory augmentation of telesurgery

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085429A1 (ja) * 2019-11-01 2021-05-06 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 被遠隔操作装置、遠隔操作システム、遠隔操作装置

Also Published As

Publication number Publication date
WO2012065175A2 (en) 2012-05-18
EP2637594A4 (en) 2015-05-06
KR20130137185A (ko) 2013-12-16
JP2013543764A (ja) 2013-12-09
CN103249368B (zh) 2016-01-20
WO2012065175A9 (en) 2012-09-20
CN103249368A (zh) 2013-08-14
KR101891138B1 (ko) 2018-08-23
EP2637594A2 (en) 2013-09-18
US20130218340A1 (en) 2013-08-22
US9283675B2 (en) 2016-03-15
WO2012065175A3 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
JP6106594B2 (ja) ヒューマン・マシン連携ロボットシステム
Padoy et al. Human-machine collaborative surgery using learned models
US12322118B2 (en) Robotic surgery
US12605209B2 (en) Minimally invasive telesurgical systems with interactive user interfaces for 3D operative images
US20250339222A1 (en) Configuring surgical system with surgical procedures atlas
US9770828B2 (en) Teleoperative-cooperative robotic system
Mayer et al. The Endo [PA] R system for minimally invasive robotic surgery
US11589937B2 (en) Systems and methods for constraining a virtual reality surgical system
Da Col et al. Scan: System for camera autonomous navigation in robotic-assisted surgery
Staub et al. Human-computer interfaces for interaction with surgical tools in robotic surgery
Özgüner et al. Three-dimensional surgical needle localization and tracking using stereo endoscopic image streams
Abdelaal et al. Parallelism in autonomous robotic surgery
Bihlmaier et al. Learning dynamic spatial relations
Barragan et al. SACHETS: Semi-autonomous cognitive hybrid emergency teleoperated suction
Özgüner et al. Visually guided needle driving and pull for autonomous suturing
Colan et al. Human-Robot collaboration in surgery: Advances and challenges towards autonomous surgical assistants
Wang et al. A digital twin for telesurgery under intermittent communication
Bihlmaier Endoscope robots and automated camera guidance
Rivas-Blanco et al. Towards a cognitive camera robotic assistant
EP4449432A1 (en) Methods and systems for coordinating content presentation for computer-assisted systems
Dharmarajan et al. A trimodal framework for robot-assisted vascular shunt insertion when a supervising surgeon is local, remote, or unavailable
US12364563B2 (en) Deep disengagement detection during telesurgery
Sun et al. Vision-based framework of single master dual slave semi-autonomous surgical robot system
Mayer et al. An experimental system for robotic heart surgery
Staub et al. Implementation and evaluation of a gesture-based input method in robotic surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170306

R150 Certificate of patent or registration of utility model

Ref document number: 6106594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250