JP7384575B2 - 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム - Google Patents

情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7384575B2
JP7384575B2 JP2019105752A JP2019105752A JP7384575B2 JP 7384575 B2 JP7384575 B2 JP 7384575B2 JP 2019105752 A JP2019105752 A JP 2019105752A JP 2019105752 A JP2019105752 A JP 2019105752A JP 7384575 B2 JP7384575 B2 JP 7384575B2
Authority
JP
Japan
Prior art keywords
simulation
information
robot
robot model
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019105752A
Other languages
English (en)
Other versions
JP2020026026A (ja
Inventor
康彦 橋本
雅幸 掃部
繁次 田中
佳彦 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to CN201980052245.XA priority Critical patent/CN112543960A/zh
Priority to KR1020217007128A priority patent/KR102571997B1/ko
Priority to EP19847618.6A priority patent/EP3836126A4/en
Priority to PCT/JP2019/031615 priority patent/WO2020032249A1/ja
Priority to US17/267,420 priority patent/US11908337B2/en
Priority to TW108128601A priority patent/TWI744676B/zh
Publication of JP2020026026A publication Critical patent/JP2020026026A/ja
Application granted granted Critical
Publication of JP7384575B2 publication Critical patent/JP7384575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • B25J13/065Control stands, e.g. consoles, switchboards comprising joy-sticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1602Program controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1628Program controls characterised by the control loop
    • B25J9/163Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • B25J9/1661Program controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1679Program controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Program-control systems
    • G05B19/02Program-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the program is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Fuzzy Systems (AREA)
  • Paper (AREA)
  • Spray Control Apparatus (AREA)

Description

本発明は、情報処理装置、仲介装置、シミュレートシステム及び情報処理方法に関する。
従来、人により行われてきた作業のロボット化が進められている。ロボットが人によって操作される場合、人の操作のトレーニングが必要になる。例えば、特許文献1は、生活支援ロボットアームの操作のトレーニング装置を開示する。このトレーニング装置は、コンピュータ装置上で実行され且つ生活支援ロボットアームの機能を模擬するシミュレータによって実現される。
特開2011-125991号公報
近年、産業用ロボットを扱う産業では、少子高齢化の影響で、ロボットの操作者の不足が懸念される。一方、何らかの理由で、十分に就労できない又は就労しない人の数が増えている。このような人々の労力は貴重である。
そこで、本発明は、様々な人がロボットの操作のシミュレーションを行うことでロボットの操作を行うことを可能にする情報処理装置、仲介装置、シミュレートシステム及び情報処理方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る情報処理装置は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換し、前記第二情報に従って前記シミュレート装置を動作させ、前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる。
また、本発明の一態様に係る仲介装置は、本発明の一態様に係る情報処理装置を備え、前記操作端末と前記シミュレート装置とを通信網を介して仲介する。
また、本発明の一態様に係るシミュレートシステムは、本発明の一態様に係る情報処理装置と、前記シミュレート装置と、前記操作端末と前記シミュレート装置とを通信網を介して仲介する仲介装置とを備える。
また、本発明の一態様に係る情報処理方法は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換し、前記第二情報に従って前記シミュレート装置を動作させ、前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる。
本発明によれば、様々な人がロボットの操作のシミュレーションを行うことでロボットを操作することが可能となる。
実施の形態に係るシミュレートシステムの構成の一例を示す図 実施の形態に係る操作端末のハードウェア構成の一例を示すブロック図 実施の形態に係る仲介装置のハードウェア構成の一例を示すブロック図 実施の形態に係るシミュレートコンピュータのハードウェア構成の一例を示すブロック図 実施の形態に係るシミュレートロボットのハードウェア構成の一例を示すブロック図 実施の形態に係る操作端末の機能的構成の一例を示すブロック図 実施の形態に係る仲介装置の機能的構成の一例を示すブロック図 実施の形態に係る操作端末が提示するシミュレーションの選択画面の一例を示す図 実施の形態に係るシミュレートコンピュータの機能的構成の一例を示すブロック図 実施の形態に係るシミュレートロボットの機能的構成の一例を示すブロック図 実施の形態に係るシミュレートシステムの動作の流れの一例を示すシーケンス図 実施の形態に係るシミュレートシステムの動作の流れの一例を示すシーケンス図
以下において、本発明の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び特許請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
<シミュレートシステムの構成>
実施の形態に係るシミュレートシステム1の構成を説明する。図1は、実施の形態に係るシミュレートシステム1の構成の一例を示す図である。図1に示すように、シミュレートシステム1は、1つ以上の仲介装置10と、1つ以上の操作端末20と、1つ以上のシミュレートコンピュータ40と、1つ以上のシミュレートロボット50とを含む。シミュレートコンピュータ40及びシミュレートロボット50は、シミュレート装置200の一例である。以下において、「シミュレートコンピュータ40」及び「シミュレートロボット50」を区別しない場合、これらを単に「シミュレート装置200」と称する場合がある。仲介装置10、操作端末20、シミュレートコンピュータ40及びシミュレートロボット50は、通信網90を介して接続されている。なお、上記構成要素の全てが必須ではない。
通信網90は、データ通信可能であるネットワークであり、例えば、インターネット、イントラネット、有線若しくは無線LAN(Local Area Network)、WAN(Wide Area Network)、モバイル通信網、電話回線通信網、又は、その他の有線若しくは無線通信を用いる通信網であってもよい。本実施の形態では、通信網90はインターネットである。
シミュレートコンピュータ40は、仮想的なロボットモデルに模擬的な動作をさせるシミュレーションを実行する装置である。仮想的なロボットモデルは、シミュレートコンピュータ40のコンピュータプログラム上で生成され動作する。なお、シミュレートコンピュータ40は、シミュレートシステム1のために特別に生成された装置であってもなくてもよく、例えば、ロボットの操作のシミュレーションに用いられる既存又は汎用的な装置であってもよい。シミュレートコンピュータ40のロボットモデルは、後述するシミュレートロボット50の実機のロボット50A1~50An(n=1,・・・の自然数)について例示するようなロボットの仮想的なロボットモデルあってもよい。仮想的なロボットモデルは、後述するシミュレートロボット50と同様に、ロボット本体を含む構成であってもよく、ロボット本体だけでなく、処理対象物及び周辺機器等を含む構成であってもよい。
シミュレートロボット50は、ロボットモデルとして実機のロボット50A1~50An(n=1,・・・の自然数)に模擬的な動作をさせるシミュレーションを実行する装置である。ロボット50A1~50Anは、いかなるロボットであってもよく、例えば、産業用ロボット、サービスロボット、建設機械、トンネル掘削機、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。本実施の形態では、ロボット50A1~50Anは、垂直多関節型ロボット、水平多関節型ロボット、極座標型ロボット、円筒座標型ロボット及び直角座標型ロボット等の産業用ロボットである。以下において、ロボット50A1~50Anを区別しない場合、単に「ロボット50A」と称する場合がある。
シミュレートロボット50は、ロボット50A1~50Anのいずれかを含み、ロボット50A1~50Anそれぞれに対して設けられる。産業用ロボットであるロボット50A1~50Anは、様々な作業に対応して設けられたロボットである。ロボット50A1~50Anは、実際に作業現場に配置されたロボットであってもよく、シミュレーション用に配置されたロボットであってもよい。ロボット50A1~50Anは、例えば、ロボットアーム及びエンドエフェクタを備えるようなロボット本体を含む構成であってもよく、ロボット本体だけでなく、作業におけるワーク等の処理対象物、並びに、搬送装置、撮像装置及びセンサなどの周辺装置等を含む構成であってもよい。後者の場合、シミュレートロボット50でのシミュレートは、ロボット本体、処理対象物及び周辺機器等の全てを操作するシミュレートである。なお、シミュレートロボット50は、シミュレートシステム1のために特別に生成されたものであってもなくてもよく、例えば、ロボットの操作のシミュレーションに用いられる既存又は汎用的なものであってもよい。
シミュレートコンピュータ40及びシミュレートロボット50のロボットモデルが実行する動作は、水平移動、鉛直移動及び回転等の個別の動作を1つ又は2つ以上含む動作、及び作業である。上記作業は、上記動作よりも多くの個別の動作が実行順序に従って組み合わされた一連の複合的な動作である。上記作業の例は、例えば、産業用ロボットのロボットモデルである場合、エンドエフェクタで対象物を保持して移動させる、エンドエフェクタで対象物を保持して被組付対象物に組み付ける、エンドエフェクタで対象物を切断する、エンドエフェクタで2つ以上の対象物を接合する等の作業である。
操作端末20は、シミュレート装置200を用いてロボットの動作のシミュレーションを行うコンピュータプログラムを実行する装置である。操作端末20は、通信網90を介してシミュレート装置200と接続され、操作端末20のユーザによって操作されることができる。ユーザは、シミュレート装置200から遠隔に位置する場合であっても、操作端末20を操作することでシミュレーションを実行することができる。操作端末20は、ユーザによって入力された情報をシミュレート装置200に出力する。操作端末20の例は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートフォン、スマートウォッチ及びタブレットなどのスマートデバイス、並びに、パーソナルコンピュータなどのコンピュータ装置等である。このような操作端末20は、シミュレートシステム1のために特別に生成された装置であってもなくてもよく、既存又は汎用的な装置であってもよい。
本実施の形態では、操作端末20は、ゲーム機及びゲームコントローラを備えるゲーム装置である。ゲーム装置として、例えば、据え置き型のゲーム装置、及び携帯型ゲーム装置が例示される。操作端末20は、出力装置30と接続され、ロボットモデルを用いたシミュレーションを実行するための画像信号及び音声信号を出力装置30に出力し、出力装置30は当該画像信号及び音声信号に対応する画像及び音声をユーザに提示する。例えば、出力装置30はディスプレイ及びスピーカを備える。ディスプレイの例は、液晶ディスプレイ(Liquid Crystal Display)及び有機又は無機ELディスプレイ(Electro-Luminescence Display)である。
仲介装置10は、1つ以上の操作端末20と1つ以上のシミュレートコンピュータ40と1つ以上のシミュレートロボット50とを、通信網90を介して仲介する。本実施の形態では、仲介装置10は情報処理装置100を備える。本実施の形態では、仲介装置10は、サーバであり、通信機能を有し且つ情報を処理するコンピュータ装置である。
情報処理装置100は、操作端末20を用いたロボットの操作のシミュレーションを管理する装置である。情報処理装置100は、例えば、プロセッサ及びメモリ等を有する演算器で構成される。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク(HDD:Hard Disc Drive)及びSSD(Solid State Drive)等の記憶装置で構成される。例えば、演算器の機能は、CPU(Central Processing Unit)などのプロセッサ、RAM(Random Access Memory)などの揮発性メモリ及びROM(Read-Only Memory)などの不揮発性メモリ等からなるコンピュータシステム(図示せず)により実現されてもよい。演算器の機能の一部又は全部は、CPUがRAMをワークエリアとして用いてROMに記録されたプログラムを実行することによって実現されてもよい。なお、演算器の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。
具体的には、情報処理装置100は、例えば、コンピュータ、パーソナルコンピュータ等のコンピュータ装置で構成されてもよい。又は、情報処理装置100は、例えば、マイクロコントローラ、MPU(Micro Processing Unit)、LSI(Large Scale Integration:大規模集積回路)、システムLSI、PLC(Programmable Logic Controller)、論理回路等で構成されてもよい。情報処理装置100の複数の機能は、個別に1チップ化されることで実現されてもよく、一部又は全てを含むように1チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。LSIとして、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続及び/又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が1つにまとめられたASIC(Application Specific Integrated Circuit)等が利用されてもよい。
情報処理装置100は、ユーザによって操作端末20に入力されたロボットモデルを操作するための情報である第一情報を、操作端末20から受信し、当該第一情報を、シミュレート装置200のロボットモデルを操作するための情報である第二情報に変換する。情報処理装置100は、当該第二情報をシミュレート装置200に送信し、当該第二情報に従ってこれを動作させる。
また、情報処理装置100は、第二情報に従って動作するシミュレート装置200から、このロボットモデルの動作の情報である第三情報を受信し、当該第三情報を、操作端末20が処理可能な情報である第四情報に変換する。例えば、情報処理装置100は、シミュレート装置200のロボットモデルの個々の動作を示す第三情報を受信し、当該第三情報を、操作端末20の実行プログラム上で機能する情報としての第四情報に変換する。情報処理装置100は、第四情報を操作端末20に送信することで、当該操作端末20に、シミュレート装置200のロボットモデル、又は、当該ロボットモデルに擬似するロボットモデル若しくは対応するモデルの動作を、出力装置30を介してユーザに提示させる。対応するモデルは、ロボットモデルと関連付けられたモデルあってよく、例えば、見かけ上でロボットモデルと類似していなくてもよい。
例えば、情報処理装置100は、撮像装置によって撮像されるシミュレートロボット50のロボット50Aの画像の情報を第三情報として受信し、当該画像の情報を第四情報として操作端末20に送信することで、ロボットモデルの動作の情報として操作端末20に提示させてもよい。このように、ユーザは、操作端末20を介して、シミュレートコンピュータ40又はシミュレートロボット50のロボットモデルを、視覚的に認識しつつ操作することができる。
また、情報処理装置100は、ユーザによって操作端末20に入力される、実行を要求するシミュレーションの情報である要求情報に基づき、複数存在するシミュレート装置200の中から、当該要求情報において要求されるシミュレーションに対応するシミュレート装置200を決定する。さらに、情報処理装置100は、決定したシミュレート装置200と操作端末20とを通信網90を介して接続させることで、これを用いたシミュレーションの実行を可能にする。
また、情報処理装置100は、シミュレート装置200から受信するロボットモデルの動作の情報に基づき、ロボットモデルの動作結果を評価する。情報処理装置100は、受信するロボットモデルの個々の動作と、シミュレーションで実行されるべき動作とを比較し、例えば、両者の間の位置及び所要時間等の差異に基づき、評価を決定してもよい。又は、シミュレート装置200は、シミュレーションの結果を評価するように構成され得る。情報処理装置100は、シミュレート装置200から、シミュレーション結果の評価を受信し、受信した評価に基づき、シミュレートシステム1に設定された評価を決定してもよい。情報処理装置100は、決定した評価を、操作端末20を操作するユーザに対する評価であるユーザ評価として、記憶装置に登録する。当該記憶装置は、情報処理装置100の記憶装置であってもよく、仲介装置10が含む記憶装置(図示せず)であってもよく、通信網90等を介して仲介装置10と接続された他の装置の記憶装置であってもよい。また、情報処理装置100は、決定した評価を操作端末20に送信することで、出力装置30を介してユーザに提示させる。
[ハードウェア構成]
操作端末20のハードウェア構成を説明する。図2は、実施の形態に係る操作端末20のハードウェア構成の一例を示すブロック図である。図2に示すように、操作端末20は、ゲーム機としての操作端末本体21と、ゲームコントローラとしての操作器22とを備える。操作端末本体21は、シミュレーションのコンピュータプログラムを実行することができ、操作器22はユーザによる操作の入力を受け付ける。操作端末本体21は、CPU201と、ROM202と、RAM203と、メモリ204と、メディアI/F(インタフェース:Interface)205と、ネットワークI/F206と、第一入出力I/F207と、画像プロセッサ208と、第二入出力I/F209と、音声プロセッサ210と、第三入出力I/F211と、記録媒体ドライブ212とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU201は、操作端末本体21全体の動作を制御する。ROM202は、CPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。メモリ204は、プログラム等の各種データを記憶し、上述した記憶装置で構成される。メディアI/F205は、フラッシュメモリ等の記録メディア60に対するデータの読み出し又は書き込み(記憶)を制御する。例えば、シミュレーションを実行するためのコンピュータプログラムは、記録メディア60に記憶され、記録メディア60から読み出されることで実行されてもよい。シミュレーションの結果等を含むセーブデータが、記録メディア60又はメモリ204に記憶されてもよい。ネットワークI/F206は、通信網90を利用してデータ通信をするためのインタフェースである。第一入出力I/F207は、操作器22と接続され、信号等の通信をするためのインタフェースである。
画像プロセッサ208は、シミュレーションを行うための画面を生成可能なGPU(Graphics Processing Unit)を備える。例えば、画像プロセッサ208は、シミュレートコンピュータ40及びシミュレートロボット50のロボットモデルの画像、当該ロボットモデルに擬似するロボットモデルの画像、当該ロボットモデルに対応するモデルの画像等の画面データを生成し第二入出力I/F209に出力する。第二入出力I/F209は、出力装置30と接続され、画面データ及び画像データの通信をするためのインタフェースである。
音声プロセッサ210は、シミュレーションを行うための音声を生成するDSP(Digital Signal Processor)を備える。音声プロセッサ210は、生成した音声をD/Aコンバータを含むアンプ(図示せず)で増幅して第三入出力I/F211に出力する。第三入出力I/F211は、出力装置30と接続され、音声信号等の通信をするためのインタフェースである。記録媒体ドライブ212は、着脱可能な記録媒体70に対する各種データの読み出し又は書き込みを制御する。例えば、シミュレーションを実行するためのコンピュータプログラムは、記録媒体70に記憶され、記録媒体70から読み出されることで実行されてもよい。シミュレーションの結果等を含むセーブデータが、記録媒体70に記憶されてもよい。記録媒体70の例は、DVD-R、DVD-RW、BD(Blu-ray(登録商標))-R、BD-RE等の記録ディスクである。
操作器22は、ユーザによる入力を受け付ける。例えば、操作器22は、十字ボタン、プッシュスイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される入力装置221を含む。さらに、操作器22は、操作端末本体21の第一入出力I/F207と接続され信号等の通信をするための操作入出力I/F222を含む。入力装置221は、ユーザの入力を示す信号を生成し、当該信号を操作入出力I/F222を介して第一入出力I/F207に出力する。本実施の形態では、入力装置221の構成は、ロボットの専用の操作装置と異なる。例えば、入力装置221の数量、及び入力装置221への入力方法等が異なる。ロボットの専用の操作装置が出力する操作のための信号は、入力装置221が出力する操作のための信号と異なり、例えば、より複雑である。
仲介装置10のハードウェア構成を説明する。図3は、実施の形態に係る仲介装置10のハードウェア構成の一例を示すブロック図である。図3に示すように、仲介装置10は、CPU101と、ROM102と、RAM103と、メモリ104と、ネットワークI/F106と、入出力I/F107とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU101は、仲介装置10全体の動作を制御する。ROM102、RAM103及びメモリ104それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。CPU101、ROM102、RAM103及びメモリ104は、情報処理装置100を構成する。ネットワークI/F106及び入出力I/F107それぞれの構成及び機能は、操作端末20のネットワークI/F206及び第一入出力I/F207と同様である。
なお、入出力I/F107は、入力装置113と接続され、信号等の通信をするためのインタフェースである。入力装置113は、ユーザによる入力を受け付ける。例えば、入力装置113は、ボタン、スイッチ、ダイヤル、ジョイスティック、マウス、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。入力装置113は、ユーザの入力を示す信号を生成し、当該信号を入出力I/F107に出力する。
シミュレートコンピュータ40のハードウェア構成を説明する。図4は、実施の形態に係るシミュレートコンピュータ40のハードウェア構成の一例を示すブロック図である。図4に示すように、シミュレートコンピュータ40は、CPU401と、ROM402と、RAM403と、メモリ404と、ネットワークI/F406と、第一入出力I/F407と、画像プロセッサ408と、第二入出力I/F409とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU401は、シミュレートコンピュータ40全体の動作を制御する。ROM402、RAM403及びメモリ404それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F406、第一入出力I/F407、画像プロセッサ408及び第二入出力I/F409それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
なお、第一入出力I/F407は、入力装置413と接続され、信号等の通信をするためのインタフェースである。入力装置413は、ユーザによる入力を受け付ける。入力装置413の構成は、仲介装置10の入力装置113と同様である。また、画像プロセッサ408は、シミュレートコンピュータ40に設定されたロボットモデルの画像の画面データを生成し第二入出力I/F409に出力する。第二入出力I/F409は、ディスプレイ414と接続され、画面データ及び画像データの通信をするためのインタフェースである。
シミュレートロボット50のハードウェア構成を説明する。図5は、実施の形態に係るシミュレートロボット50のハードウェア構成の一例を示すブロック図である。図5に示すように、シミュレートロボット50は、制御装置51と、撮像装置517と、ディスプレイ514と、操作装置518と、駆動装置519とを備える。なお、上記構成要素の全てが必須ではない。
駆動装置519は、ロボット50A(図1参照)の可動部分を駆動する装置である。例えば、ロボット50Aは、ロボットアームと、ロボットアームの先端のエンドエフェクタとを備える。ロボットアームは、屈曲する関節を有し、関節において可動である。エンドエフェクタは、把持、吸着、掬い上げ及び吊り下げ等のワークに対する作用を加える動作をする。駆動装置519は、ロボットアームの関節及びエンドエフェクタ等を駆動する。駆動装置519の例は、サーボモータ等の電気モータ及び真空発生装置等である。
撮像装置517は、ロボット50Aを撮像し、撮像した画像データを制御装置51に出力する。撮像装置517は、シミュレートロボット50においてシミュレーションを行うユーザに、ロボット50Aの状態を示す画像を提供する。本実施の形態では、当該画像は、操作端末20に提供される。撮像装置517の例は、デジタルカメラ及びデジタルビデオカメラ等である。
ディスプレイ514は、撮像装置517によって撮像された画像データを、制御装置51から受け取り、当該画像データの画像をユーザに提示する。また、ディスプレイ514は、シミュレートロボット50の操作用の画面データを制御装置51から受け取り、当該画面データの画像をユーザに提示する。
操作装置518は、シミュレートロボット50においてシミュレーションを行うユーザによる指令及び情報の入力を受け付け、当該指令及び情報を示す信号を制御装置51に出力する。操作装置518は、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、キー及びタッチパネル等のユーザの操作を介して入力される装置を含む。本実施の形態では、操作装置518は、ロボット50Aの専用の操作装置である。
制御装置51は、シミュレートロボット50全体を制御する装置である。制御装置51は、CPU501と、ROM502と、RAM503と、メモリ504と、撮像I/F515と、ネットワークI/F506と、第一入出力I/F507と、画像プロセッサ508と、第二入出力I/F509と、駆動回路516とを構成要素として含む。各構成要素は、バス等によって接続されるが、他のいかなる有線通信又は無線通信で接続されてもよい。なお、上記構成要素の全てが必須ではない。
CPU501は、制御装置51全体の動作を制御する。ROM502、RAM503及びメモリ504それぞれの構成及び機能は、操作端末20のROM202、RAM203及びメモリ204と同様である。ネットワークI/F506、第一入出力I/F507、画像プロセッサ508及び第二入出力I/F509それぞれの構成及び機能は、操作端末20のネットワークI/F206、第一入出力I/F207、画像プロセッサ208及び第二入出力I/F209と同様である。
なお、第一入出力I/F507は、操作装置518と接続され、信号等の通信をするためのインタフェースである。また、画像プロセッサ508は、撮像装置517によって撮像されたロボット50Aの画像データを用いて、ディスプレイ514に表示するための画面データを生成し第二入出力I/F509に出力する。また、画像プロセッサ508は、シミュレートロボット50を操作するための画面データを生成し第二入出力I/F509に出力する。第二入出力I/F509は、ディスプレイ514と接続され、画面データ及び画像データの通信をするためのインタフェースである。
撮像I/F515は、プログラムの実行に対応して、撮像装置517の駆動を制御する。撮像I/F515は、プログラムの実行に対応して、撮像装置517によって撮像された画像データをRAM503又はメモリ504に取り込む。撮像I/F515は、撮像装置517の駆動のための回路等を含んでもよい。
駆動回路516は、駆動装置519の駆動を制御する。例えば、駆動回路516は、CPU501の指令に従って電流を各駆動装置519に供給し、当該駆動装置519の駆動を制御する。駆動回路516は、全ての駆動装置519の駆動を制御する。
[機能的構成]
操作端末20の機能的構成を説明する。図6は、実施の形態に係る操作端末20の機能的構成の一例を示すブロック図である。図6に示すように、操作器22は、入力部22a及び出力部22bを含む。入力部22aは、ユーザからの入力を受け付け、その機能は入力装置221によって実現される。出力部22bは、入力部22aに入力された情報を操作端末本体21に出力し、その機能は操作入出力I/F222によって実現される。上記情報は、入力装置221のボタン等のON又はOFF、ONの継続時間等の情報であってもよい。
操作端末本体21は、通信部21aと、入力部21bと、プログラム実行部21cと、読込部21dと、記憶部21eと、出力部21fとを含む。なお、上記構成要素の全てが必須ではない。通信部21aは、通信網90を介して仲介装置10と通信し、その機能はネットワークI/F206等によって実現される。入力部21bは、操作器22から情報の入力を受け付け、その機能は第一入出力I/F207等によって実現される。読込部21dは、記録メディア60及び/又は記録媒体70から、これらに格納された情報を読み込み、その機能はメディアI/F205及び記録媒体ドライブ212等によって実現される。
記憶部21eは、種々の情報を記憶し、ROM202、メモリ204、記録メディア60及び記録媒体70等によって実現される。例えば、記憶部21eには、各ユーザのユーザ情報が記憶される。ユーザ情報は、ユーザID等のユーザの識別情報、及び、操作端末20を用いたユーザのシミュレーション結果等を含み得る。シミュレーション結果は、各シミュレーションを実施した結果、評価及び実績、各シミュレーションにおけるユーザの習熟度、当該習熟度に応じたユーザのランク又は階級等を含んでもよい。ランク及び階級は、習熟度に対応する絶対的なランクであってもよく、他のユーザとの対比による順位等の相対的なランクであってもよい。記憶部21eへのユーザ情報の記憶は、プログラム実行部21cによって定期的に自動で行われてもよく、ユーザが操作器22を用いて入力又はセーブ操作することで行われてもよい。
出力部21fは、プログラム実行部21cによって生成された画像データ及び音声データを出力装置30に出力し、その機能は第二入出力I/F209及び第三入出力I/F211等によって実現される。
プログラム実行部21cは、記録メディア60又は記録媒体70等に格納されたコンピュータプログラムを読み込み実行する。コンピュータプログラムは、シミュレーションを実行するためのプログラムであり、本実施の形態で、ゲームプログラムである。つまり、本実施の形態では、シミュレーションは、操作端末20においてゲームとして実行される。なお、当該プログラムは、アプリケーションとして通信網90、記録メディア60又は記録媒体70等を介して操作端末20にインストールされ、ROM202又はメモリ204等に格納されていてもよい。
プログラム実行部21cは、操作器22から受け取る情報と通信網90を介して受け取る情報とを用いて、コンピュータプログラムに従って動作し、受け取った情報を反映した画像データ及び音声データを生成する。プログラム実行部21cは、生成した画像データ及び音声データを出力部21fを介して出力装置30に出力しユーザに提示させる。また、プログラム実行部21cは、操作器22から受け取る操作の情報、及び記憶部21eに記憶されたユーザ情報等を、通信部21a及び通信網90を介して仲介装置10に送信する。プログラム実行部21cは、CPU201、ROM202、RAM203、画像プロセッサ208及び音声プロセッサ210等によって実現される。
仲介装置10の機能的構成を説明する。図7は、実施の形態に係る仲介装置10の機能的構成の一例を示すブロック図である。図7に示すように、仲介装置10は、第一通信部10aと、第二通信部10bと、受付部10cと、決定部10dと、変換部10eと、動作データ処理部10fと、判定部10gと、記憶部10hとを含む。なお、上記構成要素の全てが必須ではない。第一通信部10a及び第二通信部10bの機能はネットワークI/F206等によって実現される。記憶部10hの機能は、ROM102及びメモリ104等によって実現される。受付部10c、決定部10d、変換部10e、動作データ処理部10f及び判定部10gの機能は、CPU101、ROM102、RAM103等によって実現される。
第一通信部10aは、通信網90を介して操作端末20と通信する。第二通信部10bは、通信網90を介してシミュレートコンピュータ40又はシミュレートロボット50と通信する。
記憶部10hは、種々の情報を記憶する。例えば、記憶部10hには、各ユーザのユーザ情報が、ユーザの識別情報と関連付けられて記憶されている。さらに、記憶部10hには、ユーザに設定されるランク又は階級等に基づくシミュレーションの許可条件と、各許可条件において実行することができるシミュレーションの構成とが関連付けられて記憶されている。上記シミュレーションの構成は、シミュレーション内容と、当該シミュレーション内容を実行することができるシミュレート装置200とを関連付けて含む。上記シミュレート装置200は、シミュレートコンピュータ40又はシミュレートロボット50である。シミュレーション内容は、シミュレーションで実行されるロボットモデルの動作又は作業を含み、例えば、シミュレーションの種類として設定されてもよい。また、記憶部10hは、シミュレート装置200を用いたシミュレーションの実行結果と、当該実行結果に関する評価とを関連付けて含んでもよい。また、記憶部10hは、上記評価と、当該評価に対応するシミュレーションの習熟度とを関連付けて含んでもよい。また、記憶部10hは、シミュレーションの習熟度と許可条件とを関連付けて含んでもよい。記憶部10hは、判定部10gが評価等の判定に用いる閾値等を含んでもよい。
受付部10cは、操作端末20から受信するユーザ情報に基づき、ユーザが実行可能であるシミュレーション内容を抽出し当該ユーザに提示する。具体的には、受付部10cは、操作端末20からユーザ情報とシミュレーションの実行指令とを受信し、当該ユーザ情報に含まれるユーザの識別情報に対応する許可条件を、記憶部10hから抽出する。さらに、受付部10cは、当該許可条件に対応するシミュレーションの構成を抽出し、操作端末20に送信する。ユーザは、操作端末20が出力装置30に提示するシミュレーションの構成から選択することができる。
例えば、操作端末20は、出力装置30に図8に示すような画面Sを表示させる。図8は、実施の形態に係る操作端末20が提示するシミュレーションの選択画面の一例を示す図である。図8に示すように、画面Sには、各動作又は作業について、ユーザの許可条件としての階級「A」~「D」のいずれかが表示され、さらに、各動作又は作業のシミュレーションを実行することができるシミュレート装置200のアイコンが表示されている。よって、ユーザは、シミュレート装置200のアイコンを選択することで、シミュレーションを実行する動作又は作業と、当該動作又は作業に用いるシミュレート装置200とを選択することできる。図8において、例えば、動作表示「動作1 階級B」は、「動作1」が「階級B」以上のユーザによってシミュレーション可能であることを示す。各動作表示について、「シミュレートコンピュータ」は、シミュレートコンピュータ40の利用可能を示し、アイコン「シミュレートロボットA1タイプ」は、ロボット50A1を含むシミュレートロボット50に利用可能を示す。
決定部10dは、ユーザが実行するシミュレーションの構成を決定する。決定部10dは、操作端末20においてユーザによって選択されたシミュレーション内容及びシミュレート装置200の情報を、操作端末20から受信する。決定部10dは、受け付けたシミュレーション内容及びシミュレート装置200でのシミュレーションの実行を決定し、当該シミュレート装置200に、当該シミュレーション内容の実行の指令を送信する。決定部10dは、上記シミュレート装置200と操作端末20とを接続する。
変換部10eは、シミュレーションの実行中、操作端末20から受信するロボットモデルを操作するための第一情報を、シミュレート装置200のロボットモデルを操作するための第二情報に変換する。変換部10eは、第二情報を、当該シミュレーションを実行しているシミュレート装置200に送信する。例えば、シミュレート装置200がシミュレートコンピュータ40である場合、第二情報は、第一情報に対応する動作を仮想的なロボットモデルに実行させるために入力装置413からシミュレートコンピュータ40に出力される情報に対応する。シミュレート装置200がシミュレートロボット50である場合、第二情報は、第一情報に対応する動作をロボット50Aに実行させるために操作装置518から制御装置51に出力される情報に対応する。
動作データ処理部10fは、シミュレーションの実行中、シミュレート装置200から受信するロボットモデルの動作データを、操作端末20でのロボットモデルの画像表示に対応する動作データに変換する処理をし、操作端末20に送信する。
例えば、シミュレート装置200がシミュレートコンピュータ40である場合、シミュレート装置200から受信する動作データは、ロボットモデルの画像で構成されてもよく、ロボットモデルの動作を示す簡略化された画像で構成されてもよく、ロボットモデルの動作を表すベクトル及び座標等の数値データであってもよい。例えば、簡略化された画像は、ロボットモデルの骨格を表す画像であってもよい。変換後の動作データは、操作端末20で表示されるロボットモデルの画像で構成されてもよく、シミュレートコンピュータ40が生成する仮想的なロボットモデルの画像で構成されてもよく、上記ロボットモデルの動作を示す簡略化された画像で構成されてもよく、上記ロボットモデルの動作を表す数値データであってもよい。
例えば、シミュレート装置200がシミュレートロボット50である場合、シミュレート装置200から受信する動作データは、撮像装置517によって撮像されたロボット50Aの画像データで構成され得る。変換後の動作データは、ロボット50Aの撮像画像データで構成されてもよく、当該撮像画像内の特徴部等によりロボット50Aの動作を示す簡略化された画像で構成されてもよく、当該ロボット50Aの動作を表す数値データであってもよい。簡略化された画像は、仮想的なロボットモデルの画像であってもよく、この場合、CG(コンピュータグラフィックス:Computer Graphics)又はアニメーション等を用いた画像であってもよい。上記仮想的なロボットモデルは、ロボット50Aと類似してもよく非類似であってもよい。
判定部10gは、シミュレート装置200で実行されたシミュレーションの結果を評価する。さらに、判定部10gは、当該評価に基づき、ユーザの習熟度を判定し、さらに、習熟度に基づき、ユーザのランク又は階級等を決定する。判定部10gは、評価、習熟度、ランク及び階級の少なくとも1つの情報を操作端末20に送信し、操作端末20は受信した情報を出力装置30に提示させる。また、判定部10gは、評価、習熟度、ランク及び階級を、新たなユーザ情報として記憶部10hに記憶させる。
なお、判定部10gは、動作データ処理部10fによって検出されるロボットモデルの動作と、シミュレーションで実行すべきロボットモデルの動作との差異とその閾値との関係に基づき、評価を決定してもよい。当該差異は、ロボットモデルの各部の位置の差異、及び動作に要する時間の差異等を含んでもよい。又は、シミュレート装置200がシミュレーションの結果を評価し、判定部10gに送信することで、判定部10gが当該評価を利用してもよい。
シミュレートコンピュータ40の機能的構成を説明する。図9は、実施の形態に係るシミュレートコンピュータ40の機能的構成の一例を示すブロック図である。図9に示すように、シミュレートコンピュータ40は、通信部40aと、受付部40bと、プログラム実行部40cと、判定部40dと、動作データ出力部40eと、記憶部40fとを含む。なお、上記構成要素の全てが必須ではない。通信部40aの機能はネットワークI/F406等によって実現される。記憶部40fの機能はROM402及びメモリ404等によって実現される。受付部40b、プログラム実行部40c、判定部40d及び動作データ出力部40eの機能は、CPU401、ROM402、RAM403等によって実現される。
通信部40aは、通信網90を介して仲介装置10と通信する。記憶部40fは、種々の情報を記憶する。例えば、記憶部40fは、シミュレートコンピュータ40で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボットモデルの各動作の位置及び所要時間の情報を記憶していてもよい。また、記憶部40fは、判定部40dが評価に用いる閾値等を記憶していてもよい。
受付部40bは、仲介装置10から、シミュレーションの実行の指令と、実行するシミュレーション内容とを受信する。受付部40bは、受信したシミュレーション内容の実行の指令をプログラム実行部40cに出力する。また、シミュレーションの開始後、受付部40bは、仲介装置10の変換部10eから仮想的なロボットモデルを操作するための第二情報を受信し、プログラム実行部40cに出力する。
プログラム実行部40cは、指令されたシミュレーション内容のコンピュータプログラムを実行する。当該プログラムは、ROM402又はメモリ404に記憶される。プログラム実行部40cは、受付部40bから受け取る第二情報とコンピュータプログラムとに従って、当該第二情報に対応する動作を仮想的なロボットモデルに実行させる。
動作データ出力部40eは、プログラム実行部40cが動作させるロボットモデルから、その動作結果を示す動作結果データを検出する。当該動作結果データは、ロボットモデルの画像、ロボットモデルの骨格等の簡略された画像、ロボットモデルの各部の位置、当該位置への所要時間等を含んでもよい。さらに、動作データ出力部40eは、動作結果データから動作データを生成し、仲介装置10に送信する。当該動作データは、仲介装置10の動作データ処理部10fの説明で上述した動作データある。
判定部40dは、動作データ出力部40eによって生成された動作データを用いて、シミュレーションの結果を評価し、当該評価を仲介装置10に送信する。判定部40dは、仲介装置10の判定部10gと同様に、当該評価を決定する。さらに、判定部40dは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
シミュレートロボット50の機能的構成を説明する。図10は、実施の形態に係るシミュレートロボット50の機能的構成の一例を示すブロック図である。図10に示すように、シミュレートロボット50は、通信部50aと、受付部50bと、撮像制御部50cと、画像処理部50dと、駆動制御部50eと、状態検出部50fと、判定部50gと、記憶部50hとを含む。なお、上記構成要素の全てが必須ではない。通信部50a、受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f、判定部50g及び記憶部50hは、制御装置51を構成する。通信部50aの機能はネットワークI/F506等によって実現される。記憶部50hの機能はROM502及びメモリ504等によって実現される。受付部50b、撮像制御部50c、画像処理部50d、駆動制御部50e、状態検出部50f及び判定部50gの機能は、CPU501、ROM502、RAM503等によって実現される。
通信部50aは、通信網90を介して仲介装置10と通信する。記憶部50hは、種々の情報を記憶する。例えば、記憶部50hは、シミュレートロボット50で実行可能である各シミュレーション内容について、当該シミュレーションで実行されるロボット50Aの各動作の位置、作用力及び所要時間の情報を記憶していてもよい。作用力の例は、ロボットのエンドエフェクタが対象物を押す又は引っ張る力等である。また、記憶部50hは、判定部50gが評価に用いる閾値等を記憶していてもよい。
受付部50bは、仲介装置10から、シミュレーションの実行の指令と、実行するシミュレーション内容とを受信する。受付部50bは、受信したシミュレーション内容の実行の指令を撮像制御部50c及び駆動制御部50eに出力する。また、シミュレーションの開始後、受付部50bは、仲介装置10の変換部10eからロボット50Aを操作するための第二情報を受信し、駆動制御部50eに出力する。
撮像制御部50cは、シミュレーションの実行の指令を受け取ると、撮像装置517を起動し撮像させる。撮像装置517は、ロボット50A、例えば、そのエンドエフェクタを撮像し、撮像した画像を画像処理部50dに出力する。画像処理部50dは、撮像装置517から受け取った画像の画像データを仲介装置10に送信する。
駆動制御部50eは、受付部50bから受け取る第二情報に従って、駆動装置519を駆動することによって、ロボット50Aに当該第二情報に対応する動作を実行させる。
状態検出部50fは、ロボット50Aの各部の状態を検出し、検出結果を判定部50gに出力する。例えば、状態検出部50fは、上記状態として、ロボット50Aの可動部分の動作量を検出することで、各部の3次元位置を検出してもよい。このとき、状態検出部50fは、駆動装置519に設けられた回転センサの検出値からロボット50Aの可動部分の動作量を検出してもよい。また、状態検出部50fは、上記状態として、ロボット50Aのエンドエフェクタに作用する力である作用力を検出してもよい。このとき、状態検出部50fは、エンドエフェクタに設けられた力覚センサ等の力センサの検出値から作用力を検出してもよい。状態検出部50fは、タイマを備え、上記状態として、ロボット50Aの各動作間の所要時間を検出してもよい。駆動制御部50eは、状態検出部50fの検出結果をフィードバック情報として用いて駆動装置519の駆動を制御してもよい。
判定部50gは、状態検出部50fの検出結果を用いて、シミュレーションの結果を評価し、当該評価を仲介装置10に送信する。判定部50gは、仲介装置10の判定部10gと同様に、当該評価を決定する。さらに、判定部50gは、ユーザの習熟度、ランク及び階級等を決定し仲介装置10に送信してもよい。
<シミュレートシステムの動作>
実施の形態に係るシミュレートシステム1の動作を説明する。図11A及び図11Bは、実施の形態に係るシミュレートシステム1の動作の流れの一例を示すシーケンス図である。図11A及び図11Bに示すように、ユーザは、操作端末20において、シミュレーションのゲームプログラムを起動する(ステップS101)。次いで、ユーザは、ユーザ情報であるユーザの識別情報等を操作端末20に入力し、操作端末20は当該識別情報等を仲介装置10に送信する(ステップS102)。つまり、ユーザは、シミュレーションのゲームにログインする。ユーザの識別情報は予め、仲介装置10に登録されている。
次いで、仲介装置10は、受信したユーザの識別情報を認証し、当該識別情報に対応するシミュレーションの許可条件を抽出し、抽出した許可条件に対応するシミュレーションの構成を抽出する。そして、仲介装置10は、抽出したシミュレーションの構成を、当該ユーザが実行可能であるシミュレーションの構成として操作端末20に送信する(ステップS103)。シミュレーションの構成は、シミュレーション内容と、当該シミュレーション内容を実行するシミュレート装置200との組み合わせである。
次いで、ユーザは、操作端末20を用いて、出力装置30に表示される実行可能なシミュレーション内容とシミュレート装置200との組み合わせであるシミュレーションの構成から、実行するシミュレーションの構成を決定する。操作端末20は、決定されたシミュレーションの構成を仲介装置10に送信する(ステップS104)。
次いで、仲介装置10は、受信したシミュレーションの構成に含まれるシミュレート装置200がシミュレートコンピュータ40であるか否かを判定する(ステップS105)。仲介装置10は、シミュレートコンピュータ40である場合(ステップS105でYes)、ステップS106に進み、シミュレートコンピュータ40でない場合(ステップS105でNo)、ステップS107に進む。
ステップS106において、仲介装置10は、仲介装置10が接続可能であるシミュレートコンピュータ40の中から、上記シミュレーションの構成に含まれるシミュレーション内容の実行を可能なシミュレートコンピュータ40を抽出し、当該シミュレートコンピュータ40と操作端末20とを接続する。さらに、仲介装置10は、当該シミュレートコンピュータ40に当該シミュレーション内容の実行の指令を送信する。
次いで、シミュレートコンピュータ40は、指令されたシミュレーション内容を実行する(ステップS108)。シミュレートコンピュータ40は、シミュレーションの実行を示す通知を仲介装置10を介して操作端末20に送信する。
シミュレーションの実行中、操作端末20は、ユーザによって入力される操作を示す第一情報を仲介装置10に送信する(ステップS109)。さらに、仲介装置10は、第一情報を、シミュレートコンピュータ40の仮想的なロボットモデルを動作させる第二情報に変換し、シミュレートコンピュータ40に送信する(ステップS110)。シミュレートコンピュータ40は、第二情報に従ってロボットモデルを動作させ、当該ロボットモデルの動作データを仲介装置10に送信する(ステップS111)。仲介装置10は、受信した動作データを、操作端末20でのロボットモデルの画像表示等の提示に対応する動作データに変換し、操作端末20に送信する(ステップS112)。操作端末20は、受信した動作データに対応する動作を実行するロボットモデルの画像等を出力装置30に提示させる。なお、シミュレートコンピュータ40は、動作データとして、仮想的なロボットモデルの画像データを仲介装置10に送信し、仲介装置10は、受信した画像データを操作端末20に送信してもよい。操作端末20は、受信した画像データを出力装置30に表示させてもよい。
次いで、操作端末20は、実行中のシミュレーションに含まれる全ての動作が完了したか否かを判定する(ステップS113)。操作端末20は、完了済みの場合(ステップS113でYes)、ステップS114に進み、完了の通知を仲介装置10に送信し、未完了の場合(ステップS113でNo)、ステップS109に戻る。
次いで、ステップS115において、仲介装置10は、シミュレーションに含まれる全ての動作の完了をシミュレートコンピュータ40に通知する。次いで、シミュレートコンピュータ40は、シミュレーションを通じてのロボットモデルの動作データに基づき、シミュレーションの結果を評価し、評価結果を仲介装置10に送信する(ステップS116)。
次いで、ステップS117において、仲介装置10は、受信した評価結果に基づき、ユーザの習熟度、ランク及び階級等を決定し、これらのうちの少なくとも1つを操作端末20に送信する。また、仲介装置10は、評価結果、習熟度、ランク及び階級等を新たなユーザ情報として、自身に登録する。次いで、操作端末20は、受信した評価結果、習熟度、ランク及び階級等を出力装置30に出力しユーザに提示させる(ステップS118)。ユーザが操作端末20を停止することによって、操作端末20はシミュレーションのゲームプログラムを終了する(ステップS119)。
また、ステップS107において、仲介装置10は、仲介装置10が接続可能であるシミュレートロボット50の中から、ステップS104で決定されたシミュレーションの構成に含まれるシミュレーション内容の実行を可能なロボット50Aを含むシミュレートロボット50を抽出し、当該シミュレートロボット50と操作端末20とを接続する。さらに、仲介装置10はシミュレートロボット50に当該シミュレーション内容の実行の指令を送信する。
次いで、シミュレートロボット50は、指令されたシミュレーション内容を実行する(ステップS120)。次いで、シミュレートロボット50の制御装置51は、撮像装置517にロボット50Aの撮像を実行させる(ステップS121)。シミュレートロボット50は、シミュレーションの実行を示す通知を仲介装置10を介して操作端末20に送信する。
シミュレーションの実行中、操作端末20は第一情報を仲介装置10に送信し(ステップS122)、仲介装置10は、第一情報を、ロボット50Aを動作させる第二情報に変換しシミュレートロボット50に送信する(ステップS123)。制御装置51は、第二情報に従ってロボット50Aを動作させる(ステップS124)。このとき、制御装置51は、ロボット50Aの各部の状態を検出する。次いで、制御装置51は、撮像装置517によって撮像された画像データを仲介装置10に送信する(ステップS125)。仲介装置10は、受信した画像データを操作端末20に送信する(ステップS126)。操作端末20は、受信した画像データの画像等を出力装置30に提示させる。
次いで、操作端末20は、実行中のシミュレーションに含まれる全ての動作が完了したか否かを判定する(ステップS127)。操作端末20は、完了済みの場合(ステップS127でYes)、ステップS128に進み、完了の通知を仲介装置10に送信し、未完了の場合(ステップS127でNo)、ステップS122に戻る。
次いで、ステップS129において、仲介装置10は、シミュレーションに含まれる全ての動作の完了をシミュレートロボット50に通知する。次いで、シミュレートロボット50の制御装置51は、シミュレーションを通じてのロボット50Aの各部の状態に基づき、シミュレーションの結果を評価し、評価結果を仲介装置10に送信する(ステップS130)。
次いで、ステップS131において、仲介装置10は、受信した評価結果に基づき、ユーザの習熟度、ランク及び階級等を決定し、これらのうちの少なくとも1つを操作端末20に送信し、且つ、自身に登録する。次いで、操作端末20は、受信した評価結果等を出力装置30に出力しユーザに提示させる(ステップS132)。ユーザが操作端末20を停止することによって、操作端末20はシミュレーションのゲームプログラムを終了する(ステップS133)。
上述のステップS101~S133の処理によって、シミュレート装置200からの遠隔地に位置するユーザは、例えば自身が所有する操作端末20を用いて、通信網90を介してシミュレートコンピュータ40又はシミュレートロボット50を用いたシミュレーションを行うことができる。このように、ユーザは、操作端末20を用いたシミュレーションを実行することで、ロボットの操作の熟練度を向上させることができる。例えば、操作端末20と実機のロボットとが通信網90を介して接続され且つ操作端末20でのロボット操作が可能である環境において、ユーザは、遠隔地にいながらも操作端末20を用いて実機のロボットで実際の作業を行うことができるようになる。
<効果等>
上述のような実施の形態に係るシミュレートシステム1において、仲介装置10の情報処理装置100は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置200と接続され且つシミュレート装置200の遠隔のユーザによって操作される操作端末20に入力された、ロボットモデルを操作するための第一情報を、シミュレート装置200のロボットモデルを操作するための第二情報に変換し、第二情報に従ってシミュレート装置200を動作させ、第二情報に従って動作するシミュレート装置200のロボットモデルの動作の情報を、操作端末20に提示させる。なお、操作端末20とシミュレート装置200とは通信網90を介して接続されてもよい。また、例えば、ロボットモデルの模擬的な動作は、実機のロボットが実行する作業を模擬した動作であってもよい。
上記構成によると、情報処理装置100は、操作端末20に入力される操作に対応する第一情報を第二情報に変換し、第二情報に従ってシミュレート装置200に動作をさせることで、シミュレート装置200のロボットモデルに上記操作に対応する動作をさせる。よって、ユーザは、シミュレート装置200からの遠隔地において、操作端末20を用いて、ロボットの動作のシミュレーションを行うことができる。さらに、操作端末20とシミュレート装置200との間で送受信される情報は、それぞれに適応した形式の情報に変換されるため、ユーザは、例えば、自身が有する慣れ親しんだ操作端末20を用いることができる。よって、ユーザは、シミュレーション操作を容易に実行することができ、シミュレーションを受け入れやすい。また、操作端末20とシミュレート装置200とが通信網90を介して接続されることで、様々な操作端末20がシミュレート装置200と接続されることができる。従って、様々なユーザが、操作端末20を介してシミュレート装置200にアクセスし、ロボットの操作のシミュレーションを行うことでき、それによりロボットを操作することができるようになる。
また、実施の形態に係るシミュレートシステム1において、操作端末20は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末、スマートデバイス及びパーソナルコンピュータの少なくともいずれかであってもよい。上記構成によると、様々な操作端末20を用いたシミュレーションが可能になる。
また、実施の形態に係る情報処理装置100は、操作端末20に入力される、実行を要求するシミュレーションの情報である要求情報に基づき、複数存在するシミュレート装置200の中から、要求情報において要求されるシミュレーションに対応するシミュレート装置200を決定し、決定したシミュレート装置200と操作端末20とを用いたシミュレーションの実行を可能にしてもよい。上記構成によると、情報処理装置100は、ユーザの要求に対応して、当該ユーザに様々なシミュレーション実行させることができる。
また、実施の形態に係る情報処理装置100は、シミュレート装置200のロボットモデルの動作の情報に基づき、ロボットモデルの動作結果を評価し、操作端末20を操作するユーザに対する評価であるユーザ評価として、動作結果の評価を登録してもよい。さらに、情報処理装置100は、登録されたユーザ評価に基づき、ユーザ評価の対象のユーザが実行可能であるシミュレーション及びシミュレート装置200を決定し、決定したシミュレーション及びシミュレート装置200の情報を操作端末20に提示させてもよい。
上記構成によると、情報処理装置100は、シミュレーションの結果の評価を操作端末20のユーザ評価として登録する。これにより、登録されたユーザ評価の利用が可能である。例えば、情報処理装置100は、シミュレーションの実施時等に、登録されたユーザ評価をユーザに提示することができる。これにより、ユーザは、自身のユーザ評価に応じて、実行するシミュレーションの構成を容易に決定することができる。また、ユーザが実機のロボットを操作する場合、ユーザ評価に基づき、ユーザに適したロボット及び作業内容の決定が可能になる。また、ユーザ又はシミュレーションの提供者(例えば、仲介装置10)は、ユーザに適した又は実行可能であるシミュレーション内容及びシミュレート装置200を判断することができる。
また、実施の形態に係る情報処理装置100は、シミュレート装置200のロボットモデルの動作の情報を、操作端末20の実行プログラム上で機能する情報に変換してもよい。上記構成によると、情報処理装置100は、シミュレート装置200でのロボットモデルの動作を、操作端末20で実行されるプログラム上での動作に対応付けることができる。
また、実施の形態に係る情報処理装置100は、仮想的なロボットモデルに模擬的な動作をさせるシミュレートコンピュータ40と操作端末20とを用いたシミュレーションの実行を可能にし、シミュレートコンピュータ40によって生成される仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。上記構成によると、ユーザは、操作端末20を用いて、シミュレートコンピュータ40のシミュレーションを実行することができる。
また、実施の形態に係る情報処理装置100は、ロボットモデルとして実機のロボット50Aに模擬的な動作をさせるシミュレートロボット50と操作端末20とを用いたシミュレーションの実行を可能にし、撮像装置517によって撮像されるロボット50Aの画像の情報を、ロボットモデルの動作の情報として操作端末20に提示させてもよい。上記構成によると、ユーザは、操作端末20を用いて、実機のロボット50Aを用いたシミュレーションを実行することができる。さらに、ユーザは、実機のロボット50Aの画像を視認しつつシミュレーションを実行することができる。
さらに、実施の形態に係る情報処理装置100は、実機のロボット50Aの画像を仮想的なロボットモデルの画像に変換し、変換された画像における仮想的なロボットモデルの動作の情報を操作端末20に提示させてもよい。例えば、仮想的なロボットモデルの画像は、CG又はアニメーション等を用いた画像であってもよい。上記構成によると、操作端末20によってユーザに提示される画像を、ユーザに親しみやすい画像にすることができる。よって、ユーザがシミュレーションに親しみやすくなる。
また、実施の形態に係る仲介装置10は、実施の形態に係る情報処理装置100を備え、操作端末20とシミュレート装置200とを通信網90を介して仲介する。上記構成によると、実施の形態に係る情報処理装置100と同様の効果が得られる。
また、実施の形態に係るシミュレートシステム1は、実施の形態に係る情報処理装置100と、シミュレート装置200と、操作端末20とシミュレート装置200とを通信網90を介して仲介する仲介装置10とを備える。上記構成によると、実施の形態に係る情報処理装置100と同様の効果が得られる。なお、シミュレートシステム1は、操作端末20をさらに備えてもよい。
<その他の実施の形態>
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、実施の形態において、情報処理装置100は、仲介装置10に搭載されていたが、これに限定されない。例えば、情報処理装置100は、操作端末20又はシミュレート装置200に搭載されてもよい。また、情報処理装置100は、2つの以上の装置に分割して搭載されてもよい。例えば、情報処理装置100の一部の機能を有する第1の情報処理装置及び第2の情報処理装置がそれぞれ、仲介装置10、操作端末20及びシミュレート装置200のうちの2つに搭載されてもよい。又は、情報処理装置100の一部の機能を有する第1~第3の情報処理装置がそれぞれ、仲介装置10、操作端末20及びシミュレート装置200に搭載されてもよい。
例えば、実施の形態に係るシミュレートシステム1は、操作端末20、仲介装置10及びシミュレート装置200を備えていたが、これに限定されない。例えば、シミュレートシステム1は、仲介装置10を備えなくてもよい。
実施の形態に係るシミュレートシステム1において、シミュレートコンピュータ40及びシミュレートロボット50は、予め設定されたコンピュータプログラム及びデータに従って、ロボットモデルを動作させるように構成されていたが、これに限定されない。例えば、シミュレートコンピュータ40及びシミュレートロボット50は、デジタルツインの環境を利用するように構成されてもよい。この場合、シミュレートコンピュータ40及びシミュレートロボット50は、例えば、クラウド上に蓄積された様々なデータ、つまりビッグデータを用いて動作するように構成されてもよい。例えば、データは、様々なユーザが様々なシミュレートコンピュータ40及びシミュレートロボット50等を用いて様々なトレーニングを実行することで得られたデータ、様々なロボットを用いて実際に様々な作業を行うことで得られたデータ等を含んでもよい。
また、本発明は、情報処理方法であってもよい。例えば、本発明の一態様に係る情報処理方法は、ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換し、前記第二情報に従って前記シミュレート装置を動作させ、前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させる。この方法によれば、上記情報処理装置100等と同様の効果が得られる。このような情報処理方法は、CPU、LSIなどの回路、ICカード又は単体のモジュール等によって、実現されてもよい。
また、本発明は、上記情報処理方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び/又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
1 シミュレートシステム
10 仲介装置
20 操作端末
40 シミュレートコンピュータ(シミュレート装置)
50 :シミュレートロボット(シミュレート装置)
50A,50A1~50An ロボット
90 通信網
100 情報処理装置
200 シミュレート装置
517 撮像装置

Claims (20)

  1. ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換することと
    前記第二情報に従って前記シミュレート装置を動作させることと
    前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることと、
    複数存在する前記操作端末のうちの1つである第一操作端末に入力される、実行を要求するシミュレーションの情報である要求情報に基づき、複数存在する前記シミュレート装置の中から、前記要求情報において要求されるシミュレーションに対応する第一シミュレート装置を決定することと、
    前記第一シミュレート装置と前記第一操作端末とを通信網を介して接続することで、前記第一シミュレート装置と前記第一操作端末とを用いたシミュレーションの実行を可能にすることとを実行し、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとして模擬的な動作をする実機の産業用ロボットであり、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとしての仮想的な産業用ロボットモデルに模擬的な動作をさせるシミュレートコンピュータである
    情報処理装置。
  2. 前記シミュレート装置の前記ロボットモデルの動作の情報に基づき、前記ロボットモデルの動作結果を評価し、
    前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記動作結果の評価を登録する
    請求項1に記載の情報処理装置。
  3. 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるシミュレーション及び前記シミュレート装置を決定し、
    決定した前記シミュレーション及び前記シミュレート装置の情報を前記操作端末に提示させる
    請求項に記載の情報処理装置。
  4. 前記ロボットモデルの模擬的な動作は、実機のロボットが実行する作業を模擬した動作である
    請求項1~のいずれか一項に記載の情報処理装置。
  5. シミュレートコンピュータによって生成される前記仮想的な産業用ロボットモデルの動作の情報を前記操作端末に提示させる
    請求項1~のいずれか一項に記載の情報処理装置。
  6. 像装置によって撮像される前記実機の産業用ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
    請求項1~のいずれか一項に記載の情報処理装置。
  7. 前記実機の産業用ロボットの画像を仮想的なロボットモデルの画像に変換し、
    変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項に記載の情報処理装置。
  8. 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA:Personal Data Assistant)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
    請求項1~のいずれか一項に記載の情報処理装置。
  9. 請求項1~のいずれか一項に記載の情報処理装置を備え、
    前記操作端末と前記シミュレート装置とを通信網を介して仲介する
    仲介装置。
  10. 請求項1~のいずれか一項に記載の情報処理装置と、
    前記シミュレート装置と、
    前記操作端末と前記シミュレート装置とを通信網を介して仲介する仲介装置とを備える
    シミュレートシステム。
  11. 前記操作端末をさらに備える
    請求項10に記載のシミュレートシステム。
  12. ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換することと
    前記第二情報に従って前記シミュレート装置を動作させることと
    前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることと、
    複数存在する前記操作端末のうちの1つである第一操作端末に入力される、実行を要求するシミュレーションの情報である要求情報に基づき、複数存在する前記シミュレート装置の中から、前記要求情報において要求されるシミュレーションに対応する第一シミュレート装置を決定することと、
    前記第一シミュレート装置と前記第一操作端末とを通信網を介して接続することで、前記第一シミュレート装置と前記第一操作端末とを用いたシミュレーションの実行を可能にすることとを含み、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとして模擬的な動作をする実機の産業用ロボットであり、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとしての仮想的な産業用ロボットモデルに模擬的な動作をさせるシミュレートコンピュータである
    情報処理方法。
  13. 前記シミュレート装置の前記ロボットモデルの動作の情報に基づき、前記ロボットモデルの動作結果を評価し、
    前記操作端末を操作するユーザに対する評価であるユーザ評価として、前記動作結果の評価を登録する
    請求項12に記載の情報処理方法。
  14. 登録された前記ユーザ評価に基づき、前記ユーザ評価の対象のユーザが実行可能であるシミュレーション及び前記シミュレート装置を決定し、
    決定した前記シミュレーション及び前記シミュレート装置の情報を前記操作端末に提示させる
    請求項13に記載の情報処理方法。
  15. 前記ロボットモデルの模擬的な動作は、実機のロボットが実行する作業を模擬した動作である
    請求項1214のいずれか一項に記載の情報処理方法。
  16. シミュレートコンピュータによって生成される前記仮想的な産業用ロボットモデルの動作の情報を前記操作端末に提示させる
    請求項1215のいずれか一項に記載の情報処理方法。
  17. 像装置によって撮像される前記実機の産業用ロボットの画像の情報を、前記ロボットモデルの動作の情報として前記操作端末に提示させる
    請求項1216のいずれか一項に記載の情報処理方法。
  18. 前記実機の産業用ロボットの画像を仮想的なロボットモデルの画像に変換し、
    変換された画像における前記仮想的なロボットモデルの動作の情報を前記操作端末に提示させる
    請求項17に記載の情報処理方法。
  19. 前記操作端末は、ゲーム機、ゲームコントローラ、ロボット専用の遠隔操作器、個人情報端末(PDA)、スマートデバイス及びパーソナルコンピュータの少なくともいずれかである
    請求項1218のいずれか一項に記載の情報処理方法。
  20. ロボットモデルに模擬的な動作をさせるシミュレーションを実行するシミュレート装置と接続され且つ前記シミュレート装置の遠隔のユーザによって操作される操作端末に入力された、ロボットモデルを操作するための第一情報を、前記シミュレート装置の前記ロボットモデルを操作するための第二情報に変換することと、
    前記第二情報に従って前記シミュレート装置を動作させることと、
    前記第二情報に従って動作する前記シミュレート装置の前記ロボットモデルの動作の情報を、前記操作端末に提示させることと、
    複数存在する前記操作端末のうちの1つである第一操作端末に入力される、実行を要求するシミュレーションの情報である要求情報に基づき、複数存在する前記シミュレート装置の中から、前記要求情報において要求されるシミュレーションに対応する第一シミュレート装置を決定することと、
    前記第一シミュレート装置と前記第一操作端末とを通信網を介して接続することで、前記第一シミュレート装置と前記第一操作端末とを用いたシミュレーションの実行を可能にすることとをコンピュータに実行させ、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとして模擬的な動作をする実機の産業用ロボットであり、
    前記複数存在するシミュレート装置の1つ以上は、前記ロボットモデルとしての仮想的な産業用ロボットモデルに模擬的な動作をさせるシミュレートコンピュータである
    プログラム。
JP2019105752A 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム Active JP7384575B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201980052245.XA CN112543960A (zh) 2018-08-10 2019-08-09 信息处理装置、中介装置、模拟系统以及信息处理方法
KR1020217007128A KR102571997B1 (ko) 2018-08-10 2019-08-09 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법
EP19847618.6A EP3836126A4 (en) 2018-08-10 2019-08-09 INFORMATION PROCESSING DEVICE, INTERMEDIATION DEVICE, SIMULATION SYSTEM AND INFORMATION PROCESSING METHOD
PCT/JP2019/031615 WO2020032249A1 (ja) 2018-08-10 2019-08-09 情報処理装置、仲介装置、シミュレートシステム及び情報処理方法
US17/267,420 US11908337B2 (en) 2018-08-10 2019-08-09 Information processing device, intermediation device, simulation system, and information processing method
TW108128601A TWI744676B (zh) 2018-08-10 2019-08-12 資訊處理裝置、中介裝置、模擬系統以及資訊處理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018151917 2018-08-10
JP2018151917 2018-08-10

Publications (2)

Publication Number Publication Date
JP2020026026A JP2020026026A (ja) 2020-02-20
JP7384575B2 true JP7384575B2 (ja) 2023-11-21

Family

ID=69414224

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019105752A Active JP7384575B2 (ja) 2018-08-10 2019-06-05 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
JP2019105754A Active JP7281349B2 (ja) 2018-08-10 2019-06-05 遠隔操作システム
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105751A Active JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2019105754A Active JP7281349B2 (ja) 2018-08-10 2019-06-05 遠隔操作システム
JP2019105728A Active JP7333204B2 (ja) 2018-08-10 2019-06-05 情報処理装置、ロボット操作システム、及びロボット操作方法
JP2019105751A Active JP7281348B2 (ja) 2018-08-10 2019-06-05 トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法
JP2019105753A Active JP7340964B2 (ja) 2018-08-10 2019-06-05 仲介装置および仲介方法
JP2020535925A Active JP7130752B2 (ja) 2018-08-10 2019-08-09 ロボットシステム

Country Status (7)

Country Link
US (3) US12027060B2 (ja)
EP (1) EP3835007A4 (ja)
JP (6) JP7384575B2 (ja)
KR (1) KR102518131B1 (ja)
CN (1) CN112469539B (ja)
TW (1) TWI782223B (ja)
WO (1) WO2020032265A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032207A1 (ja) * 2018-08-10 2020-02-13 川崎重工業株式会社 情報処理装置、ロボット操作システム、及びロボット操作方法
CN114502337B (zh) * 2019-12-13 2024-01-09 川崎重工业株式会社 机器人系统以及工件的三维模型的形成方法
CN119367155A (zh) * 2020-04-10 2025-01-28 川崎重工业株式会社 医疗用移动体系统及其运行方法
US20230356389A1 (en) * 2020-09-25 2023-11-09 Nec Corporation Control device, control method and storage medium
US12202148B2 (en) * 2020-12-22 2025-01-21 Intel Corporation Autonomous machine collaboration
JP7674114B2 (ja) * 2021-02-26 2025-05-09 川崎重工業株式会社 情報処理装置、学習装置、情報処理システム、ロボットシステム及び評価方法
KR102453962B1 (ko) * 2021-12-10 2022-10-14 김판수 행동 모사 플랫폼 서비스 제공 시스템
JP7668241B2 (ja) * 2022-02-28 2025-04-24 川崎重工業株式会社 情報処理装置
GB2622622A (en) * 2022-09-23 2024-03-27 Rolls Royce Plc Robot control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260891A (ja) 2003-02-25 2004-09-16 Yaskawa Electric Corp モータの制御装置及び制御方法
JP2004309858A (ja) 2003-04-08 2004-11-04 Namco Ltd シミュレータ、プログラム及び情報記憶媒体
JP2004328829A (ja) 2003-04-22 2004-11-18 Yaskawa Electric Corp モータの制御装置及び制御方法
JP2014520279A (ja) 2011-05-05 2014-08-21 ザ・ジョンズ・ホプキンス・ユニバーシティー タスク軌跡を分析する方法およびシステム

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51106455A (ja) * 1975-03-15 1976-09-21 Nobumasa Kobayashi Seisandosapitsuchikaisujidohyojisochi
JPS60181803A (ja) * 1984-02-28 1985-09-17 Shin Meiwa Ind Co Ltd 産業用ロボツトにおける制御方法
US5046022A (en) * 1988-03-10 1991-09-03 The Regents Of The University Of Michigan Tele-autonomous system and method employing time/position synchrony/desynchrony
JPH0639753A (ja) * 1991-09-18 1994-02-15 Fujitsu Ltd ロボットの遠隔操作支援装置
JP3304251B2 (ja) 1995-11-27 2002-07-22 松下電工株式会社 組立ロボットの自動教示方法及びその装置
JP3876573B2 (ja) * 1999-09-20 2007-01-31 カシオ計算機株式会社 ネットゲーム装置及び似顔絵画像表示制御方法
JP3286665B2 (ja) 1999-12-27 2002-05-27 川崎重工業株式会社 ロボット遊戯装置の制御方法およびロボット遊戯装置
JP2002108975A (ja) * 2000-10-02 2002-04-12 Komatsu Ltd 施工量管理システム
JP2003265852A (ja) * 2003-03-10 2003-09-24 Konami Co Ltd ゲーム用サーバ装置、ゲーム管理方法及びゲーム管理プログラム
JP2006051586A (ja) * 2004-08-13 2006-02-23 Speecys Kk ロボットコントロールシステム
JP4823509B2 (ja) 2004-11-05 2011-11-24 日立電子サービス株式会社 教育受講ナビゲーションシステム
JP2007183332A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
JP5064835B2 (ja) * 2007-02-28 2012-10-31 株式会社アルバック 基板搬送装置
JP5083617B2 (ja) 2008-01-31 2012-11-28 澁谷工業株式会社 遠隔操作ロボット装置
JP2009213754A (ja) * 2008-03-12 2009-09-24 Taito Corp 対戦ゲームシステム
US20090291764A1 (en) 2008-05-21 2009-11-26 George Francis Kirkman System and apparatus for a controlled toy to interact with a computer game
CN101623867B (zh) * 2008-07-11 2010-12-01 中国科学院沈阳自动化研究所 一种使机器人高精度跟踪指定路径的设备和方法
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
JP5726850B2 (ja) 2009-03-20 2015-06-03 ザ ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
US20120238366A1 (en) 2011-03-15 2012-09-20 Maurice Tedder Robot Game for Multiple Players that is Remotely Controlled over a Network
JP5838873B2 (ja) 2012-03-15 2016-01-06 オムロン株式会社 シミュレーション装置、シミュレーション方法、および、シミュレーションプログラム
CN104203505A (zh) * 2012-03-22 2014-12-10 株式会社安川电机 作业机器人及机器人系统
JP5975704B2 (ja) * 2012-04-10 2016-08-23 曙機械工業株式会社 作業の指標表示装置とその装置を用いた作業の指標表示方法
EP2875914A1 (en) * 2012-07-20 2015-05-27 Kabushiki Kaisha Yaskawa Denki Robot simulator, robot teaching device and robot teaching method
US9623561B2 (en) * 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
JP6140522B2 (ja) * 2013-05-10 2017-05-31 株式会社富士通アドバンストエンジニアリング 評価支援方法、評価支援装置、および評価支援プログラム
JP5740433B2 (ja) * 2013-05-24 2015-06-24 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
JP2015047666A (ja) 2013-09-02 2015-03-16 トヨタ自動車株式会社 遠隔操作装置、及び操作画像表示方法
US9300430B2 (en) * 2013-10-24 2016-03-29 Harris Corporation Latency smoothing for teleoperation systems
JP6358463B2 (ja) * 2013-11-13 2018-07-18 パナソニックIpマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
JP2015220574A (ja) 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP6350037B2 (ja) 2014-06-30 2018-07-04 株式会社安川電機 ロボットシミュレータおよびロボットシミュレータのファイル生成方法
WO2016077531A1 (en) 2014-11-13 2016-05-19 Intuitive Surgical Operations, Inc. Integrated user environments
JP6002199B2 (ja) 2014-11-28 2016-10-05 グリー株式会社 ゲームプログラム、ゲーム処理方法、および、情報処理装置
DE102014118001A1 (de) * 2014-12-05 2016-06-09 Broetje-Automation Gmbh Verfahren zur Bewegungssimulation eines Manipulators
US9550120B2 (en) * 2014-12-08 2017-01-24 Cubic Corporation Toll image review gamification
US10345788B2 (en) 2014-12-26 2019-07-09 Kawasaki Jukogyo Kabushiki Kaisha Robot system
JP6494331B2 (ja) * 2015-03-03 2019-04-03 キヤノン株式会社 ロボット制御装置およびロボット制御方法
US9808933B2 (en) * 2015-04-03 2017-11-07 GM Global Technology Operations LLC Robotic system with reconfigurable end-effector assembly
JP6240689B2 (ja) * 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP6778199B2 (ja) * 2015-08-25 2020-10-28 川崎重工業株式会社 遠隔操作ロボットシステム
JP6365478B2 (ja) * 2015-09-17 2018-08-01 株式会社安川電機 移送システムおよび移送方法
JP6386516B2 (ja) * 2016-01-14 2018-09-05 ファナック株式会社 学習機能を備えたロボット装置
US10525596B2 (en) * 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
CN108885715B (zh) * 2016-03-03 2020-06-26 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
US10220511B2 (en) * 2016-07-28 2019-03-05 X Development Llc Customized robotic installation based on measurements collected on site
FR3054468B1 (fr) * 2016-07-29 2018-08-31 Staubli Faverges Procede de commande d'un robot a usage industriel
JP6640060B2 (ja) 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
JP6506245B2 (ja) * 2016-12-26 2019-04-24 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6902369B2 (ja) * 2017-03-15 2021-07-14 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
CN107020636A (zh) * 2017-05-09 2017-08-08 重庆大学 一种基于策略梯度的机器人学习控制方法
EP3691840A1 (en) * 2017-10-06 2020-08-12 Moog Inc. Teleoperation systems, method, apparatus, and computer-readable medium
TWM559195U (zh) * 2017-10-13 2018-05-01 Shi Ru Ling 實體化場景移動遊戲總成
CN107803841B (zh) * 2017-10-17 2020-11-17 深圳市一棵大树国际教育科技有限公司 一种基于机器人的智能教学纠正方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260891A (ja) 2003-02-25 2004-09-16 Yaskawa Electric Corp モータの制御装置及び制御方法
JP2004309858A (ja) 2003-04-08 2004-11-04 Namco Ltd シミュレータ、プログラム及び情報記憶媒体
JP2004328829A (ja) 2003-04-22 2004-11-18 Yaskawa Electric Corp モータの制御装置及び制御方法
JP2014520279A (ja) 2011-05-05 2014-08-21 ザ・ジョンズ・ホプキンス・ユニバーシティー タスク軌跡を分析する方法およびシステム

Also Published As

Publication number Publication date
JP2020026028A (ja) 2020-02-20
JP7333204B2 (ja) 2023-08-24
JP7281348B2 (ja) 2023-05-25
JP7281349B2 (ja) 2023-05-25
CN112469539A (zh) 2021-03-09
JP2020026027A (ja) 2020-02-20
JP2020026026A (ja) 2020-02-20
CN112469539B (zh) 2024-02-13
JP2020026024A (ja) 2020-02-20
US20240331566A1 (en) 2024-10-03
JP2020026025A (ja) 2020-02-20
KR20210041040A (ko) 2021-04-14
JPWO2020032265A1 (ja) 2021-08-10
JP7130752B2 (ja) 2022-09-05
US12027060B2 (en) 2024-07-02
KR102518131B1 (ko) 2023-04-05
EP3835007A4 (en) 2022-06-08
EP3835007A1 (en) 2021-06-16
US12046148B2 (en) 2024-07-23
US20210201692A1 (en) 2021-07-01
US20210316461A1 (en) 2021-10-14
TW202012131A (zh) 2020-04-01
WO2020032265A1 (ja) 2020-02-13
JP7340964B2 (ja) 2023-09-08
TWI782223B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
JP7384575B2 (ja) 情報処理装置、仲介装置、シミュレートシステム、情報処理方法及びプログラム
KR102571997B1 (ko) 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법
KR102529023B1 (ko) 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법
TW201905729A (zh) 動作預測系統以及動作預測方法
CN103203753B (zh) 用于识别和处理异常情况的机器人和方法
EP1310844A1 (en) Simulation device
CN103838563A (zh) 自动装置的程序开发方法
CN110214042A (zh) 模块化电子系统
CN116394276A (zh) 一种样本生成、模型训练方法、装置及系统
JP7506180B2 (ja) 教示支援装置、作業システム、教示支援方法および教示支援プログラム
CN112469538A (zh) 数据生成装置及方法、数据生成程序、以及远程操作系统
CN114330755A (zh) 数据集的生成方法、装置、机器人和存储介质
TWI475483B (zh) 自動裝置的程式開發方法
JP2023050798A (ja) 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム
US20240109188A1 (en) Operation apparatus, robot system, manufacturing method, control method, and recording medium
Besari et al. Preliminary design of interactive visual mobile programming on educational robot ADROIT V1
CN118682741A (zh) 机器人控制系统
US20240001542A1 (en) Motion learning system and method for programming at least one robotic device
CN114897339A (zh) 任务评价方法、装置、存储介质及电子设备
JP7813108B2 (ja) 操作端末、ロボットシステム及びコンピュータプログラム
JP7813109B2 (ja) ロボットシステム
Oye et al. Implementation of a User-Centric Mobile Application for Real-Time Control and Monitoring of Floor Cleaning Robots
CN115343954A (zh) 自适应控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7384575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150