JP7615723B2 - 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム - Google Patents

遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム Download PDF

Info

Publication number
JP7615723B2
JP7615723B2 JP2021018318A JP2021018318A JP7615723B2 JP 7615723 B2 JP7615723 B2 JP 7615723B2 JP 2021018318 A JP2021018318 A JP 2021018318A JP 2021018318 A JP2021018318 A JP 2021018318A JP 7615723 B2 JP7615723 B2 JP 7615723B2
Authority
JP
Japan
Prior art keywords
remote operation
remote
actual machine
work machine
processing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021018318A
Other languages
English (en)
Other versions
JP2022121138A (ja
Inventor
龍一 廣瀬
隆行 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2021018318A priority Critical patent/JP7615723B2/ja
Priority to EP22152029.9A priority patent/EP4039891B1/en
Priority to CN202210099530.0A priority patent/CN114908824A/zh
Priority to US17/587,213 priority patent/US12233890B2/en
Publication of JP2022121138A publication Critical patent/JP2022121138A/ja
Application granted granted Critical
Publication of JP7615723B2 publication Critical patent/JP7615723B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/226—Communication links with the remote-control arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Telephonic Communication Services (AREA)
  • Lifting Devices For Agricultural Implements (AREA)
  • Transplanting Machines (AREA)

Description

本発明は、遠隔操作装置により油圧ショベル等の作業機械を遠隔操作する技術に関する。
遠隔操作装置により作業機械が遠隔操作される場合、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる必要がある。
特許文献１では、作業機械を構成する実機操作レバー等の実機操作機構の操作特性を、当該作業機械を遠隔操作するための遠隔操作装置を構成する遠隔操作レバー等の遠隔操作機構の操作特性に一致させるための補正値が登録されており、当該補正値に基づいて遠隔操作機構に入力された操作量を補正して実機操作機構に送信することで、遠隔操作機構に入力された操作量通りに作業機械を稼動させる補正制御が実行されている。補正値は、作業機械の形式情報と遠隔操作機構の形式情報との組み合わせに対応付けられている。
特開２０１９－１６７７３２号公報
ところで、遠隔操作装置による遠隔操作の対象である実機操作機構が変更されることがある。例えば、遠隔操作装置の遠隔操作の対象である作業機械に搭載され遠隔操作可能な実機操作機構は改造により増減する。また、遠隔操作装置が、その遠隔操作の対象である作業機械を第一作業機械から第二作業機械に切り替えた場合には、第一作業機械で設けられている実機操作機構と第二作業機械で設けられている実機操作機構が対応しなくなることがある。実機操作機構が変更されると、登録されていた補正値では対応できなくなる可能性があり、新たに補正値を取得して登録する必要がある。
また、遠隔操作装置を構成する遠隔操作レバー等の遠隔操作機構が変更されることがある。例えば、実機操作機構の操作パターンが変更される。そうすると、実機操作機構に対応している実機操作機構が変更されるので、登録されていた補正値では対応できなくなる可能性があり、新たに補正値を取得して登録する必要がある。
したがって、遠隔操作の開始時において、補正値を確かめて登録することで、遠隔操作装置の設定を遠隔操作対象の作業機械に確実に合わせる処理を実行することが想定される。
しかしながら、遠隔操作装置と作業機械との通信が確立されるたびに、当該処理を実行するようにすると、実機操作機構や遠隔操作機構に変更がない場合にまで当該処理が実行されてしまい、当該処理が終了するまで当該作業機械の遠隔操作を開始できなくなってしまう。
そこで、本発明は、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる処理の効率化により、作業機械の遠隔操作効率の向上を図りうるサーバ等を提供することを目的とする。
本発明の遠隔操作支援システムは、
遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記遠隔操作装置を構成する遠隔操作機構による遠隔操作を意図する前記作業機械を構成する実機操作機構の対応を表す操作設定を定義する遠隔操作因子と、遠隔操作を受けることで稼働可能な前記実機操作機構の対応を表す操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第１支援処理要素と、
前記第１支援処理要素により認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第２支援処理要素と、
を備えている。
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが対応していない場合、遠隔操作装置を構成する遠隔操作機構の操作方式と作業機械を構成する実機操作機構の操作方式とを対応させるための処理が実行される。これにより、両因子が一致している場合には両操作因子を対応させるための処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。よって、当該処理の効率化により、作業機械の遠隔操作効率の向上が図られる。
本発明の遠隔操作支援システムにおいて、
前記第１支援処理要素が、前記遠隔操作機構が遠隔操作の対象として設定している前記実機操作機構に応じた前記遠隔操作因子と、前記遠隔操作機構の遠隔操作の対象となった前記作業機械を構成する前記実機操作機構に応じた前記実機操作因子が対応しているか否かの前記判定結果を認識する
ことが好ましい。
当該構成の遠隔操作支援システムによれば、第１支援処理要素により遠隔操作装置による遠隔操作の対象である実機操作機構が変更されたか否かを判定することができる。これにより、実機操作機構が変更されていない場合には両操作因子を対応させる処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。一方、実機操作機構が変更された場合には確実に因子を対応させる処理の実行がされる。
本発明の遠隔操作支援システムにおいて、
前記第１支援処理要素により認識された前記判定結果が否定的であることを要件として、前記第２支援処理要素が、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
ことが好ましい。
当該構成の遠隔操作支援システムによれば、両操作因子を対応させる処理の実行をする場合に、さらに実機操作機構の操作特性を遠隔操作機構の操作特性に一致させる処理が行われる。これにより、操作因子の変更があった場合でも変更前と同等の操作性を維持することができる。
本発明の遠隔操作支援システムにおいて、
前記第１支援処理要素が、前記遠隔操作機構により遠隔操作の対象となった前記作業機械を構成する前記実機操作機構を遠隔操作する際の操作パターンを認識し、
前記第２支援処理要素が、前記第１支援処理要素により認識された前記判定結果が否定的であること、および、前記第１支援処理要素により認識された前記操作パターンに変更があったことの少なくとも一方を要件として、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
ことが好ましい。
当該構成の遠隔操作支援システムによれば、操作パターンおよび操作因子の少なくとも一方が変更される場合に実機操作機構の操作特性を遠隔操作機構の操作特性に対応させる処理が行われる。これにより、操作パターンのみが変更される場合であっても変更前と同等の操作性を維持することができる。
本発明の遠隔操作支援システムにおいて、
前記第２支援処理要素が、前記遠隔操作装置を構成する遠隔出力インターフェースに前記遠隔操作因子の変更を促すメッセージを出力させ、かつ、前記遠隔操作装置を構成する遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子を認識する
ことが好ましい。
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが相違している場合、遠隔操作装置を構成する遠隔操作機構の操作方式と作業機械を構成する実機操作機構の操作方式とを対応させるための処理が、遠隔操作装置においてユーザの意思に応じて実行される。これにより、両因子が対応している場合には当該処理の実行完了を待つことなく、遠隔操作装置により作業機械の遠隔操作が開始されうる。よって、当該処理の効率化により、作業機械の遠隔操作効率の向上が図られる。
本発明の遠隔操作支援サーバにおいて、
前記第２支援処理要素により、前記遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子が認識された後、前記第１支援処理要素が、前記作業機械との通信に基づき、前記遠隔操作因子と前記実機操作因子とが対応しているか否かの判定結果を認識することが好ましい。
当該構成の遠隔操作支援サーバによれば、遠隔操作装置においてユーザの意思に応じて実行された処理により、遠隔操作因子と実機操作因子とが対応していない場合でも、両因子の確実な対応が図られる。よって、作業機械の遠隔操作効率の向上が図られる。
本発明の遠隔操作支援システムに関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 操作支援システムの第１機能に関する説明図。 作業環境画像に関する説明図。 操作支援システムの第２機能の第１実施形態に関する説明図。 駆動指令および実機操作レバーの操作量の関係に関する説明図。 駆動指令および遠隔操作レバーの操作量の関係に関する説明図。 操作支援システムの第２機能の第２実施形態に関する説明図。 操作支援システムの第２機能の変形例に関する説明図。
（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援複合システムは、遠隔操作支援サーバ１０と、遠隔操作装置２０および／または作業機械４０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０のそれぞれは相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
本発明の構成要素が情報を「認識する」とは、当該情報を受信すること、当該情報を記憶装置から読み出すこと、当該情報をデータベースから検索すること、当該情報を測定すること、受信等された基礎情報に基づき、当該情報を決定、判定、推定または予測すること、当該情報を記憶装置に保存することなど、後続する演算処理において当該情報を利用可能な状態にするためのあらゆる演算処理を包含する概念である。
（遠隔操作支援サーバの構成）
遠隔操作支援システムを構成する遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２２と、を備えている。
遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。
（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。
実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
（第１機能）
前記構成の遠隔操作支援システムの基本機能としての第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。受信されたデータは、データベース１０２および／または不揮発性もしくは揮発性のメモリにより構成されている記憶装置に格納される。これらの事項は、後述するフローチャートにおいても同様である。
遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。
遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。
作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。ここで、実機制御装置４００またはこれを構成する画像処理装置により、画像処理が実行されてもよい。実機制御装置４００により、実機無線通信機器４２２を通じて、当該画像処理が施された撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１２）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。画像処理装置３０が遠隔操作支援サーバ１０により構成されている場合、撮像画像データが画像処理装置３０により画像処理されることにより環境画像データが生成されてもよい。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。
これにより、例えば、図５に示されているように、キャブ４２４を画定する、右窓枠Ｑ１、上窓枠Ｑ２、左窓枠Ｑ３および下窓枠Ｑ４により構成されている窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる環境画像が画像出力装置４２１に出力される。撮像画像の画像処理により、あるいは、撮像装置４１２の画角調整により、窓枠Ｑ１～Ｑ４のうち少なくとも一部が映り込まないように環境画像が生成されてもよい。撮像装置４２１がキャブ４２４の内部ではなく外部に設けられている場合、窓枠Ｑ１～Ｑ４など、キャブ４２４の構成部品が映り込まないような撮像画像、ひいては環境画像が取得可能である。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。
遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１４）。
作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（第２機能（第１実施形態））
前記構成の遠隔操作支援システムのキャリブレーション機能としての第２機能の第１実施形態について図６に示されているフローチャートを用いて説明する。
遠隔操作装置２０において、遠隔制御装置２００により遠隔無線通信機器２２２を通じて、遠隔操作因子が実機識別子とともに遠隔操作支援サーバ１０に対して送信される（図６／ＳＴＥＰ２２０）。遠隔入力インターフェース２１０におけるトリガ操作（実機識別子の入力または遠隔操作態様の指定）があったことに応じて、遠隔操作因子および実機識別子が遠隔操作装置２０から送信されてもよい。「遠隔操作因子」は、遠隔操作装置２０を構成する遠隔操作機構２１１の遠隔操作設定を定義する因子である。「遠隔操作因子」は、遠隔操作機構２１１により遠隔操作を意図する作業機械４０を構成する実機操作機構４１１に対応している。当該対応関係が、表１に例示されている。
Figure 0007615723000001
表１に示されているように、遠隔操作機構２１１により遠隔操作を意図する作業機械４０を構成する実機操作機構４１１がブーム操作レバー、アーム操作レバー、バケット操作レバーおよび旋回操作レバーである場合、遠隔操作設定Ａ１が設定される。遠隔操作設定Ａ１で左右の操作レバーの傾動により発生する遠隔操作が設定されているが、走行レバーおよびオプションペダルの傾動により発生する遠隔操作は設定されていない。遠隔操作機構２１１の操作を通じて下部走行体４１０の動作を伴う作業機械４０の走行が意図されている場合、遠隔操作設定Ａ２が設定され、走行レバーの傾動により発生する遠隔操作が設定される。遠隔操作機構２１１によりグラップル等のオプション装置の操作が意図されている場合は遠隔操作設定Ａ３が設定され、ＯＰＴペダルの傾動により発生する遠隔操作が設定される。遠隔操作設定は、遠隔操作設定Ａ１～Ａ３以外のものも設定することが可能であり、例えば操作パターンの設定の変更が相当する。「実機識別子」は、遠隔操作装置２０の遠隔操作対象である作業機械４０を識別または特定するための識別子またはデータである。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により遠隔操作因子および実機識別子が受信され（図６／Ｃ１２０）、当該実機識別子により識別される作業機械４０に対して、実機操作因子取得要求が送信される（図６／ＳＴＥＰ１２０）。
該当する作業機械４０において、実機制御装置４００により実機無線通信機器４２２を通じて実機操作因子要求が受信されると（図６／Ｃ４２０）、実機操作因子が記憶装置またはデータベースから読み取られるまたは検索されることにより認識される（図６／ＳＴＥＰ４２０）。そして、実機制御装置４００により実機無線通信機器４２２を通じて、実機操作因子および実機識別子が遠隔操作支援サーバ１０に対して送信される（図６／ＳＴＥＰ４２２）。「実機操作因子」は、作業機械４０を構成する実機操作機構４１１の実機操作設定を定義する因子であり、遠隔操作を受けることが可能な実機操作機構４１１に対応している。当該対応関係が表２に例示されている。
Figure 0007615723000002
表２に示されているように、遠隔操作機構２１１により遠隔操作を意図する作業機械４０を構成する実機操作機構４１１がブーム操作レバー、アーム操作レバー、バケット操作レバーおよび旋回操作レバーである場合、実機操作設定Ｂ１が設定される。実機操作設定Ｂ１において〇が付されている実機操作機構は遠隔操作を受けることで稼働可能なものであり、〇が付されていない実機操作機構は遠隔操作を受けたとしても稼働させることができないものである。実機操作機構４１１が走行の遠隔操作を受けることが可能である場合には、実機操作設定Ｂ２が設定され、実機操作機構４１１がグラップル等のオプション装置の遠隔操作を受けることが可能である場合には、実機操作設定Ｂ３が設定される。実機操作因子は、作業機械４０の実機制御装置４００が当該作業機械４０の実機操作機構４１１の構成を認識することや、作業機械４０の整備をするサービスマンにより入力されることで設定される。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により実機操作因子および実機識別子が受信され（図６／Ｃ１２１）、さらに遠隔操作装置２０にて受信される（図６／Ｃ２２０）。
遠隔操作装置２０において、実機操作因子および実機識別子が受信される（図６／Ｃ２２０）と、当該実機操作因子と、当該実機識別子に関連付けられている遠隔操作因子（図６／Ｃ１２０参照）と、が対応しているか否かが判定される（図６／ＳＴＥＰ２２１）。
例えば、実機操作因子が操作設定Ｂ１である場合には、機操作機構４１１がブーム、アーム、バケット、旋回の遠隔操作を受けることが可能であり、遠隔操作因子として操作設定Ａ１が遠隔操作機構２１１に設定される場合には、両因子は対応していることになる。同様にして、操作設定Ｂ２に対して操作設定Ａ２、操作設定Ｂ３に対して操作設定Ａ３が設定される場合には、両因子は対応していることになる。
両因子が対応していても、作業機械４０に搭載され遠隔操作可能な実機操作機構が改造により増減された場合には、両因子が対応しなくなる。また、両因子が対応していても、遠隔操作装置２０がその遠隔操作の対象である作業機械を切り替えた場合には、両因子が対応しなくなる。さらに、遠隔操作機構２１１について操作パターンの設定が変更された場合には、両因子が対応しなくなる。
当該判定結果が肯定的である場合（図６／ＳＴＥＰ２２１‥ＹＥＳ）、第１フラグｆ１が「１」に設定される（図６／ＳＴＥＰ２２２）。その一方、当該判定結果が否定的である場合（図６／ＳＴＥＰ２２１‥ＮＯ）、遠隔操作因子が実機識別子に対応しているように変更され（図６／ＳＴＥＰ２２３）、第１フラグｆ１が「０」に設定される（図６／ＳＴＥＰ２２３）。すなわち、第１フラグｆ１の値が「１」である場合、遠隔操作因子および実機操作因子が対応していることを意味し、第１フラグｆ１の値が「０」である場合、遠隔操作因子および実機操作因子が対応していないことを意味している。
次いで、遠隔操作装置２０において、遠隔操作機構２１１による操作パターン変更があるか否かが判定される（図６／ＳＴＥＰ２２５）。例えば、遠隔操作装置を操作するオペレータが変わると操作パターンが変更されることがある。操作パターンの変更がある場合（図６／ＳＴＥＰ２２５‥ＹＥＳ）、実機操作機構２１１に対する入力される操作が変更になるので、遠隔操作機構２１１に入力された操作量通りに作業機械２０を稼動させるために遠隔操作機構２１１に入力された操作量に対する実機操作機構の出力を補正すべき量が変化する。
操作パターン変更がない場合（図６／ＳＴＥＰ２２５‥ＮＯ）、第１フラグｆ１の値が「０」であるか否かが判定される（図６／ＳＴＥＰ２２６）。第１フラグｆ１の値が「０」である場合（図６／ＳＴＥＰ２２６‥ＹＥＳ）、遠隔操作因子の変更があり実機操作機構２１１に対する入力される操作が変更になるので、遠隔操作機構２１１に入力された操作量通りに作業機械２０を稼動させるために遠隔操作機構２１１に入力された操作量に対する実機操作機構の出力を補正すべき量が変化する。
第１フラグｆ１の値が「０」ではない場合（図６／ＳＴＥＰ２２５‥ＮＯ）、実機操作因子の変更があるか否かが判定される（図６／ＳＴＥＰ２２７）。例えば、遠隔操作装置２０の遠隔操作の対象である作業機械４０に搭載され遠隔操作可能な実機操作機構２１１は改造により増減するので、前回遠隔操作時の実機操作因子と今回遠隔操作時の実機操作因子が対応していない場合がある。また、遠隔操作装置２０が、その遠隔操作の対象である作業機械を第１作業機械から第２作業機械に切り替えた場合には、第１作業機械で設けられている実機操作機構と第２作業機械で設けられている実機操作機構が相違することがあり、この場合に実機操作因子が対応していない。機操作因子が対応していないと、遠隔操作機構２１１に入力された操作量通りに作業機械２０を稼動させるために遠隔操作機構２１１に入力された操作量に対する実機操作機構４１１の出力を補正すべき量が変化する。実機操作因子の変更がないと判定された場合（図６／ＳＴＥＰ２２７‥ＮＯ）、一連の処理が終了する。
操作パターン変更がある場合（図６／ＳＴＥＰ２２５‥ＹＥＳ）、第１フラグｆ１の値が「０」である場合（図６／ＳＴＥＰ２２６‥ＹＥＳ）、および実機操作因子の変更がある場合（図６／ＳＴＥＰ２２７‥ＹＥＳ）、遠隔操作装置２０にて遠隔操作機構２１１に入力された操作量に対する実機操作機構の出力を補正すべき量を調整するための校正要求が、実機識別子とともに遠隔操作支援サーバ１０に対して送信される（図６／ＳＴＥＰ２２８）。
遠隔操作支援サーバ１０が校正要求および実機識別子を受信した場合（図６／Ｃ１２２）、遠隔操作装置２０の遠隔操作対象である作業機械４０と遠隔操作装置２０に対して校正指令を送信する（図６／ＳＴＥＰ１２２）。
作業機械４０が校正指令を受信した場合（図６／Ｃ４２１）、実機操作機構４１１の校正処理が実行され（図６／ＳＴＥＰ４２４）、遠隔操作装置２０が校正指令を受信した場合（図６／Ｃ２２１）、遠隔操作機構２１１の校正処理が実行される（図６／ＳＴＥＰ２２９）。
例えば、実機操作機構４１１を構成する実機操作レバーの操作量を校正する校正処理が実行されると、実機操作レバーを中立位置および最大操作量の操作位置のそれぞれに位置合わせするようにレバー駆動アクチュエータの動作が制御され、それぞれの操作位置でのレバー駆動アクチュエータの制御指令値または位置が記憶され、レバー駆動制御部は記憶した制御指令値を用いて操作レバーの駆動指令とレバー駆動アクチュエータの制御指令値との対応関係を定義するデータを作成する。これにより、駆動指令に応じた実機操作機構４１１を構成する実機操作レバーの操作状態または操作位置が、遠隔操作対象である作業機４０に応じてばらつきを生じることを防止し得るように当該データが決定される。
レバー駆動制御部は、前述したデータを作成する処理の実行後に、レバー操作指令部から受信する駆動指令に応じてレバー駆動アクチュエータを作動させるときには、受信した駆動指令と、第記憶保持した前記データとから決定した制御指令値によりレバー駆動アクチュエータの作動制御を実行する。これにより、遠隔操作装置２０を構成する遠隔操作機構２１１の操作に応じて実現される作業機４０の実機操作機構４１１を構成する実機操作レバーの操作状態のばらつきを生じることを適切に防止することが可能となる。例えば、操作装置の操作により、油圧作業機の第１操作レバーを中立位置に操作すること、および／または、最大操作量に操作することを、遠隔操作対象である作業機械４０の種類・諸元等の相違によらずに適切に実現できる。
操作レバーは、操作者が手動操作を実行する操作部に限らず、操作者が足で操作を実行する操作部（例えばペダル型の操作部） であってもよい。
作業機械４０の実機操作レバーの操作に関する校正処理に関連するデータは、図７に実線で示されているように、０％から＋１００％までの駆動指令の範囲と、０％ から－１００％までの駆動指令の範囲とで、制御指令値に対応している実機操作レバーの操作量が、駆動指令に対して線形に変化するように、駆動指令と制御指令値との間の関係を示す関係データが生成される。ここで、０％はレバーを駆動しない指令、＋１００％はレバーを正の方向に最大駆動させる指令、－１００％はレバーを負の方向に最大駆動させる指令である。図７には、処理の実行前の関係データにより表される駆動指令と実機操作レバーの操作量との間の関係が二点鎖線により例示されている。
これにより、操作レバーの操作に応じた油圧アクチュエータの動作が同じような動作になるようになるように、作業機械４０を遠隔操作することができる。
遠隔操作装置２０の遠隔操作機構２１１を構成する遠隔操作レバーの操作に関する校正処理に関連するデータは、図８に実線で示されているように、０％から＋１００％までの駆動指令の範囲と、０％から－１００％までの駆動指令の範囲とで、駆動指令が遠隔操作レバーの操作量（揺動角度） の変化に対して線形に変化するように、遠隔操作レバーの操作量と駆動指令との間の関係を規定する関係データが作成される。図８には、処理の実行前の関係データにより表される遠隔操作レバーの操作量と駆動指令との間の関係が二点鎖線により例示されている。
これにより、遠隔操作機構２１１を構成する遠隔操作レバーの操作に応じた油圧アクチュエータの動作が、実機操作機構４１１を構成する実機操作レバーの操作に応じた油圧アクチュエータの動作と同じような動作になるようになるように、作業機械２０を遠隔操作することができる。以上の処理の結果、遠隔操作装置２０を通じて作業機械４０を前記のように遠隔操作することができる状態になる（図４参照）。
（第２機能（第２実施形態））
前記構成の遠隔操作支援システムのキャリブレーション機能としての第２機能の第２実施形態について図９に示されているフローチャートを用いて説明する。
遠隔操作装置２０において、遠隔制御装置２００により遠隔無線通信機器２２２を通じて、遠隔操作因子が実機識別子とともに遠隔操作支援サーバ１０に対して送信される（図７／ＳＴＥＰ２４０）。遠隔入力インターフェース２１０におけるトリガ操作（実機識別子の入力または遠隔操作態様の指定）があったことに応じて、遠隔操作因子および実機識別子が遠隔操作装置２０から送信されてもよい。
作業機械４０において、第１支援処理要素１２１により遠隔操作因子および実機識別子が受信され（図９／Ｃ１４０）、当該実機識別子により識別される作業機械４０に対して、遠隔操作因子が送信される（図９／ＳＴＥＰ１４０）。
該当する作業機械４０において、実機制御装置４００により実機無線通信機器４２２を通じて遠隔操作因子が受信されると（図９／Ｃ４４０）、実機操作因子が記憶装置またはデータベースから読み取られるまたは検索されることにより認識される（図９／ＳＴＥＰ４４０）。そして、実機制御装置４００により当該実機操作因子と、当該実機識別子に関連付けられている遠隔操作因子（図９／Ｃ４２０参照）と、が対応しているか否かが判定される（図９／ＳＴＥＰ４４１）。
当該判定結果が肯定的である場合（図９／ＳＴＥＰ４４１‥ＹＥＳ）、第２フラグｆ２が「１」に設定される（図９／ＳＴＥＰ４４３）。その一方、当該判定結果が否定的である場合（図９／ＳＴＥＰ４４１‥ＮＯ）、第２フラグｆ２が「０」に設定される（図９／ＳＴＥＰ４４４）。すなわち、第２フラグｆ２の値が「１」である場合、遠隔操作因子および実機操作因子が対応していることを意味し、第２フラグｆ２の値が「０」である場合、遠隔操作因子および実機操作因子が対応していないことを意味している。
２フラグｆ２が「１」に設定される（図９／ＳＴＥＰ４４３）、又は第２フラグｆ２が「０」に設定される（図９／ＳＴＥＰ４４４）と、実機制御装置４００により実機無線通信機器４２２を通じて第２フラグｆ２が遠隔操作支援サーバ１０に対して送信される（図９／ＳＴＥＰ４４５）。
遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２フラグｆ２が受信されると、当該第２フラグｆ２を表わすデータが遠隔操作装置２０に送信される（図９／Ｃ１４１） 。
遠隔操作装置２０において、第２フラグｆ２の値を表わすデータが受信される（図９／Ｃ２４０）と、第２支援処理要素１２２にて第２フラグｆ２が「１」であるか否かが判定される（図９／ＳＴＥＰ２４１） 。
当該判定結果が否定的である場合（図９／ＳＴＥＰ２４１‥ＮＯ）、遠隔制御装置２００により遠隔操作因子の変更を促すためのメッセージが遠隔出力インターフェース２２０を通じて出力される（図９／ＳＴＥＰ２４２）
遠隔操作因子の変更がなかったと判定された場合（図９／ＳＴＥＰ２４３‥ＮＯ）、前記メッセージが遠隔出力インターフェース２２０を通じて継続的に出力される（図９／ＳＴＥＰ２４２）。当該メッセージの出力継続時間が指定時間を超えた場合、一連の処理が終了されてもよい。
その一方、遠隔操作因子の変更があったと判定された場合（図９／ＳＴＥＰ２４３‥ＹＥＳ）、遠隔操作因子の送信（図９／ＳＴＥＰ２４０参照）以降の処理が繰り返される。
第２支援処理要素１２２にて第２フラグｆ２が「１」であると判定された場合（図９／ＳＴＥＰ２４１‥ＹＥＳ）、遠隔操作装置２０において、遠隔操作機構２１１による操作パターン変更があるか否かが判定される（図９／ＳＴＥＰ２４４）。
操作パターン変更がない場合（図９／ＳＴＥＰ２４４‥ＮＯ）、実機操作因子の変更があるか否かが判定される（図９／ＳＴＥＰ２４５）。実機操作因子の変更がないと判定された場合（図９／ＳＴＥＰ２４５‥ＮＯ）、一連の処理が終了する。
操作パターン変更がある場合（図９／ＳＴＥＰ２４４‥ＹＥＳ）および実機操作因子の変更がある場合（図９／ＳＴＥＰ２４５‥ＹＥＳ）、遠隔操作装置２０にて遠隔操作機構２１１に入力された操作量に対する実機操作機構の出力を補正すべき量を調整するための校正要求が、実機識別子とともに遠隔操作支援サーバ１０に対して送信される（図９／ＳＴＥＰ２４６）。
遠隔操作支援サーバ１０が校正要求および実機識別子を受信した場合（図９／Ｃ１４２）、遠隔操作装置２０の遠隔操作対象である作業機械４０と遠隔操作装置２０に対して校正指令を送信する（図９／ＳＴＥＰ１４０）。
作業機械４０が校正指令を受信した場合（図９／Ｃ４４１）、校正処理が実行され（図９／ＳＴＥＰ４４６）、遠隔操作装置２０が校正指令を受信（図９／Ｃ２４１）すると校正処理が実行される（図９／ＳＴＥＰ２４７）。
第２実施形態では、オペレータに遠隔操作因子の変更を促すためのメッセージを出力する。したがって、オペレータに遠隔操作因子の内容を認知させることができる。
（効果）
当該構成の遠隔操作支援システムによれば、遠隔操作因子と実機操作因子とが対応していない場合、遠隔操作装置２０を構成する遠隔操作機構２１１の遠隔操作因子と作業機械４０を構成する実機操作機構４１１の実機操作因子とを対応させるための処理が実行される。これにより、両因子が対応している場合にはキャリブレーション処理の実行完了を待つことなく、遠隔操作装置２０により作業機械４０の遠隔操作が開始されうる。よって、遠隔操作装置の設定を遠隔操作対象の作業機械に合わせる処理の効率化が図られる。
当該構成の遠隔操作支援システムによれば、第１支援処理要素１２１により遠隔操作装置２０による遠隔操作の対象である作業機械４０の実機操作機構が変更されたか否かを判定することができる。これにより、実機操作機構が変更されていない場合には両操作因子を対応させる処理の実行をすることなく、遠隔操作装置により作業機械の遠隔操作が開始され効率化が図られる。。一方、実機操作機構が変更された場合には確実に因子を対応させる処理の実行がされる。
当該構成の遠隔操作支援システムによれば、両操作因子を対応させる処理の実行をする場合に、実機操作機構の操作特性を遠隔操作装置２０の遠隔操作機構の操作特性に一致させる処理が行われる。これにより、操作因子の変更があった場合でも変更前と同等の操作性を維持することができる。
当該構成の遠隔操作支援システムによれば、操作パターンおよび操作因子の少なくとも一方が変更される場合に実機操作機構の操作特性を遠隔操作装置２０の遠隔操作機構の操作特性に対応させる処理が行われる。これにより、操作パターンのみが変更される場合であっても変更前と同等の操作性を維持することができる。
（本発明の他の実施形態）
遠隔支援処理サーバ１０の少なくとも一部の機能要素が、遠隔操作装置２０および／または作業機械４０により構成されていてもよい。例えば、第１支援処理要素１２１が、第１演算処理装置としての遠隔制御装置２００および／または実機制御装置４００により構成されていてもよい。第２支援処理要素２２１が、第２演算処理装置としての遠隔制御装置２００および／または実機制御装置４００により構成されていてもよい。遠隔操作支援サーバ１０の機能要素が遠隔操作装置２０に搭載されている場合、前記実施形態における無線通信に代えて、当該遠隔操作装置２０に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。同様に、遠隔操作支援サーバ１０の機能要素が作業機械４０に搭載されている場合、前記実施形態における無線通信に代えて、当該作業機械４０に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。
例えば、第２機能の第１実施形態に関して、図６／Ｃ１２１、ＳＴＥＰ１２２、ＳＴＥＰ１２３、ＳＴＥＰ１２４およびＳＴＥＰ１２６により表わされる機能要素が、遠隔制御装置２００により構成されていてもよい。図６／Ｃ１２０、ＳＴＥＰ１２０、Ｃ１２１、ＳＴＥＰ１２２、ＳＴＥＰ１２３、ＳＴＥＰ１２４およびＳＴＥＰ１２６により表わされる機能要素が、実機制御装置４００により構成されていてもよい。図６／Ｃ１２２、ＳＴＥＰ１２７およびＳＴＥＰ１２８により表わされる機能要素が、遠隔制御装置２００または実機制御装置４００により構成されていてもよい。
また、第２機能の第２実施形態に関して、図７／Ｃ１４２、ＳＴＥＰ１４７およびＳＴＥＰ１４８により表わされる機能要素が、遠隔制御装置２００または実機制御装置４００により構成されていてもよい。
第２機能の第１実施形態に関して、作業機械４０による実機操作因子の認識結果の遠隔操作支援サーバ１０への送付（図６／ＳＴＥＰ２２２）が、遠隔操作装置２０の遠隔操作の前に行われてもよい。この場合、作業機械４０の実機操作因子の認識結果は遠隔操作支援サーバ１０のデータベース１０２に記憶されているので、図１０に示されるように、遠隔操作装置２０から実機操作因子取得要求が送信され（図１０／ＳＴＥＰ２２０）、遠隔操作支援サーバ１０にて当該要求が受信された場合に作業機械４０と通信することなく、データベース１０２に記憶されている実機操作因子を認識する（図１０／ＳＴＥＰ５２０）ことで、実機操作因子を遠隔操作装置２０に送信することができる（図１０／ＳＴＥＰ５２１）。
第２機能の第１実施形態に関して、遠隔操作因子の内容を示すメッセージが遠隔出力インターフェース２２０を通じて出力されてもよい。
第２機能に関して、前述した実施形態では、両因子が対応していない場合、操作パターンが変更になった場合、および実機操作因子が変更になった場合に、遠隔操作装置２０にて校正要求をするようにしているが、これら条件を満たす場合であっても例外的に校正要求をしないようにすることで作業効率を向上させるようにしてもよい。例えば、遠隔操作装置２０にて遠隔操作をする作業機械４０、両操作因子の設定、および操作パターンが過去において使用した履歴がある場合には、その時の校正処理に関連するデータを用いることができる
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）。

Claims (10)

  1. 遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記遠隔操作装置を構成する遠隔操作機構による遠隔操作を意図する前記作業機械を構成する実機操作機構の対応を表す操作設定を定義する遠隔操作因子と、遠隔操作を受けることで稼働可能な前記実機操作機構の対応を表す操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第１支援処理要素と、
    前記第１支援処理要素により認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第２支援処理要素と、
    を備えている遠隔操作支援システム。
  2. 請求項１に記載の遠隔操作支援システムにおいて、
    前記第１支援処理要素が、前記遠隔操作機構が遠隔操作の対象として設定している前記実機操作機構に応じた前記遠隔操作因子と、前記遠隔操作機構の遠隔操作の対象となった前記作業機械を構成する前記実機操作機構に応じた前記実機操作因子が対応しているか否かの前記判定結果を認識する
    遠隔操作支援システム。
  3. 請求項１または２に記載の遠隔操作支援システムにおいて、
    前記第１支援処理要素により認識された前記判定結果が否定的であることを要件として、前記第２支援処理要素が、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
    遠隔操作支援システム。
  4. 請求項２に記載の遠隔操作支援システムにおいて、
    前記第１支援処理要素が、前記遠隔操作機構により遠隔操作の対象となった前記作業機械を構成する前記実機操作機構を遠隔操作する際の操作パターンを認識し、
    前記第２支援処理要素が、前記第１支援処理要素により認識された前記判定結果が否定的であること、および、前記第１支援処理要素により認識された前記操作パターンに変更があったことの少なくとも一方を要件として、前記作業機械を構成する前記実機操作機構の操作特性を、当該作業機械を遠隔操作するための前記遠隔操作装置を構成する前記遠隔操作機構の操作特性に対応させるための補正値を取得する処理を実行する
    遠隔操作支援システム。
  5. 請求項１～４のうちいずれか１項に記載の遠隔操作支援システムにおいて、
    前記第２支援処理要素が、前記遠隔操作装置を構成する遠隔出力インターフェースに前記遠隔操作因子の変更を促すメッセージを出力させ、かつ、前記遠隔操作装置を構成する遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子を認識する
    遠隔操作支援システム。
  6. 請求項５に記載の遠隔操作支援システムにおいて、
    前記第２支援処理要素により、前記遠隔入力インターフェースを通じて変更された新たな前記遠隔操作因子が認識された後、前記第１支援処理要素が、前記作業機械との通信に基づき、前記遠隔操作因子と前記実機操作因子とが対応しているか否かの判定結果を認識する
    遠隔操作支援システム。
  7. 請求項１～６のうちいずれか１項に記載の遠隔操作支援システムと、前記作業機械および前記遠隔操作装置のうち少なくとも一方と、により構成されている
    遠隔操作支援複合システム。
  8. 遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
    前記遠隔操作装置を構成する遠隔操作機構による遠隔操作を意図する前記作業機械を構成する実機操作機構の対応を表す操作設定を定義する遠隔操作因子と、遠隔操作を受けることで稼働可能な前記実機操作機構の対応を表す操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第１支援処理ステップと、
    前記第１支援処理ステップにおいて認識された当該判定結果が否定的であることを要件として、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第２支援処理ステップと、
    を備えている遠隔操作支援方法。
  9. 遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
    前記遠隔操作装置を構成する遠隔操作機構による遠隔操作を意図する前記作業機械を構成する実機操作機構の対応を表す操作設定を定義する遠隔操作因子と、遠隔操作を受けることで稼働可能な前記実機操作機構の対応を表す操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第１支援処理要素と、
    前記第１支援処理要素により認識された当該判定結果が否定的であることを要件として、前記遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第２支援処理要素と、
    を備えている遠隔操作支援サーバ。
  10. 作業機械の遠隔操作を支援するための遠隔操作装置であって、
    前記遠隔操作装置を構成する遠隔操作機構による遠隔操作を意図する前記作業機械を構成する実機操作機構の対応を表す操作設定を定義する遠隔操作因子と、遠隔操作を受けることで稼働可能な前記実機操作機構の対応を表す操作設定を定義する実機操作因子と、が対応しているか否かの判定結果を認識する第１支援処理要素と、
    前記第１支援処理要素により認識された当該判定結果が否定的であることを要件として、前記実機操作因子および前記遠隔操作因子を対応させるための処理を実行する第２支援処理要素と、
    を備えている遠隔操作装置。
JP2021018318A 2021-02-08 2021-02-08 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム Active JP7615723B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021018318A JP7615723B2 (ja) 2021-02-08 2021-02-08 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
EP22152029.9A EP4039891B1 (en) 2021-02-08 2022-01-18 Work machine remote operation support system and method therefor
CN202210099530.0A CN114908824A (zh) 2021-02-08 2022-01-27 远程操作辅助系统、远程操作辅助方法以及远程操作辅助复合系统
US17/587,213 US12233890B2 (en) 2021-02-08 2022-01-28 Remote operation support system, remote operation support method and remote operation supporting complex system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021018318A JP7615723B2 (ja) 2021-02-08 2021-02-08 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム

Publications (2)

Publication Number Publication Date
JP2022121138A JP2022121138A (ja) 2022-08-19
JP7615723B2 true JP7615723B2 (ja) 2025-01-17

Family

ID=79730193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021018318A Active JP7615723B2 (ja) 2021-02-08 2021-02-08 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム

Country Status (4)

Country Link
US (1) US12233890B2 (ja)
EP (1) EP4039891B1 (ja)
JP (1) JP7615723B2 (ja)
CN (1) CN114908824A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7559696B2 (ja) * 2021-07-15 2024-10-02 コベルコ建機株式会社 遠隔操作装置
JP2025164278A (ja) * 2024-04-19 2025-10-30 国立大学法人広島大学 作業機械の操作システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107461A (ja) 2004-08-27 2006-04-20 Caterpillar Inc 作業機械の応答性をカスタム化するためのシステム
JP2015060403A (ja) 2013-09-18 2015-03-30 日立建機株式会社 作業機械の操作装置
JP2017172174A (ja) 2016-03-23 2017-09-28 大裕株式会社 重機の遠隔操作装置
JP2019167732A (ja) 2018-03-23 2019-10-03 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP2019173445A (ja) 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
JP2020200660A (ja) 2019-06-10 2020-12-17 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH083192B2 (ja) * 1988-07-04 1996-01-17 株式会社小松製作所 建設機械の遠隔操作装置
JPH0885975A (ja) * 1994-09-19 1996-04-02 Hitachi Constr Mach Co Ltd 土木・建設機械の無線操縦装置
JPH09242126A (ja) * 1996-03-08 1997-09-16 Hitachi Constr Mach Co Ltd 建設機械の遠隔制御装置
JP3637523B2 (ja) * 1997-11-17 2005-04-13 清水建設株式会社 油圧制御機械
JP2003122430A (ja) * 2001-10-15 2003-04-25 Hitachi Constr Mach Co Ltd 遠隔操縦システム、遠隔操縦装置、移動式中継作業機
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
CN111295485B (zh) * 2017-11-01 2022-08-09 克拉克设备公司 远程操作动力机械
JP7014007B2 (ja) * 2018-03-29 2022-02-01 コベルコ建機株式会社 作業機械の遠隔操作システム
JP7052557B2 (ja) * 2018-05-22 2022-04-12 コベルコ建機株式会社 遠隔操作システム
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
KR20220061596A (ko) * 2020-11-06 2022-05-13 현대두산인프라코어(주) 원격 제어 기능을 가지는 굴착기 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107461A (ja) 2004-08-27 2006-04-20 Caterpillar Inc 作業機械の応答性をカスタム化するためのシステム
JP2015060403A (ja) 2013-09-18 2015-03-30 日立建機株式会社 作業機械の操作装置
JP2017172174A (ja) 2016-03-23 2017-09-28 大裕株式会社 重機の遠隔操作装置
JP2019167732A (ja) 2018-03-23 2019-10-03 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP2019173445A (ja) 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
JP2020200660A (ja) 2019-06-10 2020-12-17 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Also Published As

Publication number Publication date
JP2022121138A (ja) 2022-08-19
CN114908824A (zh) 2022-08-16
US12233890B2 (en) 2025-02-25
US20220250638A1 (en) 2022-08-11
EP4039891B1 (en) 2025-08-27
EP4039891A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7247769B2 (ja) 遠隔操作システム
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
JP7484401B2 (ja) 作業機械の遠隔操作支援システム
JP7615723B2 (ja) 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
CN111788356A (zh) 远程操作系统及主操作装置
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
CN118318080A (zh) 图像显示系统、远程操作支援系统及图像显示方法
US12195949B2 (en) Remote operation assistance device and remote operation assistance method
CN115698438B (zh) 实机状态监视系统以及实机状态监视方法
JP7581996B2 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP7528539B2 (ja) 遠隔操作支援システム
WO2021256104A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
CN114731388A (zh) 作业支援服务器、作业支援方法以及作业支援系统
CN115088251B (zh) 远程操作装置、远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
JP7581995B2 (ja) 撮像機能制御システムおよび撮像機能制御方法
JP2023032998A (ja) 作業支援システムおよび作業支援複合システム
AU2023208395B2 (en) Image correction device, image correction method, and remote operation system
CN114730411A (zh) 作业支援服务器、作业支援方法以及作业支援系统
JP2024103267A (ja) 作業機械の操作支援装置、作業機械および操作支援システム
WO2024241712A1 (ja) 情報システムおよび操作装置
WO2024241830A1 (ja) 情報システムおよび操作装置
JP2025003217A (ja) 操作装置および操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241216

R150 Certificate of patent or registration of utility model

Ref document number: 7615723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150