WO2022196242A1 - 遠隔操縦装置 - Google Patents

遠隔操縦装置 Download PDF

Info

Publication number
WO2022196242A1
WO2022196242A1 PCT/JP2022/006559 JP2022006559W WO2022196242A1 WO 2022196242 A1 WO2022196242 A1 WO 2022196242A1 JP 2022006559 W JP2022006559 W JP 2022006559W WO 2022196242 A1 WO2022196242 A1 WO 2022196242A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
communication
control device
remote control
predicted trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/006559
Other languages
English (en)
French (fr)
Inventor
慎也 笠井
勝道 伊東
慎二郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to US18/023,513 priority Critical patent/US12416134B2/en
Priority to EP22771001.9A priority patent/EP4311228A4/en
Priority to JP2023506893A priority patent/JP7466055B2/ja
Priority to CN202280005784.XA priority patent/CN116034200B/zh
Priority to KR1020237006235A priority patent/KR102874684B1/ko
Publication of WO2022196242A1 publication Critical patent/WO2022196242A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E02F9/2232—Control of flow rate; Load sensing arrangements using one or more variable displacement pumps
    • E02F9/2235—Control of flow rate; Load sensing arrangements using one or more variable displacement pumps including an electronic controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2285—Pilot-operated systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2292—Systems with two or more pumps
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D29/00—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D29/00—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto
    • F02D29/02—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto peculiar to engines driving vehicles; peculiar to engines driving variable pitch propellers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/226—Communication links with the remote-control arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/05—Specific applications of the controlled vehicles for soil shifting, building, civil engineering or mining, e.g. excavators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Definitions

  • the present invention relates to a remote control device.
  • a working machine is equipped with an image acquisition device (camera) in order to provide visual information to a remote operator when operating the working machine remotely.
  • the image of the work site acquired by the image acquisition device (camera) is displayed on the display device provided to the remote control device of the remote operator.
  • the operator operates the working machine by the remote control device while confirming the image displayed on the display device.
  • Patent Document 1 a work site is imaged by an image acquisition device of a work machine, a virtual viewpoint image of the work machine viewed from a virtual viewpoint is generated, and a real image and a virtual viewpoint are captured by the image acquisition device of the work machine.
  • a technique for displaying images at different positions on the same screen of a display device is disclosed.
  • the present invention has been created with the object of solving the above problems, and is a remote controller that enables efficient and safe remote control of a work machine operated from a remote location even when there is a communication delay.
  • the object is to provide a steering device.
  • the remote control device of the present invention is a remote control device comprising a control device for transmitting an operation signal to a work machine to control the work machine from a remote location, wherein the control device is a communication control unit for receiving a camera image of a work site taken by a camera and vehicle body information of the work machine; and a predicted trajectory for calculating a predicted trajectory of the work machine from the vehicle body information and displaying it as an image on a display device.
  • a predicted trajectory calculation unit that outputs data
  • a display control unit that causes the display device to display the camera image and the predicted trajectory image on the same screen.
  • the driver can recognize the current status of the vehicle by displaying the video of the predicted trajectory. Furthermore, by superimposing a pseudo camera image (a (pseudo) predicted image of the working machine as seen from the camera generated based on the predicted trajectory), when there is a delay in the communication line, the actual camera image and the Since the difference appears, it is possible to visually present the video delay to the operator. Therefore, even if there is a communication delay, the work machine to be operated from a remote location can be remotely operated efficiently and safely.
  • a pseudo camera image a (pseudo) predicted image of the working machine as seen from the camera generated based on the predicted trajectory
  • FIG. 2 is a diagram showing a controller of a hydraulic excavator (working machine) together with a hydraulic drive; Detailed view of the solenoid valve unit.
  • FIG. 2 is a hardware configuration diagram of a remote control device of the remote control device of FIG. 1;
  • FIG. 2 is a functional block diagram of the remote control device of the remote control device of the first embodiment shown in FIG. 1;
  • 4 is a calculation processing flowchart of a predicted trajectory calculation unit according to the first embodiment;
  • 4 is a control processing flowchart of a display control unit according to the first embodiment;
  • 4 is a control processing flowchart of a communication control unit according to the first embodiment;
  • FIG. 5 is a functional block diagram of a remote control device for a remote control device according to a second embodiment;
  • FIG. 10 is an operation processing flowchart of a communication status determination unit according to the second embodiment;
  • FIG. 10 is a flowchart of control processing of a communication status transmission unit according to the second embodiment;
  • FIG. FIG. 10 is a control processing flowchart of a communication control unit according to the second embodiment;
  • FIG. 4 is a diagram showing a display example (images displayed at different positions without being superimposed) on a display screen of a display device;
  • a hydraulic excavator provided with a bucket 8 as a working tool at the tip of the working device as shown in FIG. 1 is exemplified as a working machine to be remotely controlled.
  • the present invention can be applied to working machines other than hydraulic excavators as long as they have a multi-joint working device configured by connecting a plurality of link members (attachments, arms, booms, etc.).
  • FIG. 1 is a diagram showing an example of a remote control system 100 for a work machine 1 according to the first embodiment of the invention.
  • the remote control system 100 remotely controls the work machine 1 .
  • the work machine 1 is assumed to be a hydraulic excavator.
  • FIG. 2 is a diagram showing the controller of the hydraulic excavator (work machine) 1 according to the first embodiment of the present invention together with the hydraulic drive system, and
  • FIG. 3 is a detailed diagram of the solenoid valve unit 160 in FIG. .
  • a hydraulic excavator 1 is composed of a work front 2, which is a multi-joint work device, and a traveling body 3.
  • the traveling body 3 is mounted on a lower traveling portion 3a that travels by left and right traveling hydraulic motors 4a and 4b (a right traveling hydraulic motor 4a and a left traveling hydraulic motor 4b), and is mounted on the lower traveling portion 3a. and a swiveling upper swivel portion 3b.
  • the work front 2 is configured by connecting a plurality of driven members (boom 6, arm 7, and bucket 8) that rotate in the vertical direction.
  • the base end of the boom 6 is rotatably supported via a boom pin in the front part of the upper turning part 3b.
  • An arm 7 is rotatably connected to the tip of the boom 6 via an arm pin
  • a bucket 8 is rotatably connected to the tip of the arm 7 via a bucket pin.
  • the boom 6 is driven by a boom cylinder 61
  • the arm 7 is driven by an arm cylinder 71
  • the bucket 8 is driven by a bucket cylinder 81 .
  • a boom angle sensor 62 is attached to the boom pin
  • an arm angle sensor 72 is attached to the arm pin
  • a bucket angle sensor 82 is attached to the bucket link 9.
  • a vehicle body tilt angle sensor 31 is attached to detect the tilt angle of the upper turning portion 3b with respect to a reference plane (for example, a horizontal plane).
  • the angle sensors 62, 72, and 82 can be replaced with angle sensors for a reference plane (for example, a horizontal plane).
  • a turning angle sensor 32 is attached to the center axis of turning so that the relative angle between the upper turning portion 3b and the lower traveling portion 3a can be measured.
  • An operation device 10 for operating the hydraulic excavator 1 is installed in an operator's cab 12 provided in the upper revolving portion 3b.
  • the operation device 10 includes an operation right lever 10a for operating a boom cylinder 61 (boom 6) and a bucket cylinder 81 (bucket 8), an arm cylinder 71 (arm 7) and a swing hydraulic motor 5 (upper swing section 3b).
  • the right operation lever 10a, the left operation lever 10b, the right travel lever 10c, and the left travel lever 10d may be collectively referred to as the operation device 10 below.
  • An engine 11 which is a prime mover mounted on the upper swing section 3b, drives hydraulic pumps 20a and 20b and a pilot pump 30, as shown in FIG.
  • the hydraulic pumps 20a and 20b are variable displacement pumps whose displacements are controlled by regulators 20aa and 20ba, and the pilot pump 30 is a fixed displacement pump. Hydraulic pump 20 and pilot pump 30 suck hydraulic oil from tank 170 .
  • a control signal output from a controller 40 which is a control device, is input to regulators 20aa and 20ba.
  • the detailed configuration of the regulators 20aa and 20ba is omitted, the discharge flow rates of the hydraulic pumps 20a and 20b are controlled according to the control signal.
  • a pump line 143 a which is a discharge pipe of the pilot pump 30 , passes through the lock valve 39 and is connected to each electromagnetic proportional valve in the electromagnetic valve unit 160 .
  • the lock valve 39 is an electromagnetic switching valve in this example, and its electromagnetic drive portion is electrically connected to the position detector of the gate lock lever arranged in the operator's cab 12 (FIG. 1). The position of the gate lock lever is detected by a position detector, and a signal corresponding to the position of the gate lock lever is input to the lock valve 39 from the position detector.
  • the lock valve 39 is closed to block the pump line 143a, and when it is at the unlocked position, the lock valve 39 is opened to open the pump line 143a.
  • the operation device 10 (10a, 10b, 10c, 10d) is of an electric lever type, and generates an electric signal corresponding to the amount and direction of operation by the operator.
  • the electric signal generated in this way is input to the control controller 40, and controls to drive the electromagnetic proportional valves 54 to 59 (see FIG. 3, 57 to 59 are not shown) according to the operation input to the operating device 10.
  • Controller 40 outputs an electrical signal to solenoid valve unit 160 .
  • the electrical signals are input to the hydraulic drive units 150a-155b via the pilot lines 144a-149b.
  • the pressure oil discharged from the hydraulic pump 20 flows through flow control valves 15a, 15b, 15c, 15d, 15e, and 15f (see FIG. 2 or 3, 15d, 15e, and 15f are not shown in FIG. 3) to the boom cylinder 61, the arm cylinder 71, the bucket cylinder 81, the turning hydraulic motor 5, the traveling right hydraulic motor 4a, and the traveling left hydraulic motor 4b, which are actuators. .
  • the boom cylinder 61, the arm cylinder 71, and the bucket cylinder 81 expand and contract by the supplied pressure oil, so that the boom 6, the arm 7, and the bucket 8 rotate, and the position and attitude of the bucket 8 change.
  • the hydraulic hydraulic motor 5 is rotated by the supplied pressure oil, so that the upper turning portion 3b turns with respect to the lower traveling portion 3a. Then, the right travel hydraulic motor 4a and the left travel hydraulic motor 4b are rotated by the supplied pressure oil, so that the lower travel portion 3a travels.
  • the boom cylinder 61, arm cylinder 71, and bucket cylinder 81 are provided with load detection devices 16a to 16f so that the cylinder pressure can be detected.
  • the load detection device 16 is a pressure sensor that detects the bottom side pressure and the rod side pressure of each of the boom cylinder 61, the arm cylinder 71, and the bucket cylinder 81, and outputs them to the controller 40 as electric signals. do.
  • an in-vehicle camera 91 as a video acquisition device is mounted on the upper turning portion 3b.
  • the vehicle-mounted camera 91 captures a camera image ( work site video).
  • a camera as a video acquisition device for capturing an image of the work site is mounted on (the upper revolving portion 3b of) the hydraulic excavator 1.
  • a video (worksite video) may be acquired.
  • a communication device 90 is mounted on the upper turning portion 3b.
  • the communication device 90 communicably connects the hydraulic excavator 1 and the remote control device 200 via a network.
  • the remote control device 200 is installed at a remote location away from the work site in order to remotely control (remotely control) the hydraulic excavator 1 .
  • the communication device 90 transmits the camera image from the vehicle-mounted camera 91 and the vehicle body information from each sensor (the angle sensors 62, 72, 82, 32 and the load detection devices 16a to 16f) to the remote control device 200. It receives a control signal (including an operation signal for the operation device 10 of the hydraulic excavator 1 ) from 200 and transmits it to the operation device 10 .
  • the remote control device 200 includes a remote control device (control device) 201 configured by an electronic device having communication and processing functions with the hydraulic excavator 1, a display device 202 for displaying images, and a boom cylinder 61 (boom 6). and an operation right lever 203a for operating the bucket cylinder 81 (bucket 8), an operation left lever 203b for operating the arm cylinder 71 (arm 7) and the turning hydraulic motor 5 (upper turning portion 3b), and a traveling right It comprises a right travel lever 203c for operating the hydraulic motor 4a (lower travel portion 3a), a left travel lever 203d for operating the left travel hydraulic motor 4b (lower travel portion 3a), and an operator seat 204.
  • a remote control device control device
  • control device configured by an electronic device having communication and processing functions with the hydraulic excavator 1, a display device 202 for displaying images, and a boom cylinder 61 (boom 6).
  • an operation right lever 203a for operating the bucket cylinder 81 (bucket 8), an
  • the remote operation device 203 inputs an operation signal (for example, an electric signal corresponding to the operator's operation amount and operation direction) to the remote operation control device 201, and the remote operation control device 201 is mounted on the hydraulic excavator 1 via a network.
  • the hydraulic excavator 1 is remotely controlled by transmitting a control signal (including an operation signal of the operating device 10 of the hydraulic excavator 1 ) to the communication device 90 .
  • the display device 202 displays a superimposed image from the remote control device 201 to provide visual information to the remote control operator (described later).
  • the proportional solenoid valves 54a to 59b have the smallest degree of opening when not energized, and the degree of opening increases as the current, which is the control signal from the controller 40, increases.
  • the opening degree of each of the electromagnetic proportional valves 54a to 59b corresponds to the control signal from the controller 40.
  • FIG. 4 is a hardware configuration diagram of the remote control device 201 of the remote control device 200 according to this embodiment.
  • the remote control device 201 includes a communication interface 211, a central processing unit (CPU) 212 as a processor, a read only memory (ROM) 213 and a random access memory (RAM) 214 as storage devices, and an input interface. 215 and an output interface 216 .
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the communication interface 211 transmits and receives signals to and from the communication device 90 mounted on the hydraulic excavator 1 .
  • An in-vehicle camera image of the hydraulic excavator 1 and vehicle body information are received from the communication device 90 and input to the CPU 212 . Also, it transmits a control signal from the remote control device 203 to the communication device 90 .
  • the CPU 212 performs predetermined arithmetic processing on signals received from the communication interface 211 , the ROM 213 and the RAM 214 based on the control program stored in the ROM 213 .
  • the ROM 213 is a recording medium that stores a control program for executing control contents including processing related to flowcharts to be described later, various information necessary for executing the flowcharts, and the like.
  • the input interface 215 receives control signals from the remote control device 203 as input signals and outputs them to the communication interface 211 .
  • the output interface 216 creates an output signal according to the calculation result of the CPU 212 and displays the signal on the screen of the display device 202 .
  • FIG. 5 is a functional block diagram of the remote control device 201 of the remote control device 200 according to this embodiment.
  • the remote control device 201 includes a predicted trajectory calculation unit 220, a display control unit 221, and a communication control unit 222.
  • the predicted trajectory calculation unit 220 calculates the predicted trajectory of the hydraulic excavator 1 from the vehicle body information input from the communication interface 211 (Fig. 4) and outputs the predicted trajectory data. For example, a video signal (corresponding to predicted trajectory data) for drawing the posture of the hydraulic excavator 1 one second ahead is displayed according to the sensor values of each part transmitted from the communication device 90 mounted on the hydraulic excavator 1. Output to the control unit 221 .
  • the display control unit 221 superimposes the calculation result of the predicted trajectory calculation by the predicted trajectory calculation unit 220 of the remote control device 201 and the vehicle-mounted camera image of the hydraulic excavator 1 input from the communication interface 211 (FIG. 4).
  • the superimposed video signal is output to the display device 202 .
  • the communication control unit 222 packetizes the signal to be transmitted and transmits it to the communication device 90 of the hydraulic excavator 1 . Also, the packet signal from the communication device 90 is decoded so that the predicted trajectory calculation unit 220 and the display control unit 221 can read it.
  • FIG. 6 shows a calculation flow performed by the predicted trajectory calculation unit 220 of the remote control device 201 of this embodiment. This control flow is executed by inputting a signal from the communication device 90 shown in FIG.
  • the predicted trajectories of the boom 6, arm 7, bucket 8, and upper swing section 3b are calculated from the input signals detected at S600.
  • the vector direction and magnitude are calculated every predetermined number of seconds from the current time based on the positions, velocities, and accelerations of the boom 6, arm 7, bucket 8, and upper swing section 3b stored in the vehicle body information. After the calculation is completed, the process proceeds to S620.
  • the vector direction and magnitude which are the calculation results, are converted into an interface suitable for the processing in the display control unit 221. However, if no conversion is required, do not convert. In this embodiment, the vector direction and magnitude are converted into point cloud data. The calculation result obtained by adjusting the interface is output to the display control unit 221, and the processing ends.
  • FIG. 7 shows a control flow executed by the display control unit 221 of the remote control device 201 of this embodiment. This control flow is executed by inputting a signal from the communication device 90 shown in FIG.
  • a predicted trajectory is drawn as a video signal from the calculation result of the predicted trajectory calculator 220 detected at S700.
  • a predicted video of the vehicle body predicted video data of the pseudo hydraulic excavator 1 viewed from the camera (camera viewpoint) generated based on the calculation result (predicted trajectory) of the predicted trajectory calculation unit 220) , which is also referred to as a pseudo-camera image in this paper
  • a symbol indicating the direction and magnitude of the gradated vector after each second is also referred to as a pseudo-camera image in this paper
  • the video signal superimposed at S720 is output to the display device 202, and the process ends.
  • the display device 202 based on the video signal sent from the display control unit 221, the predicted trajectory (pseudo camera video) and the vehicle-mounted camera video of the hydraulic excavator 1 (actual video of the work site) are displayed on the same screen. are superimposed (simultaneously) above (see FIG. 13).
  • FIG. 8 shows a control flow executed by the communication control unit 222 of the remote control device 201 of this embodiment. This control flow is executed by inputting a signal from the remote control device 203 or the communication device 90 shown in FIG.
  • the input signal is packetized and transmitted to the communication device 90, and the process ends.
  • the control device (remote control device) 201 of the remote control device 200 of the present embodiment receives the camera image of the work site captured by the vehicle-mounted camera 91 and the vehicle body information of the work machine (hydraulic excavator) 1. a communication control unit 222; a predicted trajectory calculation unit 220 that calculates a predicted trajectory of the working machine (hydraulic excavator) 1 from the vehicle body information and outputs predicted trajectory data to be displayed as an image on the display device 202; and a display control unit 221 that causes the display device 202 to display (simultaneously) an image and an image of the predicted trajectory on the same screen.
  • the display control unit 221 causes the display device 202 to display the camera image and the predicted trajectory image in a superimposed manner on the same screen.
  • the display control unit 221 generates a pseudo camera image, which is a (pseudo) predicted image of the working machine (hydraulic excavator) 1 when viewed from the vehicle-mounted camera 91 based on the predicted trajectory,
  • the camera image and the pseudo camera image are superimposed and displayed on the display device 202 on the same screen.
  • the remote control device 200 of the present embodiment superimposes the vehicle-mounted camera image and the predicted trajectory image and displays them to the remote operator, thereby transmitting the vehicle status to the operator without depending on the delay of the image data. , visually presents the video delay to the pilot.
  • the operator can display the image of the predicted trajectory.
  • the current status of the vehicle can be recognized.
  • a pseudo camera image (a (pseudo) predicted image of the hydraulic excavator 1 when viewed from a camera generated based on the predicted trajectory)
  • the actual camera image the difference in
  • remote operation can be performed efficiently and safely.
  • FIG. 9 is a functional block diagram of the remote control device 201a of the remote control device 200a according to this embodiment.
  • the remote control device 201a of the remote control device 200a of the second embodiment is additionally configured with a communication status determination section 223 and a communication status transmission section 224 as shown in FIG.
  • the video signal superimposed by the display control section 221 is input to the communication status determination section 223 .
  • the communication status determination unit 223 determines the transmission status of the communication line between the hydraulic excavator 1 and the remote control device 200a from the difference between the predicted trajectory (pseudo camera image) of the video signal input from the display control unit 221 and the in-vehicle camera image. do.
  • the determination result is output to communication status transmission section 224 and display device 202 .
  • the communication status transmission unit 224 transmits the determination result of the communication status determination unit 223 (determination result of the transmission status of the communication line) to the communication device 90 of the hydraulic excavator 1 via the communication control unit 222a.
  • FIG. 10 shows a control flowchart of the communication status determination section 223 of the remote control device 201a of the second embodiment. This control flow is executed by inputting the output of the display control unit 221 shown in FIG.
  • the communication status is determined from the input signal from the display control unit 221 detected at S1000.
  • the delay time is calculated based on the delay calculation table from the difference amount distribution of each feature point of the real camera image and the pseudo camera image in the superimposed image. After the calculation of the delay time of the communication line is completed, the process proceeds to S1020.
  • the delay time calculated at S1010 is output to the communication status transmission unit 224 and the display device 202, and the process ends.
  • the delay time which is the determination result sent from the communication status determination unit 223, is displayed on the same screen together with the predicted trajectory (pseudo camera image) and the in-vehicle camera image of the hydraulic excavator 1 (actual image of the work site). displayed above (see FIG. 13).
  • FIG. 11 shows a control flowchart of the communication status transmitting section 224 of the remote control device 201a of the second embodiment. This control flow is executed by inputting the output of the communication status determination unit 223 shown in FIG.
  • the input signal from the communication status determination unit 223 detected at S1100 is output to the communication control unit 222a.
  • the input signal is converted as one of the operation signals of the remote controller 203 and output to the communication control unit 222a. After outputting the input signal to the communication control unit 222a, the process ends.
  • FIG. 12 shows a control flow executed by the communication control unit 222a of the remote control device 201a of the second embodiment. This control flow is executed by inputting a signal from the remote control device 203, the communication device 90, or the communication status transmission section 224 shown in FIG.
  • the input signal is packetized and transmitted to the communication device 90, and the process ends.
  • the hydraulic excavator (working machine) 1 of the present embodiment suppresses the vehicle body motion according to the determination result of the communication status determination section 223 received from the communication status transmission section 224 .
  • the hydraulic excavator 1 has a table of operation speed upper limit values corresponding to delay times determined by the communication status determination unit 223. As the delay time determined by the communication status determination unit 223 increases, the operation speed upper limit value increases. to slow down.
  • the hydraulic excavator 1 stops all drive units when the communication status determination unit 223 determines that communication has been interrupted.
  • the communication status transmission unit 224 directly transmits the determination result (delay time) of the communication status determination unit 223 to the communication device 90 of the hydraulic excavator 1.
  • the communication status determination unit 223 calculates The determination result (delay time) of the communication status determination unit 223 may be transmitted to the communication device 90 of the hydraulic excavator 1 only when the delay time determined is greater than a predetermined threshold value and a communication failure is determined.
  • the remote control device 200a of this embodiment determines the transmission status of the communication line between the working machine (hydraulic excavator) 1 and the remote control device 200 from the difference between the camera image and the pseudo camera image.
  • a communication status determination unit 223 is further provided.
  • the communication status determination unit 223 causes the display device 202 to display the determination result of the transmission status of the communication line.
  • a communication status transmission unit 224 is further provided for transmitting the determination result of the transmission status of the communication line to the work machine (hydraulic excavator) 1 (for example, when the communication status determination unit 223 determines that there is a communication failure). Prepare.
  • the delay situation can be visually transmitted to the operator as in the first embodiment.
  • the delay time which is the delay determination result, can also be obtained.
  • the delay determination result can be transmitted to the hydraulic excavator 1, the hydraulic excavator 1 can be controlled according to the delay determination result.
  • the predicted trajectory (pseudo camera image) and the vehicle-mounted camera image of the hydraulic excavator 1 (actual image of the work site) are superimposed (simultaneously) on the same screen. Although it is displayed (see FIG. 13), for example, as shown in FIG. It may be displayed above but in a different position (see FIG. 14).
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each function of the controller of the above-described embodiments may be implemented in hardware by designing part or all of them, for example, in an integrated circuit.
  • each function may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, files, etc. that realize each function can be stored in storage devices in the controller, recording devices such as hard disks and SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs. can be placed in
  • Remote control device control device 202... Display device 203... Remote control device 204... Cockpit 211... Communication interface 212... Central processing unit (CPU) 213 ... read only memory (ROM) 214 Random Access Memory (RAM) 215... Input interface 216... Output interface 220... Predicted trajectory calculation unit 221... Display control unit 222... Communication control unit 223... Communication status determination unit (second embodiment) 224: Communication status transmission unit (second embodiment)

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Fluid Mechanics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

遠隔地から操作する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することのできる遠隔操縦装置を提供する。車載カメラ９１で撮影した作業現場のカメラ映像および作業機械（油圧ショベル）１の車体情報を受信する通信制御部２２２と、前記車体情報から前記作業機械（油圧ショベル）１の予測軌跡を演算し、表示装置２０２に映像として表示するための予測軌跡データを出力する予測軌跡演算部２２０と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で（同時に）表示させる表示制御部２２１と、を備える。

Description

遠隔操縦装置
　本発明は、遠隔操縦装置に関する。
　作業機械を遠隔地から操縦（遠隔操縦）する技術がある。作業機械を遠隔操縦するに当たって遠隔地からの操縦者に対して視覚情報を提供するために、作業機械には映像取得装置（カメラ）が搭載される。映像取得装置（カメラ）で取得された作業現場の映像は遠隔地の操縦者の遠隔操縦装置に備え付けられた表示装置に表示される。操縦者は表示装置に表示される映像を確認しながら遠隔操縦装置によって作業機械を操縦する。
　例えば特許文献１には、作業機械の映像取得装置によって作業現場を撮像し、仮想視点から見た前記作業機械の仮想視点画像を生成し、作業機械の映像取得装置で撮像した実画像と仮想視点画像とを表示装置の同画面の異なる位置にそれぞれ表示する技術が開示されている。
特開２０１９－５４４６４号公報
　特許文献１では、映像取得装置からの作業現場映像（実映像）と仮想視点からの映像（仮想視点映像）を操縦者に提供することで、遠隔地からの遠隔操縦による作業効率低下を抑制することが期待できる。
　ここで、以下のような課題が生じる。
　映像伝送は通信データ量が多いため、通信回線の状況によっては遅延が生じてしまう。映像伝送に遅延が生じると、映像取得装置からの取得映像と仮想視点からの生成映像が同画面でありながらそれぞれ異なった挙動を示す。同画面に映し出されたそれらの映像の整合性が取れていない場合、操縦者の作業効率低下および事故危険性を抑制することは困難である。
　本発明は、上記課題を鑑みて解決することを目的として創作されたものであり、遠隔地から操縦する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することのできる遠隔操縦装置を提供することを目的とする。
　上記課題を解決するために、本発明の遠隔操縦装置は、作業機械へ操作信号を送信して前記作業機械を遠隔地から操縦する制御装置を備えた遠隔操縦装置であって、前記制御装置は、カメラで撮影した作業現場のカメラ映像および前記作業機械の車体情報を受信する通信制御部と、前記車体情報から前記作業機械の予測軌跡を演算し、表示装置に映像として表示するための予測軌跡データを出力する予測軌跡演算部と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で表示させる表示制御部と、を備える。
　本発明により、通信回線の状況によって映像伝送に遅延が生じてしまう場合であっても、予測軌跡の映像を表示することで操縦者は車体の現在状況を認識できる。さらに疑似カメラ映像（予測軌跡を基に生成したカメラから視た場合の（疑似的な）作業機械の予測映像）を重畳することで、通信回線に遅延が生じている時は実カメラ映像との差分が顕現するため、操縦者に対して視覚的に映像遅延を提示することができる。そのため、遠隔地から操縦する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することができる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
油圧ショベル（作業機械）の遠隔操縦システムの構成図。 油圧ショベル（作業機械）の制御コントローラを油圧駆動装置と共に示す図。 電磁弁ユニットの詳細図。 図１の遠隔操縦装置の遠隔操縦制御装置のハードウェア構成図。 図１の第１実施形態の遠隔操縦装置の遠隔操縦制御装置の機能ブロック図。 第１実施形態の予測軌跡演算部の演算処理フローチャート。 第１実施形態の表示制御部の制御処理フローチャート。 第１実施形態の通信制御部の制御処理フローチャート。 第２実施形態の遠隔操縦装置の遠隔操縦制御装置の機能ブロック図。 第２実施形態の通信状況判定部の演算処理フローチャート。 第２実施形態の通信状況送信部の制御処理フローチャート。 第２実施形態の通信制御部の制御処理フローチャート。 表示装置の表示画面の表示例（重畳映像）を示す図。 表示装置の表示画面の表示例（重畳させずに異なる位置に表示する映像）を示す図。
　以下、本発明の実施形態について図面を用いて説明する。各図において、同一の機能を有する部分には同一の符号を付して繰り返し説明を省略する場合がある。本稿の以下の説明では、遠隔操縦対象の作業機械として、図１のように作業装置の先端の作業具としてバケット８を備える油圧ショベルを例示する。なお、複数のリンク部材（アタッチメント、アーム、ブーム等）を連結して構成される多関節型の作業装置を有するものであれば、油圧ショベル以外の作業機械への適用も可能である。
　また、本稿の以下の説明では、同一の構成要素が複数存在する場合、符号（数字）の末尾にアルファベットを付すことがあるが、当該アルファベットを省略して当該複数の構成要素をまとめて表記することがある。例えば、左右１つずつの走行油圧モータ４ａ、４ｂが存在するとき、これらをまとめて走行油圧モータ４と表記することがある。
［第１実施形態］
＜基本構成＞
　図１は、本発明の第１実施形態に係る作業機械１の遠隔操縦システム１００の例を示す図である。遠隔操縦システム１００は、作業機械１を遠隔操作する。本実施形態においては、作業機械１が油圧ショベルであることとする。図２は、本発明の第１実施形態に係る油圧ショベル（作業機械）１の制御コントローラを油圧駆動装置と共に示す図であり、図３は、図２中の電磁弁ユニット１６０の詳細図である。
　図１において、油圧ショベル１は、多関節型の作業装置である作業フロント２と、走行体３で構成されている。走行体３は、左右の走行油圧モータ４ａ、４ｂ（走行右油圧モータ４ａ、走行左油圧モータ４ｂ）により走行する下部走行部３ａと、下部走行部３ａの上に取り付けられ、旋回油圧モータ５により旋回する上部旋回部３ｂとからなる。作業フロント２は、垂直方向にそれぞれ回動する複数の被駆動部材（ブーム６、アーム７及びバケット８）を連結して構成されている。
　ブーム６の基端は、上部旋回部３ｂの前部においてブームピンを介して回動可能に支持されている。ブーム６の先端には、アームピンを介してアーム７が回動可能に連結されており、アーム７の先端には、バケットピンを介してバケット８が回動可能に連結されている。ブーム６はブームシリンダ６１によって駆動され、アーム７はアームシリンダ７１によって駆動され、バケット８はバケットシリンダ８１によって駆動される。ブーム６、アーム７、バケット８の回動を測定可能にするため、ブームピンにブーム角度センサ６２、アームピンにアーム角度センサ７２、バケットリンク９にバケット角度センサ８２が取り付けられ、上部旋回部３ｂには基準面（例えば水平面）に対する上部旋回部３ｂの傾斜角を検出する車体傾斜角センサ３１が取り付けられている。なお、角度センサ６２、７２、８２はそれぞれ基準面（例えば水平面）に対する角度センサに代替可能である。上部旋回部３ｂと下部走行部３ａの相対角度を測定可能なように旋回中心軸に旋回角度センサ３２が取り付けられている。上部旋回部３ｂに設けられた運転室１２内には、油圧ショベル１を操作するための操作装置１０が設置されている。
　操作装置１０は、ブームシリンダ６１（ブーム６）及びバケットシリンダ８１（バケット８）を操作するための操作右レバー１０ａと、アームシリンダ７１（アーム７）及び旋回油圧モータ５（上部旋回部３ｂ）を操作するための操作左レバー１０ｂと、走行右油圧モータ４ａ（下部走行部３ａ）を操作するための走行右レバー１０ｃと、走行左油圧モータ４ｂ（下部走行部３ａ）を操作するための走行左レバー１０ｄと、から構成される。また、以下では、操作右レバー１０ａ、操作左レバー１０ｂ、走行右レバー１０ｃおよび走行左レバー１０ｄを操作装置１０と総称する場合もある。
　上部旋回部３ｂに搭載された原動機であるエンジン１１は、図２に示すように、油圧ポンプ２０ａ、２０ｂとパイロットポンプ３０を駆動する。油圧ポンプ２０ａ、２０ｂはレギュレータ２０ａａ、２０ｂａによって容量が制御される可変容量型ポンプであり、パイロットポンプ３０は固定容量型ポンプである。油圧ポンプ２０およびパイロットポンプ３０はタンク１７０より作動油を吸引する。本実施形態においては、制御装置である制御コントローラ４０から出力された制御信号が、レギュレータ２０ａａ、２０ｂａに入力される。レギュレータ２０ａａ、２０ｂａの詳細構成は省略するが、油圧ポンプ２０ａ、２０ｂの吐出流量が当該制御信号に応じて制御される。パイロットポンプ３０の吐出配管であるポンプライン１４３ａはロック弁３９を通った後、電磁弁ユニット１６０内の各電磁比例弁に接続している。ロック弁３９は本例では電磁切換弁であり、その電磁駆動部は運転室１２（図１）に配置されたゲートロックレバーの位置検出器と電気的に接続している。ゲートロックレバーのポジションは位置検出器で検出され、その位置検出器からロック弁３９に対してゲートロックレバーのポジションに応じた信号が入力される。ゲートロックレバーのポジションがロック位置にあればロック弁３９が閉じてポンプライン１４３ａが遮断され、ロック解除位置にあればロック弁３９が開いてポンプライン１４３ａが開通する。つまり、ポンプライン１４３ａが遮断された状態では操作装置１０による操作が無効化され、走行、旋回、掘削等の動作が禁止される。操作装置１０（１０ａ、１０ｂ、１０ｃ、１０ｄ）は、電気レバー方式であり、オペレータの操作量と操作方向に応じた電気信号を発生させる。このように発生した電気信号は制御コントローラ４０に入力され、操作装置１０に入力された操作に応じた電磁比例弁５４～５９（図３参照、５７～５９は不図示）を駆動させるべく、制御コントローラ４０は電磁弁ユニット１６０に電気信号を出力する。この電気信号はパイロットライン１４４ａ～１４９ｂを介して油圧駆動部１５０ａ～１５５ｂに入力される。油圧ポンプ２０から吐出された圧油は、油圧駆動部１５０ａ～１５５ｂに入力された電気信号に応じて動作する流量制御弁１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ、１５ｆ（図２または図３参照、図３では１５ｄ、１５ｅ、１５ｆは不図示）を介してアクチュエータであるブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１、旋回油圧モータ５、走行右油圧モータ４ａ、走行左油圧モータ４ｂに供給される。供給された圧油によってブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１が伸縮することで、ブーム６、アーム７、バケット８がそれぞれ回動し、バケット８の位置及び姿勢が変化する。また、供給された圧油によって旋回油圧モータ５が回転することで、下部走行部３ａに対して上部旋回部３ｂが旋回する。そして、供給された圧油によって走行右油圧モータ４ａ、走行左油圧モータ４ｂが回転することで、下部走行部３ａが走行する。
　ブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１には、そのシリンダ圧が検出できるように負荷検出装置１６ａ～１６ｆが備えられる。本実施形態では、負荷検出装置１６は圧力センサであり、ブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１のそれぞれのボトム側の圧力とロッド側の圧力を検出し、電気信号として制御コントローラ４０へ出力する。
　上部旋回部３ｂには、図１に示すように、映像取得装置としての車載カメラ９１が搭載される。車載カメラ９１は、油圧ショベル１を遠隔地から操縦（遠隔操縦）する場合、遠隔地からの操縦者に対して視覚情報を提供するために（後で説明）、作業現場を撮像したカメラ映像（作業現場映像）を取得する。なお、本例では、作業現場を撮像する映像取得装置としてのカメラが油圧ショベル１（の上部旋回部３ｂ）に搭載されているが、例えば作業現場に設置されたカメラによって作業現場を撮像したカメラ映像（作業現場映像）を取得してもよい。
　また、上部旋回部３ｂには、通信装置９０が搭載される。通信装置９０は、ネットワークを介して油圧ショベル１と遠隔操縦装置２００を通信可能に接続する。遠隔操縦装置２００は、油圧ショベル１を遠隔地から操縦（遠隔操縦）すべく、作業現場から離れた遠隔地に設置されている。通信装置９０は、車載カメラ９１からのカメラ映像や、各センサ（角度センサ６２、７２、８２、３２および負荷検出装置１６ａ～１６ｆ）からの車体情報を遠隔操縦装置２００へ送信し、遠隔操縦装置２００からの制御信号（油圧ショベル１の操作装置１０の操作信号を含む）を受信して操作装置１０へ伝送する。
　遠隔操縦装置２００は、油圧ショベル１との通信および処理機能を有する電子機器で構成される遠隔操縦制御装置（制御装置）２０１と、映像を表示する表示装置２０２と、ブームシリンダ６１（ブーム６）及びバケットシリンダ８１（バケット８）を操作するための操作右レバー２０３ａと、アームシリンダ７１（アーム７）及び旋回油圧モータ５（上部旋回部３ｂ）を操作するための操作左レバー２０３ｂと、走行右油圧モータ４ａ（下部走行部３ａ）を操作するための走行右レバー２０３ｃと、走行左油圧モータ４ｂ（下部走行部３ａ）を操作するための走行左レバー２０３ｄと、操縦席２０４と、から構成される。また、以下では、操作右レバー２０３ａ、操作左レバー２０３ｂ、走行右レバー２０３ｃおよび走行左レバー２０３ｄを遠隔操作装置２０３と総称する場合もある。遠隔操作装置２０３は遠隔操縦制御装置２０１に操作信号（例えば、オペレータの操作量と操作方向に応じた電気信号）を入力し、遠隔操縦制御装置２０１はネットワークを介して油圧ショベル１に搭載された通信装置９０へ制御信号（油圧ショベル１の操作装置１０の操作信号を含む）を伝送することで、油圧ショベル１を遠隔操縦する。表示装置２０２は、遠隔操縦制御装置２０１からの重畳映像を表示することで、遠隔操縦する操縦者に対して視覚情報を提供する（後で説明）。
＜電磁弁ユニット（フロント制御用油圧ユニット）１６０＞
　図３に示すように、電磁弁ユニット（図３ではフロント制御用油圧ユニット部分のみを表示）１６０は、一次ポート側がポンプライン１４３ａを介してパイロットポンプ３０に接続され、パイロットポンプ３０からのパイロット圧を減圧してパイロットライン１４４ａ～１４６ｂに出力する電磁比例弁５４ａ～５６ｂと、図３では紙面の都合上省略しているが（図２を併せて参照）、同様にパイロットポンプ３０からのパイロット圧を減圧してパイロットライン１４７ａ～１４９ｂに出力する電磁比例弁５７ａ～５９ｂを備えている。
　電磁比例弁５４ａ～５９ｂは、非通電時には開度が最小で、制御コントローラ４０からの制御信号である電流を増大させるほど開度は大きくなる。このように各電磁比例弁５４ａ～５９ｂの開度は、制御コントローラ４０からの制御信号に応じたものとなる。
　上記のように構成される電磁弁ユニット１６０において、制御コントローラ４０から制御信号を出力して電磁比例弁５４ａ～５９ｂを駆動すると、対応する操作装置１０のオペレータ操作が無い場合にもパイロット圧を発生できるので、各アクチュエータ（４、５、６１、７１、８１）の動作を強制的に発生できる。
＜遠隔操縦制御装置２０１＞
　図４は、本実施形態に係る遠隔操縦装置２００の遠隔操縦制御装置２０１が備えるハードウェア構成図である。図４において遠隔操縦制御装置２０１は、通信インターフェース２１１と、プロセッサである中央処理装置（ＣＰＵ）２１２と、記憶装置であるリードオンリーメモリ（ＲＯＭ）２１３及びランダムアクセスメモリ（ＲＡＭ）２１４と、入力インターフェース２１５と、出力インターフェース２１６とを有している。
　通信インターフェース２１１は、油圧ショベル１に搭載された通信装置９０に対して信号を送受信する。通信装置９０から油圧ショベル１の車載カメラ映像と車体情報を受信して、ＣＰＵ２１２に対して入力する。また、遠隔操作装置２０３からの制御信号を通信装置９０へ送信する。ＣＰＵ２１２は、ＲＯＭ２１３に記憶された制御プログラムに基づいて、通信インターフェース２１１、ＲＯＭ２１３とＲＡＭ２１４から取り入れた信号に対して所定の演算処理を行う。ＲＯＭ２１３は、後述するフローチャートに係る処理を含めた制御内容を実行するための制御プログラムと、当該フローチャートの実行に必要な各種情報等が記憶された記録媒体である。
　入力インターフェース２１５は、遠隔操作装置２０３からの制御信号を入力信号として受け取り、通信インターフェース２１１へ出力する。
　出力インターフェース２１６は、ＣＰＵ２１２での演算結果に応じた出力用の信号を作成し、その信号を表示装置２０２の画面上に表示させる。
　図５は、本実施形態に係る遠隔操縦装置２００の遠隔操縦制御装置２０１の機能ブロック図である。
　図５において遠隔操縦制御装置２０１は、予測軌跡演算部２２０と、表示制御部２２１と、通信制御部２２２とを備えている。
　予測軌跡演算部２２０は、通信インターフェース２１１（図４）から入力される車体情報から油圧ショベル１の予測軌跡を演算して予測軌跡データを出力する。例えば、油圧ショベル１に搭載された通信装置９０から送信された各部位のセンサ値に応じて、１秒先の油圧ショベル１の姿勢を描画するための映像信号（予測軌跡データに対応）を表示制御部２２１へ出力する。
　表示制御部２２１は、遠隔操縦制御装置２０１の予測軌跡演算部２２０での予測軌跡演算の演算結果と、通信インターフェース２１１（図４）から入力される油圧ショベル１の車載カメラ映像を重畳する。重畳した映像信号を表示装置２０２へ出力する。
　通信制御部２２２は、送信する信号をパケット化して油圧ショベル１の通信装置９０へ伝送する。また、通信装置９０からのパケット信号を予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号する。
＜予測軌跡演算部２２０の演算フロー＞
　本実施形態の遠隔操縦制御装置２０１の予測軌跡演算部２２０で実施される演算フローを図６に示す。この制御フローは、図５で示す通信装置９０からの信号が通信制御部２２２から入力されることで実施される。
　Ｓ６００では、通信制御部２２２からの入力信号を検出し、Ｓ６１０に進む。
　Ｓ６１０では、Ｓ６００で検出した入力信号からブーム６、アーム７、バケット８、上部旋回部３ｂの予測軌跡を演算する。本実施形態では、車体情報に格納されたブーム６、アーム７、バケット８、上部旋回部３ｂの位置、速度、加速度より現在時刻から所定秒数後ごとのベクトル方向及び大きさをそれぞれ演算する。演算が完了したらＳ６２０に進む。
　Ｓ６２０では、演算結果であるベクトル方向及び大きさを表示制御部２２１での処理に合わせたインターフェースに変換する。ただし、変換が必要ない場合は変換しない。本実施形態ではベクトル方向及び大きさを点群データに変換する。インターフェースを調整した演算結果を表示制御部２２１に出力して処理を終了する。
＜表示制御部２２１の制御フロー＞
　本実施形態の遠隔操縦制御装置２０１の表示制御部２２１で実施される制御フローを図７に示す。この制御フローは、図５で示す通信装置９０からの信号が通信制御部２２２から入力され、予測軌跡演算部２２０からの演算結果が入力されることで実施される。
　Ｓ７００では、通信制御部２２２および予測軌跡演算部２２０からの入力信号を検出し、Ｓ７１０に進む。
　Ｓ７１０では、Ｓ７００で検出した予測軌跡演算部２２０の演算結果から、映像信号として予測軌跡を描画する。本実施形態では、予測軌跡として車体の予測映像（予測軌跡演算部２２０の演算結果（予測軌跡）を基に生成したカメラから視た場合（カメラ視点）の疑似的な油圧ショベル１の予測映像データであり、本稿では疑似カメラ映像とも称する）および各秒数後に応じてグラデーションされたベクトル方向と大きさを示す記号を描画する。描画が完了したら、Ｓ７２０に進む。
　Ｓ７２０では、Ｓ７１０で描画した予測軌跡（映像信号：疑似カメラ映像）と、Ｓ７００で検出した通信制御部２２２からの映像信号（つまり、油圧ショベル１の車載カメラ映像の実映像）を重畳し、Ｓ７３０に進む。
　Ｓ７３０では、Ｓ７２０で重畳した映像信号を表示装置２０２に出力して処理を終了する。表示装置２０２においては、表示制御部２２１から送られた映像信号を基に、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とが同画面上で（同時に）重畳して表示される（図１３参照）。
＜通信制御部２２２の制御フロー＞
　本実施形態の遠隔操縦制御装置２０１の通信制御部２２２で実施される制御フローを図８に示す。この制御フローは、図５で示す遠隔操作装置２０３または通信装置９０から信号が入力されることで実施される。
　Ｓ８００では、遠隔操作装置２０３または通信装置９０からの入力信号（受信信号）を検出し、Ｓ８１０に進む。
　Ｓ８１０では、Ｓ８００で検出した入力信号が遠隔操作装置２０３からの入力信号であるならば、Ｓ８２０に進む。それ以外であれば、Ｓ８３０に進む。
　Ｓ８２０では、入力信号をパケット化して通信装置９０に送信して処理を終了する。
　Ｓ８３０では、Ｓ８００で検出した入力信号が通信装置９０からの入力信号であるならば、Ｓ８４０に進む。それ以外であるならば、Ｓ８５０に進む。
　Ｓ８４０では、予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号および出力して処理を終了する。
　Ｓ８５０では、すべての処理条件に当てはまらないため、入力信号を破棄して処理を終了する。
＜動作・効果＞
　上記のように、本実施形態の遠隔操縦装置２００の制御装置（遠隔操縦制御装置）２０１は、車載カメラ９１で撮影した作業現場のカメラ映像および作業機械（油圧ショベル）１の車体情報を受信する通信制御部２２２と、前記車体情報から前記作業機械（油圧ショベル）１の予測軌跡を演算し、表示装置２０２に映像として表示するための予測軌跡データを出力する予測軌跡演算部２２０と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で（同時に）表示させる表示制御部２２１と、を備える。
　また、前記表示制御部２２１は、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で重畳して表示させる。
　また、前記表示制御部２２１は、前記予測軌跡に基づいて前記車載カメラ９１から視た場合の（疑似的な）前記作業機械（油圧ショベル）１の予測映像である疑似カメラ映像を生成し、前記カメラ映像と前記疑似カメラ映像とを前記表示装置２０２に同画面上で重畳して表示させる。
　すなわち、本実施形態の遠隔操縦装置２００は、車載カメラ映像と予測軌跡映像とを重畳して遠隔地の操縦者に表示することによって、映像データ遅延に依存せず車体状況を操縦者に伝送し、視覚的に映像遅延を操縦者に提示する。
　上記のように構成される遠隔操縦装置２００を含む遠隔操縦システム１００において、通信回線の状況によって映像伝送に遅延が生じてしまう場合であっても、予測軌跡の映像を表示することで操縦者は車体の現在状況を認識できる。さらに疑似カメラ映像（予測軌跡を基に生成したカメラから視た場合の（疑似的な）油圧ショベル１の予測映像）を重畳することで、通信回線に遅延が生じている時は実カメラ映像との差分が顕現するため、操縦者に対して視覚的に映像遅延を提示できる。そのため、遠隔地から操縦する作業機械（油圧ショベル）１において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することができる。
［第２実施形態］
　本発明の第２実施形態について図９～１２を用いて説明する。図９は、本実施形態に係る遠隔操縦装置２００ａの遠隔操縦制御装置２０１ａの機能ブロック図である。
　第１実施形態に加えて、本第２実施形態の遠隔操縦装置２００ａの遠隔操縦制御装置２０１ａは、図９に示すように、通信状況判定部２２３と通信状況送信部２２４が追加で構成されており、表示制御部２２１で重畳した映像信号が通信状況判定部２２３に入力されるように構成されている。
＜遠隔操縦制御装置２０１ａ＞
　通信状況判定部２２３は、表示制御部２２１から入力される映像信号の予測軌跡（疑似カメラ映像）と車載カメラ映像との差分から、油圧ショベル１と遠隔操縦装置２００ａの通信回線の伝送状況を判定する。その判定結果を、通信状況送信部２２４および表示装置２０２へ出力する。
　通信状況送信部２２４は、通信状況判定部２２３の判定結果（通信回線の伝送状況の判定結果）を通信制御部２２２ａを介して油圧ショベル１の通信装置９０へ伝送する。
＜通信状況判定部２２３の演算フロー＞
　図１０に本第２実施形態の遠隔操縦制御装置２０１ａの通信状況判定部２２３の制御フローチャートを示す。この制御フローは、図９で示す表示制御部２２１の出力が入力されることで実施される。
　Ｓ１０００では、表示制御部２２１からの入力信号を検出し、Ｓ１０１０に進む。
　Ｓ１０１０では、Ｓ１０００で検出した表示制御部２２１からの入力信号より、通信状況を判定する。本実施形態では、重畳した映像内の実カメラ映像と疑似カメラ映像の各特徴点の差分量分布から、遅延演算テーブルに基づいて遅延時間を算出する。通信回線の遅延時間の算出が完了したら、Ｓ１０２０に進む。
　Ｓ１０２０では、Ｓ１０１０で演算した遅延時間を通信状況送信部２２４および表示装置２０２へ出力して処理を終了する。表示装置２０２においては、通信状況判定部２２３から送られた判定結果である遅延時間が予測軌跡（疑似カメラ映像）や油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）と共に同画面上で表示される（図１３参照）。
＜通信状況送信部２２４の制御フロー＞
　図１１に本第２実施形態の遠隔操縦制御装置２０１ａの通信状況送信部２２４の制御フローチャートを示す。この制御フローは、図９で示す通信状況判定部２２３の出力が入力されることで実施される。
　Ｓ１１００では、通信状況判定部２２３からの入力信号を検出し、Ｓ１１１０に進む。
　Ｓ１１１０では、Ｓ１１００で検出した通信状況判定部２２３からの入力信号を通信制御部２２２ａへ出力する。本実施形態では、入力信号を遠隔操作装置２０３の操作信号の一つとして変換処理して通信制御部２２２ａへ出力する。入力信号を通信制御部２２２ａへ出力したら処理を終了する。
＜通信制御部２２２ａの制御フロー＞
　本第２実施形態の遠隔操縦制御装置２０１ａの通信制御部２２２ａで実施される制御フローを図１２に示す。この制御フローは、図９で示す遠隔操作装置２０３または通信装置９０または通信状況送信部２２４から信号が入力されることで実施される。
　Ｓ１２００では、遠隔操作装置２０３または通信装置９０または通信状況送信部２２４からの入力信号（受信信号）を検出し、Ｓ１２１０に進む。
　Ｓ１２１０では、Ｓ１２００で検出した入力信号が遠隔操作装置２０３または通信状況送信部２２４からの入力信号であるならば、Ｓ１２２０に進む。それ以外であれば、Ｓ１２３０に進む。
　Ｓ１２２０では、入力信号をパケット化して通信装置９０に送信して処理を終了する。
　Ｓ１２３０では、Ｓ１２００で検出した入力信号が通信装置９０からの入力信号であるならば、Ｓ１２４０に進む。それ以外であるならば、Ｓ１２５０に進む。
　Ｓ１２４０では、予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号および出力して処理を終了する。
　Ｓ１２５０では、すべての処理条件に当てはまらないため、入力信号を破棄して処理を終了する。
＜油圧ショベル（作業機械）１の動作＞
　本実施形態の油圧ショベル（作業機械）１は、通信状況送信部２２４から受信する通信状況判定部２２３の判定結果に応じて車体動作を抑制する。例えば、油圧ショベル１は、通信状況判定部２２３の判定結果である遅延時間に対する動作速度上限値のテーブルを持ち、通信状況判定部２２３の判定結果の遅延時間が大きくなればなるほど動作速度の上限値を抑制して遅く動作するようになる。あるいは、油圧ショベル１は、通信状況判定部２２３が通信途絶と判定した場合、全ての駆動部を停止させる。
　なお、本例では、通信状況送信部２２４が、通信状況判定部２２３の判定結果（遅延時間）をそのまま油圧ショベル１の通信装置９０へ伝送しているが、例えば、通信状況判定部２２３により演算される遅延時間が所定の閾値より大きく、通信障害が判定された場合のみ、通信状況判定部２２３の判定結果（遅延時間）を油圧ショベル１の通信装置９０へ伝送してもよい。
＜動作・効果＞
　上記のように、本実施形態の遠隔操縦装置２００ａは、前記カメラ映像と前記疑似カメラ映像との差分から前記作業機械（油圧ショベル）１と前記遠隔操縦装置２００の通信回線の伝送状況を判定する通信状況判定部２２３をさらに備える。
　また、前記通信状況判定部２２３は、前記通信回線の伝送状況の判定結果を前記表示装置２０２に表示させる。
　また、（例えば前記通信状況判定部２２３により通信障害があったと判定された場合、）前記通信回線の伝送状況の判定結果を前記作業機械（油圧ショベル）１に送信する通信状況送信部２２４をさらに備える。
　上記のように構成される遠隔操縦装置２００ａを含む遠隔操縦システム１００および油圧ショベル１において、２つの映像を重ね合わせることで第１実施形態のように視覚的に遅延状況を操縦者に伝達できるだけでなく、遅延判定結果である遅延時間も求めることができる。また、遅延判定結果を油圧ショベル１に送信できるため、遅延判定結果に応じて油圧ショベル１を制御することが可能となる。
　なお、上記実施形態では、表示装置２０２において、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とが同画面上で（同時に）重畳して表示されているが（図１３参照）、例えば、図１４に示すように、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とを同画面上であるが異なる位置に表示させてもよい（図１４参照）。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記した実施形態のコントローラの各機能は、それらの一部または全部を、例えば集積回路で設計することによりハードウェアで実現してもよい。また、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、コントローラ内の記憶装置の他に、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１…油圧ショベル（作業機械）
２…作業フロント（作業装置）
３…走行体
４…走行油圧モータ
５…旋回油圧モータ
６…ブーム
７…アーム
８…バケット
９…バケットリンク
１０…操作装置
１１…エンジン
１２…運転室
１５…流量制御弁
１６…負荷検出装置
２０…油圧ポンプ
３０…パイロットポンプ
３１…車体傾斜角センサ
３２…旋回角度センサ
３９…ロック弁
４０…制御コントローラ
５４～５９…電磁比例弁
６１…ブームシリンダ
６２…ブーム角度センサ
７１…アームシリンダ
７２…アーム角度センサ
８１…バケットシリンダ
８２…バケット角度センサ
９０…通信装置
９１…車載カメラ
１００…遠隔操縦システム
１４３ａ…ポンプライン
１４４ａ～１４９ｂ…パイロットライン
１５０ａ～１５５ｂ…油圧駆動部
１６０…電磁弁ユニット
１７０…タンク
２００…遠隔操縦装置
２０１…遠隔操縦制御装置（制御装置）
２０２…表示装置
２０３…遠隔操作装置
２０４…操縦席
２１１…通信インターフェース
２１２…中央処理装置（ＣＰＵ）
２１３…リードオンリーメモリ（ＲＯＭ）
２１４…ランダムアクセスメモリ（ＲＡＭ）
２１５…入力インターフェース
２１６…出力インターフェース
２２０…予測軌跡演算部
２２１…表示制御部
２２２…通信制御部
２２３…通信状況判定部（第２実施形態）
２２４…通信状況送信部（第２実施形態）

Claims (8)

  1. 　作業機械へ操作信号を送信して前記作業機械を遠隔地から操縦する制御装置を備えた遠隔操縦装置であって、
    　前記制御装置は、
    　カメラで撮影した作業現場のカメラ映像および前記作業機械の車体情報を受信する通信制御部と、
    　前記車体情報から前記作業機械の予測軌跡を演算し、表示装置に映像として表示するための予測軌跡データを出力する予測軌跡演算部と、
    　前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で表示させる表示制御部と、を備える遠隔操縦装置。
  2. 　前記表示制御部は、前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で重畳して表示させる請求項１に記載の遠隔操縦装置。
  3. 　前記表示制御部は、前記カメラ映像と前記予測軌跡の映像を前記表示装置に同画面上で異なる位置に表示させる請求項１に記載の遠隔操縦装置。
  4. 　前記表示制御部は、前記予測軌跡に基づいて前記カメラから視た場合の前記作業機械の予測映像である疑似カメラ映像を生成し、前記カメラ映像と前記疑似カメラ映像とを前記表示装置に同画面上で重畳して表示させる請求項１に記載の遠隔操縦装置。
  5. 　前記カメラ映像と前記疑似カメラ映像との差分から前記作業機械と前記遠隔操縦装置の通信回線の伝送状況を判定する通信状況判定部をさらに備える請求項４に記載の遠隔操縦装置。
  6. 　前記通信状況判定部は、前記通信回線の伝送状況の判定結果を前記表示装置に表示させる請求項５に記載の遠隔操縦装置。
  7. 　前記通信回線の伝送状況の判定結果を前記作業機械に送信する通信状況送信部をさらに備える請求項５に記載の遠隔操縦装置。
  8. 　前記通信状況判定部により通信障害があったと判定された場合、前記通信回線の伝送状況の判定結果を前記作業機械に送信する通信状況送信部をさらに備える請求項５に記載の遠隔操縦装置。
PCT/JP2022/006559 2021-03-15 2022-02-18 遠隔操縦装置 Ceased WO2022196242A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/023,513 US12416134B2 (en) 2021-03-15 2022-02-18 Remote operation device for a work machine
EP22771001.9A EP4311228A4 (en) 2021-03-15 2022-02-18 REMOTE ACTUATION DEVICE
JP2023506893A JP7466055B2 (ja) 2021-03-15 2022-02-18 遠隔操縦装置
CN202280005784.XA CN116034200B (zh) 2021-03-15 2022-02-18 远程操纵装置
KR1020237006235A KR102874684B1 (ko) 2021-03-15 2022-02-18 원격 조종 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-041732 2021-03-15
JP2021041732 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022196242A1 true WO2022196242A1 (ja) 2022-09-22

Family

ID=83322296

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006559 Ceased WO2022196242A1 (ja) 2021-03-15 2022-02-18 遠隔操縦装置

Country Status (6)

Country Link
US (1) US12416134B2 (ja)
EP (1) EP4311228A4 (ja)
JP (1) JP7466055B2 (ja)
KR (1) KR102874684B1 (ja)
CN (1) CN116034200B (ja)
WO (1) WO2022196242A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024173601A1 (en) * 2023-02-14 2024-08-22 Zimeno Inc. Vehicle tool guidance system
JP2025016172A (ja) * 2023-07-21 2025-01-31 トヨタ自動車株式会社 遠隔支援システム
US12441199B2 (en) 2022-12-01 2025-10-14 Zimeno Inc. Motor output control system
US12448756B2 (en) 2022-11-30 2025-10-21 Zimeno Inc. Vehicle vision
WO2026075061A1 (ja) * 2024-10-04 2026-04-09 株式会社小松製作所 作業機械の制御システム及び作業機械の制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025249608A1 (ko) * 2024-05-30 2025-12-04 볼보 컨스트럭션 이큅먼트 에이비 스윙 어시스트 기능을 갖는 건설기계의 원격조종 시스템
US20260062259A1 (en) * 2024-08-27 2026-03-05 Caterpillar Inc. System and method for determining position of a pipelayer boom

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066724A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP2014004930A (ja) * 2012-06-25 2014-01-16 Aisin Seiki Co Ltd 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2018152652A (ja) * 2017-03-10 2018-09-27 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法およびプログラム
JP2019054464A (ja) 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP2020132431A (ja) * 2019-02-21 2020-08-31 株式会社豊田自動織機 産業車両用走行支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3939564B2 (ja) * 2002-02-12 2007-07-04 アルパイン株式会社 ナビゲーション装置
US9441985B2 (en) * 2012-07-25 2016-09-13 Rockwell Collins, Inc. Future scene generating system, device, and method for a remotely-operated vehicle
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
US9519286B2 (en) * 2013-03-19 2016-12-13 Robotic Research, Llc Delayed telop aid
JP6832548B2 (ja) * 2016-08-31 2021-02-24 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
US10678237B2 (en) * 2016-12-22 2020-06-09 Panasonic Intellectual Property Corporation Of America Information processing apparatus, operated vehicle, information processing method, and recording medium storing program
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
US10425622B2 (en) * 2017-07-18 2019-09-24 The United States Of America As Represented By The Secretary Of The Army Method of generating a predictive display for tele-operation of a remotely-operated ground vehicle
CN107566685B (zh) * 2017-09-26 2020-10-27 联想(北京)有限公司 一种图像数据处理方法及电子设备
EP3934241A4 (en) * 2019-02-28 2022-04-20 Sumitomo Heavy Industries, Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
US11615707B2 (en) * 2019-05-29 2023-03-28 Deere & Company Guidance display system for work vehicles and work implements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066724A (ja) * 2010-09-24 2012-04-05 Denso Corp 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP2014004930A (ja) * 2012-06-25 2014-01-16 Aisin Seiki Co Ltd 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2018152652A (ja) * 2017-03-10 2018-09-27 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法およびプログラム
JP2019054464A (ja) 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP2020132431A (ja) * 2019-02-21 2020-08-31 株式会社豊田自動織機 産業車両用走行支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4311228A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12448756B2 (en) 2022-11-30 2025-10-21 Zimeno Inc. Vehicle vision
US12441199B2 (en) 2022-12-01 2025-10-14 Zimeno Inc. Motor output control system
WO2024173601A1 (en) * 2023-02-14 2024-08-22 Zimeno Inc. Vehicle tool guidance system
JP2025016172A (ja) * 2023-07-21 2025-01-31 トヨタ自動車株式会社 遠隔支援システム
WO2026075061A1 (ja) * 2024-10-04 2026-04-09 株式会社小松製作所 作業機械の制御システム及び作業機械の制御方法

Also Published As

Publication number Publication date
US20230323630A1 (en) 2023-10-12
JP7466055B2 (ja) 2024-04-11
US12416134B2 (en) 2025-09-16
KR20230044253A (ko) 2023-04-03
CN116034200A (zh) 2023-04-28
KR102874684B1 (ko) 2025-10-22
JPWO2022196242A1 (ja) 2022-09-22
CN116034200B (zh) 2025-10-21
EP4311228A4 (en) 2025-02-19
EP4311228A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
JP7466055B2 (ja) 遠隔操縦装置
US12264456B2 (en) Shovel
KR102024701B1 (ko) 작업 기계
KR102091504B1 (ko) 건설 기계
EP3951077B1 (en) Excavator and construction system
KR20190025992A (ko) 작업 기계
WO2018051511A1 (ja) 作業機械
KR20210120085A (ko) 건설 기계
JPWO2018043299A1 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
CN113631776B (zh) 挖土机及施工系统
KR20200028993A (ko) 작업 기계
CN114174595B (zh) 挖土机及挖土机的控制装置
JP6615058B2 (ja) 作業機械
CN116057238B (zh) 作业机械
JP7704501B2 (ja) 作業機械
JP7809562B2 (ja) 作業機械
EP4394134B1 (en) Shovel
JP2025039396A (ja) ショベル、及びショベルの遠隔操作システム
JP2025079734A (ja) 作業機械の操作システム、及び作業機械の遠隔操作装置
JP2026004736A (ja) 作業機械、及び、作業機械用の遠隔操作システム
JP2026011877A (ja) 作業機械、及び作業機械用の操作システム
JP2025104958A (ja) ショベル及びショベルシステム
JP2024159066A (ja) ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771001

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237006235

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2023506893

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022771001

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022771001

Country of ref document: EP

Effective date: 20231016

WWG Wipo information: grant in national office

Ref document number: 18023513

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 202280005784.X

Country of ref document: CN