EP3408210A2 - Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug - Google Patents

Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Info

Publication number
EP3408210A2
EP3408210A2 EP17721522.5A EP17721522A EP3408210A2 EP 3408210 A2 EP3408210 A2 EP 3408210A2 EP 17721522 A EP17721522 A EP 17721522A EP 3408210 A2 EP3408210 A2 EP 3408210A2
Authority
EP
European Patent Office
Prior art keywords
machine
control device
crane
remote control
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17721522.5A
Other languages
English (en)
French (fr)
Other versions
EP3408210B1 (de
Inventor
Michael PALBERG
Jürgen Resch
Oliver Fenker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liebherr Werk Biberach GmbH
Original Assignee
Liebherr Components Biberach GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE202016002295.5U external-priority patent/DE202016002295U1/de
Application filed by Liebherr Components Biberach GmbH filed Critical Liebherr Components Biberach GmbH
Priority to EP21197655.0A priority Critical patent/EP3950558A1/de
Publication of EP3408210A2 publication Critical patent/EP3408210A2/de
Application granted granted Critical
Publication of EP3408210B1 publication Critical patent/EP3408210B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/52—Details of compartments for driving engines or motors or of operator's stands or cabins
    • B66C13/54—Operator's stands or cabins
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16—Cabins, platforms, or the like, for drivers
    • E02F9/166—Cabins, platforms, or the like, for drivers movable, tiltable or pivoting, e.g. movable seats, dampening arrangements of cabins
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles

Definitions

  • Remote control device for crane, construction machine and / or industrial truck
  • the present invention relates to a remote control device for a crane, a construction machine and / or a truck, with a control station, the at least one input means for inputting control commands and a signal transmission device for transmitting the input control commands to the control device of the crane, the construction machine or Truck and a display device for displaying a representation of the machine environment and / or a working tool such as jib or hooks, wherein a movement determination module for determining movements and / or deformations of the machine components is provided in response to the input control commands.
  • Cranes and similar large equipment such as Bohrrammello, Surface Miner or Crawler Excavators are very complex in operation and control. This is not only the variety of control functions and their interaction and the associated, in their entirety quite complex input means such as joysticks, foot pedals and control switches a problem, but also the often unfamiliar, machine-specific reactions of the machine structure to movements of the actuators.
  • Cranes such as tower cranes or Telescopic luffing cranes, but also harbor or Maritimkrane have long, slim structural components such as boom or tower structures that twist and are relatively soft, so that associated with acceleration or deceleration operations of the actuators structural deformations and pendulum movements that for experienced crane operators as a kind Feedback for the control operation serve.
  • tower cranes can deform the tower structure and boom system when a load is picked up, or it can pendulum the load when turning about the upright axle and the boom will vibrate accordingly. The same can occur in cable excavators or Bohrrammellon, so that a crane operator or operator is unsafe if he does not learn the usual, corresponding crane reactions to control operations.
  • an approximately realistic control station which, for example, corresponds to the crane operator cab of a respective crane type and can have control commands via input means such as joysticks, pedals, control switches or touchscreens provided there.
  • a real or virtual representation of the crane environment as well as the crane components visible from the control station, such as, for example, outriggers and load hooks is represented on a display device, which is known to comprise a plurality of screens arranged in the field of view of the control station, wherein a "real" representation of cameras on the remote-controlled machine and the virtual representation of the crane environment and the crane components can be calculated by a graphical simulation module as a function of the input control commands.
  • a remote control system for a crane is known for example from the document DE 10 2012 216 489 A1, this known remote control for machines of different types should be used.
  • the remote control is provided with a selection mechanism, which allows to reduce the number of control and selection menus of the display of the remote control, depending on the configuration in which the connected machine is located.
  • this remote control in the manner described above, there is a lack of sufficient realism, which is hardly improved by the adaptation of the operating menus to the respective working machine.
  • a crane simulator that works with virtual representations of the crane environment is known, for example, from document DE 10 2013 011 818 A1.
  • a crane cab is provided as a control station with corresponding input means, wherein the viewing window or the glazing of the simulated crane cab are replaced by screens on which the virtual representation of the crane environment is displayed.
  • a technical simulation module and the dynamic behavior of the control and drive components is to be simulated and taken into account in the screen display, in which case especially occurring during certain crane movements positioning movements of crane components such as the hoist are presented.
  • the present invention has the object to provide an improved remote control device of the type mentioned, which avoids the disadvantages of the prior art and further develops the latter in an advantageous manner.
  • a more realistic simulation of crane or machine operation is to be achieved, which better communicates the actual crane or machine behavior and makes the remote controllability safer.
  • the object is achieved by a remote control device according to claim 1.
  • Preferred embodiments of the invention are the subject of the dependent claims.
  • control station which may for example comprise an operator's chair, is no longer statically rigidly mounted in the room or on the floor, but can be moved by a drive device in the room.
  • the control station of the remote control device is movably mounted and can be moved by a drive device as a function of the movements and / or deformation of the machine components determined by the movement determination module.
  • the propulsion device is driven by a propulsion control device to simulate the movement of the crane operator's cab and move the control station accordingly. For example, if a command to rotate the crane about an upright axis is entered at the helm, the helm is rotated by the drive device according to the upright axis. If, for example, the control command for lifting a heavy load is entered, which in reality can lead to a slight nodding of the crane structure with slight twisting of the tower, the control station is moved slightly forward by the drive device and / or slightly tilted forwards.
  • the drive device can be designed to be multi-axially movable and / or to perform both rotational and translatory movements.
  • the control station can be multi-axially movably mounted and the drive device comprise at least one upright rotation axis and at least one horizontal rocking axis and / or two lying lying translational axes.
  • the drive device can have three rotation or tilt axes or three axes rotatory working trained and three axes translational working, so that the control station rotated by all three spatial axes or tilted and translational in all three spatial directions can be moved.
  • simpler designs of the drive device with fewer axes of motion may also be considered.
  • the remote control device can be connected to various devices, in particular different types of devices and set up a control communication with the selected device.
  • This can be, in particular, various equipment used on a construction site, such as cranes, excavators, caterpillars or similar machines, but also devices used at various locations.
  • a control communication connection can be set up from the remote control device and / or from the respective device, for example by selecting a respective IP address if the connection is made via a network, or in another way .
  • a high-bandwidth communication link is advantageously selected to avoid real-time problems or skews between control commands and machine responses.
  • the remote control device in a further development of the invention Have configuration module, by means of which the remote control device can be optionally preconfigured for each remote controlled machine type.
  • the preconfiguration means mentioned can adapt the assignment of the control levers and control keys as well as the selection of the operating menus and screen representations to the respective device in a manner known per se.
  • preconfiguration means can also be provided for the motion control and / or imaging of the machine reactions, by means of which the drive devices can be reconfigured to move the control station and adapted to the machine reactions of the respective machine type, since, for example, a tower tower crane rotating above reacts differently than a tower crane turning down or in turn a telescopic luffing crane reacts differently than a tower crane, or an excavator reacts differently than a crane.
  • working and / or boundary parameters of the movement determination module can also be reconfigured by means of the configuration means mentioned, so that the movement determination module determines the movements and / or deformations of machine components suitable for the respective machine type, depending on the selected machine type.
  • the configuration module may also include preconfiguration means for adapting the display device and the illustration of the machine environment and / or the working tool reproduced thereon, wherein said preconfiguration means may preferably adapt the display and / or the display device to the cameras present or usable on the respective remote-controlled machine type and / / or, if the representation is calculated virtually, the parameters for the calculation of the virtual representation can be adapted to the respective machine type.
  • the said movement determination module can basically be designed differently.
  • the motion determination module may be genuine Detecting reactions of the remote-controlled machine by means of a suitable sensor, with corresponding sensor signals can be transmitted to the remote control to then actuate the control station accordingly or to control.
  • the detection of such real machine reactions of the remote-controlled machine may include, for example, the detection of movements, such as the travel of a trolley, the playing and playing a hoist of a crane, etc.
  • deformations of the structure of the remote-controlled machine can be detected, such as pitching movements of the crane cab as a result of tower deformations, for example by means of corresponding inclination and / or acceleration sensors.
  • the movement determination module can also simulate the responses to input control commands in the form of movements and / or deformations of machine parts and for this purpose have a corresponding simulation module, which depends on the entered Control commands corresponding reaction movements and / or deformations calculated and / or with the help of control and / or movement components that belong to the simulation module, can map and measure.
  • a simulation can avoid time offset problems between the remote control station and the remote-controlled machine, especially with slower communication links or other distance links.
  • the configuration module can adapt the calculation parameters and / or algorithms for the simulation of the movements and / or deformations to the respectively selected machine type.
  • dynamic packets or data and algorithm sets for various machines to be remotely controlled can be read from a database into the simulation module in order to suit the respectively selected one Machine to simulate the movements and deformations.
  • the reading of the said dynamic data packets can be done online from a database.
  • the simulation module itself may be provided with a memory device in which various data and algorithmic records are stored in the manner of a library.
  • hybrid forms are also possible in which part of the reactions on the real, remote-controlled machine are detected and another part of the reactions is determined by the simulation module.
  • the movement determination module is designed such that the crane or machine structure is not considered as a rigid, so to speak infinitely stiff structure, but is assumed as elastically deformable and / or resilient and / or relatively soft structure, which - in addition to the actuating movement axes of the machine such as the cantilever rocker axis or the tower axis of rotation - allows movements and / or position changes by deformations of the structural components.
  • the consideration of the mobility of the machine structure as a result of structural deformations under load or dynamic loads is particularly important for elongated, slender and deliberately static and dynamic boundary conditions - taking into account the necessary collateral - structures as in cranes of importance, since here noticeable movement shares for example the crane operator cab, but also the load hook position are added by the deformations of the structural components.
  • the movement determination module takes into account such deformations of the machine structure under static or dynamic loads.
  • the determination device for determining such structural deformations may comprise a calculation unit which determines these structural deformations on the basis of a stored calculation model in FIG Dependence of the control commands entered at the control station calculated.
  • a model can be constructed similar to a finite element model or be a finite element model, but advantageously a model that is significantly simplified compared to a finite element model is used, for example empirically by detecting structural deformations under certain control commands and / or load conditions on the real crane or the real machine can be determined.
  • Such a calculation model can, for example, work with tables in which specific deformations are assigned to specific control commands, wherein intermediate values of the control commands can be converted into corresponding deformations by means of an interpolation device.
  • the structural part deformations considered by the motion determination module can, on the one hand, be taken into account in the control of the drive device for moving the control station, so that the control station imitates the control station movements occurring due to the structural part deformations.
  • certain or detected structural part deformations can also be taken into account in the representation of the machine environment and / or the machine components visible therein, for example in that the deflection of the boom is represented in the illustration or the horizon of the crane environment is moved upwards a bit to simulate a slight forward nodding of the crane cab by, for example, a tower deformation.
  • the representation of the machine environment and / or the working tool of the remote-controlled machine displayed on the control station can comprise a real representation provided by means of at least one camera provided in the area of the remote-controlled machine, and / or also comprise a virtual representation which is displayed by means of a graphic simulation module Dependence of the input control commands is calculated.
  • Such a real, camera-generated representation of the machine environment and / or the working tool can be generated in particular in the form of a live image or television-like video image, wherein transmitted from the at least one camera on the remote-controlled machine, a corresponding video signal to the remote control station of the remote control device and from the there provided display unit is played.
  • imaging sensors for example an infrared sensor and / or a radar sensor and / or a photo mixing detector and / or a light transit time sensor in the sense of a so-called time-of-flight detector
  • the measuring object is illuminated by light pulses and the signal transit time is measured, on the basis of which the distance between the camera and the object can be calculated and a three-dimensional image can be generated.
  • a plurality of imaging sensors of different types such as a camera can be used in conjunction with an infrared sensor, their images can be superimposed and displayed in a common image, for example, such that in the camera image, the warm parts of an infrared image, for example, indicate people can be displayed.
  • a video and / or television camera is advantageous in that it produces a realistic image that gives the operator a feeling of seeing with his own eyes.
  • Such a camera or imaging sensor for representing the machine environment or the working tool of the remote-controlled machine may be mounted fixedly or pivotably on the machine itself, for example on the crane operator cab of a crane and / or on the trolley of a tower crane or at another suitable location, the camera advantageously being oriented in such a way that the working tool, for example the load hook of a crane, can be observed.
  • the working tool for example the load hook of a crane
  • several cameras can be provided in this case in order to view the working tool from different perspectives.
  • a movable and / or movable to different locations camera can be used, which allows to represent the working tool and / or the machine environment from different perspectives.
  • a camera can be used, which is mounted on a flying drone. It is therefore proposed to use a remote-controlled, equipped with a camera flight drone, by means of which the desired camera image of the working tool and / or the tool environment can be provided from different directions.
  • a perspective camera image of the working tool and its surroundings can be provided from oblique viewing axes, which can be obtained from a point spaced from the machine and the driver's cab and above the ground, so that the machine tool and the working environment a visual line can be visualized, as they would see an external viewer.
  • camera images of the load hook and its surroundings can be provided, which can be seen from the side obliquely or perpendicular to the vertical crane center plane through the boom. Also, from drone positions lying in this vertical crane center plane passing through the boom, images of the load hook can be provided. By such perspective camera images from different visual axes, the relative positions between Work tool and its environment or a target point are much better visualized.
  • the aircraft drone can be controlled depending on a machine position and / or working tool position in such a way that the drone machine, especially working tool movements automatically follows and a desired position relative to the machine and / or their Work tool also at machine movements, especially working tool movements at least approximately holds or tries to keep trying and nacha.
  • the aircraft drone may automatically follow the hook of the crane when the automatic follow mode is activated.
  • the aircraft drone can automatically reduce or increase its altitude when the load hook is lowered or raised, and / or in parallel fly forward or backward to the vertical crane midplane as the trolley of the crane moves and / or laterally crosses left or right as the crane is twisted.
  • the flying drone can also be remotely controlled autonomously such that various desired positions relative to the machine and / or its working tool can be flown freely from the drone. This can be done, for example, by entering a desired position for the aircraft drone relative to the load hook or the working tool, for example, such that in a position control module, which may be provided in the control station of the remote control device, a position with respect to the load hook is entered, for example in shape "2 m above the right side of the load hook.”
  • the flying drone can also be completely cleared away from the machine and its working tool, for example with the aid of a joystick, for as long as possible fly away until the camera position and its angle on the work tool and its environment appeals to the crane operator or machine operator.
  • the images provided by the camera and / or the graphic simulation module of the surroundings of the remote-controlled machine with live images from the control station for example movements of the remote control device user can be superimposed.
  • the real or virtual representations of the machine environment and / or the machine components visible therein and, on the other hand, live images of a live camera recorded on the control station can be displayed simultaneously and superimposed on the display device.
  • Such a superposition of images from the simulation world and live images gives the remote control device user a particularly strong sense of reality.
  • a display device wearable on the head in particular spectacle-like display device, for example in the form of a virtual reality glasses and advantageously also on the head portable, for example, designed as a helmet camera or integrated into said virtual reality glasses camera, the provides the said live images, which are displayed together with the artificially generated, virtual representation on the display device, in particular the virtual reality glasses.
  • Said camera for providing the live images from the control station can advantageously be a stereoscopic camera which preferably provides stereoscopic images in at least approximately matching the viewing direction of the user's eye pair camera viewing direction, which are displayed at the appropriate location of the display device, in particular the virtual reality glasses can.
  • This allows a particularly realistic user experience can be achieved.
  • Such a 360 ° camera also simplifies the construction of the imaging system, in particular, the camera image of the head movement of the wearer of the virtual reality glasses can follow relatively easily, whereby a complex remote control of the camera can be avoided.
  • the superimposition device for superimposing the live images of the control station camera with the representation of the environment of the remote-controlled machine can advantageously be designed according to the so-called green-screen technique, wherein the superimposition device recognizes color surfaces of a predetermined color in the live image and these image areas are then recognized by the virtual representation replaced from the simulation module.
  • the control station include a driver's cab wall, are colored in the window areas - for example, according to the viewing windows of a real crane cab - in a key color, which are different from the remaining colors of the other lying in the camera field components such as the color of the window framing, the input means and the Operator clothing as well as - skin color as clearly as possible, so that recorded in the control station live image said colored surfaces in a specific Color rendering while all other image areas are shown in different colors.
  • Device whose components and in the field of view of the live camera body limbs of the user really shows as a live image and on the other hand in the captured by the live camera window areas of the cab wall shows the camera-generated real or virtual representation of the machine environment and the machine components visible therein.
  • the aforementioned virtual representation of the machine environment can advantageously be changed by the graphical simulation module and be adapted to different scenarios depending on different data records which can be imported via an interface into the simulation module.
  • planning data such as CAD data of a building to be manufactured and / or construction site actual data, which reflect the actual state of a building or structure depending on the construction progress, be imported into the simulation module via a corresponding data interface and used by the simulation module, the virtual representation the machine environment according to the recorded data set, in particular depending on the recorded planning data and / or construction site actual data to generate or adapt to it.
  • the construction site or building information mentioned can be CAD data or other geometric data of the building or the construction site in the aforementioned manner, it also being possible to use digital image data which reflects the actual building and its construction progress.
  • image data can be used as machine environment data via the said CAD interface or a suitable image data interface in the graphic Simulation module can be imported, which then adapts the virtual representation of these acquired CAD and / or image data.
  • the modeling of a planned or already existing or partly executed construction site and the corresponding generation of the virtual representation of the machine environment by the graphical simulation module is in particular a valuable tool to ensure the logistics on a construction site and to be able to simulate and practice critical processes before the start of construction ,
  • the remote control device can advantageously not have the motion parameters required for the motion simulation calculated by a simulation computer, but at least partially by means of data emulation using actually moving hardware components may form part of the remote control facility.
  • a data emulation module of the remote control device can in particular comprise actuator components and / or power electronic components by means of which actual positioning movements are carried out, which simulate the real crane or machine movements and provide data characterizing these movements, for example in the form of sensor signals representing the positioning movements of said Play drive components.
  • said motion determination module can be designed as a hybrid device or hybrid module, on the one hand a computer for the simulation of motion and / or position parameters and on the other hand the real crane or machine actuators at least similar hardware components such as drive units, encoders or frequency converter comprises, simulated by means of which positioning movements and movement and / or position parameters are determined.
  • "genuine" hardware components are used, which are also installed in the crane to be simulated or the machine to be simulated as actuator and / or control device components.
  • the movement determination module may comprise the control cabinet or at least a part of the control cabinet and its components, which is also used in the machine to be simulated and forms part of the machine control there.
  • the power electronics and / or at least part of the power electronics such as a frequency converter can be used to simulate the actuating movements that are triggered by control command inputs on the control station.
  • actuator units for example in the form of servomotors
  • a drive unit for example in the form of a servo drive unit is used here for a respective actuator axis, which - in particular via the aforementioned frequency converter - is driven according to a control command
  • a further drive unit for example in the form of a servo drive unit, can be coupled by means of which a counter-torque and / or a counter-load can be exercised to simulate actual loads, resistances or inertias.
  • a load can be simulated by means of said second drive unit, which counteracts a hoist, or it can be simulated a wind torque, which counteracts a slewing drive.
  • the adjusting movement of the first-mentioned drive unit can be detected by a suitable detection device, whereby a corresponding detection signal reproduces the actually obtained actuating movement and can be used as a sensor signal in the further simulation, in particular in the aforementioned To determine movements and / or positions and / or deformations of the structural parts and / or to simulate the virtual representation of the machine environment and / or the machine components visible therein.
  • a plurality of such drive units or a plurality of such drive unit pairs comprising drive and counter-load drive and a respectively associated detection device are used to determine the various actuating movement axes and the related executed positioning movements of the machine operation to be simulated.
  • the sensor values of the drive units of the actuating movement axes which are actuated and moved as a function of the control commands entered at the control station, are therefore not simulated or calculated by means of a computing model but based on hardware components as close as possible to the real actuator components of the machine to be simulated come, emulated or readjusted and output directly as actual sensor values.
  • Such a data emulation system allows the motion determination module to determine movements and / or positions of the machine components much faster and with less processing power, so that the virtual representation of the machine environment and / or of the machine components and the associated positioning movements of the machine state are much faster and more realistic can be achieved.
  • the generated sensor signals can be displayed on the control station and / or used for further monitoring measures such as load monitoring or workspace limitations that can be displayed and / or simulated on the control station.
  • the aforementioned drive unit pairs for carrying out the appropriate positioning movements and providing the corresponding counter-torque or counter-load in particular the tower lathe - or in a top-slewing the boom turning -, the hoist and the Cat trolley correspond.
  • FIG. 1 shows a schematic representation of a remote-controlled crane in the form of a tower crane whose load hook maneuvers a load in the non-visible area behind a building, wherein a flying drone with a camera observes the load hook to transmit a corresponding camera image to the control station of the remote control device, and
  • Fig. 2 a schematic representation of the components of a remote control device with a control station for the operator according to an advantageous embodiment of the invention.
  • the remote control device 1 can be designed as a crane remote control, which comprises a control station 2 in the form of a crane operator cabin, which is essentially a "real" crane operator cabin, as on a crane, for example a tower crane, a port crane or a maritime crane or mobile telescopic crane can be used.
  • the crane 200 may in this case be designed as a tower crane whose tower 202 carries a boom 203, on which a trolley 204 is movably mounted.
  • the boom 203 can be rotated together with the tower 202 or even without the tower 202 - depending on the design of the crane as a top or bottom rotator - about an upright axis, including a slewing drive is provided.
  • the extension arm 203 could also be designed so that it can be tilted up and down about a horizontal transverse axis, wherein a suitable rocker drive could be provided, for example, in cooperation with the boom bracing.
  • Said trolley 204 can be moved by means of a trolley or other Katzfahrantriebs.
  • Said control station 2 can in this case comprise, in a manner known per se, an operator seat 21, for example in the form of an operator's chair 20, around which various input means 18 for inputting control commands are arranged.
  • the aforementioned input means 18 may comprise, for example, a joystick, a touch screen, control levers, input keys and switches, rotary controls, sliders and the like.
  • the operator station is in this case surrounded by a cab wall 22, which may correspond to a cabin housing and windows 23, which are glazed in real crane cabs, but in the present case colored in a particular color, for example, coated with a green film to Green by means of green Screen technique to show a real, camera-generated or virtual machine environment, as will be explained.
  • the control station 2 is mounted on a movement platform 7, by means of which the control station 2 is multi-axially movable.
  • the movement platform 7 is advantageously multi-axially movable, in particular about all three spatial axes x, y and z verkipp- or rotated and along these axes translationally displaceable.
  • Actuators of a drive device 8 are associated with the axes of movement x, y and z of the movement platform 7, for example in the form of electric motors and / or hydraulic cylinders and / or hydraulic motors in order to be able to move the control station 2 about or along the axes.
  • the drive device 8 is driven by a motion control device 24, which can be realized for example by an industrial PC.
  • the said movement control device 24 may in particular be part of a movement determination module 10, by means of which crane movements and / or positions and / or orientations of crane components such as the boom or the tower and also twists of structural components such as the boom or tower depending on the respective control station 2 input control commands can be determined.
  • the said movement determination module 10 determines, as it were, the effects of the inputted control commands on the crane to be controlled, i. which movements, positions, orientations and twists of the crane components would result as a result of input control commands on the crane to be controlled and outputs corresponding, the said variables characterizing motion signals.
  • the said movement determination module 10 does not determine the said movement variables hereby or not completely by calculation on the basis of a calculation model, but resorts to actual hardware components in the form of drive and control components, the actual ones Perform movements and the corresponding hardware components are modeled on a real crane.
  • the movement determination module 10 comprises at least the essential components of a crane control 25, as can be realized in the control cabinet of a crane, for example.
  • said crane control 25 comprises the frequency converters 15 of various crane drives, for example the slewing gear, the trolley and the hoist.
  • Said crane control 25 may optionally comprise further control and / or power electronics components, in particular
  • the crane control 25 is communicatively connected to the control station 2 and its input means 18, so that the crane control 25 can process the input control commands, in particular the frequency converter 15 depending on the input control commands drive units 12, for example in the form of servo drives.
  • the control commands entered at the control station 2 are thus converted into real movements or drive torques and forces of the drive units 12.
  • the drive units 12 mentioned here can be coupled with mating drive units 14 via which motion resistances can be applied to the drive units 12 in order to be able to simulate real resistances such as lifting loads, wind forces, inertias or dynamic loads.
  • the mating drive units 14 can be controlled by the aforementioned industrial PC, which also implements the motion control device 24.
  • the control of the mating drive units 14 can be carried out on the basis of various specifications or programs, for example, by predeterminable lifting loads, predeterminable wind programs or based on predetermined functions or tables such as dynamic reactions when braking the trolley or the rotary motion.
  • a memory module of the control device to drive the mating drive units 14 corresponding models, tables or functions stored.
  • the drive units 12 are assigned detection devices 13, for example in the form of encoders or other position and / or motion sensors, by means of which movement or position signals are provided which characterize the actuating movements of the drive units 12.
  • the motion determination module 10 thus provides real sensor signals as motion parameters that can be displayed on the one hand at the control station 2 and on the other hand can also be used for further simulation functions.
  • structural distortions such as tower bends, cantilever bends and similar deformations can be determined using a computer model and the drive device 8 of the movement platform 7 can be controlled to move the control station 2 and the virtual representation of the crane environment can be generated, respectively as a function of the said, actually generated sensor signals.
  • the movement determination module 10 may comprise a computer unit 11, which in turn may be realized by the aforementioned industrial PC, by means of which computer unit 11 in response to the inputted at the control station 2 control commands and / or the emulated data generated by the data emulation device 19 and the drive units 12 associated detection device 13 generated sensor signals are generated, structural distortions are determined, in particular bends and torsion in the crane tower and in the crane boom, the computer unit 11 for this purpose uses a structural stiffness considering calculation model, as explained above.
  • the movement determination can also detect "real" movements and / or deformations of the remote-controlled crane by means of a suitable sensor system and by Remote data transmission transmitted to the control station 2, and then to control certain functions of the control station 2 of the remote control device based on these real crane reactions.
  • the motion control device 24 controls the drive device 8 of the movement platform 7 to move the control station 2 and emulate real crane operator movements that are true upon input of appropriate control commands Crane would occur.
  • the aforementioned movement data and possibly also the deformation data mentioned are used to take into account crane reactions in a virtual representation which is generated by a graphic simulation module 9 and displayed on a display device 3.
  • the mentioned virtual representation shows in particular the crane environment and visible crane components such as the crane boom and the load hook and can essentially correspond to the image that a crane operator would see from the crane operator cabin.
  • the said virtual representation can hereby correspond in the form of a photo- or film-like digital image, for example a pixel representation in several colors.
  • a simplified graphical representation can also be provided, although the most realistic, photo- or film-like display image is preferred.
  • a true, camera-generated representation of the crane environment and / or the load hook can also be used at the control station 2.
  • at least one camera may be mounted on the crane 200, the live images of which are transmitted to the control station 2.
  • Such a camera 220 may for example be mounted on the crane cab 206 of the remote-controlled crane 200 and advantageously at least approximately have a visual axis, which is the visual axis of a crane operator in corresponds to the crane cab 206 and / or goes from the crane cab 206 to the load hook.
  • a flying drone 209 can be used, which is equipped with at least one camera and can be moved remotely relative to the crane 200.
  • the flying drone 209 is provided, on which at least one camera 210 is mounted, by means of which a camera image is provided by the load hook 208 and / or the load hook environment can.
  • Said camera image is advantageously a live or real-time image in the form of a television or video image and is transmitted wirelessly from the camera 210 of the aerial drone 209 to a display unit 211 and / or the control device 205 of the crane 201, said display unit 211 being, for example, a machine operator display may be in the nature of a tablet or a screen or a monitor that may be mounted in the crane cab 206. If a remote control station or a mobile operating unit is used to control the crane 201 in the aforementioned manner, said display unit 211 may be provided in the remote control station or on the mobile operating unit.
  • the airborne drone 209 is provided with a remote control device 212 which allows the airborne drone 209 to be remotely controlled, in particular the flight control units such as rotor blades, to remotely control the flight position of the aerial drone 209 and / or remotely control the camera 210, in particular with respect to the swivel angle of the camera 210 relative to the body of the flying drone 209 and / or the focal length of the camera 210.
  • a remote control device 212 which allows the airborne drone 209 to be remotely controlled, in particular the flight control units such as rotor blades, to remotely control the flight position of the aerial drone 209 and / or remotely control the camera 210, in particular with respect to the swivel angle of the camera 210 relative to the body of the flying drone 209 and / or the focal length of the camera 210.
  • a corresponding remote control module may be provided in the crane cab 206 and / or the remote control station or the mobile control unit, for example, be equipped with appropriate joysticks.
  • voice control and / or menu control may also be provided for the aerial drone 209, for example to select a desired relative position relative to the crane from a plurality of predetermined relative positions of the aircraft drone 209. This can be done, for example, by inputting "drone position 1" via voice control and / or menu control, which can be preprogrammed or predetermined in the position control device 213.
  • said real or virtual representation of the crane environment and the cranial components visible therein is superimposed by a live image showing real components from the helm 2, in particular from the head of the remote helper in its line of sight visible components such as the input means 18, the hands and the forearm of the user and other components in view.
  • a camera 16 is advantageously provided, which may be designed as a head camera of the user portable head and may have appropriate fastening and / or holding means for attachment to the head, for example in the form of a helmet camera. If the display device 3 is advantageously designed in the form of a virtual reality glasses 4 that the user wears, the camera 16 can be integrated in these VR glasses.
  • the camera 16 is embodied as a stereoscopic camera in order to be able to provide stereoscopic images corresponding to the visual axes of the two eyes of the user.
  • the overlay device 17 for superimposing the representation of the crane environment and the live image of the camera 16 from the control station 2 can in this case in particular comprise a color-based image processing module 26, which can operate according to the so-called green-screen technique.
  • said color-based image processing module 26 can recognize image regions which have a specific color deviating from the remaining image sub-areas and then replace these image regions with the representation from the simulation module 9.
  • control station 2 include a driver's cab wall 22, are colored in the window areas 23 - for example, according to the viewing windows of a real crane cab - in a key color, which differs from the remaining colors of the other lying in the camera field components such as the color of the window frames, the Input means 18 and the operator clothing and skin color as clearly as possible, so that the recorded in the control station 2 live image shows the said colored areas in a particular color reproduction, while all other image areas are shown in different colors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Fernsteuer-Einrichtung für einen Kran, eine Baumaschine und/oder ein Flurförderzeug, mit einem Steuerstand, der zumindest ein Eingabemittel zum Eingeben von Steuerbefehlen sowie eine Signalübertragungseinrichtung zum Übertragen der eingegebenen Steuerbefehle auf die Steuervorrichtung des Krans, der Baumaschine oder des Flurförderzeugs aufweist, sowie einer Anzeigevorrichtung zum Anzeigen einer Darstellung der Maschinenumgebung und/oder eines Arbeitswerkzeugs wie Ausleger oder Lasthaken, wobei ein Bewegungsbestimmungsmodul zum Bestimmen von Bewegungen und/oder Verformungen der Maschinenkomponenten in Abhängigkeit der eingegebenen Steuerbefehle vorgesehen ist. Es wird vorgeschlagen, Kran- bzw. Maschinenreaktionen auf am Steuerstand eingegebene Steuerbefehle beispielsweise in Form von Kranbewegungen und/oder -Verformungen nicht nur in Form einer Darstellung auf der Anzeigevorrichtung darzustellen, sondern in eine mit der Kran- bzw. Maschinenreaktion einhergehende, tatsächliche Bewegung des Steuerstands der Fernsteuerung umzusetzen, um dem Fernsteuerungs-Nutzer die dynamischen Maschinenreaktionen realitätsnäher vermitteln und erfahren zu lassen.

Description

Fernsteuer-Einrichtung für Kran, Baumaschine und/oder Flurförderzeug
Die vorliegende Erfindung betrifft eine Fernsteuer-Einrichtung für einen Kran, eine Baumaschine und/oder ein Flurförderzeug, mit einem Steuerstand, der zumindest ein Eingabemittel zum Eingeben von Steuerbefehlen sowie eine Signalübertragungseinrichtung zum Übertragen der eingegebenen Steuerbefehle auf die Steuervorrichtung des Krans, der Baumaschine oder des Flurförderzeugs aufweist, sowie einer Anzeigevorrichtung zum Anzeigen einer Darstellung der Maschinenumgebung und/oder eines Arbeitswerkzeugs wie Ausleger oder Lasthaken, wobei ein Bewegungsbestimmungsmodul zum Bestimmen von Bewegungen und/oder Verformungen der Maschinenkomponenten in Abhängigkeit der eingegebenen Steuerbefehle vorgesehen ist.
Krane und ähnliche Großgeräte wie Bohrrammgeräte, Surface Miner oder Seilbagger sind in der Bedienung und Steuerung sehr komplex. Dabei ist nicht nur die Vielzahl der Steuerungsfunktionen und deren Zusammenwirken sowie die damit einhergehenden, in ihrer Gesamtheit recht komplexen Eingabemittel wie Joysticks, Fußpedale und Steuerungsschalter ein Problem, sondern auch die oft ungewohnten, maschinenspezifischen Reaktionen der Maschinenstruktur auf Bewegungen der Stellantriebe. Krane wie beispielsweise Turmdrehkrane oder Teleskop-Wippkrane, aber auch Hafen- oder Maritimkrane besitzen lange, schlanke Strukturbauteile wie Ausleger- oder Turmstrukturen, die sich verwinden und relativ weich sind, so dass mit Beschleunigungs- oder Abbremsvorgängen der Stellantriebe Strukturverformungen und Pendelbewegungen einhergehen, die für erfahrene Kranführer als eine Art Rückmeldung für die Steuerungsbetätigung dienen. Anders als bei Kleingeräten mit näherungsweise als starr anzunehmenden Strukturen kann es beispielsweise bei Turmdrehkranen zu Verformungen der Turmstruktur und des Auslegersystems kommen, wenn eine Last aufgenommen wird, oder es kann die Last beim Drehen um die aufrechte Achse nachpendeln und der Ausleger dementsprechend rotatorisch nachschwingen. Ähnliches kann bei Seilbaggern oder Bohrrammgeräten auftreten, so dass ein Kranführer bzw. Maschinenführer unsicher wird, wenn er zu Steuervorgängen nicht die hierbei üblichen, entsprechenden Kranreaktionen erfährt.
Solchermaßen fehlende Kranreaktionen und mangelnde Realitätsnähe im Allgemeinen sind insbesondere bei der Fernsteuerung von Kranen und Baumaschinen bzw. Flurförderzeugen ein Problem, das den fernsteuernden Maschinenführer unsicher werden lässt. Wird beispielsweise ein Kran ferngesteuert, spürt der Fernbediener nicht die üblichen Kranreaktionen, die ihm bei direkter Steuerung in der Kranführerkabine intuitiv das Gefühl geben, richtig oder falsch gesteuert zu haben.
Um die Fernsteuerung realitätsnäher zu gestalten, wurde daher bereits angedacht, einen näherungsweise realistischen Steuerstand zu verwenden, der beispielsweise der Kranführerkabine eines jeweiligen Krantyps entsprechen und über dort vorgesehene Eingabemittel wie Joysticks, Pedale, Steuerschalter oder Touchscreens Steuerbefehle verfügen kann. Zudem wird auf einer Anzeigevorrichtung, die bekanntermaßen mehrere Bildschirme umfassen kann, die im Sichtfeld des Steuerstands angeordnet sind, eine echte oder virtuelle Darstellung der Kranumgebung sowie der vom Steuerstand aus sichtbaren Krankomponenten wie beispielsweise Ausleger und Lasthaken dargestellt, wobei eine „echte" Darstellung von Kameras an der ferngesteuerten Maschine bereitgestellt und die virtuelle Darstellung der Kranumgebung und der Krankomponenten von einem grafischen Simulationsmodul in Abhängigkeit der eingegebenen Steuerbefehle errechnet werden kann.
Ein Fernsteuerungssystem für einen Kran ist beispielsweise aus der Schrift DE 10 2012 216 489 A1 bekannt, wobei diese vorbekannte Fernsteuerung für Arbeitsmaschinen unterschiedlicher Typen verwendbar sein soll. Dabei ist die Fernsteuerung mit einem Selektier-Mechanismus versehen, der es erlaubt, die Anzahl der Bedien- und Auswahlmenüs der Anzeige der Fernsteuerung zu reduzieren, je nachdem in welcher Konfiguration sich die angebundene Arbeitsmaschine befindet. Bei dieser Fernsteuerung fehlt es jedoch in der zuvor beschriebenen Weise an einer ausreichenden Realitätsnähe, die auch durch die Anpassung der Bedienmenüs an die jeweilige Arbeitsmaschine kaum verbessert wird.
Ein Kran-Simulator, der mit virtuellen Darstellungen der Kranumgebung arbeitet, ist beispielsweise aus der Schrift DE 10 2013 011 818 A1 bekannt. Dort ist eine Kranführerkabine als Steuerstand mit entsprechenden Eingabemitteln vorgesehen, wobei die Sichtfenster bzw. die Verglasung der nachgebildeten Kranführerkabine durch Bildschirme ersetzt sind, auf denen die virtuelle Darstellung der Kranumgebung angezeigt wird. Durch ein technisches Simulationsmodul soll dabei auch das dynamische Verhalten der Steuerungs- und Antriebskomponenten simuliert und bei der Bildschirmdarstellung berücksichtigt werden, wobei hier vor allem die bei bestimmten Kranbewegungen auftretenden Stellbewegungen von Krankomponenten wie beispielsweise des Hubwerks dargestellt werden.
Hiervon ausgehend liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine verbesserte Fernsteuer-Einrichtung der eingangs genannten Art zu schaffen, die Nachteile des Standes der Technik vermeidet und Letzteren in vorteilhafter Weise weiterbildet. Insbesondere soll eine realitätsnähere Simulation des Kran- bzw. Maschinenbetriebs erreicht werden, die das tatsächliche Kran- bzw. Masch inen verhalten besser vermittelt und die Fernsteuerbarkeit sicherer macht. Erfindungsgemäß wird die genannte Aufgabe durch einen Femsteuer-Einrichtung gemäß Anspruch 1 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Es wird also vorgeschlagen, Kran- bzw. Maschinenreaktionen auf am Steuerstand eingegebene Steuerbefehle beispielsweise in Form von Kranbewegungen und/oder -Verformungen nicht nur in Form einer Darstellung auf der Anzeigevorrichtung darzustellen, sondern in eine mit der Kran- bzw. Maschinenreaktion einhergehende, tatsächliche Bewegung des Steuerstands der Fernsteuerung umzusetzen, um dem Fernsteuerungs-Nutzer die dynamischen Maschinenreaktionen realitätsnäher zu vermitteln und erfahren zu lassen. Der Steuerstand, der beispielsweise einen Bedienersessel umfassen kann, ist hierzu nicht mehr statisch starr im Raum, bzw. am Boden montiert, sondern von einer Antriebsvorrichtung im Raum bewegbar. Erfindungsgemäß ist der Steuerstand der Fernsteuerungs-Einrichtung beweglich gelagert und von einer Antriebsvorrichtung in Abhängigkeit der von dem Bewegungsbestimmungsmodul bestimmten Bewegungen und/oder Verformung der Maschinenkomponenten bewegbar. Bestimmt das Bewegungsbestimmungsmodul Auslenkungen von Maschinenkomponenten wie beispielsweise des Kranturms durch Stellbewegungen oder Verformungen, die auf die Position der echten Kranführerkabine Einfluss hätten, wird die Antriebsvorrichtung von einer Antriebssteuervorrichtung entsprechend angesteuert, um die Bewegung der Kranführerkabine nachzubilden und den Steuerstand entsprechend zu bewegen. Wird beispielsweise am Steuerstand ein Befehl zum Verdrehen des Krans um eine aufrechte Achse eingegeben, wird der Steuerstand von der Antriebsvorrichtung entsprechend um die aufrechte Achse verdreht. Wird beispielsweise der Steuerbefehl zum Anheben einer schweren Last eingegeben, was in der Realität zu einem leichten Nicken der Kranstruktur unter leichter Verwindung des Turms führen kann, wird der Steuerstand von der Antriebsvorrichtung leicht nach vorne verfahren und/oder leicht nach vorne verkippt. Um eine möglichst realitätsnahe Nachbildung der im echten Betrieb auftretenden Steuerstandbewegungen zu ermöglichen, kann die Antriebsvorrichtung mehrachsig bewegbar ausgebildet sein und/oder sowohl rotatorische als auch translatorische Bewegungen ausführen. Insbesondere kann der Steuerstand mehrachsig beweglich gelagert sein und die Antriebsvorrichtung zumindest eine aufrechte Drehachse und zumindest eine liegende Wippachse und/oder zwei liegend ausgerichtete Translationsachsen umfassen. Um auch komplexe Steuerstandsbewegungen nachbilden zu können, kann die Antriebsvorrichtung drei Rotations- bzw. Kippachsen aufweisen bzw. dreiachsig rotatorisch arbeitend ausgebildet sein und dreiachsig translatorisch arbeitend ausgebildet sein, so dass der Steuerstand um alle drei Raumachsen verdreht bzw. verkippt und in alle drei Raumrichtungen translatorisch verfahren werden kann. Je nach zu simulierendem Kran- bzw. Maschinentyp können auch einfachere Ausbildungen der Antriebsvorrichtung mit weniger Bewegungsachsen in Betracht kommen.
In vorteilhafter Weiterbildung der Erfindung kann die Fernsteuereinrichtung an verschiedene Geräte, insbesondere verschiedene Gerätetypen angebunden werden und eine Steuerungskommunikation mit dem jeweils ausgewählten Gerät aufbauen. Dies können insbesondere verschiedene, auf einer Baustelle genutzte Gerätschaften wie Krane, Bagger, Raupen oder ähnliche Maschinen, aber auch an verschiedenen Orten verwendete Geräte sein. Je nachdem, welches Gerät ferngesteuert werden soll, kann von der Fernsteuereinrichtung her und/oder vom jeweiligen Gerät her eine Steuerungs-Kommunikationsverbindung aufgebaut werden, beispielsweise durch Anwählen einer jeweiligen IP-Adresse, wenn die Verbindung über ein Netzwerk erfolgt, oder auch in anderer Weise. Um eine ausreichend rasche Datenkommunikation zwischen Fernsteuerung und Maschine zu ermöglichen, wird vorteilhafterweise eine Kommunikationsverbindung hoher Bandbreite gewählt, um Echtzeitprobleme bzw. Zeitversatz zwischen Steuerbefehlen und Maschinenreaktionen zu vermeiden.
Um die Maschinenreaktionen verschiedener Maschinentypen realitätsnah abbilden zu können, kann die Fernsteuereinrichtung in Weiterbildung der Erfindung ein Konfigurationsmodul aufweisen, mittels dessen die Fernsteuereinrichtung wahlweise für einen jeweils fernzusteuernden Maschinentyp vorkonfiguriert werden kann. Die genannten Vorkonfigurationsmittel können in an sich bekannter Weise die Belegung der Steuerhebel und Steuertasten sowie die Auswahl der Betätigungsmenüs und Bildschirmdarstellungen an das jeweilige Gerät anpassen. Insbesondere können aber auch Vorkonfigurationsmittel für die Bewegungssteuerung und/oder Abbildung der Maschinenreaktionen vorgesehen sein, mittels derer die Antriebsvorrichtungen zum Bewegen des Steuerstands umkonfiguriert und an die Maschinenreaktionen des jeweiligen Maschinentyps angepasst werden können, da beispielsweise ein oben drehender Turmdrehkran anders reagiert als ein unten drehender Turmdrehkran, oder wiederum ein Teleskop-Wippkran anders reagiert als ein Turmdrehkran, oder ein Bagger anders reagiert als ein Kran. Insbesondere können mittels den genannten Konfigurationsmitteln auch Arbeits- und/oder Randparameter des Bewegungsbestimmungsmoduls umkonfiguriert werden, so dass das Bewegungsbestimmungsmodul je nach ausgewähltem Maschinentyp die Bewegungen und/oder Verformungen von Maschinenkomponenten passend für den jeweiligen Maschinentyp bestimmt. Durch die Ansteuerung der Antriebsvorrichtung mit den solchermaßen angepassten Bewegungsgrößen kann eine realistische Reaktion des Steuerstands erzeugt werden.
Das Konfigurationsmodul kann ferner auch Vorkonfigurationsmittel zum Anpassen der Anzeigeeinrichtung und der darauf wiedergegebenen Darstellung der Maschinenumgebung und/oder des Arbeitswerkzeugs aufweisen, wobei die genannten Vorkonfigurationsmittel vorzugsweise die Darstellung und/oder die Anzeigeeinrichtung an die am jeweiligen ferngesteuerten Maschinentyp vorhandenen oder einsetzbaren Kameras anpassen kann und/oder, falls die Darstellung virtuell berechnet wird, die Parameter für die Berechnung der virtuellen Darstellung an den jeweiligen Maschinentyp anpassen kann.
Das genannte Bewegungsbestimmungsmodul kann grundsätzlich verschieden ausgebildet sein. Beispielsweise kann das Bewegungsbestimmungsmodul echte Reaktionen der ferngesteuerten Maschine mittels einer geeigneten Sensorik erfassen, wobei entsprechende Sensorsignale auf die Fernsteuerung übertragen werden können, um deren Steuerstand dann entsprechend zu betätigen bzw. anzusteuern. Die Erfassung solcher echter Maschinenreaktionen der ferngesteuerten Maschine kann beispielsweise die Erfassung von Bewegungen einschließen, beispielsweise den Verfahrweg einer Laufkatze, das Auf- und Abspielen eines Hubseils eines Krans etc. Insbesondere können aber auch Verformungen der Struktur der ferngesteuerten Maschine erfasst werden, beispielsweise Nickbewegungen der Kranführerkabine in Folge von Turmverformungen, beispielsweise mittels entsprechender Neigungs- und/oder Beschleunigungssensoren.
Alternativ oder zusätzlich zur Erfassung von Bewegungen und/oder Verformungen der echten, ferngesteuerten Maschine kann das Bewegungsbestimmungsmodul die genannten Reaktionen auf eingegebene Steuerbefehle in Form von Bewegungen und/oder Verformungen von Maschinenteilen aber auch simulieren und hierfür ein entsprechendes Simulationsmodul aufweisen, welches in Abhängigkeit der eingegebenen Steuerbefehle entsprechende Reaktionsbewegungen und/oder -Verformungen berechnet und/oder mit Hilfe von Steuerungs- und/oder Bewegungskomponenten, die zum Simulationsmodul gehören, abbilden und messen kann. Eine solche Simulation kann Zeitversatzprobleme zwischen Femsteuerungs-Steuerstand und ferngesteuerter Maschine insbesondere bei langsameren Kommunikationsverbindungen bzw. weiteren Entfernungsstrecken vermeiden.
Ist die Fernsteuereinrichtung in vorgenannter Weise für verschiedene Maschinentypen einsetzbar, kann das Konfigurationsmodul die Berechnungsparameter und/oder -algorithmen für die Simulation der Bewegungen und/oder Verformungen an den jeweils ausgewählten Maschinentyp anpassen. Insbesondere können Dynamikpakete bzw. Daten- und Algorithmussätze zu verschiedenen fernzusteuernden Maschinen aus einer Datenbank in das Simulationsmodul eingelesen werden, um passend für die jeweils ausgewählte Maschine die Bewegungen und Verformungen simulieren zu können. Das Einlesen der genannten Dynamikdatenpakete kann hierbei online aus einer Datenbank erfolgen. Alternativ oder zusätzlich kann auch das Simulationsmodul selbst mit einer Speichereinrichtung versehen sein, in der nach Art einer Bibliothek verschiedene Daten- und Algorithmussätze abgespeichert sind.
In Weiterbildung der Erfindung sind auch Mischformen möglich, bei denen ein Teil der Reaktionen an der echten, ferngesteuerten Maschine erfasst werden und ein anderer Teil der Reaktionen durch das Simulationsmodul bestimmt wird.
Nach einem weiteren Aspekt ist das Bewegungsbestimmungsmodul dabei derart ausgebildet, dass die Kran- bzw. Maschinenstruktur nicht als starre, sozusagen unendlich steife Struktur betrachtet wird, sondern als elastisch verformbare und/oder nachgiebige und/oder relativ weiche Struktur angenommen wird, die - zusätzlich zu den Stellbewegungsachsen der Maschine wie beispielsweise der Auslegerwippachse oder der Turmdrehachse - Bewegungen und/oder Positionsänderungen durch Verformungen der Strukturbauteile zulässt. Die Berücksichtigung der Beweglichkeit der Maschinenstruktur infolge von Strukturverformungen unter Last oder dynamischen Belastungen ist gerade bei langgestreckten, schlanken und von den statischen und dynamischen Randbedingungen her bewusst - unter Berücksichtigung der notwendigen Sicherheiten - ausgereizten Strukturen wie bei Kranen von Bedeutung, da hier spürbare Bewegungsanteile beispielsweise für die Kranführerkabine, aber auch die Lasthakenposition durch die Verformungen der Strukturbauteile hinzukommen. Um hier eine tatsächlich realistische Schulung bzw. ein realitätsnahes Training ermöglichen zu können, berücksichtigt das Bewegungsbestimmungsmodul solche Verformungen der Maschinenstruktur unter statischen oder dynamischen Belastungen.
Insbesondere kann die Bestimmungseinrichtung zur Bestimmung solcher Strukturverformungen eine Berechnungseinheit aufweisen, die diese Strukturverformungen anhand eines gespeicherten Berechnungsmodells in Abhängigkeit der am Steuerstand eingegebenen Steuerbefehle berechnet. Ein solches Modell kann ähnlich einem Finite-Elemente-Modell aufgebaut sein oder ein Finite-Elemente-Modell sein, wobei vorteilhafterweise jedoch ein gegenüber einem Finite-Elemente-Modell deutlich vereinfachtes Modell verwendet wird, das beispielsweise empirisch durch Erfassung von Strukturverformungen unter bestimmten Steuerbefehlen und/oder Belastungszuständen am echten Kran bzw. der echten Maschine bestimmt werden kann. Ein solches Berechnungsmodell kann beispielsweise mit Tabellen arbeiten, in denen bestimmten Steuerbefehlen bestimmte Verformungen zugeordnet sind, wobei Zwischenwerte der Steuerbefehle mittels einer Interpolationsvorrichtung in entsprechende Verformungen umgerechnet werden können.
Die Verwendung eines solchen gegenüber einem Finite-Elemente-Modell vereinfachten Berechnungsmodells erlaubt eine zeitlich schnellere Bestimmung der Strukturverformungen und damit eine realitätsnähere Simulation von Maschinenbewegungen in Echtzeit bzw. nahezu Echtzeit unter weniger Rechenleistung.
Die vom Bewegungsbestimmungsmodul berücksichtigten Strukturteilverformungen können einerseits bei der Ansteuerung der Antriebsvorrichtung zum Bewegen des Steuerstands berücksichtigt werden, so dass der Steuerstand die durch die Strukturteilverformungen auftretenden Steuerstandbewegungen nachbildet.
Alternativ oder zusätzlich können bestimmte oder erfasste Strukturteilverformungen auch bei der Darstellung der Maschinenumgebung und/oder der darin sichtbaren Maschinenkomponenten berücksichtigt werden, beispielsweise dahingehend, dass in der Darstellung die Durchbiegung des Auslegers dargestellt wird oder der Horizont der Kranumgebung ein Stück nach oben gefahren wird, um ein leichtes Nach-vorne-Nicken der Kranführerkabine durch beispielsweise eine Turmverformung nachzubilden. Die am Steuerstand angezeigte Darstellung der Maschinenumgebung und/oder des Arbeitswerkzeugs der ferngesteuerten Maschine kann eine echte Darstellung umfassen, die mittels zumindest einer im Bereich der ferngesteuerten Maschine vorgesehenen Kamera bereitgestellt wird, und/oder auch eine virtuelle Darstellung umfassen, die mittels eines grafischen Simulationsmoduls in Abhängigkeit der eingegebenen Steuerbefehle errechnet wird.
Eine solche echte, kameragenerierte Darstellung der Maschinenumgebung und/oder des Arbeitswerkzeugs kann insbesondere in Form eines Livebilds bzw. fernsehbildartigen Videobilds erzeugt werden, wobei von der zumindest einen Kamera an der ferngesteuerten Maschine ein entsprechendes Videosignal zu dem entfernt angeordneten Steuerstand der Fernsteuereinrichtung übertragen und von der dort vorgesehenen Anzeigeeinheit wiedergegeben wird.
Alternativ oder zusätzlich zu einer Video- oder Fernsehkamera kann auch mit anderen bildgebenden Sensoren gearbeitet werden, beispielsweise einem Infrarotsensor und/oder einem Radarsensor und/oder einem Fotomischdetektor und/oder einem Lichtlaufzeitsensor im Sinne eines sog. Time-of-Flight-Detektors, bei dem Messobjekte von Lichtimpulsen angeleuchtet und die Signallaufzeit gemessen wird, aufgrund derer dann die Entfernung zwischen Kamera und Objekt errechnet und ein dreidimensionales Bild erzeugt werden kann. Vorteilhafterweise können auch mehrere bildgebende Sensoren unterschiedlicher Bildgattung, beispielsweise eine Kamera in Verbindung mit einem Infrarotsensor verwendet werden, wobei deren Bilder überlagert und in einem gemeinsamen Bild angezeigt werden können, beispielsweise dergestalt, dass in das Kamerabild die warmen Partien eines Infrarotbildes, die beispielsweise Personen anzeigen können, eingeblendet werden. Die Verwendung einer Video- und/oder Fernsehkamera ist jedoch insofern vorteilhaft, als ein realitätsnahes Bild erzeugt wird, das dem Maschinenführer das Gefühl vermittelt, mit eigenen Augen zu sehen.
Eine solche Kamera bzw. bildgebende Sensorik zum Darstellen der Maschinenumgebung bzw. des Arbeitswerkzeugs der ferngesteuerten Maschine kann beispielsweise an der Maschine selbst fest oder verschwenkbar angebracht sein, beispielsweise an der Kranführerkabine eines Krans und/oder an der Laufkatze eines Turmdrehkrans oder an anderer geeigneter Stelle, wobei die Kamera vorteilhafterweise derart ausgerichtet ist, dass das Arbeitswerkzeug, beispielsweise der Lasthaken eines Krans, beobachtet werden kann. Vorteilhafterweise können hierbei auch mehrere Kameras vorgesehen sein, um das Arbeitswerkzeug aus verschiedenen Perspektiven betrachten zu können.
In vorteilhafter Weiterbildung der Erfindung kann auch eine verfahrbare und/oder an verschiedene Orte bewegbare Kamera eingesetzt werden, die es erlaubt, das Arbeitswerkzeug und/oder die Maschinenumgebung aus verschiedene Blickrichtungen darzustellen.
In Weiterbildung der Erfindung kann insbesondere auch eine Kamera eingesetzt werden, die an einer Flugdrohne montiert ist. Es wird also vorgeschlagen, eine ferngesteuerte, mit einer Kamera ausgerüstete Flugdrohne zu verwenden, mittels derer das gewünschte Kamerabild des Arbeitswerkzeugs und/oder der Werkzeugumgebung aus verschiedenen Blickrichtungen bereitgestellt werden kann. Insbesondere kann mittels einer solchen Flugdrohne auch ein perspektivisches Kamerabild des Arbeitswerkzeugs und dessen Umgebung aus schrägen Blickachsen bereitgestellt werden, die von einem Punkt beabstandet von der Maschine und dessen Führerstand und oberhalb des Bodens gewonnen werden können, so dass dem Maschinenführer das Arbeitswerkzeug und dessen Umgebung aus einer Blickrichtung visualisiert werden kann, wie sie auch ein externer Betrachter sehen würde. Bei einem Kran können beispielsweise Kamerabilder des Lasthakens und dessen Umgebung bereitgestellt werden, die von der Seite her schräg oder senkrecht auf die vertikale Kranmittelebene durch den Ausleger schauen. Auch aus Drohnenpositionen, die in dieser durch den Ausleger gehenden, vertikalen Kranmittelebene liegen, können Bilder des Lasthakens bereitgestellt werden. Durch solche perspektivischen Kamerabilder aus verschiedenen Blickachsen können die Relativpositionen zwischen Arbeitswerkzeug und dessen Umgebung bzw. einem Zielpunkt sehr viel besser visualisiert werden.
Um eine einfache Bedienung der Flugdrohne zu ermöglichen, kann in Weiterbildung der Erfindung die Flugdrohne in Abhängigkeit einer Maschinenstellung und/oder Arbeitswerkzeugposition angesteuert werden derart, dass die Flugdrohne Maschinen-, insbesondere Arbeitswerkzeugbewegungen automatisch folgt und eine gewünschte Position relativ zu der Maschine und/oder deren Arbeitswerkzeug auch bei Maschinenbewegungen, insbesondere Arbeitswerkzeugbewegungen zumindest näherungsweise hält bzw. zu halten versucht und nachfährt. Wird die Flugdrohne beispielsweise in Verbindung mit einem Kran verwendet, kann die Flugdrohne bei aktiviertem, automatischem Folgemodus dem Lasthaken des Krans automatisch folgen. Wird beispielsweise eine Relativposition der Flugdrohne etwa auf Lasthakenhöhe bzw. ein Stück weit oberhalb mit seitlicher Beabstandung zur vertikalen Kranmittelebene durch den Ausleger gewünscht und eingestellt, kann die Flugdrohne ihre Flughöhe automatisch erniedrigen oder erhöhen, wenn der Lasthaken abgesenkt oder angehoben wird, und/oder parallel zur vertikalen Kranmittelebene vor- oder zurückfliegen, wenn die Laufkatze des Krans verfahren wird und/oder seitlich quer nach links oder rechts fliegen, wenn der Kran verdreht wird.
Vorteilhafterweise kann die Flugdrohne jedoch auch autonom ferngesteuert werden derart, dass von der Flugdrohne verschiedene gewünschte Positionen relativ zu der Maschine und/oder deren Arbeitswerkzeug frei angeflogen werden können. Dies kann beispielsweise durch Eingeben einer Wunschposition für die Flugdrohne relativ zum Lasthaken bzw. dem Arbeitswerkzeug erfolgen, beispielsweise dergestalt, dass in einem Positionssteuerungsmodul, das in dem Steuerstand der Fernsteuereinrichtung vorgesehen sein kann, eine Position in Bezug auf den Lasthaken eingegeben wird, beispielsweise in Form„2 m oberhalb seitlich rechts vom Lasthaken". Alternativ oder zusätzlich kann jedoch die Flugdrohne auch gänzlich frei gegenüber der Maschine und deren Arbeitswerkzeug verflogen werden, beispielsweise mit Hilfe eines Joysticks, um die Flugdrohne so lange zu verfliegen, bis die Kameraposition und deren Blickwinkel auf das Arbeitswerkzeug und dessen Umgebung dem Kranführer bzw. Maschinenführer zusagt.
Um das Realitätsempfinden des Nutzers des Fernsteuer-Einrichtungs weiter zu erhöhen, ist nach einem weiteren Aspekt vorgesehen, dass auf der Anzeigevorrichtung die von der Kamera und/oder dem grafischen Simulationsmodul bereitgestellten Darstellungen der Umgebung der ferngesteuerten Maschine mit Livebildern aus dem Steuerstand, die beispielsweise Bewegungen des Fernsteuer- Einrichtung-Nutzers zeigen können, überlagert werden. Insbesondere können auf der Anzeigevorrichtung einerseits die echten oder virtuellen Darstellungen der Maschinenumgebung und/oder der darin sichtbaren Maschinenkomponenten und andererseits am Steuerstand aufgenommene Livebilder einer Livekamera gleichzeitig und überlagert dargestellt werden. Eine solche Überlagerung von Bildern aus der Simulationswelt und Livebildern gibt dem Fernsteuer- Einrichtungnutzer ein besonders starkes Gefühl der Realitätsnähe.
Vorteilhafterweise kann hierzu als Anzeigevorrichtung eine am Kopf tragbare, insbesondere brillenartig ausgebildete Anzeigevorrichtung beispielsweise in Form einer Virtual-Reality-Brille und eine vorteilhafterweise ebenfalls am Kopf tragbare, beispielsweise als Helmkamera ausgeführte oder in die genannte Virtual-Reality- Brille integrierte Kamera Verwendung finden, die die genannten Livebilder bereitstellt, die zusammen mit der künstlich generierten, virtuellen Darstellung auf der Anzeigevorrichtung, insbesondere der Virtual-Reality-Brille, dargestellt werden.
Die genannte Kamera für die Bereitstellung der Livebilder vom Steuerstand kann vorteilhafterweise eine Stereoskopkamera sein, die stereoskopische Bilder vorzugsweise in zumindest näherungsweise mit der Blickrichtung des Augenpaars eines Nutzers übereinstimmender Kamerablickrichtung bereitstellt, welche an entsprechender Stelle der Anzeigevorrichtung, insbesondere der Virtual-Reality- Brille eingeblendet werden können. Hierdurch kann ein besonders realitätsnahes Nutzerempfinden erreicht werden. Alternativ oder zusätzlich kann auch eine 360°-Kamera Verwendung finden, deren Bilder der Umgebung für den Kranfahrer beispielsweise in der genannten Virtual Reality-Brille zur Verfügung gestellt werden können. Durch eine solche 360°- Kamera vereinfacht sich auch der Aufbau des bildgebenden Systems, insbesondere kann das Kamerabild der Kopfbewegung des Trägers der Virtual Reality-Brille relativ einfach folgen, wodurch eine aufwändige Fernsteuerung der Kamera vermieden werden kann.
Grundsätzlich wäre es aber auch möglich, Bilder von der ferngesteuerten Maschine und die genannten Livebilder vom Steuerstand auf einem an sich herkömmlichen Bildschirm zu überlagern, wobei hier beispielsweise ein Nutzer eine Livebildkamera am Kopf tragen könnte, die zumindest näherungsweise der Blickrichtung des Nutzers entsprechende Bilder bereitstellt, so dass auf der Anzeigevorrichtung beispielsweise in Form mehrerer Bildschirme dann auch ein live aufgenommener Benutzerarm bzw. der live aufgenommene Teil des Steuerstands eingeblendet werden kann. Eine realitätsnähere und damit eindrücklicher aufnehmbare Simulation kann jedoch durch Überlagerung auf den Sichtflächen einer Virtual Reality Brille erreicht werden.
Die Überlagerungseinrichtung zum Überlagern der Livebilder der Steuerstand- Kamera mit der Darstellung der Umgebung der ferngesteuerten Maschine kann vorteilhafterweise nach der sog. Green-Screen-Technik arbeitend ausgebildet sein, wobei die Überlagerungseinrichtung in dem Livebild Farbflächen einer vorbestimmten Farbe erkennt und diese Bildbereiche dann durch die virtuelle Darstellung aus dem Simulationsmodul ersetzt. Hierzu kann vorteilhafterweise der Steuerstand eine Führerkabinenwandung umfassen, in der Fensterbereiche - beispielsweise entsprechend den Sichtfenstern einer echten Kranführerkabine - in einer Schlüsselfarbe eingefärbt sind, die sich von den restlichen Farben der übrigen im Kamerablickfeld liegenden Komponenten wie beispielsweise der Farbe der Fenstereinrahmungen, der Eingabemittel und der Bediener-Bekleidung sowie - Hautfarbe möglichst deutlich unterscheidet, so dass das im Steuerstand aufgenommene Livebild die genannten eingefärbten Flächen in einer bestimmten Farbwiedergabe zeigt, während alle anderen Bildflächen in anderen Farben gezeigt sind. Die in der genannten Schlüsselfarbe - beispielsweise grün - gefärbten Livebildflächen bzw. -teilflächen werden dann durch die echte oder virtuelle Darstellung der Maschinenumgebung und/oder der darin sichtbaren Maschinenkomponenten ersetzt, so dass das überlagerte Bild bzw. die überlagerte Darstellung einerseits den Steuerstand des Fernsteuer-Einrichtungs, dessen Komponenten und sich im Sichtfeld der Livekamera befindliche Körperglieder des Nutzers in echt als Livebild zeigt und andererseits in den von der Livekamera aufgenommenen Fensterbereichen der Führerkabinenwandung die kameragenerierte echte oder virtuelle Darstellung der Maschinenumgebung und der darin sichtbaren Maschinenkomponenten zeigt.
Die genannte virtuelle Darstellung der Maschinenumgebung kann von dem grafischen Simulationsmodul vorteilhafterweise verändert und in Abhängigkeit von verschiedenen Datensätzen, die über eine Schnittstelle in das Simulationsmodul einspielbar sind, verschiedenen Szenarien angepasst werden. Insbesondere können Planungsdaten wie CAD-Daten eines herzustellenden Bauwerks und/oder Baustellen-Istdaten, die je nach Baufortschritt den Istzustand eines entstehenden Gebäudes oder Bauwerks wiedergeben, über eine entsprechende Datenschnittstelle in das Simulationsmodul eingespielt werden und von dem Simulationsmodul dazu verwendet werden, die virtuelle Darstellung der Maschinenumgebung entsprechend dem eingespielten Datensatz, insbesondere in Abhängigkeit der eingespielten Planungsdaten und/oder Baustellen-Istdaten, zu generieren bzw. daran anzupassen.
Die genannten Baustellen- bzw. Bauwerksinformationen können in der vorgenannten Weise CAD-Daten oder andere Geometriedaten des Bauwerks oder der Baustelle sein, wobei ggf. auch digitale Bilddaten Verwendung finden können, die das tatsächliche Bauwerk und dessen Baufortschritt wiedergeben. Derartige Bilddaten können als Maschinenumgebungsdaten über die genannte CAD- Schnittstelle bzw. eine geignete Bilddaten-Schnittstelle in das grafische Simulationsmodul eingespielt werden, welches dann die virtuelle Darstellung an diese übernommenen CAD- und/oder Bilddaten anpasst.
Die Modellierung einer geplanten oder schon existierenden oder teilweise ausgeführten Baustelle und die entsprechende Generierung der virtuellen Darstellung der Maschinenumgebung durch das grafische Simulationsmodul ist insbesondere auch ein wertvolles Hilfsmittel, um die Logistik auf einer Baustelle sicherzustellen und auch bereits vor Baubeginn kritische Abläufe simulieren und einüben zu können.
Arbeitet die Bewegungsbestimmungseinrichtung in der vorgenannten Weise - auch - mit simulierten Daten, kann die Fernsteuer-Einrichtung vorteilhafterweise die für die Bewegungssimulation benötigten Bewegungsparameter nicht alle von einem Simulationsrechner berechnen lassen, sondern zumindest teilweise im Wege der Datenemulation unter Verwendung von sich tatsächlich bewegenden Hardwarekomponenten, die einen Bestandteil des Fernsteuer-Einrichtungs bilden können, bestimmen. Ein solches Datenemulationsmodul des Fernsteuer- Einrichtungs kann insbesondere Stellantriebskomponenten und/oder Leistungselektronikkomponenten umfassen, mittels derer tatsächlich Stellbewegungen ausgeführt werden, die die echten Kran- bzw. Maschinenbewegungen nachbilden und diese Bewegungen charakterisierende Daten bereitstellen, beispielsweise in Form von Sensorsignalen, die die Stellbewegungen der genannten Antriebskomponenten wiedergeben. Durch eine solche Datenemulation können Bewegungs- und/oder Positionsparameter, die dann für die Bewegungssimulation weiter verwendet werden können, deutlich schneller und unter geringerer Rechenleistung bereitgestellt werden, was eine realistischere Simulation in Echtzeit bzw. nahezu Echtzeit erlaubt.
Mittels einer solchen Datenemulation können insbesondere Zeitversatz und Datenübertragungsprobleme bei Kommunikationskanälen mit geringeren Bandbreiten vermieden werden, wie sie ansonsten auftreten würden, wenn sämtliche Bewegungen und/oder Verformungen der ferngesteuerten Maschine, die in Abhängigkeit der eingegebenen Steuerbefehle auftreten, an der echten Maschine erfasst und dann zurück auf den Steuerstand der Fernsteuereinrichtung übertragen werden müssen.
Um eine besonders schnelle, realistische Bestimmung von Bewegungen der Maschinenkomponenten in Abhängigkeit der am Steuerstand eingegebenen Steuerbefehle zu erreichen, kann nach einem weiteren Aspekt das genannte Bewegungsbestimmungsmodul als Hybrideinrichtung bzw. Hybridmodul ausgebildet sein, das einerseits einen Rechner zur Simulation von Bewegungsund/oder Positionsparametern und andererseits den echten Kran- bzw. Maschinenstellantrieben zumindestens ähnliche Hardwarekomponenten wie Antriebseinheiten, Drehgeber oder Frequenzumrichter umfasst, mittels derer Stellbewegungen nachgebildet und Bewegungs- und/oder Positionsparameter bestimmt werden. Insbesondere werden„echte" Hardwarekomponenten verwendet, die auch im zu simulierenden Kran bzw. der zu simulierenden Maschine als Stellantriebs- und/oder Steuervorrichtungsbauteile verbaut sind.
Insbesondere kann das Bewegungsbestimmungsmodul den Schaltschrank oder zumindest einen Teil des Schaltschranks und dessen Komponenten umfassen, der auch in der zu simulierenden Maschine Verwendung findet und dort einen Teil der Maschinensteuerung bildet. Insbesondere kann die Leistungselektronik und/oder zumindest ein Teil der Leistungselektronik wie beispielsweise ein Frequenzumrichter verwendet werden, um die Stellbewegungen nachzubilden, die von Steuerbefehlseingaben am Steuerstand ausgelöst werden.
Ferner können in Weiterbildung der Erfindung Stellantriebseinheiten, beispielsweise in Form von Servomotoren Verwendung finden, die der Emulation der Stellantriebsbewegungen der zu simulierenden Maschine bzw. Maschinenkomponenten dienen. Vorteilhafterweise wird hier für eine jeweilige Stellantriebsachse eine Antriebseinheit beispielsweise in Form einer Servoantriebseinheit verwendet, die - insbesondere über den vorgenannten Frequenzumrichter - entsprechend einem Steuerbefehl angesteuert wird, und ferner vorteilhafterweise mit einer weiteren Antriebseinheit, beispielsweise in Form einer Servoantriebseinheit, gekuppelt werden kann, mittels derer ein Gegenmoment und/oder eine Gegenlast ausgeübt werden kann, um tatsächlich auftretende Lasten, Widerstände oder Trägheiten zu simulieren. Beispielsweise kann mittels der genannten zweiten Antriebseinheit eine Last simuliert werden, die einem Hubwerk entgegenwirkt, oder es kann ein Windmoment simuliert werden, das einem Drehwerksantrieb entgegenwirkt.
Die ggf. unter Berücksichtigung des aufgebrachten Gegenmoments oder der aufgebrachten Gegenlast ausgeführte Stellbewegung der erstgenannten Antriebseinheit kann von einer geeigneten Erfassungseinrichtung erfasst werden, wobei ein entsprechendes Erfassungssignal die tatsächlich erzielte Stellbewegung wiedergibt und als Sensorsignal in der weiteren Simulation verwendet werden kann, insbesondere um in der vorgenannten Weise Bewegungen und/oder Positionen und/oder Verformungen der Strukturteile zu bestimmen und/oder die virtuelle Darstellung der Maschinenumgebung und/oder der darin sichtbaren Maschinenkomponenten zu simulieren.
Vorteilhafterweise werden mehrere solcher Antriebseinheiten bzw. mehrere solcher Antriebseinheiten-Paare umfassend Antrieb und Gegenlast-Antrieb sowie eine jeweils zugeordnete Erfassungseinrichtung verwendet, um die verschiedenen Stellbewegungs-Achsen und die diesbezüglich ausgeführten Stellbewegungen des zu simulierenden Maschinenbetriebs bestimmen zu können.
Die Sensorwerte der Antriebseinheiten der Stellbewegungsachsen, die in Abhängigkeit der am Steuerstand eingegebenen Steuerbefehle betätigt und bewegt werden, werden also nach einem weiteren Aspekt nicht mittels eines Rechenmodells simuliert bzw. berechnet, sondern anhand von Hardwarekomponenten, die den echten Stellantriebskomponenten der zu simulierenden Maschine möglichst nahe kommen, emuliert bzw. nachgestellt und direkt als tatsächliche Sensorwerte ausgegeben. Durch ein solches Daten-Emulationssystem kann das Bewegungsbestimmungsmodul Bewegungen und/oder Positionen der Maschinenkomponenten sehr viel schneller und mit geringerer Rechenleistung bestimmen, so dass die virtuelle Darstellung der Maschinenumgebung und/oder der Maschinenkomponenten und auch die damit einhergehenden Stellbewegungen des Maschinenstands sehr viel rascher und realitätsnaher erreicht werden können. Zudem können die generierten Sensorsignale am Steuerstand angezeigt und/oder für weitere Überwachungsmassnahmen wie Traglastüberwachung oder Arbeitsbereichs-Begrenzungen, die am Steuerstand angezeigt und/oder simuliert werden können, verwendet werden.
Wird der Fernsteuer-Einrichtung zum Fernsteuern eines Turmdrehkrans und dessen Betriebs verwendet, können die vorgenannten Antriebseinheiten-Paare zum Ausführen der entsprechenden Stellbewegungen und Bereitstellen des entsprechenden Gegenmoments bzw. Gegenlast insbesondere dem Turmdrehwerk - bzw. bei einem Obendreher dem Auslegerdrehwerk -, dem Hubwerk und dem Katzfahrwerk entsprechen.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels und zugehöriger Zeichnungen näher erläutert. In den Zeichnungen zeigen:
Fig. 1 : eine schematische Darstellung eines ferngesteuerten Krans in Form eines Turmdrehkrans, dessen Lasthaken eine Last im nicht einsehbaren Bereich hinter einem Gebäude manövriert, wobei eine Flugdrohne mit einer Kamera den Lasthaken beobachtet, um ein entsprechendes Kamerabild an den Steuerstand der Fernsteuereinrichtung zu übertragen, und
Fig. 2: eine schematische Darstellung der Komponenten einer Fernsteuer- Einrichtung mit einem Steuerstand für den Bediener nach einer vorteilhaften Ausführung der Erfindung. Wie Fig. 1 und 2 zeigen, kann die Fernsteuer-Einrichtung 1 als Kran-Fernsteuerung ausgebildet sein, die einen Steuerstand 2 in Form einer Kranführerkabine umfasst, die im Wesentlichen einer „echten" Kranführerkabine, wie sie an einem Kran, beispielsweise einem Turmdrehkran, einem Hafenkran oder einem Maritimkran oder Mobil-Teleskopkran Verwendung finden kann.
Der Kran 200 kann hierbei als Turmdrehkran ausgebildet sein, dessen Turm 202 einen Ausleger 203 trägt, an dem eine Laufkatze 204 verfahrbar gelagert ist. Der Ausleger 203 kann zusammen mit dem Turm 202 oder auch ohne den Turm 202 - je nach Ausbildung des Krans als Oben- oder Untendreher - um eine aufrechte Achse verdreht werden, wozu ein Drehwerksantrieb vorgesehen ist. Der Ausleger 203 könnte ggf. auch auf- und niederwippbar um eine liegende Querachse ausgebildet sein, wobei ein geeigneter Wippantrieb beispielsweise im Zusammenspiel mit der Auslegerabspannung vorgesehen sein könnte. Die genannte Laufkatze 204 kann mittels einer Katzfahrwinde oder eines anderen Katzfahrantriebs verfahren werden.
Der genannte Steuerstand 2 kann hierbei in an sich bekannter Weise einen Bedienersitzplatz 21 beispielsweise in Form eines Bedienersessels 20 umfassen, um den herum diverse Eingabemittel 18 zum Eingeben von Steuerbefehlen angeordnet sind. Die genannten Eingabemittel 18 können beispielsweise einen Joystick, ein Touchscreen, Steuerhebel, Eingabetasten und -Schalter, Drehregler, Schieberegler und Ähnliches aufweisen.
Der Bedienerplatz ist hierbei von einer Führerstandwandung 22 umgeben, die einer Kabineneinhausung entsprechen kann und Fensterbereiche 23 aufweisen kann, die bei echten Kranführerkabinen verglast sind, im vorliegenden Fall jedoch in einer bestimmten Farbe eingefärbt, beispielsweise mit einer grünen Folie beschichtet sind, um mittels Green-Screen-Technik eine echte, kameragenerierte oder virtuelle Maschinenumgebung einblenden zu können, wie noch erläutert wird. Der Steuerstand 2 ist auf einer Bewegungsplattform 7 montiert, mittels derer der Steuerstand 2 mehrachsig beweglich ist. Die Bewegungsplattform 7 ist dabei vorteilhafterweise mehrachsig beweglich ausgebildet, insbesondere um alle drei Raumachsen x, y und z verkipp- bzw. verdrehbar und entlang dieser Achsen translatorisch verschieblich.
Den Bewegungsachsen x, y und z der Bewegungsplattform 7 sind dabei Aktoren einer Antriebsvorrichtung 8 zugeordnet, beispielsweise in Form von Elektromotoren und/oder Hydraulikzylindern und/oder Hydraulikmotoren, um den Steuerstand 2 um die bzw. entlang der genannten Achsen bewegen zu können.
Die Antriebsvorrichtung 8 wird dabei von einer Bewegungssteuervorrichtung 24 angesteuert, die beispielsweise durch einen Industrie-PC realisiert sein kann.
Die genannte Bewegungssteuervorrichtung 24 kann dabei insbesondere Teil eines Bewegungsbestimmungsmoduls 10 sein, mittels dessen Kranbewegungen und/oder Positionen und/oder Ausrichtungen von Krankomponenten wie beispielsweise des Auslegers oder des Turms und auch Verwindungen von Strukturbauteilen wie des Auslegers oder des Turms in Abhängigkeit der jeweils am Steuerstand 2 eingegebenen Steuerbefehle bestimmt werden können. Das genannte Bewegungsbestimmungsmodul 10 bestimmt sozusagen die Auswirkungen der eingegebenen Steuerbefehle auf den zu steuernden Kran, d.h. welche Bewegungen, Positionen, Ausrichtungen und Verwindungen der Krankomponenten sich infolge eingegebener Steuerbefehle sich am zu steuernden Kran ergeben würden und gibt entsprechende, die genannten Größen charakterisierende Bewegungssignale aus.
Das genannte Bewegungsbestimmungsmodul 10 bestimmt die genannten Bewegungsgrößen hierbei nicht bzw. nicht vollständig durch Berechnung anhand eines Rechenmodells, sondern greift auf tatsächliche Hardwarekomponenten in Form von Antriebs- und Steuerungskomponenten zurück, die tatsächliche Bewegungen ausführen und den entsprechenden Hardwarekomponenten an einem echten Kran nachgebildet sind.
Wie die Figur 2 zeigt, umfasst das Bewegungsbestimmungsmodul 10 zumindest die wesentlichen Komponenten einer Kransteuerung 25, wie diese beispielsweise im Schaltschrank eines Krans realisiert sein kann. Insbesondere umfasst die genannte Kransteuerung 25 die Frequenzumrichter 15 verschiedener Kranantriebe, beispielsweise des Drehwerks, des Katzfahrwerks und des Hubwerks. Die genannte Kransteuerung 25 kann ggf. weitere Steuerungs- und/oder Leistungselektronikbauteile umfassen, insbesondere
Lastüberwachungskomponenten, Arbeitsbereichs-Beschränkungskomponenten etc.
Die Kransteuerung 25 ist mit dem Steuerstand 2 und dessen Eingabemitteln 18 kommunikativ verbunden, so dass die Kransteuerung 25 die eingegebenen Steuerbefehle weiter verarbeiten kann, wobei insbesondere die Frequenzumrichter 15 in Abhängigkeit der eingegebenen Steuerbefehle Antriebseinheiten 12 beispielsweise in Form von Servoantrieben ansteuern. Die am Steuerstand 2 eingegebenen Steuerbefehle werden also in reale Bewegungen bzw. Antriebsmomente und -kräfte der Antriebseinheiten 12 umgesetzt.
Die genannten Antriebseinheiten 12 sind hierbei mit Gegenantriebseinheiten 14 kuppelbar, über die auf die Antriebseinheiten 12 Bewegungswiderstände aufgeschaltet werden können, um echten Widerständen wie Hublasten, Windkräfte, Trägheiten oder dynamische Belastungen nachbilden zu können. Die genannten Gegenantriebseinheiten 14 können von dem vorgenannten Industrie-PC angesteuert werden, der auch die Bewegungssteuervorrichtung 24 realisiert. Die Ansteuerung der Gegenantriebseinheiten 14 kann hierbei anhand verschiedener Vorgaben oder Programme erfolgen, beispielsweise durch vorgebbare Hublasten, vorgebbare Windprogramme oder anhand von vorbestimmten Funktionen oder Tabellen wie Dynamikreaktionen beim Abbremsen des Katzfahrwerks oder der Drehbewegung. Hierzu können in einem Speicherbaustein der Steuervorrichtung zum Ansteuern der Gegenantriebseinheiten 14 entsprechende Modelle, Tabellen bzw. Funktionen abgespeichert sein.
Wie die Figur 2 andeutet, sind den Antriebseinheiten 12 Erfassungseinrichtungen 13 beispielsweise in Form von Drehgebern oder anderen Positions- und/oder Bewegungssensoren zugeordnet, mittels derer Bewegungs- bzw. Stellungssignale bereitgestellt werden, die die Stellbewegungen der Antriebseinheiten 12 charakterisieren. Das Bewegungsbestimmungsmodul 10 stellt also echte Sensorsignale als Bewegungsparameter bereit, die einerseits am Steuerstand 2 angezeigt werden können und andererseits auch für weitergehende Simulationsfunktionen verwendet werden können. Insbesondere können in Abhängigkeit der genannten Bewegungssignale, die die Drehgeber bereitstellen, Strukturverwindungen wie Turmbiegungen, Auslegerbiegungen und ähnliche Verformungen anhand eines Rechenmodells bestimmt werden und die Antriebsvorrichtung 8 der Bewegungsplattform 7 zum Bewegen des Steuerstands 2 angesteuert werden sowie die virtuelle Darstellung der Kranumgebung generiert werden, jeweils in Abhängigkeit der genannten, real erzeugten Sensorsignale.
Wie Fig. 2 zeigt, kann das Bewegungsbestimmungsmodul 10 eine Rechnereinheit 11 umfassen, die wiederum von dem vorgenannten Industrie-PC realisiert sein kann, mittels welcher Rechnereinheit 11 in Abhängigkeit der am Steuerstand 2 eingegebenen Steuerbefehle und/oder der emulierten Daten, die durch die Datenemulationseinrichtung 19 bzw. der den Antriebseinheiten 12 zugeordneten Erfassungseinrichtung 13 erzeugten Sensorsignale generiert werden, Strukturverwindungen bestimmt werden, insbesondere Biegungen und Torsion im Kranturm und im Kranausleger, wobei die Rechnereinheit 11 hierzu ein die Struktursteifigkeiten berücksichtendes Rechenmodell verwendet, wie eingangs erläutert.
Alternativ oder zusätzlich zu diesen emulierten Bewegungsdaten kann die Bewegungsbestimmung aber auch„echte" Bewegungen und/oder Verformungen des ferngesteuerten Krans mittels einer geeigneten Sensorik erfassen und per Datenfernübertragung auf den Steuerstand 2 übertragen, um dann anhand dieser echten Kranreaktionen bestimmte Funktionen des Steuerstands 2 der Fernsteuereinrichtung zu steuern.
Anhand der genannten, emulierten und/oder erfassten, echten Bewegungsdaten sowie der hieraus bestimmten Verformungsdaten steuert die Bewegungssteuervorrichtung 24 die Antriebsvorrichtung 8 der Bewegungsplattform 7 an, um den Steuerstand 2 zu bewegen und echte Kranführerkabinen- Bewegungen nachzubilden, die bei Eingabe entsprechender Steuerbefehle in einem echten Kran auftreten würden.
Zum anderen werden die genannten Bewegungsdaten und ggf. auch die genannten Verformungsdaten verwendet, um Kranreaktionen in einer virtuellen Darstellung zu berücksichtigen, die von einem grafischen Simulationsmodul 9 generiert und auf einer Anzeigevorrichtung 3 angezeigt wird. Die genannte virtuelle Darstellung zeigt dabei insbesondere die Kranumgebung sowie darin sichtbare Krankomponenten wie beispielsweise den Kranausleger und den Lasthaken und kann im Wesentlichen dem Bild entsprechen, welches ein Kranführer aus der Kranführerkabine sehen würde. Die genannte virtuelle Darstellung kann hierbei in Form eines foto- oder filmähnlichen Digitalbilds, beispielsweise einer Pixeldarstellung in mehreren Farben entsprechen. Alternativ kann aber auch eine vereinfachte grafische Darstellung vorgesehen sein, wenngleich ein möglichst realistisches, foto- oder filmähnliches Darstellungsbild bevorzugt ist.
Alternativ oder zusätzlich zu einer solchen virtuellen Darstellung kann jedoch am Steuerstand 2 auch eine echte, kameragenerierte Darstellung der Kranumgebung und/oder des Lasthakens verwendet werden. Hierzu kann am Kran 200 zumindest eine Kamera montiert sein, deren Livebilder an den Steuerstand 2 übertragen werden. Eine solche Kamera 220 kann beispielsweise an der Kranführerkabine 206 des ferngesteuerten Krans 200 montiert sein und vorteilhafterweise zumindest näherungsweise eine Blickachse haben, die der Blickachse eines Kranführers in der Kranführerkabine 206 entspricht und/oder von der Kranführerkabine 206 zum Lasthaken hin geht.
Alternativ oder zusätzlich können aber auch andere Kameras und/oder Darstellungen aus anderen Perspektiven aufgenommen und an den Steuerstand übertragen werden, um dort angezeigt zu werden. Insbesondere kann eine Flugdrohne 209 verwendet werden, die mit zumindest einer Kamera ausgerüstet ist und ferngesteuert relativ zum Kran 200 bewegt werden kann.
Um den Lasthaken 208, der mit einem von der Laufkatze 204 ablaufenden Hubseil 207 verbunden sein kann, oder eine daran aufgenommene Last bzw. die Umgebung des Lasthakens 208 auch dann sehen zu können, wenn sich der Lasthaken 208 außerhalb des Sichtbereichs der Kranführerkabine 206 bzw. des Kranführers befindet, beispielsweise wenn - wie Fig. 1 zeigt - die Last hinter einem Gebäude abzusetzen ist, ist die Flugdrohne 209 vorgesehen, an der zumindest eine Kamera 210 montiert ist, mittels derer ein Kamerabild vom Lasthaken 208 und/oder der Lasthakenumgebung bereitgestellt werden kann. Das genannte Kamerabild ist vorteilhafterweise ein Live- oder Echtzeitbild im Sinne eines Fernseh- oder Videobilds und wird von der Kamera 210 der Flugdrohne 209 drahtlos zu einer Anzeigeeinheit 211 und/oder der Steuervorrichtung 205 des Krans 201 übertragen, wobei die genannte Anzeigeeinheit 211 beispielsweise ein Maschinenführerdisplay nach Art eines Tablets oder eines Bildschirms oder eines Monitors sein kann, der in der Kranführerkabine 206 montiert sein kann. Wird in der zuvor genannten Weise ein Fernsteuerstand oder eine mobile Bedieneinheit zum Steuern des Krans 201 verwendet, kann die genannte Anzeigeeinheit 211 in dem Fernsteuerstand oder an der mobilen Bedieneinheit vorgesehen sein.
Die Flugdrohne 209 ist mit einer Fernsteuereinrichtung 212 versehen, die es erlaubt, die Flugdrohne 209 fernzusteuern, insbesondere die Flugsteueraggregate wie beispielsweise Rotorblätter anzusteuern, um die Flugposition der Flugdrohne 209 fernzusteuern und/oder die Kamera 210 fernzusteuern, insbesondere hinsichtlich des Schwenkwinkels bzw. der Blickachse der Kamera 210 relativ zu dem Korpus der Flugdrohne 209 und/oder der Brennweite der Kamera 210.
Ein entsprechendes Fernsteuermodul kann in der Kranführerkabine 206 und/oder dem Fernsteuerstand oder der mobilen Bedieneinheit vorgesehen sein, beispielsweise mit entsprechenden Joysticks ausgestattet sein. Um eine einfache Bedienung zu ermöglichen, kann jedoch auch eine Sprachsteuerung und/oder eine Menüsteuerung für die Flugdrohne 209 vorgesehen sein, beispielsweise um aus mehreren vorbestimmten Relativpositionen der Flugdrohne 209 relativ zum Kran eine gewünschte Relativposition auszuwählen. Dies kann beispielsweise dadurch erfolgen, dass per Sprachsteuerung und/oder Menüsteuerung„Drohnenposition 1" eingegeben wird, die vorprogrammiert bzw. vorbestimmt in der Positionssteuervorrichtung 213 abgelegt sein kann.
Vorteilhafterweise wird die genannte echte oder virtuelle Darstellung der Kranumgebung und der darin sichtbaren Krankomponenten durch ein Livebild überlagert, welches reale Komponenten aus dem Steuerstand 2 zeigt, insbesondere vom Kopf des Fernsteuer-Einrichtungnutzers in dessen Blickrichtung aus sichtbare Bauteile wie die Eingabemittel 18, die Hände und den Unterarm des Nutzers und andere im Blickfeld liegende Komponenten.
Hierzu ist vorteilhafterweise eine Kamera 16 vorgesehen, die als am Kopf des Nutzers tragbare Kopfkamera ausgebildet sein kann und entsprechende Befestigungs- und/oder Haltemittel zum Befestigen am Kopf aufweisen kann, beispielsweise in Form einer Helmkamera. Ist die Anzeigevorrichtung 3 vorteilhafterweise in Form einer Virtual-Reality-Brille 4 ausgebildet, die der Nutzer trägt, kann die Kamera 16 in diese VR-Brille integriert sein.
Vorteilhafterweise ist die Kamera 16 dabei als Stereoskopkamera ausgebildet, um stereoskopische Bilder entsprechend den Blickachsen der beiden Augen des Nutzers bereitstellen zu können. Die Überlagerungsvorrichtung 17 zum Überlagern der Darstellung der Kranumgebung und des Livebilds der Kamera 16 vom Steuerstand 2 kann hierbei insbesondere ein farbbasiertes Bildbearbeitungsmodul 26 umfassen, das nach der sog. Green-Screen-Technik arbeiten kann. Insbesondere kann das genannte farbbasierte Bildbearbeitungsmodul 26 im Livebild der Kamera 16 Bildbereiche erkennen, die eine bestimmte, von den restlichen Bildteilflächen abweichende Farbe besitzen, und diese Bildbereiche dann durch die Darstellung aus dem Simulationsmodul 9 ersetzen.
Hierzu kann vorteilhafterweise der Steuerstand 2 eine Führerkabinenwandung 22 umfassen, in der Fensterbereiche 23 - beispielsweise entsprechend den Sichtfenstern einer echten Kranführerkabine - in einer Schlüsselfarbe eingefärbt sind, die sich von den restlichen Farben der übrigen im Kamerablickfeld liegenden Komponenten wie beispielsweise der Farbe der Fenstereinrahmungen, der Eingabemittel 18 und der Bediener-Bekleidung sowie -Hautfarbe möglichst deutlich unterscheidet, so dass das im Steuerstand 2 aufgenommene Livebild die genannten eingefärbten Flächen in einer bestimmten Farbwiedergabe zeigt, während alle anderen Bildflächen in anderen Farben gezeigt sind. Die in der genannten Schlüsselfarbe - beispielsweise grün - gefärbten Livebildflächen bzw. - teilflächen werden dann durch die Darstellung der Maschinenumgebung und/oder der darin sichtbaren Maschinenkomponenten ersetzt, die vom grafischen Simulationsmodul 9 generiert wird und/oder von einer am Kran angeordneten Kamera erzeugt wird, so dass das überlagerte Bild bzw. die überlagerte Darstellung einerseits den Steuerstand 2 der Fernsteuer-Einrichtung, dessen Komponenten und sich im Sichtfeld der Livekamera befindliche Körperglieder des Nutzers in echt als Livebild zeigt und andererseits in den von der Livekamera 16 aufgenommenen Fensterbereichen 23 der Führerkabinenwandung 22 die echte oder virtuelle Darstellung der Maschinenumgebung und der darin sichtbaren Maschinenkomponenten zeigt.

Claims

Ansprüche
1. Fernsteuer-Einrichtung für einen Kran, eine Baumaschine oder ein Flurförderzeug, mit einem Steuerstand (2), der zumindest ein Eingabemittel (18) zum Eingeben von Steuerbefehlen sowie eine Signalübertragungseinrichtung zum Übertragen der eingegebenen Steuerbefehle auf die Steuervorrichtung (25; 250) des Krans (200), der Baumaschine oder des Flurförderzeugs aufweist, einer Anzeigevorrichtung (3) zum Anzeigen einer Darstellung eines Arbeitswerkzeugs und/oder der Maschinenumgebung, sowie einem Bewegungsbestimmungsmodul (10) zum Bestimmen von Bewegungen und/oder Verformungen von Maschinenkomponenten wie Kranausleger oder Lasthaken in Abhängigkeit der eingegebenen Steuerbefehle, dadurch gekennzeichnet, dass der Steuerstand (2) beweglich gelagert ist und eine Antriebsvorrichtung (8) zum Bewegen des Steuerstands (2) in Abhängigkeit der von dem Bewegungsbestimmungsmodul (10) bestimmten Bewegungen und/oder Verformungen vorgesehen ist.
2. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei der Steuerstand (2) mehrachsig beweglich gelagert ist und die Antriebsvorrichtung (8) mehrere Bewegungsachsen (x, y, z), vorzugsweise umfassend mehrere rotatorische Bewegungsachsen und/oder mehrere translatorische Bewegungsachsen, aufweist, die in Abhängigkeit von am Steuerstand (2) eingegebenen Steuerbefehlen betätigbar sind.
3. Fernsteuer-Einrichtung nach einem der beiden vorhergehenden Ansprüche, wobei der Steuerstand (2) auf einer Bewegungsplattform (7) gelagert ist, in die die Antriebsvorrichtung (8) integriert ist.
4. Fernsteuer-Einrichtung nach einem der vorhergehenden Ansprüche, wobei zumindest eine Kamera (210) zum Bereitstellen eines Livebilds des Arbeitswerkzeugs und/oder der Maschinenumgebung vorgesehen ist und der Steuerstand (2) zumindest einen Bildempfänger zum Empfangen des Livebilds der Kamera (210) aufweist, welches Livebild der auf der Anzeigeeinrichtung (3) angezeigten Darstellung zugrunde liegt.
5. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei die zumindest eine Kamera (210) an einer ferngesteuerten Flugdrohne (209) montiert ist.
6. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei eine Positionssteuervorrichtung (13) zum Positionssteuern der Flugdrohne (209) ein automatisches Folgesteuermodul zum Ansteuern der Flugdrohne (209) in Abhängigkeit einer Maschinenstellung und/oder einer Arbeitswerkzeugposition derart, dass die Flugdrohne (209) Maschinen-, insbesondere Arbeitswerkzeugbewegungen automatisch folgt und eine gewünschte Position relativ zur Maschine und/oder deren Arbeitswerkzeug auch bei Maschinen-, insbesondere Arbeitswerkzeugbewegungen hält, aufweist.
7. Fernsteuer-Einrichtung nach einem der beiden vorhergehenden Ansprüche, wobei eine/die Positionssteuervorrichtung (13) ein autonomes Steuermodul zum autonomen Fernsteuern der Flugdrohne (209) derart, dass von der Flugdrohne (209) verschiedene gewünschte Positionen relativ zur Maschine und/oder deren Arbeitswerkzeug angeflogen werden, aufweist.
8. Fernsteuer-Einrichtung nach einem der vorhergehen Ansprüche 4 bis 7, wobei zumindest eine Kamera (110) zum Bereitstellen eines Livebilds der Maschinenumgebung am Kran (200), an der Baumaschine oder am Flurförderzeug montiert ist, insbesondere an einer Führerkabine (206) mit einer Blickrichtung zumindest näherungsweise auf das Arbeitswerkzeug.
9. Fernsteuer-Einrichtung nach dem Oberbegriff des Anspruchs 1 oder einem der vorhergehenden Ansprüche, wobei zumindest eine Kamera (16) zum Erfassen von Livebildern am Steuerstand (2) vorgesehen ist und der zumindest einen Anzeigevorrichtung (3) eine Überlagerungsvorrichtung (17) zugeordnet ist, die zum Überlagern der Darstellung der Maschinenumgebung und/oder des Arbeitswerkzeugs mit dem von der Kamera (16) bereitgestellten Livebild des Steuerstands (2) auf der Anzeigevorrichtung (3) vorgesehen ist.
10. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei die Kamera (16) eine Kopfhalterung zum Tragen der Kamera am Kopf des Fernsteuer-Einrichtungbenutzers aufweist und/oder als Kopf- und/oder Helmkamera ausgebildet ist.
11. Fernsteuer-Einrichtung nach einem der beiden vorhergehenden Ansprüche, wobei die Kamera (16) als Stereoskopkamera zum Bereitstellen stereoskopischer Bilder zumindest näherungsweise in der Blickrichtung des Fernsteuer-Einrichtungnutzers ausgebildet ist.
12. Fernsteuer-Einrichtung nach einem der vorhergehenden Ansprüche, wobei die zumindest eine Anzeigevorrichtung (3) eine Kopfhalterung zum Tragen am Kopf des Fernsteuer-Einrichtungbenutzers aufweist und/oder als Anzeigebrille ausgebildet ist, insbesondere in Form einer Virtual-Reality-Brille mit integrierter Kamera (16).
13. Fernsteuer-Einrichtung nach einem der vorhergehenden Ansprüche, wobei der Steuerstand (2) eine Führerhauswandung umfasst, in der Sichtfenster ausgebildet sind, wobei die genannten Sichtfenster in einer bestimmten Farbe eingefärbt sind, wobei das grafische Simulationsmodul (9) und/oder die Überlagerungseinrichtung (17) eine farbsensitive Einblendeeinheit zum Einblenden der Darstellung der Maschinenumgebung in die Bildflächen des von der Kamera (16) bereitgestellten Livebilds, die in der vorgenannten, bestimmten Farbe eingefärbt sind, aufweist.
14. Fernsteuer-Einrichtung nach einem der vorhergehenden Ansprüche, wobei ein Konfigurationsmodul zur wahlweisen Vorkonfiguration der Fernsteuer- Einrichtung für einen aus mehreren Maschinentypen vorgesehen ist, insbesondere einen Konfigurationsbaustein zum Anpassen der Eingabemittel des Steuerstands (2) an den ausgewählten Maschinentyp und/oder einen Konfigurationsbaustein zum Anpassen von Parametern des Bewegungsbestimmungsmoduls (10) an den jeweils ausgewählten Maschinentyp aufweist.
15. Fernsteuer-Einrichtung nach dem Oberbegriff des Anspruchs 1 oder einem der vorhergehenden Ansprüche, wobei ein grafisches Simulationsmodul (9) zum Berechnen einer virtuellen Darstellung der Maschinenumgebung und/oder von aus dem Steuerstand (2) sichtbaren Maschinenkomponenten vorgesehen ist, wobei das grafische Simulationsmodul (9) eine Datenschnittstelle zum Einspielen von Bauwerks- und/oder Baustellendaten aufweist und eine Bildverarbeitungseinrichtung zum Generieren und/oder Anpassen der virtuellen Darstellung der Maschinenumgebung in Abhängigkeit der eingespielten Baustellen- und/oder Bauwerksdaten aufweist.
16. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei die genannte Datenschnittstelle eine CAD-Schnittstelle ist und die Bildverarbeitungseinrichtung zum Generieren und/oder Anpassen der virtuellen Darstellung der Maschinenumgebung in Abhängigkeit der über die CAD-Schnittstelle eingespielten CAD-Daten ausgebildet ist, und/oder eine Bilddaten-Schnittstelle ist und die Bildverarbeitungseinrichtung zum Generieren und/oder Anpassen der virtuellen Darstellung der Maschinenumgebung in Abhängigkeit der über die Bilddaten-Schnittstelle eingespielten, vorzugsweise digitalen Bilddaten ausgebildet ist.
17. Fernsteuer-Einrichtung nach einem der beiden vorhergehenden Ansprüche, wobei das grafische Simulationsmodul (9) zum Berechnen der virtuellen Darstellung in Abhängigkeit der vom Bewegungsbestimmungsmodul (10) bestimmten Bewegungen und/oder Verformungen ausgebildet ist.
18. Fernsteuer-Einrichtung nach dem Oberbegriff des Anspruchs 1 oder einem der vorhergehenden Ansprüche, wobei das Bewegungsbestimmungsmodul (10) eine Bestimmungseinrichtung zum Bestimmen von Verformungen von Strukturbauteilen der zu simulierenden Maschine in Abhängigkeit von am Steuerstand (2) eingegebenen Steuerbefehlen aufweist, wobei die genannte Bestimmungseinrichtung eine Rechnereinheit (11) zum Berechnen der Verformungen anhand eines gespeicherten Verformungsmodells der Strukturbauteile aufweist.
19. Fernsteuer-Einrichtung nach dem vorhergehenden Anspruch, wobei das grafische Simulationsmodul (9) zum Generieren der virtuellen Darstellung in Abhängigkeit der berechneten Verformungen der Strukturbauteile ausgebildet ist und/oder eine Steuervorrichtung zum Ansteuern der Antriebsvorrichtung (8) in Abhängigkeit der berechneten Verformungen der Strukturbauteile vorgesehen ist. System umfassend eine Fernsteuer-Einrichtung (1), die gemäß einem der Ansprüche 1-19 ausgebildet ist, sowie einen Kran, eine Baumaschine oder ein Flurförderzeug, wobei zwischen dem Kran, der Baumaschine und/oder dem Flurförderzeug einerseits und dem Fernsteuer-Einrichtung (1) andererseits eine Kommunikationsverbindung vorgesehen ist, über die am Steuerstand (2) des Fernsteuer-Einrichtungs (1) eingegebene Steuerbefehle an die Steuereinrichtung des Krans, der Baumaschine und/oder des Flurförderzeugs übertragbar sind.
EP17721522.5A 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug Active EP3408210B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21197655.0A EP3950558A1 (de) 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE202016002295.5U DE202016002295U1 (de) 2016-01-14 2016-04-08 Fernsteuer-Einrichtung für Kran, Baumaschine und/oder Flurförderzeug
PCT/EP2017/000460 WO2017174205A2 (de) 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP21197655.0A Division EP3950558A1 (de) 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Publications (2)

Publication Number Publication Date
EP3408210A2 true EP3408210A2 (de) 2018-12-05
EP3408210B1 EP3408210B1 (de) 2021-10-20

Family

ID=58671562

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17721522.5A Active EP3408210B1 (de) 2016-01-14 2017-04-07 Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug

Country Status (1)

Country Link
EP (1) EP3408210B1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053071A1 (de) * 2021-03-04 2022-09-07 The Raymond Corporation Assistenzsysteme und -verfahren für ein materialhandhabungsfahrzeug
WO2022238228A1 (de) * 2021-05-10 2022-11-17 Schwing Gmbh Fernsteuersystem für eine baumaschine und verfahren zum steuern einer baumaschine
CN116946876A (zh) * 2023-07-27 2023-10-27 河钢工业技术服务有限公司 一种用于大型冶金铸造起重机的实时监测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053071A1 (de) * 2021-03-04 2022-09-07 The Raymond Corporation Assistenzsysteme und -verfahren für ein materialhandhabungsfahrzeug
EP4517719A3 (de) * 2021-03-04 2025-03-26 The Raymond Corporation Assistenzsysteme und verfahren für ein materialhandhabungsfahrzeug
WO2022238228A1 (de) * 2021-05-10 2022-11-17 Schwing Gmbh Fernsteuersystem für eine baumaschine und verfahren zum steuern einer baumaschine
CN116946876A (zh) * 2023-07-27 2023-10-27 河钢工业技术服务有限公司 一种用于大型冶金铸造起重机的实时监测系统

Also Published As

Publication number Publication date
EP3408210B1 (de) 2021-10-20

Similar Documents

Publication Publication Date Title
WO2017174205A2 (de) Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug
EP3437036B1 (de) Verfahren und vorrichtung zum planen und/oder steuern und/oder simulieren des betriebs einer baumaschine
EP3504148B1 (de) Fernsteuer-einrichtung für kran-, baumaschine und/oder flurförderzeug, und system umfassend diese fernsteuer-einrichtung und einen kran-, eine baumaschine und/oder ein flurförderzeug
EP3403253B1 (de) Kransimulator
EP3411534A1 (de) Verfahren und vorrichtung zum steuern eines krans, eines baggers, einer raupe oder einer ähnlichen baumaschine
CN112884710B (zh) 作业机械的辅助影像生成方法、远程操控方法及其装置
EP3408210B1 (de) Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug
JPH0665949A (ja) 建設ロボットにおける遠隔臨場制御方法
CN115148063A (zh) 一种基于unity3D的虚拟挖掘机系统
EP3048597A1 (de) Simulationsanordnung
DE102012110372A1 (de) System zur Steuerung eines Roboters zum Tragen einer Kamera

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180830

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200903

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20210518

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017011774

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1439795

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211115

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2904634

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20220405

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220120

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220220

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220221

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220120

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220121

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: LIEBHERR-WERK BIBERACH GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017011774

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

REG Reference to a national code

Ref country code: NL

Ref legal event code: PD

Owner name: LIEBHERR-WERK BIBERACH GMBH; DE

Free format text: DETAILS ASSIGNMENT: CHANGE OF OWNER(S), ASSIGNMENT; FORMER OWNER NAME: LIEBHERR-COMPONENTS BIBERACH GMBH

Effective date: 20220718

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220721

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502017011774

Country of ref document: DE

Owner name: LIEBHERR-WERK BIBERACH GMBH, DE

Free format text: FORMER OWNER: LIEBHERR-COMPONENTS BIBERACH GMBH, 88400 BIBERACH, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

REG Reference to a national code

Ref country code: AT

Ref legal event code: PC

Ref document number: 1439795

Country of ref document: AT

Kind code of ref document: T

Owner name: LIEBHERR-WERK BIBERACH GMBH, DE

Effective date: 20221018

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20220407

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220407

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220407

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220407

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20170407

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211020

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20250426

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250430

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20250505

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20250428

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250426

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20250501

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20250424

Year of fee payment: 9