WO2020153325A1 - クレーン - Google Patents

クレーン Download PDF

Info

Publication number
WO2020153325A1
WO2020153325A1 PCT/JP2020/001847 JP2020001847W WO2020153325A1 WO 2020153325 A1 WO2020153325 A1 WO 2020153325A1 JP 2020001847 W JP2020001847 W JP 2020001847W WO 2020153325 A1 WO2020153325 A1 WO 2020153325A1
Authority
WO
WIPO (PCT)
Prior art keywords
hook
crane
luggage
camera
boom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/001847
Other languages
English (en)
French (fr)
Inventor
佳成 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to US17/420,907 priority Critical patent/US11981547B2/en
Priority to CN202080010027.2A priority patent/CN113329966A/zh
Priority to EP20744525.5A priority patent/EP3915928B1/en
Publication of WO2020153325A1 publication Critical patent/WO2020153325A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Program control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • B66C23/42—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes with jibs of adjustable configuration, e.g. foldable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00—Cranes
    • B66C2700/06—Cranes in which the lifting movement is done with a hydraulically controlled plunger
    • B66C2700/062—Cranes in which the lifting movement is done with a hydraulically controlled plunger mounted on motor vehicles
    • B66C2700/065—Cranes in which the lifting movement is done with a hydraulically controlled plunger mounted on motor vehicles with a slewable jib
    • B66C2700/067—Cranes in which the lifting movement is done with a hydraulically controlled plunger mounted on motor vehicles with a slewable jib on a turntable

Definitions

  • the present invention relates to a crane.
  • a sensor for detecting an occupied area of an object is provided at a tip of a boom or a jib, and an object existing in a predetermined scanning range is detected, so that a plurality of columns already installed by automatic operation are installed. It is possible to insert and install luggage between structures and structures, and it is possible to carry the luggage while accurately positioning it at a desired installation position without contacting obstacles.
  • the hook is moved near the luggage by the operation of the operator. That is, in the conventional crane described in Patent Document 1, since the hanging position of the load cannot be detected, the hook cannot be automatically positioned at the hanging position of the load.
  • An object of the present invention is to provide a crane capable of detecting the hanging position of a load so that the hook can be automatically positioned at the hanging position of the load.
  • the crane according to the present invention is a crane in which a hoisting boom is provided on a swivel, and a hook block and a hook hung from the boom are provided.
  • a first camera capable of photographing a second camera capable of photographing the luggage from a different viewpoint from the first camera, and a control device for controlling the crane, wherein the control device controls the luggage to be the first one.
  • An image captured by one camera and the second camera is acquired, and the image is subjected to image processing to calculate a hanging position of the luggage.
  • the crane according to the present invention is characterized in that the first camera is provided on the boom and the second camera is provided on the hook block.
  • the crane according to the present invention is characterized in that the control device automatically moves the hook to the calculated hanging position.
  • the crane according to the present invention is characterized in that the hanging position is a position of a hanging tool provided on the luggage.
  • the crane according to the present invention is characterized in that the hanging position is a position set above the load on a vertical line passing through the center of gravity of the load.
  • the crane according to the present invention is characterized in that the control device performs image processing on the image to calculate a position of a center of gravity of the load.
  • control device can communicate with a storage device in which the shape information of the package is stored, the shape information of the package is acquired from the storage device, and the image is image-processed.
  • the position of the center of gravity is calculated based on the information and the shape information of the package.
  • the crane according to the present invention is characterized in that the luggage is a composite body formed by combining a plurality of the luggage.
  • the crane according to the present invention is characterized in that the control device automatically moves the hook to the suspension position by control based on an inverse dynamics model.
  • the present invention has the following effects.
  • the hanging position of the luggage can be detected by the crane.
  • the hook can be automatically positioned at the detected hanging position of the luggage.
  • the crane of the present invention it is possible to detect the hanging device of the load by the crane and automatically position the hook at the detected position of the hanging device.
  • the position of the center of gravity of the load can be calculated by the crane, and the hanging position can be set based on the information of the position of the center of gravity, and the hook is automatically positioned at the set hanging position. be able to.
  • the center of gravity of the load is calculated by the crane, and the hanging position is calculated based on the information of the position of the center of gravity.
  • the hook can be automatically moved to the suspension position while suppressing the swinging of the hook.
  • FIG. 5A is a diagram showing a shooting situation of a luggage (with a marker) by a boom camera and a hook camera and a display situation of a shot image
  • FIG. 5A is a diagram showing a shooting situation of luggage by the boom camera and the hook camera
  • FIG. 5A is a diagram showing a shooting situation of luggage by the boom camera and the hook camera
  • FIG. 5B is a display. It is a figure which shows the display condition of the image in an apparatus. It is a flowchart which shows the control method of the automatic operation of a crane based on the image processing result of a camera image. It is a figure which shows the reverse dynamics model of a crane. It is a flowchart which shows the control process based on the reverse dynamics model of a crane. It is a schematic diagram which shows the calculation method of the gravity center position of the load which is a complex.
  • FIG. 10A is a diagram showing a shooting situation of a luggage (without a marker) which is a composite body by the boom camera and the hook camera and a display situation of the shot video, and FIG.
  • FIG. 10A is a diagram showing a shooting situation of the luggage by the boom camera and the hook camera.
  • FIG. 6 is a diagram showing a display state of an image on a display device.
  • FIG. 11A is a diagram showing a shooting situation of a luggage (with a marker) as a complex by the boom camera and the hook camera and a display situation of a shot image
  • FIG. 11A is a diagram showing a shooting situation of the luggage by the boom camera and the hook camera
  • FIG. 6 is a diagram showing a display state of an image on a display device.
  • a crane 1 which is a crane (rough terrain crane) according to an embodiment of the present invention will be described below with reference to FIGS. 1 and 2.
  • a rough terrain crane will be described as an example, but a crane according to an embodiment of the present invention is a crane of other forms such as an all-terrain crane, a truck crane, and a loading truck crane. Good.
  • the crane 1 is a mobile crane that can move to an unspecified place.
  • the crane 1 has a vehicle 2 and a crane device 6.
  • the vehicle 2 is a traveling body that carries the crane device 6.
  • the vehicle 2 has a plurality of wheels 3 and runs with the engine 4 as a power source.
  • the vehicle 2 is provided with an outrigger 5.
  • the outrigger 5 is composed of a projecting beam that can be hydraulically extended on both sides in the width direction of the vehicle 2 and a hydraulic jack cylinder that can be extended in a direction perpendicular to the ground.
  • the crane device 6 is, for example, a work device capable of hooking and lifting a load W placed on the ground with a hook suspended on a wire rope.
  • the crane device 6 includes a swivel base 7, a boom 9, a main hook block 10, a sub hook block 11, an undulating hydraulic cylinder 12, a main winch 13, a main wire rope 14, a sub winch 15, a sub wire rope 16 and a cabin 17. I have it.
  • the swivel base 7 is a rotating device configured to swivel the crane device 6 on the vehicle 2.
  • the swivel base 7 is provided on the frame of the vehicle 2 via an annular bearing.
  • the swivel base 7 is configured to be rotatable about a center of an annular bearing as a center of rotation.
  • the revolving base 7 is provided with a hydraulic revolving hydraulic motor 8 as an actuator.
  • the revolving base 7 is configured to be revolvable in one direction and the other direction around the bearing by a revolving hydraulic motor 8.
  • the swing hydraulic motor 8 that is an actuator is rotated by a swing valve 23 that is an electromagnetic proportional switching valve.
  • the turning valve 23 can control the flow rate of the hydraulic oil supplied to the turning hydraulic motor 8 to an arbitrary flow rate. That is, the revolving base 7 is configured to be controllable to an arbitrary revolving speed via the revolving hydraulic motor 8 rotatably operated by the revolving valve 23.
  • the turning base 7 is provided with a turning sensor 27.
  • the boom 9 is a movable column that supports the wire rope so that the luggage W can be lifted.
  • the boom 9 is composed of a plurality of boom members.
  • the boom 9 is provided such that the base end of the base boom member is swingable substantially at the center of the swivel base 7.
  • the boom 9 is configured to be extendable/contractible in the axial direction by moving each boom member by an extension/contraction hydraulic cylinder (not shown) which is an actuator. Further, the boom 9 is provided with a jib 9a.
  • a telescopic hydraulic cylinder (not shown) which is an actuator is telescopically operated by a telescopic valve 24 which is an electromagnetic proportional switching valve.
  • the expansion/contraction valve 24 can control the flow rate of the hydraulic oil supplied to the expansion/contraction hydraulic cylinder to an arbitrary flow rate.
  • the boom 9 is provided with a telescopic sensor 28 that detects the length of the boom 9.
  • the boom camera 9b which is a detection device, captures the luggage W and features around the luggage W.
  • the boom camera 9b is provided at the tip of the boom 9.
  • the boom camera 9b is capable of capturing an image of the ground from above, and is configured to be able to acquire an image s1 that is an image of the situation on the ground (features and terrain around the crane 1) and the luggage W placed on the ground.
  • the main hook block 10 and the sub hook block 11 are for hanging the luggage W.
  • the main hook block 10 is provided with a plurality of hook sheaves around which the main wire rope 14 is wound, and a main hook 10a for hanging the luggage W.
  • the sub-hook block 11 is provided with a sub-hook 11a for hanging the luggage W.
  • the undulating hydraulic cylinder 12 is an actuator that raises and lowers the boom 9 and holds the posture of the boom 9.
  • the undulating hydraulic cylinder 12 has an end of a cylinder portion swingably connected to the swivel base 7, and an end of a rod portion swingably connected to a base boom member of the boom 9.
  • the undulating hydraulic cylinder 12 is expanded and contracted by an undulating valve 25 which is an electromagnetic proportional switching valve.
  • the undulation valve 25 can control the flow rate of the hydraulic oil supplied to the undulation hydraulic cylinder 12 to an arbitrary flow rate.
  • the boom 9 is provided with an undulation sensor 29.
  • the main winch 13 and the sub winch 15 carry out (winding) and unwinding (winding) the main wire rope 14 and the sub wire rope 16.
  • the main winch 13 is rotated by a main hydraulic motor (not shown) in which the main drum around which the main wire rope 14 is wound is an actuator, and the sub winch 15 is a sub drum in which the sub wire rope 16 is wound around is an actuator (not shown). It is configured to be rotated by a hydraulic motor for use.
  • the main hydraulic motor is rotated by the main valve 26m, which is an electromagnetic proportional switching valve.
  • the main winch 13 is configured such that the main hydraulic motor is controlled by the main valve 26m and the main winch 13 can be operated at an arbitrary feeding and drawing speed.
  • the sub winch 15 is configured such that the sub hydraulic valve 26s, which is an electromagnetic proportional switching valve, controls the sub hydraulic motor, and can be operated at arbitrary feeding and feeding speeds.
  • Each of the main winch 13 and the sub winch 15 is provided with a winding sensor 30 that detects a payout amount 1 of the main wire rope 14 and the sub wire rope 16, respectively.
  • Cabin 17 is a casing that covers the cockpit.
  • the cabin 17 is mounted on the swivel base 7 and is provided with a cockpit (not shown).
  • the turning operation tool 18 can operate the turning hydraulic motor 8.
  • the hoisting operation tool 19 can operate the hoisting hydraulic cylinder 12.
  • the extension/contraction operation tool 20 can operate an extension/contraction hydraulic cylinder.
  • the main drum operation tool 21m can operate the main hydraulic motor.
  • the sub-drum operation tool 21s can operate the sub hydraulic motor.
  • the GNSS receiver 22 is a receiver that constitutes a global navigation satellite system (Global Navigation Satellite System), and receives ranging radio waves from satellites and calculates the latitude, longitude, and altitude that are the position coordinates of the receiver. Is.
  • the GNSS receiver 22 is provided at the tip of the boom 9 and the cabin 17 (hereinafter, the GNSS receiver 22 provided at the tip of the boom 9 and the cabin 17 is generically referred to as "GNSS receiver 22". )). That is, the crane 1 can acquire the position coordinates of the tip of the boom 9 and the position coordinates of the cabin 17 by the GNSS receiver 22 on the crane 1 side.
  • the hook camera 31 is a device that captures an image of the luggage W.
  • the hook camera 31 is detachably provided on the hook block to be used among the main hook block 10 and the sub hook block 11 by a magnet or the like.
  • FIG. 1 illustrates a case where a pair of hook cameras 31 and 31 are provided in the main hook block 10. 4A and 4B, 5A and 5B, 7, and 8, the case where the hook camera 31 is provided in the sub hook block 11 is illustrated.
  • the hook camera 31 is configured so that the shooting direction can be changed by a control signal from the crane device 6.
  • two or more hook cameras 31 are provided in consideration of the fact that the luggage W may not be captured depending on the orientation of the main hook block 10 and the positional relationship of the luggage W.
  • One hook camera 31 may be provided at a position where the field of view is not obstructed by the main hook block 10.
  • the camera (hook camera 31) provided on the main hook block 10 is exemplified as the camera other than the boom camera 9b, but it may be any configuration as long as the image of the luggage W can be acquired from different viewpoints.
  • a camera may be provided at a position where the luggage W in front of the cabin 17 can be visually recognized.
  • one of the plurality of hook cameras 31, 31 is arranged on one side surface of the main hook block 10 and is configured as a first hook camera 31 capable of photographing the luggage W on the ground surface.
  • the other hook camera 31 of the plurality of hook cameras is arranged on the other side surface of the main hook block 10 and is configured as a second hook camera 31 capable of photographing the luggage W on the ground surface.
  • the hook cameras 31 and 31 can transmit the captured image s2 by wireless communication or the like.
  • the crane 1 is equipped with a boom camera 9b and a hook camera 31 as cameras for photographing the luggage W, and is configured to be able to acquire images s1 and s2 obtained by simultaneously photographing the luggage W from different directions.
  • the communication device 33 receives the data of the image s2 from the hook camera 31. Further, the communication device 33 can acquire the information of the luggage W and the three-dimensional data of the structure from a BIM (Building Information Modeling) 40 which is a storage device operated by an external server or the like. The communication device 33 is configured to transfer the image s2 to the control device 35 via a communication line (not shown). The communication device 33 is provided in the cabin 17.
  • BIM Building Information Modeling
  • the BIM 40 is a database in which attribute data such as three-dimensional shape, material and weight of each material constituting a building is added to a three-dimensional digital model created by a computer, and the design, construction and maintenance of the building.
  • the database information can be utilized in all steps up to.
  • the luggage W is included in the above-mentioned "each material constituting the building".
  • the BIM 40 is composed of an external server or the like that can be accessed in real time, and the database information is registered. Note that, in the present embodiment, the case where the BIM 40 configured by an external server is used as the storage device in which the information of the luggage W is stored is exemplified, but the information of the luggage W and the like is previously stored in the crane 1.
  • the storage device may be installed so that the information of the luggage W and the three-dimensional data of the structure can be acquired without performing communication with the outside.
  • the display device 34 displays the image s1 captured by the boom camera 9b and the image s2 captured by the hook camera 31, and can superimpose and display information calculated by performing image processing on these images s1 and s2. Output device.
  • the display device 34 has a function as an input device for the operator to instruct a luggage for which the suspension position is desired to be acquired (that is, an image processing target).
  • the display device 34 is equipped with a touch panel capable of instructing the parcel to be subjected to image processing by tapping the parcel image displayed on the screen, and an operation tool such as a mouse (not shown).
  • the display device 34 is provided in the cabin 17.
  • the control device 35 controls each actuator of the crane 1 via each operation valve. Further, the control device 35 performs image processing of the images s1 and s2 captured by the boom camera 9b or the hook camera 31.
  • the control device 35 is provided in the cabin 17.
  • the control device 35 may have a configuration in which a CPU, a ROM, a RAM, a HDD, and the like are connected by a bus, or may be a configuration including a one-chip LSI or the like.
  • the control device 35 stores various programs and data for controlling the operation of each actuator, switching valve, sensor and the like and processing image data.
  • the control device 35 is connected to the turning sensor 27, the extension/contraction sensor 28, the undulation sensor 29, the undulation sensor 29, and the winding sensor 30, and the turning angle ⁇ z, the extension/contraction length Lb, and the undulation angle ⁇ x of the swivel base 7. Also, the amount of wire rope feeding l can be obtained.
  • control device 35 is connected to the boom camera 9b, can acquire the image s1 captured by the boom camera 9b, and can display the image s1 on the display device 34.
  • the control device 35 is also connected to the communication device 33 and the display device 34, can acquire the image s2 captured by the hook camera 31, and can display the image s2 on the display device 34.
  • control device 35 is connected to the turning operation tool 18, the up-and-down operation tool 19, the telescopic operation tool 20, the main drum operation tool 21m, and the sub-drum operation tool 21s. Then, when the crane 1 is operated by the manual operation of the operator, the control device 35 acquires the respective operation amounts of the turning operation tool 18, the hoisting operation tool 19, the main drum operation tool 21m, and the sub-drum operation tool 21s, and various The target speed signal Vd of the sub-hook 11a generated by operating the operation tool is generated.
  • the control device 35 controls the actuator posture corresponding to each operation tool based on the operation amounts of the turning operation tool 18, the up-and-down operation tool 19, the main drum operation tool 21m, and the sub-drum operation tool 21s (that is, the target speed signal Vd).
  • the signal Ad is generated.
  • the control device 35 generates the actuator attitude signal Ad based on the image processing result of the image s1 captured by the boom camera 9b and the image s2 captured by the hook camera 31.
  • the control device 35 is connected to the turning valve 23, the expansion/contraction valve 24, the undulation valve 25, the main valve 26m and the sub valve 26s, and the turning valve 23, the undulation valve 25, the main valve 26m and the sub valve.
  • the actuator attitude signal Ad can be transmitted to the valve 26s.
  • the control device 35 has a target position calculation unit 35a, a hook position calculation unit 35b, and an attitude signal generation unit 35c.
  • the target position calculation unit 35a which is a part of the control device 35, performs image processing on the images s1 and s2 to calculate the target position Pd that is the movement target of the sub-hook 11a. Further, the hook position calculation unit 35b is a part of the control device 35, and calculates the hook position P, which is the current position information of the sub hook 11a, from the image processing result of the image captured by the boom camera 9b.
  • the attitude signal generation unit 35c also calculates an actuator attitude signal Ad that is a command signal to the crane 1.
  • the crane 1 configured as described above can move the crane device 6 to an arbitrary position by running the vehicle 2. Further, the crane 1 raises the boom 9 at an arbitrary hoisting angle ⁇ x by the hoisting hydraulic cylinder 12 by operating the hoisting operation tool 19, and extends the boom 9 to an arbitrary boom 9 length by operating the telescopic operation tool 20. By doing so, the lift and working radius of the crane device 6 can be expanded. In addition, the crane 1 can move the sub-hook 11a to an arbitrary position by moving the sub-hook 11a up and down by the sub-drum operation tool 21s and the like and turning the swivel base 7 by operating the turning operation tool 18.
  • the crane 1 can automatically move the sub-hook 11a to a predetermined position by the control device 35 without depending on the operation of each operation tool.
  • the predetermined position mentioned here is a position of the sub-hook 11a suitable for hanging the luggage W, for example, a position of a suspender attached to the luggage W or a position above the center of gravity of the luggage W.
  • a hanging position Ag such a predetermined position will be referred to as a hanging position Ag.
  • the crane 1 can move the sub-hook 11a to the hanging position Ag of the load W by the automatic operation before the load W is transported.
  • the control device 35 causes the image processing unit 35d to acquire and perform image processing on the images s1 and s2 captured by the boom camera 9b and the hook camera 31, so that the image processing unit 35d causes the load W to be stored.
  • Three-dimensional shape information Ja which is information related to the three-dimensional shape, is generated.
  • the control device 35 generates an actuator posture signal Ad corresponding to the state of the load W (the position of the center of gravity, the installation position, the posture, etc.) based on the generated three-dimensional shape information Ja.
  • the boom 9 is automatically erected at an arbitrary undulation angle ⁇ x by the undulation hydraulic cylinder 12 based on the image processing result of the images s1 and s2 regarding the load W by the control device 35.
  • the boom 9 can be automatically extended to an arbitrary length of the boom 9.
  • the crane 1 automatically moves the sub-hook 11a to an arbitrary upper or lower position based on the image processing result of the image of the luggage W by the control device 35, or automatically rotates the swivel base 7 to an arbitrary swivel angle.
  • the sub-hook 11a can be automatically moved to an arbitrary position by turning the sub-hook 11a.
  • the crane 1 is used for the purpose of automatically installing the luggage W at a predetermined position by moving the sub-hook 11a to a position directly above the luggage W when the luggage W is installed at the predetermined position. Can also be used.
  • the crane 1 may automatically convey the luggage W to the installation position of the luggage W. It will be possible.
  • the control device 35 acquires an image s1 obtained by shooting the luggage W with the boom camera 9b and an image s2 obtained by simultaneously taking the same luggage W with the hook camera 31 with the image processing unit 35d.
  • the image processing unit 35d performs image processing from each of the images s1 and s2 based on the principle of the stereo camera, and information on the distance between the sub-hook 11a and the luggage W and information on the three-dimensional shape of the luggage W (hereinafter, three-dimensional information).
  • the shape information Ja) is calculated.
  • the three-dimensional shape information Ja is information relating to the outer shape of the luggage W and includes dimension information.
  • the control device 35 collates the calculated three-dimensional shape information Ja with the information on the three-dimensional shape of the package W registered in the BIM 40 (hereinafter, referred to as master information Jm) by the center-of-gravity setting unit 35e, and 3 Master information Jm whose outer shape and dimensions match the dimensional shape information Ja is searched. Then, when the center-of-gravity setting unit 35e detects the master information Jm that matches the three-dimensional shape information Ja, the master information Jm is associated with the information W of the package W related to the images s1 and s2.
  • the master information Jm is information registered in the BIM 40, and information about the three-dimensional shape, weight, center of gravity position, etc. of the luggage W is prepared for each type of luggage W.
  • the master information Jm is prepared by previously inputting into the BIM 40 for each package W scheduled to be transported by the crane 1.
  • the crane 1 includes a display device 34.
  • the display device 34 includes a display 34a (see FIG. 4B) capable of displaying the image s1 captured by the boom camera 9b, and displays the images s1 and s2 obtained by capturing the luggage W from above in real time by the cameras 9b and 31. can do. Further, the display device 34 can convert the information related to the center of gravity position G of the luggage W set by the center of gravity setting unit 35e into an image by the image conversion unit 35f, and display the image by superimposing it on the images s1 and s2. With such a configuration, the operator can confirm the gravity center position G of the luggage W on the display 34a of the display device 34.
  • the display device 34 displays the images s1 and s2 of the load W and the position G of the center of gravity.
  • the control device 35 sets the hanging position Ag of the luggage W based on the calculated center-of-gravity position G of the luggage W.
  • the control device 35 superimposes the set suspension position Ag and the hook position P of the sub-hook 11a on the images s1 and s2 including the marker M and displays them on the display 34a of the display device 34. The operator can accurately grasp the positional relationship between the hook position P of the sub-hook 11a and the hanging position Ag by the display device 34.
  • the operator operates the sub-hook 11a so that the position of the sub-hook 11a coincides with the suspension position Ag (center of gravity G) while observing the image displayed on the display 34a, and arranges the sub-hook 11a at the suspension position Ag. It is also possible.
  • the display device 34 is configured such that the distance of the sub-hook 11a to the suspension position Ag is displayed on the display 34a as a numerical value as a distance in each of the XYZ axial directions. By looking at this numerical value, for example, the distance between the sub-hook 11a and the hanging position Ag in the height direction can be grasped.
  • the display device 34 may display the image s2 captured by the hook camera 31 in place of the image s1 captured by the boom camera 9b when the hook camera 31 approaches the luggage W within a predetermined distance. It is configured to be able to.
  • the hook camera 31 can photograph the luggage W at a position closer to the luggage W than the boom camera 9b, and can obtain a more detailed (high-definition) image of the luggage W. Therefore, by switching the camera images to be displayed according to the distance between the cameras 9b and 31 and the baggage W, the closer the hook camera 31 is to the baggage W, the more the calculation accuracy of the center of gravity position G by image processing improves, As a result, the positioning accuracy of the sub hook 11a can be improved.
  • the control device 35 identifies information relating to the posture of the luggage W (hereinafter referred to as posture information Jb) from the calculated three-dimensional shape information Ja.
  • the posture information Jb is information relating to the posture of the baggage W (what direction it is arranged). Further, the control device 35 acquires the center of gravity position G of the luggage W from the linked master information Jm, and specifies the three-dimensional coordinates of the center of gravity position G of the luggage W based on the posture information Jb and the center of gravity position G. To do.
  • the crane 1 has a plurality of markers M provided on the surface of the load W, and the markers M are read by the boom camera 9b and the hook camera 31, so that the three-dimensional shape information Ja of the load W and The attitude information Jb may be acquired.
  • markers M of different types are arranged on each side surface (eg, each corner portion) of the luggage W, and three or more markers M are attached to the boom camera 9b and the hook camera 31.
  • the posture information Jb is acquired from the relative positional relationship of the three or more markers M.
  • the crane 1 can acquire the three-dimensional shape information Ja by specifying the master information Jm of the luggage W from the marker M, and further can acquire the posture information Jb from the positional relationship of each marker M. Information regarding what kind of marker M is provided in what kind of arrangement on the luggage W is registered in advance in the BIM 40 or the control device 35.
  • the control device 35 sets the suspending position Ag immediately above based on the specified center-of-gravity position G.
  • the hanging position Ag is a position on a vertical line passing through the center of gravity position G of the load W, and is a position separated from the center of gravity position G vertically by a predetermined distance H as shown in FIG. 4A.
  • the distance H is set in consideration of the size of the luggage W, the length of the suspension wire used for slinging, and the like.
  • the hanging position Ag is set as three-dimensional coordinates.
  • the suspending position is specified by setting the suspending position Ag, or information on the suspending device relating to the luggage W is registered in advance in the BIM 40, and the suspending device information (suspension position) registered in the BIM 40 is used.
  • the hanging position Ag can be set.
  • the control device 35 superimposes the set suspension position Ag and the hook position P of the sub-hook 11a on the images s1 and s2 including the marker M and displays them on the display 34a of the display device 34.
  • the operator can accurately grasp the positional relationship between the hook position P of the sub-hook 11a and the hanging position Ag by the display device 34.
  • the operator of the crane 1 looks at the display 34a of the display device 34 while watching the load W to be conveyed by the boom camera 9b.
  • the crane 1 is operated so that it can be photographed.
  • the operator designates the luggage W to be transported among the luggage W displayed on the display 34a (for example, taps the screen).
  • the crane 1 starts the following automatic operation when the operator performs an operation of designating the luggage W to be transported.
  • the target position calculation unit 35a of the control device 35 acquires the images s1 and s2 from each of the cameras 9b and 31 at every unit time t and outputs the images s1 and s2.
  • the type of the luggage W is specified from the three-dimensional shape information Ja and the posture information Jb obtained by image processing, and the target position Pd is calculated.
  • the target position calculation unit 35a calculates the target position Pd based on the master information Jm of the package W registered in the BIM 40.
  • the target position Pd includes information on the center of gravity G of the luggage W and the hanging position Ag.
  • the hook position calculation unit 35b calculates the hook position P, which is the current position information of the sub-hook 11a, from the image processing result of the image s1 taken by the boom camera 9b.
  • the attitude signal generator 35c calculates a relative distance Dp between the current hook position P and the set target position Pd.
  • the posture signal generation unit 35c calculates the relative distance Dp from the image processing result of the images captured by the boom camera 9b and the hook camera 31.
  • the posture signal generation unit 35c performs the inverse model calculation based on the calculated relative distance Dp, and the boom posture angle (turning angle ⁇ z, extension/contraction length lb, undulation) for matching the hook position P with the target position Pd.
  • An angle ⁇ x) and a feedforward amount (also referred to as an FF amount) of the wire rope payout amount 1 are calculated.
  • the inverse model calculation is to calculate the exercise command necessary to realize the desired exercise result from the desired exercise result.
  • the attitude signal generator 35c feeds back the current hook position P from the crane information detected by each sensor, performs inverse model calculation based on the difference from the target position Pd, and sets the hook position P to the target position.
  • a feedback amount also referred to as an FB amount
  • a boom attitude angle turning angle ⁇ z, extension/contraction length lb, undulation angle ⁇ x
  • a wire rope payout amount 1 for matching with Pd is calculated.
  • the attitude signal generation unit 35c adds up the FF amount and the FB amount to calculate the actuator attitude signal Ad which is a command signal to the crane 1.
  • the control device 35 In the crane 1 including the control device 35 configured in this way, the control device 35 outputs the calculated actuator attitude signal Ad to each valve to bring the hook position P closer to the target position Pd. Then, the control device 35 repeatedly executes the calculation of the actuator attitude signal Ad in a predetermined cycle until the hook position P and the target position Pd match. The control device 35 determines that the hook position P and the target position Pd match when the distance between the hook position P and the target position Pd becomes equal to or less than a predetermined threshold value. The final hook position P is determined as a result of the influence of the disturbance D on the operation of the crane 1 based on the actuator attitude signal Ad.
  • the target position Pd is calculated based on the images captured by the boom camera 9b and the hook camera 31, and the position control is performed based on the distance information. It is possible to reduce the alignment error as compared with the control alignment.
  • an inverse dynamic model of the crane 1 is determined as shown in FIG.
  • the inverse dynamic model is defined in the XYZ coordinate system which is a global coordinate system, and the origin O is the turning center of the crane 1.
  • the global coordinates of the origin O are acquired from the GNSS receiver 22.
  • q indicates, for example, the current position coordinate q(n) of the tip of the boom 9
  • p indicates, for example, the current position coordinate p(n) of the sub-hook 11a.
  • lb indicates the extension/contraction length lb(n) of the boom 9
  • ⁇ x indicates the undulation angle ⁇ x(n)
  • ⁇ z indicates the turning angle ⁇ z(n), for example.
  • l indicates the wire rope payout amount l(n)
  • f indicates the wire rope tension f
  • e indicates the wire rope direction vector e(n), for example.
  • the relationship between the target position q of the tip of the boom 9 and the target position p of the subhook 11a is based on the target position p of the subhook 11a, the mass m of the subhook 11a, and the spring constant kf of the wire rope.
  • the target position q of the tip of the boom 9 is represented by the equation (1), and is calculated by the equation (2) which is a function of the time of the sub-hook 11a.
  • the low pass filter Lp attenuates frequencies above a predetermined frequency.
  • the target position calculation unit 35a applies the low-pass filter Lp to the signal of the target position Pd to prevent the occurrence of a singular point (rapid position change) due to the differential operation.
  • the low-pass filter Lp uses the fourth-order low-pass filter Lp in order to correspond to the fourth-order differential when calculating the spring constant kf, but the low-pass filter Lp of the order matched to the desired characteristic is applied. be able to.
  • a and b are coefficients.
  • the pay-out amount l(n) of the wire rope is calculated from the following equation (4).
  • the wire rope payout amount l(n) is defined by the distance between the current position coordinate q(n) of the boom 9 which is the tip position of the boom 9 and the current position coordinate p(n) of the subhook 11a which is the position of the subhook 11a. It In other words, the wire rope payout amount l(n) includes the length of the sling.
  • the direction vector e(n) of the wire rope is calculated from the following equation (5).
  • the wire rope direction vector e(n) is a unit length vector of the wire rope tension f (see Formula (1)).
  • the tension f of the wire rope is obtained by subtracting the gravitational acceleration from the acceleration of the subhook 11a calculated from the current position coordinate p(n) of the subhook 11a and the target position coordinate p(n+1) of the subhook 11a after the unit time t has elapsed. is there.
  • the target position coordinate q(n+1) of the boom 9 that is the target position of the tip of the boom 9 after the unit time t has elapsed is calculated from the following expression (1) as a function of n (6).
  • ⁇ indicates the turning angle ⁇ z(n) of the boom 9.
  • the target position coordinate q(n+1) of the boom 9 is calculated from the feed amount l(n) of the wire rope, the target position coordinate p(n+1) of the subhook 11a, and the direction vector e(n+1) using inverse dynamics. ..
  • the target position calculation unit 35a can acquire the images s1 and s2 from the cameras 9b and 31 at each unit time t, and from the three-dimensional shape information Ja and the posture information Jb obtained by performing the image processing on the images s1 and s2.
  • the target position Pd is calculated while specifying the type of the luggage W.
  • the hook position calculation unit 35b calculates the hook position P, which is the current position information of the sub hook 11a, from the image processing result of the image s1 captured by the boom camera 9b. In addition, the hook position calculation unit 35b calculates the position coordinates of the tip of the boom 9 from the attitude information of the boom 9, and the main wire rope 14 or the sub wire rope 16 (hereinafter simply referred to as "wire rope") from the winding sensor 30.
  • the feeding amount l(n) of the hook position P may be calculated as the position coordinate of the sub-hook 11a.
  • the hook position calculation unit 35b acquires the turning angle ⁇ z(n) of the turntable 7 from the turning sensor 27, the expansion/contraction length lb(n) from the expansion/contraction sensor 28, and the undulation sensor 29. Acquire the undulation angle ⁇ x(n).
  • the hook position calculation unit 35b calculates the current position coordinates p(n) of the sub-hook 11a that is the acquired current hook position P, and acquires the acquired turning angle ⁇ z(n), the expansion/contraction length lb(n), and the undulation. From the angle ⁇ x(n), the current position coordinate q(n) of the tip of the boom 9 (the wire rope feeding position), which is the current position of the tip of the boom 9, is hereinafter referred to simply as “current position coordinate q(n) of the boom 9”. Note) can be calculated.
  • the hook position calculation unit 35b can also calculate the wire rope payout amount l(n) from the current position coordinate p(n) of the sub-hook 11a and the current position coordinate q(n) of the boom 9. Further, the hook position calculation unit 35b suspends the sub-hook 11a from the current position coordinate p(n) of the sub-hook 11a and the target position coordinate p(n+1) of the sub-hook 11a which is the target position of the sub-hook 11a after the unit time t has elapsed. It is possible to calculate the direction vector e(n+1) of the wire rope that is being provided.
  • the hook position calculation unit 35b is a target position of the tip of the boom 9 after a unit time t has elapsed from the target position coordinate p(n+1) of the sub-hook 11a and the wire rope direction vector e(n+1) by using inverse dynamics. It is configured to calculate the target position coordinate q(n+1) of the boom 9.
  • the attitude signal generator 35c generates an actuator attitude signal Ad from the target position coordinates q(n+1) of the boom 9 after the unit time t has elapsed.
  • the attitude signal generator 35c can acquire the target position coordinate q(n+1) of the boom 9 after the unit time t has elapsed from the hook position calculator 35b.
  • the attitude signal generator 35c is configured to generate an actuator attitude signal Ad to the turning valve 23, the expansion/contraction valve 24, the undulation valve 25, the main valve 26m or the sub valve 26s.
  • step S100 the control device 35 starts the target position calculation step A.
  • the control device 35 calculates the suspension position Ag from the acquired center-of-gravity position G of the luggage W every unit time t, and when the target position calculation step A ends, moves the step to step S200.
  • the control device 35 starts the hook position calculation step B.
  • the control device 35 calculates the target position coordinate q(n+1) of the boom 9 from the current position coordinate p(n) of the sub-hook 11a and the current position coordinate q(n) of the boom 9, and when the hook position calculation step B ends, the step is completed. To step S300.
  • step 300 the control device 35 starts the operation signal generation process C.
  • the control device 35 controls the turning valve 23 and the expansion/contraction valve 24 based on the rotation angle ⁇ z(n+1) of the revolving base 7, the expansion/contraction length Lb(n+1), the undulation angle ⁇ x(n+1), and the wire rope payout amount l(n+1).
  • the actuator attitude signal Ad of the undulation valve 25, the main valve 26m, or the sub valve 26s is generated, and the operation signal generation step C is ended and the step proceeds to step S100.
  • the control device 35 calculates the target position coordinates q(n+1) of the boom 9 by repeating the target position calculation process A, the hook position calculation process B, and the operation signal generation process C, and after the unit time t has elapsed, the wire rope is calculated.
  • the wire rope direction vector e(n+2) is calculated from the feed amount l(n+1) of the wire hook, the current position coordinate p(n+1) of the subhook 11a, and the target position coordinate p(n+2) of the subhook 11a, and the wire rope feed amount l(n From n+1) and the wire rope direction vector e(n+2), the target position coordinate q(n+2) of the boom 9 after the unit time t has further elapsed is calculated.
  • control device 35 calculates the direction vector e(n) of the wire rope and uses the inverse dynamics to calculate the current position coordinate p(n+1) of the subhook 11a, the target position coordinate p(n+1) of the subhook 11a, and the wire rope.
  • the target position coordinate q(n+1) of the boom 9 after the unit time t is sequentially calculated from the directional vector e(n) of.
  • the controller 35 controls each actuator by feedforward control that generates an actuator attitude signal Ad based on the target position coordinate q(n+1) of the boom 9.
  • the crane 1 calculates the target position Pd based on the images captured by the boom camera 9b and the hook camera 31, so that the position control is performed based on the distance information. As a result, the positioning error can be reduced compared to the conventional positioning by speed control.
  • the crane 1 also generates a control signal for the boom 9 based on the distance between the target position Pd and the hook position P, and a feedforward control for generating the control signal for the boom 9 based on the target trajectory intended by the operator. Has been applied. Therefore, the crane 1 has a small response delay with respect to the operation signal, and suppresses the swing of the luggage W due to the response delay.
  • an inverse dynamic model is constructed, and the target position coordinate q of the boom 9 is calculated from the wire rope direction vector e(n), the current position coordinate p(n+1) of the subhook 11a, and the target position coordinate p(n+1) of the subhook 11a. Since (n+1) is calculated, an error in a transient state due to acceleration/deceleration or the like does not occur. Further, since the frequency component including the singular point caused by the differential operation when calculating the target position coordinate q(n+1) of the boom 9 is attenuated, the control of the boom 9 is stabilized. Accordingly, when the sub-hook 11a is moved to the hanging position Ag which is the target position, it is possible to suppress the sub-hook 11a from swinging.
  • the weight A and the position of the center of gravity Ga of the luggage Wa are known from the information registered in the BIM 40.
  • the weight B and the center of gravity position Gb of the luggage Wb are known from the information registered in the BIM 40.
  • the weight of the luggage W is (A+B).
  • the center of gravity position G of the luggage W is located on the straight line Xg connecting the center of gravity position Ga and the center of gravity position Gb. Then, the position on the straight line Xg where the center of gravity G of the luggage W is located is determined by the weight ratio between the luggage Wa and the luggage Wa.
  • the control device 35 controls the information of each of the loads Wa and Wb from the BIM 40 (weight, center of gravity position, posture, shape after connection).
  • the center of gravity position G of the load W which is a combined body, can be calculated by obtaining and performing the above calculation.
  • the center of gravity position G of the luggage W can be calculated by applying the above calculation.
  • the information (weight, center of gravity position, posture, shape) of the baggage W which is a complex is displayed in the BIM 40. May be registered in advance and the information of the package W as the complex may be directly used.
  • the control device 35 uses the hook camera 31 to capture images s1, s1, and s1 of three packages W1, W2, and W3 captured by the boom camera 9b and, at the same time, the same package W using the hook camera 31.
  • the captured images s2, s2, and s2 are acquired by the image processing unit 35d.
  • the image processing unit 35d performs image processing on the images s1 and s2 based on the principle of a stereo camera, and calculates the three-dimensional shape information Ja of the luggage W.
  • the control device 35 detects that the package W is composed of three packages W1, W2, W3 based on the three-dimensional shape information Ja. Then, the control device 35 calculates individual three-dimensional shape information Ja1, Ja2, Ja3 for each of the three packages W1, W2, W3.
  • the control device 35 collates the calculated three-dimensional shape information Ja1, Ja2, Ja3 with the master information Jm registered in the BIM 40 by the center-of-gravity setting unit 35e to obtain the three-dimensional shape information Ja1, Ja2, Ja3. Master information Jm1, Jm2, and Jm3 having the same outer shape and size are searched. Then, when the center-of-gravity setting unit 35e detects the respective master information Jm1, Jm2, Jm3 that matches the respective three-dimensional shape information Ja1, Ja2, Ja3, the master information Jm1, Jm2, Jm3 is set as the image s1, s2. It is linked to each of the packages W1, W2, and W3 related to the information.
  • the control device 35 identifies the posture information Jb1, Jb2, Jb3 relating to the postures of the respective packages W1, W2, W3 forming the package W from the calculated respective three-dimensional shape information Ja1, Ja2, Ja3. Further, the control device 35 acquires the center of gravity positions G1, G2, G3 of the respective packages W from the linked master information Jm, and based on the respective posture information Jb1, Jb2, Jb3 and the center of gravity positions G1, G2, G3. Then, the three-dimensional coordinates of the center of gravity position G of the luggage W are specified.
  • the control device 35 sets the suspension position Ag of the luggage W based on the calculated center-of-gravity position G of the luggage W. As shown in FIG. 10B, the control device 35 displays the hanging position Ag set on the luggage W and the hook position P of the sub-hook 11a on the images 34 and 2 on the display 34a of the display device 34 by superimposing them on the images s1 and s2. The operator can accurately grasp the positional relationship between the hook position P of the sub-hook 11a and the hanging position Ag by the display device 34.
  • the control device 35 individually captures the loads W1, W2, and W3 and calculates the center of gravity position G of the load W that is a complex.
  • the three-dimensional shape information Ja is registered in the BIM 40
  • the luggage W is grasped as one body
  • the posture information Jb of the luggage W as a complex is calculated using the three-dimensional shape information Ja of the BIM 40
  • the control device 35 is used.
  • the center of gravity position G of the package W as a complex may be directly calculated from the three-dimensional shape information Ja and the posture information Jb.
  • the crane 1 uses the markers M provided on the loads W1, W2, W3 to determine the three-dimensional shape information Ja of the load W.
  • the posture information Jb may be acquired, the center of gravity position G of the luggage W may be calculated, and the suspension position Ag may be set.
  • the crane 1 acquires the three-dimensional shape information Ja and the posture information Jb of the luggage W by reading the plurality of markers M provided on the surface of the luggage W with the boom camera 9b and the hook camera 31. be able to.
  • the control device 35 may separately capture the loads W1, W2, and W3 and calculate the respective gravity center positions G1, G2, and G3, and then calculate the gravity center position G of the load W, or a composite body.
  • the luggage W is regarded as one body, and the control device 35 controls the three-dimensional shape information Ja and the posture information Jb based on the information obtained by reading the marker M. May be obtained, and the gravity center position G of the package W as a complex may be directly calculated.
  • the control device 35 sets the suspension position Ag of the luggage W based on the calculated center-of-gravity position G of the luggage W. As shown in FIG. 11B, the control device 35 superimposes the set suspension position Ag and the hook position P of the sub-hook 11a on the images s1 and s2 including the marker M and displays them on the display 34a of the display device 34. The operator can accurately grasp the positional relationship between the hook position P of the sub-hook 11a and the hanging position Ag by the display device 34.
  • the crane 1 which is a mobile crane has been described as an example in the present embodiment
  • the method of automatically operating the hook according to the present invention is applied to various devices configured to lift the load W by the hook.
  • the crane 1 may be configured such that the moving direction of the load W is instructed in the tilt direction and the crane 1 is remotely controlled by a remote operation terminal having an operation stick for instructing the moving speed of the load W in the tilt angle.
  • the crane 1 displays the image captured by the hook camera on the remote control terminal, so that the operator can accurately grasp the situation around the luggage W even from a remote location.
  • the crane 1 can improve the robustness by feeding back the current position information of the luggage W based on the image captured by the hook camera. In this way, the crane 1 can move the cargo W stably without being aware of the weight of the cargo W or the change in characteristics due to disturbance.
  • the present invention can be applied to a crane.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)
  • Jib Cranes (AREA)

Abstract

荷物の吊り位置にフックを精度よく位置決めすることを可能にするべく、荷物の吊り位置を検出することができるクレーンを提供することを課題とする。クレーン（１）は、旋回台（７）に起伏自在のブーム（９）が設けられるとともに、ブーム（９）から吊下げられているサブフックブロック（１１）およびサブフック（１１ａ）が設けられており、クレーン（１）による搬送対象である荷物（Ｗ）を撮影可能なブームカメラ（９ｂ）と、ブームカメラ（９ｂ）とは異なる視点から荷物（Ｗ）を撮影可能なフックカメラ（３１）と、クレーン（１）を制御する制御装置（３５）と、を備え、制御装置（３５）が、荷物（Ｗ）をブームカメラ（９ｂ）とフックカメラ（３１）により撮影した画像（ｓ１）・（ｓ２）を取得し、画像（ｓ１）・（ｓ２）を画像処理して荷物（Ｗ）の吊り位置（Ａｇ）を算出する。

Description

クレーン
　本発明は、クレーンに関する。
　従来、クレーンにおいて、吊り上げた荷物を所望の設置位置まで自動運転で搬送する技術が知られている。例えば、特許文献１の如くである。
　特許文献１に記載のクレーンでは、ブーム又はジブの先端に物体の占有領域を検出するセンサを設け、所定の走査範囲に存在する物体を検出することによって、自動運転により既に据え付けてある複数の柱や構造物の間に荷物を差し込んで据え付けることを可能にしており、荷物を障害物に接触させることなく所望の設置位置に精度よく位置決めしつつ搬送することを可能にしている。
　昨今、クレーン作業の更なる自動化が期待されているが、現状のクレーンでは、荷物の吊り上げに適した位置（以下、吊り位置と呼ぶ）を検出することができないため、荷物をフックに玉掛けするときには、操縦者の操作によって荷物の近傍までフックを移動させている。即ち、特許文献１に記載されているような従来のクレーンでは、荷物の吊り位置を検出することができないため、自動的に荷物の吊り位置にフックを位置決めすることができなかった。
特開２０１８－０３０６９２号公報
　本発明の目的は、荷物の吊り位置にフックを自動的に位置決めすることを可能にするべく、荷物の吊り位置を検出することができるクレーンを提供することである。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
　即ち、本発明に係るクレーンは、旋回台に起伏自在のブームが設けられるとともに、前記ブームから吊下げられているフックブロックおよびフックが設けられるクレーンであって、前記クレーンによる搬送対象である荷物を撮影可能な第１カメラと、前記第１カメラとは異なる視点から前記荷物を撮影可能な第２カメラと、前記クレーンを制御する制御装置と、を備え、前記制御装置が、前記荷物を前記第１カメラと前記第２カメラにより撮影した画像を取得し、前記画像を画像処理して前記荷物の吊り位置を算出することを特徴とする。
　また、本発明に係るクレーンは、前記第１カメラが、前記ブームに設けられており、前記第２カメラが、前記フックブロックに設けられていることを特徴とする。
　また、本発明に係るクレーンは、前記制御装置によって、算出した前記吊り位置まで前記フックを自動的に移動させることを特徴とする。
　また、本発明に係るクレーンは、前記吊り位置が、前記荷物に設けた吊り具の位置であることを特徴とする。
　また、本発明に係るクレーンは、前記吊り位置が、前記荷物の重心位置を通る鉛直線上において該荷物より上方に設定した位置であることを特徴とする。
　また、本発明に係るクレーンは、前記制御装置が、前記画像を画像処理して前記荷物の重心位置を算出することを特徴とする。
　また、本発明に係るクレーンは、前記制御装置が、前記荷物の形状情報が記憶された記憶装置と通信可能であり、前記記憶装置から前記荷物の形状情報を取得し、前記画像を画像処理した情報と前記荷物の形状情報に基づいて前記重心位置を算出することを特徴とする。
　また、本発明に係るクレーンは、前記荷物が、複数の前記荷物を組み合わせて構成された複合体であることを特徴とする。
　また、本発明に係るクレーンは、前記制御装置が、逆動力学モデルに基づく制御により、前記吊り位置まで前記フックを自動的に移動させることを特徴とする。
　本発明は、以下に示すような効果を奏する。
　本発明に係るクレーンによれば、クレーンによって荷物の吊り位置を検出することができる。これにより、検出した荷物の吊り位置にフックを自動的に位置決めすることができる。
　また、本発明に係るクレーンによれば、クレーンによって荷物の吊り具を検出することができ、検出した吊り具の位置にフックを自動的に位置決めすることができる。
　また、本発明に係るクレーンによれば、クレーンによって荷物の重心位置を算出し、その重心位置の情報に基づいて吊り位置を設定することができ、設定した吊り位置にフックを自動的に位置決めすることができる。
　また、本発明に係るクレーンによれば、荷物が、複数の荷物を組み合わせて構成された複合体である場合に、クレーンによって荷物の重心位置を算出し、その重心位置の情報に基づいて吊り位置を設定することができ、設定した吊り位置にフックを自動的に位置決めすることができる。
　また、本発明に係るクレーンによれば、フックの揺れを抑えつつ、吊り位置までフックを自動的に移動させることができる。
クレーンの全体構成を示す側面図である。 クレーン全体の制御構成を示すブロック図である。 クレーンの画像処理に関する制御装置の構成を示すブロック図である。 ブームカメラとフックカメラによる荷物（マーカーなし）の撮影状況と撮影した映像の表示状況を示す図であり、図４Ａは、ブームカメラとフックカメラによる荷物の撮影状況を示す図、図４Ｂは、表示装置における画像の表示状況を示す図である。 ブームカメラとフックカメラによる荷物（マーカーあり）の撮影状況と撮影した映像の表示状況を示す図であり、図５Ａは、ブームカメラとフックカメラによる荷物の撮影状況を示す図、図５Ｂは、表示装置における画像の表示状況を示す図である。 カメラ画像の画像処理結果に基づくクレーンの自動運転の制御方法を示すフローチャートである。 クレーンの逆動力学モデルを示す図である。 クレーンの逆動力学モデルに基づく制御工程を示すフローチャートである。 複合体たる荷物の重心位置の算出方法を示す模式図である。 ブームカメラとフックカメラによる複合体たる荷物（マーカーなし）の撮影状況と撮影した映像の表示状況を示す図であり、図１０Ａは、ブームカメラとフックカメラによる荷物の撮影状況を示す図、図１０Ｂは、表示装置における画像の表示状況を示す図である。 ブームカメラとフックカメラによる複合体たる荷物（マーカーあり）の撮影状況と撮影した映像の表示状況を示す図であり、図１１Ａは、ブームカメラとフックカメラによる荷物の撮影状況を示す図、図１１Ｂは、表示装置における画像の表示状況を示す図である。
　以下に、図１と図２とを用いて、本発明の一実施形態に係るクレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においてはラフテレーンクレーンを例示して説明を行うが、本発明の一実施形態に係るクレーンは、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等のその他の形態のクレーンであってもよい。
　図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、車両２、クレーン装置６を有する。
　車両２は、クレーン装置６を搬送する走行体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２にはアウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。
　クレーン装置６は、例えば地上に置かれている荷物Ｗをワイヤロープに吊持されているフックにより引掛けて吊り上げることができる作業装置である。クレーン装置６は、旋回台７、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６およびキャビン１７等を備えている。
　旋回台７は、車両２上でクレーン装置６を旋回可能に構成する回転装置である。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって前記軸受を中心に一方向と他方向とに旋回可能に構成されている。
　図１および図２に示すように、アクチュエータである旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２３によって回転操作される。旋回用バルブ２３は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台７は、旋回用バルブ２３によって回転操作される旋回用油圧モータ８を介して任意の旋回速度に制御可能に構成されている。旋回台７には、旋回用センサ２７が設けられている。
　ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。
　アクチュエータである図示しない伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ２４によって伸縮操作される。伸縮用バルブ２４は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の長さを検出する伸縮用センサ２８が設けられている。
　検知装置であるブームカメラ９ｂは、荷物Ｗおよび荷物Ｗ周辺の地物等を撮影するものである。ブームカメラ９ｂは、ブーム９の先端部に設けられている。ブームカメラ９ｂは、上方から地上を撮影可能であり、地上の状況（クレーン１周辺の地物や地形）や地上に置かれた荷物Ｗを撮影した画像ｓ１を取得可能に構成されている。
　メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。
　起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２５によって伸縮操作される。起伏用バルブ２５は、起伏用油圧シリンダ１２に供給される作動油の流量を任意の流量に制御することができる。ブーム９には、起伏用センサ２９が設けられている。
　メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。
　メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ２６ｍによって回転操作される。メインウインチ１３は、メイン用バルブ２６ｍによってメイン用油圧モータを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２６ｓによってサブ用油圧モータを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。メインウインチ１３とサブウインチ１５とには、メインワイヤロープ１４とサブワイヤロープ１６の繰り出し量ｌをそれぞれ検出する巻回用センサ３０が設けられている。
　キャビン１７は、操縦席を覆う筐体である。キャビン１７は、旋回台７に搭載されており、図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている。旋回操作具１８は、旋回用油圧モータ８を操作することができる。起伏操作具１９は、起伏用油圧シリンダ１２を操作することができる。伸縮操作具２０は、伸縮用油圧シリンダを操作することができる。メインドラム操作具２１ｍは、メイン用油圧モータを操作することができる。サブドラム操作具２１ｓは、サブ用油圧モータを操作することができる。
　ＧＮＳＳ受信機２２は、全球測位衛星システム（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）を構成する受信機であって、衛星から測距電波を受信し、受信機の位置座標である緯度、経度、標高を算出するものである。ＧＮＳＳ受信機２２は、ブーム９の先端とキャビン１７とに設けられている（以下、ブーム９の先端とキャビン１７とに設けられているＧＮＳＳ受信機２２を総称して、「ＧＮＳＳ受信機２２」と記す）。つまり、クレーン１は、クレーン１側ＧＮＳＳ受信機２２によって、ブーム９の先端の位置座標とキャビン１７の位置座標を取得することができる。
　フックカメラ３１は、荷物Ｗの画像を撮影する機器である。フックカメラ３１は、磁石等によりメインフックブロック１０とサブフックブロック１１とのうち、使用するフックブロックに着脱自在に設けられている。図１においては、一対のフックカメラ３１・３１を、メインフックブロック１０に設けた場合を例示している。また、図４Ａ及び図４Ｂ、図５Ａ及び図５Ｂ、図７、図８においては、フックカメラ３１を、サブフックブロック１１に設けた場合を例示している。フックカメラ３１は、クレーン装置６の制御信号によって撮影方向を変更可能に構成されている。なお、本実施形態では、メインフックブロック１０の向きと荷物Ｗの位置関係によっては荷物Ｗを撮影できない場合があることを考慮して２個以上のフックカメラ３１・３１を設ける構成としているが、メインフックブロック１０によって視界を妨げられない位置にフックカメラ３１を１個設ける構成としてもよい。また、本実施形態では、ブームカメラ９ｂ以外のカメラとして、メインフックブロック１０に設けたカメラ（フックカメラ３１）を例示しているが、異なる視点から荷物Ｗの画像を取得できる構成であればよく、メインフックブロック１０に設けるフックカメラ３１に代えて、例えば、キャビン１７前方の荷物Ｗを視認できる位置にカメラを設ける構成としてもよい。
　なお、複数のフックカメラ３１・３１のうち一のフックカメラ３１は、メインフックブロック１０の一側の側面に配置され、地表面の荷物Ｗを撮影できる第１フックカメラ３１として構成されている。複数のフックカメラのうち他のフックカメラ３１は、メインフックブロック１０の他側の側面に配置され、地表面の荷物Ｗを撮影できる第２フックカメラ３１として構成されている。各フックカメラ３１・３１は、撮影した画像ｓ２を無線通信等によって送信することができる。
　即ち、クレーン１は、荷物Ｗを撮影するカメラとして、ブームカメラ９ｂとフックカメラ３１を備えており、荷物Ｗを異なる方向から同時に撮影した画像ｓ１・ｓ２を取得可能に構成されている。
　図２に示すように、通信機３３は、フックカメラ３１からの画像ｓ２のデータを受信する。また、通信機３３は、外部サーバ等で運用されている記憶装置たるＢＩＭ（Ｂｕｉｌｄｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｏｄｅｌｉｎｇ）４０から荷物Ｗの情報や構造物の３次元データを取得することができる。通信機３３は、画像ｓ２を受信すると図示しない通信線を介して制御装置３５に転送するように構成されている。通信機３３は、キャビン１７に設けられている。
　ＢＩＭ４０は、コンピュータにて作成された３次元デジタルモデルについて、建築物を構成する各資材の３次元形状、材質、重量などの属性データを追加したデータベースであり、建築物の設計、施工から維持管理に至るあらゆる工程で、そのデータベース情報を活用することができる。荷物Ｗは、前記「建築物を構成する各資材」に含まれる。ＢＩＭ４０は、リアルタイムにアクセス可能な外部サーバ等により構成され、前記データベース情報が登録されている。なお、本実施形態では、荷物Ｗの情報が記憶されている記憶装置として、外部サーバにより構成されるＢＩＭ４０を用いる場合を例示しているが、クレーン１に荷物Ｗ等の情報が予め記憶されている記憶装置を搭載し、外部との通信を行わずに、荷物Ｗの情報や構造物の３次元データを取得することができる構成としてもよい。
　表示装置３４は、ブームカメラ９ｂで撮影した画像ｓ１、およびフックカメラ３１で撮影した画像ｓ２を表示するとともに、これらの画像ｓ１・ｓ２を画像処理して算出した情報を重畳して表示可能に構成された出力装置である。また、表示装置３４は、吊り位置を取得したい（即ち、画像処理の対象たる）荷物を操縦者が指示するための入力装置としての機能を有している。表示装置３４は、画面上に表示された荷物の画像をタップすることで、画像処理の対象たる荷物を指示することができるタッチパネルや、図示しないマウス等の操作具を備えている。表示装置３４は、キャビン１７内に設けられている。
　制御装置３５は、各操作弁を介してクレーン１の各アクチュエータを制御する。また、制御装置３５は、ブームカメラ９ｂやフックカメラ３１で撮影した画像ｓ１・ｓ２の画像処理を行う。制御装置３５は、キャビン１７内に設けられている。制御装置３５は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３５は、各アクチュエータや切換え弁、センサ等の動作を制御したり画像データを処理したりするために種々のプログラムやデータが格納されている。
　制御装置３５は、旋回用センサ２７、伸縮用センサ２８、起伏用センサ２９，起伏用センサ２９および巻回用センサ３０に接続され、旋回台７の旋回角度θｚ、伸縮長さＬｂ、起伏角度θｘおよびワイヤロープの繰り出し量ｌを取得することができる。
　制御装置３５は、図３に示すように、ブームカメラ９ｂに接続され、ブームカメラ９ｂで撮影した画像ｓ１を取得し、表示装置３４に画像ｓ１を表示することができる。また、制御装置３５は、通信機３３、表示装置３４に接続され、フックカメラ３１で撮影した画像ｓ２を取得し、表示装置３４に画像ｓ２を表示することができる。
　また、制御装置３５は、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓに接続されている。そして、操縦者の手動操作によってクレーン１を運転する場合、制御装置３５は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓのそれぞれの操作量を取得し、各種操作具の操作により生成されるサブフック１１ａの目標速度信号Ｖｄを生成する。
　そして、制御装置３５は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓの操作量（即ち、上記目標速度信号Ｖｄ）に基づいて各操作具に対応したアクチュエータ姿勢信号Ａｄを生成する。さらに、制御装置３５は、ブームカメラ９ｂで撮影した画像ｓ１と、フックカメラ３１で撮影した画像ｓ２の画像処理結果に基づいて、アクチュエータ姿勢信号Ａｄを生成する。
　制御装置３５は、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓに接続され、旋回用バルブ２３、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓにアクチュエータ姿勢信号Ａｄを伝達することができる。
　制御装置３５は、目標位置算出部３５ａ、フック位置算出部３５ｂ、姿勢信号生成部３５ｃを有している。
　目標位置算出部３５ａは、制御装置３５の一部であり、画像ｓ１・ｓ２を画像処理してサブフック１１ａの移動目標である目標位置Ｐｄを算出する。また、フック位置算出部３５ｂは、制御装置３５の一部であり、ブームカメラ９ｂで撮影した映像の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。また、姿勢信号生成部３５ｃは、クレーン１への指令信号であるアクチュエータ姿勢信号Ａｄを算出する。
　このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度θｘに起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム９長さに延伸させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。また、クレーン１は、サブドラム操作具２１ｓ等によってサブフック１１ａを上下に移動させ、旋回操作具１８の操作によって旋回台７を旋回させることで、サブフック１１ａを任意の位置に移動させることができる。
　また、クレーン１は、各操作具の操作によらず、制御装置３５によって、サブフック１１ａを所定位置に自動的に移動させることができる。ここでいう所定位置は、荷物Ｗを玉掛けするのに適したサブフック１１ａの位置であり、例えば、荷物Ｗに付設された吊り具の位置や、荷物Ｗの重心の上方の位置である。以下では、このような所定位置を、吊り位置Ａｇと呼ぶ。そして、クレーン１は、荷物Ｗを搬送する前の時点で、自動運転によって、サブフック１１ａを荷物Ｗの吊り位置Ａｇまで移動させることができる。
　制御装置３５は、図３に示すように、ブームカメラ９ｂおよびフックカメラ３１で撮影した画像ｓ１・ｓ２を画像処理部３５ｄが取得し画像処理を行うことで、画像処理部３５ｄが、荷物Ｗの３次元形状に係る情報である３次元形状情報Ｊａを生成する。制御装置３５は、生成した３次元形状情報Ｊａに基づいて、荷物Ｗの状態（重心位置、設置位置、姿勢等）に対応したアクチュエータ姿勢信号Ａｄを生成する。
　このように構成されるクレーン１は、制御装置３５による荷物Ｗに係る画像ｓ１・ｓ２の画像処理結果に基づいて、自動的に起伏用油圧シリンダ１２でブーム９を任意の起伏角度θｘに起立させるとともに、自動的にブーム９を任意のブーム９長さに延伸させたりすることができる。また、クレーン１は、制御装置３５による荷物Ｗに係る画像の画像処理結果に基づいて、自動的にサブフック１１ａを上下の任意の位置に移動させたり、自動的に旋回台７を任意の旋回角度に旋回させたりすることで、自動的にサブフック１１ａを任意の位置に移動させることができる。
　なお、クレーン１は、自動運転によって、荷物Ｗを所定の位置に設置したときの該荷物Ｗの直上の位置にサブフック１１ａを移動させることによって、荷物Ｗを自動運転で所定位置に設置する用途にも活用できる。ＢＩＭ４０に登録されている荷物Ｗの情報に、荷物Ｗの設置位置に係る情報が含まれている場合には、クレーン１は、荷物Ｗの設置位置まで、自動的に荷物Ｗを搬送することも可能になる。
　次に、クレーン１の自動運転を実現するための構成について、さらに詳細に説明する。ここではまず、クレーン１における荷物Ｗを検出するための構成について説明する。
　制御装置３５は、荷物Ｗをブームカメラ９ｂで撮影した画像ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２を画像処理部３５ｄで取得する。画像処理部３５ｄは、各画像ｓ１・ｓ２からステレオカメラの原理に基づいて画像処理を行い、サブフック１１ａと荷物Ｗとの距離の情報や、荷物Ｗの３次元形状に係る情報（以下、３次元形状情報Ｊａと呼ぶ）を算出する。３次元形状情報Ｊａは、荷物Ｗの外形形状に係る情報であり、寸法情報を含んでいる。
　制御装置３５は、重心設定部３５ｅによって、算出した３次元形状情報Ｊａと、ＢＩＭ４０に登録されている荷物Ｗの３次元形状に係る情報（以下、マスター情報Ｊｍと呼ぶ）とを照合し、３次元形状情報Ｊａに外形形状および寸法が一致するマスター情報Ｊｍを探索する。そして、重心設定部３５ｅは、３次元形状情報Ｊａに一致するマスター情報Ｊｍを検出したときに、そのマスター情報Ｊｍを、画像ｓ１・ｓ２に係る荷物Ｗの情報として紐付けする。
　マスター情報Ｊｍは、ＢＩＭ４０に登録されている情報であり、荷物Ｗの３次元形状、重量、重心位置、等に関する情報が、荷物Ｗの種類ごとに準備されている。マスター情報Ｊｍは、クレーン１によって搬送することが予定されている各荷物Ｗについて、ＢＩＭ４０に予め入力しておくことにより準備される。
　次に、検出した荷物Ｗを表示する表示装置３４の構成について、さらに詳細に説明する。
　図３に示すように、クレーン１は、表示装置３４を備えている。表示装置３４は、ブームカメラ９ｂで撮影した画像ｓ１を表示可能なディスプレイ３４ａ（図４Ｂ参照）を備えており、各カメラ９ｂ・３１によって荷物Ｗを上方からリアルタイムで撮影した画像ｓ１・ｓ２を表示することができる。また、表示装置３４は、重心設定部３５ｅで設定した荷物Ｗの重心位置Ｇに係る情報を画像変換部３５ｆで画像に変換し、画像ｓ１・ｓ２に重畳させて表示することができる。このような構成により、操縦者は、荷物Ｗの重心位置Ｇを表示装置３４のディスプレイ３４ａ上で確認することができる。
　図４Ｂに示すように、クレーン１では、表示装置３４に、荷物Ｗの画像ｓ１・ｓ２および重心位置Ｇが表示されている。制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図４Ｂに示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。また、操縦者は、ディスプレイ３４ａに表示されている画像を見ながら、吊り位置Ａｇ（重心位置Ｇ）にサブフック１１ａの位置が一致するように操作を行って、サブフック１１ａを吊り位置Ａｇに配置することも可能である。
　また、表示装置３４は、図４Ｂに示すように、ディスプレイ３４ａ上に吊り位置Ａｇに対するサブフック１１ａの距離が、ＸＹＺの各軸方向の距離として数値で表示されるように構成されており、操縦者がこの数値を見ることで、例えば、高さ方向におけるサブフック１１ａと吊り位置Ａｇとの距離を把握することができるように構成されている。
　なお、表示装置３４は、フックカメラ３１が荷物Ｗに対して所定の距離未満に接近したときには、ブームカメラ９ｂが撮影した画像ｓ１に代えて、フックカメラ３１で撮影した画像ｓ２を表示することができるように構成されている。フックカメラ３１は、ブームカメラ９ｂに比して、荷物Ｗにより接近した位置で該荷物Ｗを撮影でき、荷物Ｗのより詳細（高精細）な画像を取得することができる。このため、各カメラ９ｂ・３１と荷物Ｗとの距離に応じて、表示するカメラ画像を切り替えることで、フックカメラ３１が荷物Ｗに接近するほど画像処理による重心位置Ｇの算出精度が向上し、ひいては、サブフック１１ａの位置決め精度を向上させることができる。
　次に、クレーン１における荷物Ｗの重心位置Ｇを検出するための構成について説明する。
　制御装置３５は、算出した３次元形状情報Ｊａから、荷物Ｗの姿勢に係る情報（以下、姿勢情報Ｊｂと呼ぶ）を特定する。姿勢情報Ｊｂは、荷物Ｗの姿勢（どのような向きで配置されているか）に係る情報である。また、制御装置３５は、紐付けされたマスター情報Ｊｍから、荷物Ｗの重心位置Ｇを取得し、姿勢情報Ｊｂと重心位置Ｇとに基づいて、荷物Ｗの重心位置Ｇの３次元座標を特定する。
　なお、上記説明は、図４Ａ及び図４Ｂに示すように、制御装置３５によって、荷物Ｗをブームカメラ９ｂで撮影した画像ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２から、ステレオカメラの原理に基づいて画像処理を行い荷物Ｗの３次元形状情報Ｊａを算出する構成を示したが、荷物Ｗの３次元形状情報Ｊａの算出方法はこれに限定されない。
　あるいは、クレーン１は、図５Ａに示すように、荷物Ｗの表面に複数のマーカーＭを設けて、ブームカメラ９ｂとフックカメラ３１でマーカーＭを読み取ることによって、荷物Ｗの３次元形状情報Ｊａおよび姿勢情報Ｊｂを取得する構成としてもよい。例えば、荷物Ｗの各側面（例えば各コーナー部）に、それぞれ種類（色・形状・模様等）が異なるマーカーＭを配置しておき、３個以上のマーカーＭをブームカメラ９ｂおよびフックカメラ３１で撮影することによって、その３個以上のマーカーＭの相対的な位置関係から姿勢情報Ｊｂを取得する。クレーン１は、マーカーＭより荷物Ｗのマスター情報Ｊｍを特定して、３次元形状情報Ｊａを取得することができ、さらに、各マーカーＭの位置関係より姿勢情報Ｊｂを取得することができる。なお、荷物Ｗに対してどのようなマーカーＭをどのような配置で設けているかに係る情報は、ＢＩＭ４０あるいは制御装置３５に予め登録しておく。
　次に、クレーン１における荷物Ｗの吊り位置Ａｇを設定するための構成について説明する。
　制御装置３５は特定した重心位置Ｇに基づいて、その直上に吊り位置Ａｇを設定する。吊り位置Ａｇは、荷物Ｗの重心位置Ｇを通る鉛直線上の位置であり、図４Ａに示すように、重心位置Ｇから鉛直上方に所定の距離Ｈだけ離間した位置である。距離Ｈは、荷物Ｗの大きさや玉掛けに用いる吊ワイヤーの長さ等を考慮して設定される。吊り位置Ａｇは、３次元座標として設定される。
　なお、例えば、アイボルト等の吊り具が荷物Ｗに付設されており、当該アイボルトが荷物Ｗの吊り位置Ａｇとなる場合には、画像ｓ１・ｓ２に基づく画像処理結果によって、吊り具の存在およびその吊り具位置を特定して吊り位置Ａｇを設定したり、あるいは、荷物Ｗに係る吊り具の情報を予めＢＩＭ４０に登録しておき、ＢＩＭ４０に登録されている吊り具の情報（吊り具位置）から吊り位置Ａｇを設定したりすることができる。
　あるいは、制御装置３５は、図５Ｂに示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。
　次に、サブフック１１ａを吊り位置Ａｇに移動させる制御方法について説明する。ここではまず、サブフック１１ａを吊り位置Ａｇに移動させる第１の制御方法について説明する。
　第１の制御方法による吊り位置Ａｇへのサブフック１１ａの自動移動方法では、まず、クレーン１の操縦者が、表示装置３４のディスプレイ３４ａの表示を見ながら、搬送対象たる荷物Ｗをブームカメラ９ｂによって撮影できる状態とするようにクレーン１を操作する。そして、操縦者は、ディスプレイ３４ａに表示されている荷物Ｗのうち、搬送対象の荷物Ｗを指定する（例えば、画面をタップする）。クレーン１は、操縦者によって、搬送対象たる荷物Ｗを指定する操作を行うことによって、以下の自動運転が開始される。
　自動運転が開始されると、図６に示すように、制御装置３５の目標位置算出部３５ａは、各カメラ９ｂ・３１から画像ｓ１・ｓ２を単位時間ｔ毎に取得し、画像ｓ１・ｓ２を画像処理して得た３次元形状情報Ｊａおよび姿勢情報Ｊｂから荷物Ｗの種類を特定するとともに、目標位置Ｐｄを算出する。そして、目標位置算出部３５ａは、ＢＩＭ４０に登録されている荷物Ｗのマスター情報Ｊｍに基づいて目標位置Ｐｄを算出する。目標位置Ｐｄは、荷物Ｗの重心位置Ｇおよび吊り位置Ａｇに係る情報を含んでいる。
　次に、フック位置算出部３５ｂは、ブームカメラ９ｂで撮影した画像ｓ１の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。
　次に、姿勢信号生成部３５ｃは、現在のフック位置Ｐと設定した目標位置Ｐｄとの相対距離Ｄｐを算出する。ここで、姿勢信号生成部３５ｃは、ブームカメラ９ｂとフックカメラ３１によって撮影した画像の画像処理結果から相対距離Ｄｐを算出する。
　次に、姿勢信号生成部３５ｃは、算出した相対距離Ｄｐに基づいて逆モデル計算を行い、フック位置Ｐを目標位置Ｐｄに一致させるためのブーム姿勢角（旋回角度θｚ、伸縮長さｌｂ、起伏角度θｘ）とワイヤロープの繰り出し量ｌのフィードフォワード量（ＦＦ量とも呼ぶ）を算出する。なお、逆モデル計算とは、望ましい運動結果から、それを実現するために必要な運動司令を計算するものである。
　これと同時に、姿勢信号生成部３５ｃは、各センサが検出したクレーン情報より現在のフック位置Ｐをフィードバックして、目標位置Ｐｄとの差分に基づいて逆モデル計算を行い、フック位置Ｐを目標位置Ｐｄに一致させるためのブーム姿勢角（旋回角度θｚ、伸縮長さｌｂ、起伏角度θｘ）とワイヤロープの繰り出し量ｌのフィードバック量（ＦＢ量とも呼ぶ）を算出する。
　次に、姿勢信号生成部３５ｃは、ＦＦ量とＦＢ量を合算して、クレーン１への指令信号であるアクチュエータ姿勢信号Ａｄを算出する。
　このように構成される制御装置３５を備えたクレーン１では、制御装置３５によって、算出したアクチュエータ姿勢信号Ａｄを各バルブに出力することによって、フック位置Ｐを目標位置Ｐｄに近づけていく。そして、制御装置３５は、フック位置Ｐと目標位置Ｐｄが一致するまで、所定の周期にてアクチュエータ姿勢信号Ａｄの算出を繰り返し実行する。なお、制御装置３５は、フック位置Ｐと目標位置Ｐｄとの距離が所定の閾値以下となったときにフック位置Ｐと目標位置Ｐｄが一致したものと判断する。最終的なフック位置Ｐは、アクチュエータ姿勢信号Ａｄに基づくクレーン１の動作に、外乱Ｄの影響が加わった結果として定められる。
　このような制御方法を採用したクレーン１では、ブームカメラ９ｂとフックカメラ３１で撮影した画像に基づいて目標位置Ｐｄを算出しており、距離情報から位置制御を実施するようにしているため、速度制御による位置合わせに比べて、位置合わせの誤差を小さくすることができる。
　次に、サブフック１１ａを吊り位置Ａｇに移動させるための第２の制御方法について説明する。なお、自動運転が開始されるまでの手順は、上述した第１の制御方法の場合と同様とすることができる。そして、自動運転が開始されると、以下に示す制御方法が実行される。
　クレーン１において、サブフック１１ａを吊り位置Ａｇに移動させるための第２の制御方法では、図８に示すように、クレーン１の逆動力学モデルを定める。逆動力学モデルは、グローバル座標系であるＸＹＺ座標系に定義され、原点Ｏをクレーン１の旋回中心とする。原点Ｏのグローバル座標は、ＧＮＳＳ受信機２２から取得するものとする。ｑは、例えばブーム９先端の現在位置座標ｑ（ｎ）を示し、ｐは、例えばサブフック１１ａの現在位置座標ｐ（ｎ）を示す。ｌｂは、例えばブーム９の伸縮長さｌｂ（ｎ）示し、θｘは、例えば起伏角度θｘ（ｎ）を示し、θｚは、例えば旋回角度θｚ（ｎ）を示す。ｌは、例えばワイヤロープの繰り出し量ｌ（ｎ）を示し、ｆはワイヤロープの張力ｆを示し、ｅは、例えばワイヤロープの方向ベクトルｅ（ｎ）を示す。
　このように定まる逆動力学モデルにおいてブーム９の先端の目標位置ｑとサブフック１１ａの目標位置ｐとの関係が、サブフック１１ａの目標位置ｐとサブフック１１ａの質量ｍとワイヤロープのばね定数ｋｆとから式（１）によって表され、ブーム９の先端の目標位置ｑが、サブフック１１ａの時間の関数である式（２）によって算出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　ｆ：ワイヤロープの張力、ｋｆ：ばね定数、ｍ：サブフック１１ａの質量、ｑ：ブーム９の先端の現在位置または目標位置、ｐ：サブフック１１ａの現在位置または目標位置、ｌ：ワイヤロープの繰り出し量、ｅ：方向ベクトル、ｇ：重力加速度
　ローパスフィルタＬｐは、所定の周波数以上の周波数を減衰させるものである。目標位置算出部３５ａは、目標位置Ｐｄの信号にローパスフィルタＬｐを適用することにより微分操作による特異点（急激な位置変動）の発生を防止している。本実施形態において、ローパスフィルタＬｐは、ばね定数ｋｆの算出時における四階微分に対応するため四次のローパスフィルタＬｐを用いているが、所望する特性に合わせた次数のローパスフィルタＬｐを適用することができる。式（３）におけるａ、ｂは係数である。
Figure JPOXMLDOC01-appb-M000003
　ワイヤロープの繰り出し量ｌ（ｎ）は、以下の式（４）から算出される。
　ワイヤロープの繰り出し量ｌ（ｎ）は、ブーム９の先端位置であるブーム９の現在位置座標ｑ（ｎ）とサブフック１１ａの位置であるサブフック１１ａの現在位置座標ｐ（ｎ）の距離で定義される。つまり、ワイヤロープの繰り出し量ｌ（ｎ）は、玉掛け具の長さを含んでいる。
Figure JPOXMLDOC01-appb-M000004
　ワイヤロープの方向ベクトルｅ（ｎ）は、以下の式（５）から算出される。
　ワイヤロープの方向ベクトルｅ（ｎ）は、ワイヤロープの張力ｆ（式（１）参照）の単位長さのベクトルである。ワイヤロープの張力ｆは、サブフック１１ａの現在位置座標ｐ（ｎ）と単位時間ｔ経過後のサブフック１１ａの目標位置座標ｐ（ｎ＋１）から算出されるサブフック１１ａの加速度から重力加速度を減算したものである。
Figure JPOXMLDOC01-appb-M000005
　単位時間ｔ経過後のブーム９先端の目標位置であるブーム９の目標位置座標ｑ（ｎ＋１）は、以下の式（１）をｎの関数で表した式（６）から算出される。ここで、αは、ブーム９の旋回角度θｚ（ｎ）を示している。
　ブーム９の目標位置座標ｑ（ｎ＋１）は、逆動力学を用いてワイヤロープの繰り出し量ｌ（ｎ）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）と方向ベクトルｅ（ｎ＋１）とから算出される。
Figure JPOXMLDOC01-appb-M000006
　ここで、上述した第２の制御方法を実現する制御装置３５の構成について説明する。目標位置算出部３５ａは、各カメラ９ｂ・３１から画像ｓ１・ｓ２を単位時間ｔ毎に取得することができ、画像ｓ１・ｓ２を画像処理して得た３次元形状情報Ｊａおよび姿勢情報Ｊｂから荷物Ｗの種類を特定するとともに、目標位置Ｐｄを算出する。
　フック位置算出部３５ｂは、ブームカメラ９ｂで撮影した画像ｓ１の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。また、フック位置算出部３５ｂは、ブーム９の姿勢情報からブーム９の先端の位置座標を算出するとともに、巻回用センサ３０からメインワイヤロープ１４またはサブワイヤロープ１６（以下、単に「ワイヤロープ」と記す）の繰り出し量ｌ（ｎ）を取得し、サブフック１１ａの位置座標としてフック位置Ｐを算出してもよい。この場合、フック位置算出部３５ｂは、旋回用センサ２７から旋回台７の旋回角度θｚ（ｎ）を取得し、伸縮用センサ２８から伸縮長さｌｂ（ｎ）を取得し、起伏用センサ２９から起伏角度θｘ（ｎ）を取得する。
　そして、フック位置算出部３５ｂは、取得した現在のフック位置Ｐであるサブフック１１ａの現在位置座標ｐ（ｎ）を算出し、取得した旋回角度θｚ（ｎ）、伸縮長さｌｂ（ｎ）、起伏角度θｘ（ｎ）からブーム９先端の現在位置であるブーム９の先端（ワイヤロープの繰り出し位置）の現在位置座標ｑ（ｎ）（以下、単に「ブーム９の現在位置座標ｑ（ｎ）」と記す）を算出することができる。
　また、フック位置算出部３５ｂは、サブフック１１ａの現在位置座標ｐ（ｎ）とブーム９の現在位置座標ｑ（ｎ）とからワイヤロープの繰り出し量ｌ（ｎ）を算出することができる。さらに、フック位置算出部３５ｂは、サブフック１１ａの現在位置座標ｐ（ｎ）と単位時間ｔ経過後のサブフック１１ａの目標位置であるサブフック１１ａの目標位置座標ｐ（ｎ＋１）とからサブフック１１ａが吊り下げられているワイヤロープの方向ベクトルｅ（ｎ＋１）を算出することができる。フック位置算出部３５ｂは、逆動力学を用いてサブフック１１ａの目標位置座標ｐ（ｎ＋１）と、ワイヤロープの方向ベクトルｅ（ｎ＋１）とから単位時間ｔ経過後のブーム９先端の目標位置であるブーム９の目標位置座標ｑ（ｎ＋１）を算出するように構成されている。
　姿勢信号生成部３５ｃは、単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋１）からアクチュエータ姿勢信号Ａｄを生成する。姿勢信号生成部３５ｃは、フック位置算出部３５ｂから単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋１）を取得することができる。姿勢信号生成部３５ｃは、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍまたはサブ用バルブ２６ｓへのアクチュエータ姿勢信号Ａｄを生成するように構成されている。
　ここで、図８を用いて、制御装置３５におけるアクチュエータ姿勢信号Ａｄを生成するためのサブフック１１ａの目標位置Ｐｄの算出およびブーム９の先端の目標位置座標ｑ（ｎ＋１）の算出工程について記載する。
　図８に示すように、ステップＳ１００において、制御装置３５は、目標位置算出工程Ａを開始する。制御装置３５は、取得した荷物Ｗの重心位置Ｇより吊り位置Ａｇを単位時間ｔ毎に算出して目標位置算出工程Ａが終了するとステップをステップＳ２００に移行させる。
　ステップ２００において、制御装置３５は、フック位置算出工程Ｂを開始する。制御装置３５は、サブフック１１ａの現在位置座標ｐ（ｎ）、ブーム９の現在位置座標ｑ（ｎ）からブーム９の目標位置座標ｑ（ｎ＋１）を算出してフック位置算出工程Ｂが終了するとステップをステップＳ３００に移行させる。
　ステップ３００において、制御装置３５は、作動信号生成工程Ｃを開始する。制御装置３５は、旋回台７の旋回角度θｚ（ｎ＋１）、伸縮長さＬｂ（ｎ＋１）、起伏角度θｘ（ｎ＋１）、ワイヤロープの繰り出し量ｌ（ｎ＋１）から旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍまたはサブ用バルブ２６ｓのアクチュエータ姿勢信号Ａｄをそれぞれ生成し、作動信号生成工程Ｃを終了してステップをステップＳ１００に移行させる。
　制御装置３５は、目標位置算出工程Ａとフック位置算出工程Ｂと作動信号生成工程Ｃとを繰り返すことで、ブーム９の目標位置座標ｑ（ｎ＋１）を算出し、単位時間ｔ経過後に、ワイヤロープの繰り出し量ｌ（ｎ＋１）とサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋２）からワイヤロープの方向ベクトルｅ（ｎ＋２）を算出し、ワイヤロープの繰り出し量ｌ（ｎ＋１）とワイヤロープの方向ベクトルｅ（ｎ＋２）とから、更に単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋２）を算出する。つまり、制御装置３５は、ワイヤロープの方向ベクトルｅ（ｎ）を算出し、逆動力学を用いてサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）とワイヤロープの方向ベクトルｅ（ｎ）とから単位時間ｔ後のブーム９の目標位置座標ｑ（ｎ＋１）を順次算出する。制御装置３５は、ブーム９の目標位置座標ｑ（ｎ＋１）に基づいてアクチュエータ姿勢信号Ａｄを生成するフィードフォワード制御によって各アクチュエータを制御している。
　このような制御方法を採用することで、クレーン１は、ブームカメラ９ｂとフックカメラ３１で撮影した画像に基づいて目標位置Ｐｄを算出しているので、距離情報から位置制御を実施するようにしているため、従来行われていた速度制御による位置合わせに比べて、位置合わせの誤差を小さくすることができる。また、クレーン１は、目標位置Ｐｄとフック位置Ｐの距離を基準としてブーム９の制御信号を生成するとともに、操縦者の意図する目標軌道に基づいてブーム９の制御信号が生成されるフィードフォワード制御が適用されている。このため、クレーン１は、操作信号に対する応答遅れが小さく、応答遅れによる荷物Ｗの揺れを抑制している。また、逆動力学モデルを構築し、ワイヤロープの方向ベクトルｅ（ｎ）とサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）とからブーム９の目標位置座標ｑ（ｎ＋１）が算出されるので加減速等による過渡状態の誤差が生じない。更に、ブーム９の目標位置座標ｑ（ｎ＋１）を算出する際の微分操作によって生じる特異点を含む周波数成分が減衰されるので、ブーム９の制御が安定する。これにより、サブフック１１ａを目標位置たる吊り位置Ａｇに移動させる際に、サブフック１１ａの揺れを抑制させることができる。
　次に、図９を用いて、荷物Ｗが複数の荷物を結合した複合体である場合の重心位置Ｇの算出方法について説明する。ここでは、荷物Ｗが、二つの荷物Ｗａと荷物Ｗａが地組みされた（結合された）複合体である場合の重心位置Ｇの算出方法を例示して説明する。
　荷物Ｗａは、ＢＩＭ４０に登録された情報により重量Ａと重心位置Ｇａが既知である。また、荷物Ｗｂは、ＢＩＭ４０に登録された情報により重量Ｂと重心位置Ｇｂが既知である。荷物Ｗａと荷物Ｗｂを結合して荷物Ｗを形成した場合、荷物Ｗの重量は（Ａ＋Ｂ）である。また、荷物Ｗの重心位置Ｇは、重心位置Ｇａと重心位置Ｇｂとを結ぶ直線Ｘｇ上に位置することとなる。そして、荷物Ｗの重心位置Ｇが直線Ｘｇ上のどの位置となるかは、荷物Ｗａと荷物Ｗａの重量比により定まる。
　クレーン１では、各荷物Ｗａ・Ｗｂに係る情報をＢＩＭ４０から取得することができるため、制御装置３５が、ＢＩＭ４０から各荷物Ｗａ・Ｗｂの情報（重量、重心位置、姿勢、結合後の形状）を取得し、上記演算を行うことによって結合体たる荷物Ｗの重心位置Ｇを算出することができる。なお、荷物Ｗが３個以上の荷物からなる複合体である場合には、上記計算の応用により、荷物Ｗにおける重心位置Ｇを算出することができる。なお、荷物Ｗａと荷物Ｗｂを地組みしてからクレーン１による楊重を行う予定が予め判っている場合には、ＢＩＭ４０に、複合体たる荷物Ｗの情報（重量、重心位置、姿勢、形状）を予め登録しておいて、この複合体たる荷物Ｗの情報を直接利用する構成としてもよい。
　次に、複合体たる荷物Ｗを検出するための構成について説明する。ここでは、荷物Ｗが、３つの荷物Ｗ１、Ｗ２、Ｗ３の複合体である場合を例示して説明する。
　制御装置３５は、図１０Ａに示すように、３つの荷物Ｗ１、Ｗ２、Ｗ３からなる荷物Ｗをブームカメラ９ｂで撮影した各画像ｓ１・ｓ１・ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２・ｓ２・ｓ２を画像処理部３５ｄで取得する。画像処理部３５ｄは、各画像ｓ１・ｓ２からステレオカメラの原理に基づいて画像処理を行い、荷物Ｗの３次元形状情報Ｊａを算出する。
　制御装置３５は、３次元形状情報Ｊａに基づいて、荷物Ｗが３つの荷物Ｗ１、Ｗ２、Ｗ３から構成されていることを検出する。そして、制御装置３５は、３つの荷物Ｗ１、Ｗ２、Ｗ３のそれぞれについて、個別の３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３を算出する。
　制御装置３５は、重心設定部３５ｅによって、算出した各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３と、ＢＩＭ４０に登録されているマスター情報Ｊｍとを照合し、各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３に外形形状および寸法が一致するマスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を探索する。そして、重心設定部３５ｅは、各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３に一致する各マスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を検出したときに、その各マスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を、画像ｓ１・ｓ２に係る各荷物Ｗ１、Ｗ２、Ｗ３の情報としてそれぞれに紐付けする。
　次に、複合体たる荷物Ｗの重心位置Ｇを検出するための構成について説明する。
　制御装置３５は、算出した各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３から、荷物Ｗを構成する各荷物Ｗ１、Ｗ２、Ｗ３の姿勢に係る姿勢情報Ｊｂ１、Ｊｂ２、Ｊｂ３を特定する。また、制御装置３５は、紐付けされたマスター情報Ｊｍから、各荷物Ｗの重心位置Ｇ１、Ｇ２、Ｇ３を取得し、各姿勢情報Ｊｂ１、Ｊｂ２、Ｊｂ３と重心位置Ｇ１、Ｇ２、Ｇ３とに基づいて、荷物Ｗの重心位置Ｇの３次元座標を特定する。
　そして、制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図１０Ｂに示すように、荷物Ｗに設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。
　なお、上記説明は、制御装置３５によって、荷物Ｗ１、Ｗ２、Ｗ３を個別に捉えて、複合体たる荷物Ｗの重心位置Ｇを算出する場合を例示しているが、複合体たる荷物Ｗとして３次元形状情報ＪａがＢＩＭ４０に登録されている場合には、荷物Ｗを一体として捉えて、ＢＩＭ４０の３次元形状情報Ｊａを利用して複合体たる荷物Ｗの姿勢情報Ｊｂを算出し、制御装置３５によって、３次元形状情報Ｊａと姿勢情報Ｊｂから複合体たる荷物Ｗの重心位置Ｇを直接算出する構成としてもよい。
　あるいは、荷物Ｗが、３つの荷物Ｗ１、Ｗ２、Ｗ３の複合体である場合において、クレーン１は、各荷物Ｗ１、Ｗ２、Ｗ３に設けたマーカーＭに基づいて、荷物Ｗの３次元形状情報Ｊａや姿勢情報Ｊｂを取得して、荷物Ｗの重心位置Ｇを算出し、吊り位置Ａｇを設定する構成としてもよい。
　クレーン１は、図１１Ａに示すように、荷物Ｗの表面に設けた複数のマーカーＭをブームカメラ９ｂとフックカメラ３１で読み取ることによって、荷物Ｗの３次元形状情報Ｊａおよび姿勢情報Ｊｂを取得することができる。
　この場合、制御装置３５は、荷物Ｗ１、Ｗ２、Ｗ３を個別に捉えて、各重心位置Ｇ１、Ｇ２、Ｇ３を算出してから荷物Ｗの重心位置Ｇを算出してもよいし、複合体たる荷物Ｗの３次元形状情報ＪａがＢＩＭ４０に登録されている場合には、荷物Ｗを一体として捉えて、制御装置３５によって、マーカーＭを読み取った情報に基づいて３次元形状情報Ｊａと姿勢情報Ｊｂを取得し、複合体たる荷物Ｗの重心位置Ｇを直接算出してもよい。
　そして、制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図１１Ｂに示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。
　なお、本実施形態においては、移動式クレーンであるクレーン１を例示して説明したが、本発明に係るフックの自動運転の手法は、荷物Ｗをフックで吊り上げるように構成した種々の装置に適用することが可能である。また、クレーン１は、荷物Ｗの移動方向を傾倒方向で指示し、荷物Ｗの移動速度を傾倒角度で指示する操作スティックを有る遠隔操作端末によって遠隔操作する構成でもよい。この際、クレーン１は、遠隔操作端末にフックカメラが撮影した画像を表示することで、操縦者が遠隔地からでも荷物Ｗの周辺の状況を的確に把握することができる。また、クレーン１は、フックカメラが撮影した画像に基づく荷物Ｗの現在位置情報をフィードバックすることによりロバスト性を向上させることができる。このように、クレーン１は、荷物Ｗの重量や外乱による特性の変化を意識することなく荷物Ｗを安定して移動させることができる。
　上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
　本発明は、クレーンに利用可能である。
　１　　　クレーン
　７　　　旋回台
　９　　　ブーム
　９ｂ　　ブームカメラ（第１カメラ）
　１０　　メインフックブロック（フックブロック）
　１０ａ　メインフック（フック）
　１１　　サブフックブロック（フックブロック）
　１１ａ　サブフック（フック）
　３１　　フックカメラ（第２カメラ）
　３５　　制御装置
　ｓ１　　（第１カメラの）画像
　ｓ２　　（第２カメラの）画像
　Ｗ　　　荷物
　Ｇ　　　（荷物の）重心位置　

Claims (9)

  1. 　旋回台に起伏自在のブームが設けられるとともに、前記ブームから吊下げられているフックブロックおよびフックが設けられるクレーンであって、
    　前記クレーンによる搬送対象である荷物を撮影可能な第１カメラと、
    　前記第１カメラとは異なる視点から前記荷物を撮影可能な第２カメラと、
    　前記クレーンを制御する制御装置と、を備え、
    　前記制御装置が、前記荷物を前記第１カメラと前記第２カメラにより撮影した画像を取得し、前記画像を画像処理して前記荷物の吊り位置を算出するクレーン。
  2. 　前記第１カメラが、前記ブームに設けられており、
    　前記第２カメラが、前記フックブロックに設けられている請求項１に記載のクレーン。
  3. 　前記制御装置によって、算出した前記吊り位置まで前記フックを自動的に移動させる請求項１または請求項２に記載のクレーン。
  4. 　前記吊り位置が、前記荷物に設けた吊り具の位置である請求項１～請求項３の何れか一項に記載のクレーン。
  5. 　前記吊り位置が、前記荷物の重心位置を通る鉛直線上において該荷物より上方に設定した位置である請求項１～請求項３の何れか一項に記載のクレーン。
  6. 　前記制御装置が、前記画像を画像処理して前記荷物の重心位置を算出する請求項５に記載のクレーン。
  7. 　前記制御装置が、前記荷物の形状情報が記憶された記憶装置と通信可能であり、前記記憶装置から前記荷物の形状情報を取得し、前記画像を画像処理した情報と前記荷物の形状情報に基づいて前記重心位置を算出する請求項６に記載のクレーン。
  8. 　前記荷物が、複数の前記荷物を組み合わせて構成された複合体である請求項１～請求項７の何れか一項に記載のクレーン。
  9. 　前記制御装置が、逆動力学モデルに基づく制御により、前記吊り位置まで前記フックを自動的に移動させる請求項３～請求項８の何れか一項に記載のクレーン。
PCT/JP2020/001847 2019-01-23 2020-01-21 クレーン Ceased WO2020153325A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/420,907 US11981547B2 (en) 2019-01-23 2020-01-21 Crane
CN202080010027.2A CN113329966A (zh) 2019-01-23 2020-01-21 起重机
EP20744525.5A EP3915928B1 (en) 2019-01-23 2020-01-21 Crane

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009724 2019-01-23
JP2019009724A JP7192527B2 (ja) 2019-01-23 2019-01-23 クレーン

Publications (1)

Publication Number Publication Date
WO2020153325A1 true WO2020153325A1 (ja) 2020-07-30

Family

ID=71736494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001847 Ceased WO2020153325A1 (ja) 2019-01-23 2020-01-21 クレーン

Country Status (5)

Country Link
US (1) US11981547B2 (ja)
EP (1) EP3915928B1 (ja)
JP (1) JP7192527B2 (ja)
CN (1) CN113329966A (ja)
WO (1) WO2020153325A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115724360A (zh) * 2021-08-31 2023-03-03 上海玖行能源科技有限公司 悬臂吊agv小车
JP2024013688A (ja) * 2022-07-21 2024-02-01 住友重機械工業株式会社 荷役支援装置、荷役支援システム及び荷役装置
US20240208777A1 (en) * 2022-12-26 2024-06-27 Sumitomo Heavy Industries, Ltd. Crane operation support device and crane

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259829A1 (en) * 2019-06-26 2020-12-30 Abb Schweiz Ag Automated guided vehicle and method of controlling automated guided vehicle
CN111017726B (zh) * 2019-11-19 2020-08-21 中联重科股份有限公司 起重机吊钩定位方法、装置、系统及工程机械
CN112830401B (zh) * 2020-10-28 2023-03-21 蚌埠市神舟机械有限公司 一种舟艇架设作业机构用吊架装置
EP4033035B1 (en) * 2021-01-20 2026-02-25 Volvo Autonomous Solutions AB A system and method therein for remote operation of a working machine comprising a tool
JP7485211B2 (ja) * 2021-04-20 2024-05-16 株式会社タダノ 巻層数の推定装置及びクレーン
JP7616370B2 (ja) * 2022-01-31 2025-01-17 Ｊｆｅスチール株式会社 クレーン、運搬方法及び板部材の製造方法
DE102022103283A1 (de) * 2022-02-11 2023-08-17 Liebherr-Werk Biberach Gmbh Kran
JP2023157254A (ja) * 2022-04-14 2023-10-26 中国電力株式会社 重量判定システムおよび重量判定プログラム
US20240308830A1 (en) * 2023-03-13 2024-09-19 Oshkosh Corporation Systems and methods for direction of travel
CN116654776A (zh) * 2023-03-14 2023-08-29 浙江省三建建设集团有限公司 一种基于bim系统的幕墙轨道吊装定位装置及其使用方法
DE102023206951A1 (de) * 2023-07-21 2025-01-23 Zf Friedrichshafen Ag Verfahren zum Betreiben eines Kransystems und Kamerasystem

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08333086A (ja) * 1995-06-09 1996-12-17 Komatsu Ltd 吊り荷の撮像画像処理装置
JP2000086159A (ja) * 1998-09-09 2000-03-28 Hokkaido Development Bureau Construction Machinery Engineering Center 作業船の吊荷揺れ抑制装置
JP2013018580A (ja) * 2011-07-08 2013-01-31 Tadano Ltd 性能線表示装置
JP2014105091A (ja) * 2012-11-29 2014-06-09 Tadano Ltd クレーンの監視カメラ
WO2017208435A1 (ja) * 2016-06-03 2017-12-07 株式会社マリタイムイノベーションジャパン クレーンの吊り荷位置を特定するためのデータ処理装置、方法およびプログラム
JP2018030692A (ja) 2016-08-25 2018-03-01 株式会社タダノ クレーン車
JP2018095370A (ja) * 2016-12-09 2018-06-21 株式会社タダノ クレーン

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2594579B2 (ja) * 1987-10-23 1997-03-26 靖機 鈴木 調節形吊具
JPH08324963A (ja) * 1995-05-29 1996-12-10 Nippon Steel Corp クレーンの自動運転方法及び装置
JP3835774B2 (ja) * 1997-02-14 2006-10-18 株式会社フジタ Ｐｃブロック設置装置の支援システム
KR100648449B1 (ko) * 2005-11-19 2006-11-24 (주)새텍 슬라브 운반을 위한 정확한 무게중심을 구하는 슬라브감지 방법 및 그 장치
WO2010009570A1 (zh) * 2008-07-21 2010-01-28 Yu Qifeng 一种起吊定位方法及起吊智能视觉系统
CN201809065U (zh) * 2009-11-03 2011-04-27 南通通镭软件有限公司 岸桥下集装箱装卸自动控制系统
JP5642409B2 (ja) * 2010-03-30 2014-12-17 株式会社タダノ クレーンの制御装置及びクレーン
BR112012027304B1 (pt) 2010-04-29 2020-12-22 National Oilwell Varco L.P sistema de controle de guindaste e processo de operação de um guindaste
US9300954B2 (en) 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6080450B2 (ja) * 2012-09-21 2017-02-15 株式会社タダノ 監視カメラ装置
DE202012012116U1 (de) * 2012-12-17 2014-03-19 Liebherr-Components Biberach Gmbh Turmdrehkran
CN104649151A (zh) * 2013-11-19 2015-05-27 天津市科力起重设备有限公司 一种新型起重机
CN104609303B (zh) 2015-02-09 2016-09-14 江苏科沁光电科技有限公司 一种带视觉辅助的桥吊系统
CN105152047A (zh) * 2015-10-13 2015-12-16 江苏建筑职业技术学院 塔吊司机观察现场的装置与方法
KR101646918B1 (ko) * 2016-01-22 2016-08-23 호산엔지니어링(주) 크레인의 사각지대 모니터링 시스템
CN106395638A (zh) * 2016-11-08 2017-02-15 芜湖市长江起重设备制造有限公司 生产用桥式起重机
JP6888287B2 (ja) * 2016-12-09 2021-06-16 株式会社タダノ クレーン
JP6776861B2 (ja) * 2016-12-09 2020-10-28 株式会社タダノ 移動式クレーンの共吊り制御システム
CN206244285U (zh) * 2016-12-19 2017-06-13 四川宏华电气有限责任公司 一种隔水管吊自动定位控制系统
FI127422B (fi) * 2016-12-20 2018-05-31 Konecranes Global Oy Menetelmä, tietokoneohjelma ja laitteisto nosturin ohjaamiseksi ja menetelmä nosturin päivittämiseksi
CN106429878A (zh) * 2016-12-26 2017-02-22 安徽水利开发股份有限公司 塔吊作业辅助动态定位可视化装置
CN107235418B (zh) * 2017-06-30 2018-07-13 北京航空航天大学 一种大型舰船上起重车辆用自动挂钩系统
CN107298381B (zh) 2017-08-08 2019-01-08 中国计量大学 塔机慢就位控制方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08333086A (ja) * 1995-06-09 1996-12-17 Komatsu Ltd 吊り荷の撮像画像処理装置
JP2000086159A (ja) * 1998-09-09 2000-03-28 Hokkaido Development Bureau Construction Machinery Engineering Center 作業船の吊荷揺れ抑制装置
JP2013018580A (ja) * 2011-07-08 2013-01-31 Tadano Ltd 性能線表示装置
JP2014105091A (ja) * 2012-11-29 2014-06-09 Tadano Ltd クレーンの監視カメラ
WO2017208435A1 (ja) * 2016-06-03 2017-12-07 株式会社マリタイムイノベーションジャパン クレーンの吊り荷位置を特定するためのデータ処理装置、方法およびプログラム
JP2018030692A (ja) 2016-08-25 2018-03-01 株式会社タダノ クレーン車
JP2018095370A (ja) * 2016-12-09 2018-06-21 株式会社タダノ クレーン

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3915928A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115724360A (zh) * 2021-08-31 2023-03-03 上海玖行能源科技有限公司 悬臂吊agv小车
JP2024013688A (ja) * 2022-07-21 2024-02-01 住友重機械工業株式会社 荷役支援装置、荷役支援システム及び荷役装置
JP7834597B2 (ja) 2022-07-21 2026-03-24 住友重機械工業株式会社 荷役支援装置、荷役支援システム及び荷役装置
US20240208777A1 (en) * 2022-12-26 2024-06-27 Sumitomo Heavy Industries, Ltd. Crane operation support device and crane

Also Published As

Publication number Publication date
EP3915928A4 (en) 2022-10-12
JP7192527B2 (ja) 2022-12-20
EP3915928B1 (en) 2025-11-05
US11981547B2 (en) 2024-05-14
EP3915928A1 (en) 2021-12-01
JP2020117353A (ja) 2020-08-06
CN113329966A (zh) 2021-08-31
US20220063965A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2020153325A1 (ja) クレーン
JP7069888B2 (ja) クレーンおよびクレーンの制御方法
JP7119674B2 (ja) クレーン
JP6744000B1 (ja) クレーン装置
JP7172199B2 (ja) 遠隔操作端末及び作業車両
JP7151223B2 (ja) クレーンおよびクレーンの制御方法
CN112424110B (zh) 起重机以及起重机的控制系统
JP7515570B2 (ja) クレーン、クレーン本体及びプログラム
JP7380685B2 (ja) 遠隔操作端末および遠隔操作端末を備える移動式クレーン
WO2020256106A1 (ja) 可動範囲表示システムおよび可動範囲表示システムを備えるクレーン
JP6805780B2 (ja) クレーン
JP7172256B2 (ja) クレーン
US20240012417A1 (en) Crane inspection system, inspection system, non-transitory computer readable medium storing route setting program, and information terminal
JP7567559B2 (ja) 設置位置表示システムおよび作業車両
JP7501176B2 (ja) 移動式クレーン
US20250321597A1 (en) Flight method for moving body, flight setting device, and non-transitory computer readable medium storing program
JP2022002993A (ja) 移動式クレーン
JP2021183527A (ja) ブームカメラシステムおよびブームカメラシステムを備える移動式クレーン

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20744525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020744525

Country of ref document: EP

Effective date: 20210823

WWG Wipo information: grant in national office

Ref document number: 2020744525

Country of ref document: EP