WO2014189009A1 - カメラ姿勢検出装置と作業領域線表示装置 - Google Patents

カメラ姿勢検出装置と作業領域線表示装置 Download PDF

Info

Publication number
WO2014189009A1
WO2014189009A1 PCT/JP2014/063229 JP2014063229W WO2014189009A1 WO 2014189009 A1 WO2014189009 A1 WO 2014189009A1 JP 2014063229 W JP2014063229 W JP 2014063229W WO 2014189009 A1 WO2014189009 A1 WO 2014189009A1
Authority
WO
WIPO (PCT)
Prior art keywords
hook
camera
work area
image
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/063229
Other languages
English (en)
French (fr)
Inventor
和也 谷住
巖 石川
和彰 津田
浩嗣 山内
啓資 玉木
正幸 宗清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013107027A external-priority patent/JP6162481B2/ja
Priority claimed from JP2014102874A external-priority patent/JP6421451B2/ja
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to CN201480027752.5A priority Critical patent/CN105228941B/zh
Priority to EP14800648.9A priority patent/EP3000761B1/en
Priority to US14/892,833 priority patent/US9667923B2/en
Publication of WO2014189009A1 publication Critical patent/WO2014189009A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a camera posture detection device and a work area line display device for obtaining a posture angle of a camera without using an inclination angle detection sensor.
  • Such a suspended load position detecting device is provided with a camera at the tip of the boom, and the camera is used to photograph the hanging rope and hook from above, and by image processing, this scanning line is determined by the color distribution on the plurality of scanning lines in the photographed image.
  • a rope point where the color of the suspension rope exists is obtained for each, and each rope point is connected by a straight line, and an intersection of a plurality of straight lines corresponding to the suspension rope is obtained as a suspended load position.
  • An object of the present invention is to provide a camera posture detection device capable of detecting the posture angle of a camera without providing an inclination angle detection sensor, and a work area line display device using the camera posture detection device. It is in.
  • the invention of claim 1 is a camera posture detection device comprising a camera provided at the tip of the boom of the work implement, and a monitor for displaying an image obtained by photographing the hook suspended from the tip of the boom with the camera.
  • An attitude angle calculation means for obtaining an attitude angle of the camera based on the hook image position information on the screen displayed on the monitor and the hook position information in real space is provided.
  • the posture angle of the camera can be detected without providing an inclination angle detection sensor.
  • FIG. 15 is a block diagram of the work area line display device showing the configuration of the control shown in FIG. 14 in detail. It is explanatory drawing which showed before and after putting a hook image in the frame displayed at the center of the monitor. It is explanatory drawing which showed the principle which calculates
  • FIG. 1 shows a rough terrain crane 10 as a crane (work vehicle) that is a work machine equipped with a work area line display device equipped with a camera posture detection device.
  • the rough terrain crane 10 (hereinafter referred to as a crane) includes a carrier 11 serving as a main body portion of a vehicle having a traveling function, a pair of left and right front outriggers 12 provided on the front side of the carrier 11, and a rear side of the carrier 11.
  • a pair of left and right rear outriggers 13 provided on the upper side of the carrier 11, a swivel base 14 attached to the top of the carrier 11, a cabin 20 provided on the swivel base 14, and a bracket 15 fixed to the swivel base 14.
  • a telescopic boom 16 attached thereto.
  • the base end of the telescopic boom 16 is attached via a support shaft 17 and can be raised and lowered around the support shaft 17.
  • a hoisting cylinder 18 is interposed between the bracket 15 and the telescopic boom 16, and the telescopic boom 16 is hoisted by expansion and contraction of the hoisting cylinder 18.
  • the telescopic boom 16 has a base boom 16A, an intermediate boom 16B, and a tip boom 16C, and is configured to be nested in the base boom 16A in this order from the outside to the inside.
  • the telescopic boom 16 is expanded and contracted by an expansion cylinder (not shown).
  • a sheave 23 (see FIG. 5) is provided at the distal end of the distal end boom 16C.
  • a wire rope 25 (hereinafter referred to as a wire) is hung on the sheave 23, and the hook block 19 is suspended by the wire 25. Yes.
  • a hook 21 is attached to the hook block 19.
  • the wire 25 is wound or sent out by a winch (not shown).
  • the camera unit 30 is attached to the tip of the tip boom 16C.
  • the camera unit 30 includes a housing 31 attached to the distal end portion of the front end boom 16C via a damper so as to always face downward due to its own weight, and a TV camera provided in the housing 31 so as to be tiltable in the pan direction and the tilt direction.
  • a surveillance camera (camera) 32 a pan motor 33 (see FIG. 2) for tilting the surveillance camera 32 in the pan direction, a tilt motor 34 for tilting the surveillance camera 32 in the tilt direction, and the like.
  • the camera unit 30 is configured to face downward due to its own weight, the optical axis is not always directed directly downward due to the resistance of the damper, the frictional resistance of the movable part, or the like.
  • the pan motor 33, the tilt motor 34, the zoom function and the like are not necessarily required.
  • the tilt (orientation) of the surveillance camera 32 is adjusted by operating a pan switch (posture operation means) SW1 (see FIG. 2) and a tilt switch SW2 (posture operation means) of an operation unit (not shown) provided in the cabin 20. Is done by.
  • the surveillance camera 32 zooms by operating the zoom switch SW3. [Work area line display]
  • FIG. 2 is a block diagram showing the configuration of the work area line display device 120.
  • the work area line display device 120 includes a work area calculation unit 66 of the controller 60 and a camera posture detection device 100.
  • a camera posture detection device 100 [Camera posture detection device]
  • the camera posture detection device 100 is based on a camera unit 30 provided at the distal end of the telescopic boom 16, a boom posture detection sensor 50 that detects the posture of the telescopic boom 16, a detection signal detected by the boom posture detection sensor 50, and the like.
  • a controller 60 (excluding the work area calculation unit 66) for obtaining the attitude angle and work area line of the monitoring camera 32, a monitor 70 for displaying an image taken by the monitoring camera 32, and a screen of the monitor 70 (not shown).
  • the touch panel 71 is attached.
  • the boom posture detection sensor 50 detects the amount of extension of the hook 21, the length of the telescopic boom 16, the undulation angle, the turning angle of the telescopic boom 16, and the like, and has sensors (not shown) for detecting each.
  • the hook position information in the real space is output.
  • the controller 60 includes a motor control unit 61 that drives and controls the pan motor 33 and the tilt motor 34 based on the operation of the pan switch SW1 and the tilt switch SW2, and a viewpoint conversion calculation unit (reference hook position calculation means). 62, a work area calculation unit 66, an image composition unit 67, and an attitude angle calculation device 68.
  • a viewpoint conversion calculation unit reference hook position calculation means
  • the posture angle calculation device 68 includes a hook position calculation unit 63, a deviation amount calculation unit 64, and a camera tilt angle calculation unit (camera posture angle calculation means) 65. [Viewpoint conversion operation unit]
  • the viewpoint conversion calculation unit 62 uses the boom tip (center of the sheave 23 shown in FIG. 6) as the origin based on the inclination angle of the tip of the telescopic boom 16 and the amount of extension of the hook 21. The position of the hook 21 in the coordinate system is obtained.
  • the viewpoint conversion calculation unit 62 assumes that the position of the hook 21 in the real space (the position of the X, Y, Z coordinate system) is directed directly below the monitoring camera 32, and the optical center position of the monitoring camera 32. And the position of the hook 21 of the x3, y3, z3 coordinate system is converted to the position of the x3, y3, z3 coordinate system (see FIG. 6) with the point where the center position of the image pickup surface coincides with the center position of the image pickup surface 70 Is converted into a position in the screen coordinate system (screen coordinate system) and obtained as a reference position (reference hook position) on the monitor 70 screen.
  • the reference position that is the position of the hook 21 displayed on the screen of the monitor 70 is obtained as the coordinate position on the screen.
  • the viewpoint conversion calculation unit 62 calculates the height (hook position information) in the height direction from the optical center position of the monitoring camera 32 to the hook 21 based on the detection signal detected by the boom posture detection sensor 50. It has the function of means. [Hook position calculator]
  • the hook position calculation unit 63 touches the touch panel 71 on the hook image displayed on the screen of the monitor 70, so that the hook position calculation unit 63 is on the screen coordinate system in the image captured by the monitoring camera 32 facing in an arbitrary direction (monitor 70) on the screen) is calculated.
  • the shift amount calculation unit 64 is the shift amount of the hook position with respect to the reference position obtained by the viewpoint conversion calculation unit 62 based on the hook position calculated by the hook position calculation unit 63, that is, the difference between the reference position and the hook position (hook image).
  • the displacement amount which is position information) is obtained.
  • the camera tilt angle calculation unit 65 includes the shift amount obtained by the shift amount calculation unit 64, the height h1 from the optical center position Q1 (see FIG. 5) of the monitoring camera 32 obtained by the viewpoint conversion calculation unit 62 to the hook 21, and the like.
  • the inclination angle (inclination with respect to the vertical line) of the monitoring camera 32 is obtained based on the above. That is, the camera tilt angle calculation unit 65 obtains the attitude angle of the monitoring camera 32 based on the hook image position information and the real space hook position information.
  • the work area calculation unit 66 obtains a work area line indicating a movable area of the suspended load about the turning center of the telescopic boom 16 based on the load of the suspended load, and further, based on the inclination angle of the monitoring camera 32. The correct position of the work area line on the image of the monitor 70 is obtained.
  • the load of the suspended load is calculated by a calculation unit (not shown) of the controller 60 based on the cylinder pressure detected by the pressure sensor (not shown) of the hoisting cylinder 18, the hoisting angle of the telescopic boom 16 and the length of the telescopic boom 16. And ask.
  • the height of the surveillance camera 32 from the ground is h
  • the ground position just below the surveillance camera 32 is P1
  • the turning center position of the telescopic boom 16 is O
  • this turning center position O is Let the work area line at the center be S1.
  • the distance from the turning center position O to the work area line S1 is Sa.
  • the height h can be obtained from the length of the boom 16 and the undulation angle.
  • the optical axis of the surveillance camera 32 at this time is 32a, and the position P1 that is the intersection of the optical axis 32a and the ground is displayed at the center position of the screen of the monitor 70. .
  • the position P2 that is the intersection of the optical axis 32b of the monitoring camera 32 and the ground at this time is displayed at the center position of the screen of the monitor 70. Note that the rotation center position of the monitoring camera 32 and the optical center position Q1 (see FIG. 5) coincide with each other.
  • the distance between the position P1 and the position P2 is ⁇ R1
  • ⁇ R1 can be obtained by h ⁇ tan ⁇
  • the position P1 can be obtained from the position P2.
  • the working radius of the telescopic boom 16 from the turning center position O of the telescopic boom 16 is R1
  • the turning center position O can be obtained from the position P1.
  • the working radius R1 is obtained from the length of the telescopic boom 16 and the undulation angle.
  • the ground position P2 is the center position of the screen of the monitor 70, and this position P2 is a position of the working radius R1 + ⁇ R1 from the turning center position O.
  • ⁇ R2 Sa ⁇ (R1 + ⁇ R1).
  • the center position of the image of the monitor 70 indicates the ground position P2, and the height h is known.
  • the coordinate position can be made to correspond. That is, with the turning center position O of the telescopic boom 16 as the origin, the coordinate position of the crane coordinate system can correspond to each position on the captured image.
  • the image composition unit 67 synthesizes the work area line S1 at a position on the image corresponding to the position of the work area line S1 obtained by the work area calculation unit 66 and displays the work area line S1 on the screen of the monitor 70.
  • the hook block 19 is imaged by the surveillance camera 32 and, for example, the hook block image 19S is displayed on the screen 70Ga of the monitor 70 as shown in FIG.
  • the position of the hook 21 is the position of a shaft 19J (see FIG. 1) of a sheave (not shown) provided in the hook block 19, and the hook including the hook block image 19S for convenience of explanation.
  • the image will be described as 21G.
  • the surveillance camera 32 is tilted in the tilt direction and the pan direction.
  • the hook position calculation unit 63 uses the hook position C, which is the touch position of the touch panel 71, as the position of the image coordinate system (the coordinate system having the upper end at the left end of the screen as the origin) as a coordinate value Ch. Calculate tlt. This coordinate value C htlt may be obtained by image processing.
  • the distance H1 can be determined from the amount of hook 21 delivered, and the vertical offset W2 between the sheave 23 and the monitoring camera 32 can be determined from the mounting position of the monitoring camera 32, the undulation angle of the telescopic boom 16, and the like.
  • the intersection of the base F1 of the triangle F formed by connecting the optical center position Q1 and the points Q2 and Q3 and the optical axis 32a of the surveillance camera 32 is defined as E1.
  • the base F1 is a horizontal line indicating the height position of the hook 21, and is between a line F2 connecting the optical center position Q1 and the point Q2, and a line F3 connecting the optical center position Q1 and the point Q3.
  • the range indicates the imaging range of the monitoring camera 32. This imaging range is a range when the monitoring camera 32 is pointed directly below.
  • the position F1a on the base F1 is set as the position of the hook 21.
  • the offset amount W1 can be obtained from the mounting position of the monitoring camera 32, the undulation angle of the telescopic boom 16, and the like. Further, the height h1 can be obtained from the amount of extension of the hook 21 and the offset amount W2 of the sheave 23 and the surveillance camera 32 in the vertical direction.
  • 70G of FIG. 5 shows the screen of the monitor 70 when the monitoring camera 32 is facing down.
  • the image captured by the monitoring camera 32 is set to 70Ga on the screen of the monitor 70, and the hook 21 is displayed as a real image on the position A of the screen 70Ga.
  • G1 is the center position of the screen 70Ga.
  • the position A separated by L1 from the center position G0 (intersection E1 of the optical axis 32a) of the screen 70G is the position of the hook 21
  • the position separated by L1 from the center position G1 of the screen 70Ga points the monitoring camera 32 directly below.
  • This is the position (reference hook position) B of the hook 21 when it is assumed. That is, the position A on the screen 70G and the position B on the screen 70Ga are the same position on the screen.
  • the viewpoint transformation calculation unit 62 obtains the position B on the screen 70Ga by using a perspective transformation determinant.
  • the viewpoint conversion calculation unit 62 is based on the distances H1, h1 and the offset amount W1, and as shown in FIG. 6, is a hook in the X, Y, Z coordinate system with the center of the sheave 23 as the origin.
  • the viewpoint conversion calculation unit 62 matches the optical center position Q1 of the monitoring camera 32 with the center of the imaging surface, and sets the hook block as the position of the (x3, y3, z3) coordinate system with the center of the imaging surface as the origin. 19 position C h is obtained, and the position C of the hook block 19 in this (x3, y3, z3) coordinate system is obtained.
  • the position B of the image coordinate system of the screen 70Ga of the monitor 70 is obtained.
  • the coordinate value of this position B on the screen is expressed as Ch. Let it be ver (see FIG. 4).
  • the viewpoint conversion calculation unit 62 obtains the movement trajectory T of the hook block 19 on the screen 70Ga when the hook block 19 is moved up and down.
  • the moving locus T and the position B are combined with the image captured by the monitoring camera 32 by the image combining unit 67 and displayed on the monitor 70.
  • the deviation amount calculation unit 64 is configured to calculate the coordinate value C of the hook image calculated by the hook position calculation unit 63. h tlt and the coordinate value C of the position B on the screen of the hook block 19 obtained by the viewpoint conversion calculation unit 62 h Find the difference from ver. That is, the deviation amount calculation unit 64 calculates the deviation amounts ⁇ x and ⁇ y between the x direction and the y direction of the difference.
  • the camera tilt angle calculation unit 65 calculates the tilt angle of the monitoring camera 32 based on the following formula from the shift amount obtained by the shift amount calculation unit 64.
  • Tilt angle tan ⁇ 1 ( ⁇ y / h1) (1)
  • the surveillance camera 32 directed right below is tilted in the tilt direction by an angle ⁇ tilt.
  • the optical axis of the surveillance camera 32 inclined by the angle ⁇ tilt is 32c
  • the triangle formed at the position where the triangle F is inclined by the angle ⁇ tilt is M.
  • An intersection of the base M1 of the triangle M and the optical axis 32c is P3, and a straight line connecting the optical center position Q1 and the position F1a is 32d.
  • the angle formed by the straight line 32d and the optical axis 32a is ⁇ h
  • the angle formed by the straight line 32d and the optical axis 32c is ⁇ th.
  • the position P4 of the intersection point of the base line M1 of the triangle M is the position F1a of the base side F1 of the triangle F before tilting. It becomes. That is, since the position F1a that is a distance L1 away from the intersection E1 on the optical axis 32a of the monitoring camera 32 that is directed right below is the position of the hook 21, the intersection on the optical axis 32C of the monitoring camera 32 that is inclined by the angle ⁇ tilt. A position P4 that is separated from P3 by a distance L1 is the position of the hook 21 that is imaged by the surveillance camera 32 that is directed directly below.
  • intersection P3 on the optical axis 32c when the monitoring camera 32 is inclined by the angle ⁇ tilt coincides with the center position G1 of the screen 70Ga of the monitor 70.
  • a position P4 that is separated from the intersection P3 by a distance L1 is a position B of the screen 70Ga. If the separation distance between the position F1a and the position P4 is ⁇ y, the distance between the positions A and B of the screen 70Ga is ⁇ y.
  • ⁇ tilt tan ⁇ 1 (L1 / h1) + tan ⁇ 1 (( ⁇ y ⁇ L1) / h1) (3)
  • ⁇ y can be obtained from the positions A and B of the screen 70Ga, L1 is known, and h1 can be obtained from the feed amount of the hook 21, the undulation angle of the telescopic boom 16, and the like.
  • the position A of the screen 70Ga shown in FIG. 5 (position C in FIG. 4) is touched and the hook position calculation unit 63 obtains the position A of the screen 70Ga, the position A and the viewpoint conversion calculation unit 62 obtain it. From the difference from the position B, the deviation amount calculation unit 64 obtains the distance ⁇ y between the positions A and B. Then, the camera tilt angle calculation unit 65 obtains the tilt angle ⁇ tilt of the monitoring camera 32 from the distance ⁇ y using equation (3). Since the pan angle can be obtained in the same manner, the description thereof is omitted here.
  • the tilt angle is obtained from the expression (1) and the pan angle is obtained from the expression (2) in order to simplify the calculation. .
  • the tilt angle detection sensor for detecting the tilt angle of the monitoring camera 32 is not necessary.
  • the work area calculation unit 66 obtains a work area line indicating a movable area of the suspended load based on the load of the suspended load, and the inclination angle (tilt angle and pan angle) of the monitoring camera 32 obtained by the camera inclination angle calculation unit 65.
  • the position of the work area line on the image of the monitor 70 corresponding to the work area line is obtained based on the corner.
  • the image composition unit 67 synthesizes the work area line UI as shown in FIG. 4 at the position on the image captured by the monitoring camera 32 corresponding to the position of the work area line obtained by the work area calculation unit 66 and monitors the monitor 70. Is displayed on the screen 70Ga.
  • the attitude angle detection sensor for detecting the attitude of the monitoring camera 32 is not required, and the correct work area line UI is set according to the inclination angle of the monitoring camera 32 obtained by the camera inclination angle calculation unit 65.
  • An inexpensive camera posture detection device 100 and work area line display device 120 that can be displayed on the monitor 70 can be provided.
  • the center position of the figure formed by the movement locus I of the hook image 21G is set as the hook image. Touch the center position of the figure as the 21G position.
  • the center positions of the plurality of hook images 21G may be obtained by image processing.
  • FIG. 8 shows another example of the camera posture detection apparatus 100 in which the height h1 is obtained by the image processing unit 130.
  • the image processing unit 130 includes a hook image extraction unit 131 that extracts a hook image from an image captured by the monitoring camera 32, and an area calculation unit that calculates the area of the hook image extracted by the hook image extraction unit 131. 132, and a height calculation unit 133 that obtains the height h1 from the area (size) obtained by the area calculation unit 132.
  • the zoom magnification is obtained from the size of the hook image and the length of the wire image displayed on the monitor 70, and the height h1 is obtained from the zoom magnification and the area of the hook image.
  • the hook area ratio using the length of the wire 25 projected on the monitor 70 as a parameter is stored in advance in a memory (not shown), the length of the wire 25 projected is obtained, and this length is supported. It is obtained from the zoom magnification.
  • FIG. 10 shows another example of a camera posture detection device 160 in which the hook position is obtained by the image processing unit 150.
  • the image processing unit 150 extracts a hook image from an image captured by the monitoring camera 32, and hooks the center position of the hook image extracted by the hook image extraction unit 151. And a center position calculation unit 152 that calculates the position.
  • Other configurations are the same as those of the camera posture detection apparatus 100 shown in FIG.
  • the hook image extraction unit 151 obtains the image by image processing such as region expansion or pattern matching. In the area expansion method, a line having a different brightness difference is calculated from the position of the hook touching the screen of the monitor 70 as a hook boundary, and the centroid of the figure surrounded by the boundary is used as the hook position.
  • a hook pattern is stored in advance for each zoom magnification, and a position where this pattern matches an actual hook image obtained by scanning the screen is obtained, and this position is determined as the hook position. It is what.
  • the hook image is extracted by an image processing method such as pattern matching, the touch panel 71 is not necessarily required.
  • FIG. 12 is a block diagram showing the configuration of the work area line display device 200 of the second embodiment.
  • the work area line display device 200 includes a work area calculation unit 66 of the controller 260 and a camera posture detection device 210. [Camera posture detection device]
  • the camera attitude detection device 210 includes a camera unit 30, a boom attitude detection sensor 50, a controller 260 (excluding the work area calculation unit 66), a monitor 70, and a touch panel 71. [controller]
  • the controller 260 stores the movement track of the hook 21 corresponding to the undulation angle of the telescopic boom 16 and the zoom magnification of the monitoring camera 32, and the movement locus stored in the memory 201 as the undulation angle of the telescopic boom 16.
  • Reading means 202 that reads out based on the zoom magnification of the monitoring camera 32, an intersection calculation unit 203 that obtains an intersection V1 between the read movement locus K1 (see FIG. 13) and the radial line N1, and a hook position calculation unit 63
  • the movement locus of the hook 21 displayed on the screen of the monitor 70 when the hook 21 is moved up and down indicates the undulation angle of the telescopic boom 16 and the monitoring camera 32.
  • the intersection calculation unit 203 obtains an intersection V1 between the radial line N1 passing through the hook image 21G and the movement locus K1.
  • the radial line N ⁇ b> 1 is a line that is parallel to a line projected in the extending direction of the telescopic boom 16 on the horizontal plane passing through the center position of the hook 21 and passes through the center position of the hook 21. That is, if the extension direction of the telescopic boom 16 is the vertical direction of the screen 70Ga of the monitor 70, the line extending in the vertical direction passing through the hook image 21G becomes the radial line N1. [Deviation amount calculation section]
  • the deviation amount calculation unit 264 obtains a separation distance ⁇ D between the position of the hook image 21G and the intersection point V1.
  • the camera inclination angle calculation unit 265 determines the monitoring camera 32 based on the following equation (4) from the separation distance ⁇ D and the distance h1 in the height direction from the optical center of the monitoring camera 32 to the hook position (see FIG. 5).
  • the inclination angle ⁇ (inclination angle in the radial direction) is obtained.
  • ⁇ tan ⁇ 1 ( ⁇ D / h1) (4)
  • the position B of the screen 70Ga is the position (intersection point V1) on the movement locus K1 shown in FIG. 13, and the position A of the screen 70Ga is the hook image.
  • the position is 21G.
  • the direction connecting the position A and the position B is the extending direction of the telescopic boom 16, and the distance ⁇ y between the positions A and B is ⁇ D shown in FIG. Therefore, the inclination angle ⁇ of the monitoring camera 32 can be obtained by the equation (4).
  • This embodiment is an effective method for the monitoring camera 32 that follows downward only in the tilt direction with respect to the raising and lowering operation of the telescopic boom 16.
  • the other configuration is the same as that of the first embodiment, and the description thereof is omitted.
  • an image captured by the monitoring camera 32 provided at the tip of the telescopic boom 16 is displayed on the monitor 370 (see FIG. 16), and the orientation of the monitoring camera 32 is operated by panning and tilting operations.
  • the attitude angle of the monitoring camera 32 is to be detected by positioning the hook 21 at a predetermined position on the screen 370G of 370.
  • FIG. 14 and 15 are block diagrams showing the configuration of the work area line display device 300 of the third embodiment.
  • FIG. 15 shows in detail the configuration in the controller 360 shown in FIG. 14, and the work area line display device 300 includes a camera posture detection device 310, a coordinate position calculation unit 364, a work region calculation unit 365, and an image composition unit 366. These are classified into one configuration.
  • the camera posture detection device 310 includes a camera unit 30, a boom posture detection sensor 50, a controller 360, a monitor 370 that displays an image captured by the monitoring camera 32, and a pan switch SW1 and a tilt switch SW2.
  • the controller 360 includes a motor control unit 61, an attitude angle calculation unit (calculation unit) 363, a coordinate position calculation unit (coordinate position calculation unit) 364, a work area calculation unit (work area calculation unit) 365, An image composition unit 366 is provided.
  • the motor control unit 61 controls the pan motor 33 and the tilt motor 34 by signals from the pan switch SW1 and the tilt switch SW2.
  • the attitude angle calculation unit 363 calculates the attitude angle of the monitoring camera 32 based on the winch extension amount output from the boom attitude detection sensor 50, the length of the telescopic boom 16, and an offset amount W1 described later.
  • the coordinate position calculation unit 364 uses the rotation center position of the telescopic boom 16 as the origin based on the posture angle calculated by the posture angle calculation unit 363 and various detection signals of the telescopic boom 16 output from the boom posture detection sensor 50.
  • the coordinate position of the crane coordinate system at each position on the captured image is obtained.
  • the work area calculation unit 365 obtains a work area line indicating a movable area of the suspended load based on the load of the suspended load.
  • the image synthesis unit 366 synthesizes the work area line obtained by the work area computation unit 365 on the image captured by the monitoring camera 32 in correspondence with the coordinate position computed by the coordinate position computation unit 364 and displays it on the monitor 370.
  • the coordinate position calculation unit 364 and the work area calculation unit 365 constitute a work area calculation device 380 that obtains the correct position of the work area line on the image.
  • the rotation axis 32J of the monitoring camera 32 and the center D1 of the sheave 23 have an offset amount of W1 in the left-right direction (when the offset amount W2 in the vertical direction can be ignored).
  • the height from the ground to the sheave center D1 is H2
  • the length from the sheave center D1 to the hook block 19 is La
  • the tilt of the surveillance camera 32 when the optical axis of the surveillance camera 32 is directed to the hook 21 That is, the inclination angle of the monitoring camera 32 with respect to the vertical line when the optical axis of the monitoring camera 32 is directed to the hook 21 is ⁇ .
  • the working radius of the telescopic boom 16 from the turning center position O of the telescopic boom 16 is Ra, and the distance between the position Pa on the ground, which is the center of the image when the surveillance camera 32 is tilted, and the working radius Ra. If it is assumed that ⁇ Ra and the length connecting the rotation axis 32J of the monitoring camera 32 and the optical center position Q1 is negligibly small with respect to the height H2, the distance ⁇ Ra can be obtained by the following equation.
  • the inclination ⁇ of the monitoring camera 32 can be obtained from the length La and the offset amount W1.
  • the length La is obtained from the feed amount of the wire 25.
  • the tilt of the surveillance camera 32 in the pan direction is obtained in the same manner.
  • the height H2 can be obtained from the length of the telescopic boom 16 and the undulation angle.
  • the offset amount W1 can be determined according to the undulation angle of the telescopic boom 16 since the camera rotation shaft 32J with respect to the telescopic boom 16 and the position of the center D1 of the sheave are known.
  • the position on the ground corresponding to the center position of the image of the monitor 370 is Pa, and the turning center position O of the telescopic boom 16 can be obtained from the position Pa by the error ⁇ Ra and the work radius Ra. Similarly, the turning center position O is obtained with respect to the pan direction.
  • a work area line can be drawn at a position of a distance Rb (distance indicating the work area range) around the turning center position O.
  • the center position of the image indicates the ground position Pa and the height H2 is known
  • the ground coordinate position and the coordinate position on the image can be made to correspond to each other. That is, with the turning center position of the telescopic boom 16 as the origin, the coordinate position of the crane coordinate system is associated with each position on the captured image.
  • an offset amount W2 is also generated in the vertical direction depending on the undulation angle of the telescopic boom 16. Since the offset amount W2 can also be obtained from the undulation angle, the inclination of the surveillance camera 32 can be geometrically determined. Can be sought.
  • H1 ' is the height from the ground to the camera rotation axis 32J.
  • the inclination ⁇ of the surveillance camera 32 can be obtained from the length L1 and the offset amounts W1, W2.
  • the tilt of the surveillance camera 32 in the pan direction is obtained in the same manner.
  • the operator operates the pan switch SW1 and the tilt switch SW2 so that the hook image 21G always enters the center frame Ma of the screen 370G of the monitor 370, and the surveillance camera 32 is tilted.
  • the work area calculation unit 365 obtains the work area line based on the actual load and the input load.
  • the attitude angle calculation unit 363 uses the detection signal output from the boom attitude detection sensor 50, that is, the hook shown in FIG. 17 based on the feed amount of the wire 25 (see FIG. 1) fed by the winch and the length of the telescopic boom 16.
  • the suspended length La of 21 is obtained, and the inclination angle ⁇ (angle in the pan and tilt directions) of the surveillance camera 32 with respect to the vertical line is obtained from the length La and the offset amount W1.
  • the posture angle calculation unit 363 determines the position of the monitoring camera 32 from the tip position information of the telescopic boom 16 (position obtained from the length and undulation angle of the telescopic boom 16) and the position information of the hook 21 (offset amount W1 and length La). The inclination angle ⁇ is obtained.
  • the coordinate position calculation unit 364 obtains the height H2 shown in FIG. 17 based on the detection signal output from the boom posture detection sensor 50, that is, the length and the undulation angle of the telescopic boom 16, and further calculates the height H2. From the tilt angle ⁇ of the monitoring camera 32, the coordinate position of the crane coordinate system with the turning center position of the telescopic boom 16 corresponding to each position on the captured image as the origin is obtained.
  • the image synthesis unit 366 synthesizes (superimposes) the work area line U2 calculated by the work area calculation unit 365 on the image corresponding to the coordinate position of the crane coordinate system calculated by the coordinate position calculation unit 364, as shown in FIG. To be displayed on the monitor 370.
  • This third embodiment also eliminates the need for an attitude angle detection sensor for detecting the attitude of the monitoring camera 32, and can therefore achieve the same effects as the first embodiment.
  • the hook image 21G is displaced from the frame Ma of the screen 370G of the monitor 370 due to ups and downs of the telescopic boom 16 or the vertical movement of the suspended load depending on the work, but the hook image 21G is the screen of the monitor 370. It is assumed that the operator operates the pan switch SW1 and the tilt switch SW2 so as to always enter the frame Ma of 370G. Then, the posture angle calculation unit 363 and the coordinate position calculation unit 364 sequentially read the detection signals output from the boom posture detection sensor 50, and the crane coordinates corresponding to the inclination angle ⁇ and each position on the captured image. The coordinate position of the system is obtained, and the work area line U2 is rewritten in real time.
  • FIG. 19 shows a configuration of a work area line display device 1200 according to the fourth embodiment.
  • a reference setting switch (setting means) SW4 and a memory 1201 are provided.
  • the attitude angle calculation unit 363 of the controller 1260 shown in FIG. 20 performs the tilt angle (in the pan and tilt directions) of the monitoring camera 32 based on the detection signal detected by the boom attitude detection sensor 50. Angle).
  • the tilt angle (angle in the pan and tilt directions) of the monitoring camera 32 obtained by the attitude angle calculation unit 363 is sometimes stored in the memory 1201 as a reference value.
  • a calculation unit (not shown) of the controller 1260 obtains an actual load in the same manner as in the third embodiment, and the actual load and the tilt angle ⁇ of the monitoring camera 32 stored in the memory 1201 and the telescopic boom 16 are obtained. Based on the posture, the work area calculation unit 365 shown in FIG. 20 obtains a work area line U2 (see FIG. 18).
  • the coordinate position calculation unit 364 obtains the coordinate position of the crane coordinate system at each position on the captured image in the same manner as in the third embodiment. Further, the image composition unit 366 synthesizes the work area line U2 calculated by the work area calculation unit 365 in correspondence with the coordinate position of the crane coordinate system calculated by the coordinate position calculation unit 364 and displays it on the monitor 370 (FIG. 18).
  • the switch SW4 after the switch SW4 is turned on, the work area line U2 is continuously displayed on the assumption that the hook image 21G is in the frame Ma of the screen 370G of the monitor 370.
  • the pan switch SW1 and the tilt switch SW2 are not operated.
  • the hook image 21G is within the frame Ma of the screen 370G, that is, the screen 370G.
  • the controller 1260 can determine whether the controller 1260 is located at a predetermined position. Further, the same effect as in the third embodiment can be obtained.
  • the work area line display device (not shown) of the fifth embodiment has the same configuration as the work area line display device 1200 of the fourth embodiment, its description is omitted.
  • the error of the work area line U2 increases, so that an error display is performed. Further, after the switch SW4 is turned on, the operator is informed in advance not to operate the pan switch SW1 or the tilt switch SW2.
  • pan switch SW1 and tilt switch SW2 are turned on and an error is displayed, the operator can operate the crane under the correct work area line display.
  • the hook image 21G is within the frame Ma of the screen 370G, that is, the screen 370G.
  • the controller 1260 can determine whether the controller 1260 is located at a predetermined position. Further, the same effect as in the third embodiment can be obtained.
  • the work area line display device (not shown) of the sixth embodiment has the same configuration as the work area line display device 1200 of the fourth embodiment, the description thereof is omitted.
  • the hook image 21G (see FIG. 18) of the monitor 370 (see FIG. 19) is displayed.
  • the work area line U2 is sequentially obtained in the same manner as in the fourth embodiment, and the work area line U2 displayed on the monitor 370 is rewritten in real time.
  • the pan switch SW1 and the tilt switch SW2 are operated to notify the operator in advance that the hook image 21G is placed in the frame Ma.
  • the operator can recognize that the correct work area line is displayed if an operation other than pan / tilt of the camera or a pan / tilt operation in which the hook 21 fits within the frame Ma is performed.
  • the inclination angle ⁇ of the surveillance camera 32 is obtained from the length La and the offset amount W1 shown in FIG. 17, but the image processing is performed on the image of the hook image 21G.
  • the tilt angle of the monitoring camera 32 may be obtained from the position and the length La. In this case, it is not necessary to put the hook image 21G in the frame Ma. Further, there is no need to display the frame Ma.
  • pan motor 33 and the tilt motor 34 may be controlled so that the hook image 21G automatically enters the frame Ma by image processing.
  • FIG. 21 shows the configuration of the work area line display device 1500 of the seventh embodiment.
  • the work area line display device 1500 includes a surveillance camera 1532 that does not have a pan / tilt function.
  • the surveillance camera 1532 is provided on the housing 31 (see FIG. 1), and this housing 31 is attached to the distal end portion of the distal boom 16C via a damper (not shown), so that the surveillance camera 1532 is moved by its own weight. It is designed to face down.
  • the locus FE of the hook image 21G when the hook 21 is moved up and down is synthesized and displayed on the screen 370G of the monitor 370 as shown in FIG.
  • the position of the trajectory FE changes depending on the undulation angle of the telescopic boom 16, so that the undulation as shown in FIG.
  • the position of the trajectory FE may be changed to FEa according to the corner.
  • the work area line U2 is also changed to the correct work area line Ua according to the undulation angle.
  • the surveillance camera 1532 is provided with the pan / tilt function, the hook image 21G is positioned on the lines of the trajectories FE and FEa.
  • the surveillance camera 1532 is panned / tilted, the surveillance camera 1532 can be directed directly below, and the work area lines U2 and Ua displayed on the monitor 370 are also correct work area lines.
  • the frame Ma is displayed at the center of the screen 370G of the monitor 370.
  • the frame Ma is not necessarily displayed at the center of the screen 370G. It does not have to be.
  • a x mark may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)
  • Studio Devices (AREA)

Abstract

　ブームの先端部の監視カメラ（３２）と、ブームの先端部から吊るされたフックを撮像した画像を表示するモニタ（７０）とを備え、モニタ（７０）に表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置（６８）を設け、姿勢角演算装置（６８）は、実際に表示されているモニタ（７０）の画面上のフック位置を求めるフック位置演算部（６３）と、フック位置演算部（６３）が求めたフック位置と、カメラが真下に向けられたと仮定した場合にそのモニタ（７０）に表示される画面上のフックの基準フック位置との差を求めるずれ量演算部（６４）と、その差と監視カメラ（３２）の光軸中心位置からフックまでの高さ方向の距離とに基づいて監視カメラ（３２）の傾斜角を求めるカメラ傾斜角演算部（６５）とを有する。

Description

カメラ姿勢検出装置と作業領域線表示装置
　この発明は、傾斜角検出センサを使用せずにカメラの姿勢角を求めるカメラ姿勢検出装置と作業領域線表示装置とに関する。
　従来から、ブームの先端部にカメラを設けた吊荷位置検出装置が知られている（特許文献１参照）。
　係る吊荷位置検出装置は、ブームの先端部にカメラを設け、このカメラで吊りロープとフックを上方から撮影し、画像処理により、撮影した画像における複数の走査線上の色分布によって、この走査線ごとに吊りロープの色が存在するロープ点を求め、この各ロープ点を直線で結び、この吊りロープに対応する複数の直線の交点を吊荷位置として求めるものである。
特許３４４０５９８号公報
発明が解決しようとうする課題
　ところで、この吊荷位置検出装置では、カメラの傾斜角を検出する傾斜角検出センサを設けていないので、カメラを傾斜させた場合、吊荷の正しい位置を求めることができなくなってしまい、その傾斜角検出センサを設けると高価なものになってしまう問題がある。
　この発明の目的は、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することのできるカメラ姿勢検出装置と、このカメラ姿勢検出装置を用いた作業領域線表示装置とを提供することにある。
　請求項１の発明は、作業機のブームの先端部に設けられたカメラと、ブームの先端部から吊るされたフックを前記カメラで撮像した画像を表示するモニタとを備えたカメラ姿勢検出装置であって、
　前記モニタに表示されている画面上のフック画像位置情報と、実空間における前記フック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算手段を設けたことを特徴とする。
　この発明によれば、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することができる。
この発明に係る作業領域線表示装置を搭載した移動式クレーンを示した側面図である。 作業領域線表示装置の構成を概略的に示したブロック図である。 監視カメラが傾斜している場合の画面上の作業領域線の位置の求め方を示す説明図である。 モニタに表示される画像の一例を示した説明図である。 監視カメラが傾斜した場合の画面上のフックの位置から監視カメラの傾斜角の求め方を示す説明図である。 ブーム先端部のシーブと監視カメラとフックとの位置関係と座標系を示した説明図である。 フックが揺れている状態を示した説明図である。 他の例のカメラ姿勢検出装置の構成を示すブロック図である。 図８に示す画像処理部の構成を示すブロック図である。 別な他の例のカメラ姿勢検出装置の構成を示すブロック図である。 図１０に示すカメラ姿勢検出装置の画像処理部の構成を示すブロック図である。 第２実施例のカメラ姿勢検出装置の構成を示した説明図である。 モニタに表示されるフック画像とこのフック画像を通る半径方向ラインとフックの移動軌跡とを示した説明図である。 第３実施例の作業領域線表示装置の構成を示したブロック図である。 図１４に示すコントロールの構成を詳細に示した作業領域線表示装置のブロック図である。 モニタの中央に表示された枠内にフック画像を入れる前と入れた後を示した説明図である。 作業領域線を幾何学的に求める原理を示した説明図である。 伸縮ブームの起伏角によってオフセットが変化することを示した説明図である。 監視カメラの回転軸とシーブの中心が一致している場合、伸縮ブームの起伏角に拘わらず監視カメラの傾斜角が一定であることを示す説明図である。 モニタ画面に枠とフック画像と作業領域線を表示した説明図である。 第４実施例の作業領域線表示装置の構成を示したブロック図である。 第４実施例の作業領域線表示装置の構成を示したブロック図である。 第５実施例の作業領域線表示装置の構成を示したブロック図である。 第７実施例の作業領域線表示装置のモニタ画面を示した説明図である。 他の例のモニタ画面を示した説明図である。
　以下、この発明に係るカメラ姿勢検出装置と作業領域線表示装置の実施の形態である実施例を図面に基づいて説明する。
［第１実施例］
　図１にカメラ姿勢検出装置を備える作業領域線表示装置を搭載した作業機であるクレーン（作業車）としてラフテレーンクレーン１０を示す。このラフテレーンクレーン１０（以下クレーンとして記載する）は、走行機能を有する車両の本体部分となるキャリア１１と、このキャリア１１の前側に設けられた左右一対の前側アウトリガ１２と、キャリア１１の後側に設けられた左右一対の後側アウトリガ１３と、キャリア１１の上部に水平旋回可能に取り付けられた旋回台１４と、旋回台１４に設けたキャビン２０と、旋回台１４に固定されたブラケット１５に取り付けられた伸縮ブーム１６等とを備えている。
　伸縮ブーム１６は、その基端部が支持軸１７を介して取り付けられており、支持軸１７を中心に起伏可能となっている。ブラケット１５と伸縮ブーム１６との間には起伏用シリンダ１８が介装され、この起伏用シリンダ１８の伸縮により伸縮ブーム１６が起伏される。
　伸縮ブーム１６は、ベースブーム１６Ａと中間ブーム１６Ｂと先端ブーム１６Ｃとを有し、この順序でベースブーム１６Ａ内に外側から内側に入れ子式に組み合わされて構成されている。また、伸縮ブーム１６は伸縮シリンダ(図示せず)によって伸縮するようになっている。
　先端ブーム１６Ｃの先端部にはシーブ２３（図５参照）が設けられており、このシーブ２３にワイヤロープ２５（以下ワイヤと表記する）が掛けられ、このワイヤ２５によってフックブロック１９が吊されている。フックブロック１９にはフック２１が取り付けられている。
　ワイヤ２５は、図示しないウインチによって巻き取られたり、送り出されたりする。
　先端ブーム１６Ｃの先端部には、カメラユニット３０が取り付けられている。
　カメラユニット３０は、自重によって常に下方に向くようにダンパを介して先端ブーム１６Ｃの先端部に取り付けられた筺体３１と、この筺体３１内にパン方向及びチルト方向に傾斜可能に設けられたＴＶカメラなどである監視カメラ（カメラ）３２と、監視カメラ３２をパン方向に傾動させるパンモータ３３（図２参照）と、監視カメラ３２をチルト方向に傾動させるチルトモータ３４などとを有している。
　なお、カメラユニット３０は、自重によって下方に向く様に構成されているが、ダンパの抵抗や可動部の摩擦抵抗等により、光軸が正しく常に真下に向くことはない。また、この実施例においては、必ずしもパンモータ３３,チルトモータ３４やズーム機能等は必要ではない。
　監視カメラ３２の傾斜（向き）の調整は、キャビン２０内に設けた操作部(図示せず)のパンスイッチ（姿勢操作手段）ＳＷ１（図２参照）とチルトスイッチＳＷ２（姿勢操作手段）の操作によって行われる。また、監視カメラ３２はズームスイッチＳＷ３の操作によってズームを行うようになっている。
［作業領域線表示装置］
　図２は、作業領域線表示装置１２０の構成を示すブロック図である。
　作業領域線表示装置１２０は、コントローラ６０の作業領域演算部６６とカメラ姿勢検出装置１００とを備えている。
［カメラ姿勢検出装置］
　カメラ姿勢検出装置１００は、伸縮ブーム１６の先端部に設けられたカメラユニット３０と、伸縮ブーム１６の姿勢を検出するブーム姿勢検出センサ５０と、ブーム姿勢検出センサ５０が検出した検出信号などに基づいて監視カメラ３２の姿勢角や作業領域線を求めたりするコントローラ６０（作業領域演算部６６を除く）と、監視カメラ３２で撮像した画像などを表示するモニタ７０と、モニタ７０の画面(図示せず)に貼られたタッチパネル７１とを備えている。
　ブーム姿勢検出センサ５０は、フック２１の繰り出し量や伸縮ブーム１６の長さや起伏角や伸縮ブーム１６の旋回角などを検出するものであり、それぞれを検出する各センサ(図示せず)を有し、実空間におけるフック位置情報を出力するものである。
［コントローラ］
　コントローラ６０は、図２に示すように、パンスイッチＳＷ１やチルトスイッチＳＷ２の操作に基づいてパンモータ３３やチルトモータ３４を駆動制御するモータ制御部６１と、視点変換演算部（基準フック位置演算手段）６２と、作業領域演算部６６と、画像合成部６７と、姿勢角演算装置６８とを有している。
　姿勢角演算装置６８は、フック位置演算部６３と、ずれ量演算部６４と、カメラ傾斜角演算部（カメラ姿勢角演算手段）６５とを有している。
［視点変換演算部］
　視点変換演算部６２は、先ず伸縮ブーム１６の先端部の傾斜角とフック２１の繰り出し量とに基づいて、ブーム先端部（図６に示すシーブ２３の中心）を原点としたＸ,Ｙ,Ｚ座標系のフック２１の位置を求める。
　さらに、視点変換演算部６２は、実空間におけるフック２１の位置（Ｘ,Ｙ,Ｚ座標系の位置）を、監視カメラ３２を真下に向けていると仮定して、監視カメラ３２の光学中心位置と撮像面の中心位置とを一致させた点を原点としたｘ３,ｙ３,ｚ３座標系（図６参照）の位置に変換するとともに、ｘ３,ｙ３,ｚ３座標系のフック２１の位置をモニタ７０の画面の座標系（スクリーン座標系）の位置に変換して、モニタ７０の画面上の基準位置（基準フック位置）として求める。
　すなわち、監視カメラ３２を真下に向けていると仮定した場合、モニタ７０の画面に表示されるフック２１の位置である基準位置をその画面上の座標位置として求めるものである。
　また、視点変換演算部６２は、ブーム姿勢検出センサ５０が検出する検出信号に基づいて監視カメラ３２の光学中心位置からフック２１までの高さ方向の高さ（フック位置情報）を求める高さ検出手段の機能を有している。
［フック位置演算部］
　フック位置演算部６３は、モニタ７０の画面に表示されているフック画像上のタッチパネル７１がタッチされることにより、任意の向きに向いている監視カメラ３２で撮像した画像におけるスクリーン座標系上（モニタ７０の画面上）のフック位置を算出する。
［ずれ量演算部］
　ずれ量演算部６４は、フック位置演算部６３が算出したフック位置に基づいて視点変換演算部６２が求めた基準位置に対するフック位置のずれ量、すなわち、基準位置とフック位置との差（フック画像位置情報）であるずれ量を求める。
［カメラ傾斜角演算部］
　カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量と、視点変換演算部６２が求めた監視カメラ３２の光学中心位置Ｑ１（図５参照）からフック２１までの高さｈ１とに基づいて監視カメラ３２の傾斜角（垂直線に対する傾き）を求める。すなわち、カメラ傾斜角演算部６５は、フック画像位置情報と実空間のフック位置情報とに基づいて監視カメラ３２の姿勢角を求める。
［作業領域演算部］
　作業領域演算部６６は、吊荷の荷重に基づいて伸縮ブーム１６の旋回中心を中心にした吊荷の移動可能な領域を示す作業領域線を求め、さらに、監視カメラ３２の傾斜角に基づいてモニタ７０の画像上における作業領域線の正しい位置を求める。
　吊荷の荷重は、起伏用シリンダ１８の圧力センサ(図示せず)によって検出されるシリンダ圧力と伸縮ブーム１６の起伏角度及び伸縮ブーム１６の長さとに基づいてコントローラ６０の図示しない演算部が演算して求める。
　ここで、監視カメラ３２が傾斜している場合の画面上の作業領域線の位置の求め方を簡単に説明する。
　図３に示すように、監視カメラ３２の地上からの高さをｈとし、監視カメラ３２の真下の地上の位置をＰ１とし、伸縮ブーム１６の旋回中心位置をＯとし、この旋回中心位置Ｏを中心にした作業領域線をＳ１とする。旋回中心位置Ｏから作業領域線Ｓ１までの距離をＳａとする。高さｈは、ブーム１６の長さと起伏角とにより求めることができる。
　監視カメラ３２が真下に向けられているとき、このときの監視カメラ３２の光軸を３２ａとし、この光軸３２ａと地上の交点である位置Ｐ１は、モニタ７０の画面の中心位置に表示される。
　監視カメラ３２が角度θだけ傾斜されている場合、このときの監視カメラ３２の光軸３２ｂと地上の交点である位置Ｐ２がモニタ７０の画面の中心位置に表示されることになる。なお、監視カメラ３２の回動中心位置と光学中心位置Ｑ１(図５参照)とは一致されている。
　位置Ｐ１と位置Ｐ２との間の距離をΔＲ１とすると、角度θが分かればΔＲ１はｈ・ｔanθで求めることができ、位置Ｐ２から位置Ｐ１を求めることができる。また、伸縮ブーム１６の旋回中心位置Ｏからの伸縮ブーム１６の作業半径をＲ１とすると、位置Ｐ１から旋回中心位置Ｏを求めることができる。なお、作業半径Ｒ１は伸縮ブーム１６の長さと起伏角とから求める。
　そして、旋回中心位置Ｏを中心にして、荷重に基づいた地上の作業領域線Ｓ１の位置を求めることができる。地上の位置Ｐ２はモニタ７０の画面の中心位置であり、この位置Ｐ２は、旋回中心位置Ｏから作業半径Ｒ１＋ΔＲ１の位置である。
　また、位置Ｐ２から作領域線Ｓ１までの距離ΔＲ２は、ΔＲ２＝Ｓａ－（Ｒ１＋ΔＲ１）として求める。
　ここで、監視カメラ３２が角度θだけ傾斜した場合のモニタ７０の画像の中心位置が地上の位置Ｐ２を示しており、また、高さｈが分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置Ｏを原点として、撮像された画像上の各位置にクレーン座標系の座標位置を対応させることができる。
　これにより、地上の作業領域線Ｓ１の位置に対応したモニタ７０の画像上の位置を求めることができる。
［画像合成部］
　画像合成部６７は、作業領域演算部６６が求めた作業領域線Ｓ１の位置に対応した画像上の位置に、その作業領域線Ｓ１を合成してモニタ７０の画面に表示する。
［動　作］
　次に、上記のように構成されるカメラ姿勢検出装置１００及び作業領域線表示装置１２０の動作について説明する。
　いま、監視カメラ３２によりフックブロック１９が撮像されて、例えば、図４に示すようにモニタ７０の画面７０Ｇａにフックブロック像１９Ｓが表示されているとする。なお、ここでは、フック２１の位置とは、フックブロック１９に設けてあるシーブ(図示せず)の軸１９Ｊ（図１参照）の位置とし、また、説明の便宜上フックブロック像１９Ｓを含めたフック画像を２１Ｇと表記して説明する。監視カメラ３２はチルト方向及びパン方向に傾斜しているとする。
　オペレータは、その画面７０Ｇａに表示されているフック画像２１Ｇ上のタッチパネル７１の部位をタッチする。フック位置演算部６３は、そのタッチパネル７１のタッチ位置であるフック位置Ｃを画像座標系（画面の左端の上端部を原点とする座標系）の位置として座標値Ｃh tltを算出する。この座標値Ｃ htltは、画像処理によって求めてもよい。
　一方、視点変換演算部６２は、監視カメラ３２を真下に向けていると仮定した場合、この真下に向けた監視カメラ３２で撮像した場合のフック２１のモニタ７０の画面上の位置（基準位置）Ｂを求める。
　ここで、監視カメラ３２を真下に向けていると仮定した場合の画面上のフック２１の位置Ｂの求め方を簡単に説明する。
　いま、例えば図５に示すように、伸縮ブーム１６の先端部のシーブ２３の軸２３Ｊ（シーブ２３の中心位置）からフック２１までの距離をＨ１とし、監視カメラ３２の光学中心位置Ｑ１からフック２１までの高さ方向の距離をｈ１とすると、ｈ１＝Ｈ１－Ｗ２である。距離Ｈ１は、フック２１の繰出量から求まり、シーブ２３と監視カメラ３２の上下方向のオフセット量Ｗ２は、監視カメラ３２の取付位置や伸縮ブーム１６の起伏角などとによって求めることができる。
　そして、光学中心位置Ｑ１と点Ｑ２,Ｑ３を結んで形成される三角形Ｆの底辺Ｆ１と監視カメラ３２の光軸３２ａとの交点をＥ１とする。なお、底辺Ｆ１はフック２１の高さ位置を示す水平方向の線であり、光学中心位置Ｑ１と点Ｑ２とを結ぶ線Ｆ２と、光学中心位置Ｑ１と点Ｑ３とを結ぶ線Ｆ３との間の範囲が監視カメラ３２の撮像範囲を示す。この撮像範囲は監視カメラ３２が真下に向けられている場合の範囲である。また、底辺Ｆ１上の位置Ｆ１ａをフック２１の位置とする。
　交点Ｅ１は、光軸３２ａ上にあるのでモニタ７０の画面７０Ｇの中心位置Ｇ０となる。この交点Ｅ１からフック２１までの距離をＬ１とすると、Ｌ１＝Ｗ１であり、Ｗ１はシーブ２３と監視カメラ３２の水平方向のオフセット量である。このオフセット量Ｗ１は、監視カメラ３２の取付位置や伸縮ブーム１６の起伏角などによって求めることができる。また、高さｈ１は、フック２１の繰出量と、シーブ２３と監視カメラ３２の垂直方向のオフセット量Ｗ２とから求めることができる。
　これにより、監視カメラ３２が真下に向けられていると仮定したときの、画面７０Ｇ上のフック２１の位置Ａを求めることができる。なお、図５の７０Ｇは監視カメラ３２が真下を向いている場合のモニタ７０の画面を示す。
　監視カメラ３２が角度θtilt傾斜している場合、この監視カメラ３２が撮像した画像がモニタ７０の画面を７０Ｇａとし、フック２１はこの画面７０Ｇａの位置Ａに実画像として映し出されることになる。なお、Ｇ１を画面７０Ｇａの中心位置とする。
　画面７０Ｇの中心位置Ｇ０（光軸３２ａの交点Ｅ１）からＬ１だけ離れた位置Ａがフック２１の位置であるから、画面７０Ｇａの中心位置Ｇ１からＬ１だけ離れた位置が監視カメラ３２を真下に向けたと仮定した場合のフック２１の位置（基準フック位置）Ｂとなる。すなわち、画面７０Ｇ上の位置Ａと画面７０Ｇａ上の位置Ｂとは画面上で同じ位置である。
　この画面７０Ｇａ上の位置Ｂを視点変換演算部６２が透視変換行列式などを用いて求める。
　これを簡単に説明すると、視点変換演算部６２は、距離Ｈ１,ｈ１やオフセット量Ｗ１を基にして、図６に示すようにシーブ２３の中心を原点とするＸ,Ｙ,Ｚ座標系におけるフックブロック１９の位置Ｐ ｈを求める。さらに、視点変換演算部６２は、監視カメラ３２の光学中心位置Ｑ１とその撮像面の中心を一致させ、この撮像面の中心を原点にした（ｘ３,ｙ３,ｚ３）座標系の位置としてフックブロック１９の位置Ｃ ｈを求め、この（ｘ３,ｙ３,ｚ３）座標系のフックブロック１９の位置Ｃ ｈを基にして、モニタ７０の画面７０Ｇａの画像座標系の位置Ｂとして求める。この位置Ｂの画面上の座標値をＣh ver（図４参照）とする。
　また、視点変換演算部６２は、監視カメラ３２が真下を向いていると仮定した場合、フックブロック１９を上下動させたときの画面７０Ｇａ上のフックブロック１９の移動軌跡Ｔを求める。この移動軌跡Ｔと位置Ｂとを監視カメラ３２が撮像した画像上に画像合成部６７が合成してモニタ７０に表示させる。
　ずれ量演算部６４は、図４に示すように、フック位置演算部６３が算出したフック画像の座標値Ｃ h tltと、視点変換演算部６２が求めたフックブロック１９の画面上の位置Ｂの座標値Ｃ h verとの差を求める。すなわち、ずれ量演算部６４は、その差のｘ方向とｙ方向のずれ量Δｘ,Δｙとして求める。
　カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量から下記の式に基づいて監視カメラ３２の傾斜角を求める。
　チルト角＝ｔan－１（Δｙ/ｈ１）…（１）
　　パン角＝ｔan－１（Δｘ/ｈ１）…（２）
　ここで、監視カメラ３２の傾斜角の求め方を図５に基づいて簡単に説明する。
　真下に向けられている監視カメラ３２がチルト方向に角度θtiltだけ傾斜したとする。角度θtiltだけ傾斜した監視カメラ３２の光軸を３２ｃとし、三角形Ｆを角度θtiltだけ傾斜させた位置に形成される三角形をＭとする。この三角形Ｍの底辺Ｍ１と光軸３２ｃの交点をＰ３とし、光学中心位置Ｑ１と位置Ｆ１ａとを結ぶ直線を３２ｄとする。この直線３２ｄと光軸３２ａとのなす角度をθhとし、直線３２ｄと光軸３２ｃとのなす角度をθthとする。
　そして、光軸３２ｃとなす角度がθhとなる直線３２ｅと底辺Ｍ１との交点の位置Ｐ４とすると、三角形Ｍの底辺Ｍ１の交点の位置Ｐ４は、傾斜する前の三角形Ｆの底辺Ｆ１の位置Ｆ１ａとなる。つまり、真下に向けられた監視カメラ３２の光軸３２ａ上の交点Ｅ１から距離Ｌ１だけ離れた位置Ｆ１ａがフック２１の位置であるから、角度θtiltだけ傾斜した監視カメラ３２の光軸３２Ｃ上の交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４が、真下に向けられた監視カメラ３２が撮像するフック２１の位置となる。
　また、監視カメラ３２が角度θtiltだけ傾斜している場合の光軸３２ｃ上の交点Ｐ３はモニタ７０の画面７０Ｇａの中心位置Ｇ１と一致する。また、交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４は画面７０Ｇａの位置Ｂとなる。位置Ｆ１ａと位置Ｐ４との間の離間距離をΔｙとすると、画面７０Ｇａの位置Ａ,Ｂ間の距離はΔｙとなる。
　そして、θtilt＝θh＋θthであるから、
　θtilt＝ｔan－１（Ｌ１/ｈ１）＋ｔan－１（（Δｙ－Ｌ１）/ｈ１）…（３）
　となる。Δｙは、画面７０Ｇａの位置Ａ,Ｂから求めることができ、Ｌ１は既知であり、ｈ１はフック２１の繰出量と伸縮ブーム１６の起伏角などから求めることができる。
　したがって、図５に示す画面７０Ｇａの位置Ａ（図４において位置Ｃ）をタッチして、フック位置演算部６３が画面７０Ｇａの位置Ａを求めれば、この位置Ａと視点変換演算部６２が求めた位置Ｂとの差からずれ量演算部６４が位置Ａ,Ｂ間の距離Δｙを求める。そして、カメラ傾斜角演算部６５が距離Δｙから（３）式により監視カメラ３２の傾斜角度θtiltを求める。パン角も同様に求めることができるので、ここではその説明は省略する。
　（３）式により、傾斜角度θtiltを正しく求めることができるが、この実施例では、計算を簡単にするため、（１）式でチルト角を求め、（２）式でパン角を求めている。
　ここで、Δｙ＝３ｍ、Ｌ１＝０.５ｍ、ｈ１＝１０ｍの場合、（３）式で角度θtiltを求めると、０.２９４９４radとなり、（１）式で求めると、０.２９１４６radとなる。このように、（１）式でも十分に正確なチルト角を求めることができる。パン角も同様である。
　このように、モニタ７０の画面７０Ｇａのフック画像２１Ｇ（図４参照）上のタッチパネル７１の部位をタッチすれば、距離Δｙ,Δｘが求められて、（１）,（２）式によりカメラ傾斜角演算部６５がチルト角とパン角を求めるので、監視カメラ３２の傾斜角を検出する傾斜角検出センサが不要となる。
　作業領域演算部６６は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求めるとともに、カメラ傾斜角演算部６５が求めた監視カメラ３２の傾斜角（チルト角及びパン角）に基づいて、その作業領域線に対応したモニタ７０の画像上の作業領域線の位置を求める。画像合成部６７は、作業領域演算部６６が求めた作業領域線の位置に対応した監視カメラ３２の撮像した画像上の位置に、図４に示すように作業領域線ＵＩを合成してモニタ７０の画面７０Ｇａに表示する。
　この第１実施例によれば、監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となり、しかもカメラ傾斜角演算部６５で求めた監視カメラ３２の傾斜角に応じて正しい作業領域線ＵＩをモニタ７０に表示することができ、安価なカメラ姿勢検出装置１００及び作業領域線表示装置１２０を提供することができる。
　また、フック２１が揺れて図７に示すようにモニタ７０の画面７０Ｇａにフック画像２１Ｇが移動して表示される場合には、フック画像２１Ｇの移動軌跡Ｉが形成する図形の中心位置をフック画像２１Ｇの位置とし、その図形の中心位置をタッチする。あるいは、複数のフック画像２１Ｇの中心位置を画像処理によって求めてもよい。
　図８は画像処理部１３０によって高さｈ１を求めるようにしたカメラ姿勢検出装置１００の他の例を示す。
　画像処理部１３０は、図９に示すように、監視カメラ３２が撮像した画像からフック画像を抽出するフック画像抽出部１３１と、フック画像抽出部１３１が抽出したフック画像の面積を求める面積算出部１３２と、この面積算出部１３２が求めた面積（大きさ）から高さｈ１を求める高さ算出部１３３とを有する。
　これは、フック画像の面積は高さｈ１が高くなるにつれて小さくなるので、この関係を利用して高さｈ１を求めるものである。
　ズームされている場合には、フック画像の大きさと、モニタ７０に表示されるワイヤ画像の長さとからズーム倍率を求め、このズーム倍率とフック画像の面積とから高さｈ１を求める。ズーム倍率は、モニタ７０に映し出されるワイヤ２５の長さをパラメータとしたフック面積の比率を図示しないメモリに予め記憶させておき、映し出されているワイヤ２５の長さを求め、この長さに対応するズーム倍率から求めるものである。
　図１０は画像処理部１５０によってフック位置を求めるようにした別の他の例のカメラ姿勢検出装置１６０を示す。
　画像処理部１５０は、図１１に示すように、監視カメラ３２で撮像された画像からフック画像を抽出するフック画像抽出部１５１と、このフック画像抽出部１５１が抽出したフック画像の中心位置をフック位置として算出する中心位置算出部１５２とを有する。他の構成は図２に示すカメラ姿勢検出装置１００と同様なのでその説明は省略する。
　フック画像抽出部１５１は、領域拡張法やパターンマッチングなどの画像処理によって求める。
　領域拡張法は、モニタ７０の画面をタッチしたフックの位置から明度差が異なる線をフックの境界として算出し、この境界で囲まれる図形の図心をフックの位置とするものである。
　パターンマッチングは、予めズームの倍率ごとにフックのパターンを記憶させておき、このパターンと、画面をスキャン処理して得られる実際のフックの画像とが一致する位置を求め、この位置をフックの位置とするものである。
　パターンマッチング等の画像処理方法でフック画像を抽出する場合には、必ずしもタッチパネル７１は必要としない。
［第２実施例］
　図１２は第２実施例の作業領域線表示装置２００の構成を示すブロック図である。
　作業領域線表示装置２００は、コントローラ２６０の作業領域演算部６６とカメラ姿勢検出装置２１０とを備えている。
［カメラ姿勢検出装置］
　カメラ姿勢検出装置２１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ２６０（作業領域演算部６６を除く）と、モニタ７０と、タッチパネル７１とを備えている。
［コントローラ］
　コントローラ２６０は、伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応してフック２１の移動軌跡を記憶したメモリ２０１と、メモリ２０１に記憶された移動軌跡を伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに基づいて読み出す読出手段２０２と、読み出された移動軌跡Ｋ１（図１３参照）と半径方向ラインＮ１との交点Ｖ１を求める交点演算部２０３と、フック位置演算部６３と、ずれ量演算部２６４と、カメラ傾斜角演算部２６５と、モータ制御部６１と、画像合成部６７とを有している。
［メモリ］
　メモリ２０１には、監視カメラ３２を真下に向けている場合、フック２１を上下動させたときのモニタ７０の画面に表示されるフック２１の移動軌跡が伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応して記憶されている。
［交点演算部］
　交点演算部２０３は、図１３に示すように、フック画像２１Ｇを通る半径方向ラインＮ１と移動軌跡Ｋ１との交点Ｖ１を求める。半径方向ラインＮ１は、フック２１の中心位置を通る水平面上に、伸縮ブーム１６の伸長方向に投影した線に平行であって且つフック２１の中心位置を通る線である。すなわち、伸縮ブーム１６の伸長方向がモニタ７０の画面７０Ｇａの上下方向であれば、フック画像２１Ｇを通る上下方向に延びた線が半径方向ラインＮ１となる。
［ずれ量演算部］
　ずれ量演算部２６４は、フック画像２１Ｇの位置と交点Ｖ１との間の離間距離ΔＤを求める。
［カメラ傾斜角演算部］
　カメラ傾斜角演算部２６５は、離間距離ΔＤと、監視カメラ３２の光学中心からフック位置までの高さ方向の距離ｈ１（図５参照）とから下記の（４）式に基づいて監視カメラ３２の傾斜角θ(半径方向の傾斜角)を求める。
　　θ＝ｔan－１（ΔＤ/ｈ１）…（４）　
　これは、（１）式と同じであり、図５に示すように、画面７０Ｇａの位置Ｂが図１３に示す移動軌跡Ｋ１上の位置（交点Ｖ１）であり、画面７０Ｇａの位置Ａがフック画像２１Ｇの位置である。また、位置Ａと位置Ｂとを結ぶ方向が伸縮ブーム１６の伸長方向であり、位置Ａ,Ｂ間の距離Δｙが図１３に示すΔＤである。したがって、（４）式で監視カメラ３２の傾斜角θを求めることができる。
　この実施例は、伸縮ブーム１６の起伏動作に対してチルト方向のみ下向きに追従する監視カメラ３２に有効な方法である。
　他の構成は、第１実施例と同様なのでその説明は省略する。
［第３実施例］
　第３実施例は、伸縮ブーム１６の先端部に設けた監視カメラ３２で撮像した画像をモニタ３７０（図１６参照）に表示し、パンとチルト操作で監視カメラ３２の向きを操作して、モニタ３７０の画面３７０Ｇの所定位置にフック２１を位置させることで、監視カメラ３２の姿勢角を検出しようとするものである。
　図１４及び図１５は第３実施例の作業領域線表示装置３００の構成を示すブロック図である。図１５は図１４に示すコントローラ３６０内の構成を詳しく示すとともに、作業領域線表示装置３００を、カメラ姿勢検出装置３１０と、座標位置演算部３６４及び作業領域演算部３６５及び画像合成部３６６の４つの構成に分類して示したものである。
　カメラ姿勢検出装置３１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ３６０と、監視カメラ３２で撮像した画像などを表示するモニタ３７０と、パンスイッチＳＷ１及びチルトスイッチＳＷ２とを有する。
　モニタ３７０の画面３７０Ｇには、図１６に示すように、画面の中央部に四角い枠Ｍａが表示されるようになっている。
［コントローラ］
　コントローラ３６０は、図１５に示すように、モータ制御部６１、姿勢角演算部（演算手段）３６３、座標位置演算部（座標位置演算手段）３６４、作業領域演算部（作業領域演算手段）３６５、画像合成部３６６を有している。
　モータ制御部６１は、パンスイッチＳＷ１,チルトスイッチＳＷ２からの信号によりパンモータ３３,チルトモータ３４を制御する。
　姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力されるウインチの繰り出し量と伸縮ブーム１６の長さと後述するオフセット量Ｗ１とに基づいて監視カメラ３２の姿勢角を演算する。
　座標位置演算部３６４は、姿勢角演算部３６３が演算した姿勢角とブーム姿勢検出センサ５０から出力される伸縮ブーム１６の各種の検出信号とに基づいて、伸縮ブーム１６の旋回中心位置を原点とする撮像された画像上の各位置におけるクレーン座標系の座標位置を求める。
　作業領域演算部３６５は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求める。
　画像合成部３６６は、作業領域演算部３６５が求めた作業領域線を座標位置演算部３６４が演算した座標位置に対応させて監視カメラ３２が撮像した画像上に合成してモニタ３７０に表示する。
　そして、座標位置演算部３６４と作業領域演算部３６５とで画像上の作業領域線の正しい位置を求める作業領域演算装置３８０が構成される。
［原　理］
　図１７に示すように、監視カメラ３２の回転軸３２Ｊとシーブ２３の中心Ｄ１とは左右方向にＷ１のオフセット量があるとする（上下方向のオフセット量Ｗ２が無視できる場合）。また、地上からシーブの中心Ｄ１までの高さをＨ２、シーブの中心Ｄ１からフックブロック１９までの長さをＬａ、監視カメラ３２の光軸をフック２１に向けたときの監視カメラ３２の傾き、すなわち監視カメラ３２の光軸をフック２１に向けた際の垂直線に対する監視カメラ３２の傾斜角度をθとする。そして、伸縮ブーム１６の旋回中心位置Ｏからのその伸縮ブーム１６の作業半径をＲａ、監視カメラ３２をチルトさせたときの画像中心となる地面上の位置Ｐａと作業半径Ｒａとの間の距離をΔＲａとし、監視カメラ３２の回転軸３２Ｊと光学中心位置Ｑ１とを結んだ長さは、高さＨ２に対して無視できるほど小さいとすると、距離ΔＲａは次式で求めることができる。
　　　　　ΔＲａ＝Ｈ２tanθ－Ｗ１
　監視カメラ３２の傾きθは、長さＬａとオフセット量Ｗ１から求めることができる。長さＬａはワイヤ２５の繰り出し量から求める。パン方向の監視カメラ３２の傾きも同様にして求める。
高さＨ２は伸縮ブーム１６の長さと起伏角から求めることができる。なお、オフセット量Ｗ１は、伸縮ブーム１６に対するカメラ回転軸３２Ｊとシーブの中心Ｄ１の位置とが既知であるので、伸縮ブーム１６の起伏角に応じて求めることができる。
　モニタ３７０の画像の中心位置に対応する地上の位置はＰａであり、誤差ΔＲａと作業半径Ｒａとにより位置Ｐａから伸縮ブーム１６の旋回中心位置Ｏを求めることができる。同様に、パン方向に対して旋回中心位置Ｏを求める。
　そして、旋回中心位置Ｏを中心にして距離Ｒｂ（作業領域範囲を示す距離）の位置に作業領域線を描くことができる。
　ここで、画像の中心位置が地上の位置Ｐａを示しており、また、高さＨ２が分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置を原点にして、撮像された画像上の各位置にクレーン座標系の座標位置を対応させる。
　これにより、画像上の正しい位置に作業領域線を重畳させてモニタ７０に表示することができる。
なお、図１７Ａに示すように、伸縮ブーム１６の起伏角によって上下方向にもオフセット量Ｗ２が生じるが、このオフセット量Ｗ２も起伏角から求めることができるので、監視カメラ３２の傾きを幾何学で求めることができる。
　すなわち、ΔＲａ＝Ｈ１′tanθ－Ｗ１、Ｈ１′＝Ｈ２－Ｗ２の式が成立する。
　ただし、Ｈ１′は地上からカメラ回転軸３２Ｊまでの高さである。
　この式により、監視カメラ３２の傾きθは、長さＬ１とオフセット量Ｗ１,Ｗ２から求めることができる。パン方向の監視カメラ３２の傾きも同様にして求める。
　また、図１７Ｂに示すように、シーブの回動軸と同軸に監視カメラ３２の回動軸を設けた場合、オフセット量Ｗ１,Ｗ２は生じないので、オフセット量を考慮する必要がない。
　［動　作］　
　次に、上記のように構成される作業領域線表示装置３００の動作について説明する。
　図１６に示すように、フック画像２１Ｇがモニタ３７０の画面３７０Ｇの中心部枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作して監視カメラ３２を傾動させる。
　コントローラ３６０によって吊荷の実荷重が求められると、またはオペレータにより荷重が入力されると、その実荷重や入力された荷重に基づいて作業領域演算部３６５（図１５参照）が作業領域線を求める。
　他方、姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力される検出信号、すなわちウインチによって繰り出されたワイヤ２５（図１参照）の送り出し量と伸縮ブーム１６の長さとから図１７に示すフック２１の吊るされた長さＬａを求め、この長さＬａとオフセット量Ｗ１とから監視カメラ３２の垂直線に対する傾斜角度θ（パンやチルト方向の角度）を求める。
　すなわち、姿勢角演算部３６３は、伸縮ブーム１６の先端位置情報（伸縮ブーム１６の長さと起伏角から求める位置）とフック２１の位置情報（オフセット量Ｗ１と長さＬａ）とから監視カメラ３２の傾斜角度θを求める。
　座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号、すなわち、伸縮ブーム１６の長さと起伏角とに基づいて図１７に示す高さＨ２を求め、さらに、この高さＨ２と監視カメラ３２の傾斜角度θとから、撮像された画像上の各位置に対応した伸縮ブーム１６の旋回中心位置を原点にしたクレーン座標系の座標位置を求める。
　画像合成部３６６は、座標位置演算部３６４が演算したクレーン座標系の座標位置に対応した画像上に、図１８に示すように、作業領域演算部３６５が演算した作業領域線Ｕ２を合成（重畳）させてモニタ３７０に表示させる。
　この第３実施例も監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となるので、第１実施例と同様な効果を得ることができる。
　この第３実施例では、作業によって伸縮ブーム１６の起伏や吊荷の上下動などによりフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内からずれていくが、そのフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作していくものとする。そして、姿勢角演算部３６３及び座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号を逐一に読み込んでいき、傾斜角度θと撮像された画像上の各位置に対応したクレーン座標系の座標位置を求めていき、作業領域線Ｕ２をリアルタイムで書き換えていく。
　このため、吊荷の移動中であってもフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に入っている間は、作業領域線Ｕ２を正確にモニタ３７０の画面３７０Ｇ上に表示することができることになる。
［第４実施例］
　図１９は第４実施例の作業領域線表示装置１２００の構成を示す。この第４実施例では、基準出し用のスイッチ（設定手段）ＳＷ４とメモリ１２０１とを設けたものである。
　オペレータがパンスイッチＳＷ１やチルトスイッチＳＷ２を操作してフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内（図１８参照）に入ったら、オペレータがスイッチＳＷ４をオンにし、このスイッチＳＷ４がオンになったとき、ブーム姿勢検出センサ５０が検出する検出信号に基づいて第３実施例と同様にして、図２０に示すコントローラ１２６０の姿勢角演算部３６３が監視カメラ３２の傾斜角度（パン及びチルト方向の角度）を求める。
　また、スイッチＳＷ４がオンされると、ブーム姿勢検出センサ５０が検出する検出信号であるフック２１の送り出し量と伸縮ブーム１６の姿勢（伸縮ブーム１６の長さ、起伏角、旋回角）と、このときに姿勢角演算部３６３が求めた監視カメラ３２の傾斜角度（パン及びチルト方向の角度）とが基準値としてメモリ１２０１に記憶される。
　また、スイッチＳＷ４のオンにより、コントローラ１２６０の図示しない演算部が第３実施例と同様にして実荷重を求め、この実荷重とメモリ１２０１に記憶された監視カメラ３２の傾斜角度θ及び伸縮ブーム１６の姿勢とに基づいて、図２０に示す作業領域演算部３６５が作業領域線Ｕ２（図１８参照）を求める。
　一方、座標位置演算部３６４は、第３実施例と同様にして、撮像された画像上の各位置のクレーン座標系の座標位置を求める。また、画像合成部３６６は、座標位置演算部３６４が演算したクレーン座標系の座標位置に対応させて、作業領域演算部３６５が演算した作業領域線Ｕ２を合成させてモニタ３７０に表示させる（図１８参照）。
　すなわち、第４実施例では、スイッチＳＷ４がオンされた後、フック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に入っているものとして、作業領域線Ｕ２を表示し続けるものである。この第４実施例では、パンスイッチＳＷ１やチルトスイッチＳＷ２を操作しない。
　伸縮ブーム１６の姿勢の変化とウインチによるフック２１の上下移動とによって、そのフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内から所定量以上外れると、すなわち、ブーム姿勢検出センサ５０が検出するフック２１の送り出し量と伸縮ブーム１６の姿勢データ（伸縮ブーム１６の長さ、起伏角）とがメモリ１２０１に記憶された基準値から所定値以上ずれると、作業領域線Ｕ２が表示されている画像に対して位置ズレの誤差が大きいと判断してエラー表示する。このエラー表示は、例えばモニタ３７０に文字で表示したり、枠Ｍａの色を変えたり、作業領域線Ｕ２を点滅や消したりすることにより行う。
　このエラー表示することによって、オペレータは表示されている作業領域線が間違っていることを認識することができる。
　第４実施例によれば、オペレータがフック画像２１Ｇを画面３７０Ｇの枠Ｍａ内に位置させた後、伸縮ブーム１６とウインチを操作したときにフック画像２１Ｇが画面３７０Ｇの枠Ｍａ内、すなわち画面３７０Ｇの所定位置に位置しているかがコントローラ１２６０側で分かることになる。また、第３実施例と同様な効果を得ることができる。
［第５実施例］
　第５実施例の作業領域線表示装置(図示せず)は、第４実施例の作業領域線表示装置１２００と同様な構成を有しているのでその説明は省略する。
　この後、オペレータがパンスイッチＳＷ１やチルトスイッチＳＷ２を操作すれると、作業領域線Ｕ２の誤差が大きくなるのでエラー表示を行う。
　この第５実施例の作業領域線表示装置は、オペレータがパンスイッチＳＷ１やチルトスイッチＳＷ２を操作すると、作業領域線Ｕ２の誤差が大きくなるのでエラー表示を行うようにしたものである。また、スイッチＳＷ４をオンした後は、パンスイッチＳＷ１やチルトスイッチＳＷ２を操作しないように、オペレータに予め知らせておく。
　また、スイッチＳＷ４をオンした後、ウインチのみを駆動させた場合、フック２１のみが上下動して、フック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内から外れていくことになるが、パンスイッチＳＷ１やチルトスイッチＳＷ２を操作しない限り、作業領域線Ｕ２はモニタ３７０の画面３７０Ｇの正しい位置に表示され続けることになる。
　パンスイッチＳＷ１やチルトスイッチＳＷ２がオンになってエラー表示さない限り、オペレータは正しい作業領域線表示の下、クレーン操作をすることができる。
　第５実施例によれば、オペレータがフック画像２１Ｇを画面３７０Ｇの枠Ｍａ内に位置させた後、伸縮ブーム１６とウインチを操作したときにフック画像２１Ｇが画面３７０Ｇの枠Ｍａ内、すなわち画面３７０Ｇの所定位置に位置しているかがコントローラ１２６０側で分かることになる。また、第３実施例と同様な効果を得ることができる。
［第６実施例］
　第６実施例の作業領域線表示装置(図示せず)は、第４実施例の作業領域線表示装置１２００と同様な構成を有しているのでその説明は省略する。
　第６実施例の作業領域線表示装置は、スイッチＳＷ４がオンされた後、パンスイッチＳＷ１やチルトスイッチＳＷ２が操作された場合、モニタ３７０（図１９参照）のフック画像２１Ｇ（図１８参照）が枠Ｍａ内に入れられる操作とみなして、第４実施例と同様にして作業領域線Ｕ２を順次求めていき、モニタ３７０に表示されている作業領域線Ｕ２をリアルタイムで書き換えていく。
　この第６実施例では、スイッチＳＷ４をオンした後は、パンスイッチＳＷ１やチルトスイッチＳＷ２を操作して、フック画像２１Ｇを枠Ｍａ内に入れるように、オペレータに予め知らせておく。
　オペレータは、カメラのパン・チルト以外の操作またはフック２１が枠Ｍａ内に収まるパン・チルト操作をすれば正しい作業領域線を表示していると認識することができる。
　上記の第３実施例ないし第６実施例のいずれも、監視カメラ３２の傾斜角度θを図１７に示す長さＬａとオフセット量Ｗ１から求めているが、画像処理によりフック画像２１Ｇの画像上の位置と、長さＬａとから監視カメラ３２の傾斜角を求めるようにしてもよい。この場合、フック画像２１Ｇを枠Ｍａ内に入れる必要はない。また、枠Ｍａを表示する必要もない。
　また、画像処理により、フック画像２１Ｇを枠Ｍａ内に自動的に入るようにパンモータ３３及びチルトモータ３４を制御するようにしてもよい。
　この第６実施例も第３実施例と同様な効果を得ることができる。
［第７実施例］
　図２１は第７実施例の作業領域線表示装置１５００の構成を示す。この作業領域線表示装置１５００は、パン・チルト機能を有しない監視カメラ１５３２を備えたものである。監視カメラ１５３２は筺体３１（図１参照）に設けられており、この筺体３１はダンパ(図示せず)を介して先端ブーム１６Ｃの先端部に取り付けられていることにより、監視カメラ１５３２は自重によって真下に向くようになっている。
　監視カメラ１５３２が真下に向いているとき、フック２１を上下動させた際のフック画像２１Ｇの軌跡ＦＥを図２２に示すようにモニタ３７０の画面３７０Ｇに合成表示する。
　ダンパの作用によって、監視カメラ１５３２が真下に向いていないとき、フック画像２１Ｇが軌跡ＦＥから外れることになり、表示されている作業領域線Ｕ２は不正確であることが分かる。
　監視カメラ１５３２の回転軸３２Ｊとシーブの中心Ｄ１とが図１７に示すようにオフセットしている場合、伸縮ブーム１６の起伏角によって軌跡ＦＥの位置が変わるので、図２３に示すように、その起伏角に応じて軌跡ＦＥの位置をＦＥａに変更するようにしてもよい。この場合、その起伏角に応じて作業領域線Ｕ２も正しい作業領域線Ｕａに変更する。
　なお、本実施例では、パン・チルト機能を持たないことを前提として説明したが、監視カメラ１５３２にパン・チルト機能を設けた場合、上記軌跡ＦＥ,ＦＥａの線上にフック画像２１Ｇが位置するように、監視カメラ１５３２をパン・チルトさせれば、監視カメラ１５３２を真下に向けることができ、モニタ３７０に表示される作業領域線Ｕ２,Ｕａも正しい作業領域線となる。
　このようにすることにより、モニタ３７０のフック画像２１Ｇを枠Ｍａ内に入れる操作は不要となり、監視カメラ１５３２を軌跡ＦＥに合わせるように操作するだけでよく、このためその操作が簡単なものとなる。
　上記の第３実施例ないし第７実施例では、いずれもモニタ３７０の画面３７０Ｇの中央部に枠Ｍａを表示させているが、必ずしも画面３７０Ｇの中央部である必要はなく、また、枠Ｍａでなくてもよい。例えば、×マークなどでもよい。
　この発明は、上記実施例に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
関連出願の相互参照
　本出願は、２０１３年５月２１日に日本国特許庁に出願された特願２０１３-１０７０２７及び２０１４年５月１６日に日本国特許庁に出願された特願２０１４-１０２８７４に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (16)

  1. 　作業機のブームの先端部に設けられたカメラと、ブームの先端部から吊るされたフックを前記カメラで撮像した画像を表示するモニタとを備えたカメラ姿勢検出装置であって、
    　前記モニタに表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置を設けたことを特徴とするカメラ姿勢検出装置。
  2. 　前記フック画像位置情報は、実際に表示されている前記モニタの画面上のフック位置と、前記カメラが真下に向けられたと仮定した場合にそのモニタに表示されるフックの画面上の基準フック位置とであり、
    　前記実空間における前記フック位置情報は、カメラとフックとの間の高さ方向の距離であり、
    　前記基準フック位置を求める基準フック位置演算手段を有し、
    　前記姿勢角演算装置は、前記モニタの画面上のフック位置を求めるフック位置演算部と、このフック位置演算部が求めた画面上のフック位置と前記基準フック位置演算手段が求めた基準フック位置とのずれ量を求めるずれ量演算部と、前記ずれ量演算部が求めたずれ量と前記カメラとフックとの間の高さ方向の距離とに基づいてカメラの姿勢角を求めるカメラ姿勢角演算手段とを有していることを特徴とする請求項１に記載のカメラ姿勢検出装置。
  3. 　前記高さ方向の距離は、ブームの姿勢角とフックの繰出し量とから求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
  4. 　前記モニタに表示されているフック画像を抽出するとともに、この抽出したフック画像の大きさを求める画像認識部を有し、
    　この画像認識部が求めたフック画像の大きさに基づいて前記高さ方向の距離を求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
  5. 　前記モニタの画面に貼られたタッチパネルを有し、
    　前記フック位置演算部は、前記モニタに表示されているフック画像を前記タッチパネルを介してタッチすることにより、前記モニタの画面上のフック位置を求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
  6. 　前記モニタの画面上のフック位置は、モニタに表示されているフック画像を画像処理により認識し、この認識したフック画像の中心位置として求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
  7. 　前記フック画像位置情報は、カメラを傾動させてフック画像が予め設定した画面の設定位置に位置していることを示すものであり、
    　フック位置情報は、フック画像が設定位置に位置しているときのフックの繰出し量と、ブーム先端部に設けられたシーブの中心とカメラの回動支点との間のオフセット量と、ブームの起伏角とであり、
    　前記姿勢角演算装置は、前記フックの繰出し量とカメラのオフセット量とブームの起伏角とに基づいてカメラの姿勢角を求めることを特徴とする請求項１に記載のカメラ姿勢検出装置。
  8. 　前記フックに吊るされる吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求める作業領域演算装置と、該作業領域演算装置が求めた作業領域線を前記カメラで撮像した画像上に合成する画像合成部とを備え、該画像合成部で合成した画像を前記モニタに表示する作業領域線表示装置であって、
    　請求項１ないし請求項７のいずれか１項に記載のカメラ姿勢検出装置を備え、
    　前記作業領域演算装置は、前記カメラ姿勢検出装置が検出したカメラの姿勢角に基づいて前記画像上の作業領域線の正しい位置を求め、
    　前記画像合成部は、前記作業領域演算装置が求めた正しい位置に作業領域線を合成して前記モニタに表示することを特徴とする作業領域線表示装置。
  9. 　前記モニタに表示されているフックを画面上の所定位置に位置させるようにカメラの姿勢を操作する姿勢操作手段を備え、
    　前記姿勢角演算装置は、前記フックが画面上の所定位置に位置されたときの該フックの位置情報とブーム先端の位置情報とに基づいて前記カメラの姿勢角を求める演算手段を有することを特徴とする請求項１に記載のカメラ姿勢検出装置。
  10. 　請求項９に記載のカメラ姿勢検出装置を備えた作業領域線表示装置であって、
    　前記フックに吊るされる吊荷の荷重に基づいて該吊荷の移動可能な領域を示す作業領域線を求める作業領域演算装置と、
    　該作業領域演算装置が求めた作業領域線を前記カメラで撮像した画像上に合成する画像合成部とを備え、
    　前記作業領域演算装置は、前記カメラ姿勢検出装置が検出したカメラの姿勢角に基づいて前記画像上の作業領域線の正しい位置を求め、
    　前記画像合成部は、前記作業領域演算装置が求めた正しい位置に作業領域線を合成して前記モニタに表示することを特徴とする作業領域線表示装置。
  11. 　前記姿勢操作手段を操作して前記フックがモニタの画面の所定位置に位置したとき、このときのフックの位置とカメラの姿勢角とを基準値として設定する設定手段を設け、
    　この設定手段によって基準値を設定した後、ブームの姿勢と前記フックの送り出し引き戻しを行うウインチの操作に基づいてフックの位置がモニタ画面の所定位置から所定距離以上ずれた判定したとき、エラーにすることを特徴とする請求項１０に記載の作業領域線表示装置。
  12. 　前記姿勢操作手段を操作して前記フックがモニタの画面の所定位置に位置したとき、このときのフックの位置とカメラの姿勢角とを基準値として設定する設定手段を設け、
    　前記作業領域演算装置は、前記設定手段によって設定された基準値から前記画像上の作業領域線の正しい位置を求め、
    　前記カメラが前記姿勢操作手段により操作されたとき、エラーにすることを特徴とする請求項１０に記載の作業領域線表示装置。
  13. 　前記モニタの画面の所定位置を示す枠を表示し、この枠内にフックが位置するように前記姿勢操作手段を操作することを特徴とする請求項１０ないし請求項１２のいずれか１項に記載の作業領域線表示装置。
  14. 　前記作業領域線を表示した後、前記姿勢操作手段によりカメラが操作されとき、フックが枠内に入る操作がなされたものとして、前記カメラ姿勢検出装置は、フックの位置情報とブーム先端の位置情報とに基づいて前記カメラの姿勢角を求め、前記作業領域演算装置は、前記カメラ姿勢検出装置が求めたカメラの姿勢角に応じて前記画像上の作業領域線の正しい位置を求め直し、この求め直した位置に作業領域線を書き換えていくことを特徴とする請求項１３に記載の作業領域線表示装置。
  15. 　前記所定位置は、モニタの画面の中央位置であることを特徴とする請求項１０ないし請求項１２のいずれか１つに記載の作業領域線表示装置。
  16. 　前記フックの位置情報は、フックの繰り出し量及びブームの姿勢情報であることを特徴とする請求項１０ないし請求項１２のいずれか１項に記載の作業領域線表示装置。
PCT/JP2014/063229 2013-05-21 2014-05-19 カメラ姿勢検出装置と作業領域線表示装置 Ceased WO2014189009A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480027752.5A CN105228941B (zh) 2013-05-21 2014-05-19 摄像机姿态检测装置和作业区域线显示装置
EP14800648.9A EP3000761B1 (en) 2013-05-21 2014-05-19 Crane with camera orientation detecting device
US14/892,833 US9667923B2 (en) 2013-05-21 2014-05-19 Camera attitude detection device and work region line display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013107027A JP6162481B2 (ja) 2013-05-21 2013-05-21 作業領域線表示装置
JP2013-107027 2013-05-21
JP2014102874A JP6421451B2 (ja) 2014-05-16 2014-05-16 カメラ姿勢検出装置
JP2014-102874 2014-05-16

Publications (1)

Publication Number Publication Date
WO2014189009A1 true WO2014189009A1 (ja) 2014-11-27

Family

ID=51933562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063229 Ceased WO2014189009A1 (ja) 2013-05-21 2014-05-19 カメラ姿勢検出装置と作業領域線表示装置

Country Status (4)

Country Link
US (1) US9667923B2 (ja)
EP (1) EP3000761B1 (ja)
CN (1) CN105228941B (ja)
WO (1) WO2014189009A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018030692A (ja) * 2016-08-25 2018-03-01 株式会社タダノ クレーン車
CN108473286A (zh) * 2015-11-23 2018-08-31 Abb瑞士股份有限公司 集装箱起重机控制系统
CN115393435A (zh) * 2022-08-22 2022-11-25 中联重科股份有限公司 用于识别转台回转角度的装置及方法、处理器及工程设备

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI128054B (fi) * 2014-12-31 2019-08-30 Konecranes Oyj Laite, menetelmät, tietokoneohjelma ja kokoelma kuvatiedon muodostamiseksi kuormapinosta
JP7180966B2 (ja) 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ， エルエルシー 視覚的アウトリガー監視システム
US11124392B2 (en) 2016-11-22 2021-09-21 Manitowoc Crane Companies, Llc Optical detection and analysis for boom angles on a crane
DK3333114T3 (da) * 2016-12-07 2022-04-25 Hiab Ab Et køretøj og en fremgangsmåde til et køretøj, med præsentation af begrænsning af den maksimale belastningsradius
FI127422B (fi) 2016-12-20 2018-05-31 Konecranes Global Oy Menetelmä, tietokoneohjelma ja laitteisto nosturin ohjaamiseksi ja menetelmä nosturin päivittämiseksi
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
JP6838782B2 (ja) * 2017-05-30 2021-03-03 株式会社三井Ｅ＆Ｓマシナリー コンテナクレーンの制御システム及びコンテナクレーンの制御方法
DE202017104706U1 (de) 2017-08-07 2017-09-27 Liebherr-Werk Ehingen Gmbh Raupenkran
JP6828650B2 (ja) * 2017-10-04 2021-02-10 株式会社タダノ クレーンの制御方法及びクレーン
FR3074761B1 (fr) * 2017-12-11 2020-11-13 Manitou Bf Dispositif d'assistance a la manutention de charge pour vehicule et vehicule correspondant
JP7010072B2 (ja) * 2018-03-09 2022-01-26 株式会社タダノ 作業車両
JP7024514B2 (ja) * 2018-03-09 2022-02-24 株式会社タダノ クレーン及び情報表示方法
JP7069888B2 (ja) * 2018-03-15 2022-05-18 株式会社タダノ クレーンおよびクレーンの制御方法
CN108985184B (zh) * 2018-06-26 2022-04-29 齐霄强 一种多用途飞机外挂物自动挂载系统及挂载方法
JP7119674B2 (ja) * 2018-07-11 2022-08-17 株式会社タダノ クレーン
EP3594166B1 (de) * 2018-07-13 2024-01-24 EPSILON Kran GmbH. Kransteuerung mit visualisierungsvorrichtung
CN112912332B (zh) * 2018-10-16 2023-08-01 株式会社多田野 起重机装置
US12358763B2 (en) 2018-11-07 2025-07-15 Manitowoc Crane Companies, Llc System for determining crane status using optical and/or electromagnetic sensors
JP7084347B2 (ja) * 2019-03-29 2022-06-14 グローブライド株式会社 ウインチ制御システム
JP7241611B2 (ja) * 2019-06-06 2023-03-17 東京エレクトロン株式会社 パターン測定装置、パターン測定装置における傾き算出方法およびパターン測定方法
WO2021060463A1 (ja) * 2019-09-25 2021-04-01 株式会社タダノ 制御システム及び作業機
US20230271812A1 (en) * 2020-07-27 2023-08-31 Tadano Ltd. Crane position determination device, mobile crane, and crane position determination method
CN111994795A (zh) * 2020-07-29 2020-11-27 广西建工集团智慧制造有限公司 一种塔吊吊钩垂直度偏移量测量方法
DE102020120699A1 (de) 2020-08-05 2022-02-10 Konecranes Global Corporation Auslegerdrehkran mit einer Kamera sowie Verfahren zur Reduzierung von Lastpendelungen im Kranbetrieb
JP7650687B2 (ja) * 2021-03-17 2025-03-25 住友重機械建機クレーン株式会社 クレーン
US12195306B2 (en) 2021-04-12 2025-01-14 Structural Services, Inc. Systems and methods for identifying and locating building material objects
KR20240007160A (ko) 2021-04-12 2024-01-16 스트럭처럴 서비시스, 인크. 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법
US20240425332A1 (en) * 2021-11-12 2024-12-26 Buildai Pty Ltd Device for monitoring a construction site
CN114785961B (zh) * 2022-06-21 2022-09-20 山东信通电子股份有限公司 一种基于云台相机的巡视路线生成方法、设备及介质
CN121202056B (zh) * 2025-12-01 2026-02-24 临工重机股份有限公司 伸缩臂结构的载重监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440598B2 (ja) 1995-01-09 2003-08-25 コベルコ建機株式会社 クレーンの吊荷位置検出方法および同装置
JP2011207571A (ja) * 2010-03-30 2011-10-20 Tadano Ltd クレーンの制御装置及びクレーン
JP2013018580A (ja) * 2011-07-08 2013-01-31 Tadano Ltd 性能線表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4141771B2 (ja) * 2002-09-05 2008-08-27 松下電器産業株式会社 監視カメラ装置
CN1648029A (zh) * 2005-01-19 2005-08-03 深圳市拓发实业有限公司 塔式起重机的监视系统
JP5215564B2 (ja) * 2007-01-24 2013-06-19 篠田重機株式会社 クレーン用カメラ取付装置
CN201125129Y (zh) * 2007-09-21 2008-10-01 上海明路绳网索具有限公司 一种桥吊下集卡的图像对位装置
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
CN202156880U (zh) * 2011-07-06 2012-03-07 李晓光 高空跟随式光电监控系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440598B2 (ja) 1995-01-09 2003-08-25 コベルコ建機株式会社 クレーンの吊荷位置検出方法および同装置
JP2011207571A (ja) * 2010-03-30 2011-10-20 Tadano Ltd クレーンの制御装置及びクレーン
JP2013018580A (ja) * 2011-07-08 2013-01-31 Tadano Ltd 性能線表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3000761A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108473286A (zh) * 2015-11-23 2018-08-31 Abb瑞士股份有限公司 集装箱起重机控制系统
JP2018030692A (ja) * 2016-08-25 2018-03-01 株式会社タダノ クレーン車
CN115393435A (zh) * 2022-08-22 2022-11-25 中联重科股份有限公司 用于识别转台回转角度的装置及方法、处理器及工程设备

Also Published As

Publication number Publication date
EP3000761B1 (en) 2019-03-27
US20160119589A1 (en) 2016-04-28
EP3000761A1 (en) 2016-03-30
EP3000761A4 (en) 2017-03-08
CN105228941A (zh) 2016-01-06
US9667923B2 (en) 2017-05-30
CN105228941B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
WO2014189009A1 (ja) カメラ姿勢検出装置と作業領域線表示装置
JP6421451B2 (ja) カメラ姿勢検出装置
JP5971994B2 (ja) クレーン作業監視装置
JP5876679B2 (ja) 性能線表示装置
JP6162481B2 (ja) 作業領域線表示装置
JP5642409B2 (ja) クレーンの制御装置及びクレーン
CN116332037A (zh) 起重机及其吊装作业的定位系统和定位方法、存储介质
WO2014046213A1 (ja) 作業車の周囲情報取得装置
JP6402497B2 (ja) 高さ検出装置
JP5091447B2 (ja) 作業機搭載車両の周辺監視支援装置
JP2016153335A (ja) 吊荷監視装置
US20230001854A1 (en) Work vehicle display systems and methods for generating visually-manipulated context views
JP6080450B2 (ja) 監視カメラ装置
JP5595822B2 (ja) 画像生成システム
JP6257947B2 (ja) 作業車の周囲情報取得装置
JP6146994B2 (ja) クレーンの監視カメラ
JP6097063B2 (ja) 高さ測定装置及び高さ測定方法
JP2018024500A (ja) 障害物検出装置
JP6528474B2 (ja) 画像表示装置
JP7262119B2 (ja) 農作業機用表示システム
JP2013159482A (ja) クレーンシステム
JP5575572B2 (ja) 画像生成システム
JP7081425B2 (ja) 取付位置認識装置
JP4829592B2 (ja) 作業車の遠隔操作装置
JP2021098587A (ja) クレーンの性能線表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480027752.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14800648

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14892833

Country of ref document: US

Ref document number: 2014800648

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE