WO2017146403A1 - 표시 시스템 - Google Patents

표시 시스템 Download PDF

Info

Publication number
WO2017146403A1
WO2017146403A1 PCT/KR2017/001426 KR2017001426W WO2017146403A1 WO 2017146403 A1 WO2017146403 A1 WO 2017146403A1 KR 2017001426 W KR2017001426 W KR 2017001426W WO 2017146403 A1 WO2017146403 A1 WO 2017146403A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing
photographed
image
area
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/001426
Other languages
English (en)
French (fr)
Inventor
장경률
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD Hyundai Infracore Co Ltd
Original Assignee
Doosan Infracore Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Doosan Infracore Co Ltd filed Critical Doosan Infracore Co Ltd
Priority to CN201780013077.4A priority Critical patent/CN108699816A/zh
Publication of WO2017146403A1 publication Critical patent/WO2017146403A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices

Definitions

  • Embodiments of the present invention relate to a display system, and more particularly, to a display system for providing an image photographing an external area of a construction machine to a driver located inside the construction machine.
  • a construction machine is supported by a turning body on the traveling body.
  • the swinging body is rotated to carry out excavation work and earthwork loading work. That is, since the swinging body is rotated in the work area where the construction machine is located, the work may be performed, and thus, the work may be performed in a wide area by the driving, and the work may be performed in the wide area according to the rotation.
  • the construction machine is formed to have a relatively high garage compared to the general vehicle, there are a number of blind spots that the driver is difficult to identify the external area of the construction machine as a side mirror or room mirror.
  • An embodiment of the present invention provides a display system for displaying image information so that a driver can check an external area of a construction machine therein.
  • a plurality of photographing apparatuses and the plurality of photographing apparatuses installed on the construction machine are spaced apart from each other, and the photographing apparatus generates a photographed image by photographing a part of an external area of the construction machine to overlap each other.
  • a control device for converting an image to a point of time when the construction machine is viewed from the top by combining the photographed images, and selectively outputting the photographed image of the overlapping region to the display device according to whether the detection apparatus is detected;
  • the control apparatus may include an image converter configured to generate a converted image by synthesizing the captured images photographed by the plurality of photographing apparatuses based on a predetermined reference line.
  • the control apparatus may combine the photographed images photographed by the plurality of photographing apparatuses and combine the images based on a predetermined reference line to generate a converted image of the time point of view of the construction machine from the top.
  • the detection apparatus may detect the presence or absence of a person or an object located in an area where the reference line is formed among the overlapped areas.
  • control device displays the captured image of the overlapping area where a person or an object is detected and the converted image converted by the image converting unit together. Can output to the device.
  • control device may determine one direction of the overlapping area where the person or the object is detected among the captured images photographed by the plurality of photographing apparatuses. You can output the captured video.
  • control device may detect one or more directions of the overlapping area where a person or an object is detected among the captured images photographed by the plurality of photographing apparatuses.
  • the photographed image photographing the other direction of the overlapping region where the object is detected may be output.
  • control device may further include a position display unit for displaying the position of the person or object detected in the converted image output to the display device.
  • the plurality of photographing apparatuses may include a first photographing member installed in front of the construction machine, a second photographing member installed at a right side of the construction machine, a third photographing member installed at the rear of the construction machine, and the construction machine. It may include a fourth photographing member installed on the left side of the.
  • the plurality of overlapping regions may be formed in plural, the first overlapping region where the region photographed by the first photographing member and the region photographed by the second photographing member overlap each other, and the region photographed by the second photographing member;
  • the region photographed by the photographing member and the region photographed by the first photographing member may include a fourth overlapped region.
  • the detection device may be formed of a plurality of first detection member for detecting the presence of a person or object in the first overlapping region, and a second detection member for detecting the presence or absence of a person or object in the second overlapping region; And a third detecting member detecting the presence or absence of a person or an object in the third overlapping region, and a fourth detecting member detecting the presence or absence of a person or an object in the fourth overlapping region.
  • control device when the control device detects that at least two of the plurality of detection devices are located at two or more of the plurality of overlapping areas, the control device may detect the at least two overlapping areas of the captured images taken by the plurality of photographing devices. All of the photographed images photographed may be output to the display device.
  • the display system can effectively provide image information photographing the external area of the construction machine without distortion of the image so that the driver can check the external area of the construction machine from the inside.
  • FIG. 1 is a configuration diagram illustrating a configuration of a display system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a view showing an installation position and a photographing area of FIG.
  • 3 to 5 illustrate an output state of the display device.
  • FIG. 6 is a view showing an operation procedure of the control device of FIG.
  • Embodiments of the invention specifically illustrate ideal embodiments of the invention. As a result, various modifications of the drawings are expected. Thus, the embodiment is not limited to the specific form of the illustrated region, but includes, for example, modification of the form by manufacture.
  • the display system 101 includes a plurality of photographing apparatuses 100, a detection apparatus 200, a display apparatus 300, and a control apparatus 600. ).
  • the plurality of photographing apparatuses 100 are spaced apart from each other in the construction machine 50.
  • the plurality of photographing apparatuses 100 photograph so that a part of the external area of the construction machine 50 overlaps each other. That is, the plurality of photographing apparatuses 100 generate a photographed image by photographing part of an external area of the construction machine 50 so as to overlap each other.
  • the construction machine 50 includes a traveling body 10 and a revolving body 20.
  • the revolving body 20 is rotatably supported by the traveling body 10.
  • the plurality of photographing apparatuses 100 are spaced apart from each other on the outside of the revolving structure 20 supported by the traveling body 10 of the construction machine 50.
  • the plurality of photographing apparatuses 100 are spaced apart from each other on the outside of the pivoting body 20 of the construction machine 50 so that a part of the external area of the construction machine 50 overlaps each other (3d-view). Create a captured image taken with.
  • the plurality of photographing apparatuses 100 may be installed outside the revolving structure 20 of the construction machine 50, and may be inclined at an angle from the top of the construction machine 50 toward the lower direction of the construction machine 50. Shoot the external area in 3D.
  • the detection apparatus 200 detects the presence or absence of a person or an object located in the overlapping area 400 where the plurality of photographing apparatuses 100 are overlapped with each other.
  • the detection apparatus 200 is installed outside the swinging body 20 of the construction machine 50 between the plurality of photographing apparatuses 100 so that the plurality of photographing apparatuses 100 overlap each other. The presence or absence of a person or object located in).
  • the detection apparatus 200 may detect the presence or absence of a person or an object located in the space of the overlapping area 400 where the plurality of photographing apparatuses 100 are overlapped with each other.
  • the display device 300 is installed inside the construction machine 50.
  • the display device 300 is installed in the construction machine and outputs the image photographed by the plurality of photographing apparatus 100 to the driver.
  • the display device 300 is installed inside the cabin of the swinging body 20 of the construction machine 50, so that the driver can start to check the information provided to the display device 300.
  • the display device 300 may be installed at a position adjacent to an operation panel for operating the construction machine 50 in the cabin of the construction machine 50.
  • the control device 600 selectively outputs a captured image of the overlapped area 400 to the display device 300 according to whether the detection device 200 is detected.
  • the control device 600 converts an image to combine the images photographed by the plurality of photographing apparatus 100 to the point of view of the construction machine from the top.
  • the detection apparatus 200 detects that there is a person or an object in the overlapping area 400
  • the control device 600 detects the corresponding overlapping area 400 among the captured images photographed by the plurality of photographing devices 100.
  • the captured photographed image may be output to the display device 300.
  • control device 600 selectively outputs the captured image of the 3D image photographing the overlapping area 400 to the display device 300 according to whether the detection device 200 detects the information. You can check with
  • the display system 101 may provide the driver with the driver to effectively recognize the situation of the external area of the construction machine 50 in the cabin.
  • the display system 101 may output a captured image of the overlapped area 400 to the display device 300 according to whether the detection device 200 is detected, so that the driver inside the cabin may turn the turning body 20. It is possible to effectively determine whether the rotation of the possible and the appearance of the obstacle or whether such obstacles interfere with the rotation or operation of the swinging body (20).
  • control device 600 of the display system 101 may output a 3D image of the overlapping area 400 to the display device 300 according to whether the detection device 200 is detected. On the basis of the photographed image, it is possible to effectively prevent the collision of the turning body 20 and the obstacle when the turning body 20 is rotated or when the construction machine 50 is working.
  • control device 600 may include an image converter 610, as shown in FIG.
  • the image converter 610 converts a captured image of a 3D image captured by the plurality of photographing apparatuses 100 into a 2D image based on a predetermined reference line 500. Can be converted and synthesized.
  • the image converting unit 610 converts the coordinates of the space of the 3D image photographed by the plurality of photographing apparatuses 100 into the coordinates of the plane, and synthesizes the coordinates around the preset reference line 500. ) Can be converted to a two-dimensional image is converted image.
  • the preset reference line 500 may be a boundary line in which a 3D image photographed by each of the plurality of photographing apparatuses 100 is converted into a 2D image and combined with each other. Therefore, the number of reference lines 500 may be equal to the number of overlapping regions 400.
  • the driver may be provided with a 3D image, which is a captured image of the overlapped area 400, which is determined to be a person or an object, among the overlapped areas 400 photographed at different positions from the display device 300 inside the cabin. . Accordingly, the driver may check the external area of the construction machine 50 at various view-points by the plurality of photographing apparatuses 100 photographed at different positions.
  • control device 600 by combining the images taken by the plurality of photographing apparatus synthesized around the predetermined reference line 500 to look down the construction machine 50 from the top It can be made into the converted image of (Top-view).
  • the control apparatus 600 may convert the images photographed by the plurality of photographing apparatuses 100 to the viewpoint when the construction machine 50 is viewed from the top by combining the preset reference line 500 as a center.
  • control device 600 combines a three-dimensional image, which is a photographed image taken by the plurality of photographing apparatuses 100, so that the external area of the construction machine 50 is viewed from the top of the construction machine 50. It is synthesized based on the set reference line 500 and converted into a 2D image which is a converted image.
  • the detection apparatus 200 of the display system 101 may detect the presence or absence of a person or an object located in a region in which a predetermined reference line 500 is formed among the overlapping regions 400. Can be.
  • the overlapping area 400 may cause distortion of the image. That is, since the synthesis of the 3D image is made on the basis of the floor surface that is the plane coordinates, when the object or the person having the height is located at a specific position on the overlapped area 400, the problem of disappearing from the converted 2D image may occur. Can be.
  • the specific position on the overlapped area 400 may be a predetermined reference line 500 which is a boundary line in which a 3D image is converted into a 2D image and combined with each other. That is, the detection apparatus 200 may detect the presence or absence of a person or an object located in the space area of the preset reference line 500.
  • the detection apparatus 200 may detect the presence or absence of a person or an object located in the region where the reference line 500 is formed among the overlapping regions 400, and thus the 3D image is pre-recorded by the image converter 610.
  • the problem due to the image distortion that may be generated when the 2D image is converted by being synthesized based on the set reference line 500 may be effectively solved.
  • the detection device 200 can effectively detect when the object having the height is located in the region where the reference line 500 is formed, so that the driver can utilize the information provided by the display device 300 to swing the object. It is possible to prevent a collision with a person or an object during the rotation of the (20).
  • the predetermined reference line 500 may be considered and installed.
  • control device 600 when it is determined that there is a person or an object in the overlapped area 400, the control device 600 according to an exemplary embodiment of the present disclosure may capture a captured image and an image converter 610 of the overlapped area 400 in which the person or the object is detected. The converted image converted by) may be output to the display device 300 together.
  • the control device 600 may determine whether a person or an object exists in the overlapping area 400.
  • the control device 600 may include an area determiner 620.
  • the area determiner 620 may determine whether a person or an object is located in the overlapped area 400 based on the information detected by the detection device 200. In detail, when the detection unit 200 detects a position of a person or an object in the overlapping area 400, the area determining unit 620 may determine that there is a person or an object in the overlapping area 400.
  • the area determining unit 620 determines whether the person or the object is located in the overlapped area 400 based on the information on whether the person or the object is located in the overlapped area 400 detected by the detection apparatus 200. Can be determined.
  • the control device 600 When the area determining unit 620 determines that there is a person or an object in the area where the overlapping area 400 is formed, the control device 600 includes a 3D image that is a captured image of the overlapping area 400 in which the person or the object is detected.
  • the 2D image which is a converted image converted by the image converter 610, may be output together to the display device 300.
  • control device 600 divides the screen of the display device 300 to display a 3D image of the overlapped area 400 in which a person or an object is detected and a 2D image converted by the image converter 610. Can be output together.
  • the driver provides the 3D image information of the 3D image photographing the external area of the construction machine to the 2D image through the display device 300 and the 3D image information of the overlapped area 400 in which a person or an object is detected. I can receive it. That is, the driver may visually recognize an obstacle or an approach of a person in an external area of the construction machine 50 through the display device 300.
  • the control device 600 detects the driver or the overlapping area in which the person or object is detected through the display device 300.
  • a three-dimensional image of 400 may be provided.
  • the driver may check the interference or obstruction during the rotation of the turning body 20 or the operation of the construction machine 50 through the two-dimensional image by the control device 600. Then, the driver determines whether the object located in the overlapped area 400 interferes with the rotation of the turning body 20 or the work of the construction machine 50 through the three-dimensional image of the overlapped area 400 in which the person or the object is detected. It can be determined accurately.
  • the controller 600 may provide the driver with the two-dimensional image and the three-dimensional image of the overlapped area 400 in which the person or the object is detected, so that the driver converts the three-dimensional image to the two-dimensional image.
  • a person or an object located in the overlapped area 400 may be identified without an error such as distortion of the image that may occur when the image is converted into the dimensional image.
  • the control device 600 may include a duplicate area including the reference line 500 in which the person or the object is detected.
  • the 3D image of the 400 and the 2D image converted by the image converter 610 may be output together to the display device 300.
  • the reference line 500 is not output to the display device 300.
  • the control device 600 includes a mode selector 640.
  • the mode selector 640 includes a captured image mode for providing an image of the overlapping area 400 and a converted image mode for providing only a converted image in which the captured image is converted. Any one may be selected to output an image to the display system 101.
  • control apparatus 600 may output the converted image converted by the image converter 610 to the display apparatus 300 regardless of whether the detection apparatus 200 is detected.
  • the driver may output the captured image 400 and the converted image converted by the image converter 610.
  • control device 600 of the display system 101 may determine a plurality of photographing apparatuses when the detection apparatus 200 determines that a person or an object is located adjacent to the reference line 500.
  • the photographed image photographing the overlapped area 400 in which the person or the object is located among the photographed images photographed by 100 may be output to the display device 300.
  • the control device 600 determines that the person or the object is located at a position adjacent to the reference line 500 in the overlapping area 400, the person or the object is duplicated among the captured images photographed by the plurality of photographing apparatuses 100.
  • the captured image photographing one side of the area 400 and the other side of the overlapping area 400 adjacent to the one side may be output to the display device 300.
  • the driver may accurately deliver the driver to the driver without distortion of an image that may be generated when generating the converted image. Therefore, it is possible for the driver to prevent an accident that may be caused by a distorted image when the construction machine 50 is working.
  • control device 600 of the display system 101 is located in the overlapping area 400 in which a person or an object is relatively far from the reference line 500 by the detection device 200. If it is determined that the plurality of photographing apparatuses 100, the photographed image photographing the overlapped region 400 in which the person or the object is located among the photographed images photographed by the plurality of photographing apparatuses 100 may be output to the display apparatus 300.
  • the control device 600 determines that the person or the object is located at a relatively far position from the reference line 500 in the overlapping area 400, the person or the object is among the captured images photographed by the plurality of photographing apparatuses 100.
  • the captured image photographing one side of the overlapping area 400 located may be output to the display device 300.
  • the detection device 200 detects an adjacent distance of a person or an object from the reference line 500 and transmits the detected distance to the control device 600, and the control device 600 receives the person or object provided from the detection device 200. Based on the adjacent distance from the reference line 500, it is possible to determine which of the photographed images captured by the plurality of photographing apparatuses 100 is output to the display device 300 in a priority or overlapping manner.
  • the display system 101 according to an embodiment of the present invention, as shown in Figures 1 and 3, the upper image (301) of the construction machine to the converted image output to the display device 300 Can be displayed together.
  • the display device 300 outputs a converted image so that a driver may recognize that the 2D image, which is a converted image output through the display device 300, is a top-view from the top of the construction machine 50.
  • the upper image 301 of the construction machine 50 may be displayed. That is, the 3D images photographed by the plurality of photographing apparatuses 100 may be converted into a 2D image based on the upper image 301 of the construction machine 50 and output to the display apparatus 300.
  • control device 600 of the display system 101 may further include a position display unit 630.
  • the location display unit 630 may display the location information of the person or object detected by the detection device 200 on the converted image output to the display device 300. That is, the control device 600 may display 350 the position information of the person or the object detected by the detection device 200 on the two-dimensional image output to the display device 300 and output the same.
  • the position display unit 630 may display a current position of a person or an object on a two-dimensional image which is a converted image output to the display device 300 based on the magnitude of the sensitivity of the person or the object by the detection device 200.
  • the detection apparatus 200 may be any one of a moving object detection (MOD), an ultrasonic sensor, a radar, and a lidar.
  • control device 600 may further include a location display device 300 for converting information transmitted from the detection device 200 into coordinates and displaying the location of the person or object detected by the detection device 200. have.
  • the driver may visually check the position of the person or object detected by the detection apparatus 200 with the information provided through the display device 300.
  • the driver may visually confirm the position thereof.
  • the plurality of photographing apparatuses 100 of the display system 101 may have the first photographing member 110 and the second photographing member 120 as illustrated in FIG. 2. And a third photographing member 130 and a fourth photographing member 140.
  • the first photographing member 110 may be installed in front of the construction machine 50. Specifically, the first photographing member 110 may photograph the front direction of the construction machine 50 in a three-dimensional image to be inclined toward the lower direction from the top of the construction machine 50.
  • the second photographing member 120 may be spaced apart from the first photographing member 110 and installed on the right side of the construction machine 50. Specifically, the second photographing member 120 may photograph the right direction of the construction machine 50 in a three-dimensional image to be inclined toward the lower direction from the top of the construction machine 50.
  • the third photographing member 130 may be spaced apart from the second photographing member 120 and installed at the rear of the construction machine 50. Specifically, the third photographing member 130 may photograph the rear direction of the construction machine 50 in a three-dimensional image to be inclined toward the lower direction from the top of the construction machine 50.
  • the fourth photographing member 140 may be spaced apart from the third photographing member 130 and installed on the left side of the construction machine 50. Specifically, the fourth photographing member 140 may photograph the left direction of the construction machine 50 in a three-dimensional image to be inclined toward the lower direction from the top of the construction machine 50.
  • the plurality of photographing apparatuses 100 includes the first photographing member 110, the second photographing member 120, the third photographing member 130, and the fourth photographing member 140, and thus the construction machine 50.
  • the external area of the construction machine 50 surrounding can be effectively photographed in three dimensions. That is, the control device 600 provides the first photographing member 110 and the second photographing member 120 with information necessary to prevent a collision with an object or a person during the pivoting operation of the pivoting body 20 of the construction machine 50.
  • the third photographing member 130 and the fourth photographing member 140 may be input from the plurality of photographing apparatuses 100.
  • a plurality of overlapping areas 400 may be formed, and the first overlapping area 410, the second overlapping area 420, and the first overlapping area 400 may be formed. It may include three overlapping regions 430 and a fourth overlapping region 440.
  • the first overlapping region 410 may be a region where a portion of the region photographed by the first photographing member 110 and a portion of the region photographed by the second photographing member 120 overlap each other. That is, the first overlapping area 410 may be an area adjacent to the right edge of the front of the construction machine 50.
  • the second overlapping area 420 may be an area where a portion of the region photographed by the second photographing member 120 and a portion of the region photographed by the third photographing member 130 overlap each other. That is, the second overlapping area 420 may be an area adjacent to the right edge behind the construction machine 50.
  • the third overlapping area 430 may be an area in which an area photographed by the third photographing member 130 and a part of an area photographed by the fourth photographing member 140 overlap each other. That is, the third overlapping area 430 may be an area adjacent to the left edge behind the construction machine 50.
  • the fourth overlapping area 440 may be an area where a portion photographed by the fourth photographing member 140 and a portion of a region photographed by the first photographing member 110 overlap each other. That is, the fourth overlapping area 440 may be an area adjacent to the left edge of the front of the construction machine 50.
  • the overlapping area 400 is formed in plural, so that a wide range of the external area of the construction machine 50 surrounding the construction machine 50 can be effectively photographed.
  • the reference line 500 may include a first reference line 510 for synthesizing the captured image of the first overlapping region 410 and a second reference line 520 for synthesizing the captured image of the second overlapping region 420. ) And a third reference line 530 for composing the captured image of the third overlapping area 430 and a fourth reference line 540 for composing the captured image of the fourth overlapping area 440. .
  • the detection apparatus 200 is formed in plural, the first detection member 210 and the second detection member 220 and the first The third detecting member 230 and the fourth detecting member 240 may be included.
  • the first detection member 210 may detect the presence or absence of a person or an object in the first overlapping area 410.
  • the first detection member 210 includes a first overlapping area of a right edge portion in front of the construction machine 50 in which the photographing area photographed by the first photographing member 110 and the second photographing member 120 is partially overlapped. The presence or absence of a person or an object located at 410 may be detected.
  • the first detection member 210 is installed in the right corner of the front of the swinging body 20 of the construction machine 50, the first overlapping area 410 is formed in the first overlapping area 410 Alternatively, the presence or absence of an object can be detected. In addition, the first detection member 210 may detect the presence or absence of a person or an object located in the first overlapping area 410 inclined from the upper part of the construction machine 50 to the lower part.
  • the first detection member 210 may detect the presence or absence of a person or an object located in the space of the first overlapping area 410.
  • the second detection member 220 may detect the presence or absence of a person or an object in the second overlapping area 420.
  • the second detection member 220 includes a second overlapping area of the right edge portion at the rear of the construction machine 50 in which the photographing area photographed by the second photographing member 120 and the third photographing member 130 is partially overlapped. The presence or absence of a person or an object located at 420 may be detected.
  • the second detection member 220 is installed on the right corner of the back of the swinging body 20 of the construction machine 50, the second overlapping area 420 is formed in the second overlapping area 420 Alternatively, the presence or absence of an object can be detected. In addition, the second detection member 220 may detect the presence or absence of a person or an object located in the second overlapping area 420 inclined from the upper part of the construction machine 50 to the lower part.
  • the second detection member 220 may detect the presence or absence of a person or an object located in the space of the second overlapping area 420.
  • the third detecting member 230 may detect the presence or absence of a person or an object in the third overlapping area 430.
  • the third detecting member 230 includes a third overlapping area of the left corner of the back of the construction machine 50 in which the photographing area photographed by the third photographing member 130 and the fourth photographing member 140 is partially overlapped. The presence or absence of a person or an object located at 430 may be detected.
  • the third detection member 230 is installed on the left corner of the back of the swinging body 20 of the construction machine 50, the third overlapping area 430 is formed in the third overlapping area 430 Alternatively, the presence or absence of an object can be detected. In addition, the third detection member 230 may detect the presence or absence of a person or an object located in the third overlapping area 430 inclined from the upper portion of the construction machine 50 toward the lower portion.
  • the third detecting member 230 may detect the presence or absence of a person or an object located in the space of the third overlapping area 430.
  • the fourth detection member 240 may detect the presence or absence of a person or an object in the fourth overlapping region 440.
  • the fourth detection member 240 includes a fourth overlapping area of the left edge portion in front of the construction machine 50 in which the photographing area photographed by the fourth photographing member 140 and the first photographing member 110 is partially overlapped. The presence or absence of a person or an object located at 440 may be detected.
  • the fourth detection member 240 is installed in the left corner of the front of the swinging body 20 of the construction machine 50 in which the fourth overlapping region 440 is formed and positioned in the fourth overlapping region 440.
  • the presence or absence of an object can be detected.
  • the fourth detection member 240 may detect the presence or absence of a person or an object located in the fourth overlapping area 440 inclined from the upper part of the construction machine 50 to the lower part.
  • the fourth detection member 240 may detect the presence or absence of a person or an object located in the space of the fourth overlapping region 440.
  • the detection device 200 is formed in plural, and the control device 600 is generated when the external device of the construction machine 50 surrounding the construction machine 50 is photographed to the driver in three dimensions and converted into a two-dimensional image.
  • a person or an object located in the overlapped area 400 may be provided as a 3D image without an error such as distortion of the image.
  • the control device 600 when a person is detected in the second overlapping area 420 by the second detecting member 220, the control device 600 includes the second overlapping area 420. You can judge that there is a person. Accordingly, the controller 600 converts an image captured by the first photographing member 110, the second photographing member 120, the third photographing member 130, and the fourth photographing member 140 into an image converter 610. The converted image 310 converted into an image of a top-view view of the construction machine from the top may be output to the display device 300.
  • control device 600 may output to the display device 300 photographed images 330 and 340 photographing the second overlapping region 420 by the second photographing member 120 and the third photographing member 130, respectively. have.
  • control device 600 may display and output the position detected by the second detection member 220 on the converted image 310 together by the position display unit 630.
  • the driver receives the image of the person who was not output in the converted image 310 of the display device 300, and the second photographing member 120 and the third photographing member 130 are provided through the photographed images 330 and 340, and the detection is performed.
  • the position of the person may be provided as the detection display 350 that is output together on the converted image 310.
  • control device 600 of the display system 101 when the two or more detection device 200 detects that a person or an object is located in two or more overlapping areas 400, All of the photographed images of the overlapped area 400 may be output to the display device 300.
  • the control device 600 detects that a person or an object is located in two or more overlapping areas 400 of the plurality of overlapping areas 400, the two or more detection devices 200 of the plurality of detection devices 200, All of the captured images of the two or more overlapped areas 400 in which a person or an object is detected among the captured images photographed by the photographing apparatus 100 may be provided to the driver through the display apparatus 300.
  • the driver may accurately grasp the position of the person or the object with the image provided through the display device 300 without distorting the image that may be generated by the plurality of overlapping areas 400.
  • the control device 600 may include the first overlapping region 410 and the second overlapping region (eg, by the first detecting member 210 and the second detecting member 220).
  • the first overlapping region 410 and the second overlapping region eg, by the first detecting member 210 and the second detecting member 220.
  • the controller 600 converts an image captured by the first photographing member 110, the second photographing member 120, the third photographing member 130, and the fourth photographing member 140 into an image converter 610.
  • the converted image 310 converted into an image of a top-view view of the construction machine from the top may be output to the display device 300.
  • control device 600 may output both the images captured by the first overlapping area 410 and the second overlapping area 420 to the display device 300.
  • control device 600 displays the position where the person is detected by the first detection member 210 and the second detection member 220 together on the converted image 310 by the position display unit 630. Can be output.
  • a person or an object may be disposed in both the first overlapping region 410, the second overlapping region 420, the third overlapping region 430, and the fourth overlapping region 440.
  • the control device 600 captures the captured image photographed by the first photographing member 110, the second photographing member 120, the third photographing member 130, and the fourth photographing member 140.
  • the converted image 310 converted into an image of a top-view of the construction machine from the top through the image converter 610 may be output to the display device 300.
  • the driver selects the display system 101 to operate in either the captured image mode or the converted image mode (S100).
  • the display device 300 looks down at the upper part of the construction machine converted by the image conversion unit 610 on the images captured by the plurality of photographing apparatuses 100.
  • the image of the view is output to the display device 300 (S150). That is, when the converted image mode is selected, the control device 600 outputs only the converted image 310 converted by the image converter 610 to the display device 300 regardless of whether the detection device 200 is detected. .
  • the detection apparatus 200 detects the presence or absence of a person or an object located in the overlapped area 400 (S200).
  • the detection apparatus 200 transmits the detected information to the area determining unit 620, and the area determining unit 620 determines whether a person or an object is in the overlapping area 400.
  • the image of the top-view of the construction machine converted by the image converter 610 from the top and the overlapped area in which the person or the object is detected (S300).
  • the image of the top-view of the construction machine converted by the image converter 610 from the top is output to the display device 300. (S150).
  • the display system 101 is configured to provide a driver located in the cabin of the construction machine 50 to the driver of the outer region of the construction machine 50 surrounding the construction machine 50.
  • the photographed image can be effectively provided.
  • the display system 101 includes the detection device 200, so that even if an object having a height is located on the overlapped area 400 in which the plurality of photographing devices 100 are repeatedly photographed, the driver may display the display device 300. ) Can be provided along with the captured image and the converted image. Accordingly, the driver may check the shape and position of the object located in the overlapped area 400 without distorting the image.
  • the display system according to an exemplary embodiment of the present invention may be used to provide an image photographing an external area of a construction machine to a driver located inside the construction machine.
  • detection device 210 first detection member
  • controller 610 image conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

본 발명의 실시예는 표시 시스템에 관한 것으로, 표시 시스템은 건설기계에 서로 이격되어 설치되고 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치와 상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치와, 상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치, 그리고 상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고 상기 검출장치의 검출 여부에 따라 상기 중복영역을 촬영한 촬영영상을 상기 표시장치에 선택적으로 출력하는 제어장치를 포함한다.

Description

표시 시스템
본 발명의 실시예는 표시 시스템에 관한 것으로, 더욱 상세하게는 건설기계의 외부영역을 촬영한 영상을 건설기계의 내부에 위치하는 운전자에게 제공하는 표시 시스템에 관한 것이다.
일반적으로 건설기계는 주행체에 선회체가 지지된다. 선회체는 회전되며 굴착작업 토사적재 작업등을 수행한다. 즉, 건설기계가 위치하는 작업영역에서 선회체가 회전되며 작업을 수행할 수 있어, 주행에 의한 넓은 영역의 작업을 수행할 수 있을 뿐만 아니라 회전에 따른 넓은 영역의 작업을 수행한다.
하지만, 이러한 선회체의 회전시, 건설기계의 외부영역에 위치하는 사람 또는 물체와 충돌하는 사고가 발생되는 문제점이 있다. 따라서, 운전자는 건설기계의 선회체 회전 전, 건설기계의 외부영역에 사람 또는 물체가 위치하는지 살펴야 한다.
또한, 건설기계는 일반 차량에 비해 상대적으로 높은 차고를 갖도록 형성되어 있어, 운전자가 건설기계의 외부영역을 사이드 미러 또는 룸 미러로 확인이 어려운 사각영역이 다수 존재한다.
따라서, 운전자가 위치하는 캐빈 내부에서 건설기계를 둘러싸는 외부영역 전체를 파악하는데 어려움이 있다.
본 발명의 실시예는 운전자가 내부에서 건설기계의 외부영역을 확인할 수 있도록 영상정보를 표시하는 표시 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 표시 시스템은 건설기계에 서로 이격되어 설치되고 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치와 상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치와, 상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치, 그리고 상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고 상기 검출장치의 검출 여부에 따라 상기 중복영역을 촬영한 촬영영상을 상기 표시장치에 선택적으로 출력하는 제어장치를 포함한다.
또한, 상기 제어장치는 상기 복수의 촬영장치가 촬영한 촬영영상을 기설정된 기준라인을 중심으로 합성하여 변환영상을 생성하는 영상 변환부를 포함할 수 있다.
또한, 상기 제어장치는 상기 복수의 쵤영장치가 촬영한 촬영영상을 조합하여 기설정된 기준라인을 중심으로 합성하여 상기 건설기계를 상부에서 내려다본 시점의 변환영상으로 생성할 수 있다.
또한, 상기 검출장치는 상기 중복영역 중 상기 기준라인이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 상기 제어장치는 상기 검출장치에 의해 상기 중복영역에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 상기 중복영역의 촬영영상과 상기 영상 변환부에 의해 변환된 변환영상을 함께 상기 표시장치에 출력할 수 있다.
또한, 상기 제어장치는 상기 중복영역에서 사람 또는 물체가 상기 기준라인에서 멀리 있는 일방향에 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향을 촬영한 촬영영상을 출력할 수 있다.
또한, 상기 제어장치는 상기 중복영역에서 사람 또는 물체가 상기 기준라인에 인접하게 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향과 사람 또는 물체가 검출된 중복영역의 타방향을 촬영한 촬영영상을 출력할 수 있다.
또한, 상기 제어장치는 상기 표시장치에 출력되는 변환영상에 검출된 사람 또는 물체의 위치를 함께 표시하는 위치 표시부를 더 포함할 수 있다.
또한, 상기 복수의 촬영장치는 상기 건설기계의 전방에 설치된 제1 촬영부재와, 상기 건설기계의 우측에 설치된 제2 촬영부재와, 상기 건설기계의 후방에 설치된 제3 촬영부재, 그리고 상기 건설기계의 좌측에 설치된 제4 촬영부재를 포함할 수 있다.
또한, 상기 중복영역은 복수로 형성되어, 상기 제1 촬영부재가 촬영하는 영역과 상기 제2 촬영부재가 촬영하는 영역이 서로 중복되는 제1 중복영역과, 상기 제2 촬영부재가 촬영하는 영역과 상기 제3 촬영부재가 촬영하는 영역이 서로 중복되는 제2 중복영역과, 상기 제3 촬영부재가 촬영하는 영역과 상기 제4 촬영부재가 촬영하는 영역이 서로 중복되는 제3 중복영역, 그리고 상기 제4 촬영부재가 촬영하는 영역과 상기 제1 촬영부재가 촬영하는 영역이 서로 중복되는 제4 중복영역을 포함할 수 있다.
또한, 상기 검출장치는 복수로 형성되어, 상기 제1 중복영역의 사람 또는 물체의 유무를 검출하는 제1 검출부재와, 상기 제2 중복영역의 사람 또는 물체의 유무를 검출하는 제2 검출부재와, 상기 제3 중복영역의 사람 또는 물체의 유무를 검출하는 제3 검출부재, 그리고 상기 제4 중복영역의 사람 또는 물체의 유무를 검출하는 제4 검출부재를 포함할 수 있다.
또한, 상기 제어장치는 상기 복수의 검출장치 중 둘 이상이 상기 복수의 중복영역 중 둘 이상에 사람 또는 물체가 위치한다고 검출한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 상기 둘 이상의 중복영역을 촬영한 촬영영상을 모두 상기 표시장치에 출력할 수 있다.
본 발명의 실시예에 따르면, 표시 시스템은 운전자가 내부에서 건설기계의 외부영역을 확인할 수 있도록 건설기계의 외부영역을 촬영한 영상정보를 영상의 왜곡 없이 효과적으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 표시 시스템의 구성을 나타낸 구성도 이다.
도 2는 도 1의 설치위치 및 촬영영역을 나타낸 도면이다.
도 3 내지 도 5는 표시장치의 출력상태를 나타낸 도면이다.
도 6은 도 1의 제어장치의 동작순서를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면들은 개략적이고 축적에 맞게 도시되지 않았다는 것을 일러둔다. 도면에 있는 부분들의 상대적인 치수 및 비율은 도면에서의 명확성 및 편의를 위해 그 크기에 있어 과장되거나 감소되어 도시되었으며 임의의 치수는 단지 예시적인 것이지 한정적인 것은 아니다. 그리고 둘 이상의 도면에 나타나는 동일한 구조물 요소 또는 부품에는 동일한 참조 부호가 유사한 특징을 나타내기 위해 사용된다.
본 발명의 실시예는 본 발명의 이상적인 실시예를 구체적으로 나타낸다. 그 결과, 도해의 다양한 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다.
이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 표시 시스템(101)을 설명한다.
본 발명의 일 실시예에 따른 표시 시스템(101)은, 도 1에 도시된 바와 같이, 복수의 촬영장치(100)와, 검출장치(200)와, 표시장치(300), 그리고 제어장치(600)를 포함한다.
복수의 촬영장치(100)는, 도 2에 도시된 바와 같이, 건설기계(50)에 서로 이격되어 설치된다. 또한, 복수의 촬영장치(100)는 건설기계(50)의 외부영역 일부가 서로 중복되도록 촬영한다. 즉, 복수의 촬영장치(100)는 건설기계(50)의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성한다.
구체적으로, 건설기계(50)는 주행체(10)와 선회체(20)를 포함한다. 또한, 선회체(20)는 주행체(10)에 회전 가능하게 지지된다. 그리고, 복수의 촬영장치(100)는 건설기계(50)의 주행체(10)에 지지되는 선회체(20)의 외부에 서로 이격되어 설치된다.
즉, 복수의 촬영장치(100)는 건설기계(50)의 선회체(20)의 외측에 서로 이격되어 설치되어 건설기계(50)의 외부영역 일부가 서로 중복되도록 3차원뷰(3d-view)로 촬영된 촬영영상을 생성한다.
일예로, 복수의 촬영장치(100)는 건설기계(50)의 선회체(20) 외측에 설치되어, 건설기계(50)의 상부에서 일정각도로 경사지게 하부방향을 향해 상기 건설기계(50)의 외부영역을 3차원으로 촬영한다.
검출장치(200)는 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다. 구체적으로, 검출장치(200)는 복수의 촬영장치(100) 사이의 건설기계(50)의 선회체(20) 외측에 설치되어, 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다.
즉, 검출장치(200)는 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)의 공간 상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
표시장치(300)는 건설기계(50)의 내부에 설치된다. 또한, 표시장치(300)는 복수의 촬영장치(100)가 촬영한 영상을 건설기계의 내부에 설치되어 운전자에게 출력한다. 구체적으로, 표시장치(300)는 건설기계(50)의 선회체(20) 중 캐빈 내부에 설치되어, 운전자가 표시장치(300)로 제공되는 정보를 시작적으로 확인할 수 있도록 한다. 일예로, 표시장치(300)는 건설기계(50)의 캐빈 내부에 건설기계(50)를 조작하는 조작반과 인접한 위치에 설치될 수 있다.
제어장치(600)는 검출장치(200)의 검출 여부에 따라, 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 선택적으로 출력한다. 또한, 제어장치(600)는 복수의 촬영장치(100)가 촬영한 영상을 조합하여 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환한다. 구체적으로, 검출장치(200)가 중복영역(400)에 사람 또는 물체가 있다고 검출한 경우, 제어장치(600)는 복수의 촬영장치(100)가 촬영한 촬영영상 중 해당 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
즉, 제어장치(600)는 검출장치(200)의 검출 여부에 따라 중복영역(400)을 촬영한 3차원영상의 촬영영상을 선택적으로 표시장치(300)에 출력시켜, 운전자가 이러한 정보를 시각적으로 확인할 수 있도록 할 수 있다.
따라서, 본 발명의 일 실시예에 따른 표시 시스템(101)은 캐빈 내부에서 운전자가 건설기계(50)의 외부영역의 상황을 효과적으로 인지할 수 있도록 운전자에게 제공할 수 있다.
또한, 표시 시스템(101)은 검출장치(200)의 검출 유무에 따라 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있어, 캐빈 내부의 운전자가 선회체(20)의 회전의 가능여부와 장애물의 등장여부 또는 이러한 장애물이 선회체(20)의 회전 또는 작업에 방해되는지를 효과적으로 판단할 수 있다.
그리고, 표시 시스템(101)의 제어장치(600)는 검출장치(200)의 검출 여부에 따라 중복영역(400)을 촬영한 3차원영상을 표시장치(300)에 출력할 수 있어, 운전자는 이러한 촬영영상을 기초로하여 선회체(20)의 회전 또는 건설기계(50)의 작업시 선회체(20)와 장애물의 충돌을 효과적으로 방지할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는, 앞서 서술한 도 1에 도시한 바와 같이, 영상 변환부(610)를 포함할 수 있다.
영상 변환부(610)는, 앞서 서술한 도 2에 도시한 바와 같이, 복수의 촬영장치(100)가 촬영한 3차원영상의 촬영영상을 기설정된 기준라인(500)을 기준으로 2차원영상으로 변환시켜 합성할 수 있다. 구체적으로, 영상 변환부(610)는 복수의 촬영장치(100)가 촬영한 3차원영상의 공간의 좌표를 평면의 좌표로 변환시켜 기설정된 기준라인(500)을 중심으로 합성하여 표시장치(300)에 2차원영상인 변환영상이 출력되도록 할 수 있다.
즉, 기설정된 기준라인(500)은 복수의 촬영장치(100) 각각이 촬영한 3차원영상이 2차원영상으로 변환되어 서로 결합되는 경계선일 수 있다. 따라서, 기준라인(500)의 수는 중복영역(400)의 수와 동일하게 형성될 수 있다.
따라서, 운전자는 캐빈 내부에서 표시장치(300)로부터 서로 다른 위치에서 촬영한 중복영역(400) 중, 사람 또는 물체가 있다고 판단된 중복영역(400)의 촬영영상인 3차원영상을 제공받을 수 있다. 따라서, 운전자는 서로 다른 위치에서 촬영한 복수의 촬영장치(100)에 의해 다양한 시점(view-point)에서 건설기계(50)의 외부영역을 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는 복수의 촬영장치가 촬영한 영상을 조합하여 기설정된 기준라인(500)을 중심으로 합성하여 건설기계(50)를 상부에서 내려다본 시점(Top-view)의 변환영상으로 만들 수 있다.
제어장치(600)는 복수의 촬영장치(100)가 촬영한 영상을 기설정된 기준라인(500)을 중심으로 조합하여 건설기계(50)를 상부에서 내려다본 시점이 되도록 변환할 수 있다.
따라서, 제어장치(600)는 건설기계(50)의 외부영역을 건설기계(50)를 상부에서 내려다본 시점이 되도록 복수의 촬영장치(100)가 촬영한 촬영영상인 3차원영상을 조합하여 기설정된 기준라인(500)을 중심으로 합성하여 변환영상인 2차원영상으로 변환시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 검출장치(200)는 중복영역(400) 중 기설정된 기준라인(500)이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
영상 변환부(610)가 중복영역(400)을 기설정된 기준라인(500)을 중심으로 3차원영상을 2차원영상으로 합성하여 변환하는 경우, 영상의 왜곡이 발생되는 문제점이 있다. 즉, 3차원영상의 합성이 평면좌표인 바닥면을 기준으로 이뤄져 있어, 높이를 갖는 물체 또는 사람이 중복영역(400) 상의 특정위치에 위치하는 경우 변환된 2차원영상에서 사라져 보이는 문제점이 발생될 수 있다.
상술한 중복영역(400) 상의 특정위치는 3차원영상이 2차원영상으로 변환되어 서로 결합되는 경계선인 기설정된 기준라인(500)일 수 있다. 즉, 검출장치(200)는 기설정된 기준라인(500)의 공간영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
따라서, 검출장치(200)가 중복영역(400) 중 기준라인(500)이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출 할 수 있어, 영상 변환부(610)에 의해 3차원영상이 기설정된 기준라인(500)을 중심으로 합성되어 2차원영상으로 변환시 발생될 수 있는 영상 왜곡으로 인한 문제가 효과적으로 해결될 수 있다.
또한, 검출장치(200)가 높이를 갖는 물체가 기준라인(500)이 형성되는 영역에 위치하는 경우에도 효과적으로 검출할 수 있어, 운전자는 표시장치(300)에 의해 제공되는 정보를 활용하여 선회체(20)의 회전시 사람 또는 물체와의 충돌을 방지할 수 있다.
구체적으로, 검출장치(200)의 설치시 이러한 기설정된 기준라인(500)이 고려되어 설치될 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는 중복영역(400)에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 중복영역(400)의 촬영영상과 영상 변환부(610)에 의해 변환된 변환영상을 함께 표시장치(300)에 출력할 수 있다.
제어장치(600)는 중복영역(400)에 사람 또는 물체가 존재 유무를 판단할 수 있다. 구체적으로, 제어장치(600)는 영역 판단부(620)를 포함할 수 있다. 영역 판단부(620)는 검출장치(200)가 검출한 정보를 기초로 중복영역(400)에 위치하는 사람 또는 물체의 여부를 판단할 수 있다. 구체적으로, 영역 판단부(620)는 검출장치(200)에 의해 중복영역(400)에 사람 또는 물체의 위치를 검출하면, 해당 중복영역(400)에 사람 또는 물체가 있다고 판단할 수 있다.
즉, 영역 판단부(620)는 검출장치(200)가 검출한 중복영역(400)에 사람 또는 물체가 위치하는지 유무를 검출한 정보를 기초로, 중복영역(400) 위치하는 사람 또는 물체의 여부를 판단할 수 있다.
영역 판단부(620)가 중복영역(400)이 형성되는 영역에 사람 또는 물체가 있다고 판단한 경우, 제어장치(600)는 사람 또는 물체가 검출된 중복영역(400)의 촬영영상인 3차원영상 및 영상 변환부(610)에 의해 변환된 변환영상인 2차원영상을 함께 표시장치(300)에 출력할 수 있다.
구체적으로, 제어장치(600)는 표시장치(300)의 화면을 분할하여, 사람 또는 물체가 검출된 중복영역(400)의 3차원영상 및 영상 변환부(610)에 의해 변환된 2차원영상을 함께 출력되도록 할 수 있다.
따라서, 운전자는 표시장치(300)를 통해 건설기계의 외부영역을 촬영한 3차원영상이 2차원영상으로 변환된 정보와 사람 또는 물체가 검출된 중복영역(400)의 3차원영상 정보를 함께 제공받을 수 있다. 즉, 운전자는 표시장치(300)를 통해 건설기계(50)의 외부영역의 장애물 또는 사람의 접근 등을 시각적으로 인지할 수 있다.
또한, 운전자에게 표시장치(300)를 통해 중복영역(400)에 사람 또는 물체가 위치한다고 판단된 경우, 제어장치(600)는 운전자에게 표시장치(300)를 통해 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 제공할 수 있다.
즉, 운전자는 제어장치(600)에 의해 2차원영상을 통해 선회체(20)의 회전 또는 건설기계(50)의 작업시 간섭 또는 방해 요소를 확인할 수 있다. 그리고, 운전자는 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 통해 중복영역(400)에 위치하는 물체가 선회체(20)의 회전 또는 건설기계(50)의 작업에 방해를 하는지 여부를 정확하게 판단할 수 있다.
또한, 제어장치(600)가 운전자에게 2차원영상 및 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 함께 제공할 수 있어, 운전자는 영상 변환부(610)가 3차원영상을 2차원영상으로 변환시 발생할 수 있는 영상의 왜곡과 같은 오류 없이 중복영역(400)에 위치하는 사람 또는 물체를 확인할 수 있다.
또는, 영역 판단부(620)가 기준라인(500)이 형성되는 영역에 사람 또는 물체가 있다고 판단한 경우, 제어장치(600)는 사람 또는 물체가 검출된 기준라인(500)을 포함하는 중복영역(400)의 3차원영상 및 영상 변환부(610)에 의해 변환된 2차원영상을 함께 표시장치(300)에 출력할 수 있다. 이때, 기준라인(500)은 표시장치(300)에 출력되지 않는다.
즉, 제어장치(600)는 모드 선택부(640)를 포함하고 있다. 모드 선택부(640)는 중복영역(400)을 촬영한 영상을 제공하는 촬영영상 모드와 촬영영상이 변환된 변환영상만을 제공하는 변환영상 모드를 포함하며, 운전자에게 촬영영상 모드 또는 변환영상 모드 중 어느 하나로 선택되어 표시 시스템(101)으로 영상을 출력할 수 있다.
운전자가 변환영상 모드를 선택한 경우, 제어장치(600)는 검출장치(200)의 검출 여부와 상관없이 영상 변환부(610)에 의해 변환된 변환영상을 표시장치(300)에 출력할 수 있다.
또는, 운전자가 촬영영상 모드를 선택한 경우, 중복영역(400)을 촬영한 영상 및 영상 변환부(610)에 의해 변환된 변환영상을 함께 출력할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 검출장치(200)에 의해 사람 또는 물체가 기준라인(500)에 인접하게 위치한다고 판단한 경우 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
제어장치(600)가 중복영역(400) 중 기준라인(500)과 인접한 위치에 사람 또는 물체가 위치한다고 판단한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)의 일측 그리고 상기 일측과 인접한 중복영역(400)의 타측을 촬영한 촬영영상이 함께 표시장치(300)에 출력될 수 있다.
따라서, 운전자는 중복영역(400)의 기준라인(500)에 사람 또는 물체가 인접하게 위치한 경우, 변환영상을 생성시 발생될 수 있는 영상의 왜곡 없이 운전자에게 정확하게 전달할 수 있다. 따라서, 운전자가 건설기계(50)의 작업시 왜곡된 영상에 의해 발생될 수 있는 사고를 미연에 방지할 수 있다.
또는, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 검출장치(200)에 의해 사람 또는 물체가 기준라인(500)에 상대적으로 멀리 떨어진 중복영역(400) 내에 위치한다고 판단한 경우 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
제어장치(600)가 중복영역(400) 중 기준라인(500)과 상대적으로 멀리 떨어진 위치에 사람 또는 물체가 위치한다고 판단한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)의 일측을 촬영한 촬영영상이 함께 표시장치(300)에 출력될 수 있다.
즉, 검출장치(200)는 기준라인(500)으로부터 사람 또는 물체의 인접거리를 검출하여 제어장치(600)에 전달하고, 제어장치(600)는 검출장치(200)로부터 제공받은 사람 또는 물체의 기준라인(500)으로부터의 인접거리를 기초로 복수의 촬영장치(100)가 촬영한 촬영영상 중 어떤 영상을 우선 또는 중복하여 표시장치(300)에 출력할 것인지 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)은, 도 1 및 도 3에 도시한 바와 같이, 표시장치(300)에 출력되는 변환영상에 건설기계의 상부 이미지(image)(301)를 함께 표시할 수 있다.
운전자가 표시장치(300)를 통해 출력되는 변환영상인 2차원영상이 건설기계(50)를 상부에서 내려다본 시점(Top-view)임을 인지할 수 있도록 변환영상을 출력하는 표시장치(300)의 일영역에는 건설기계(50)의 상부 이미지(301)가 표시되도록 할 수 있다. 즉, 복수의 촬영장치(100)가 촬영한 3차원영상들은 건설기계(50)의 상부 이미지(301)를 중심으로 2차원영상으로 변환되어 표시장치(300)에 출력될 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 위치 표시부(630)를 더 포함할 수 있다.
위치 표시부(630)는 표시장치(300)에 출력되는 변환영상 상에 검출장치(200)가 검출한 사람 또는 물체의 위치 정보를 함께 표시하는 하도록 할 수 있다. 즉, 제어장치(600)는 표시장치(300)에 출력되는 2차원영상 상에 검출장치(200)가 검출한 사람 또는 물체의 위치 정보를 함께 표시(350)하여 출력되도록 할 수 있다.
위치 표시부(630)는 검출장치(200)에 의한 사람 또는 물체의 감도의 크기를 기초로 표시장치(300)에 출력되는 변환영상인 2차원영상 상에서 사람 또는 물체의 현재 위치가 표시되도록 할 수 있다. 일예로, 검출장치(200)는 MOD(Moving Object Detection), 초음파센서, Radar, Lidar 중 어느 하나일 수 있다.
즉, 제어장치(600)는 검출장치(200)로부터 송신받는 정보를 좌표로 변환하여 검출장치(200)에 의해 검출된 사람 또는 물체의 위치로 표시하는 위치 표시장치(300)를 더 포함할 수 있다.
따라서, 운전자는 표시장치(300)를 통해 제공되는 정보로 검출장치(200)에 의해 검출된 사람 또는 물체의 위치 또한 시각적으로 확인할 수 있다. 또한, 영상의 왜곡으로 2차원영상에서 사람 또는 물체가 사라진 경우에도, 운전자는 이들의 위치를 시각적으로 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 복수의 촬영장치(100)는, 앞서 서술한 2에 도시한 바와 같이, 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함할 수 있다.
제1 촬영부재(110)는 건설기계(50)의 앞쪽에 설치될 수 있다. 구체적으로, 제1 촬영부재(110)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 앞쪽방향을 3차원영상으로 촬영할 수 있다.
제2 촬영부재(120)는 제1 촬영부재(110)와 이격되어 건설기계(50)의 우측에 설치될 수 있다. 구체적으로, 제2 촬영부재(120)는 건설기계(50)의 상부에서 하부방향를 향해 경사지게 건설기계(50)의 우측방향을 3차원영상으로 촬영할 수 있다.
제3 촬영부재(130)는 제2 촬영부재(120)와 이격되어 건설기계(50)의 뒤쪽에 설치될 수 있다. 구체적으로, 제3 촬영부재(130)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 뒤쪽방향을 3차원영상으로 촬영할 수 있다.
제4 촬영부재(140)는 제3 촬영부재(130)와 이격되어 건설기계(50)의 좌측에 설치될 수 있다. 구체적으로, 제4 촬영부재(140)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 좌측방향을 3차원영상으로 촬영할 수 있다.
이때, 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)가 촬영하는 건설기계(50)의 외부영역의 일부는 서로 중복되어 촬영될 수 있다.
따라서, 복수의 촬영장치(100)가 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함하고 있어, 건설기계(50)를 둘러싼 건설기계(50)의 외부영역을 효과적으로 3차원으로 촬영할 수 있다. 즉, 제어장치(600)는 건설기계(50)의 선회체(20)의 선회 동작시 물체 또는 사람과의 충돌을 방지하기 위해 필요한 정보를 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함하는 복수의 촬영장치(100)로부터 입력 받을 수 있다.
또한, 본 발명의 일 실시예에 따른 중복영역(400)은, 앞서 서술한 도 1에 도시한 바와 같이, 복수로 형성되어, 제1 중복영역(410)과 제2 중복영역(420)과 제3 중복영역(430) 그리고 제4 중복영역(440)을 포함할 수 있다.
제1 중복영역(410)은 제1 촬영부재(110)가 촬영하는 영역과 제2 촬영부재(120)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제1 중복영역(410)은 건설기계(50) 앞쪽의 우측 모서리와 인접한 영역일 수 있다.
제2 중복영역(420)은 제2 촬영부재(120)가 촬영하는 영역과 제3 촬영부재(130)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제2 중복영역(420)은 건설기계(50) 뒤쪽의 우측 모서리와 인접한 영역일 수 있다.
제3 중복영역(430)은 제3 촬영부재(130)가 촬영하는 영역과 제4 촬영부재(140)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제3 중복영역(430)은 건설기계(50) 뒤쪽의 좌측 모서리와 인접한 영역일 수 있다.
제4 중복영역(440)은 제4 촬영부재(140)가 촬영하는 영역과 제1 촬영부재(110)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제4 중복영역(440)은 건설기계(50) 앞쪽의 좌측 모서리와 인접한 영역일 수 있다.
따라서, 중복영역(400)은 복수로 형성되어 있어, 건설기계(50)를 둘러싼 건설기계(50)의 외부영역의 넓은 범위를 효과적으로 촬영할 수 있다.
그리고, 기준라인(500)은 제1 중복영역(410)의 촬영영상을 합성하기 위한 제1 기준라인(510)과 제2 중복영역(420)의 촬영영상을 합성하기 위한 제2 기준라인(520)과 제3 중복영역(430)의 촬영영상을 합성하기 위한 제3 기준라인(530)과 제4 중복영역(440)의 촬영영상을 합성하기 위한 제4 기준라인(540)을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 검출장치(200)는, 앞서 서술한 도 2에 도시한 바와 같이, 복수로 형성되어, 제1 검출부재(210)와 제2 검출부재(220)와 제3 검출부재(230)와 제4 검출부재(240)를 포함할 수 있다.
제1 검출부재(210)는 제1 중복영역(410)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제1 검출부재(210)는 제1 촬영부재(110)와 제2 촬영부재(120)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 앞쪽의 우측 모서리 부분의 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제1 검출부재(210)는 제1 중복영역(410)이 형성되는 건설기계(50)의 선회체(20) 앞쪽의 우측 모서리 부분에 설치되어 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제1 검출부재(210)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제1 검출부재(210)는 제1 중복영역(410)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제2 검출부재(220)는 제2 중복영역(420)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제2 검출부재(220)는 제2 촬영부재(120)와 제3 촬영부재(130)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 뒤쪽의 우측 모서리 부분의 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제2 검출부재(220)는 제2 중복영역(420)이 형성되는 건설기계(50)의 선회체(20) 뒤쪽의 우측 모서리 부분에 설치되어 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제2 검출부재(220)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제2 검출부재(220)는 제2 중복영역(420)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제3 검출부재(230)는 제3 중복영역(430)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제3 검출부재(230)는 제3 촬영부재(130)와 제4 촬영부재(140)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 뒤쪽의 좌측 모서리 부분의 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제3 검출부재(230)는 제3 중복영역(430)이 형성되는 건설기계(50)의 선회체(20) 뒤쪽의 좌측 모서리 부분에 설치되어 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제3 검출부재(230)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제3 검출부재(230)는 제3 중복영역(430)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제4 검출부재(240)는 제4 중복영역(440)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제4 검출부재(240)는 제4 촬영부재(140)와 제1 촬영부재(110)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 앞쪽의 좌측 모서리 부분의 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제4 검출부재(240)는 제4 중복영역(440)이 형성되는 건설기계(50)의 선회체(20) 앞쪽의 좌측 모서리 부분에 설치되어 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제4 검출부재(240)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제4 검출부재(240)는 제4 중복영역(440)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
따라서, 검출장치(200)는 복수로 형성되어, 제어장치(600)가 운전자에게 건설기계(50)를 둘러싸는 건설기계(50)의 외부영역을 3차원으로 촬영하여 2차원영상으로 변환시 발생될 수 있는 영상의 왜곡과 같은 오류 없이 중복영역(400)에 위치하는 사람 또는 물체를 3차원영상으로 제공할 수 있다.
일예로, 도 2 및 도 4에 도시한 바와 같이, 제어장치(600)는 제2 검출부재(220)에 의해 제2 중복영역(420)에 사람이 검출된 경우, 제2 중복영역(420)에 사람이 있다고 판단할 수 있다. 따라서, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)을 표시장치(300)에 출력할 수 있다.
또한, 제어장치(600)는 제2 촬영부재(120)와 제3 촬영부재(130)가 제2 중복영역(420)을 촬영한 촬영영상(330,340)을 각각 표시장치(300)에 출력할 수 있다.
이때, 제어장치(600)는 제2 검출부재(220)에 의해 사람이 검출된 위치를 위치 표시부(630)에 의해 변환영상(310) 상에 함께 표시(350)하여 출력할 수 있다.
따라서, 운전자는 표시장치(300)의 변환영상(310)에는 출력되지 않았던 사람의 영상을 제2 촬영부재(120)와 제3 촬영부재(130)가 촬영영상(330,340)을 통해 제공받고, 검출된 사람의 위치를 변환영상(310) 상에 함께 출력되는 검출표시(350)로 제공받을 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는, 둘 이상의 검출장치(200)가 둘 이상의 중복영역(400)에 사람 또는 물체가 위치한다고 검출한 경우, 둘 이상의 중복영역(400)을 촬영한 촬영영상을 모두 표시장치(300)에 출력할 수 있다.
제어장치(600)는 복수의 검출장치(200) 중 둘 이상의 검출장치(200)가 복수의 중복영역(400) 중 둘 이상의 중복영역(400)에 사람 또는 물체가 위치한다고 검출한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 검출된 둘이 상의 중복영역(400)을 촬영한 촬영영상을 모두 표시장치(300)를 통해 운전자에게 제공할 수 있다.
따라서, 운전자는 복수의 중복영역(400)에 의해 발생될 수 있는 영상의 왜곡 없이, 표시장치(300)를 통해 제공되는 영상으로 사람 또는 물체의 위치를 정확하게 파악할 수 있다.
일예로, 도 2 및 도 5에 도시한 바와 같이, 제어장치(600)는 제1 검출부재(210) 및 제2 검출부재(220)에 의해 제1 중복영역(410) 및 제2 중복영역(420)에 사람 또는 물체가 있다고 검출된 경우, 제1 중복영역(410) 및 제2 중복영역(420)에 사람 또는 물체가 있다고 판단할 수 있다.
따라서, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)을 표시장치(300)에 출력할 수 있다.
또한, 제어장치(600)는 제1 중복영역(410)과 제2 중복영역(420)을 촬영한 영상을 모두 표시장치(300)에 출력할 수 있다. 구체적으로, 제1 촬영부재(110)가 촬영한 촬영영상(320)과 제2 촬영부재(120)가 촬영한 촬영영상(330) 그리고 제3 촬영부재(130)가 촬영한 촬영영상(340)을 모두 표시장치(300)에 출력할 수 있다.
그리고, 제어장치(600)는 제1 검출부재(210)와 제2 검출부재(220)에 의해 사람이 검출된 위치를 위치 표시부(630)에 의해 변환영상(310) 상에 함께 표시(350)하여 출력할 수 있다.
또는, 도 2 및 도 3에 도시된 바와 같이, 제1 중복영역(410)과 제2 중복영역(420)과 제3 중복영역(430) 그리고 제4 중복영역(440) 모두에 사람 또는 물체의 위치가 검출되지 않는 경우, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 촬영영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)만을 표시장치(300)에 출력할 수 있다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)의 제어방법을 설명한다.
운전자는 촬영영상 모드 또는 변환영상 모드 중 어느 하나로 표시 시스템(101)이 동작되도록 선택한다(S100).
또한, 운전자가 변환영상 모드를 선택한 경우, 표시장치(300)는 복수의 촬영장치(100)가 촬영한 영상을 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상을 표시장치(300)에 출력한다(S150). 즉, 변환영상 모드를 선택한 경우, 제어장치(600)는 검출장치(200)의 검출 여부와 관계없이 영상 변환부(610)에 의해 변환된 변환영상(310)만을 표시장치(300)에 출력한다.
또는, 운전자가 촬영영상 모드를 선택한 경우, 검출장치(200)는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다(S200).
검출장치(200)는 검출한 정보를 영역 판단부(620)에 전달하고, 영역 판단부(620)는 중복영역(400)에 사람 또는 물체의 여부를 판단한다.
또한, 중복영역(400)에 사람 또는 물체가 있는 경우, 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상과 사람 또는 물체가 검출된 중복영역(400)을 촬영한 촬영영상을 함께 표시장치(300)에 출력한다(S300).
또는, 중복영역(400)에 사람 또는 물체가 있는 없는 경우, 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상을 표시장치(300)에 출력한다(S150).
이와 같은 구성에 의하여, 본 발명의 일 실시예에 따른 표시 시스템(101)은 건설기계(50)의 캐빈 내부에 위치하는 운전자에게 건설기계(50)를 둘러싸는 건설기계(50)의 외부영역의 촬영영상을 효과적으로 제공할 수 있다.
또한, 표시 시스템(101)은 검출장치(200)를 포함하고 있어 높이를 갖는 물체가 복수의 촬영장치(100)가 중복 촬영한 중복영역(400) 상에 위치하여도, 운전자는 표시장치(300)를 통해 촬영영상과 변환영상을 함께 제공받을 수 있다. 따라서, 운전자는 영상의 왜곡 없이 중복영역(400)에 위치하는 물체의 형상 및 위치를 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명은 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 표시 시스템은 건설기계의 외부영역을 촬영한 영상을 건설기계의 내부에 위치하는 운전자에게 제공하는데 이용될 수 있다.
<부호의 설명>
100: 복수의 촬영장치 101: 표시 시스템
110: 제1 촬영부재 120: 제2 촬영부재
130: 제3 촬영부재 140: 제4 촬영부재
200: 검출장치 210: 제1 검출부재
220: 제2 검출부재 230: 제3 검출부재
240: 제4 검출부재 300: 표시장치
400: 중복영역 500: 기준라인
600: 제어장치 610: 영상 변환부
620: 영역 판단부 630: 위치 표시부

Claims (12)

  1. 건설기계에 서로 이격되어 설치되고, 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치;
    상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치;
    상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치; 및
    상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고, 상기 검출장치의 검출 여부에 따라 상기 중복영역을 촬영한 촬영영상을 상기 표시장치에 선택적으로 출력하는 제어장치
    를 포함하는 표시 시스템.
  2. 제1항에서,
    상기 제어장치는,
    상기 복수의 촬영장치가 촬영한 촬영영상을 기설정된 기준라인을 중심으로 합성하여 변환영상을 생성하는 영상 변환부를 포함하는 표시 시스템.
  3. 제1항에서,
    상기 제어장치는 상기 복수의 쵤영장치가 촬영한 촬영영상을 조합하여 기설정된 기준라인을 중심으로 합성하여 상기 건설기계를 상부에서 내려다본 시점의 변환영상으로 만드는 것을 특징으로 하는 표시 시스템.
  4. 제2항에서,
    상기 검출장치는 상기 중복영역 중 상기 기준라인이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출하는 것을 특징으로 하는 표시 시스템.
  5. 제4항에서,
    상기 제어장치는,
    상기 검출장치에 의해 상기 중복영역에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 상기 중복영역의 촬영영상과 상기 영상 변환부에 의해 변환된 변환영상을 함께 상기 표시장치에 출력하는 것을 특징으로 하는 표시 시스템.
  6. 제5항에서,
    상기 제어장치는,
    상기 중복영역에서 사람 또는 물체가 상기 기준라인에서 멀리 있는 일방향에 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향을 촬영한 촬영영상을 출력하는 것을 특징으로 하는 표시 시스템.
  7. 제5항에서,
    상기 제어장치는,
    상기 중복영역에서 사람 또는 물체가 상기 기준라인에 인접하게 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향과 사람 또는 물체가 검출된 중복영역의 타방향을 촬영한 촬영영상을 출력하는 것을 특징으로 하는 표시 시스템.
  8. 제1항에서,
    상기 제어장치는,
    상기 표시장치에 출력되는 변환영상에 검출된 사람 또는 물체의 위치를 함께 표시하는 위치 표시부를 더 포함하는 표시 시스템.
  9. 제1항에서,
    상기 복수의 촬영장치는,
    상기 건설기계의 전방에 설치된 제1 촬영부재;
    상기 건설기계의 우측에 설치된 제2 촬영부재;
    상기 건설기계의 후방에 설치된 제3 촬영부재; 및
    상기 건설기계의 좌측에 설치된 제4 촬영부재
    를 포함하는 표시 시스템.
  10. 제9항에서,
    상기 중복영역은 복수로 형성되어,
    상기 제1 촬영부재가 촬영하는 영역과 상기 제2 촬영부재가 촬영하는 영역이 서로 중복되는 제1 중복영역;
    상기 제2 촬영부재가 촬영하는 영역과 상기 제3 촬영부재가 촬영하는 영역이 서로 중복되는 제2 중복영역;
    상기 제3 촬영부재가 촬영하는 영역과 상기 제4 촬영부재가 촬영하는 영역이 서로 중복되는 제3 중복영역; 및
    상기 제4 촬영부재가 촬영하는 영역과 상기 제1 촬영부재가 촬영하는 영역이 서로 중복되는 제4 중복영역
    을 포함하는 표시 시스템.
  11. 제10항에서,
    상기 검출장치는 복수로 형성되어,
    상기 제1 중복영역의 사람 또는 물체의 유무를 검출하는 제1 검출부재;
    상기 제2 중복영역의 사람 또는 물체의 유무를 검출하는 제2 검출부재;
    상기 제3 중복영역의 사람 또는 물체의 유무를 검출하는 제3 검출부재; 및
    상기 제4 중복영역의 사람 또는 물체의 유무를 검출하는 제4 검출부재
    를 포함하는 표시 시스템.
  12. 제11항에서,
    상기 제어장치는,
    상기 복수의 검출장치 중 둘 이상이 상기 복수의 중복영역 중 둘 이상에 사람 또는 물체가 위치한다고 검출한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 상기 둘 이상의 중복영역을 촬영한 촬영영상을 모두 상기 표시장치에 출력하는 것을 특징으로 하는 표시 시스템.
PCT/KR2017/001426 2016-02-23 2017-02-09 표시 시스템 Ceased WO2017146403A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201780013077.4A CN108699816A (zh) 2016-02-23 2017-02-09 显示系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160021398A KR102484103B1 (ko) 2016-02-23 2016-02-23 표시 시스템
KR10-2016-0021398 2016-02-23

Publications (1)

Publication Number Publication Date
WO2017146403A1 true WO2017146403A1 (ko) 2017-08-31

Family

ID=59685325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/001426 Ceased WO2017146403A1 (ko) 2016-02-23 2017-02-09 표시 시스템

Country Status (3)

Country Link
KR (1) KR102484103B1 (ko)
CN (1) CN108699816A (ko)
WO (1) WO2017146403A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785091A (zh) * 2020-03-27 2021-12-10 住友重机械工业株式会社 施工机械用图像获取装置、信息管理系统、信息终端、施工机械用图像获取程序

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12165417B2 (en) * 2022-01-24 2024-12-10 Caterpillar Inc. Object detection vision system
JP7657176B2 (ja) * 2022-03-30 2025-04-04 住友重機械工業株式会社 表示装置及び表示プログラム
KR102606126B1 (ko) * 2023-08-16 2023-11-24 오토아이티(주) 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
KR20130100919A (ko) * 2010-06-18 2013-09-12 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
KR20140094575A (ko) * 2011-12-13 2014-07-30 스미토모 겐키 가부시키가이샤 건설기계의 주위화상 표시장치 및 주위화상 표시방법
KR20140118115A (ko) * 2013-03-28 2014-10-08 삼성전기주식회사 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP6228538B2 (ja) * 2014-04-25 2017-11-08 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
KR20130100919A (ko) * 2010-06-18 2013-09-12 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
KR20140094575A (ko) * 2011-12-13 2014-07-30 스미토모 겐키 가부시키가이샤 건설기계의 주위화상 표시장치 및 주위화상 표시방법
KR20140118115A (ko) * 2013-03-28 2014-10-08 삼성전기주식회사 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785091A (zh) * 2020-03-27 2021-12-10 住友重机械工业株式会社 施工机械用图像获取装置、信息管理系统、信息终端、施工机械用图像获取程序
CN113785091B (zh) * 2020-03-27 2023-10-24 住友重机械工业株式会社 施工机械、信息管理系统、信息终端、程序

Also Published As

Publication number Publication date
KR102484103B1 (ko) 2023-01-04
CN108699816A (zh) 2018-10-23
KR20170099252A (ko) 2017-08-31

Similar Documents

Publication Publication Date Title
WO2012153978A2 (en) Parking camera system and method of driving the same
WO2017146403A1 (ko) 표시 시스템
WO2013069877A1 (en) Parking assisting system
WO2013112016A1 (ko) 건설기계의 조작안정성 향상장치
WO2020122533A1 (ko) 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
WO2013024981A2 (en) Camera apparatus of vehicle
EP3359043A1 (en) X-ray imaging apparatus, control method for the same, and x-ray detector
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2021118013A1 (ko) 크레인 충돌 방지 장치 및 방법
WO2013051753A1 (en) An apparatus and method for assisting parking
JPH04114587A (ja) 画像処理合成システム
WO2013051801A1 (en) Display apparatus and method for assisting parking
WO2021158009A1 (ko) 추종 장치, 이를 포함하는 추종 시스템 및 추종 장치의 추종 방법
WO2020096263A1 (ko) 이동체에 포함된 카메라 시스템 및 그 제어방법
WO2017034062A1 (ko) 이동 대상을 이동 로봇이 추종하는 추종 시스템
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
WO2026023796A1 (ko) 배관 검사용 로봇 및 그 검사 방법
WO2020230930A1 (ko) 열화상 카메라 및 그 제어 방법
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법
WO2021261810A1 (ko) 증강현실 및 3d 이미지를 이용한 항해 보조장치
WO2022158935A1 (ko) 중장비용 전방 영상 생성 장치
WO2021054758A1 (ko) 건설장비용 전방 영상 생성 장치
WO2022055117A1 (ko) 전자 장치 및 이의 제어 방법
WO2021054757A1 (ko) 건설장비용 전방 영상 생성 장치
WO2012169693A1 (ko) 영상처리방법 및 영상처리장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756741

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.02.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17756741

Country of ref document: EP

Kind code of ref document: A1