KR101123738B1 - 중장비 동작 안전 모니터링 시스템 및 방법 - Google Patents

중장비 동작 안전 모니터링 시스템 및 방법 Download PDF

Info

Publication number
KR101123738B1
KR101123738B1 KR1020090077397A KR20090077397A KR101123738B1 KR 101123738 B1 KR101123738 B1 KR 101123738B1 KR 1020090077397 A KR1020090077397 A KR 1020090077397A KR 20090077397 A KR20090077397 A KR 20090077397A KR 101123738 B1 KR101123738 B1 KR 101123738B1
Authority
KR
South Korea
Prior art keywords
image
heavy equipment
guide line
integrated
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020090077397A
Other languages
English (en)
Other versions
KR20110019821A (ko
Inventor
임묘택
박신석
홍대희
우동기
최윤근
김영중
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020090077397A priority Critical patent/KR101123738B1/ko
Priority to US12/859,374 priority patent/US20110044505A1/en
Publication of KR20110019821A publication Critical patent/KR20110019821A/ko
Application granted granted Critical
Publication of KR101123738B1 publication Critical patent/KR101123738B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)

Abstract

중장비 동작 안전 모니터링 시스템, 및 방법이 개시된다. 중장비 동작 안전 모니터링 시스템은 영상 입력부, 통합 영상 생성부, 가이드 라인 생성부, 및 영상 출력부를 포함한다. 영상 입력부는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하고, 통합 영상 생성부는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하고, 가이드 라인 생성부는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 영상 출력부는 통합 영상에 가이드 라인을 표시하여 출력한다. 이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.
중장비, 안전, 모니터링

Description

중장비 동작 안전 모니터링 시스템 및 방법{System and method for monitoring safe operation of heavy machinery}
본 발명은 모니터링 시스템, 및 방법에 관한 것으로서, 더욱 상세하게는 장비의 동작 안전을 모니터링하는 시스템 및 방법에 관한 것이다.
중장비는 토목 공사 등에 쓰는 중량이 큰 기계를 통틀어 이르는 말로서, 굴삭기, 불도저, 지게차 등의 기계를 말한다. 일반적으로 이러한 중장비의 운전자는 중장비 실내에 위치한 리어 뷰 미러(rear view mirror) 또는 좌, 우에 위치하는 사이드 뷰 미러 등 여러 미러를 통해 중장비 주위를 감시하며 중장비를 운행하게 된다. 그러나 운전석에서 감시할 수 있는 범위에는 사각 지대가 존재하는데, 이러한 사각 지대는 중장비의 안전 운행에 있어서 커다란 문제점이 된다.
종래에는 사각 지대의 형성으로 인한 사고를 예방하기 위하여 보조 작업자의 수신호나 무전을 이용하기도 하였지만, 이 경우 보조 작업자의 안전을 보장하지 못한다는 단점이 있으며, 또한 보조 작업자 역시 굴삭기 등의 중장비 주변을 모니터링 함에 있어 사각 지대의 방해를 받게 된다.
이러한 문제점을 해결하기 위한 시도로서 현재 연구되고 사용되어지는 것이 카메라를 이용한 사각지대의 관찰이다. 차량의 후방 감시 카메라와 크레인 조종시 원거리 카메라를 이용하는 등의 예가 그것이다. 예를 들어, 후방 상부에 카메라를 부착하여 상부선회체의 후방을 촬영하고 촬영된 영상을 운전자가 볼 수 있도록 함으로써 상부선회체의 후방을 전체적으로 감시할 수 있도록 하고 있다.
그러나, 이러한 방법은 카메라가 향하고 있는 방향의 영상만을 감시하게 되어 전체적인 작업자 주위의 환경 감시에는 한계가 있다. 또한 작업자와 장애물간의 거리를 판단하기에 어렵다는 단점도 있다. 카메라로 촬영한 평면 영상만으로는 정확한 거리 판단에는 무리가 있기 때문이다. 이를 해결하기 위해 거리 측정을위한 별도의 장비를 이용할 수 있으나 추가 비용과 별도의 장치를 장착하기 위한 공간이 확보되야 하는 등의 문제가 발생한다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시하고, 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있도록 하는 중장비 동작 안전 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 중장비 동작 안전 모니터링 시스템은 영상 입력부, 통합 영상 생성부, 가이드 라인 생성부, 및 영상 출력부를 포함한다.
영상 입력부는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하고, 통합 영상 생성부는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하고, 가이드 라인 생성부는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 영상 출력부는 통합 영상에 가이드 라인을 표시하여 출력한다.
이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.
통합 영상 생성부는 영상 입력부의 특성에 따라 입력된 영상을 보정하여 통 합 영상을 생성할 수 있다. 이러한 구성으로 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.
또한, 중장비 동작 안전 모니터링 시스템은 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 중장비로의 접근 물체 존재 여부를 판단하는 접근 물체 판단부를 더 포함할 수 있다. 이러한 구성으로 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다.
또한, 중장비 동작 안전 모니터링 시스템은 근접 물체 판단부에서 판단된 근접 물체가 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력부를 더 포함할 수 있다. 이러한 구성으로, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명이 개시된다.
본 발명에 의하면, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.
또한, 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.
또한, 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다.
또한, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명에 따른 중장비 동작 안전 모니터링 시스템의 개략적인 블록도이다.
도 1에서, 중장비 동작 안전 모니터링 시스템(1000)은 영상 입력부(1100), 통합 영상 생성부(1200), 가이드 라인 생성부(1300), 영상 출력부(1400), 근접 물체 판단부(1500), 및 경보 신호 출력부(1600)를 포함한다.
영상 입력부(1100)는 중장비에 탑재되어 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력한다. 이때 영상 입력부(1100)는 하나의 카메라를 이용하여 순차적으로 분할된 각방향의 영상을 입력할 수도 있겠지만, 미리 설정된 일정 각도를 촬영하는 복수의 카메라를 이용하여 복수의 영상을 입력하는 것이 일반적일 것이다.
통합 영상 생성부(1200)는 복수의 영상을 이용하여 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성한다. 통합 영상은 복수의 영상을 중장비에 대응하여 하나의 영상으로 함께 출력하는 것으로서 중장비 운전자는 통합 영상으로 인해 중장비 주변 상황을 한눈에 확인할 수 있게 된다.
이때, 통합 영상 생성부(1200)는 영상 입력부(1100)의 특성에 따라 입력된 영상을 보정하여 통합 영상을 생성할 수 있다. 이 경우 통합 영상 생성부(1200)는 미리 설정된 영상 입력부(1100)의 특성에 따라 입력된 영상 정보를 보정하게 된다.
예를 들어, 영상 입력부(1100)는 어안 렌즈와 같은 광각 렌즈를 이용하여 영상을 입력할 수 있으며, 이 경우 입력된 영상은 사용자가 보다 용이하게 인식할 수 있도록 출력전에 보정될 수 있다.
이러한 구성으로 영상 입력부가 광각 카메라 등을 채용하더라도 사용자가 용이하게 인식할 수 있는 영상을 제공할 수 있게 된다.
가이드 라인 생성부(1300)는 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성한다.
도 2는 도 1의 중장비 동작 안전 모니터링 시스템이 제시하는 2차원 영상 지면 좌표 모델을 도시한 도면이고, 도 3은 도 2의 영상 지면 좌표 모델에서 얻은 결과인 가이드 라인의 영상 데이터의 구상도이다.
여기서 X는 지면을 표현하는 좌표이고, Y는 지면의 수직 좌표이다. D는 중장비의 작업 반경 최소치로 시스템 정보 입력 과정에서 입력되는 값이다. F는 카메라의 초점거리, H는 카메라의 장착 높이, θ는 카메라의 수직 광각, Φ는 카메라의 피치각으로 카메라 정보 입력 과정에서 입력되는 값이다. 미지의 사이각 Ψ는 다음의 방법에 의하여 구해지는 것을 특징으로 한다.
먼저, 영상에서 최상단에 촬영되는 지면의 지점을 Lmax라 하고 영상의 최하단에서 촬영되는 지면의 지점을 Lmin이라 하면, 각각의 값은 다음 식에 의하여 구해진다.
(1) Lmin = H tan(φ - 0.5θ)
(2) Lmax = H tan(φ + 0.5θ)
D는 임의 변경 가능한 중장비의 작업 반경 최소치로 시스템 정보 입력 과정에서 입력되는 값을 기반으로 다음을 구할 수 있다.
(3) ψ = arctan(D / H) - (φ - 0.5θ)
도 2에서 제시된 영상 지면 좌표를 기반하여 촬영된 영상에서 중장비로부터 거리 D만큼 떨어진 곳 D'은 다음과 같이 구해진다. 여기서 D는 실제 지면에서의 거리이고, D'은 영상에서의 거리이다.
(4) D' = F tan(ψ)
또한, 상기 식(3)에서 D대신 2D와 3D를 대입하여 구한 각각의 ψ를 (4)식에 대입하여 2D'과 3D'을 구할 수 있다.
영상 출력부(1400)는 통합 영상에 가이드 라인을 표시하여 출력한다. 이와 같이, 중장비 주위 모든 방향의 영상을 통합한 영상을 생성함으로써 별도의 보조 작업자 없이도 중장비의 작업 환경을 완전하게 감시할 수 있게 되고, 출력 영상에 가이드 라인을 출력함으로써 별도의 거리 측정 장비 없이도 중장비 주위의 물체와의 거리를 직관적으로 인식 할 수 있게 된다.
근접 물체 판단부(1500)는 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 중장비로의 접근 물체 존재 여부를 판단한다. 이러한 구성으로 중장비로 접근하는 물체가 있는 경우 이에 대해 대응 동작을 수행할 수 있게 된다. 대응 동작은 시스템(1000)에 미리 설정된 것으로서, 예를 들면, 영상 출력부(1400) 화면으로의 근접 물체 존재의 출력 등이 될 수 있다.
경보 신호 출력부(1600)는 근접 물체 판단부(1500)에서 판단된 근접 물체가 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력한다. 이러한 구성으로, 사용자가 접근 물체를 인식하지 못하는 경우에도 중장비의 동작 안전을 보장할 수 있게 된다. 경보 신호는 중장비 운전자에게 출력되는 것일 수도 있고, 중장비 주위로 출력되는 것일 수도 있다.
도 4는 도 1의 중장비 동작 안전 모니터링 시스템의 사용 상태의 예를 도시한 도면이다.
도 4에서, 영상 입력부(1000)는 카메라(102), 통합 영상 생성부(1200), 및 가이드 라인 생성부(1300)는 영상 처리부(100), 영상 출력부(1400)는 디스플레이(101)로 각각 구현되어 있다.
영상 처리부(100)는 다수의 카메라로부터 얻어진 영상을 합성해서 촬영한 것과 같은 탑뷰형식으로 변환한다. 이 과정에서 생기는 왜곡을 보정하는 역할도 수행한다. 건설 장비에 부착된 카메라를 이용하여 공중에서 촬영한 것과 같은 영상을 얻음으로써 더욱 직관적으로 장애물과의 거리를 알 수 있고 실제로 공중에서 촬영하기 힘들다는 한계를 극복할 수 있다. 왜곡 보정을 통하여 촬영영상의 왜곡으로 인해 발생할 수 있는 작업자의 상황 판단에 장애가 될 수 있는 요소를 제거한다.
또한, 영상 처리부(100)는 미리 설정된 거리만큼 떨어진 작업 가이드 라인을 표시하여 출력하기 때문에 별도의 고가 장치 없이도 효과적으로 운전자에게 정확한 작업 반경이나 경계 거리를 인식시켜 작업 효율을 향상시키고 안전 사고를 방지할 수 있도록 해 준다.
영상차를 이용한 접근 경보부(미도시)는 굴삭기 등의 중장비가 정지 상태에서 시간에 따라 입력되는 영상들을 비교하여 전 영상과 현재 영상 간에 큰 차이가 발생하면 물체가 접근한것으로 판단하여 이를 조작자에게 알려주어 조작자가 영상을 모니터링하지 못하거나 물체가 접근한 것을 인지 못할시에 발생할 수 있는 안전사고를 예방할 수 있도록 해준다.
디스플레이(101)에서는 가상의 탑뷰 영상에 가이드라인을 출력하여 운전자로 하여금 직관적인 주변 환경을 모니터링 할 수 있도록 한다.
도 4에서 명확하게 도시되지는 않았지만, 굴삭기 등의 중장비에 설치된 카메라는 넓은 시야를 확보하기 위하여 어안 렌즈가 사용된다. 어안 렌즈의 사용에 따른 영상의 왜곡 및 복원은 소프트웨어를 이용하여 구현할 수 있다.
본 실시예에 따른 중장비 동작 안전 모니터링 시스템(1000)은 도 5의 과정을 수행한다. 도 5는 본 발명에 따른 굴삭기 등의 중장비 주변 환경 모니터링 방법의 일 실시예를 수행하기 위한 개략적인 흐름도이다.
카메라 정보 입력 과정(700)은 굴삭기 등의 중장비에 설치된 카메라의 초점거리, 광각, 설치 높이 등의 카메라 정보를 입력한다.
배럴 왜곡 보정 과정(711)은 상기 과정에서 입력된 카메라 정보를 기반으로 도 6에서 제시한 배럴 왜곡 보정 알고리즘을 사용하여 광각 렌즈의 사용에 따른 배럴 왜곡을 보정한다.
보정된 영상을 탑뷰 형식의 영상으로 통합하는 영상 통합 과정(740)은 상기 과정에서 생성된 보정된 영상을 통합하여 굴삭기 등의 중장비의 상부에서 보는 듯한 탑뷰 형식의 영상을 생성한다.
통합 영상 변환 맵핑 테이블 생성 과정(미도시)은 상기 과정에서 발생할 수 있는 연산 속도 저하 문제를 해결하기 위하여 맵핑 테이블을 생성하여 연산 속도를 개선한다.
상기의 과정으로부터 얻어진 영상은 굴삭기 등의 중장비 조작자에게 영상 출력 과정을 통하여 굴삭기 등의 중장비 주변을 모니터링한 화면을 출력한다(760).
도 4는 탑뷰 형식의 영상을 만들기 위한 입력 영상을 얻는 카메라의 설치 구상을 도시하고 있으며, 카메라의 고유한 시야 거리에 따라 영상은 원근 투영된다. 원근 투영으로 인한 왜곡을 보정하기 위하여 도 6에서 제시한 왜곡 보정 알고리즘을 사용한다.
도 6은 왜곡이 보정된 영상들을 탑뷰 형식의 영상으로 변환하는 과정을 도시한 도면이다. 4개의 영상을 각각의 위치에 적절하게 배치하여 4개의 영상이 전, 후 , 좌, 우의 위치에서 마치 하나의 통합된 영상을 보는듯하게 구성한다.
도 7은 도 4의 중장비 모니터링 시스템의 모니터링 과정을 도시한 개략적인 흐름도이다.
도 7에서, 카메라 영상 입력 과정(200)에서는 굴삭기 등의 중장비에 탑재된 카메라(102)가 이동체(중장비)가 이동하는 경로상의 주변 영상을 입력한다. 영상 입력 과정(200)에서 어안 렌즈를 이용하여 넓은 시야를 확보하는 한편 왜곡 보정 과정(201)에서는 이로 인한 왜곡을 보정하여 굴삭기 등의 중장비 조작자가 굴삭기 등의 중장비 주변을 더욱 확실하게 모니터링 할 수 있도록 한다.
도 8은 도 6에서 얻어진 탑뷰 영상에 가이드 라인을 생성하기 위한 과정의 개략적인 흐름도이다. 가이드라인 생성을 위해 굴삭기 등의 중장비의 정보와 카메라 정보를 입력하고 이를 이용하여 가이드라인을 생성하여 탑뷰 영상에 출력한다.
도 8에서와 같이, 본 발명은 굴삭기 등의 중장비에 설치된 카메라의 정보를 입력하는 카메라 정보 입력 과정, 입력된 정보들을 통해 영상의 왜곡을 보정하는 배럴 왜곡 보정 과정, 보정된 영상을 탑뷰 형식의 영상으로 변환하는 영상 통합 과정, 정확한 거리를 알려주기 위한 가이드라인 생성과정, 물체가 접근하였음을 알려주는 접근 경보 과정, 완성된 영상을 출력하는 영상 출력 과정으로 이루어져 있다.
도 9는 탑뷰 영상에 가이드라인을 생성한 예의 도면이다. 가이드 라인의 거리는 정보 입력단계에서 설정해 준다. 거리에 따른 가이드 라인의 색상과 모양을 달리하여 운전자로 하여금 직관적으로 거리를 인지할 수 있도록 해준다.
도 10은 실시간으로 입력되는 영상들의 차이를 이용한 물체 접근 경보를 위한 접근 경보 과정의 개략적인 흐름도이다. 굴삭기 등의 중장비가 정지해 있을 시에만 작동하도록 할 수 있고, 전 프레임의 영상과 현재 프레임의 영상의 차이를 계산하여 그 차이가 클 때 물체가 접근한것으로 판단하여 조작자에게 알려준다.
도 11은 근접 물체 판단부가 근접 물체를 판단하는 예를 도시한 개략적인 도면이고, 도 12는 조작자를 위한 디스플레이 화면의 예시 도면이다.
도 12에서, 주화면에는 탑뷰 형식의 화면에 가이드라인이 생성된다. 탑뷰 영상에서 전, 후, 좌, 우 영상 중 물체의 접근이 발생하면 해당 영상이 점멸하며 경보 신호를 출력하고, 부화면에는 전, 후, 좌, 우의 영상을 주 화면에서 해당 부분을 터치시 따로 디스플레이가능하다. 전, 후의 경우 차량의 진행 방향에 따라 자동으로 전환된다.
디스플레이 화면으로는 터치 스크린을 사용한다. 주화면(300)에는 탑뷰 형식의 디스플레이에 가이드 라인이 생성되어 거리를 알려주고 4면에 장착되어 있는 카메라를 터치하였을시 해당 카메라로부터 얻어지는 영상을 부화면(301)에서 확인이 가능하다.
본 발명은 굴삭기 등의 중장비의 카메라를 통하여 굴삭기 등의 중장비 조정자에게 영상 정보를 제공하는 기술로써 굴삭기 등의 중장비의 작업 반경을 표현하는 영상을 탑뷰 형식으로 출력하는 모니터링 장치에 관한 것이다.
본 발명은 굴삭기 등의 중장비에 설치된 광각 카메라로부터 획득되는 배럴 왜곡된 영상를 보정하고 보정된 영상을 맵핑 테이블을 통해 연산 속도를 개선하여 탑뷰 형식의 영상을 제공하여 조종자에게 굴삭기 등의 중장비 주변을 모니터링 할 수 있도록 한다.
본 발명은 카메라의 정보를 입력하는 카메라 정보 입력 과정: 상기 입력된 정보들을 통해 굴삭기 등의 중장비에 설치된 카메라로부터 얻어진 영상의 왜곡을 보정하는 배럴 왜곡 보정 과정: 보정된 영상을 통합하는 영상 통합 과정: 연산 속도를 높이기 위한 통합 영상 변환 맵핑 테이블 생성 과정: 탑뷰 형식으로 생성된 영상을 조종자에게 제공하는 영상 출력 과정으로 이루어져 있다.
본 발명에서, 영상 입력부(1100)는 굴삭기 등의 중장비에 탑재되어 굴삭기 등의 중장비가 이동하는 주위의 영상을 입력한다. 영상 처리부(1200)는 다수의 카메라로부터 얻어진 영상들의 왜곡을 보정하고 보정된 영상을 이용하여 카메라의 사각지대를 제거하기 위한 영상 처리와 처리된 영상들을 하나의 탑뷰형식의 영상들로 변환한다.
가이드 라인 생성부(1300)는 영상 상에 영상 입력부로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하며, 접근 경보부(1600)는 입력된 영상들의 차이를 측정하여 물체가 접근하여 영상에 차이가 생길시 접근 경보를 울린다. 영상 출력부(1400)는 처리된 영상을 작업자가 확인할 수 있도록 화면에 출력한다.
굴삭기 등의 중장비 조종자에게 제공되는 영상에 탑뷰형식의 사각지대가 없는 영상을 제공하기 때문에 굴삭기 등의 중장비 내부에서도 굴삭기 등의 중장비 주변을 모두 확인이 가능하며 가이드 라인 생성으로 정확한 거리 인지가 가능하다.
또한 접근 경보부를 통하여 작업자가 인지 못한 외부 물체가 접근시 이를 조작자에게 알려주어 보조 작업자 없이도 굴삭기 등의 중장비 이동이나 작업시에 발 생할 수 있는 안전 사고 예방 및 작업의 효율을 향상시킬 수 있도록 해준다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.
도 1은 본 발명에 따른 중장비 동작 안전 모니터링 시스템의 개략적인 블록도.
도 2는 도 1의 중장비 동작 안전 모니터링 시스템이 제시하는 2차원 영상 지면 좌표 모델을 도시한 도면.
도 3은 도 2의 영상 지면 좌표 모델에서 얻은 결과인 가이드 라인의 영상 데이터의 구상도.
도 4는 도 1의 중장비 동작 안전 모니터링 시스템의 사용 상태의 예를 도시한 도면.
도 5는 본 발명에 따른 굴삭기 등의 중장비 주변 환경 모니터링 방법의 일 실시예를 수행하기 위한 개략적인 흐름도.
도 6은 왜곡이 보정된 영상들을 탑뷰 형식의 영상으로 변환하는 과정을 도시한 도면.
도 7은 도 4의 중장비 모니터링 시스템의 모니터링 과정을 도시한 개략적인 흐름도.
도 8은 도 6에서 얻어진 탑뷰 영상에 가이드 라인을 생성하기 위한 과정의 개략적인 흐름도.
도 9는 탑뷰 영상에 가이드라인을 생성한 예의 도면.
도 10은 실시간으로 입력되는 영상들의 차이를 이용한 물체 접근 경보를 위한 접근 경보 과정의 개략적인 흐름도.
도 11은 근접 물체 판단부가 근접 물체를 판단하는 예를 도시한 개략적인 도면.
도 12는 조작자를 위한 디스플레이 화면의 예시 도면.

Claims (8)

  1. 중장비에 탑재된 영상 촬영 장치를 이용하여 상기 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하는 영상 입력부;
    상기 복수의 영상을 이용하여 상기 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하는 통합 영상 생성부;
    상기 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하는 가이드 라인 생성부;
    상기 통합 영상에 상기 가이드 라인을 표시하여 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
  2. 제 1항에 있어서,
    상기 통합 영상 생성부는 상기 영상 입력부의 특성에 따라 상기 입력된 영상을 보정하여 상기 통합 영상을 생성하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
  3. 제 1항에 있어서,
    상기 영상 입력부에서 입력된 영상을 이전에 입력된 영상과 비교하여 상기 중장비로의 접근 물체 존재 여부를 판단하는 근접 물체 판단부를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
  4. 제 3항에 있어서,
    상기 근접 물체 판단부에서 판단된 근접 물체가 상기 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력부를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 시스템.
  5. 중장비에 탑재된 영상 촬영 장치를 이용하여 상기 중장비 주위 모든 방향의 영역을 분할하여 촬영한 복수의 영상을 입력하는 영상 입력 단계;
    상기 복수의 영상을 이용하여 상기 중장비 주위 모든 방향의 영역을 포함하는 통합 영상을 생성하는 통합 영상 생성 단계;
    상기 중장비로부터 미리 설정된 거리만큼 떨어진 위치를 표시하기 위한 가이드 라인을 생성하는 가이드 라인 생성 단계;
    상기 통합 영상에 상기 가이드 라인을 표시하여 출력하는 영상 출력 단계를 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
  6. 제 5항에 있어서,
    상기 통합 영상 생성 단계는 영상 입력 장치의 특성에 따라 상기 입력된 영상을 보정하여 상기 통합 영상을 생성하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
  7. 제 5항에 있어서,
    상기 영상 입력 단계에서 입력된 영상을 이전에 입력된 영상과 비교하여 상기 중장비로의 접근 물체 존재 여부를 판단하는 근접 물체 판단 단계를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
  8. 제 7항에 있어서,
    상기 근접 물체 판단 단계에서 판단된 근접 물체가 상기 중장비로부터 미리 설정된 거리 이내에 위치하는 경우 경보 신호를 출력하는 경보 신호 출력 단계를 더 포함하는 것을 특징으로 하는 중장비 동작 안전 모니터링 방법.
KR1020090077397A 2009-08-21 2009-08-21 중장비 동작 안전 모니터링 시스템 및 방법 Expired - Fee Related KR101123738B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090077397A KR101123738B1 (ko) 2009-08-21 2009-08-21 중장비 동작 안전 모니터링 시스템 및 방법
US12/859,374 US20110044505A1 (en) 2009-08-21 2010-08-19 Equipment operation safety monitoring system and method and computer-readable medium recording program for executing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090077397A KR101123738B1 (ko) 2009-08-21 2009-08-21 중장비 동작 안전 모니터링 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110019821A KR20110019821A (ko) 2011-03-02
KR101123738B1 true KR101123738B1 (ko) 2012-03-16

Family

ID=43605410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090077397A Expired - Fee Related KR101123738B1 (ko) 2009-08-21 2009-08-21 중장비 동작 안전 모니터링 시스템 및 방법

Country Status (2)

Country Link
US (1) US20110044505A1 (ko)
KR (1) KR101123738B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014104678A1 (ko) * 2012-12-24 2014-07-03 두산인프라코어 주식회사 휠로더의 화면 표시 방법
KR101566784B1 (ko) * 2014-04-25 2015-11-13 주식회사 영신 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템
WO2017146403A1 (ko) * 2016-02-23 2017-08-31 두산인프라코어 주식회사 표시 시스템
KR20190060127A (ko) * 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
KR102065975B1 (ko) 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템
KR20240077786A (ko) 2022-11-25 2024-06-03 유콘크리에이티브 주식회사 제스처기반 비상정지 시스템

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101735116B1 (ko) * 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
JP5888956B2 (ja) 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
CN108130933A (zh) 2011-12-26 2018-06-08 住友重机械工业株式会社 挖土机、挖土机的图像显示方法以及装置
KR102007535B1 (ko) * 2012-01-30 2019-08-05 두산인프라코어 주식회사 건설기계의 화면표시장치
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
GB201403116D0 (en) * 2014-02-21 2014-04-09 Motion Safety Ltd Apparatus for detecting persons or objects using a retro-reflector
KR102190891B1 (ko) 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법
KR101998300B1 (ko) * 2014-11-05 2019-07-10 현대건설기계 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
EP3604695B1 (en) * 2017-03-31 2021-07-28 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel with display device and image display method in shovel
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
JP2020013220A (ja) * 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法
CN109255335A (zh) * 2018-09-28 2019-01-22 广州希华通讯设备有限公司 用于建筑工地挖掘机的识别监控系统
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
WO2025204600A1 (ja) * 2024-03-28 2025-10-02 日立建機株式会社 作業機械

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008121280A (ja) * 2006-11-13 2008-05-29 Shin Caterpillar Mitsubishi Ltd 掘削状況表示装置付き掘削機械

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2008121280A (ja) * 2006-11-13 2008-05-29 Shin Caterpillar Mitsubishi Ltd 掘削状況表示装置付き掘削機械

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014104678A1 (ko) * 2012-12-24 2014-07-03 두산인프라코어 주식회사 휠로더의 화면 표시 방법
US9546470B2 (en) 2012-12-24 2017-01-17 Doosan Infracore Co., Ltd. Screen display method of wheel loader
KR101566784B1 (ko) * 2014-04-25 2015-11-13 주식회사 영신 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템
WO2017146403A1 (ko) * 2016-02-23 2017-08-31 두산인프라코어 주식회사 표시 시스템
KR20170099252A (ko) 2016-02-23 2017-08-31 두산인프라코어 주식회사 표시 시스템
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
KR20190060127A (ko) * 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
KR102011386B1 (ko) * 2017-11-24 2019-08-16 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
KR102065975B1 (ko) 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템
KR20240077786A (ko) 2022-11-25 2024-06-03 유콘크리에이티브 주식회사 제스처기반 비상정지 시스템

Also Published As

Publication number Publication date
US20110044505A1 (en) 2011-02-24
KR20110019821A (ko) 2011-03-02

Similar Documents

Publication Publication Date Title
KR101123738B1 (ko) 중장비 동작 안전 모니터링 시스템 및 방법
US10527413B2 (en) Outside recognition device
US9300954B2 (en) Surrounding information-obtaining device for working vehicle
JP6456584B2 (ja) 作業機械用周辺監視装置
JP6386213B2 (ja) ショベル
JP6541734B2 (ja) ショベル
US20140118533A1 (en) Operational stability enhancing device for construction machinery
CN110318441A (zh) 作业机械
JP6045865B2 (ja) ショベル
JP2013066010A (ja) 作業機の周囲監視装置
JPWO2012053105A1 (ja) 作業機械の周辺監視装置
JP2014181509A (ja) 作業機械用周辺監視装置
JP5960007B2 (ja) 作業機械用周辺監視装置
KR102007535B1 (ko) 건설기계의 화면표시장치
JP6352797B2 (ja) 作業機械の周囲監視装置
JP6378801B2 (ja) ショベル
KR20160110642A (ko) 건설장비의 작업 현황 모니터링 장치 및 그 방법
JP6091821B2 (ja) ショベル
JP2018186575A (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
JP6257919B2 (ja) ショベル
JP7560163B2 (ja) ショベル
JP2019004484A (ja) ショベル
JP7237882B2 (ja) ショベル
JP7130547B2 (ja) ショベル及びショベル用周辺監視装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180301

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

K11-X000 Ip right revival requested

St.27 status event code: A-6-4-K10-K11-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180301

PR0401 Registration of restoration

St.27 status event code: A-6-4-K10-K13-oth-PR0401

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20250301

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20250301

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20250301