KR20220132753A - 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법 - Google Patents

굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20220132753A
KR20220132753A KR1020210037676A KR20210037676A KR20220132753A KR 20220132753 A KR20220132753 A KR 20220132753A KR 1020210037676 A KR1020210037676 A KR 1020210037676A KR 20210037676 A KR20210037676 A KR 20210037676A KR 20220132753 A KR20220132753 A KR 20220132753A
Authority
KR
South Korea
Prior art keywords
distance
camera
boom
target object
excavator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210037676A
Other languages
English (en)
Inventor
유욱현
김한솔
Original Assignee
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대두산인프라코어(주) filed Critical 현대두산인프라코어(주)
Priority to KR1020210037676A priority Critical patent/KR20220132753A/ko
Publication of KR20220132753A publication Critical patent/KR20220132753A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/05—Specific applications of the controlled vehicles for soil shifting, building, civil engineering or mining, e.g. excavators
    • G05D2201/021—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

본 개시물의 다양한 실시예들은 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법에 관한 것이다. 굴착기는, 붐에 배치되어 타겟 객체에 대한 영상을 획득하는 카메라, 상기 붐과 상부체를 회전 가능하게 결합시키는 붐 조인트에 배치되어, 붐에 대한 경사각을 측정하는 적어도 하나의 센서, 및 상기 카메라, 및 상기 적어도 하나의 센서와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 카메라에서 획득된 영상을 이용하여 상기 카메라에서 상기 타겟 객체까지의 거리를 계산하고, 상기 적어도 하나의 센서로부터 상기 붐에 대한 경사각을 획득하고, 상기 카메라에서 상기 타겟 객체까지의 거리 및 상기 붐에 대한 경사각을 기반으로, 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 결정할 수 있다.

Description

굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법{APPARATUS FOR MEASURING DISTANCE TO TARGET OBJECT IN EXCAVATOR AND OPERATION METHOD THEREOF}
본 개시물의 다양한 실시예들은 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법에 관한 것이다.
굴착기는 주로 토사를 굴착하는 장비로서, 토사 적재, 건물 기초 작업, 택지 조성 작업 및 화물 적재 등과 같은 다양한 작업을 할 수 있다. 굴착기는 작업자에 의해 조작되는 것이 일반적이나, 최근에는 제어 및 센싱 기술의 발달에 따라 작업자 없이 무인 운전이 가능한 굴착기에 대한 개발이 이루어지고 있다.
굴착기는 무인 운전을 위해, 굴착기에 탑재된 복수의 센서 장치들을 이용하여, 작업 공간 및 객체에 대한 정보를 획득하고, 획득된 정보를 기반으로 굴착 작업을 수행한다. 예를 들어, 복수의 IMU(inertial measurement unit) 센서들을 기반으로, 타겟 객체에 대한 정보를 획득하고, 이를 기반으로 굴착 작업을 수행할 수 있다.
그러나, 상술한 바와 같은 방식은 굴착기에 복수의 IMU 센서들을 장착해야 하므로, 비용 측면에서 비효율적인 단점이 있다.
따라서, 본 개시물의 다양한 실시예들은 굴착기에서 붐 카메라를 이용하여 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법을 제공함에 있다.
본 개시물의 다양한 실시예들은 굴착기의 붐에 장착된 카메라와 하나의 IMU센서를 이용하여 타겟 객체에 대한 거리를 측정하고, 측정된 거리를 활용하는 장치 및 그의 동작 방법을 제공함에 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시물이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시물의 다양한 실시예들에 따르면, 굴착기는, 붐에 배치되어 타겟 객체에 대한 영상을 획득하는 카메라, 상기 붐과 상부체를 회전 가능하게 결합시키는 붐 조인트에 배치되어, 붐에 대한 경사각을 측정하는 적어도 하나의 센서, 및 상기 카메라, 및 상기 적어도 하나의 센서와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 카메라에서 획득된 영상을 이용하여 상기 카메라에서 상기 타겟 객체까지의 거리를 계산하고, 상기 적어도 하나의 센서로부터 상기 붐에 대한 경사각을 획득하고, 상기 카메라에서 상기 타겟 객체까지의 거리 및 상기 붐에 대한 경사각을 기반으로, 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 결정할 수 있다.
본 개시물의 다양한 실시예들에 따르면, 굴착기의 동작 방법은, 붐에 배치된 카메라로부터 영상을 획득하는 동작, 상기 획득된 영상을 기반으로 상기 카메라에서 상기 타겟 객체까지의 거리를 계산하는 동작, 상기 굴착기의 붐 조인트에 배치된 적어도 하나의 센서로부터 상기 붐에 대한 경사각을 획득하는 동작, 및 상기 카메라에서 상기 타겟 객체까지의 거리와 상기 붐에 대한 경사각을 기반으로 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 결정하는 동작을 포함할 수 있다.
본 개시물의 다양한 실시예들에 따르면, 굴착기에서 붐 카메라와 하나의 IMU 센서를 이용하여 타겟 객체에 대한 거리를 측정함으로써, 3D Depth 카메라를 이용한 것과 같이 타겟 객체에 대한 거리를 정확하게 측정할 수 있으며, 비용을 절감할 수 있다. 또한, 측정된 거리를 기반으로 케빈(cabin)에 대한 침범 경고, 가상 펜스 등과 같은 다양한 기능을 수행하여 활용성을 향상시킬 수 있다.
도 1a는 본 개시물의 다양한 실시예들에 따른 붐 카메라가 구비된 굴착기를 도시한다.
도 1b는 본 개시물의 다양한 실시예들에 따른 붐 카메라를 이용하여 타겟 객체를 촬영하는 예시도이다.
도 2는 본 개시물의 다양한 실시예들에 따른 굴착기에 구비된 전자 장치의 블록도이다.
도 3은 본 개시물의 다양한 실시예들에 따른 굴착기에서 타겟 객체에 대한 거리를 측정하는 흐름도이다.
도 4는 본 개시물의 다양한 실시예들에 따른 붐 카메라의 획득 영상을 나타내는 도면이다.
도 5는 본 개시물의 다양한 실시예들에 따른 카메라에서 타겟 객체에 대한 작동 거리를 나타내는 도면이다.
도 6은 본 개시물의 다양한 실시예들에 따른 작동 거리와 카메라에서 타겟 객체까지의 실제 거리에 대한 관계를 나타내는 도면이다.
도 7a 및 도 7b는 본 개시물의 다양한 실시예들에 따른 로컬 좌표계를 나타내는 도면이다.
도 8은 본 개시물의 다양한 실시예들에 따른 붐 카메라의 획득 영상 내 버켓의 픽셀 좌표를 나타내는 도면이다.
도 9는 본 개시물의 다양한 실시예들에 따른 굴착기의 붐 조인트에서 버켓까지의 거리를 나타내는 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
본 개시물의 이점 및 특징, 그리고 그것들을 달성하는 장치 및 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시물은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 개시물의 개시가 완전하도록 하며, 본 개시물이 속하는 기술분야에서 통상의 지식을 가진 자에게 개시물의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시물은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 구성 요소가 다른 구성 요소와 "연결된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 구성 요소와 직접 연결 또는 커플링된 경우 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 "직접 연결된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시물을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
비록 제 1, 제 2 등이 다양한 구성 요소들을 서술하기 위해서 사용되나, 이들 구성 요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성 요소와 구별하기 위하여 사용하는 것이다.
따라서, 이하에서 언급되는 제 1 구성 요소는 본 개시물의 기술적 사상 내에서 제2 구성 요소 일 수도 있음은 물론이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시물이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 실시 예에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.
본 개시물의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다.
도 1a는 본 개시물의 다양한 실시예들에 따른 붐 카메라가 구비된 굴착기(100)를 도시한다. 굴착기(100)는, 조종자의 탑승 및 조작에 의해 동작되는 유인 굴착기, 조종자의 탑승과 상관없이 외부 조작에 의해 동작되는 무인 굴착기, 또는 조종자의 조작 및/또는 외부 조작없이 자율적으로 동작할 수 있는 자율 작업 굴착기 중 적어도 하나를 포함할 수 있다. 이하에서, 도 1a의 적어도 일부 구성 요소의 동작은 도 1b를 참조하여 설명한다. 도 1b는 본 개시물의 다양한 실시예들에 따른 붐 카메라를 이용하여 타겟 객체를 촬영하는 예시도이다.
도 1a를 참조하면, 굴착기(100)는 이동 역할을 하는 하부체(110), 하부체(110)에 탑재되어 360도 회전하는 상부체(120), 및 상부체(120)의 전방에 결합된 프론트 작업 장치(130)로 구성될 수 있다. 이와 같은 굴착기의 구성은 예시일 뿐, 본 개시물의 다양한 실시예들은 이에 한정되지 않는다. 예컨대, 전술한 굴착기(100)의 구성요소 외에 하나 이상의 다른 구성 요소(예: 하부체(110)의 후방에 결합된 플레이드 등)가 추가될 수도 있다.
다양한 실시예들에 따르면, 상부체(120)는 운전자가 탑승하여 조작할 수 있는 운전실(122)이 내장되고, 동력발생 장치(예: 엔진)가 장착될 수 있는 내부공간(미도시)이 구비될 수 있다. 운전실(122)은 작업 영역과 가까운 부분에 구비될 수 있다. 작업 영역은 굴착기(100)가 작업을 하는 공간으로서, 굴착기(100) 전방에 위치한다. 예를 들어, 탑승한 운전자가 확보된 시야 아래에서 작업을 진행하고, 프론트 작업 장치(130)가 장착되는 위치를 고려하여 운전실(122)은, 도 1a에서와 같이 작업 영역과 근접하면서 상부체(120)에서 일측으로 편향된 곳에 위치할 수 있다.
다양한 실시예들에 따르면, 프론트 작업 장치(130)는 상부체(120)의 상면에 장착되고, 토지 굴착이나 하중이 큰 물체의 운반 등의 작업을 진행하기 위한 장치일 수 있다. 일 실시예에 따르면, 프론트 작업 장치(130)는 상부체(120)에 회전 가능하게 결합되는 붐(131), 붐(131)을 회전시키는 붐 실린더(132), 붐(131)의 선단부에 회전 가능하게 결합되는 암(133), 암(133)을 회전시키는 암 실린더(134), 암(133)의 선단부에 회전 가능하게 결합되는 버켓(135), 버켓(135)을 회전시키는 버켓 실린더(136)를 포함할 수 있다. 굴착기(100)의 작업시에는 붐(131)의 일단과 암(133)의 일단 그리고 버켓(135)의 일단이 각각 개별적으로 회전 운동하여 버켓(135)이 도달할 수 있는 영역을 최대화할 수 있다. 전술한 프론트 작업 장치(130)는 많은 문서에서 공지되어 있는 바, 이에 대한 상세한 설명을 생략한다.
다양한 실시예들에 따르면, 하부체(110)는 상부체(120)의 하면에 결합될 수 있다. 하부체(110)는 바퀴를 사용하는 휠 타입 또는 무한궤도를 사용하는 크롤러 타입으로 형성된 주행체를 포함할 수 있다. 주행체는 동력발생 장치에 의해 발생되는 동력을 구동력으로 하여 굴착기(100)의 전후좌우 움직임을 구현할 수 있다.
다양한 실시예들에 따르면, 굴착기(100)는 굴착기(100)의 상태와 관련된 정보 및/또는 주변 환경과 관련된 정보를 수집하기 위한 다수의 센서들을 포함할 수 있다. 일실시예에 따르면, 굴착기(100)는 다수의 센서들로부터 획득되는 정보를 기반으로, 굴착기의 작업 영역, 및/또는 주변 장애물을 감지할 수 있다.
일실시예에 따르면, 굴착기(100)는 적어도 하나의 IMU 센서(미도시)를 포함할 수 있다. IMU 센서는 자이로스코프, 가속도계, 및 지자계 센서를 포함하여, 굴착기 및/또는 굴착기의 적어도 일부 구성 요소의 속도, 방향, 중력, 또는 가속도 중 적어도 하나를 측정할 수 있다. 일실시예에 따르면, IMU 센서는, 상부체(120)의 전면, 작업실(122)의 전면, 또는 붐 조인트(boom joint)에 배치될 수 있다. 붐 조인트는, 붐(131)과 상부체(120)를 회전 가능하게 결합시키는 관절부일 수 있다.
일실시예에 따르면, 굴착기(100)는 타겟 객체를 촬영하는 붐 카메라(140)를 포함할 수 있다. 붐 카메라(140)는 프런트 작업 장치(130)의 붐(131)에 배치된 단안 카메라일 수 있다. 예를 들어, 붐 카메라(140)는 도 1b에 도시된 바와 같이, 붐(131)에 배치되어 버켓(135)을 촬영하여 프리뷰 영상(151)을 획득할 수 있다.
도 2는 본 개시물의 다양한 실시예들에 따른 굴착기(100)에 구비된 전자 장치의(200) 블록도이다.
도 2를 참조하면, 전자 장치(200)는 프로세서(210), 센서 장치(220), 저장 장치(230), 출력 장치(240), 및 조작 장치(250)를 포함할 수 있다. 이는, 예시일 뿐, 본 개시물의 다양한 실시예들은 이에 한정되지 않는다. 예를 들어, 전자 장치(200)는 전술한 구성 요소들 이외에 다른 구성 요소(예: 유/무선 통신 장치)를 더 포함할 수 있다. 다른 예로, 전자 장치(110)에서 전술한 구성 요소들 중 적어도 하나가 생략되거나, 전술한 구성 요소들 중 적어도 둘 이상이 결합되어 하나의 구성 요소를 이룰 수 있다.
다양한 실시예들에 따르면, 저장 장치(230)는 전자 장치(200)의 적어도 하나의 구성요소(예를 들어, 프로세서(210), 센서 장치(220), 출력 장치(240), 또는 조작 장치(250))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 일 실시 예에 따르면, 저장 장치(230)는 굴착기(100)의 제원(예: 모델명, 고유번호, 기본 사양), 맵 데이터 등을 저장할 수 있다. 예를 들어, 저장 장치(230)는 비휘발성 메모리 장치 및 휘발성 메모리 장치 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 센서 장치(220)는 굴착기(100)에 구비된 다양한 센서들을 이용하여, 굴착기(100)의 상태, 굴착기(100)의 작업 영역, 또는 굴착기(100) 주변의 장애물 중 적어도 하나와 관련된 정보를 수집할 수 있다. 일실시예에 따르면, 센서 장치(220)는 굴착기(100)의 붐(131)에 배치된 붐 카메라(140)를 포함할 수 있다. 붐 카메라(140)는 프로세서(210)의 제어에 따라 구동되어, 타겟 객체를 촬영할 수 있다. 타겟 객체는, 예를 들어, 프론트 작업 장치(130)의 버켓(135)일 수 있다. 일실시예에 따르면, 센서 장치(220)는 적어도 하나의 IMU 센서를 포함할 수 있다. IMU 센서는 예를 들어, 붐 조인트에 배치되어, 붐의 경사각을 측정할 수 있다.
다양한 실시예들에 따르면, 출력 장치(240)는 굴착기(100)의 동작과 관련된 출력을 발생시킬 수 있다. 일 실시예에 따르면, 출력 장치(240)는 시각 정보를 출력하는 디스플레이, 청각 정보를 출력하는 오디오 데이터 출력 장치, 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자종이(electronic paper) 등을 포함할 수 있다. 또한, 오디오 데이터 출력 장치는, 굴착기(100)에 포함되거나, 굴착기(100)에 유/무선을 통해 연결된 스피커, 이어폰, 이어셋 또는 헤드셋 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 디스플레이는, 붐 카메라(140)에 의해 획득되는 영상(이미지)을 디스플레이할 수 있다.
다양한 실시예들에 따르면, 조작 장치(250)는 굴착기(300)의 적어도 일부분을 조작(또는 제어)할 수 있다. 예를 들어, 조작 장치(250)는 프론트 작업 장치(130)의 붐(131), 암(133), 또는 버켓(135) 중 적어도 하나의 움직임을 조작할 수 있는 레버, 하부체(110)의 조향을 조작하기 위한 핸들, 또는 굴착기(100)의 이동 속도 또는 전후방 주행을 조작하기 위한 변속 레버 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 조작 장치(250)는 프로세서(210)로부터 수신되는 제어 명령 또는 데이터에 따라 굴착기(300)의 적어도 일부분을 조작할 수 있다. 예를 들어, 조작 장치(250)는 프로세서(210)로부터 입력되는 제어 명령에 따라 버켓(135)의 움직임을 조작할 수 있다.
다양한 실시예들에 따르면, 프로세서(210)는 굴착기(100)의 전반적인 동작을 제어하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(210)는, 저장 장치(230)에 저장된 소프트웨어(예를 들어, 프로그램)를 실행하여, 프로세서(210)에 연결된 구성 요소(예를 들어, 센서 장치(220), 출력 장치(240), 또는 조작 장치(250)) 중 적어도 하나의 구성 요소를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(210)는 다른 구성 요소로부터 수신된 명령 또는 데이터를 저장 장치(230)에 저장하고, 저장 장치(230)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장 장치(230)에 저장할 수 있다. 프로세서(210)는 메인 프로세서, 및 메인 프로세서와 독립적으로 또는 함께 운영 가능한 보조 프로세서로 구성될 수 있다. 일 실시예에 따르면, 프로세서(210)는 전술한 구성 요소(예를 들어, 센서 장치(220), 출력 장치(240), 또는 조작 장치(250)))와 CAN(Controller Area Network) 통신을 수행할 수 있으나, 본 개시가 이에 한정되는 것은 아니다.
다양한 실시예들에 따르면, 프로세서(210)는 붐 카메라(140)의 구동을 제어하고, 구동 중인 붐 카메라(140)로부터 타겟 객체를 포함하는 영상을 획득할 수 있다. 프로세서(210)는 타겟 객체를 포함하는 영상과 IMU 센서로부터 획득되는 붐의 경사각을 기반으로 붐 조인트에서 타겟 객체까지의 거리를 계산할 수 있다.
일실시예에 따르면, 프로세서(210)는 획득된 영상 내에서 타겟 객체의 너비를 측정하고, 측정된 타겟 객체의 너비와 타겟 객체의 실측 너비를 기반으로 타겟 객체에 대한 작동 거리(working distance)를 계산할 수 있다. 타겟 객체에 대한 작동 거리는, 타겟 객체에 초점을 정확히 맞추었을 때, 렌즈와 영상 사이의 거리를 의미할 수 있다. 타겟 객체에 대한 실측 너비는, 사전에 줄자 혹은 별도의 툴을 이용하여 측정될 수 있으며, 저장 장치(230)에 미리 저장될 수 있다. 예를 들어, 프로세서(210)는 획득된 영상에서 타겟 객체인 버켓을 인식하고, 버켓의 양 끝단의 픽셀 값들을 기반으로, 영상 내 버켓의 너비를 계산할 수 있다. 프로세서(210)는 영상 내 버켓의 너비와 미리 저장된 버켓의 실측 너비를 기반으로, 버켓에 대한 작동 거리를 계산할 수 있다.
일실시예에 따르면, 프로세서(210)는 붐 카메라(140)의 촬영 방향을 기준으로 로컬 좌표계(local coordinate)를 생성하고, 생성된 로컬 좌표계를 기반으로 붐 카메라(140)에서 타겟 객체까지의 실제 거리를 계산할 수 있다. 로컬 좌표계의 원점은 붐 카메라(140)의 렌즈 위치에 해당하고, x축은 타겟 객체에 대한 작동 거리에 대응되는 선분을 기준으로 설정될 수 있다. 프로세서(210)는 로컬 좌표계의 원점에서 타겟 객체를 잇는 선분과 x축 사이의 제1 각도(θ1)를 계산하고, 제1 각도를 기반으로, 카메라에서 타겟 객체까지의 실제 거리를 계산할 수 있다.
일실시예에 따르면, 프로세서(210)는 IMU 센서로부터 붐 경사각을 획득하고, 붐 경사각과 카메라에서 타겟 객체까지의 실제 거리를 기반으로, 붐 조인트에서 타겟 객체까지의 거리를 계산할 수 있다.
일실시예에 따르면, 프로세서(210)는 가상 펜스 기능 수행 시, 붐 조인트에서 타겟 객체까지의 거리를 기반으로, 굴착기(100)의 적어도 일부분을 조작할 수 있다. 가상 펜스 기능은, 프론트 작업 장치가 설정된 가상 펜스 영역 내에서만 동작하도록 프론트 작업 장치(130)의 작업 영역을 제한(예: 높이 제한, 깊이 제한, 전방 제한)하는 기능일 수 있다. 예를 들어, 프로세서(210)는 붐 조인트에서 버켓(135)까지의 거리를 기반으로 버켓(135), 암(133), 또는 붐(131) 중 적어도 하나에 대한 조작 명령을 생성하고, 생성된 조작 명령을 조작 장치(250)로 제공하여, 버켓이 가상 펜스 영역을 벗어나지 않도록 제어할 수 있다. 다른 예로, 프로세서(210)는 붐 조인트에서 버켓(135)까지의 거리를 기반으로 버켓(135), 암(133), 또는 붐(131) 중 적어도 하나에 대한 조작 명령을 생성하고, 생성된 조작 명령을 조작 장치(250)로 제공하여, 버켓(135)이 굴착기(100)의 다른 구성 요소(예: 상부체(120), 운전실(122), 하부체(100), 또는 도저(미도시))와 충돌하지 않도록 제어할 수 있다.
상술한 실시예에서는, 전자 장치(200)가 굴착기(100)에 구비된 것을 예로 들어 설명하였으나, 전자 장치(200)의 구성 요소들 중 적어도 일부 구성 요소는 굴착기에 직접 구비되지 않고, 굴착기의 외부에 존재하는 외부 조작 장치에 포함될 수도 있다. 예를 들어, 전자 장치(200)의 구성 요소들 중 센서 장치(220), 및 제어 장치(250)는 굴착기(100)에 구비되고, 프로세서(210), 출력 장치(240), 및 저장 장치(230)는 외부 조작 장치에 포함될 수 있다. 이 경우, 굴착기에 구비된 각 구성 요소들과 외부 조작 장치는 유/무선 통신이 가능하도록 구성될 수 있다.
도 3은 본 개시물의 다양한 실시예들에 따른 굴착기에서 타겟 객체에 대한 거리를 측정하는 흐름도이다. 도 3에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 또한, 이하의 동작들은 굴착기(100)에 포함되는 전자 장치(200) 및/또는 전자 장치(200)의 프로세서(210)에 의해 수행되거나, 전자 장치(200) 및/또는 프로세서(210)에 의해 실행 가능한 명령어들로 구현될 수 있다.
이하에서 도 3의 적어도 일부 동작은 도 4 내지 도 9를 참조하여 설명할 것이다. 도 4는 본 개시물의 다양한 실시예들에 따른 붐 카메라의 획득 영상을 나타내는 도면이다. 도 5는 본 개시물의 다양한 실시예들에 따른 카메라에서 타겟 객체에 대한 작동 거리를 나타내는 도면이고, 도 6은 본 개시물의 다양한 실시예들에 따른 작동 거리와 카메라에서 타겟 객체까지의 실제 거리에 대한 관계를 나타내는 도면이다. 도 7a 및 도 7b는 본 개시물의 다양한 실시예들에 따른 로컬 좌표계를 나타내는 도면이고, 도 8은 본 개시물의 다양한 실시예들에 따른 붐 카메라의 획득 영상 내 버켓의 픽셀 좌표를 나타내는 도면이다. 도 9는 본 개시물의 다양한 실시예들에 따른 굴착기의 붐 조인트에서 버켓까지의 거리를 나타내는 도면이다.
도 3을 참조하면, 굴착기(100)는 동작 S301에서, 카메라로부터 획득된 영상 내 타겟 객체의 너비를 측정할 수 있다. 일실시예에 따르면, 프로세서(210)는 굴착기(100)의 붐(131)에 배치된 카메라(140)으로부터, 타겟 객체인 버켓을 포함하는 영상을 획득할 수 있다. 프로세서(210)는 획득된 영상에서 버켓의 너비를 측정할 수 있다. 예를 들어, 프로세서(210)는 도 4에 도시된 바와 같이, 버켓(135)을 포함하는 영상(400)에서, 버켓(135)의 양 끝단(401, 403)의 픽셀 값들을 확인할 수 있다. 프로세서(210)는 확인된 버켓(135)의 양 끝단(401, 403)의 픽셀 값들을 기반으로 영상 내 버켓(또는 버켓의 끝단)에 대한 너비를 계산할 수 있다.
동작 S303에서, 굴착기(100)는 측정된 타겟 객체의 너비를 기반으로, 카메라와 타겟 객체 사이의 거리를 계산할 수 있다. 일실시예에 따르면, 프로세서(210)는 측정된 타겟 객체의 너비와 실측 너비를 기반으로 타겟 객체에 대한 작동 거리(working distance)를 계산할 수 있다. 타겟 객체에 대한 작동 거리는 예를 들어, 도 5에 도시된 바와 같이, 타겟 객체인 버켓에 초점을 맞춘 상태에서의 카메라의 렌즈(500)와 타겟 객체인 버켓을 포함하는 영상(400) 사이의 거리(501, dw)일 수 있다. 타겟 객체인 버켓에 대한 작동 거리는, 하기 수학식 1과 같이 계산될 수 있다.
Figure pat00001
수학식 1에서, WD는 버켓(또는 버켓의 끝단)에 대한 작동 거리(dw, 501)를 의미하고, fBucketWidth는 버켓(또는 버켓의 끝단)에 대한 실측 너비를 의미할 수 있다. FocalLength는 초점 거리(f, 511)를 의미하고, fBucketWidthPixelValue는 영상에서 버켓의 양 끝단의 픽셀 값들을 기반으로 계산된 너비를 의미할 수 있다. SensorWidth는 카메라 센서의 너비를 의미하고, ScreenWidth는 화면 해상도 너비를 의미할 수 있다. 일실예에 따르면, fBucketWidth, SensorWidth, 및 ScreenWidth는 저장 장치(230)에 미리 저장된 값일 수 있다.
일실시예에 따르면, 프로세서(210)는 수학식 1과 같이 작동 거리를 계산한 후, 작동 거리를 기반으로 카메라(140)와 타겟 객체 사이의 실제 거리를 계산할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 타겟 객체인 버켓(135)의 끝단에 대한 작동 거리(WD, 501)와 대응되는 선분과 카메라(140)와 버켓(135) 끝단 사이의 실제 거리(601)는 차이가 있으며, 작동 거리(501)에 대응되는 선분과 실제 거리(601)에 대응되는 선분의 사잇각은 제1 각도(θ1, 603)로 표현될 수 있다.
프로세서(210)는 작동 거리(501)에 대응되는 선분과 실제 거리(601)에 대응되는 선분 사이의 제1 각도(θ1, 603)를 획득하기 위해, 도 7a 및 도 7b에 도시된 바와 같이 붐 카메라(140)의 촬영 방향을 기준으로 로컬 좌표계(local coordinate)를 생성할 수 있다. 이때, 생성된 로컬 좌표계의 원점은 붐 카메라(140)의 렌즈 위치에 해당하고, x축(701)은 타겟 객체에 대한 작동 거리에 대응되는 선분을 기준으로 설정될 수 있다. 프로세서(210)는 로컬 좌표계를 기반하여, 하기 수학식 2와 같은 방식으로 제1 각도를 계산할 수 있다.
Figure pat00002
Figure pat00003
수학식 2에서, Theta는 작동 거리(501)에 대응되는 선분과 실제 거리(601)에 대응되는 선분 사이의 제1 각도(θ1, 603)를 의미할 수 있다. BucketPixelPosY는 도 8에 도시된 바와 같이, 영상 내 버켓의 양 끝단의 중간 지점에 대한 좌표 값(811) 중 y축 값을 의미할 수 있다. ScreenHeigth 화면 해상도 높이를 의미하며, SensorHeight는 카메라 센서의 높이를 의미할 수 있다. focalLength는 초점 거리(f, 511)를 의미할 수 있다. 그리고 |x|는 절대값을 구하는 함수이고, arctan은 아크탄젠트 값을 구하는 함수이다.
일실시예에 따르면, 프로세서(210)는 하기 수학식 3과 같이 제1 각도를 기반으로, 카메라에서 타겟 객체인 버켓 끝단까지의 실제 거리를 계산할 수 있다.
Figure pat00004
수학식 3에서, DisTanceToBucket은, 카메라(140)에서 버켓 끝단까지의 실제 거리를 의미하며, WD는 카메라(140)에서 버켓 끝단까지의 작동 거리를 의미하고, Theta는 수학식 2에서 구한 작동 거리에 대응되는 선분과 실제 거리에 대응되는 선분 사이의 사잇각인 제1 각도를 의미할 수 있다.
동작 S305에서, 굴착기(100)는 IMU 센서로부터 붐 경사각에 대한 정보를 획득할 수 있다. 일실시예에 따르면, IMU 센서는 굴착기(100)의 붐 조인트(boom joint)에 배치된 센서일 수 있다. 일실시예에 따르면, 붐 경사각은, 지면에 대한 붐의 경사각을 나타낼 수 있다.
동작 S307에서, 굴착기(100)는 붐 경사각, 및 카메라와 타겟 객체 사이의 거리를 기반으로, 붐 조인트에서 타겟 객체까지의 거리를 계산할 수 있다. 일실시예에 따르면, 붐 조인트에서 타겟 객체까지의 거리는 도 9에 도시된 바와 같이 표현될 수 있다. 도 9를 참조하면, 붐 조인트에서 타겟 객체인 버켓 끝단까지의 거리(921)는 붐 경사각(α, 911), 카메라에서 붐 조인트까지의 거리(901), 카메라에서 버켓 끝단까지의 거리(601), 카메라의 시야각, 및 카메라 장착 시 결정되는 붐과 카메라 시야각 중심 사이의 각도를 기반으로 결정될 수 있다. 예를 들어, 프로세서(210)는 하기 수학식 4와 같이, 붐 조인트에서 타겟 객체인 버켓까지의 거리(921)를 계산할 수 있다.
Figure pat00005
수학식 4에서, DisBjtoBucket은, 붐 조인트에서 버켓 끝단까지의 거리(921)를 의미하며, camToJointLength는, 카메라에서 붐 조인트까지의 거리(901)를 의미할 수 있다. disTanceToBucket은, 카메라에서 버켓 끝단까지의 실제 거리(601)를 의미하고, α는 붐 경사각(911)을 의미할 수 있다. β는 카메라의 시야각의 절반에 해당하는 각도일 수 있으며, γ는 붐에 카메라를 장착하는 시점에 결정되는 각도로, 붐과 카메라의 시야각 중심 사이의 각도일 수 있다. 여기서, camToJointLength, β, 또는 γ 중 적어도 하나는 저장 장치(230)에 미리 저장될 수 있다.
본 개시물의 다양한 실시예들에 따르면, 프로세서(210)는 붐 조인트에서 타겟 객체인 버켓 끝단 까지의 거리를 기반으로, 버켓이 케빈(CABIN, 931)에 충돌하는 것을 방지하거나, 버켓이 지정된 가상 펜스를 벗어나지 않도록, 굴착기(100)의 적어도 하나의 구성 요소(예: 버켓(135), 암(133), 또는 붐(131))를 제어 및/또는 조작할 수 있다. 일실시예에 따르면, 프로세서(210)는 붐 조인트에서 타겟 객체인 버켓 끝단 까지의 거리를 기반으로, 버켓이 캐빈(CABIN, 931)에 충돌할 위험성이 있음을 경고하는 알림음 및/또는 알림 메시지가 출력되도록 출력 장치(240)를 제어할 수 있다.
상술한 바와 같이, 본 개시물의 다양한 실시예들에서는 굴착기에서 타겟 객체(예: 버켓)까지의 거리를 측정하는 장치 및 그의 동작 방법에 대해 설명하였으나, 상술한 바와 같은 장치 및 방법은, 반드시 굴착기에 한정되는 것은 아니다. 예를 들어, 본 개시물의 실시예들은 적어도 하나의 카메라와 IMU 센서를 갖는 다른 건설 기계에도 동일한 방식으로 적용될 수 있다.
100: 굴착기 110: 하부체
120: 상부체 122: 운전실
130: 프론트 작업 장치 131: 붐
132: 붐 실린더 133: 암
134: 암 실린더 136: 버켓 실린더
135: 버켓 140: 카메라

Claims (15)

  1. 굴착기에 있어서,
    붐에 배치되어 타겟 객체에 대한 영상을 획득하는 카메라;
    상기 붐과 상부체를 회전 가능하게 결합시키는 붐 조인트에 배치되어, 붐에 대한 경사각을 측정하는 적어도 하나의 센서; 및
    상기 카메라, 및 상기 적어도 하나의 센서와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는,
    상기 카메라에서 획득된 영상을 이용하여 상기 카메라에서 상기 타겟 객체까지의 거리를 계산하고,
    상기 적어도 하나의 센서로부터 상기 붐에 대한 경사각을 획득하고,
    상기 카메라에서 상기 타겟 객체까지의 거리 및 상기 붐에 대한 경사각을 기반으로, 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 결정하는 굴착기.
  2. 제1항에 있어서,
    상기 타겟 객체는, 상기 굴착기의 버켓인 굴착기.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 획득된 영상에서 상기 버켓의 양 끝단의 픽셀 값들을 기반으로, 상기 버켓에 대한 너비를 측정하고,
    상기 측정된 너비를 기반으로, 상기 카메라와 상기 버켓 끝단 사이의 거리를 계산하는 굴착기.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 측정된 너비와 상기 버켓의 실측 너비를 기반으로, 상기 카메라에서 상기 버켓에 대한 작동 거리를 계산하고,
    상기 계산된 작동 거리를 기반으로, 상기 카메라와 상기 버켓 끝단 사이의 실제 거리를 계산하는 굴착기.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 카메라가 향하는 방향을 기반으로 로컬 좌표계를 생성하고,
    상기 생성된 로컬 좌표계를 기반으로, 상기 작동 거리에 대응되는 선분과 상기 실제 거리에 대응되는 선분 사이의 각도를 계산하고,
    상기 작동 거리와 상기 계산된 각도를 기반으로, 상기 실제 거리를 계산하는 굴착기.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 실제 거리, 상기 계산된 각도, 상기 카메라에서 상기 붐 조인트까지의 거리, 상기 붐에 대한 경사각, 상기 카메라의 시야각, 및 상기 붐과 상기 카메라의 시야각 중심 사이의 각도를 기반으로, 상기 붐 조인트에서 상기 버켓 끝단까지의 거리를 결정하는 굴착기.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 굴착기의 프론트 작업 장치의 작업 영역을 제한하는 가상 펜스를 설정하고,
    결정된 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 기반으로 상기 타겟 객체가 상기 가상 펜스 영역을 벗어나지 않도록 제어하는, 굴착기.
  8. 굴착기의 동작 방법에 있어서,
    붐에 배치된 카메라로부터 영상을 획득하는 동작;
    상기 획득된 영상을 기반으로 상기 카메라에서 타겟 객체까지의 거리를 계산하는 동작;
    상기 굴착기의 붐 조인트에 배치된 적어도 하나의 센서로부터 상기 붐에 대한 경사각을 획득하는 동작; 및
    상기 카메라에서 상기 타겟 객체까지의 거리와 상기 붐에 대한 경사각을 기반으로 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 결정하는 동작을 포함하는 방법.
  9. 제8항에 있어서,
    상기 타겟 객체는 상기 굴착기의 버켓인, 방법.
  10. 제9항에 있어서,
    상기 카메라에서 상기 타겟 객체까지의 거리를 계산하는 동작은,
    상기 획득된 영상에서 상기 버켓의 양 끝단의 픽셀 값들을 기반으로, 상기 버켓에 대한 너비를 측정하는 동작; 및
    상기 측정된 너비를 기반으로, 상기 카메라와 상기 버켓 끝단 사이의 거리를 계산하는 동작을 포함하는 방법.
  11. 제10항에 있어서,
    상기 카메라와 상기 버켓 끝단 사이의 거리를 계산하는 동작은,
    상기 측정된 너비와 상기 버켓의 실측 너비를 기반으로, 상기 카메라에서 상기 타겟 객체에 대한 작동 거리를 계산하는 동작; 및
    상기 계산된 작동 거리를 기반으로, 상기 카메라와 상기 버켓 끝단 사이의 실제 거리를 계산하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 계산된 작동 거리를 기반으로, 상기 카메라와 상기 버켓 끝단 사이의 실제 거리를 계산하는 동작은,
    상기 카메라가 향하는 방향을 기반으로 생성되는 로컬 좌표계를 이용하여 상기 작동 거리에 대응되는 선분과 상기 실제 거리에 대응되는 선분 사이의 각도를 계산하는 동작; 및
    상기 계산된 작동 거리와 상기 계산된 각도를 기반으로, 상기 실제 거리를 계산하는 동작을 포함하는 방법.
  13. 제12항에 있어서,
    상기 붐 조인트에서 상기 타겟 객체까지의 거리는,
    상기 실제 거리, 상기 계산된 각도, 상기 카메라에서 상기 붐 조인트까지의 거리, 상기 붐에 대한 경사각, 상기 카메라의 시야각, 및 상기 붐과 상기 카메라의 시야각 중심 사이의 각도를 기반으로 결정되는 방법.
  14. 제8항에 있어서, 상기 방법은,
    상기 굴착기의 프론트 작업 장치의 작업 영역을 제한하는 가상 펜스를 설정하는 동작; 및
    결정된 상기 붐 조인트에서 상기 타겟 객체까지의 거리를 기반으로 상기 타겟 객체가 상기 가상 펜스 영역을 벗어나지 않도록 제어하는 동작을 더 포함하는, 방법.
  15. 컴퓨터 판독 가능 저장 매체에 있어서,
    컴퓨터 상에서 실행될 때, 제8항 내지 제14항 중 어느 하나의 항에 따른 방법을 수행하는 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능 저장 매체.




KR1020210037676A 2021-03-24 2021-03-24 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법 Pending KR20220132753A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210037676A KR20220132753A (ko) 2021-03-24 2021-03-24 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037676A KR20220132753A (ko) 2021-03-24 2021-03-24 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220132753A true KR20220132753A (ko) 2022-10-04

Family

ID=83600158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037676A Pending KR20220132753A (ko) 2021-03-24 2021-03-24 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR20220132753A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080526A1 (ko) 2022-10-14 2024-04-18 주식회사 엘지에너지솔루션 배터리 교환 스테이션 및 이의 동작 방법
KR20260037406A (ko) 2024-09-10 2026-03-17 삼성물산 주식회사 굴착기 양중 모니터링 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080526A1 (ko) 2022-10-14 2024-04-18 주식회사 엘지에너지솔루션 배터리 교환 스테이션 및 이의 동작 방법
KR20260037406A (ko) 2024-09-10 2026-03-17 삼성물산 주식회사 굴착기 양중 모니터링 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Similar Documents

Publication Publication Date Title
JP6987186B2 (ja) 表示システム、建設機械、及び表示方法
KR102708684B1 (ko) 굴삭기, 정보처리장치
EP3635185B1 (en) An information system for a working machine
JP7058569B2 (ja) 作業機械
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
US11732439B2 (en) Remote control system and main control device
JP6322612B2 (ja) 施工管理システム及び形状計測方法
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
CN107076555A (zh) 作业机械的显示系统及作业机械
CN110494613A (zh) 工作机械
US20220316188A1 (en) Display system, remote operation system, and display method
US12227922B2 (en) Work machine
JP6585697B2 (ja) 施工管理システム
WO2018179596A1 (ja) 建設機械
CN105829616A (zh) 作业车和倾斜角度的取得方法
AU2020212919B2 (en) System and method for work machine
KR20220132753A (ko) 굴착기에서 타겟 객체에 대한 거리를 측정하는 장치 및 그의 동작 방법
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
US20230339402A1 (en) Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
JP6606230B2 (ja) 形状計測システム
JP7544651B2 (ja) 建設機械
CN118215772A (zh) 监视区域设定系统
JP2025038550A (ja) 作業システム
KR20240155643A (ko) 건설 장비의 수치 정보 획득 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)