KR102749005B1 - 거리 추정 방법 및 장치 - Google Patents

거리 추정 방법 및 장치 Download PDF

Info

Publication number
KR102749005B1
KR102749005B1 KR1020180120158A KR20180120158A KR102749005B1 KR 102749005 B1 KR102749005 B1 KR 102749005B1 KR 1020180120158 A KR1020180120158 A KR 1020180120158A KR 20180120158 A KR20180120158 A KR 20180120158A KR 102749005 B1 KR102749005 B1 KR 102749005B1
Authority
KR
South Korea
Prior art keywords
image
lane
target length
distance estimation
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180120158A
Other languages
English (en)
Other versions
KR20200040374A (ko
Inventor
이재우
구자후
이원주
현윤석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180120158A priority Critical patent/KR102749005B1/ko
Priority to US16/591,016 priority patent/US11138750B2/en
Priority to EP19201702.8A priority patent/EP3637313B1/en
Priority to CN201910953997.5A priority patent/CN111024040B/zh
Publication of KR20200040374A publication Critical patent/KR20200040374A/ko
Application granted granted Critical
Publication of KR102749005B1 publication Critical patent/KR102749005B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

거리 추정 방법 및 장치가 제공된다. 거리 추정 장치는 입력 이미지에 나타나는 선행 차량의 이미지 폭 및 차로의 이미지 폭 간의 비율에 기초하여 선행 차량의 실제 폭을 추정할 수 있고, 선행 차량의 실제 폭 및 선행 차량의 이미지 폭에 기초하여 선행 차량까지의 거리를 산출할 수 있다.

Description

거리 추정 방법 및 장치{METHOD AND DEVICE TO ESTIMATE DISTANCE}
이하, 거리를 추정하는 기술이 제공된다.
자율주행(예를 들어, ADAS(Advanced Driver Assistance System) 등) 에서는 ACC(Active Cruise Control) 기술이 필수적이다. ACC 기술은 현재 차량이 주행하고 있는 차로 내에서 선행하는 차량의 속도를 센싱하고, 차량이 선행하는 차량과 일정거리를 유지하며 주행함으로써 충돌하지 않도록, 차량의 속도를 조절하는 기술이다.
현재 출시되고 있는 차량들 중 일부는 원하는 타겟 속도를 입력하면, 선행하는 차량이 없는 경우 타겟 속도로 주행하고, 선행하는 차량이 나타나면 그에 맞추어 속도를 줄여서 일정 거리를 유지하는 기능을 포함하고 있다. 이러한 기술 구현을 위해서는 다른 차량까지의 거리를 안정적으로 측정하는 기술이 요구된다.
일 실시예에 따른 거리 추정 방법은, 객체의 대상 지점들(target points)에 대응하는 실제 대상 길이(real target length)를 획득하는 단계; 입력 이미지로부터 상기 실제 대상 길이에 대응하는 이미지 대상 길이(image target length)를 산출하는 단계; 및 상기 객체의 상기 실제 대상 길이, 상기 이미지 대상 길이, 및 초점 길이(focal length)에 기초하여 거리 추정 장치로부터 상기 객체까지의 거리를 추정하는 단계를 포함할 수 있다.
상기 실제 대상 길이를 획득하는 단계는, 상기 입력 이미지에 나타나는 차로 경계선 및 상기 이미지 대상 길이에 기초하여, 상기 실제 대상 길이를 산출하는 단계를 포함할 수 있다.
상기 입력 이미지에 기초하여 상기 실제 대상 길이를 산출하는 단계는, 상기 입력 이미지로부터 상기 객체가 위치한 차로에 대응하는 이미지 차로 폭(image lane width) 및 상기 이미지 대상 길이 간의 비율을 산출하는 단계; 및 상기 비율에 기초하여 실제 차로 폭(real lane width)으로부터 상기 실제 대상 길이를 추정하는 단계를 포함할 수 있다.
상기 비율을 산출하는 단계는, 상기 입력 이미지에서 상기 객체가 위치한 차로(lane)에 대한 차로 경계선을 추정하는 단계; 및 상기 추정된 차로 경계선에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함할 수 있다.
상기 차로 경계선을 추정하는 단계는, 상기 입력 이미지에서 서로 같은 선(line)에 대응하는 부분들을 보간(interpolate)함으로써 상기 차로 경계선을 검출하는 단계를 포함할 수 있다.
상기 이미지 대상 길이를 산출하는 단계는, 상기 입력 이미지로부터 상기 객체에 대응하는 바운딩 박스를 검출하는 단계; 및 상기 바운딩 박스로부터 상기 이미지 대상 길이를 결정하는 단계를 포함하고, 상기 이미지 차로 폭을 결정하는 단계는, 상기 바운딩 박스의 밑변(base line)의 연장선(extension line)과 상기 차로 경계선이 교차하는 지점에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함할 수 있다.
상기 이미지 대상 길이를 산출하는 단계는, 상기 입력 이미지로부터 상기 객체의 자세(pose)를 추정하는 단계; 및 상기 자세에 기초하여 상기 이미지 대상 길이를 결정하는 단계를 포함하고, 상기 이미지 차로 폭을 결정하는 단계는, 상기 입력 이미지에서 상기 객체의 자세에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함할 수 있다.
상기 이미지 대상 길이를 산출하는 단계는, 상기 입력 이미지로부터 상기 객체에 대응하는 3차원 바운딩 박스를 검출하는 단계; 및 상기 3차원 바운딩 박스에 기초하여 상기 이미지 대상 길이를 결정하는 단계를 포함하고, 상기 이미지 차로 폭을 결정하는 단계는, 상기 3차원 바운딩 박스를 구성하는 후면(rear face)의 밑변의 연장선과 상기 차로 경계선이 교차하는 지점에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함할 수 있다.
상기 실제 대상 길이를 추정하는 단계는, 상기 입력 이미지를 지면에 투영(project)한 투영도(projection image)에 기초하여, 상기 실제 차로 폭을 추정하는 단계를 포함할 수 있다.
상기 실제 차로 폭을 추정하는 단계는, 상기 투영도에서 상기 객체가 위치한 차로에 대응하는 차로 경계선들을 식별하는 단계; 및 상기 식별된 차로 경계선들 중 거리 추정 장치로부터 임계 거리 이내의 경계선들 간의 수평 간격에 기초하여 상기 실제 차로 폭을 추정하는 단계를 포함할 수 있다.
상기 실제 대상 길이를 추정하는 단계는, 현재 도로에 대응하는 맵 데이터로부터 상기 객체가 위치한 차로의 상기 실제 차로 폭을 획득하는 단계를 포함할 수 있다.
상기 이미지 차로 폭 및 상기 객체에 대응하는 이미지 대상 길이 간의 비율을 산출하는 단계는, 상기 입력 이미지에서 차로 경계선들 사이의 간격에 대응하는 픽셀 거리(pixel distance) 및 상기 객체의 폭에 대응하는 픽셀 거리 간의 비율을 산출하는 단계를 포함할 수 있다.
상기 비율에 기초하여 실제 차로 폭으로부터 상기 실제 대상 길이를 추정하는 단계는, 현재 프레임에서 상기 객체가 위치하는 차로에 대응하는 차로 경계선이 식별되는 지점이 이전 프레임에서 식별된 지점보다 가까운 경우에 응답하여, 상기 현재 프레임에서 차로 경계선이 식별되는 지점에 기초하여 상기 실제 차로 폭을 업데이트하는 단계를 포함할 수 있다.
상기 이미지 차로 폭 및 상기 객체에 대응하는 이미지 대상 길이 간의 비율을 산출하는 단계는, 상기 객체가 위치한 차로의 폭 변화(width change)가 임계 변화를 초과하는 경우에 응답하여, 상기 객체의 실제 대상 길이에 대한 추정을 배제하는 단계를 포함할 수 있다.
상기 실제 대상 길이를 획득하는 단계는, 이전 프레임에서 획득된 이전 대상 길이가 할당된 객체를 추적(track)하는 단계; 및 상기 추적된 객체의 현재 프레임에 대한 현재 대상 길이를 이전 프레임에서 획득된 상기 이전 대상 길이로 결정하는 단계를 포함할 수 있다.
상기 이전 프레임에서 획득된 이전 대상 길이가 할당된 객체를 추적하는 단계는, 상기 이전 프레임에서 추가 센서에 기초하여 상기 객체의 상기 이전 대상 길이를 추정하는 단계; 및 상기 객체에 대해 상기 추정된 이전 대상 길이를 할당 하는 단계를 포함할 수 있다.
상기 실제 대상 길이를 획득하는 단계는, 상기 입력 이미지에 나타난 객체의 시각적 외형(visual appearance)에 기초하여 상기 객체에 대응하는 객체 치수 정보(object dimension information)를 결정하는 단계; 및 상기 객체 치수 정보로부터 상기 실제 대상 길이를 획득하는 단계를 포함할 수 있다.
상기 거리를 추정하는 단계는, 상기 실제 대상 길이 및 상기 이미지 대상 길이 간의 비율에 기초하여 상기 초점 길이로부터 상기 거리를 산출하는 단계를 포함할 수 있다.
일 실시예에 따른 거리 추정 장치에 있어서, 전방에 대한 입력 이미지를 획득하는 이미지 센서; 및 객체의 대상 지점들에 대응하는 실제 대상 길이를 획득하고, 상기 입력 이미지로부터 상기 실제 대상 길이에 대응하는 이미지 대상 길이를 산출하며, 상기 객체의 상기 실제 대상 길이, 상기 이미지 대상 길이, 및 초점 길이에 기초하여 상기 거리 추정 장치로부터 상기 객체까지의 거리를 추정하는 프로세서를 포함할 수 있다.
도 1은 일 실시예에 따른 거리 추정 장치 및 선행 객체를 설명하는 도면이다.
도 2는 일 실시예에 따른 거리 추정 방법을 설명하는 흐름도를 도시한다.
도 3은 일 실시예에 따른 거리 추정 과정을 상세히 설명하는 도면이다.
도 4는 일 실시예에 따른 실제 차로 폭의 추정을 설명하는 도면이다.
도 5 및 도 6은 일 실시예에 따른 차량 폭의 추정을 설명하는 도면이다.
도 7은 일 실시예에 따른 거리 추정을 탑뷰(top view)에서 설명하는 도면이다.
도 8은 일 실시예에 따른 거리 추정 장치의 구성을 설명하는 블록도를 도시한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 거리 추정 장치 및 선행 객체를 설명하는 도면이다.
일 실시예에 따른 거리 추정 장치(110)는 선행 객체(190)와의 거리(119)를 추정할 수 있다. 선행 객체(190)와의 거리(119)는 거리 추정 장치(110)로부터 선행 객체(190)까지의 직선 거리(119)를 나타낼 수 있다. 거리 추정 장치(110)는 이미지 센서를 통해 입력 이미지를 획득할 수 있고, 입력 이미지에 기초하여 선행 객체(190)까지의 거리(119)를 추정할 수 있다.
소실점을 이용한 거리 추정은 카메라의 움직임(예를 들어, 피치(pitch) 움직임 등)으로 인해 소실점이 변경될 경우, 오차를 나타낼 수 있다. 차량이 과속방지턱을 넘거나 울퉁불퉁한 길을 지나거나 경사길을 통과하는 경우, 이러한 소실점 변화가 나타날 수 있다. 일 실시예에 따른 거리 추정 장치(110)는 소실점 변화와 무관하게, 객체 폭과 차로 폭 간의 기하 관계를 이용하여 지면 굴곡에도 강건하게(robust) 거리를 추정할 수 있다.
예를 들어, 입력 이미지에 나타나는 객체 폭과 차로 폭 간의 기하 관계는, 실제 세계에서의 객체 폭과 차로 폭 간의 관계와 동일하거나 유사할 수 있다. 따라서, 거리 추정 장치(110)는 입력 이미지에 나타나는 객체 폭 및 차로 폭 간의 관계에 기초하여, 실제 세계에서의 차량 폭을 추정할 수 있다. 거리 추정 장치(110)는 실제 세계에서의 차량 폭에 기초하여 선행 객체(190)와의 거리(119)를 추정할 수 있다. 아래 도 2 내지 도 8에서는, 단일 입력 이미지만으로 안정적으로 선행 객체(190)와의 거리(119)를 추정하는 기술을 설명한다.
참고로, 본 명세서에서 도로(101)(road)는 하나 이상의 차로(102)(lane)를 포함할 수 있다. 차로 경계선(103)(lane line)은 차로(102)와 차로(102) 사이를 구분하는 경계선을 나타낼 수 있다. 다만, 도로(101) 또는 차로(102)에 차로 경계선(103)이 반드시 존재하는 것으로 한정하는 것은 아니다. 주행 차로(102)는 차량이 현재 주행 중인 차로(102)를 나타낼 수 있다. 중앙선(center line)은 차로 경계선(103)의 일종으로서 차량의 진입 금지를 지시하는 경계선을 나타낼 수 있다.
도 2는 일 실시예에 따른 거리 추정 방법을 설명하는 흐름도를 도시한다.
우선, 단계(210)에서 거리 추정 장치는 객체의 대상 지점들에 대응하는 실제 대상 길이를 획득할 수 있다. 대상 지점들은 임의의 객체에 대해 지정된 임의의 지점들일 수 있고, 거리 추정을 위한 기준으로 지정된 2개의 지점들을 나타낼 수 있다. 예를 들어, 실제 대상 길이는 객체의 물리적인 폭(physical width)에 대응하는 길이로서, 대상 지점들은 객체의 폭(width)을 설정하기 위해 지정된 2개의 지점들일 수 있고, 종축(longitudinal axis)을 기준으로 횡축(lateral axis)을 따라 객체의 가장 왼쪽 지점 및 그에 수평한 가장 오른쪽 지점일 수 있다. 물리 세계(physical world)에서의 객체를 감싸는(cover) 실제 치수(real dimension)를 가지는 3차원 바운딩 박스를 가정할 경우, 바운딩 박스의 전면 또는 후면의 각 정점이 대상 지점에 대응할 수 있다. 다만, 이로 한정하는 것은 아니고, 객체의 시각적 외형에서 특징점들(feature points) 간의 거리로서, 예를 들어, 객체가 차량인 경우 두 후방 램프(rear lamp)에 대응하는 지점들(예를 들어, 중심점들)이 대상 지점으로 설정되거나, 두 전면 램프(front lamp)에 대응하는 지점들(예를 들어, 중심점들)이 대상 지점으로 설정될 수 있다.
더 나아가, 대상 지점들은 폭이 아닌 높이에 대해서도 설정될 수 있다. 예를 들어, 객체가 차량인 경우, 차량의 바닥에 대응하는 지점 및 차량의 천장에 대응하는 지점이 대상 지점으로 설정될 수 있다. 이 경우, 실제 대상 길이는 차량의 높이(예를 들어, 차고)를 나타낼 수 있다.
실제 대상 길이의 획득은 아래 도 5 및 도 6에서 설명한다.
그리고 단계(220)에서 거리 추정 장치는 입력 이미지로부터 실제 대상 길이에 대응하는 이미지 대상 길이를 산출할 수 있다. 이미지 대상 길이는 입력 이미지에서 대상 지점들에 대응하는 길이를 나타낼 수 있다. 거리 추정 장치는 입력 이미지로부터 객체를 포함하는 바운딩 박스를 검출할 수 있고, 검출된 바운딩 박스에 기초하여 이미지 대상 길이를 결정할 수 있다. 예를 들어, 이미지 대상 길이는 객체를 포함하는 바운딩 박스의 꼭짓점들(vertices) 사이의 길이를 나타낼 수 있다. 바운딩 박스가 2차원 바운딩 박스인 경우, 이미지 대상 길이는 바운딩 박스의 밑변(base line)의 길이일 수 있다. 바운딩 박스가 3차원 바운딩 박스인 경우, 이미지 대상 길이는 바운딩 박스를 구성하는 후면(rear face)의 밑변의 길이일 수 있다. 예를 들어, 도로의 중심 축(center axis)를 기준으로, 바운딩 박스의 후면은 거리 추정 장치와 마주하는 면을 나타낼 수 있다. 달리 말해, 바운딩 박스의 복수의 면들(faces) 중에서, 도로의 중심 축을 기준으로 거리 추정 장치에 가까이 위치한 면을 후면, 거리 추정 장치로부터 멀리 위치한 면을 전면이라고 나타낼 수 있다. 도로의 중심 축은, 거리 추정 장치가 위치한 차로의 중심 지점들을 따라 정의되는 축으로서 직선 도로에서는 직선으로 나타나고, 곡선 도로에서는 곡선으로 나타날 수 있다.
입력 이미지는, 예를 들어, 컬러 이미지일 수 있다. 컬러 이미지는 복수의 색상 채널 이미지들을 포함할 수 있다. 색상 채널 이미지는 예를 들어, 적색 채널 이미지, 녹색 채널 이미지, 및 청색 채널 이미지를 포함할 수 있다. 각 색상 채널 이미지의 픽셀은, 센서를 통해 수신된 빛에서 해당 색상의 파장에 대응하는 빛의 세기를 나타낼 수 있다. 다만, 입력 이미지를 이로 한정하는 것은 아니다.
이어서 단계(230)에서 거리 추정 장치는 객체의 실제 대상 길이, 이미지 대상 길이, 및 초점 길이에 기초하여 거리 추정 장치로부터 객체까지의 거리를 추정할 수 있다. 예를 들어, 거리 추정 장치는 실제 대상 길이 및 이미지 대상 길이 간의 관계에 기초하여, 초점 길이로부터 객체까지의 거리를 추정할 수 있다. 실제 대상 길이 및 이미지 대상 길이 간의 비례 관계는 객체까지의 거리 및 초점 길이 간의 비례 관계와 동일하기 때문이다. 이러한 거리 추정은 아래 도 7에서 설명한다.
도 3은 일 실시예에 따른 거리 추정 과정을 상세히 설명하는 도면이다.
우선, 단계(301)에서 거리 추정 장치는 카메라 이미지를 획득할 수 있다. 예를 들어, 거리 추정 장치는 이미지 센서를 통해 카메라 이미지를 수신할 수 있다. 이미지 센서는 거리 추정 장치의 전방을 촬영하도록 설치될 수 있다. 이미지 센서는 전방에서 시야각에 대응하는 장면을 촬영할 수 있다. 다만, 이미지 센서의 개수 및 설치 위치를 상술한 바로 한정하는 것은 아니다.
그리고 단계(311)에서 거리 추정 장치는 투영도 연산을 수행할 수 있다. 예를 들어, 거리 추정 장치는 입력 이미지를 지면에 투영(project)한 투영도(projection image)를 생성할 수 있다. 거리 추정 장치는 호모그래피(homography)를 통해 투영도를 생성할 수 있다. 투영도는 예를 들어, 조감뷰(bird's eye view)에 대응할 수 있다.
이어서 단계(312)에서 거리 추정 장치는 장치 주변 차로 폭을 검출할 수 있다. 일 실시예에 따른 거리 추정 장치는 입력 이미지에서 객체가 위치한 차로(lane)에 대한 차로 경계선을 추정할 수 있다. 거리 추정 장치는 추정된 차로 경계선에 기초하여 이미지 차로 폭을 결정할 수 있다. 본 명세서에서 이미지 차로 폭은 입력 이미지로부터 검출된 차로의 폭에 대응하는 길이로서, 예를 들어, 입력 이미지에서 식별된 차로를 정의하는 임의의 차로 경계선 및 다른 차로 경계선 사이의 픽셀 거리(pixel distance)일 수 있다. 이미지 차로 폭의 결정은 하기 도 5에서 설명한다.
예를 들어, 거리 추정 장치는 입력 이미지에서 서로 같은 선(line)에 대응하는 부분들을 보간(interpolate)함으로써 차로 경계선을 검출할 수 있다. 예를 들어, 차로 경계선은 선에 대응하는 부분이 임의의 간격마다 배치된 점선일 수 있다. 거리 추정 장치는 차로 경계선이 점선인 경우에도, 상술한 보간을 통해 실선으로 변환하여 차로 경계선을 검출할 수 있다.
그리고 단계(313)에서 거리 추정 장치는 객체 주변 차로 경계선을 검출할 수 있다. 예를 들어, 거리 추정 장치는 입력 이미지를 지면에 투영(project)한 투영도(projection image)에 기초하여, 실제 차로 폭을 추정할 수 있다. 실제 차로 폭은 예를 들어, meter 단위로 추정될 수 있다. 거리 추정 장치는 투영도에서 차로 경계선들을 식별할 수 있고, 차로 경계선들 사이의 수평 간격을 추정할 수 있다. 차로 경계선들 사이의 수평 간격은 실제 차로 폭에 대응할 수 있다. 투영도를 이용한 차로 경계선 식별 및 실제 차로 폭에 대한 추정은 하기 도 4에서 설명한다.
다만, 실제 차로 폭의 획득을 이로 한정하는 것은 아니다. 거리 추정 장치는 HD(high definition) 맵 데이터에 접근할 수 있는 경우에 응답하여, 현재 도로에 대응하는 맵 데이터로부터 객체가 위치한 차로의 실제 차로 폭을 획득할 수도 있다. 예를 들어, 거리 추정 장치는 HD 맵 데이터로부터 객체가 위치한 지리적 좌표에 대응하는 차로 정보를 획득할 수 있고, 차로 정보로부터 실제 차로 폭을 추출할 수 있다.
이어서 단계(314)에서 거리 추정 장치는 대상 객체의 실제 폭을 검출할 수 있다. 예를 들어, 거리 추정 장치는 입력 이미지에 나타나는 차로 경계선 및 이미지 대상 길이에 기초하여, 실제 대상 길이를 산출할 수 있다. 거리 추정 장치는 입력 이미지로부터 객체가 위치한 차로에 대응하는 이미지 차로 폭(image lane width) 및 이미지 대상 길이 간의 비율을 산출할 수 있다. 거리 추정 장치는 비율에 기초하여 실제 차로 폭(real lane width)으로부터 실제 대상 길이를 추정할 수 있다. 실제 대상 길이의 추정은 하기 도 5에서 설명한다.
그리고 단계(321)에서 거리 추정 장치는 대상 객체에 대한 바운딩 박스를 검출할 수 있다. 예를 들어, 거리 추정 장치는 입력 이미지로부터 객체를 감싸는 바운딩 박스를 검출할 수 있다. 거리 추정 장치는 다양한 알고리즘 중 하나를 이용하여 바운딩 박스를 검출할 수 있다. 예를 들어, 거리 추정 장치는 뉴럴 네트워크를 이용하여 입력 이미지 내에서 객체에 대응하는 영역을 포함하는 바운딩 박스를 검출할 수 있다. 뉴럴 네트워크는 임의의 이미지로부터 검출하고자 하는 객체(예를 들어, 차량)에 대응하는 바운딩 박스 영역을 출력하도록 트레이닝될 수 있다. 바운딩 박스는 객체를 포함하는 2차원 박스 또는 3차원 박스를 나타낼 수 있다. 바운딩 박스는 임의의 형태(예를 들어, 직사각형 또는 직육면체)를 가질 수 있고, 2차원 공간 또는 3차원 공간에서 객체가 차지하는 공간을 포함하는 박스를 나타낼 수 있다.
예를 들어, 2차원 바운딩 박스의 각 모서리(edge)는 객체의 일부와 접하면서, 해당 2차원 바운딩 박스의 크기가 최소화되도록 정의된 최소 바운딩 박스(minimum bounding box)일 수 있다. 2차원 바운딩 박스의 상단 모서리는 입력 이미지에 나타나는 객체의 최상단부에 접할 수 있고, 하단 모서리는 객체의 최하단부에 접할 수 있다. 3차원 바운딩 박스의 각 면(face)은 객체의 일부와 접하면서, 해당 3차원 바운딩 박스의 크기가 최소화되도록 정의된 최소 바운딩 박스일 수 있다. 객체가 차량인 경우, 차량의 앞부분은 3차원 바운딩 박스의 전면과 접할 수 있고, 차량의 뒷부분은 3차원 바운딩 박스의 후면과 접할 수 있다. 차량의 윗부분은 3차원 바운딩 박스의 윗면과 접할 수 있고, 차량의 아래 부분은 3차원 바운딩 박스의 아랫면과 접할 수 있다. 차량의 측면은 3차원 바운딩 박스의 측면과 접할 수 있다.
이어서 단계(322)에서 거리 추정 장치는 바운딩 박스를 추적할 수 있다. 일 실시예에 따른, 거리 추정 장치는 매 프레임마다 획득되는 입력 이미지에서 객체를 추적할 수 있다. 거리 추정 장치는 이전 프레임에서 검출된 바운딩 박스에 대해, 현재 프레임에서의 위치를 결정할 수 있다. 거리 추정 장치는 바운딩 박스를 추적한 결과를 객체 정보 데이터베이스(340)에 저장할 수 있다. 거리 추정 장치는 예를 들어, 이전 프레임에서 임의의 객체에 대응하는 바운딩 박스에 대해 실제 대상 길이(예를 들어, 실제 차량 폭)를 추정하였던 경우에 응답하여, 현재 프레임에서 이전 프레임의 실제 대상 길이를 객체 정보 데이터베이스(340)로부터 로딩할 수도 있다. 거리 추정 장치는 이전 프레임에서 획득된 이전 대상 길이가 할당된 객체를 추적(track)할 수 있다. 거리 추정 장치는 추적된 객체의 현재 프레임에 대한 현재 대상 길이를 이전 프레임에서 획득된 이전 대상 길이로 결정할 수 있다. 따라서, 거리 추정 장치는 현재 프레임에서 실제 대상 길이를 추정하기 어려운 경우에도, 안정적으로 임의의 객체에 대응하는 실제 대상 길이를 확보할 수 있다. 본 명세서에서 프레임은 시간 단위를 나타낼 수 있고, 현재 프레임을 임의의 t번째 시점으로 가정할 경우, 이전 프레임은 1번째 시점 내지 t-1번째 시점 중 임의의 시점을 나타낼 수 있다. 여기서, t는 2이상의 정수를 나타낼 수 있다.
또한, 거리 추정 장치는 이전 프레임에서 추가 센서에 기초하여 객체의 이전 대상 길이를 추정할 수도 있다. 추가 센서는 이미지 센서와 함께 사용되는 다른 센서로서, 예를 들어, 레이더 센서 또는 라이더 센서 등을 포함할 수 있다. 거리 추정 장치는 객체에 대해 추정된 이전 대상 길이를 할당할 수 있다. 따라서, 거리 추정 장치는 현재 프레임에서 추가 센서를 이용한 대상 길이 추정이 불가능한 경우, 이전 프레임에서 미리 획득된 실제 대상 길이를 이용할 수 있다.
객체 정보 데이터베이스(340)는 객체와 연관된 정보를 포함하는 데이터베이스를 나타낼 수 있다. 객체 정보 데이터베이스(340)는 예를 들어, 객체의 아이디(ID, identification), 바운딩 박스의 크기, 바운딩 박스의 개수, 및 해당 객체에 대해 이전 프레임에서 추정됐던 실제 대상 길이 등을 포함할 수 있다.
또한, 객체 정보 데이터베이스(340)는 예를 들어, 객체의 모델(예를 들어, 차량 모델) 별로 매핑된 객체 치수 정보를 포함할 수도 있다. 객체 치수 정보는 임의의 모델에 대응하는 객체의 치수와 관련된 정보로서, 예를 들어, 객체의 폭, 높이, 및 길이 등을 포함할 수 있다. 일 실시예에 따른 거리 추정 장치는 입력 이미지에 나타난 객체의 시각적 외형(visual appearance)에 기초하여 객체에 대응하는 객체 치수 정보(object dimension information)를 결정할 수도 있다. 거리 추정 장치는 객체 치수 정보로부터 실제 대상 길이를 획득할 수 있다.
단계(331)에서 거리 추정 장치는 거리를 추출할 수 있다. 예를 들어, 거리 추정 장치는 실제 대상 길이 및 이미지 대상 길이 간의 비율에 기초하여 초점 길이로부터 거리를 산출할 수 있다. 거리 산출은 하기 도 7에서 상세히 설명한다.
도 4는 일 실시예에 따른 실제 차로 폭의 추정을 설명하는 도면이다.
일 실시예에 따른 거리 추정 장치(491)는 전방에 대해 촬영된 입력 이미지(410)를 이용하여 실제 차로 폭(421)을 추정할 수 있다. 도 4에 도시된 입력 이미지(410)는 설명의 편의를 위하여 선행 객체(492)로서 하나의 차량을 포함하지만, 선행 객체(492)의 개수 및 형태를 이로 한정하는 것은 아니다. 거리 추정 장치(491)는 차량에 장착될 수 있고, 입력 이미지(410)는 차량의 일부(예를 들어, 본네트)를 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 이미지 센서의 시야각 및 장착 위치 등에 따라 입력 이미지(410)에 차량의 일부가 나타나지 않을 수도 있다.
거리 추정 장치(491)는 입력 이미지(410)를 투영하여 투영도(420)를 생성할 수 있다. 예를 들어, 거리 추정 장치(491)는 조감뷰에 대응하는 투영도(420)(projection image)를 생성할 수 있다. 거리 추정 장치(491)는 입력 이미지(410)의 각 픽셀의 좌표를 투영도(420) 상의 좌표로 변환하는 행렬 연산(예를 들어, 호모그래피 행렬 연산(homography matrix calculation))을 통해, 입력 이미지(410)를 투영도(420)로 변환할 수 있다. 자기 차량의 바로 앞 영역에 대해서는 차량의 움직임 또는 지면의 높낮이에 의한 영향이 적으므로, 투영도(420)에서 자기 차량에 가까운 영역의 좌표가 보다 정확할 수 있다.
거리 추정 장치(491)는 투영도(420)에서 차로 경계선들을 식별할 수 있다. 거리 추정 장치(491)는 차로 경계선에 해당하는 위치들의 물리적 좌표(예를 들어, 2차원 좌표)를 산출할 수 있다. 거리 추정 장치(491)는 차로 경계선의 물리적 좌표를 이용하여 두 평행한 차로 경계선들의 수평 간격을 산출할 수 있다. 거리 추정 장치(491)는 식별된 차로 경계선들 간의 간격에 기초하여 실제 차로 폭(421)을 추정할 수 있다. 조감뷰에 대응하는 투영 연산을 통해 생성된 투영도(420)는, 센서로부터 가까운 영역에 대해서 정확한 좌표를 나타낼 수 있다. 따라서, 거리 추정 장치(491)는 보다 정확하게 차로 폭을 추정하기 위해, 투영도(420)에서 거리 추정 장치(491)로부터 가까운 영역의 정보를 이용할 수 있다.
예를 들어, 거리 추정 장치(491)는 투영도(420)에서 객체가 위치한 차로에 대응하는 차로 경계선들을 식별할 수 있다. 거리 추정 장치(491)는 식별된 차로 경계선들 중 거리 추정 장치(491)로부터 임계 거리 이내의 경계선들 간의 수평 간격에 기초하여 실제 차로 폭(421)을 추정할 수 있다. 본 명세서에서 실제 차로 폭(421)은 물리 세계에서의 차로가 가지는 실제 폭을 나타낼 수 있다.
일 실시예에 따른 거리 추정 장치(491)는 객체 위치에서의 차로 폭과 해당 거리 추정 장치(491) 주변에서의 차로 폭이 동일하거나 유사하다고 가정할 수 있다. 따라서, 거리 추정 장치(491)는 상술한 바와 같이, 거리 추정 장치(491) 주변의 투영도(420)에 기초하여 객체 주변의 차로에 대한 실제 차로 폭(421)을 추정할 수 있다.
도 4에 도시된 바와 같이, 이미지 센서의 시야각으로 인해 투영도(420) 상에서 다른 차로의 차로 경계선은 거리 추정 장치로부터 이격된 위치에서 식별될 수 있다. 따라서, 거리 추정 장치(491)는 자신과 다른 차로에 위치한 객체의 차로에 대해서도 실제 차로 폭(421)을 추정할 수 있다.
또한, 거리 추정 장치(491)는 현재 프레임에서 객체가 위치하는 차로에 대응하는 차로 경계선이 식별되는 지점이 이전 프레임에서 식별된 지점보다 가까운 경우에 응답하여, 현재 프레임에서 차로 경계선이 식별되는 지점에 기초하여 실제 차로 폭(421)을 업데이트할 수 있다. 따라서, 투영도(420)에서 장치에 가까운 영역의 정보를 이용할수록 정확한 차로 폭 계산이 가능하므로, 거리 추정 장치는 보다 정확한 실제 차로 폭(421)을 업데이트할 수 있다.
다른 일 실시예에 따르면, 거리 추정 장치(491)는 객체 위치에서의 차로 폭 및 장치 주변에서의 차로 폭 간의 폭 변화가 크지 않은 경우에만 실제 차로 폭(421)을 추정할 수 있다. 예를 들어, 거리 추정 장치(491)는 객체가 위치한 차로의 폭 변화(width change)가 임계 변화를 초과하는 경우에 응답하여, 실제 차로 폭(421)에 대한 추정을 배제할 수 있다. 실제 차로 폭(421)에 대한 추정을 배제할 경우, 거리 추정 장치(491)는 다른 방식을 통해 실제 차로 폭(421)을 획득하거나 객체의 실제 대상 길이에 대한 추정을 배제할 수도 있다.
도 5 및 도 6은 일 실시예에 따른 차량 폭의 추정을 설명하는 도면이다.
도 5는 거리 추정 장치가 장착된 차량이 일반 도로를 주행 중인 상황에서 실제 대상 길이를 추정하는 과정을 설명하는 도면이다.
우선, 거리 추정 장치는 입력 이미지(510)로부터 전방에 존재하는 선행 객체(592)를 검출할 수 있다. 예를 들어, 거리 추정 장치는 선행 객체(592)를 포함하는 바운딩 박스(582)를 검출할 수 있다. 도 5는 3개의 선행 객체(592)에 대한 바운딩 박스(582)가 각각 검출된 이미지를 도시한다. 도 5는 바운딩 박스(582)가 2차원 형태로 검출된 예시를 설명한다. 확대 이미지(511)는 바운딩 박스(582)를 포함하는 부분 이미지를 확대한 것이다.
그리고, 거리 추정 장치는 입력 이미지(510)로부터 차로 경계선(503)들 사이의 간격 및 이미지 대상 길이를 결정할 수 있다.
예를 들어, 거리 추정 장치는 입력 이미지(510)로부터 검출된 바운딩 박스(582)로부터 이미지 대상 길이를 결정할 수 있다. 거리 추정 장치는 이미지 대상 길이로서, 객체의 폭에 대응하는 픽셀 거리를 결정할 수 있다. 객체의 폭에 대응하는 픽셀 거리는 바운딩 박스(582)의 너비에 대응할 수 있다. 거리 추정 장치는 바운딩 박스(582)에서 밑변 또는 윗변(upper edge)의 길이를 객체의 폭에 대응하는 픽셀 거리로 결정할 수 있다.
또한, 거리 추정 장치는 입력 이미지(510)로부터 검출된 바운딩 박스(582)에 기초하여 이미지 차로 폭을 결정할 수 있다. 거리 추정 장치는 바운딩 박스(582)의 밑변의 연장선(extension line)과 차로 경계선(503)이 교차하는 지점에 기초하여 이미지 차로 폭을 결정할 수 있다. 선행 객체(592)가 차량인 경우, 주행 중인 차로를 유지하는 차량은 일반적으로 차로의 중심 축을 따라 차로 경계선(503)과 나란하게 주행하는 것이 가정된다. 이 때, 선행 차량의 종축(longitudinal axis)은 차로 경계선(503)과 평행할 수 있고, 선행 차량의 횡축(lateral axis)는 차로 경계선(503)에 수직할 수 있다. 따라서 바운딩 박스(582)의 밑변은 선행 차량의 횡축에 평행하므로, 밑변의 연장선과 차로 경계선(503)이 교차하는 지점들 사이의 길이는 이미지 차로 폭에 대응할 수 있다. 거리 추정 장치는 밑변의 연장선과 차로 경계선(503)이 교차하는 지점들 사이의 픽셀 거리를 이미지 차로 폭으로 결정할 수 있다.
이어서, 거리 추정 장치는 상술한 바와 같이 산출된 이미지 대상 길이 및 이미지 차로 폭에 기초하여, 실제 대상 길이를 추정할 수 있다. 예를 들어, 거리 추정 장치는 입력 이미지(510)로부터 객체가 위치한 차로에 대응하는 이미지 차로 폭(image lane width) 및 이미지 대상 길이 간의 비율을 산출할 수 있다. 거리 추정 장치는 입력 이미지(510)에서 차로 경계선(503)들 사이의 간격에 대응하는 픽셀 거리(pixel distance) 및 객체의 폭에 대응하는 픽셀 거리 간의 비율을 산출할 수 있다. 거리 추정 장치는 아래 수학식 1 및 수학식 2와 같이 상술한 비율에 기초하여 실제 차로 폭(real lane width)으로부터 실제 대상 길이를 추정할 수 있다.
[수학식 1]
[수학식 2]
상술한 수학식 1에서, Wimg,V는 이미지 대상 길이(예를 들어, 이미지에 나타난 차량의 폭), Wimg,L은 이미지 차로 폭을 나타낼 수 있다. Ratioimg는 이미지 대상 길이 Wimg,V 및 이미지 차로 폭 Wimg,L의 비율을 나타낼 수 있다. 상술한 수학식 2에서 Wreal,L은 실제 차로 폭을 나타낼 수 있고, 예를 들어, 도 4에서 상술한 동작을 통해 거리 추정 장치가 실제 차로 폭 Wreal,L을 획득할 수 있다. Wreal,V는 실제 대상 길이(예를 들어, 차량의 실제 폭)을 나타낼 수 있다.
예를 들어, 이미지 대상 길이 Wimg,V가 15개의 픽셀들에 대응하는 거리이고, 이미지 차로 폭 Wimg,L이 20개의 픽셀들에 대응하는 거리인 경우, 비율 Ratioimg는 0.75일 수 있다. 앞서 도 4에서 호모그래피를 통해 산출된 실제 차로 폭 Wreal,L은 4m라면, 실제 대상 길이 Wreal,V는 3m일 수 있다.
거리 추정 장치는 임의의 객체(592)에 대해 장치로부터 가까운 거리에서 실제 대상 길이 Wreal,V를 추정하였던 경우, 해당 객체(592)가 장치로부터 멀어질 때 해당 객체(592)를 계속하여 추적하면서, 이전에 추정된 실제 대상 길이 Wreal,V를 유지할 수 있다. 가까운 거리에서 추정된 값이 먼 거리에서 추정된 값보다 정확할 수 있기 때문이다. 또한, 거리 추정 장치는 이전에 추정된 실제 대상 길이 Wreal,V를 유지함으로써, 객체(592)가 멀어져서 객체(592) 주변의 차로 경계선(503)이 식별되지 않거나 객체(592) 주변의 차로 폭이 일정하지 않은 경우에도 객체(592)까지의 거리를 강인하게 추정할 수 있다. 더 나아가, 거리 추정 장치는 이전에 실제 대상 길이 Wreal,V를 추정했던 때의 거리보다 객체(592)와의 거리가 가까운 경우에 응답하여, 해당 객체(592)에 대한 실제 대상 길이 Wreal,V를 업데이트할 수 있다. 상대적으로 가까운 위치에 객체(592)가 있을수록, 실제 대상 길이 Wreal,V가 더 정확하게 추정될 수 있기 때문이다.
도 5는 직선 도로를 기준으로 설명하였으나, 이로 한정하는 것은 아니다. 거리 추정 장치는 곡선 도로를 주행하는 경우에도 도 5에서 설명한 바와 같이 2차원 바운딩 박스를 검출하고 실제 대상 길이를 추정할 수 있다.
도 6은 거리 추정 장치가 장착된 차량이 곡선 도로를 주행 중인 상황에서 실제 대상 길이를 추정하는 과정을 설명하는 도면이다.
탑뷰 이미지(620)는 거리 추정 장치(691)가 장착된 차량이 곡선 도로(601)를 주행 중인 상황을 도시한다. 탑뷰 이미지(620)에서 도로(601)의 한 차로만 도시되었으나, 이는 설명의 편의를 위한 것으로 이로 한정하는 것은 아니다. 선행 객체(692)가 도로(601)에서 굴곡진 부분을 주행할 때 입력 이미지(610)는 틀어진 상태로 왜곡되어 나타난 선행 객체(692)를 포함할 수 있다. 따라서, 거리 추정 장치(691)는 객체의 자세를 고려하여 보다 정확하게 객체의 실제 대상 길이를 추정할 수 있다.
일 실시예에 따른 거리 추정 장치(691)는 입력 이미지(610)로부터 객체의 자세(pose)를 추정할 수 있다. 거리 추정 장치(691)는 자세에 기초하여 이미지 대상 길이(671)를 결정할 수 있다. 예를 들어, 거리 추정 장치(691)는 입력 이미지(610)로부터 객체에 대응하는 3차원 바운딩 박스(682)를 검출할 수 있다. 거리 추정 장치(691)는 3차원 바운딩 박스(682)에 기초하여 이미지 대상 길이(671)를 결정할 수 있다. 거리 추정 장치(691)는 3차원 바운딩 박스(682)의 폭(예를 들어, 박스 후면에서 밑변 또는 윗변의 길이)을 이미지 대상 길이(671)로 결정할 수 있다.
거리 추정 장치(691)는 입력 이미지(610)에서 객체의 자세에 기초하여 이미지 차로 폭(672)을 결정할 수 있다. 예를 들어, 거리 추정 장치(691)는 3차원 바운딩 박스(682)를 구성하는 후면(rear face)의 밑변의 연장선과 차로 경계선이 교차하는 지점에 기초하여 이미지 차로 폭(672)을 결정할 수 있다.
거리 추정 장치(691)는 도 6에서 설명한 바에 따라 결정된 이미지 대상 길이(671) 및 이미지 차로 폭(672)에 기초하여, 상술한 수학식 1 및 수학식 2에 따라 실제 대상 길이를 추정할 수 있다.
도 6은 곡선 도로(601)를 기준으로 설명하였으나, 이로 한정하는 것은 아니다. 거리 추정 장치(691)는 직선 도로(601)를 주행하는 경우에도 도 6에서 설명한 바와 같이 3차원 바운딩 박스(682)를 검출하고 실제 대상 길이를 추정할 수 있다.
아울러, 거리 추정 장치는 주행 중인 도로의 선형을 식별할 수 있고, 선형에 따라 거리 추정 방식을 결정할 수도 있다. 예를 들어, 거리 추정 장치는 현재 주행 중인 도로가 직선 도로(예를 들어, 임계 곡률 이하의 곡률을 가지는 도로)로 식별된 경우에 응답하여, 도 5에서 상술한 바와 같이 입력 이미지로부터 2차원 바운딩 박스를 검출하고 실제 대상 길이를 추정할 수 있다. 다른 예를 들어, 거리 추정 장치는 현재 주행 중인 도로가 곡선 도로(예를 들어, 임계 곡률을 초과하는 곡률을 가지는 도로)로 식별된 경우에 응답하여, 도 6에서 상술한 바와 같이 입력 이미지로부터 3차원 바운딩 박스 또는 객체의 자세를 검출하고, 실제 대상 길이를 추정할 수 있다. 다만, 이는 예시로서, 거리 추정 장치의 동작을 이로 한정하는 것은 아니다.
도 7은 일 실시예에 따른 거리 추정을 탑뷰에서 설명하는 도면이다.
도 7은 거리 추정 장치의 이미지 센서의 이미지 평면(710), 초점(711), 및 객체(790)를 탑뷰(top-view)로 도시한 도면이다. 이미지 평면(710)은 이미지 센서에서 렌즈를 통과한 빛이 수신되는 지점들에 대응하는 평면으로서, 이미지 평면(710)의 각 지점은 입력 이미지의 각 픽셀에 대응할 수 있다. 거리 추정 장치의 외부에 있는 객체(790)로부터 반사되어 수신된 빛은 렌즈의 초점(711)(focal point)을 통과하여 이미지 평면(710)에 도달할 수 있다. 초점 길이(focal length) f 및 거리 D와의 위치 관계는 이미지 평면(710)에서 나타나는 이미지 대상 길이 Wimg,V 및 실제 대상 길이 Wreal,V와의 위치 관계와 동일할 수 있다.
[수학식 3]
따라서, 거리 추정 장치는 상술한 수학식 3과 같이, 실제 대상 길이 Wreal,V 및 이미지 대상 길이 Wimg,V 간의 비율에 기초하여 초점 길이 f로부터 거리 D를 산출할 수 있다. 거리 D는 이미지 센서에서 렌즈의 초점(711)으로부터 객체(790)까지의 거리를 나타낼 수 있다.
도 8은 일 실시예에 따른 거리 추정 장치의 구성을 설명하는 블록도를 도시한다.
일 실시예에 따른 거리 추정 장치(800)는 센서(810), 프로세서(820), 및 메모리(830)를 포함할 수 있다.
센서(810)는, 전방에 대한 입력 이미지를 획득하는 이미지 센서(810)일 수 있다. 이미지 센서(810)는 컬러 이미지를 생성할 수 있고, 컬러 이미지는 복수의 색상 채널 이미지들을 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 이미지 센서(810)는 단일 색상 이미지(예를 들어, 흑백 이미지)를 생성할 수도 있다.
프로세서(820)는 객체의 대상 지점들에 대응하는 실제 대상 길이를 획득할 수 있다. 프로세서(820)는 입력 이미지로부터 실제 대상 길이에 대응하는 이미지 대상 길이를 산출할 수 있다, 프로세서(820)는 객체의 실제 대상 길이, 이미지 대상 길이, 및 초점 길이에 기초하여 거리 추정 장치(800)로부터 객체까지의 거리를 추정할 수 있다. 다만, 프로세서(820)의 동작을 이로 한정하는 것은 아니고, 프로세서(820)는 도 1 내지 도 7에서 설명한 동작들을 수행할 수도 있다.
메모리(830)는 거리 추정 방법을 수행하는데 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(830)는 이전 프레임에서 추정한 실제 대상 길이, 실제 차로 폭, 및 이전 프레임에서의 객체와의 거리 등을 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
800: 거리 추정 장치
810: 센서
820: 프로세서
830: 메모리

Claims (20)

  1. 거리 추정 방법에 있어서,
    객체의 대상 지점들(target points)에 대응하는 실제 대상 길이(real target length)를 획득하는 단계;
    입력 이미지로부터 상기 실제 대상 길이에 대응하는 이미지 대상 길이(image target length)를 산출하는 단계; 및
    상기 객체의 상기 실제 대상 길이, 상기 이미지 대상 길이, 및 초점 길이(focal length)에 기초하여 거리 추정 장치로부터 상기 객체까지의 거리를 추정하는 단계를 포함하고,
    상기 실제 대상 길이를 획득하는 단계는,
    상기 입력 이미지에 나타나는 차로 경계선 및 상기 이미지 대상 길이에 기초하여, 상기 실제 대상 길이를 산출하는 단계를 포함하고,
    상기 입력 이미지에 기초하여 상기 실제 대상 길이를 산출하는 단계는,
    상기 입력 이미지로부터 상기 객체가 위치한 차로에 대응하는 이미지 차로 폭(image lane width) 및 상기 이미지 대상 길이 간의 비율을 산출하는 단계 및 상기 비율에 기초하여 실제 차로 폭(real lane width)으로부터 상기 실제 대상 길이를 추정하는 단계를 포함하고,
    상기 비율을 산출하는 단계는,
    상기 입력 이미지에서 상기 객체가 위치한 차로(lane)에 대한 차로 경계선을 추정하는 단계 및 상기 추정된 차로 경계선에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함하고,
    상기 이미지 대상 길이를 산출하는 단계는,
    상기 입력 이미지로부터 상기 객체에 대응하는 바운딩 박스를 검출하는 단계 및 상기 바운딩 박스로부터 상기 이미지 대상 길이를 결정하는 단계를 포함하고,
    상기 이미지 차로 폭을 결정하는 단계는,
    상기 바운딩 박스의 밑변(base line)의 연장선(extension line)과 상기 차로 경계선이 교차하는 지점에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함하는 거리 추정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 차로 경계선을 추정하는 단계는,
    상기 입력 이미지에서 서로 같은 선(line)에 대응하는 부분들을 보간(interpolate)함으로써 상기 차로 경계선을 검출하는 단계를 포함하는 거리 추정 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 이미지 대상 길이를 산출하는 단계는,
    상기 입력 이미지로부터 상기 객체의 자세(pose)를 추정하는 단계; 및
    상기 자세에 기초하여 상기 이미지 대상 길이를 결정하는 단계
    를 포함하고,
    상기 이미지 차로 폭을 결정하는 단계는,
    상기 입력 이미지에서 상기 객체의 자세에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함하는 거리 추정 방법.
  8. 제1항에 있어서,
    상기 이미지 대상 길이를 산출하는 단계는,
    상기 입력 이미지로부터 상기 객체에 대응하는 3차원 바운딩 박스를 검출하는 단계; 및
    상기 3차원 바운딩 박스에 기초하여 상기 이미지 대상 길이를 결정하는 단계를 포함하고,
    상기 이미지 차로 폭을 결정하는 단계는,
    상기 3차원 바운딩 박스를 구성하는 후면(rear face)의 밑변의 연장선과 상기 차로 경계선이 교차하는 지점에 기초하여 상기 이미지 차로 폭을 결정하는 단계를 포함하는 거리 추정 방법.
  9. 제1항에 있어서,
    상기 실제 대상 길이를 추정하는 단계는,
    상기 입력 이미지를 지면에 투영(project)한 투영도(projection image)에 기초하여, 상기 실제 차로 폭을 추정하는 단계를 포함하는 거리 추정 방법.
  10. 제9항에 있어서,
    상기 실제 차로 폭을 추정하는 단계는,
    상기 투영도에서 상기 객체가 위치한 차로에 대응하는 차로 경계선들을 식별하는 단계; 및
    상기 식별된 차로 경계선들 중 거리 추정 장치로부터 임계 거리 이내의 경계선들 간의 수평 간격에 기초하여 상기 실제 차로 폭을 추정하는 단계를 포함하는 거리 추정 방법.
  11. 제1항에 있어서,
    상기 실제 대상 길이를 추정하는 단계는,
    현재 도로에 대응하는 맵 데이터로부터 상기 객체가 위치한 차로의 상기 실제 차로 폭을 획득하는 단계를 포함하는 거리 추정 방법.
  12. 제1항에 있어서,
    상기 이미지 차로 폭 및 상기 객체에 대응하는 이미지 대상 길이 간의 비율을 산출하는 단계는,
    상기 입력 이미지에서 차로 경계선들 사이의 간격에 대응하는 픽셀 거리(pixel distance) 및 상기 객체의 폭에 대응하는 픽셀 거리 간의 비율을 산출하는 단계를 포함하는 거리 추정 방법.
  13. 제1항에 있어서,
    상기 비율에 기초하여 실제 차로 폭으로부터 상기 실제 대상 길이를 추정하는 단계는,
    현재 프레임에서 상기 객체가 위치하는 차로에 대응하는 차로 경계선이 식별되는 지점이 이전 프레임에서 식별된 지점보다 가까운 경우에 응답하여, 상기 현재 프레임에서 차로 경계선이 식별되는 지점에 기초하여 상기 실제 차로 폭을 업데이트하는 단계를 포함하는 거리 추정 방법.
  14. 제1항에 있어서,
    상기 이미지 차로 폭 및 상기 객체에 대응하는 이미지 대상 길이 간의 비율을 산출하는 단계는,
    상기 객체가 위치한 차로의 폭 변화(width change)가 임계 변화를 초과하는 경우에 응답하여, 상기 객체의 실제 대상 길이에 대한 추정을 배제하는 단계를 포함하는 거리 추정 방법.
  15. 제1항에 있어서,
    상기 실제 대상 길이를 획득하는 단계는,
    이전 프레임에서 획득된 이전 대상 길이가 할당된 객체를 추적(track)하는 단계; 및
    상기 추적된 객체의 현재 프레임에 대한 현재 대상 길이를 이전 프레임에서 획득된 상기 이전 대상 길이로 결정하는 단계를 포함하는 거리 추정 방법.
  16. 제15항에 있어서,
    상기 이전 프레임에서 획득된 이전 대상 길이가 할당된 객체를 추적하는 단계는,
    상기 이전 프레임에서 추가 센서에 기초하여 상기 객체의 상기 이전 대상 길이를 추정하는 단계; 및
    상기 객체에 대해 상기 추정된 이전 대상 길이를 할당하는 단계를 포함하는 거리 추정 방법.
  17. 제1항에 있어서,
    상기 실제 대상 길이를 획득하는 단계는,
    상기 입력 이미지에 나타난 객체의 시각적 외형(visual appearance)에 기초하여 상기 객체에 대응하는 객체 치수 정보(object dimension information)를 결정하는 단계; 및
    상기 객체 치수 정보로부터 상기 실제 대상 길이를 획득하는 단계를 포함하는 거리 추정 방법.
  18. 제1항에 있어서,
    상기 거리를 추정하는 단계는,
    상기 실제 대상 길이 및 상기 이미지 대상 길이 간의 비율에 기초하여 상기 초점 길이로부터 상기 거리를 산출하는 단계를 포함하는 거리 추정 방법.
  19. 제1항, 제5항, 제7항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  20. 거리 추정 장치에 있어서,
    전방에 대한 입력 이미지를 획득하는 이미지 센서; 및
    객체의 대상 지점들에 대응하는 실제 대상 길이를 획득하고, 상기 입력 이미지로부터 상기 실제 대상 길이에 대응하는 이미지 대상 길이를 산출하며, 상기 객체의 상기 실제 대상 길이, 상기 이미지 대상 길이, 및 초점 길이에 기초하여 상기 거리 추정 장치로부터 상기 객체까지의 거리를 추정하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 입력 이미지에 나타나는 차로 경계선 및 상기 이미지 대상 길이에 기초하여, 상기 실제 대상 길이를 산출하고,
    상기 입력 이미지로부터 상기 객체가 위치한 차로에 대응하는 이미지 차로 폭(image lane width) 및 상기 이미지 대상 길이 간의 비율을 산출하고, 상기 비율에 기초하여 실제 차로 폭(real lane width)으로부터 상기 실제 대상 길이를 추정하고,
    상기 입력 이미지에서 상기 객체가 위치한 차로(lane)에 대한 차로 경계선을 추정하고, 상기 추정된 차로 경계선에 기초하여 상기 이미지 차로 폭을 결정하고,
    상기 입력 이미지로부터 상기 객체에 대응하는 바운딩 박스를 검출하고, 상기 바운딩 박스로부터 상기 이미지 대상 길이를 결정하고,
    상기 바운딩 박스의 밑변(base line)의 연장선(extension line)과 상기 차로 경계선이 교차하는 지점에 기초하여 상기 이미지 차로 폭을 결정하는 것을 포함하는 거리 추정 장치.
KR1020180120158A 2018-10-10 2018-10-10 거리 추정 방법 및 장치 Active KR102749005B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180120158A KR102749005B1 (ko) 2018-10-10 2018-10-10 거리 추정 방법 및 장치
US16/591,016 US11138750B2 (en) 2018-10-10 2019-10-02 Distance estimating method and apparatus
EP19201702.8A EP3637313B1 (en) 2018-10-10 2019-10-07 APPARATUS AND METHOD FOR DISTANCE ESTIMATION
CN201910953997.5A CN111024040B (zh) 2018-10-10 2019-10-09 距离估计方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180120158A KR102749005B1 (ko) 2018-10-10 2018-10-10 거리 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200040374A KR20200040374A (ko) 2020-04-20
KR102749005B1 true KR102749005B1 (ko) 2025-01-02

Family

ID=68172105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120158A Active KR102749005B1 (ko) 2018-10-10 2018-10-10 거리 추정 방법 및 장치

Country Status (4)

Country Link
US (1) US11138750B2 (ko)
EP (1) EP3637313B1 (ko)
KR (1) KR102749005B1 (ko)
CN (1) CN111024040B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
GB201900839D0 (en) * 2019-01-21 2019-03-13 Or3D Ltd Improvements in and relating to range-finding
US11037002B2 (en) * 2019-02-08 2021-06-15 ANI Technologies Private Limited Calibration of fixed image-capturing device for depth estimation
KR20210017525A (ko) * 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법
US11341719B2 (en) * 2020-05-07 2022-05-24 Toyota Research Institute, Inc. System and method for estimating depth uncertainty for self-supervised 3D reconstruction
CN115668297A (zh) * 2020-05-29 2023-01-31 西门子（中国）有限公司 用于车辆长度估计的方法和设备
US11625859B2 (en) 2020-07-22 2023-04-11 Motorola Solutions, Inc. Method and system for calibrating a camera and localizing objects within the camera field of view
CN112884961B (zh) * 2021-01-21 2022-11-29 吉林省吉科软信息技术有限公司 一种用于疫情防控的人脸识别闸机系统
JP7679672B2 (ja) * 2021-04-06 2025-05-20 オムロン株式会社 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム
JP7707617B2 (ja) 2021-04-06 2025-07-15 オムロン株式会社 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
CN113065483A (zh) * 2021-04-09 2021-07-02 北京云迹科技有限公司 一种定位方法、装置、电子设备、介质及机器人
JP7505443B2 (ja) * 2021-05-07 2024-06-25 トヨタ自動車株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
CN113468955B (zh) * 2021-05-21 2024-02-02 香港生产力促进局 用于估计交通场景中两点间距离的方法、设备及存储介质
CN113449647B (zh) * 2021-06-30 2024-09-10 北京纵目安驰智能科技有限公司 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN114132325B (zh) * 2021-12-14 2024-03-01 京东鲲鹏(江苏)科技有限公司 车辆的行驶方法和装置
KR102413162B1 (ko) * 2021-12-30 2022-06-24 주식회사 다리소프트 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물의 실제 크기를 추정할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
US12394073B2 (en) 2022-01-24 2025-08-19 Motional Ad Llc Aligning geodata graph over electronic maps
US11967159B2 (en) * 2022-01-26 2024-04-23 Motional Ad Llc Semantic annotation of sensor data with overlapping physical features
JP2023131720A (ja) * 2022-03-09 2023-09-22 キヤノン株式会社 電子機器、移動体、距離算出方法、及びコンピュータプログラム
CN114659489A (zh) * 2022-03-11 2022-06-24 苏州清研微视电子科技有限公司 一种基于凸透镜成像原理的前车距离检测方法和装置
CN114943767A (zh) * 2022-05-16 2022-08-26 北京铁科时代科技有限公司 基于单目视觉的障碍物类型和距离识别方法、装置、介质和设备
KR20240030700A (ko) * 2022-08-31 2024-03-07 현대자동차주식회사 자율 주행 제어 방법 및 그 차량
CN115511975A (zh) * 2022-09-30 2022-12-23 华人运通(上海)自动驾驶科技有限公司 一种单目相机的测距方法及计算机程序产品
CN115861975B (zh) * 2023-02-28 2023-05-12 杭州枕石智能科技有限公司 障碍物车辆位姿估计方法及设备
CN119882754A (zh) * 2025-01-21 2025-04-25 长沙万为机器人有限公司 一种基于视觉的机器人充电桩对接方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296350A (ja) * 2001-03-30 2002-10-09 Nissan Motor Co Ltd 物体検知装置
US20040054473A1 (en) 2002-09-17 2004-03-18 Nissan Motor Co., Ltd. Vehicle tracking system
US20130261838A1 (en) * 2012-03-28 2013-10-03 Gentex Corporation Vehicular imaging system and method for determining roadway width
US20150165973A1 (en) * 2012-06-14 2015-06-18 Toyota Jidosha Kabushiki Kaisha Lane Separation Mark Detection Apparatus and Drive Support System
US20150302611A1 (en) * 2014-04-16 2015-10-22 Xerox Corporation Vehicle dimension estimation from vehicle images
US20170240149A1 (en) * 2016-02-22 2017-08-24 Mando Corporation Driving support apparatus and driving support method
US20180013375A1 (en) 2016-07-07 2018-01-11 Schweitzer Engineering Laboratories, Inc. Slip-Dependent Motor Model
US20190033381A1 (en) 2017-07-28 2019-01-31 Northstar Battery Company, Llc Systems and methods for utilizing battery operating data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
KR101646495B1 (ko) 2014-11-18 2016-08-08 한밭대학교 산학협력단 차량 부착 카메라의 영상 정보를 이용한 도로 거리 예측 방법
JP6450294B2 (ja) 2015-09-30 2019-01-09 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
CN105632186B (zh) * 2016-03-11 2019-01-11 博康智能信息技术有限公司 检测车辆加塞行为的方法和装置
KR20180022277A (ko) 2016-08-24 2018-03-06 김정태 블랙박스영상 기반 차간거리 측정 시스템
KR102371592B1 (ko) 2016-11-02 2022-03-07 현대자동차주식회사 차간 거리 추정 장치 및 방법
US10529083B2 (en) * 2016-12-08 2020-01-07 Lighmetrics Technologies Pvt. Ltd. Methods and systems for estimating distance of an object from a moving vehicle
EP3548845B1 (en) * 2017-01-12 2021-10-13 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296350A (ja) * 2001-03-30 2002-10-09 Nissan Motor Co Ltd 物体検知装置
US20040054473A1 (en) 2002-09-17 2004-03-18 Nissan Motor Co., Ltd. Vehicle tracking system
US20130261838A1 (en) * 2012-03-28 2013-10-03 Gentex Corporation Vehicular imaging system and method for determining roadway width
US20150165973A1 (en) * 2012-06-14 2015-06-18 Toyota Jidosha Kabushiki Kaisha Lane Separation Mark Detection Apparatus and Drive Support System
US20150302611A1 (en) * 2014-04-16 2015-10-22 Xerox Corporation Vehicle dimension estimation from vehicle images
US20170240149A1 (en) * 2016-02-22 2017-08-24 Mando Corporation Driving support apparatus and driving support method
US20180013375A1 (en) 2016-07-07 2018-01-11 Schweitzer Engineering Laboratories, Inc. Slip-Dependent Motor Model
US20190033381A1 (en) 2017-07-28 2019-01-31 Northstar Battery Company, Llc Systems and methods for utilizing battery operating data

Also Published As

Publication number Publication date
CN111024040A (zh) 2020-04-17
CN111024040B (zh) 2023-05-30
US11138750B2 (en) 2021-10-05
EP3637313A1 (en) 2020-04-15
EP3637313B1 (en) 2025-12-31
KR20200040374A (ko) 2020-04-20
US20200118283A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
KR102749005B1 (ko) 거리 추정 방법 및 장치
JP6833630B2 (ja) 物体検出装置、物体検出方法およびプログラム
KR102766548B1 (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
CN111086521B (zh) 校准方法、校准装置以及非暂时性计算机记录媒体
US20190163958A1 (en) Methods and associated systems for grid analysis
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN103765439B (zh) 用于环境表示的方法
KR102519666B1 (ko) 이미지 변환 장치 및 방법
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
US20200082182A1 (en) Training data generating method for image processing, image processing method, and devices thereof
US20220012509A1 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
KR102707596B1 (ko) 자체 운동 추정 방법 및 장치
US12366660B2 (en) System and method for detecting road intersection on point cloud height map
KR20180092765A (ko) 탑뷰 영상을 이용한 차선인식 장치 및 방법
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
KR102049666B1 (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
KR101340014B1 (ko) 위치 정보 제공 장치 및 방법
JP2020077297A (ja) 位置姿勢推定装置
KR20230156851A (ko) 삼차원 객체의 라벨링 방법 및 그 시스템
KR102019594B1 (ko) 저해상도 카메라를 위한 보정 기법을 이용한 차량 간 거리 추정 방법 및 그 장치
KR102950896B1 (ko) 동적객체 및 정적객체를 활용한 카메라-라이다 캘리브레이션 방법 및 장치
JP2025012103A (ja) 画像処理装置
WO2024042607A1 (ja) 外界認識装置及び外界認識方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181010

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211008

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181010

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230919

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20240221

Patent event code: PE09021S02D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240925

PG1601 Publication of registration