KR20220080359A - 라이다 장치 - Google Patents

라이다 장치 Download PDF

Info

Publication number
KR20220080359A
KR20220080359A KR1020200169382A KR20200169382A KR20220080359A KR 20220080359 A KR20220080359 A KR 20220080359A KR 1020200169382 A KR1020200169382 A KR 1020200169382A KR 20200169382 A KR20200169382 A KR 20200169382A KR 20220080359 A KR20220080359 A KR 20220080359A
Authority
KR
South Korea
Prior art keywords
line
pattern
laser
image
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020200169382A
Other languages
English (en)
Inventor
김은지
온백산
여태운
김대언
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200169382A priority Critical patent/KR20220080359A/ko
Publication of KR20220080359A publication Critical patent/KR20220080359A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4008—Means for monitoring or calibrating of parts of a radar system of transmitters
    • G06T5/006—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 출원은 라이다 장치에 관한 것으로서, 본 발명의 일 실시예에 의한 라이다 장치는 대상 공간 내에 라인 레이저(line laser)를 조사(照射)하는 레이저광원부; 상기 대상 공간 내에서 반사된 상기 라인 레이저를 감지하여 검출이미지를 생성하는 이미지센서부; 및 상기 검출이미지 내에 나타난 레이저 패턴을 이용하여, 상기 대상 공간에 대한 3차원좌표지도를 생성하는 이미지처리부를 포함하며, 상기 레이저 패턴은 기준패턴과, 상기 기준패턴으로부터 단락되어 수직방향으로 이격된 형상의 대상 패턴을 포함할 수 있다.

Description

라이다 장치 {Apparatus for LIDAR}
본 출원은 라인 레이저(line laser)를 이용하는 라이다 장치에 관한 것으로, 더욱 상세하게는 검출이미지에 대한 영상처리를 수행하여 대상공간 내 3차원 좌표지도를 생성할 수 있는 라이다 장치에 관한 것이다.
레이저(Light Amplification by the Stimulated Emission of Radiation, LASER)는 유도방출(stimulated emission)에 의해 증폭된 빛으로, 전자공학, 광통신, 의약학, 국방분야 등 많은 분야에서 핵심기술로 활용되고 있다.
또한, 라이다(Light Detection and Ranging, LiDAR) 장치는 레이저를 이용하여 대상체까지의 거리를 측정하는 것으로, 최근 자율주행 자동차, 이동 로봇, 드론 등의 핵심 기술로 주목을 받고 있다.
종래의 라이다 장치는 레이저의 비행시간을 통한 거리를 산출하는 TOF(Time of Flight) 방식을 적용하므로, 고정밀도 및 고해상도의 측정이 가능한 장점이 있으나, 가격이 비싸고, 전체 크기가 커지게 되는 등의 단점이 존재한다.
본 출원은 라인레이저를 검출한 검출이미지를 영상처리하여, 대상공간에 대한 정밀한 3차원 좌표 정보를 생성할 수 있는 라이다 장치를 제공하고자 한다.
본 출원은 검출이미지의 해상도를 향상시켜, 보다 정밀한 거리 측정을 수행할 수 있는 라이다 장치를 제공하고자 한다.
본 출원은 검출이미지 내에 포함된 복수의 라인 레이저들에 대한 구분오류로 인한 잘못된 거리측정을 방지할 수 있는 라이다 장치를 제공하고자 한다.
본 발명의 일 실시예에 의한 라이다 장치는, 이미지 기반의 3차원 라이다(LiDAR) 장치에 관한 것으로, 대상 공간 내에 라인 레이저(line laser)를 조사(照射)하는 레이저광원부; 상기 대상 공간 내에서 반사된 상기 라인 레이저를 감지하여 검출이미지를 생성하는 이미지센서부; 및 상기 검출이미지 내에 나타난 레이저 패턴을 이용하여, 상기 대상 공간에 대한 3차원좌표지도를 생성하는 이미지처리부를 포함할 수 있으며, 이때 상기 레이저 패턴은 기준패턴과, 상기 기준패턴으로부터 단락되어 수직방향으로 이격된 형상의 대상 패턴을 포함할 수 있다.
여기서 상기 이미지처리부는, 상기 대상 패턴이 상기 검출이미지의 중심선으로부터 수직방향으로 이격된 높이위치값을 이용하여 상기 대상 패턴에 포함된 각 지점들에 대한 z축 좌표를 추출하고, 상기 대상 패턴이 상기 기준 패턴로부터 수직방향으로 이격된 수직위치값을 이용하여 상기 대상 패턴에 포함된 각 지점들에 대한 y축좌표를 추출하고, 상기 대상 패턴 내에 포함된 각 지점이 상기 검출이미지의 기준점으로부터 수평방향으로 이격된 수평위치값을 이용하여 상기 각 지점들의 x축좌표를 추출하며, 상기 x축좌표, y축좌표 및 z축좌표를 이용하여, 상기 대상 패턴 내의 각 지점에 대한 3차원 좌표를 생성할 수 있다.
여기서, 상기 기준점은 상기 검출이미지의 중심점이고, 상기 중심선은 상기 검출이미지의 중심점을 지나는 수평선일 수 있다.
여기서 상기 이미지처리부는, 상기 y축좌표 추출시, 상기 수평위치값을 이용하여 상기 y축좌표를 보정할 수 있으며, 구체적으로 상기 수직위치값 및 수평위치값에 대응하는 상기 지점까지의 거리정보가 저장된 테이블표를 이용하여, 상기 y축좌표를 보정할 수 있다.
여기서 상기 이미지처리부는, 상기 검출이미지로부터 상기 레이저 패턴에 대응하는 패턴픽셀들을 추출하고, 상기 패턴픽셀들을 분할하여 복수의 가상 픽셀들을 추가할 수 있다.
여기서 상기 이미지처리부는, 상기 검출이미지로부터 상기 레이저 패턴에 대응하는 패턴픽셀들을 추출하고, 상기 패턴 픽셀 내에 복수의 가상 픽셀들을 삽입하여, 상기 가상 픽셀들이 상기 패턴 픽셀 내에 수직방향 또는 수평방향의 층을 형성하도록 할 수 있다.
여기서 상기 이미지처리부는, 문턱값을 기준으로 상기 패턴 픽셀 및 가상 픽셀을 이진화하여 이진화영상을 생성하고, 상기 이진화영상으로부터 상기 레이저 패턴을 추출할 수 있다.
여기서, 상기 이미지센서부는 상기 라인 레이저를 수신하는 렌즈부를 더 포함할 수 있으며, 상기 이미지처리부는 보정테이블을 참조하여, 상기 렌즈부에 의한 왜곡 보정한 3차원 좌표 정보를 생성할 수 있다.
여기서, 본 발명의 일 실시예에 의한 라이다 장치는, 상기 라인 레이저를 상기 대상공간 내에 조사하는 방출타이밍 및 방출유지시간을 제어하는 출력제어부; 및 상기 이미지센서부를 노출하여 상기 라인 레이저를 감지하는 노출타이밍 및 노출유지시간을 제어하는 노출제어부를 더 포함할 수 있다.
여기서 상기 출력제어부는, 동기화신호를 이용하여, 상기 노출타이밍과 상기 방출타이밍을 일치시킬 수 있다.
여기서 상기 출력제어부는, 홀수번째 동기화신호를 수신하면 상기 라인 레이저를 제1 방출유지시간동안 방출하고, 짝수번째 동기화신호를 수신하면 상기 라인 레이저를 제2 방출유지시간동안 방출하도록 제어할 수 있다.
여기서 상기 출력제어부는, 상기 제1 방출유지시간은 상기 노출유지시간과 일치하고, 상기 제2 방출유지시간은 상기 노출유지시간 보다 짧게 유지할 수 있다.
여기서 상기 이미지센서부는, 상기 홀수번째 동기화신호에 대응하는 제1 검출이미지와, 상기 짝수번째 동기화신호에 대응하는 제2 검출이미지를 각각 생성하고, 상기 제1 검출이미지는 상기 제2 검출이미지보다 높은 밝기 이득값을 가지도록 영상처리하여 생성할 수 있다.
여기서 상기 이미지처리부는, 상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저 광원부에서 출력한 라인 레이저의 개수와 같으면, 상기 제1 검출이미지 내의 최하단에 위치하는 상기 라인 레이저부터 오름차순으로 각각의 라인번호를 부여할 수 있다.
여기서 상기 이미지처리부는, 상기 기준 패턴과 대상 패턴을 구분하여, 각각 상기 라인번호를 부여할 수 있다.
여기서 상기 이미지처리부는, 상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저 광원부에서 출력한 라인 레이저의 개수보다 적으면, 상기 제2 검출이미지를 참조하여 상기 라인 레이저 각각에 대한 라인번호를 부여할 수 있다.
여기서 상기 이미지처리부는, 상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저광원부에서 출력한 라인 레이저의 개수보다 적으면, 상기 제1 검출이미지 내에 포함된 상기 라인 레이저들의 라인번호의 후보를 각각 x, (x-1)로 설정한 후, 상기 제2 검출이미지에 동일하게 검출된 라인 레이저의 라인번호는 (x-1), 상기 검출이미지에 검출되지 않은 라인 레이저의 라인번호는 x로 각각 부여할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 라이다 장치는, TOF를 대신하여 영상처리를 이용하여 대상공간 내의 거리 등을 측정할 수 있으므로, 라이다 장치 제조에 필요한 비용절감 및 제품 사이즈 축소를 구현할 수 있다.
본 발명의 일 실시예에 의한 라이다 장치는, 레이저 패턴의 수직위치값 이외에 수평위치값을 더 고려하여 거리정보를 생성할 수 있으므로, 보다 정확한 거리정보를 생성하는 것이 가능하다.
본 발명의 일 실시예에 의한 라이다 장치는, 영상처리를 이용하여 검출이미지의 해상도를 높일 수 있으므로, 정밀한 레이저 패턴 추출이 가능하며, 이를 이용한 정확한 거리정보 생성이 가능하다.
본 발명의 일 실시예에 의한 라이다 장치는, 검출이미지 내에 포함된 복수의 라인 레이저들을 정확하게 구분할 수 있으므로, 라인 레이저의 구분오류로 인한 잘못된 거리측정을 방지하는 것이 가능하다.
도1은 본 발명의 일 실시예에 의한 라이다 장치를 나타내는 블록도이다.
도2는 본 발명의 일 실시예에 의한 라이다 장치를 이용한 대상공간 내 라인 레이저의 방출을 나타내는 개략도이다.
도3 및 도4는 본 발명의 일 실시예에 의한 라이다 장치를 이용하여, 싱글라인의 라인 레이저에 대한 3차원 좌표 생성을 나타내는 개략도이다.
도5 및 도6은 본 발명의 일 실시예에 의한 라이다 장치를 이용하여, 멀티라인의 라인 레이저에 대한 3차원 좌표 생성을 나타내는 개략도이다.
도7 및 도8은 렌즈에 의한 검출이미지의 왜곡을 나타내는 개략도이다.
도9는 본 발명의 일 실시예에 의한 라이다 장치의 검출이미지 왜곡에 대한 보정을 나타내는 개략도이다.
도10 및 도11은 본 발명의 일 실시예에 의한 라이다 장치를 이용한 거리정보 생성을 나타내는 개략도이다.
도12 및 도13은 본 발명의 일 실시예에 의한 라이다 장치를 이용한 거리정보 생성을 나타내는 예시도이다.
도14는 본 발명의 일 실시예에 의한 라이다 장치의 가상픽셀 생성을 나타내는 개략도이다.
도15는 본 발명의 일 실시예에 의한 라이다 장치의 가상픽셀을 이용한 레이저 패턴의 검출을 나타내는 개략도이다.
도16은 본 발명의 일 실시예에 의한 라이다 장치의 레이저 패턴을 이용한 거리정보 생성을 나타내는 개략도이다.
도17 및 도18은 대상공간 내 객체와의 거리에 따른 검출이미지를 나타내는 개략도이다.
도19는 본 발명의 일 실시예에 의한 라이다 장치의 라인 레이저 방출 타이밍 및 방출유지시간을 나타내는 블록도이다.
도20은 본 발명의 일 실시예에 의한 라이다 장치의 제1 검출이미지 및 제2 검출이미지의 생성을 나타내는 블록도이다.
도21은 검출된 라인 레이저의 개수가 방출된 라인 레이저의 개수와 동일한 경우, 각 라인 레이저에 대한 라인 번호 설정을 나타내는 예시도이다.
도22는 검출된 라인 레이저의 개수가 방출된 라인 레이저의 개수와 상이한 경우, 각 라인 레이저에 대한 라인 번호 설정을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도1은 본 발명의 일 실시예에 의한 라이다 장치를 나타내는 블록도이고, 도2는 본 발명의 일 실시예에 의한 라이다 장치를 이용한 대상공간 내 라인 레이저의 방출을 나타내는 개략도이다.
도1 및 도2를 참조하면, 본 발명의 일 실시예에 의한 라이다 장치(100)는 레이저 광원부(110), 이미지센서부(120), 이미지처리부(130), 출력제어부(140) 및 노출제어부(150)를 포함할 수 있다.
이하, 도1 및 도2를 참조하여 본 발명의 일 실시예에 의한 라이다 장치(100)를 설명한다.
레이저 광원부(110)는 대상공간(A) 내 라인 레이저(Line Laser)를 조사(照射)할 수 있다. 레이저 광원부(110)는 대상공간(A) 내 단일의 라인 레이저 또는 복수의 라인 레이저를 출력할 수 있으며, 실시예에 따라서는 출력하는 라인 레이저의 투광각도를 조절하여 조사하는 것도 가능하다.
여기서, 라인 레이저의 파장은 미리 설정될 수 있으며, 실시예에 따라서는 라인 레이저의 파장을 적외선 파장 영역으로 설정하는 것도 가능하다. 즉, 적외선의 라인 레이저를 조사하도록 하여, 대상공간(A) 내 위치하는 사람들은 라인 레이저를 인식하지 못하도록 할 수 있다.
또한, 라인 레이저는 Eye-safety 1 class 기준을 충족하도록 에너지 설계될 수 있다. 예를들어, 레이저 광원부(110)는 미리 설정된 에너지 설계에 따라 펄스형으로 레이저 광을 방출할 수 있으며, 이를 통해 대상공간(A) 내에 방출된 라인 레이저에 의해 유발되는 눈 상해 등의 사고 위험을 최소화할 수 있다.
한편, 라인 레이저가 출력되는 대상공간(A)은, 가정집이나 상점 등의 경비구역이나, 주행 또는 주차 중인 차량의 주변공간 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 라이다 장치(100)가 설치되어 라인 레이저를 조사할 수 있는 공간이면 어떠한 공간도 해당할 수 있다.
이미지센서부(120)는 복수의 픽셀들을 포함할 수 있으며, 대상 공간(A) 내에서 반사된 라인 레이저들을 픽셀들의 픽셀값으로 감지하여 검출이미지를 생성할 수 있다. 예를들어, 이미지 센서부(130)는 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등의 센서 어레이로 구현할 수 있으며, 대상 공간(A) 내에서 감지되는 빛을 전기적 신호로 변환할 수 있다. 즉, 대상 공간(A) 내에서 반사된 라인 레이저의 휘도값을 대응하는 각각의 픽셀들의 픽셀값으로 설정하여, 2차원의 검출이미지를 생성할 수 있다.
이미지처리부(130)는 검출이미지 내에 나타난 레이저 패턴을 이용하여, 대상 공간(A)에 대한 3차원좌표지도를 생성할 수 있다. 구체적으로, 이미지처리부(130)는 레이저 광원부(110)와 이미지센서부(120) 사이의 기하학적인 거리와 각도 등을 이용하여, 대상공간(A) 내의 각각의 지점까지의 거리를 측정할 수 있다. 여기서, 이미지처리부(130)는 삼각측량기법을 이용할 수 있으며, 이를 바탕으로 각 지점에 대한 3차원 좌표를 설정할 수 있다. 이후, 이미지처리부(130)는 각각의 레이저 패턴에 대한 3차원 좌표를 취합하여 대상공간(A)에 대한 3차원 좌표지도를 생성할 수 있다.
다만, 대상공간(A) 내에 객체(S)가 존재하는 경우, 검출 이미지(i) 내의 레이저 패턴은 기준 패턴과, 기준 패턴으로부터 단락되어 수직방향으로 이격된 형상의 대상패턴으로 표시될 수 있다. 즉, 도3에 도시한 바와 같이, 대상공간(A) 내에 객체(S)가 위치하는 경우에는, 레이저 패턴이 기준패턴(La)로부터 이격된 대상패턴(Lb)을 포함하는 형태로 나타날 수 있다. 이 경우, 삼각측량법을 이용한 객체(S)까지의 거리측정은 어려울 수 있으며, 이미지처리부(130)는 대상패턴(Lb)과 기준패턴(La) 사이의 관계를 이용하여, 객체(S)에 대한 3차원 좌표를 설정할 수 있다.
구체적으로, 도3(a)에 도시한 바와 같이, 대상공간 내에 라인 레이저를 수평으로 조사하는 경우, 기준패턴(La)은 검출이미지(i)의 중심에 위치하게 된다. 여기서, 레이저 패턴의 높이위치값은 검출이미지(i)의 중심선(RL)의 위치를 기준으로 할 수 있으며, 도3(a)의 경우 기준 패턴(La)이 중심선(RL)에 위치하므로 높이위치값은 0에 해당한다. 따라서, 기준패턴(La)의 z축 좌표도 0으로 설정할 수 있다.
이후, 도3(b)와 같이 대상공간 내에 객체(S)가 위치하는 경우에는, 검출이미지(i)에 대상패턴(Lb)이 기준패턴(La)로부터 이격하여 나타날 수 있다. 그러나, 레이저 광원부(110)는 실제 대상공간 내에 라인 레이저를 수평하게 출력하고 있으므로, 해당 라인 레이저에 대응하는 높이위치값은 모두 동일하다. 즉, 레이저 광원부(110)와 이미지 센서부(120)의 사이의 간격이나 각도 등에 따라 검출이미지(i) 내에 기준패턴(La)과 대상패턴(Lb) 사이의 간격이 나타나는 것이다. 따라서, 도3(b)에 나타난 대상패턴(Lb)의 높이위치값도 0으로 설정할 수 있으며, 그에 따라 객체(S)의 z축 좌표도 0으로 설정할 수 있다. 또한, 도3(b)에 도시한 바와 같이, 대상공간 내에 객체(S)가 위치하여 대상패턴(Lb)이 나타나는 경우, 기준점(RP)으로부터 수평방향으로 이격된 대상패턴(Lb)까지 거리를 측정하여 수평위치값으로 설정할 수 있다. 예를들어, 대상패턴(Lb)의 중심점을 기준으로, 기준점(RP)과의 수평방향 이격거리를 측정할 수 있다. 도3(b)의 경우 대상패턴(Lb)의 중심점은 기준점(RP)으로부터 수평방향의 이격거리가 0에 해당하므로, 해당 대상패턴(Lb)의 수평위치값을 0으로 설정할 수 있다. 또한, 수평위치값이 0이므로, 객체(S)가 검출이미지(i) 내의 중심에 위치하고 있는 것으로 판별할 수 있다.
이외에도, 실시예에 따라서는, 대상패턴(Lb)에 포함되는 각각의 지점들마다 기준점(RP)으로부터 수평방향으로 이격된 수평위치값들을 측정할 수 있으며, 이때 수평위치값들은 각각의 지점들에 대한 x축 좌표에 대응한다. 여기서는 기준점(RP)이 검출이미지(i)의 중심점(RP)인 경우를 예로들어 설명하였으나, 실시예에 따라서는 중심점 이외에 다양한 지점을 기준점(RP)으로 설정하는 것도 가능하다.
한편, 라이다장치(100)와 객체(S) 사이의 거리는, 검출 이미지(i) 내의 대상패턴(Lb)이 기준패턴(La)으로부터 수직방향으로 이격된 수직위치값(P)에 비례한다. 따라서, 이미지처리부(130)는 수직위치값(p)을 이용하여 객체(S)까지의 거리(D1)를 산출할 수 있다. 여기서, 각각의 수직위치값(p)에 대응하는 객체(S)까지의 거리값을 구하기 위한 함수 또는 테이블표 등이 미리 설정되어 있을 수 있으며, 이미지처리부(130)는 이를 이용하여 수직위치값(P)으로부터 y축 좌표를 설정할 수 있다.
따라서, 이미지처리부(130)는 수직위치값, 수평위치값 및 높이위치값을 이용하여, 해당 레이저 패턴에 포함된 각 지점들에 대한 3차원 좌표값을 생성할 수 있다.
또한, 대상 공간(A)에 대한 3차원좌표지도를 생성하기 위하여, 레이저 광원부(110)는 대상공간(A) 내의 다양한 위치에 라인 레이저를 조사할 수 있으며, 실시예에 따라서는, 도4(a)와 같이 라인 레이저의 투광각도를 달리하여 조사할 수 있다. 즉, 도4(a)에 도시한 바와 같이, 대상 공간 내에 라인 레이저를 설정한 투광각도(θ)로 조사하는 경우에는, 기준패턴(La)이 검출이미지(i)의 중심선(RL)보다 아래에 위치할 수 있다. 이 경우, 이미지처리부(130)는 수직위치값, 수평위치값 및 높이위치값에 라인 레이저들의 투광각도(θ)를 더 적용하여, 각각의 3차원 좌표값을 생성할 수 있다.
구체적으로, 도4(b)와 같이 대상공간(A) 내에 객체(S)가 위치하는 경우, 라이다장치(100)와 객체(S) 사이의 거리(D2)는, 검출이미지(i) 내의 대상패턴(Lb)이 기준 패턴(La)으로부터 수직방향으로 이격된 수직위치값(p)에 비례한다. 따라서, 이미지처리부(130)는 수직위치값(p)을 이용하여 객체(S)까지의 거리(D2)를 산출할 수 있다. 여기서, 각각의 수직위치값(p)에 대응하는 객체(S)까지의 거리(D2)을 구하기 위한 함수 또는 테이블표 등이 미리 설정되어 있을 수 있으며, 이미지처리부(130)는 이를 이용하여 수직위치값(p)으로부터 객체(S)까지의 거리(D2)를 산출할 수 있다. 이후, 객체(S)의 y축 좌표는, 투광각도(θ)를 반영하여, D2*cos(θ)로 구할 수 있다.
또한, 높이위치값은 검출이미지(i)의 중심선(RL)을 기준으로 설정할 수 있으며, 기준 패턴(La)과 중심선(RL) 사이의 간격을 높이위치값으로 산출할 수 있다. 여기서, 기준 패턴(La)이 위치하는 높이값(z축 좌표)은 기준 패턴(La)과 중심선(RL) 사이의 간격과 비례하므로, 높이위치값에 대응하는 기준패턴(La)까지의 높이값을 구하기 위한 함수 또는 테이블표 등이 미리 설정되어 있을 수 있다. 이미지처리부(130)는 이를 이용하여 높이위치값으로부터 z축 좌표를 설정할 수 있다.
다만, 도4(b)에 도시한 바와 같이, 객체(S)는 기준패턴(La)보다 z축 방향으로 상단에 위치하므로, 객체(S)의 z축 좌표를 얻기 위해서는 기준패턴(La)의 z축 좌표에 추가적인 연산을 더 수행할 필요가 있다. 예를들어, D2*cos(θ)*tan(θ)를 이용하여 객체(S)의 z축 좌표를 구할 수 있으며, 이외에도 다양한 방식을 활용하여 객체(S)의 z축 좌표를 구할 수 있다.
추가적으로, 실시예에 따라서는 투광각도(θ)가 주어지지 않는 경우가 있을 수 있다. 이 경우 이미지처리부(130)는 대상패턴(Lb)이 검출이미지(i)의 중심선(RL)으로부터 수직방향으로 이격된 높이위치값(C)을 이용하여, 객체(s)의 z축 좌표를 도출할 수 있다. 즉, 객체(S)가 위치하는 높이값(z축 좌표)는 높이위치값(C)과 비례하므로, 각각의 높이위치값(C)에 대응하는 객체(S)의 z축좌표를 구하기 위한 함수 또는 테이블표 등이 미리 설정되어 있을 수 있다. 따라서, 이미지처리부(130)는 이를 이용하여 높이위치값(C)으로부터 객체(S)의 z축좌표를 구할 수 있다. 이 경우, 중심선(RL)의 높이를 임의의 상수(예를들어, 0)로 지정하는 방식에 비하여, 정확하게 높이 정보를 얻을 수 있는 것이 가능하다.
한편, 수평위치값은 라인 레이저를 수평으로 조사하는 경우와 동일한 방법으로 측정할 수 있다. 즉, 기준점(RP)으로부터 대상패턴(Lb)이 수평방향으로 이격된 수평위치값을 측정거리를 측정할 수 있으며, 이때 기준점(RP)은 검출이미지(i)의 중심점일 수 있다. 여기서, 수평위치값은 x축 좌표에 대응하므로, 대상패턴(Lb)에 포함되는 각각의 지점들의 수평위치값들을 이용하여 각각의 지점들에 대한 x축 좌표를 설정할 수 있다.
상술한 바와 같이, 이미지처리부(130)는 투광각도를 변화시키면서, 레이저 패턴에 포함된 각 지점들에 대한 3차원 좌표값을 생성할 수 있다. 즉, 이미지처리부(130)는 검출이미지에서 추출한 레이저 패턴을 이용하여, 대상공간(A)에 대한 3차원 좌표를 각각 연산할 수 있으며, 이를 바탕으로 3차원 좌표지도를 생성할 수 있다.
정리하면, 이미지처리부(130)는 대상패턴(Lb)이 검출이미지(i)의 중심선(RL)으로부터 수직방향으로 이격된 높이위치값을 이용하여 대상패턴(Lb)에 포함된 각 지점들에 대한 z축 좌표를 추출할 수 있다. 또한, 대상패턴(Lb)이 기준패턴(La)로부터 수직방향으로 이격된 수직위치값(P)을 이용하여 대상패턴(Lb)에 포함된 각 지점들에 대한 y축좌표를 추출할 수 있다. 이후, 대상패턴(Lb) 내에 포함된 각 지점이 검출이미지(i)의 기준점(RP)으로부터 수평방향으로 이격된 수평위치값을 이용하여 각 지점들의 x축좌표를 추출할 수 있다. x축 좌표, y축 좌표 및 z축 좌표가 추출되면, 이미지처리부(130)는 대상패턴(Lb)의 각 지점에 대한 3차원 좌표를 생성할 수 있다.
한편, 도4는 대상공간(A) 내에 단일의 라인 레이저를 투광각도를 변경하면서 조사하는 경우를 나타내는 것이나, 실시예에 따라서는 도5에 도시한 바와 같이, 멀티 라인 레이저를 동시에 조사하는 것도 가능하다. 즉, 도5(a) 및 도5(b)에 도시한 바와 같이, 라이다 장치(100)는 4개의 라인 레이저를 동시에 조사할 수 있으며, 각각의 라인 레이저들은 평평한 형상의 벽에서 반사될 수 있다. 여기서, 4개의 라인 레이저가 나타난 4개의 끝점을 비교하면, 균일한 벽에 조사되었으므로, 높이를 나타내는 z좌표(z1, z2, z3, z4)만 상이하고, 나머지 x, y 좌표는 동일함을 확인할 수 있다. 즉, 멀티 라인 레이저를 조사하는 경우, 각각의 라인 레이저에 대한 높이에 대한 z좌표를 산출할 필요가 있다.
도5와 같이 멀티 라인 레이저를 조사하는 경우, x축 좌표는 각각의 라인 레이저의 대상패턴(Lb)에 대한 수평위치값으로부터 구할 수 있다. 즉, 싱글 라인 레이저의 경우와 동일한 방식으로 구할 수 있다. y축 좌표는 각각의 라인 레이저의 기준패턴과 대상패턴 사이의 수직위치값으로부터 구할 수 있다. 즉, 각각의 라인 레이저들에 대응하는 각각의 기준패턴과 대상패턴을 구별하고, 기준패턴과 대상패턴 사이의 수직위치값을 이용하여 각각의 라인레이저들에 대응하는 y축 좌표를 구할 수 있다. Z축 좌표의 경우, 싱글 라인 레이저의 경우와 동일하게, 각각의 라인레이저들의 투광각도와 기준패턴과 중심선 사이의 간격으로부터 구하거나, 대상패턴과 중심선 사이의 높이위치값으로부터 산출할 수 있다.
구체적으로, 도6(a)를 참조하면, 각각의 라인 레이저에 대한 기준 패턴과 대상패턴을 설정하고, 각각의 기준 패턴과 대상패턴 사이의 수직위치값(P1, P2, P3)를 구할 수 있다. 이후, 각각의 수직위치값(P1, P2, P3)으로부터 각각의 대상패턴들의 y축 좌표를 산출할 수 있다. 또한, 도6(b)를 참조하면, 각각의 대상패턴과 중심선(RL) 사이의 높이위치값(C1, C2, C3)을 산출한 후, 각각의 높이위치값(C1, C2, C3)에 대응하는 z축 좌표를 설정할 수 있다.
즉, 멀티 라인 레이저를 조사하는 경우, 싱글 라인 레이저와 동일한 방식을, 각각의 라인 레이저에 반복적으로 적용함으로써, 각각의 지점들에 대한 3차원 좌표를 추출할 수 있다.
추가적으로, 본 발명의 일 실시예에 의하면, 이미지 센서부(120)는 렌즈를 통하여 대상공간(A) 내에서 반사된 라인 레이저를 수신할 수 있다. 즉, 이미지센서부(120)는 수신효율을 높이기 위하여 카메라와 유사하게 렌즈를 통하여 빛을 모아서 수신할 수 있다.
이 경우, 도7에 도시한 바와 같이, 렌즈에 의해 검출이미지(i)에 포함된 레이저 패턴의 형태가 왜곡될 수 있다. 즉, 중심선(RL)과 라인 레이저 사이의 간격이, 끝단에서는 20 픽셀간격만큼 차이나지만 중심부에서는 30 픽셀간격만큼 차이가 나는 것을 확인할 수 있다. 나아가, 도8(a)에 나타난 바와 같이, 라인 레이저의 끝단과 중심부 사이의 간격 차이가 발생하는 경우에는, 도8(b)와 같이, 실제 라인 레이저가 반사되는 벽은 평평한 형상임에 불구하고, 휘어진 형상으로 잘못 인식될 수 있다.
따라서, 본 발명의 일 실시예에 의한 이미지처리부(130)는, 보정테이블을 이용하여, 검출이미지(i) 내에 포함된 렌즈에 의한 왜곡을 보정하도록 할 수 있다. 즉, 렌즈 등에 의하여 발생하는 왜곡의 정도를 보정 테이블에 미리 저장한 후, 이를 바탕으로 왜곡을 보정하도록 할 수 있다. 예를들어, 보정 테이블 내에는 왜곡되지 않은 직선 형태의 라인 레이저와, 왜곡에 의해 휘어진 라인 레이저 사이의 차이가 저장되어 있을 수 있으며, 이미지처리부(130)는 보정 테이블을 이용하여, 검출이미지(i) 내의 휘어진 라인 레이저가 펼쳐지도록 보정할 수 있다. 이 경우, 도9(a)의 왜곡된 검출이미지(i)가 도9(b)와 같이 직선형태로 보정될 수 있다. 이후, 보정된 검출이미지(i)를 이용하면, 도9(c)와 같이 평평한 벽 형상으로 나타나도록 3차원 좌표지도를 생성하는 것이 가능하다. 따라서, 렌즈에 의해 왜곡된 검출이미지(i)를 보정한 후, 대상공간(A)에 대한 정확한 3차원 좌표지도를 생성할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 이미지처리부(130)는 y축 좌표 추출시, 수직위치값 이외에 수평위치값을 더 이용하여 y축 좌표를 보정할 수 있다. 즉, 객체의 거리측정시 객체의 x축상 위치를 더 고려함으로써, 보다 정확한 거리정보를 측정하도록 할 수 있다.
구체적으로, 이미지처리부(130)는 검출이미지에 대한 영상처리를 통하여 객체까지의 거리정보를 생성하므로, 객체와 라이다장치(100) 사이의 거리가 멀어질수록 검출이미지 내의 하나의 픽셀에 대응하는 실제 거리가 커지게 되는 현상이 발생할 수 있다. 따라서, 라이다장치(100)와 객체 사이의 거리가 먼 경우에는, 객체까지의 거리를 정확하게 구별하기 어려워질 수 있으며, 레이저 패턴 등에 발생하는 작은 오차에도 객체에 대한 거리정보가 크게 변할 수 있다. 즉, 검출이미지 내에 나타난 대상 패턴의 수직위치값만을 이용하여 객체까지의 거리를 연산하는 경우에는, 연산된 객체까지의 거리정보가 상대적으로 부정확해질 수 있다.
예를들어, 도10의 제1 객체(S1)까지의 거리(D1)는 3m이고, 제2 객체(S2)까지의 거리(D2)는 4m일 수 있다. 그러나, 검출이미지(i) 내에서는, 도11과 같이 제1 객체(S1)와 제2 객체(S2)의 수직위치값(p1, p2)이 동일하게 측정될 수 있다. 즉, 수직위치값(p1, p2)이 동일하므로, 실제 제1 객체(S1)와 제2 객체(S2)의 거리차이에 불구하고, 라이다 장치(100)는 동일한 거리에 위치하는 것으로 측정하는 등의 문제가 발생할 수 있다.
이를 해결하기 위하여, 본 발명의 일 실시예에 의한 이미지처리부(130)는, 대상패턴(Lb)의 수직위치값와 함께 수평위치값을 반영하여, 객체까지의 거리정보를 보다 정확하게 생성할 수 있다.
도11은 도10의 제1 객체(S1) 및 제2 객체(S2)에 대한 각각의 검출이미지로, 검출이미지(i) 내에는 라인 레이저에 대응하는 레이저 패턴(La, Lb)이 포함될 수 있으며, 객체(S1, S2)에 의해 레이저 패턴이 단락될 수 있다. 여기서, 제1 객체(S1)는 라이다 장치(100)의 정면에 위치하므로, 도11(a)에 도시한 바와 같이 대상패턴(Lb)은 검출이미지(i)의 중심에 위치할 수 있다. 반면에, 제2 객체(S2)는 라이다 장치(100)로부터 우측으로 치우쳐 있으므로, 도11(b)에 도시한 바와 같이, 대상패턴(Lb)도 검출이미지(i)의 중심으로부터 우측에 위치함을 확인할 수 있다.
이 경우, 이미지처리부(130)는 대상 패턴(Lb)이 기준 패턴(La)으로부터 수직방향으로 이격된 수직위치값(p1, p2)과, 대상 패턴(Lb)이 기준점으로부터 수평방향으로 이격된 수평위치값(x1, x2)을 각각 산출하고, 수직위치값(p1, p2) 및 수평위치값(x1, x2)을 이용하여 객체(S1, S2)까지의 거리정보를 각각 생성할 수 있다. 여기서, 기준점은 검출이미지(i) 내 좌측단부, 우측단부 또는 검출이미지(i)의 중심점(RP) 등 임의의 지점으로 설정할 수 있으며, 실시예에 따라서는 검출이미지(i) 내의 레이저광원부(110)의 위치에 대응하는 지점 등으로 설정하는 것도 가능하다.
여기서, 대상패턴(Lb)의 수직위치값(p1, p2) 및 수평위치값(x1, x2)에 대응하는 각각의 거리정보가 저장된 테이블표가 존재할 수 있으며, 이미지처리부(130)는 이를 이용하여 객체(S1, S2)에 대응하는 거리정보를 추출할 수 있다. 실시예에 따라서는, 기계학습 또는 딥러닝 등을 활용하여 테이블표를 생성하는 것도 가능하다. 도11의 경우, 제1 객체(S1)와 제2 객체(S2)의 수직위치값(p1, p2)이 동일하게 측정되었으나 수평위치값(x1, x2)가 상이하므로, 각각의 제1 객체(S1)와 제2 객체(S2)에 대한 거리정보는 상이하게 설정될 수 있다. 따라서, 보다 정확하게 객체의 거리정보를 생성하는 것이 가능하다.
한편, 도12 및 도13은 본 발명의 일 실시예에 의한 대상패턴(Lb)의 수직위치값 및 수평위치값을 모두 반영한 거리정보 산출을 나타내는 도면이다. 도12는 각각 라이다장치(100)로부터 100cm, 150cm, 200cm, 250cm 떨어진 위치에 위치하는 객체(S)에 대한 거리 산출 결과이다. 여기서, 라이다장치(100)로부터 멀어질수록 대상패턴(Lb)의 수직위치값의 크기가 작아지며, 이에 따라 수직위치값만으로는 점차 객체(S)까지의 정확한 거리정보를 추출하기 어려움을 확인할 수 있다.
또한, 도13은 객체(S)가 라이다장치(100)의 반경 2m 원을 따라 움직일 때의 거리정보의 산출을 나타내는 도면이다. 도13을 참조하면, 객체(S)의 수평위치값 변경에 불구하고, 각각의 객체(S)까지의 거리정보는 동일하게 2m로 산출됨을 확인할 수 있다. 즉, 대상패턴(Lb)에 대한 수직위치값과 함께 수평위치값을 동시에 고려할 수 있으므로, 보다 정확하게 거리정보를 산출하는 것이 가능하다.
한편, 본 발명의 일 실시예에 의한 이미지처리부(130)는, 검출이미지(i)에 대한 영상처리를 수행하여, 검출이미지(i) 내에 포함된 레이저 패턴의 해상도(resolution)을 높일 수 있다.
검출이미지(i)에는 라인 레이저에 대응하는 레이저 패턴(La, Lb)이 포함될 수 있으며, 레이저 패턴(La, Lb)을 나타내는 각각의 픽셀들에 미리 설정한 테이블표를 적용하면 각각의 픽셀별 거리정보를 산출할 수 있다. 여기서, 테이블표는 삼각측량방법을 이용하여 미리 설정한 것일 수 있다.
다만, 레이저 광원부(110), 이미지센서부(120) 등의 하드웨어 성능과, 검출이미지(i) 내에 포함되는 노이즈 등 의하여, 레이저 패턴은 매 프레임마다 달라질 수 있으며, 이에 따라 객체(S)까지의 거리정보가 변동할 수 있다. 이러한 거리정보의 변동은, 객체(S)까지의 거리가 가까운 경우에는 변동폭이 작게 나타나지만, 객체(S)까지의 거리가 멀어질수록 변동폭이 크게 나타날 수 있다. 예를들어, 객체(S)까지의 거리가 200cm인 경우에는, 레이저 패턴의 1 픽셀 차이에 의한 실제거리 차이가 5cm 정도로 나타날 수 있으나, 객체(S)까지의 거리가 700cm인 경우에는, 레이저 패턴의 1 픽셀에 의한 실제거리 차이가 50cm로 크게 발생할 수 있다.
이는 레이저 패턴의 경계가 불명확하게 나타나기 때문에 발생하는 것으로, 레이저 패턴의 경계가 검출이미지(i) 내에서 명확하게 나타나는 경우에는 해소할 수 있다. 간단하게는 높은 해상도를 지원하는 이미지 센서를 이미지센서부(120)에 적용하거나, 레이저광원부(110)와 이미지센서부(120) 사이의 이격거리를 늘리는 방안을 고려할 수 있으나, 이는 물리적 한계가 있으므로, 여기서는 영상처리를 통해 해상도를 향상시키는 방안을 제안한다.
구체적으로, 도14(a)에 도시한 바와 같이, 일반적으로 레이저 패턴을 나타내는 패턴픽셀(Pa)을 특정할 수 있으며, 이를 활용하여 레이저 패턴을 추출할 수 있다. 다만, 본 발명의 일 실시예에 의한 이미지처리부(130)는 도14(b)에 도시한 바와 같이, 레이저 패턴을 나타내는 패턴픽셀들을 분할하여 복수의 가상 픽셀(Pb)들을 추가할 수 있다. 즉, 가상 픽셀(Pb)을 이용하여 레이저 패턴을 보다 세밀하게 표시할 수 있다.
가상 픽셀(Pb)들은 패턴 픽셀(Pa) 내에 수직방향 또는 수평방향의 층을 형성하도록 추가될 수 있으며, 가상 픽셀(Pb)들의 픽셀값은 주변에 위치하는 다른 패턴픽셀(Pa)들의 픽셀값을 이용하여 설정할 수 있다. 예를들어, 가상 픽셀(Pb)의 상하 또는 좌우에 위치하는 픽셀들의 평균값으로 픽셀값을 설정할 수 있으며, 이외에도 다양한 필링(filling) 방법을 활용할 수 있다.
이후, 도15에 도시한 바와 같이, 이미지처리부(130)는 문턱값을 기준으로 패턴 픽셀(Pa) 또는 가상 픽셀(Pb)을 이진화할 수 있으며, 이진화영상으로부터 레이저 패턴을 추출할 수 있다. 일반적으로는 도14(a) 및 도15(a)에 도시한 바와 같이, 가상 픽셀을 추가하지 않고, 문턱값 0.75를 기준으로 이진화하여 대응하는 레이저 패턴을 추출할 수 있다.
그러나, 본 발명의 일 실시예에 의한 이미지처리부(130)는 도14(b) 및 도15(b)에 도시한 바와 같이, 가상 픽셀(Pb)들을 추가할 수 있으며, 가상 픽셀에 대해 문턱값 0.75를 기준으로 이진화를 수행할 수 있다. 이 경우, 가상 픽셀 중 첫번째와 두번째 행은 모두 "1"로 설정되어 레이저 패턴으로 추출되지만, 세번째 행은 모두 "0"으로 설정되므로 레이저 패턴에서 제외될 수 있다. 즉, 도15(a)와 비교하면, 도15(b)는 가상픽셀을 추가하여 레이저 패턴에 대한 해상도를 높인 후, 보다 세밀하게 레이저 패턴을 설정함을 확인할 수 있다.
구체적으로, 도16을 참조하면, 도16(a)는 가상 픽셀의 추가없이 레이저 패턴을 추출하여 객체(S)까지의 거리정보를 생성한 결과이고, 도16(b)는 가상 픽셀을 추가하여 레이저 패턴을 추출한 후 객체(S)까지의 거리정보를 생성한 결과이다. 도16(a)에 의하면, 검출이미지(i)의 100번째 행을 기준으로 객체(S)까지의 거리정보를 산출할 수 있으나, 도16(b)에 의하면, 검출이미지(i)의 99.75번째 행을 기준으로 객체(S)까지의 거리정보를 산출하는 것이 가능하다. 이를 통하여, 객체(S)까지의 거리정보를 보다 정밀하게 산출할 수 있음을 확인할 수 있다.
한편, 도17(a) 및 도17(b)를 참조하면, 라이다 장치(100)를 이용하여 대상공간(A) 내에 라인 레이저를 조사하게 되면, 객체(S)의 위치에 따라 라인 레이저가 맺히는 높이가 달라질 수 있다. 다만, 도17에 도시한 바와 같이 복수의 라인 레이저가 동시에 조사되는 경우에는, 각 라인 레이저들을 구분할 필요가 있으며, 실시예에 따라서는 각각의 라인 레이저들에 대한 라인번호를 부여하여 구분하는 것도 가능하다. 이후, 각각의 라인 번호에 해당하는 라인 레이저들의 대상 패턴이 기준선 또는 기준 패턴에 비하여 수직위치값이 얼마인지에 따라 거리정보를 산출할 수 있다.
다만, 복수의 라인 레이저를 이용하는 경우, 검출이미지에서 거리에 따라 라인 레이저의 위치가 변화하므로, 다른 라인 레이저들과의 구분이 명확하지 않을 수 있다. 즉, 도18에 도시한 바와 같이, 객체(S)의 위치에 따라 라인 레이저가 기준선 이상으로 올라가는 경우가 발생할 수 있으며, 경우에 따라서는 라인 레이저 중 하나가 검출이미지(i) 내에 맺히지 않는 경우가 발생할 수 있다. 이 경우, 대상패턴에 해당하는 3개의 라인들에 대하여는 몇번째 라인 레이저에 해당하는지 알 수 없으며, 잘못된 라인번호 부여에 따른 거리계산 결과의 오류가 발생할 수 있다. 이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 의한 라이다 장치(100)는 출력제어부(140) 및 노출제어부(150)를 활용할 수 있다.
여기서, 출력제어부(140)는 레이저 광원부(110)가 출력하는 라인 레이저의 방출타이밍 및 방출유지시간을 제어할 수 있으며, 출력제어부(140)의 방출타이밍은 동기화신호에 의하여 이미지센서부(120)의 노출타이밍과 일치시킬 수 있다. 또한, 노출제어부(150)는 이미지센서부(120)의 노출타이밍 및 노출유지시간을 제어할 수 있다. 이미지센서부(120)는 동기화신호에 따라 노출을 시작할 수 있으며, 노출유지시간 동안 대상공간(A) 내에서 반사되는 빛을 감지하여 검출이미지(i)를 생성할 수 있다.
도19를 참조하면, 본 발명의 일 실시예에 의한 출력제어부(140)는 각각의 검출이미지(i) 생성을 위한 동기화신호를 이미지센서부(120)로부터 입력받을 수 있으며, 각각의 동기화신호를 홀수번째 동기화신호와 짝수번째 동기화신호로 구분할 수 있다.
이후, 홀수번째 동기화신호를 수신하면 라인 레이저를 제1 방출유지시간(T1)동안 방출하고, 짝수번째 동기화신호를 수신하면 라인 레이저를 제2 방출유지시간(T2)동안 방출하도록 제어할 수 있다. 여기서, 제1 방출유지시간(T1)은 제2 방출유지시간(T2)보다 길게 설정할 수 있다. 실시예에 따라서는 제1 방출유지시간(T1)을 노출유지시간과 일치시키고, 제2 방출유지시간(T2)은 노출유지시간 보다 짧게 유지하도록 하는 것도 가능하다.
출력제어부(140)가 방출유지시간을 길게 설정하면 라인 레이저는 대상공간(A) 내의 끝에 위치하는 벽에서 반사되어 돌아올 수 있도록 충분한 에너지로 방출될 수 있으며, 방출유지시간을 짧게 설정하면 라인 레이저는 근거리에 위치하는 객체(S)에서만 반사되어 돌아올 수 있을 정도의 적은 에너지로 방출될 수 있다. 따라서, 제1 방출유지시간(T1)과 제2 방출유지시간(T2)을 상이하게 설정함으로써, 검출하는 범위를 원거리와 근거리로 각각 구분하는 것이 가능하다, 즉, 제1 방출유지시간(T1) 동안에는 원거리에 위치하는 객체들을 검출하고, 제2 방출유지시간(T2) 동안에는 근거리에 위치하는 객체들을 검출할 수 있다.
또한, 이미지센서부(120)는 도20에 도시한 바와 같이, 홀수번째 동기화신호에 대응하는 제1 검출이미지와, 짝수번째 동기화신호에 대응하는 제2 검출이미지를 각각 생성한 후, 각각의 제1 검출이미지와 제2 검출이미지에 상이한 ISP(Image Signal Processor) 처리를 적용할 수 있다. 즉, 제1 검출이미지는 제2 검출이미지보다 높은 밝기 이득값을 가지도록 영상처리하여 생성할 수 있다. 이 경우, 제2 검출이미지는 원거리에서 반사된 라인 레이저는 더욱 어둡게 표시되므로, 근거리에서 반사된 라인 레이저가 강조되어 나타날 수 있다.
이후, 이미지처리부(140)는 제1 검출이미지에서 라인 레이저를 검출하여, 라인 레이저의 개수를 확인할 수 있다. 여기서, 검출된 라인 레이저의 개수가 레이저 광원부(110)에서 출력하는 라인 레이저의 개수와 일치하면, 제1 검출이미지 내의 최하단에 위치하는 라인 레이저부터 오름차순으로 각각의 라인번호를 부여할 수 있다. 즉, 도21에 도시한 바와 같이, 레이저 광원부(110)에서 출력하는 라인 레이저의 개수가 4개이고, 제1 검출이미지(i1)에서 검출한 라인 레이저의 개수도 4개인 경우에는, 최하단의 라인 레이저부터 순차적으로 라인번호를 1, 2, 3, 4로 각각 설정할 수 있다.
여기서, 이미지처리부(140)는 라인 레이저를 기준 패턴과 대상 패턴을 각각 구분한 후, 각각의 기준 패턴과 대상 패턴에 대해 개별적으로 라인번호를 부여할 수 있다.
한편, 검출된 라인 레이저의 개수가 레이저 광원부(110)에서 출력하는 라인 레이저보다 적으면, 이미지처리부(140)는 제2 검출이미지를 참조하여 라인 레이저 각각에 대한 라인번호를 부여할 수 있다. 즉, 도22(a)에 도시한 바와 같이, 레이저 광원부(110)에서 출력하는 라인 레이저의 개수가 4개이고, 검출된 라인 레이저가 3개인 경우에는, 제2 검출이미지(i2)를 참조하여 라인 레이저들의 라인번호를 부여할 수 있다.
구체적으로, 제1 검출이미지(i) 내에 포함된 라인 레이저들의 라인번호의 후보를 각각 x, (x-1)로 설정할 수 있으며, 이 중에서 제2 검출이미지(i2)에 동일하게 검출된 라인 레이저에는 (x-1)을 라인번호로 설정할 수 있다. 반면에, 제2 검출이미지(i2)에 검출되지 않은 라인 레이저의 라인번호는, x로 각각 부여할 수 있다.
도22를 참조하면, 제1 검출이미지(i1)에 포함된 각각의 라인 레이저들은, 1, 2, 3 또는 2, 3, 4의 라인 번호 후보를 가질 수 있다. 여기서, 대상 패턴 부분은 제2 검출이미지(i2)에서 동일하게 검출되고 있으므로, 대상패턴부분에는 각각 (x-1)을 라인번호로 설정할 수 있다. 따라서, 대상패턴부분은 2, 3, 4가 아니라 1, 2, 3으로 각각 라인 번호를 설정할 수 있다. 또한, 나머지 기준패턴부분은 제2 검출이미지(i2) 내에 검출되지 않았으므로, (x)를 라인번호로 설정할 수 있다. 따라서, 기준패턴부분은 각각 2, 3, 4로 라인 번호를 설정할 수 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 라이다 장치 110: 레이저광원부
120: 이미지센서부 130: 이미지처리부
140: 출력제어부 150: 노출제어부

Claims (18)

  1. 이미지 기반의 3차원 라이다(LiDAR) 장치에 있어서,
    대상 공간 내에 라인 레이저(line laser)를 조사(照射)하는 레이저광원부;
    상기 대상 공간 내에서 반사된 상기 라인 레이저를 감지하여 검출이미지를 생성하는 이미지센서부; 및
    상기 검출이미지 내에 나타난 레이저 패턴을 이용하여, 상기 대상 공간에 대한 3차원좌표지도를 생성하는 이미지처리부를 포함하며,
    상기 레이저 패턴은
    기준패턴과, 상기 기준패턴으로부터 단락되어 수직방향으로 이격된 형상의 대상 패턴을 포함하는 라이다(Lidar) 장치.
  2. 제1항에 있어서, 상기 이미지처리부는
    상기 대상 패턴이 상기 검출이미지의 중심선으로부터 수직방향으로 이격된 높이위치값을 이용하여 상기 대상 패턴에 포함된 각 지점들에 대한 z축 좌표를 추출하고,
    상기 대상 패턴이 상기 기준 패턴로부터 수직방향으로 이격된 수직위치값을 이용하여 상기 대상 패턴에 포함된 각 지점들에 대한 y축좌표를 추출하고,
    상기 대상 패턴 내에 포함된 각 지점이 상기 검출이미지의 기준점으로부터 수평방향으로 이격된 수평위치값을 이용하여 상기 각 지점들의 x축좌표를 추출하며,
    상기 x축좌표, y축좌표 및 z축좌표를 이용하여, 상기 대상 패턴 내의 각 지점에 대한 3차원 좌표를 생성하는 것을 특징으로 하는 라이다 장치.
  3. 제2항에 있어서,
    상기 기준점은 상기 검출이미지의 중심점, 좌측단부 및 우측단부 중 어느 하나이고,
    상기 중심선은 상기 검출이미지의 중심점을 지나는 수평선인 것을 특징으로 하는 라이다 장치.
  4. 제2항에 있어서, 상기 이미지처리부는
    상기 y축좌표 추출시, 상기 수평위치값을 더 이용하여 상기 y축좌표를 보정하는 것을 특징으로 하는 라이다 장치.
  5. 제4항에 있어서, 상기 이미지처리부는
    상기 수직위치값 및 수평위치값에 대응하는 상기 지점까지의 거리정보가 저장된 테이블표를 이용하여, 상기 y축좌표를 보정하는 것을 특징으로 하는 라이다 장치.
  6. 제1항에 있어서, 상기 이미지처리부는
    상기 검출이미지로부터 상기 레이저 패턴에 대응하는 패턴픽셀들을 추출하고, 상기 패턴픽셀들을 분할하여 복수의 가상 픽셀들을 추가하는 것을 특징으로 하는 라이다 장치.
  7. 제1항에 있어서, 상기 이미지처리부는
    상기 검출이미지로부터 상기 레이저 패턴에 대응하는 패턴픽셀들을 추출하고, 상기 패턴 픽셀 내에 복수의 가상 픽셀들을 삽입하여, 상기 가상 픽셀들이 상기 패턴 픽셀 내에 수직방향 또는 수평방향의 층을 형성하도록 하는 것을 특징으로 하는 라이다 장치.
  8. 제6항 또는 제7항에 있어서, 상기 이미지처리부는
    문턱값을 기준으로 상기 패턴 픽셀 및 가상 픽셀을 이진화하여 이진화영상을 생성하고, 상기 이진화영상으로부터 상기 레이저 패턴을 추출하는 것을 특징으로 하는 라이다 장치.
  9. 제1항에 있어서,
    상기 이미지센서부는 상기 라인 레이저를 수신하는 렌즈부를 더 포함하고,
    상기 이미지처리부는
    보정테이블을 참조하여, 상기 렌즈부에 의한 왜곡 보정한 3차원 좌표 정보를 생성하는 것을 특징으로 하는 라이다 장치.
  10. 제1항에 있어서,
    상기 라인 레이저를 상기 대상공간 내에 조사하는 방출타이밍 및 방출유지시간을 제어하는 출력제어부; 및
    상기 이미지센서부를 노출하여 상기 라인 레이저를 감지하는 노출타이밍 및 노출유지시간을 제어하는 노출제어부를 더 포함하는 것을 특징으로 하는 라이다 장치.
  11. 제10항에 있어서, 상기 출력제어부는
    동기화신호를 이용하여, 상기 노출타이밍과 상기 방출타이밍을 일치시키는 것을 특징으로 하는 라이다 장치.
  12. 제11항에 있어서, 상기 출력제어부는
    홀수번째 동기화신호를 수신하면 상기 라인 레이저를 제1 방출유지시간동안 방출하고, 짝수번째 동기화신호를 수신하면 상기 라인 레이저를 제2 방출유지시간동안 방출하도록 제어하는 것을 특징으로 하는 라이다 장치.
  13. 제12항에 있어서, 상기 출력제어부는
    상기 제1 방출유지시간은 상기 노출유지시간과 일치하고, 상기 제2 방출유지시간은 상기 노출유지시간 보다 짧게 유지하는 것을 특징으로 하는 라이다 장치.
  14. 제13항에 있어서, 상기 이미지센서부는
    상기 홀수번째 동기화신호에 대응하는 제1 검출이미지와, 상기 짝수번째 동기화신호에 대응하는 제2 검출이미지를 각각 생성하고,
    상기 제1 검출이미지는 상기 제2 검출이미지보다 높은 밝기 이득값을 가지도록 영상처리하여 생성하는 것을 특징으로 하는 라이다 장치.
  15. 제14항에 있어서, 상기 이미지처리부는
    상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저 광원부에서 출력한 라인 레이저의 개수와 같으면, 상기 제1 검출이미지 내의 최하단에 위치하는 상기 라인 레이저부터 오름차순으로 각각의 라인번호를 부여하는 것을 특징으로 하는 라이다 장치.
  16. 제15항에 있어서, 상기 이미지처리부는
    상기 기준 패턴과 대상 패턴을 구분하여, 각각 상기 라인번호를 부여하는 것을 특징으로 하는 라이다 장치.
  17. 제16항에 있어서, 상기 이미지처리부는
    상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저 광원부에서 출력한 라인 레이저의 개수보다 적으면, 상기 제2 검출이미지를 참조하여 상기 라인 레이저 각각에 대한 라인번호를 부여하는 것을 특징으로 하는 라이다 장치.
  18. 제17항에 있어서, 상기 이미지처리부는
    상기 제1 검출이미지에서 검출된 라인 레이저의 개수가 상기 레이저광원부에서 출력한 라인 레이저의 개수보다 적으면, 상기 제1 검출이미지 내에 포함된 상기 라인 레이저들의 라인번호의 후보를 각각 x, (x-1)로 설정한 후, 상기 제2 검출이미지에 동일하게 검출된 라인 레이저의 라인번호는 (x-1), 상기 제2 검출이미지에 검출되지 않은 라인 레이저의 라인번호는 x로 각각 부여하는 것을 특징으로 하는 라이다 장치.
KR1020200169382A 2020-12-07 2020-12-07 라이다 장치 Pending KR20220080359A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169382A KR20220080359A (ko) 2020-12-07 2020-12-07 라이다 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169382A KR20220080359A (ko) 2020-12-07 2020-12-07 라이다 장치

Publications (1)

Publication Number Publication Date
KR20220080359A true KR20220080359A (ko) 2022-06-14

Family

ID=81980038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169382A Pending KR20220080359A (ko) 2020-12-07 2020-12-07 라이다 장치

Country Status (1)

Country Link
KR (1) KR20220080359A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025143862A1 (ko) * 2023-12-27 2025-07-03 엘지이노텍 주식회사 라이다 장치 및 보정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025143862A1 (ko) * 2023-12-27 2025-07-03 엘지이노텍 주식회사 라이다 장치 및 보정 방법

Similar Documents

Publication Publication Date Title
US10884129B2 (en) Detecting system fusing lidar point cloud and image
US10156437B2 (en) Control method of a depth camera
KR101891907B1 (ko) 거리 측정 장치 및 시차 연산 시스템
CN112513677B (zh) 纵深取得装置、纵深取得方法以及记录介质
US8482720B2 (en) Method and optical sensor for the detection of objects
EP3279691B1 (en) Rangefinder based on parallax calculation
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
JP2018105682A (ja) ステレオカメラ
US11619725B1 (en) Method and device for the recognition of blooming in a lidar measurement
JP7569376B2 (ja) 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
CN107564051B (zh) 一种深度信息采集方法及系统
CN110068825A (zh) 包括立体相机和测距仪的物体传感器组件
JP2012022573A (ja) 移動体検出装置
KR20220080359A (ko) 라이다 장치
EP3217191A1 (en) Distance measuring apparatus and method for measuring a distance
US9992472B1 (en) Optoelectronic devices for collecting three-dimensional data
US12590798B2 (en) Multi-sensor depth mapping
KR20220153804A (ko) 라이다 장치
WO2023047886A1 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム
KR20140061230A (ko) 객체의 깊이 정보 생성 장치 및 그 방법
KR20220147812A (ko) 이미지 기반의 라이다 장치 및 이를 이용한 거리측정방법
US7420196B2 (en) Multiple axis multipoint non-contact measurement system
US11448758B2 (en) Method and device for optical distance measurement
US20240284031A1 (en) Emitter array with two or more independently driven areas
US20220268902A1 (en) Lidar system and method for determining distances of targets

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13 Search requested

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D13-SRH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13 Application amended

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P13-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701