KR20170028603A - 차량 주변의 물체 인식 장치 및 그 방법 - Google Patents

차량 주변의 물체 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20170028603A
KR20170028603A KR1020150125415A KR20150125415A KR20170028603A KR 20170028603 A KR20170028603 A KR 20170028603A KR 1020150125415 A KR1020150125415 A KR 1020150125415A KR 20150125415 A KR20150125415 A KR 20150125415A KR 20170028603 A KR20170028603 A KR 20170028603A
Authority
KR
South Korea
Prior art keywords
signals
sensed
sensing information
signal
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150125415A
Other languages
English (en)
Other versions
KR102490602B1 (ko
Inventor
김정구
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150125415A priority Critical patent/KR102490602B1/ko
Priority to US15/216,164 priority patent/US10309773B2/en
Priority to DE102016216294.2A priority patent/DE102016216294B4/de
Publication of KR20170028603A publication Critical patent/KR20170028603A/ko
Application granted granted Critical
Publication of KR102490602B1 publication Critical patent/KR102490602B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

본 발명은 차량 주변의 물체 인식 장치 및 그 방법에 관한 것으로서, 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치는 차량의 일정 거리 전방의 영역에 복수의 신호를 출력하여 상기 복수의 신호 각각에 대한 센싱 정보를 생성하는 거리 센서, 상기 센싱 정보의 수직 및 수평 지면 처리 과정을 통해 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출하는 신호 처리부, 상기 수직 및 수평 지면 처리 과정 각각을 통해 추출된 센싱 정보들을 융합하는 신호 융합부, 및 융합된 상기 센싱 정보들을 이용하여 물체를 인식하는 물체 인식부를 포함한다.

Description

차량 주변의 물체 인식 장치 및 그 방법{Device for recognizing of obstacle around the vehicle and method thereof}
본 발명은 차량 주변의 물체 인식 장치 및 그 방법에 관한 것으로, 특히 차량 주변의 물체 인식 성능을 향상시킨 차량 주변의 물체 인식 장치 및 그 방법에 관한 것이다.
일반적으로 자율 주행 차량은 안전한 주행을 하기 위해 주행 방향에 위치하는 장애물을 검출하고, 이 검출된 정보를 이용하여 장애물과 충돌하지 않는 것이 무엇보다 중요하다.
일 예로서, 자율 주행 차량은 차도를 주행하는 경우에 차도보다 높게 돌출된 인도와 충돌하지 않으면서 주행해야 하므로, 차도와 인도의 경계석인 연석을 탐지하는 것이 필요하다. 연석은 도로에 존재하는 중요한 표식이기 때문에 연석을 정확하게 찾을 수 있다면, 자율 주행 차량 등에 활용 가능하다. 종래의 연석 탐지 방법은 주로 연석의 옆면에서 얻은 센서 정보를 활용하여 연석을 탐지하였다. 즉, 종래에는 연석의 옆면과 지면이 수직하기 때문에 연석 부분에서 거리 센서 정보가 급격히 변하는 특성을 이용하여 연석을 탐지하였다.
그러나 연석의 옆면에서 얻는 센서 정보는 상대적으로 정보량이 적기 때문에 연석의 옆면 정보만 이용할 경우, 외부 요인이나 센서의 노이즈 등에 의하여 연석 탐지 성능이 영향을 받기 쉽고, 차량에서 먼 거리에 존재하는 연석은 인식하기 어려운 문제점이 있다. 예를 들면, 연석 옆면은 공공시설의 경우 6 내지 15cm로 길이가 짧기 때문에 연석 옆면에서는 상대적으로 적은 정보만 얻을 수 있다. 따라서, 연석까지의 거리가 먼 경우 지면과 연석을 구분할 수 있을 만큼의 정보를 얻기 어려우므로 종래의 방법으로는 먼 거리의 연석은 탐지하기 어려운 문제점이 있다.
다른 예로서, 자율 주행 차량은 안전한 주행을 하기 위해 거리 측정 센서에서 측정된 신호 정보를 이용하여 도로상의 지면 정보와 물체 정보를 분리하고, 지면으로 추정되는 거리 정보를 제거하여 입체 정보, 즉 물체 정보만을 추출하여 장애물을 탐지한다. 그러나 거리 측정 센서에 의해 측정된 신호 정보에서 높이 정보가 작은 값을 모두 제거하여 물체 정보만을 추출함에 따라, 높이가 낮은 연석 등은 지면으로 취급되어 제거될 가능성이 있다. 또한, 근거리에 존재하는 장애물 또한 높이 정보가 낮게 측정되어, 지면 정보와 함께 제거되는 문제점이 발생할 가능성이 있다.
본 발명의 목적은 물체를 센싱한 센싱 정보임에도 불구하고 지면을 감지한 결과로 판단되어 물체 인식 시 제외되는 것을 방지하여 물체 인식 성능을 향상시키는 차량 주변의 물체 인식 장치 및 그 방법을 제공함에 있다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량 주변의 물체 인식 장치는 차량의 일정 거리 전방의 영역에 복수의 신호를 출력하여 상기 복수의 신호 각각에 대한 센싱 정보를 생성하는 거리 센서, 상기 센싱 정보의 수직 및 수평 지면 처리 과정을 통해 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출하는 신호 처리부, 상기 수직 및 수평 지면 처리 과정 각각을 통해 추출된 센싱 정보들을 융합하는 신호 융합부, 및 융합된 상기 센싱 정보들을 이용하여 물체를 인식하는 물체 인식부를 포함한다.
상기 신호 처리부는 동일한 위치에서 상기 거리 센서로부터 동일한 좌우 각도와 서로 다른 상하 각도로 출력되는 신호들 중 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제1 센싱 정보를 추출하는 수직 신호 처리부, 및 동일한 위치에서 상기 거리 센서로부터 동일한 상하 각도와 서로 다른 좌우 각도로 출력되는 신호들 중 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제2 센싱 정보를 추출하는 수직 신호 처리부를 포함한다.
상기 수직 신호 처리부는 상기 동일한 좌우 각도와 서로 다른 상하 각도로 출력되는 상기 신호들 중 수직으로 인접한 임의의 두 신호에 의해 센싱된 지점과 상기 임의의 두 신호 사이의 상하 각도값을 이용하여 형성되는 삼각형의 높이값을 구하고, 상기 임의의 두 신호에 의해 센싱된 지점 간의 거리차와 상기 높이값을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인한다. 이때, 상기 수직 신호 처리부는 상기 거리차와 상기 높이값의 오차가 기 설정된 소정값 미만이면, 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단한다.
상기 수평 신호 처리부는 상기 동일한 상하 각도와 서로 다른 좌우 각도로 출력되는 상기 신호들 중 수평으로 인접한 임의의 두 신호에 의해 센싱된 지점의 방향성과 상기 차량의 주행 방향을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인한다. 이때, 상기 수평 신호 처리부는 상기 임의의 두 신호에 의해 센싱된 상기 지점의 방향성과 상기 주행 방향이 기 설정된 소정 기울기값 이내로 평행한 경우 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량 주변의 물체 인식 방법은 차량의 일정 거리 전방의 영역에 복수의 신호를 출력하여 상기 복수의 신호 각각에 대한 센싱 정보를 생성하는 단계, 상기 센싱 정보의 수직 및 수평 지면 처리 과정을 통해 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출하는 단계, 상기 수직 및 수평 지면 처리 과정 각각을 통해 추출된 센싱 정보들을 융합하는 단계, 및 융합된 상기 센싱 정보들을 이용하여 물체를 인식하는 단계를 포함한다.
상기 추출하는 단계는 동일한 위치에서 동일한 좌우 각도와 서로 다른 상하 각도로 출력되는 신호들 중 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제1 센싱 정보를 추출하는 단계, 및 상기 동일한 위치에서 동일한 상하 각도와 서로 다른 좌우 각도로 출력되는 신호들 중 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제2 센싱 정보를 추출하는 것이다.
상기 제1 센싱 정보를 추출하는 단계는 동일한 좌우 각도와 서로 다른 상하 각도로 출력되는 상기 신호들 중 수직으로 인접한 임의의 두 신호에 의해 센싱된 지점과 상기 임의의 두 신호 사이의 상하 각도값을 이용하여 형성되는 삼각형의 높이 값을 구하는 단계, 및 상기 임의의 두 신호에 의해 센싱된 지점 간의 거리차와 상기 높이값을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인하는 단계를 포함한다. 이때, 상기 물체가 센싱되는지 확인하는 단계는 상기 거리차와 상기 높이값의 오차가 기 설정된 소정값 미만이면, 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단한다.
상기 제2 센싱 정보를 추출하는 단계는 동일한 상하 각도와 서로 다른 좌우 각도로 출력되는 상기 신호들 중 수평으로 인접한 임의의 두 신호에 의해 센싱된 지점의 방향성과 상기 차량의 주행 방향을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인한다. 이때. 상기 제2 센싱 정보를 추출하는 단계는 상기 임의의 두 신호에 의해 센싱된 상기 지점의 방향성과 상기 주행 방향이 기 설정된 소정 기울기값 이내로 평행한 경우 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단한다.
본 발명의 실시예에 따르면, 수직 지면 처리 과정 및 수평 지면 처리 과정 중 적어도 하나에 의해 물체를 센싱한 결과로 판단된 센싱 정보를 물체 인식 시 이용함으로써, 물체를 센싱한 센싱 정보임에도 불구하고 수직 지면 처리 과정에서 지면을 감지한 것으로 판단되어 물체 인식 시 제외되는 센싱 정보를 수평 지면 처리 과정을 통해 복원함으로써, 물체 인식의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면 수평 지면 처리 과정을 통해 수직 지면 처리 과정에 의해 제외되는 센싱 정보의 손실량을 최소화함으로써, 물체 인식 및 지면 인식의 오인식 확률을 낮출 수 있다.
도 1은 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치 블록도.
도 2는 본 발명의 실시예에 따른 거리 센서가 상하 방향으로 신호를 출력하는 경우를 예시한 도면.
도 3은 본 발명의 실시예에 따른 거리 센서가 좌우측 방향으로 신호를 출력하는 경우를 예시한 도면.
도 4는 본 발명의 실시예에 따른 수직 신호 처리부에 의한 수직 신호 처리 과정을 설명하기 위한 참조도.
도 5는 본 발명의 실시예에 따른 수평 신호 처리부에 의한 수평 지면 처리 과정을 설명하기 위한 참조도.
도 6은 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치의 각 구성의 동작에 의해 획득되는 결과를 예시한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치 블록도이다.
도 1에 도시된 바와 같이, 차량 주변의 물체 인식 장치(100)는 거리 센서(110), 신호 처리부(120), 신호 융합부(130) 및 물체 인식부(140)를 포함한다.
거리 센서(110)는 차량에 탑재되어 차량의 일정 거리 전방의 영역을 센싱하여 센싱 정보를 생성한다. 이때, 거리 센서(110)는 지면 방향 및 정면 공간을 센싱하는 레이저 센서일 수 있다.
거리 센서(110)는 동시에 복수의 지점을 센싱하며, 지면의 복수 지점과 정면 공간의 복수 지점을 센싱한다. 이에 따라, 거리 센서(110)는 복수(n) 층(layer)의 센싱 정보를 생성할 수 있다. 이때, 거리 센서(110)는 차도와 인도의 경계석인 연석을 센싱하기 위해 지면 방향을 센싱하고, 차량의 주행 경로 상에 장애물이 있는지를 센싱하기 위해 정면 공간을 센싱한다.
도 2에는 본 발명의 실시예에 따른 거리 센서(110)가 4개의 지점을 센싱하는 일례가 도시되어 있다. 거리 센서(110)는 지면 및 정면 공간에 4개의 레이저를 출력하여 4개의 지점(p1, p2, p3, p4)을 센싱한다. 이때, 거리 센서(110)는 센서 위치(원점)를 기준으로 수직선과 출력되는 신호 간의 출력 각도값(α, β, γ, δ)를 달리하여 4개의 지점을 센싱할 수 있다. 물론, 거리 센서(110)가 센싱하는 영역의 개수(n) 및 레이저 출력 각도값은 다양하게 설정할 수 있다. 또한, 거리 센서가 센싱하는 영역의 개수는 각각 복수의 층(layer)이라고 표현될 수도 있다.
이에 따라, 거리 센서(110)는 복수의 센서들로 이루어지며, 복수의 센서들 각각은 서로 다른 레이저 출력 각도값(α, β, γ, δ)를 가진다. 이때, 인접한 두 센서에서 출력되는 인접한 신호 간의 사이 각도는 기 설정된 각도(θ)로 일정할 수 있다. 또는 인접한 신호 간의 사이 각도값(제1, 제2, 제3 사이 각도값)들은 서로 다를 수 있다. 이와 같은, 사이 각도값들에 대한 정보는 사전에 저장될 수 있다. 본 발명에서는 인접한 신호의 사이 각도값(제1, 제2, 제3 사이 각도값)은 모두 동일한 각도값(θ)을 갖는 것으로 가정하여 설명한다.
예컨대, 제1 센서에서 출력되어 지점 1(p1)을 센싱하는 제1 신호와 제2 센서에서 출력되어 지점 2(p2)를 센싱하는 제2 신호 간의 제1 사이 각도값(β-α), 제2 신호와 제3 센서에서 출력되어 지점 3(p3)을 센싱하는 제3 신호 간의 제2 사이 각도값(γ-β), 제3 신호와 제4 센서에서 출력되어 지점 4(p4)을 센싱하는 제4 신호 간의 제3 사이 각도값(δ-γ)은 모두 기 설정된 동일한 각도값(θ)일 수 있다.
아울러, 거리 센서(110)의 복수의 센서 각각은 신호를 좌우 반경 180도 이내의 소정 각도 내에서 좌우측 방향으로 복수 출력한다. 도 3에는 본 발명의 실시예에 따른 거리 센서(110)의 어느 하나의 센서가 좌우측 방향으로 신호를 출력하는 일례가 도시되어 있다. 이때, 인접한 신호 간의 각도들은 기 설정된 설정 각도값(μ)으로 동일할 수 있다. 또는, 인접한 신호 간의 각도들은 서로 다른 설정 각도값(μ1, μ2, … μm)을 가질 수 있다. 이때, 동일하거나, 서로 다른 설정 각도값에 대한 정보는 사전에 저장될 수 있다. 본 발명에서는 모두 동일한 설정 각도값(μ)을 갖는 것으로 가정하여 설명한다.
예컨대, 거리 센서(110)는 제1 센서를 통해 소정 각도 이내에서 좌우측 방향으로 제1_1 내지 제1_m 신호를 출력하여 복수의 지점을 센싱한다. 여기서, m은 1보다 큰 자연수이며, 어느 하나의 센서에서 좌우측 방향으로 출력하는 신호의 개수일 수 있다. 또한, 거리 센서(110)의 제2 센서는 제1 센서와 동일한 개수(m)의 신호(제2_1 내지 제2_m 신호)를 발사한다. 이와 마찬가지로, 제3 센서 내지 제n 센서 각각도 좌우로 회전하면서 복수의 신호(제3_1 내지 제3_m 신호, 제n_1 내지 제n_m 신호)를 출력할 수 있다. 이때, 제1 내지 제4 센서를 통해 송출되는 제1_m 신호, 제2_m 신호, 제3_m 신호 및 제4_m 신호는 다른 출력 각도값(α, β, γ, δ)만 다를 뿐 동일한 방향을 향하여 출력된다.
신호 처리부(120)는 거리 센서(110)로부터 발사된 신호에 대한 센싱 정보를 전달받고, 센싱 정보에 포함된 거리 값을 바탕으로 출력된 신호에 의한 지면의 센싱 여부를 판단한다. 또한, 신호 처리부(120)는 판단 결과, 지면을 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 제외하고, 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출한다.
이를 위해, 신호 처리부는 수직 신호 처리부(121) 및 수평 신호 처리부(122)를 포함한다.
이하, 도 4를 참조하여 본 발명의 실시예에 따른 수직 신호 처리부에 의한 수직 지면 처리 과정에 대해 구체적으로 설명한다.
도 4는 본 발명의 실시예에 따른 수직 신호 처리부에 의한 수직 신호 처리 과정을 설명하기 위한 참조도이다.
수직 신호 처리부(121)는 복수의 센서 각각에서 동일한 좌우 각도로 출력되는 신호를 이용하여 수직 지면 처리(filtering) 동작을 수행한다. 이때, 수직 신호 처리부(121)는 거리 센서(110)로부터 수직 신호에 대한 센싱 지점별 거리 값을 제공받고, 거리값을 바탕으로 출력된 신호에 의한 지면의 센싱 여부를 판단한다.
여기서 수직 신호 처리부(121)는 제1_1 내지 제n_1 신호를 이용하여 수직선상 4개의 신호에 의해 지면이 센싱되었는지 확인하며, 제1_2 내지 제n_2 신호를 이용하여 수직선상 4개의 신호에 의해 지면이 센싱되었는지 확인한다. 이와 마찬가지로, 제1_m 내지 제n_m 신호를 이용하여 수직선상 n개의 신호에 의해 지면이 센싱되었는지 확인한다.
이하에서는 복수의 센서 각각에서 동일한 좌우 각도의 방향으로 발사되는 제1_3 내지 제n_3 신호(여기서 n은 4)를 예를 들어 설명하지만, 복수의 센서 각각에서 발사되는 복수의 신호 각각에 대해서도 동일한 방법이 적용될 수 있다.
먼저, 수직 신호 처리부(121)는 인접한 신호 각각을 통해 센싱된 지점들에 대한 거리값(r) 및 사이 각도값(θ)을 이용하여 두 센서에 의해 센싱된 지점 간의 거리차(l)를 계산한다. 또한, 수직 신호 처리부(121)는 인접한 두 레이더 신호를 통해 형성되는 삼각형의 높이값(d)을 계산한다. 수직 신호 처리부(121)는 계산된 거리차(l)와 높이값(d)를 비교하여 인접한 두 신호에 의해 지면이 센싱되었는지 물체가 센싱되었는지를 판단한다.
예컨대, 수직 신호 처리부(121)는 도 2에서 제1_3 신호와 제2_3 신호 각각을 통해 센싱된 제1 거리값(r1), 제2 거리값(r2), 및 사이 각도값(θ)을 이용하여 지점 1(p1)과 지점 2(p2) 간의 제1 거리차(l1)를 계산한다. 이때, 제1 거리차(l1)을 구하는 식은 수학식 1과 같을 수 있다.
Figure pat00001
또한, 수직 신호 처리부(121)는 제1 거리값(r1)과 사이 각도값(θ)을 이용하여 제1 높이값(d1)을 계산한다. 이때, 제1 높이값(d1)을 계산하는 식은 삼각함수 공식을 이용한 수학식 2와 같을 수 있다.
Figure pat00002
수직 신호 처리부(121)는 수학식 1 및 2를 통해 계산된 제1 거리차(l1)와 제1 높이값(d1)를 비교하여, 제1 거리차(l1)와 제1 높이값(d1)의 오차가 기 설정된 소정값 이상이면, 두 신호(제1_3 신호와 제2_3 신호)에 의해 지면이 센싱된 것으로 판단한다. 또한, 수직 신호 처리부(121)는 도 2에서 제2_3 신호와 제3_3 신호 각각에 의해 센싱된 제2 거리값(r2), 제3 거리값(r3), 및 사이 각도값(θ)을 이용하여 계산된 제2 거리차(l2) 및 제2 높이값(d2)의 오차가 소정값 이상이면, 수직 신호 처리부(121)는 두 신호(제2_3 신호와 제3_3 신호)에 의해 지면이 센싱된 것으로 판단한다.
이와 마찬가지로, 수직 신호 처리부(121)는 도 2에서 제3_3 신호와 제4_3 신호 각각에 의해 센싱된 제3 거리값(r3), 제4 거리값(r4), 및 상기 각도값(θ)을 이용하여 제3 거리차(l3) 및 제3 높이값(d3)을 계산한다. 이때, 만약 계산된 제3 거리차(l2)와 제3 높이값(d3)의 오차가 소정값 미만인 경우, 수직 신호 처리부(121)는 두 신호(제3_3 신호와 제4_3 신호)에 의해 물체가 센싱된 것으로 판단한다.
이와 같은 과정을 통해 판단되는 지면 센싱 정보 및 물체 센싱 정보에서, 수직 신호 처리부(121)는 지면 센싱 정보를 제외하고 물체 센싱 정보만을 추출할 수 있다. 예컨대, 수직 신호 처리부(121)는 지면을 센싱한 것으로 판단된 제1_3 및 제2_3 신호의 센싱 정보는 제외하며, 물체를 센싱한 것으로 판단된 제3_3 및 제4_3 신호의 센싱 정보는 추출한다.
상기와 같이 수직 신호 처리부(121)에 의한 수직 지면 처리 과정을 거치면, 도 4의 (a)에 예시된 바와 같이 지면 및 물체 모두를 센싱한 센싱 정보에서 도 4의 (b)와 같이 물체에 대한 센싱 정보만이 추출될 수 있다.
수평 신호 처리부(122)는 거리 센서(110)의 복수의 센서 중 어느 하나의 센서에서 좌우 각도로 출력되는 복수의 신호를 이용하여 수평 지면 처리(filtering) 동작을 수행한다. 이때, 수평 신호 처리부(122)는 거리 센서(110)로부터 센싱 지점별 거리 값을 제공받고, 거리값을 바탕으로 해당 신호가 물체를 센싱한 것인지를 판단한다.
여기서 수평 신호 처리부(122)는 제1_1 내지 제1_m 신호를 이용하여 수평선상 m개의 신호에 의해 물체가 센싱되었는지 확인하며, 제2_1 내지 제2_m 신호를 이용하여 수직선상 m개의 신호에 의해 지면이 센싱되었는지 확인한다. 이와 마찬가지로, 제n_m 내지 제n_m 신호를 이용하여 수직선상 m개의 신호에 의해 지면이 센싱되었는지 확인한다.
이하에서, 수평 신호 처리부(122)는 거리 센서(110)에서 어느 하나의 센서(예컨대, 제2 센서)에서 좌우 각도로 출력되는 제2_1 내지 제2_m 신호를 이용하여 수평 지면 처리 동작에 대해 설명하지만, 그 외 다른 센서들 각각에서 발사되는 복수의 신호에 대해서도 동일한 방법이 적용될 수 있다.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 수평 신호 처리부(122)에 의한 수평 지면 처리 과정에 대해 구체적으로 설명한다.
도 5는 본 발명의 실시예에 따른 수평 신호 처리부에 의한 수평 지면 처리 과정을 설명하기 위한 참조도이다.
수평 신호 처리부(122)는 도 5에 도시된 바와 같이 거리 센서(110)의 어느 하나의 센서를 통해 출력된 복수의 신호 각각에 의해 센싱된 지점들(a, b, c, … m)에 대한 방향성(Cl1, Cl2, Cl3, …, Clm)을 확인한다. 예컨대, 수평 신호 처리부(122)는 제2_1 신호(Fl1)와 제1_2 신호(Fl2) 및 두 신호 사이의 설정 각도값(μ)을 이용하여 삼각형을 생성하여 지점 a와 지점 b의 방향성(Cl2)을 확인할 수 있다. 이때, 수평 신호 처리부(122)는 확인된 지점 a와 지점 b의 방향성(Cl2)이 차량의 주행 방향(종방향)과 평행한지 확인한다. 여기서, 차량의 주행 방향과 소정의 기울기값(예컨대, 10도) 이내의 오차를 갖는 경우에도 평행한 것으로 간주된다.
또한, 수평 신호 처리부(122)는 제2_2 신호(Fl2)와 제2_3 신호(Fl3) 및 두 신호 사이의 설정 각도값(μ)을 이용하여 삼각형을 생성하여 지점 b와 지점 c의 방향성(Cl3)을 확인할 수 있다. 수평 신호 처리부(122)는 확인된 지점 b와 지점 c의 방향성(Cl3)이 차량의 주행 방향과 소정의 기울기값 이내로 평행한지 확인한다.
이와 같이, 두 지점의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행하면, 수평 신호 처리부(122)는 두 신호에 의해 물체(연석 등)가 센싱된 것으로 판단할 수 있다.
만약, 도 5에서 제2_3 신호(Fl4')에 의해 지점 c'이 센싱된 경우, 수평 신호 처리부(122)는 지점 b와 지점 c'의 방향성(Cl2')이 차량의 주행 방향과 소정의 기울기값 이내로 평행하지 않음을 확인할 수 있다. 이 경우, 수평 신호 처리부(122)는 두 신호(제2_2 신호(Fl2) 및 제2_3 신호(Fl4'))에 의해 지면이 센싱된 것으로 판단할 수 있다.
또한, 도 5에서 제2_3 신호(Fl4')에 의해 지점 c'이 센싱되고, 제2_4 신호(Fl4)에 의해 지점 d가 센싱된 경우, 수평 신호 처리부(122)는 지점 c'와 지점 d의 방향성(Cl3')이 차량의 주행 방향과 소정의 기울기값 이내로 평행하지 않음을 확인할 수 있다. 이 경우, 수평 신호 처리부(122)는 두 신호(제2_3 신호(Fl4') 및 제2_4 신호(Fl4))에 의해 지면이 센싱된 것으로 판단할 수 있다.
이와 같이 과정을 통해 판단되는 지면 센싱 정보 및 물체 센싱 정보에서, 수평 신호 처리부(122)는 지면 센싱 정보를 제외하고 물체 센싱 정보만을 추출한다. 예컨대, 도 5에서와 같이 지점 a와 지점 b의 방향성 및 지점 b와 지점 c의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행한 경우, 수평 신호 처리부(122)는 물체가 센싱된 것으로 판단하여 제2_1 신호 내지 제2_3 신호의 센싱 정보를 추출한다. 반면, 도 5에서와 같이 지점 c'와 지점 d의 방향성이 차량의 주행 방향과 평행하지 않는 경우, 수평 신호 처리부(122)는 지면이 센싱된 것으로 판단하여 제2_3 신호 및 제2_4 신호의 센싱 정보는 제외한다.
이하에서는 지점 a와 지점 b의 방향성 및 지점 b와 지점 c의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행함에 따라 제2_1 신호 내지 제2_3 신호에 의해 물체가 센싱된 것으로 판단된 경우를 예를 들어 설명한다.
신호 융합부(130)는 수직 신호 처리부(121)에서 추출된 물체에 대한 센싱 정보와 수평 신호 처리부(122)에서 추출된 물체에 대한 센싱 정보를 융합한다.
예컨대, 신호 융합부(130)는 수직 신호 처리부(121)에서 물체를 센싱한 것으로 판단되어 추출된 제3_3 및 제4_3 신호의 센싱 정보와, 수평 신호 처리부(122)에서 물체를 센싱한 것으로 판단되어 추출된 제2_1 신호 내지 제2_3 신호의 센싱 정보를 융합한다. 이에 따라, 수직 신호 처리부(121)에 의해 지면을 센싱한 것으로 판단되어 제외된 제2_3 신호의 센싱 정보는 수평 신호 처리부(122)에 의해 물체를 센싱한 것으로 판단되어 그에 대한 결과가 복원될 수 있다.
이와 마찬가지로, 모든 신호(제1_1 내지 제n_m 신호)중에서, 수직 신호 처리부(121)에서는 지면을 센싱한 것으로 판단되어 제외되었더라도, 수평 신호 처리부(122)에 의해 물체를 센싱한 것으로 판단되면 해당 신호에 대한 센싱 정보는 복원될 수 있다. 즉, 신호 융합부(130)에 의해 모든 신호(제1_1 내지 제n_m 신호) 중 수직 신호 처리부(121) 및 수평 신호 처리부(122) 중 적어도 하나에 의해 물체를 센싱한 것으로 판단된 신호는 모두 복원될 수 있다.
도 6은 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치의 각 구성의 동작에 의해 획득되는 결과를 예시한 도면이다.
예컨대, 도 6의 (a)에 도시된 바와 같이, 거리 센서(110)에 의해 센싱된 차량 주변의 지면 및 물체를 센싱한 결과에서, 수직 신호 처리부(121)에 의해 지면을 센싱한 것으로 판단된 센싱 정보를 제외되고 남은 물체 센싱 정보는 도 6의 (b)와 같을 수 있다. 또한, 도 6의 (a) 와 같이, 지면 및 물체를 센싱한 결과에서, 수평 신호 처리부(122)에 의해 지면을 센싱한 것으로 판단된 센싱 정보를 제외하고 남은 물체 센싱 정보는 도 6의 (c)와 같을 수 있다.
신호 융합부(130)는 도 6의 (b)의 물체 센싱 정보와 도 6의 (c)의 물체 센싱 정보를 융합하여 도 6의 (d)와 같은 결과를 도출할 수 있다.
물체 인식부(140)는 신호 융합부(130)로부터 융합된 물체에 대한 센싱 정보를 이용하여 차량 주변의 물체를 인식한다. 이때, 신호 융합부(130)에 의해 융합된 물체에 대한 센싱 정보는 지면을 센싱한 것으로 판단한 신호에 대한 센싱 정보는 제외된 것이기 때문에, 물체 인식부(140)는 차량 주변의 지면을 제외한 물체의 형상을 신호 융합부(130)의 물체 센싱 정보를 이용하여 인식할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 수직 지면 처리 과정 및 수평 지면 처리 과정 중 적어도 하나에 의해 물체를 센싱한 결과로 판단된 센싱 정보를 물체 인식 시 이용함으로써, 물체를 센싱한 센싱 정보임에도 불구하고 수직 지면 처리 과정에서 지면을 감지한 것으로 판단되어 물체 인식 시 제외되는 센싱 정보를 수평 지면 처리 과정을 통해 복원함으로써, 물체 인식의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면 수평 지면 처리 과정을 통해 수직 지면 처리 과정에 의해 제외되는 센싱 정보의 손실량을 최소화함으로써, 물체 인식 및 지면 인식의 오인식 확률을 낮출 수 있다.
도 7은 본 발명의 실시예에 따른 차량 주변의 물체 인식 방법 흐름도이다.
이하에서는 별도의 언급이 없는 한 본 발명의 실시예에 따른 차량 주변의 물체 인식 장치(100)에 의해 동작되는 것으로 간주한다.
먼저, 차량의 일정 거리 전방의 영역을 센싱하여 센싱 정보를 생성한다(S701).
이때, 레이저 센서를 통해 지면 방향 및 정면 공간을 센싱할 수 있다. 이때, 차량 주변의 물체 인식 장치(100)는 동시에 복수의 지점을 센싱하며, 지면의 복수 지점과 정면 공간의 복수 지점을 센싱한다. 이에 따라, 물체 인식 장치(100)는 복수(n) 층(layer)의 센싱 정보를 생성할 수 있다. 이때, 물체 인식 장치(100)는 차도와 인도의 경계석인 연석을 센싱하기 위해 지면 방향을 센싱하고, 차량의 주행 경로 상에 장애물이 있는지를 센싱하기 위해 정면 공간을 센싱한다.
예컨대, 물체 인식 장치(100)는 도 2에 도시된 바와 같아지면 및 정면 공간에 4개의 레이저를 출력하여 4개의 지점(p1, p2, p3, p4)을 센싱한다. 이때, 센서 위치(원점)를 기준으로 수직선과 출력되는 신호 간의 출력 각도값(α, β, γ, δ)를 달리하여 4개의 지점을 센싱할 수 있다. 물론, 센싱하는 영역의 개수(n) 및 레이저 출력 각도값은 다양하게 설정할 수 있다. 또한, 센싱하는 영역의 개수는 각각 복수의 층(layer)이라고 표현될 수도 있다.
이때, 인접한 두 센서에서 출력되는 인접한 신호 간의 사이 각도는 기 설정된 각도(θ)로 일정할 수 있다. 또는 인접한 신호 간의 사이 각도값(제1, 제2, 제3 사이 각도값)들은 서로 다를 수 있다. 이와 같은, 사이 각도값들에 대한 정보는 사전에 저장될 수 있다. 본 발명에서는 인접한 신호의 사이 각도값(제1, 제2, 제3 사이 각도값)은 모두 동일한 각도값(θ)을 갖는 것으로 가정하여 설명한다.
아울러, 물체 인식 장치(100)는 신호를 좌우 반경 180도 이내의 소정 각도 내에서 좌우측 방향으로 복수 출력한다. 이때, 인접한 신호 간의 각도들은 도 3에 도시된 바와 같이 기 설정된 설정 각도값(μ)으로 동일할 수 있다. 또는, 인접한 신호 간의 각도들은 서로 다른 설정 각도값(μ1, μ2, … μm)을 가질 수 있다. 이때, 동일하거나, 서로 다른 설정 각도값에 대한 정보는 사전에 저장될 수 있다. 본 발명에서는 모두 동일한 설정 각도값(μ)을 갖는 것으로 가정하여 설명한다.
예컨대, 물체 인식 장치(100)의 제1 센서를 통해 소정 각도 이내에서 좌우측 방향으로 제1_1 내지 제1_m 신호를 출력하여 복수의 지점을 센싱한다. 여기서, m은 1보다 큰 자연수이며, 어느 하나의 센서에서 좌우측 방향으로 출력하는 신호의 개수일 수 있다. 또한, 물체 인식 장치(100)의 제2 센서는 제1 센서와 동일한 개수(m)의 신호(제2_1 내지 제2_m 신호)를 발사한다. 이와 마찬가지로, 제3 센서 내지 제n 센서 각각도 좌우로 회전하면서 복수의 신호(제3_1 내지 제3_m 신호, 제n_1 내지 제n_m 신호)를 출력할 수 있다. 이때, 제1 내지 제4 센서를 통해 송출되는 제1_m 신호, 제2_m 신호, 제3_m 신호 및 제4_m 신호는 다른 출력 각도값(α, β, γ, δ)만 다를 뿐 동일한 방향을 향하여 출력된다.
단계 S701에서 발사된 신호 중 복수의 센서 각각에서 동일한 좌우 각도로 출력되는 신호의 센싱 정보를 수직 지면 처리(filtering)하여 물체가 센싱된 것으로 판단된 정보를 추출한다(S702).
이때, 수직 신호에 대한 센싱 지점별 거리 값을 바탕으로 출력된 신호에 의한 지면의 센싱 여부를 판단한다.
여기서 물체 인식 장치(100)는 제1_1 내지 제n_1 신호를 이용하여 수직선상 4개의 신호에 의해 지면이 센싱되었는지 확인하며, 제1_2 내지 제n_2 신호를 이용하여 수직선상 4개의 신호에 의해 지면이 센싱되었는지 확인한다. 이와 마찬가지로, 제1_m 내지 제n_m 신호를 이용하여 수직선상 n개의 신호에 의해 지면이 센싱되었는지 확인한다.
이하에서는 복수의 센서 각각에서 동일한 좌우 각도의 방향으로 발사되는 제1_3 내지 제n_3 신호(여기서 n은 4)를 예를 들어 설명하지만, 복수의 센서 각각에서 발사되는 복수의 신호 각각에 대해서도 동일한 방법이 적용될 수 있다.
먼저, 물체 인식 장치(100)는 인접한 신호 각각을 통해 센싱된 지점들에 대한 거리값(r) 및 사이 각도값(θ)을 이용하여 두 센서에 의해 센싱된 지점 간의 거리차(l)를 계산한다. 또한, 인접한 두 레이더 신호를 통해 형성되는 삼각형의 높이값(d)을 계산한다. 물체 인식 장치(100)는 계산된 거리차(l)와 높이값(d)를 비교하여 인접한 두 신호에 의해 지면이 센싱되었는지 물체가 센싱되었는지를 판단한다.
예컨대, 도 2에서 제1_3 신호와 제2_3 신호 각각을 통해 센싱된 제1 거리값(r1), 제2 거리값(r2), 및 사이 각도값(θ)을 이용하여 지점 1(p1)과 지점 2(p2) 간의 제1 거리차(l1)를 계산한다. 이때, 제1 거리차(l1)을 구하는 식은 수학식 1과 같을 수 있다.
또한, 물체 인식 장치(100)는 제1 거리값(r1)과 사이 각도값(θ)을 이용하여 제1 높이값(d1)을 계산한다. 이때, 제1 높이값(d1)을 계산하는 식은 삼각함수 공식을 이용한 수학식 2와 같을 수 있다.
물체 인식 장치(100)는 수학식 1 및 2를 통해 계산된 제1 거리차(l1)와 제1 높이값(d1)를 비교하여, 제1 거리차(l1)와 제1 높이값(d1)의 오차가 기 설정된 소정값 이상이면, 두 신호(제1_3 신호와 제2_3 신호)에 의해 지면이 센싱된 것으로 판단한다.
또한, 물체 인식 장치(100)는 도 2에서 제2_3 신호와 제3_3 신호 각각에 의해 센싱된 제2 거리값(r2), 제3 거리값(r3), 및 사이 각도값(θ)을 이용하여 계산된 제2 거리차(l2) 및 제2 높이값(d2)의 오차가 소정값 이상이면, 수직 신호 처리부(121)는 두 신호(제2_3 신호와 제3_3 신호)에 의해 지면이 센싱된 것으로 판단한다.
이와 마찬가지로, 물체 인식 장치(100)는 도 2에서 제3_3 신호와 제4_3 신호 각각에 의해 센싱된 제3 거리값(r3), 제4 거리값(r4), 및 상기 각도값(θ)을 이용하여 제3 거리차(l3) 및 제3 높이값(d3)을 계산한다. 이때, 만약 계산된 제3 거리차(l2)와 제3 높이값(d3)의 오차가 소정값 미만인 경우, 두 신호(제3_3 신호와 제4_3 신호)에 의해 물체가 센싱된 것으로 판단한다.
이와 같은 과정을 통해 판단되는 지면 센싱 정보 및 물체 센싱 정보에서, 수직 신호 처리부(121)는 지면 센싱 정보를 제외하고 물체 센싱 정보만을 추출할 수 있다. 예컨대, 지면을 센싱한 것으로 판단된 제1_3 및 제2_3 신호의 센싱 정보는 제외하며, 물체를 센싱한 것으로 판단된 제3_3 및 제4_3 신호의 센싱 정보는 추출한다.
상기와 같이 물체 인식 장치(100)에 의한 수직 지면 처리 과정을 거치면, 도 4의 (a)에 예시된 바와 같이 지면 및 물체 모두를 센싱한 센싱 정보에서 도 4의 (b)와 같이 물체에 대한 센싱 정보만이 추출될 수 있다.
또한, 물체 인식 장치(100)는 단계 S701에서 복수의 센서 중 어느 하나의 센서에서 좌우 각도로 출력되는 복수의 신호의 센싱 정보를 수평 지면 처리(filtering)하여 물체가 센싱된 것으로 판단된 정보를 추출한다(S703).
이때, 수평 신호에 대한 센싱 지점별 거리 값을 바탕으로 출력된 신호에 의한 지면의 센싱 여부를 판단한다.
여기서 물체 인식 장치(100)는 제1_1 내지 제1_m 신호를 이용하여 수평선상 m개의 신호에 의해 물체가 센싱되었는지 확인하며, 제2_1 내지 제2_m 신호를 이용하여 수직선상 m개의 신호에 의해 지면이 센싱되었는지 확인한다. 이와 마찬가지로, 제n_m 내지 제n_m 신호를 이용하여 수직선상 m개의 신호에 의해 지면이 센싱되었는지 확인한다.
이하에서, 물체 인식 장치(100)는 어느 하나의 센서(예컨대, 제2 센서)에서 좌우 각도로 출력되는 제2_1 내지 제2_m 신호를 이용하여 수평 지면 처리 동작에 대해 설명하지만, 그 외 다른 센서들 각각에서 발사되는 복수의 신호에 대해서도 동일한 방법이 적용될 수 있다.
물체 인식 장치(100)는 도 5에 도시된 바와 같이 어느 하나의 센서를 통해 출력된 복수의 신호 각각에 의해 센싱된 지점들(a, b, c, … m)에 대한 방향성(Cl1, Cl2, Cl3,… Clm)을 확인한다. 예컨대, 제2_1 신호(Fl1)와 제1_2 신호(Fl2) 및 두 신호 사이의 설정 각도값(μ)을 이용하여 삼각형을 생성하여 지점 a와 지점 b의 방향성(Cl2)을 확인할 수 있다. 이때, 확인된 지점 a와 지점 b의 방향성(Cl2)이 차량의 주행 방향(종방향)과 평행한지 확인한다. 여기서, 차량의 주행 방향과 소정의 기울기값(예컨대, 10도) 이내의 오차를 갖는 경우에도 평행한 것으로 간주된다.
또한, 물체 인식 장치(100)는 제2_2 신호(Fl2)와 제2_3 신호(Fl3) 및 두 신호 사이의 설정 각도값(μ)을 이용하여 삼각형을 생성하여 지점 b와 지점 c의 방향성(Cl3)을 확인할 수 있다. 이때, 확인된 지점 b와 지점 c의 방향성(Cl3)이 차량의 주행 방향과 소정의 기울기값 이내로 평행한지 확인한다.
이와 같이, 두 지점의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행하면, 두 신호에 의해 물체(연석 등)이 센싱된 것으로 판단할 수 있다.
만약, 도 5에서 제2_3 신호(Fl4')에 의해 지점 c'이 센싱된 경우, 지점 b와 지점 c'의 방향성(Cl2')이 차량의 주행 방향과 소정의 기울기값 이내로 평행하지 않음을 확인할 수 있다. 이 경우, 두 신호(제2_2 신호(Fl2) 및 제2_3 신호(Fl4'))에 의해 지면이 센싱된 것으로 판단할 수 있다.
또한, 도 5에서 제2_3 신호(Fl4')에 의해 지점 c'이 센싱되고, 제2_4 신호(Fl4)에 의해 지점 d가 센싱된 경우, 지점 c'와 지점 d의 방향성(Cl3')이 차량의 주행 방향과 소정의 기울기값 이내로 평행하지 않음을 확인할 수 있다. 이 경우, 두 신호(제2_3 신호(Fl4') 및 제2_4 신호(Fl4))에 의해 지면이 센싱된 것으로 판단할 수 있다.
이와 같이 과정을 통해 판단되는 지면 센싱 정보 및 물체 센싱 정보에서, 물체 인식 장치(100)는 지면 센싱 정보를 제외하고 물체 센싱 정보만을 추출한다. 예컨대, 도 5에서와 같이 지점 a와 지점 b의 방향성 및 지점 b와 지점 c의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행한 경우, 물체가 센싱된 것으로 판단하여 제2_1 신호 내지 제2_3 신호의 센싱 정보를 추출한다. 반면, 도 5에서와 같이 지점 c'와 지점 d의 방향성이 차량의 주행 방향과 평행하지 않는 경우, 지면이 센싱된 것으로 판단하여 제2_3 신호 및 제2_4 신호의 센싱 정보는 제외한다.
이하에서는 지점 a와 지점 b의 방향성 및 지점 b와 지점 c의 방향성이 차량의 주행 방향과 소정의 기울기값 이내로 평행함에 따라 제2_1 신호 내지 제2_3 신호에 의해 물체가 센싱된 것으로 판단된 경우를 예를 들어 설명한다.
단계 S702에서 추출된 물체에 대한 센싱 정보와 단계 S703에서 추출된 물체에 대한 센싱 정보를 융합한다(S704).
예컨대, 물체 인식 장치(100)는 단계 S702의 수직 지면 처리 과정에서 물체를 센싱한 것으로 판단되어 추출된 제3_3 및 제4_3 신호의 센싱 정보와, 단계 S703의 수평 지면 처리 과정에서 물체를 센싱한 것으로 판단되어 추출된 제2_1 신호 내지 제2_3 신호의 센싱 정보를 융합한다. 이에 따라, 수직 지면 처리 과정에서 지면을 센싱한 것으로 판단되어 제외된 제2_3 신호의 센싱 정보는 수평 지면 처리 과정에서 물체를 센싱한 것으로 판단되어 그에 대한 결과가 복원될 수 있다.
이와 마찬가지로, 모든 신호(제1_1 내지 제n_m 신호)중에서, 수직 지면 처리 과정에서 지면을 센싱한 것으로 판단되어 제외되었더라도, 수평 지면 처리 과정에 의해 물체를 센싱한 것으로 판단되면 해당 신호에 대한 센싱 정보는 복원될 수 있다. 즉, 모든 신호(제1_1 내지 제n_m 신호) 중 수직 지면 처리 과정 및 수평 지면 처리 과정 중 적어도 하나의 과정에 의해 물체를 센싱한 것으로 판단된 신호는 모두 복원될 수 있다.
예컨대, 도 6의 (a)에 도시된 바와 같이, 레이저 센서에 의해 센싱된 차량 주변의 지면 및 물체를 센싱한 결과에서, 수직 지면 처리 과정을 통해 지면을 센싱한 것으로 판단된 센싱 정보를 제외되고 남은 물체 센싱 정보는 도 6의 (b)와 같을 수 있다. 또한, 도 6의 (a) 와 같이, 지면 및 물체를 센싱한 결과에서, 수평 지면 처리 과정을 통해 지면을 센싱한 것으로 판단된 센싱 정보를 제외하고 남은 물체 센싱 정보는 도 6의 (c)와 같을 수 있다.
물체 인식 장치(100)는 도 6의 (b)의 물체 센싱 정보와 도 6의 (c)의 물체 센싱 정보를 융합하여 도 6의 (d)와 같은 결과를 도출할 수 있다.
물체 인식 장치(100)는 단계 S704에서 융합된 물체에 대한 센싱 정보를 이용하여 차량 주변의 물체를 인식한다(S705).
이때, 융합된 물체에 대한 센싱 정보는 지면을 센싱한 것으로 판단한 신호에 대한 센싱 정보는 제외된 것이기 때문에, 차량 주변의 지면을 제외한 물체의 형상을 융합된 물체 센싱 정보를 이용하여 인식할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 수직 지면 처리 과정 및 수평 지면 처리 과정 중 적어도 하나에 의해 물체를 센싱한 결과로 판단된 센싱 정보를 물체 인식 시 이용함으로써, 물체를 센싱한 센싱 정보임에도 불구하고 수직 지면 처리 과정에서 지면을 감지한 것으로 판단되어 물체 인식 시 제외되는 센싱 정보를 수평 지면 처리 과정을 통해 복원함으로써, 물체 인식의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면 수평 지면 처리 과정을 통해 수직 지면 처리 과정에 의해 제외되는 센싱 정보의 손실량을 최소화함으로써, 물체 인식 및 지면 인식의 오인식 확률을 낮출 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 물체 인식 장치
110 : 거리 센서 120 : 신호 처리부
130 : 신호 융합부 140 : 물체 인식부

Claims (12)

  1. 차량의 일정 거리 전방의 영역에 복수의 신호를 출력하여 상기 복수의 신호 각각에 대한 센싱 정보를 생성하는 거리 센서;
    상기 센싱 정보의 수직 및 수평 지면 처리 과정을 통해 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출하는 신호 처리부;
    상기 수직 및 수평 지면 처리 과정 각각을 통해 추출된 센싱 정보들을 융합하는 신호 융합부; 및
    융합된 상기 센싱 정보들을 이용하여 물체를 인식하는 물체 인식부;
    를 포함하는 차량 주변의 물체 인식 장치.
  2. 제1항에 있어서, 상기 신호 처리부는,
    동일한 위치에서 동일한 좌우 각도이되 서로 다른 상하 각도로 상기 거리 센서로부터 출력되는 신호들 중, 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 제1 센싱 정보를 추출하는 수직 신호 처리부; 및
    상기 동일한 위치에서 동일한 상하 각도이되 서로 다른 좌우 각도로 상기 거리 센서로부터 출력되는 신호들 중, 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제2 센싱 정보를 추출하는 수직 신호 처리부;
    를 포함하는 것인 차량 주변의 물체 인식 장치.
  3. 제2항에 있어서, 상기 수직 신호 처리부는,
    상기 동일한 좌우 각도이되 서로 다른 상하 각도로 출력되는 상기 신호들 중, 수직으로 인접한 임의의 두 신호에 의해 센싱된 지점과 상기 임의의 두 신호 사이의 상하 각도값을 이용하여 형성되는 삼각형의 높이값을 구하고, 상기 임의의 두 신호에 의해 센싱된 지점 간의 거리차와 상기 높이값을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인하는 것
    인 차량 주변의 물체 인식 장치.
  4. 제3항에 있어서, 상기 수직 신호 처리부는,
    상기 거리차와 상기 높이값의 오차가 기 설정된 소정값 미만이면, 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단하는 것
    인 차량 주변의 물체 인식 장치.
  5. 제2항에 있어서, 상기 수평 신호 처리부는,
    상기 동일한 상하 각도이되 서로 다른 좌우 각도로 출력되는 상기 신호들 중, 수평으로 인접한 임의의 두 신호에 의해 센싱된 지점의 방향성과 상기 차량의 주행 방향을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인하는 것
    인 차량 주변의 물체 인식 장치.
  6. 제5항에 있어서, 상기 수평 신호 처리부는,
    상기 임의의 두 신호에 의해 센싱된 상기 지점의 방향성과 상기 주행 방향이 기 설정된 소정 기울기값 이내로 평행한 경우 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단하는 것
    인 차량 주변의 물체 인식 장치.
  7. 차량의 일정 거리 전방의 영역에 복수의 신호를 출력하여 상기 복수의 신호 각각에 대한 센싱 정보를 생성하는 단계;
    상기 센싱 정보의 수직 및 수평 지면 처리 과정을 통해 물체를 센싱한 것으로 판단되는 신호에 대한 센싱 정보를 추출하는 단계;
    상기 수직 및 수평 지면 처리 과정 각각을 통해 추출된 센싱 정보들을 융합하는 단계; 및
    융합된 상기 센싱 정보들을 이용하여 상기 차량의 전방 영역의 물체를 인식하는 단계;
    를 포함하는 차량 주변의 물체 인식 방법.
  8. 제7항에 있어서, 상기 추출하는 단계는,
    동일한 위치에서 동일한 좌우 각도이되 서로 다른 상하 각도로 출력되는 신호들 중, 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제1 센싱 정보를 추출하는 단계; 및
    상기 동일한 위치에서 동일한 상하 각도이되 서로 다른 좌우 각도로 출력되는 신호들 중, 지면을 센싱하는 것으로 판단되는 신호의 센싱 정보를 제외한 상기 제2 센싱 정보를 추출하는 단계;
    를 포함하는 것인 차량 주변의 물체 인식 방법.
  9. 제8항에 있어서, 상기 제1 센싱 정보를 추출하는 단계는,
    상기 동일한 좌우 각도이되 서로 다른 상하 각도로 출력되는 상기 신호들 중 수직으로 인접한 임의의 두 신호에 의해 센싱된 지점과 상기 임의의 두 신호 사이의 상하 각도값을 이용하여 형성되는 삼각형의 높이값을 구하는 단계; 및
    상기 임의의 두 신호에 의해 센싱된 지점 간의 거리차와 상기 높이값을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인하는 단계;
    를 포함하는 것인 차량 주변의 물체 인식 방법.
  10. 제9항에 있어서, 상기 물체가 센싱되는지 확인하는 단계는,
    상기 거리차와 상기 높이값의 오차가 기 설정된 소정값 미만이면, 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단하는 것
    인 차량 주변의 물체 인식 방법.
  11. 제8항에 있어서, 상기 제2 센싱 정보를 추출하는 단계는,
    상기 동일한 상하 각도이되 서로 다른 좌우 각도로 출력되는 상기 신호들 중 수평으로 인접한 임의의 두 신호에 의해 센싱된 지점의 방향성과 상기 차량의 주행 방향을 비교하여 상기 임의의 두 신호에 의해 물체가 센싱되는지 확인하는 것
    인 차량 주변의 물체 인식 방법.
  12. 제11항에 있어서, 상기 제2 센싱 정보를 추출하는 단계는,
    상기 임의의 두 신호에 의해 센싱된 상기 지점의 방향성과 상기 주행 방향이 기 설정된 소정 기울기값 이내로 평행한 경우 상기 임의의 두 신호에 의해 물체가 센싱된 것으로 판단하는 것
    인 차량 주변의 물체 인식 방법.
KR1020150125415A 2015-09-04 2015-09-04 차량 주변의 물체 인식 장치 및 그 방법 Active KR102490602B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150125415A KR102490602B1 (ko) 2015-09-04 2015-09-04 차량 주변의 물체 인식 장치 및 그 방법
US15/216,164 US10309773B2 (en) 2015-09-04 2016-07-21 Device for recognizing obstacle around vehicle and method thereof
DE102016216294.2A DE102016216294B4 (de) 2015-09-04 2016-08-30 Einrichtung zum Erkennen eines Hindernisses um ein Fahrzeug herum und Verfahren dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150125415A KR102490602B1 (ko) 2015-09-04 2015-09-04 차량 주변의 물체 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170028603A true KR20170028603A (ko) 2017-03-14
KR102490602B1 KR102490602B1 (ko) 2023-01-19

Family

ID=58055314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150125415A Active KR102490602B1 (ko) 2015-09-04 2015-09-04 차량 주변의 물체 인식 장치 및 그 방법

Country Status (3)

Country Link
US (1) US10309773B2 (ko)
KR (1) KR102490602B1 (ko)
DE (1) DE102016216294B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989434B1 (ko) 2017-12-07 2019-06-14 충북대학교 산학협력단 자율주행 시스템에 있어서 배치를 이용한 선분 병합 방법 및 이를 기록한 기록매체

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
CN110228430B (zh) * 2018-03-05 2023-10-27 株式会社小糸制作所 传感器系统
CN109188448B (zh) * 2018-09-07 2020-03-06 百度在线网络技术（北京）有限公司 点云非地面点过滤方法、装置及存储介质
FR3101433B1 (fr) * 2019-09-27 2021-11-26 Renault Sas Procédé de détection du sol dans un nuage de points obtenu par télédétection laser 3D
DE102019129099A1 (de) * 2019-10-29 2021-04-29 Valeo Schalter Und Sensoren Gmbh Objekterkennung anhand eines aktiven optischen Sensorsystems
EP4046068A4 (en) * 2020-03-26 2023-07-12 Baidu.com Times Technology (Beijing) Co., Ltd. POINT CLOUD BASED SYSTEM FOR DETECTING LOW HEIGHT OBSTACLES
CN114384513B (zh) * 2022-01-19 2025-12-09 白犀牛智达(北京)科技有限公司 一种地面识别的方法及装置
JP7720931B2 (ja) * 2022-02-10 2025-08-08 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225806A (ja) * 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
KR20150049934A (ko) * 2013-10-31 2015-05-08 현대자동차주식회사 지면 데이터 필터링 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115747C2 (de) * 1991-05-14 1998-02-26 Hipp Johann F Vorrichtung und Verfahren zur Situations-, Hindernis- und Objekterkennung
US6477465B1 (en) * 1999-11-29 2002-11-05 American Gnc Corporation Vehicle self-carried positioning method and system thereof
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
KR102217016B1 (ko) 2014-04-30 2021-02-19 삼성전자주식회사 다중 펄스 제트 발생 장치 및 이를 갖는 공기 조화기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225806A (ja) * 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
KR20150049934A (ko) * 2013-10-31 2015-05-08 현대자동차주식회사 지면 데이터 필터링 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989434B1 (ko) 2017-12-07 2019-06-14 충북대학교 산학협력단 자율주행 시스템에 있어서 배치를 이용한 선분 병합 방법 및 이를 기록한 기록매체

Also Published As

Publication number Publication date
US20170067738A1 (en) 2017-03-09
DE102016216294A1 (de) 2017-03-09
KR102490602B1 (ko) 2023-01-19
DE102016216294B4 (de) 2021-01-28
US10309773B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
KR102490602B1 (ko) 차량 주변의 물체 인식 장치 및 그 방법
US11287524B2 (en) System and method for fusing surrounding V2V signal and sensing signal of ego vehicle
CN108367722B (zh) 停车辅助方法及装置
US11881034B2 (en) Processing device
KR102452550B1 (ko) 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
CN107179530B (zh) 用于求取固定在车辆上的探测设备的失调的装置
CN109031302B (zh) 分析车辆环境的方法和设备以及装备有这种设备的车辆
US11260861B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway
EP3179270A1 (en) Lane extension of lane-keeping system by ranging-sensor for automated vehicle
CN107490794A (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
CN109839636B (zh) 物体识别装置
KR101891725B1 (ko) 단거리 레이더 센서 기반의 가상 차선 생성 방법
KR20170030814A (ko) 차선 유지 보조 시스템 및 차선 유지 보조 방법
JP6577767B2 (ja) 物体検知装置及び物体検知方法
KR101624954B1 (ko) 이동식 다차선 기준검지기
CN107667047A (zh) 用于将机动车辆侧向周围环境区域中细长静止物体分类的方法、驾驶员辅助系统和机动车辆
KR101950175B1 (ko) 차선정보 추정 방법
US20230154199A1 (en) Driving control system and method of controlling the same using sensor fusion between vehicles
KR101628547B1 (ko) 주행 차선 확인 장치 및 방법
KR20200111008A (ko) 거리 센서를 이용한 차량 검지 시스템 및 방법
JP6686776B2 (ja) 段差検出方法及び段差検出装置
KR102228278B1 (ko) 라이다 센서를 이용한 차선인식 방법 및 그를 위한 장치
KR101836810B1 (ko) 차로 판단 장치
JP6627021B2 (ja) 車線変更操舵制御システム
KR102085910B1 (ko) 객체 인식 알고리즘 향상을 위한 고정객체와 이동객체의 구분 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150904

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200618

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150904

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220222

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220829

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220222

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220829

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220419

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20221222

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20221125

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220829

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220419

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230116

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230117

End annual number: 3

Start annual number: 1

PG1601 Publication of registration