KR20200037736A - 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템 - Google Patents

자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템 Download PDF

Info

Publication number
KR20200037736A
KR20200037736A KR1020197024531A KR20197024531A KR20200037736A KR 20200037736 A KR20200037736 A KR 20200037736A KR 1020197024531 A KR1020197024531 A KR 1020197024531A KR 20197024531 A KR20197024531 A KR 20197024531A KR 20200037736 A KR20200037736 A KR 20200037736A
Authority
KR
South Korea
Prior art keywords
autonomous vehicle
speed
moving obstacle
adv
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020197024531A
Other languages
English (en)
Inventor
판 추
린 마
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Priority to KR1020217015144A priority Critical patent/KR102354615B1/ko
Publication of KR20200037736A publication Critical patent/KR20200037736A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B60R2021/0037—Position of passenger standing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/143—Speed control
    • B60Y2300/146—Speed limiting
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

일 실시예에 있어서, 시스템은 ADV의 이미지 포착 장치로부터 ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이미지이다. 시스템은 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성한다. ADV가 주행 가능한 영역 내에 위치할 경우, 시스템은 ADV의 상한 속도 제한을 확정한다. 시스템은 ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성한다.

Description

자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
본 개시의 실시예는 대체적으로 자율 주행 차량에 대한 조작에 관한 것이다. 보다 구체적으로, 본 개시의 실시예는 자율 주행 차량(ADV)의 저속 정경(LOW SPEED SCENES)을 위한 보행자 상호 작용 시스템에 관한 것이다.
자율 주행 모드로 운행(예컨대, 무인 주행)되는 차량은 승객, 특히는 운전자를 운전 관련의 직책으로부터 해방시킬 수 있다. 자율 주행 모드로 운행할 경우, 차량은 차량용 센서를 이용하여 각 위치로 인도함으로써, 차량이 인간-컴퓨터 상호 작용이 최대한으로 적은 경우 또는 승객이 없는 일부의 경우에서 주행하는 것을 허용한다.
자율 주행 모드로 운행할 경우, 도시 도로 상의 자율 주행 차량에 이용되는 상호 작용 전략은 저속 정경에서 주행하는 차량에 적합하지 않을 가능성이 존재한다. 이러한 저속 정경의 지점으로, 주차장, 차도, 및 대학교, 학원 및 시설 건축물과 같은 교정 토지를 포함할 수 있다. 교정 도로 상에서 자율 주행 차량과 보행자의 상호 작용은 도시 도로 상에서보다 많은 것으로 예측된다.
제1 양태에 있어서, 본 개시는 자율 주행 차량(ADV)에 사용되는 컴퓨터 구현 방법을 제공하며, 해당 방법은, ADV의 이미지 포착 장치로부터 ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이미지인 단계와, 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우, ADV의 상한 속도 제한을 확정하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성하는 단계를 포함한다.
제2 양태에 있어서, 본 개시는 명령이 저장된 비 일시적 기계 판독 가능한 매체를 제공하며, 해당 명령이 프로세서에 의해 실행될 경우 프로세서가 조작을 실행하도록 하며, 해당 조작은, ADV의 이미지 포착 장치로부터 ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이미지인 단계와, 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우, ADV의 상한 속도 제한을 확정하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성하는 단계를 포함한다.
제3 양태에 있어서, 본 개시는 데이터 처리 시스템을 제공하며, 해당 데이터 처리 시스템은 프로세서 및 메모리 장치를 포함하되, 메모리 장치는 프로세서에 결합되고 명령을 저장하며, 해당 명령이 프로세서에 의해 실행될 경우 프로세서가 조작을 실행하도록 하며, 해당 조작은, ADV의 이미지 포착 장치로부터 ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이지비인 단계와, 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우, ADV의 상한 속도 제한을 확정하는 단계와, ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성하는 단계를 포함한다.
본 개시의 실시예는 첨부된 도면들 중의 각 도면에서 예시적이나 비 한정적인 방식으로 도시되며, 첨부된 도면들 중의 동일한 참조 부호는 유사한 구성 요소를 지시한다.
도1은 일 실시예에 따른 네트워크 시스템을 나타내는 블록도이다.
도2는 일 실시예에 따른 자율 주행 차량에 이용되는 센서 및 제어 시스템의 예시를 나타내는 블록도이다.
도3a 내지 도3b는 일부의 실시예에 따른 자율 주행 차량에 이용되는 감지 및 계획 시스템의 예시를 나타내는 블록도이다.
도4는 일 실시예에 따른 속도 제한 모듈의 예시를 나타내는 블록도이다.
도5는 일 실시예에 따른 교정 정경의 예시를 나타내는 블록도이다.
도6은 일 실시예에 따른 방법을 나타내는 흐름도이다.
도7은 일 실시예에 따른 데이터 처리 시스템을 나타내는 블록도이다.
아래에 논술하는 세부 사항들을 참조로 본 개시의 각종의 실시예 및 양태에 대한 설명을 진행하기로 하며, 첨부된 도면에서 상기 각종의 실시예들을 나타내기로 한다. 아래의 설명 및 첨부된 도면은 본 개시에 대한 설명일 뿐, 본 개시에 대한 한정으로 해석하여서는 아니된다. 본 개시의 각종의 실시예들에 대한 전면적인 이해를 제공하기 위하여 여러가지 특정된 세부 사항에 대한 설명을 진행하기로 한다. 그러나, 일부의 경우에 있어서, 본 개시의 실시예에 대한 간결한 논술을 위하여, 공지의 세부 사항 또는 전통적인 세부 사항에 대한 설명은 생략하기로 한다.
본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 해당 실시예를 결부하여 설명한 특정의 특징, 구조, 특성이 본 개시의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 문구 "일 실시예에 있어서"가 본 명세서의 여러 곳에서 나타나는 것은 반드시 모두 동일한 실시예를 지시하는 것이 아니다.
본 개시의 실시예는 자율 주행 차량의 저속 정경에 사용되는 차량-보행자 상호 작용 시스템을 제공한다. 일 양태에 의하면, 시스템은 ADV의 이미지 포착 장치로부터 ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이미지이다. 시스템은 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성한다. ADV가 주행 가능한 영역 내에 위치할 경우, 시스템은 ADV의 상한 속도 제한을 확정한다. 시스템은 ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성한다.
일 실시예에 있어서, 생성된 주행 가능한 영역은, 시간 T에서의 이동하는 장애물의 위치 및/또는 속도 방향을 기반으로 확정한 중심 위치 및 이동하는 장애물의 속도를 기반으로 확정한 반경을 포함한다. 다른 일 실시예에 있어서, 이동하는 장애물의 투영의 위치는 이동하는 장애물과 ADV의 위치(예컨대, ADV와 이동하는 장애물의 이동 방향 사이의 수직 교차점(예컨대, 90도의 각도)에서의 위치)를 기반으로 확정된다. 다른 일 실시예에 있어서, 상한 속도 제한은 현재 시간에서 ADV와 이동하는 장애물의 투영 사이의 거리를 기반으로 확정된다.
다른 일 실시예에 있어서, 시간 T에서의 ADV의 상한 속도 제한 또는 속도 제한(vlimit)은
Figure pct00001
이고, v0은 ADV의 현재 속도이고, α는 감쇠율이며, d는 현재 시간에서 ADV과 이동하는 장애물의 투영 사이의 거리이다. 다른 일 실시예에 있어서, 시간 T는
Figure pct00002
로 확정하되, vbound는 상기 자율 주행 차량의 최대 속도 또는 상기 자율 주행 차량의 도로로 확정한 최대 속도이며, accmax는 상기 자율 주행 차량의 최대 가속도이며, k는 상수이다. 일 실시예에 있어서, 이동하는 장애물은 보행자이다.
도1은 본 개시의 일 실시예에 따른 자율 주행 차량의 네트워크 구성을 나타내는 블록도이다. 도1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 또는 다수의 서버(103 내지 104)에 통신 가능하게 연결될 수 있는 자율 주행 차량(101)을 포함한다. 하나의 자율 주행 차량이 도시되었으나, 다수의 자율 주행 차량이 네트워크(102)를 통해 서로 연결되거나 및/또는 서버(103 내지 104)에 연결될 수 있다. 네트워크(102)는 임의의 유형의 네트워크일 수 있으며, 예컨대, 유선 또는 무선의 근거리 통신망(LAN), 인터넷과 같은 광역 네트워크(WAN), 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합일 수 있다. 서버(103 내지 104)는 임의의 유형의 서버 또는 서버 클러스터일 수 있으며, 예컨대, 웹 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합일 수 있다. 서버(103 내지 104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI) 서버 또는 위치 서버 등일 수 있다.
자율 주행 차량은 운전자로부터의 입력이 아주 적거나 없이 환경을 통과하도록 차량을 인도하는 자율 주행 모드에 처하도록 설정될 수 있는 차량을 가리킨다. 이러한 자율 주행 차량은, 차량이 운행되는 환경에 관한 정보를 검출하도록 구성된 하나 또는 다수의 센서를 구비하는 센서 시스템을 포함할 수 있다. 상기 차량 및 이에 관련된 제어 장치는 검출된 정보를 이용하여 상기 환경을 통과하도록 인도한다. 자율 주행 차량(101)은 수동 모드, 완전 자율 주행 모드 또는 일부 자율 주행 모드에서 운행될 수 있다.
일 실시예에 있어서, 자율 주행 차량(101)은 감지 및 계획 시스템(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113) 및 센서 시스템(115)을 포함하나, 이에 한정되지 않는다. 자율 주행 차량(101)은 일반 차량에 포함된 일부의 상용 부재, 예컨대, 엔진, 휠, 조향 휠, 변속기 등을 포함할 수 있으며, 상기 부재는 차량 제어 시스템(111) 및/또는 감지 및 계획 시스템(110)을 통해, 예컨대 가속 신호 또는 명령, 감속 신호 또는 명령, 조향 신호 또는 명령, 제동 신호 또는 명령 등과 같은 각종의 통신 신호 및/또는 명령을 이용하여 제어될 수 있다.
부재(110 내지 115)는 인터커넥트, 버스, 네트워크 또는 이들의 조합을 경유하여 서로 통신 가능하게 연결된다. 예를 들어, 부재(110 내지 115)는 계측 제어기 통신망(CAN) 버스를 경유하여 서로 통신 가능하게 연결된다. CAN 버스는 마이크로 제어 장치 및 장비들이 호스트가 없는 애플리케이션에서 서로 통신을 진행하는 것을 허용하도록 설계된 차량 통신 표준이다. 이는 원래 차량 내부의 멀티플렉스 전기 배선을 위해 설계되었지만 많은 기타의 환경에서도 이용되는 메시지 기반의 프로토콜로이다.
현재 도2를 참조하면, 일 실시예에 있어서, 센서 시스템(115)은 하나 또는 다수의 카메라(211), 글로벌 위치 확인 시스템(GPS) 유닛(212), 관성 측정 유닛(IMU; 213), 레이다 유닛(214) 및 라이다(LIDAR) 유닛(215)을 포함하나, 이에 한정되지 않는다. GPS 시스템(212)은 자율 주행 차량의 위치에 관한 정보를 제공하도록 조작 가능한 송수신 장치를 포함할 수 있다. IMU 유닛(213)은 관성 가속도를 기반으로 자율 주행 차량의 위치 및 지향 변화를 감지할 수 있다. 레이다 유닛(214)은 무선 신호를 이용하여 자율 주행 차량의 지역 환경 내의 대상물을 감지하는 시스템을 표시한다. 일부의 실시예에 있어서, 대상물을 감지하는 것 이외에, 레이다 유닛(214)은 추가적으로 대상물의 속도 및/또는 전진 방향을 감지한다. LIDAR 유닛(215)은 레이저를 이용하여 자율 주행 차량이 위치하는 환경 중의 대상물을 감지할 수 있다. 기타의 시스템 부재 이외에, LIDAR 유닛(215)은 하나 또는 다수의 레이저 소스, 레이저 스캐너 및 하나 또는 다수의 탐지기를 더 포함할 수 있다. 카메라(211)는 자율 주행 차량의 주변 환경의 이미지를 포획하기 위한 하나 또는 다수의 장치를 포함할 수 있다. 카메라(211)는 고정 카메라 및/또는 PTZ(팬-틸트-줌) 카메라일 수 있다. 카메라는 기계적으로 이동할 수 있으며, 예컨대, 카메라를 회전 및/또는 틸팅 플랫폼에 설치함으로써 기계적으로 이동할 수 있다.
센서 시스템(115)은 소나 센서, 적외선 센서, 조향 센서, 스로틀 센서, 제동 센서 및 오디오 센서(예컨대, 마이크로폰)과 같은 기타의 센서를 더 포함할 수 있다. 오디오 센서는 자율 주행 차량 주변의 환경으로부터 소리를 포획하도록 구성될 수 있다. 조향 센서(예컨대, 전동 조향 시스템(EPS))는 조향 휠, 차량의 휠 또는 이들의 조합의 조향 각도를 감지하도록 구성될 수 있다. 스로틀 센서 및 제동 센서는 각각 차량의 스로틀 위치 및 제동 위치를 감지한다. 일부의 경우에, 스로틀 센서 및 제동 센서는 통합 스로틀/제동 센서로 통합될 수 있다.
차량 제어 시스템(111)은 조향 유닛(201), 스로틀 유닛(202)(가속 유닛으로도 지칭됨) 및 제동 유닛(203)을 포함할 수 있으나, 이에 한정되지 않는다. 조향 유닛(201)은 차량의 방향 또는 전진 방향을 조정하도록 이용된다. 스로틀 유닛(202)은 전기 모터 또는 엔진의 속도를 제어하도록 이용되고, 전기 모터 또는 엔진의 속도는 나아가 차량의 속도 및 가속도를 제어한다. 제동 유닛(203)은 마찰을 제공하여 차량의 휠 또는 타이어를 감속시킴으로써 차량을 감속시킨다. 도2에 도시된 부재는 하드웨어, 소프트웨어 또는 이들의 조합으로 실시될 수 있음을 유의하여야 한다.
돌아가 도1을 참조하면, 무선 통신 시스템(112)은 자율 주행 차량(101)과 예컨대 장치, 센서, 기타의 차량 등과 같은 외부 시스템 사이의 통신을 허용한다. 예를 들어, 무선 통신 시스템(112)은 하나 또는 다수의 장치와 직접적으로 무선 통신을 진행하거나 통신 네트워크를 통해 무선 통신을 진행할 수 있으며, 예컨대, 네트워크(102)를 통해 서버(103 내지 104)와 통신을 진행할 수 있다. 무선 통신 시스템(112)은 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(WLAN)을 이용하여, 예컨대 WiFi를 이용하여 다른 부재 또는 시스템과 통신을 진행할 수 있다. 무선 통신 시스템(112)은 예컨대 적외선 링크, 블루투스 등을 이용하여 장치(예컨대, 승객의 모바일 장치, 표시 장치, 차량(101)내의 스피커)와 직접적으로 통신을 진행할 수 있다. 사용자 인터페이스 시스템(113)은 차량(101) 내에 실시된 주변 장치의 일부일 수 있으며, 예컨대, 키워드, 터치 스크린 표시 장치, 마이크로폰 및 스피커 등을 포함한다.
자율 주행 차량(101)의 기능 중의 일부 또는 전부는, 특히 자율 주행 모드에서 조작을 진행할 경우, 감지 및 계획 시스템(110)으로 제어하거나 관리할 수 있다. 감지 및 계획 시스템(110)은 필요한 하드웨어(예컨대, 프로세서, 메모리 장치, 저장 장치) 및 소프트웨어(예컨대, 운영 체제, 계획 및 라우팅 프로그램)을 포함하여, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신된 정보를 처리하고, 출발지로부터 목적지까지의 노선 또는 경로를 계획하며, 이어서 계획 및 제어 정보를 기반으로 차량(101)을 운전한다. 대안으로, 감지 및 계획 시스템(110)은 차량 제어 시스템(111)과 통합될 수 있다.
예를 들어, 승객인 사용자는 예컨대 사용자 인터페이스에 의해 여정의 시작 위치와 목적지를 지정할 수 있다. 감지 및 계획 시스템(110)은 여정 관련 데이터를 획득한다. 예를 들어, 감지 및 계획 시스템(110)은 서버(103 내지 104)의 일부분일 수 있는 MPOI 서버로부터 위치 및 노선 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하며, MPOI 서버는 지도 서비스 및 일부 위치의 POI를 제공한다. 대안으로, 이러한 유형의 위치 및 MPOI 정보는 감지 및 계획 시스템(110)의 영구 저장 장치에 로컬로 캐시될 수 있다.
자율 주행 차량(101)이 노선을 따라 이동할 경우, 감지 및 계획 시스템(110)은 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보를 획득할 수도 있다. 서버(103 내지 104)는 제3 자 엔티티로 조작을 진행할 수 있음을 유의하여야 한다. 대안으로, 서버(103 내지 104)의 기능은 감지 및 계획 시스템(110)과 통합될 수 있다. 실시간 교통 정보, MPOI 정보와 위치 정보 및 센서 시스템(115)으로 검출하거나 감지한 실시간 지역 환경 데이터(예컨대, 장애물, 대상물, 주변 차량)를 기반으로, 감지 및 계획 시스템(110)은 최적의 노선을 계획하고, 계획된 노선에 따라 예컨대 제어 시스템(111)에 의해 차량(101)을 운전하여 지정된 목적지에 안전하고 효율적으로 도착할 수 있다.
서버(103)는 각종의 클라이언트를 위해 데이터 분석 서비스를 실행하기 위한 데이터 분석 시스템일 수 있다. 일 실시예에 있어서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 기계 학습 엔진(122)을 포함한다. 데이터 수집기(121)는 각종의 차량(자율 주행 차량 또는 인간 운전자가 운전하는 일반 차량)으로부터 주행 통계 자료(123)를 수집한다. 주행 통계 자료(123)는 내려진 운전 명령(예컨대, 스로틀, 제동, 조향 명령) 및 차량의 센서로 상이한 시각에 포획한 차량의 응답(예컨대, 속도, 가속, 감속, 방향)을 지시하는 정보를 포함한다. 주행 통계 자료(123)는 상이한 시각에서의 주행 환경을 설명하는 정보, 예컨대, 노선(시작 위치 및 목적지 위치를 포함), MPOI, 도로 상태, 날씨 상태 등을 더 포함할 수 있다.
주행 통계 자료(123)를 기반으로, 기계 학습 엔진(122)은 다양한 목적을 위해 일련의 규칙, 알고리즘 및/또는 모델(124)을 생성하거나 트레이닝한다. 일 실시예에 있어서, 예를 들어, 알고리즘/모델(124)은 보행자와 같은 대상물을 검출하고 이러한 대상물에 관련된 정보를 인식하기 위한 하나 또는 다수의 기계 학습 모델 및/또는 이미지 분할 모델을 포함할 수 있다. 기계 학습 모델은 트레이닝되고, ADV의 자율 주행에 실시간으로 이용되도록 ADV에 업데이트될 수 있다. 알고리즘/모델(124)은, ADV가 사용하고자는 속도 제한을 확정하기 위한 알고리즘/모델을 포함할 수 있다.
도3a 및 도3b는 일 실시예에 따른 자율 주행 차량와 함께 이용되는 감지 및 계획 시스템의 예시를 나타내는 블록도이다. 시스템(300)은 도1의 자율 주행 차량(101)의 일부분으로 실시될 수 있으며, 감지 및 계획 시스템(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하나, 이에 한정되지 않는다. 도3a 내지 도3b를 참조하면, 감지 및 계획 시스템(110)은 위치 확인 모듈(301), 감지 모듈(302), 예측 모듈(303), 결책 모듈(304), 계획 모듈(305), 제어 모듈(306), 라우팅/샘플링 모듈(307) 및 속도 제한 모듈(308)을 포함하나, 이에 한정되지 않는다.
모듈(301 내지 308) 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 실시될 수 있다. 예를 들어, 이러한 모듈들은 영구 저장 장치(352)에 설치되고, 메모리 장치(351)에 로딩되며, 하나 또는 다수의 프로세서(미도시)에 의해 실행될 수 있다. 이러한 모듈들 중의 일부 또는 전부는 도2의 차량 제어 시스템(111)의 일부 또는 전부의 모듈과 통신 가능하게 연결되거나 이들과 통합될 수 있음을 유의하여야 한다. 모듈(301 내지 308) 중의 일부는 통합 모듈로 통합될 수 있다. 예를 들어, 속도 제한 모듈(308)과 계획 모듈(305)은 단일 모듈로 통합될 수 있다.
위치 확인 모듈(301)은, 예컨대, GPS 유닛(212)을 이용하여, 자율 주행 차량(300)의 현재 위치를 확정하고, 사용자의 여정 또는 노선에 관련된 임의의 데이터를 관리한다. 위치 확인 모듈(301)(지도 및 노선 모듈로도 지칭됨)은 사용자의 여정 또는 노선에 관련된 임의의 데이터를 관리한다. 사용자는 예컨대 사용자 인터페이스를 경유하여 로그인하고 여정의 시작 위치와 목적지를 지정할 수 있다. 위치 확인 모듈(301)은 자율 주행 차량(300)의 기타의 부재와 통신을 진행하여, 예컨대 지도와 노선 정보(311)에 대한 통신을 진행하여, 여정 관련 데이터를 획득한다. 예를 들어, 위치 확인 모듈(301)은 위치 서버와 지도 및 POI(MPOI) 서버로부터 위치 및 노선 정보를 획득한다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 일부의 위치의 POI를 제공하며, 이는 지도와 노선 정보(311)의 일부분으로서 캐시될 수 있다. 자율 주행 차량(300)이 노선을 따라 이동할 경우, 위치 확인 모듈(301)은 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 획득할 수도 있다.
센서 시스템(115)에 의해 제공된 센서 데이터 및 위치 확인 모듈(301)에 의해 획득한 위치 확인 정보를 기반으로, 감지 모듈(302)은 주변 환경에 대한 감지를 확정한다. 감지 정보는, 일반 운전자가 운전하고 있는 차량 주변에서 감지될 것이 무엇인 지를 표시할 수 있다. 감지는 예컨대 대상물 형식의 차도 구성(예컨대, 직선 차도 또는 곡선 차도), 교통 신호등, 다른 차량에 대한 상대적 위치, 보행자, 건축물, 횡단 보도 또는 키타의 교통 관련 표지(예컨대, 정지 표지, 양보 표지) 등을 포함할 수 있다. 차도 구성은 하나 또는 다수의 차도를 설명하는 정보, 예컨대, 차도의 형상(예컨대, 직선 또는 곡선), 차도의 넓이, 도로 중의 차도의 수량, 일방 통행 차도 또는 양방 통행 차도, 합류 차도 또는 분류 차도, 출구 차도 등을 포함한다.
감지 모듈(302)은 하나 또는 다수의 카메라로 포획한 이미지를 처리하고 분석하여 자율 주행 차량 환경의 중의 대상물 및/또는 특징을 인식하기 위한 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함할 수 있다. 상기 대상물은 교통 신호, 도로 경계, 기타의 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 대상물 인식 알고리즘, 영상 추적 및 기타의 컴퓨터 비전 기술을 이용할 수 있다. 일부의 실시예에 있어서, 컴퓨터 비전 시스템은 환경을 제도하고 대상물을 추정하며, 대상물의 속도를 추산하는 등을 진행할 수 있다. 감지 모듈(302)은 레이다 및/또는 LIDAR와 같은 기타의 센서로 제공하는 기타의 센서 데이터를 기반으로 대상물을 검출할 수도 있다.
각 대상물에 대하여, 예측 모듈(303)은, 대상물이 이러한 경우에 어떠한 표현을 나타낼지를 예측한다. 예측은 한 세트의 지도/노선 정보(311) 및 교통 규칙(312)을 감안하여 해당 시각에 주행 환경을 감지한 감지 데이터를 기반으로 실행된다. 예를 들어, 대상물이 반대 방향에서의 차량이고 현재 주행 환경이 교차로를 포함할 경우, 예측 모듈(303)은 차량이 직진하는지 아니면 회전하는지를 예측한다. 감지 데이터가 교차로에 신호등이 존재하지 않는 것을 나타내면, 예측 모듈(303)은 차량이 교차로에 진입하기 전에 완전이 정지할 필요가 있는지 여부를 예측할 수 있다. 감지 데이터가 현재에 좌회전 전용 차도 또는 우회전 전용 차도에 위치하는 것을 나타내면, 예측 모듈(303)은 각각 차량이 좌회전을 할 가능성이 큰지 아니면 우회전을 할 가능성이 큰지를 예측할 수 있다.
각 대상물에 대하여, 결책 모듈(304)은 대상물을 어떻게 처리할 것인지에 관한 결정을 내린다. 예를 들어, 특정의 대상물(예컨대, 교차 노선 중의 다른 차량) 및 대상물을 설명하는 메타 데이터(예컨대, 속도, 방향, 회전 각도)에 대해, 결책 모듈(304)은 상기 대상물을 어떻게 대처할 지(예컨대, 추월, 양보, 정지, 통과)를 결정한다. 결책 모듈(304)은 영구 저장 장치(352)에 저장될 수 있는 교통 규칙 또는 운전 규칙(312)과 같은 규칙 집합에 따라 이러한 유형의 결정을 할 수 있다.
라우팅 모듈(307)은 출발지로부터 목적지까지의 하나 또는 다수의 노선 또는 경로를 제공하도록 구성된다. 시작 위치로부터 목적지 위치까지의 주어진 여정에 대해, 예컨대 사용자로부터 수신된 주어진 여정에 대해, 라우팅 모듈(307)은 노선과 지도 정보(311)를 획득하고, 시작 위치로부터 목적지 위치까지의 모든 가능한 노선 또는 경로를 확정한다. 라우팅 모듈(307)은 시작 위치로부터 목적지 위치까지의 각 노선을 확정한 지형도 양식의 기준선을 생성할 수 있다. 기준선은 기타의 차량, 장애물 또는 교통 상태와 같은 기타 사항의 아무런 간섭이 없는 이상적인 노선 또는 경로를 가리킨다. 즉, 도로 상에 기타의 차량, 보행자 또는 장애물이 존재하지 않을 경우, ADV는 기준선을 정확하고 가깝게 따라가야 한다. 지형도는 이어서 결책 모듈(304) 및/또는 계획 모듈(305)에 제공된다. 결책 모듈(304) 및/또는 계획 모듈(305)은 모든 가능한 노선을 검사하여, 위치 확인 모듈(301)로부터의 교통 상황, 감지 모듈(302)로 감지한 주행 환경 및 예측 모듈(303)로 예측한 교통 상황과 같은 기타의 모듈에 의해 제공된 기타의 데이터를 감안하여, 최적의 노선 중의 하나를 선택하고 수정한다. ADV를 제어하기 위한 실제 경로 또는 노선은 해당 시각의 주행 환경에 따라 라우팅 모듈(307)로 제공한 기준선과 근접하거나 상이할 수 있다.
감지된 대상물 각각에 대한 결정을 기반으로, 계획 모듈(305)은 자율 주행 차량을 위해 경로 또는 노선 및 주행 파라미터(예컨대, 거리, 속도 및/또는 회전 각도)를 계획한다. 다시 말해서, 주어진 대상물에 대해, 결책 모듈(304)은 해당 대상물에 대해 무엇을 진행할 지를 결정하고, 계획 모듈(305)은 이를 어떻게 진행할 지를 확정한다. 예를 들어, 주어진 대상물에 대해, 결책 모듈(304)은 상기 대상물을 통과하는 것을 결정할 수 있으며, 계획 모듈(305)은 상기 대상물의 좌측으로 아니면 우측으로 통과할 지를 확정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)로 생성되며, 차량(300)이 다음 이동 주기(예컨대, 다음 노선/경로 구간)에서 어떻게 이동하는 지를 설명하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는 차량(300)이 30 마일 시속(mph)의 속도로 10미터 이동하고, 이어서 25 mph의 속도로 우측 차도로 변환되는 것을 지시할 수 있다.
계획 및 제어 데이터를 기반으로, 제어 모듈(306)은 계획 및 제어 데이터로 한정한 노선 또는 경로에 따라, 적당한 명령 또는 신호를 차량 제어 시스템(111)에 송신하여 자율 주행 차량을 제어하고 운전한다. 상기 계획 및 제어 데이터는 경로 또는 노선을 따라 상이한 시각에서 적당한 차량 설정 또는 주행 파라미터(예컨대, 스로틀, 제동 및 회전 명령)를 이용하여 차량을 노선 또는 경로의 제1 포인트에서 제2 포인트로 운전하기 위한 충분한 정보를 포함한다.
일 실시예에 있어서, 계획 단계는 다수의 계획 주기(명령 주기로도 지칭됨), 예컨대, 각 시간 간격은 100밀리 초(ms)의 각 시간 간격으로 실행된다. 계획 주기 또는 명령 주기 중의 각각에 대해, 하나 또는 다수의 제어 명령은 계획 및 제어 데이터를 기반으로 발송된다. 즉, 각 100 ms에 대해, 계획 모듈(305)은 다음 노선 구간 또는 경로 구간을 계획하며, 예컨대, 목표 위치 및 ADV가 목표 위치에 도착하기에 필요한 시간을 포함한다. 대안으로, 계획 모듈(305)은 구체적인 속도, 방향 및/또는 조향 각도 등을 진일보로 규정할 수 있다. 일 실시예에 있어서, 계획 모듈(305)은 다음의 기정 시간 구간(예컨대, 5초)을 대해 노선 구간 또는 경로 구간을 계획한다. 각 계획 주기에 대해, 계획 모듈(305)은 이전의 주기에서 계획한 목표 위치를 기반으로 현재 주기(예컨대, 다음 5초)를 위한 목표 위치를 계획한다. 제어 모듈(306)은 이어서 현재 주기의 계획 및 제어 데이터를 기반으로 하나 또는 다수의 제어 명령(예컨대, 스로틀, 제동, 조향 제어 명령)을 생성한다.
결책 모듈(304) 및 계획 모듈(305)은 통합 모듈로 통합될 수 있음을 유의하여야 한다. 결책 모듈(304)/계획 모듈(305)은 자율 주행 차량의 주행 경로를 확정하기 위한 네비레이션 시스템 또는 네비레이션 시스템의 기능을 포함할 수 있다. 예를 들어, 네비레이션 시스템은 감지된 장애물을 실질적으로 피하면서 최종 목적지로 이어지는 도로 기반의 경로를 따라 자율 주행 차량을 일반적으로 전진시키는 경로를 따라 진행하는 자율 주행 차량의 이동을 실현하기 위한 일련의 속도 및 전진 방향을 확정할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통해 진행하는 사용자 입력에 따라 설정될 수 있다. 네비레이션 시스템은 자율 주행 차량을 주행시키면서 동적으로 주행 경로를 업데이트시킨다. 자율 주행 차량을 위한 주행 경로를 확정하도록, 네비레이션 시스템은 GPS 시스템 및 하나 또는 다수의 지도로부터의 데이터를 병합시킬 수 있다
결책 모듈(304)/계획 모듈(305)은 자율 주행 차량의 환경 중의 잠재적인 장애물을 인식하고, 평가하고 회피하거나 기타의 방식으로 넘어가도록 충돌 방지 시스템 또는 충돌 방지 시스템의 기능을 더 포함할 수 있다. 예를 들어, 충돌 방지 시스템은 제어 시스템(111) 중의 하나 또는 다수의 서브 시스템을 조작시켜, 조향 조종, 회전 조종, 제동 조종 등을 이용하는 방식을 통해 자율 주행 차량의 항법 중의 변화를 실현할 수 있다. 충돌 방지 시스템은 주변의 교통 모드, 도로 상태 등을 기반으로, 실행 가능한 장애물 회피 조종을 자동으로 확정할 수 있다. 충돌 방지 시스템은 기타 센서 시스템으로 자율 주행 차량이 조향하여 진입할 인접한 영역에 위치한 차량, 건축물 장애물 등이 검출될 경우 조향 조종을 진행하지 않도록 구성될 수 있다. 충돌 방지 시스템은 실행 가능함과 아울러 자율 주행 차량의 승객의 안정성을 최대한으로 향상시키는 조종을 자동으로 선택할 수 있다. 충돌 방지 시스템은 자율 주행 차량의 승객 객실에 최소한의 가속도가 발생하도록 예측되는 회피 조종을 선택할 수 있다.
도4는 일 실시예에 따른 속도 제한 모듈의 예시를 나타내는 블록도이다. 도4를 참조하면, 속도 제한 모듈(308)은 하나 또는 다수의 보행자 주변의 하나 또는 다수의 주행 가능한 영역(예컨대, 경계 영역)을 기반으로, ADV의 상한 속도 제한을 확정할 수 있다. 이어서, 속도 제한 모듈(308)은, ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키기 위해, 상한 속도 제한을 기반으로 ADV의 주행 궤적을 생성할 수 있다. 일 실시예에 있어서, 속도 제한 모듈(308)은 이미지 수신 장치/사전 처리 모듈(401), 주행 가능한 영역 생성 모듈(403), 속도 제한 확정 모듈(405) 및 궤적 생성 모듈(407)을 포함한다. 이미지 수신 장치/사전 처리 모듈(401)은 ADV의 이미지 포착 장치(예컨대, 하나 또는 다수의 카메라)로 포획한 이미지를 수신할 수 있다. 이미지 수신 장치/사전 처리 모듈(401)은 이미지에 대해 사전 처리를 진행할 수도 있다. 사전 처리는 이미지에 적용될 노광 제어, 게인 제어, 톤 매핑, 화이트 밸런스 및 디 모자이크와 양측 필터링을 조정하는 것을 포함할 수 있으나, 이에 한정되지 않는다. 이미지에 대해 사전 처리를 진행하는 것은 상이한 시간 및 날씨 상태를 구비하는 이미지 중의 대상물(예컨대, 보행자)을 보다 양호하게 인식하도록 이미지를 준비한다. 예를 들어, 밤에는 대상물을 보다 양호하게 인식하도록, 이미지 중의 노광양이 낮보다 커야한다. 사전 처리의 다른 일 예시는, 상이한 설정을 구비하는 상이한 카메라가 이미지 포획 장치로 이용될 수 있도록 이미지를 표준 이미지 크기로 스케일링 및/또는 크로핑하는 것을 포함한다. 주행 가능한 영역 생성 모듈(403)은 검출된 각 대상물(예컨대, 보행자)을 위해 주행 가능한 영역을 생성할 수 있다. 주행 가능한 영역은 주행 가능한 영역 내의 ADV가 조심스레 주행하여야 함을 지시하는 경계 영역이며, 예컨대, ADV는 기정의 속도 제한을 기반으로 차량 속도를 감소시키고, 보다 높은 초당 프레임 속도로 이미지를 캡처하며, 및/또는 정지하도록 제동하여야 하는 등을 지시하는 경계 영역이다. 속도 제한 확정 모듈(403)은 속도 제한 모델(예컨대, 도3a의 속도 제한 모델(313)의 일부분)에 따라, 주어진 대상물/장애물(예컨대, 보행자)의 속도 제한을 확정할 수 있다. 궤적 생성 모듈(405)은 ADV를 제어하여 보행자 주변의 ADV의 속도를 제한하도록 확정된 임의의 속도 제한을 기반으로 궤적을 생성할 수 있다.
도5는 일 실시예에 따른 교정 정경의 예시를 나타내는 블록도이다. 도5를 참조하면, 일 실시예에 있어서, 정경(500)은 운동 중인 대상물(501)(예컨대, 보행자) 및 ADV(101)를 포함한다. 정경(500)은 대학교 교정에서의 저속 영역 또는 임의의 저속 영역을 표시할 수 있다. ADV(101)가 저속 영역 내에 진입하기 시작하거나 위치할 경우(지도와 노선 정보(311)에 의해 확정될 경우), ADV(101)는 속도 제한 모듈(308)을 실행/활성화 시킨다. 유사하게, ADV(101)가 저속 영역에서 퇴출하거나 저속 영역 외부에 위치할 경우(지도와 노선 정보(311)에 의해 확정될 경우), ADV(101)는 속도 제한 모듈(308)를 정지/비활성화 할 수 있다.
저속 영역에 위치할 경우, 일 실시예에 있어서, 이미지 수신 모듈(예컨대, 도4의 속도 제한 모듈(308)의 이미지 수신 장치/사전 처리 모듈(401))은 ADV의 이미지 센서로부터 이미지를 수신한다. 이미지 수신 장치(401)는 ADV(101) 주변의 다수의 장애물 또는 대상물을 인식하도록 이미지를 처리할 수 있다. 예를 들어, ADV(101)는 보행자(501)를 운동 중인 장애물로 인식할 수 있다. 이미지 수신 장치(401)는 후속적인 이미지 프레임을 수신하고, 기계 학습 모델 또는 이미지 분할 모델을 통해 보행자(501)의 방향, 속도 및/또는 지향을 검출할 수 있다. 다른 일 실시예에 있어서, 속도 제한 모듈(308)은 예컨대 도3a의 감지 모듈(302)의 감지 모듈로부터 보행자(501)의 보행자 정보(예컨대, 방향, 속도 및 지향)을 수신할 수 있다.
이어서, 보행자/장애물 정보를 기반으로, 도4의 모듈(403)과 같은 주행 가능한 영역 생성 모듈은 ADV-보행자 상호 작용에 이용되도록 보행자(501)를 위한 주행 가능한 영역(505)을 생성한다. 예를 들어, ADV(101)가 주행 가능한 영역(505) 내에 위치할 경우, 도4의 모듈405과 같은 속도 제한 확정 모듈은 ADV(101)에 적용될 상한 속도 제한을 확정할 수 있다. 일 실시예에 있어서, 이동하는 장애물의 투영(예컨대, 투영(507))은 보행자(501)의 현재 위치(예컨대, (x0, y0))와 ADV(101)의 수직 교차점으로 확정된다. 일 실시예에 있어서, ADV(101)와 보행자(501)의 투영(예컨대, 투영(507)) 사이의 거리(예컨대, 거리d)를 기반으로 속도 제한을 확정할 수 있다. 또한, 보행자(501)가 그의 운동 노선을 변화시키거나 이동을 정지하는 것이 ADV(101)에 의해 확정될 경우, 새로운 주행 가능한 영역을 생성하고 새로운 속도 제한을 확정할 수 있다. 주행 가능한 영역의 형상은 원형에 한정되지 않으며, 타원형 또는 구형 등과 같은 기타의 형상일 수도 있음을 유의하여야 한다.
이어서, 속도 제한을 기반으로, 도4의 모듈(407)과 같은 궤적 생성 모듈은 속도 제한보다 작은 속도를 구비하는 궤적을 생성할 수 있다. 속도 제한은 실제로 ADV(101)와 보행자(501)가 안전 거리를 유지하도록 할 수 있으며, 예를 들어, ADV(101)가 보행자(501)에 접근할 경우, ADV(101)는 ADV(101)와 보행자(501) 사이의 거리에 따라 감속되며, 또는, 단지 보행자(501)가 지나갈 경우, ADV(101)는 ADV(101)의 속도를 속도 제한까지 점차적으로 감소시킨다. 도5는 설명의 목적으로 단지 하나의 보행자(501)가 도시되었으나, 다수의 보행자를 검출할 가능성이 존재하며, 다수의 주행 가능한 영역이 생성될 수 있다. 이러할 경우, 다수의 주행 가능한 영역을 기반으로, 최저의 속도 제한을 이용하여 궤적을 생성할 수 있다.
주행 가능한 영역을 생성하기 위하여, 일 실시예에 있어서, 보행자(501)의 지향(및/또는 속도 방향) 및 속도에 따라 주행 가능한 영역의 크기와 중심점을 확정한다. 일 실시예에 있어서, 주행 가능한 영역(505)은 원형일 수 있다. 주행 가능한 영역(505)은 보행자(501)의 속도에 비례하는 원의 반경을 구비할 수 있다. 일 실시예에 있어서, 해당 반경과 보행자(501)의 속도는 선형으로 비례하며, 예를 들어, 반경∝pv이며, 여기서, p는 상수이고, v는 보행자(501)의 속도이다. 다른 일 실시예에 있어서, 주행 가능한 영역은 계란형 또는 타원형일 수 있다.
주행 가능한 영역(505)에 대해, 중심점(503)은 중심(x, y)=f(θ)+(x 0 , y 0 )으로 확정될 수 있으며, 여기서, θ는 보행자(501)의 속도 방향이고, (x 0 , y 0 )는 보행자(501)의 현재 위치 좌표이다. 여기서, f(θ)는 보행자(501)가 그의 현재 좌표(예컨대, 보행자의 투영)를 떠날 때 그의 후속적인 운동에 대한 예측일 수 있다. 일 실시예에 있어서, 시간 T일 때 보행자(501)를 위한 주행 가능한 영역(505)의 중심점(503)을 확정하되, T는
Figure pct00003
이되, v bound 는 ADV(101)의 최대 속도 또는 저속 영역 중의 ADV의 도로에 의해 확정된 최대 속도이며, acc max 는 ADV의 최대 가속도 또는 감속도(예컨대, 제동)이며, k는 상수이다. 일 실시예에 있어서, 시간 간격 T의 방향 속도θ를 기반으로, f(θ)를 T*θ로 확정하고, 이어서, 중심점(503)은 방정식: 중심(x, y)=f(θ)+(x 0 , y 0 )으로 확정할 수 있다.
이어서, 시간 T일 때의 속도 제한은 방정식:(v limit )=
Figure pct00004
로 확정하되, v 0 은 ADV(101)의 현재 속도이고, α는 감쇠율이며, d는 현재 시간 ADV와 이동하는 장애물의 투영(507) 사이의 거리이다. 일 실시예에 있어서, 투영(507)은 보행자(501)의 현재 위치(예컨대, (x0, y0))와 ADV(101) 사이의 수직 교차점에 위치한다. 감쇠율은 거리d에 대한 속도 제한의 변화 속도를 조정하도록 이용될 수 있다. 일 실시예에 있어서, α는 상수값(예컨대, >1) 또는 ADV(101)의 사용자에 의해 서전에 설정된 값이다. 속도 제한이 확정된다면, 궤적의 속도를 제한하여 궤적의 속도를 점차적으로 v limit 로 감소시키도록, 해당 속도 제한은 도4의 모듈(407)과 같은 궤적 생성 모듈에 의해 생성된 궤적에 적용될 수 있다.
도6은 일 실시예에 따른 방법을 나타내는 흐름도이다. 과정(600)은 처리 로직으로 실행될 수 있으며, 상기 처리 로직은 소프트웨어, 하드웨어 및 이들의 조합을 포함할 수 있다. 예를 들어, 과정(600)은 도3a의 속도 제한 모듈(308)로 실행될 수 있다. 도6을 참조하면, 블록(601)에서, 처리 로직은 ADV의 이미지 포착 장치로부터, ADV의 환경을 감지한 포획된 이미지를 수신하되, 포획된 이미지는 ADV 근처에서 운동 중인 장애물을 인식하기 위한 이미지이다. 블록(602)에서, 처리 로직은, 이동하는 장애물의 투영을 기반으로, 이동하는 장애물 주변의 주행 가능한 영역을 생성한다. 블록(603)에서, ADV가 주행 가능한 영역 내에 위치할 경우, 처리 로직은 ADV의 상한 속도 제한을 확정한다. 블록(604)에서, ADV가 주행 가능한 영역 내에 위치할 경우 ADV를 감속시키도록, 처리 로직은 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 ADV를 자율적으로 제어하도록, 해당 궤적을 생성한다.
일 실시예에 있어서, 생성된 주행 가능한 영역은 시간 T일 때 이동하는 장애물의 속도 방향을 기반으로 확정한 중심 위치 및 이동하는 장애물의 속도를 기반으로 확정한 반경을 포함한다. 다른 일 실시예에 있어서, 이동하는 장애물의 현재 위치 및 이동하는 장애물의 속도 방향을 기반으로, 이동하는 장애물의 투영의 위치를 확정한다. 다른 일 실시예에 있어서, 이동하는 장애물의 투영의 위치는, 이동하는 장애물과 ADV 사이의 수직 교차점(예컨대 도5를 참조)으로 확정된다. 다른 일 실시예에 있어서, 현재 시간에서 ADV와 이동하는 장애물의 투영 사이의 거리를 기반으로 상한 속도 제한을 확정한다.
다른 일 실시예에 있어서, 시간 T에서의 ADV의 상한 속도 제한 또는 속도 제한(v limit )은
Figure pct00005
이고, v 0은 ADV의 현재 속도이고, α는 감쇠율이며, d는 현재 시간에서 ADV과 이동하는 장애물의 투영 사이의 거리이다. 다른 일 실시예에 있어서, 시간 T는
Figure pct00006
로 확정하되, v bound 는 상기 자율 주행 차량의 최대 속도 또는 상기 자율 주행 차량의 도로에 의해 확정된 최대 속도이며, acc max 는 상기 자율 주행 차량의 최대 가속도이며, k는 상수이다. 일 실시예에 있어서, 이동하는 장애물은 보행자이다.
앞서 도시하고 나타낸 부재 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 실시될 수 있음을 유의하여야 한다. 예를 들어, 이러한 부재는 영구 저장 장치에 설치되고 저장된 소프트웨어로 실시될 수 있으며, 상기 소프트웨어는 본 출원의 전반에 설명된 과정 또는 조작을 실시하도록 프로세서(미도시)를 통해 메모리 장치에 로딩되고 메모리 장치에서 실행될 수 있다. 대안으로, 이러한 부재는 주문형 하드웨어(예컨대, 집적 회로(예컨대, 주문형 집적 회로 또는 ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA))에 프로그램되거나 내장되며, 애플리케이션으로부터 상응한 구동 프로그램 및/또는 운영 체제를 통해 액세스될 수 있는 실행 가능한 코드로 실시될 수 있다. 또한, 이러한 부재는 하나 또는 다수의 특정의 명령을 통해 소프트웨어 부재로 액세스 가능한 명령 집합 중의 일부로서, 프로세서 또는 프로세서 코어 중의 특정의 하드웨어 로직으로 실시될 수 있다.
도7은 본 개시의 일 실시예와 함께 이용될 수 있는 데이터 처리 시스템의 예시를 나타내는 블록도이다. 예를 들어, 시스템(1500)은 상술한 과정 또는 방법 중의 임의의 하나를 실행하는 상술한 데이터 처리 시스템 중의 임의의 하나, 예컨대 도1의 감지 및 계획 시스템(110) 또는 서버(103 내지 104)를 표시할 수 있다. 시스템(1500)은 여러가지 상이한 부재를 포함할 수 있다. 이러한 부재는 집적 회로(IC), 집적 회로의 일부, 이산형 전자 장치 또는 회로 기판(예컨대, 컴퓨터 시스템의 마더 보드 또는 애드 인 카드)에 적용되는 기타의 모듈로 실시될 수 있으며, 또는 기타의 방식으로 컴퓨터 시스템의 섀시 내부에 도입되는 부재로 실시될 수 있다.
또한, 컴퓨터 시스템의 많은 부재의 고차원 도면을 나타내고자 함을 유의하여야 한다. 그러나, 일부의 구현에는 추가적인 부재가 구비될 수 있고, 기타의 구현에는 도시된 부재의 상이한 배치가 구비될 수 있음을 이해하여야 한다. 시스템(1500)은 데스크탑형 컴퓨터, 랩탑형 컴퓨터, 태블릿 PC, 서버, 모바일 폰, 미디어 플레이어, 개인 디지털 보조 장치(PDA), 스마트 워치, 개인용 통신기, 게임기, 네트워크 라우터 또는 허브, 무선 액세스 포인트(AP) 또는 중계 장치, 셋톱 박스 또는 이들의 조합을 표시할 수 있다. 또한, 단 하나의 기계 또는 시스템이 도시되었으나, 용어 "기계" 또는 "시스템"은 본 원에 토론된 임의의 하나 또는 다수의 방법을 실행하도록 독립적으로 또는 공동으로 하나(또는 다수의) 명령 집합을 실행하는 기계 또는 시스템의 임의의 집합을 포함하는 것으로 이해되어야 한다.
일 실시예에 있어서, 시스템(1500)은 버스 또는 인터커넥트(1510)를 통해 연결되는 프로세서(1501), 메모리 장치(1503) 및 장치(1505 내지 1508)를 포함한다. 프로세서(1501)는 단일 프로세서 코어 또는 다중 프로세서 코어를 포함하는 단일 프로세서 또는 다중 프로세서를 표시할 수 있다. 프로세서(1501)는 마이크로 프로세서, 중앙 처리 유닛(CPU) 등과 같은 하나 또는 다수의 범용의 프로세서를 표시할 수 있다. 보다 구체적으로, 프로세서(1501)는 복잡한 명령 집합 컴퓨팅(CISC) 마이크로 프로세서, 축소된 명령 집합 컴퓨팅(RISC) 마이크로 프로세서, 매우 긴 명령어(VLIW) 마이크로 프로세서, 또는 기타의 명령 집합을 실시하는 프로세서, 또는 명령 집합의 조합을 실시하는 프로세서일 수 있다. 프로세서(1501)는 주문형 집적 회로(ASIC), 셀룰러 또는 베이스 밴드 프로세서, 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서, 그래픽 프로세서, 통신 프로세서, 암호화 프로세서, 코프로세서, 내장형 프로세서, 또는 명령을 처리할 수 있는 임의의 기타 유형의 로직과 같은 하나 또는 다수의 주문형 프로세서일 수도 있다.
초 저전압 프로세서와 같은 저전력 멀티 코어 프로세서 소켓일 수 있는 프로세서(1501)는 상기 시스템의 다양한 부재와 통신하기 위한 메인 프로세스 유닛 및 중앙 허브로서 작동될 수 있다. 이러한 프로세서는 시스템 온 칩(SoC)으로 실시될 수 있다. 프로세서(1501)는 본원에 설명된 조작 및 단계를 실행하기 위한 명령을 실행하도록 구성된다. 시스템(1500)은 표시 장치 제어 장치, 그래픽 프로세서 및/또는 표시 장치를 포함할 수 있는 선택적 그래픽 서브 시스템(1504)과 통신하는 그래픽 인터페이스를 더 포함할 수 있다.
프로세서(1501)는 일 실시예에서 주어진 양의 시스템 메모리를 제공하기 위해 다수의 메모리 장치를 통해 실시될 수 있는 메모리 장치(1503)와 통신할 수 있다. 메모리 장치(1503)는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기화 DRAM(SDRAM), 정적 RAM(SRAM) 또는 기타의 유형의 저장 장치와 같은 하나 또는 다수의 휘발성 저장 장치를 포함할 수 있다. 메모리 장치(1503)는 프로세서(1501) 또는 임의의 기타의 장치로 실행되는 명령 시퀀스를 포함하는 정보를 저장할 수 있다. 예를 들어, 다양한 운영 체제, 장치 드라이버, 펌웨어(예컨대, 입출력 기본 시스템 또는 BIOS), 및/또는 애플리케이션의 실행 가능한 코드 및/또는 데이터는 메모리(1503)에 로딩되고, 프로세서(1501)에 의해 실행될 수 있다. 운영 체제는 예컨대 로봇 운영 체제(ROS), Microsoft® 사의 Windows® 운영 체제, Apple 사의 Mac OS®/iOS®, Google® 사의 Android®, LINUX, UNIX, 또는 기타의 실시간 또는 내장형 운영 체제와 같은 임의의 유형의 운영 체제일 수 있다.
시스템(1500)은 네트워크 인터페이스 장치(1505), 선택적 입력 장치(1506) 및 기타의 선택적 IO 장치(1507)를 포함하는 장치들(1505 내지 1508)과 같은 IO 장치를 더 포함할 수 있다. 네트워크 인터페이스 장치(1505)는 무선 송수신 장치 및/또는 네트워크 인터페이스 카드(NIC)를 포함할 수 있다. 상기 무선 송수신 장치는 WiFi 송수신 장치, 적외선 송수신 장치, 블루투스 송수신 장치, WiMax 송수신 장치, 무선 셀룰러 폰 송수신 장치, 위성 송수신 장치(예컨대, 글로벌 위치 확인 시스템(GPS) 송수신 장치) 또는 기타의 무선 주파수(RF) 송수신 장치 또는 이들의 조합일 수 있다. NIC는 이더넷 카드일 수 있다.
입력 장치(1506)는 마우스, 터치 패드, (표시 장치(1504)와 통합될 수 있는) 터치 감지 스크린, 스타일러스와 같은 포인터 장치 및/또는 키보드(예컨대, 터치 감지 스크린의 일부로 표시되는 물리적 키보드 또는 가상 키보드)를 포함할 수 있다. 예를 들어, 입력 장치(1506)는 터치 스크린에 결합된 터치 스크린 제어 장치를 포함할 수 있다. 터치 스크린 및 터치 스크린 제어 장치는 예컨대 용량식, 저항식, 적외선 및 표면 탄성파 기술뿐만 아니라 기타의 근접 센서 어레이 또는 터치 스크린과 접촉하는 하나 또는 다수의 포인트를 확정하기 위한 기타의 요소를 포함하나, 이에 한정되지 않는 다수의 터치 감지 기술 중 임의의 하나를 이용하여 이의 접촉 및 이동 또는 제동를 검출할 수 있다.
IO 장치(1507)는 오디오 장치를 포함할 수 있다. 오디오 장치는 음성 인식, 음성 복제, 디지털 녹음 및/또는 전화 기능과 같은 음성 작동 기능을 촉진시키기 위한 스피커 및/또는 마이크를 포함할 수 있다. 기타의 IO 장치(1507)는 범용 직렬 버스(USB) 포트, 병렬 포트, 직렬 포트, 프린터, 네트워크 인터페이스, 버스 브리지(예컨대, PCI-PCI 브리지) 센서(예컨대, 가속도계, 자이로 스코프, 자력계, 광 센서, 나침반, 근접 센서 등과 같은 모션 센서) 또는 이들의 조합을 포함할 수 있다. 장치(1507)는 사진 및 비디오 클립 녹화하는 것과 같은 카메라 기능을 촉진하도록 이용되는 고체 촬상 소자(CCD) 또는 상보성 금속산화물 반도체(CMOS) 광학 센서와 같은 광학 센서를 포함할 수 있는 이미징 프로세싱 서브 시스템(예컨대, 카메라)를 더 포함할 수 있다. 일부의 센서는 센서 허브(미도시)를 통해 인터커넥트(1510)에 연결될 수 있으나, 키보드 또는 열 센서와 같은 기타의 장치는 시스템(1500)의 특정의 구성 또는 설계에 따라 내장형 제어 장치(미도시)에 의해 제어될 수 있다.
데이터, 애플리케이션, 하나 또는 다수의 운영 체제 등과 같은 정보의 영구 저장을 제공하기 위해, 대용량 저장 장치(미도시)도 프로세서(1501)에 연결될 수 있다. 각종의 실시예에 있어서, 시스템 응답성을 향상시킬 뿐만 아니라 보다 얇고 가벼운 시스템 설계를 가능하게 하기 위해, 이러한 대용량 저장 장치는 고체 상태 장치(SSD)를 통해 실현될 수 있다. 그러나, 기타의 실시예에 있어서, 대용량 저장 장치는, 시스템 활동의 재작동에 있어서 빠른 전원 켜기를 실현할 수 있도록, 파워 다운 이벤트 동안 컨텍스트 상태 및 기타의 이러한 정보의 비 휘발성 저장을 가능하게 하기 위한 SSD 캐시로서 작용하는 보다 적은 양의 SSD 저장 장치를 구비하는 하드 디스크 드라이브(HDD)를 이용하여 주로 실현될 수 있다. 또한, 플래시 장치는 예를 들어 직렬 주변 인터페이스(serial peripheral interface; SPI)를 통해 프로세서 (1501)에 연결될 수 있다. 이러한 플래시 장치는 시스템의 기타의 펌웨어뿐만 아니라 BIOS를 포함하여 시스템 소프트웨어의 비 휘발성 저장을 제공할 수 있다.
저장 장치(1508)는 본원에 설명된 방법론 또는 기능 중의 임의의 하나 또는 다수를 실시하는 하나 또는 다수의 명령 세트 또는 소프트웨어(예컨대, 모듈, 유닛 및/또는 로직(1528))가 저장된 컴퓨터 액세스 가능한 저장 매체(1509)(기계 판독 가능한 저장 매체 또는 컴퓨터 판독 가능한 매체로도 지칭됨)을 포함할 수 있다. 처리 모듈/유닛/로직(1528)은 예컨대 도 3A의 속도 제한 모듈(308)과 같은 상술한 부재 중의 임의의 하나를 표시할 수 있다. 처리 모듈/유닛/로직(1528)은 그의 실행 과정에 기계 액세스 가능한 저장 매체를 구성하기도 하는 데이터 처리 시스템(1500), 메모리 장치(1503) 및 프로세서(1501)에 의해 메모리 장치(1503) 및/또는 프로세서(1501) 내에 완전히 또는 적어도 부분적으로 상주될 수 있다. 처리 모듈/유닛/로직(1528)은 네트워크 인터페이스 장치(1505)를 경유하여 네트워크를 통해 송신되거나 수신될 수도 있다.
컴퓨터 판독 가능한 저장 매체(1509)는 전술한 일부의 소프트웨어 기능을 지속적으로 저장하도록 이용될 수도 있다. 컴퓨터 판독 가능한 저장 매체(1509)가 일 예시적인 실시예에서 단일 매체로 도시되었으나, 용어 "컴퓨터 판독 가능한 저장 매체"는 하나 또는 다수의 명령 세트를 저장하는 단일 매체 또는 다중 매체(예컨대, 집중형 또는 분산형 데이터 베이스 및/또는 관련된 캐시 및 서버)를 포함하는 것으로 시인되어야 한다. 용어 "컴퓨터 판독 가능한 저장 매체"는 또한 기계에 의해 실행되고 기계로 본 개시의 방법론 중의 임의의 하나 또는 다수를 실행하도록 하는 명령 세트를 저장하거나 인코딩할 수 있는 임의의 매체를 포함하는 것으로 시인되어야 한다. 따라서, 용어 "컴퓨터 판독 가능한 저장 매체"는 고체 상태 메모리, 광학 및 자기 매체, 또는 임의의 기타 비 일시적 기계 판독 가능한 매체를 포함하나, 이에 한정되지 않는 것으로 시인되어야 한다.
본원에 설명된 처리 모듈/유닛/로직(1528), 부재 및 기타의 특징은 이산형 하드웨어 부재로 실시되거나 ASIC, FPGA, DSP 또는 유사한 장치와 같은 하드웨어 부재의 기능에 통합될 수 있다. 또한, 처리 모듈/유닛/로직(1528)은 하드웨어 장치 내의 펌웨어 또는 기능 회로로 실시될 수 있다. 또한, 처리 모듈/유닛/로직(1528)은 임의의 조합으로 하드웨어 장치 및 소프트웨어 부재로 실현될 수 있다.
시스템(1500)은 데이터 처리 시스템의 다양한 부재로 도시되었으나, 부재를 상호 연결시키는 임의의 특정된 아키텍처 또는 방식을 나타내기 위한 것이 아니며, 이러한 세부 사항들은 본 개시의 실시예에 밀접한 관계가 있는 것이 아님을 유의하여야 한다. 보다 적은 부재 또는 보다 많은 부재를 구비하는 네트워크 컴퓨터, 핸드헬드 컴퓨터, 모바일 폰, 서버 및/또는 기타의 데이터 처리 시스템은 본 개시의 실시예들과 함께 이용될 수도 있다.
전술한 상세한 설명의 일부분은 이미 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 기호 표현에 관하여 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 숙련자가 자신의 연구 내용을 당업자에게 가장 효과적으로 전달하도록 이용되는 방식이다. 여기서, 알고리즘은 일반적으로 원하는 결과를 유도하는 조작의 일관성 있는 시퀀스로 시인된다. 해당 조작은 물리량을 물리적으로 조작하는 것이 요구되는 조작이다.
그러나, 이러한 용어와 유사한 용어 중의 전부는 적절한 물리량과 관련되며 이러한 물리량에 적용되는 편리한 라벨일 뿐임을 염두에 두어야 한다. 상술한 논술로부터 명백한 바와 같이 달리 명시하지 않는 한, 이하의 특허 청구 범위에 기재된 것과 같은 용어를 이용하는 논술은 명세서 전반에 걸쳐 컴퓨터 시스템의 레지스터 및 메모리 장치 내의 물리(전자)량으로 표현되는 데이터에 대해 조작을 진행하고 이를 컴퓨터 시스템 메모리 장치 또는 레지스터 또는 기타의 정보 저장 장치, 송신 장치 또는 표시 장치 내의 물리량으로 유사하게 표현되는 기타의 데이터로 변환시키는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 동작 및 처리를 가리키는 것을 자명할 것이다.
본 개시의 실시예는 본 원의 조작을 실행하기 위한 장치에 관한 것이기도 한다. 이러한 컴퓨터 프로그램은 비 휘발성 컴퓨터 판독 가능한 매체에 저장된다. 기계 판독 가능한 매체는 기계(예컨대, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메카니즘을 포함한다. 예를 들어, 기계 판독 가능한(예를 들어, 컴퓨터 판독 가능한) 매체는 기계(예컨대, 컴퓨터) 판독 가능한 저장 매체(예컨대, 판독 전용 저장 장치("ROM"), 랜덤 액세스 저장 장치("RAM" 저장 매체, 광학 저장 매체, 플래시 장치)를 포함한다.
앞서 도면에 도시된 과정 또는 방법은 하드웨어(예컨대, 회로, 주문형 로직 등), 소프트웨어(예컨대, 비 일시적인 컴퓨터 판독 가능한 매체 상에 구현됨), 또는 이들의 조합을 포함하는 처리 로직으로 실행될 수 있다. 과정 또는 방법은 일부의 순차적인 조작을 감안하여 앞에서 설명되었으나, 기재된 조작 중의 일부는 다른 순서로 실행될 수 있음을 이해하여야 한다. 또한, 일부의 조작은 순차적인 것이 아니라 병렬로 실행될 수 있다.
본 개시의 실시예는 임의의 특정된 프로그래밍 언어를 참조하여 설명되지 않는다. 본원에 설명된 바와 같이 본 개시의 실시예의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있음을 자명할 것이다.
앞서 설명한 명세서에 있어서, 본 개시의 실시예는 특정의 실시예를 참조하여 설명하였다. 아래의 특허 청구 범위에 기재된 본 개시의 보다 넓은 사상 및 범위를 벗어나지 않고서 다양한 변형을 진행할 수 있음을 자명할 것이다. 따라서, 명세서 및 도면은 한정적인 의미가 아니라 예시적인 의미로 간주되어야 한다.

Claims (21)

  1. 자율 주행 차량(ADV)에 사용되는 컴퓨터 구현 방법에 있어서,
    자율 주행 차량의 이미지 포착 장치로부터 상기 자율 주행 차량의 환경을 감지한 포획된 이미지를 수신하되, 상기 포획된 이미지는 상기 자율 주행 차량 근처에서 운동 중인 장애물을 인식하기 위한 이미지인 단계와,
    이동하는 장애물의 투영을 기반으로, 상기 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우, 상기 자율 주행 차량의 상한 속도 제한을 확정하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우 상기 자율 주행 차량을 감속시키기 위해, 상기 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 상기 자율 주행 차량을 자율적으로 제어하도록, 상기 궤적을 생성하는 단계를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    생성된 주행 가능한 영역은, 시간 T에서의 상기 이동하는 장애물의 속도 방향을 기반으로 확정한 중심 위치 및 상기 이동하는 장애물의 속도를 기반으로 확정한 반경을 포함하는 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    상기 이동하는 장애물의 투영의 위치는, 상기 이동하는 장애물 및 상기 자율 주행 차량의 현재 위치를 기반으로 확정되는 컴퓨터 구현 방법.
  4. 제3항에 있어서,
    상기 상한 속도 제한은, 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리를 기반으로 확정되는 컴퓨터 구현 방법.
  5. 제3항에 있어서,
    상기 속도 제한(v limit )은
    Figure pct00007
    이되, v 0은 상기 자율 주행 차량의 현재 속도이고, α는 감쇠율이며, d는 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리인 컴퓨터 구현 방법.
  6. 제3항에 있어서,
    시간 T는
    Figure pct00008
    이되, v bound 는 상기 자율 주행 차량의 최대 속도 또는 상기 자율 주행 차량의 도로에 의해 확정된 최대 속도이며, acc max 는 상기 자율 주행 차량의 최대 가속도이며, k는 상수인 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 이동하는 장애물은 보행자인 컴퓨터 구현 방법.
  8. 명령이 저장된 비 일시적 기계 판독 가능한 매체에 있어서,
    상기 명령이 프로세서에 의해 실행될 경우 상기 프로세서가 조작을 실행하도록 하되, 상기 조작은,
    자율 주행 차량의 이미지 포착 장치로부터 상기 자율 주행 차량의 환경을 감지한 포획된 이미지를 수신하되, 상기 포획된 이미지는 상기 자율 주행 차량 근처에서 운동 중인 장애물을 인식하기 위한 이미지인 단계와,
    이동하는 장애물의 투영을 기반으로, 상기 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우, 상기 자율 주행 차량의 상한 속도 제한을 확정하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우 상기 자율 주행 차량을 감속시키기 위해, 상기 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 상기 자율 주행 차량을 자율적으로 제어하도록, 상기 궤적을 생성하는 단계를 포함하는 비 일시적 기계 판독 가능한 매체.
  9. 제8항에 있어서,
    생성된 주행 가능한 영역은, 시간 T에서의 상기 이동하는 장애물의 속도 방향을 기반으로 확정한 중심 위치 및 상기 이동하는 장애물의 속도를 기반으로 확정한 반경을 포함하는 비 일시적 기계 판독 가능한 매체.
  10. 제9항에 있어서,
    상기 이동하는 장애물의 투영의 위치는, 상기 이동하는 장애물 및 상기 자율 주행 차량의 현재 위치를 기반으로 확정되는 비 일시적 기계 판독 가능한 매체.
  11. 제10항에 있어서,
    상기 상한 속도 제한은, 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리를 기반으로 확정되는 비 일시적 기계 판독 가능한 매체.
  12. 제10항에 있어서,
    상기 속도 제한(v limit )은
    Figure pct00009
    이되, v 0은 상기 자율 주행 차량의 현재 속도이고, α는 감쇠율이며, d는 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리인 비 일시적 기계 판독 가능한 매체.
  13. 제10항에 있어서,
    시간 T는
    Figure pct00010
    이되, v bound 는 상기 자율 주행 차량의 최대 속도 또는 상기 자율 주행 차량의 도로에 의해 확정된 최대 속도이며, acc max 는 상기 자율 주행 차량의 최대 가속도이며, k는 상수인 비 일시적 기계 판독 가능한 매체.
  14. 제8항에 있어서,
    상기 이동하는 장애물은 보행자인 비 일시적 기계 판독 가능한 매체.
  15. 프로세서와,
    상기 프로세서에 결합되고 명령을 저장하기 위한 메모리 장치를 포함하는 데이터 처리 시스템에 있어서,
    상기 명령이 상기 프로세서에 의해 실행될 경우 상기 프로세서가 조작을 실행하도록 하며, 상기 조작은,
    자율 주행 차량의 이미지 포착 장치로부터 상기 자율 주행 차량의 환경을 감지한 포획된 이미지를 수신하되, 상기 포획된 이미지는 상기 자율 주행 차량 근처에서 운동 중인 장애물을 인식하기 위한 이미지인 단계와,
    이동하는 장애물의 투영을 기반으로, 상기 이동하는 장애물 주변의 주행 가능한 영역을 생성하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우, 상기 자율 주행 차량의 상한 속도 제한을 확정하는 단계와,
    상기 자율 주행 차량이 상기 주행 가능한 영역 내에 위치할 경우 상기 자율 주행 차량을 감속시키기 위해, 상기 상한 속도 제한보다 작은 궤적 속도를 구비하는 궤적에 따라 상기 자율 주행 차량을 자율적으로 제어하도록, 상기 궤적을 생성하는 단계를 포함하는 데이터 처리 시스템.
  16. 제15항에 있어서,
    생성된 주행 가능한 영역은, 시간 T에서의 상기 이동하는 장애물의 속도 방향을 기반으로 확정한 중심 위치 및 상기 이동하는 장애물의 속도를 기반으로 확정한 반경을 포함하는 데이터 처리 시스템.
  17. 제16항에 있어서,
    상기 이동하는 장애물의 투영의 위치는, 상기 이동하는 장애물 및 상기 자율 주행 차량의 현재 위치를 기반으로 확정되는 데이터 처리 시스템.
  18. 제17항에 있어서,
    상기 상한 속도 제한은, 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리를 기반으로 확정되는 데이터 처리 시스템.
  19. 제17항에 있어서,
    상기 속도 제한(v limit )은
    Figure pct00011
    이되, v 0은 상기 자율 주행 차량의 현재 속도이고, α는 감쇠율이며, d는 현재 시간에서 상기 자율 주행 차량과 상기 이동하는 장애물의 투영 사이의 거리인 데이터 처리 시스템.
  20. 제17항에 있어서,
    시간 T는
    Figure pct00012
    이되, v bound 는 상기 자율 주행 차량의 최대 속도 또는 상기 자율 주행 차량의 도로로 확정한 최대 속도이며, acc max 는 상기 자율 주행 차량의 최대 가속도이며, k는 상수인 데이터 처리 시스템.
  21. 제15항에 있어서,
    상기 이동하는 장애물은 보행자인 데이터 처리 시스템.
KR1020197024531A 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템 Ceased KR20200037736A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217015144A KR102354615B1 (ko) 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/108356 WO2020062031A1 (en) 2018-09-28 2018-09-28 A pedestrian interaction system for low speed scenes for autonomous vehicles

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217015144A Division KR102354615B1 (ko) 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템

Publications (1)

Publication Number Publication Date
KR20200037736A true KR20200037736A (ko) 2020-04-09

Family

ID=69949861

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197024531A Ceased KR20200037736A (ko) 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
KR1020217015144A Expired - Fee Related KR102354615B1 (ko) 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217015144A Expired - Fee Related KR102354615B1 (ko) 2018-09-28 2018-09-28 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템

Country Status (6)

Country Link
US (1) US11117597B2 (ko)
EP (1) EP3655940A1 (ko)
JP (1) JP7145867B2 (ko)
KR (2) KR20200037736A (ko)
CN (1) CN111247495B (ko)
WO (1) WO2020062031A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125928A1 (en) 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20250078625A (ko) 2018-10-11 2025-06-02 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
JP7360792B2 (ja) * 2018-12-27 2023-10-13 株式会社ダイヘン 移動体、学習器、及び学習器製造方法
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10917764B2 (en) * 2019-05-02 2021-02-09 GM Global Technology Operations LLC System and method to responsively send vehicle information to a data center
US20210150892A1 (en) * 2019-11-19 2021-05-20 Ford Global Technologies, Llc Vehicle operating parameters
EP3935413B1 (en) * 2020-05-15 2024-07-24 Baidu.com Times Technology (Beijing) Co., Ltd. Partial point cloud-based pedestrians' velocity estimation method
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
CN112158197B (zh) * 2020-08-21 2021-08-27 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
US20220234618A1 (en) * 2021-01-28 2022-07-28 Motional Ad Llc Homotopic-based planner for autonomous vehicles
US12030485B2 (en) 2021-01-28 2024-07-09 Motional Ad Llc Vehicle operation using maneuver generation
JP7491229B2 (ja) * 2021-02-03 2024-05-28 トヨタ自動車株式会社 自律移動システム、自律移動方法及び自律移動プログラム
KR102568288B1 (ko) * 2021-02-09 2023-08-18 한양대학교 에리카산학협력단 자율주행 차량 간 통신에 의한 교통 안전 시스템
WO2023023265A1 (en) 2021-08-19 2023-02-23 Tesla, Inc. Vision-based system training with simulated content
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
CN114407919B (zh) * 2021-12-31 2023-06-02 武汉中海庭数据技术有限公司 一种基于自动驾驶的碰撞检测方法及系统
CN115407754B (zh) * 2022-08-25 2025-08-26 上海卓昕医疗科技有限公司 机械结构自主检测方法、系统、设备和存储介质
CN115416688B (zh) * 2022-09-05 2025-06-17 白犀牛智达(北京)科技有限公司 一种绕行障碍物的方法、装置、介质和电子设备
CN115628736B (zh) * 2022-09-23 2024-10-11 北京智行者科技股份有限公司 行人轨迹的预测方法、设备、移动装置和存储介质
CN115601972B (zh) * 2022-11-28 2023-03-21 青岛慧拓智能机器有限公司 无人矿山行驶区域的障碍物处理系统
CN119599088B (zh) * 2024-10-14 2025-11-04 清华大学 面向端到端自动驾驶的安全强化学习训练方法及装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
CN1914060B (zh) * 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持系统
JP4639681B2 (ja) 2004-07-23 2011-02-23 株式会社デンソー 車両用物体検知装置
JP5016889B2 (ja) * 2006-10-11 2012-09-05 日立オートモティブシステムズ株式会社 予防安全装置
AT505798B1 (de) * 2007-09-20 2011-12-15 Naderhirn Michael Verfahren zur automatischen vermeidung von kollisionen eines objektes mit weiteren objekten
EP2388756B1 (en) * 2010-05-17 2019-01-09 Volvo Car Corporation Forward collision risk reduction
DE112011104947B4 (de) * 2011-02-23 2021-02-11 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
DE112011105204T5 (de) * 2011-05-31 2014-07-03 Hitachi, Ltd. Autonomes Bewegungssystem
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
JP6237256B2 (ja) * 2014-01-21 2017-11-29 日産自動車株式会社 車速制御装置
KR101628503B1 (ko) * 2014-10-27 2016-06-08 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
JP6537251B2 (ja) * 2014-11-14 2019-07-03 シャープ株式会社 自律走行装置
KR102338554B1 (ko) * 2015-03-16 2021-12-15 주식회사 만도모빌리티솔루션즈 자동 긴급 제동장치 및 그 제어방법
JP6481520B2 (ja) * 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
JP6532786B2 (ja) 2015-08-07 2019-06-19 株式会社日立製作所 車両走行制御装置及び速度制御方法
US9701239B2 (en) * 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
JP6354746B2 (ja) * 2015-12-24 2018-07-11 マツダ株式会社 運転支援装置
CN106338996B (zh) * 2016-10-20 2019-05-31 上海物景智能科技有限公司 一种移动机器人安全控制的方法及系统
US10353393B2 (en) * 2016-12-29 2019-07-16 Baidu Usa Llc Method and system for improving stability of autonomous driving vehicles
JP6922617B2 (ja) * 2017-09-28 2021-08-18 トヨタ自動車株式会社 車両制御装置
GB2568883B (en) * 2017-11-28 2020-08-12 Jaguar Land Rover Ltd Projection apparatus
US20180150080A1 (en) * 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles
US10480952B2 (en) * 2018-02-01 2019-11-19 Didi Research America, Llc Probabilistic navigation system and method
CN117022255A (zh) * 2018-03-20 2023-11-10 御眼视觉技术有限公司 用于主车辆的自动驾驶系统、机器可读存储介质和装置
JP7140849B2 (ja) * 2018-05-31 2022-09-21 ニッサン ノース アメリカ，インク 確率的オブジェクト追跡及び予測フレームワーク

Also Published As

Publication number Publication date
KR102354615B1 (ko) 2022-01-24
US20200361485A1 (en) 2020-11-19
KR20210069111A (ko) 2021-06-10
JP2021501714A (ja) 2021-01-21
EP3655940A4 (en) 2020-05-27
WO2020062031A1 (en) 2020-04-02
EP3655940A1 (en) 2020-05-27
JP7145867B2 (ja) 2022-10-03
CN111247495B (zh) 2023-11-10
US11117597B2 (en) 2021-09-14
CN111247495A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102354615B1 (ko) 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
JP7050025B2 (ja) 自動運転車両のための計画運転感知システム
CN111076732B (zh) 基于车辆行驶的轨迹标记和生成高清地图的标记方案
CN111328411B (zh) 用于自动驾驶车辆的行人概率预测系统
JP6748244B2 (ja) 自動運転車に用いられる学習に基づく速度計画装置
JP6506805B2 (ja) 自律走行車の決定の評価フレームワーク
JP6720296B2 (ja) 自律走行のための地図画像に基づく交通予測
JP6667686B2 (ja) 自動運転車両のための走行軌跡生成方法、システム及び機械可読媒体
CN111857118B (zh) 对停车轨迹分段以控制自动驾驶车辆停车
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
CN111856923A (zh) 加速对复杂驾驶场景的规划的参数学习的神经网络方法
JP2020001679A (ja) 自動運転車両の駐車軌跡の計画
JP2019182411A (ja) オブジェクトの二次元境界枠を自動運転車両の三次元位置に転換するための方法［ｍｅｔｈｏｄ ｆｏｒ ｔｒａｎｓｆｏｒｍｉｎｇ ２ｄ ｂｏｕｎｄｉｎｇ ｂｏｘｅｓ ｏｆ ｏｂｊｅｃｔｓ ｉｎｔｏ ３ｄ ｐｏｓｉｔｉｏｎｓ ｆｏｒ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｖｅｈｉｃｌｅｓ （ａｄｖｓ）］
JP2019182415A (ja) 自動運転車両（ａｄｖ）に用いるピッチ角の補正方法
JP2019182402A (ja) 自動運転車両に用いられる検知支援
JP2020097388A (ja) 自動運転車両のための曲率補正経路サンプリングシステム
CN110727276A (zh) 用于自动驾驶车辆的多模态运动规划框架
WO2020132959A1 (en) Spiral curve based vertical parking planner system for autonomous driving vehicles
CN111649751B (zh) 一种用于参考线平滑的超自由缝合方法
CN111328313B (zh) 用于自动驾驶车辆的控制占主导的三点转弯规划
KR20200037738A (ko) 자율 주행 차량을 위한 나선형 경로 기반의 삼중 포인트 회전 계획
KR102223347B1 (ko) 에뮬레이션 기반의 자율 주행 차량의 3점 방향 전환 계획
CN111655561A (zh) 无需地图和定位的自动驾驶车辆的拐角协商方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

E601 Decision to refuse application
E801 Decision on dismissal of amendment
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

T13-X000 Administrative time limit extension granted

St.27 status event code: U-3-3-T10-T13-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

T13-X000 Administrative time limit extension granted

St.27 status event code: U-3-3-T10-T13-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000