KR20200072579A - 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법 - Google Patents

주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법 Download PDF

Info

Publication number
KR20200072579A
KR20200072579A KR1020180151063A KR20180151063A KR20200072579A KR 20200072579 A KR20200072579 A KR 20200072579A KR 1020180151063 A KR1020180151063 A KR 1020180151063A KR 20180151063 A KR20180151063 A KR 20180151063A KR 20200072579 A KR20200072579 A KR 20200072579A
Authority
KR
South Korea
Prior art keywords
driving
vehicle
ambient noise
surrounding
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180151063A
Other languages
English (en)
Other versions
KR102518662B1 (ko
Inventor
이동철
정인수
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180151063A priority Critical patent/KR102518662B1/ko
Priority to US16/678,815 priority patent/US10943486B2/en
Priority to JP2019204516A priority patent/JP2020083314A/ja
Priority to DE102019217723.9A priority patent/DE102019217723A1/de
Priority to CN201911141699.2A priority patent/CN111231948B/zh
Publication of KR20200072579A publication Critical patent/KR20200072579A/ko
Application granted granted Critical
Publication of KR102518662B1 publication Critical patent/KR102518662B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법에 관한 것으로서, 운행차량에 설치되어 주변소음을 입력 받는 마이크로폰; 상기 주변소음을 인공지능 기반으로 분석하여 차량 소음 특성 데이터와 비교하고 주변차량 주행정보를 판단하는 신호처리 제어기; 를 포함하는 주변소음을 이용한 주행안전 제어시스템을 제공하여, 운행차량 주변의 소음을 이용하여 인공지능을 통해 주변차량 주행정보를 파악함으로써 보다 안전한 차선 변경이 가능한 강점이 있다.

Description

주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법{Driving safety control system in use with around noise and the method of it}
본 발명은 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법에 관한 것으로서, 보다 상세하게는 운행차량 주변의 소음을 인공지능을 통해 분석함으로써 안전한 주행을 돕는 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법에 관한 것이다.
오늘날의 자동차는 다양한 안전장비를 탑재하여 운전자의 안전주행을 돕고 있다.
주행중인 차량의 사고는 차선을 변경할 때 자주 발생된다.
따라서, 운전자가 주행차선을 변경할 때, 변경하고자 하는 차선의 후방에서 접근하는 주변차량을 파악하는 것이 중요하다.
운전자는 사이드미러를 이용하여 후방에서 접근하는 주변차량을 확인한다.
그러나, 사이드미러는 주변차량이 미처 확인되지 않는 사각지대를 가지고 있다.
사각지대는 주변차량이 나의 차량에 근접해 있음에도 불구하고 운전자가 이를 인지하지 못하는 영역을 가리킨다.
운전자가 사각지대의 차량을 미처 발견하지 못하고 동일 차로로 차선을 변경하게 되면 자칫 충돌 사고로 이어질 수 있다.
종래에는 사각지대를 줄이기 위하여 광각 사이드미러를 제공하였지만 여전히 사각지대를 완전히 해소시키지는 못하엿다.
한편, 최근에는 차량의 측면에 모션감지센서를 부착해서 사각지대에 있는 차량을 확인시켜 주는 사각지대 경고시스템이 등장하기도 하였다.
그러나, 이와 같은 사각지대 경고시스템은 사이드미러에 별도의 방식으로 표시하는 방식이어서 운전자가 결국 사이드미러를 확인하고 차선변경 여부를 판단할 수 밖에 없다.
한편, 최근에는 자율주행 차량 기술이 날로 발전되고 있다.
즉, 운전자가 차선변경 여부를 판단할 때 차량 사이드미러에 점멸등을 표시함과 동시에 동일 차로로의 조향을 일시적으로 제한시키는 기술도 소개되고 있다.
그러나, 이와 같은 종래의 기술은 자율주행 차량에서 조향에 제한을 두는 것에 불과하며 보다 능동적인 자율주행을 돕지는 못하고 있는 한계가 있다.
한편, 운전자는 운행차량의 측후방에서 접근하는 주변차량의 주행속도를 알지 못한다.
운전자가 사이드미러를 통해서 주변차량의 접근속도를 알 수 있는 방법이 없었던 것이다.
따라서, 운전자가 사이드미러를 통해 후방에서 접근하는 주변차량이 멀리 있다고 판단될지라도 해당 주변차량 속도가 운전자 차량의 속도 보다 상대적으로 빠를 경우는 문제가 된다.
이 경우 운전자가 단순히 후방에서 접근하는 주변차량이 멀리 있다하여 차선을 변경하게 되면 자칫 후방추돌의 염려가 있기 때문이다.
또한, 안전주행에는 후방에서 접근하는 주변차량이 세단인지 대형 트럭인지도 중요하다.
동일한 조건이라면 후방에서 접근하는 주변차량이 대형 차량일 수록 운전자는 동일 주행차로로의 차선 변경을 서두르지 않는 것이 바람직할 수 있다.
왜냐하면, 대형 차량의 경우 급제동 거리가 늘어나 후방 추돌의 위험성이 높기 때문이다.
즉, 후방에서 접근하는 주변차량의 속도정보와 차량의 종류 정보도 안전주행에 중요한 요소인 것이다.
KR 1748497 B1 KR 1565006 B1 KR 2013-0046779 A1
위와 같은 종래 기술의 문제점을 극복하기 위한 본 발명은 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법을 제공하는 것을 목적으로 한다.
운행차량에 설치되어 주변소음을 입력 받는 마이크로폰; 상기 주변소음을 인공지능 기반으로 분석하여 차량 소음 특성 데이터와 비교하고 주변차량 주행정보를 판단하는 신호처리 제어기; 를 포함하는 주변소음을 이용한 주행안전 제어시스템을 제공한다.
또한, 상기 마이크로폰은 적어도 한 쌍이 상기 운행차량의 일측면에서 길이방향을 따라 서로 이격된 채로 마련된 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 신호처리 제어기는 상기 주변소음의 음압 변화분석을 통해 상기 주변차량과 상기 운행차량의 상대속도를 계산하고, 상기 주변소음의 주파수 변화분석을 통해 상기 주변차량의 종류와 엔진종류를 판별하는 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 주변차량 주행정보에 따라서 상기 운행차량의 주행을 제어하는 제어모듈; 을 더 포함하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 제어모듈은 엑셀패달 제어부, 브레이크 제동 제어부, 핸들 조향 제어부 중 적어도 어느 하나를 포함하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 신호처리 제어기는 LSTM 학습 알고리즘을 포함하는 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 마이크로폰은 지향성인 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 마이크로폰은 상기 운행차량의 전방, 후방, 우측, 좌측에 각각 설치된 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 주행안전 제어시스템은 상기 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터를 입력 받아 상기 운행차량 정보와 상기 주변차량 주행정보를 시각화하는 디스플레이부; 를 더 포함하는 것을 특징으로 하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 주행조건 데이터는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 상기 디스플레이부는 상기 주변차량의 예측된 주행상태에 따라서 자율주행 또는 수동운전 중 어느 하나를 선택할 수 있도록 표시하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, Radar, 카메라, GPS 중 적어도 어느 하나를 이용하여 상기 주변차량의 이미지 정보를 상기 신호처리 제어기에 제공하는 이미지 획득부;를 더 포함하는 주변소음을 이용한 주행안전 제어시스템을 포함한다.
또한, 운행차량에 설치된 마이크로폰을 통해 주변소음을 입력받는 입력단계; 인공지능을 통해 상기 입력된 주변소음을 차량 소음 특성 데이터와 비교하여 상기 주변차량의 종류를 판단하고, 상기 주변소음의 음압 변화분석 및 주파수 변화분석을 통해 상기 주변차량의 주행정보를 판단하는 판단단계; 를 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 안전주행 제어방법은, 상기 주변차량 주행정보에 따라 상기 운행차량의 차속 및 조향 중 적어도 어느 하나를 제어하는 제어단계;를 더 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 인공지능은 LSTM 학습 알고리즘을 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 판단단계는 상기 주변소음의 음압 변화분석을 통해 상기 운행차량과 상기 주변차량의 상대속도를 계산하여 상기 주변차량이 가속상태, 감속상태, 정속상태 중 어느 하나인지를 판단하는 것을 특징으로 하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 인공지능은 상기 주파수 변화분석을 통해 상기 주변차량의 종류 및 엔진종류를 판별하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 안전주행 제어방법은 상기 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터를 입력받아 상기 운행차량 정보와 상기 주변차량 주행정보를 시각화하는 디스플레이 단계; 를 더 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 주행조건 데이터는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
또한, 상기 안전주행 제어방법은 Radar 정보, 카메라 정보, GPS 정보 중 적어도 어느 하나를 이용한 상기 주변차량의 이미지 정보를 입력 받아 상기 입력된 이미지를 상기 판단단계에 추가하는 이미지 획득단계;를 더 포함하는 주변소음을 이용한 안전주행 제어방법을 포함한다.
위와 같은 본 발명에 따르면 다음과 같은 효과가 있다.
첫째, 운행차량 주변의 소음을 이용하여 인공지능을 통해 주변차량 주행정보를 파악함으로써 보다 안전한 차선 변경이 가능한 강점이 있다.
둘째, 인공지능을 이용하여 주변 소음을 학습함으로써 주변차량 뿐만 아니라 자전거 운전자나 보행자 행동의 예측을 통해 주행안전을 극대화 할 수 있는 이점이 있다.
셋째, 인공지능을 이용한 주변 소음 분석을 통해 운행차량의 가속, 감속, 브레이킹, 조향 등 능동제어가 가능해지는 장점이 있다.
넷째, 인공지능을 이용한 주변 소음 분석을 통해 운전자에게 주변상황을 실시간 디스플레이함으로써 운전자가 자율주행 또는 수동운전을 선택할 수 있도록 함으로써 보다 안전한 운전이 가능하다.
도 1은 본 발명의 바람직한 실시 예에 따른 운행차량과 주변차량의 주행모습도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 제1시점의 주변차량(201)이 발생시킨 주변소음의 음압 변화분석 그래프(a) 및 제2시점의 주변차량(202)이 발생시킨 주변소음의 음압 변화분석 그래프(b)이다.
도 3은 본 발명의 바람직한 실시 예에 따른 6기통 엔진의 3차 엔진오더와 6차 엔진오더 주파수 분석 그래프(a), 제1시점의 주변차량(201)이 발생시킨 주변소음의 주파수 변화분석 그래프(b) 및 제2시점의 주변차량(202)이 발생시킨 주변소음의 주파수 변화분석 그래프(c)이다.
도 4는 본 발명의 바람직한 실시 예에 따른 제어 순서도이다.
도 5와 도 6은는 본 발명의 바람직한 실시 예에 따른 제어알고리즘의 흐름도이다.
도 7은 본 발명의 또 다른 바람직한 실시 예에 따른 제어알고리즘의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 발명의 바람직한 실시 예에 따른 주변소음을 이용한 주행안전 제어시스템은 마이크로폰과 신호처리 제어기를 포함한다.
이하에서 설명되는 운행차량이란 본 발명의 바람직한 실시 예의 주변소음을 이용한 주행안전 제어시스템이 탑재된 차량을 가리키며, 주변차량이란 운행차량의 전방, 후방, 우측 혹은 좌측 등 운행차량의 주변에서 주행중인 타운전자들이 운전하는 차량을 가리킨다.
마이크로폰은 운행차량에 설치되어 주변소음을 입력 받는다.
주변소음은 주변차량으로부터 발생되는 엔진소음, 주변차량의 주행노면소음, 주변차량의 풍절음 등을 포함할 수 있다.
한편, 주변소음에는 운행차량 주변에 있는 오토바이나 자전거, 기타 보행자가 발생시키는 각종의 소음일 수 있다.
신호처리 제어기는 주변소음을 인공지능 기반으로 분석하여 차량 소음 특성 데이터와 비교하고 주변차량 주행정보를 판단한다.
즉, 신호처리 제어기에는 인공지능이 탑재되며, 인공지능은 차량 소음 특성 데이터를 가지고 있을 수 있다.
한편, 인공지능은 마이크로폰으로부터 입력된 주변소음을 학습하여 데이터화할 수 있다.
차량 소음 특성 데이터에는 차량의 크기별, 엔진 형식별, 엔진 종류별 다양한 정보가 포함될 수 있다.
예를 들어, 차량이 세단인지 트럭인지, 대형 차량인지 소형 차량인지 등이다.
한편, 차량의 엔진 형식이 디젤인지 가솔린인지, 엔진의 배기량이 얼마인지, 엔진의 기통수가 4기통, 6기통, 8기통, 12기통 등 어느 것인지에 따른 차량 소음 특성 데이터들이 포함되고 있는 것이다.
신호처리 제어기는 주변소음의 음압 변화분석을 통해 주변차량과 운행차량의 상대속도를 계산하고, 주변소음의 주파수 변화분석을 통해 주변차량의 종류와 엔진종류를 판별할 수 있다.
마이크로폰은 적어도 한 쌍이 운행차량의 일측면에서 길이방향을 따라 서로 이격된 채로 마련될 수 있다.
마이크로폰은 운행차량(100)의 전방(122), 후방(112), 우측(111,121), 좌측(113,123)에 각각 설치될 수 있다.
마이크로폰은 지향성인 것이 바람직할 수 있다.
도 1에서 화살표 방향이 차량의 전방으로 한다.
보다 상세하게는, 도 1을 참조하면 마이크로폰은 제1 마이크로폰(111) 및 제2 마이크로폰(121) 한 쌍이 운행차량(100)의 우측면에서 길이방향을 따라 서로 이격된 채로 마련된다.
운행차량(100)과 제1시점의 주변차량(201)은 서로 나란한 방향으로 직진 주행 중이며, 이하의 접근이란 표현은 운행차량(100)과 제1시점의 주변차량(201)이 서로 접촉되는 것이 아니라 단지 서로 가까워짐을 의미함을 일러둔다.
제2 마이크로폰(121)이 운행차량(100)의 우측 전방에 마련되며, 제1 마이크로폰(111)이 운행차량(100)의 우측 후방에 마련된다.
운행차량(100)은 주행속도가 일정한 상태로 직진 주행중이다.
제1시점의 주변차량(201)은 운행차량(100)을 추월하기 전이며 제2시점의 주변차량(202)는 운행차량(100)을 추월하여 가속중인 상황이다.
제1시점의 주변차량(201) 및 제2시점의 주변차량(202)는 동일한 주변차량임을 일러둔다.
제1시점의 주변차량(201)은 운행차량(100)이 주행중인 차로의 우측 차로에서 운행차량(100) 후방에서 운행차량(100)에 접근 중인 상황이다.
즉, 제1시점의 주변차량(201)의 속도가 운행차량(100)의 속도보다 빠른 경우로서, 소정의 시간 후에는 제1시점의 주변차량(201)이 운행차량(100)을 추월할 것이다.
제1 마이크로폰(111)는 제1시점의 주변차량(201)로부터 발생되는 주변소음을 수집한다.
제2시점의 주변차량(202)은 제1시점 이후인 제2시점에서 운행차량(100)을 추월하여 가속중인 상황이라 가정한다.
제2 마이크로폰(121)는 제2시점의 주변차량(202)로부터 발생되는 주변소음을 수집한다.
이와 같이 수집된 주변소음을 분석한 결과를 참조하여 설명한다.
도 2는 본 발명의 바람직한 실시 예에 따른 제1시점의 주변차량(201)이 발생시킨 주변소음의 음압 변화분석 그래프(a) 및 제2시점의 주변차량(202)이 발생시킨 주변소음의 음압 변화분석 그래프(b)이다.
제1 마이크로폰(111)는 T1 시점 및 T2 시점에 주변소음을 입력받고, 제2 마이크로폰(121)는 T3, T4 시점에 주변소음을 입력받는다.
다시 말해 T1 및 T2 시점은 제1시점의 주변차량(201)이 운행차량(100)의 후방에서 운행차량(100)에 접근중인 시점이며, T3 및 T4는 제1시점의 주변차량(201)이 운행차량(100)을 추월한 뒤 가속중인 시점이다.
T1 시점에 제1시점의 주변차량(201)이 운행차량(100)의 후방으로 접근하면, 제1 마이크로폰(111)로 입력되는 음압이 상승되고, 제1시점의 주변차량(201)이 가속중이기 때문에 측정되는 엔진 회전수(RPM)가 증가된다.
T2 시점에 제1시점의 주변차량(201)이 추월을 위한 변속이 이루어지면서 엔진 회전수(RPM)가 순간적으로 줄었다가 다시 증가되며, 제1 마이크로폰(111)로 입력되는 음압은 저감된다.
T3 시점에 제2시점의 주변차량(202)이 액셀레이터를 전개하면 변속이 이루어지면서 엔진 회전수(RPM)가 순간적으로 줄었다가 다시 증가되고, 제2 마이크로폰(121)로 유입되는 음압은 점진적으로 증가된다.
T4 시점에 제2시점의 주변차량(202)이 계속하여 액셀레이터를 전개하면 제2시점의 주변차량(202)의 엔진 회전수(RPM)가 선형적으로 증가하면서 제2 마이크로폰(121)로 유입되는 음압은 증가하게 된다.
주변차량의 가속패달의 개도량 변화에 따라서 엔진회전수(RPM)그래프는 변화할 수 있다.
도 3은 본 발명의 바람직한 실시 예에 따른 6기통 엔진의 3차 엔진오더와 6차 엔진오더 주파수 분석 그래프(a), 제1시점의 주변차량(201)이 발생시킨 주변소음의 주파수 변화분석 그래프(b) 및 제2시점의 주변차량(202)이 발생시킨 주변소음의 주파수 변화분석 그래프(c)이다.
엔진오더는 크랭크샤프트의 회전수(rpm)와 주파수(frequency)의 비율 상수(proportional constant)를 의미한다.
즉, 엔진오더는 크랭크샤프트가 1초당 몇 번 회전하는지를 나타내는 지수인 것이다.
예를 들어, 3차 엔진오더는 크랭크샤프트가 3회전 시의 오더에 의한 엔진소음을 가리키고, 6차 엔진오더는 크랭크샤프트가 6회전 시의 오더에 의한 엔진소음을 가리킨다.
도 3(a)에는 6기통 엔진의 3차 엔진오더와 6차 엔진오더 성분이 표시된다.
신호처리 제어기는 T1 시점 및 T2 시점에 제1 마이크로폰(111)으로 수집된 주변소음을 통해 운행차량(100)의 우측 후방 소음 데이터의 주파수 분석을 수행한다.
이를 통해서 제1시점의 주변차량(201)의 가속 레벨 및 변속 정보를 추출할 수 있다.
신호처리 제어기는 T3 시점 및 T4 시점에 제2 마이크로폰(121)로 수집된 주변소음을 통해 운행차량(100)의 우측 전방 소음 데이터의 주파수 분석을 수행한다.
이를 통해서 제2시점의 주변차량(202)의 가속 레벨 및 변속 정보를 추출할 수 있다.
이와 같이 추출된 주변차량 주행정보는 운행차량의 안전운행을 서포트하기 위하여 제어모듈로 제공된다.
즉, 제어모듈은 주변차량 주행정보에 따라서 운행차량의 주행을 제어한다.
제어모듈은 엑셀패달 제어부, 브레이크 제동 제어부, 핸들 조향 제어부 중 적어도 어느 하나를 포함할 수 있다.
신호처리 제어기는 LSTM 학습 알고리즘을 포함할 수 있다.
디스플레이부는 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터를 입력 받아 운행차량 정보와 주변차량 주행정보를 시각화할 수 있다.
디스플레이부는 주변차량의 예측된 주행상태에 따라서 자율주행 또는 수동운전 중 어느 하나를 선택할 수 있도록 표시할 수도 있다.
운전자는 디스플레이부에 표시되는 주변차량의 주행상태를 보고 자율주행을 유지할지 아니면 수동운전으로 전환할지를 선택할 수 있게 된다.
주행조건 데이터는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함할 수 있다.
본 발명의 바람직한 또 다른 실시 예로서 이미지 획득부를 더 포함할 수 있다.
이미지 획득부는 Radar, 카메라, GPS 중 적어도 어느 하나를 이용하여 주변차량의 이미지 정보를 신호처리 제어기에 제공한다.
이를 통해서 신호처리 제어기는 주변차량의 주변소음 정보뿐만 아니라 주변차량의 이미지 정보까지도 이용함으로써 보다 정확한 주변차량의 주행상황을 분석 및 예측하여 제공할 수 있게 된다.
다음으로 본 발명의 바람직한 실시 예에 따른 주변소음을 이용한 안전주행 제어방법을 설명한다.
도 4는 본 발명의 바람직한 실시 예에 따른 제어 순서도이며, 도 5와 도 6은 본 발명의 바람직한 실시 예에 따른 제어알고리즘의 흐름도들이다.
입력단계(S1)는 운행차량에 설치된 마이크로폰을 통해 주변소음 신호를 추출(311)한다.
판단단계(S2)는 인공지능을 통해 입력된 주변소음을 차량 소음 특성 데이터와 비교하여 주변차량의 종류를 판단(411)하고, 주변소음의 음압 변화분석 및 주파수 변화분석을 통해 주변차량의 주행정보를 판단(412)한다.
마이크로폰은 운행차량의 전방, 후방, 우측, 좌측에 각각 설치될 수 있다..
인공지능은 각각의 마이크로폰으로부터 입력된 주변소음을 이용하여 후방 차량 주행 예측(413), 좌측 및 우측 차량 주행 예측(414), 그리고 전방 차량 주행 예측(415)를 수행할 수 있다.
인공지능은 LSTM 학습 알고리즘을 포함할 수 있으며, 주파수 변화분석을 통해 주변차량의 종류 및 엔진종류를 판별할 수 있다.
판단단계(S2)는 주변소음의 음압 변화분석을 통해 운행차량과 주변차량의 상대속도를 계산하여 주변차량이 가속상태, 감속상태, 정속상태 중 어느 하나인지를 판단한다.
제어단계(S3)는 판단단계(S2)에서 추출된 주변차량 주행정보에 따라 운행차량의 차속 및 조향 중 적어도 어느 하나를 제어(510)한다.
디스플레이 단계(416)는 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터(312)를 입력받아 운행차량 정보와 주변차량 주행정보를 예측(417)하고 시각화할 수 있다.
이 때, 운전자는 디스플레이되어 제공되는 자율주행 운전 또는 수동운전 옵션모드(418)를 선택할 수 있게 된다.
한편, 주행조건 데이터(312)는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함할 수 있다.
도 7은 본 발명의 또 다른 바람직한 실시 예에 따른 제어알고리즘의 흐름도이다.
이미지 획득단계(321)는 Radar 정보, 카메라 정보, GPS 정보 중 적어도 어느 하나를 이용한 주변차량의 이미지 정보를 입력 받아 입력된 이미지를 판단단계(S2)에 추가할 수 있다.
인공지능은 이미지 획득단계(321)로부터 차량의 종류를 판단(421)하고, 실시간 주변차량의 속도 및 정보를 분석(422)할 수 있다.
그 결과를 토대로 주행조건을 예측(423)하고 주변차량과의 상대속도 변화를 인식하여 돌발상황을 인지(424)하며, 주변차량 주행정보에 따라 운행차량의 차속 및 조향 중 적어도 어느 하나를 제어(520)할 수 있다.
100 : 운행차량
111 : 제1 마이크로폰
121 : 제2 마이크로폰
201 : 제1시점의 주변차량
202 : 제2시점의 주변차량
S1 : 입력단계
S2 : 판단단계
S3 : 제어단계

Claims (20)

  1. 운행차량에 설치되어 주변소음을 입력 받는 마이크로폰;
    상기 주변소음을 인공지능 기반으로 분석하여 차량 소음 특성 데이터와 비교하고 주변차량 주행정보를 판단하는 신호처리 제어기; 를 포함하는,
    주변소음을 이용한 주행안전 제어시스템.
  2. 제1항에 있어서,
    상기 마이크로폰은 적어도 한 쌍이 상기 운행차량의 일측면에서 길이방향을 따라 서로 이격된 채로 마련된 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  3. 제1항에 있어서,
    상기 신호처리 제어기는 상기 주변소음의 음압 변화분석을 통해 상기 주변차량과 상기 운행차량의 상대속도를 계산하고, 상기 주변소음의 주파수 변화분석을 통해 상기 주변차량의 종류와 엔진종류를 판별하는 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  4. 제1항에 있어서,
    상기 주변차량 주행정보에 따라서 상기 운행차량의 주행을 제어하는 제어모듈; 을 더 포함하는,
    주변소음을 이용한 주행안전 제어시스템.
  5. 제4항에 있어서,
    상기 제어모듈은 엑셀패달 제어부, 브레이크 제동 제어부, 핸들 조향 제어부 중 적어도 어느 하나를 포함하는,
    주변소음을 이용한 주행안전 제어시스템.
  6. 제1항에 있어서,
    상기 신호처리 제어기는 LSTM 학습 알고리즘을 포함하는 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  7. 제1항에 있어서,
    상기 마이크로폰은 지향성인 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  8. 제1항에 있어서,
    상기 마이크로폰은 상기 운행차량의 전방, 후방, 우측, 좌측에 각각 설치된 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  9. 제1항에 있어서,
    상기 주행안전 제어시스템은 상기 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터를 입력 받아 상기 운행차량 정보와 상기 주변차량 주행정보를 시각화하는 디스플레이부; 를 더 포함하는 것을 특징으로 하는,
    주변소음을 이용한 주행안전 제어시스템.
  10. 제9항에 있어서,
    상기 주행조건 데이터는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함하는,
    주변소음을 이용한 주행안전 제어시스템.
  11. 제10항에 있어서,
    상기 디스플레이부는 상기 주변차량의 예측된 주행상태에 따라서 자율주행 또는 수동운전 중 어느 하나를 선택할 수 있도록 표시하는,
    주변소음을 이용한 주행안전 제어시스템.
  12. 제1항에 있어서,
    Radar, 카메라, GPS 중 적어도 어느 하나를 이용하여 상기 주변차량의 이미지 정보를 상기 신호처리 제어기에 제공하는 이미지 획득부;를 더 포함하는,
    주변소음을 이용한 주행안전 제어시스템.
  13. 운행차량에 설치된 마이크로폰을 통해 주변소음을 입력받는 입력단계;
    인공지능을 통해 상기 입력된 주변소음을 차량 소음 특성 데이터와 비교하여 상기 주변차량의 종류를 판단하고, 상기 주변소음의 음압 변화분석 및 주파수 변화분석을 통해 상기 주변차량의 주행정보를 판단하는 판단단계; 를 포함하는,
    주변소음을 이용한 안전주행 제어방법.
  14. 제13항에 있어서,
    상기 안전주행 제어방법은, 상기 주변차량 주행정보에 따라 상기 운행차량의 차속 및 조향 중 적어도 어느 하나를 제어하는 제어단계;를 더 포함하는,
    주변소음을 이용한 안전주행 제어방법.
  15. 제13항에 있어서,
    상기 인공지능은 LSTM 학습 알고리즘을 포함하는,
    주변소음을 이용한 안전주행 제어방법.
  16. 제13항에 있어서,
    상기 판단단계는 상기 주변소음의 음압 변화분석을 통해 상기 운행차량과 상기 주변차량의 상대속도를 계산하여 상기 주변차량이 가속상태, 감속상태, 정속상태 중 어느 하나인지를 판단하는 것을 특징으로 하는,
    주변소음을 이용한 안전주행 제어방법.
  17. 제13항에 있어서,
    상기 인공지능은 상기 주파수 변화분석을 통해 상기 주변차량의 종류 및 엔진종류를 판별하는,
    주변소음을 이용한 안전주행 제어방법.
  18. 제13항에 있어서,
    상기 안전주행 제어방법은 상기 운행차량의 주행조건 데이터 및 주행중인 도로 상황 데이터를 입력받아 상기 운행차량 정보와 상기 주변차량 주행정보를 시각화하는 디스플레이 단계; 를 더 포함하는,
    주변소음을 이용한 안전주행 제어방법.
  19. 제16항에 있어서,
    상기 주행조건 데이터는 CAN신호, 차속 및 패달 개도량, 기어단수, 주행중인 도로의 정체정보 및 제한 속도 정보 중 적어도 어느 하나를 포함하는,
    주변소음을 이용한 안전주행 제어방법.
  20. 제13항에 있어서,
    상기 안전주행 제어방법은 Radar 정보, 카메라 정보, GPS 정보 중 적어도 어느 하나를 이용한 상기 주변차량의 이미지 정보를 입력 받아 상기 입력된 이미지를 상기 판단단계에 추가하는 이미지 획득단계;를 더 포함하는,
    주변소음을 이용한 안전주행 제어방법.
KR1020180151063A 2018-11-29 2018-11-29 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법 Active KR102518662B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180151063A KR102518662B1 (ko) 2018-11-29 2018-11-29 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법
US16/678,815 US10943486B2 (en) 2018-11-29 2019-11-08 Traveling safety control system using ambient noise and control method thereof
JP2019204516A JP2020083314A (ja) 2018-11-29 2019-11-12 周辺騒音を用いた走行安全制御システム及びその制御方法
DE102019217723.9A DE102019217723A1 (de) 2018-11-29 2019-11-18 Fahrsicherheits-steuersystem unter verwendung von umgebungsgeräuschen und steuerverfahren dafür
CN201911141699.2A CN111231948B (zh) 2018-11-29 2019-11-20 使用环境噪声的行驶安全控制系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151063A KR102518662B1 (ko) 2018-11-29 2018-11-29 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법

Publications (2)

Publication Number Publication Date
KR20200072579A true KR20200072579A (ko) 2020-06-23
KR102518662B1 KR102518662B1 (ko) 2023-04-07

Family

ID=70680991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151063A Active KR102518662B1 (ko) 2018-11-29 2018-11-29 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법

Country Status (5)

Country Link
US (1) US10943486B2 (ko)
JP (1) JP2020083314A (ko)
KR (1) KR102518662B1 (ko)
CN (1) CN111231948B (ko)
DE (1) DE102019217723A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
JP7294222B2 (ja) * 2020-04-16 2023-06-20 トヨタ自動車株式会社 異音評価システムおよび異音評価方法
CN111833653A (zh) * 2020-07-13 2020-10-27 江苏理工学院 利用环境噪声的行驶辅助系统、方法、设备、可存储介质
KR20220155834A (ko) * 2021-05-17 2022-11-24 현대자동차주식회사 장비 적용을 위한 ai 기반 진단 기술 자동화 방법
US20240175696A1 (en) * 2022-01-13 2024-05-30 Google Llc Systems and Methods for Detecting a Vehicle Type in Order to Adapt Directions and Navigation Instructions

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581595A (ja) * 1991-09-19 1993-04-02 Oki Electric Ind Co Ltd エンジン音からの車種判別方法
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置
JPH0592767U (ja) * 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置
JP2002267529A (ja) * 2001-03-09 2002-09-18 Matsushita Electric Ind Co Ltd 音響解析方法及び音響解析装置
US20090243888A1 (en) * 2006-04-25 2009-10-01 Toyota Jidosha Kabushiki Kaisha Parking assistance device and parking assistance method
JP2012173211A (ja) * 2011-02-23 2012-09-10 Toyota Motor Corp 接近車両検出装置及び接近車両検出方法
KR20130046779A (ko) 2011-10-28 2013-05-08 고려대학교 산학협력단 음원 방향 추정장치 및 방법
JP2014067092A (ja) * 2012-09-24 2014-04-17 Toyota Motor Corp 走行音を用いた車両検出装置
KR101565006B1 (ko) 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20170011351A (ko) * 2015-07-22 2017-02-02 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
KR101748497B1 (ko) 2015-11-11 2017-06-19 한동대학교 산학협력단 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템
KR101862079B1 (ko) * 2016-12-13 2018-05-29 한국건설기술연구원 인공지능 기반 도로교통 상황을 인지하기 위한 장치 및 그 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008189A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd 車両検出装置および車両検出方法
DE10234611A1 (de) * 2002-07-30 2004-02-19 Robert Bosch Gmbh Verfahren zum Überwachen der Umgebung eines Kfzs
JP2006092482A (ja) * 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
EP1703471B1 (en) * 2005-03-14 2011-05-11 Harman Becker Automotive Systems GmbH Automatic recognition of vehicle operation noises
JP2008299677A (ja) * 2007-05-31 2008-12-11 Toyota Motor Corp 音源接近検知装置及びパルスニューラルネットワーク演算装置
JP4703788B2 (ja) * 2009-07-02 2011-06-15 パナソニック株式会社 車両位置検出装置及び車両位置検出方法
JP5048887B2 (ja) * 2011-01-12 2012-10-17 パナソニック株式会社 車両台数特定装置及び車両台数特定方法
CN102682765B (zh) * 2012-04-27 2013-09-18 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
JP5862461B2 (ja) * 2012-06-04 2016-02-16 三菱自動車工業株式会社 車両用接近通知音制御装置
KR20140121226A (ko) * 2013-04-05 2014-10-15 현대자동차주식회사 노면 프로파일과 로드 노이즈의 상관성 정량화 방법
AU2014262567B2 (en) * 2013-05-08 2018-06-28 Cellcontrol, Inc. Driver identification and data collection systems for use with mobile communication devices in vehicles
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US9996080B2 (en) * 2016-02-26 2018-06-12 Ford Global Technologies, Llc Collision avoidance using auditory data
KR20170133858A (ko) 2016-05-27 2017-12-06 주식회사 지엠케이 전력선 통신 시스템
KR101892028B1 (ko) * 2016-10-26 2018-08-27 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
JP6589941B2 (ja) * 2017-06-06 2019-10-16 トヨタ自動車株式会社 操舵支援装置
KR102324776B1 (ko) * 2017-10-16 2021-11-10 현대자동차주식회사 차량의 소음원인 진단방법
US20190147255A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US10529238B2 (en) * 2017-12-19 2020-01-07 Denso International America, Inc. Blind spot detection system
GB2573738A (en) * 2018-03-27 2019-11-20 Points Protector Ltd Driving monitoring
CN108810838A (zh) * 2018-06-03 2018-11-13 桂林电子科技大学 基于智能手机室内背景声感知的房间级定位方法
US10754712B2 (en) * 2018-07-27 2020-08-25 Disney Enterprises, Inc. Techniques for automatically allocating tasks to application programming interfaces
CN109455180B (zh) * 2018-11-09 2020-10-16 百度在线网络技术（北京）有限公司 用于控制无人车的方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581595A (ja) * 1991-09-19 1993-04-02 Oki Electric Ind Co Ltd エンジン音からの車種判別方法
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置
JPH0592767U (ja) * 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置
JP2002267529A (ja) * 2001-03-09 2002-09-18 Matsushita Electric Ind Co Ltd 音響解析方法及び音響解析装置
US20090243888A1 (en) * 2006-04-25 2009-10-01 Toyota Jidosha Kabushiki Kaisha Parking assistance device and parking assistance method
JP2012173211A (ja) * 2011-02-23 2012-09-10 Toyota Motor Corp 接近車両検出装置及び接近車両検出方法
KR20130046779A (ko) 2011-10-28 2013-05-08 고려대학교 산학협력단 음원 방향 추정장치 및 방법
JP2014067092A (ja) * 2012-09-24 2014-04-17 Toyota Motor Corp 走行音を用いた車両検出装置
KR101565006B1 (ko) 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR20170011351A (ko) * 2015-07-22 2017-02-02 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
KR101748497B1 (ko) 2015-11-11 2017-06-19 한동대학교 산학협력단 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템
KR101862079B1 (ko) * 2016-12-13 2018-05-29 한국건설기술연구원 인공지능 기반 도로교통 상황을 인지하기 위한 장치 및 그 방법

Also Published As

Publication number Publication date
JP2020083314A (ja) 2020-06-04
CN111231948B (zh) 2025-08-08
DE102019217723A1 (de) 2020-06-04
US10943486B2 (en) 2021-03-09
KR102518662B1 (ko) 2023-04-07
US20200175877A1 (en) 2020-06-04
CN111231948A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
JP7416176B2 (ja) 表示装置
CN110001643B (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
JP6801116B2 (ja) 走行制御装置、車両および走行制御方法
KR102518662B1 (ko) 주변소음을 이용한 주행안전 제어시스템 및 그의 제어방법
US9159023B2 (en) System for predicting a driver's intention to change lanes
JP6369488B2 (ja) 車両制御装置
CN107792064B (zh) 车辆控制装置
WO2021005645A1 (ja) 車両の制御システム、車両の制御方法、およびプログラム
JP2019138773A (ja) 表示装置
JP2021026720A (ja) 運転支援装置、車両の制御方法、およびプログラム
JP7409265B2 (ja) 車載表示装置、方法およびプログラム
JP2019053658A (ja) 車両制御装置
US11285957B2 (en) Traveling control apparatus, traveling control method, and non-transitory computer-readable storage medium storing program
WO2016170647A1 (ja) オクルージョン制御装置
CN113022554A (zh) 驾驶支援装置
CN111278702A (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
CN110660271B (zh) 在更大距离上识别对于行驶重要相关的情况
CN109969191B (zh) 驾驶辅助系统和方法
JP2021157449A (ja) 車両及びその制御装置
JPWO2019142312A1 (ja) 車両制御装置、それを有する車両、および制御方法
JP6982083B2 (ja) 走行制御装置、および車両
JP2006256493A (ja) 車両用走行支援装置
US12116004B2 (en) Driving assistance apparatus
JP7409974B2 (ja) 運転支援装置、車両、携帯端末、およびプログラム
JP2023028536A (ja) 自動車

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4