KR20200093149A - 음원 인식 방법 및 장치 - Google Patents

음원 인식 방법 및 장치 Download PDF

Info

Publication number
KR20200093149A
KR20200093149A KR1020190010266A KR20190010266A KR20200093149A KR 20200093149 A KR20200093149 A KR 20200093149A KR 1020190010266 A KR1020190010266 A KR 1020190010266A KR 20190010266 A KR20190010266 A KR 20190010266A KR 20200093149 A KR20200093149 A KR 20200093149A
Authority
KR
South Korea
Prior art keywords
sound
acoustic
sensors
sound source
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190010266A
Other languages
English (en)
Other versions
KR102176098B1 (ko
Inventor
김영언
김민수
Original Assignee
김영언
김민수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영언, 김민수 filed Critical 김영언
Priority to KR1020190010266A priority Critical patent/KR102176098B1/ko
Priority to PCT/KR2019/015503 priority patent/WO2020159042A1/ko
Priority to US17/424,128 priority patent/US12015908B2/en
Priority to CN201980090287.2A priority patent/CN113366549B/zh
Publication of KR20200093149A publication Critical patent/KR20200093149A/ko
Application granted granted Critical
Publication of KR102176098B1 publication Critical patent/KR102176098B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 음원 인식 방법 및 장치에 관한 것이다. 본 발명의 음원 인식 방법에 따르면 수평 방향으로 보았을 때 직사각형의 형상으로 배열된 4개의 음향센서로부터 음향신호를 검출하고, 음향 도착시간을 측정하고, 각 음향센서들 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하며, 상기 6개의 ITD에 기초하여 음원의 위치를 추정한다. 아울러, 4개의 음향센서로부터의 합산 신호를 이용하여 음원의 특징을 추출하고 분류하여 음원의 종류를 인식한다.

Description

음원 인식 방법 및 장치 {METHOD AND APPARATUS FOR RECOGNIZING SOUND SOURCE}
본 발명은 음원 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 자율주행차량, 로봇 등과 같은 무인 시스템에서 주변에서 발생하는 음향 신호의 음원을 인식하는 방법 및 장치에 관한 것이다. 특히 본 발명은 외부에서 발생하는 음향신호에 대한 음원의 음량 크기, 방향, 이동 방향, 거리를 포함한 위치 및 종류를 인식하여 주변 음향 상황 인식과 관련하여 무인 시스템에 필요한 청각 기능을 구현하기 위한 기술에 관한 것이다.
종래에 운행 중인 차량 주변에서 경적 소리나 싸이렌 소리가 발생하는 경우 청각 능력이 좋지 않은 운전자를 보조하기 위해 음원을 인식하는 기술이 공지되어 있다.
이와 관련하여, 일본 공개특허공보 제2015-22453호(2015.2.2. 공개)는 차량 주변의 소리를 지향성을 가지고 분담해 집음하는 4개의 마이크로폰과 차량 주변의 영상을 촬영하는 전방위 카메라를 각각 차량 상부에 설치하고, 마이크로폰의 출력을 음향 신호 처리하여 사이렌으로 인식해 그 음원의 위치를 검출하는 사이렌 검출 수단 및 전방위 카메라의 출력을 이미지 신호 처리하여 소리를 반사 가능한 반사 물체를 인식해 그 위치를 검출하는 화상 처리 수단을 포함하여, 사이렌 검출 수단과 화상 처리 수단의 검출 결과를 토대로 긴급 차량의 위치를 결정하는 기술을 개시한다.
또한 한국 공개특허공보 제10-2018-0045610호(2018.5.4. 공개)는 차량의 외부의 소리를 수집할 수 있는 3개의 다채널 마이크로 구현되는 음향 추적 장치를 개시한다. 3개의 마이크 중 2개는 차량의 중심을 기준으로 좌우로 일정 간격 이격되어 배치되고, 나머지 마이크는 상기 2개의 마이크 중 좌측 마이크의 상측으로 일정 간격 이격되어 배치된다. 이러한 배치 구조에 따라, 차량의 우측 상단에서 소리가 발생하면, 상단에 위치한 마이크가 감지한 소리의 크기는 하단의 좌측과 우측에 위치한 마이크가 감지한 소리의 평균 크기보다 크게 되고, 또한 하단의 우측에 위치한 마이크가 감지한 소리의 크기가 하단의 좌측에 위치한 마이크가 감지한 소리의 크기보다 크게 된다. 이러한 특성을 이용해 각 마이크로부터 수집된 소리의 크기를 이용해 차량의 중심을 기준으로 한 대략적인 방향을 추적할 수 있다.
또한, 각 마이크에 도달하는 소리의 도달 시간의 차이 값(신호 딜레이)을 이용하여, 소리의 발생 위치에 대한 각도를 계산할 수 있다. 이때, 음향 추적부(140)는 소리의 발생 위치에 대한 각도와 각 마이크에 대응하는 신호 딜레이가 맵핑되어 있는 테이블을 미리 저장하여 소리의 발생 위치에 대한 각도를 산출할 수 있다.
그러나 공지된 기술들은 상당한 위치 오차가 발생하고 사각영역(blind spot)이 존재하며, 상공에 존재하는 음원의 위치를 인식하기 어려워서 자율주행차량과 같은 무인 시스템에 적용하기에 여전히 부족함이 있다.
본 발명은 운전하는 사람이 없는 무인 시스템에 주변 음향상황 인식에 필요한 청각 기능을 구현하고자 한다.
본 발명은 상공을 포함한 전방향에서 발생하는 음향신호와 관련하여 사각영역 없이 음원의 음량 크기, 방향, 이동 방향, 거리를 포함한 위치 및 종류를 실시간으로 인식할 수 있는 기술을 제공할 것을 그 목적으로 한다.
또한 본 발명은 장거리에 위치한 음원이라 할지라도 통상적으로 허용되는 오차범위 이내로 음원의 위치를 인식할 수 있는 기술을 제공할 것을 그 목적으로 한다.
또한 본 발명은 각 음향센서와 관련된 채널 간의 출력 편차를 최소화하는 자동 트리밍으로 채널 간 오차를 최소화하는 초기화 방법을 포함하여 음원의 인식률을 향상시킬 것을 그 목적으로 한다.
또한 본 발명은 순수하게 차량 외부의 신호만을 검출하여 음원의 인식률을 향상시키고, 각 채널에 동등하게 존재하는 랜덤 노이즈와 같은 잡음 신호를 상쇄시켜 처리할 데이터량을 최소화시킬 것을 그 목적으로 한다.
본 발명에서 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 음원 인식 방법은, 적어도 4개의 음향센서로부터 음향신호를 검출하는 단계 ― 음향센서들 중 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치되고, 상기 4개의 음향센서에서 검출한 음향신호는 각각 A(s), B(s), C(s) 및 D(s)라고 지칭함 －; 각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간을 측정하는 단계; 전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하는 단계; 및 상기 6개의 ITD 중 적어도 2개 이상의 ITD에 기초하여 음원의 위치를 추정하는 단계를 포함할 수 있다.
또한 본 발명의 다른 실시예에 따른 음원 인식 방법은, 상기 4개의 음향센서에서 검출한 음향신호 A(s), B(s), C(s) 및 D(s)를 조합하여, y(s) = A(s) + B(s) + C(s) + D(s); f(s) = A(s) + B(s); b(s) = C(s) + D(s); l(s) = A(s) + D(s); r(s) = B(s) + C(s); cl(s) = A(s) + C(s); cr(s) = B(s) + D(s); p(s) = f(s) - b(s); 및 q(s) = l(s) - r(s)와 같이 y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호를 연산하는 단계; 및 y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호에 기초하여 음원의 음량 크기, 방향 및 이동 방향 중 적어도 하나를 추정하는 단계를 더 포함할 수 있다.
또한 본 발명의 또 다른 실시예에 따른 음원 인식 방법은, 4개 음향신호의 합산 신호인 상기 y(s) 신호를 사용하여 음원의 특징을 추출하고 추출된 특징을 분류하여 음원의 종류를 판별하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 음원 인식 방법은, 차량에서, 특히 자율주행차량에서 수행될 수 있고, 상기 음원의 위치를 추정하는 단계는: 상기 4개의 음향센서 중 제 1 쌍의 음향센서 간의 ITD에 기초하여 상기 제 1 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ1을 연산하는 단계; 상기 4개의 음향센서 중 제 2 쌍의 음향센서 간의 ITD에 기초하여 상기 제 2 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ2를 연산하는 단계 ― 상기 제 1 쌍은 상기 제 2 쌍과 하나의 음향센서만을 공유함 －; 상기 연산된 방위각 θ1 및 θ2와 상기 제 1 쌍의 음향센서 간의 간격 및 상기 제 2 쌍의 음향센서 간의 간격을 이용하여 상기 음원까지의 거리를 연산하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예 따르면, 상기 음원까지의 거리를 연산하는 단계는 상기 음원까지의 거리 연산에서 발생하는 오차를 보정하기 위하여 오차보정 함수를 도입하여 오차를 보정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 음원 인식 방법은, 초기화를 위하여, 상기 음향신호를 검출하는 단계 이전에, 입력신호가 없는 상태에서 상기 4개의 음향센서로부터 동일한 출력신호가 나오도록 트리밍하는 단계를 더 포함할 수 있다.
또한 본 발명의 또 다른 실시예에 따르면, 상기 음향신호를 검출하는 단계는: 상기 4개의 음향센서에 입력된 신호로부터 음성 신호를 소거하는 단계; 및 상기 음성 신호가 소거된 4개의 음향센서의 신호로부터 상기 4개의 음향센서 공통의 잡음신호를 제거하여 상기 음향신호를 출력하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 4개의 음향센서 중 적어도 하나는 나머지 음향센서들과 다른 고도에 배치될 수 있다.
본 발명의 일 실시예에 따른 음원 인식 장치는 음향신호를 검출하는 4개의 음향센서 ― 상기 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치되고, 상기 4개의 음향센서에서 검출한 음향신호는 각각 A(s), B(s), C(s) 및 D(s)라고 지칭함 －; 각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간를 측정하는 음향 도착시간 측정부; 전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하는 ITD 생성부; 및 상기 6개의 ITD 중 적어도 2개 이상의 ITD에 기초하여 음원의 위치를 추정하는 음원 위치 추정부를 포함할 수 있다.
상기와 같이 구성되는 본 발명은 차량의 전방좌측, 전방우측, 후방우측 및 후방좌측에 위치한 4개의 음향센서들을 이용하여 이들 간의 6개의 ITD를 생성하고 이 중 최소 2개의 ITD를 선택하여 사각영역 없이 음원을 인식할 수 있다.
4개의 음향센서 중 적어도 하나를 나머지 음향센서들과 다른 고도에 배치함으로써 음원이 상공에 존재하더라도 음원의 위치를 인식할 수 있다.
또한 본 발명은 차량 전방 헤드에 의한 가림 현상(shadow effect)을 고려하여 모델링된 ITD 식과 시뮬레이션 등에 의한 오차 정정 함수를 이용하여 장거리에 위치한 음원이라 할지라도 최소한의 거리오차로 음원의 위치를 인식할 수 있다.
또한 본 발명은 순수하게 차량 외부의 신호만을 검출하여 음원의 인식률을 향상시키고, 랜덤 노이즈를 상쇄시켜 처리할 데이터량을 최소화시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 차량에 설치된 음향센서의 배치를 평면도로 도시한다.
도 2는 본 발명의 일 실시예에 따른 음원 인식 방법을 나타낸 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 음원의 방위각을 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 음원과 음향센서 간의 거리를 구하는 방식을 예시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 음원 인식 장치의 개략도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람이 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 본 발명의 요지와 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부가한다.
이하에서 본 발명은 자율주행차량에서의 음원 인식 방법에 기초하여 설명되나, 이에 제한되는 것은 아니고 본 발명에 따른 음원 인식 방법은 로봇, AI 스피커 등 음원 인식이 필요한 임의의 장치 또는 시스템에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따라 차량에 설치된 음향센서의 배치를 평면도로 보여준다. 차량은 적어도 4개의 음향센서를 포함하는데, 음향센서들 중 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치된다. 예를 들어, 4개의 음향센서, 예컨대, 지향성 마이크로폰은 차량의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)에 배치될 수 있다. 따라서 수평 방향으로 보았을 때, 즉, 차량의 상부에서 평면도로 보았을 때 상기 4개의 음향센서는 각각 특정 직사각형의 꼭지점을 이루도록 서로 대각선으로 배치된다. 상기 특정 직사각형은 차량의 전체적인 윤곽과 일치할 수도 있지만, 일치하지 않을 수도 있다. 즉, 4개의 지향성 마이크로폰은 수평 방향으로 보았을 때 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루는 한, 차량의 윤곽 안쪽에 배치될 수도 있고, 차량의 앞쪽 영역, 중간 영역 또는 뒷쪽 영역에서 직사각형 또는 정사각형 형태를 띠도록 배치될 수도 있다.
4개의 음향센서는 동일 고도에 배치될 수도 있으나, 사각영역을 완전히 방지하기 위하여 4개의 음향센서 중 적어도 하나는 나머지 음향센서들과 다른 고도에 배치될 수 있다. 4개의 음향센서 중 적어도 하나를 다른 고도에 배치함으로써 어느 방향에서도 2개 이상의 ITD를 생성하는 것이 가능하다. 예컨대, 4개의 음향센서 중 하나만이 나머지 음향센서들과 다른 고도에 배치될 수도 있고, 2개의 음향센서가 나머지 음향센서들과 다른 고도에 배치될 수도 있고, 4개의 음향센서 모두가 서로 다른 고도에 배치될 수도 있다. 또한 차량 내부와 외부의 불필요한 신호를 억제하기 위하여 각 음향센서의 주변에 차폐 블록(shield block)을 설치할 수도 있다. 예컨대, 이러한 차폐 블록에 의해 주변에 바람소리와 같은 불필요한 잡음이 차폐될 수 있다.
상기 4개의 음향센서에서 검출한 음향신호는 이하에서 각각 A(s), B(s), C(s) 및 D(s)라고 지칭한다.
도 2는 본 발명의 일 실시예에 따른 음원 인식 방법을 나타낸 흐름도이다.
도 1에 도시된 바와 같이 설치된 음향센서는 음향신호를 검출하여 실시간으로 출력한다. 통상적으로 음향센서는 압전 변환기의 성능, 내부 증폭기의 특성, 수동소자의 편차 등에 의해 출력에 차이가 생기므로 초기화를 위한 자동 트리밍이 필요하다. 자동 트리밍 단계(S100)에서는 입력신호가 거의 없는 최소입력 상태에서 가장 출력이 작은 음향센서의 출력에 맞게 나머지 음향센서의 출력 레벨을 트리밍(trimming)하여 4개의 음향센서로부터 동일한 출력이 나오도록 한다. 이에 의해 각 채널별 편차를 최소화시키는 것이 가능하다. 이러한 자동 트리밍 단계는 초기화에 적용되며, 통상시에는 건너뛸 수 있다(by-pass).
자동 트리밍에 의한 초기화를 거친 후, 음원 인식 방법은 4개의 음향센서에 의해 음향신호 A(s), B(s), C(s) 및 D(s)를 검출하는 단계(S200)로 시작한다.
자율주행차량에서 보통 관심이 있는 음원은 구급차, 소방차, 교통통제용 경찰차의 싸이렌 소리, 상공을 비행하는 드론 택시나 경찰용 드론과 같은 드론 소리, 자율주행차량의 주위를 주행하는 오토바이 소리와 같이 차량의 외부에서 발생하는 음향이다. 따라서 음원 인식률를 향상시키기 위한 목적으로 음향신호 검출 단계(S200)는 음향센서에 입력된 신호로부터 사람의 목소리나 차량 내부의 음악과 같은 음성 신호를 소거하는 단계(S210)를 포함할 수 있다.
또한 음향신호 검출 단계(S200)는 상기 음성 신호가 소거된 4개의 음향센서의 신호에서 각 채널에 공통으로 포함된 랜덤 노이즈와 같은 잡음 신호를 상호 상쇄에 의하여 제거하는 단계(S220)를 더 포함할 수 있다. 상호상쇄에 의한 제거 단계(S220)에서 잡음 신호를 억제하기 위한 일 방법으로서, 검출하고자 하는 신호만을 통과할 수 있는 대역필터에 상기 검출하고자 하는 신호에 대응하는 기준 신호를 부가하여 필터를 구성할 수도 있다. 예컨대, 차량 주행 시 발생하는 타이어 마찰 소리와 같은 랜덤 노이즈는 유의미한 신호가 아니므로 사전에 필터링하고 감쇄시켜 출력하는 것이 바람직하다. 이 때 이동 평균에 의한 파형의 평활화 방법 등을 이용하여 잡음을 억제할 수 있다. 이와 같이 잡음 신호를 상호상쇄시키면 음원 인식 방법을 수행하는 장치나 시스템에서 처리할 데이터량이 감소하게 된다. 또한 잡음 신호 제거 단계(S220)에 의해 가중치가 높은 신호만을 검출하여 음원 인식률이 향상될 수 있다.
그 다음 각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간, 도착강도 및 주파수 중 적어도 하나를 측정하는 단계(S300)가 수행된다. 이러한 음향 도착시간 및 도착강도는 이후 ITD(interaural time difference) 또는 ILD(interaural level difference) 생성에 의한 음원 위치 인식 단계(S500)에 이용된다. 주파수는 ITD 또는 ILD의 가중치를 계산하는데 이용될 수 있다.
그 다음 음원의 음량 크기, 방향 및 이동 방향 인식 단계(S400), 음원 위치 인식 단계(S500) 및 음원 종류 인식 단계(S600)가 동시에 병렬적으로 수행되거나, 순차적으로 수행될 수 있다. 음원의 음량 크기, 방향 및 이동 방향 인식 단계(S400), 음원 위치 인식 단계(S500) 및 음원 종류 인식 단계(S600)가 동시에 병렬적으로 수행되는 경우에는, 인식 시간을 단축하는 효과가 있다.
먼저 음원의 음량 크기, 방향 및 이동 방향 인식 단계(S400)를 살펴보면, 상기 4개의 음향센서에서 검출한 음향신호 A(s), B(s), C(s) 및 D(s)를 조합하여 y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호를 연산하는 단계(S410)가 수행된다.
y(s)는 4개 음향신호의 합산 신호로서 다음과 같이 계산된다.
y(s) = A(s) + B(s) + C(s) + D(s) …[식 1]
f(s)는 전방 신호(front signal)을 나타내고, b(s)는 후방 신호(back signal)을 나타내며 각각 다음과 같이 계산된다.
f(s) = A(s) + B(s) …[식 2]
b(s) = C(s) + D(s) …[식 3]
l(s)는 좌측 신호(left signal)을 나타내고, r(s)는 우측 신호(right signal)을 나타내며 각각 다음과 같이 계산된다.
l(s) = A(s) + D(s) …[식 4]
r(s) = B(s) + C(s) …[식 5]
cl(s)는 좌측 교차 신호(left cross signal)를 나타내고, cr(s)는 우측 교차 신호(right cross signal)을 나타내며 각각 다음과 같이 계산된다.
cl(s) = A(s) + C(s) …[식 6]
cr(s) = B(s) + D(s) …[식 7]
p(s)는 전방과 후방 간의 신호 차를 나타내고, q(s)는 좌측과 우측 간의 신호 차를 나타내며 각각 다음과 같이 계산된다.
p(s) = f(s) - b(s) …[식 8]
q(s) = l(s) - r(s) …[식 9]
그 다음, y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호에 기초하여 음원의 음량 크기, 방향 및 이동 방향을 추정하는 단계(S420)가 수행된다. 즉, 각 신호를 비교분석하여 음원이 발생한 방향이 전후좌우 중 어느 방향인지를 인식할 수 있다. 예컨대, f(s)가 b(s)보다 크면 전방에, l(s)가 r(s)보다 크면 좌측에 음원이 있다고 인식할 수 있다. 또한, 각 신호를 비교분석하여 각 채널 별 음원의 음량 크기 및 합산된 음원의 음량 크기를 인식할 수 있다. 여기서, y(s) 신호의 값이 음량의 크기로 간주된다.
또한 특정 시점에서의 y(s) 신호 값과 후속 시점에서의 y(s) 신호 값을 비교하여 값이 커졌으면 음원의 이동 방향은 자율주행차량에 가까워지는 것이고, 값이 작아졌으면 음원의 이동 방향은 자율주행차량과 멀어짐을 알 수 있다. 또한, [식 2] 내지 [식 9]에 의한 f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호를 비교 연산함으로써 음원이 어느 방향에서 발행하였는지 여부뿐만, 아니라 어느 방향으로 이동하는지도 알 수 있다. 예컨대, f(s) 신호가 b(s)보다 작다가 점점 같아지고, 나아가 더 커지면 음원이 후방에서 전방으로 이동함을 알 수 있다.
본 발명의 일 실시예에 따르면, 4개 음향신호의 합산 신호인 y(s) 신호에 의해 방향에 관계없이 음원의 음량 크기를 인식하는 것이 가능하다.
이러한 음원의 음량 크기, 방향 및 이동 방향은 음원인식 장치의 시스템 호스트인 호스트로 출력된다(S430).
이제 음원의 위치를 인식하는 단계(S500)를 설명한다. 여기서, 음원의 위치란, 음원의 방위각과 거리에 기초한 음원의 위치를 의미한다.
음원의 위치를 인식하기 위하여 먼저, 전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이 또는 음향 도착강도 차이에 기초하여 6개의 ITD 또는 ILD를 생성하는 단계(S510)가 수행된다.
그 다음 상기 생성된 6개의 ITD 또는 ILD 중 적어도 2개의 ITD 또는 ILD에 기초하여 음원의 위치를 추정하는 단계(S520)가 수행된다. 이하에서는 본 발명의 일 실시예에 따라 ITD에 기초하여 음원의 위치를 추정하는 방법을 설명한다.
음향신호로부터 음향 도착시간 차이에 의해 ITD가 생성되면 4개 중 2개의 음향센서 간의 간격 R과 공기 중을 진행하는 소리의 속도 c(약 340 m/s)로부터 상기 음원과 상기 2개의 음향센서의 중심을 연결한 선이 상기 2개의 음향센서를 잇는 수평선과 이루는 방위각 θ 값을 다음과 같이 구할 수 있다.
Figure pat00001
…[식 10]
나머지 방위각들 또한 동일한 방식으로 계산될 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 음원의 방위각을 예시하는 도면이다.
한편, 음원은 무한 거리에 떨어져 있다고 가정하기 때문에, 즉, 음원에서 음향이 양 음향센서로 평행하게 도달하는 것으로 가정하기 때문에, 음원과 상기 2개의 음향센서의 중심을 연결한 선이 상기 2개의 음향센서를 잇는 수평선과 이루는 각과 상기 음원으로부터 상기 2개의 음향센서 중 각 음향센서를 연결한 선이 상기 2개의 음향센서를 잇는 수평선과 이루는 각은 서로 동일한 것으로 간주된다. 따라서 도 3a와 도 3b에서는 이하의 [식 11], [식 12], [식 13]을 유도하기 위하여 음원과 2개의 음향센서 중 음원으로부터 더 먼 거리에 배치된 음향센서를 연결한 선이 2개의 음향센서를 잇는 수평선과 이루는 각이 방위각으로 표시되었다.
도 3a를 참조하면, 전방좌측(A) 음향센서 및 전방우측(B) 음향센서와 음원 간의 방위각이 θR1으로 표시되고, 전방우측(B) 음향센서 및 후방우측(C) 음향센서와 음원 간의 방위각이 θR2로 표시되며, 후방우측(C) 음향센서 및 후방좌측(D) 음향센서와 음원 간의 방위각이 θR3으로 표시되고, 후방좌측(D) 음향센서 및 전방좌측(A) 음향센서와 음원 간의 방위각이 θR4로 표시되어 있다.
도 3b를 참조하면, 전방좌측(A) 음향센서 및 후방우측(C) 음향센서와 음원 간의 방위각이 θR5로 표시되고, 전방우측(B) 음향센서 및 후방좌측(D) 음향센서와 음원 간의 방위각이 θR6로 표시되어 있다.
또한 동일 차원에서 2개의 방위각 θ 값을 구해 지면 연산에 의해 음원의 위치를 추정하는 것이 가능하다. 즉, 4개의 음향 센서 중 3개의 음향 센서에서 검출한 신호의 도착시간으로부터 생성된 2개의 ITD와 주어진 자율주행차량의 구조체 크기로부터 음원과 음향 센서 간의 2개의 방위각 θ를 구할 수 있으며, 이 θ 값을 이용하여 음원까지의 거리를 산출할 수 있다. 2개의 ITD를 생성하는 3개의 음향센서 중 하나의 센서가 동일한 평면에 있지 않고 다른 고도에 배치된 경우는 삼각법을 응용한 시뮬레이션으로 동일한 평면으로 치환하여 θ를 구할 수 있다.
구체적으로, 각 음향센서가 차량의 각각의 모서리에 배치되어 있다 가정할 경우, 상술한 ITD를 적용하여 폭 VW와 길이 VL로 구성되는 차량에서 음원과의 거리를 계산할 수 있다. 이하에서는 도 4를 참조하여 예컨대, 음원과 후방좌측(D) 음향센서 간의 거리 D1을 구하는 방법을 살펴본다.
D1은 음원과 후방좌측(D) 음향센서 간의 추정거리이고, D2(=d11)은 음원과 전방좌측(A) 음향센서 간의 추정거리이다. d12는 음향신호가 전방좌측(A) 음향센서에 도달한 위치로부터 후방좌측(D) 음향센서까지 도달하기 위해 추가로 이동하는 거리이다. 따라서, D1은 d11과 d12의 합으로 구할 수 있다.
d11을 구하기 위해 필요한 θ1과 θ2를 구하는 방법은 이하의 [식 13] 및 [식 14]와 같이 전방좌측(A), 전방우측(B) 및 후방좌측(D) 음향센서에 음향신호가 도달한 시간과 상기 음향센서들 간의 간격에 의해 구해진다. 여기서, 각 음향센서가 차량의 각각의 모서리에 배치되어 있다 가정하였기 때문에, 전방좌측(A) 음향센서와 전방우측(B) 음향센서 간의 간격은 차량의 폭 VW에 대응하며, 전방좌측(A) 음향센서와 후방좌측(D) 음향센서 간의 간격은 차량의 길이 VL에 대응한다. 만약 모든 음향센서가 차량의 모서리에 배치된 것이 아니라면 음향센서들 간의 간격을 이용한다. t1은 음원에서 발생한 음향신호가 전방좌측(A) 음향센서에 도달한 시간이며, t2와 t3는 각각 전방우측(B) 음향센서 및 후방좌측(D) 음향센서에 도달한 시간이다. 아래 식들은 예시일 뿐이며 수학적 모델링 방법이 달라지면 다른 수식으로 표현하는 것이 가능하다.
Figure pat00002
...[식 11]
d12 = (t3-t1)*c …[식 12]
Figure pat00003
…[식 13]
Figure pat00004
…[식 14]
위와 같은 방법으로 음원과 후방좌측(D) 음향센서 간의 거리를 구할 수 있고, 전방우측(B) 센서를 기준으로 한 음원과 전방좌측(A) 간의 거리 및 후방우측(C) 간의 거리 또한 동일한 방법으로 계산할 수 있다.
상술한 바와 같이 음원과 음향센서 간의 거리를 구할 수 있으나, 실제로는 음원이 무한대에 위치한 것이 아니기 때문에 상술한 방식에 의해 구해진 거리는 오차를 내포하게 된다. 즉, 기본 모델은 음원을 무한대에 위치한 것으로 가정하여 도 4의 D1를 나타내는 선과 Dadd를 나타내는 선이 서로 직각을 이루는 것으로 간주하였으나, 실제로는 직각이 아니기 때문에 거리 오차 ES가 발생한다. 따라서 이러한 오차를 보정해주는 것이 바람직하며, 오차 보정을 위해 θ1과 θ2 를 다음과 같이 보정한다.
Figure pat00005
…[식 15]
Figure pat00006
…[식 16]
Figure pat00007
...[식 17]
또는 아래의 [식 18]과 같이 오차를 보정할 수도 있다.
Figure pat00008
...[식 18]
여기서, CEA, CED, CES는 비선형 오차 보정함수이고, 실거리 및 연산 거리 비교 시뮬레이션이나 다른 연산에 의해 정하는 것이 가능하다.
4개의 음향센서는 모두 다른 위치에 있으므로 각각의 음향센서에 들어오는 소리의 도착 시간도 각각 다르다. 즉, 비대칭적인 거리에 있는 음원으로부터 각 음향센서에 소리가 도달할 때 생기는 시간차를 이용하여 ITD를 구하고 방위각 θ를 구한 후, 주어진 음향센서 간의 거리를 응용하여 음원까지를 거리를 계산함으로써 어느 위치에서 소리가 발생하였는지 인식할 수 있다. 아울러, 본 발명에 따르면 서로 대각선 방향에 위치한 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간의 ITDR5, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 ITDR6를 생성할 수 있기 때문에 ITDR1 ~ ITDR4 값이 0이 되는 곳에 음원이 위치한 경우라도 2개 이상의 ITD를 생성하여 사각영역 없이 음원의 위치를 인식할 수 있다. 아울러, 음향센서들이 다른 고도에 배치된 경우는 삼각법을 응용한 시뮬레이션으로 동일한 평면으로 치환하여 방위각 θ를 구할 수 있고, 그에 기초하여 음원까지의 거리를 계산함으로써 음원의 위치를 인식할 수 있다.
상기와 같이 추정된 음원의 위치는 호스트로 출력된다(S530).
이제 음원의 종류를 인식하는 단계(S600)에 대하여 설명한다. 음원의 종류를 인식하는 단계(S600)는 4개 음향신호의 합산 신호인 y(s) 신호를 사용하여 음원의 특징을 추출하는 단계(S610)로 시작된다. 사운드 스펙트로그램 기법을 사용하여 특징을 추출할 수도 있고, 다른 방식의 음향신호 특징 추출 방식, 예컨대, MFCC(Mel Frequency Cepstrum Coefficient)를 이용하여 특징을 추출할 수도 있다. 그 다음 추출된 특징을 분류하여 음원의 종류를 판별하는 단계(S620)가 수행된다. 이러한 판별 단계에서는 DNN(Deep Neural Networks)과 같은 인공지능을 사용하여 특징을 분류하고 텐서플로우 백엔드(Tensor Flow Backend)나 다른 스코어링 방식(예컨대, 설정된 최저값 과 최대값 사이의 값으로 가중치를 부가하여 연산하는 웨이팅이나 혹은 라벨링 방식 등)을 사용하여 중첩된 소리 속에서 목표한 소리를 인식하는 방법에 의해 음원의 종류를 판별할 수도 있다. 상기 음원의 분류에는 학습방식이 사용될 수도 있고 비학습방식이 사용될 수도 있다. 이러한 음원 종류 판별 단계(S620)에 의해 음원이 예컨대, 싸이렌 소리인지, 드론 소리인지, 오토바이 소리인지 판별하는 것이 가능해진다.
이와 같이 판별된 음원 종류는 호스트로 출력된다(S630).
본 실시예에서는 음원의 음량 크기, 방향 및 이동 방향 인식 단계(S400), 음원 위치 인식 단계(S500) 및 음원 종류 인식 단계(S600)가 병렬로 수행되는 것으로 기술되었으나, 순차적으로 수행될 수도 있다. 도 2에 예시된 단계들의 순서는 일 예에 불과할 뿐 그에 한정되는 것은 아니다.
도 5는 본 발명의 일 실시예에 따른 음원 인식 장치의 개략도이다. 본 발명의 일 실시예에 따른 음원 인식 장치(1000)는 음향 감지부(1100) 및 처리 모듈(1200)을 포함한다. 음향 감지부(1100)는 음향신호를 검출하는 4개의 음향센서를 포함하고, 상기 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치되고, 여기서, 상기 4개의 음향센서에서 검출한 음향신호는 각각 A(s), B(s), C(s) 및 D(s)라고 지칭한다.
처리 모듈(1200)은 도 2와 관련하여 상술한 단계들을 수행할 수 있는 구성요소들을 포함한다. 예컨대, 처리 모듈(1200)은 자동 트리밍부(1210), 음향 신호 검출부(1220), 각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간, 도착강도 및 주파수를 측정하는 음향 도착시간, 도착강도 및 주파수 측정부(1230), 4개의 음향신호의 조합 신호인 y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호에 기초하여 음원의 음량 크기, 방향 및 이동 방향을 인식하는 음원의 음량 크기, 방향 및 이동 방향 인식부(1240), 음원 위치 인식부(1250) 및 음원 종류 인식부(1260)를 포함한다. 음향 신호 검출부(1220)는 음성신호 소거부(1221) 및 잡음신호 제거부(1222)를 포함할 수 있다. 음원의 음량 크기, 방향 및 이동 방향 인식부(1240)는 조합 신호 연산부(1241)와, 음원의 음량 크기, 방향 및 이동 방향 추정부(1242)를 포함할 수 있다. 또한 음원 위치 인식부(1250)는 전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하는 ITD 생성부(1251)와, 상기 6개의 ITD 중 적어도 2개 이상의 ITD에 기초하여 음원의 위치를 추정하는 음원 위치 추정부(1252)를 포함할 수 있다. 음원 위치 추정부(1252)는 상기 4개의 음향센서 중 제 1 쌍의 음향센서 간의 ITD에 기초하여 상기 제 1 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ1을 연산하고, 상기 4개의 음향센서 중 제 2 쌍의 음향센서 간의 ITD에 기초하여 상기 제 2 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ2를 연산하여, 상기 연산된 방위각 θ1 및 θ2와 상기 제 1 쌍의 음향센서 간의 간격 및 상기 제 2 쌍의 음향센서 간의 간격을 이용하여 상기 음원까지의 거리를 연산할 수 있고, 상기 음원까지의 거리 연산에서 발생하는 오차를 보정하기 위하여 오차보정 함수를 도입하여 오차를 보정할 수도 있다. 또한 음원 종류 인식부(1260)는 특징 추출부(1261) 및 음원 종류 판별부(1262)를 포함할 수 있다.
처리 모듈(1200)의 각 구성요소는 별개의 구성요소로 기재되었지만, 모두 하나의 구성요소로 합쳐져 기능할 수도 있고, 일부 구성요소만이 합쳐져 기능할 수도 있다. 그러나 상술한 기능을 수행하는 한 모두 본 발명의 범위에 속한다.
위 실시예는 본 발명의 가장 기본적인 예에 불과할 뿐이기 때문에, 본 발명이 위의 실시예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 균등범위로 이해되어져야 할 것이다.

Claims (8)

  1. 음원 인식 방법으로서,
    적어도 4개의 음향센서로부터 음향신호를 검출하는 단계 ― 음향센서들 중 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치되고, 상기 4개의 음향센서에서 검출한 음향신호는 각각 A(s), B(s), C(s) 및 D(s)라고 지칭함 －;
    각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간을 측정하는 단계;
    전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하는 단계; 및
    상기 6개의 ITD 중 적어도 2개 이상의 ITD에 기초하여 음원의 위치를 추정하는 단계
    를 포함하는
    음원 인식 방법.
  2. 제1항에 있어서,
    상기 4개의 음향센서에서 검출한 음향신호 A(s), B(s), C(s) 및 D(s)를 조합하여 다음과 같이,

    y(s) = A(s) + B(s) + C(s) + D(s);
    f(s) = A(s) + B(s);
    b(s) = C(s) + D(s);
    l(s) = A(s) + D(s);
    r(s) = B(s) + C(s);
    cl(s) = A(s) + C(s);
    cr(s) = B(s) + D(s);
    p(s) = f(s) - b(s); 및
    q(s) = l(s) - r(s)

    y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호를 연산하는 단계; 및
    y(s), f(s), b(s), l(s). r(s), cl(s), cr(s), p(s) 및 q(s) 신호에 기초하여 음원의 음량 크기, 방향 및 이동 방향 중 적어도 하나를 추정하는 단계
    를 더 포함하는
    음원 인식 방법.
  3. 제1항에 있어서,
    4개 음향신호의 합산 신호인 y(s) 신호를 사용하여 음원의 특징을 추출하고 추출된 특징을 분류하여 음원의 종류를 판별하는 단계를 더 포함하는
    음원 인식 방법.
  4. 제1항에 있어서,
    상기 음원 인식 방법은 차량에서 수행되고,
    상기 음원의 위치를 추정하는 단계는:
    상기 4개의 음향센서 중 제 1 쌍의 음향센서 간의 ITD에 기초하여 상기 제 1 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ1을 연산하는 단계;
    상기 4개의 음향센서 중 제 2 쌍의 음향센서 간의 ITD에 기초하여 상기 제 2 쌍에 속하는 2개의 음향센서를 잇는 선과 상기 음원이 이루는 방위각 θ2를 연산하는 단계 ― 상기 제 1 쌍은 상기 제 2 쌍과 하나의 음향센서만을 공유함 －;
    상기 연산된 방위각 θ1 및 θ2와 상기 제 1 쌍의 음향센서 간의 간격 및 상기 제 2 쌍의 음향센서 간의 간격을 이용하여 상기 음원까지의 거리를 연산하는 단계
    를 포함하는
    음원 인식 방법.
  5. 제4항에 있어서,
    상기 음원까지의 거리를 연산하는 단계는 상기 음원까지의 거리 연산에서 발생하는 오차를 보정하기 위하여 오차보정 함수를 도입하여 오차를 보정하는 단계를 더 포함하는
    음원 인식 방법.
  6. 제1항에 있어서,
    상기 음원 인식 방법은, 초기화를 위하여, 상기 음향신호를 검출하는 단계 이전에, 입력신호가 없는 상태에서 상기 4개의 음향센서로부터 동일한 출력신호가 나오도록 트리밍하는 단계를 더 포함하고,
    상기 음향신호를 검출하는 단계는:
    상기 4개의 음향센서에 입력된 신호로부터 음성 신호를 소거하는 단계; 및
    상기 음성 신호가 소거된 4개의 음향센서의 신호로부터 상기 4개의 음향센서 공통의 잡음신호를 제거하여 상기 음향신호를 출력하는 단계
    를 포함하는
    음원 인식 방법.
  7. 제1항에 있어서,
    상기 4개의 음향센서 중 적어도 하나는 나머지 음향센서들과 다른 고도에 배치되는
    음원 인식 방법.
  8. 음원 인식 장치로서,
    음향신호를 검출하는 적어도 4개의 음향센서 ― 음향센서들 중 4개의 음향센서는 수평 방향으로 보았을 때 상기 4개의 음향센서가 각각 특정 직사각형의 전방좌측(A), 전방우측(B), 후방우측(C) 및 후방좌측(D)의 꼭지점을 이루도록 배치되고, 상기 4개의 음향센서에서 검출한 음향신호는 각각 A(s), B(s), C(s) 및 D(s)라고 지칭함 －;
    각각의 음향신호 A(s), B(s), C(s) 및 D(s)로부터 음향 도착시간을 측정하는 음향 도착시간 측정부;
    전방좌측(A) 음향센서와 전방우측(B) 음향센서 간, 전방우측(B) 음향센서와 후방우측(C) 음향센서 간, 후방우측(C) 음향센서와 후방좌측(D) 음향센서 간, 후방좌측(D) 음향센서와 전방좌측(A) 음향센서 간, 전방좌측(A) 음향센서와 후방우측(C) 음향센서 간, 그리고 전방우측(B) 음향센서와 후방좌측(D) 음향센서 간의 음향 도착시간 차이에 기초하여 6개의 ITD(interaural time difference)를 생성하는 ITD 생성부; 및
    상기 6개의 ITD 중 적어도 2개 이상의 ITD에 기초하여 음원의 위치를 추정하는 음원 위치 추정부
    를 포함하는
    음원 인식 장치.
KR1020190010266A 2019-01-28 2019-01-28 음원 인식 방법 및 장치 Active KR102176098B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190010266A KR102176098B1 (ko) 2019-01-28 2019-01-28 음원 인식 방법 및 장치
PCT/KR2019/015503 WO2020159042A1 (ko) 2019-01-28 2019-11-14 음원 인식 방법 및 장치
US17/424,128 US12015908B2 (en) 2019-01-28 2019-11-14 Method and apparatus for recognizing sound source
CN201980090287.2A CN113366549B (zh) 2019-01-28 2019-11-14 声源识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010266A KR102176098B1 (ko) 2019-01-28 2019-01-28 음원 인식 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200144181A Division KR102226405B1 (ko) 2020-11-02 2020-11-02 음원 인식 방법 및 장치, 그리고 컴퓨터 판독가능 저장매체

Publications (2)

Publication Number Publication Date
KR20200093149A true KR20200093149A (ko) 2020-08-05
KR102176098B1 KR102176098B1 (ko) 2020-11-10

Family

ID=71841874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010266A Active KR102176098B1 (ko) 2019-01-28 2019-01-28 음원 인식 방법 및 장치

Country Status (4)

Country Link
US (1) US12015908B2 (ko)
KR (1) KR102176098B1 (ko)
CN (1) CN113366549B (ko)
WO (1) WO2020159042A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230086053A (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법
WO2025084703A1 (ko) * 2023-10-19 2025-04-24 주식회사 유에스엔케이 음원의 거리 측정 시스템 제공방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991618B2 (en) * 2019-09-03 2021-04-27 Taiwan Semiconductor Manufacturing Company Limited Semiconductor device and method of manufacture
US11735205B2 (en) * 2021-01-12 2023-08-22 Baidu Usa Llc Audio logging for model training and onboard validation utilizing autonomous driving vehicle
CN113963576B (zh) * 2021-10-28 2023-08-08 中汽院智能网联科技有限公司 一种交叉路口车辆碰撞风险预警方法
CN114067612A (zh) * 2021-11-26 2022-02-18 山东科技大学 一种基于环境声音分析的车辆感知及危险预警方法与系统
KR20230094246A (ko) * 2021-12-20 2023-06-28 삼성전자주식회사 음향 센서를 이용한 방향 추정 장치 및 방법
CN114242072A (zh) * 2021-12-21 2022-03-25 上海帝图信息科技有限公司 一种用于智能机器人的语音识别系统
DE102022202384A1 (de) * 2022-03-10 2023-09-14 Continental Automotive Technologies GmbH Multi-Access Edge Computing- basierter spezifischer Relativgeschwindigkeitsdienst

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218614A (ja) * 1994-01-31 1995-08-18 Suzuki Motor Corp 音源位置算出方法およびその装置
JPH1183975A (ja) * 1997-09-03 1999-03-26 Tech Res & Dev Inst Of Japan Def Agency 水面音源位置測定方法及びその装置
KR20110041258A (ko) * 2009-10-15 2011-04-21 재단법인 포항지능로봇연구소 음향필터장치
JP2013068424A (ja) * 2011-09-20 2013-04-18 Toyota Motor Corp 音源検出装置
KR101452853B1 (ko) * 2013-11-28 2014-10-22 한국해양과학기술원 트랜스듀서를 이용한 수중청음기 배열위치 보정장치
KR101529516B1 (ko) * 2014-10-27 2015-06-18 국방과학연구소 음원 위치 추정 장치 및 음원 위치 추정 방법
KR20170054752A (ko) * 2015-11-10 2017-05-18 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1194376A (en) * 1916-08-15 Apparatus s ob ascebtaimxem the relative locations oji bistazjt poihts
US6999923B1 (en) * 2000-06-23 2006-02-14 International Business Machines Corporation System and method for control of lights, signals, alarms using sound detection
CA2621940C (en) * 2005-09-09 2014-07-29 Mcmaster University Method and device for binaural signal enhancement
JP5089198B2 (ja) * 2007-03-09 2012-12-05 中部電力株式会社 音源位置推定システム
KR100943224B1 (ko) * 2007-10-16 2010-02-18 한국전자통신연구원 음원 추적이 가능한 지능형 로봇 및 방법
JP5253268B2 (ja) * 2009-03-30 2013-07-31 中部電力株式会社 音源・振動源探査システム
CN102428717B (zh) * 2009-08-11 2016-04-27 贺尔知识产权公司 估计声音波达方向的系统和方法
CN101865361B (zh) * 2010-06-04 2013-01-16 华北电力大学 双基阵数据融合电站锅炉四管泄漏被动声测定位方法
JP5443454B2 (ja) 2011-09-20 2014-03-19 トヨタ自動車株式会社 音源検出装置
US20140211974A1 (en) * 2013-01-25 2014-07-31 William J Pielsticker Weatherproof Windscreen for Microphone
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
US20160134975A1 (en) * 2014-11-12 2016-05-12 Knowles Electronics, Llc Microphone With Trimming
JP6014884B1 (ja) * 2015-05-22 2016-10-26 防衛装備庁長官 センサ敷設装置、音源物体推定システム及び方法
KR102473346B1 (ko) * 2015-06-23 2022-12-05 삼성전자주식회사 디지털 방송 서비스 방법 및 장치
CN106772244A (zh) 2016-11-25 2017-05-31 北京明泰朗繁精密设备有限公司 一种声源定位系统及方法
US10978050B2 (en) * 2018-02-20 2021-04-13 Intellivision Technologies Corp. Audio type detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218614A (ja) * 1994-01-31 1995-08-18 Suzuki Motor Corp 音源位置算出方法およびその装置
JPH1183975A (ja) * 1997-09-03 1999-03-26 Tech Res & Dev Inst Of Japan Def Agency 水面音源位置測定方法及びその装置
KR20110041258A (ko) * 2009-10-15 2011-04-21 재단법인 포항지능로봇연구소 음향필터장치
JP2013068424A (ja) * 2011-09-20 2013-04-18 Toyota Motor Corp 音源検出装置
KR101452853B1 (ko) * 2013-11-28 2014-10-22 한국해양과학기술원 트랜스듀서를 이용한 수중청음기 배열위치 보정장치
KR101529516B1 (ko) * 2014-10-27 2015-06-18 국방과학연구소 음원 위치 추정 장치 및 음원 위치 추정 방법
KR20170054752A (ko) * 2015-11-10 2017-05-18 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230086053A (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법
WO2023106575A1 (ko) * 2021-12-08 2023-06-15 주식회사 유에스엔케이 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법
WO2025084703A1 (ko) * 2023-10-19 2025-04-24 주식회사 유에스엔케이 음원의 거리 측정 시스템 제공방법

Also Published As

Publication number Publication date
CN113366549B (zh) 2023-04-11
WO2020159042A1 (ko) 2020-08-06
KR102176098B1 (ko) 2020-11-10
CN113366549A (zh) 2021-09-07
US20220132263A1 (en) 2022-04-28
US12015908B2 (en) 2024-06-18

Similar Documents

Publication Publication Date Title
KR102176098B1 (ko) 음원 인식 방법 및 장치
CN107527092B (zh) 使用听觉数据训练用于碰撞躲避的算法
JP6221158B2 (ja) 自律行動ロボット、及び自律行動ロボットの制御方法
CN111126399B (zh) 一种图像检测方法、装置、设备及可读存储介质
KR102226405B1 (ko) 음원 인식 방법 및 장치, 그리고 컴퓨터 판독가능 저장매체
JP6467736B2 (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
CN110329144A (zh) 一种车辆智能鸣笛方法
CN103314300A (zh) 空速与空气流速的测量
CN120048287B (zh) 一种车载声音辨识与定位智能预警系统及方法
WO2020116054A1 (ja) 信号処理装置及び信号処理方法
CN118372820B (zh) 基于机器视觉的汽车防碰撞预警方法、系统、装置及介质
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
CN114675295B (zh) 一种障碍物判定的方法、装置、设备及存储介质
CN112801024A (zh) 一种检测信息处理方法和装置
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
EP2362238B1 (en) Estimating the distance from a sensor to a sound source
Andra et al. Feasibility evaluation for keyword spotting system using mini microphone array on UAV
CN117668687A (zh) 一种声学非视距车辆靠近和远离检测方法
CN121596425B (zh) 基于声视觉融合的无人机侦察方法、系统、设备及介质
KR100520786B1 (ko) 타선 위치 추적 시스템
Madan et al. Acoustic simultaneous localization and mapping for autonomous driving
CN121305883B (zh) 基于声波定位与图像协同的交通鸣笛抓拍方法及装置
Madan Acoustic Simultaneous Localization And Mapping (SLAM)
US20230348261A1 (en) Accelerometer-based acoustic beamformer vector sensor with collocated mems microphone
CN120143054A (zh) 一种车辆自动驾驶环境感知声源定位方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6