KR20090051614A - 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 - Google Patents

마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 Download PDF

Info

Publication number
KR20090051614A
KR20090051614A KR1020070118086A KR20070118086A KR20090051614A KR 20090051614 A KR20090051614 A KR 20090051614A KR 1020070118086 A KR1020070118086 A KR 1020070118086A KR 20070118086 A KR20070118086 A KR 20070118086A KR 20090051614 A KR20090051614 A KR 20090051614A
Authority
KR
South Korea
Prior art keywords
sound source
sound
microphone array
distance
virtual microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070118086A
Other languages
English (en)
Other versions
KR101415026B1 (ko
Inventor
오광철
정재훈
김규홍
정소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070118086A priority Critical patent/KR101415026B1/ko
Priority to US12/076,119 priority patent/US8160270B2/en
Publication of KR20090051614A publication Critical patent/KR20090051614A/ko
Application granted granted Critical
Publication of KR101415026B1 publication Critical patent/KR101415026B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

본 발명은 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및 장치에 관한 것으로, 본 발명에 따른 다채널 사운드 획득 방법은 마이크로폰 어레이를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 음원 신호들에 대응하는 음원들의 위치를 추정하고, 추정된 음원들의 위치와 다채널 사운드의 기준으로 가정한 임의의 가상 마이크로폰 어레이의 위치의 차이에 기초하여 음원 신호들을 보상하여 다채널 음원 신호를 생성함으로써, 휴대용 사운드 취득 기기에서 마이크로폰 어레이를 통해 입력된 다수의 원거리 음원 신호들로부터 입체감 있는 다채널 사운드를 획득할 수 있다.

Description

마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및 장치{Method and apparatus for acquiring the multi-channel sound with a microphone array}
본 발명은 마이크로폰 어레이가 구비된 사운드 취득 장치에서 다채널 사운드를 획득하는 방법 및 장치에 관한 발명으로서, 마이크로폰 어레이를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 5.1 채널과 같이 사용자로 하여금 입체감을 느끼게 할 수 있는 다채널 사운드를 획득하는 방법 및 장치에 관한 것이다.
오디오 신호를 녹음하고 재생하는 기술은 모노 채널(mono-channel) 신호로부터, 스테레오 채널(stereo-channel) 신호를 거쳐 다채널(multi-channel) 신호로 확장, 발전되어 왔다. 이러한 발전 경향은 사용자들이 좀 더 입체적인 사운드를 생생하게 청취하고자 하는 욕구에서 비롯된 것으로서, 특히 다채널 신호는 오디오 신호를 각각의 개별 음원별로 다수의 방향에서 청취할 수 있어 모노 채널 신호나 스테레오 채널 신호에 비해 향상된 입체감을 제공한다.
다채널 사운드를 청취하기 위해서는 다채널 오디오 소스(source)가 필요한데, 일반적으로 다채널 오디오 소스는 크게 다음의 2 가지 방법을 통해 획득된다. 첫째, 필요한 수만큼의 채널별로 독립적으로 음원을 녹음하는 방법이 있으며, 영화나 음반 제작시 통상적으로 사용되는 방법이다. 여기서, 음원(sound source)이란 사운드가 방사되어 나오는 소스(source)를 의미하는 용어로서, 이하에서도 동일한 의미로서 사용될 것이다. 둘째, 다채널 오디오 소스를 동시에 녹음하기 위해 특수하게 설계된 마이크로폰 시스템을 각 채널의 방향에 따라 위치시키고 해당 방향으로부터 방사되는 사운드를 녹음하는 방법이 있다.
이상에서 설명한 바와 같이 다채널 사운드를 획득하기 위해서는 시간, 공간 및 특수한 녹음 장비 등 현실적인 제약이 많다. 따라서, 이러한 다채널 사운드 획득 방법을 휴대 전화나 디지털 캠코더와 같은 사운드 취득이 가능한 소형 휴대 기기에 적용하는 것은 부적절하다.
본 발명이 해결하고자 하는 기술적 과제는 휴대용 사운드 취득 기기에서 마이크로폰 어레이를 통해 입력된 다수의 혼합된 음원 신호들로부터 입체감 있는 다채널 사운드를 획득하기 어려운 문제점을 해결하는 다채널 사운드 획득 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 다채널 사운드 획득 방법은 마이크로폰 어레이를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 상기 음원 신호들에 대응하는 음원들의 위치를 추정하는 단계; 및 상기 추정된 음원들의 위치와 상기 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 상기 음원 신호들을 보상함으로써 다채널 음원 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기 기재된 다채널 사운드 획득 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 다채널 사운드 획득 장치는 마이크로폰 어레이를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 상기 음원 신호들에 대응하는 음원들의 위치를 추정하는 음원 위치 추정부; 및 상기 추정된 음원들의 위치와 상기 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 상기 음원 신호들을 보상함으로써 다채널 음원 신호를 생성하는 다채널 음원 신호 생성부를 포함하는 것을 특징으로 한다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1a 및 도 1b는 각각 본 발명이 해결하고자 하는 문제의 발생 상황과 문제 해결을 위한 아이디어를 도시한 도면이다.
도 1a는 A, B, C 및 D의 위치에 각각 개별 음원들이 존재하고, 이들로부터 멀리 떨어진 위치에 마이크로폰 어레이(110)가 존재하고 있는 상황을 가정한다. 도 1a에서 마이크로폰 어레이(110)를 중심으로 점선으로 도시된 동심원은 마이크로폰 어레이(110)로부터 동일한 거리에 해당하는 위치를 연결하여 시각적으로 표현한 것이다. 따라서, 음원들(A, B, C 및 D)과 마이크로폰 어레이(110) 간의 거리가 멀어질수록 각각의 음원들과 마이크로폰 어레이 간의 거리 차이와 각도 차이는 감소하는 효과가 나타난다.
통상적으로 마이크로폰 어레이(microphone array)는 다수의 마이크로폰들을 조합하여 사운드 자체뿐만 아니라 취득하려는 사운드의 방향이나 위치와 같은 지향성(directivity)에 관한 부가적인 성질을 얻을 수 있다. 지향성이라 함은 음원 신호가 어레이를 구성하는 다수의 마이크로폰들 각각에 도달하는 시간 차이를 이용하여 특정 방향에 위치한 음원으로부터 방사되는 음원 신호에 대한 감도를 크게 하는 것을 말한다. 따라서, 이러한 마이크로폰 어레이를 이용하여 음원 신호들을 취득함으로써 특정 방향으로부터 입력되는 음원 신호를 강조하거나 억제할 수 있다.
그러나, 본 실시예에서 마이크로폰 어레이(110)와 음원들(A, B, C 및 D) 간의 거리가 멀어질수록 음원들로부터 방사되는 소리는 대부분 마이크로폰 어레이(110)의 전면(front)에 도달하게 된다. 또한, 휴대용 디지털 기기의 크기적 제약으로 인해 디지털 기기에 구비된 마이크로폰 어레이(110)의 크기 역시 작을 수 밖에 없다. 더불어, 앞서 설명한 바와 같이 원거리에서 사운드를 취득하려 할 경우, 마이크로폰 어레이(110)와 음원들 간의 거리 및 각도 차이도 감소하게 된다. 따라서, 음원들로부터 방사된 소리로부터 선명한 다채널 사운드를 획득할 수 없는 문제점이 발생한다.
도 1b는 도 1a와 동일한 문제 상황 하에서 실제 마이크로폰 어레이(110)가 마치 음원들에 근접한 위치에 가상 마이크로폰 어레이(120)로서 존재하는 경우를 가정하고 있다. 도 1a와 마찬가지로 점선으로 도시된 동심원들은 가상 마이크로폰 어레이(120)로부터 동일한 거리에 위치한 지점을 연결하여 시각적으로 표현한 것이다. 도 1b에서 각각의 음원들(A, B, C 및 D)은 가상 마이크로폰 어레이(120)의 주위에 근접하여 위치하고 있으며 가상 마이크로폰 어레이(120)와 다양한 각도 및 거리를 형성하고 있다. 따라서, 가상 마이크로폰 어레이(120)를 통해 음원들로부터 방사되는 소리를 획득할 경우, 다채널의 사운드를 용이하게 획득할 수 있다. 이러한 아이디어를 바탕으로 이하에서는 가상 마이크로폰 어레이를 어떻게 구현할 수 있으며 이를 통해 어떻게 다채널 사운드를 획득할 수 있는지를 설명하겠다.
도 2는 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치를 도시한 블럭도로서, 마이크로폰 어레이(200), 음원 분리부(210), 음원 위치 추정부(220) 및 다채널 음원 신호 생성부(250)를 포함한다. 다채널 음원 신호 생성부(250)는 다시 거리 보상부(230) 및 방향 보상부(240)를 포함한다.
마이크로폰 어레이(200)는 복수 개의 마이크로폰들을 통해 음원들로부터 방사된 다양한 음원 신호를 입력받는다.
음원 분리부(210)는 마이크로폰 어레이(200)를 통해 입력된 혼합 사운드로부터 이하에서 설명할 다양한 음원 분리 알고리즘을 이용하여 각각의 음원 신호들을 분리한다. 마이크로폰 어레이(200)를 통해 입력된 음원 신호들은 복수 개의 음원들로부터 방사된 다양한 소리가 혼재된 혼합 신호이다. 따라서, 이러한 혼합 신호로부터 다채널 사운드를 추출하기 위해서는 우선 개별 음원 신호로 분리하는 과정이 선행되어야 한다. 개별 음원 신호로 분리하는 대표적인 방법에는 음원 신호 자체의 통계적인 속성을 이용하여 분리하는 방법, 음원 채널들 간의 속성 차이를 이용하여 분리하는 방법, 음원의 위치 정보에 기초하여 분리하는 방법 등이 널리 알려져 있다. 이하에서는 통계적인 속성을 이용하는 방법을 중심으로 기술하되, 기타의 방법도 간단하게 설명하겠다.
첫째, 음원 자체의 통계적인 속성을 이용하는 방법을 소개한다. 다수의 음원 신호들이 혼합된 혼합 신호로부터 원래의 음원 신호들을 분리해내는 문제를 암묵 신호 분리(blind source separation, 이하 BSS라 한다.)이라고 한다. 즉, BSS는 신호 소스에 대한 아무런 사전 정보 없이 혼합 신호로부터 각각의 소스를 분리해내는 것을 목적으로 한다. 이러한 BSS를 해결하는 수단 내지 기술 중 하나가 독립 요소 해석(independent component analysis, 이하 ICA라 한다.) 기법으로서 앞서 설명한 통계적 속성을 이용하는 방법에 해당한다.
ICA는 복수 개의 신호가 서로 섞여서 마이크로폰을 통해 수집되고, 수집된 신호들로부터 원래의 신호들이 서로 통계적으로 독립이라는 조건만을 이용하여 혼합되기 전의 신호들 및 혼합 행렬을 찾아내는 방법이다. 여기서 통계적으로 독립이라는 것은 혼합 신호를 구성하는 개별 신호들이 서로 간에 해당 신호에 대한 어떠한 정보도 제공하지 않는다는 것을 의미한다. 즉, ICA에 의한 음원 분리 기술은 통계적으로 서로 독립인 음원 신호 자체만을 출력할 수 있으며, 분리된 음원 신호들이 최초에 어떠한 음원 신호들이었는지에 대해서는 정보를 제공하지 않는다. 따라서, 분리된 음원 신호들에 대응하는 음원들의 위치 정보를 추정하는 과정이 필요하다. 이러한 ICA 알고리즘들에는 대표적으로 infomax, FastICA 및 JADE 등이 널리 알려져 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다.
둘째, 음원 채널들 간의 속성 차이를 이용하여 분리하는 방법을 간단히 소개하면 다음과 같다. 이 방법은 시간-주파수 마스킹(time-frequency masking)을 이용하는 것으로서, 마스킹이란 특정 신호에 의하여 다른 신호가 가려지는 현상을 말한다. 우선, 마이크로폰들(음원 채널을 의미한다.)을 통해 입력된 음원 신호들을 윈도우 필터링(window filtering)하고, 시간-주파수 영역(time-frequency domain)으로의 고속 푸리에 변환(fast Fourier transform)을 수행한 후, 생성된 프레임(frame)들로부터 음원 채널 간의 진폭 비율과 위상 차이를 생성한다. 여기서, 프레임이란 시간의 변화에 따라 음원 신호를 일정한 구간으로 분리한 단위 유닛(unit)을 의미한다. 일반적으로 디지털 신호 처리를 위해서는 해당 시스템에 입력된 신호를 유한하게 제한하기 위해 프레임이라는 일정한 구간으로 분리하여 처 리하게 되는데, 시간의 흐름에 따라 연속적인 하나의 음원 신호를 프레임으로 분리하기 위해 사용되는 특수한 필터가 상기된 윈도우 함수(window function)이다.
이상에서 생성된 진폭 비율과 위상 차이로부터 각각 감쇠(attenuation) 값과 지연(delay) 값을 산출하고, 이들의 상관 관계로부터 더 강한 에너지값을 갖는 신호를 선택함으로써 개별 음원 신호들을 분리한다. 즉, 채널들 간의 신호의 속성 차이를 이용한 마스킹을 통하여 음원 신호를 분리할 수 있다.
셋째, 음원의 위치 정보에 기초하여 분리하는 방법을 간단히 소개하면 다음과 같다. 일반적으로 2 개 이상의 마이크로폰들로 이루어진 마이크로폰 어레이는 배경 잡음과 혼합된 목표 신호를 고감도로 수신하기 위해 마이크로폰 어레이에 수신된 각각의 신호에 적절한 가중치를 주어 진폭을 향상시킴으로써 원하는 목표 신호와 간섭 잡음 신호의 방향이 다를 경우의 잡음을 공간적으로 줄일 수 있는 필터 역할을 하는데, 이러한 일종의 공간적 필터(spatial filter)를 빔 형성기(beamformer)라고 한다.
음원의 위치 정보를 이용하는 방법은 이러한 빔 형성기를 이용하여 마이크로폰 어레이로 입력되는 소리들을 다양하게 지연시키며 특정 방향에 음원이 존재하지는 여부를 판단한다. 여기서, 음원의 위치 정보란 기준점(마이크로폰 어레이가 될 수 있다.)을 중심으로 음원이 위치한 방향을 의미한다. 즉, 마이크로폰 어레이를 구성하는 개별 마이크로폰들을 각각 다르게 지연시키면 특정 방향에 위치한 음원 신호에 대해 지향성을 갖게 되고, 이러한 과정을 전 방향에 대하여 수행한다. 만약 특정 방향으로부터 입력된 음원 신호의 음압이 최대값을 갖는다면 해당 방향에 음 원이 존재한다고 판단할 수 있다. 다음으로, 이상의 과정을 통해 음원이 존재한다고 판단된 방향에 해당하는 지연값을 결정하여 해당 음원 신호를 추출함으로써 혼합 신호로부터 음원 신호들을 분리할 수 있다.
이상에서 음원 분리부(210)을 통해 혼합 신호로부터 음원 신호들을 분리하는 다양한 방법들을 설명하였다. 이러한 음원 분리 방법들은 본 발명의 기술 사상에 따라 다양한 실시예들로 구현될 수 있는 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다.
음원 위치 추정부(220)는 음원 분리부(210)를 통해 분리된 복수 개의 음원 신호들로부터 이러한 음원 신호들에 대응하는 음원들의 위치를 추정한다. 여기서 음원들의 위치란 음원들이 위치한 방향 및 거리를 의미한다. 음원들의 위치를 추정하는 방법은 입력된 음원들이 어떠한 형태로 공급되느냐에 따라 달라질 수 있는데, 음원 분리부(210)에서 사용된 음원 분리 방법에 따라 음원 위치 추정부(220)에서 음원의 위치를 추정하는 방법도 달라질 수 있다. 예를 들어, 빔 형성기를 통해 음원이 분리된 경우 음원의 분리 과정을 통해 이미 음원이 위치한 방향 정보가 획득되었으므로 거리 정보만을 구하면 될 것이다. 반면, ICA를 통해 분리된 음원 신호들은 위치 정보가 전혀 획득되지 않았기 때문에 음원 위치 추정부(220)를 통해 각각의 음원 신호에 대응하는 음원의 위치 정보를 추정해야 할 것이다. 이하에서는 다양한 음원 분리 방법들 중 ICA를 통해 분리된 음원 신호들에 대한 음원의 위치를 추정하는 과정을 설명하겠다.
우선, 복수 개의 음원들이 혼합 신호로서 마이크로폰 어레이(200)에 입력될 때의 혼합 채널(mixing channel)에 대한 전달 함수(transfer function)를 추정한다. 여기서 혼합 채널의 전달 함수란, 복수 개의 음원들에서 각각 복수 개의 마이크로폰 사이의 전달 함수를 말하며, 각 음원들을 입력으로, 마이크로폰에 도달한 신호를 출력으로 하는 시스템의 전달 특성을 나타내는 함수를 의미한다. 혼합 채널의 전달 함수를 추정하는 과정을 보다 상세하게 설명하면, 음원 분리부(210)에서는 ICA의 학습 규칙(learning rule)을 이용한 통계적인 음원 분리 과정을 통해 상기 혼합 신호 및 상기 분리된 음원 신호들의 관계에 관한 분리 채널(unmixing channel)을 결정한다. 결정된 분리 채널은 음원 위치 추정부(220)에서 추정하고자 하는 전달 함수와 역(inverse)의 상관 관계를 갖는다. 따라서, 음원 위치 추정부(220)는 결정된 분리 채널의 역을 구함으로써 전달 함수를 추정할 수 있다. 그 결과, 분리된 음원 신호들에 대해 각각 추정된 전달 함수를 승산(multiplication)함으로써 단일 음원이 있을 때의 마이크로폰 어레이의 입력 신호를 각각 획득할 수 있다.
이어서, 음원 위치 추정부(220)는 이상의 과정을 통해 획득된 마이크로폰 어레이의 입력 신호로부터 음원의 위치를 추정한다. 마이크로폰 어레이의 입력 신호가 획득되면, 도착 시간 지연법(TDOA, time delay of arrival), 빔 형성 방법(beam-forming), 고해상도 스펙트럼 추정 방법(spectral analysis) 등의 다양한 음원 위치 추정 방법들을 통해 상기 각각의 음원의 위치 정보를 추정한다. 이러한 다양한 위치 추정 방법들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것으로, 여기에서는 도착 시간 지연법만을 간단 히 설명한다.
도착 시간 지연법에 따르면 음원 위치 추정부(220)는 음원으로부터 마이크로폰 어레이(200)로 입력되는 신호에 대하여 어레이를 구성하는 마이크로폰들을 2 개씩 짝(pair)을 지어 마이크로폰들 간의 시간 지연을 측정하고, 측정된 시간 지연으로부터 음원의 방향을 추정한다. 이어서, 음원 위치 추정부(220)는 각각의 짝에서 추정된 음원 방향들이 교차하는 공간상의 지점에 음원이 존재한다고 추정하게 되고, 그 결과 음원이 위치한 방향과 거리 정보를 획득할 수 있다.
이상에서 음원 위치 추정부(220)를 통해 음원의 위치를 추정하는 방법을 설명하였다. 앞서 설명한 바와 같이 음원의 위치를 추정하는 것은 음원 분리부(210)에서 혼합 신호로부터 음원 신호들을 분리하는 방법에 따라 달라지고, 이러한 음원 분리 방법과 음원의 위치 추정 방법에 관한 다양한 방법들이 공개되어 있으므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 음원 분리부(210)와 음원 위치 추정부(220)의 다양한 실시예들을 용이하게 조합할 수 있을 것이다.
다채널 음원 신호 생성부(250)는 음원 위치 추정부(220)를 통해 추정된 음원들의 위치와 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 상기 음원 신호들을 보상함으로써 다채널 음원 신호를 생성한다. 다채널 음원 신호 생성부(250)를 구성하는 거리 보상부(230)와 방향 보상부(240)를 통해 구체적인 내용을 설명한다.
거리 보상부(230)는 음원 위치 추정부(220)를 통해 상기 추정된 음원들과 다채널 사운드의 기준으로 가정한 가상 마이크로폰 어레이 간의 거리 차이만큼 음원 분리부(210)를 통해 분리된 음원 신호들을 보상함(음원 신호들의 진폭이 보상의 대상이 될 수 있다.)으로써 가상 마이크로폰 어레이의 위치에 해당하는 음원 신호를 생성한다. 여기서, 가상 마이크로폰 어레이란 도 1b에서 설명한 바와 같이 다채널 사운드를 획득하기 위해 음원들에 근접한 위치에 실제 마이크로폰 어레이와 동일한 마이크로폰 어레이가 존재한다고 가정한 가상의 마이크로폰 어레이를 말한다. 이러한 가상 마이크로폰 어레이의 위치는 다채널 사운드를 음원들에 근접하여 획득하기 위해 음원 위치 추정부(220)를 통해 추정된 음원들의 위치를 고려하여 음원들과 실제 마이크로폰 어레이(220) 사이에서 설정된 임의의 위치일 수 있다. 예를 들어, 가상 마이크로폰 어레이는 음원들이 형성하는 일련의 그룹에서 가장 중앙에 위치하도록 설정될 수 있을 것이다.
이하에서는 거리 보상부(230)가 음원 신호들의 진폭을 보상하는 과정을 도 4, 도 5a 내지 도 5b를 참조하여 보다 상세하게 설명할 것이되, 먼저 도 5a 및 도 5b의 문제 상황을 소개하고, 이어서 도 4의 구성을 설명한다.
도 5a 및 도 5b는 각각 도 4의 상대 위치 산출부를 통해 상대 위치를 산출하는 상황과 방법을 도시한 도면이다. 도 5a에서는 실제 마이크로폰 어레이가 음원 S로부터 거리 R 만큼 떨어진 P 위치에 존재한다고 가정한다. 이 때, 실제 마이크로폰 어레이보다 음원 S에 더 가까운 임의의 위치 P'에 가상 마이크로폰 어레이가 존재한다고 가정한다. 음원으로부터 가상 마이크로폰 어레이까지의 거리는 R'라고 하자.
도 5b에서는 이하에서 설명할 도 4의 상대 위치 산출부에서 사용할 변수들을 소개한다. 음원 S로부터 실제 마이크로폰 어레이까지의 거리(SP)와 가상 마이크로폰 어레이까지의 거리(SP')는 각각 R, R'라고 하자. 또한, 음원 S로부터 양 마이크로폰 어레이가 이루는 각도를 각각 θ, θ'라고 하자. 실제 마이크로폰 어레이로부터 가상 마이크로폰 어레이까지의 거리(PP')를 d라고 하자. 이상의 변수들로부터 직각 삼각형의 각 변을 구하면, SO는 R·sinθ 또는 R'·sinθ'이고, OP 및 OP'는 각각 R·cosθ, R'·cosθ'가 될 것이다. 이하에서는 이들 변수들을 참조하여 도 4를 설명한다.
도 4는 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에서 거리 보상부(430)를 상세하게 도시한 블럭도로서, 상대 위치 산출부(431), 보상 계수 산출부(432) 및 신호 거리 조절부(433)를 포함한다.
상대 위치 산출부(431)는 음원 위치 추정부(미도시)를 통해 추정된 음원의 위치 정보(R, θ)와 임의로 설정된 가상 마이크로폰의 위치 정보(d)를 입력받아 가상 마이크로폰 어레이에 대한 음원의 상대적인 위치(R', θ')를 산출한다. 보다 상세하게 설명하면 다음과 같다.
앞서 도 5b에서 설명한 직각 삼각형의 변 SO에 해당하는 변수는 R·sinθ 또는 R'·sinθ'로 정의되며, 다음의 수학식 1과 같이 동일한 값을 갖는다.
Figure 112007082980929-PAT00001
또한, 도 5b에서 설명한 직각 삼각형의 밑변 OP는 OP'와 PP'의 합과 같으므로, 다음의 수학식 2로 표현된다.
Figure 112007082980929-PAT00002
이상의 수학식 1과 수학식 2에서 미지수 R'과 θ'를 제외한 나머지 변수들 R, θ 및 d는 이미 알려진 값이다. 따라서, 미지수가 2 개이고, 식이 2 개인 연립 방정식이 된다. 이 연립 방정식의 해를 구하면, 다음의 수학식 3 및 수학식 4와 같다.
Figure 112007082980929-PAT00003
Figure 112007082980929-PAT00004
따라서, 이상과 같은 방법을 통해 상대 위치 산출부(431)는 가상 마이크로폰 어레이에 대한 음원의 상대적인 위치(R', θ')를 산출할 수 있다.
보상 계수 산출부(432)는 상대 위치 산출부(431)를 통해 산출된 상대적인 위치에 기초하여 음원으로부터 실제 마이크로폰 어레이까지의 거리와 음원으로부터 가상 마이크로폰 어레이까지의 거리 차이에 대응하는 거리 보상 계수를 산출한다. 여기서, 거리 보상 계수란 실제 마이크로폰 어레이를 통해 입력된 음원 신호를 마치 가상 마이크로폰 어레이를 통해 입력된 음원 신호인 것처럼 보상해주기 위해 진폭(amplitude)의 이득(gain)을 변화시키는 값이다. 이러한 거리 보상 계수는 음파 가 진행하면서 진폭이 감쇠하는 파동 방정식(wave equation)으로부터 다음의 수학식 5와 같이 유도될 수 있다.
Figure 112007082980929-PAT00005
여기서, t는 시간이고, r은 음원으로부터의 거리이고, A는 진폭이고, w는 주파수이며, k는 웨이브 넘버(wave number)를 의미한다. x(t,r)은 거리와 시간을 독립 변수로 하여 거리와 시간에 따른 음압을 의미하는 것으로, 정현파의 음파가 거리 r 만큼 진행할수록 음압(또는, 음원 에너지를 의미한다.)은 점점 더 작아진다는 것을 알 수 있다. 즉, 음원으로부터의 거리와 음압은 반비례한다. 이를 음압의 절대값을 통해 확인하면 다음의 수학식 6과 같이 정리된다.
Figure 112007082980929-PAT00006
수학식 6에서
Figure 112007082980929-PAT00007
는 1로 수렴하므로 수학식 6은 음원으로부터의 거리 r에 의한 식으로 정리된다.
음원으로부터 방사된 사운드가 실제 마이크로폰 어레이까지 진행해서 입력된 신호를 s(t)라고 하고, 가상 마이크로폰 어레이까지 진행해서 입력된 신호를 s'(t)라고 하면, 입력 신호 s(t)로부터 입력 신호 s'(t)로 변환하기 위한 거리 보상 계 수는 이상의 수학식 6으로부터 다음의 수학식 7과 같이 유도된다.
Figure 112007082980929-PAT00008
여기서, α는 거리 보상 계수로서 실제 마이크로폰 어레이의 입력 신호 s(t,R)과 가상 마이크로폰 어레이의 입력 신호 s'(t,R)의 절대값의 비율로 표현된다. 수학식 7에서 분자와 분모의 공통 변수들을 소거하여 정리하면, 결국 음원으로부터 실제 마이크로폰 어레이까지의 거리(R)와 음원으로부터 가상 마이크로폰 어레이까지의 거리(R')의 비율로 정리가 된다. 즉, 수학식 7은 거리 보상 계수가 거리 R 및 R'에 의해서 결정된다는 것을 의미한다. 이상과 같이 보상 계수 산출부(432)는 음원으로부터 실제 마이크로폰 어레이까지의 거리와 음원으로부터 가상 마이크로폰 어레이까지의 거리 차이에 대응하는 거리 보상 계수를 산출한다.
신호 거리 조절부(433)는 보상 계수 산출부(432)를 통해 산출된 거리 보상 계수에 따라 음원 신호의 크기를 조절한다. 이 과정은 다음의 수학식 8과 같이 음원 신호에 산출된 거리 보상 계수를 승산함으로써 이루어진다.
Figure 112007082980929-PAT00009
여기서, s(t)는 원래의 음원 신호이고, 거리 보상 계수 α와 승산하여 거리 보상된 음원 신호 s'(t)를 생성한다.
이상의 과정의 통해 거리 보상부(430)가 실제 마이크로폰 어레이와 가상 마이크로폰 어레이 간의 거리를 보상하는 과정을 설명하였다. 이하에서는 다시 도 2로 돌아가서 거리 보상부(230) 이후의 과정을 설명하도록 하겠다.
방향 보상부(240)는 가상 마이크로폰 어레이와 음원들이 형성하는 각도 차이만큼 거리 보상부(230)를 통해 생성된 음원 신호들을 보상함(음원 신호들의 방향을 보상한다는 의미이다.)으로써 다채널 음원 신호를 생성한다. 음원 신호들의 방향을 보상하는 것은 다수의 마이크로폰들이 일렬로 배열된 가상 마이크로폰 어레이를 이용하여 마치 다수의 마이크로폰들이 360도 전 방향으로부터 음원 신호들을 획득할 수 있도록 배열된 것과 같이 각도를 고려하여 음원 신호를 보상하는 것을 의미한다. 즉, 일렬로 배열된 가상 마이크로폰 어레이를 이용하여 획득한 음원 신호들에 대하여 가상 마이크로폰 어레이와 음원들이 이루는 각도만큼 방향을 보상함으로써 다채널 사운드를 획득할 수 있도록 하기 위함이다. 이하에서는 도 6을 참조하여 보다 상세하게 설명한다.
도 6은 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에서 방향 보상부(640)를 상세하게 도시한 블럭도로서, 방향 가중치 산출부(641) 및 신호 방향 조절부(642)를 포함한다.
방향 가중치 산출부(641)는 거리 보상부(미도시)로부터 입력된 보상된 위치 정보를 입력받아 가상 마이크로폰 어레이와 음원들 각각이 형성하는 각도에 따른 방향 가중치를 산출한다. 방향 가중치를 산출하는 방법에 있어서 시각적인 도움을 얻기 위해 도 7을 참조한다.
도 7은 도 6의 방향 가중치 산출부(641)를 통해 방향 가중치를 산출하는 방법을 도시한 도면으로서, 4 개의 개별 마이크로폰들로 구성된 가상 마이크로폰 어레이(710)를 가정하고 있다. 가상 마이크로폰 어레이(710)를 중심으로 원의 각기 다른 방향에 4 개의 가상 마이크로폰들(721, 722, 723 및 724)이 위치한다고 가정한다. 이러한 가상 마이크로폰들(721, 722, 723 및 724)은 가상 마이크로폰 어레이(710)를 중심으로 360도 전 방향으로부터 수신되는 사운드를 입체감 있게 획득하기 위해서는 가상 마이크로폰들(721, 722, 723 및 724)을 각 방향에 따라 고르게 배치하는 것이 좋을 것이다. 예를 들어, 도 7에서와 같이 개별 마이크로폰들의 개수가 4 개인 경우에는 약 90도마다 마이크로폰을 1 개씩 배치할 수 있을 것이며, 만약 스테레오 채널의 경우에는 약 180도마다 마이크로폰을 1 개씩 배치할 수 있을 것이다. 이러한 가상 마이크로폰들의 배치는 본 발명의 실시예들이 구현되는 환경을 고려하여 적절히 설계될 수 있다.
이어서, 기준 방향(730)을 설정하고 기준 방향으로부터 4 개의 가상 마이크로폰들(721, 722, 723 및 724)까지의 각도를 각각 φ1, φ2, φ3 및 φ4라고 하자. 이들 4 개의 가상 마이크로폰들(721, 722, 723 및 724)과 가상 마이크로폰 어레이(710) 간의 간격은 동일하다. 따라서, 각 가상 마이크로폰들은 해당하는 방향 φi에 따라 음원들로부터 방사되는 음원 신호들을 획득하는 정도에 차이가 발생하게 된다.
도 6의 방향 가중치 산출부(641)는 가상 마이크로폰 어레이가 마치 각각의 가상 마이크로폰들의 위치에서 해당하는 사운드를 회득하는 것과 같은 효과를 갖도록 음원 신호들을 보상해주어야 한다. 가상 마이크로폰의 중심으로 입력되는 음원 신호들에 거리에 대한 신호 차이는 이미 도 4에서 설명한 거리 보상부(430)를 통해 보상되었기 때문에, 여기에서는 방향에 따른 효과만을 고려하여, 그 신호 차이를 보상해주면 된다. 이러한 역할을 바로 도 6의 방향 보상부(640)가 수행한다.
방향 가중치 산출부(641)에서 산출하는 방향 가중치는 가상 마이크로폰 어레이의 방향과 가까운 방향에 위치한 음원으로부터의 음원 신호가 가상 마이크로폰 어레이의 방향과 먼 방향에 위치한 음원으로부터의 음원 신호에 비해 상대적으로 큰 값이어야 할 것이다. 즉, 방향 가중치는 음원의 위치가 가상 마이크로폰 어레이의 최대 감도 방향에 가까울수록 증가하는 값일 것이다. 여기서, 최대 감도 방향이란, 마이크로폰 어레이가 음원 신호를 감지하는 정도가 최대인 방향을 의미하는 것으로, 일반적으로 마이크로폰 어레이의 정면 방향이 될 것이다. 방향 가중치를 산출하는 방법은 이러한 원리에 따라 다양하게 설계될 수 있을 것이며, 그 일 실시예를 다음의 수학식 9와 같이 제시한다.
Figure 112007082980929-PAT00010
여기서, βik는 방향 가중치를 의미하고, i는 가상 마이크로폰들의 인덱스이며, k는 음원(또는, 음원의 위치를 의미한다.)의 인덱스를 의미한다. 수학식 9는 마이크로폰이 바라보는 전방을 0도로 하고, 좌/우로 인접한 마이크로폰까지의 각도를 각각 ±90도 정했을 때의 방향 가중치를 나타낸다. 다시 말해서, 수학식 9는 가상 마이크로폰이 바라보는 전방을 기준으로 좌/우의 90도씩, 즉 전방 180도의 방향으로부터 입사되는 음원 신호는 증폭시키고, 그 외의 신호는 가중치 0을 부여하는 방법을 제시하고 있다. 수학식 9에 따른 음원으로부터의 입사 각도와 가중치와의 관계를 시각적으로 확인하면 도 8과 같다.
도 8은 가상 마이크로폰 어레이와 음원이 이루는 각도에 따른 방향 가중치를 예시한 그래프로서, 가로축이 각도를 나타내고, 세로축이 가중치를 나타낸다. 도 8에서 보듯이 중앙의 0도(정면)를 기준으로 양쪽의 각각 90도씩 가중치를 갖되, 정면 방향으로부터 입사되는 음원 신호의 가중치가 가장 크고, 좌/우로 갈수록 가중치가 감소하고 있는 것을 볼 수 있다. 일반적으로 정면으로부터 입사되는 음원 신호의 세기를 더 크게 느끼고 배면으로부터 입사되는 음원 신호의 세기는 작게 느끼 게 되므로 입체감 있는 다채널 사운드를 획득하기 위한 당연한 형태의 그래프이다.
다시 도 6으로 돌아와서, 다음의 과정을 설명한다.
신호 방향 조절부(642)는 가중치 산출부(641)를 통해 산출된 방향 가중치에 따라 음원 신호의 크기를 조절한다. 이 과정은 다음의 수학식 10과 같이 보상된 음원 신호에 산출된 방향 가중치를 승산함으로써 이루어진다.
Figure 112007082980929-PAT00011
여기서, Zi(t)는 최종적으로 보정된 출력 음원 신호이고, s'k(t)는 거리 보상부(미도시)를 통해 거리 보상된 음원 신호를 의미한다. 즉, 수학식 10은 음원의 인덱스 k만큼 각각의 음원에 대한 방향 보정을 하고 이들 보정된 신호를 합산하여 출력 신호를 생성한다.
이상에서 도 2의 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치를 전체적으로 설명하였다. 본 실시예에 따르면 휴대용 사운드 취득 기기 등에 구비된 마이크로폰 어레이를 통해 입력된 다수의 음원 신호들로부터 입체감 있는 다채널 사운드를 획득할 수 있으며, 특히 음원으로부터 원거리에 떨어진 위치에서도 진폭(거리) 보상 및 방향(각도) 보상을 이용하여 다채널 사운드를 효과적으로 획득할 수 있다.
도 3은 본 발명의 다른 실시예에 따라 위치 설정부를 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에 추가하여 도시한 블럭도로서, 마이크로폰 어레 이(300), 음원 분리부(310), 음원 위치 추정부(320), 위치 설정부(325), 거리 보상부(330) 및 방향 보상부(340)를 포함한다. 이들 중 위치 설정부(325)를 제외한 나머지 구성들은 모두 도 2에서 설명한 다채널 사운드 획득 장치와 동일하므로 여기에서는 위치 설정부(325)를 중심으로 설명한다.
앞서 설명한 바와 같이 거리 보상부(330)에서는 우선 음원 위치 추정부(320)를 통해 추정된 음원의 위치 정보와 임의로 설정된 가상 마이크로폰의 위치 정보를 입력받아 가상 마이크로폰 어레이에 대한 음원의 상대적인 위치를 산출한다. 여기서, 가상 마이크로폰의 위치를 설정하는 역할을 바로 위치 설정부(325)가 수행한다. 즉, 위치 설정부(325)는 사용자 입력값, 미리 저장된 설정값, 획득 대상 사운드의 거리를 추정할 수 있는 다른 장치에 의한 추정값 또는 음원 위치 추정부(320)를 통해 추정된 음원들의 위치를 고려한 값 중 어느 하나에 따라 임의의 위치를 가상 마이크로폰 어레이의 위치로 설정한다. 또한, 임의의 위치는 다채널 사운드를 음원들에 근접하여 획득하기 위해 실제 마이크로폰 어레이보다는 음원에 근접한 위치일 것이다.
이러한 위치 설정부(325)는 다양한 방법에 의해 가상 마이크로폰 어레이의 위치를 설정할 수 있을 것이다. 예를 들어, 음원 취득이 가능한 휴대용 기기 등에 구비된 사용자 인터페이스(user interface)를 통해 사용자로부터 특정 거리 정보를 입력받을 수도 있고, 고정 거리가 미리 특정 저장 장치에 저장되어 있다가 필요시에 호출되어 사용될 수도 있으며, 줌(zoom) 렌즈와 같은 동영상 촬영 기기의 줌 제어 장치와 연동되어 가변적인 값으로 설정될 수도 있을 것이다. 이러한 다양한 실 시예들을 통해 다채널 사운드를 획득함에 있어서 다양한 위치 설정 수단을 제공할 수 있으며, 본 실시예에 따른 마이크로폰 어레이가 사용되는 환경에 맞는 적절한 다채널 사운드 획득 장치의 제작이 가능하다.
도 9는 본 발명의 또 다른 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법을 도시한 순서도로서 다음과 같은 단계들을 포함한다.
910 단계에서는 마이크로폰 어레이를 통해 입력된 음원 신호들로부터 음원 신호들에 대응하는 음원들의 위치를 추정한다. 이를 위해, 마이크로폰 어레이 주위에 위치한 음원들로부터 방사된 혼합 사운드로부터 복수 개의 음원 신호들을 분리한다. 음원 신호들을 분리하는 방법은 앞서 설명한 다양한 음원 분리 알고리즘들이 활용될 수 있으며, 이미 도 2의 음원 분리부(210)를 통해 설명하였다. 다음으로, 분리된 음원 신호들에 대응하는 음원들의 위치(음원들이 위치한 방향 및 거리를 의미한다.)를 추정한다. 이 과정은 음원 분리 알고리즘에 따라 달라지게 되며, 이러한 방법들의 다양한 실시예들에 관해서는 이상의 도 2의 음원 위치 추정부(220)를 통해 설명하였으므로 여기에서 자세한 설명은 생략한다.
920 단계에서는 910 단계를 통해 추정된 음원들의 위치와 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 음원 신호들을 보상함으로써 다채널 음원 신호를 생성한다. 이를 위해, 추정된 음원들과 가상 마이크로폰 어레이 간의 거리 차이만큼 음원 신호들을 보상함으로써 가상 마이크로폰 어레이의 위치에 해당하는 음원 신호를 생성하고, 가상 마이크로폰 어레이와 음원들이 형성하는 각도 차이만큼 음원 신호들의 방향을 보상함으로써 최종적으로 다채 널 음원 신호를 생성한다. 이상의 과정은 이상의 도 2의 거리 보상부(230) 및 방향 보상부(240)를 통해 설명하였으므로 여기에서 자세한 설명은 생략한다.
이상의 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법에 관한 실시예에 따르면, 마이크로폰 어레이를 통해 입력된 다수의 음원 신호들로부터 입체감 있는 다채널 사운드를 획득할 수 있으며, 특히 음원으로부터 원거리에 떨어진 위치에서도 다채널 사운드를 효과적으로 획득하는 것이 가능하다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점 에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a 및 도 1b는 각각 본 발명이 해결하고자 하는 문제의 발생 상황과 문제 해결을 위한 아이디어를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치를 도시한 블럭도이다.
도 3은 본 발명의 다른 실시예에 따라 위치 설정부를 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에 추가하여 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에서 진폭 보상부를 상세하게 도시한 블럭도이다.
도 5a 및 도 5b는 각각 도 4의 상대 위치 산출부를 통해 상대 위치를 산출하는 상황과 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 장치에서 방향 보상부를 상세하게 도시한 블럭도이다.
도 7은 도 6의 방향 가중치 산출부를 통해 방향 가중치를 산출하는 방법을 도시한 도면이다.
도 8은 가상 마이크로폰 어레이와 음원이 이루는 각도에 따른 방향 가중치를 예시한 그래프이다.
도 9는 본 발명의 또 다른 실시예에 따른 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법을 도시한 순서도이다.

Claims (15)

  1. 마이크로폰 어레이(microphone array)를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 상기 음원 신호들에 대응하는 음원들의 위치를 추정하는 단계; 및
    상기 추정된 음원들의 위치와 상기 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 상기 음원 신호들을 보상함으로써 다채널 음원 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  2. 제 1 항에 있어서,
    상기 다채널 음원 신호를 생성하는 단계는
    상기 추정된 음원들과 상기 가상 마이크로폰 어레이 간의 거리 차이만큼 상기 음원 신호들을 보상하는 단계; 및
    상기 추정된 음원들과 상기 가상 마이크로폰 어레이가 형성하는 각도 차이만큼 상기 음원 신호들을 보상하는 단계를 포함하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  3. 제 2 항에 있어서,
    상기 거리 차이만큼 상기 음원 신호들을 보상하는 단계는
    상기 추정된 음원들의 위치와 가상 마이크로폰 어레이의 위치에 기초하여 상 기 가상 마이크로폰 어레이에 대한 상기 음원의 상대적인 위치를 산출하는 단계;
    상기 산출된 상대적인 위치에 기초하여 상기 음원으로부터 상기 마이크로폰 어레이까지의 거리와 상기 음원으로부터 상기 가상 마이크로폰 어레이까지의 거리 차이에 대응하는 거리 보상 계수를 산출하는 단계; 및
    상기 산출된 거리 보상 계수에 따라 상기 음원 신호의 크기를 조절하는 단계를 포함하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  4. 제 2 항에 있어서,
    상기 각도 차이만큼 상기 음원 신호들을 보상하는 단계는
    상기 가상 마이크로폰 어레이와 상기 음원들 각각이 형성하는 각도에 따른 방향 가중치를 산출하는 단계; 및
    상기 산출된 방향 가중치에 따라 상기 음원 신호의 크기를 조절하는 단계를 포함하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  5. 제 4 항에 있어서,
    상기 방향 가중치는 상기 음원의 위치가 상기 가상 마이크로폰 어레이의 최대 감도 방향에 가까울수록 증가하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  6. 제 1 항에 있어서,
    사용자 입력값, 미리 저장된 설정값, 획득 대상 사운드의 거리를 추정할 수 있는 다른 장치에 의한 추정값 또는 상기 추정된 음원들의 위치를 고려한 값 중 어느 하나에 따라 상기 가상 마이크로폰 어레이의 위치를 설정하는 단계를 더 포함하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  7. 제 1 항에 있어서,
    상기 마이크로폰 어레이를 통해 입력된 혼합 사운드로부터 소정의 음원 분리 방법을 이용하여 복수 개의 음원 신호들을 분리하는 단계를 더 포함하고,
    상기 음원들의 위치를 추정하는 단계는 상기 분리된 음원 신호들에 대응하는 음원들의 위치를 추정하는 것을 특징으로 하는 다채널 사운드 획득 방법.
  8. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 마이크로폰 어레이를 통해 입력된 복수 개의 혼합된 음원 신호들로부터 상기 음원 신호들에 대응하는 음원들의 위치를 추정하는 음원 위치 추정부; 및
    상기 추정된 음원들의 위치와 상기 마이크로폰 어레이를 대체하는 가상 마이크로폰 어레이의 위치의 차이에 기초하여 상기 음원 신호들을 보상함으로써 다채널 음원 신호를 생성하는 다채널 음원 신호 생성부를 포함하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  10. 제 9 항에 있어서,
    상기 다채널 음원 신호 생성부는
    상기 추정된 음원들과 상기 가상 마이크로폰 어레이 간의 거리 차이만큼 상기 음원 신호들을 보상하는 거리 보상부; 및
    상기 추정된 음원들과 상기 가상 마이크로폰 어레이가 형성하는 각도 차이만큼 상기 음원 신호들을 보상하는 방향 보상부를 포함하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  11. 제 10 항에 있어서,
    상기 거리 보상부는
    상기 추정된 음원들의 위치와 가상 마이크로폰 어레이의 위치에 기초하여 상기 가상 마이크로폰 어레이에 대한 상기 음원의 상대적인 위치를 산출하는 상대 위치 산출부;
    상기 산출된 상대적인 위치에 기초하여 상기 음원으로부터 상기 마이크로폰 어레이까지의 거리와 상기 음원으로부터 상기 가상 마이크로폰 어레이까지의 거리 차이에 대응하는 거리 보상 계수를 산출하는 보상 계수 산출부; 및
    상기 산출된 거리 보상 계수에 따라 상기 음원 신호의 크기를 조절하는 신호 거리 조절부를 포함하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  12. 제 10 항에 있어서,
    상기 방향 보상부는
    상기 가상 마이크로폰 어레이와 상기 음원들 각각이 형성하는 각도에 따른 방향 가중치를 산출하는 방향 가중치 산출부; 및
    상기 산출된 방향 가중치에 따라 상기 음원 신호의 크기를 조절하는 신호 방향 조절부를 포함하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  13. 제 12 항에 있어서,
    상기 방향 가중치는 상기 음원의 위치가 상기 가상 마이크로폰 어레이의 최대 감도 방향에 가까울수록 증가하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  14. 제 9 항에 있어서,
    사용자 입력값, 미리 저장된 설정값, 획득 대상 사운드의 거리를 추정할 수 있는 다른 장치에 의한 추정값 또는 상기 추정된 음원들의 위치를 고려한 값 중 어느 하나에 따라 상기 가상 마이크로폰 어레이의 위치를 설정하는 위치 설정부를 더 포함하는 것을 특징으로 하는 다채널 사운드 획득 장치.
  15. 제 9 항에 있어서,
    상기 마이크로폰 어레이를 통해 입력된 혼합 사운드로부터 소정의 음원 분리 방법을 이용하여 복수 개의 음원 신호들을 분리하는 음원 분리부를 더 포함하고,
    상기 음원 위치 추정부는 상기 분리된 음원 신호들에 대응하는 음원들의 위치를 추정하는 것을 특징으로 하는 다채널 사운드 획득 장치.
KR1020070118086A 2007-11-19 2007-11-19 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 Expired - Fee Related KR101415026B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070118086A KR101415026B1 (ko) 2007-11-19 2007-11-19 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
US12/076,119 US8160270B2 (en) 2007-11-19 2008-03-13 Method and apparatus for acquiring multi-channel sound by using microphone array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070118086A KR101415026B1 (ko) 2007-11-19 2007-11-19 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치

Publications (2)

Publication Number Publication Date
KR20090051614A true KR20090051614A (ko) 2009-05-22
KR101415026B1 KR101415026B1 (ko) 2014-07-04

Family

ID=40641989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070118086A Expired - Fee Related KR101415026B1 (ko) 2007-11-19 2007-11-19 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치

Country Status (2)

Country Link
US (1) US8160270B2 (ko)
KR (1) KR101415026B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094613A (zh) * 2011-12-02 2014-10-08 弗劳恩霍弗促进应用研究注册公司 用于依据空间功率密度定位麦克风的装置和方法
KR20160050812A (ko) * 2014-10-31 2016-05-11 한화테크윈 주식회사 환경적응형 오디오 빔 포밍장치
KR101649710B1 (ko) * 2015-02-17 2016-08-23 하동경 음질 개선 방법 및 그 장치
KR20230080904A (ko) * 2021-11-30 2023-06-07 한국광기술원 청력 보조 장치, 청력 보조 돌봄 로봇 및 그 제어 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076523A1 (en) 2007-12-11 2009-06-18 Andrea Electronics Corporation Adaptive filtering in a sensor array system
US8150054B2 (en) * 2007-12-11 2012-04-03 Andrea Electronics Corporation Adaptive filter in a sensor array system
US9392360B2 (en) 2007-12-11 2016-07-12 Andrea Electronics Corporation Steerable sensor array system with video input
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101327112B1 (ko) * 2010-08-23 2013-11-07 주식회사 팬택 주변 소리 정보를 이용하여 다양한 사용자 인터페이스를 제공하는 단말기 및 그 제어방법
KR20120059827A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법
ES2525839T3 (es) 2010-12-03 2014-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adquisición de sonido mediante la extracción de información geométrica de estimativos de dirección de llegada
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
US20120294446A1 (en) * 2011-05-16 2012-11-22 Qualcomm Incorporated Blind source separation based spatial filtering
US10015589B1 (en) * 2011-09-02 2018-07-03 Cirrus Logic, Inc. Controlling speech enhancement algorithms using near-field spatial statistics
US9357293B2 (en) * 2012-05-16 2016-05-31 Siemens Aktiengesellschaft Methods and systems for Doppler recognition aided method (DREAM) for source localization and separation
US20130315402A1 (en) 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
JP5773960B2 (ja) * 2012-08-30 2015-09-02 日本電信電話株式会社 音響再生装置とその方法とプログラム
KR20140087104A (ko) * 2012-12-27 2014-07-09 전자부품연구원 음향기기 설치 정보 제공 시스템 및 그 방법과 개인별 맞춤 음향 제공 서버
CN104244164A (zh) * 2013-06-18 2014-12-24 杜比实验室特许公司 生成环绕立体声声场
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) * 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
JP6606784B2 (ja) * 2015-09-29 2019-11-20 本田技研工業株式会社 音声処理装置および音声処理方法
KR101747800B1 (ko) * 2016-01-25 2017-06-16 주식회사 디지소닉 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端（东莞）有限公司 一种采集声音信号的方法和装置
US10387108B2 (en) * 2016-09-12 2019-08-20 Nureva, Inc. Method, apparatus and computer-readable media utilizing positional information to derive AGC output parameters
US9986357B2 (en) 2016-09-28 2018-05-29 Nokia Technologies Oy Fitting background ambiance to sound objects
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10460727B2 (en) * 2017-03-03 2019-10-29 Microsoft Technology Licensing, Llc Multi-talker speech recognizer
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11310596B2 (en) 2018-09-20 2022-04-19 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
KR102559685B1 (ko) * 2018-12-19 2023-07-27 현대자동차주식회사 차량 및 그 제어방법
EP3918813A4 (en) 2019-01-29 2022-10-26 Nureva Inc. METHOD, APPARATUS AND COMPUTER-READABLE MEDIUM FOR CREATING AUDIO FOCUS AREAS DISSOCIATED FROM THE MICROPHONE SYSTEM FOR OPTIMIZING AUDIO EDITING AT PRECISE SPATIAL LOCATIONS IN A 3D SPACE
CN113763957B (zh) * 2019-03-12 2024-08-30 百度在线网络技术（北京）有限公司 应用于车辆的交互方法和装置
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
JP7572964B2 (ja) 2019-03-21 2024-10-24 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
CN113347532B (zh) * 2020-02-18 2022-08-30 宏碁股份有限公司 指定对象的声源的调控方法及应用其的音源处理装置
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN112261528B (zh) * 2020-10-23 2022-08-26 汪洲华 一种多路定向拾音的音频输出方法及系统
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
US11297434B1 (en) 2020-12-08 2022-04-05 Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. Apparatus and method for sound production using terminal
JP7814400B2 (ja) 2021-01-28 2026-02-16 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム
US12452584B2 (en) 2021-01-29 2025-10-21 Shure Acquisition Holdings, Inc. Scalable conferencing systems and methods
US12342137B2 (en) 2021-05-10 2025-06-24 Nureva Inc. System and method utilizing discrete microphones and virtual microphones to simultaneously provide in-room amplification and remote communication during a collaboration session
US12542123B2 (en) 2021-08-31 2026-02-03 Shure Acquisition Holdings, Inc. Mask non-linear processor for acoustic echo cancellation
US12289584B2 (en) 2021-10-04 2025-04-29 Shure Acquisition Holdings, Inc. Networked automixer systems and methods
EP4427465A1 (en) 2021-11-05 2024-09-11 Shure Acquisition Holdings, Inc. Distributed algorithm for automixing speech over wireless networks
CN114384466B (zh) * 2021-12-30 2025-09-30 北京声智科技有限公司 声源方向确定方法、装置、电子设备及存储介质
US12250526B2 (en) 2022-01-07 2025-03-11 Shure Acquisition Holdings, Inc. Audio beamforming with nulling control system and methods
US12356146B2 (en) 2022-03-03 2025-07-08 Nureva, Inc. System for dynamically determining the location of and calibration of spatially placed transducers for the purpose of forming a single physical microphone array
US12549917B2 (en) 2022-03-22 2026-02-10 Nureva, Inc. System for dynamically forming a virtual microphone coverage map from a combined array to any dimension, size and shape based on individual microphone element locations
US12457465B2 (en) 2022-03-28 2025-10-28 Nureva, Inc. System for dynamically deriving and using positional based gain output parameters across one or more microphone element locations
US12598261B2 (en) 2022-09-28 2026-04-07 Shure Acquisition Holdings, Inc. Wideband doubletalk detection for optimization of acoustic echo cancellation
TWI850905B (zh) * 2022-12-16 2024-08-01 宏碁股份有限公司 聲音訊號處理方法及行動裝置
US12587787B2 (en) 2023-05-09 2026-03-24 Nureva, Inc. System for dynamically adjusting the gain structure of sound sources contained within one or more inclusion and exclusion zones

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US7046812B1 (en) * 2000-05-23 2006-05-16 Lucent Technologies Inc. Acoustic beam forming with robust signal estimation
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
JP4195267B2 (ja) * 2002-03-14 2008-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識装置、その音声認識方法及びプログラム
JP2004193877A (ja) * 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
KR20040070966A (ko) 2003-02-05 2004-08-11 삼성전자주식회사 스테레오 녹음이 가능한 이동통신 단말기
TWI230023B (en) * 2003-11-20 2005-03-21 Acer Inc Sound-receiving method of microphone array associating positioning technology and system thereof
JP4675381B2 (ja) * 2005-07-26 2011-04-20 本田技研工業株式会社 音源特性推定装置
US7565288B2 (en) * 2005-12-22 2009-07-21 Microsoft Corporation Spatial noise suppression for a microphone array
US8194880B2 (en) * 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094613A (zh) * 2011-12-02 2014-10-08 弗劳恩霍弗促进应用研究注册公司 用于依据空间功率密度定位麦克风的装置和方法
CN104094613B (zh) * 2011-12-02 2017-06-09 弗劳恩霍弗促进应用研究注册公司 用于依据空间功率密度定位麦克风的装置和方法
KR20160050812A (ko) * 2014-10-31 2016-05-11 한화테크윈 주식회사 환경적응형 오디오 빔 포밍장치
KR101649710B1 (ko) * 2015-02-17 2016-08-23 하동경 음질 개선 방법 및 그 장치
KR20230080904A (ko) * 2021-11-30 2023-06-07 한국광기술원 청력 보조 장치, 청력 보조 돌봄 로봇 및 그 제어 방법

Also Published As

Publication number Publication date
US20090129609A1 (en) 2009-05-21
US8160270B2 (en) 2012-04-17
KR101415026B1 (ko) 2014-07-04

Similar Documents

Publication Publication Date Title
KR20090051614A (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
EP3320692B1 (en) Spatial audio processing apparatus
KR101456866B1 (ko) 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
US8577054B2 (en) Signal processing apparatus, signal processing method, and program
CN105451151B (zh) 一种处理声音信号的方法及装置
Marquardt et al. Interaural coherence preservation in multi-channel Wiener filtering-based noise reduction for binaural hearing aids
US20120082322A1 (en) Sound scene manipulation
US11523241B2 (en) Spatial audio processing
US20080170718A1 (en) Method to generate an output audio signal from two or more input audio signals
EP2393463A1 (en) Multiple microphone based directional sound filter
Huleihel et al. Spherical array processing for acoustic analysis using room impulse responses and time-domain smoothing
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
US20230024675A1 (en) Spatial audio processing
US10595150B2 (en) Method and apparatus for acoustic crosstalk cancellation
KR102008745B1 (ko) 이동 디바이스들을 위한 서라운드 사운드 레코딩
CN113766396A (zh) 扬声器控制
Fejgin et al. BRUDEX database: Binaural room impulse responses with uniformly distributed external microphones
JP4116600B2 (ja) 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体
Levi et al. A robust method to extract talker azimuth orientation using a large-aperture microphone array
EP3340648B1 (en) Processing audio signals
Ko et al. DNN-Based HRIRs Identification With a Continuously Rotating Speaker Array
Ağcaer et al. Binaural source localization based on modulation-domain features and decision pooling
Pörschmann et al. Spatial upsampling of individual sparse head-related transfer function sets by directional equalization
US20250317685A1 (en) Microphone signalbeamforming processing method, electronic device, and non-transitory storage medium
Marquardt et al. Incorporating relative transfer function preservation into the binaural multi-channel wiener filter for hearing aids

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20190628

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20190628