KR100856246B1 - 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법 - Google Patents

Abstract

본 발명은 실제 잡음 환경의 특성을 반영하여 빔포밍을 수행하기 위한 장치 및 방법에 관한 것이다. 이를 위하여 본 발명은 실제 잡음 환경의 특성을 반영한 빔포밍 장치에 있어서, 적어도 하나의 마이크로폰으로 구성되고, 마이크로폰을 통해 입력되는 입력신호를 출력하는 마이크로폰 어레이와, 입력신호가 입력되면, 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산한 후, 동일거리 별로 각각 코히런스들의 평균을 계산하고, 계산된 평균 코히런스들을 필터링 한 후 출력하는 코히런스 함수 생성부, 필터링된 평균 코히런스들을 이용하여 공간필터 계수를 산출하여 출력하는 공간필터 계수 산출부와, 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 잡음 처리된 신호를 출력하는 빔포밍 수행부를 포함하여 구성되는 것을 특징으로 한다.

빔포머, 마이크로폰 어레이, 코히런스

Description

실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법{Apparatus And Method For Beamforming Reflective Of Character Of Actual Noise Environment}

도 1은 종래기술에 따라 입력신호에 대해 빔포밍 동작을 수행하는 음성인식 장치의 내부 구성도,

도 2는 실제 마이크로폰으로 측정한 코히런스와 sinc 함수를 도시하는 예시도.

도 3은 본 발명의 실시 예에 따라 실제 환경의 잡음 특성을 반영하여 빔포밍을 수행하기 위한 음성인식 장치의 내부 구성도,

도 4는 4개의 마이크로폰을 구비하는 마이크로폰 어레이에서 마이크로폰 사이에서 코히런스를 계산을 설명하기 위한 예시도,

도 5는 도 4와 같이 구성되는 마이크로폰으로부터 계산된 코히런스 함수를 도시한 예시도,

도 6은 본 발명의 실시 예에 따른 음성인식 장치에서 실제 잡음환경을 반영하여 빔포밍을 수행하기 위한 과정을 도시하는 흐름도,

도 7은 본 발명의 실시 예에 따라 이동평균필터를 이용하여 계산한 평균 코히런스를 나타내는 예시도,

도 8은 실제 입력신호와 종래기술에 따라 sinc함수를 이용하여 산출된 코히 런스를 이용하여 빔포밍 수행한 후 출력된 출력파형과, 본 발명의 실시 예에 따라 실제 잡음 환경의 특성을 반영하여 산출된 코히런스를 이용하여 빔포밍 수행한 후 출력된 출력파형을 도시하는 예시도.

본 발명은 빔포밍 장치 및 방법에 관한 것으로 특히, 실제 잡음 환경의 특성을 반영하여 입력신호에 대한 빔포밍을 수행하기 위한 장치 및 방법에 관한 것이다.

일반적으로 마이크로폰이란 공기의 진동으로 전달되어 온 음향신호를 전기신호로 변환하는 변환기(transducer)이다. 최근 들어 로봇제어에 대한 기술이 발전하면서 로봇과 사용자가 서로 자유롭게 의사를 전달하는 수단으로 마이크로폰이 로봇의 음성 인터페이스로 사용되고 있다. 로봇은 로봇의 음성 인터페이스인 마이크로폰을 통해 입력되는 음성신호를 전기적 신호로 변환하여 그 내용을 분석함으로써 사용자의 음성을 인지할 수 있다. 또한, 로봇 뿐만 아니라 마이크로폰을 장착하여 음성인식 서비스를 제공하는 음성인식 장치가 개발되고 있는 추세이다.

이와 같은 음성인식 장치가 사용자의 특정 음성신호를 입력받을 때, 마이크로폰의 위치가 음성신호가 입력되는 방향을 향해 지향성을 형성한다면, 주위의 환경에서 발생하는 소음의 입력을 배제할 수 있을 것이다. 이때, 고지향성을 가진 하 나의 마이크로폰으로도 특정 음성신호가 입력되는 방향을 향해 지향성을 형성할 수 있다. 그러나, 하나의 마이크로폰 보다는 여러 개의 마이크로폰을 배열하여 마이크로폰 어레이를 형성하는 경우 사용목적에 알맞은 형태의 지향적 특성을 자유롭게 얻을 수 있는 장점을 가질 수 있게 된다. 이로 인해 일반적으로 음성인식 장치는 마이크로폰 어레이를 장착하여 음성 인터페이스로 사용하게 되었다.

한편, 마이크로폰 어레이를 통해 입력되는 음성신호에 대해 잡음을 제거하기 위한 소프트웨어적 처리를 수행하게 되면 소프트웨어 처리에 따라 마이크로폰 어레이로부터 특정 방향으로 빔을 형성하게 된다. 이와 같이 마이크로폰 어레이를 이용하여 빔을 형성해서 마이크로폰으로부터 원하는 방향으로 고지향성을 나타내도록 하는 목적으로 빔포밍 기술이 이용된다.

이와 같은 빔포밍을 통해 사용자의 음성이 입력되는 방향으로 고지향성이 형성되면, 그 빔 외부의 방향들로부터 입력되는 음성신호는 자동적으로 감쇄되며, 관심 있는 방향으로부터 입력되는 음성신호를 선택적으로 취득할 수 있다. 마이크로폰 어레이는 이러한 빔포밍 기술을 사용하여 실내의 컴퓨터 팬 소음, TV 소리와 같은 주변 잡음 및 가구 및 벽과 같은 사물로부터 반사되어 나오는 반향파들의 부분을 억제할 수 있다. 즉, 마이크로폰 어레이는 빔포밍 기술을 사용하여 관심 방향의 빔으로 부터 발생하는 음성신호들에 대해 더 높은 SNR(signal to noise ratio)을 얻을 수 있다. 따라서, 빔포밍은 "빔"을 음원에 포인팅하고 다른 방향들로부터 입력되는 모든 신호를 억제하는 공간 필터링(spatial filtering)에서 중요한 역할을 한다.

상기와 같이 입력신호에 대하여 빔포밍을 수행하는 빔포머(beamformer)가 모든 주파수영역에서 일관되게 지향성을 나타낼수록 효과적인 성능을 보여준다. 이때, 정상(stationary)의 특성을 보이는 잡음 환경에서는 일반적으로 MVDR(minimum variance distortionless response) 알고리즘을 이용하는 빔포머가 주로 사용된다.

그러면, MVDR(minimum variance distortionless response) 알고리즘을 이용하는 빔포머에서 입력신호에 대해 빔포밍 동작을 수행함으로써 잡음 제거된 신호를 출력하는 구성에 대하여 도 1을 참조하여 살펴보도록 한다.

먼저, 마이크로폰 어레이(100)를 통해 입력된 시간영역의 음성신호를 주파수 영역으로 변환시킨 후에 빔포밍부(110)로 입력하면, 빔포밍부(110)는 하기의 <수학식 1>을 이용하여 출력값

을 도출될 수 있다.

여기서, N은 마이크로폰 어레이(100)를 구성하는 마이크로폰의 수이고,

는 주파수 영역에서 N개의 마이크로폰 중에서

번째의 입력신호를 나타낸다. 또한, 상기의 <수학식 1>에서 필터의 계수

는 잡음 환경을 정의하는 모델의 형태에 의존하여 값이 결정된다.

마이크로폰 어레이(100)에서 입력되기를 원하는 신호의 방향을 제외한 나머지 방향의 잡음을 억제하기 위한 빔포밍 수행을 위한 알고리즘으로 일반적으로 최소분산해(minimum variance solution)에 기반을 두는 MVDR 알고리즘을 많이 사용하 고 있다.

이와 같은 MVDR 알고리즘을 이용하여 빔포밍 수행하기 위한 필터 계수의 값(W)은 하기의 <수학식 2>와 같이 구할 수 있다.

여기서, d는 마이크로폰 어레이(100)가 음원을 향하도록 방향을 결정지어 주는 벡터이다. 등간격의 선형(linear) 마이크로폰 어레이(ULA)에서는 d를 하기의 <수학식 3>과 같이 표현할 수 있다.

상기의 <수학식 2> 및 <수학식 3>에서

이며, c는 음속 , n은 해당 마이크로폰의 번호, d는 마이크로폰 간의 거리,

는 음성신호가 어레이로 입사하는 각도를 말한다.

는 코히런스 행렬을 나타내며, 하기의 <수학식 4>와 같이 표현될 수 있다.

상기의 <수학식 4>의 코히런스 행렬의 각 성분은 입력된

에 대한 코히런스에 해당하며, 하기의 <수학식 5>와 같이 정의 할 수 있다. 여기서,

는 두개의 입력된 잡음 신호 간의 전력 스펙트럼 밀도(PSD)를 말한다.

즉, 빔포밍부(110)의 성능은 오직 입력신호의 공간적인(spatial) 특성에 의해 결정되며, 따라서 잡음 환경의 코히런스를 잘 정의하면 효과적으로 빔포밍부(110)의 성능을 향상시킬 수 있다.

일반적으로 실내 잡음 환경에서 벽과 가구과 같은 장애물로 인해 신호가 반사되어 퍼져나간다. 이것으로 인해 잡음 공간의 모든 위치에서 마이크로폰으로 입력되는 신호의 전력(power)은 일정하다고 간주하는데, 이것을 디퓨즈(diffuse) 환경이라고 한다.

는 두 마이크로폰 i와 j 사이의 간격이라고 한다면, 이상적인 디퓨즈 환경에서 코히런스는 하기의 <수학식 6>과 같이 sinc 함수를 사용하여 정의할 수 있다. 하기의 <수학식 6>과 같이 sinc 함수를 사용하여 코히런스를 산출한 후, 이를 빔포머에 적용하는 것을 슈퍼다이렉티브(superdirective) 빔포머라고 한다.

상기와 같이 종래의 빔포머는 실제 잡음 정도에 근거한 데이터와 상관없이 픽스된(fixed) sinc 함수를 이용하는 상기의 <수학식 6>을 반영하여 코히런스를 산출하고, 이렇게 산출된 코히런스를 이용하여 빔포머를 구성한 후, 잡음을 필터링하는데 적용하였다.

상술한 바와 같이 가정 또는 사무실과 같은 실내 환경은 신호에 대해 반향적인(reverberant) 특성을 가지므로 디퓨즈(diffuse) 환경으로 가정할 수 있다. 하지만, 실제 코히런스는 도 2에 도시된 바와 같이 잡음 환경에 민감하게 달라지므로 픽스된(fixed) sinc 함수와는 서로 많은 차이를 가지고 있다. 즉, 도 2를 참조하면 실제 마이크로폰으로 측정한 코히런스와 sinc 함수 간에는 빗금친 부분만큼 에러가 발생한다.

음성인식 장치가 이상적인 디퓨즈(diffuse) 공간에 위치하고 이와 같은 디퓨즈 공간에서 음성인식 장치로 음성신호를 입력한다고 한다면, 저주파영역에서 두 입력신호 간의 코히런스는 1에 근사해야 하지만 실제로는 마이크로폰이 배열된 위치와 간격에 따라 그 값이 다르다. 또한 같은 종류의 마이크로폰을 사용하더라도 마이크로폰 각각의 이득이 서로 다르고, 마이크로폰 자체적으로 잡음이 발생하기 때문에 실제로 측정되는 코히런스는 매번 다른 값을 가질 수 있다.

그런데, 현재 빔포머에 사용되는 코히런스는 실제 잡음 환경을 무시하고 단순히 픽스된(fixed) sinc 함수만을 이용하여 상기의 <수학식 6>과 같이 계산된 코 히런스를 사용하고 있다. 따라서, 도 2에 도시된 바와 같이 sinc 함수와 실제 잡음 환경이 반영된 코히런스와는 빗금친 부분만큼의 에러가 발생하게 되어 단순히 sinc함수만을 적용하여 빔포밍부(110)를 구현하면 최적의 성능을 얻을 수 없는 어려움이 있었다.

따라서 본 발명은 실제 잡음환경 특성을 반영한 빔포머를 구성함으로써 효과적인 공간 필터링을 수행할 수 있도록 하기 위한 빔포밍 장치 및 방법을 제공한다.

또한, 본 발명은 실제 잡음환경을 특성을 반영한 코히런스 값을 계산하기 위한 빔포밍 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명은 실제 잡음 환경의 특성을 반영한 빔포밍 장치에 있어서, 적어도 하나의 마이크로폰으로 구성되고, 상기 마이크로폰을 통해 입력되는 입력신호를 출력하는 마이크로폰 어레이와, 상기 입력신호가 입력되면, 상기 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산한 후, 동일거리 별로 각각 코히런스들의 평균을 계산하고, 계산된 평균 코히런스들을 필터링 한 후 출력하는 코히런스 함수 생성부, 상기 필터링된 평균 코히런스들을 이용하여 공간필터 계수를 산출하여 출력하는 공간필터 계수 산출부와, 상기 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 잡음 처리된 신호를 출력하는 빔포밍 수행부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 적어도 하나의 마이크로폰으로 구성되는 마이크로폰 어레이 를 구비하는 음성인식 장치에서 실제 잡음 환경의 특성을 반영하여 빔포밍하기 위한 방법에 있어서, 상기 마이크로폰으로 입력신호가 입력되면, 상기 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산하고, 상기 마이크로폰들의 동일거리 별로 각각 코히런스들의 평균을 계산하는 과정과, 상기 계산된 평균 코히런스들을 필터링 한 후 상기 필터링된 평균 코히런스들을 이용하여 공간필터 계수를 산출하여 과정과, 상기 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 잡음 처리된 신호를 출력하는 과정을 포함하여 이루어진 것을 특징으로 한다.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명은 다수개의 마이크로폰으로 구성된 마이크로폰 어레이를 장착한 음성인식 장치에서 각각의 마이크로폰으로 입력되는 신호를 분석하여 실제 잡음 환경 특성을 반영한 코히런스를 계산하고, 이를 빔포머에 적용함으로써 실제 환경의 잡음 특성을 빔포머에 반영하는 방안을 제안하다.

그러면, 도 3을 참조하여 본 발명의 실시 예에 따라 실제 환경의 잡음 특성을 반영하여 빔포밍을 수행하기 위한 음성인식 장치의 내부 구성에 대하여 살펴보도록 한다. 이러한 음성인식 장치는 마이크로폰 어레이(300), 빔포밍부(310)를 포함하여 구성된다.

먼저, 마이크로폰 어레이(300)는 다수개의 마이크로폰(300-1, 300-2, … 300-N)으로 이루어지고, 각각의 마이크로폰들은 서로 같은 간격으로 일렬로 배치되어 음성신호를 입력받는다. 이때, 입력되는 음성신호는 잡음과 음성이 포함된 입력신호로 마이크로폰 각각은 입력된 입력신호를 빔포밍부(310)로 출력한다.

빔포밍부(310)는 각각의 마이크로폰 어레이들(300-1, 300-2, … 300-N)로부터 입력받은 입력신호에 대해 잡음 구간에서 각 마이크로폰 간격에 따른 코히런스를 계산한다. 이후, 빔포밍부(310)는 동일 거리에서 얻은 코히런스에 대한 평균을 동일 거리마다 각각 산출하고, 평균 코히런스 함수에서 급변화는 부분을 완만하게 하기 위해 필터링한다. 이후, 빔포밍부(310)는 필터링된 코히런스를 이용하여 비포밍 공간 필터 계수를 산출하고, 산출된 공간필터 계수를 이용하여 입력신호에 대해 빔포밍을 수행함으로써 잡음 처리된 신호를 출력한다.

이러한 빔포밍부(310)는 코히런스 계산부(314), 코히런스 평균 산출부(316), 필터부(318)를 포함하는 코히런스 함수 생성부(312)와 공간필터 계수 산출부(320), 빔포밍 수행부(322)를 포함하여 구성된다. 그러면, 상기와 같이 빔포밍부(310)를 구성하는 각각의 구성요소의 구체적인 동작에 대하여 살펴보도록 한다.

먼저, 코히런스 계산부(314)는 각각의 마이크로폰 어레이(300-1, 300-2, … 300-N)들로부터 입력되는 입력신호를 분석하여 마이크로폰 간격에 따른 코히런스를 계산한다. 이와 같이 마이크로폰 간격에 따라 계산된 코히런스들은 코히런스 평균 산출부(316)로 입력되고, 코히런스 평균 산출부(316)는 입력된 코히런스들에 대해 동일 거리에서 얻은 코히런스들의 평균 값을 계산한다. 즉, 마이크로폰들에 대해 동일 거리마다 각각의 코히런스 평균값이 산출되는 것이다.

이후, 코히런스 평균 산출부(316)에서 계산된 각 동일 거리에 대한 코히런스 평균값들은 필터부(318)로 입력되고, 필터부(318)는 평균값들을 완만하게 하기 위해 필터링 한 후 출력한다.

공간 필터 계수 산출부(320)는 입력된 코히런스들을 이용하여 빔포밍 수행을 위한 공간필터 계수를 산출한다. 이때, 코히런스들을 이용하여 공간필터 계수를 산출하는 것에 대해서는 하기의 <수학식 9> 설명에서 구체적으로 살펴보도록 한다.

상기와 같이 공간필터 계수 산출부(320)에서 산출된 공간필터 계수는 빔포밍 수행부(322)로 입력되고, 빔포밍 수행부(322)는 산출된 공간필터 계수를 이용하여 입력신호로부터 공간 필터링 과정을 통해 잡음을 제거하여 잡음이 필터링 된 신호를 출력한다.

그러면 예를 들어 4개의 마이크로폰으로 구성되는 마이크로폰 어레이으로 입력되는 입력신호에 대하여 빔포밍 동작을 수행하는 경우에 대하여 살펴보도록 한다.

먼저, 코히런스 계산부(314)는 각각의 마이크로폰에서 입력된 4개의 입력신호로부터 각각의 마이크로폰 간의 거리를 기준으로 3개의 코히런스 함수를 계산한다. 이때, 마이크로폰이 4개로 가정하였으므로 3개의 코히런스 함수가 계산된 것이다. 만약, 마이크로폰의 개수가 N개이면, 이웃하는 마이크로폰 간에 계산될 수 있는 코히런스는 N-1개가 된다. 또한, 마이크로폰으로 입력된 입력신호의 앞부분의 일부 예를 들어 앞부분 20 프레임 정도를 잡음구간이라고 가정하여 코히런스 계산할 시 입력신호에 대하여 이산 퓨리에 변환을 거쳐 잡음 구간의 신호를 가지고 상 기의 <수학식 5>를 이용하여 계산한다.

상기와 같이 코히런스 계산부(314)에서 이웃하는 마이크로폰 간에 계산된 3개의 코히런스는 도 5와 같이 도시할 수 있다. 즉, 도 4와 같이 마이크로폰 어레이가 배열된 경우라면 첫 번째와 두 번째, 두 번째와 세 번째, 세 번째와 네 번째 마이크로폰 사이에서 코히런스를 계산한 것이다.

또한, 상기와 같이 계산된 동일 간격의 이웃하는 마이크로폰 간에 계산된 코히런스는 도 5에 도시된 바와 같이 서로 유사한 분포를 가진다. 이때, 모든 경우의 코히런스를 각각 계산해서 빔포밍부(310)에 반영한다면, 마이크로폰의 수가 증가할수록 이용한다면 연산량이 증가하게 되어 신호를 처리하는데 시간 지연이 증가할 것이다. 따라서 빔포밍부(310)의 잡음 필터링에 대한 강인성을 유지하며 계산량을 줄이기 위해 코히런스 평균 산출부(316)를 통해 같은 거리에서부터 계산된 코히런스는 서로 합하여 평균을 구한다. 즉, 도 4와 같은 경우 각각의 모든 마이크로폰 간에 계산된 코히런스는 6개가 된다. 그러나, 동일 거리는 a, 2a, 3a로 분류할 수 있고, 이와 같이 분류된 동일 거리 각각에 대해 코히런스 평균값을 산출하게 되면 3개의 코히런스가 산출된다.

즉, 코히런스 평균 산출부(316)는 하기의 <수학식 7>과 같은 수식을 통해 마이크로폰 사이에 동일 거리에 대한 코히런스들의 평균값을 계산한다.

상기의 <수학식 6>과 같은 코히런스 행렬에서, 각 성분은 두 마이크로폰 간의 거리에 따라 결정된다. 즉, 도 4에 도시된 바와 같이 이웃하는 마이크로폰 사이의 거리를 a라고 가정하면, 4개의 마이크로폰 사이에서는 a, 2a,3a에 해당하는 3가 지 경우의 코히런스가 필요하다. 이때 3가지의 코히런스

,

,

는 하기의 <수학식 7>과 같이 계산될 수 있다.

상기의 <수학식 7>은 마이크로폰 어레이에 사용되는 마이크로폰의 수가 4개인 경우 동일 거리 a, 2a, 3a에 대해 각각 계산된 코히런스의 평균값이다. 즉, 거리 a의 코히런스는 3개이므로 3개의 평균값을 계산하고, 거리 2a의 코히런스는 2개이므로 이들 2개의 평균값을 계산한다. 또한, 거리 3a의 코히런스는 1개이므로 별도의 평균값을 산출한 필요없이 거리 3a의 코히런스 그대로 사용하면 된다.

또한, 마이크로폰의 수에 따라 상기 <수학식 7>이 다르게 적용될 수 있다. 예를 들어 마이크로폰의 수가 6개인 경우에는 마이크로폰의 간격이 a부터 5a까지 5가지 조합이 계산될 수 있다. 또한, 상기의 <수학식 7>과 같이 각 마이크로폰 사이에 동일 거리별로 각각 산출된 평균 코히런스들도 도 7의 점선과 같이 전체 주파수 대역에 걸쳐 코히런스 값의 변동 폭이 크게 나타난다.

따라서, 코히런스가 주파수에 따라 급격하게 변하는 민감성으로 인한 오차를 줄이고, 주파수에 따른 코히런스 함수의 변동 폭을 완만하게 하기 위해 필터부(318)에서 필터링 동작을 수행한다. 이때, 평균 코히런스에 대한 필터링하여 급 격하게 변하는 코히런스를 완만하게 하기 위한 방법은 하기의 4가지 방법 중 하나의 방법을 사용할 수 있다. 첫째로, 이동평균필터(moving average filter)를 적용하는 방법, 둘째로 코히런스 함수를 푸리에 변환하여 저역 통과 필터를 거치는 방법, 셋째로 미디언(median) 필터를 이용하는 방법, 넷째로 1차원 가우시안 스무딩(gaussian smoothing) 필터를 이용하는 방법이 있다.

상기의 필터링 방법들 중 첫번째 방법인 이동평균필터(moving average filter)를 적용해 코히런스 함수를 완만하게 하는 경우에는 하기의 <수학식 8>과 같이 필터링할 수 있다.

여기서, k=1, 2, 3이고, h=1/3이며, n은 주파수에 대한 인덱스이다.

상기와 같이 필터부(318)에서 필터링 된 코히런스는 공간필터 계수 산출부(320)로 입력되고, 공간필터 계수 산출부(320)는 입력된 코히런스를 이용하여 빔포밍 공간 필터 계수를 산출한다.

공간필터 계수 산출부(320)에서 입력된 코히런스를 이용하여 빔포밍 공간 필터 계수를 산출하는 동작에 대하여 구체적으로 살펴보도록 한다.

상기의 <수학식 4>에서와 같이 코히런스 행렬에서, 같은 거리 간격의 마이크로폰으로부터 얻어진 코히런스에 대해 평균을 산출하였으므로,

라 고 할 수 있다. 또한, 3개의

만으로 코히런스 행렬을 하기의 <수학식 9>와 같이 표현할 수 있다.

공간필터 계수 산출부(320)는 상기의 <수학식 9>와 같이 구성된 코히런스 행렬을 상기의 <수학식 2>에 적용하여 빔포밍을 위한 공간필터 계수를 산출한다.

이후, 빔포밍 수행부(322)는 상기와 같이 산출된 공간필터 계수를 반영하여 입력신호에 대해 빔포밍을 수행한다. 이때, 빔포밍 수행부(322)를 통해 출력되는 출력신호는 상기의 <수학식 1> 을 통해 계산될 수 있다. 이때, 출력신호는 역 이산 푸리에 변환하여 잡음이 제거된 파형을 얻게 된다.

상기와 같이 실제 잡음 환경의 특성을 반영하여 코히런스를 계산하고, 계산된 코히런스를 이용하여 산출된 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 출력된 신호의 출력파형은 도 8의 (c)와 같이 도시할 수 있다.

도 8을 참조하면, 도 8의 (a)는 4개의 마이크로폰을 배열해서 측면 60도 방향에서 지속적으로 잡음을 재생하는 동시에 마이크로폰 어레이의 정면에서 사용자가 단어를 발음하여 발생한 실제 입력신호이다. 또한, 도 8의 (b)는 종래의 고정된 sinc함수를 이용하여 코히런스 계수를 산출하고, 이와 같이 산출된 코히런스 계수 를 이용하여 입력신호를 빔포밍한 후 출력된 신호의 출력파형이다.

도 8에 도시된 바와 같이 (b)에 도시된 출력파형에 비해 본 발명의 실시 예에 따른 출력파형인 (c)가 잡음 제거 성능이 더 향상되었음을 알 수 있다.

그러면, 상기의 도 3과 같이 구성되는 음성인식 장치에서 실제 잡음환경을 반영하여 빔포밍을 수행하기 위한 과정에 대하여 도 6을 참조하여 살펴보도록 한다.

600단계에서 마이크로폰 어레이(300)를 구성하는 각각의 마이크로폰들을 통해 음성신호를 입력받고, 입력된 입력신호를 빔포밍부(310)의 코히런스 계산부(314)로 출력한다.

이후, 602단계에서 코히런스 계산부(314)는 입력받은 입력신호에 대해 잡음 구간에서 각 마이크로폰 간격에 따른 코히런스들을 계산한 후 코히런스 평균 산출부(316)로 출력한다. 여기서, 각각의 마이크로폰 간격에 따라 코히런스를 계산하는 구체적인 동작은 상기의 도 3의 코히런스 계산부(314)의 설명을 참조한다.

604단계에서 코히런스 평균 산출부(316)는 입력받은 코히런스들에 대하여 동일거리 별로 각각 코히런스 들의 평균을 계산한 후 필터부(318)로 출력한다..

이후, 606단계에서 필터부(318)는 평균 코히런스 함수에서 급변화는 부분을 완만하게 하기 위해 입력된 평균 코히런스를 필터링한다. 이때, 필터링 방법은 상기의 도 3의 필터부(318)에 대한 설명 중 4개의 필터링 방법들 중 하나를 선택하여 필터링할 수 있다.

608단계에서 공간필터 계수 산출부(320)는 필터링된 평균 코히런스를 이용하 여 빔포밍 공간필터 계수를 상기의 <수학식 9>와 같이 산출한다.

이후, 610단계에서 빔포밍 수행부(322)는 산출된 공간필터 계수를 이용하여 입력신호에 대해 빔포밍을 수행하고, 612단계에서 잡음 처리된 신호를 출력한다.

상술한 바와 같이 본 발명은 마이크로폰 어레이를 통해 입력되는 입력신호에 대하여 빔포머에서 빔포밍 시 실제 잡음 환경을 반영한 코히런스를 빔포머에 반영함으로써 실내잡음 제거 성능을 더 높일 수 있는 이점이 있다. 또한, 본 발명에 따라 실제 잡음 환경을 반영한 코히런스 계산은 비교적 간단한 연산식을 사용하므로, 매번 마이크로폰 어레이로 입력되는 음성신호에 대해 비교적 빠르게 처리하여 출력신호를 얻을 수 있는 이점이 있다. 또한, 본 발명에 따른 마이크로폰 어레이의 빔포밍 기술은 사람과 로봇 또는 컴퓨터, 모바일 장치사이에서 사용되는 음성 인터페이스 기술이 소음이 있는 환경에 효과적으로 적용할 수 있는 기반을 제공한다.

Claims (10)

1. 실제 잡음 환경의 특성을 반영한 빔포밍 장치에 있어서,

   적어도 하나의 마이크로폰으로 구성되고, 상기 마이크로폰을 통해 입력되는 입력신호를 출력하는 마이크로폰 어레이와,

   상기 입력신호가 입력되면, 상기 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산한 후, 동일거리 별로 각각 코히런스들의 평균을 계산하고, 계산된 평균 코히런스들을 필터링 한 후 출력하는 코히런스 함수 생성부,

   상기 필터링된 평균 코히런스들을 이용하여 공간필터 계수를 산출하여 출력하는 공간필터 계수 산출부와,

   상기 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 잡음 처리된 신호를 출력하는 빔포밍 수행부를 포함하는 것을 특징으로 하는 빔포밍 장치.
2. 제 1항에 있어서,

   상기 마이크로폰 어레이들은 동일 간격으로 일렬로 배치되는 것을 특징으로 하는 빔포밍 장치.
3. 제 1항에 있어서,

   상기 입력신호는 잡음구간과 음성구간이 포함된 음성신호인 것을 특징으로 하는 빔포밍 장치.
4. 제 3항에 있어서,

   상기 코히런스 함수 생성부는,

   상기 입력신호에 대해 잡음구간에서 각 마이크로폰 간격에 따른 코히런스들을 계산하여 출력하는 코히런스 계산부와,

   상기 코히런스 계산부로부터 입력되는 코히런스들에 대해 동일거리 별로 각각 코히런스들의 평균값을 계산하여 출력하는 코히런스 평균 산출부와,

   상기 코히런스들의 평균값들이 주파수에 따라 급격한 변화를 완만하게 하기 위해 필터링 한 후 출력하는 필터부를 포함하여 구성되는 것을 특징으로 하는 빔포밍 장치.
5. 제 3항에 있어서, 상기 코히런스 평균 산출부에서 계산되는 평균값은 상기 각각의 마이크로폰들 간에 대해 동일 거리마다 각각의 코히런스 평균값이 산출되는 것을 특징으로 하는 빔포밍 장치.
6. 제 4항에 있어서, 상기 필터부에서 상기 코히런스들의 평균값들에 대해 필터링하는 방법은 이동평균필터(moving average filter)를 적용하는 방법, 코히런스 함수를 푸리에 변환하여 저역 통과 필터를 거치는 방법, 미디언(median) 필터를 이용하는 방법, 1차원 가우시안 스무딩(gaussian smoothing) 필터를 이용하는 방법 중 하나의 방법을 이용하여 필터링 하는 것을 특징으로 하는 빔포밍 장치.
7. 적어도 하나의 마이크로폰으로 구성되는 마이크로폰 어레이를 구비하는 음성인식 장치에서 실제 잡음 환경의 특성을 반영하여 빔포밍하기 위한 방법에 있어서,

   상기 마이크로폰으로 입력신호가 입력되면, 상기 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산하고, 상기 마이크로폰들의 동일거리 별로 각각 코히런스들의 평균을 계산하는 과정과,

   상기 계산된 평균 코히런스들을 필터링 한 후 상기 필터링된 평균 코히런스들을 이용하여 공간필터 계수를 산출하여 과정과,

   상기 공간필터 계수를 이용하여 입력신호에 대한 빔포밍을 수행하여 잡음 처리된 신호를 출력하는 과정을 포함하여 이루어진 것을 특징으로 하는 빔포밍 방법.
8. 제 7항에 있어서,

   상기 입력신호에 대해 각 마이크로폰 간격에 따른 코히런스들을 계산 시 상 기 입력신호에 대해 잡음구간에서 각 마이크로폰 간격에 따른 코히런스들을 계산하것을 특징으로 하는 빔포밍 방법.
9. 제 7항에 있어서, 상기 마이크로폰들의 동일거리 별로 각각 계산되는 코히런스 평균값은 상기 각각의 마이크로폰들 간에 대해 동일 거리마다 각각의 코히런스 평균값이 산출되는 것을 특징으로 하는 빔포밍 방법.
10. 제 7항에 있어서,

    상기 계산된 평균 코히런스들을 필터링은,

    이동평균필터(moving average filter)를 적용하는 방법, 코히런스 함수를 푸리에 변환하여 저역 통과 필터를 거치는 방법, 미디언(median) 필터를 이용하는 방법, 1차원 가우시안 스무딩(gaussian smoothing) 필터를 이용하는 방법 중 하나의 방법을 이용하여 필터링 하는 것을 특징으로 하는 빔포밍 방법.

Images