이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명에 따른 음향 보정 기능을 지닌 음향 전달 장치를 포함하는 음향 시스템의 구성도이다.
음향 시스템은 이동성을 지님으로써 원하는 장소나 기기에 설치 또는 배치될 수 있으며, 음향을 획득하여 무선 통신 연결되는 전기 기기의 특성을 기준으로 하여 음향에 대한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리 중의 적어도 하나 이상을 수행하여 처리된 음향을 포함하는 음향 신호를 전기 기기(제 1 또는 제 2 전기 기기(20), (30))로 전달하는 음향 전달 장치(10)와, 음향 전달 장치(10) 및/또는 다른 전기 기기와 무선 통신을 수행하며 음향 신호를 수신하여 음 방출시키는 제 1 전기 기기(20)와, 사용자의 인체나 의복에 부착 가능하며 음향을 획득하여 획득된 음향을 이득 보정 처리하여 처리된 음향을 음 방출시키거나 음향 전달 장치(10)와 무선 통신 연결되어 음향 신호를 수신하여 음향 신호에 포함된 음향을 이득 보정 처리하여, 처리된 음향을 음 방출시키는 청음 보조 기능을 수행하는 제 2 전기 기기(30)를 포함한다.
또한, 음향 시스템은 음향 전달 장치(10)와 무선 통신으로 페이링되어 통신 가능 상태에서 음향 전달 장치(10)의 이득 보정 처리 과정에서의 이득의 증가 및 감소(감쇄) 조절을 수행하기 위한 제 3 전기 기기(40)를 포함할 수 있으며, 제 3 전기 기기(40)는 예를 들면 스마트폰, 태블릿 등을 포함한다.
음향 전달 장치(10)는 제 1 전기 기기(20) 및/또는 제 2 전기 기기(30)와 무선 통신으로 페어링되어 통신 가능 상태에서 오디오 스트리밍 방식으로 음향 신호를 전송한다. 즉, 음향 전달 장치(10)는 기설정된 코딩 방식에 따라 음향 신호를 코딩하여 제 1 및 제 2 전기 기기(20), (30)로 전송 또는 전달하고 제 1 및 제 2 전기 기기(20), (30)는 음향 신호를 수신하여 디코딩한다. 제 1 전기 기기(20)는 이득 보정 처리 기능을 수행하지 않고, 수신되는 음향 신호를 내장된 스피커를 통하여 음 방출하는 음향 변환 장치로서, 예를 들면 무선 헤드셋, 무선 이어폰 등을 포함한다. 제 2 전기 기기(30)는 내장된 마이크에 의해 획득된 음향이나 수신된 음향 신호에 포함된 음향에 대한 이득 보정 처리를 적어도 수행하는 청음 보조 장치로서, 예를 들면, 무선 보청기 등을 포함한다.
자세하게, 제 1 전기 기기(20)는 음향을 획득하는 마이크(11)와, 음향 신호를 인가 받아 음 방출하는 스피커(12)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(13)와, 무선 통신을 수행하는 통신부(15)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(17) 및 상술된 구성요소(마이크(11), 스피커(12), 입력부(13), 통신부(15) 및 표시부(17))를 제어하여, 음향 전달 장치(10) 및/또는 다른 전기 기기와의 무선 통신을 통하여 음향 신호를 수신하여 음 방출시키는 데이터 프로세서(19)를 구비한다. 다만, 제 1 전기 기기(20)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 마이크(11), 스피커(12), 입력부(13), 표시부(17)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
통신부(15)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 수신하여 디코딩을 수행하여 디코딩된 음향 신호를 데이터 프로세서(19)에 인가한다.
데이터 프로세서(19)는 제 1 전기 기기(20)의 고유 기능인 무선 음향 변환 장치로서 다른 전기 기기로부터 통신부(15)를 통하여 음향 신호를 수신하여 스피커(12)에 인가하여 음 방출이 수행되도록 하는 오디오 스트리밍 동작과, 전화 통화 동작과 같이 마이크(11)로부터 획득된 음향을 통신부(15)를 통하여 다른 전기 기기로 전송하고, 다른 전기 기기로부터 수신되는 음향 신호를 스피커(12)로 인가하여 음 방출이 수행되도록 하는 전화 통화 모드 동작을 수행하는 프로세서(예를 들면, CPU 등)와, 제 1 전기 기기(20)의 고유 식별 번호(전기 기기의 특성-무선 헤드셋, 무선 이어폰 등과 같은 무선 음향 변환 장치-을 반영함)를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 1 전기 기기(20) 간의 음향 전달 과정은 하기에서 기재된다.
다음으로, 제 2 전기 기기(30)는 음향을 획득하는 마이크(21)와, 음향 신호를 인가 받아 음 방출하는 스피커(22)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(23)와, 무선 통신을 수행하는 통신부(25)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(27) 및 상술된 구성요소(마이크(21), 스피커(22), 입력부(23), 통신부(25) 및 표시부(27))를 제어하여, 마이크(21)에 의해 획득된 음향에 대한 이득 보정 처리를 적어도 수행하여 스피커(22)에 음 방출시키거나, 음향 전달 장치(10)와의 무선 통신을 통하여 음향 신호에 포함된 음향에 대한 이득 보정 처리를 적어도 수행하여 스피커(22)에 음 방출시키는 데이터 프로세서(29)를 구비한다. 다만, 제 2 전기 기기(30)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 마이크(21), 스피커(22), 입력부(23), 표시부(27)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
통신부(25)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 수신하여 디코딩을 수행하여 디코딩된 음향 신호를 데이터 프로세서(29)에 인가한다.
데이터 프로세서(29)는 청음 보조 장치로서, 마이크(21)로부터 획득된 음향에 대하여 이득 보정 처리를 적어도 수행하는 제 1 음향 처리 동작과, 음향 전달 장치(10)와 통신부(15)를 통하여 무선 통신으로 페이링된 상태에서 오디오 스트리밍 방식으로 음향 신호를 수신하여 음향 신호에 포함된 음향에 대하여 이득 보정 처리를 적어도 수행하는 제 2 음향 처리 동작을 수행하는 프로세서(예를 들면, CPU 등)와, 제 2 전기 기기(20)의 고유 식별 번호(전기 기기의 특성-보청기 등과 같은 청음 보조 장치-을 반영함)를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 2 전기 기기(30) 간의 음향 전달 과정은 하기에서 기재된다.
다음으로, 음향 전달 장치(10)는 복수의 서브 마이크들로 구성된 음향을 획득하는 마이크(1)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(3)와, 무선 통신을 수행하는 통신부(5)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(7) 및 상술된 구성요소(마이크(1), 입력부(3), 통신부(5) 및 표시부(7))를 제어하여, 제 1 또는 제 2 전기 기기(20), (30)과 통신을 수행하면서, 제 1 또는 제 2 전기 기기(20), (30)의 특성에 따라 마이크(1)로부터 획득된 음향에 대한 처리를 상이하게 하여, 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 제 1 또는 제 2 전기 기기(20), (30)로 전송하거나 전달하는 데이터 프로세서(9)를 구비한다. 다만, 음향 전달 장치(10)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 입력부(3), 표시부(7)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
마이크(1)는 복수의 서브 마이크들을 구비하여, 사용자가 듣고자 하는 방향(이하에서, '선호 방향'이라 함)에 대한 지향성을 향상시킨다. 복수의 서브 마이크들은 일직선 형태로 배치되는 구조를 지니되, 배치되는 서브 마이크들의 개수에 따라 서브 마이크들의 배치 및 선호 방향 간의 바람직한 위치 관계가 결정된다. 예를 들면, 서브 마이크들이 2개 및 3개인 경우, 서브 마이크들의 일직선 배치 방향이 선호 방향을 향하도록 즉, 선호 방향이 서브 마이크들의 배치 방향의 일직선 상에 위치되도록 하는 일직선 배치 구조가 빔 포밍에 보다 바람직하다. 또한, 서브 마이크들이 4개 이상인 경우, 서브 마이크들의 일직선 배치 방향이 선호 방향을 향하도록 즉, 선호 방향이 서브 마이크들의 배치 방향의 일직선 상에 위치되도록 하는 일직선 배치 구조와, 서브 마이크들의 일직선 배치 방향과 선호 방향이 수직이 되도록 하는 수직 배치 구조 및 혼합 배치 구조(일직선 배치 구조와 수직 배치 구조 및 일정 각도(예를 들면 0~90°사이의 각도)의 배치 구조 중의 적어도 2개 이상의 조합)가 모두 빔 포밍에 적용될 수 있다. 다만, 일직선 배치 구조, 수직 배치 구조 및 혼합 배치 구조 각각의 경우에, 데이터 프로세서(9)가 각 서브 마이크로부터 획득되는 음향에 대한 이득 및 지연 처리를 수행하여 빔 포밍의 효과를 구현할 수 있다. 본 실시예에서는 복수의 서브 마이크들의 음향적 특성이 동일한 것으로 설명되나, 그에 국한되지 않는다.
통신부(5)는 제 1 또는 제 2 전기 기기(20), (30)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 제 1 또는 제 2 전기 기기(20), (30)로 전송한다. 또한, 통신부(5)는 제 3 전기 기기(40)와 무선 통신으로 페이링되어 통신 가능 상태에서 음향 전달 장치(10)의 이득 보정 처리 과정에서의 이득의 증가 및 감소 조절을 수행하기 위한 이득 조절값을 포함하는 이득 조절 데이터를 수신하여 데이터 프로세서(9)에 인가한다.
데이터 프로세서(9)는 제 1 및 제 2 전기 기기(20), (30)와의 통신 연결을 수행하고 제 1 및 제 2 전기 기기(20), (30)의 특성을 확인하는 과정과, 마이크(1)의 복수의 서브 마이크들로부터 획득되는 음향들에 대한 이득 및 지연 처리를 수행하는 과정과, 마이크(1)로부터 인가된 음향을 확인된 특성에 따라 처리하는 과정과, 처리된 음향을 포함하는 음향 신호를 통신 연결된 제 1 또는 제 2 전기 기기(20), (30)로 전송하는 과정 및 제 3 전기 기기(40)와의 통신 연결을 수행하고 제 3 전기 기기(40)로부터 이득 조절 데이터를 수신하여 저장하는 이득 조절 과정을 수행하는 프로세서(예를 들면, CPU 등)와, 제 1 및 제 2 전기 기기(20), (30)의 특성을 확인하기 위한 특성 데이터와, 빔 포밍을 위한 이득 및 지연 처리 알고리즘과, 이득 조절 데이터와, 음향에 대한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리 각각을 위한 알고리즘 등을 저장하는 저장 공간을 포함한다.
전기 기기의 특성 데이터는 제 1 및 제 2 전기 기기의 특성을 식별하기 위한 것으로 이득 보정 처리(이득 보정 알고리즘)을 수행하는지에 대한 식별을 위한 것이다. 특성 데이터는 전기 기기의 고유 식별 번호와, 고유 식별 번호에 대응하는 음향 처리 방법을 포함한다. 특성 데이터는 예를 들면, 이득 보정 기능을 수행하지 않는 무선 헤드셋의 고유 식별 번호와, 무선 헤드셋의 고유 식별 번호에 대응하는 음향 처리 방법(이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리)을 포함하여, 이득 보정 기능을 수행하는 보청기의 고유 식별 번호와, 보청기의 고유 식별 번호에 대응하는 음향 처리 방법(잡음 제거 처리)을 포함한다. 즉, 특성 데이터는 전기 기기의 이득 보정 기능 특성(이득 보정 기능의 보유 여부)에 따라 전기 기기로 전달되는 음향에 대한 처리 과정을 상이하게 하기 위한 것이다.
빔 포밍을 위한 이득 및 지연 처리 알고리즘은 서브 마이크들의 배치 구조와 서브 마이크들의 개수를 기준으로 상이한 이득 및 지연 처리를 수행한다. 예를 들면, 일직선 배치 구조이면서 서브 마이크들이 2개 또는 3개인 경우, 데이터 프로세서(9)는 서브 마이크들 간의 간격을 고려하여 전방에 배치된 서브 마이크로부터의 음향에 지연 및/또는 이득 처리를 수행하고, 처리된 음향과, 후방의 서브 마이크로부터의 음향을 가산함으로써 빔 포밍을 구현한다. 특히, 서브 마이크들이 2개인 경우보다 3개인 경우에 보다 빔 포밍이 더 효과적으로 구현된다. 또한, 4개 또는 그 이상의 서브 마이크들이 구비된 경우에는, 데이터 프로세서(9)는 각 서브 마이크로부터의 음향에 처리하는 지연 시간 및/또는 이득을 상이하게 하여 빔 집속 또는 빔 방향 전환 등의 빔 포밍을 수행한다. 이러한 빔 포밍에 의해, 데이터 프로세서(9)는 선호 방향에서의 음향 이외의 다른 음향을 제거한다.
또한, 이득 보정 알고리즘은 주파수별 또는 주파수 대역별로 이득 보정(증폭/감쇄)을 수행하되, 이득 조절 데이터에 포함된 주파수별 또는 주파수 대역별 이득 보정 비율 또는 이득 보정 크기를 포함하는 이득 조절값을 기준으로 보정을 수행하는 알고리즘으로서, 예를 들면, WDRC(Wide Dynamic Range Compression)이다.
또한, 잡음 제거 알고리즘은 음향 전달 장치(10) 자체에서 발생하는 잡음, 음향에 포함되는 잡음을 제거하여 음향 중에서 사람의 음성이 보다 명확하게 들릴 수 있도록 하는 알고리즘으로 하기에서 상세하게 설명된다.
또한, 하울링 억제 알고리즘은 주파수 성분 분석을 통하여 일정한 주파수 성분의 에너지가 일정하게 증가하는 경우 음향 전달 장치(10)와 제 1 전기 기기(20)의 스피커(12)가 가까이 위치하여 스피커(12)의 소리가 마이크(1)로 전달되었거나, 마이크(1)로부터 스피커(12)까지의 이득이 커서 발생하는 하울링으로 인지하며, 하울링이 인지된 경우 전 주파수 영역의 이득을 낮추거나 하울링이 자주 일어나는 주파수 영역의 이득을 낮추어 하울링의 원인을 차단하거나, 적응형 필터의 필터계수를 바꾸어 하울링을 억제하는 알고리즘이다.
다음으로, 제 3 전기 기기(40)는 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(33)와, 무선 통신을 수행하는 통신부(35)와, 다양한 정보(예를 들면, 전원 상태, 볼륨 증가 및/또는 감소 상태 등)를 표시하는 표시부(37) 및 상술된 구성요소(입력부(33), 통신부(35) 및 표시부(37))를 제어하여, 음향 전달 장치(10)와의 무선 통신을 통하여 이득 조절 데이터를 송수신하며 이득 조절 데이터를 가변하는 데이터 프로세서(39)를 구비한다. 다만, 제 3 전기 기기(40)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 입력부(33), 표시부(37)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
자세하게, 통신부(35)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 무선 통신을 수행하며, 코딩된 이득 조절 데이터를 수신하여 디코딩을 수행하여 디코딩된 이득 조절 데이터를 데이터 프로세서(19)에 인가하고, 데이터 프로세서(19)로부터 이득 조절 데이터를 인가 받아 코딩하여 음향 전달 장치(10)로 전송한다.
데이터 프로세서(19)는 음향 전달 장치(10)와 무선 통신으로 이득 조절 데이터를 통신부(35)를 통하여 수신하거나, 음향 전달 장치(10)의 기설정된 이득 조절 데이터를 저장 공간으로부터 판독하여, 이득 조절 데이터의 이득 조절값인 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기를 표시부(37)에 시각적으로 표시하며, 입력부(33)로부터의 이득 증가 또는 감소 입력에 따라 이득 보정 비율이나 이득 보정 크기를 가변하고, 가변된 이득 보정 비율이나 이득 보정 크기를 포함하는 이득 조절값을 포함하는 이득 조절 데이터를 음향 전달 장치(10)로 전송하며 저장 공간에 저장하는 프로세서(예를 들면, CPU 등)와, 음향 변환 장치(10)의 기설정된 또는 가변된 이득 조절 데이터를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 3 전기 기기(40) 간의 음향 전달 과정은 하기에서 기재된다.
도 2는 데이터 프로세서(9)에서 수행되는 잡음 제거 알고리즘의 블록도이다. 데이터 프로세서(9)는 서브 마이크들 각각의 음향들에 대하여 선호 방향으로의 지연 및 이득 처리를 수행하고 가산하여, 음향(S1)을 생성한다.
데이터 프로세서(9)는 기설정된 크기의 생성된 음향(S1)을 푸리에 변환시키는 푸리에 변환부(100)와, 푸리에 변환부(100)로부터의 푸리에 변환된 주파수 영역의 신호(F1)의 주파수별 또는 주파수 대역별 에너지(E)를 산정하는 에너지 산정부(102)와, 에너지 산정부(102)로부터의 에너지(E)를 기준으로 하여 음향(S1)에 음성 및 잡음이 포함되어 있는지(존재 여부)를 판단하는 음성 및 잡음 판단부(104)와, 에너지 산정부(102)로부터의 에너지(E)를 기준으로 하여 음향(S)에 돌발성 소음이 포함되어 있는지를 판단하는 돌발성 소음 판단부(106)와, 음성 및 잡음 판단부(104)로부터의 판단 결과(D1)와 돌발성 소음 판단부(106)로부터의 판단 결과(D2)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정하는 이득 결정부(108)와, 주파수별 또는 주파수 대역별 신호(F1)와 이득 결정부(108)로부터의 주파수별 또는 주파수 대역별 이득(D)을 곱하여 이득 처리된 신호(F2)를 생성하는 곱셈부(110)와, 이득 처리된 신호(F2)를 역푸리에 변환시켜 신호(S2)를 생성하는 역푸리에 변환부(112)로 구성된 잡음 제거 알고리즘을 저장하여 수행한다. 다만, 푸리에 변환부(100)와, 곱셈부(110) 및 역푸리에 변환부(112)는 본 발명이 속하는 기술 분야에 통상의 기술자에게 당연히 인식되는 기술에 해당되어, 상세한 설명이 생략된다.
에너지 산정부(102)는 주파수 영역의 신호(F1)의 실수 제곱과 허수 제곱한 값을 합산한 후 그 합산값의 루트값을 산정하되, 이 루트값이 시간대별로 급변하는 것을 방지하기 위해, 저역 통과 필터를 이용하여 루트값을 처리하여 주파수별 또는 주파수 대역별 에너지(E)를 산정하여 음성 및 잡음 판단부(104)와 돌발성 소음 판단부(106)로 각각 인가한다.
음성 및 잡음 판단부(104)는 주파수별 또는 주파수 대역별 에너지(E)를 기준으로 하여, 음성 및 잡음 각각이 현재 처리 중인 기설정된 크기의 음향(S)에 포함되어 있는지, 즉 존재하는지를 판단한다. 음성 및 잡음 판단부(104)는 음성 주파수 대역(예를 들면, 500Hz~4kHz)(복수의 주파수와, 복수의 주파수 밴드들로 구성됨)과 음성 주파수 대역 이외의 잡음 주파수 대역(예를 들면, 0~500Hz)(복수의 주파수와, 복수의 주파수 밴드들로 구성됨) 각각의 에너지(E)의 크기를 산정한다. 음성 및 잡음 판단부(104)는 잡음 주파수 대역의 에너지(E)의 크기와 음성 주파수 대역의 에너지(E)의 크기를 비교하여, 잡음 주파수 대역의 에너지(E)의 크기가 음성 주파수 대역의 에너지(E)의 크기보다 현저하게 큰 경우에 잡음만이 존재하는 것으로 판단할 수 있다. 또한, 음성 및 잡음 판단부(104)는 음성 주파수 대역의 에너지(E)의 크기를 제 1 기준 에너지(음성이 존재할 경우의 음성 주파수 대역의 기준 에너지)의 크기와 비교하여, 음성 주파수 대역의 에너지(E)의 크기가 제 1 기준 에너지의 크기 이상인 경우에는 음성 또는 잡음(음성과 비슷한 성분을 지닌 잡음)이 음향(S1)에 존재하는 것으로 판단하고, 그렇지 않으면 음향(S1)에 음성이 존재하는 것으로 판단한다. 또한, 음성 및 잡음 판단부(104)는 음성 주파수 대역의 에너지(E)의 크기가 제 1 기준 에너지의 크기 이상인 경우, 추가적으로 시간 영역에서의 시간 축에서 zero crossing을 확인한다. 일반적으로 음성인 경우 일정 성분의 tone을 지니고 있기에, 이러한 tone은 시간 영역(축)에서 zero crossing으로 확인된다. 이러한 점을 이용하여, 음성 및 잡음 판단부(104)는 시간 영역에서 일정한 zero crossing이 있는 경우 음성으로 판단하고, 그렇지 않은 경우 잡음으로 판단한다. 음성 및 잡음 판단부(104)는 주파수별 또는 주파수 대역별 음성 및 잡음 존재 여부에 대한 판단 결과(D1)를 이득 결정부(108)로 인가한다.
돌발성 소음 판단부(106)는 전체 주파수 대역의 에너지(E)의 크기와 제 2 기준 에너지(돌발성 소음이 존재 여부를 판단하기 위한 기준 에너지로, 상술된 제 1 기준 에너지보다 큰 에너지)의 크기를 비교하여, 만약 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기보다 큰 시간(유지 시간)이 기준 시간 이상이면, 음향(S1)에 돌발성 소음이 존재하는 것으로 판단한다. 만약 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기 이하이거나, 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기보다 크더라고 그 유지 시간이 기준 시간 미만이면, 돌발성 소음 판단부(106)는 음향(S1)에 돌발성 소음이 존재하지 않는 것으로 판단한다. 돌발성 소음 판단부(106)는 돌발성 소음의 존재 여부에 대한 판단 결과(D2)를 이득 결정부(108)로 인가한다.
이득 결정부(108)는 음성 및 잡음 판단부(104)로부터의 판단 결과(D1)와, 돌발성 소음 판단부(106)로부터의 판단 결과(D2)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정하되, 판단 결과(D2)를 판단 결과(D1)보다 우선시 하여 이득(D)(예를 들면, 이득 범위가 0~1의 범위)을 결정한다. 즉, 판단 결과(D2)가 음향(S1)에 돌발성 소음이 존재한다는 것을 나타날 때, 이득 결정부(108)는 돌발성 소음을 제거하기 위해, 전체 주파수 대역에 대하여 최소 이득(예를 들면, 0.1)을 이득(D)으로 결정함으로써, 전제 주파수 대역의 에너지를 감쇄시킨다. 또한, 이득 결정부(108)는 돌발성 소음이 없다는 판단 결과(D2)에 따라, 판단 결과(D1)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정한다. 이득 결정부(108)는 판단 결과(D1)에서 음향(S1)에 잡음만 있다는 것을 확인하여, 잡음 주파수 대역에는 최소 이득을 이득(D)으로 결정하고, 음성 주파수 대역에는 최소 이득보다 큰 제 1 이득(예를 들면, 0.4)을 이득(D)으로 결정한다. 또한, 이득 결정부(108)는 음성 주파수 대역에 음성이 존재하는 것을 확인하여, 음서 주파수 대역에서 에너지가 제 1 기준 에너지 이하인 경우에는 고정 이득(제 1 이득보다 큰 제 2 이득)을 이득(D)으로 결정하고, 에너지가 제 1 기준 에너지를 초과하는 경우에는 가변 이득(제 2 이득부터 제3 이득(제 1 이득보다는 크고 제 2 이득보다는 작은 이득)까지 선형적으로 감소되는 이득)을 이득(D)으로 결정한다.
상술된 방식으로, 데이터 프로세서(9)는 음향에 포함된 잡음을 제거하고, 음성에 대한 이득을 증폭시키는 기능을 수행하여, 상술된 이득 처리 과정과 잡음 제거 처리 과정은 동시에 또는 혼합하여 수행될 수 있다.
먼저, 음향 전달 장치(10)와 제 1 전기 기기(20) 간의 음향 전달 과정은 기재된다. 음향 전달 장치(10)는 제 1 전기 기기(20)와 무선 통신이 가능한 거리 이내에서 음원에 근접하여 설치되거나 배치되는 것이 바람직하다.
음향 전달 장치(10)와 제 1 전기 기기(20)가 전원이 공급되며 통신부(5)와 통신부(15) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(19)는 기저장된 고유 식별 번호를 통신부(15)를 통하여 통신부(5)에 전송하고, 통신부(5)는 전송된 고유 식별 번호를 데이터 프로세서(9)에 인가한다. 데이터 프로세서(9)는 기저장된 특성 데이터로부터 통신부(5)로부터의 고유 식별 번호에 대응하는 제 1 전기 기기(20)의 전기적 특징을 확인하고, 확인된 제 1 전기 기기(20)의 전기적 특징에 따라 기저장된 이득 조절 데이터를 기준으로 한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리를 위한 이득 보정 알고리즘, 잡음 제거 알고리즘 및 하울링 억제 알고리즘을 수행하여 마이크(1)로부터 획득된 음향에 대한 처리를 수행한다. 여기서, 이득 보정 알고리즘, 잡음 제거 알고리즘 및 하울링 억제 알고리즘은 동시에 또는 순차적으로 또는 다양한 순서에 의해 수행될 수 있다. 데이터 프로세서(9)는 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 통신부(15)로 전송하고, 통신부(15)는 전송된 음향 신호를 데이터 프로세서(19)로 인가한다. 데이터 프로세서(19)는 인가된 음향 신호를 스피커(12)에 인가하여 음 방출시킨다. 데이터 프로세서(19)는 음향 전달 장치(10)로부터 오디오 스트리밍 방식으로 인가되는 음향 신호를 수신하여 음 방출하는 동안, 마이크(11)의 동작을 비활성화시킴으로써 수신된 음향 신호만이 스피커(12)를 통하여 음 방출되도록 한다. 이러한 과정에 의해서, 제 1 전기 기기(20)를 착용하고 있는 사용자는 음원에 가까운 음향 전달 장치(10)로부터 보다 사용자에게 듣기 좋도록 처리된 음향을 들을 수 있다. 음향 전달 장치(10)는 제 1 전기 기기(20)와 통신 가능 상태가 유지되고 전원이 공급되는 중에 지속적으로 마이크(1)로부터 획득된 음향을 처리하여 제 1 전기 기기(20)로 전송한다.
다음으로, 음향 전달 장치(10)와 제 2 전기 기기(30) 간의 음향 전달 과정은 기재된다. 음향 전달 장치(10)는 제 2 전기 기기(30)와 무선 통신이 가능한 거리 이내에서 음원에 근접하여 설치되거나 배치되는 것이 바람직하다.
음향 전달 장치(10)와 제 2 전기 기기(30)가 전원이 공급되며 통신부(5)와 통신부(25) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(29)는 기저장된 고유 식별 번호를 통신부(25)를 통하여 통신부(5)에 전송하고, 통신부(5)는 전송된 고유 식별 번호를 데이터 프로세서(9)에 인가한다. 데이터 프로세서(9)는 기저장된 특성 데이터로부터 통신부(5)로부터의 고유 식별 번호에 대응하는 제 2 전기 기기(30)의 전기적 특징을 확인하고, 확인된 제 2 전기 기기(30)의 전기적 특징에 따라 잡음 제거 처리를 위한 잡음 제거 알고리즘을 수행하여 마이크(1)로부터 획득된 음향에 대한 처리를 수행한다. 데이터 프로세서(9)는 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 통신부(25)로 전송하고, 통신부(25)는 전송된 음향 신호를 데이터 프로세서(29)로 인가한다. 데이터 프로세서(29)는 통신부(25)로부터 음향 신호를 수신하는 경우, 즉 음향 전달 장치(10)로부터 음향 신호를 수신하는 경우, 데이터 프로세서(29)는 마이크(21)로부터 획득된 음향에 대한 이득 보정 처리를 수행할 때의 마이크(21)와 음원 간의 거리보다 음향 변환 장치(10)의 마이크(1)와 음원 간의 거리가 상대적으로 짧기 때문에 음향 변환 장치(10)로부터 인가되는 음향의 다이나믹 레인지가 상대적으로 좁게 된다. 이러한 점을 보완 하기 위해, 데이터 프로세서(29)는 적어도 제 1 기준 에너지 범위, 제 1 기준 에너지 범위보다 큰 제 2 기준 에너지 범위 및 제 2 기준 에너지 범위 보다 큰 제 3 기준 에너지 범위를 포함하는 기준 에너지 정보를 저장한다. 제 1 기준 에너지 범위는 음향에 포함된 회로적인 잡음 또는 작은 소음의 판단하기 위한 에너지 범위이며, 제 2 기준 에너지 범위는 일반적인 사람의 대화 영역의 에너지 범위 또는 생활음의 에너지 범위를 판단하기 위한 에너지 범위이며, 제 3 기준 에너지 범위는 너무 소리가 큰 대화음 또는 생활음을 판단하기 위한 범위에 해당된다. 데이터 프로세서(29)는 음향 전달 장치(10)로부터 수신된 음향의 주파수별 또는 주파수 대역별 에너지를 산정하고 산정된 에너지와 기준 에너지 정보에 포함된 기준 에너지 범위들을 비교한다. 만약 산정된 에너지가 제 1 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 산정된 에너지를 감소시키기 위한 이득 감쇄 보정을 수행하고, 만약 산정된 에너지가 제 2 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 사용자의 청력에 대응하는 이득 증폭 보정을 수행하고, 만약 산정된 에너지가 제 3 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 산정된 에너지를 감소시키기 위한 이득 감쇄 보정을 수행한다. 이러한 방식으로, 데이터 프로세서(29)는 수신된 음향에 대한 이득 보정 처리를 수행한 후 스피커(22)에 인가하여 음 방출되도록 한다. 데이터 프로세서(19)는 음향 전달 장치(10)로부터 오디오 스트리밍 방식으로 인가되는 음향 신호를 수신하여 음 방출하는 동안, 마이크(11)의 동작을 비활성화시킴으로써 수신된 음향 신호만이 스피커(12)를 통하여 음 방출되도록 한다. 이러한 과정에 의해서, 제 2 전기 기기(30)를 착용하고 있는 사용자는 음원에 가까운 음향 전달 장치(10)로부터 보다 사용자에게 듣기 좋도록 처리된 음향을 들을 수 있다. 음향 전달 장치(10)는 제 2 전기 기기(30)와 통신 가능 상태가 유지되고 전원이 공급되는 중에 지속적으로 마이크(1)로부터 획득된 음향을 처리하여 제 2 전기 기기(30)로 전송한다.
다음으로, 음향 전달 장치(10)와 제 3 전기 기기(40) 간의 이득 조절값의 가변 과정이 기재된다. 이득 조절값의 가변 과정은 음향 전달 장치(10)가 제 1 또는 제 2 전기 기기(20), (30)와 무선 통신 연결되어, 음향 신호를 전달하는 중에도 수행될 수 있다. 음향 전달 장치(10)와 제 3 전기 기기(40)가 전원이 공급되며 통신부(5)와 통신부(35) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(39)는 저장부(38)에 저장된 이득 조절 데이터를 판독하거나, 통신부(35)를 통하여 음향 전달 장치(10)에 저장된 이득 조절 데이터를 요청할 수 있다. 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 요청 받으면, 기저장된 이득 조절 데이터를 판독하여 통신부(5)를 통하여 통신부(35)에 전송한다. 데이터 프로세서(39)는 통신부(35)를 통하여 이득 조절 데이터를 수신한다. 데이터 프로세서(39)는 판독된 이득 조절 데이터이나 수신된 이득 조절 데이터에 포함된 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기인 이득 조절값을 표시부(37)를 통하여 표시하는 과정과, 입력부(23)로부터 사용자에 의해 입력된 주파수별 또는 주파수 대역별 이득 조절 입력(예를 들면, 증폭 또는 감쇄 입력)에 따른 이득 조절값을 생성하는 과정과, 생성된 이득 조절값을 포함하는 이득 조절 데이터를 음향 전달 장치(10)로 통신부(35)를 통하여 전송하는 과정을 반복적으로 수행하여 사용자의 청력에 대응하는 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기가 설정될 수 있도록 한다. 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 수신하여 저장함으로써 이득 조절 데이터를 갱신하고, 갱신된 이득 조절 데이터에 따라 음향을 처리하여 제 1 전기 기기(20)로 전송하여, 사용자가 음향을 듣고 입력부(33)에 추가적인 이득 조절 입력을 입력하거나 현재 진행 중인 이득 조절 과정을 종료시킬 수도 있다. 상술된 이득 조절 과정을 통하여, 데이터 프로세서(39)는 사용자가 선택한 이득 조절 데이터를 통신부(35)를 통하여 통신부(5)로 전송하고, 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 수신하여 저장함으로써, 사용자가 제 1 전기 기기(20)에서 음 방출되는 음향의 특성을 조절할 수 있다.
다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.