KR20170142001A - 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20170142001A
KR20170142001A KR1020160075165A KR20160075165A KR20170142001A KR 20170142001 A KR20170142001 A KR 20170142001A KR 1020160075165 A KR1020160075165 A KR 1020160075165A KR 20160075165 A KR20160075165 A KR 20160075165A KR 20170142001 A KR20170142001 A KR 20170142001A
Authority
KR
South Korea
Prior art keywords
signal
echo
microphone
generating
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160075165A
Other languages
English (en)
Inventor
유리 유스하코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160075165A priority Critical patent/KR20170142001A/ko
Priority to US15/594,758 priority patent/US10313789B2/en
Publication of KR20170142001A publication Critical patent/KR20170142001A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/237—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using two adaptive filters, e.g. for near end and for end echo cancelling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/02—Circuits for transducers for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체가 제공된다. 본 개시의 일 실시 예에 따른 전자 장치는 기준 신호에 대응되는 음향을 출력하는 스피커, 수신된 소리를 취득하여 마이크 신호를 생성하는 마이크 및 마이크 신호에서 기준 신호의 반향 신호를 제거하는 필터부를 포함할 수 있다.
그리고, 필터부는 기준 신호의 반향 신호를 추정하고, 마이크 신호에서 추정된 반향 신호를 제거하는 제1 필터부 및 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하고, 생성된 적응 게인 및 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 제2 필터부를 포함할 수 있다.

Description

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체{ELECTRIC DEVICE, ACOUSTIC ECHO CANCELLING METHOD OF THEREOF AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}
본 개시는 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것으로, 보다 구체적으로는, 적응 필터를 통해 반향이 일차적으로 제거된 신호에서 잔여 반향을 추가로 제거할 수 있는 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다.
통신 단말과 같은 전자 장치에 있어서, 원단 화자(far-end speaker)의 음성이 주변 환경에 의해 반향되어 근단(near-end)에 있는 마이크를 통해 입력되는 문제점이 존재하였다. 이렇게 스스로 발생시킨 소리가 다시 입력되는 것을 음향 반향(Acoustic Echo)이라고 부른다.
최근에는 음성 인식을 통해 동작하는 전자 장치의 개발이 증가하고 있다. 또한, 스마트 TV와 같은 디스플레이 장치에서도 음성 인식 기능을 수행하기 위하여 마이크를 포함하고 있는 경우가 많다. 따라서, 통신 단말뿐만 아니라 다양한 분야의 전자 장치에서 이용할 수 있는 음향 반향 제거 방법에 대한 필요성이 증가하고 있다.
마이크와 근접하여 배치된 스피커에 의한 공기압 진동으로 인하여 신호의 위상(phase)에 혼동이 발생하기 때문에, 위상 정보를 이용하지 않고도 반향을 제거할 수 있는 방법에 대한 필요성이 증가되고 있다. 이러한 필요에 의하여 주파수 영역으로 신호를 변환하여 처리하는 방법이 개발되었으나, 여전히 복수 계수(complex coefficient) 사용으로 인하여 적응 필터의 효율이 떨어지는 문제점이 존재한다.
또한, 적응 필터를 거친 이후에도 잔여 반향이 존재한다는 문제점이 있다. 그리고, 잔여 반향을 제거하기 위해 필요한 노이즈의 분산 값을 적절히 추정하지 못하는 문제점이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 적응 필터(Adaptive Filter, AF)를 통해 반향을 제거하고, 잔여 반향을 잔여 반향 억제기(Residual Echo Suppressor, RES)를 통해 제거할 수 있는 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체를 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 기준 신호에 대응되는 음향을 출력하는 스피커, 수신된 소리를 취득하여 마이크 신호를 생성하는 마이크 및 상기 마이크 신호에서 상기 기준 신호의 반향 신호를 제거하는 필터부를 포함하고, 상기 필터부는, 상기 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 제1 필터부 및 상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하고, 상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 제2 필터부를 포함할 수 있다.
그리고, 상기 필터부는, 상기 마이크 신호 및 상기 기준 신호를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호를 이용하여 출력 신호를 생성하고, 상기 생성된 출력 신호를 시간 영역으로 변환하여 출력할 수 있다.
또한, 상기 제2 필터부는, 상기 잔여 반향의 분산 값을 추정하고, 상기 추정된 분산 값과 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 적응 게인을 생성할 수 있다.
그리고, 상기 잔여 반향의 분산 값 λd는,
Figure pat00001
에 의해 추정되고, α(l,k)는 적응 필터 계수 H(l,k)의 감쇄 계수, c(l,k)는 기준 신호와 마이크 신호 사이의 커플링 계수, X(l,k)는 기준 신호, F(l,k)는 기준 신호의 추정 반향 신호, l은 프레임 인덱스, k는 주파수 컴퍼넌트 인덱스일 수 있다.
또한, 상기 제2 필터부는, 상기 추정된 반향 신호가 제거된 마이크 신호의 모든 주파수 성분을 이용하여 적응 게인을 생성할 수 있다.
그리고, 상기 필터부는, 상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호 각각을 크기와 위상으로 분리하고, 상기 분리된 마이크 신호의 크기 및 상기 기준 신호의 크기를 이용하여 상기 출력 신호를 생성하고, 상기 출력 신호에 상기 마이크 신호의 위상을 곱한 후 시간 영역으로 변환하여 출력할 수 있다.
또한, 상기 제1 필터부는, 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 포함할 수 있다.
그리고, 상기 생성된 출력 신호를 외부 장치로 전송하는 통신부를 더 포함할 수 있다.
또한, 상기 생성된 출력 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과에 따라 제어 신호를 생성하는 음성 인식부를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치의 반향 신호 제거 방법은, 상기 전자 장치에 수신된 소리를 취득하여 마이크 신호를 생성하는 단계, 상기 전자 장치에서 출력된 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 단계, 상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하는 단계 및 상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 단계를 포함할 수 있다.
그리고, 상기 적응 게인을 생성하는 단계는, 상기 잔여 반향의 분산 값을 추정하고, 상기 추정된 분산 값과 상기 에러 신호를 이용하여 적응 게인을 생성할 수 있다.
또한, 상기 잔여 반향의 분산 값 λd는,
Figure pat00002
에 의해 추정되고,
α(l,k)는 적응 필터 계수 H(l,k)의 감쇄 계수, c(l,k)는 기준 신호와 마이크 신호 사이의 커플링 계수, X(l,k)는 기준 신호, F(l,k)는 기준 신호의 추정 반향 신호, l은 프레임 인덱스, k는 주파수 컴퍼넌트 인덱스일 수 있다.
그리고, 상기 적응 게인을 생성하는 단계는, 상기 추정된 반향 신호가 제거된 마이크 신호의 모든 주파수 성분을 이용하여 적응 게인을 생성할 수 있다.
또한, 상기 마이크 신호 및 상기 기준 신호를 주파수 영역으로 변환하는 단계 및 상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호 각각을 크기와 위상으로 분리하는 단계를 더 포함하고, 상기 반향 신호를 제거하는 단계, 상기 적응 게인을 생성하는 단계 및 상기 출력 신호를 생성하는 단계는 상기 마이크 신호 및 상기 기준 신호의 크기를 이용하고, 상기 출력 신호를 생성하는 단계는, 상기 생성된 출력 신호에 상기 마이크 신호의 위상을 곱한 후 시간 영역으로 변환하여 출력하는 단계를 더 포함할 수 있다.
그리고, 상기 추정된 반향 신호를 제거하는 단계는, 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 이용하여 반향 신호를 추정할 수 있다.
또한, 상기 생성된 출력 신호를 외부 장치로 전송하는 단계를 더 포함할 수 있다.
그리고, 상기 생성된 출력 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과에 따라 제어 신호를 생성하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 반향 신호 제거 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체는, 상기 전자 장치에 수신된 소리를 취득하여 마이크 신호를 생성하는 단계, 상기 전자 장치에서 출력된 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 단계, 상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하는 단계 및 상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 단계를 포함하는 전자 장치의 반향 신호 제거 방법을 포함할 수 있다.
상술한 바와 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 두 단계에 걸쳐 전자 장치 자체에서 출력한 신호에 의한 반향 신호를 제거할 수 있다. 또한, 적절한 잔여 반향의 분산 값을 추정함으로써, 전자 장치는 효과적으로 잔여 반향을 제거할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 개념도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 개략적으로 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도,
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 반향 신호 제거 과정을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 전자 장치의 반향 신호 제거 방법을 기능 블럭 단위로 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제1 필터부를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제2 필터부를 설명하기 위한 도면, 그리고,
도 8 및 도 9는 본 개시의 다양한 실시 예에 따른 전자 장치의 반향 신호 제거 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 개념도이다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 강력한 스피커와 근거리에 배치된 마이크를 포함하는 모든 종류의 기기일 수 있다. 예를 들어, 전자 장치(100)는 통신 단말과 같은 음성 신호를 송수신하는 장치로 구현될 수 있다. 또한, 전자 장치(100)는 스마트폰, 스마트 TV, 타블렛, 오디오 장치, 대화형 음성 인식 장치, 네비게이션 장치 등과 같은 음성 제어 기능을 수행할 수 있는 장치로 구현될 수도 있다. 그리고, 전자 장치(100)는 음성 제어로 동작하는 IoT 허브 장치로 구현될 수도 있다. 이러한 장치들은 사용자의 음성을 수신하는 마이크(120)와 사용자에게 음성을 출력하는 스피커(110)가 근거리에 배치되어 있어, 본 개시의 일 실시 예에 따른 반향 신호 제거 방법이 적용될 수 있다.
도 1을 참조하면, 전자 장치(100)는 스피커(110)를 통해 음향을 출력할 수 있다. 스피커(110)에서 출력되는 음향은 전자 장치(100)에서 생성된 신호에 대응되는 음향이다. 이와 같이 스피커(110)를 통해 출력될 전자 장치(100)에서 생성된 신호를 기준 신호(reference signal)라고 정의하기로 한다. 도 1에서 기준 신호는 x(t)로 기재되었다.
전자 장치(100)는 마이크(120)를 통해 사용자의 발화 s(t)를 수신할 수 있다. 하지만, 마이크(120)에는 사용자의 발화뿐만 아니라 스피커(110)를 통해 출력된 기준 신호의 반향 신호 h(t)*x(t) 역시 수신된다. 마이크(120)는 수신된 소리를 취득하여 마이크 신호 d(t)를 생성할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 마이크 신호 d(t)에서 기준 신호의 반향 신호 h(t)*x(t)를 제거하여 근단 화자의 신호 s(t)만을 얻는 것을 목적으로 한다. 도 1을 참조하면, 전자 장치(100)는 제1 필터부(131) 또는 음향 반향 제거기(AEC, Acoustic Echo Canceller) 및 제2 필터부(133) 또는 잔여 반향 억제기(RES, Residual Echo Suppressor)를 이용하여 기준 신호의 반향 신호를 제거할 수 있다.
이와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 두 단계에 걸쳐 반향 신호를 제거하여 수신하고자 하는 근단 화자의 신호만을 추출할 수 있다. 각 단계의 반향 신호 제거 방법에 대해서는 이하에서 구체적으로 설명하기로 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 개략적으로 설명하기 위한 블럭도이다. 도 2를 참조하면, 전자 장치(100)는 스피커(110), 마이크(120) 및 필터부(130)를 포함할 수 있다. 그리고, 필터부(130)는 제1 필터부(131) 및 제2 필터부(133)를 포함할 수 있다.
스피커(110)는 음향을 출력할 수 있다. 예를 들어, 스피커(110)는 기준 신호(또는 오디오 신호)를 처리하여 기준 신호에 대응되는 음향을 출력할 수 있다.
마이크(120)는 전자 장치(100) 주변의 소리를 취득할 수 있다. 그리고, 마이크(120)는 취득한 소리를 처리하여 마이크 신호(또는 오디오 신호)를 생성할 수 있다.
필터부(130)는 마이크 신호에서 기준 신호의 반향 신호를 제거할 수 있다. 필터부(130)는 각각의 기능을 수행하는 회로들로 구성될 수도 있고, CPU, DSP 등을 이용하여 신호 처리를 할 수도 있다.
필터부(130)는 적응 필터(Adaptive Filter, AF)를 이용하여 스피커(110)에서 출력되는 신호의 음향 반향 신호(Acoustic Echo Signal)을 제거하는 제1 필터부(131) 및 제1 필터부(131)의 처리가 끝난 이후에도 남아있는 잔여 반향을 제거하는 제2 필터부(133)를 포함할 수 있다.
또한, 필터부(130)는 주파수 영역으로 신호를 변환하는 변환부(134), 주파수 영역으로 변환된 신호에서 스펙트럼 크기(spectral magnitude)를 추출하는 크기 추출부(135), 주파수 변환된 신호에서 위상을 추출하는 위상 추출부(136), 시간 영역으로 신호를 변환하는 역변환부(137), 크기와 위상을 합성하는 합성부(138) 등과 같은 구성을 더 포함할 수 있다.
이와 같은 각각의 기능을 수행하는 구성들은 필터부(130)에 모두 포함될 수도 있고, 별도의 구성에서 일부 기능들이 수행될 수도 있다.
제1 필터부(131)는 기준 신호의 반향 신호를 추정하고, 마이크 신호에서 추정된 기준 신호의 반향 신호를 제거할 수 있다. 제1 필터부(131)는 음향 반향 제거기(AEC)라고 불릴 수도 있다.
예를 들어, 제1 필터부(131)는 적응 필터 계수(AF coefficient)를 갱신하여 기준 신호의 반향 신호를 추종하는 추정 반향 신호(estimated echo signal)을 생성할 수 있다. 제1 필터부(131)는 마이크 신호에서 생성한 추정 반향 신호를 제거하여, 전자 장치(100) 자체의 음성 신호에 의한 노이즈를 제거할 수 있다.
제1 필터부(131)는 기준 신호의 반향 신호를 추종하도록 연속적으로 추정된 반향 신호를 업데이트할 수도 있다. 제1 필터부(131)를 거쳐, 마이크 신호에서 추정된 기준 신호의 반향 신호가 제거된 신호는 에러 신호(Error Signal)라고도 불린다. 예를 들어, 추정이 완벽하다면 추정 반향 신호는 기준 신호의 실제 반향 신호와 일치될 것이다. 하지만, 실제 동작에서는 추정이 완벽할 수 없는 바 제1 필터부(131)를 거친 에러 신호에는 잔여 반향이 포함되어 있다.
제2 필터부(133)는 추정된 반향 신호가 제거된 마이크 신호(즉, 에러 신호)에서 잔여 반향을 제거하여 출력 신호를 생성할 수 있다. 예를 들어, 제2 필터부(133)는 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인(adaptive gain)을 생성할 수 있다. 그리고, 제2 필터부(133)는 생성된 적응 게인 및 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성할 수 있다. 제2 필터부(133)의 구체적인 동작에 대해서는 이하에서 다시 설명하기로 한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블럭도이다. 전자 장치(100)는 스피커(110), 마이크(120), 필터부(130), 프로세서(140), 통신부(150) 및 음성 인식부(160)와 같은 추가적인 구성을 포함할 수 있다. 도 3의 실시 예에 도시된 구성 이외에도 전자 장치(100)의 구현 예에 따라 추가적인 구성을 더 포함할 수도 있다.
프로세서(140)는 전자 장치(100)의 전반적인 구성을 제어할 수 있다. 도 3의 실시 예에서는 필터부(130)에서 생성된 출력 신호가 프로세서(140)를 거쳐 통신부(150) 또는 음성 인식부(160)로 전달되는 것으로 도시되었으나, 출력 신호가 바로 통신부(150)와 같은 구성요소로 직접 전달될 수 있음은 물론이다.
통신부(150)는 필터부(130)를 거쳐 생성된 출력 신호를 외부 장치로 전송할 수 있다. 예를 들어, 전자 장치(100)가 스마트폰으로 구현되어 스피커 폰으로 통화를 한다고 가정할 때, 통신부(150)는 스피커(110)에서 출력된 통화 상대방 음성의 반향 신호를 제거하고, 사용자의 음성만이 남은 출력 신호를 통화 상대방의 장치에 전송할 수 있다.
통신부(150)는 유무선 네트워크를 통해 외부 장치와 통신할 수 있다. 예를 들어, 통신부(150)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기에서, 근거리 무선 통신 모듈이란 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다. 또한, 무선 통신 모듈이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), LTE-A(LTE Advanced) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
통신부(150)는 음성 인식부(160)가 외부의 서버 등과 통신할 수 있도록 할 수도 있다. 예를 들어, 통신부(150)는 외부 서버에 음성 인식부(160)에서 처리된 음성 인식 결과를 송신하고, 대응되는 정보를 외부 장치로부터 수신할 수 있다.
음성 인식부(160)는 필터부(130)에서 생성된 출력 신호를 이용하여 음성 인식을 수행할 수 있다. 그리고, 음성 인식부(160)는 음성 인식 결과에 따라 전자 장치(100) 자체 또는 외부 장치를 제어할 수 있는 제어 신호를 생성할 수 있다.
예를 들어, 음성 인식부(160)는 생성된 출력 신호로부터 트리거 단어를 검출하여 인식하고, 트리거 단어가 인식된 이후의 출력 신호로부터 단어/문장 음성 인식 결과를 생성할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)의 반향 신호 제거 과정을 설명하기 위한 도면이다.
도 4의 실시 예에서 x(n)은 기준 신호를 의미한다. 전자 장치(100)에서 생성된 기준 신호는 스피커(110)를 통해 기준 신호에 대응되는 음향으로 출력될 수 있다. 그리고, 기준 신호는 필터부(130)로 입력되어 기준 신호의 반향 신호를 제거하는데 이용될 수 있다.
마이크(120)는 수신된 소리를 취득하여 마이크 신호 d(n)을 생성할 수 있다. 마이크 신호 d(n)에는 기준 신호의 반향 신호가 포함되어 있다. 필터부(130)는 마이크 신호에 포함된 기준 신호의 반향 신호를 제거하기 위한 동작을 수행한다. 기준 신호의 반향 신호를 제거함으로써, 전자 장치(100)는 근단 화자의 음성 신호를 보존할 수 있다.
변환부(134-1, 134-2)는 기준 신호 x(n) 및 마이크 신호 d(n)을 각각 주파수 영역으로 변환할 수 있다. 그리고, 필터부(130)는 주파수 영역으로 변환된 마이크 신호 및 기준 신호 각각을 크기와 위상으로 분리할 수 있다. 크기 추출부(135-1, 135-2)는 주파수 영역으로 변환된 기준 신호 및 마이크 신호를 각각 입력받아 크기만을 추출할 수 있다. 위상이 제거되어 크기만이 남은 신호는 스펙트럼 크기(spectral magnitude)라는 용어로 표현될 수도 있다. 주파수 영역으로 변환할 뿐 아니라 위상을 분리하고 크기만이 남은 신호를 사용함으로써, 본 개시의 일 실시 예에 따른 전자 장치(100)는 급격한 위상 변화로 인한 추정 값 발산과 같은 문제점을 해결할 수 있다. 그리고, 위상 추출부(136)은 주파수 영역으로 변환된 마이크 신호를 입력받아 위상만을 추출할 수 있다.
도 4의 실시 예에서는 변환부(134)가 FFT(Fast Fourier Transform)을 이용하여 기준 신호 및 마이크 신호를 주파수 영역으로 변환하는 것으로 도시되어 있다. l은 FFT 프레임 인덱스이며, k는 주파수 컴퍼넌트 인덱스이다. 하지만, 전자 장치(100)가 주파수 영역으로 신호들을 변환하는 방법이 FFT로 한정되는 것은 아니다. 예를 들어, 변환부(134)는 STFT(Short Time Fourier Transform)과 같은 방식을 이용할 수 있다. 시그널 왜곡을 방지하는 측면에서는 FFT 보다 STFT 방식을 이용하는 것이 보다 적절할 수 있다.
제1 필터부(131)는 변환된 기준 신호의 스펙트럼 크기 X(l,k)와 마이크 신호의 스펙트럼 크기 D(l,k)를 입력 받는다. 제1 필터부(131) 또는 음향 반향 제거기(AEC)는 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 포함할 수 있다. 복수의 적응 필터 각각은 할당된 주파수 대역의 추정 반향 신호를 생성할 수 있다. 이러한 방식의 음향 반향 제거기를 서브 밴드 음향 반향 제거기라고도 부른다.
제1 필터부(131)는 적응 필터 계수 H(l,k)를 업데이트하며 기준 신호의 반향 신호를 추종할 수 있다. 제1 필터부(131)에서는 이전 시간 프레임의 기준 신호에 현재 시간 프레임의 적응 필터 계수를 곱하여 기준 신호의 추정 반향 신호 F(l,k) 값을 생성할 수 있다. 그리고, 제1 필터부(131)는 마이크 신호에서 추정된 기준 신호의 반향 신호를 제거할 수 있다. 마이크 신호에서 추정된 반향 신호가 제거된 신호를 에러 신호 E(l,k)라고도 부를 수 있다. 제1 필터부(131)의 구체적인 동작은 도 6에서 다시 설명하기로 한다.
제2 필터부(133)는 추정된 반향 신호가 제거된 마이크 신호(즉, 에러 신호 E(l,k))에서 잔여 반향을 제거하기 위한 적응 게인 G(l,k)를 생성할 수 있다. 에러 신호 E(l,k)에는 잔여 반향과 근단 화자의 음성 신호가 함께 포함되어 있다. 적응 게인은 에러 신호에 곱하면 근단 화자의 음성 신호만을 출력하는 것으로 정의될 수 있다. 즉, 에러 신호와 적응 게인의 관계는 다음과 같다.
E = Signal + Noise, G·E = Signal
제2 필터부(133)는 잔여 반향의 분산 값을 추정하고, 추정된 잔여 반향의 분산 값과 에러 신호(제1 필터부(131)에서 추정된 반향 신호가 제거된 마이크 신호)의 모든 주파수 성분을 이용하여 적응 게인을 생성할 수 있다. 제2 필터부(133)의 구체적인 동작은 도 7에서 다시 설명하기로 한다.
합성부(138)는 에러 신호와 적응 게인이 곱해진 스펙트럼 크기와 마이크 신호의 위상을 합성할 수 있다. 그리고, 역변환부(137)는 합성된 신호를 시간 영역으로 변환할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 기능 블럭 단위로 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(100)는 기준 신호와 마이크 신호를 각각 주파수 영역으로 변환할 수 있다. 그리고, 전자 장치(100)는 주파수 영역으로 변환된 기준 신호 및 마이크 신호를 각각 하이패스 필터에 통과시켜 저주파 성분을 제거할 수 있다. 저주파 성분은 음성 처리에 있어 불필요한 부분에 해당하기 때문에, 전자 장치(100)는 하이패스 필터를 이용하는 단계를 추가적으로 수행할 수 있다.
sqrt()로 표현된 기능 블록은 크기 추출부(135)에 해당하는 것으로, 기준 신호 및 마이크 신호의 스펙트럼 크기(spectral magnitude)를 추출하는 기능 블록이다. 그리고 ei atan 으로 표현된 기능 블록은 위상 추출부(136)에 해당하는 것으로, 마이크 신호의 위상 성분을 추출하기 위한 기능 블록이다.
RLS 기능 블록은 제1 필터부(131)에 해당하는 기능 블록이다. RLS라고 명명된 이유는 RLS(Recursive Least Squares) 알고리즘을 이용하여 필터 계수를 적응시키기 때문이다. RLS 기능 블록은 입력된 기준 신호의 스펙트럼 크기 X(l,k)와 적응 필터 계수를 이용하여, 기준 신호의 추정 반향 신호 F(l,k)를 생성할 수 있다.
Figure pat00003
위의 수학식에서 L은 필터 길이이다.
에러 신호 E(l,k)는 마이크 신호에서 기준 신호의 추정 반향 신호를 제거한 값에 해당한다. 에러 신호에는 근단 화자의 음성 신호와 잔여 반향이 포함되어 있을 수 있다.
RES gain 기능 블록은 제2 필터부(133)에 해당하는 기능 블록이다. RES gain 기능 블록은 기준 신호, 마이크 신호, 기준 신호의 추정 반향 신호, 에러 신호를 이용하여 잔여 반향의 분산 값을 추정할 수 있다. 그리고, RES gain 기능 블록은 추정된 잔여 반향의 분산 값으로부터 적응 게인을 생성할 수 있다.
전자 장치(100)는 생성된 적응 게인 G(l,k)와 에러 신호 E(l,k)를 곱하여, 잔여 반향이 제거된 근단 화자의 음성 신호만을 얻을 수 있다. 그리고, 전자 장치(100)는 근단 화자의 음성 신호의 위상을 마이크 신호에서 추출한 위상으로 할 수 있다.
전자 장치(100)는 적응 게인 G(l,k), 에러 신호 E(l,k), 마이크 신호의 위상 ejφd(l,k)를 곱하고 시간 영역으로 변환하여 출력 신호를 생성할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치(100)의 제1 필터부(131)를 설명하기 위한 도면이다. 도 6은 제1 필터부(131)를 구성하는 복수의 적응 필터 중 하나만을 도시한 것이다. 복수의 적응 필터는 각각 서로 다른 주파수 대역에서 해당 주파수 대역의 기준 신호의 반향 신호를 추종할 수 있다.
도 6을 참조하면, 제1 필터부(131)는 적응 필터 계수들의 벡터인 H(l,k)를 이용하여 입력된 기준 신호 X(l,k)의 반향 신호를 추정한다. 에러 신호 E(l,k)를 줄이기 위하여, 제1 필터부(131)는 에러 신호를 피드백하여 적응 필터 계수를 업데이트할 수 있다. 에러 신호는 마이크 신호 D(l,k)에서 추정된 반향 신호 F(l,k)를 제거한 신호에 해당한다. 에러 신호 E(l,k)는 아래의 수학식과 같이 계산될 수 있다.
Figure pat00004
Figure pat00005
제1 필터부(131)는 적응 필터 계수, 추정된 반향 신호, 에러 신호를 출력하여 제2 필터부(131)가 잔여 반향을 제거하는데 이용하도록 할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치(100)의 제2 필터부(133)를 설명하기 위한 도면이다. 제2 필터부(133)는 제1 필터부(131)에서 추정된 반향 신호가 제거된 마이크 신호(즉, 에러 신호 E(l,k))에 남아 있는 잔여 반향(residual echo)를 제거하기 위하여, 추정된 반향 신호가 제거된 마이크 신호에 적용할 적응 게인 G(l,k)를 생성할 수 있다.
적응 게인을 계산하기 위해서, 제2 필터부(133)는 먼저 잔여 반향의 분산 값을 추정하여야 한다. 본 개시의 일 실시 예에 따르면, 잔여 반향의 분산 값은 기준 신호 및 음향 환경을 반영한 적응 필터에 대한 정보를 통해 계산될 수 있다.
잔여 반향의 분산 값 λd는 아래의 수학식을 통해 계산될 수 있다.
Figure pat00006
상술한 수학식에서 α(l,k)는 적응 필터 계수 H(l,k)의 감쇄 계수, c(l,k)는 기준 신호와 마이크 신호 사이의 커플링 계수, X(l,k)는 기준 신호, F(l,k)는 기준 신호의 추정 반향 신호, l은 프레임 인덱스, k는 주파수 컴퍼넌트 인덱스이다.
우선, 제2 필터부(133)는 기준 신호와 마이크 신호 사이의 커플링 계수 c(l,k)를 아래의 수학식과 같이 계산할 수 있다.
Figure pat00007
<> 계산은 일종의 프레임 단위 평균을 도출하는 계산에 해당한다.
커플링 계수 c(l,k)를 계산한 이후, 제2 필터부(133)는 커플링 계수에 기준 신호의 제곱을 곱하여 마이크(120)에 수신된 기준 신호의 총 에너지 c(l,k)X2(l,k)를 계산할 수 있다. 그리고, 제2 필터부(133)는 추정된 반향 신호의 제곱 F2(l,k)을 기준 신호의 총 에너지로부터 제거하여, 에러 신호에 남아있는 잔여 기준 에너지 c(l,k)X2(l,k)-F2(l,k)를 구할 수 있다.
그리고, 제2 필터부(133)는 적응 필터 계수의 감쇄 계수(decaying coefficient) α(l,k)를 이용하여 이전 프레임에서의 잔여 반향 에너지를 반영할 수 있다.
제2 필터부(133)는 적응 필터 계수 H(l,k)를 이용하여 적응 필터 계수의 감쇄 계수 α(l,k)를 계산할 수 있다. 적응 필터 계수 H(l,k)의 컴퍼넌트들은 일정하게 감쇄된다는 가정하에 다음의 재귀 함수(recursion)으로 표현할 수 있다.
Figure pat00008
제2 필터부(133)는 재귀 관계를 이용하여 감쇄 계수를 아래의 수학식과 같이 계산할 수 있다.
Figure pat00009
상술한 수학식에서 Hmin은 최저 필터 계수이고, Hmax는 최고 필터 계수이며, imin과 imax는 각각의 대응되는 인덱스를 의미한다.
제2 필터부(133)는 계산된 잔여 반향의 분산 값 λd과 에러 신호 E(l,k)를 이용하여 적응 게인 G(l,k)를 생성할 수 있다. 그리고, 제2 필터부(133)는 생성된 적응 게인에 에러 신호를 곱하여 출력 신호를 생성할 수 있다.
전자 장치(100)는 생성된 출력 신호에 마이크 신호의 위상을 곱한 후 시간 영역으로 변환하여 출력할 수 있다.
Figure pat00010
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 설명하기 위한 흐름도이다. 도 8을 참조하면, 전자 장치(100)는 수신된 소리를 취득하여 마이크 신호를 생성할 수 있다(S810). 마이크 신호에는 전자 장치(100) 자체에서 출력된 기준 신호의 반향 신호가 포함될 수 있으며, 본 개시의 일 실시 예에 따른 반향 신호 제거 방법은 이러한 기준 신호의 반향 신호를 제거함을 목적으로 한다.
전자 장치(100)는 적응 필터를 이용하여 기준 신호의 반향 신호를 추정하고, 마이크 신호에서 추정된 반향 신호를 제거할 수 있다(S820). 하지만, 적응 필터를 이용하여 추정된 반향 신호를 제거한 마이크 신호에는 잔여 반향이 남아 있기 때문에, 전자 장치(100)는 잔여 반향을 제거하기 위한 적응 게인을 생성할 수 있다(S830). 그리고, 전자 장치(100)는 생성된 적응 게인 및 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성할 수 있다(S840).
도 9는 본 개시의 일 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 다른 용어를 이용하여 설명한 흐름도이다. 도 9를 참조하면, 전자 장치(100)는 시간 영역의 마이크 신호 및 기준 신호를 얻을 수 있다(S910). 그리고, 전자 장치(100)는 마이크 신호 및 기준 신호를 주파수 도메인으로 변환할 수 있다(S920). 주파수 도메인으로 신호들을 변환함으로써 전자 장치(100)는 위상의 혼동으로 인한 적응 필터의 오작동을 방지할 수 있다.
전자 장치(100)는 적응 필터를 이용하여 마이크 신호로부터 반향 신호를 제거할 수 있다(S930). 구체적으로, 적응 필터는 기준 신호의 반향 신호를 추정하고, 추정된 반향 신호를 마이크 신호로부터 제거하여 에러 신호를 얻을 수 있다.
에러 신호, 즉, 추정된 반향 신호가 마이크 신호로부터 제거된 신호에 남아있는 잔여 반향을 제거하기 위하여, 전자 장치(100)는 잔여 반향 억제기를 이용할 수 있다(S940). 구체적으로, 잔여 반향 억제기는 잔여 반향의 분산 값을 기준 신호 및 적응 필터(음향 환경) 정보로부터 계산하고, 계산된 잔여 반향의 분산 값을 이용하여 잔여 반향을 제거하기 위한 적응 게인을 계산할 수 있다.
두 단계에 거친 반향 신호 제거를 통해 전자 장치(100)는 출력 신호를 얻을 수 있다. 그리고, 전자 장치(100)는 출력 신호를 다시 시간 영역으로 변환할 수 있다(S950). 이어서, 전자 장치(100)는 시간 영역으로 변환된 출력 신호를 출력할 수 있다(S960).
그 밖의 전자 장치(100)의 반향 신호 제거 방법의 실시 예들은 전자 장치(100)에 대한 설명과 중복되는바 생략하기로 한다.
상술한 바와 같이 전자 장치(100)는 두 단계에 걸쳐 반향 신호를 제거할 수 있다. 그리고, 기준 신호와 음향 환경 정보를 이용하여 잔여 반향의 분산 값을 계산함으로써, 전자 장치(100)는 효과적으로 잔여 반향을 제거할 수 있는 적응 게인 값을 얻을 수 있다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 110: 스피커
120: 마이크 130: 필터부
131: 제1 필터부 133: 제2 필터부
140: 프로세서 150: 통신부
160: 음성 인식부

Claims (18)

  1. 기준 신호에 대응되는 음향을 출력하는 스피커;
    수신된 소리를 취득하여 마이크 신호를 생성하는 마이크; 및
    상기 마이크 신호에서 상기 기준 신호의 반향 신호를 제거하는 필터부;를 포함하고,
    상기 필터부는,
    상기 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 제1 필터부; 및
    상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하고, 상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 제2 필터부;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 필터부는,
    상기 마이크 신호 및 상기 기준 신호를 주파수 영역으로 변환하고, 상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호를 이용하여 출력 신호를 생성하고, 상기 생성된 출력 신호를 시간 영역으로 변환하여 출력하는 전자 장치.
  3. 제1항에 있어서,
    상기 제2 필터부는,
    상기 잔여 반향의 분산 값을 추정하고, 상기 추정된 분산 값과 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 적응 게인을 생성하는 전자 장치.
  4. 제3항에 있어서,
    상기 잔여 반향의 분산 값 λd는,
    Figure pat00011

    에 의해 추정되고,
    α(l,k)는 적응 필터 계수 H(l,k)의 감쇄 계수, c(l,k)는 기준 신호와 마이크 신호 사이의 커플링 계수, X(l,k)는 기준 신호, F(l,k)는 기준 신호의 추정 반향 신호, l은 프레임 인덱스, k는 주파수 컴퍼넌트 인덱스인 전자 장치.
  5. 제1항에 있어서,
    상기 제2 필터부는,
    상기 추정된 반향 신호가 제거된 마이크 신호의 모든 주파수 성분을 이용하여 적응 게인을 생성하는 전자 장치.
  6. 제2항에 있어서,
    상기 필터부는,
    상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호 각각을 크기와 위상으로 분리하고, 상기 분리된 마이크 신호의 크기 및 상기 기준 신호의 크기를 이용하여 상기 출력 신호를 생성하고, 상기 출력 신호에 상기 마이크 신호의 위상을 곱한 후 시간 영역으로 변환하여 출력하는 전자 장치.
  7. 제1항에 있어서,
    상기 제1 필터부는,
    서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 포함하는 전자 장치.
  8. 제1항에 있어서,
    상기 생성된 출력 신호를 외부 장치로 전송하는 통신부;를 더 포함하는 전자 장치.
  9. 제1항에 있어서,
    상기 생성된 출력 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과에 따라 제어 신호를 생성하는 음성 인식부;를 더 포함하는 전자 장치.
  10. 전자 장치의 반향 신호 제거 방법에 있어서,
    상기 전자 장치에 수신된 소리를 취득하여 마이크 신호를 생성하는 단계;
    상기 전자 장치에서 출력된 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 단계;
    상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하는 단계; 및
    상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 단계;를 포함하는 반향 신호 제거 방법.
  11. 제10항에 있어서,
    상기 적응 게인을 생성하는 단계는,
    상기 잔여 반향의 분산 값을 추정하고, 상기 추정된 분산 값과 상기 에러 신호를 이용하여 적응 게인을 생성하는 반향 신호 제거 방법.
  12. 제11항에 있어서,
    상기 잔여 반향의 분산 값 λd는,
    Figure pat00012

    에 의해 추정되고,
    α(l,k)는 적응 필터 계수 H(l,k)의 감쇄 계수, c(l,k)는 기준 신호와 마이크 신호 사이의 커플링 계수, X(l,k)는 기준 신호, F(l,k)는 기준 신호의 추정 반향 신호, l은 프레임 인덱스, k는 주파수 컴퍼넌트 인덱스인 반향 신호 제거 방법.
  13. 제10항에 있어서,
    상기 적응 게인을 생성하는 단계는,
    상기 추정된 반향 신호가 제거된 마이크 신호의 모든 주파수 성분을 이용하여 적응 게인을 생성하는 반향 신호 제거 방법.
  14. 제10항에 있어서,
    상기 마이크 신호 및 상기 기준 신호를 주파수 영역으로 변환하는 단계; 및
    상기 주파수 영역으로 변환된 마이크 신호 및 기준 신호 각각을 크기와 위상으로 분리하는 단계;를 더 포함하고,
    상기 반향 신호를 제거하는 단계, 상기 적응 게인을 생성하는 단계 및 상기 출력 신호를 생성하는 단계는 상기 마이크 신호 및 상기 기준 신호의 크기를 이용하고,
    상기 출력 신호를 생성하는 단계는,
    상기 생성된 출력 신호에 상기 마이크 신호의 위상을 곱한 후 시간 영역으로 변환하여 출력하는 단계;를 더 포함하는 반향 신호 제거 방법.
  15. 제10항에 있어서,
    상기 추정된 반향 신호를 제거하는 단계는,
    서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 이용하여 반향 신호를 추정하는 반향 신호 제거 방법.
  16. 제10항에 있어서,
    상기 생성된 출력 신호를 외부 장치로 전송하는 단계;를 더 포함하는 반향 신호 제거 방법.
  17. 제10항에 있어서,
    상기 생성된 출력 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과에 따라 제어 신호를 생성하는 단계;를 더 포함하는 반향 신호 제거 방법.
  18. 전자 장치의 반향 신호 제거 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
    상기 전자 장치의 반향 신호 제거 방법은,
    상기 전자 장치에 수신된 소리를 취득하여 마이크 신호를 생성하는 단계;
    상기 전자 장치에서 출력된 기준 신호의 반향 신호를 추정하고, 상기 마이크 신호에서 상기 추정된 반향 신호를 제거하는 단계;
    상기 추정된 반향 신호가 제거된 마이크 신호에서 잔여 반향을 제거하기 위한 적응 게인을 생성하는 단계; 및
    상기 생성된 적응 게인 및 상기 추정된 반향 신호가 제거된 마이크 신호를 이용하여 출력 신호를 생성하는 단계;를 포함하는 비일시적 컴퓨터 판독가능 기록매체.
KR1020160075165A 2016-06-16 2016-06-16 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 Withdrawn KR20170142001A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160075165A KR20170142001A (ko) 2016-06-16 2016-06-16 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US15/594,758 US10313789B2 (en) 2016-06-16 2017-05-15 Electronic device, echo signal cancelling method thereof and non-transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160075165A KR20170142001A (ko) 2016-06-16 2016-06-16 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20170142001A true KR20170142001A (ko) 2017-12-27

Family

ID=60659721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160075165A Withdrawn KR20170142001A (ko) 2016-06-16 2016-06-16 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체

Country Status (2)

Country Link
US (1) US10313789B2 (ko)
KR (1) KR20170142001A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080638A1 (ko) * 2018-10-17 2020-04-23 삼성전자(주) 전자장치 및 그 제어방법
WO2023128155A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 전자 장치 및 그 제어 방법
WO2023140462A1 (ko) * 2022-01-20 2023-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2024150883A1 (en) * 2023-01-09 2024-07-18 Samsung Electronics Co., Ltd. The method and apparatus for automatic loudspeaker directivity adaptation

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) * 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
CN108831448B (zh) * 2018-03-22 2021-03-02 北京小米移动软件有限公司 语音控制智能设备的方法、装置及存储介质
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
CN108831496B (zh) * 2018-05-22 2019-12-10 出门问问信息科技有限公司 一种回声抑制方法及装置、存储介质、电子设备
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN115315935A (zh) 2020-03-23 2022-11-08 杜比实验室特许公司 回声残余抑制
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US12387716B2 (en) 2020-06-08 2025-08-12 Sonos, Inc. Wakewordless voice quickstarts
CN111798864B (zh) * 2020-07-02 2024-06-04 杭州海康威视数字技术股份有限公司 一种回声消除方法、装置、电子设备及存储介质
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US12283269B2 (en) 2020-10-16 2025-04-22 Sonos, Inc. Intent inference in audiovisual communication sessions
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US12327556B2 (en) 2021-09-30 2025-06-10 Sonos, Inc. Enabling and disabling microphones and voice assistants
WO2023056258A1 (en) 2021-09-30 2023-04-06 Sonos, Inc. Conflict management for wake-word detection processes
US12327549B2 (en) 2022-02-09 2025-06-10 Sonos, Inc. Gatekeeping for voice intent processing
US11902757B2 (en) 2022-06-14 2024-02-13 Tencent America LLC Techniques for unified acoustic echo suppression using a recurrent neural network
US12477070B1 (en) * 2023-11-02 2025-11-18 Zoom Communications, Inc. Machine-learning assisted acoustic echo cancelation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031908A (en) * 1997-11-14 2000-02-29 Tellabs Operations, Inc. Echo canceller employing dual-H architecture having variable adaptive gain settings
US6198819B1 (en) * 1997-11-14 2001-03-06 Tellabs Operations, Inc. Echo canceller having improved non-linear processor
US6570985B1 (en) * 1998-01-09 2003-05-27 Ericsson Inc. Echo canceler adaptive filter optimization
US7062038B1 (en) * 2002-12-17 2006-06-13 Cisco Technology, Inc. System and method of using two coefficient banks in an adaptive echo canceller
DE602004017603D1 (de) 2004-09-03 2008-12-18 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive Reduktion von Störgeräuschen und von akustischen Echos
US7813499B2 (en) * 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
EP1715669A1 (en) * 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
WO2006111370A1 (en) * 2005-04-19 2006-10-26 Epfl (Ecole Polytechnique Federale De Lausanne) A method and device for removing echo in a multi-channel audio signal
US20160066087A1 (en) * 2006-01-30 2016-03-03 Ludger Solbach Joint noise suppression and acoustic echo cancellation
DE102008039330A1 (de) * 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
US8842851B2 (en) * 2008-12-12 2014-09-23 Broadcom Corporation Audio source localization system and method
KR20120022101A (ko) 2010-09-01 2012-03-12 (주)제이유디지탈 양방향 텔레비전 음성 통신에서의 잡음 제거 장치 및 그 방법
EP2444967A1 (en) * 2010-10-25 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Echo suppression comprising modeling of late reverberation components
US8948407B2 (en) * 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
KR20160076059A (ko) 2014-12-22 2016-06-30 삼성전자주식회사 디스플레이장치 및 그 반향 제거방법
US10074380B2 (en) * 2016-08-03 2018-09-11 Apple Inc. System and method for performing speech enhancement using a deep neural network-based signal

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080638A1 (ko) * 2018-10-17 2020-04-23 삼성전자(주) 전자장치 및 그 제어방법
WO2023128155A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 전자 장치 및 그 제어 방법
US12205571B2 (en) 2021-12-29 2025-01-21 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
WO2023140462A1 (ko) * 2022-01-20 2023-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US12277923B2 (en) 2022-01-20 2025-04-15 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
WO2024150883A1 (en) * 2023-01-09 2024-07-18 Samsung Electronics Co., Ltd. The method and apparatus for automatic loudspeaker directivity adaptation
US12598442B2 (en) 2023-01-09 2026-04-07 Samsung Electronics Co., Ltd. Automatic loudspeaker directivity adaptation

Also Published As

Publication number Publication date
US20170365247A1 (en) 2017-12-21
US10313789B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
US10313789B2 (en) Electronic device, echo signal cancelling method thereof and non-transitory computer readable recording medium
JP5671147B2 (ja) 後期残響成分のモデリングを含むエコー抑制
JP5678023B2 (ja) 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム
JP6201949B2 (ja) エコーキャンセル装置、エコーキャンセルプログラム及びエコーキャンセル方法
JP5501527B2 (ja) エコー消去装置およびエコー検出装置
KR101422984B1 (ko) 잔류 에코를 억제하는 방법 및 장치
JP6160403B2 (ja) エコー抑圧装置及びエコー抑圧プログラム
US8462962B2 (en) Sound processor, sound processing method and recording medium storing sound processing program
KR20080056645A (ko) 저복잡성 에코 보상
US9866792B2 (en) Display apparatus and echo cancellation method thereof
JP6109450B2 (ja) エコーキャンセラ装置およびエコーキャンセル方法
US8655418B2 (en) Method and apparatus for a frequency domain echo suppression filter
JP2000252891A (ja) 信号処理装置
Helwani et al. A single-channel MVDR filter for acoustic echo suppression
JP5631523B2 (ja) エコー消去装置
JP6369192B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP2013005106A (ja) 場内拡声装置、場内拡声方法、及びそのプログラム
JP5620350B2 (ja) 場内拡声方法、場内拡声装置とそのプログラム
JP6369189B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP2003264483A (ja) エコー抑圧装置、エコー抑圧方法、電話機、及びテレビ電話システム
RU2786157C2 (ru) Устройство эхоподавления, способ эхоподавления и программа эхоподавления
JPWO2013032001A1 (ja) 音声処理装置、その制御方法および制御プログラム
KR102012522B1 (ko) 방향성 음향 신호 처리 장치
JP6314608B2 (ja) エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法
JP2017034355A (ja) エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PC1203 Withdrawal of no request for examination

St.27 status event code: N-1-6-B10-B12-nap-PC1203

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000