KR102715519B1 - 자신의 음성 폐색 보상 - Google Patents

자신의 음성 폐색 보상 Download PDF

Info

Publication number
KR102715519B1
KR102715519B1 KR1020217033417A KR20217033417A KR102715519B1 KR 102715519 B1 KR102715519 B1 KR 102715519B1 KR 1020217033417 A KR1020217033417 A KR 1020217033417A KR 20217033417 A KR20217033417 A KR 20217033417A KR 102715519 B1 KR102715519 B1 KR 102715519B1
Authority
KR
South Korea
Prior art keywords
transfer function
open
ear
user
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020217033417A
Other languages
English (en)
Other versions
KR20210141585A (ko
Inventor
장리 천
브렌턴 스틸
토마스 이반 하비
Original Assignee
시러스 로직 인터내셔널 세미컨덕터 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시러스 로직 인터내셔널 세미컨덕터 리미티드 filed Critical 시러스 로직 인터내셔널 세미컨덕터 리미티드
Publication of KR20210141585A publication Critical patent/KR20210141585A/ko
Application granted granted Critical
Publication of KR102715519B1 publication Critical patent/KR102715519B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/05—Electronic compensation of the occlusion effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰, 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰, 스피커, 및 스피커와 외부 마이크로폰과 내부 마이크로폰 사이에 결합된 하나 이상의 프로세서를 포함하는 헤드셋에서 사운드를 등화하는 방법, 방법은, 사용자가 헤드셋을 착용하는 동안: 외부 마이크로폰에서 사운드의 존재시, 제1 오디오 신호와 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하는 단계; 스피커 입력 신호와 제1 오디오 신호 사이의 제2 오디오 전달 함수를 결정하는 단계로서, 스피커는 스피커 입력 신호에 의해 구동되는, 상기 제2 오디오 전달 함수를 결정하는 단계; 하나 이상의 프로세서의 전기 전달 함수를 결정하는 단계; 제1 오디오 전달 함수, 제2 오디오 전달 함수 및 전기 전달 함수에 기초하여 폐쇄 상태 귀 전달 함수를 결정하는 단계; 및 폐쇄 상태 귀 전달 함수와 개방 상태 귀 전달 함수 간의 비교에 기초하여 제1 오디오 신호를 등화하고 등화된 제1 오디오 신호를 생성하는 단계를 포함한다.

Description

자신의 음성 폐색 보상
본 개시는 귀 폐색(ear occlusion)을 보상하는 방법 및 장치에 관한 것이다.
헤드셋, 보청기(hearing aid) 및 청력 보호기와 같은 많은 보청 디바이스에는 귀를 폐색하고 환경 노이즈로부터 사용자를 격리시키는 단단히 밀봉되는 이어버드(earbud) 또는 이어컵(earcup)이 있다. 이러한 격리는 사용자가 귀에서 디바이스를 떼지 않고 전화를 걸거나 근처에 있는 사람과 이야기할 때와 같이 사용자가 OV(own-voice)을 듣고 싶어할 때 두 가지 부작용이 있다. 부작용 중 하나는 고주파에서의 수동 손실(PL)로 인해 사용자 자신의 목소리가 들리지 않게 된다. 다른 효과는 저주파에서 사용자 자신의 음성을 증폭하여 음성을 쿵쿵 울리게 하는 것이다. 저주파에서 사용자 자신의 음성을 증폭하는 것을 일반적으로 OE(occlusion effect)라고 한다.
OE는 주로 1kHz 미만에서 발생하며 사용자의 외이도(ear canal) 구조, 보청기의 끼움 기밀성(fitting tightness) 및 사용자가 발음하는 음소에 따라 다르다. 예를 들어, [a:]와 같은 전면 개방 모음의 경우 OE는 일반적으로 몇 데시벨(dB)에 불과하지만 [i:]와 같은 후면 폐쇄 모음의 경우 OE는 30dB 이상일 수 있다.
피드백 능동 노이즈 제거(ANC : active noise cancellation)는 노이즈 제거 헤드폰에서 OE를 보상하는데 사용되는 일반적인 방법이다. 피드백 ANC는 고막 근처에 위치된 내부 마이크로폰과 헤드셋 스피커를 사용하여 피드백 루프를 형성하여 고막 근처의 사운드를 제거한다. OE에 대응하기 위해 피드백 ANC를 사용하는 것은 미국 특허 번호 4,985,925 및 미국 특허 번호 5,267,321에 설명되어 있으며, 이들 각각의 내용은 그 전체가 참고로 본 출원에 통합된다. 이들 특허에 설명된 방법은 피드백 ANC의 모든 파라미터가 사용자의 평균 OE를 기반으로 미리 설정되어야 한다. 미국 특허 번호 9,020,160은, 이의 내용은 그 전체가 참조로 본 출원에 통합됨, 사용자에 의해 발음되는 음소의 변화를 설명하기 위해 피드백 ANC 필터의 피드백 루프 변수를 업데이트하는 것을 설명한다.
본 명세서에 포함된 문서, 행위, 자료, 디바이스, 물품 등에 대한 임의의 논의는 이러한 문제 중 일부 또는 전부가 선행 기술 기반의 일부를 형성하거나 첨부된 각 청구범위의 우선일 이전에 존재했던 본 개시와 관련된 분야의 흔한 일반 지식이었다는 것을 인정하는 것으로 간주되어서는 안 된다.
본 개시는 새로운 신호 분석 및 처리를 이용하여 사용자 자신의 음성의 자연스러움을 복원하는 방법을 제공한다.
본 개시의 일 양태에 따르면, 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰, 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰, 스피커, 및 상기 스피커와 상기 외부 마이크로폰과 상기 내부 마이크로폰 사이에 결합된 하나 이상의 프로세서를 포함하는 헤드셋에서 사운드를 등화하는 방법에 있어서, 상기 방법은 : 사용자가 헤드셋을 착용하는 동안: 상기 외부 마이크로폰에서 사운드의 존재시, 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하는 단계; 및 스피커 입력 신호와 상기 제1 오디오 신호 사이의 제2 오디오 전달 함수를 결정하는 단계로서, 상기 스피커는 상기 스피커 입력 신호에 의해 구동되는, 상기 제2 오디오 전달 함수를 결정하는 단계; 상기 하나 이상의 프로세서의 전기 전달 함수(electrical transfer function)를 결정하는 단계; 상기 제1 오디오 전달 함수, 상기 제2 오디오 전달 함수 및 상기 전기 전달 함수에 기초하여 폐쇄 상태 귀 전달 함수(closed-ear transfer function)를 결정하는 단계; 및 폐쇄 상태 귀 전달 함수와 개방 상태 귀 전달 함수(open-ear transfer function) 간의 비교에 기초하여 상기 제1 오디오 신호를 등화하여 등화된 제1 오디오 신호를 생성하는 단계를 포함한다.
상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 주파수 도메인 비율일 수 있다. 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 시간 도메인 차이일 수 있다.
상기 개방 상태 귀 전달 함수는 상기 사용자의 고막 또는 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수일 수 있다. 대안적으로, 상기 개방 상태 귀 전달 함수는 헤드 시뮬레이터의 고막과 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수일 수 있다. 대안적으로, 상기 개방 상태 귀 전달 함수는 일반 대중(general population)의 일부의 평균 개방 상태 귀 전달 함수일 수 있다.
상기 방법은 a) 상기 사용자의 고막 또는 귀 입구 사이의 상기 개방 상태 귀 전달 함수를 측정하는 단계; 또는 b) 헤드 시뮬레이터의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 측정하는 단계; 또는 c) 일반 대중의 일부에 대한 평균 개방 상태 귀 전달 함수에 기초하여 상기 개방 상태 귀 전달 함수를 결정하는 단계를 더 포함할 수 있다.
상기 제1 오디오 전달 함수를 결정하는 단계는 스피커가 음소거된 상태(muted)에서 수행될 수 있다.
상기 제2 오디오 전달 함수를 결정하는 단계는 상기 헤드셋 외부의 사운드가 거의 또는 전혀 없을 때 수행될 수 있다.
상기 전기 경로 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서에 의해 구현되는 피드포워드(feedforward) ANC 필터의 주파수 응답 및/또는 상기 하나 이상의 프로세서에 의해 구현되는 피드백(feedback) ANC 필터의 주파수 응답을 결정하는 단계를 포함할 수 있다.
상기 전기 경로 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서와 관련된 이득(gain)을 결정하는 단계를 포함할 수 있다.
상기 방법은 상기 사용자의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 결정하는 단계를 더 포함할 수 있고, 상기 사용자의 개방 상태 귀 전달 함수를 근사화하는 단계를 포함한다.
상기 방법은 상기 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 더 포함할 수 있다.
상기 방법은 : 상기 사용자가 상기 헤드셋을 착용하고 상기 사용자가 말하고 있는 동안 상기 제1 오디오 신호와 제2 오디오 신호 사이의 제3 오디오 전달 함수를 결정하는 단계; 및 상기 제3 전달 함수에 기초하여 상기 등화된 제1 오디오 신호를 추가로 등화하는 단계를 더 포함할 수 있다.
상기 방법은 상기 사용자가 말하고 있다는 결정에 기초하여, 상기 음성 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 더 포함할 수 있다.
상기 방법은 상기 하나 이상의 프로세서가 ANC(active noise cancellation)를 구현하고 있는지를 결정하는 단계; 및 상기 하나 이상의 프로세서가 ANC를 구현하는 것을 고려하여 추가 등화를 조정하는 단계를 더 포함할 수 있다.
상기 방법은 상기 사용자에게 음소 균형 잡힌(phoneme balanced) 문장이나 어구를 말하도록 요청하는 단계를 더 포함할 수 있다. 상기 제 3 오디오 전달 함수는 상기 사용자가 음소 균형 잡힌 문장을 말하는 동안 결정될 수 있다.
본 개시의 다른 양태에 따르면, 장치가 제공되고, 상기 장치는 : 헤드셋으로서, 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰; 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰; 및 스피커를 포함하는, 상기 헤드셋; 및 하나 이상의 프로세서로서, 사용자가 상기 헤드셋을 착용하는 동안: 상기 외부 마이크로폰에서 사운드의 존재시, 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하고; 스피커 입력 신호와 제1 오디오 신호 사이의 제2 오디오 전달 함수를 결정하고, 상기 스피커는 스피커 입력 신호에 의해 구동되고; 하나 이상의 프로세서의 전기 전달 함수를 결정하고; 상기 제1 오디오 전달 함수, 상기 제2 오디오 전달 함수 및 상기 전기 전달 함수에 기초하여 폐쇄 상태 귀 전달 함수를 결정하고; 및 상기 폐쇄 상태 귀 전달 함수와 개방 상태 귀 전달 함수 간의 비교에 기초하여 상기 제1 오디오 신호를 등화하여 등화된 제1 오디오 신호를 생성하도록 구성된, 상기 하나 이상의 프로세스를 포함한다.
상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 주파수 도메인 비율일 수 있다. 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 시간 도메인 차이일 수 있다.
상기 개방 상태 귀 전달 함수는 상기 사용자의 고막 또는 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수일 수 있다. 대안적으로, 상기 개방 상태 귀 전달 함수는 헤드 시뮬레이터의 고막과 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수일 수 있다. 대안적으로, 상기 개방 상태 귀 전달 함수는 일반 대중의 일부의 평균 개방 상태 귀 전달 함수일 수 있다.
상기 하나 이상의 프로세서는: a) 상기 사용자의 고막 또는 귀 입구 사이의 상기 개방 상태 귀 전달 함수를 측정하는 단계; 또는 b) 헤드 시뮬레이터의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 측정하는 단계; 또는 c) 일반 대중의 일부에 대한 평균 개방 상태 귀 전달 함수에 기초하여 상기 개방 상태 귀 전달 함수를 결정하는 단계를 수행하도록 더 구성될 수 있다.
상기 제1 오디오 전달 함수를 결정하는 단계는 스피커가 음소거된 상태에서 수행될 수 있다.
상기 제2 오디오 전달 함수를 결정하는 단계는 상기 헤드셋 외부의 사운드가 거의 또는 전혀 없을 때 수행될 수 있다.
상기 전기 경로 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서에 의해 구현되는 피드포워드(feedforward) ANC 필터의 주파수 응답 및/또는 상기 하나 이상의 프로세서에 의해 구현되는 피드백(feedback) ANC 필터의 주파수 응답을 결정하는 단계를 포함할 수 있다.
상기 전기 경로 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서와 관련된 이득을 결정하는 단계를 포함할 수 있다.
상기 사용자의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 결정하는 단계는 개방 상태 귀 전달 함수를 근사화하는 단계를 포함한다.
상기 하나 이상의 프로세서는 상기 사용자가 말하고 있지 않는다는 결정에 기초하여, 상기 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 수행하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 상기 사용자가 상기 헤드셋을 착용하고 상기 사용자가 말하고 있는 동안 상기 제1 오디오 신호와 제2 오디오 신호 사이의 제3 오디오 전달 함수를 결정하고; 및 상기 개방 상태 귀 전달 함수와 상기 폐쇄 상태 귀 전달 함수 간의 차이에 기초하여 상기 등화된 제1 오디오 신호를 추가로 등화하여 음성 등화된 제1 오디오 신호를 생성하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 상기 사용자가 말하고 있다는 결정에 기초하여, 상기 음성 등화된 제1 오디오 신호를 상기 스피커로 출력하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 상기 하나 이상의 프로세서가 ANC(active noise cancellation)를 구현하고 있는지를 결정하고; 및 상기 하나 이상의 프로세서가 ANC를 구현하는 것을 고려하여 추가 등화를 조정하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 음소 균형 잡힌(phoneme balanced) 문장이나 어구를 말하도록 상기 사용자에게 요청을 출력하도록 추가로 구성될 수 있고, 상기 제 3 오디오 전달 함수는 상기 사용자가 음소 균형 잡힌 문장을 말하는 동안 결정된다.
본 개시의 다른 양태에 따르면, 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰, 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰, 스피커, 및 상기 스피커와 상기 외부 마이크로폰과 상기 내부 마이크로폰 사이에 결합된 하나 이상의 프로세서를 포함하는 헤드셋에서 사운드를 등화하는 방법에 있어서, 상기 방법은 : 사용자가 헤드셋을 착용하고 사용자가 말하는 동안 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하는 단계; 및 상기 제1 오디오 전달 함수에 기초하여 제1 오디오 신호를 등화하는 단계를 포함한다.
상기 방법은 사용자가 말하고 있다는 결정에 기초하여, 상기 음성 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 더 포함할 수 있다.
상기 방법은 상기 하나 이상의 프로세서가 ANC(active noise cancellation)를 구현하고 있는지를 결정하는 단계; 및 상기 ANC를 고려하여 상기 등화를 조정하는 단계를 더 포함할 수 있다.
상기 방법은 상기 사용자에게 음소 균형 잡힌 문장이나 어구를 말하도록 요청하는 단계를 더 포함할 수 있다. 상기 제 1 오디오 전달 함수는 그런 다음 상기 사용자가 음소 균형 잡힌 문장을 말하는 동안 결정될 수 있다.
본 개시에 따른 다른 양태에 따르면, 장치가 제공되고, 상기 장치는 : 헤드셋으로서, 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰; 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰; 스피커를 포함하는, 상기 헤드셋; 및 하나 이상의 프로세서로서, 상기 헤드셋이 사용자에 의해 착용되고 상기 사용자가 말하고 있는 동안 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하고; 및 개방 상태 귀 전달 함수와 폐쇄 상태 귀 전달 함수 간의 차이에 기초하여 제1 오디오 신호를 등화하여 등화된 제1 오디오 신호를 생성하도록 구성된, 상기 하나 이상의 프로세서를 포함한다.
상기 하나 이상의 프로세서는 : 사용자가 말하고 있다는 결정에 기초하여, 상기 등화된 제1 오디오 신호를 상기 스피커로 출력하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 : 상기 하나 이상의 프로세서가 ANC(active noise cancellation)를 구현하고 있는지를 결정하고; 및 상기 ANC를 고려하여 등화를 조정하도록 추가로 구성될 수 있다.
상기 하나 이상의 프로세서는 : 상기 사용자에게 음소 균형 잡힌 문장이나 어구를 말하도록 요청하도록 추가로 구성될 수 있고, 상기 제 1 오디오 전달 함수는 상기 사용자가 음소 균형 잡힌 문장을 말하는 동안 결정된다.
상기 헤드셋은 상기 하나 이상의 프로세서 중 하나 이상을 포함할 수 있다.
본 개시에 따른 다른 양태에 따르면, 상기 설명된 장치를 포함하는 전자 디바이스가 제공된다.
본 명세서 전반에 걸쳐 "포함하다"라는 단어, 또는 "포함하다" 또는 "포함하는"과 같은 변형은 언급된 엘리먼트, 정수 또는 단계, 또는 엘리먼트들, 정수들 또는 단계들의 그룹의 포함하지만, 임의의 다른 엘리먼트, 정수 또는 단계 또는 엘리먼트들, 정수들 또는 단계들 그룹을 배제하지 않는 것을 의미하는 것으로 이해될 것이다.
이제 본 개시의 실시예가 첨부 도면을 참조하여 비제한적인 예로서 설명될 것이며, 여기서:
도 1은 사용자의 머리 주위 및 이를 통한 음향 전도 및 골 전도 경로(bone conduction path)의 개략도이다.
도 2는 헤드폰을 착용한 도 1에 도시된 사용자의 머리 주위 및 이를 통한 음향 전도 및 골 전도 경로의 개략도이다.
도 3은 본 개시의 일 실시예에 따른 헤드셋의 개략도이다.
도 4a는 도 3에 도시된 헤드셋의 모듈의 개략도이다.
도 4b는 도 4a에 도시된 모듈에 존재하는 전기 전도 경로(electrical-conduction path)를 도시하는 블록도이다.
도 5는 사용자의 고막에서 고주파 감쇠를 복원하기 위해 도 4a의 모듈에서 EQ를 결정하고 적용하기 위한 프로세스를 도시하는 흐름도이다.
도 6은 도 1에 도시된 사용자의 귀 입구와 고막 사이의 음향 전도 경로의 개략도이다.
도 7은 도 3의 헤드셋을 착용한 도 2에 도시된 사용자의 귀 입구와 고막 사이의 음향 전도 경로 및 전기 전도 경로의 개략도이다.
도 8은 도 6에 도시된 음향 전도 경로의 전달 함수(transfer function)를 결정하는 프로세스를 도시한 흐름도이다.
도 9는 도 7에 도시된 전기 전도 경로의 전달 함수를 결정하기 위한 프로세스를 도시한 흐름도이다.
도 10a는 도 1에 도시된 사용자에 대한 추정된 개방 상태 귀 전달 함수(open-ear transfer function)를 그래프로 예시한다.
도 10b는 도 4a에 도시된 모듈의 에러 마이크로폰의 출력과 기준 마이크로폰의 출력 사이의 측정된 전달 함수를 그래프로 예시한다.
도 10c는 도 4a의 스피커 입력과 에러 마이크로폰의 출력 사이의 측정된 전달 함수를 그래프로 예시한다.
도 10d는 도 4a에 도시된 모듈의 예시적인 디폴트 이득을 그래프로 예시한다.
도 10e는 HF 감쇠를 복원하기 위해 도 4a에 도시된 모듈에 적용된 EQ의 예를 그래프로 예시한다.
도 11a는 도 4a에 도시된 모듈에 대한 스피커의 입력으로부터 기준 마이크로폰의 출력으로의 추정된 누설 경로 전달 함수를 그래프로 예시한다.
도 11b는 도 4a에 도시된 모듈의 피드백 하울링 시스템(feedback howling system)에 대한 개루프 전달 함수(open-loop transfer function)를 그래프로 예시한다.
도 12는 사용자의 고막에서 폐색 영향으로 인한 감쇠된 저주파 부스트에 적용하기 위한 도 4a의 모듈에서 EQ를 결정하고 프로세스를 도시한 흐름도이다.
도 13은 사용자가 말하는 동안 도 1에 도시된 사용자의 귀 입구와 고막 사이의 음향 전도 경로 및 골 전도 경로의 개략도이다.
도 14는 도 3의 헤드셋을 착용한 도 2에 도시된 사용자의 귀 입구와 고막 사이의 음향 전도 경로, 골 전도 경로 및 전기 전도 경로의 개략도이다.
도 15는 본 개시의 실시예에 따른 폐색 영향으로 인한 저주파 부스트를 감쇠시키기 위한 이론적으로 도출된 원래 EQ와 근사된 EQ을 비교한 그래프이다.
도 16은 도 2에 도시된 사용자의 음성 활동에 기초하여 도 4a에 도시된 모듈에 적용된 EQ를 동적으로 조정하기 위한 프로세스의 흐름도이다.
도 1 및 도 2는 사용자의 자신의 음성에 대한 귀 폐색(occlusion) 영향을 비교한 도면이다. 도 1은 사용자(100)가 헤드폰을 착용하지 않은 시나리오를 도시한다. 공기를 통한 사용자(100)의 입과 귀 사이에는 음향 전도 경로(acoustic conduction path)가 존재하고 입과 귀 사이에는 사용자(100) 머리 내부의 골 전도 경로(bone-conduction path)가 존재한다. 도 1의 그래프 상의 라인은 귀 입구에서 고막까지의 사용자(100)의 전형적인 개방 상태 귀 주파수 응답을 나타낸다. 도 2는 헤드폰(102)을 착용하고 말하는 사용자(100)의 폐쇄 상태 귀 주파수 응답과 개방 상태 귀 주파수 응답 사이의 이득을 도시한다.
사용자(100)의 고막을 외부 환경과 격리시키는 것은 사용자가 OV(own-voice)를 듣고자 할 때 두 가지 부작용이 있다. 부작용 중 하나는 고주파에서의 PL(passive loss)로 인해 도 2의 그래프와 같이 사용자의 고막에서 상대적으로 감쇠된 고주파 사운드가 발생한다. 이러한 감쇠로 인해 사용자 자신의 목소리가 들리지 않게 된다. 귀를 막는 또 다른 효과는 저주파에서 사용자(100)의 자신의 음성을 증폭하여 자신의 음성이 그들에게 쿵쿵 울리게 만드는 것이다. 이 증폭은 도 2의 그래프에도 도시된다. 저주파에서 사용자 자신의 음성을 증폭하는 것을 일반적으로 OE(occlusion effect)이라고 한다.
본 개시의 실시예는 헤드셋 착용 시 사용자가 헤드셋을 착용하지 않은 것처럼 자신의 음성이 크게 들리도록 사용자(100)의 음성을 복원하는 목적으로 a) 감쇠된 고주파 사운드를 복원하는 단계, 및 b) 폐색 영향으로 인해 도입되는 저주파 성분을 감쇠시키는 방법에 관한 것이다.
또한, 본 발명자들은 헤드셋(200)의 사용자가 말을 하고 있는지 여부에 관계없이 수동적 손실에 의한 고주파 감쇠가 발생하는 반면, 사용자가 말을 하고 있을 때만 저주파 울리는 소리(boom)가 발생한다는 것을 깨달았다. 따라서, 본 개시의 실시예에서, 사용자가 말하고 있는 것을 검출하는 것에 응답하여 등화를 변경하기 위한 방법이 제시된다.
상술한 바를 염두에 두고, 감쇠된 고 주파수 사운드를 복원하기 위한 등화(equalisation)는 본 출원에서 HAEQ(hearing augmentation equalisation)으로 지칭될 수 있다. 폐색 영향으로 인해 도입된 소리의 저주파 성분을 복원하기 위한 등화는 본 출원에서 dHAEQ(delta hearing augmentation equalisation)으로 지칭될 수 있다.
도 3은 HAEQ 및/또는 dHAEQ가 구현될 수 있는 헤드셋(200)을 예시한다. 본 출원에서 설명된 방법은 2개의 마이크로폰을 포함하는 임의의 헤드셋에서 구현될 수 있으며, 그 중 하나는 헤드셋 외부에 위치되고 (예를 들어, 기준 마이크로폰) 그 중 하나는 헤드셋이 사용자에 의해 착용될 때, 마이크로폰이 귀 입구에 가깝게 위치된다(예를 들어, 에러 마이크로폰)는 것을 이해할 것이다. 귀 입구에 근접하게 위치된 마이크로폰은 해당 마이크로폰과 스피커 사이에 피드백 경로가 존재하도록 스피커와 연관될 수 있다.
도 3에 도시된 헤드셋(200)은 2개의 모듈(202, 204)을 포함한다. 모듈(202, 204)은 무선으로 또는 다른 방식으로 연결될 수 있다. 각각의 모듈(202, 204)은 각각 에러 마이크로폰(205, 206), 기준 마이크로폰(208, 210) 및 스피커(209, 211)를 포함한다. 기준 마이크로폰(208, 210)은 외이도 외부 및 헤드셋 외부로부터 주변 노이즈를 픽업하도록 위치될 수 있다. 에러 마이크로폰(205, 206)은 사용 시 개별 스피커(209, 211)의 출력을 포함하는 외이도 내의 음향 사운드를 감지하기 위해 귀를 향해 위치될 수 있다. 스피커(209, 211)는 주로 사용자의 외이도로 사운드를 전달하기 위해 제공된다. 헤드셋(200)은 사용자가 음악 또는 오디오를 듣고, 전화를 걸고, 및/또는 음성 인식 시스템에 음성 명령을 전달하고, 다른 오디오 처리 기능을 위해 구성될 수 있다. 헤드셋(200)은 귀 위에 착용되도록 구성될 수 있으며, 이 경우 모듈(202, 204)은 귀 위에 맞도록 구성될 수 있다. 마찬가지로, 모듈(202, 204)은 외이도에 착용되도록 구성될 수 있다.
도 4a는 헤드셋의 제1 모듈(202)의 시스템 개략도이다. 제2 모듈(204)은 제1 모듈(202)과 실질적으로 동일하게 구성될 수 있으므로 별도로 도시하거나 설명하지 않는다. 다른 실시예에서, 헤드셋(200)은 제1 모듈(202)만을 포함할 수 있다.
제1 모듈(202)은 에러 및 기준 마이크로폰(205, 208)으로부터 마이크로폰 신호를 수신하도록 구성된 디지털 신호 프로세서(DSP)(212)를 포함할 수 있다. 모듈(202)은 단일 컴포넌트 또는 다수의 컴포넌트로서 제공될 수 있는 메모리(214)를 더 포함할 수 있다. 메모리(214)는 데이터 및 프로그램 명령을 저장하기 위해 제공될 수 있다. 모듈(202)은 모듈(202)이 제2 모듈(204), 스마트폰, 컴퓨터 등과 같은 외부 디바이스와 무선으로 통신할 수 있도록 하는 트랜시버(216)를 더 포함할 수 있다. 모듈(202, 204) 사이의 그러한 통신은 대안적인 실시예에서, 오버헤드 대역 내에서 직접적으로 또는 스마트폰과 같은 중간 디바이스를 통해 헤드셋의 왼쪽과 오른쪽 사이에 적절한 와이어가 제공되는 유선 통신을 포함할 수 있다. 모듈(202)은 사용자가 말하고 있는 때를 검출하도록 구성된 음성 활동 검출기(VAD)(218)를 더 포함할 수 있다. 모듈(202)은 배터리에 의해 전력이 공급될 수 있고 다른 센서(미도시)를 포함할 수 있다.
도 4b는 에러 마이크로폰(205), 기준 마이크로폰(208) 및 스피커(209) 사이의 제1 모듈(202)에 대한 예시적인 전기 전도 경로를 나타내는 블록도이다. 도 4b에 도시된 제1 모듈(202)의 전기 전도 경로가 아래에서 더 상세하게 설명될 것이다. 그러나, 간단히 말해서, 제1 모듈(202)은 각각 HFB(f) 및 HW2(f)로 도 4b에 표시된 피드백 및 피드포워드 필터를 사용하여 ANC(active noise cancellation)를 구현할 수 있다. 추가로, 제1 모듈(202)은 고주파 수동 손실 감쇠 및/또는 저주파 울리는 소리로 인해 손실된 사용자(100)의 헤드셋(200)에서 사운드의 성분을 복원하도록 구성된 청력 증강 필터(hearing augmentation filter)(또는 등화 블록(equalisation block)) HHA(f)를 구현할 수 있다. 이제 본 개시의 다양한 실시예에 따른 HHA(f)의 결정 및 적용에 대해 설명한다.
도 5는 수동 손실로 인해 감쇠된 도 3의 헤드셋(200)에서 고 주파수 사운드를 복원하기 위해 HHA(f)를 결정하기 위한 프로세스(500)의 흐름도이다.
단계(502)에서 개방 상태 귀 전달 함수(open-ear transfer function)(즉, 개방 상태 귀의 전달 함수(TFOE))가 결정될 수 있다. 개방 상태 귀 전달 함수는 예를 들어, 귀 입구 및 고막에 위치된 마이크로폰을 사용하여 청력학자(audiologist)에 의해 사용자에 대해 측정될 수 있다. 대안적으로, 개방 상태 귀 전달 함수는 일반 대중의 평균 개방 상태 귀 전달 함수에 기초하여 추정될 수 있다. 또는, KEMAR(Knowles Electronic Manikin For Acoustic Research)와 같은 헤드 시뮬레이터에서 측정된 전달 함수를 기반으로 사용자의 개방 상태 귀 전달 함수가 추정될 수 있다. 개방 상태 귀 전달 함수를 결정하는 다양한 방법은 당업계에 알려져 있으므로 본 출원에서 더 이상 설명하지 않을 것이다. 개방 상태 귀 전달 함수가 사람들 데이터 등에 기초하여 추정되는 경우, 개방 상태 귀 전달 함수를 결정하는 단계(502)는 생략될 수 있거나 단순히 메모리로부터 저장된 개방 상태 귀 전달 함수를 판독하는 것을 포함할 수 있다.
단계(504)에서, 사용자에 대한 폐쇄 상태 귀 전달 함수가 결정된다. 폐쇄상태 귀 전달 함수는 헤드셋(200)을 착용한 사용자(100)에게 존재하는 공기 전도(air-conduction) 및 전기 전도 경로를 나타낼 수 있다.
단계(506)에서, 헤드셋(200)을 착용한 사용자(100)에 대한 개방 상태 귀 전달 함수와 결정된 폐쇄 상태 귀 전달 함수 간의 비교에 기초하여 청력 증강 EQ(HAEQ)가 결정될 수 있다. 예를 들어, HAEQ는 개방 상태 귀 전달 함수와 폐쇄 상태 귀 전달 함수 간의 비율(주파수 영역에서)을 기반으로 또는 개방 상태 귀와 폐쇄 상태 귀 전달 함수 간의 다른 dB 스펙트럼을 기반으로 결정될 수 있다. 이 EQ는 사용자가 헤드셋(200)을 착용했을 때와 사용자가 헤드셋(200)을 착용하지 않았을 때(즉, 개방 상태 귀 양상(open-ear state)) 사용자(100)의 고막에 도달하는 사운드의 차이를 나타낸다.
HAEQ가 단계 (506)에서 결정된 후, HAEQ는 헤드셋(200)의 수동 손실로 인해 감쇠된 고 주파수 사운드를 복원하기 위해 단계 (508)에서 스피커(209)에 대한 입력 신호에 적용된다.
개방 상태 귀 전달 함수 결정
본 개시의 예시적인 실시예에 따른 개방 상태 귀 전달 함수의 결정은 개방 상태 귀 시스템(600)을 예시하는 도 6을 참조하여 이제 설명될 것이다. 이하에서는 사용자(100)가 말하고 있지 않고 따라서,골 전도 경로는 고막에서의 사운드 입사에 기여하지 않는다.
도 6을 참조하면, 고막에서 수신되는 사운드 신호는 다음과 같이 정의될 수 있다 :
(1.1)
여기서,
:개방 상태 귀의 고막에서 사운드 신호;
: 귀 입구의 사운드 신호(개방 상태 귀 또는 폐쇄 상태 귀); 및
: 개방 상태 귀의 귀 입구에서 고막으로의 개방 상태 귀 전달 함수.
위에서 언급한 바와 같이, 일부 실시예에서 및 는 한 쌍의 측정 마이크로폰, 제1 측정 마이크로폰(602) 및 제2 측정 마이크로폰(604)을 사용하여 레코딩될 수 있다. 제1 측정 마이크로폰(602)은 귀 입구에 배치될 수 있고, 제2 측정 마이크로폰(604)은 사용자(100)의 고막에 배치될 수 있다. 바람직하게는, 제1 및 제2 마이크로폰(602, 604)은 매칭되는데, 즉 동일한 특성(주파수 응답 및 감도 포함)을 갖는다. 위에서 언급한 바와 같이, 이 프로세스는 사용자에 대해 구체적으로 수행될 수 있거나, 대안적으로, 개방 상태 귀 전달 함수에 속하는 일반 대중으로부터의 데이터가 사용자(100)의 개방 상태 귀 전달 함수를 근사화하기 위해 사용될 수 있다.
제1 및 제2 마이크로폰(602, 604)으로부터의 레코딩된 전기 신호는 다음과 같이 정의될 수 있다:
(1.2)
(1.3)
여기서, 및 는 각각 제1 및 제2 측정 마이크로폰(602, 604)의 주파수 응답이다. 전형적인 측정 마이크로폰의 경우, 주파수 응답은 평평하고 10Hz와 20kHz 사이의 주파수에 대한 고정 계수 qMM(물리적 사운드 신호에서 전기적 디지털 신호로의 변환 계수)과 같다. 는 개방 상태 귀의 고막에서 제1 측정 마이크로폰(602)의 전기 신호이다. 이것은 고막 마이크로폰을 사용하여 KEMAR의 귀를 사용하여 근사화할 수 있다. 특정 사용자(100)의 개방 상태 귀 전달 함수를 측정할 때, 제1 측정 마이크로폰(602)은 사용자(100)의 고막에 닿을 때까지 외이도에 삽입될 수 있는 프로브 튜브 마이크로폰(probe-tube microphone)일 수 있다. 는 귀 입구에서 제2 측정 마이크로폰(604)의 전기 신호이다.
제1 및 제2 측정 마이크로폰(602, 604)가 매칭되는 경우:
(1.4)
따라서, 는 및 로 다음과 같이 추정될 수 있다:
(1.5)
여기서 는 귀 입구에서 개방 상태 귀의 고막으로의 추정된 개방 상태 귀 전달 함수다.
폐쇄 상태 귀 전달 함수 결정
다시 도 5를 참조하면, 프로세스(500)의 단계(504)에서 폐쇄 상태 귀 전달 함수를 결정하기 위한 예시적인 방법이 이제 사용자(100)가 임의의 음성 사운드를 만들지 않는 동안 폐쇄 상태 귀 시스템(700)을 예시하는 도 7을 참조하여 더 상세히 설명될 것이다. 위에서 언급한 바와 같이, 폐루프 전달 함수의 결정은 헤드셋(200)의 단일 모듈(202)과 관련하여 여기에서 설명된다. 제공되는 경우 다른 모듈(204)에 대한 폐루프 전달 함수를 결정하기 위해 유사한 기술이 이용될 수 있다는 것을 이해할 것이다.
폐쇄 상태 귀 구성에서, 즉 사용자(100)가 헤드셋을 착용하고 있을 때, 공기 전도 경로(air-conduction path)(도 6의 개방 상태 귀 시나리오에서와 같이)와 에러 마이크로폰(205), 기준 마이크로폰(208) 및 모듈(202)의 스피커(209) 사이의 전기 전도 경로(electrical-conduction path)가 둘 모두 존재한다. 스피커(209)와 에러 마이크로폰(205) 사이에는 도 7에서 로 표시된 추가적인 공기 전도 경로가 존재한다.
도 7에 도시된 모듈(202)의 전기적 구성은 단지 예시로서 제공되고, 당업계에 공지된 상이한 전기적 구성이 본 개시의 범위 내에 있다는 것에 유의한다.
폐쇄 상태 귀 시나리오에서 고막의 사운드 신호 는 다음과 같이 정의될 수 있다 :
(1.6)
여기서,
: 폐쇄 상태 귀에 에러 마이크로폰 (205) 위치에서의 사운드 신호; 및
: 에러 마이크로폰(205)의 위치에서 폐쇄 상태 귀 고막으로 사운드 신호의 전달 함수. 에러 마이크로폰(205)이 고막에 폐쇄 상태일 때, 이다.
에러 마이크로폰(205)에서의 사운드 신호 은 다음과 같이 정의될 수 있다:
(1.7)
여기서,
: 공기 전도 경로에 의해 기여되는 폐쇄 상태 귀의 에러 마이크로폰(205)의 위치에서 사운드 신호의 성분;
: 전기 전도 경로(스피커(209)와 에러 마이크로폰(205) 사이의 음향 커플링을 고려함)에 의해 기여되는 폐쇄 상태 귀의 에러 마이크로폰(205) 위치에서의 사운드 신호의 성분.
본 개시의 실시예들은 먼저 공기 전도로 인해 존재하는 사운드 신호의 성분 를 먼저 추정하고, 모듈(202)의 전기적 특성(즉, 스피커(209)으로 출력되는 처리된 전기 신호)으로 인해 에러 마이크로폰(205)에 존재하는 기여도 를 두 번째로 추정함으로써 에러 마이크로폰(205)에 존재하는 사운드 신호 을 추정하는 것을 목적으로 한다. 본 발명자들은 공기 전도 성분이 사용자(100)에 대한 헤드셋(200)의 맞춤(fit)에 의존할 뿐만 아니라 전기 전도 경로 성분 은 사용자(100)에 대한 헤드셋(200)의 맞춤 및 또한 사용자(100)의 외이도의 기하학적 구조에 의존한다는 것을 깨달았다.
결정
폐쇄 상태 귀 양상(사용자(100)가 헤드셋(200)를 착용한 상태)에서 귀 입구에서 고막으로의 음향 전달 함수는 다음과 같이 정의될 수 있다 :
(1.8)
여기서, 는 헤드셋(200)으로 인한 수동적 사운드 손실에 해당하는 귀 입구에서 에러 마이크로폰(205)으로의 사운드 신호 전달 함수이고, 는 에러 마이크로폰(205)와 고막 사이의 전달 함수이다.
위의 방정식(1.8)은 , 따라서, 가 되도록 에러 마이크로폰(205)이 고막에 매우 가깝다고 가정함으로써 단순화될 수 있다.
위의 사항을 염두에 두고 기준 마이크로폰(208)이 실질적으로 귀 입구에 위치된다고 가정하면, 사용자(100)가 헤드셋(200)을 착용하고 있는 동안 제자리에서 기준 마이크로폰(208)에서 수신된 사운드 신호와 에러 마이크로폰(205)에서 수신된 사운드 신호를 비교함으로써 음향 경로 전달 함수 가 추정될 수 있다. 도 8을 참조하면, 단계 (802)에서 헤드셋은 음소거되어 전기 전도 경로가 에러 마이크로폰(205)에 도달하는 사운드 신호에 기여하지 않는 것을 보장한다. 헤드셋(200) 외부에 사운드가 존재하는 경우, 단계(804)에서 에러 마이크로폰(205)에 의해 생성된 전기 신호가 캡처될 수 있다. 에러 마이크로폰의 사운드 신호 는 다음과 같이 정의될 수 있다 :
(1.9)
에러 마이크로폰(205)에 의해 캡처된 전기 신호 는 다음과 같이 정의될 수 있다 :
(1.10)
여기서, 은 에러 마이크로폰(205)의 주파수 응답이며, 이는 전형적으로 평평하고 MEMS 마이크로폰의 경우 100Hz와 8kHz 사이의 주파수에 대한 고정 계수 (물리적 사운드 신호에서 전기적 디지털 신호로의 변환 계수)과 같다.
단계(806)에서, 기준 마이크로폰(208)에 의해 생성된 전기 신호 가 캡처될 수 있다. 귀 입구 사운드 신호 는 기준 마이크로폰(208)에 의해 다음과 같이 레코딩될 수 있다 :
(1.11)
여기서, 은 기준 마이크로폰(208)의 주파수 응답이며, 이는 전형적으로 평평하고 MEMS 마이크로폰의 경우 100Hz와 8kHz 사이의 주파수에 대한 고정 계수 (물리적 사운드 신호에서 전기 디지털 신호로의 변환 계수)과 같다.
기준 및 에러 마이크로폰(208, 205)의 주파수 응답이 매칭된다고 가정하면 다음과 같다 :
(1.12)
이와 같이, 단계 (808)에서, 귀 입구에서 폐쇄 상태 귀의 고막으로의 사용자 특정 음향 전달 함수 는 에러 및 기준 마이크로폰(205, 208)으로부터 캡처된 전기 신호 , 에 기초하여 아래에 정의된 바와 같이 결정될 수 있다.
(1.13)
결정
본 발명자들은 기준 마이크로폰(208), 에러 마이크로폰(205) 및 스피커(209) 사이의 처리의 전기적 특성에 대한 지식으로, 전기 전도 경로로 인한 고막과 귀 입구 사이의 전달 함수가 스피커(209)에서 출력되는 사운드와 에러 마이크로폰(205)에서 수신된 동일한 사운드를 비교함으로써 결정될 수 있음을 깨달았다.
도 9는 전기 전도 경로(스피커 (209)와 에러 마이크로폰(205) 사이의 음향 결합을 고려하여)에 의해 기여되는 귀 가까이에 있는 에러 마이크로폰(205)의 위치에서 사운드 신호의 성분 를 결정하기 위한 프로세스(900)의 흐름도이다.
단계 (902)에서, 바람직하게는 귀 입구와 고막 사이의 폐쇄 상태 귀 음향 전도 경로로 인해 에러 마이크로폰(205)에서 외부 사운드 기여가 없도록 임의의 외부 소리가 음소거된 상태로 신호가 스피커(209)로 출력된다. 스피커 입력 신호 는 모듈(202) 내의 전자 처리 디바이스에 의해 생성된다.
외부 사운드가 음소거된 상태에서, 스피커(209)에 의한 에러 마이크로폰(205)에서의 사운드 신호 에 대한 기여는 다음과 같이 정의될 수 있다 :
(1.13)
여기서, 는 스피커(209)의 출력 위치에서 에러 마이크로폰(205)의 위치로의 사운드 신호의 전달 함수이고, 는 스피커(209)의 주파수 응답이며, 는 스피커 입력 신호이다.
따라서, 에러 마이크로폰(205)에서 출력되는 전기 신호는 다음과 같이 정의될 수 있다 :
(1.14)
여기서, 은 에러 마이크로폰(205)의 주파수 응답이다.
헤드셋 스피커 위치의 사운드 신호는 스피커 입력 신호와 스피커(209)의 주파수 응답을 기반으로 추정될 수 있다. 스피커(209)의 입력 신호와 에러 마이크로폰(205) 출력 신호 간의 전달 함수는 다음과 같이 정의될 수 있다 :
(1.15)
위의 방정식에서, 와 은 고정되어 있기 때문에, 는 다른 외이도 기하학적 구조와 다른 헤드셋 맞춤에 대해 에 정비례한다.
스피커 입력 신호 는 모듈(202)에 의해 구현된 백엔드 처리(back end processing)에 의해 정의된다. 따라서, 단계 (906)에서, 스피커 입력 신호를 생성하기 위해 사용되는 모듈(202)의 전기적 특성이 결정될 수 있다. 일부 실시예에서, 헤드셋(200)이 노이즈 차단만 있는 경우(즉, ANC(active noise cancellation) 없음), 스피커 입력 신호는 모듈(202)의 처리에 의해 실질적으로 영향을 받지 않을 수 있다. 그러나 일부 실시예에서, 헤드셋(200)은 능동 노이즈 제거를 구현할 수 있다. 이 경우, 스피커 입력 신호 는 스피커 입력 신호 의 등화로 인한 청력 증대 뿐만 아니라 피드포워드 및 피드백 필터에 의해 영향을 받는다. 이러한 경우, 스피커 입력 신호 는 다음과 같이 정의될 수 있다:
(1.16)
(1.17)
여기서,
: HAEQ(및 아래의 dHAEQ)를 구현하기 위해 본 출원에서 설명된 바와 같이 사용되는 청력 증강 필터;
: 피드포워드(FF) ANC 디지털 필터;
: 피드백(FB) ANC 디지털 필터;
: 재생 신호(음악, 내부 생성 노이즈 등); 및
: FBANC 필터에 대한 입력으로 수정된 에러 신호.
따라서, 단계(908)에서, 모듈(200)의 결정된 전기적 특성 및 에러 마이크로폰(205)으로의 스피커의 음향 결합에 기초하여 에러 마이크로폰(205) 신호, 기준 마이크로폰(208) 신호 및 스피커 입력 신호 사이의 전달 함수가 결정된다.
ANC가 헤드셋에 의해 구현되지 않는 경우, 와 같은 피드백 또는 피드포워드 필터링이 없다는 점에 유의한다.
HA가 활성화되면, 재생(playback) 은 일반적으로 음소거되어 사용자가 헤드셋 외부에서 고막으로 복원되는 소리를 들을 수 있다. 제공된 재생은 음소거되고 HA 기능이 활성화되면 0이 되어, 방정식(1.17)은 다음과 같다 :
(1.18)
음향 전도 경로와 전기 전도 경로 조합
공기 전도와 전기 전도 성분은 다음과 같이 조합될 수 있다 :
그래서:
(1.20)
ANC가 완벽할 때, 방정식(1.20)은 다음과 같이 단순화될 수 있다 :
(1.21)
이것은 고막에서 외부 사운드의 공기 전도 기여가 완전히 제거되고 전기 전도 기여(스피커(209)에서)만 남게 됨을 의미한다.
ANC가 음소거되면, 방정식(1.20)을 다음과 같이 단순화할 수 있다 :
(1.22)
와 가 크기는 비슷하지만 위상이 다른 경우, 이들의 합은 콤 필터 효과(comb-filter effect)를 생성한다. 콤 필터 효과를 줄이기 위해서는, 전기 전도 경로와 공기 전도 경로 사이의 레이턴시(latency)를 최소화하는 것이 바람직하다.
따라서, 본 출원에서 설명된 방법은 귀 입구와 고막 사이의 공기 전도 경로를 고려하는 EQ를 도출하는데 사용될 수 있다(에러 마이크로폰 비율에 대한 기준을 사용하여, 헤드셋 모듈(202) 내의 전기 전도 경로, 및 스피커(209)와 에러 마이크로폰(209) 사이의 공기 전도 경로. 공기 전도 경로 둘 모두 헤드셋 맞춤 및 외이도 기하학 구조에 의존하기 때문에, 따라서, 본 실시예는 헤드셋(200)의 사용자(100)를 위한 맞춤형 EQ의 현장 결정을 위한 기술을 제공한다.
HAEQ의 도출
도 5에 도시된 프로세스(500)의 단계(506)를 참조하면, 폐쇄 상태 귀 구성에서 고막의 사운드를 개방 상태 귀 양상으로 복원하기 위해, 폐쇄 상태 귀의 고막에서 사운드 신호 가 개방 상태 귀의 사운드 신호 와 같도록 하기 위해 (즉, HAEQ)를 도출하는 것이 목적이다. 따라서, 다음이 있다 :
(1.23)
그래서:
(1.24)
에러 마이크로폰이 고막에 폐쇄 상태라고 가정하면, 이다. 기준 및 에러 마이크로폰(205, 208)이 유사한 특성을 갖는다면, . 따라서, 방정식 (1.24)는 다음과 같이 단순화될 수 있다 :
(1.25)
ANC가 잘 작동한다면 이므로 방정식 (1.25) 다음과 같이 더 단순화할 수 있다 :
(1.26)
따라서, ANC가 효율적으로 작동할 때, 기준 마이크로폰(208, 205)와 에러 마이크로폰(205)이 매칭되고, 에러 마이크로폰(205)이 사용자(100)의 고막에 폐쇄 상태이면 는 및 에 의해서만 결정된다.
따라서, 사용자의 고막에서 사운드 신호 를 개방 상태 귀 양상으로 복원하는 HAEQ가 결정된다.
스피커 입력에 적용된 주파수 응답 는 디폴트 고정 전기 주파수 응답 와 조정 가능한 주파수 응답(또는 이퀄라이저) 로 추가로 분해될 수 있다는 것에 유의한다 :
(1.28)
여기서 는 모든 필터(예를 들어, 이퀄라이저, 노이즈 제거 등)가 비활성화된 경우 의 입력에서 출력으로의 디폴트 전달 함수이고, 는 사용자(100)의 고막에서 개방 상태 귀 양상으로의 복원을 위한 등화이다. 그러면,
(1.29)
위의 방정식 (1.29)는 헤드셋(200)으로부터 피드백 및 피드포워드 필터 및 의 현재 값에 대한 지식 및 사용자(100)가 헤드셋(200)을 착용한 상태에서 , , , 및 를 측정한 직후 를 계산할 수 있음을 보여준다.
본 발명자들은 또한 위상이 무시될 때 EQ의 효과가 실질적으로 영향을 받지 않는다는 것을 깨달았다. 이와 같이 위의 방정식(1.29)은 다음과 같이 단순화될 수 있다.
(1.30)
는 바람직하게는 고막에서 사운드 신호를 제거하지 않고 복원/보상하도록 디자인된다는 점에 유의한다. 그래서 는 바람직하게는 음수가 아니어야 한다. 방정식(1.30)에서 는 항상 보다 크거나 같고 (ANC가 켜져 있든 꺼져 있든 상관없이) 따라서, 항상 양수여야 한다.
도 10a 내지 10e. 도 10a는 사용자(100)에 대한 추정된 개방 상태 귀 전달 함수를 그래프로 도시한다. 도 10b는 전술한 프로세스(800)에 따른 제1 모듈(202)의 기준 마이크로폰(208)의 출력과 에러 마이크로폰(205)의 출력 사이의 측정된 전달 함수를 그래프로 도시한다. 도 10c는 전술한 프로세스(900)에 따라 스피커(209)의 입력과 에러 마이크로폰(205)의 출력 사이의 측정된 전달 함수를 그래프로 도시한다. 도 10d는 헤드셋(200)의 디폴트 전달 함수 또는 이득 를 그래프로 도시한다.
방정식(1.30)에 언급된 전달 함수에 추가하여, 두개의 추가 전달 함수를 고려할 수 있다. 첫 번째는 에러 마이크로폰(205)과 기준 마이크로폰(208) 사이의 누설 경로 를 고려할 수 있다. 두 번째는 피드백 하울링(feedback howling)동안 모듈의 개루프 전달 함수를 추정하여 피드백 하울링의 가능성을 고려할 수 있다.
위에서 참조한 경로를 고려할 때:
(1.31)
그래서,
(1.32)
여기서, 는 외부음이 음소거되었을 때의 누설 경로의 추정이며, ANC는 비활성화되고 재생 신호는 스피커(209)로 출력된다. 는 피드백 하울링 시스템의 개루프 전달 함수이다; 피드백 하울링의 생성을 피하기 위해 이 전달 함수는 1보다 작아야 한다.
도 11a와 11b는 각각 피드백 하울링 시스템의 추정된 누설 경로 전달 함수 와 개루프 전달 함수를 도시한다. 예시적인 시스템에서 누설이 작고 피드백 하울링 시스템의 개루프 전달 함수가 1보다 훨씬 작다는 것을 알 수 있다. 따라서, 도출된 HAEQ는 피드백 하울링을 일으키지 않아야 한다. 그러나, 일부 주파수에서 개루프 전달 함수가 1에 접근하는 시스템에서는, 피드백 하울링을 피하기 위해 해당 주파수에서 HAEQ를 줄여야 한다.
HAEQ의 적용
마지막으로, 도 5를 다시 참조하면, 프로세스(500)의 단계(508)에서, HAEQ가 스피커 입력 신호에 적용되어 헤드셋(200)의 사용자(100)에게 개방 상태 귀 사운드를 복원할 수 있다.
자신의 음성에 대한 dHAEQ 도출
상술한 바와 같이, 본 출원에서 설명하는 헤드셋(200)과 같은 헤드셋으로 귀를 막는 효과는 저주파에서 사용자(100) 자신의 음성을 증폭하여, 그들의 음성이 그들에게 울리는 소리가 나게 하는 것이다. 이러한 증폭은 소위 골 전도 경로라고 하는 머리의 뼈와 근육을 통해 사용자의 음성이 전달되기 때문이다. dHAEQ의 결정은 HAEQ를 결정하기 위해 도 5에 도시된 프로세스(500)를 참조하여 상술한 것과 유사한 방식으로 이루어질 수 있다. 그러나, 음향 전도 경로와 전기 전도 경로 외에 골 전도 경로도 고려해야 한다.
골 전도로 인한 자신의 음성의 저주파 증폭을 처리할 때의 추가 복잡성은 입에서 공명 위치가 말하는 상이한 음소에 대해 변하기 때문에, 사용자(100)가 말하는 음소에 따라 골 전도가 변한다는 것이다. 이것은 골 전도 경로가 시간에 따라 변한다는 것을 의미한다.
도 12는 자신의 음성 폐색으로 인한 사용자(200)의 고막에서의 자신의 음성 울리는 소리를 감쇠시키기 위해 를 결정하기 위한 프로세스(1200)의 흐름도이다.
단계(1202)에서 사용자의 개방 상태 귀 전달 함수(즉, 사용자의 개방 상태 귀의 전달 함수(TFOE))가 결정될 수 있다. 도 5를 참조하여 위에서 설명된 것과 동일한 방식으로 사용자의 개방 상태 귀 전달 함수가 측정, 추정 또는 결정될 수 있다.
단계 (1204)에서, 사용자에 대한 폐쇄 상태 귀 전달 함수가 결정된다. 폐쇄 상태 귀 전달 함수는 사용자(100)가 헤드셋(200)을 착용하고 말할 때 나타나는 공기 전도, 골 전도 및 전기 전도 경로를 나타낼 수 있다.
단계 (1206)에서, 청력 증강 EQ, 는 헤드셋(200)을 착용한 사용자(100)에 대한 개방 상태 귀 전달 함수와 결정된 폐쇄 상태 귀 전달 함수 간의 비교에 기초하여 결정될 수 있다. 예를 들어, EQ는 개방 상태 귀 전달 함수와 폐쇄 상태 귀 전달 함수 간의 비율(주파수 영역에서) 또는 개방 상태 귀와 폐쇄 상태 귀 전달 함수 간의 다른 dB 스펙트럼에 기초하여 결정될 수 있다. 이 EQ는 사용자가 말할 때 사용자가 헤드셋(200)을 착용하고 있을 때와 헤드셋(200)을 착용하지 않을 때(즉, 개방 상태 귀 양상) 사용자(100)의 고막에 도달하는 사운드의 차이를 나타낸다.
단계 (1206)에서 dHAEQ가 결정된 후, 자신의 음성 폐색으로 인해 고막에 도달하는 저주파 사운드를 감쇠하기 위해 dHAEQ가 단계 (1208)에서 스피커(209)에 대한 입력 신호에 적용될 수 있다.
개방 상태 귀 전달 함수 결정
본 개시의 예시적인 실시예에 따른 개방 상태 귀 전달 함수의 결정은 개방 상태 귀 시스템(1300)을 예시하는 도 13을 참조하여 이제 설명될 것이다. 다음은 사용자(100)가 말하고 따라서, 골 전도 경로는 고막에서의 사운드 입사에 기여한다고 가정한다.
도 13을 참조하면, 개방 상태 귀 시스템(1300)은 예를 들어, 여기에서 제1, 제2 및 제3 측정 마이크로폰(1302, 1304, 1306)으로 지칭되는 3개의 측정 마이크로폰을 사용하여 특성화될 수 있다. 제1 측정 마이크로폰(1302)은 위에서 설명한 것과 유사한 방식으로 고막에 배치될 수 있다. 제2 마이크로폰(1304)은 귀 입구에 배치될 수 있고, 제3 마이크로폰(1306)은 사용자의 입 근처에 배치될 수 있다. 제3 마이크로폰(1306)의 위치는 입 지점(mouth point) 아래로 지칭된다.
사용자의 입과 귀 입구 사이의 음향 전도(AC) 경로는 대략 시간 불변이라고 가정할 수 있다. 따라서, 귀 입구의 사운드 신호는 다음과 같이 정의될 수 있다 :
(2.1)
여기서, 는 귀 입구의 사운드 신호이고, 는 입 지점에서의 자신의음성 사운드 신호이고, 는 사용자(100)가 말하는 동안 입 지점과 귀 입구 사이의 AC 경로 전달 함수이다.
는 제2 및 제3 측정 마이크로폰(1304, 1306)(하나는 사용자(100)의 입 지점에 있고 다른 하나는 귀 입구에 있음)을 사용하여 추정될 수 있으며, 다음을 제공한다 :
(2.2)
여기서, 및 는 각각 및 를 나타내는 마이크로폰(1304 및 1304)의 전기 출력 신호를 나타낸다.
고막에서의 AC 및 BC 기여 및 는 다음과 같이 정의될 수 있다 :
(2.3)
(2.4)
여기서,
: 개방 상태 귀의 고막에서 사운드 신호에 기여한 자기 음성의 AC 성분;
: 자신의 음성에 대한 입에서 고막까지 BC 경로의 전달 함수; k는 전달 함수의 시변 인덱스이다; 이 전달 함수는 일반적으로 사용자(100)가 말하는 음소에 따라 변경된다.
: 개방 상태 귀의 고막에서 사운드 신호에 기여하는 자기 음성의 BC 성분.
개방 상태 귀에서 AC 경로의 역을 통해 및 그런 다음 BC 경로를 통해 귀 입구에서 고막으로 자신의 음성의 전달 함수는 다음과 같이 정의될 수 있다 :
(2.5)
따라서, 방정식 (2.4)는 다음과 같다 :
(2.6)
고막에서 사운드에 대한 AC 및 BC 기여의 합은 다음과 같이 정의될 수 있다 :
(2.7)
및 가 제1 및 제2 측정 마이크로폰(1302, 1304)에 의해 및 로 레코딩되고 위의 방정식 (1.4)로 추정되고, 는 다음과 같이 추정될 수 있다 :
(2.8)
사용자(100)가 말하는 동안 고막에서의 사운드 신호와 귀 입구에서의 사운드 신호 사이의 비율은 다음과 같이 정의될 수 있다 :
(2.9)
다음과 같이 고막에서 사용자 자신의 음성의 AC 및 BC 기여 비율, 을 정의할 수도 있다 :
(2.10)
다른 음소에 대한 는 이전 연구자에 의해 일반 대중에 대해 측정 및 추정되었다. 예시적인 실험 측정 및 추정에 대한 세부 사항은 "음소 발성 중 자신의 음성 듣기 - 공기 및 골 전도에 의한 송신"에 설명되어 있다. Journal of the Acoustical Society of America, 128(2), 751-762, 그 내용 전체가 참고로 본 출원에 통합된다.
자신의 음성 폐쇄 귀 전달 함수 결정
다시 도 12를 참조하여, 프로세스(1200)의 단계(1204)에서 폐쇄 상태 귀 전달 함수를 결정하기 위한 예시적인 방법이 이제 설명될 것이다. 위에서 언급한 바와 같이, 자신의 음성 폐루프 전달 함수의 결정은 헤드셋(200)의 단일 모듈(202)과 관련하여 본 출원에서 설명된다. 제공되는 경우 다른 모듈(204)에 대한 폐루프 전달 함수를 결정하기 위해 유사한 기술이 사용될 수 있다는 것이 이해될 것이다. 위에서 언급된 바와 같이, 도 14에 도시된 모듈(202)의 전기적 구성은 단지 예시로서 제공되고 당업계에 공지된 상이한 전기적 구성이 본 개시의 범위 내에 있다는 것에 또한 유의한다.
도 14에서 로 표시된 스피커(209)와 에러 마이크로폰(205) 사이에 추가적인 공기 전도 경로가 존재한다.
자기 음성 폐쇄 상태 귀 구성에서, 즉 사용자(100)가 헤드셋(200)을 착용하고 말할 때, 도 13의 개방 상태 귀 시나리오에서도 존재했던 공기 전도 및 골 전도 경로에 추가하여, 에러 마이크로폰(205), 기준 마이크로폰(208) 및 모듈(202)의 스피커(209) 사이에 전기 전도 경로가 존재한다.
자신의 음성에 대한 AC 및 EC 경로 기여도 분석은 도 5 내지 7을 참조하여 상기에서 설명한 것과 동일하다. 자신의 음성에 대한 추가 골 전도(BC) 성분은 자신의 음성을 설명하기 위해 업데이트된 방정식(1.21)을 제공하기 위해 방정식(1.21)에 의해 제공된 AC 성분에 추가될 수 있다:
(2.11)
여기서, 는 폐쇄 상태 귀에서 AC 경로의 역(즉, 귀 입구에서 입 지점) 및 그런 다음 BC 경로를 통해 귀 입구에서 에러 마이크로폰(205)의 위치로의 자신의 음성 전달 함수이고; k는 전달 함수의 시변 지수로, 이는 사용자가 다른 음소를 발음할 때 변경될 수 있다 - 다른 음소는 다른 음성 및 입 모양을 초래한다.
는 다음과 같이 정의될 수 있다 :
(2.12)
여기서, 는 자신의 음성에 대한 입에서 에러 마이크로폰(205)의 위치까지 BC 경로의 전달 함수이다; k는 전달 함수의 시변 지수이고, 이는 다른 음소가 사용자에 의해 발음될 때 변경될 수 있다; 약 1kHz 미만의 주파수에서, 는 일반적으로 폐색 영향으로 인해 보다 훨씬 크다.
스피커(209)의 출력이 음소거되면, 방정식(2.11)은 다음과 같다 :
(2.13)
따라서, 는 다음과 같이 추정될 수 있다 :
(2.14)
모듈(202)의 ANC가 잘 기능한다고 가정하면, 방정식(2.12)은 다음과 같이 단순화될 수 있다:
(2.15)
이것은 사용자(100)의 자신의 음성의 AC 및 BC 기여가 모두 고막에서 완전히 제거되고 EC 기여만 남아 있음을 의미한다.
ANC가 음소거되면, 방정식(2.12)을 다음과 같이 단순화할 수 있다:
(2.16)
폐색 영향 때문에, 1kHz 미만의 주파수에 대해 는 방정식(2.16)의 및 보다 훨씬 크다.
자신의 음성에 대한 dHAEQ 도출
도 12에 도시된 프로세스(1200)의 단계(1206)를 참조하면, 폐쇄 상태 귀 구성에서 고막에서의 사운드를 개방 상태 귀 양상으로 복원하기 위해, 폐쇄 상태의 고막 에서 사운드 신호는 개방 상태 귀의 의 사운드 신호와 같도록 를 도출하는 것이 목표이다.
다음과 같이 된다:
(2.17)
그래서:
(2.18)
에러 마이크로폰(205)이 고막에 폐쇄 상태 위치된다고 가정하면, 이다. 그런 다음, 에러 및 기준 마이크로폰(205, 208)이 실질적으로 매칭된다면, .
따라서, 방정식 (2.18)은 다음과 같이 단순화될 수 있다 :
(2.19)
이전에 참조 방정식(1.25)에서 논의한 바와 같이, 외부 사운드(즉, 사용자의 음성이 아닌 외부 사운드)에 대한 는 항상 양수이다. 그러나 방정식(2.19)에 의해 계산된 자신의 음성에 대한 는 상황에 따라 음수가 될 수 있다. 이는 가 보다 30dB 더 클 수 있기 때문이다. 헤드셋(100)에서 ANC가 켜진 경우에도, 에 대한 감쇠 는 일반적으로 30dB 미만이다.
방정식 (2.19)는 상기의 방정식 (1.25)와 동일한 한 항과 다음과 같이 정의되는 다른 항의 생성으로 다시 작성할 수 있다 :
(2.20)
여기서, : 방정식(1.25)에 설명된 바와 같이 외부 사운드에 대한 .
방정식 (2.20)의 곱 항은 다음과 같이 정의될 수 있다 :
(2.21)
방정식(2.21)로부터, 자신의 음성이 없을 때 가 1이 되고, 는 가 됨을 알 수 있다. 따라서, 는 사용자의 고막에서 자체 음성 저주파 부스트를 설명하는데 필요한 추가 등화를 나타낸다. 폐색 영향은 주로 저주파에서 발생하기 때문에, 는 저주파 임계값 미만의 주파수에서만 적용될 수 있다. 일부 실시예에서, 는 2000Hz 미만, 또는 1500Hz 미만, 또는 1000Hz 미만 또는 500Hz 미만의 주파수에서 적용될 수 있다.
ANC가 잘 작동할 때 방정식(2.21)은 다음과 같이 단순화될 수 있다:
(2.22)
(방정식 (2.9)에 정의된)는 에러 마이크로폰(205)의 출력(즉, 고막에서 레코딩되는 마이크로폰)과 기준 마이크로폰의 출력(즉, 대략적으로 개방 상태 귀에서 자신의 목소리의 귀 입구에서) 간의 비율이다.
ANC가 AC 경로를 제거할 만큼 충분히 잘 수행되지만 BC 경로는 제거하지 않는 경우(이것이 가장 가능한 경우임), 방정식(2.21)은 다음과 같이 단순화될 수 있다:
(2.23)
ANC 및 HA가 켜져 있고, 가 로 설정된다. 다음과 같이 된다:
(2.24)
다음을 정의할 수 있다:
(2.25)
따라서, 방정식 (2.23)은 다음과 같이 다시 쓸 수 있다.
(2.26)
방정식 (2.26)의 및 는 항상 1보다 클 것이라는 것에 유의한다. 또한 및 는 다른 음소에 대해 시간에 따라 변한다. 는 개방 상태 귀에서 레코딩되야 하지만 는 헤드셋(200)을 착용한 사용자(100)가 폐쇄 상태 귀에서 레코딩해야 하기 때문에, 동시에 현장에서 둘 모두를 레코딩하기 어렵다. 따라서, 일부 실시예에서, 및 를 근사화하기 위해, 캘리브레이션 동안, 사용자(100)는 문장, 바람직하게는 ANC 및 HA가 활성화되고 헤드셋 (200)을 착용한 상태에서 폐쇄 상태 귀 구성 및 개방 상태 귀 둘 모두에서 음소 균형 잡힌 문장을 읽도록 요청 받을 수 있다. 및 비율의 평균은 그런 다음 음소 균형 잡힌 문장에 걸쳐 결정될 수 있다.
따라서, 는 다음과 같이 고정될 수 있다 :
(2.27)
HA 블록은 보상하도록 디자인되었지만 고막에서 사운드 신호를 제거하지 않도록 디자인되었으므로, 는 0보다 크게 예를 들어, 아래와 표시된 같이 적어도 0.01로 제한되어야 한다:
(2.28)
본 발명자들은 다음 방정식이 및 에 대한 양호한 근사치를 제공한다는 것을 추가로 발견했다 :
(2.29)
(2.30)
즉, 는 ANC 및 HA가 켜졌을 때 에러 마이크로폰의 전기 출력과 기준 마이크로폰의 전기 출력 사이의 비율로 근사화될 수 있다.
도 15는 의 다양한 값에 대해 방정식(2.28)을 사용하여 계산된 대 방정식(2.30)을 사용하여 계산된 의 비교를 제공한다. 방정식 (2.30)은 가 알려져 있는 경우 방정식 (2.28)에 근사함을 알 수 있다. 방정식 (2.30)의 근사는 개방 상태 귀 함수 를 측정할 필요가 없음을 의미한다; 방정식 (2.28)을 사용하여 근사된 를 도출하기 위해 폐쇄 상태 귀 함수 만 필요하다.
dHAEQ의 적용
마지막으로, 도 12를 다시 참조하면, 프로세스(1200)의 단계(1208)에서, 사용자가 말하는 동안 헤드셋(200)의 사용자(100)에게 개방 상태 귀 사운드를 복원하기 위해 dHAEQ가 스피커 입력 신호에 적용될 수 있다(HF 감쇠를 복원하기 위한 HAEQ와 함께).
위에서 언급한 바와 같이, , 또는 그 근사를 사용하든, 이 등화는 사용자가 말할 때만 필요하다. 따라서, 바람직하게는, 헤드셋(200)은 HA 블록에 의해 적용되는 총 EQ, 즉 또는 가 (즉, 수동 손실로 인한 HF 감쇠를 복원하기 위한 EQ) 및 (즉, HF 감쇠를 복원하기 위한 EQ와 폐색 영향으로 인한 LF 울리는 소리를 제거하기 위한 EQ의 조합) 사이에서 스위칭될 수 있도록 사용자(100)가 말하는 시기를 결정하도록 구성될 수 있다. 그렇게 하기 위해, 음성 활동 검출기(VAD)(218)는 dHAEQ가 스위치 온 및 오프될 수 있도록 음성 활동의 결정(예를 들어, 플래그 또는 확률)을 모듈(202)에 제공하도록 구성될 수 있다.
도 16은 HA 블록 를 제어하기 위한 제1 모듈(202)/헤드셋(200)에 의해 구현될 수 있는 프로세스(1600)의 흐름도이다.
단계(1602)에서, HAEQ는 도 5를 참조하여 상기에서 설명된 바와 같이 결정될 수 있다.
단계(1604)에서, dHAEQ는 도 12를 참조하여 상기에서 설명된 바와 같이 결정될 수 있다.
단계(1606)에서, DSP(212)는 VAD(218)로부터 수신된 출력에 기초하여 사용자(100)가 말하고 있는지에 대한 결정을 내리도록 구성될 수 있다.
사용자(100)가 말하고 있지 않는다고 결정되면, 프로세스(1600)는 단계(1608)로 진행하고, DSP(212)는 폐쇄 상태 귀 양상에서 수동적 손실로 인해 감쇠된 고주파 사운드를 복원하기 위해 만을 포함하도록 HA 블록 를 구현한다. 그런 다음, 프로세스는 사용자(100)가 말하고 있는지의 결정이 반복되는 단계(1606)로 계속된다.
그러나, 사용자(100)가 말하고 있는 것으로 결정되면, 프로세스(1600)는 단계(1610)로 진행하고, DSP(212)는 사용자가 말하는 동안 폐색 영향으로 인한 저주파 부스트를 억제 및 폐쇄 상태 귀 양상에서 수동적 손실로 인해 손실된 감쇠된 고 주파수 사운드를 복원하기 위해 및 를 포함하도록 HA 블록 를 구현한다.
폐색 영향은 저 주파수 예를 들어, 약 1kHz보다 낮은 경우에서만, 발생하기 때문에, dHAEQ는 스피커(209)로 출력되는 신호의 왜곡을 최소화하기 위해 필요한 주파수에만 적용되는 것이 바람직하다.
고주파 감쇠 및 저주파 부스트(골 전도로 인한)를 모두 고려하는 것이 바람직할 수 있지만, 본 개시의 실시예는 그렇게 하는 것으로 제한되지 않는다는 점에 유의한다. 예를 들어, 일부 실시예에서, 헤드셋(200)은 저주파(폐색 영향) 부스트가 아닌 고주파 감쇠에 대해 등화하도록 HA 블록을 구현하도록 구성될 수 있다. 동일하게, 일부 실시예에서, 헤드셋(200)은 고주파 감쇠가 아닌 저주파(폐색 영향) 부스트에 대해 등화하도록 HA 블록을 구현하도록 구성될 수 있다.
본 출원에서 설명된 실시예는 스마트폰, 오디오 플레이어, 모바일 또는 셀룰러 전화, 핸드셋과 같은 전자, 휴대용 및/또는 배터리 전력 공급식 호스트 디바이스에서 구현될 수 있다. 실시예는 이러한 호스트 디바이스 내에 제공된 하나 이상의 집적 회로에서 구현될 수 있다. 대안적으로, 실시예는 스마트폰, 모바일 또는 셀룰러 폰, 헤드폰, 이어폰 등과 같이 한 사람에게 오디오 재생을 제공하도록 구성 가능한 개인용 오디오 디바이스에서 구현될 수 있다.
다시 말하지만, 실시예는 이러한 개인용 오디오 디바이스 내에 제공된 하나 이상의 집적 회로에서 구현될 수 있다. 또 다른 대안에서, 실시예는 호스트 디바이스와 개인용 오디오 디바이스의 조합으로 구현될 수 있다. 예를 들어, 실시예는 개인용 오디오 디바이스 내에 제공된 하나 이상의 집적 회로, 및 호스트 디바이스 내에 제공된 하나 이상의 집적 회로에서 구현될 수 있다.
특히 도면과 관련하여 본 출원에 설명된 다양한 동작이 다른 회로부 또는 다른 하드웨어 컴포넌트에 의해 구현될 수 있다는 것이 본 개시의 이익을 가진 당업자에 의해 특별히 이해되어야 한다. 주어진 방법의 각각의 동작이 수행되는 순서는 변경될 수 있으며, 본 출원에 예시된 시스템의 다양한 엘리먼트가 추가, 재정렬, 조합, 생략, 수정 등이 될 수 있다. 본 개시는 이러한 모든 수정 및 변경을 포함하도록 의도되어, 상기의 설명은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
유사하게, 본 개시는 특정 실시예를 참조하지만, 본 개시의 범위 및 적용 범위를 벗어나지 않고 특정 수정 및 변경이 이들 실시예에 이루어질 수 있다. 더욱이, 특정 실시예와 관련하여 본 출원에서 설명된 문제에 대한 모든 장점, 장점 또는 솔루션은 중요하거나, 요구되거나, 필수적인 특징 또는 엘리먼트로 해석되도록 의도되지 않는다.
본 개시의 장점을 갖는 추가 실시예 및 구현은 마찬가지로 당업자에게 명백할 것이며, 그러한 실시예는 본 출원에 포함되는 것으로 간주되어야 한다. 또한, 당해 기술 분야의 통상의 지식을 가진 자는 다양한 등가 기술이 논의된 실시예 대신에 또는 이와 함께 적용될 수 있고, 이러한 모든 등가물은 본 개시에 포함되는 것으로 간주되어야 함을 인식할 것이다.
당업자는 전술한 장치 및 방법의 일부 양태, 예를 들어, 발견 및 구성 방법이 예를 들어, 비휘발성 캐리어 매체 상에 예컨대 디스크, CD 또는 DVD-ROM, 판독 전용 메모리(펌웨어)와 같은 프로그래밍된 메모리, 또는 광학 또는 전기 신호 캐리어와 같은 데이터 캐리어 상에 프로세서 제어 코드로서 구현될 수 있음을 인식할 것이다. 많은 애플리케이션에 대해, 본 개시의 실시예는 DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field Programmable Gate Array)에서 구현될 것이다. 따라서, 코드는 통상적인 프로그램 코드 또는 마이크로코드, 또는 예를 들어, ASIC 또는 FPGA를 설정하거나 제어하기 위한 코드를 포함할 수 있다. 코드는 또한 재프로그래밍 가능한 논리 게이트 어레이와 같은 재구성 가능한 장치를 동적으로 구성하기 위한 코드를 포함할 수 있다. 유사하게, 코드는 Verilog TM 또는 VHDL(Very high speed integrated circuit Hardware Description Language)과 같은 하드웨어 기술 언어에 대한 코드를 포함할 수 있다. 당업자가 인식하는 바와 같이, 코드는 서로 통신하는 복수의 결합된 컴포넌트 사이에 분산될 수 있다. 적절한 경우, 실시예는 아날로그 하드웨어를 구성하기 위해 필드(재)프로그래밍 가능한 아날로그 어레이 또는 유사한 디바이스에서 실행되는 코드를 사용하여 구현될 수도 있다.
본 출원에서 사용된 용어 모듈은 적절한 범용 프로세서 등에서 실행되는 하나 이상의 소프트웨어 프로세서 또는 적절한 코드에 의해 적어도 부분적으로 구현될 수 있고 및/또는 맞춤형 정의 회로부와 같은 전용 하드웨어 컴포넌트에 의해 적어도 부분적으로 구현될 수 있는 기능 유닛 또는 블록을 지칭하는데 사용되어야 한다. 모듈 자체는 다른 모듈 또는 기능 유닛을 포함할 수 있다. 모듈은 같은 위치에 있을 필요가 없고 다른 집적 회로 및/또는 다른 프로세서에서 실행될 수 있는 여러 컴포넌트 또는 서브 모듈에 의해 제공될 수 있다.
상기 지칭된 실시예는 본 발명을 제한하기 보다는 예시하고, 당업자는 첨부된 청구범위 또는 실시예의 범위를 벗어나지 않고 많은 대안적인 실시예를 디자인할 수 있다는 것에 유의해야 한다. "포함하는"이라는 단어는 청구범위 또는 실시예에 나열된 것 이외의 엘리먼트 또는 단계의 존재를 배제하지 않으며, "a" 또는 "an"는 복수를 배제하지 않으며, 단일 특징 또는 다른 유닛은 청구범위 또는 실시예에 인용된 여러 유닛의 기능을 수행할 수 있다. 청구범위 또는 실시예의 임의의 참조 번호 또는 라벨은 그 범위를 제한하는 것으로 해석되어서는 안 된다.
본 개시 및 특정의 대표적인 장점이 상세하게 설명되었지만, 첨부된 청구범위 또는 실시예에 의해 정의된 본 개시의 취지 및 범위를 벗어나지 않고 다양한 변경, 대체 및 변경이 본 출원에서 이루어질 수 있음을 이해해야 한다. 더욱이, 본 개시의 범위는 본 출원의 상응하는 실시예가 사용될 때 동일한 결과를 달성하거나 또는 실질적으로 동일한 기능을 수행하는 현재 존재하거나 향후 개발될 공정, 기계, 제조, 물질의 조성, 수단, 방법 또는 단계의 특정 실시예로 제한되는 것으로 의도되지 않는다. 따라서, 첨부된 청구범위 또는 실시예는 이러한 프로세스, 기계, 제조, 물질의 구성, 수단, 방법 또는 단계를 그 범위 내에 포함하도록 의도된다.

Claims (40)

  1. 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰, 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰, 스피커, 및 상기 스피커와 상기 외부 마이크로폰과 상기 내부 마이크로폰 사이에 결합된 하나 이상의 프로세서를 포함하는 헤드셋에서 사운드를 등화하는 방법에 있어서, 상기 방법은,
    사용자가 헤드셋을 착용하는 동안,
    상기 외부 마이크로폰에서 사운드의 존재시, 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하는 단계; 및
    스피커 입력 신호와 상기 제1 오디오 신호 사이의 제2 오디오 전달 함수를 결정하는 단계로서, 상기 스피커는 상기 스피커 입력 신호에 의해 구동되는, 상기 제2 오디오 전달 함수를 결정하는 단계;
    상기 스피커, 상기 외부 마이크로폰, 및 상기 내부 마이크로폰 사이의 상기 하나 이상의 프로세서에 의해 정의된 전기 전도 경로에 기인한 전기 전달 함수(electrical transfer function)를 결정하는 단계;
    상기 제1 오디오 전달 함수, 상기 제2 오디오 전달 함수 및 상기 전기 전달 함수에 기초하여 폐쇄 상태 귀 전달 함수(closed-ear transfer function)를 결정하는 단계; 및
    상기 폐쇄 상태 귀 전달 함수와 개방 상태 귀 전달 함수(open-ear transfer function) 간의 비교에 기초하여 상기 제1 오디오 신호를 등화하여 등화된 제1 오디오 신호를 생성하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서, 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 주파수 도메인 비율이거나, 또는 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 시간 도메인 차이인, 방법.
  3. 청구항 1에 있어서,
    a) 상기 개방 상태 귀 전달 함수는 상기 사용자의 고막 또는 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수이거나; 또는
    b) 상기 개방 상태 귀 전달 함수는 헤드 시뮬레이터의 고막과 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수이거나; 또는
    c) 상기 개방 상태 귀 전달 함수는 일반 대중(general population)의 일부의 평균 개방 상태 귀 전달 함수인, 방법.
  4. 청구항 1에 있어서,
    a) 상기 사용자의 고막 또는 귀 입구 사이의 상기 개방 상태 귀 전달 함수를 측정하는 단계; 또는
    b) 헤드 시뮬레이터의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 측정하는 단계; 또는
    c) 일반 대중의 일부에 대한 평균 개방 상태 귀 전달 함수에 기초하여 상기 개방 상태 귀 전달 함수를 결정하는 단계를 더 포함하는, 방법.
  5. 청구항 1 또는 청구항 2에 있어서, 상기 제1 오디오 전달 함수를 결정하는 단계는 상기 스피커가 음소거된 상태(muted)에서 수행되는, 방법.
  6. 청구항 1 또는 청구항 2에 있어서, 상기 제2 오디오 전달 함수를 결정하는 단계는 상기 헤드셋 외부의 사운드가 전혀 없을 때 수행되는, 방법.
  7. 청구항 1 또는 청구항 2에 있어서, 상기 전기 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서에 의해 구현되는 피드포워드(feedforward) ANC 필터의 주파수 응답 및/또는 상기 하나 이상의 프로세서에 의해 구현되는 피드백(feedback) ANC 필터의 주파수 응답을 결정하는 단계를 포함하는, 방법.
  8. 청구항 1 또는 청구항 2에 있어서, 상기 전기 전달 함수를 결정하는 단계는 상기 하나 이상의 프로세서와 관련된 이득(gain)을 결정하는 단계를 포함하는, 방법.
  9. 청구항 1 또는 청구항 2에 있어서, 상기 사용자의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 결정하는 단계는 상기 사용자의 개방 상태 귀 전달 함수를 근사화하는 단계를 포함하는, 방법.
  10. 청구항 1 또는 청구항 2에 있어서,
    상기 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 더 포함하는, 방법.
  11. 청구항 1 또는 청구항 2에 있어서,
    상기 사용자가 상기 헤드셋을 착용하고 상기 사용자가 말하고 있는 동안 상기 제1 오디오 신호와 제2 오디오 신호 사이의 제3 오디오 전달 함수를 결정하는 단계; 및
    상기 제3 오디오 전달 함수에 기초하여 상기 등화된 제1 오디오 신호를 추가로 등화하는 단계를 더 포함하는, 방법.
  12. 청구항 11에 있어서,
    상기 사용자가 말하고 있다는 결정에 기초하여, 상기 등화된 제1 오디오 신호를 상기 스피커로 출력하는 단계를 더 포함하는, 방법.
  13. 청구항 11에 있어서,
    상기 하나 이상의 프로세서가 능동 노이즈 제거(ANC : active noise cancellation)를 구현하고 있는지를 결정하는 단계; 및
    상기 하나 이상의 프로세서가 ANC를 구현하는 것을 고려하여 추가 등화를 조정하는 단계를 더 포함하는, 방법.
  14. 청구항 11에 있어서,
    상기 사용자에게 음소 균형 잡힌(phoneme balanced) 문장이나 어구를 말하도록 요청하는 단계를 더 포함하고,
    상기 제3 오디오 전달 함수는 상기 사용자가 음소 균형 잡힌 문장을 말하는 동안 결정되는, 방법.
  15. 장치에 있어서,
    헤드셋으로서,
    제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰;
    제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰; 및
    스피커를 포함하는, 상기 헤드셋; 및
    하나 이상의 프로세서로서,
    사용자가 상기 헤드셋을 착용하는 동안,
    상기 외부 마이크로폰에서 사운드의 존재시, 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하고;
    스피커 입력 신호와 상기 제1 오디오 신호 사이의 제2 오디오 전달 함수를 결정하고, 상기 스피커는 상기 스피커 입력 신호에 의해 구동되고;
    상기 스피커, 상기 외부 마이크로폰, 및 상기 내부 마이크로폰 사이의 상기 하나 이상의 프로세서에 의해 정의된 전기 전도 경로에 기인한 전기 전달 함수를 결정하고;
    상기 제1 오디오 전달 함수, 상기 제2 오디오 전달 함수 및 상기 전기 전달 함수에 기초하여 폐쇄 상태 귀 전달 함수를 결정하고; 및
    상기 폐쇄 상태 귀 전달 함수와 개방 상태 귀 전달 함수 간의 비교에 기초하여 상기 제1 오디오 신호를 등화하여 등화된 제1 오디오 신호를 생성하도록 구성된, 상기 하나 이상의 프로세서를 포함하는, 장치.
  16. 청구항 15에 있어서, 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 주파수 도메인 비율이거나, 또는 상기 비교는 상기 폐쇄 상태 귀 전달 함수와 상기 개방 상태 귀 전달 함수 간의 시간 도메인 차이인, 장치.
  17. 청구항 15 또는 청구항 16에 있어서,
    a) 상기 개방 상태 귀 전달 함수는 상기 사용자의 고막 또는 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수이거나; 또는
    b) 상기 개방 상태 귀 전달 함수는 헤드 시뮬레이터의 고막과 귀 입구 사이에서 측정된 개방 상태 귀 전달 함수이거나; 또는
    c) 상기 개방 상태 귀 전달 함수는 일반 대중의 일부의 평균 개방 상태 귀 전달 함수인, 장치.
  18. 청구항 15 또는 청구항 16에 있어서, 상기 하나 이상의 프로세서는,
    a) 상기 사용자의 고막 또는 귀 입구 사이의 상기 개방 상태 귀 전달 함수를 측정하는 단계; 또는
    b) 헤드 시뮬레이터의 고막과 귀 입구 사이의 개방 상태 귀 전달 함수를 측정하는 단계; 또는
    c) 일반 대중의 일부에 대한 평균 개방 상태 귀 전달 함수에 기초하여 상기 개방 상태 귀 전달 함수를 결정하는 단계를 수행하도록 더 구성된, 장치.
  19. 제1 오디오 신호를 생성하도록 구성된 내부 마이크로폰, 제2 오디오 신호를 생성하도록 구성된 외부 마이크로폰, 스피커, 및 상기 스피커와 상기 외부 마이크로폰과 상기 내부 마이크로폰 사이에 결합된 하나 이상의 프로세서를 포함하는 헤드셋에서 사운드를 등화하는 방법에 있어서, 상기 방법은,
    사용자가 헤드셋을 착용하고 상기 사용자가 말하는 동안 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 제1 오디오 전달 함수를 결정하는 단계; 및
    상기 제1 오디오 전달 함수에 기초하여 상기 제1 오디오 신호를 등화하는 단계를 포함하는, 방법.
  20. 명령을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 명령이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 청구항 1 또는 청구항 19에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020217033417A 2019-03-18 2020-03-12 자신의 음성 폐색 보상 Active KR102715519B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/356,218 US10595151B1 (en) 2019-03-18 2019-03-18 Compensation of own voice occlusion
US16/356,218 2019-03-18
PCT/GB2020/050620 WO2020188250A1 (en) 2019-03-18 2020-03-12 Compensation of own voice occlusion

Publications (2)

Publication Number Publication Date
KR20210141585A KR20210141585A (ko) 2021-11-23
KR102715519B1 true KR102715519B1 (ko) 2024-10-14

Family

ID=69778881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217033417A Active KR102715519B1 (ko) 2019-03-18 2020-03-12 자신의 음성 폐색 보상

Country Status (5)

Country Link
US (2) US10595151B1 (ko)
KR (1) KR102715519B1 (ko)
CN (1) CN113597773B (ko)
GB (1) GB2595415B (ko)
WO (1) WO2020188250A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557307B2 (en) * 2019-10-20 2023-01-17 Listen AS User voice control system
DK180757B1 (en) * 2020-04-16 2022-02-24 Gn Audio As Method and puppet for electroacoustic simulation
US11521643B2 (en) * 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
DE102020114429A1 (de) 2020-05-29 2021-12-02 Rheinisch-Westfälische Technische Hochschule Aachen, Körperschaft des öffentlichen Rechts Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen
JP7574589B2 (ja) * 2020-09-24 2024-10-29 株式会社Ｊｖｃケンウッド コミュニケーション装置、コミュニケーション方法、及びコンピュータプログラム
CN116324968B (zh) * 2020-10-08 2025-12-30 华为技术有限公司 主动降噪设备和方法
CN113784256B (zh) * 2021-07-13 2025-09-23 深圳市大十未来科技有限公司 一种耳机系统和耳堵效应的控制方法
US11825281B1 (en) * 2021-09-24 2023-11-21 Apple Inc. Adaptive equalization compensation for earbuds
US20250008266A1 (en) * 2021-11-14 2025-01-02 Heavys Inc. System and method of controlling loudness of an electroacoustic transducer
CN114120603B (zh) * 2021-11-26 2023-08-08 歌尔科技有限公司 语音控制方法、耳机和存储介质
US11457304B1 (en) * 2021-12-27 2022-09-27 Bose Corporation Headphone audio controller
CN118696548A (zh) 2022-01-20 2024-09-24 三星电子株式会社 电子设备及其控制方法
CN116744169B (zh) * 2022-09-30 2024-04-09 荣耀终端有限公司 耳机设备、声音信号的处理方法及佩戴贴合度测试方法
WO2024096600A1 (ko) * 2022-11-01 2024-05-10 삼성전자 주식회사 외부 소리를 전달하기 위한 전자 장치 및 전자 장치의 동작 방법
JP7669619B2 (ja) * 2023-02-21 2025-04-30 エクスメムス ラブズ，インコーポレイテッド ウェアラブルサウンドデバイスのための低周波数ロールオフをイコライジングするデバイス及び方法
CN121773631A (zh) * 2023-09-12 2026-03-31 哈曼国际工业有限公司 用于优化psap和助听器的扬声器输出的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142485A (ja) 2015-11-19 2017-08-17 パロット ドローンズ ヘッドセットユーザの音声活動の存在又は不存在に応じてアクティブノイズコントロール、閉塞防止制御、及び、受動減衰相殺を伴うオーディオヘッドセット
US20190043518A1 (en) 2016-02-25 2019-02-07 Dolby Laboratories Licensing Corporation Capture and extraction of own voice signal
US20190214038A1 (en) 2016-05-06 2019-07-11 Eers Global Technologies Inc. Device and method for improving the quality of in-ear microphone signals in noisy environments

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985925A (en) 1988-06-24 1991-01-15 Sensor Electronics, Inc. Active noise reduction system
US5267321A (en) 1991-11-19 1993-11-30 Edwin Langberg Active sound absorber
CA2357200C (en) * 2001-09-07 2010-05-04 Dspfactory Ltd. Listening device
US8116489B2 (en) * 2004-10-01 2012-02-14 Hearworks Pty Ltd Accoustically transparent occlusion reduction system and method
DE102006047965A1 (de) * 2006-10-10 2008-01-17 Siemens Audiologische Technik Gmbh Hörhilfsgerät mit einer Okklusionsreduktionseinrichtung und Verfahren zur Okklusionsreduktion
JP5241921B2 (ja) * 2008-07-29 2013-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 電子音響チャンネルの適応制御とイコライゼーションの方法
JP2010124251A (ja) * 2008-11-19 2010-06-03 Kenwood Corp オーディオ装置、音響再生方法
US8515089B2 (en) * 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
US8649526B2 (en) * 2010-09-03 2014-02-11 Nxp B.V. Noise reduction circuit and method therefor
US8718291B2 (en) * 2011-01-05 2014-05-06 Cambridge Silicon Radio Limited ANC for BT headphones
EP2640095B2 (en) * 2012-03-15 2020-11-18 Sonova AG Method for fitting a hearing aid device with active occlusion control to a user
US9516407B2 (en) * 2012-08-13 2016-12-06 Apple Inc. Active noise control with compensation for error sensing at the eardrum
US20140126733A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. User Interface for ANR Headphones with Active Hear-Through
US9020160B2 (en) 2012-11-02 2015-04-28 Bose Corporation Reducing occlusion effect in ANR headphones
EP3005731B2 (en) * 2013-06-03 2020-07-15 Sonova AG Method for operating a hearing device and a hearing device
US9654874B2 (en) * 2013-12-16 2017-05-16 Qualcomm Incorporated Systems and methods for feedback detection
US10614788B2 (en) * 2017-03-15 2020-04-07 Synaptics Incorporated Two channel headset-based own voice enhancement
CN207399463U (zh) * 2017-11-07 2018-05-22 歌尔科技有限公司 一种降噪耳机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142485A (ja) 2015-11-19 2017-08-17 パロット ドローンズ ヘッドセットユーザの音声活動の存在又は不存在に応じてアクティブノイズコントロール、閉塞防止制御、及び、受動減衰相殺を伴うオーディオヘッドセット
US20190043518A1 (en) 2016-02-25 2019-02-07 Dolby Laboratories Licensing Corporation Capture and extraction of own voice signal
US20190214038A1 (en) 2016-05-06 2019-07-11 Eers Global Technologies Inc. Device and method for improving the quality of in-ear microphone signals in noisy environments

Also Published As

Publication number Publication date
CN113597773B (zh) 2024-05-10
US11026041B2 (en) 2021-06-01
GB2595415A (en) 2021-11-24
KR20210141585A (ko) 2021-11-23
GB2595415B (en) 2022-08-24
GB202112374D0 (en) 2021-10-13
CN113597773A (zh) 2021-11-02
WO2020188250A1 (en) 2020-09-24
US20200304936A1 (en) 2020-09-24
US10595151B1 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
KR102715519B1 (ko) 자신의 음성 폐색 보상
US20260080855A1 (en) Method and device for acute sound detection and reproduction
CN112019962B (zh) 基于情景的周围声音增强和声学噪声消除
CN110089129B (zh) 使用听筒麦克风的个人声音设备的头上/头外检测
US9191740B2 (en) Method and apparatus for in-ear canal sound suppression
JP5400166B2 (ja) 受話器およびステレオとモノラル信号を再生する方法
US8315400B2 (en) Method and device for acoustic management control of multiple microphones
WO2008134642A1 (en) Method and device for personalized voice operated control
CN102084668A (zh) 处理信号的方法和系统
EP3213527B1 (en) Self-voice occlusion mitigation in headsets
US11683643B2 (en) Method and device for in ear canal echo suppression
WO2009136953A1 (en) Method and device for acoustic management control of multiple microphones
US9729957B1 (en) Dynamic frequency-dependent sidetone generation
US11489966B2 (en) Method and apparatus for in-ear canal sound suppression
US11856375B2 (en) Method and device for in-ear echo suppression
US20220210581A1 (en) Hearing aid comprising a feedback control system
JP7799833B2 (ja) 認識モード自動レベラーを有するオーディオデバイス

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601