KR20200080344A - 크로스토크 처리 b 체인 - Google Patents

크로스토크 처리 b 체인 Download PDF

Info

Publication number
KR20200080344A
KR20200080344A KR1020207018623A KR20207018623A KR20200080344A KR 20200080344 A KR20200080344 A KR 20200080344A KR 1020207018623 A KR1020207018623 A KR 1020207018623A KR 20207018623 A KR20207018623 A KR 20207018623A KR 20200080344 A KR20200080344 A KR 20200080344A
Authority
KR
South Korea
Prior art keywords
spatial
channel
processor
spatial enhancement
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207018623A
Other languages
English (en)
Other versions
KR102185071B1 (ko
Inventor
재커리 셀데스
Original Assignee
붐클라우드 360, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66633752&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20200080344(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 붐클라우드 360, 인코포레이티드 filed Critical 붐클라우드 360, 인코포레이티드
Priority to KR1020207033738A priority Critical patent/KR102475646B1/ko
Publication of KR20200080344A publication Critical patent/KR20200080344A/ko
Application granted granted Critical
Publication of KR102185071B1 publication Critical patent/KR102185071B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/12—Circuits for transducers for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

실시예들은 공간적 강화 오디오 신호를 위한 b 체인 처리에 관한 것이다. 시스템은 b 체인 프로세서를 포함한다. b 체인 프로세서는 청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭을 결정하고; 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것; 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 지연을 적용하는 것; 및 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 이득을 적용하는 것에 의해, 좌측 스피커를 위한 좌측 출력 채널 및 우측 스피커를 위한 우측 출력 채널을 생성한다.

Description

크로스토크 처리 B 체인
본 명세서에 기재된 청구 대상은 오디오 신호 처리에 관한 것으로, 보다 상세하게는 스피커에 오디오 크로스토크 소거를 적용할 때의 (기하학적 및 물리적) 비대칭의 대처에 관한 것이다.
오디오 신호들은 최적화되지 않은 구성의 렌더링 시스템 및/또는 실내 음향계로 출력될 수 있다. 도 1a는 이상적인 트랜스오럴(transaural) 구성의 예, 즉 빈 방음실(empty soundproof room) 내에 단일 청취자가 있는 2 채널 스테레오 스피커 시스템에 대한 이상적인 라우드스피커 및 청취자 구성을 도시한다. 도 1a에 도시된 바와 같이, 청취자(140)는 콘텐츠 제작자들의 원래 의도에 대해 가장 정확한 공간적 및 음색적 재현이 이루어지는, 좌측 라우드스피커(110L) 및 우측 라우드스피커(110R)로부터 렌더링된 오디오를 체험할 수 있는 이상적인 위치(즉, "스위트 스팟(sweet spot)")에 있다.
하지만, 오디오 방출 디바이스들로는 이상적인 "스위트 스팟" 조건이 충족되지 않거나 달성될 수 없는 다양한 상황이 있다. 이들은 도 1b에 도시된 바와 같이 청취자(140)의 머리(head)의 위치가 스테레오 라우드스피커들(110L 및 110R) 사이의 이상적인 "스위트 스팟" 청취 위치로부터 측방향으로 오프셋되는 상황을 포함한다. 또는, 도 1c에 도시된 바와 같이, 청취자(140)는 이상적인 위치에 있으나, 각 라우드스피커(110L, 110R)와 청취자(140)의 헤드 위치 사이의 거리가 동등하지 않다. 또한, 도 1d에 도시된 바와 같이, 청취자(140)는 이상적인 위치에 있을 수 있으나, 라우드스피커들(110L 및 110R)의 주파수 및 진폭 특성은 동등하지 않다(즉, 렌더링 시스템이 "매칭되지 않는다"). 다른 예에서는, 청취자(140)와 라우드스피커들(110L, 110R)의 물리적 위치 설정은 이상적일 수 있으나, 우측 라우드스피커(110R)에 대해 도 1e에 도시된 바와 같이, 라우드스피커들(110L 및 110R) 중 하나 이상이 이상적인 각도로부터 회전 오프셋될 수 있다.
예시적인 실시예들은 다양한 스피커 또는 환경적 비대칭에 대해 조정되는 공간적 강화 오디오 신호를 위한 b 체인 처리에 관한 것이다. 비대칭의 몇몇 예는 하나의 스피커와 청취자 사이의 시간 지연이 다른 스피커와 청취자 사이에서와는 다른 것, 하나의 스피커와 청취자 사이의 (지각 및 객관적) 신호 레벨이 다른 스피커와 청취자 사이에서와는 다른 것, 또는 하나의 스피커와 청취자 사이의 주파수 응답이 다른 스피커와 청취자 사이에서와는 다른 것을 포함할 수 있다.
몇몇 예시적인 실시예에서, 좌측 스피커 및 우측 스피커에 대한 입력 오디오 신호를 강화하기 위한 시스템은 공간적 강화 프로세서와 b 체인 프로세서를 포함한다. 공간적 강화 프로세서는 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함으로써 공간적 강화 신호를 생성한다. b 체인 프로세서는 청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭을 결정한다. b 체인 프로세서는 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것; 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 지연을 적용하는 것; 및, 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 이득을 적용하는 것에 의해, 좌측 스피커를 위한 좌측 출력 채널 및 우측 스피커를 위한 우측 출력 채널을 생성한다.
몇몇 실시예에서, b 체인 프로세서는 좌측 공간적 강화 채널과 우측 공간적 강화 채널 중 적어도 하나에 하나 이상의 필터를 적용함으로써 N 대역 이퀄라이제이션을 적용한다. 하나 이상의 필터는 좌측 스피커 및 우측 스피커의 주파수 응답을 균형화하며, 로우 쉘프 필터 및 하이 쉘프 필터; 밴드 패스 필터; 밴드 스톱 필터; 피크 노치 필터; 및 로우 패스 필터 및 하이 패스 필터 중 적어도 하나를 포함할 수 있다.
몇몇 실시예에서, b 체인 프로세서는 청취 위치의 변화에 따라 지연 및 이득 중 적어도 하나를 조정한다.
몇몇 실시예는 프로세서에 의해 실행될 때: 좌측 스피커를 위한 좌측 입력 채널 및 우측 스피커를 위한 우측 입력 채널을 포함하는 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함으로써 공간적 강화 신호를 생성하고; 좌측 스피커와 우측 스피커 사이의 비대칭을 결정하며; 및, 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것; 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 지연을 적용하는 것; 및, 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 이득을 적용하는 것에 의해, 좌측 스피커를 위한 좌측 출력 채널 및 우측 스피커를 위한 우측 출력 채널을 생성하도록, 프로세서를 구성하는 명령어들을 저장한 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
몇몇 실시예는 좌측 스피커 및 우측 스피커에 대한 입력 오디오 신호를 처리하는 방법을 포함할 수 있다. 상기 방법은: 좌측 스피커를 위한 좌측 입력 채널 및 우측 스피커를 위한 우측 입력 채널을 포함하는 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함으로써 공간적 강화 신호를 생성하는 단계; 청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭을 결정하는 단계; 및, 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 단계; 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 지연을 적용하는 단계; 및, 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 이득을 적용하는 단계에 의해, 좌측 스피커를 위한 좌측 출력 채널 및 우측 스피커를 위한 우측 출력 채널을 생성하는 단계를 포함할 수 있다.
도 1a, 1b, 1c, 1d, 및 1e는 몇몇 실시예에 따른 청취자에 대한 라우드스피커 위치들을 도시한다.
도 2는 몇몇 실시예에 따른 오디오 처리 시스템의 개략적인 블록도이다.
도 3은 몇몇 실시예에 따른 공간적 강화 프로세서의 개략적인 블록도이다.
도 4는 몇몇 실시예에 따른 서브밴드 공간 프로세서의 개략적인 블록도이다.
도 5는 몇몇 실시예에 따른 크로스토크 보상 프로세서의 개략적인 블록도이다.
도 6은 몇몇 실시예에 따른 크로스토크 소거 프로세서의 개략적인 블록도이다.
도 7은 몇몇 실시예에 따른 b 체인 프로세서의 개략적인 블록도이다.
도 8은 몇몇 실시예에 따른 입력 오디오 신호의 b 체인 처리 방법의 흐름도이다.
도 9는 몇몇 실시예에 따른 비이상적인 헤드 위치 및 매칭되지 않은 라우드스피커들을 도시한다.
도 10a 및 도 10b는 몇몇 실시예에 따른, 도 9에 도시된 비이상적인 헤드 위치 및 매칭되지 않은 라우드스피커들에 대한 주파수 응답을 도시한다.
도 11은 몇몇 실시예에 따른 컴퓨터 시스템의 개략적인 블록도이다.
다양한 실시예가 도면 및 상세한 설명에 한정이 아닌 예시로서 도시 및 설명되어 있다.
이제 실시예들에 대해 상세한 참조가 이루어질 것이며, 그 예들이 첨부 도면에 도시되어 있다. 다음의 상세한 설명에서는, 설명되는 다양한 실시예의 온전한 이해를 제공하기 위해 다수의 특정 세부 사항이 명시된다. 하지만, 설명되는 실시예들은 이들 특정 세부 사항 없이도 실시될 수 있다. 다른 예에서는, 실시예들의 양태를 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세히 설명되지는 않았다.
본 발명의 실시예들은 공간적 강화(spatial enhancement) 및 b 체인 처리를 제공하는 오디오 처리 시스템에 관한 것이다. 공간적 강화는 서브밴드 공간적 처리 및 크로스토크 소거를 입력 오디오 신호에 적용하는 것을 포함할 수 있다. b 체인 처리는 비이상적으로 구성된 스테레오 라우드스피커 렌더링 시스템에서 트랜스오럴 식으로 렌더링된 오디오의 지각된 공간적 사운드 스테이지(perceived spatial sound stage)를 복원한다.
예컨대 영화에서 또는 개인용 헤드폰을 통해 사용될 수 있는 디지털 오디오 시스템은 a 체인 및 b 체인의 두 부분으로 고려될 수 있다. 예를 들어, 영화 환경에서, a 체인에는 Dolby 아날로그에서 전형적으로 이용 가능한 필름 프린트의 사운드 리코딩(sound recording) 및 Dolby Digital, DTS 및 SDDS와 같은 디지털 포맷 중의 셀렉션이 또한 포함된다. 또한, 필름 프린트로부터 오디오를 회수하여 이를 증폭 준비가 되도록 처리하는 장비도 a 체인의 일부이다.
b 체인에는 최적화되지 않은 구성의 렌더링 시스템의 설치, 실내 음향계, 또는 청취자 위치의 영향을 수정 및/또는 최소화하기 위해, 멀티 채널 볼륨 제어, 이퀄라이제이션, 시간 정렬, 및 증폭을 라우드스피커들에 적용하기 위한 하드웨어 및 소프트웨어 시스템들이 포함된다. b 체인 처리는 청취자를 "이상적인" 체험에 더 근접하게 하는 일반적인 의도로, 지각되는 청취 체험의 질을 최적화하도록 분석적으로 또는 파라미터적으로 구성될 수 있다.
예시적인 오디오 시스템
도 2는 몇몇 실시예에 따른 오디오 처리 시스템(200)의 개략적인 블록도이다. 오디오 처리 시스템(200)은 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 포함하는 입력 오디오 신호(X)에 서브밴드 공간적 처리, 크로스토크 소거 처리, 및 b 체인 처리를 적용하여 좌측 출력 채널(OL) 및 우측 출력 채널(OR)을 포함하는 출력 오디오 신호(O)를 생성한다. 출력 오디오 신호(O)는 비이상적으로 구성된 스테레오 라우드스피커 렌더링 시스템에서 트랜스오럴 식으로 렌더링된 입력 오디오 신호(X)를 위한 지각된 공간적 사운드 스테이지를 복원한다.
오디오 처리 시스템(200)은 b 체인 프로세서(240)에 결합된 공간적 강화 프로세서(205)를 포함한다. 공간적 강화 프로세서(205)는 서브밴드 공간 프로세서(210), 크로스토크 보상 프로세서(220), 및 서브밴드 공간 프로세서(210)와 크로스토크 보상 프로세서(220)에 결합된 크로스토크 소거 프로세서(230)를 포함한다.
서브밴드 공간 프로세서(210)는 좌측 입력 채널(XL) 및 우측 입력 채널(XR)의 중간(mid) 및 측면(side) 서브밴드 성분들의 이득(gain)을 조정함으로써 공간적으로 강화된 오디오 신호(공간적 강화 오디오 신호)를 생성한다. 크로스토크 보상 프로세서(220)는 크로스토크 소거 프로세서(230)에 의해 적용되는 크로스토크 소거에 있어서의 스펙트럼 결함 또는 아티팩트를 보상하기 위해 크로스토크 보상을 수행한다. 크로스토크 소거 프로세서(230)는 서브밴드 공간 프로세서(210)와 크로스토크 보상 프로세서(220)의 결합된 출력에 대해 크로스토크 소거를 수행하여 좌측 강화 채널(AL) 및 우측 강화 채널(AR)을 생성한다. 공간적 강화 프로세서(210)에 관한 추가 세부 사항은 도 3 내지 도 6과 연계하여 아래에서 논의된다.
b 체인 프로세서(240)는 지연 및 이득 프로세서(260)에 결합된 스피커 매칭 프로세서(250)를 포함한다. 특히, b 체인 프로세서(240)는 라우드스피커들(110L 및 110R)과 청취자의 헤드 사이의 전반적인 시간 지연의 차, 라우드스피커들(110L 및 110R)과 청취자의 헤드 사이의 (지각 및 객관적) 신호 레벨의 차, 및 라우드스피커들(110L 및 110R)과 청취자의 헤드 사이의 주파수 응답의 차에 대해 조정할 수 있다.
스피커 매칭 프로세서(250)는 좌측 강화 채널(AL) 및 우측 강화 채널(AR)을 수신하여, 모바일 디바이스 스피커 쌍 또는 다른 유형의 좌우 스피커 쌍과 같은 매칭된 스피커 쌍을 제공하지 않는 디바이스에 대해 라우드스피커 균형화를 수행한다. 몇몇 실시예에서, 스피커 매칭 프로세서(250)는 좌측 강화 채널(AL) 및 우측 강화 채널(AR) 각각에 이퀄라이제이션 및 이득 또는 감쇠를 적용하여, 이상적인 청취 스위트 스팟의 지점으로부터 스펙트럼적으로 및 지각적으로 균형화된 스테레오 이미지를 제공한다. 지연 및 이득 프로세서(260)는 스피커 매칭 프로세서(250)의 출력을 수신하며, 렌더링/청취 시스템에서의 실제 물리적 비대칭(예를 들면, 중심을 벗어난 헤드의 위치 및/또는 동등하지 않은 라우드스피커들-헤드 간의 거리)을 고려하여, 특정 청취자의 헤드 위치로부터의 공간적 이미지를 시간 정렬하고 추가로 지각적으로 균형화하기 위해 채널들(AL 및 AR) 각각에 지연 및 이득 또는 감쇠를 적용한다. 스피커 매칭 프로세서(250)와 지연 및 이득 프로세서(260)에 의해 적용되는 처리는 상이한 순서로 수행될 수 있다. b 체인 프로세서(240)에 관한 추가 세부 사항은 도 7과 연계하여 아래에서 논의된다.
예시적인 공간적 강화 프로세서
도 3은 몇몇 실시예에 따른 공간적 강화 프로세서(205)의 개략적인 블록도이다. 공간적 강화 프로세서(205)는 입력 오디오 신호를 공간적으로 강화하고, 공간적 강화 오디오 신호에 대해 크로스토크 소거를 수행한다. 이를 위해, 공간적 강화 프로세서(205)는 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 포함하는 입력 오디오 신호(X)를 수신한다. 몇몇 실시예에서, 입력 오디오 신호(X)는 소스 컴포넌트로부터 디지털 비트 스트림(예를 들면, PCM 데이터)으로 제공된다. 소스 컴포넌트는 컴퓨터, 디지털 오디오 플레이어, 광 디스크 플레이어(예를 들면, DVD, CD, 블루레이), 디지털 오디오 스트리머, 또는 다른 디지털 오디오 신호 소스일 수 있다. 공간적 강화 프로세서(205)는 입력 채널들(XL 및 XR)을 처리하여 2 개의 출력 채널(AL 및 AR)을 포함하는 출력 오디오 신호(A)를 생성한다. 출력 오디오 신호(A)는 크로스토크 보상 및 크로스토크 소거를 갖는, 입력 오디오 신호(X)의 공간적 강화 오디오 신호이다. 도 3에는 도시되어 있지 않으나, 공간적 강화 프로세서(205)는, 크로스토크 소거 프로세서(230)로부터의 출력 오디오 신호(A)를 증폭시키며, 출력 채널들(AL 및 AR)을 사운드로 변환하는 라우드스피커들(110L 및 110R)과 같은 출력 디바이스들에, 신호(A)를 제공하는 증폭기를 더 포함할 수 있다.
공간적 강화 프로세서(205)는 서브밴드 공간 프로세서(210), 크로스토크 보상 프로세서(220), 컴바이너(222), 및 크로스토크 소거 프로세서(230)를 포함한다. 공간적 강화 프로세서(205)는 입력 오디오의 입력 채널(XL, XR)의 크로스토크 보상 및 서브밴드 공간적 처리를 수행하고, 서브밴드 공간적 처리의 결과를 크로스토크 보상의 결과와 결합하며, 그리고 나서 결합된 신호들에 대해 크로스토크 소거를 수행한다.
서브밴드 공간 프로세서(210)는 공간 주파수 대역 분할기(310), 공간 주파수 대역 프로세서(320), 및 공간 주파수 대역 컴바이너(330)를 포함한다. 공간 주파수 대역 분할기(310)는 입력 채널들(XL 및 XR) 및 공간 주파수 대역 프로세서(320)에 결합된다. 공간 주파수 대역 분할기(310)는 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 수신하고는, 입력 채널들을 공간(또는 "측면") 성분(XS)과 비공간(또는 "중간" 성분)(XM)이 되게 처리한다. 예를 들어, 공간적 성분(XS)은 좌측 입력 채널(XL)과 우측 입력 채널(XR)의 차에 기초하여 생성될 수 있다. 비공간적 성분(XM)은 좌측 입력 채널(XL)과 우측 입력 채널(XR)의 합(sum)에 기초하여 생성될 수 있다. 공간 주파수 대역 분할기(310)는 공간적 성분(XS) 및 비공간적 성분(XM)을 공간 주파수 대역 프로세서(320)에 제공한다.
공간 주파수 대역 프로세서(320)는 공간 주파수 대역 분할기(310) 및 공간 주파수 대역 컴바이너(330)에 결합된다. 공간 주파수 대역 프로세서(320)는 공간 주파수 대역 분할기(310)로부터 공간적 성분(XS) 및 비공간적 성분(XM)을 수신하고는, 수신된 신호들을 강화한다. 특히, 공간 주파수 대역 프로세서(320)는 공간적 성분(XS)으로부터 강화된 공간적 성분(ES) 및 비공간적 성분(XM)으로부터 강화된 비공간적 성분(EM)을 생성한다.
예를 들어, 공간 주파수 대역 프로세서(320)는 공간적 성분(XS)에 서브밴드 이득을 적용하여 강화된 공간적 성분(ES)를 생성하고, 비공간적 성분(XM)에 서브밴드 이득을 적용하여 강화된 비공간적 성분(EM)을 생성한다. 이에 더해서 혹은 이와 달리, 몇몇 실시예에서, 공간 주파수 대역 프로세서(320)는 공간적 성분(XS)에 서브밴드 지연을 제공하여 강화된 공간적 성분(ES)을 생성하고, 비공간적 성분(XM)에 서브밴드 지연을 제공하여 강화된 비공간적 성분(EM)을 생성한다. 서브밴드 이득 및/또는 지연은 공간적 성분(XS) 및 비공간적 성분(XM)의 상이한(예를 들면, n 개의) 서브밴드에 대해 상이할 수 있거나, (예를 들면, 2 개 이상의 서브밴드에 대해) 동일할 수 있다. 공간 주파수 대역 프로세서(320)는 공간적 성분(XS) 및 비공간적 성분(XM)의 상이한 서브밴드에 대한 이득 및/또는 지연을 서로에 대해 조정하여 강화된 공간적 성분(ES) 및 강화된 비공간적 성분(EM)을 생성한다. 공간 주파수 대역 프로세서(320)는 그 다음에 강화된 공간적 성분(ES) 및 강화된 비공간적 성분(EM)을 공간 주파수 대역 컴바이너(330)에 제공한다.
공간 주파수 대역 컴바이너(330)는 공간 주파수 대역 프로세서(320)에 결합되고, 컴바이너(222)에도 또한 결합된다. 공간 주파수 대역 컴바이너(330)는 공간 주파수 대역 프로세서(320)로부터 강화된 공간적 성분(ES) 및 강화된 비공간적 성분(EM)을 수신하고는, 강화된 공간적 성분(ES) 및 강화된 비공간적 성분(EM)을 공간적 강화 좌측 채널(EL) 및 공간적 강화 우측 채널(ER)에 결합한다. 예를 들어, 공간적 강화 좌측 채널(EL)은 강화된 공간적 성분(ES)과 강화된 비공간적 성분(EM)의 합에 기초하여 생성될 수 있고, 공간적 강화 우측 채널(ER)은 강화된 비공간적 성분(EM)과 강화된 공간적 성분(ES) 사이의 차에 기초하여 생성될 수 있다. 공간 주파수 대역 컴바이너(330)는 공간적 강화 좌측 채널(EL) 및 공간적 강화 우측 채널(ER)을 컴바이너(222)에 제공한다.
크로스토크 보상 프로세서(220)는 크로스토크 소거에 있어서의 스펙트럼 결함 또는 아티팩트를 보상하기 위해 크로스토크 보상을 수행한다. 크로스토크 보상 프로세서(220)는 입력 채널들(XL 및 XR)을 수신하고는, 크로스토크 소거 프로세서(230)에 의해 수행되는 강화된 비공간적 성분(EM) 및 강화된 공간적 성분(ES)의 후속 크로스토크 소거에 있어서의 임의의 아티팩트를 보상하기 위한 처리를 수행한다. 몇몇 실시예에서, 크로스토크 보상 프로세서(220)는 좌측 크로스토크 보상 채널(ZL) 및 우측 크로스토크 보상 채널(ZR)을 포함하는 크로스토크 보상 신호(Z)를 생성하기 위한 필터들을 적용함으로써 비공간적 성분(XM) 및 공간적 성분(XS)에 대한 강화를 수행할 수 있다. 다른 실시예들에서, 크로스토크 보상 프로세서(220)는 비공간적 성분(XM)에 대해서만 강화를 수행할 수도 있다.
컴바이너(222)는 공간적 강화 좌측 채널(EL)을 좌측 크로스토크 보상 채널(ZL)과 결합하여 좌측 강화 보상 채널(TL)을 생성하고, 공간적 강화 우측 채널(ER)을 우측 크로스토크 보상 채널(ZR)과 결합하여 우측 보상 채널(TR)을 생성한다. 컴바이너(222)는 크로스토크 소거 프로세서(230)에 결합되어, 좌측 강화 보상 채널(TL) 및 우측 강화 보상 채널(TR)을 크로스토크 소거 프로세서(230)에 제공한다.
크로스토크 소거 프로세서(230)는 좌측 강화 보상 채널(TL) 및 우측 강화 보상 채널(TR)을 수신하고는, 채널들(TL, TR)에 대해 크로스토크 소거를 수행하여 좌측 출력 채널(AL) 및 우측 출력 채널(AR)을 포함하는 출력 오디오 신호(A)를 생성한다.
서브밴드 공간 프로세서(210)에 관한 추가 세부 사항은 도 4와 연계하여 아래에서 논의되고, 크로스토크 보상 프로세서(220)에 관한 추가 세부 사항은 도 5와 연계하여 아래에서 논의되며, 크로스토크 소거 프로세서(230)에 관한 추가 세부 사항은 도 6과 연계하여 아래에서 논의된다.
도 4는 몇몇 실시예에 따른 서브밴드 공간 프로세서(210)의 개략적인 블록도이다. 서브밴드 공간 프로세서(210)는 공간 주파수 대역 분할기(310), 공간 주파수 대역 프로세서(320), 및 공간 주파수 대역 컴바이너(330)를 포함한다. 공간 주파수 대역 분할기(310)는 공간 주파수 대역 프로세서(320)에 결합되고, 공간 주파수 대역 프로세서(320)는 공간 주파수 대역 컴바이너(330)에 결합된다.
공간 주파수 대역 분할기(310)는 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 수신하고는 이들 입력을 공간적 성분(XS) 및 비공간적 성분(XM)으로 변환하는 L/R - M/S 간 컨버터(402)를 포함한다. 공간적 성분(XS)는 좌측 입력 채널(XL)과 우측 입력 채널(XR)을 감산함(subtracting)으로써 생성될 수 있다. 비공간적 성분(XM)은 좌측 입력 채널(XL)과 우측 입력 채널(XR)을 가산함(adding)으로써 생성될 수 있다.
공간 주파수 대역 프로세서(320)는 비공간적 성분(XM)을 수신하고는, 서브밴드 필터 세트를 적용하여 강화된 비공간 서브밴드 성분(EM)을 생성한다. 공간 주파수 대역 프로세서(320)는 공간적 서브밴드 성분(XS)을 수신하고는, 서브밴드 필터 세트를 적용하여 강화된 비공간 서브밴드 성분(EM)을 생성한다. 서브밴드 필터는 피크(peak) 필터, 노치(notch) 필터, 로우 패스 필터, 하이 패스 필터, 로우 쉘프 필터, 하이 쉘프 필터, 밴드 패스 필터, 밴드 스톱 필터, 및/또는 올패스(all pass) 필터의 다양한 조합을 포함할 수 있다.
몇몇 실시예에서, 공간 주파수 대역 프로세서(320)는 비공간적 성분(XM)의 n 개의 주파수 서브밴드 각각에 대한 서브밴드 필터 및 공간적 성분(XS)의 n 개의 주파수 서브밴드 각각에 대한 서브밴드 필터를 포함한다. 예를 들어, n = 4 개의 서브밴드의 경우, 공간 주파수 대역 프로세서(320)는 서브밴드(1)에 대한 중간 이퀄라이제이션(EQ) 필터(404(1)), 서브밴드(2)에 대한 중간 EQ 필터(404(2)), 서브밴드(3)에 대한 중간 EQ 필터(404(3)), 및 서브밴드(4)에 대한 중간 EQ 필터(404(4))를 포함하는 비공간적 성분(XM)에 대한 일련의 서브밴드 필터를 포함한다. 각각의 중간 EQ 필터(404)는 비공간적 성분(XM)의 주파수 서브밴드 부분에 필터를 적용하여 강화된 비공간적 성분(EM)을 생성한다.
공간 주파수 대역 프로세서(320)는 서브밴드(1)에 대한 측면 이퀄라이제이션(EQ) 필터(406(1)), 서브밴드(2)에 대한 측면 EQ 필터(406(2)), 서브밴드(3)에 대한 측면 EQ 필터(406(3)), 및 서브밴드(4)에 대한 측면 EQ 필터(406(4))를 포함하는 공간적 성분(XS)의 주파수 서브밴드에 대한 일련의 서브밴드 필터를 더 포함한다. 각각의 측면 EQ 필터(406)는 공간적 성분(XS)의 주파수 서브밴드 부분에 필터를 적용하여 강화된 공간적 성분(ES)을 생성한다.
비공간적 성분(XM) 및 공간적 성분(XS)의 n 개의 주파수 서브밴드 각각은 주파수 범위에 대응할 수 있다. 예를 들어, 주파수 서브밴드(1)는 0 내지 300 Hz에 대응할 수 있고, 주파수 서브밴드(2)는 300 내지 510 Hz에 대응할 수 있으며, 주파수 서브밴드(3)는 510 내지 2700 Hz에 대응할 수 있고, 주파수 서브밴드(4)는 2700 Hz 내지 나이퀴스트 주파수에 대응할 수 있다. 몇몇 실시예에서, n 개의 주파수 서브밴드는 통합된 임계 대역 세트(consolidated set of critical bands)이다. 임계 대역은 다양한 음악 장르의 오디오 샘플들의 모음집(corpus)을 사용하여 결정될 수 있다. 24 바크 스케일 임계 대역(Bark scale critical bands)에 걸쳐 중간 성분 대 측면 성분의 장기 평균 에너지 비(ratio)가 샘플들로부터 결정된다. 그 다음에 유사한 장기 평균비(average ratio)를 갖는 인접한 주파수 대역들이 함께 그룹화되어 임계 대역 세트를 형성한다. 주파수 서브밴드의 범위뿐만 아니라 주파수 서브밴드의 개수도 조정 가능할 수 있다. 몇몇 실시예에서, n 개의 주파수 대역 각각은 임계 대역 세트를 포함할 수 있다.
몇몇 실시예에서, 중간 EQ 필터들(404) 또는 측면 EQ 필터들(406)은 수학식 1로 정의되는 전달 함수를 갖는 바이쿼드 필터(biquad filter)를 포함할 수 있다:
Figure pct00001
여기서 z는 복소 변수이고, a0, a1, a2, b0, b1, 및 b2는 디지털 필터 계수이다. 필터는 수학식 2로 정의되는 직접 형식 I 토폴로지(direct form I topology)를 사용하여 구현될 수 있다.
Figure pct00002
여기서 X는 입력 벡터이고, Y는 출력이다. 최대 단어 길이(word-length) 및 포화 거동(saturation behaviors)에 따라, 다른 토폴로지가 특정 프로세서에 이점을 가질 수도 있다.
그 다음에 실수값의 입력들 및 출력들을 갖는 임의의 2 차 필터를 구현하기 위해 바이쿼드가 사용될 수 있다. 이산 시간 필터를 설계하기 위해, 연속 시간 필터가 설계되고는 양선형 변환(bilinear transform)을 통해 이산 시간으로 변환된다. 또한, 결과적으로 발생하는 중심 주파수 및 대역폭의 임의의 쉬프트(shifts)에 대한 보상은 주파수 와핑(frequency warping)을 사용하여 달성될 수 있다.
예를 들어, 피킹 필터(peaking filter)는 수학식 3으로 정의되는 S 평면 전달 함수를 포함할 수 있다:
Figure pct00003
여기서 s는 복소 변수이고, A는 피크의 진폭이며, Q는 필터 "품질"이다(정규적으로
Figure pct00004
로 도출됨). 디지털 필터 계수들은 다음과 같다:
Figure pct00005
Figure pct00006
Figure pct00007
Figure pct00008
Figure pct00009
Figure pct00010
여기서 ω0는 라디안 단위의 필터의 중심 주파수이고,
Figure pct00011
이다.
공간 주파수 대역 컴바이너(330)는 중간 성분 및 측면 성분을 수신하여, 각 성분에 이득을 적용하고는, 중간 성분 및 측면 성분을 좌측 채널 및 우측 채널로 변환한다. 예를 들어, 공간 주파수 대역 컴바이너(330)는 강화된 비공간적 성분(EM) 및 강화된 공간적 성분(ES)을 수신하고는, 강화된 비공간적 성분(EM) 및 강화된 공간적 성분(ES)을 좌측 공간적 강화 채널(EL) 및 우측 공간적 강화 채널(ER)로 변환하기 전에 글로벌 중간 이득 및 측면 이득을 수행한다.
보다 구체적으로, 공간 주파수 대역 컴바이너(330)는 글로벌 중간 이득(408), 글로벌 측면 이득(410), 및 글로벌 중간 이득(408)과 글로벌 측면 이득(410)에 결합된 M/S - L/R 간 컨버터(412)를 포함한다. 글로벌 중간 이득(408)은 강화된 비공간적 성분(EM)을 수신하여 이득을 적용하고, 글로벌 측면 이득(410)은 강화된 공간적 성분(ES)를 수신하여 이득을 적용한다. M/S - L/R 간 컨버터(412)는 글로벌 중간 이득(408)으로부터 강화된 비공간적 성분(EM)을 수신하고 글로벌 측면 이득(410)으로부터 강화된 공간적 성분(ES)을 수신하여, 이들 입력을 좌측 공간적 강화 채널(EL) 및 우측 공간적 강화 채널(ER)로 변환한다.
도 5는 몇몇 실시예에 따른 크로스토크 보상 프로세서(220)의 개략적인 블록도이다. 크로스토크 보상 프로세서(220)는 좌측 및 우측 입력 채널을 수신하고는, 입력 채널들에 크로스토크 보상을 적용하여 좌측 및 우측 출력 채널들을 생성한다. 크로스토크 보상 프로세서(220)는 L/R - M/S 간 컨버터(502), 중간 성분 프로세서(520), 측면 성분 프로세서(530), 및 M/S - L/R 간 컨버터(514)를 포함한다.
크로스토크 보상 프로세서(220)가 오디오 시스템(202, 400, 500, 또는 504)의 일부인 경우에, 크로스토크 보상 프로세서(220)는 입력 채널들(XL 및 XR)을 수신하고는, 전처리를 수행하여 좌측 크로스토크 보상 채널(ZL) 및 우측 크로스토크 보상 채널(ZR)을 생성한다. 채널들(ZL, ZR)은 크로스토크 소거 또는 시뮬레이션과 같은 크로스토크 처리에서의 임의의 아티팩트를 보상하기 위해 사용될 수 있다. L/R - M/S 간 컨버터(502)는 좌측 입력 오디오 채널(XL) 및 우측 입력 오디오 채널(XR)을 수신하고는, 입력 채널들(XL, XR)의 비공간적 성분(XM) 및 공간적 성분(XS)을 생성한다. 일반적으로, 좌측 및 우측 채널은 좌측 및 우측 채널의 비공간적 성분을 생성하기 위해 가산될 수 있고, 좌측 및 우측 채널의 공간적 성분을 생성하기 위해 감산될 수 있다.
중간 성분 프로세서(520)는 m 개의 중간 필터(540(a), 540(b), 내지 540(m))와 같은 복수의 필터(540)를 포함한다. 여기서, m 개의 중간 필터(540) 각각은 비공간적 성분(XM) 및 공간적 성분(XS)의 m 개의 주파수 대역 중 하나를 처리한다. 중간 성분 프로세서(520)는 비공간적 성분(XM)을 처리함으로써 중간 크로스토크 보상 채널(ZM)을 생성한다. 몇몇 실시예에서, 중간 필터들(540)은 시뮬레이션을 통한 크로스토크 처리에 의한 비공간적 성분(XM)의 주파수 응답 플롯을 사용하여 구성된다. 또한, 주파수 응답 플롯을 분석함으로써, 크로스토크 처리의 아티팩트로서 발생하는 사전 결정된 문턱값(예를 들면, 10 dB)을 초과하는 주파수 응답 플롯에서의 피크(peak) 또는 트로프(trough)와 같은 임의의 스펙트럼 결함이 추정될 수 있다. 이들 아티팩트는 주로 크로스토크 처리에서의 지연 및 반전된 대측 신호(contralateral signals)와 그 대응하는 동측 신호(ipsilateral signal)의 합산에 의해 발생되며, 그에 따라 최종 렌더링 결과에 콤 필터와 유사한(comb filter-like)의 주파수 응답을 효과적으로 도입한다. 중간 크로스토크 보상 채널(ZM)은 추정된 피크 또는 트로프를 보상하기 위해 중간 성분 프로세서(520)에 의해 생성될 수 있으며, 여기서 m 개의 주파수 대역 각각은 피크 또는 트로프에 대응한다. 구체적으로는, 크로스토크 처리에 적용되는 특정 지연, 필터링 주파수, 및 이득에 기초하여, 피크 및 트로프는 주파수 응답에서 상하로 쉬프트되며, 그에 의해 스펙트럼의 특정 영역에서 에너지의 가변 증폭 및/또는 감쇠를 초래한다. 중간 필터들(540) 각각은 피크들 및 트로프들 중 하나 이상에 대해 조정되도록 구성될 수 있다.
측면 성분 프로세서(530)는 m 개의 측면 필터(550(a), 550(b) 내지 550(m))와 같은 복수의 필터(550)를 포함한다. 측면 성분 프로세서(530)는 공간적 성분(XS)을 처리함으로써 측면 크로스토크 보상 채널(ZS)을 생성한다. 몇몇 실시예에서, 크로스토크 처리에 의한 공간적 성분(XS)의 주파수 응답 플롯은 시뮬레이션을 통해 획득될 수 있다. 주파수 응답 플롯을 분석함으로써, 크로스토크 처리의 아티팩트로서 발생하는 사전 결정된 문턱값(예를 들면, 10 dB)을 초과하는 주파수 응답 플롯에서의 피크 또는 트로프와 같은 임의의 스펙트럼 결함이 추정될 수 있다. 측면 크로스토크 보상 채널(ZS)은 추정된 피크 또는 트로프를 보상하기 위해 측면 성분 프로세서(530)에 의해 생성될 수 있다. 구체적으로는, 크로스토크 처리에 적용되는 특정 지연, 필터링 주파수, 및 이득에 기초하여, 피크 및 트로프는 주파수 응답에서 상하로 쉬프트되며, 그에 의해 스펙트럼의 특정 영역에서 에너지의 가변 증폭 및/또는 감쇠를 초래한다. 측면 필터들(550) 각각은 피크들 및 트로프들 중 하나 이상에 대해 조정되도록 구성될 수 있다. 몇몇 실시예에서, 중간 성분 프로세서(520)와 측면 성분 프로세서(530)는 상이한 개수의 필터를 포함할 수 있다.
몇몇 실시예에서, 중간 필터(540) 또는 측면 필터(550)는 수학식 4로 정의되는 전달 함수를 갖는 바이쿼드 필터를 포함할 수 있다:
Figure pct00012
여기서 z는 복소 변수이고, a0, a1, a2, b0, b1, 및 b2는 디지털 필터 계수이다. 이러한 필터를 구현하는 한 가지 방법은 수학식 5로 정의되는 직접 형식 I 토폴로지이다.
Figure pct00013
여기서 X는 입력 벡터이고, Y는 출력이다. 최대 단어 길이 및 포화 거동에 따라 다른 토폴로지가 사용할 수도 있다.
그 다음에 실수값의 입력들 및 출력들을 갖는 2 차 필터를 구현하기 위해 바이쿼드가 사용될 수 있다. 이산 시간 필터를 설계하기 위해, 연속 시간 필터가 설계되며 그리고 나서 양선형 변환(bilinear transform)을 통해 이산 시간으로 변환된다. 또한, 결과적으로 발생하는 중심 주파수 및 대역폭의 시프트는 주파수 와핑을 사용하여 보상될 수 있다.
예를 들어, 피킹 필터는 수학식 6으로 정의되는 S 평면 전달 함수를 가질 수 있다:
Figure pct00014
여기서 s는 복소 변수이고, A는 피크의 진폭이며, Q는 필터 "품질"이고, 디지털 필터 계수들은 다음과 같이 정의된다:
Figure pct00015
Figure pct00016
Figure pct00017
Figure pct00018
Figure pct00019
Figure pct00020
여기서 ω0는 라디안 단위의 필터의 중심 주파수이고,
Figure pct00021
이다.
또한, 필터 품질 Q는 수학식 7로 정의될 수 있다:
Figure pct00022
여기서 Δf는 대역폭이고, fc는 중심 주파수이다.
M/S - L/R 간 컨버터(514)는 중간 크로스토크 보상 채널(ZM) 및 측면 크로스토크 보상 채널(ZS)을 수신하고는, 좌측 크로스토크 보상 채널(ZL) 및 우측 크로스토크 보상 채널(ZR)을 생성한다. 일반적으로, 중간 채널과 측면 채널은 중간 성분과 측면 성분의 좌측 채널을 생성하기 위해 합산될 수 있고, 중간 채널과 측면 채널은 중간 성분과 측면 성분의 우측 채널을 생성하기 위해 감산될 수 있다.
도 6은 몇몇 실시예에 따른 크로스토크 소거 프로세서(230)의 개략적인 블록도이다. 크로스토크 소거 프로세서(230)는 컴바이너(222)로부터 좌측 강화 보상 채널(TL) 및 우측 강화 보상 채널(TR)을 수신하고는, 채널들(TL, TR)에 대해 크로스토크 소거를 수행하여 좌측 출력 채널(AL) 및 우측 출력 채널(AR)을 생성한다.
크로스토크 소거 프로세서(260)는 대역 내외 분할기(In-out band divider)(610), 인버터(620 및 622), 대측 추정기(contralateral estimator)(630 및 640), 컴바이너(650 및 652), 및 대역 내외 컴바이너(660)를 포함한다. 이들 컴포넌트는 함께 작동하여 입력 채널들(TL, TR)을 대역내(in-band) 성분들과 대역외(out-of-band) 성분들로 분할하며, 대역내 성분들에 대해 크로스토크 소거를 수행하여 출력 채널들(AL, AR)을 생성한다.
입력 오디오 신호(T)를 상이한 주파수 대역 성분들로 분할하고 선택적인 성분들(예를 들면, 대역내 성분들)에 대해 크로스토크 소거를 수행함으로써, 다른 주파수 대역들에서의 열화를 미연에 방지하면서 특정 주파수 대역에 대해 크로스토크 소거가 수행될 수 있다. 입력 오디오 신호(T)를 상이한 주파수 대역들로 분할하지 않고 크로스토크 소거가 수행되면, 이러한 크로스토크 소거 후의 오디오 신호는 저주파수(예를 들면, 350 Hz 미만), 고주파수(예를 들면, 12000 Hz 초과), 또는 양자 모두에서 비공간적 성분과 공간적 성분에 상당한 감쇠 또는 증폭을 나타낼 수 있다. 영향을 미치는 공간적 큐(spatial cues)의 대부분이 존재하는 대역내(예를들면, 250 Hz 내지 14000 Hz 사이)에 대해 크로스토크 소거를 선택적으로 수행함으로써, 믹스의 스펙트럼 전체에 걸쳐 특히 비공간적 성분에서 균형잡힌 전체 에너지가 유지될 수 있다.
대역 내외 분할기(610)는 입력 채널들(TL, TR)을 각각 대역내 채널들(TL,In 및 TR,In) 및 대역외 채널들(TL,Out 및 TR,Out)로 분리한다. 특히, 대역 내외 분할기(610)는 좌측 강화 보상 채널(TL)을 좌측 대역내 채널(TL,In) 및 좌측 대역외 채널(TL,Out)로 분할한다. 유사하게, 대역 내외 분할기(610)는 우측 강화 보상 채널(TR)을 우측 대역내 채널(TR,In) 및 우측 대역외 채널(TR,Out)로 분리한다. 각각의 대역내 채널은 예를 들면, 250 Hz 내지 14 kHz를 포함하는 주파수 범위에 대응하는 개개의 입력 채널의 일부를 포함할 수 있다. 주파수 대역의 범위는 예를 들어, 스피커 파라미터들에 따라 조정 가능할 수 있다.
인버터(620)와 대측 추정기(630)는 좌측 대역내 채널(TL,In)로 인한 대측 사운드 성분을 보상하기 위해 좌측 대측 소거 성분(SL)을 생성하도록 함께 동작한다. 유사하게, 인버터(622)와 대측 추정기(640)는 우측 대역내 채널(TR,In)로 인한 대측 사운드 성분을 보상하기 위해 우측 대측 소거 성분(SR)을 생성하도록 함께 동작한다.
하나의 접근법에서, 인버터(620)는 대역내 채널(TL,In)을 수신하고는 수신된 대역내 채널(TL,In)의 극성을 반전시켜 반전된 대역내 채널(TL,In')을 생성한다. 대측 추정기(630)는 반전된 대역내 채널(TL,In')을 수신하여, 필터링을 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널(TL,In')의 일부를 추출한다. 반전된 대역내 채널(TL,In')에 대해 필터링이 수행되기 때문에, 대측 추정기(630)에 의해 추출된 부분은 대측 사운드 성분에 기인하는 대역내 채널(TL,In)의 일부의 역(inverse)이 된다. 그래서, 대측 추정기(630)에 의해 추출된 부분은 좌측 대측 소거 성분(SL)이 되는데, 이는 대역내 채널(TL,In)로 인한 대측 사운드 성분을 저감시키기 위해 대응하는 대역내 채널(TR,In)에 추가될 수 있다. 몇몇 실시예에서, 인버터(620)와 대측 추정기(630)는 상이한 시퀀스로 구현된다.
인버터(622)와 대측 추정기(640)는 대역내 채널(TR,In)에 대해 유사한 동작을 수행하여 우측 대측 소거 성분(SR)을 생성한다. 따라서, 그 상세한 설명은 간결성을 위해 여기서는 생략된다.
일례의 구현예에서, 대측 추정기(630)는 필터(632), 증폭기(634), 및 지연 유닛(636)을 포함한다. 필터(632)는 반전된 대역내 채널(TL,In')을 수신하고는, 필터링 기능을 통해 대측 사운드 성분에 대응하는 반전된 대역내 채널(TL,In')의 일부를 추출한다. 일례의 필터 구현예는 중심 주파수가 5000 내지 10000 Hz 사이에서 선택되고 Q가 0.5 내지 1.0 사이에서 선택되는 노치(Notch) 또는 하이 쉘프(High-shelf) 필터이다. 데시벨 단위의 이득(GdB)이 수학식 8로부터 도출될 수 있다:
Figure pct00023
여기서 D는 예를 들면, 48 KHz의 샘플링 레이트에서의 샘플들의 지연 유닛(636)에 의한 지연량이다.
대체의 구현예는 코너 주파수가 5000 내지 10000 Hz 사이에서 선택되고 Q가 0.5 내지 1.0 사이에서 선택되는 로우 패스 필터이다. 또한, 증폭기(634)는 대응하는 이득 계수(GL,In)에 의해 추출된 부분을 증폭시키고, 지연 유닛(636)은 지연 함수(D)에 따라 증폭기(634)로부터의 증폭된 출력을 지연시켜 좌측 대측 소거 성분(SL)을 생성한다. 대측 추정기(640)는 필터(642), 증폭기(644), 및 우측 대측 소거 성분(SR)를 생성하기 위해 반전된 대역내 채널(TR,In')에 대해 유사한 동작을 수행하는 지연 유닛(646)을 포함한다. 일례에서, 대측 추정기들(630, 640)은 아래의 수학식에 따라 좌측 및 우측 대측 소거 성분(SL, SR)을 생성한다:
Figure pct00024
Figure pct00025
여기서 F[]는 필터 함수이고, D[]는 지연 함수이다.
크로스토크 소거의 구성은 스피커 파라미터들에 의해 결정될 수 있다. 일례에서, 필터 중심 주파수, 지연량, 증폭기 이득, 및 필터 이득은 청취자에 대해 2 개의 스피커(280) 사이에 형성된 각도에 따라 결정될 수 있다. 몇몇 실시예에서, 스피커 각도들 사이의 값들은 다른 값들을 보간하는 데 사용된다.
컴바이너(650)는 우측 대측 소거 성분(SR)을 좌측 대역내 채널(TL,In)에 결합하여 좌측 대역내 보상 채널(UL)을 생성하고, 컴바이너(652)는 좌측 대측 소거 성분(SL)을 우측 대역내 채널(TR,In)에 결합하여 우측 대역내 보상 채널(UR)을 생성한다. 대역 내외 컴바이너(660)는 좌측 대역내 보상 채널(UL)을 대역외 채널(TL,Out)과 결합하여 좌측 출력 채널(AL)을 생성하고, 우측 대역내 보상 채널(UR)을 대역외 채널(TR,Out)과 결합하여 우측 출력 채널(AR)을 생성한다.
따라서, 좌측 출력 채널(AL)은 대측 사운드에 기인하는 대역내 채널(TR,In)의 일부의 역에 대응하는 우측 대측 소거 성분(SR)을 포함하고, 우측 출력 채널(AR)은 대측 사운드에 기인하는 대역내 채널(TL,In)의 일부의 역에 대응하는 좌측 대측 소거 성분(SL)을 포함한다. 이 구성에서, 우측 귀에 도달한 우측 출력 채널(AR)에 따라 라우드스피커(280R)에 의해 출력되는 동측 사운드 성분의 파면(wavefront)은 좌측 출력 채널(AL)에 따라 라우드스피커(280L)에 의해 출력되는 대측 사운드 성분의 파면을 소거할 수 있다. 유사하게, 좌측 귀에 도달한 좌측 출력 채널(AL)에 따라 스피커(280L)에 의해 출력되는 동측 사운드 성분의 파면은 우측 출력 채널(AR)에 따라 라우드스피커(280R)에 의해 출력되는 대측 사운드 성분의 파면을 소거할 수 있다. 그래서, 대측 사운드 성분들은 공간 검출성을 강화하도록 저감될 수 있다.
예시적인 b 체인 프로세서
도 7은 몇몇 실시예에 따른 b 체인 프로세서(240)의 개략적인 블록도이다. b 체인 프로세서(240)는 스피커 매칭 프로세서(250)와, 지연 및 이득 프로세서(260)를 포함한다. 스피커 매칭 프로세서(250)는 좌측 증폭기(704) 및 우측 증폭기(706)에 결합된 N 대역 이퀄라이저(EQ)(702)를 포함한다. 지연 및 이득 프로세서(260)는 좌측 증폭기(712)에 결합된 좌측 지연(708) 및 우측 증폭기(714)에 결합된 우측 지연(710)을 포함한다.
도 1a 내지 도 1e에 도시된 바와 같이 청취자(140)의 배향이 이상적인 공간 이미지의 중심(예를 들면, 대칭적이고 매칭된 등거리의 라우드스피커들을 고려하여, 사운드 스테이지의 가상의 측방향 중심) 쪽으로 고정된 상태로 유지된다고 가정하면, 이상적인 렌더링된 공간 이미지와 실제 렌더링된 공간 이미지 사이의 변환 관계는 (a) 하나의 스피커와 청취자(140) 사이의 전반적인 시간 지연이 다른 스피커와 청취자 사이에서와는 다른 것, (b) 하나의 스피커와 청취자(140) 사이의 (지각 및 객관적) 신호 레벨이 다른 스피커와 청취자 사이에서와는 다른 것, 및 (c) 하나의 스피커와 청취자(140) 사이의 주파수 응답이 다른 스피커와 청취자 사이에서와는 다른 것에 기초하여 기술될 수 있다.
b 체인 프로세서(240)는 지연, 신호 레벨, 및 주파수 응답에 있어서의 상기 상대적 차를 수정하며, 그 결과 마치 청취자(140)(예를 들면, 헤드 위치) 및/또는 렌더링 시스템이 이상적으로 구성된 것처럼, 이상에 가까운 공간적 이미지를 복원한다.
b 체인 프로세서(240)는 공간적 강화 프로세서(205)로부터 좌측 강화 채널(AL) 및 우측 강화 채널(AR)을 포함하는 오디오 신호(A)를 입력으로서 수신한다. b 체인 프로세서(240)에 대한 입력은 (도 1a에 도시된 바와 같이) 그 이상적인 상태의 주어진 청취자/스피커 구성을 위한 임의의 트랜스오럴(transaural) 식으로 처리된 스테레오 오디오 스트림을 포함할 수 있다. 오디오 신호(A)가 공간적 비대칭을 갖지 않고 시스템에 다른 불규칙성이 존재하지 않으면, 공간적 강화 프로세서(205)는 극적으로 강화된 사운드 스테이지를 청취자(140)에게 제공한다. 하지만, 위에서 설명되고 도 1b 내지 도 1e에 도시된 바와 같이, 시스템에 비대칭이 존재하면, b 체인 프로세서(240)는 비이상적인 조건 하에서 강화된 사운드 스테이지를 유지하도록 적용될 수 있다.
이상적인 청취자/스피커 구성에는 좌측 및 우측 스피커와 헤드 간 거리가 매칭되는 한 쌍의 라우드스피커가 포함되는 반면, 많은 실제 셋업은 이러한 기준을 충족하지 못하며, 그에 의해 스테레오 청취 체험의 저하를 초래한다. 예를 들어, 모바일 디바이스는 대역폭이 제한된(예를 들면, 1000 내지 8000 Hz의 주파수 응답) 전면을 향하는 이어피스 라우드스피커, 및 직교되게 (아래로 또는 옆으로) 향하는 마이크로 라우드스피커(예를 들면, 200 내지 20000 Hz의 주파수 응답)를 포함할 수 있다. 여기서, 스피커 시스템은 2 가지 측면에서 매칭이 되지 않는데, 오디오 드라이버 성능 특성(예를 들면, 신호 레벨, 주파수 응답 등)이 다르고, 스피커들의 평행하지 않은 배향으로 인해 "이상적인" 청취자 위치에 대한 시간 정렬이 매칭되지 않는다. 다른 예는 스테레오 데스크탑 라우드스피커 시스템을 사용하는 청취자가 (예를 들면, 도 1b, 도 1c, 또는 도 1e에 도시된 바와 같이) 라우드스피커 또는 그 자신을 이상적인 구성으로 배치하지 않는 경우이다. 그래서, b 체인 프로세서(240)는 각 채널의 특성의 튜닝을 제공하여, 관련된 시스템 고유의 비대칭에 대처하며, 그에 의해 보다 지각적으로 매력적인 트랜스오럴 사운드 스테이지가 되게 한다.
이상적으로 구성된 시스템(즉, 스위트 스팟의 청취자, 매칭되고 대칭되게 배치된 라우드스피커 등)의 가정 하에 튜닝된 스테레오 입력 신호(X)에 공간적 강화 처리 또는 다른 처리가 적용된 후에, 스피커 매칭 프로세서(250)는 대다수의 모바일 디바이스에서와 같이 매칭된 스피커 쌍을 제공하지 않는 디바이스들에 실질적인 라우드스피커 균형화를 제공한다. 스피커 매칭 프로세서(250)의 N 대역 EQ(702)는 좌측 강화 채널(AL) 및 우측 강화 채널(AR)을 수신하고는, 채널들(AL 및 AR) 각각에 이퀄라이제이션을 적용한다.
몇몇 실시예에서, N 대역 EQ(702)는 로우 및 하이 쉘프 필터, 밴드 패스 필터, 밴드 스톱 필터, 및 피크 노치 필터, 또는 로우 및 하이 패스 필터와 같은 다양한 EQ 필터 유형을 제공한다. 예를 들어, 스테레오 쌍의 하나의 라우드스피커가 이상적인 청취자 스위트 스팟으로부터 멀어지게 각이 틀어지면, 그 라우드스피커는 청취자 스위트 스팟으로부터 현저한 고주파 감쇠를 나타내게 된다. (예를 들면, 하이 쉘프 필터를 통해) 스위트 스팟에서 관찰될 때 고주파 에너지를 복원하기 위해 N 대역 EQ(702)의 하나 이상의 대역이 그 라우드스피커 채널에 적용될 수 있으며, 그래서 다른 전방으로 향하는 라우드스피커의 특성과 거의 매칭되게 할 수 있다. 다른 시나리오에서는, 두 라우드스피커 모두가 정면을 향하고 있지만 그 중 하나가 주파수 응답이 크게 다른 경우에, 좌측 및 우측 채널 양자 모두에 EQ 튜닝이 적용되어 두 채널 사이에 스펙트럼 균형을 맞출 수 있다. 이러한 튜닝을 적용하는 것은 다른 전방으로 향하는 라우드스피커의 배향과 매칭시키기 위해 대상 라우드스피커를 "회전시키는 것"과 동등할 수 있다. 몇몇 실시예에서, N 대역 EQ(702)는 독립적으로 처리되는 n 개의 대역 각각에 대한 필터를 포함한다. 대역의 개수는 다를 수 있다. 몇몇 실시예에서, 대역의 개수는 서브밴드 공간 처리의 서브밴드에 대응한다.
몇몇 실시예에서, 스피커 비대칭은 특정 스피커 세트에 대해 사전 정의될 수 있는데, 알려진 비대칭은 N 대역 EQ(702)의 파라미터들을 선택하기 위한 기초로서 사용된다. 다른 예에서, 스피커 비대칭은 예컨대 테스트 오디오 신호들을 사용하고, 스피커들에 의해 신호들로부터 발생된 사운드를 녹음하며, 녹음된 사운드를 분석함으로써, 스피커들을 테스트하는 것에 기초하여 결정될 수 있다.
좌측 증폭기(704)는 N 대역 EQ(702)에 결합되어 좌측 채널을 수신하고, 우측 증폭기(706)는 N 대역 EQ(702)에 결합되어 우측 채널을 수신한다. 증폭기들(704 및 706)은 채널들 중 어느 하나 또는 양자 모두에 대한 출력 이득을 조정함으로써, 라우드스피커의 라우드니스(loudness) 및 다이내믹 레인지 능력의 비대칭에 대처한다. 이는 청취 위치로부터의 라우드스피커 거리에 있어서의 임의의 라우드니스 오프셋을 균형화하는 데, 및 음압 레벨(sound pressure level: SPL) 출력 특성이 크게 다른 매칭되지 않은 라우드스피커 쌍을 균형화하는 데 특히 유용하다.
지연 및 이득 프로세서(260)는 스피커 매칭 프로세서(250)의 좌측 및 우측 출력 채널들을 수신하고는, 채널들 중 하나 이상에 시간 지연 및 이득 또는 감쇠를 적용한다. 이를 위해, 지연 및 이득 프로세서(260)는 스피커 매칭 프로세서(250)로부터 출력된 좌측 채널을 수신하여 시간 지연을 적용하는 좌측 지연(708), 및 좌측 채널에 이득 또는 감쇠를 적용하여 좌측 출력 채널(OL)을 생성하는 좌측 증폭기(712)를 포함한다. 지연 및 이득 프로세서(260)는 스피커 매칭 프로세서(250)로부터 출력된 우측 채널을 수신하여 시간 지연을 적용하는 우측 지연(710), 및 우측 채널에 이득 또는 감쇠를 적용하여 우측 출력 채널(OR)을 생성하는 우측 증폭기(714)를 더 포함한다. 위에서 논의된 바와 같이, 스피커 매칭 프로세서(250)는 이상적인 청취자 "스위트 스팟"의 지점으로부터 좌우 공간적 이미지를 지각적으로 균형화하여, 그 위치로부터 각 드라이버에 균형잡힌 SPL 및 주파수 응답을 제공하는 데 초점을 맞추며, 실제 구성에 존재하는 시간 기반의 비대칭은 무시한다. 이 스피커 매칭이 달성된 후에, 지연 및 이득 프로세서(260)는 렌더링/청취 시스템에서의 실제 물리적 비대칭(예를 들면, 중심을 벗어난 헤드 위치 및/또는 동등하지 않은 라우드스피커 헤드 간 거리)을 고려하여, 특정 청취자의 헤드 위치로부터 공간적 이미지를 시간 정렬하고 또한 지각적으로 균형화한다.
지연 및 이득 프로세서(260)에 의해 적용되는 지연 및 이득 값들은 직교되게 배향된 라우드스피커들을 채용한 모바일 폰, 또는 예를 들어, 홈 시어터 사운드 바와 같은 스피커 앞의 이상적인 청취 스위트 스팟으로부터 측방향으로 오프셋된 청취자와 같은 정적(static) 시스템 구성에 대처하도록 설정될 수 있다.
지연 및 이득 프로세서(260)에 의해 적용되는 지연 및 이득 값들은 또한 물리적인 움직임을 게임 플레이의 요소(예를 들면, 게이밍 또는 인공 현실 시스템 용도와 같은 심도 카메라를 이용한 위치 추적)로서 사용하는 게이밍 시나리오에서 발생할 수 있는, 청취자의 헤드와 라우드스피커들 사이의 변하는 공간 관계에 기초하여 동적으로 조정될 수도 있다. 몇몇 실시예에서, 오디오 처리 시스템은 카메라, 광 센서, 근접 센서, 또는 스피커들에 대한 청취자의 헤드의 위치를 결정하는 데 사용되는 다른 적절한 디바이스를 포함한다. 결정된 사용자의 헤드의 위치는 지연 및 이득 프로세서(260)의 지연 및 이득 값들을 결정하는 데 사용될 수 있다.
오디오 분석 루틴은 b 체인 프로세서(240)를 구성하는 데 사용되는 적절한 스피커 간 지연 및 이득을 제공할 수 있으며, 그래서 시간 정렬되고 지각적으로 균형화된 좌우 스테레오 이미지를 생성할 수 있다. 몇몇 실시예에서, 이러한 분석 방법들로부터 측정 가능한 데이터의 부재시에, 아래의 수학식 11 및 12로 정의된 매핑을 사용하여 직관적인 수동 사용자 제어 또는 컴퓨터 비전 또는 기타 센서 입력을 통한 자동 제어가 달성할 수 있다:
Figure pct00026
Figure pct00027
여기서 delayDelta와 delay(지연)는 밀리초 단위이고, gain(이득)은 데시벨 단위이다. delay(지연) 및 gain(이득) 열 벡터는 첫 번째 성분이 좌측 채널에 관련되고, 두 번째 성분이 우측 채널에 관련된다고 가정한다. 그래서, delayDelta ≥ 0은 좌측 스피커 지연이 우측 스피커 지연보다 크거나 같음을 나타내고, delayDelta < 0은 좌측 스피커가 우측 스피커 지연보다 작음을 나타낸다.
몇몇 실시예에서는, 채널에 감쇠를 적용하는 대신에, 동일한 양의 이득이 반대편 채널에 적용될 수도 있고, 또는 하나의 채널에 적용된 이득과 다른 채널에 적용된 감쇠의 조합이 적용될 수도 있다. 예를 들어, 좌측 채널에 감쇠를 적용하는 대신에 우측 채널에 이득이 적용될 수도 있다. 모바일, 데스크탑 PC, 및 콘솔 게이밍, 및 홈 시어터 시나리오에서 발생하는 근거리 청취의 경우, 청취자 위치와 각 라우드스피커 사이의 거리 델타(distance delta)는 충분히 작으며, 그에 따라 청취자 위치와 각 라우드스피커 사이의 SPL 델타도 충분히 작으며, 그래서 상기 매핑들 중 임의의 것이 이상적인 청취자/스피커 구성과 비교하여, 전체적으로 허용 가능한 대음량의 사운드 스테이지를 유지하면서 트랜스오럴 공간적 이미지를 성공적으로 복원하는 데 사용되게 된다.
예시적인 오디오 시스템 처리
도 8은 몇몇 실시예에 따른 입력 오디오 신호를 처리하기 위한 방법(800)의 흐름도이다. 방법(800)은 더 적거나 추가의 단계들을 가질 수 있으며, 단계들은 상이한 순서로 수행될 수도 있다.
오디오 처리 시스템(200)(예를 들면, 공간적 강화 프로세서(205))은 강화 신호를 생성하기 위해 입력 오디오 신호를 강화한다(802). 강화는 공간적 강화를 포함할 수 있다. 예를 들어, 공간적 강화 프로세서(205)는 서브밴드 공간적 처리, 크로스토크 보상 처리, 및 크로스토크 소거 처리를 좌측 입력 채널(XL) 및 우측 입력 채널(XR)을 포함하는 입력 오디오 신호(X)에 적용하여 좌측 강화 채널(AL) 및 우측 강화 채널(AR)을 포함하는 강화 신호(A)를 생성한다. 여기서, 오디오 처리 시스템(200)은 입력 오디오 신호(X)의 중간(비공간) 및 측면(공간) 서브밴드 성분들을 이득 조정함으로써 공간적 강화를 적용하며, 강화 신호(A)는 "공간적 강화 신호"로 지칭된다. 오디오 처리 시스템(200)은 강화 신호(A)를 생성하기 위해 다른 유형의 강화를 수행할 수도 있다.
오디오 처리 시스템(200)(예를 들면, b 체인 프로세서(240)의 스피커 매칭 프로세서(250)의 N 대역 EQ(702))은 좌측 스피커와 우측 스피커 사이의 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 강화 신호(A)에 N 대역 이퀄라이제이션을 적용한다(804). N 대역 EQ(702)는 하나 이상의 필터를 좌측 강화 채널(AL), 우측 강화 채널(AR), 또는 좌측 채널(AL)과 우측 채널(AR) 양자 모두에 적용할 수 있다. 좌측 강화 채널(AL) 및/또는 우측 강화 채널(AR)에 적용되는 하나 이상의 필터는 좌측 및 우측 스피커의 주파수 응답을 균형화한다. 몇몇 실시예에서, 주파수 응답의 균형화는 좌측 또는 우측 스피커에 대한 이상적인 각도로부터의 회전 오프셋에 대해 조정하는 데 사용될 수 있다. 몇몇 실시예에서, N 대역 EQ(702)는 좌측 및 우측 스피커 사이의 비대칭을 결정하고, 결정된 비대칭에 기초하여 N 대역 EQ를 적용하기 위한 필터들의 파라미터들을 결정한다.
오디오 처리 시스템(200)(예를 들면, 좌측 증폭기(704) 및/또는 우측 증폭기(706))은 신호 레벨에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭에 대해 조정하기 위해 좌측 강화 채널(AL) 및 우측 강화 채널(AR) 중 적어도 하나에 이득을 적용한다(806). 적용되는 이득은 라우드스피커의 라우드니스 및 다이나믹 레인지 능력의 비대칭, 또는 상이한 음압 레벨(SPL) 출력 특성을 갖는 매칭되지 않은 라우드스피커의 쌍에 대처하기 위한 양의 이득 또는 음의 이득(감쇠라고도 지칭됨)일 수 있다.
오디오 처리 시스템(200)(예를 들면, b 체인 프로세서(240)의 지연 및 이득 프로세서(260))은 청취 위치에 대해 조정하기 위해 강화 신호(A)에 지연 및 이득을 적용한다(808). 청취 위치는 좌측 스피커 및 우측 스피커에 대한 사용자의 위치를 포함할 수 있다. 사용자는 스피커의 청취자를 가리킨다. 지연 및 이득은 렌더링/청취 시스템에서의 실제 물리적 비대칭(예를 들면, 중심을 벗어난 헤드 위치 및/또는 동등하지 않은 라우드스피커 헤드 간 거리)을 고려하여, 청취자의 위치에 대해 스피커 매칭 프로세서(250)로부터 출력된 공간적 이미지를 시간 정렬하고 또한 지각적으로 균형화한다. 예를 들어, 좌측 지연(708)은 좌측 강화 채널(AL)에 지연을 적용할 수 있고, 좌측 증폭기(712)는 좌측 강화 채널(AL)에 이득을 적용할 수 있다. 우측 지연(710)은 우측 강화 채널(AR)에 지연을 적용할 수 있고, 우측 증폭기(714)는 우측 강화 채널(AR)에 이득을 적용할 수 있다. 몇몇 실시예에서는, 좌측 강화 채널(AL) 또는 우측 강화 채널(AR) 중 하나에 지연이 적용될 수 있고, 좌측 강화 채널(AL) 또는 우측 강화 채널(AR) 중 하나에 이득이 적용될 수 있다.
오디오 처리 시스템(200)(예를 들면, b 체인 프로세서(240)의 지연 및 이득 프로세서(260))은 청취 위치의 변화에 따라 지연 및 이득 중 적어도 하나를 조정한다(810). 예를 들어, 좌측 스피커 및 우측 스피커에 대한 사용자의 공간 위치는 변할 수 있다. 오디오 처리 시스템(200)은 시간 경과에 따라 청취자의 위치를 모니터링하고, 청취자의 위치에 기초하여 강화 신호(O)에 적용되는 이득 및 지연을 결정하며, 시간 경과에 따른 청취자의 위치의 변화에 따라 강화 신호(O)에 적용되는 지연 및 이득을 조정하여 좌측 출력 채널(OL) 및 우측 출력 채널(OR)을 생성한다.
다양한 비대칭에 대한 조정은 상이한 순서로 수행될 수 있다. 예를 들어, 스피커 특성(예를 들면, 주파수 응답)에 있어서의 비대칭에 대한 조정은 스피커 위치 또는 배향에 대한 청취 위치에 있어서의 비대칭에 대한 조정 이전에, 이후에, 또는 이와 연계하여 수행될 수 있다. 오디오 처리 시스템은 청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭을 결정할 수 있고; 주파수 응답에 있어서의 좌측 스피커와 우측 스피커 사이의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것; 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 지연을 적용하는 것; 및 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 공간적 강화 신호에 이득을 적용하는 것에 의해, 좌측 스피커를 위한 좌측 출력 채널과 우측 스피커를 위한 우측 출력 채널을 생성할 수 있다.
몇몇 실시예에서는, 상이한 비대칭 소스들(예를 들면, 스피커 특성 또는 청취 위치)에 대해 조정하기 위해 복수의 이득 또는 지연을 적용하는 대신에, 스피커들과 청취 위치의 지점 사이의 이득 또는 시간 지연 차를 초래하는 복수의 유형의 비대칭에 대해 조정하기 위해 단일 이득 및 단일 지연이 사용된다. 하지만, 처리 요구를 저감시키기 위해 스피커의 비대칭에 대한 처리와 청취 위치의 비대칭에 대한 처리를 분리하는 것이 유리할 수 있다. 예를 들어, 스피커의 주파수 응답이 알려지면, 동일한 필터 값들이 스피커 조정을 위해 사용될 수 있는 한편, (예를 들면, 사용자가 이동함에 따른) 청취 위치의 변화에 대해서는 상이한 시간 지연 및 신호 레벨 조정이 이루어진다.
도 9는 몇몇 실시예에 따른 비이상적인 헤드 위치 및 매칭되지 않은 라우드스피커들을 도시한다. 청취자(140)는 좌측 스피커(910L) 및 우측 스피커(910R)로부터 상이한 거리에 있다. 또한, 스피커들(910L 및 910R)의 주파수 특성 및/또는 진폭 특성은 동등하지 않다. 도 10a는 좌측 스피커(910L)의 주파수 응답을 도시하고, 도 10b는 우측 스피커(910R)의 주파수 응답을 도시한다.
도 9, 도 10a, 및 도 10b에 도시된 바와 같이 스피커들(910L 및 910R)의 스피커 비대칭 및 스피커들(910L 및 910R) 각각에 대한 청취자(140)의 위치에 대해 보정하기 위해, b 체인 프로세서(240)의 컴포넌트들은 다음의 구성을 사용할 수 있다. N 대역 EQ(702)는 좌측 강화 채널(AL)에 4,500 Hz의 컷오프 주파수, 0.7의 Q 값, 및 -6 dB의 기울기를 갖는 하이 쉘프 필터를 적용할 수 있고, 우측 강화 채널(AR)에 6,000 Hz의 컷오프 주파수, 0.5의 Q 값, 및 +3dB의 기울기를 갖는 하이 쉘프 필터를 적용할 수 있다. 좌측 지연(708)은 0 mS의 지연을 적용할 수 있고, 우측 지연(710)은 0.27 mS의 지연을 적용할 수 있으며, 좌측 증폭기(712)는 0 dB의 이득을 적용할 수 있고, 우측 증폭기(714)는 -0.40625 dB의 이득을 적용할 수 있다.
예시적인 컴퓨팅 시스템
본 명세서에서 설명된 시스템 및 프로세스는 내장 전자 회로 또는 전자 시스템으로 구현될 수 있음에 유의하자. 시스템 및 프로세스는 또한 하나 이상의 처리 시스템(예를 들면, 디지털 신호 프로세서) 및 메모리(예를 들면, 프로그램된 읽기 전용 메모리 또는 프로그램 가능한 솔리드 스테이트 메모리) 또는 ASIC(application specific integrated circuit: 특정 용도용 집적 회로) 또는 FPGA(field-programmable gate array: 필드 프로그래머블 게이트 어레이) 회로와 같은 다른 회로를 포함하는 컴퓨팅 시스템으로 구현될 수도 있다.
도 11은 일 실시예에 따른 컴퓨터 시스템(1100)의 예를 도시한다. 오디오 시스템(200)은 시스템(1100) 상에서 구현될 수 있다. 칩셋(1104)에 결합된 적어도 하나의 프로세서(1102)가 도시되어 있다. 칩셋(1104)은 메모리 컨트롤러 허브(1120) 및 입출력(I/O) 컨트롤러 허브(1122)를 포함한다. 메모리(1106)와 그래픽 어댑터(1112)가 메모리 컨트롤러 허브(1120)에 결합되고, 디스플레이 디바이스(1118)가 그래픽 어댑터(1112)에 결합된다. 스토리지 디바이스(1108), 키보드(1110), 포인팅 디바이스(1114), 및 네트워크 어댑터(1116)가 I/O 컨트롤러 허브(1122)에 결합된다. 컴퓨터(1100)의 다른 실시예는 상이한 아키텍처를 갖는다. 예를 들어, 메모리(1106)는 몇몇 실시예에서 프로세서(1102)에 직접 결합된다.
스토리지 디바이스(1108)는 하드 드라이브, CD-ROM(compact disk read-only memory), DVD, 또는 솔리드 스테이트 메모리 디바이스와 같은 하나 이상의 비일시적 컴퓨터 판독 가능 스토리지 매체를 포함한다. 메모리(1106)는 프로세서(1102)에 의해 사용되는 명령어 및 데이터를 유지한다. 예를 들어, 메모리(1106)는 프로세서(1102)에 의해 실행될 때, 프로세서(1102)로 하여금 방법(800)과 같이 본 명세서에서 논의된 기능을 수행하도록 하거나 구성하는 명령어들을 저장할 수 있다. 포인팅 디바이스(1114)는 컴퓨터 시스템(1100)에 데이터를 입력하기 위해 키보드(1110)와 함께 사용된다. 그래픽 어댑터(1112)는 이미지 및 기타 정보를 디스플레이 디바이스(1118) 상에 디스플레이한다. 몇몇 실시예에서, 디스플레이 디바이스(1118)는 사용자 입력 및 선택을 수신하기 위한 터치 스크린 기능을 포함한다. 네트워크 어댑터(1116)는 컴퓨터 시스템(1100)을 네트워크에 결합한다. 컴퓨터(1100)의 몇몇 실시예는 도 11에 도시된 것과 상이한 컴포넌트들 및/또는 다른 컴포넌트들을 갖는다. 예를 들어, 컴퓨터 시스템(1100)은 디스플레이 디바이스, 키보드, 및 다른 컴포넌트들이 없는 서버일 수 있거나, 다른 유형의 입력 디바이스를 사용할 수도 있다.
추가 고려 사항
개시된 구성은 다수의 이점 및/또는 장점을 포함할 수 있다. 예를 들어, 입력 신호는 음장(sound field)의 공간적 감각을 유지하거나 강화시키면서 매칭되지 않은 라우드스피커들로 출력될 수 있다. 스피커들이 매칭되지 않거나 청취자가 스피커들에 대해 이상적인 청취 위치에 있지 않을 때에도 고품질의 청취 체험이 달성될 수 있다.
본 발명을 숙독할 때, 본 기술분야의 통상의 기술자는 본 명세서에 개시된 원리의 또 다른 대체 실시예들을 이해할 것이다. 그래서, 특정 실시예들 및 적용들이 예시되고 설명되었으나, 개시된 실시예들은 본 명세서에 개시된 정확한 구조 및 컴포넌트들로 국한되지 않음을 이해해야 한다. 본 기술분야의 통상의 기술자에게 자명할 수 있는 다양한 수정, 변경, 및 변형이 본 명세서에 기재된 범위로부터 일탈함이 없이 본 명세서에 개시된 방법 및 장치의 구성, 작동, 및 세부 사항에 이루어질 수 있다.
본 명세서에 기재된 단계들, 동작들, 또는 프로세스들 중 임의의 것이 하나 이상의 하드웨어 또는 소프트웨어 모듈 - 단독으로 또는 다른 디바이스와 함께 - 로 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은 기재된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

Claims (23)

  1. 좌측 스피커 및 우측 스피커에 대한 입력 오디오 신호를 강화하기(enhancing) 위한 시스템으로서,
    상기 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함(gain adjusting)으로써 공간적 강화 신호(spatially enhanced signal)를 생성하도록 구성된 공간적 강화 프로세서; 및
    청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 상기 좌측 스피커와 상기 우측 스피커 사이의 비대칭을 결정하고; 및
    상기 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것;
    상기 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 지연을 적용하는 것; 및
    상기 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 이득을 적용하는 것:
    에 의해, 상기 좌측 스피커를 위한 좌측 출력 채널 및 상기 우측 스피커를 위한 우측 출력 채널을 생성하도록 구성된
    b 체인 프로세서
    를 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 N 대역 이퀄라이제이션을 적용하도록 구성된 상기 b 체인 프로세서는 상기 공간적 강화 신호의 좌측 공간적 강화 채널과 우측 공간적 강화 채널 중 적어도 하나에 하나 이상의 필터를 적용하도록 구성된 상기 b 체인 프로세서를 포함하는,
    시스템.
  3. 제 2 항에 있어서,
    상기 하나 이상의 필터는 상기 좌측 스피커 및 상기 우측 스피커의 주파수 응답을 균형화하는,
    시스템.
  4. 제 2 항에 있어서,
    상기 하나 이상의 필터는
    로우 쉘프 필터(low-shelf filter) 및 하이 쉘프 필터;
    밴드 패스 필터;
    밴드 스톱 필터;
    피크 노치 필터(peak-notch filter); 및
    로우 패스 필터 및 하이 패스 필터
    중 적어도 하나를 포함하는,
    시스템.
  5. 제 1 항에 있어서,
    상기 공간적 강화 신호에 상기 지연을 적용하도록 구성된 상기 b 체인 프로세서는 상기 공간적 강화 신호의 좌측 공간적 강화 채널 또는 우측 공간적 강화 채널 중 하나에 상기 지연을 적용하도록 구성된 상기 b 체인 프로세서를 포함하는,
    시스템.
  6. 제 1 항에 있어서,
    상기 공간적 강화 신호에 상기 이득을 적용하도록 구성된 상기 b 체인 프로세서는 상기 공간적 강화 신호의 좌측 공간적 강화 채널 또는 우측 공간적 강화 채널 중 하나에 상기 이득을 적용하도록 구성된 상기 b 체인 프로세서를 포함하는,
    시스템.
  7. 제 1 항에 있어서,
    상기 b 체인 프로세서는 상기 청취 위치의 변화에 따라 상기 지연 및 상기 이득 중 적어도 하나를 조정하도록 또한 구성되는,
    시스템.
  8. 제 1 항에 있어서,
    상기 지연 및 상기 이득은 상기 청취 위치가 상기 좌측 스피커 및 상기 우측 스피커로부터 동등하지 않은 거리에 있는 것에 대해 조정되는,
    시스템.
  9. 제 1 항에 있어서,
    상기 공간적 강화 프로세서는 상기 공간적 강화 신호를 생성하기 위해 상기 입력 오디오 신호에 크로스토크 보상(crosstalk compensation) 및 크로스토크 소거(crosstalk cancellation)를 적용하도록 또한 구성되는,
    시스템.
  10. 프로세서에 의해 실행될 때:
    좌측 스피커를 위한 좌측 입력 채널 및 우측 스피커를 위한 우측 입력 채널을 포함하는 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함으로써 공간적 강화 신호를 생성하고;
    청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 상기 좌측 스피커와 상기 우측 스피커 사이의 비대칭을 결정하며; 및
    상기 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 것;
    상기 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 지연을 적용하는 것; 및
    상기 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 이득을 적용하는 것
    에 의해, 상기 좌측 스피커를 위한 좌측 출력 채널 및 상기 우측 스피커를 위한 우측 출력 채널을 생성하도록
    상기 프로세서를 구성하는 명령어들을 저장한
    비일시적 컴퓨터 판독 가능 매체.
  11. 제 10 항에 있어서,
    상기 N 대역 이퀄라이제이션을 적용하도록 상기 프로세서를 구성하는 상기 명령어들은 상기 공간적 강화 신호의 좌측 공간적 강화 채널과 우측 공간적 강화 채널 중 적어도 하나에 하나 이상의 필터를 적용하도록 상기 프로세서를 구성하기 위한 명령어들을 더 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  12. 제 11 항에 있어서,
    상기 하나 이상의 필터는 상기 좌측 스피커 및 상기 우측 스피커의 주파수 응답을 균형화하는,
    비일시적 컴퓨터 판독 가능 매체.
  13. 제 11 항에 있어서,
    상기 하나 이상의 필터는
    로우 쉘프 필터 및 하이 쉘프 필터;
    밴드 패스 필터;
    밴드 스톱 필터;
    피크 노치 필터; 및
    로우 패스 필터 및 하이 패스 필터
    중 적어도 하나를 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  14. 제 10 항에 있어서,
    상기 공간적 강화 신호에 상기 지연을 적용하도록 상기 프로세서를 구성하는 상기 명령어들은 상기 공간적 강화 신호의 좌측 공간적 강화 채널 또는 우측 공간적 강화 채널 중 하나에 상기 지연을 적용하도록 상기 프로세서를 구성하기 위한 명령어들을 더 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  15. 제 10 항에 있어서,
    상기 공간적 강화 신호에 상기 이득을 적용하도록 상기 프로세서를 구성하는 상기 명령어들은 상기 공간적 강화 신호의 좌측 공간적 강화 채널 또는 우측 공간적 강화 채널 중 하나에 상기 이득을 적용하도록 상기 프로세서를 구성하기 위한 명령어들을 더 포함하는,
    비일시적 컴퓨터 판독 가능 매체.
  16. 제 10 항에 있어서,
    상기 청취 위치의 변화에 따라 상기 지연 및 상기 이득 중 적어도 하나를 조정하도록 상기 프로세서를 구성하기 위한 명령어들
    을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  17. 제 10 항에 있어서,
    상기 지연 및 상기 이득은 상기 청취 위치가 상기 좌측 스피커 및 상기 우측 스피커로부터 동등하지 않은 거리에 있는 것에 대해 조정되는,
    비일시적 컴퓨터 판독 가능 매체.
  18. 제 10 항에 있어서,
    상기 공간적 강화 신호를 생성하기 위해 상기 입력 오디오 신호에 크로스토크 보상 및 크로스토크 소거를 적용하도록 상기 프로세서를 구성하기 위한 명령어들
    을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  19. 좌측 스피커 및 우측 스피커에 대한 입력 오디오 신호를 강화하는 방법으로서,
    상기 좌측 스피커를 위한 좌측 입력 채널 및 상기 우측 스피커를 위한 우측 입력 채널을 포함하는 상기 입력 오디오 신호의 공간적 성분들과 비공간적 성분들을 이득 조정함으로써 공간적 강화 신호를 생성하는 단계;
    청취 위치에 대한 주파수 응답, 시간 정렬, 및 신호 레벨에 있어서의 상기 좌측 스피커와 상기 우측 스피커 사이의 비대칭을 결정하는 단계; 및
    상기 주파수 응답에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 N 대역 이퀄라이제이션을 적용하는 단계;
    상기 시간 정렬에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 지연을 적용하는 단계; 및
    상기 신호 레벨에 있어서의 비대칭에 대해 조정하기 위해 상기 공간적 강화 신호에 이득을 적용하는 단계:
    에 의해, 상기 좌측 스피커를 위한 좌측 출력 채널 및 상기 우측 스피커를 위한 우측 출력 채널을 생성하는 단계
    를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 N 대역 이퀄라이제이션을 적용하는 단계는 상기 공간적 강화 신호의 좌측 공간적 강화 채널과 우측 공간적 강화 채널 중 적어도 하나에 하나 이상의 필터를 적용하는 단계를 포함하는,
    방법.
  21. 제 20 항에 있어서,
    상기 하나 이상의 필터는 상기 좌측 스피커 및 상기 우측 스피커의 주파수 응답을 균형화하는,
    방법.
  22. 제 20 항에 있어서,
    상기 하나 이상의 필터는
    로우 쉘프 필터 및 하이 쉘프 필터;
    밴드 패스 필터;
    밴드 스톱 필터;
    피크 노치 필터; 및
    로우 패스 필터 및 하이 패스 필터
    중 적어도 하나를 포함하는,
    방법.
  23. 제 19 항에 있어서,
    상기 청취 위치의 변화에 따라 상기 지연 및 상기 이득 중 적어도 하나를 조정하는 단계
    를 더 포함하는, 방법.
KR1020207018623A 2017-11-29 2018-11-26 크로스토크 처리 b 체인 Active KR102185071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207033738A KR102475646B1 (ko) 2017-11-29 2018-11-26 크로스토크 처리 b 체인

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762592304P 2017-11-29 2017-11-29
US62/592,304 2017-11-29
US16/138,893 2018-09-21
US16/138,893 US10524078B2 (en) 2017-11-29 2018-09-21 Crosstalk cancellation b-chain
PCT/US2018/062487 WO2019108487A1 (en) 2017-11-29 2018-11-26 Crosstalk processing b-chain

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033738A Division KR102475646B1 (ko) 2017-11-29 2018-11-26 크로스토크 처리 b 체인

Publications (2)

Publication Number Publication Date
KR20200080344A true KR20200080344A (ko) 2020-07-06
KR102185071B1 KR102185071B1 (ko) 2020-12-01

Family

ID=66633752

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207033738A Active KR102475646B1 (ko) 2017-11-29 2018-11-26 크로스토크 처리 b 체인
KR1020207018623A Active KR102185071B1 (ko) 2017-11-29 2018-11-26 크로스토크 처리 b 체인

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207033738A Active KR102475646B1 (ko) 2017-11-29 2018-11-26 크로스토크 처리 b 체인

Country Status (7)

Country Link
US (2) US10524078B2 (ko)
EP (1) EP3718317A4 (ko)
JP (5) JP6891350B2 (ko)
KR (2) KR102475646B1 (ko)
CN (1) CN111418220B (ko)
TW (1) TWI692257B (ko)
WO (1) WO2019108487A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
KR102527336B1 (ko) * 2018-03-16 2023-05-03 한국전자통신연구원 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
WO2021021750A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Dynamics processing across devices with differing playback capabilities
IL289450B2 (en) 2019-07-30 2026-01-01 Dolby Laboratories Licensing Corp Acoustic echo cancellation control for distributed audio devices
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
EP4005234A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Rendering audio over multiple speakers with multiple activation criteria
CN114208209B (zh) 2019-07-30 2023-10-31 杜比实验室特许公司 音频处理系统、方法和介质
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
US12225369B2 (en) * 2022-11-11 2025-02-11 Bang & Olufsen A/S Adaptive sound image width enhancement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130132971A (ko) * 2011-01-04 2013-12-05 디티에스 엘엘씨 몰입형 오디오 렌더링 시스템
US20170171672A1 (en) * 2013-06-26 2017-06-15 Starkey Laboratories, Inc. Method and apparatus for localization of streaming sources in hearing assistance system
KR20170127570A (ko) * 2016-01-19 2017-11-21 붐클라우드 360, 인코포레이티드 헤드 마운트형 스피커를 위한 오디오 향상 기법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) * 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
JPS62110400A (ja) * 1985-11-08 1987-05-21 Fujitsu Ten Ltd 音場拡大効果装置
US4975954A (en) * 1987-10-15 1990-12-04 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
JPH03171900A (ja) * 1989-11-29 1991-07-25 Pioneer Electron Corp 狭空間用音場補正装置
JPH06165297A (ja) * 1992-11-24 1994-06-10 Matsushita Electric Ind Co Ltd スピーカバランス調整装置
US5400405A (en) * 1993-07-02 1995-03-21 Harman Electronics, Inc. Audio image enhancement system
JPH0946800A (ja) * 1995-07-28 1997-02-14 Sanyo Electric Co Ltd 音像制御装置
JP4735920B2 (ja) 2001-09-18 2011-07-27 ソニー株式会社 音響処理装置
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US20050265558A1 (en) * 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
KR101118214B1 (ko) * 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
KR100608024B1 (ko) * 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
JP2007028198A (ja) 2005-07-15 2007-02-01 Yamaha Corp 音響装置
JP4760249B2 (ja) 2005-09-13 2011-08-31 ヤマハ株式会社 スピーカアレイ装置
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP2008113118A (ja) 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US9100766B2 (en) 2009-10-05 2015-08-04 Harman International Industries, Inc. Multichannel audio system having audio channel compensation
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US9351073B1 (en) * 2012-06-20 2016-05-24 Amazon Technologies, Inc. Enhanced stereo playback
US9219460B2 (en) * 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
JP2014022959A (ja) 2012-07-19 2014-02-03 Sony Corp 信号処理装置、信号処理方法、プログラムおよびスピーカシステム
KR102049602B1 (ko) 2012-11-20 2019-11-27 한국전자통신연구원 멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
TWI673707B (zh) 2013-07-19 2019-10-01 瑞典商杜比國際公司 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道
JP6412931B2 (ja) 2013-10-07 2018-10-24 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的オーディオ・システムおよび方法
WO2015089468A2 (en) * 2013-12-13 2015-06-18 Wu Tsai-Yi Apparatus and method for sound stage enhancement
JP2015170926A (ja) 2014-03-05 2015-09-28 キヤノン株式会社 音響再生装置、音響再生方法
JP2015206989A (ja) * 2014-04-23 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102423753B1 (ko) * 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
NZ750171A (en) * 2016-01-18 2022-04-29 Boomcloud 360 Inc Subband spatial and crosstalk cancellation for audio reproduction
FR3049802B1 (fr) * 2016-04-05 2018-03-23 Pierre Vincent Procede de diffusion sonore prenant en compte les particularites individuelles
US10009704B1 (en) * 2017-01-30 2018-06-26 Google Llc Symmetric spherical harmonic HRTF rendering
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
US10313820B2 (en) * 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130132971A (ko) * 2011-01-04 2013-12-05 디티에스 엘엘씨 몰입형 오디오 렌더링 시스템
US20170171672A1 (en) * 2013-06-26 2017-06-15 Starkey Laboratories, Inc. Method and apparatus for localization of streaming sources in hearing assistance system
KR20170127570A (ko) * 2016-01-19 2017-11-21 붐클라우드 360, 인코포레이티드 헤드 마운트형 스피커를 위한 오디오 향상 기법

Also Published As

Publication number Publication date
US20190166447A1 (en) 2019-05-30
KR102475646B1 (ko) 2022-12-07
JP7597876B2 (ja) 2024-12-10
JP7410082B2 (ja) 2024-01-09
CN111418220A (zh) 2020-07-14
JP2025027075A (ja) 2025-02-26
EP3718317A1 (en) 2020-10-07
KR102185071B1 (ko) 2020-12-01
US10757527B2 (en) 2020-08-25
KR20200137020A (ko) 2020-12-08
TW201927010A (zh) 2019-07-01
JP2023153394A (ja) 2023-10-17
JP2021505064A (ja) 2021-02-15
EP3718317A4 (en) 2021-07-21
US20200037095A1 (en) 2020-01-30
WO2019108487A1 (en) 2019-06-06
JP7811628B2 (ja) 2026-02-05
CN111418220B (zh) 2021-04-20
US10524078B2 (en) 2019-12-31
JP2021132408A (ja) 2021-09-09
JP6891350B2 (ja) 2021-06-18
JP2026067957A (ja) 2026-04-21
TWI692257B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
KR102185071B1 (ko) 크로스토크 처리 b 체인
KR102217085B1 (ko) 매칭되지 않은 트랜스오럴 라우드스피커 시스템용 강화된 가상 스테레오 재생
JP7370415B2 (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
US11284213B2 (en) Multi-channel crosstalk processing

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
PA0105 International application

Patent event date: 20200626

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200626

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200831

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20201124

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201125

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231017

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241016

Start annual number: 5

End annual number: 5