KR101342425B1 - 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터 - Google Patents

다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터 Download PDF

Info

Publication number
KR101342425B1
KR101342425B1 KR1020117016794A KR20117016794A KR101342425B1 KR 101342425 B1 KR101342425 B1 KR 101342425B1 KR 1020117016794 A KR1020117016794 A KR 1020117016794A KR 20117016794 A KR20117016794 A KR 20117016794A KR 101342425 B1 KR101342425 B1 KR 101342425B1
Authority
KR
South Korea
Prior art keywords
reverb
channel
channel signals
downmixed
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020117016794A
Other languages
English (en)
Other versions
KR20110122667A (ko
Inventor
조나스 엥드가드
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41796192&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101342425(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20110122667A publication Critical patent/KR20110122667A/ko
Application granted granted Critical
Publication of KR101342425B1 publication Critical patent/KR101342425B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 X개의 개별 오디오 채널들을 나타내는 M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하는 방법 및 시스템으로서, X는 M보다 더 큰, 상기 방법 및 시스템을 제공한다. 일반적으로, 상기 방법은: 다운믹싱된 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들에 응답하여, Y개의 이산 리버브 채널 신호들을 생성하는 단계로서, 시각 t에서의 리버브 채널 신호들 각각은 상기 시각 t에서의 개별 오디오 채널들의 값들의 적어도 서브세트의 선형 결합인, 상기 생성 단계, 및 리버브 채널 신호들 중 적어도 두 개의 각각에 리버브를 개별적으로 적용함으로써, Y개의 리버브된 채널 신호들을 생성하는 단계를 포함한다. 바람직하게, 채널 신호들 중 적어도 하나에 적용되는 리버브는 채널 신호들 중 적어도 하나의 다른 신호에 적용한 상기 리버브가 가진 것과는 다른 리버브 임펄스 응답을 가지며, t는 상기 시각 t에서의 적어도 개별 오디오 채널들의 값들의 서브세트의 선형 결합이고, 리버브 채널 신호들 중 적어도 둘의 각각에 리버브를 개별적으로 적용함으로써, Y개의 리버브된 채널 신호들을 생성한다. 바람직하게, 채널 신호들 중 적어도 하나에 적용되는 리버브는 채널 신호들 중 적어도 하나의 다른 신호에 적용되는 리버브가 가진 것과는 상이한 리버브 임펄스 응답을 갖는다.

Description

다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터{A METHOD FOR APPLYING REVERB TO A MULTI-CHANNEL DOWNMIXED AUDIO INPUT SIGNAL AND A REVERBERATOR CONFIGURED TO APPLY REVERB TO AN MULTI-CHANNEL DOWNMIXED AUDIO INPUT SIGNAL}
본 발명은, 상당히 많은 수의 개별 오디오 채널들을 나타내는 다중 채널의 다운믹싱된(multi-channel downmixed) 오디오 신호에, 리버브(reverb)를 적용하기 위한 방법들 및 시스템들에 관한 것이다. 일부 실시예들에서, 이는 입력 신호를 업믹싱(upmixing)하고 리버브를 (입력 신호에 대한 적어도 하나의 공간 큐를 나타내는) 적어도 하나의 큐 파라미터(cue parameter)에 응답하여 자체의 개별 채널들 중 적어도 일부에 적용하여 리버브가 적용된 개별 채널들 각각에 상이한 리버브 임펄스(reverb impulse) 응답들을 적용하도록 함으로써 행해진다. 선택적으로, 리버브의 적용 이후에 개별 채널들은 다운믹싱되어 N-채널로 리버브된 출력 신호를 생성한다. 일부 실시예들에서, 입력 신호는 QMF(quadrature mirror filter) 도메인 MPEG 서라운드(MPS) 인코딩된 신호이고, 업믹싱 및 리버브 애플리케이션은 채널 레벨 차(Channel Level Difference: CLD), 채널 예측 계수(Channel Predicion Coefficient: CPC), 및 채널-간 교차 상관(inter-channel Cross Correlation: ICC) 파라미터들 중 적어도 일부를 포함하는 MPS 공간 큐 파라미터들에 응답하여 QMF 도메인에서 수행된다.
청구항들을 포함하는 본 명세서 전체에 걸쳐, 표현 "리버브레이터(reverberator)"(또는 "리버브레이터 시스템")은 리버브를 오디오 신호에(예를 들어, 다중-채널 오디오 신호의 전부 또는 일부 채널들에) 적용하도록 구성되는 시스템을 표시하는데 이용된다.
청구항들을 포함하는 본 명세서 전체에 걸쳐, 표현 "시스템"은 디바이스, 시스템, 또는 서브시스템을 표시하는데 이용된다. 예를 들어, 리버브레이터를 구현하는 서브시스템은 리버브레이터 시스템(또는 리버브레이터)으로 칭해질 수 있고, 그와 같은 리버브레이터 서브시스템을 포함하는 시스템(예를 들어 Q + R 입력들에 응답하여 X + Y 출력 신호들을 생성하는 디코더 시스템으로, 여기서 리버브레이터 서브시스템은 입력들의 Q에 응답하여 출력들의 X를 생성하고 다른 출력들은 디코더 시스템의 다른 서브시스템에서 생성된다)은 또한 리버브레이터 시스템(또는 리버브레이터)으로 칭해질 수 있다.
청구항들을 포함하는 본 명세서 전체에 걸쳐, 스피커들에 의한 신호들의 "재생"이란 표현은, 스피커들로 하여금 신호들에 응답하여 사운드들을 생성하도록 하는 것을 나타내고, 임의의 필요한 증폭 및/또는 신호들의 다른 프로세싱을 수행하는 것을 포함한다.
청구항들을 포함하는 본 명세서 전체에 걸쳐, 값들(v1, v2,...vn)(예를 들어, 시각(t)에서 발생하는 X개의 개별 오디오 채널 신호들의 하나의 세트의 하나의 서브세트의 n개의 원소들로, n은 X보다 작거나 같다)의 "선형 결합"이란 표현은
Figure 112012107281882-pct00001
과 같은 값을 나타내고, 여기서 a1, a2, ..., an은 계수들이다. 일반적으로, 계수들의 값들에 대한 제한은 없다(예를 들어, 각각의 계수는 양 또는 음 또는 영일 수 있다). 상기 표현은 본원에서 넓은 의미로, 예를 들어 계수들 중 하나가 1과 같고 다른 계수들은 영과 같은 경우(예를 들어, 선형 결합
Figure 112012107281882-pct00002
이 v1(또는 v2,..., 또는 vn)과 같은 경우)를 커버하기 위해 이용된다.
청구항들을 포함하는 본 명세서 전체에 걸쳐, 다중 채널 오디오 신호의 "공간 큐 파라미터(spatial cue parameter)"라는 표현은 오디오 신호에 대한 적어도 하나의 공간 큐를 나타내는 임의의 파라미터를 나타내고, 그러한 "공간 큐" 각각은 다중 채널 신호의 공간 이미지를 나타낸다(예를 들어 기술(descriptive)한다). 오디오 신호의 채널들의 쌍들 사이의 레벨(또는 강도) 차들(또는 비율들), 그와 같은 채널 쌍들 사이의 위상 차들, 및 그와 같은 채널 쌍들 사이의 상관의 측정치들이 공간 큐들의 예들이다. 종래의 MPEG 서라운드("MPS") 비트스트림(bitstream)의 일부이고, MPEG 서라운드 코딩에 이용되는 채널 예측 계수(Channel Prediction Coefficient: CPC) 파라미터들 및 채널 레벨 차(Channel Level Difference: CLD) 파라미터들이 공간 큐 파라미터들의 예들이다.
널리 공지되어 있는 MPEG 서라운드("MPS") 표준에 따르면, 오디오 데이터의 다중 채널들은 더 작은 수의 채널들(예를 들어, M개의 채널들, 여기서 M은 전형적으로 2와 같다)로 다운믹싱되고 압축됨으로써 인코딩될 수 있고, 그와 같이 M-채널로 다운믹싱된 오디오 신호는 압축 해제되고 N개의 디코딩된 오디오 채널들(예를 들어, M = 2 및 N = 5)을 생성하도록 프로세싱(업믹싱)됨으로써 디코딩될 수 있다.
전형적인, 종래의 MPS 디코더는 업믹싱을 수행하여 시간 도메인의, 2-채널의 다운믹싱된 오디오 입력 신호(및 채널 레벨 차 및 채널 예측 계수 파라미터들을 포함하는 MPS 공간 큐 파라미터들)에 응답하여 N개의 디코딩된 오디오 채널들(여기서 N은 2 보다 더 크다)을 생성하도록 동작가능하다. 전형적인, 종래의 MPS 디코더는 시간-도메인인, 2-채널의, 다운믹싱된 오디오 입력 신호 및 공간 큐 파라미터들에 응답하여 바이노럴(binaural) 신호를 생성하기 위해 바이노럴 모드에서 동작 가능하고, 시간-도메인인, 2-채널의, 다운믹싱된 오디오 입력 신호 및 공간 큐 파라미터들에 응답하여 5.0(여기서 "x.y" 채널들은 "x"의 전체 주파수 채널들 및 "y"는 서브우퍼(subwoofer) 채널들을 나타낸다), 5.1, 7.0, 또는 7.1의 디코딩된 오디오 채널들을 생성하도록 업믹싱을 수행하기 위해 적어도 하나의 다른 모드에서 동작 가능하다. 입력 신호는 시간 도메인-대-주파수 도메인에서 QMF(quadrature mirror filter) 도메인으로 변환을 하게 되어, 2 채널들의 QMF 도메인 주파수 성분들을 생성한다. 이 주파수 성분들은 QMF 도메인에서 디코딩되고나서 그 결과적인 주파수 성분들은 전형적으로 시간 도메인으로 역변환되어 디코더의 오디오 출력을 생성한다.
도 1은 2-채널 디운믹싱된 오디오 신호(L' 및 R') 및 MPS 공간 큐 파라미터들(채널 레벨 차 파라미터들 및 채널 예측 계수 파라미터들을 포함한다)에 응답하여 N개의 디코딩된 오디오 채널들(여기서 N은 2보다 더 크고, N은 전형적으로 5 또는 7과 같다)을 생성하도록 구성되는 종래의 MPS 디코더의 요소들의 간소화된 블록도이다. 다운믹싱된 입력 신호(L' 및 R')는 "X"개의 개별 오디오 채널들을 나타내고, 여기서 X는 2보다 크다. 다운믹싱된 입력 신호는 전형적으로 5개의 개별 채널들(예를 들어, 좌측 전방, 우측 전방, 중앙, 좌측 서라운드, 및 우측 서라운드 채널들)을 나타낸다.
"좌측" 입력 신호(L') 및 "우측" 입력 신호(R') 각각은, 시간 도메인-대-QMF 도메인 변환 스테이지(stage)(도 1에 도시되지 않음)에서, 2-채널인, 시간-도메인에서 MPS 인코딩된 신호(도 1에 도시되지 않음)를 변환함으로써 생성되는 QMF 도메인 주파수 성분들의 시퀀스이다.
다운믹싱된 입력 신호들(L' 및 R')은 도 1의 디코더에서, 도 1 시스템으로 (입력신호들과 함께) 어서트(assert)되는 MPS 공간 큐 파라미터들에 응답하여 N개의 개별 채널 신호들(S1, S2,...,SN)로 디코딩된다. 출력된 QMF 도메인 주파수 성분들(S1, S2, ..., SN)의 N 시퀀스들은 전형적으로 QMF 도메인-대-시간 도메인 변환 스테이지(도 1에 도시되지 않음)에 의해 시간 도메인으로 역변환되고 포스트-프로세싱 없이 시스템으로부터의 출력으로 어서트될 수 있다. 선택적으로, 신호들(S1, S2,...,SN)은 포스트-프로세서(post-processor)(5)에서 포스트-프로세싱(QMF 도메인에서)되어 채널들을 포함하는 N-채널 오디오 출력 신호(OUT1, OUT2,...,OUTN)를 생성한다. 출력 QMF 도메인 주파수 성분들(OUT1, OUT2,...,OUTN)의 N 시퀀스들은 전형적으로 QMF 도메인-대-시간 변환 스테이지(도 1에 도시되지 않음)에 의해 시간 도메인으로 역변환되고 시스템으로부터의 출력으로 어서트된다.
바이노럴 모드에서 동작하는 도 1의 종래의 MPS 디코더는 2-채널 바이노럴 오디오 출력(S1 및 S2)을 생성하고, 선택적으로 또한 2-채널의 다운믹싱된 오디오 신호(L' 및 R') 및 MPS 공간 큐 파라미터들(채널 레벨 차 파라미터들 및 채널 예측 계수 파라미터들을 포함한다)에 응답하여, 2-채널 바이노럴 오디오 출력(OUT1 및 OUT2)을 생성한다. 한 쌍의 헤드폰들에 의해 재생될 때, 2-채널 오디오 출력(S1 및 S2)은 청취자의 고막들에서 청취자의 전반 및 후방의 지점들을 포함하는, 아주 다양한 지점들 중 임의의 지점(디코더(1)의 계수들에 의해 결정되는)에 있는 "X"개의 확성기들(여기서 X>2이고 X는 전형적으로 5 또는 7과 같다)로부터의 사운드로 인지된다. 바이노럴 모드에서, 포스트-프로세서(5)는 리버브를 디코더(1)의 2-채널 출력(S1, S2)에 적용할 수 있다(이 경우, 포스트-프로세서(5)는 인공 리버브레이터(artificial reverberator)를 구현한다). 도 1의 시스템은 포스트-프로세서(5)의 2-채널 출력(OUT1 및 OUT2)이 바이노럴 오디오 출력이 되도록 구현될 수 있고(후술된 바와 같이), 여기서 바이노럴 오디오 출력에는 리버브가 적용되었고, 상기 바이노럴 오디오 출력은 헤드폰들에 의해 재생될 때 청취자의 고막들에서 청취자의 전방 및 후방의 지점들을 포함하는, 아주 다양한 지점들 중 임의의 지점에 있는 "X"개의 확성기들(여기서 X>2이고 X는 일반적으로 5와 같다)로부터의 사운드로 인지된다.
도 1의 바이노럴 모드 동작 동안 생성되는 신호들(S1 및 S2)(또는 OUT1 및 OUT2)의 재생은 청취자에게, 둘 이상(예를 들어, 5개)의 "서라운드" 소스(source)들로부터 발하는 사운드의 체험을 제공할 수 있다. 이 소스들 중 적어도 일부는 가상이다. 더 일반적으로, 전통적으로 가상 서라운드 시스템들은 헤드 관련 전달 함수(head related transfer function: HRTF)들을 이용하여 오디오 신호들(때로는 가상 서라운드 사운드 신호들로 칭해진다)을 생성하고, 여기서 상기 오디오 신호들은 한 쌍의 물리적 스피커들(예를 들어 청취자의 전방에 위치되는 확성기들, 또는 헤드폰들)이 청취자의 고막들에서 아주 다양한 지점들(전형적으로 청취자 뒤의 지점들을 포함하는) 중 임의의 지점에서 둘 이상의 소스들(예를 들어, 스피커들)로부터의 사운드로 인지된다.
상술한 바와 같이, 바이노럴 모드에서 동작하는 도 1의 MPS 디코더는 포스트-프로세서(5)에 의해 구현되는 인공 리버브레이터를 이용하여 리버브를 적용하도록 구현될 수 있다. 이 리버브레이터는 디코더(1)의 2-채널 출력(S1, S2)에 응답하여 리버브를 생성하고 이 리버브를 신호들(S1 및 S2)에 적용하여 리버브된 2-채널 오디오(OUT1 및 OUT2)를 생성하도록 구성될 수 있다. 리버브는 디코더(1)로부터의 2-채널 신호(S1, S2)에 포스트 프로세스 스테레오-대-스테레오 리버브(post precess-to-stereo reverb)로 적용될 것이므로 디코더(1)의 바이노럴 오디오 출력의 두 다운믹싱된 오디오 채널들 중 하나에 의해 결정되는 모든 이산 채널들(예를 들어, 다운믹싱된 채널(S1)에 의해 결정되는 좌측 전방 및 좌측 서라운들 채널들)에는 동일한 리버브 임펄스 응답이 적용되고, 바이노럴 오디오의 두 다운믹싱된 오디오 채널들 중 다른 하나에 의해 결정되는 모든 이산 채널들(예를 들어, 다운믹싱된 채널(S2)에 의해 결정되는 우측 전방 및 우측 서라운드 채널들)에는 동일한 리버브 임펄스 응답이 적용된다.
종래의 리버브레이터 중 하나의 유형은 피드백 지연 네트워크 기반(Feedback Delay Network based: FDN-기반) 구조로 공지되어 있는 구조를 갖는다. 동작 시에, 그와 같은 리버브레이터는 신호의 지연 버전을 상기 신호에 역으로 공급함(feeding back)으로써 리버브를 신호에 적용한다. 다른 리버브 구조들에 대한 이 구조의 장점은 다수의 상관되지 않은 리버브 신호들을 효과적으로 생성하여 다수의 입력 신호들에 적용하는 능력이다. 이 특징은 상업적으로 구입가능한 Dolby Mobile 헤드폰 버추얼라이저(virtualizer)에서 이용되고, 이 버추얼라이저는 FDN-기반 구조를 갖는 리버브레이터를 포함하고 (좌측 전방, 우측 전방, 중간, 좌측 서라운드, 및 우측 서라운드 채널들을 갖는) 5-채널 오디오 신호의 각각에 채널에 리버브를 적용하도록 동작가능하고, 5개의 헤드 관련 전달 함수("HRTF") 필터 쌍들의 세트 중에서 상이한 필터 쌍을 이용하여 각각의 리버브된 채널을 필터링한다. 이 버추얼라이저는 각각의 오디오 채널에 대한 고유의 리버브 임펄스 응답을 생성한다.
Dolby Mobile 헤드폰 비주얼라이저는 또한 2-채널 오디오 입력 신호에 응답하여 동작 가능하여 2-채널의 "리버브된(reverbed)" 오디오 출력(리버브가 적용되었던 2-채널 가상 서라운드 사운드)을 생성한다. 리버브된 오디오 출력이 한 쌍의 헤드폰들에 의해 재생될 때, 이 출력은 청취자의 고막들에서, 좌측 전방, 우측 전방, 중앙, 좌측 후방(서라운드), 및 우측 후방(서라운드) 지점들에 있는 5개의 확성기들로부터의 HRTF-필터링된, 리버브된 사운드로 인지된다. 버추얼라이저는 다운믹싱된 2-채널 오디오 입력을 업믹싱하여(오디오 입력으로 수신된 임의의 공간 큐 파라미터를 이용하지 않고) 5개의 업믹싱된 오디오 채널들을 생성하고, 리버브를 업믹싱된 채널들에 적용하고, 5개의 리버브된 채널 신호들을 다운믹싱하여 버추얼라이저의 2-채널 리버브된 출력을 생성한다. 각각의 업믹싱된 채널의 리버브는 상이한 쌍의 HRTF 필터들에서 필터링된다.
2008년 3월 20일에 공개된 미국 특허 출원 공개번호 2008/0071549 A1은 다운믹싱된 신호의 디코딩 동안 한 형태의 리버브를 다운믹싱된 오디오 입력 신호에 적용하여 개별 채널 신호들을 생성하는 다른 종래의 시스템을 기술한다. 이 참조문헌은 디코더를 기술하며, 상기 디코더는 시간-도메인으로 다운믹싱된 오디오 입력을 QMF 도메인으로 변환하고, 한 형태의 리버브를 QMF 도메인에서 다운믹싱된 신호(M(t,f))에 적용하고, 리버브의 위상(phase)을 적용하여 다운믹싱된 신호로부터 결정되는 각각의 업믹스 채널에 대한 리버브 파라미터를 생성(예를 들어, 업믹스 좌측 채널에 대한 리버브 파라미터(Lreverb(t,f)), 및 다운믹싱된 신호(M(t,f))로부터 결정되는 업믹스 우측 채널에 대한 리버브 파라미터(Rreverb(t,f))를 생성)한다. 다운믹싱된 신호는 공간 큐 파라미터들(예를 들어, 다운믹싱된 신호의 좌측 및 우측 성분들 사이의 상관을 나타내는 ICC 파라미터, 및 상호-채널 위상 차 파리미터들(IPDL 및 IPDR))로 수신된다. 공간 큐 파라미터들은 리버브 파라미터들(예를 들어, Lreverb(t,f) 및 Rreverb(t,f))을 생성하는데 이용된다. ICC 큐가 다운믹싱된 신호의 좌측 및 우측 채널 성분들 사이의 상관이 더 많음을 표시할 때 더 작은 진폭의 리버브가 다운믹싱된 신호(M(t,f))로부터 생성되고, ICC 큐가 다운믹싱된 신호의 좌측 및 우측 채널 성분들 사이에 상관이 더 적음을 표시할 때 더 큰 진폭의 리버브가 다운믹싱된 신호로부터 생성되며, 명확하게 각각의 리버브 파라미터의 위상은 관련 IPD 큐에 의해 표시되는 위상에 응답하여 조정된다(블록 206 또는 206). 그러나, 리버브는 역상관된(decorrelated) 신호((M(t,f))에 직교하는)가 좌측-우측 교차 상관을 재구성하는데 이용되는 파라매트릭 스테레오 디코더(parametric stereo decoder)(모노-대-스테레오 합성)에서 역상관기로서만 이용되고, 상기 참조문헌은 업믹스의 이산 채널들 각각 또는 다운믹싱된 오디오로부터 결정되는 개별 업믹스 채널들의 값들의 선형 결합들 각각으로부터, 다운믹싱된 오디오(M(t,f))로부터 결정되는 업믹스의 이산 채널들 각각에, 또는 그러한 선형 결합들의 세트 각각에 적용하기 위하여, 상이한 리버브 신호를 개별적으로 결정(또는 생성)하는 것을 제안하지 않는다.
발명자는, 업믹스의 이산 채널들 각각으로부터, 다운믹싱된 오디오로부터 결정되는 업믹스의 이산 채널들의 각각에 대한 상이한 리버브 신호를 개별적으로 결정(또는 생성)하거나, 이와 같은 이산 채널들의 값들의 선형 결합들의 세트의 각각에 대한(또는 상기 세트의 각각으로부터) 상이한 리버브 신호를 결정하고 생성하는 것이 바람직할 것이라고 인식하였다. 발명자는 또한, 개별 업믹스 채널들(또는 그와 같은 채널들의 값들의 선형 결합들)에 대한 리버브 신호들의 그와 같은 개별 결정으로, 상이한 리버브 임펄스 응답을 갖는 리버브가 업믹스 채널들(또는 선형 결합들)에 적용될 수 있음을 인식하였다.
본 발명 이전에는, 다운믹싱된 오디오로 수신된 공간 큐 파라미터들은 상기 업믹스 채널(또는 선형 결합)에 개별적으로 적용하기 위하여 다운믹싱된 오디오로부터 이산, 업믹스 채널들을 생성하는데(예를 들어 다운믹싱된 오디오가 MPS로 인코딩된 오디오일 때 QMF 도메인에서) 모두 이용되지 못했다. 이 방식으로 생성되었던 리버브된 채널들 또한 입력된 다운믹싱된 오디오로부터, 리버브되고 다운믹싱된 오디오를 생성하기 위해 재조합되지는 않았다.
한 종류의 실시예들에서, 본 발명은 X개의 개별 오디오 채널들을 나타내는 M-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법이며, 여기서 X는 M보다 더 큰 수이다. 이 실시예들에서, 상기 방법은:
(a) 다운믹싱된 입력 신호의 공간 이미지를 나타내는(예를 들면, 기술하는(descriptive)) 공간 큐 파라미터들에 응답하여, Y개의 이산 리버브 채널 신호들을 생성하는 단계로서(예를 들어, 직각 대칭 미러 필터(quadrature mirror filter) 또는 "QMF" 도메인에서), 여기서 임의의 시각 t에서 리버브 채널 신호들 각각은 상기 시각 t에서 X개의 개별 오디오 채널들의 값들의 적어도 서브세트의 선형 결합인, 상기 생성 단계; 및
(b) (예를 들면, QMF 도메인에서) 리버브 채널 신호들 중 적어도 2개의 각각에 리버브를 개별적으로 적용함으로써 Y개의 리버브된 채널 신호들을 생성하는 단계를 포함한다. 바람직하게는, 리버브 채널 신호들 중 적어도 하나에 적용되는 리버브는 리버브 채널 신호들 중 적어도 하나의 다른 신호에 적용되는 리버브가 갖는 리버브 임펄스 응답과는 상이한 리버브 임펄스 응답을 갖는다. 일부 실시예들에서, X = Y이지만, 다른 실시예들에서, X는 Y와 같지 않다. 일부 실시예들에서, Y는 M보다 더 크고, 입력 신호는 단계 (a)에서 공간 큐 파라미터들에 응답하여 업믹싱되어 Y의 리버브 채널 신호들을 생성한다. 다른 실시예들에서, Y는 M과 같거나 Y는 M보다 작다.
예를 들어, M = 2, X = 5, 및 Y = 4인 하나의 경우에, 입력 신호는 5개의 개별 채널 신호들(Lfront, Rfront, C, Lsur, 및 Rsur)을 나타내는 값들(L(t), R(t))의 시퀀스이다. 5개의 개별 채널 신호들의 각각은 값들의 시퀀스
Figure 112011055276854-pct00003
이고, 여기서 W는
Figure 112011055276854-pct00004
형태의 MPEG 서라운드 업믹스 매트릭스(matrix)이고, 4개의 리버브 채널 신호들은
Figure 112012107281882-pct00005
,
Figure 112012107281882-pct00006
및
Figure 112012107281882-pct00007
이고, 이는:
Figure 112011055276854-pct00008
으로 표현될 수 있다.
입력 신호가 M-채널의, MPEG 서라운드("MPS")로 다운믹싱된 신호인 일부 실시예들에서, 단계들 (a) 및 (b)는 QMF 도메인에서 수행되고, 공간 큐 파라미터들은 입력 신호로 수신된다. 예를 들어, 공간 큐 파라미터들은 종래의 MPS 비트스트림의 일부를 포함하는 유형의 채널 레벨 차(CLD) 파라미터들 및/또는 채널 예측 계수(CPC) 파라미터들이거나 이것들을 포함할 수 있다. 입력 신호가 시간-도메인의 MPS로 다운믹싱된 신호일 때, 본 발명은 전형적으로 이 시간-도메인 신호를 QMF 도메인으로 변환하여 QMF 도메인 주파수 성분들을 생성하는 단계, 및 이 주파수 성분들 상에서 QMF 도메인으로 단계 (a) 및 단계 (b)를 수행하는 단계를 포함한다.
선택적으로, 상기 방법은 또한, 예를 들어 리버브된 채널 신호들을 N-채널, 다운믹싱된 MPS 신호로서 인코딩함으로써, Y개의 리버브된 채널 신호들(리버브가 적용되었던 채널 신호들 각각 그리고 만일 있다면 리버브가 적용되지 않았던 채널 신호들 각각을 포함하는)의 N-채널의 다운믹싱된 버전을 생성하는 단계를 포함한다.
본 발명의 방법의 전형적인 실시예들에서, 입력된 다운믹싱된 신호는 5개의 개별오디오 채널들(좌측-전방, 우측-전방, 중앙, 좌측-서라운드, 및 우측 서라운드 채널들)을 나타내는 2-채널의 다운믹싱된 MPEG 서라운드("MPS") 신호이고, 상이한 리버브 임펄스 응답에 의해 결정되는 리버브는 이 5개의 채널들 중 적어도 일부 각각에 적용되어, 결과적으로 서라운드 사운드 품질이 개선된다.
바람직하게는, 본 발명의 방법은 또한 HRTF 필터에서 리버브된 채널 신호들을 필터링함으로써, 리버브된 채널 신호들에 대응하는 헤드 관련 전달 함수들(HRTF들)을 적용하는 단계를 포함한다. HRTF들은 청취자가 본 발명에 따라 적용되는 리버브를 더욱 자연스런 사운딩으로 인지하게끔 적용된다.
본 발명의 다른 양태들은 본 발명의 방법의 임의의 실시예를 수행하도록 구성(프로그램)되는 리버브레이터, 그와 같은 반향기를 포함하는 버추얼라이저, 그와 같은 리버브레이터를 포함하는 디코더(예를 들어, MPS 디코더), 및 본 발명의 방법의 임의의 실시예를 구현하기 위한 코드를 저장하는 컴퓨터 판독 가능 매체(예를 들어, 디스크)이다.
상술한 바와 같이 본 발명에 의해 공간 큐 파라미터들을 이용하여 리버브가 다중-채널 및 오디오 신호에 적용됨으로써 리버브가 더욱 자연스런 사운딩으로 인지된다.
도 1은 종래의 MPEG 서라운드 디코더 시스템의 블록도.
도 2는 본 발명의 실시예에 따라 구현될 수 있는 다중 입력, 다중 출력, FDN-기반 리버브레이터(100)의 블록도.
도 3은 도 2의 리버브레이터(100), 종래의 MPS 프로세서(102), 리버브레이터(100) 및 프로세서(102)에서 프로세싱을 위하여 다중-채널 입력을 QMF 도메인으로 변환하기 위한 시간 도메인-대-QMF 도메인 변환 필터(99), 리버브레이터(100) 및 프로세서(102)의 결합된 출력을 시간 도메인으로 변환하기 위한 QMF 도메인-대-시간 도메인 변환 필터(101)를 포함하는 리버브레이터 시스템의 블록도.
본 발명의 많은 실시예들은 기술적으로 가능하다. 본 명세서로부터 실시예들이 어떻게 구현되는지는 당업자에에 분명할 것이다. 본 발명의 시스템, 방법, 및 매체의 실시예들은 도 2 및 도 3을 참조하여 설명될 것이다.
한 종류의 실시예들에서, 본 발명은 리버브를, X개의 개별 오디오 채널들을 나타내는 M-채널의 다운믹싱된 오디오 입력 신호에 적용하기 위한 방법이고, 여기서 X는 M보다 더 큰 수이고, 상기 시스템은 상기 방법을 수행하도록 구성된다. 이 실시예들에서, 상기 방법은:
(a) 다운믹싱된 입력 신호의 공간 이미지를 나타내는(예를 들어, 기술하는) 공간 큐 파라미터들에 응답하여, Y개의 이산 리버브 채널 신호들을 생성하는 단계로서(예를 들어, 직각 대칭 미러 필터, 즉 "QMF" 도메인에서), 임의의 시각 t에서 리버브 채널 신호들 각각은 상기 시각 t에서 X개의 개별 오디오 채널들의 값들의 적어도 서브세트의 선형 결합인, 상기 생성하는 단계; 및
(b) 리버브를 리버브 채널 신호들 중 적어도 두 개에(예를 들어 QMF 도메인으로) 개별적으로 적용함으로써, Y개의 리버브된 채널 신호들을 생성하는 단계를 포함한다.
바람직하게, 리버브 채널 신호들 중 적어도 하나에 적용되는 리버브는, 리버브 채널 신호들 중 적어도 하나의 다른 신호에 적용되는 리버브가 갖는 리버브 일펄스 응답과는 상이한 리버브 임펄스 응답을 갖는다. 일부 실시예들에서, X = Y이지만, 다른 실시예들에서 X는 Y와 같지 않다. 일부 실시예들에서, Y는 M보다 더 크고, 입력 신호는 공간 큐 파라미터들에 응답하여 단계 (a)에서 업믹싱되어 Y의 리버브 채널 신호들을 생성한다. 다른 실시예들에서, Y는 M과 같거나 Y는 M보다 작다.
도 2는 다중 입력, 다중 출력, FDN-기반 리버브레이터(100)의 블록도이고, 상기 리버브레이터(100)는 이 방법을 수행하기 위하여 후술되는 방식으로 구현될 수 있다. 도 2의 리버브레이터(100)는 다음을 포함한다:
프리-믹스 매트릭스(pre-mix matrix)(30)(매트릭스 "B")로서, 5개의(X = 5) 개별 업믹스 오디오 채널들을 나타내는 채널들(IN1, IN2,..., 및 INM)을 포함하는, M-채널의 다운믹싱된 오디오 입력 신호에 응답하여 4개의 이산 리버브 채널 신호들(U1, U2, U3, U4)(각각 공급 브랜치(branch)들(1', 2', 3', 4')에 대응하는)을 수신하고 생성하도록 연결되고 구성되는 4 × M 매트릭스인, 프리-믹스 매트릭스. 임의의 시각 t에서 리버브 채널 신호들 각각은 상기 시각 t에서 X개의 개별 업믹스 오디오 채널들의 값들의 서브세트의 선형 결합이다. M이 4 미만인 경우, 매트릭스 B는 입력 신호를 업믹싱하여 리버브 채널 신호들을 생성한다. 전형적인 실시예에서, M은 2와 같다. 매트릭스(30)는 또한 M-채널의 다운믹싱된 입력 신호의 공간 이미지를 나타내는 (예를 들면, 설명적인) 공간 큐 파라미터들을 또한 수신하도록 연결되고, 공간 큐 파라미터들에 응답하여, 4개의(Y = 4) 이산 업믹스 채널 신호들, 즉 이산 리버브 채널 신호들(U1, U2, U3 및 U4)을 생성하도록 구성된다;
리버브 채널 신호들(U1, U2, U3, 및 U4)가 어서트되는 매트릭스(30)의 출력들에 연결되는 추가 요소들(40, 41, 42, 및 43). 요소(40)는 이득 요소(g1)(즉, 이득 요소(g1)의 출력으로부터 피드백을 적용하는)를 리버브 채널 신호(U1)에 추가하도록 구성된다. 요소(41)는 이득 요소(g2)의 출력은 리버브 채널 신호(U2)에 추가하도록 구성된다. 요소(42)는 이득 요소(g3)의 출력을 리버브 채널 신호(U3)에 추가하도록 구성된다. 요소(43)는 이득 요소(g4)의 출력을 리버브 채널 신호(U4)에 추가하도록 구성된다;
추가 요소들(40, 41, 42, 및 43)의 출력들을 수신하도록 연결되는 산란 매트릭스(scattering matrix). 매트릭스(32)는 바람직하게는 추가 요소들(40, 41, 42, 및 43) 각각의 출력의 필터링된 버전을 지연 라인들 중 대응하는 하나인
Figure 112011055276854-pct00009
에 어서트하도록 구성된 4×4의 유니터리 매트릭스(unitary matrix)이고, 여기서 O≤k-1≤3이고, 최대 발산들을 제공하기 위해 바람직하게는 완전 충족 매트릭스(fully populated matrix)이다. 지연 라인들
Figure 112011055276854-pct00010
은 도 2에서 지연 라인들(50, 51, 52, 및 53)로서 각각 라벨링된다;
이득 요소(gk)들, 여기서 0≤k-1≤3이고, 이는 지연 라인들(
Figure 112011055276854-pct00011
)의 출력들에 이득을 제공함으로써, 각각의 업믹스 채널에서 적용되는 리버브의 소멸 시간(decay time)을 제어하기 위한 댐핑 팩터(damping factor)들을 제공한다. 각각의 이득 요소(gk)는 전형적으로 저역 통과 필터와 결합된다. 일부 실시예들에서, 이득 요소들은 상이하고 미리 결정된 이득 팩터들을 상이한 QMF 밴드들에 대해 적용한다. 리버브된 채널 신호들(R1, R2, R3, 및 R4)은 각각 이득 요소들(g1, g2, g3, 및 ㅎ4)의 출력들에서 어서트된다; 그리고
포스트-믹스 매트릭스(34)(매트릭스 "C"), 이는 매트릭스(30)에 어서트된 공간 큐 파라미터들의 적어도 서브세트(예를 들어 전부 또는 일부)에 응답하여, 이득 요소들(gk)의 출력들에서 어서트된 리버브된 채널 신호들(R1, R2, R3 및 R4)을 다운믹싱하고/하거나 업믹싱하여(그리고 선택적으로 상기 신호들에 대한 다른 필터링을 실행하여) N-채널의, QMF 도메인의, 다운믹싱되고, 리버브된, 채널들(S1, S2,...,및 SN)을 포함하는 오디오 출력 신호를 생성하도록 연결되고 구성되는 N × 4 매트릭스이다. 도 2 실시예의 변형예들에서, 매트릭스(34)는 자체의 계수들이 임의의 공간 큐 파라미터에 응답하여 시간에 따라 변하지 않는 상수 매트릭스이다.
도 2 실시예의 변형예들에서, 본 발명의 시스템은 Y의 리버브 채널들(여기서 Y는 4보다 적거나 더 크다)을 갖고, 프리-믹스 매트릭스(30)는 다운믹싱되는 M-채널의 입력 신호에 응답하여 Y개의 이산 리버브 채널 신호들을 생성하도록 구성되고, 산란 매트릭스(32)는 Y × Y 매트릭스에 의해 대체되고, 본 발명의 시스템은 Y개의 지연 라인들(
Figure 112012107281882-pct00012
)을 갖는다.
예를 들어, Y = M = 2인 하나의 경우에, 다운믹싱된 입력 신호는 5개의 업믹스 채널들(X = 5)을 나타낸다: 좌측 전방, 우측 전방, 중앙, 좌측 서라운드, 및 우측 서라운드. 본 발명에 따르면, 다운믹싱된 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들에 응답하여, 프리-믹스 매트릭스(도 2의 매트릭스(30)에 대한 변형)는 두 이산 리버브 채널 신호들을 생성한다(예를 들어, 직각 대칭 미러 필터(quadrature mirror filter), 즉 "QMF" 도메인에서): 하나는 전방 채널들의 믹스(a mix of the front channels)이고; 다른 하나는 서라운드 채널들의 믹스이다. 짧은 소멸 응답(short decay response)을 갖는 리버브는 하나의 리버브 채널 신호로부터 생성(및 상기 채널 신호에 적용)되고 긴 소멸 응답을 갖는 리버브는 다른 리버브 채널 신호(예를 들어, "살아있는 종단/죽은 종단(live end/dead end)" 음향기구들을 구비한 룸을 시뮬레이팅하기 위한)로부터 생성(및 상기 리버브 채널 신호에 적용)된다.
도 2를 참조하여, 포스트-프로세서(36)는 매트릭스(34)의 출력들에 선택적으로 결합되고 매트릭스(34)의 다운믹싱되고, 리버브된 출력(S1, S2,...,SN)에 대한 포스트-프로세싱을 수행하도록 동작 가능하여 채널들(OUT1, OUT2,...,OUTN)을 포함하는 N 채널 포스트-프로세싱된 오디오 출력 신호를 생성한다. 전형적으로, 도 2의 시스템이 바이노럴하고, 다운믹싱되며, 리버브된 오디오 신호들(S1, S2) 및/또는 바이노럴하고, 포스트-프로세싱되고, 다운믹싱되며, 리버브된 오디오 출력 신호(OUT1, OUT2)를 출력하도록 N = 2이다.
예를 들어, 도 2의 시스템의 일부 구현예들의 매트릭스(34)의 출력은 바이노럴한, 가상 서라운드 사운드 신호이고, 상기 서라운드 사운드 신호는 헤드폰들에 의해 재생될 때, 전방 좌측("L"), 중앙("C"), 및 우측("R") 전방 소스들(예를 들어, 청취자의 앞에 위치되는 좌측, 중앙, 및 우측의 물리적 스피커들), 및 좌측-서라운드("LS"), 후방 소스들(예를 들어, 청취자의 뒤에 위치되는 좌측 및 우측의 물리적 스피커들)로부터 방출되는 사운드로 청취자에 의해 인지된다.
도 2 시스템의 일부 변형예들에서, 포스트-믹스 매트릭스(34)가 생략되고 본 발명의 리버브레이터가 M-채널의 다운믹싱된 오디오 입력에 응답하여 Y-채널의 리버브된 오디오(예를 들어, 업믹싱된, 리버브된 오디오)를 출력한다. 다른 변형예들에서, 매트릭스(34)는 단위 매트릭스(identity matrix)이다. 다른 변형예들에서, 상기 시스템은 Y의 업믹스 채널들(여기서 Y는 4보다 더 큰 수이다)을 갖고 매트릭스(34)는 N × Y 매트릭스(예를 들어, Y = 7)이다.
도 2의 시스템이 네 리버브 채널들 및 네 지연 라인들(
Figure 112011055276854-pct00013
)을 가질지라도, 시스템(및 본 발명의 리버브레이터의 다른 실시예들)에 대한 변형들은 4를 초과하는 또는 4 미만의 리버브 채널들을 구현한다. 전형적으로, 본 발명의 리버브레이터는 리버브 채널당 하나의 지연 라인을 포함한다.
입력 신호가 M-채널의, MPEG 서라운드("MPS") 다운믹싱된 신호인 도 2 시스템의 구현예들에서, 매트릭스(30)의 입력들에 어서트된 입력 신호는 QMF 도메인 신호들(IN1(t,f), IN2(t,f),..., 및 INM(t,f))을 포함하고 도 2 시스템은 QMF 도메인에서 자신에 대한 프로세싱(예를 들어, 매트릭스(30)) 및 리버브 애플리케이션을 수행한다. 그와 같은 구현예들에서, 매트릭스(30)에 어서트되는 공간 큐 파라미터들은 전형적으로 종래의 MPS 비트스트림의 일부를 포함하는 유형의, 채널 레벨 차(CLD) 파라미터들 및/또는 채널 예측 계수(CPC) 파라미터들, 및/또는 채널-간 교차 상관(ICC) 파라미터들이다.
시간-도메인의, M-채널의, MPS 다운믹싱된 신호에 응답하여 그와 같은 QMF 도메인 입력들을 매트릭스(30)에 제공하기 위해, 본 발명의 방법은 이 시간-도메인 신호를 QMF 도메인으로 변환하여 QMF 도메인 주파수 성분들을 생성하는 예비 단계를 포함할 것이고, QMF 도메인에서 이 주파수 성분들에 대한 상술한 단계들 (a) 및 (b)를 수행할 것이다.
예를 들어, 도 3 시스템으로의 입력이 M 채널들(I1(t), I2(t),..., 및 IM(t))을 포함하는 시간-도메인의 MPS 다운믹싱된 오디오 신호이기 때문에, 도 3의 시스템은 시간-도메인 신호를 QMF 도메인으로 변환하기 위한 필터(99)를 포함한다. 특히, 도 3의 시스템은, 리버브레이터(100)(도 2의 리버브레이터(100)에 대응하고 가능하면 리버브레이터(100)와 동일하다), 종래의 MPS 프로세서(102), 그리고 리버브레이터(100)에서 프로세싱하고 프로세서(102)에서 종래대로 프로세싱하기 위하여 시간-도메인 입력 채널들(I1(t), I2(t),..., 및 IM(t)) 각각을 QMF 도메인으로(즉, QMF 도메인 주파수 성분들의 시퀀스로) 변환하도록 연결되고 구성되는 시간 도메인-대-QMF 도메인 변환 필터(99)를 포함한다. 도 3의 시스템은 또한 반향기(100) 및 프로세서(102)의 N-채널의 결합된 출력을 시간 도메인으로 변환하도록 연결되고 구성되는 QMF 도메인-대-시간 도메인 변환 필터(101)를 포함한다.
특히, 필터(99)는 시간-도메인 신호들(I1(t), I2(t),..., 및 IM(t))을 각각 반향기(100) 및 프로세서(102)에 어서트된 QMF 도메인 신호들(
Figure 112011055276854-pct00014
)로 변환한다. 프로세서(102)로부터 출력되는 N 채널들 각각은 반향기(100)의 대응하는 리버브된 채널 출력(도 2에 표시되는 S1, S2,..., 또는 SN 또는 도 3의 반향기(100)가 또한 도 2에 도시된 포스트-프로세서(36)를 포함하는 경우, OUT1, OUT2,...,OUTN 중 하나)과 결합(가산기에서)된다. 도 3의 필터(101)는 반향기(100) 및 프로세서(102)의 결합된(리버브된) 출력(N 시퀀스들의 QMF 도메인 주파수 성분들(
Figure 112011055276854-pct00015
)을 시간-도메인 신호들(
Figure 112011055276854-pct00016
)로 변환한다.
본 발명의 전형적인 실시예들에서, 입력된 다운믹싱된 신호는 5개의 개별 오디오 채널들(좌측-전방, 우측-전방, 중앙, 좌측-서라운드, 및 우측 서라운드 채널들)을 나타내는 2-채널의 다운믹싱된 MPS 신호이고, 상이한 리버브 임펄스 응답에 의해 결정된 리버브는 이 5개의 채널들 각각에 적용되어, 결과적으로 서라운드 사운드 품질이 개선된다.
프리-믹스 매트릭스(30)(Y × M 매트릭스(B)이고, 이는 Y = 4이고 M = 2인 경우에 4 × 2 매트릭스이다)의 계수들이 일정한 계수들(공간 큐 파라미터들에 응답하여 결정되는 시변 계수들이 아닌)이고 포스트-믹스 매트릭스(34)(N × Y 매트릭스(C)이고, 이는 Y = 4이고 N = 2인 경우에 2 × 4 매트릭스이다)의 계수가 일정한 계수들을 가진다면, 도 2의 시스템은 M-채널의, 다운믹싱되고, MPS로 인코딩된 입력에 의해 결정되는 다운믹스 내의 상이한 채널들에 대한 개별 임펄스 응답들을 갖는 개별 리버브를 생성하지 않고 상기 리버브를 반향기(예를 들어, QMF-도메인의, MPS-인코딩된, M-채널 다운믹싱된 신호(
Figure 112011055276854-pct00017
)에 응답하는)에 적용되지 않을 것이다. M = 2, Y = 4 및 N = 2이고 도 2의 매트릭스들(B 및 C)가 각각 다음과 같은 일정한 계수들을 갖는 일정한 4 × 2 및 2 × 4 매트릭스들에 의해 대체되는 예를 고려하자:
(수학식 1)
Figure 112011055276854-pct00018
이 예에서, 상수 매트릭스들(B 및 C)의 계수들은 다운믹싱된 입력 오디오를 나타내는 공간 큐 파라미터들에 응답하는 시간의 함수로 변하지 않을 것이고, 그렇게 변형된 도 2의 시스템은 종래의 스테레오-대-스테레오 리버브 모드로 동작할 것이다. 그와 같은 종래의 리버브 모드에서, 동일한 리버브 임펄스 응답을 갖는 리버브는 다운믹스 내의 각각의 개별 채널에 적용될 것이다(즉, 다운믹스 내의 좌측-전방 채널 콘텐츠는 동일한 임펄스 응답을 갖는 리버브를 수신할 것이고 마찬가지로 다운믹스 내의 우측-전방 채널 콘텐츠도 그러할 것이다).
그러나, 본 발명에 따른 MPS 비트스트림의 일부로 이용 가능한 채널 레벨 차(CLD) 파라미터들, 채널 예측 계수(CPC), 및/또는 채널-간 교차 상관(ICC) 파라미터들에 응답하여(및/또는 다른 공간 큐 파라미터들에 응답하여) QMF 도메인에서 리버브 프로세스를 적용함으로, 도 2의 시스템은 리버브를 생성하고, 상기 리버브를 리버브 채널들 각각에 대한 개별 리버브 입펄스 응답으로, 상기 시스템으로 다운믹싱된 입력에 의해 결정되는 각각의 리버브 채널에 적용할 수 있다. 일반적인 애플리케이션에서, 본 발명에 따라 이들 리버브 채널들의 각각에 적용된 리버브의 임펄스 응답이 다르도록 적어도 하나의 다른 리버브 채널보다 중앙 채널에 (더 선명한 음성/대화를 위해) 더 적은 리버브가 적용된다. 이와 같은 애플리케이션에서(및 다른 애플리케이션들에서), 상이한 리버브 채널들에 적용되는 리버브의 임펄스 응답들은 상이한 채널 라우팅(routing)에 기초하지 않고 대신 프리-믹스 매트릭스(30) 또는 포스트-믹스 매트릭스(34)(및/또는 적어도 하나의 다른 시스템 요소)에 의해 상이한 리버브 채널들에 적용되는 간단한 상이한 스케일 팩터(scale factor)들이다.
예를 들어, 리버브를 QMF-도메인의, MPS로 인코딩된, 5개의 업믹스 채널들의 스테레오 다운믹스에 적용하도록 구성된 도 2의 시스템의 구현예에서, 매트릭스(30)는 계수들(wij)의 현재 값들에 좌우되는 시변 계수들을 갖는 4 × 2 매트릭스이며, 여기서 i는 범위가 1 내지 3이고, j는 범위가 1 내지 2이다.
이 예시적인 구현예에서, M = 2, X = 5, 및 Y = 4이고, 입력 신호는 개별 채널 신호들(Lfront, Rfront, C, Lsur, 및 Rsur)을 나타내는 QMF 도메인 값 쌍들(
Figure 112011055276854-pct00019
및
Figure 112011055276854-pct00020
)의 시퀀스이다. 5개의 개별 채널 신호들 각각은 값들
Figure 112011055276854-pct00021
의 시퀀스이고, 여기서 W는,
Figure 112011055276854-pct00022
형태의 MPEG 서라운드 업믹스 매트릭스이다.
이 예에서, 계수들(wij)은 종래의 CPC 파라미터들(
Figure 112011055276854-pct00023
및
Figure 112011055276854-pct00024
) 및 종래의 ICC 파라미터(
Figure 112011055276854-pct00025
)(inter-channel Cross Correlation parameter for the Two-To-Three, 즉, "TTT", 다운믹싱된 입력 신호의 인코딩 동안 가정되는 업믹서)의 현재 값들에 응답하여 갱신될 것이다:
(수학식 1a)
Figure 112011055276854-pct00026
또한 좌측 전방/서라운드 채널들
Figure 112011055276854-pct00027
및 우측 전방/서라운드 채널들
Figure 112011055276854-pct00028
에 대한 종래의 CLD 파라미터들을 이용하여, 매트릭스(30)의 시변 계수들은 또한 다음의 네 개의 시변 채널 이득값들에 좌우될 것이다:
Figure 112011055276854-pct00029
가 좌측 전방/서라운드 CLD 파라미터의 현재 값이고,
Figure 112011055276854-pct00030
가 우측 전방/서라운드 CLD 파라미터의 현재 값이다:
(수학식 2)
Figure 112011055276854-pct00031
매트릭스(30)의 시변 계수들은:
(수학식 3)
Figure 112011055276854-pct00032
일 것이다.
그러므로, 상기 예시적인 구현예에서, 매트릭스(30)로부터 출력되는 4개의 리버브된 채널 신호들은
Figure 112012107281882-pct00033
,
Figure 112012107281882-pct00034
,
Figure 112012107281882-pct00035
, 및
Figure 112012107281882-pct00036
이다. 그러므로, 매트릭스(30)(식 3에 도시된 계수들을 갖는)에 의해 수행되는 매트릭스 승산은:
Figure 112011055276854-pct00037
으로 표현될 수 있다.
이 매트릭스 승산은 5개의 개별 채널 신호들로의 업믹싱(상기 규정된 MPEG 서라운드 업믹스 매트릭스(W)에 의한)과 동일하며, 이후에 매트릭스(B0)에 의해 이 5개의 신호들이 4개의 리버브 채널 신호들로 다운믹싱된다.
식 3에 도시된 계수들을 갖는 매트릭스(30)의 구현예에 대한 변형예에서, 매트릭스(30)는 다음의 계수들로 구현된다:
(수학식 4)
Figure 112011055276854-pct00038
, 여기서 KLF, KRF, KC, KLS 및 KRS는 상이한 채널들에 대한 고정된 리버브 이득 값들이고, glf, gls, grf, glf, 및 w11 내지 w32는 각각 식 2 및 1a와 같은 것이다. 전형적으로, 네 고정된 리버브 이득 값들은, Kc가 중앙 채널(예를 들어, 드라이기 사운딩 음성/대화)에 리버브를 더 적게 적용하기 위해 다른 값들보다 미세하게 더 작은 값들(다른 것들의 값들보다 수 데시벨 더 낮다)을 갖는 것을 제외하고, 실질적으로 서로 같다.
식 4의 계수들로 구현되는 매트릭스(30)는 상기에 규정된 MPEG 서라운드 업믹스 매트릭스(W) 및 다음의 다운믹스 매트릭스(B0)의 곱(product)와 동일하다:
Figure 112011055276854-pct00039
이다.
매트릭스(30)가 식 3(또는 식 4)의 계수들로 구현되는 경우, 매트릭스(34)는 전형적으로 상수 매트릭스일 것이다. 대안으로, 매트릭스(34)는 시변 계수들을 가질 것이고, 예를 들어 하나의 구현예에서 자체의 계수들은 C = B T일 것이고, 여기서 B T 는 매트릭스(30)의 전치(transpose)이다. 식 3에 진술된 계수들을 갖는 매트릭스(30), 및 매트릭스(34)(그와 같은 매트릭스의 전치로 구현되는 경우)는 식 1의 상수 믹스 매트릭스들 B 및 C과 동일한 일반적인 형태를 가질 것이지만, 식 1a의 상술한 변수 계수 값들(wij) 및 식 2의 변수 이득 값들에 의해 결정되는 변수 계수들이 상수 원소들을 대체한다.
식 3의 가변 계수들을 갖는 매트릭스(30)를 구현함으로써 리버브 채널들(U1, U2, U3, 및 U4) 각각은 좌측-전방 업믹스 채널(도 2의 시스템의 공급 브랜치(1')), 우측-전방 업믹스 채널(도 2의 시스템의 공급 브랜치(2')), 좌측-서라운드 업믹스 채널(도 2의 시스템의 공급 브랜치(3')), 및 도 2의 시스템의 공급 브랜치(4')인 중앙 업믹스 채널(우측-서라운드 채널에 중앙 채널을 더한 것)이 된다. 그러므로, 도 2의 시스템의 네 브랜치들에 개별적으로 적용되는 리버브는 개별적으로 결정되는 임펄스 응답들을 가질 것이다.
대안으로, 매트릭스(30)의 계수들은 이용 가능한 공간 큐 파라미터들에 응답하여 다른 방식으로 결정된다. 예를 들어, 일부 실시예들에서 매트릭스(30)의 계수들은 이용 가능한 MPS 공간 큐 파라미터들에 응답하여 결정되어 매트릭스(30)로 하여금 예측 모드 이외의 모드(예를 들어, 중앙을 빼거나 빼지 않는 에너지 모드)에서 동작하는 TTT 업믹서를 구현하도록 한다. 이는 MPEG 표준(ISO/IEC 23003-1:2007)에 기술되는 관련 경우들에 대한 널리 공지되어 있는 업믹싱 공식들을 이용하여, 본 명세서가 제공되는 당업자에게는 명확한 방식으로 행해질 수 있다.
QMF-도메인의, MPS 인코딩된, 네 개의 업믹스 채널들의 단일-채널(모노럴(monaural)) 다운믹스에 리버브를 적용하도록 구성되는 도 2의 시스템의 구현예에서, 매트릭스(30)는 시변 계수들을 갖는 4 × 1매트릭스이다:
Figure 112011055276854-pct00040
,
여기서 계수들은 종래의 MPS 비트스트림의 일부로서 이용 가능한 CLD 파라미터들(
Figure 112011055276854-pct00041
,
Figure 112011055276854-pct00042
,
Figure 112011055276854-pct00043
및
Figure 112011055276854-pct00044
)로부터 도출되는 이득 팩터들이다.
도 2의 변형예들 및 본 발명의 리버브레이터의 다른 실시예들에서, 이산 리버브 채널들(예를 들어, 업믹스 채널들)은 다운믹싱된 입력 신호들로부터 추출되고 많은 상이한 방식들 중 하나로 개별 리버브 지연 브랜치들에 라우팅된다. 본 발명의 리버브레이터의 다양한 실시예들에서, 다른 공간 큐 파라미터들은 다운믹식된 입력 신호(예를 들어, 제어 채널 가중에 의해 포함되는)를 업믹싱하기 위해 이용된다. 예를 들어, 일부 실시예들에서, 전방-후방 발산들을 기술하는 ICC 파라미터들(종래의 MPS 비트스트림의 일부로 이용 가능한)은 프리-믹스 매트릭스의 계수를 결정하고 이로 인해 리버브 레벨을 제어하는데 이용된다.
바람직하게도, 본 발명의 방법은 또한 헤드 관련 전달 함수(HRTF) 필터에서 리버브된 채널 신호들을 필터링함으로써, 리버브된 채널 신호들에 대응하는 HRTF들을 적용하는 단계를 포함한다. 예를 들어, 도 2의 시스템의 매트릭스(34)는 바람직하게는 그와 같은 HRTF들을 적용하는 HRTF 필터로서 구현되고, 또한 리버브된 채널들(R1, R2, R3, 및 R4)에 대한 상술한 다운믹싱 동작을 수행한다. 매트릭스(34)의 그와 같은 구현예는 전형적으로 동일한 필터링을 2 × 5 매트릭스에 선행하여 5 × 4 매트릭스로서 수행할 것이고, 여기서 5 × 4 매트릭스는 이득 요소들(g1, g2, g3, 및 g4)로부터 출력되는 4개의 리버브된 채널 신호들(R1 내지 R4)에 응답하여 5의 가상 리버브된 채널 신호들(좌측-전방, 우측-전방, 중앙, 좌측-서라운드 및 우측-서라운드 채널들)을 생성하고, 2 × 5 매트릭스는 적절한 HRTF를 각각의 그러한 가상 리버브된 채널 신호에 적용하고, 그 결과에 따른 5개의 채널 신호들을 다운믹싱하여 2-채널의 다운믹싱되고 리버브된 출력 신호를 생성한다. 그러나 전형적으로, 매트릭스(34)는 별개의 5 × 4 및 2 × 5 매트릭스들의 기술된 기능들을 실행하는 단일 2 × 4 매트릭스로 구현될 것이다. HRTF들은 청취자로 하여금 본 발명에 따라 적용되는 리버브를 더욱 자연스런 사운딩으로 인지하도록 하기 위해 적용된다. HTRF 필터는 전형적으로 각각의 개별 QMF 대역에 대하여 복소수 값으로 된 엔트리들을 갖는 매트릭스에 의한 매트릭스 승산을 수행할 것이다.
일부 실시예들에서, QMF-도메인의, MPS 인코딩되고, 다운믹싱되는 입력 신호로부터 생성된 리버브된 채널 신호들은 다음과 같은 대응하는 HRTS들에 의해 필터링된다. 이 실시예들에서, 파라매트릭 QMF 도메인에서의 HRTF들은 필수적으로 좌측 및 우측 이득 파라미터 값들 및 다운링크된 입력 신호를 특징짓는 채널-간 위상 차(Inter-channel Phase Difference: IPD) 파라미터 값들로 구성된다. IPD들은 선택적으로 무시되어 복잡성을 감소시킨다. IPD들이 무시된다고 가정하면, HRTF들은 일정한 이득 값들(좌측 및 우측 채널의 각각에 대한 네 개의 이득 값들)이다:
Figure 112011055276854-pct00045
. 그러므로 HRTF들은 다음의 계수들을 갖는 포스트-믹스 매트릭스(34)의 구현에 의해 도 2의 리버브된 채널 신호들(R1, R2, R3, 및 R4)에 적용될 수 있다:
Figure 112011055276854-pct00046
본 발명의 리버브레이터의 바람직한 구현예들에서(예를 들어 도 2의 시스템에 대한 변형예들로 구현될 수 있다), 부분 지연(fractional delay)은 적어도 하나의 리버브 채널들에 적용되고/되거나, 리버브는 적어도 하나의 리버브 채널에서의 오디오 데이터의 주파수 성분들의 상이한 주파수 대역들에 상이하게 적용된다.
본 발명의 리버브레이터의 일부 그와 같은 바람직한 구현예들은 부분 지연(적어도 하나의 리버브 채널에서의) 뿐만 아니라 정수 샘플 지연을 적용하도록 구성되는 도 2의 시스템에 대한 변형들이다. 예를 들어, 하나의 그와 같은 구현예에서 부분 지연 요소는 각각의 리버브 채널에서, 샘플 기간들의 정수와 동일한 정수 지연을 적용하는 지연 라인과 직렬로 접속된다(예를 들어, 각각의 부분 지연 요소는 지연 라인들(도 2의 50, 51, 52, 및 53) 뒤에 그렇지 않으면 직렬로 위치된다). 부분 지연은 샘플 기간의 부분:
Figure 112011055276854-pct00047
에 대응하는 각각의 QMF 대역에서 위상 전이(단위 복소 승산)에 의해 근사화될 수 있고, 여기서 f는 지연 부분이고,
Figure 112011055276854-pct00048
는 QMF 대역에 대한 원하는 지연이고, T는 QMF 대역에 대한 샘플 기간이다. QMF 도메인에서 리버브를 적용할 상황에서 부분 지연을 적용하는 방법은 널리 공지되어 있다(예를 들어, 2004년 5월 8일 내지 11일, 독일 베를린에서의 제 116차 Audio Engineering Society의 컨벤션에서 제출된 J.Engdegard 등의, "Synthetic Ambience in Parametric Stereo Coding", 및 2009년 2월 3일에 발행된 J.Engdegard 등의 미국 특허 7,487,097을 참조하라).
본 발명의 리버브레이터의 상술한 바람직한 구현예들 중 일부는, 리버브레이터 구현예의 복잡성을 감소시키기 위해, 적어도 하나의 리버브 채널 내의 오디오 데이터의 상이한 주파수 대역들에 리버브를 상이하게 적용하도록 구성되는 도 2의 시스템에 대한 변형들이다. 예를 들어, 오디오 입력 데이터(IN1 내지 INM)가 QMF 도메인 MPS 데이터이고, 리버브 적용이 QMF 도메인에서 수행되는 일부 구현예들에서, 리버브는 각각의 리버브 채널 내의 오디오 데이터의 다음의 네 주파수 대역들에 상이하게 적용된다:
0 kHz 내지 3 kHz(또는 0 kHz 내지 2.4 kHz): 리버브는 매트릭스(30)가 식 4의 계수들로 구현된 채로, 상술한 도 2의 실시예에서처럼 이 대역에서 적용된다;
3 kHz 내지 8 kHz(또는 2.4 kHz 내지 8 kHz): 리버브는 이 대역에서 실수값 연산 만으로 적용된다. 예를 들어, 이는 2007년 3월 22일에 공개된 국제 출원 공개 번호 WO 2007/031171 A1에 기술된 실수값 연산 기술들을 이용하여 행해질 수 있다. 이 참조문헌은 8의 가장 낮은 주파수 대역들의 복소 값들이 프로세싱되고 오디오 데이터의 상위 56의 주파수 대역들의 실수 값들만이 프로세싱된다. 그와 같은 8의 가장 낮은 주파수 대역들 중 하나는 복소 QMF 버퍼 대역으로 이용되어, 복수 값 연산 계산들이 상기 8개의 가장 낮은 QMF 주파수 대역들 중 단 7개에 대해서만 수행되도록 할 수 있고(매트릭스(30)가 식 4의 계수들로 구현된 상태로 리버브가 도 2의 상술한 실시예에서와 같이 이 상대적으로 낮은 주파수 범위에서 적용되도록 하기 위해), 그리고 복소 값 및 실수 값 계산들 사이의 교차가 약 2.4 kHz와 동일한 주파수(7 × 44.1 kHz)/(64×2)에서 발생하면서 실수 값 연산 계산들이 다른 56 QMF 주파수 대역들에 대해 수행되도록 할 수 있다. 이 예시적인 실시예에서, 리버브는 상술한 도 2의 실시예에서처럼 상대적으로 높은 주파수 범위에 적용되지만, 프리-믹스 매트릭스(30)의 더 단순한 구현예를 이용하여 단지 실수 값 계산들만을 수행한다. 리버브는 도 2의 실시예에서처럼, 예를 들어 매트릭스(30)가 식 4의 계수들로 구현되어, 상대적으로 낮은 주파수 범위(2.4 kHz 미만)에 적용된다:
8 kHz 내지 15 kHz : 리버브는 이 대역에서 단순한 지연 기술에 의해 적용된다. 예를 들어, 리버브는 상술한 도 2의 실시예에 적용된 방식과 유사한 방식이지만, 각각의 리버브 채널에 저역 통과 필터 및 지연 라인을 구비한 단지 2개의 리버브 채널들만 구비하고, 매트릭스 요소들(32 및 34)이 제외되고, 단순한, 2 × 2 의 프리-믹스 매트릭스(30)가 구현되고(예를 들어, 각각의 다른 채널에서보다는 더 적은 리버브를 중심 채널에 적용하기 위한), 노드들로부터 리버브 채널들을 따라 프리-믹스 매트릭스의 출력들로 피드백되지 않는다. 두 지연된 브랜치들은 단지 각각 좌측 및 우측 출력들에 공급될 수 있거나, 또는 죄측 전방(Lf) 및 좌측 서라운드(Ls) 채널들로부터의 에코들이 결국 우측 출력 채널에 도달하고, 우측 전방(Rf) 및 우측 서라운드(Rs) 채널들로부터의 에코들이 좌측 출력 채널에 도달하도록 스위칭될 수 있다. 2×2 프리-믹스 매트릭스는 다음의 계수들을 가질 수 있다:
Figure 112011055276854-pct00049
이고, 여기서 심볼들은 상기 식 4에서와 같이 규정된다; 그리고
15 내지 22.05 kHz : 이 대역에서 리버브는 적용되지 않는다.
본원에 개시된 실시예들(예를 들어, 도 2의 실시예)에 대한 변형예들에서, 본 발명의 시스템은, 다운믹싱된 신호에 응답하지만 공간 큐 파라미터들에 응답하지 않는 Y개의 이산 라버브 채널 신호들을 생성함으로써 포함하는, X개의 개별 오디오 채널들을 나타내는 M-채널의 다운믹싱된 오디오 입력 신호에, 리버브를 적용하고, 여기서 X는 M보다 더 큰 수이다. 이 변형예들에서, 상기 시스템은 다운믹싱된 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들에 응답하여 리버브 채널 신호들 중 적어도 둘 각각에 리버브를 개별적으로 적용함으로써, Y개의 리버브된 채널 신호들을 생성한다. 예를 들어, 일부 그와 같은 변형예들에서, 프리-믹스 매트릭스의 계수들은(예를 들어, 도 2의 매트릭스(30)에 대한 변형예) 공간 큐 파라미터들에 응답하여 결정되지 않지만, 산란 매트릭스(예를 들어, 도 2의 매트릭스(32)에 대한 변형예), 이득 스테이지(예를 들어, 도 2의 요소들(g1 내지 gk)을 포함하는 이득 스케이지에 대한 변형예), 및 포스트-믹스 매트릭스(예를 들어, 도 2의 매트릭스(34)에 대한 변형예) 중 적어도 하나는 다운믹싱된 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들에 의해 결정되는 방식으로 리버브 채널 신호들에 대해 동작하여, 리버브를 리버브 채널 신호들 중 적어도 두 개의 각각에 적용한다.
일부 실시예들에서, 본 발명의 리버브레이터는 M-채널의 다운믹싱된 오디오 입력 신호를 나타내는 입력 신호를 수신하거나 생성하도록 연결되고, 소프트웨어(또는 펌웨어)에 의해 프로그램되거나, 그렇지 않으면 본 발명의 방법의 실시예를 포함하여 입력 데이터 상에 다양한 동작들 중 임의의 하나를 수행하도록 구성되는(예를 들어 제어 데이터에 응답하는) 범용 프로세서이거나 범용 프로세서를 포함한다. 그와 같은 범용 프로세서는 전형적으로 입력 디바이스(예를 들어, 마우스 및/또는 키보드), 메모리, 및 디스플레이 디바이스에 연결될 것이다. 예를 들어, 도 3의 시스템은 입력들(I1(t), I2(t),...,IM(t))이 다운믹싱된 오디오 데이터의 M 채널들을 나타내는 입력 데이터이고, 출력들(S1(t), S2(t),...,SN(t))이 다운믹싱되고, 리버브된 오디오의 N 채널들을 나타내는 출력 데이터인, 범용 프로세서에서 구현될 수 있다. 종래의 디지털-대-아날로그 변환기(DAC)는 이 출력 데이터에 대해 동작하여 스피커들(예를 들어, 한 쌍의 헤드폰들)에 의한 재생을 위해 출력 오디오 신호들의 아날로그 버전들을 생성할 수 있다.
본 발명의 특정한 실시예들 및 본 발명의 애플리케이션 예들이 본원에 기술되었을지라도, 본원에 기술된 실시예들 및 응용예들에 대한 많은 변형들이 본원에 기술되고 청구되는 본 발명의 범위를 벗어나지 않고 가능하다는 것이 당업자에게는 명백할 것이다. 본 발명의 특정 형태들이 도시되고 설명되었을지라도, 본 발명은 기술되고 도시된 상기 특정한 실시예들 및 기술된 특정한 방법들로 제한되지 않아야 한다.
100 : 다중 입력, 다중 출력, FDN-기반 리버브레이터
99 : QMF 필터 101 : 역 QMF 필터
30, 32, 34 : 매트릭스

Claims (33)

  1. X개의 개별 오디오 채널들을 나타내는 M-채널의 다운믹싱된 오디오 입력 신호(M-channel downmixed audio input signal)에 리버브(reverb)를 적용하기 위한 방법으로서, X는 M보다 더 큰 수인, 상기 방법에 있어서:
    (a) 상기 다운믹싱된 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들에 응답하여, 상기 M-채널의 다운믹싱된 오디오 입력 신호로부터 Y개의 이산 리버브 채널 신호들을 생성하는 단계로서; 시각 t에서 상기 리버브 채널 신호들 각각은 상기 시각 t에서 X개의 개별 오디오 채널들의 값들의 세트 중에서 하나 이상의 요소들의 선형 결합이고, 상기 Y개의 이산 리버브 채널 신호들은 상기 공간 큐 파라미터들에 응답하여 결정된 시변 계수들(time-varying coefficients)을 포함하는 프리-믹스 매트릭스를 이용하여 생성되는, 상기 Y개의 이산 리버브 채널 신호들을 생성하는 단계; 및
    (b) Y개의 브랜치들을 포함하는 피드백 지연 네트워크를 이용하여, 상기 리버브 채널 신호들의 각각에 리버브를 개별적으로 적용함으로써 Y개의 리버브된 채널 신호들을 생성하는 단계로서, 상기 브랜치들의 각각은 리버브를 상기 리버브 채널 신호들 중 서로 다른 하나에 개별적으로 적용하기 위한 것인, 상기 Y개의 리버브된 채널 신호들을 생성하는 단계; 및
    (c) N × Y 포스트-믹스 매트릭스를 이용하여, 상기 Y개의 리버브된 채널 신호들로부터 N-채널 리버브된 오디오 신호를 생성하는 단계를 포함하고, 상기 N × Y 포스트-믹스 매트릭스는 각각의 이득 요소들의 출력에서 상기 Y개의 리버브된 채널 신호들의 다운믹싱 및 업믹싱 중 적어도 하나를 수행하도록 연결되고 구성되고, 상기 각각의 이득 요소들은 각각의 상기 리버브 채널 신호들에 적용되는 리버브의 소멸 시간(decay time)을 제어하기 위한 댐핑 팩터들(damping factors)을 제공하며; 상기 다운믹싱 및 업믹싱 중 적어도 하나는 적어도 상기 공간 큐 파라미터들의 서브셋에 응답하여 수행되거나, 상기 포스트-믹스 매트릭스는 계수들이 상기 공간 큐 파라미터들에 응답하여 시간에 따라 변하지 않는 상수 매트릭스(constant matrix)인, M-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 리버브 채널 신호들 중 적어도 하나에 적용되는 리버브는 상기 리버브 채널 신호들 중 적어도 하나의 다른 신호에 적용되는 리버브가 갖는 리버브 임펄스 응답(reverb impulse response)과는 상이한 리버스 임펄스 응답을 갖는, M-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 입력 신호는 M-채널의 MPEG 서라운드 다운믹싱된 신호이고, 상기 공간 큐 파라미터들은 채널 레벨 차 파라미터들, 채널 예측 계수 파라미터들, 및 채널간 교차 상관 파라미터들 중 적어도 하나를 포함하는, M-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 입력 신호는 M 시퀀스들의 QMF 도메인 주파수 성분들을 포함하는, QMF-도메인의 MPEG 서라운드 다운믹싱된 신호이고, 상기 단계 (a) 및 상기 단계 (b) 각각은 상기 QMF 도메인에서 수행되는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 공간 큐 파라미터들은 채널 레벨 차 파라미터들, 채널 예측 계수 파라미터들, 및 채널간 교차 상관 파라미터들 중 적어도 하나를 포함하는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 입력 신호는, 시간-도메인의, MPEG 서라운드 다운믹싱된 신호이고,
    단계 (a) 전에, 상기 시간-도메인의, MPEG 서라운드 다운믹싱된 신호를 QMF 도메인으로 변환함으로써, M의 시퀀스들의 QMF 도메인 주파수 성분들을 생성하는 단계를 또한 포함하고,
    상기 단계 (a) 및 상기 단계 (b) 각각은 상기 QMF 도메인에서 수행되는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 Y개의 리버브된 채널 신호들을 다운믹싱함으로써, N-채널의, 다운믹싱되고, 리버브된 오디오 신호를 생성하는 단계를 또한 포함하고,
    상기 N은 상기 Y보다 작은 수인, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 다운믹싱은 상기 공간 큐 파라미터들에 응답하여 결정된 시변 계수들을 포함하는 포스트-믹스 매트릭스를 이용하여 하나 이상의 상기 공간 큐 파라미터들에 응답하여 수행되는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  11. 제 1 항에 있어서,
    헤드 관련 전달 함수 필터(head-related transfer function filter)에서 상기 리버브된 채널 신호들을 필터링함으로써 대응하는 헤드 관련 전달 함수들을 상기 리버브된 채널 신호들에 적용하는 단계를 또한 포함하는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  12. 제 1 항에 있어서,
    Y는 M보다 큰, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 리버브된 채널 신호들을 다운믹싱하고 대응하는 헤드 관련 전달 함수들을 상기 리버브된 채널 신호들에 적용하는 단계를 또한 포함하는, M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하기 위한 방법.
  14. X개의 개별 오디오 채널들을 나타내는 M-채널 다운믹스된 오디오 입력 신호에 리버브를 적용하도록 구성되는 리버브레이터(reverberator)로서, X가 M보다 더 큰 수인, 상기 리버브레이터에 있어서:
    상기 입력 신호 및 상기 입력 신호의 공간 이미지를 나타내는 공간 큐 파라미터들을 수신하도록 연결되는 제 1 서브시스템으로서, 상기 공간 큐 파라미터들에 응답하여 결정되는 시변 계수들을 포함하는 프리-믹스 매트릭스를 적용함으로써, 상기 입력 신호에 응답하여 Y개의 이산 리버브 채널 신호들을 생성하도록 구성되어, 시각 t에서 상기 리버브 채널 신호들의 각각은 상기 시각 t에서 X개의 개별 오디오 채널들의 값들의 세트 중에서 하나 이상의 요소들의 선형 결합이 되도록 하는, 상기 제 1 서브시스템; 및
    상기 제 1 서브시스템에 연결되고 상기 리버브 채널 신호들의 각각에 상기 리버브를 개별적으로 적용함으로써, Y개의 리버브된 채널 신호들의 세트를 생성하도록 구성되는 리버브 애플리케이션 서브시스템으로서, 상기 리버브 애플리케이션 서브시스템은 Y개의 브랜치들을 포함하는 피드백 지연 네트워크이고, 상기 브랜치들의 각각은 상기 리버브 채널 신호들 중 서로 다른 하나에 개별적으로 상기 리버브를 적용하도록 구성되는, 상기 리버브 애플리케이션 서브시스템; 및
    각각의 이득 요소들의 출력에서 상기 Y개의 리버브된 채널 신호들의 다운믹싱 및 업믹싱 중 적어도 하나를 수행하도록 연결되고 구성된 N × Y 포스트-믹스 매트릭스를 포함하고, 상기 각각의 이득 요소들은 각각의 상기 리버브 채널 신호들에 적용되는 리버브의 소멸 시간(decay time)을 제어하기 위한 댐핑 팩터들(damping factors)을 제공하여, N-채널 리버브된 오디오 신호를 생성하며; 상기 다운믹싱 및 업믹싱 중 적어도 하나는 적어도 상기 공간 큐 파라미터들의 서브셋에 응답하여 수행되거나, 상기 포스트-믹스 매트릭스는 계수들이 상기 공간 큐 파라미터들에 응답하여 시간에 따라 변하지 않는 상수 매트릭스(constant matrix)인, 리버브레이터.
  15. 제 14 항에 있어서,
    상기 리버브 애플리케이션 서브시스템은 상기 리버브를 적용하여 상기 리버브 채널 신호들 중 적어도 하나에 적용되는 리버브가 상기 리버브 채널 신호들 중 적어도 하나의 다른 신호에 적용되는 리버브가 갖는 리버브 임펄스 응답과는 상이한 리버브 임펄스 응답을 갖도록 구성되는, 리버브레이터.
  16. 제 14 항에 있어서,
    상기 입력 신호는 M-채널, MPEG 서라운드 다운믹싱된 신호이고, 상기 공간 큐 파라미터들은 채널 레벨 차 파라미터들, 채널 예측 계수 파라미터들, 및 채널간 교차 상관 파라미터들 중 적어도 하나를 포함하는, 리버브레이터.
  17. 삭제
  18. 제 14 항에 있어서,
    상기 입력 신호는 M 시퀀스들의 QMF 도메인 주파수 성분들을 포함하는, QMF-도메인의, MPEG 서라운드 다운믹싱된 신호이고, 상기 공간 큐 파라미터들은 채널 레벨 차 파라미터들, 채널 예측 계수 파라미터들, 및 채널간 교차 상관 파라미터들 중 적어도 하나를 포함하는, 리버브레이터.
  19. 삭제
  20. 제 14 항에 있어서,
    상기 다운믹싱된 오디오 입력 신호는 QMF 도메인 주파수 성분들의 M 시퀀스들의 세트이고, 상기 리버브레이터는 또한:
    시간-도메인의, MPEG 서라운드 다운믹싱된 신호를 수신하도록 연결되고, 이에 응답하여 M 시퀀스들의 QMF 도메인 주파수 성분들을 생성하도록 구성되는 시간 도메인-대-QMF 도메인 변환 필터를 포함하고,
    업믹스 서브시스템이 상기 QMF 도메인에서 상기 M 시퀀스들의 QMF 도메인 주파수 성분들을 업믹스하도록 연결되고 구성되는, 리버브레이터.
  21. 제 14 항에 있어서,
    상기 리버브된 채널 신호들을 다운믹싱함으로써, N-채널의, 다운믹싱되고, 리버브된 오디오 신호를 생성하도록 연결되고 구성되는 포스트-믹스 서브시스템을 또한 포함하고, 상기 N은 Y보다 작은 수이고;
    상기 포스트-믹스 서브시스템은 상기 공간 큐 파라미터들에 응답하여 결정되는 시변 계수들을 포함하는 포스트-믹스 매트릭스를 이용하도록 구성되는, 리버브레이터.
  22. 제 14 항에 있어서,
    적어도 하나의 헤드 관련 전달 함수를 상기 리버브된 채널 신호들 각각에 적용하도록 연결되고 구성되는 헤드 관련 전달 함수 필터를 또한 포함하는, 리버브레이터.
  23. 제 14 항에 있어서,
    상기 리버브된 채널 신호들을 다운믹싱하여 적어도 하나의 헤드 관련 전달 함수를 상기 리버브된 채널 신호들 각각에 적용함으로써, N-채널의, 다운믹싱되고, 리버브된 오디오 신호를 생성하도록 연결되고 구성되는 포스트-믹스 서브시스템(post-mix subsystem)을 또한 포함하고, 상기 N은 Y보다 더 작은 수인, 리버브레이터.
  24. 제 22 항에 있어서,
    상기 리버브 애플리케이션 서브시스템은:
    Y 지연 및 이득 요소들의 세트로서, 상기 리버브된 채널 신호들이 어서트(assert)되는 Y 출력들을 갖고, Y 입력들을 갖는, 상기 Y 지연 및 이득 요소들의 세트;
    Y 추가 요소들의 세트로서, 상기 추가 요소들 각각은 상기 필터의 상이한 출력에 연결되는 제 1 입력, 상기 리버브된 채널 신호들 중 상이한 신호를 수신하도록 연결되는 제 2 입력, 및 출력을 갖는, 상기 Y 추가 요소들의 세트; 및
    상기 추가 요소들의 출력들에 연결되는 매트릭스 입력들, 및 상기 지연 및 이득 요소들의 입력들에 연결되는 매트릭스 출력들을 갖는 산란 매트릭스(scattering matrix)를 포함하고,
    상기 산란 매트릭스는 상기 추가 요소들 각각의 출력의 필터링된 버전을 상기 지연 및 이득 요소들 중 대응하는 요소의 입력에 어서트하도록 구성되는, 리버브레이터.
  25. 제 24 항에 있어서,
    상기 지연 및 이득 요소들의 출력들에 연결되고 상기 공간 큐 파라미터들의적어도 서브세트를 수신하도록 연결되며, 상기 공간 큐 파라미터들의 적어도 서브세트에 응답하여 상기 리버브된 채널 신호들을 다운믹싱함으로써 N-채널의, 다운믹싱되고, 리버브된 오디오 신호를 생성하도록 구성되는 포스트-믹스 서브시스템을 또한 포함하고, 상기 N은 Y보다 작은 수인, 리버브레이터.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020117016794A 2008-12-19 2009-12-16 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터 Active KR101342425B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
SE0802629 2008-12-19
SE0802629-6 2008-12-19
US17285509P 2009-04-27 2009-04-27
US61/172,855 2009-04-27
PCT/EP2009/067350 WO2010070016A1 (en) 2008-12-19 2009-12-16 Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters

Publications (2)

Publication Number Publication Date
KR20110122667A KR20110122667A (ko) 2011-11-10
KR101342425B1 true KR101342425B1 (ko) 2013-12-17

Family

ID=41796192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016794A Active KR101342425B1 (ko) 2008-12-19 2009-12-16 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터

Country Status (8)

Country Link
US (1) US8965000B2 (ko)
EP (1) EP2377123B1 (ko)
JP (1) JP5524237B2 (ko)
KR (1) KR101342425B1 (ko)
CN (1) CN102257562B (ko)
BR (1) BRPI0923174B1 (ko)
RU (1) RU2509442C2 (ko)
WO (1) WO2010070016A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148553A3 (ko) * 2015-03-19 2016-11-10 (주)소닉티어랩 3차원 사운드를 편집 및 제공하는 방법 및 장치

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083981A2 (en) * 2010-01-06 2011-07-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
CN103210668B (zh) * 2010-09-06 2016-05-04 杜比国际公司 用于多通道音频再生的向上混合方法及系统
EP2541542A1 (en) 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
BR112014010062B1 (pt) * 2011-11-01 2021-12-14 Koninklijke Philips N.V. Codificador de objeto de áudio, decodificador de objeto de áudio, método para a codificação de objeto de áudio, e método para a decodificação de objeto de áudio
US9131313B1 (en) * 2012-02-07 2015-09-08 Star Co. System and method for audio reproduction
US9602927B2 (en) * 2012-02-13 2017-03-21 Conexant Systems, Inc. Speaker and room virtualization using headphones
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
KR101717006B1 (ko) * 2013-04-05 2017-03-15 돌비 인터네셔널 에이비 오디오 프로세싱 시스템
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9674632B2 (en) * 2013-05-29 2017-06-06 Qualcomm Incorporated Filtering with binaural room impulse responses
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
TWI713018B (zh) 2013-09-12 2020-12-11 瑞典商杜比國際公司 多聲道音訊系統中之解碼方法、解碼裝置、包含用於執行解碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置的音訊系統
CN105900455B (zh) 2013-10-22 2018-04-06 延世大学工业学术合作社 用于处理音频信号的方法和设备
ES2709248T3 (es) 2014-01-03 2019-04-15 Dolby Laboratories Licensing Corp Generación de audio binaural en respuesta a un audio multicanal que usa al menos una red de retardo de retroalimentación
CN104768121A (zh) 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
RU2676415C1 (ru) * 2014-04-11 2018-12-28 Самсунг Электроникс Ко., Лтд. Способ и устройство для рендеринга звукового сигнала и компьютерно-читаемый носитель информации
CN106415712B (zh) * 2014-05-30 2019-11-15 高通股份有限公司 用于渲染高阶立体混响系数的装置和方法
US20170142178A1 (en) * 2014-07-18 2017-05-18 Sony Semiconductor Solutions Corporation Server device, information processing method for server device, and program
KR20250044467A (ko) 2015-08-25 2025-03-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
CN105916095B (zh) * 2016-05-31 2017-08-04 音曼（北京）科技有限公司 反馈延迟网络音色优化的方法
CN108665902B (zh) 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
CN108694955B (zh) 2017-04-12 2020-11-17 华为技术有限公司 多声道信号的编解码方法和编解码器
CN107231599A (zh) * 2017-06-08 2017-10-03 北京奇艺世纪科技有限公司 一种3d声场构建方法和vr装置
EP3518556A1 (en) 2018-01-24 2019-07-31 L-Acoustics UK Limited Method and system for applying time-based effects in a multi-channel audio reproduction system
US11544032B2 (en) * 2019-01-24 2023-01-03 Dolby Laboratories Licensing Corporation Audio connection and transmission device
JP7286876B2 (ja) 2019-09-23 2023-06-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 変換パラメータによるオーディオ符号化／復号化
US11361742B2 (en) * 2019-09-27 2022-06-14 Eventide Inc. Modal reverb effects for an acoustic space
CN115280411B (zh) * 2020-03-09 2025-06-20 日本电信电话株式会社 声音信号缩混方法、声音信号编码方法、声音信号缩混装置、声音信号编码装置及记录介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007031896A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Audio coding
WO2007096808A1 (en) 2006-02-21 2007-08-30 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US20080137875A1 (en) 2006-11-07 2008-06-12 Stmicroelectronics Asia Pacific Pte Ltd Environmental effects generator for digital audio signals

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2038704C1 (ru) * 1993-08-12 1995-06-27 Владимир Анатольевич Ефремов Пространственная звуковоспроизводящая система
JP4304401B2 (ja) * 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
ES2403178T3 (es) * 2002-04-10 2013-05-16 Koninklijke Philips Electronics N.V. Codificación de señales estéreo
SE0301273D0 (sv) 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
US8041046B2 (en) 2004-06-30 2011-10-18 Pioneer Corporation Reverberation adjusting apparatus, reverberation adjusting method, reverberation adjusting program, recording medium on which the reverberation adjusting program is recorded, and sound field correcting system
EP1768107B1 (en) 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US8243969B2 (en) * 2005-09-13 2012-08-14 Koninklijke Philips Electronics N.V. Method of and device for generating and processing parameters representing HRTFs
US7917561B2 (en) 2005-09-16 2011-03-29 Coding Technologies Ab Partially complex modulated filter bank
KR100773560B1 (ko) 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
WO2007106553A1 (en) 2006-03-15 2007-09-20 Dolby Laboratories Licensing Corporation Binaural rendering using subband filters
US8175280B2 (en) 2006-03-24 2012-05-08 Dolby International Ab Generation of spatial downmixes from parametric representations of multi channel signals
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP2007336080A (ja) 2006-06-13 2007-12-27 Clarion Co Ltd 音響補正装置
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
JP4850628B2 (ja) * 2006-08-28 2012-01-11 キヤノン株式会社 記録装置
US8363843B2 (en) * 2007-03-01 2013-01-29 Apple Inc. Methods, modules, and computer-readable recording media for providing a multi-channel convolution reverb
DE102007018032B4 (de) * 2007-04-17 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung dekorrelierter Signale
JP2008301427A (ja) * 2007-06-04 2008-12-11 Onkyo Corp マルチチャンネル音声再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007031896A1 (en) * 2005-09-13 2007-03-22 Koninklijke Philips Electronics N.V. Audio coding
WO2007096808A1 (en) 2006-02-21 2007-08-30 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US20080137875A1 (en) 2006-11-07 2008-06-12 Stmicroelectronics Asia Pacific Pte Ltd Environmental effects generator for digital audio signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148553A3 (ko) * 2015-03-19 2016-11-10 (주)소닉티어랩 3차원 사운드를 편집 및 제공하는 방법 및 장치

Also Published As

Publication number Publication date
RU2011129154A (ru) 2013-01-27
BRPI0923174B1 (pt) 2020-10-06
CN102257562A (zh) 2011-11-23
JP2012513138A (ja) 2012-06-07
US8965000B2 (en) 2015-02-24
WO2010070016A1 (en) 2010-06-24
EP2377123B1 (en) 2014-10-29
EP2377123A1 (en) 2011-10-19
KR20110122667A (ko) 2011-11-10
JP5524237B2 (ja) 2014-06-18
RU2509442C2 (ru) 2014-03-10
BRPI0923174A2 (pt) 2016-02-16
CN102257562B (zh) 2013-09-11
US20110261966A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
KR101342425B1 (ko) 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터
JP5391203B2 (ja) バイノーラル音声信号を生成するための方法と装置
KR101358700B1 (ko) 오디오 인코딩 및 디코딩
JP4598830B2 (ja) 非相関信号を用いた音声符号化
KR101010464B1 (ko) 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성
JP4856653B2 (ja) 被送出チャネルに基づくキューを用いる空間オーディオのパラメトリック・コーディング
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
Breebaart et al. Background, concept, and architecture for the recent MPEG surround standard on multichannel audio compression
RU2419249C2 (ru) Аудиокодирование
JP4987736B2 (ja) オーディオ断片またはオーディオデータストリームの符号化ステレオ信号を生成するための装置および方法
JP2010511912A (ja) オーディオ処理方法及び装置
KR20180042397A (ko) 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
CN101371298A (zh) 用于解码信号的方法和装置
RU2427978C2 (ru) Кодирование и декодирование аудио
KR20110112376A (ko) 센드 이펙트 처리에 의한 출력 신호의 생성
JP2007104601A (ja) マルチチャンネル符号化における頭部伝達関数をサポートするための装置
EA047653B1 (ru) Кодирование и декодирование звука с использованием параметров преобразования представления
EA042232B1 (ru) Кодирование и декодирование звука с использованием параметров преобразования представления
HK1144870B (en) Method and apparatus for generating a binaural audio signal
HK1144870A (en) Method and apparatus for generating a binaural audio signal

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20110718

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110718

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120823

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130428

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131120

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131212

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161128

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201201

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20211122

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20221123

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20231128

Start annual number: 11

End annual number: 11