KR20120048045A - 출력 신호 합성 장치 및 방법 - Google Patents

Abstract

제 1 오디오 채널 신호 및 제 2 오디오 채널 신호를 갖는 출력 신호(350)를 합성하는 장치에 있어서, 다운믹스 신호에 기초한 역상관기 신호를 생성하기 위한 역상관기 스테이지(356)와, 파라메트릭 오디오 객체 정보(362), 다운믹스 정보(354) 및 타겟 렌더링 정보(360)에 기초한 역상관된 신호와 다운믹스 신호의 가중 결합을 수행하기 위한 혼합기(364)를 포함하는 것을 특징으로 하는 출력 신호 합성 장치.

혼합기는 멀티채널 다운믹스를 이용하여 복수의 개별적인 오디오 객체들의 높은 품질의 스테레오 장면 재생을 위한 매트릭싱과 역상관 관계의 최적의 결합에 대한 문제를 해결한다.

Description

출력 신호 합성 장치 및 방법{APPARATUS AND METHOD FOR SYNTHESIZING AN OUTPUT SIGNAL}

본 발명은 스테레오 출력 신호 또는 가능한 멀티채널 다운믹스와 부가적인 제어데이터에 기초한 보다 많은 오디오 채널 신호들을 가지고 있는 출력 신호와 같은 랜더링된 출력 신호(rendered output signal)의 합성에 관한 것이다. 보다 상세히, 멀티채널 다운믹스는 복수의 오디오 객체(object) 신호들의 다운믹스이다.

최근의 오디오 기술의 발전은 스테레오(또는 모노) 신호 및 대응되는 제어데이터에 기초한 오디오 신호의 멀티채널 표현의 재생을 용이하게 했다. 이러한 파라매트릭(parametric) 서라운드 코딩 방법들은 통상적으로 파라미터리제이션(parameterisation)을 포함한다. 파라메트릭 멀티채널 오디오 디코더(예들 들어 ISO/IEC 23003-1 [1], [2]에서 정의된 앰펙 서라운드 디코더(MPEG Surround decoder))는 부가적인 제어데이터를 이용하여 전송된 K개의 채널들에 기초하여 M개의 채널들을 재구축하며, 여기서 M>K이다. 제어데이터는 IID (Inter-channel Intensity Difference)와 ICC(Inter-Channel Coherence)에 기초한 멀티채널 신호의 파라미터리제이션(parameterisation)을 포함한다. 이러한 파라미터들은 일반적으로 인코딩 단계에서 추출되며, 전력비(power ratio)와 업-믹스 프로세서에서 사용된 채널 쌍(channel pairs)들 간의 상관관계를 나타낸다. 이러한 코딩기법의 사용은 M개의 모든 전송 채널들에 비하여 상당히 의미있는 보다 낮은 데이터 전송속도(data rate)에서의 코딩을 허용하고, K 채널 장치들과 M 채널 장치들 모두에 대하여 호환성을 보장하는 동시에 코딩을 매우 효율적으로 만든다.

보다 많이 관련된 코딩 시스템은 대응 오디오 객체 코더이며[3], [4] 여기서 몇몇 오디오 객체들은 제어데이터에 의해 인도되어 인코더에서 다운믹스드되고 나중에 업믹스드된다. 업믹싱 과정은 또한 다운믹스 내에서 혼합된 객체들의 분리로서 보여질 수 있다. 업믹스된 신호의 결과는 하나 또는 복수의 재생 채널들로 랜더링된될 수 있다. 보다 상세하게, [3, 4]는 (합 신호로서 참조되는) 다운믹스로부터 오디오 채널들을 합성하는 방법, 소스 객체들에 대한 통계적인 정보, 그리고 바람직한 출력 포맷을 묘사하는 데이터를 나타낸다. 몇몇의 다운믹스 신호들이 사용되는 경우에 있어, 이러한 다운믹스 신호들은 객체들의 서로 다른 서브셋들로 구성되고, 그리고 각각의 다운믹스 채널에 대하여 업믹싱이 개별적으로 수행된다.

스테레오 객체 다운믹스와 스테레오로 렌더링된 객체의 경우에 있어, 또는 앰펙 서라운드 디코더(MPEG surround decoder)에 의한 후속 프로세싱에 적합한 스테레오 신호의 생성의 경우에 있어, 시간과 주파수에 의존적인 매트릭싱 기법을 이용한 두 개 채널의 결합 프로세싱에 의해 중요한 성능 이득이 얻어질 수 있음은 당업계에서 주지된 사실이다. 오디오 객체 코딩의 범위 밖에서, WO2006/103584에서 하나의 스테레오 오디오 신호를 다른 스테레오 오디오 신호로 부분적으로 변환하기 위하여 관련된 기술이 적용된다. 또한, 일반적인 오디오 객체 코딩 시스템에 대하여, 바람직한 참조 신을 지각적으로 재생하기 위하여 렌더링하는 추가적인 역상관 관계 프로세스(decorrelation process)의 도입이 필요하다는 것은 이미 잘 알려진 사실이다. 그러나, 매트릭싱(matrixing)과 역상관 관계(decorrelation)의 공동적인 최적화된 결합에 대하여 설명하고 있는 종래기술은 존재하지 않는다. 종래 기술분야의 간단한 결합방법들은 멀티채널 객체 다운믹스에 의하여 성능의 비효율적이고 경직된 이용을 초래하거나 또는 객체 디코더 렌더링 결과에 있어 조잡한 스테레오 이미지 품질을 초래한다.

참조문헌 :

[1] L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, and K.

, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond,

Sweden, June 30-July 2, 2006.

[2] J. Breebaart, J. Herre, L. Villemoes, C. Jin, , K.

, J. Plogsties, and J. Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4, 2006.

[3] C. Faller, "Parametric Joint-Coding of Audio Sources," Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006.

[4] C. Faller, "Parametric Joint-Coding of Audio Sources," Patent application PCT/EP2006/050904, 2006.

본 발명의 목적은 랜더링된 출력 신호의 합성에 대한 개선된 개념을 제공하는 데 있다.

이러한 목적은 청구항 1항에 따른 랜더링된 출력 신호의 합성 장치, 청구항 27항에 따른 랜더링된 출력 신호의 합성방법, 청구항 28항에 따른 컴퓨터 프로그램에 의하여 달성된다.

본 발명은 두 개의(스테레오) 오디오 채널 신호들 또는 2개 이상의 오디오 채널 신호들을 갖는 랜더링된 출력 신호의 합성을 제공한다. 그러나, 많은 오디오 객체들의 경우에 있어, 합성된 오디오 채널 신호들의 수는 원본 오디오 객체들의 그 수에 비하여 작다. 그러나, 오디오 객체들의 수가 작거나(예를 들어 2) 또는 출력 채널들의 수가 2, 3 또는 그 이상인 경우에 있어, 오디오 출력 채널들의 수는 객체들의 수보다 더 클 수 있다. 랜더링된 출력 신호의 합성은 디코디드 오디오 객체들로의 완전한 오디오 객체 디코딩 오퍼레이션과 합성된 오디오 객체들의 후속적인 타켓 렌더링 없이 이루어진다. 대신, 랜더링된 출력 신호들의 연산은 다운믹스 정보, 타겟 렌더링 정보, 그리고 에너지 정보와 상관관계 정보와 같은 오디오 객체들을 설명하는 오디오 객체 정보에 기초한 파라미터 영역 내에서 이루어진다.

따라서, 합성 장치의 복잡한 구현의 큰 원인이 되는 역상관기들(decorrelators)의 수는 출력 채널들의 수보다 작아지도록 감소될 수 있으며, 그리고 심지어 오디오 객체들의 수보다 실질적으로 작아지도록 감소될 수도 있다. 상세하게, 단지 하나 또는 두 개의 역상관기를 가지는 합성기들(synthesizers)이 보다 높은 품질의 오디오 합성을 위하여 구현될 수 있다. 나아가, 완전한 오디오 객체 디코딩과 후속적인 타겟 렌더링이 수행되지 않는다는 사실로 인하여, 메모리와 컴퓨터 자원들의 절약이 가능하다. 나아가, 각각의 오퍼레이션은 잠재적인 아티팩트들(artifacts)을 도입한다. 따라서, 본 발명에 따른 연산은 파라미터들 내에서는 주어지지 않으나 최소한 두 개의 객체 다운믹스 신호들인 시간 영역 또는 서브밴드 영역 신호들로서 주어지는 오디오 신호들과 같은 파라미터 영역 내에서 바람직하게 수행된다. 오디오 합성이 수행되는 동안, 그것들은 하나의 역상관기가 사용된 경우 다운믹스드 폼(downmixed form)으로 역상관기에 도입되거나 또는 각각의 채널에 대한 역상관기가 사용된 경우 믹스드 폼(mixed form)으로 역상관기에 도입된다. 시간 영역 또는 필터 뱅크 영역 또는 믹스드 채널 신호들 상에서 수행되는 다른 오퍼레이션들은 단지 가중된 덧셈들 또는 가중된 감산들과 같은 가중된 결합들, 즉, 선형 오퍼레이션들이다. 따라서, 완전한 오디오 객체 디코딩 오퍼레이션과 후속적인 타겟 렌더링 오퍼레이션에 기인하여 아티팩트들의 도입이 회피된다.

바람직하게, 오디오 객체 정보는 예를 들어 객체 공분산 매트릭스(object covariance matrix)의 형태로 에너지 정보와 상관관계 정보로서 주어진다. 나아가, 주파수-시간 맵이 존재할 수 있도록 각각의 서브밴드와 각각의 타임 블록에 대하여 이러한 매트릭스가 활용될 수 있는 것이 선호되며, 여기서 각각의 맵 엔트리(map entry)는 이 서브밴드 내에서의 각 오디오 객체들의 에너지 그리고 대응되는 서브밴드 내에서의 오디오 객체들의 각 쌍들 사이의 상관관계를 설명하는 오디오 객체 공분산 매트릭스를 포함한다. 자연적으로, 이러한 정보는 특정 시간 블록 또는 시간 프레임 또는 오디오 신호의 시간 부분 또는 서브밴드 신호의 시간 부분과 관련된다.

바람직하게, 오디오 합성은 제1 또는 좌측 오디오 채널 신호와 제2 또는 우측 오디오 채널 신호를 가지는 랜더링된 스테레오 출력 신호로 수행된다. 따라서, 오디오 객체 코딩의 어플리케이션으로 접근할 수 있고, 말하자면 객체들을 스테레오로 렌더링하는 것이 최대한 참조 스테레오 렌더링(reference stereo rendering)에 가까워진다.

오디오 객체 코딩의 많은 어플리케이션들에 있어, 참조 스테레오 렌더링에 최대한 가깝도록 객체를 스테레오로 렌더링하는 것이 매우 중요하다. 참조 스테레오 렌더링에 근사화로서 스테레오 렌더링의 높은 품질을 달성하는 것은 스테레오 렌더링이 객체 디코더의 최종 출력인 경우와 스테레오 신호가 스테레오 다운믹스 모드에서 작동하는 앰펙 서라운드 디코더와 같은 후속 장치에 제공되는 경우 모두에 대한 오디오 품질과 관련하여 매우 중요하다.

본 발명은 오디오 객체 디코더가 적어도 하나 이상의 채널을 갖는 객체 다운믹스를 이용하는 오디오 객체 코딩 기법의 모든 가능성을 활용할 수 있도록 하는 매트릭싱과 역상관 관계 방법의 공동의 최적화된 결합을 제공한다.

본 발명의 실시예들은 다음과 같은 특징들을 포함한다. :

- 멀티채널 다운믹스, 객체들을 설명하는 제어데이터, 다운믹스를 설명하는 제어데이터, 그리고 렌더링 정보를 사용하는 다수의 개별적인 오디오 객체들의 렌더링을 위한 오디오 객체 디코더에 있어서,

- 멀티채널 다운믹스 채널들을 드라이 믹스 신호와 역상관기 입력신호로 선형적으로 통합하는 기능을 수행하고, 후속적으로 역상관기 입력신호를 역상관기 유닛에 제공하며, 역상관기의 출력 신호가 향상된 매트릭싱 유닛의 스테레오 출력을 포함하는 드라이 믹스 신호와의 채널-와이즈 합산(channel-wise addition)에 기반한 신호로 선형적으로 통합되도록 하는 기능을 수행하는 향상된 매트릭싱 유닛(enhanced matrixing unit)을 포함하는 스테레오 프로세서; 또는

- 객체들을 설명하는 제어데이터, 다운믹스를 설명하는 제어데이터 및 스테레오 렌더링 정보에 기반하여, 향상된 매트릭싱 유닛에 의해 사용되는 선형적인 결합에 대한 가중치를 연산하기 위한 매트릭스 계산기(matrix calculator)를 포함하는 오디오 객체 디코더.

도 1은 인코딩과 디코딩을 포함하는 오디오 객체 코딩의 오퍼레이션을 도시한 도면;
도 2a는 스테레오로 오디오 객체를 디코딩하는 오퍼레이션을 도시한 도면;
도 2b는 오디오 객체 디코딩 오퍼레이션을 도시한 도면;
도 3a는 스테레오 프로세서의 구성을 도시한 도면;
도 3b는 랜더링된 출력 신호 합성 장치를 도시한 도면;
도 4a는 드라이 신호 믹스 매트릭스(dry signal mix matrix) C ₀ , 사전 역상관기 믹스 매트릭스(a pre-decorrelator mix matrix) Q 및 역상관기 업믹스 매트릭스(decorrelator upmix matrix) P 를 포함하는 본 발명의 제1 측면을 도시한 도면;
도 4b는 사전 역상관기 믹스 매트릭스 없이 수행되는 본 발명의 다른 측면을 도시한 도면;
도 4c는 역상관기 업믹스 매트릭스 없이 수행되는 본 발명의 다른 측면을 도시한 도면;
도 4d는 부가적인 이득 보상 매트릭스(additional gain compensation matrix) G를 포함하여 수행되는 본 발명의 다른 측면을 도시한 도면;
도 4e는 하나의 역상관기가 사용되는 경우, 역상관기 다운 매트릭스 Q 와 역상관기 업믹스 매트릭스 P 의 실행을 도시한 도면;
도 4f는 드라이 믹스 매트릭스 C ₀ 의 실행을 도시한 도면;
도 4g는 드라이 신호 믹스의 결과와 역상관기 또는 역상관기 업믹스 오퍼레이션의 결과의 실제적 조합을 보다 상세하게 도시한 도면;
도 5는 다수의 역상관기를 가지는 멀티채널 역상관기 스테이지의 오퍼레이션을 도시한 도면;
도 6은 특정 ID에 의하여 식별되는 몇몇의 오디오 객체들을 지시하는 객체 오디오 파일과 결합 오디오 객체 정보 매트릭스(joint audio object information matrix) E를 갖는 맵을 도시한 도면;
도 7은 도 6의 객체 공분산 매트릭스(an object covariance matrix) E를 설명하기 위한 도면:
도 8은 다운믹스 매트릭스와 다운믹스 매트릭스에(downmix matrix) D 에 의하여 제어되는 오디오 객체 인코더를 도시한 도면;
도 9는 사용자에 의하여 통상적으로 제공되는 타겟 렌더링 매트릭스(target rendering matrix) A 와 상세한 타겟 렌더링 시나리오의 예를 도시한 도면;
도 10은 네 개의 상이한 실시예에 따른 도 4a 내지 4d의 매트릭스들의 매트릭스 구성요소를 결정하기 위하여 수행되는 사전-연산 단계들을 도시한 도면;
도 11은 제1 실시예에 따른 연산 단계들을 도시한 도면;
도 12는 제2 실시예에 따른 연산 단계들을 도시한 도면;
도 13은 세번째 실시예에 따른 연산 단계들을 도시한 도면; 및
도 14는 네번째 실시예에 따른 연산 단계들을 도시한 도면.

본 발명은 지금부터 첨부된 도면을 참조하여 도시된 예들에 의하여 설명될 것이되, 본 발명의 범위 또는 개념은 제한되지 아니한다.

이하에서 설명되는 실시예들은 본 발명에 따른 출력 신호 합성을 위한 장치 및 방법의 원리에 대한 예시에 불과하다. 여기서 설명되는 장치들과 상세한 내용들에 대한 변용들과 변화들이 당업자에게 자명하다는 것이 이해되어야 한다. 따라서, 본 발명은 이하에서의 실시예들에 대한 묘사와 설명에 의하여 표현된 상세한 내용에 의하여 제한되지 않고, 특허청구항의 범위에 의해서만 제한된다.

도 1은 객체 인코더(101)와 객체 디코더(102)를 포함하는 오디오 객체 코딩의 오퍼레이션을 도시한 도면이다. 공간적 오디오 객체 인코더(101)는 인코더 파라미터들에 따라 N개의 객체들을 K>1개의 오디오 채널들을 포함하는 객체 다운믹스로 인코드한다. 적용된 다운믹스 가중 매트릭스(downmix weight matrix)

에 대한 정보는 파워와 다운믹스의 상관관계에 관련된 선택적 데이터와 함께 객체 인코더에 의해 출력된다. 매트릭스

는 필연적이지는 않지만 주로 시간과 주파수에 대한 상수이고, 그리고 그 결과 상대적으로 작은 양의 정보를 나타낸다. 최종적으로, 객체 인코더는 지각적 연구들에 의해 정의된 해상도(resolution)에서의 시간과 주파수의 함수로서 각각의 객체에 대한 객체 파라미터들을 추출한다. 공간적 오디오 객체 디코더(102)는 객체 다운믹스 채널들, 다운믹스 정보, 및 객체 파라미터들(인코더에 의해 생성된)을 입력받고, 사용자에게 제공하기 위한 M개의 오디오 채널들을 갖는 출력을 생성한다. N개의 객체들을 M개의 오디오 채널들로 렌더링하는 것은 사용자가 객체 디코더에 입력함으로써 제공되는 렌더링 매트릭스(rendering matrix)를 이용한다.

도 2a는 바람직한 출력이 스테레오 오디오인 경우의 오디오 객체 디코더(102)의 구성요소를 도시한 도면이다. 오디오 객체 다운믹스는 스테레오 프로세서(201)로 공급되고, 스테레오 프로세서는 스테레오 오디오 출력을 위한 신호처리과정을 수행한다. 이러한 처리과정은 매트릭스 계산기(202)에 의해 제공되는 매트릭스 정보에 의존한다. 매트릭스 정보는 객체 파라미터들과 다운믹스 정보 및 공급된 객체 렌더링 정보로부터 도출되며, 여기서 객체 렌더링 정보는 렌더링 매트릭스 수단에 의하여 N개의 객체를 스테레오로 변환하는 희망되는 타겟 렌더링을 설명한다.

도 2b는 희망되는 출력이 일반적인 멀티채널 오디오 신호인 경우의 오디오 객체 디코더(102)의 구성요소를 도시한 도면이다. 오디오 객체 다운믹스는 스테레오 프로세서(201)로 공급되고, 스테레오 프로세서는 스테레오 오디오 출력을 위한 신호처리과정을 수행한다. 이러한 처리과정은 매트릭스 계산기(202)에 의해 제공되는 매트릭스 정보에 의존한다. 매트릭스 정보는 객체 파라미터들과 다운믹스 정보 및 감소된 객체 렌더링 정보로부터 도출되며, 여기서 감소된 객체 렌더링 정보는 렌더링 감소기(rendering reducer)(204)에 의해 출력된다. 감소된 객체 렌더링 정보는 렌더링 매트릭스 수단에 의하여 N개의 객체를 스테레오로 변환하는 희망되는 타겟 렌더링을 설명하고, 그리고 이것은 오디오 객체 디코더(102)로 공급되는 N개의 객체들을 M개의 오디오 채널들로의 렌더링을 설명하는 렌더링 정보, 객체 파라미터들, 그리고 객체 다운믹스 정보로부터 도출된다. 부가 프로세서(additional processor)(203)는 렌더링 정보, 다운믹스 정보 그리고 객체 파라미터들에 기반하여 스테레오 프로세서(201)에 의해 제공되는 스테레오 신호를 최종 멀티채널 오디오 출력으로 변환한다. 스테레오 다운믹스 모드에서의 앰펙 서라운드 디코더 오퍼레이팅은 부가 프로세서의 전형적인 주요 구성요소이다.

도 3a는 스테레오 프로세서(201)의 구조를 도시한 도면이다. 비트스트림 포맷으로 주어지는 전송된 객체 다운믹스는 K 채널 오디오 인코더로부터 출력되고, 이 비트스트림은 오디오 디코더(301)에 의하여 첫번째로 K 시간영역 오디오 신호들로 디코드된다. 그리고 이러한 신호들은 모두 T/F 유닛(302)에 의하여 주파수영역으로 변환된다. 스테레오 프로세서(201)에 공급되는 매트릭스 정보에 의하여 정의되는 시간과 주파수 가변적인 본 발명에 따른 향상된 매트릭싱(time and frequency varying inventive enhanced matrixing)이 향상된 매트릭싱 유닛(enhanced matrixing unit)(303)에 의하여 주파수 영역 신호들

에 대하여 수행된다. 이 유닛은 주파수 영역에서 스테레오 신호

를 출력하고, 스테레오 신호

는 F/T 유닛(304)에 의하여 시간 영역 신호로 변환된다.

도 3b는 스테레오 렌더링 오퍼레이션의 경우에 있어 제1 오디오 채널신호와 제2 오디오 채널신호를 가지거나 또는 보다 높은 채널 렌더링의 경우에 있어 적어도 두 개 이상의 출력 채널신호들을 가지는 랜더링된 출력 신호(350)을 합성하기 위한 장치를 도시한 도면이다. 그러나, 출력 채널들의 수가 셋 또는 그 이상과 같이 상대적으로 더 큰 오디오 객체들의 수는 바람직하게는 다운믹스 신호(352)에 공헌된 원본 오디오 객체들의 수 보다 작다. 상세하게, 다운믹스 신호(352)는 최소한 제1 객체 다운믹스 신호와 제2 객체 다운믹스 신호를 가지고, 여기서 다운믹스 신호는 다운믹스 정보(354)에 대응되는 복수의 오디오 객체 신호들의 다운믹스를 나타낸다. 상세하게, 도 3b에 도시된 바와 같은 본 발명에 따른 오디오 합성기는 역상관된 단일 채널 신호 또는 두 개의 역상관기를 가지는 경우에 제1 역상관된 채널 신호와 제2 역상관된 채널신호 또는 세 개 또는 그 이상의 역상관기를 가지는 실시예의 경우에 있어 두 개 이상의 역상관기 채널 신호들을 가지는 역상관된 신호(decorrelated signal)를 생성하는 역상관기 스테이지(decorrelator stage)(356)를 포함한다. 그러나, 보다 작은 수의 역상관기들과, 그에 따른 보다 작은 수의 역상관된 채널 신호들은 역상관기에 의해 초래되는 실행의 복잡성으로 인하여 보다 높은 수의 역상관기들과 역상관된 채널신호들 보다 선호된다. 바람직하게, 역상관기들의 수는 다운믹스 신호(352)에 포함된 오디오 객체들의 수보다 작고, 출력 신호(352) 내의 채널 신호들의 수와 동일하거나 또는 랜더링된 출력 신호(350) 내의 오디오 채널 신호들의 수보다 작은 것이 바람직하다. 그러나, 보다 작은 수의 오디오 객체들(예를 들어 2 또는 3)에 대하여, 역상관기들의 수는 동일하거나 또는 심지어 오디오 객체들의 수 보다 더 클 수도 있다.

도 3b에 도시된 바와 같이, 역상관기 스테이지는 입력으로서 다운믹스 신호(352)를 수신하고, 출력 신호로서 역상관된 신호(358)를 생성한다. 다운믹스 정보(354)에 더하여, 타겟 렌더링 정보(360)와 오디오 객체 파라미터 정보(362)가 제공된다. 상세하게, 오디오 객체 파라미터 정보는 최소한 혼합기(combiner)(364)에서 사용되며, 후술되는 바와 같이 선택적으로 역상관기 스테이지(356)에서 사용될 수도 있다. 오디오 객체 파라미터 정보(362)는 바람직하게 0과 1 사이의 수 또는 특정 값의 범위 내에서 정의되는 특정 수와 같은 파라미터화된 형태로 오디오 객체를 설명하는 에너지와 상관관계 정보를 포함하며, 그리고 오디오 객체 파라미터 정보는 후술되는 바와 같은 에너지, 파워 또는 두 개의 오디오 객체들 사이의 상관관계 측정 값을 지시한다.

혼합기(364)는 다운믹스 신호(352)와 역상관된 신호(358)의 가중된 결합을 수행하도록 구성된다. 나아가, 혼합기(364)는 다운믹스 정보(354)와 타겟 렌더링 정보(360)로부터 가중된 결합을 수행하기 위한 가중 인자들을 산출하도록 구성될 수도 있다. 타겟 렌더링 정보는 가상 재생 셋업 내에서의 오디오 객체들의 가상 위치들을 지시하고, 제1 출력 채널 또는 제2 출력 채널, 즉, 스테레오 렌더링에 대하여 좌측 출력 채널 또는 우측 출력 채널 내에서 특정 객체가 랜더링될지 여부를 결정하기 위한 오디오 객체들의 상세한 위치를 지시한다. 그러나, 멀티채널 렌더링이 수행되는 경우, 타겟 렌더링 정보는 부가적으로 좌측 서라운드 또는 우측 서라운드 또는 중앙 채널 등에서 특정 채널이 어느 정도에 위치될지를 얼마간 지시한다. 어떠한 렌더링 시나리오도 수행될 수 있으나, 후술되는 바와 같이 통상적으로 사용자에 의해 제공되는 타겟 렌더링 매트릭스의 형태인 타겟 렌더링 정보에 기인하여 각각의 렌더링 시나리오들은 서로 상이할 것이다.

최종적으로, 혼합기(364)는 오디오 객체들을 설명하는 에너지 정보와 상관관계정보를 지시하는 오디오 객체 파라미터 정보(362)를 사용한다. 일 실시예에 있어, 오디오 객체 파라미터 정보는 시간/주파수 평면 내에서 각각의 "타일(tile)"에 대한 오디오 객체 공분산 매트릭스로서 주어진다. 다르게 말하면, 각각의 서브밴드와 각각의 시간 블록에 대하여, 완전한 객체 공분산 매트릭스, 즉, 파워/에너지 정보와 상관관계 정보를 가지는 매트릭스는 오디오 객체 파라미터 정보(362)로서 제공된다.

도 3b와 도 2a 또는 2b를 비교하면, 도 1의 오디오 객체 디코더(102)가 랜더링된 출력 신호를 합성하기 위한 장치에 대응됨은 명백하다.

나아가, 스테레오 프로세서(201)은 도 3b의 역상관기 스테이지(356)를 포함한다. 다른 한편으로, 혼합기(364)는 도 2a의 매트릭스 계산기를 포함한다. 나아가, 역상관기 스테이지(356)는 역상관기 다운믹스 오퍼레이션을 포함하고, 매트릭스 계산기(202)의 이러한 부분은 혼합기(364)에 포함되기보다는 역상관기 스테이지(356)에 포함된다.

그럼에도 불구하고, 소프트웨어 내에서 또는 전용의 디지털 신호 프로세서 내에서 또는 심지어 범용의 개인용 컴퓨터 내에서 구현되는 본 발명에 따른 실행은 본 발명의 범위 내에 있으므로, 여기서 어떠한 특정 기능의 상세한 위치는 결정적이지 않다. 따라서, 특정 블록으로의 특정 기능의 귀속은 하드웨어 내에서 본 발명을 구현하기 위한 하나의 방법이다. 그러나, 모든 블록 회로 다이어그램들이 작동 단계들의 특정 흐름을 설명하기 위한 플로우 챠트들로 간주되는 경우, 특정 블록에 특정 기능이 공헌되도록 하는 것은 자유롭게 가능하며 실시의 요구조건들 또는 프로그래밍 요구조건들에 따라 완료될 수 있다는 것이 명확해진다.

나아가, 도 3a와 도 3b를 비교하면, 가중 결합을 위하여 가중 인자들(weighting factors)을 산출하는 혼합기(364)의 기능이 매트릭스 계산기(202)에 포함되는 것이 명확해진다. 다르게 말하면, 매트릭스 정보는 혼합기(364) 내에 구현되는 향상된 매트릭스 유닛(303)에 적용되는 가중 인자들의 집합을 포함하지만, 그러나 향상된 매트릭스 유닛은 또한 역상관기 스테이지(356)의 일부분을 포함할 수 있다(매트릭스 Q와 관련되어 후술됨). 따라서, 향상된 매트릭싱 유닛(303)은 최소한 두 개의 객체 다운믹스 신호들의 서브밴드들의 혼합기능을 수행하고, 여기서 매트릭스 정보는 혼합기능을 수행하기 전에 이러한 최소한 두 개의 다운믹스 신호들 또는 역상관된 신호에 가중치를 부여하기 위한 가중 인자들을 포함한다.

계속하여, 보다 바람직한 실시예에 따른 혼합기(364)와 역상관기 스테이지(356)의 상세한 구조가 논의된다. 보다 상세하게, 혼합기(364)와 역상관기 스테이지(356)의 기능에 대한 몇몇의 상이한 실시예들이 도 4a 내지 4d를 참조하여 논의된다. 도 4e 내지 4g는 도 4a 내지 4d의 실시예들에 대한 상세한 구성들을 도시한 도면이다. 도 4a 내지 4d에 대하여 상세하게 논의하기에 앞서, 이러한 실시예들의 일반적인 구성이 논의된다. 각각의 형태는 역상관된 신호에 관련된 위쪽 가지(upper branch)와 드라이 신호에 관련된 아래쪽 가지(lower branch)를 포함한다. 나아가, 각 가지의 출력 신호, 즉, 라인(450)의 신호와 라인(452)의 신호는 최종적인 랜더링된 출력 신호(350)를 획득하기 위하여 혼합기(454)에서 결합된다. 일반적으로, 도 4a에 도시된 시스템은 세 개의 매트릭스 프로세싱 유닛(401, 402, 404)을 도시한다. 매트릭스 프로세싱 유닛(401)은 드라이 신호 믹스 유닛(dry signal mix unit)이다. 드라이 신호 가지로부터 가산기(454)로 입력되는 신호들에 상응되는 두 개의 드라이 믹스 객체 신호들을 획득하기 위하여, 최소한 두 개의 객체 다운믹스 신호들(352)이 가중되고 및/또는 서로 결합된다. 그러나, 드라이 신호 가지는 또 다른 매트릭스 프로세싱 유닛, 즉, 도 4d에 도시된 바와 같은 드라이 신호 믹스 유닛(401)의 뒤쪽에 연결되는 이득 보상 유닛(gain compensation unit)(409)을 가질 수도 있다.

나아가, 혼합기 유닛(364)은 역상관기 업믹스 매트릭스 P를 가지는 역상관기 업믹스 유닛(404)을 포함하거나 또는 포함하지 않을 수 있다.

자연적으로, 대응되는 실행이 당연히 가능함에도 불구하고, 매트릭싱 유닛들(404, 401, 409(도 4d))과 결합 유닛(454)의 분리는 단지 인위적인 참(true)이다. 그러나, 선택적으로, 이러한 매트릭스들의 기능들은 입력으로서 역상관된 신호(358)와 다운믹스 신호(352)를 수신하고, 두 개 또는 세 개 또는 그 이상의 랜더링된 출력 채널들(350)을 출력하는 단일의 "큰" 매트릭스를 통해 구현될 수 있다. 이러한 "큰 매트릭스"의 구현에 있어, 라인(450)과 라인(452)의 신호들이 필연적으로 발생하는 것은 아니지만, 그러나 비록 라인(450)과 라인(452)의 신호 중합결과가 명백한 방식으로 결코 발생하지 않을 지라도, 매트릭싱 유닛들(404, 401, 또는 409)과 혼합기 유닛(454)에 의하여 수행되는 상이한 서브-오퍼레이션들에 의하여 이 매트릭스의 적용 결과가 표현된다는 점에서 이러한 "큰 매트릭스"의 기능이 설명될 수 있다.

나아가, 역상관기 스테이지(356)는 사전-역상관기 믹스 유닛(pre-decorrelator mix unit)(402)을 포함하거나 또는 포함하지 않을 수 있다. 도 4b는 이러한 유닛이 제공되지 않는 상황을 도시한다. 두 개의 다운믹스 채널 신호들에 대한 두 개의 역상관기가 제공되고 그리고 상세한 다운믹스가 필요하지 않는 경우, 이는 특히 유용하다. 자연적으로, 두 개의 신호가 특정한 실행 요구조건에 의존하는 역상관기 스테이지로 입력되기 전에, 하나의 역상관기가 특정 이득 팩터들을 두 개의 다운믹스 채널들에 적용하거나 또는 하나의 역상관기가 두 개의 다운믹스 채널들을 믹스할 수도 있다. 그러나, 다른 한편으로 매트릭스 Q의 기능 또한 특정 매트릭스 P에 포함될 수 있다. 이는 비록 동일한 결과가 얻어진다 하더라도, 도 4b에 도시된 매트릭스 P와 도 4a에 도시된 매트릭스 P가 상이하다는 것을 의미한다. 이러한 관점에서, 역상관기 스테이지(356)는 어떠한 매트릭스도 전혀 포함하지 않을 수도 있으며, 완전한 매트릭스 정보 계산은 혼합기에서 수행되고 매트릭스들의 완전한 적용 또한 혼합기에서 수행된다. 그러나, 이러한 매트릭스들의 기술적 기능들을 보다 잘 표현하기 위한 목적으로, 본 발명에 대한 후술되는 설명은 도 4a 내지 도 4d에 도시된 바와 같은 상세하고 기술적으로 명쾌한 매트릭스 프로세싱 기법을 이용하는 것에 대하여 수행될 것이다.

도 4a는 본 발명의 향상된 매트릭싱 유닛(303)의 구조를 도시한다. 최소한 두 개의 채널들을 포함하는 입력

는 드라이 믹스 매트릭스

에 따라 매트릭스 오퍼레이션을 수행하고 스테레오 드라이 업믹스 신호

를 출력하는 드라이 신호 믹스 유닛(401)에 공급된다. 입력

는 또한 사전-역상관기 믹스 매트릭스

에 따라 매트릭스 오퍼레이션을 수행하고 역상관기 유닛(403)으로 공급되는 N_d채널 신호를 출력하는 사전-역상관기 믹스 유닛(402)에 공급된다. 결과로서 생성되는 N_d채널 역상관된 신호

는 이어서 역상관기 업믹스 매트릭스

에 따라 매트릭스 오퍼레이션을 수행하고 역상관된 스테레오 신호를 출력하는 역상관 업믹스 유닛(404)에 공급된다. 최종적으로, 역상관된 스테레오 신호는 향상된 매트릭싱 유닛의 출력 신호

를 형성하기 위하여 스테레오 드라이 업믹스 신호

와의 단순한 채널-와이즈 합산에 의하여 믹스된다. 세가지 믹스 매트릭스들

은 모두 매트릭스 계산기(202)에 의하여 스테레오 프로세서(201)에 공급되는 매트릭스 정보에 의하여 설명된다. 종래기술에 따른 어떤 시스템은 단순히 더 적은 드라이 신호 가지만을 포함할 수 있다. 이러한 종래기술에 따른 시스템은 스테레오 음악 객체가 하나의 객체 다운믹스 채널에 포함되고 모노 음성 객체가 다른 객체 다운믹스 채널에 포함되는 간단한 경우에도 불완전하게 작동되었었다. 이는 비록 역상관 관계를 포함하는 파라메틱 스테레오 접근이 보다 높은 인지된 오디오 품질을 달성하는 것으로 알려져 있다 하더라도, 음악을 스테레오로 렌더링하는 것이 전적으로 주파수 선택적 패닝(frequency selective panning)에 의존하기 때문이다. 역상관화를 포함하지만 그러나 두 개의 분리된 모노 객체 다운믹스들에 기반한 완전히 상이한 종래기술에 따른 시스템은 이러한 특정한 예에 비하여 더 좋게 작동되었었지만, 그러나 다른 한편으로는 음악이 진짜 스테레오로 보존되고 그리고 음성이 동일한 가중치를 가지고 두 개의 객체 다운믹스 채널들에 믹스된 백워드 호환 다운믹스(backwards compatible downmix)의 경우에 있어, 첫번째로 언급된 드라이 스테레오 시스템과 동일한 품질을 갖는다. 일례로서 스테레오 음악 객체만으로 구성된 가라오케-타입 타겟 렌더링(Karaoke-type target rendering)의 경우를 고려한다. 각각의 다운믹스 채널들의 분리 취급은 상호-채널 상관관계(inter-channel correlation)와 같은 전송된 스테레오 오디오 객체 정보를 고려하는 공동 취급에 비하여 음성 객체의 보다 작은 최적의 압축을 허용한다. 본 발명의 중요한 특징은 이러한 단순한 상황들에서뿐만 아니라 객체 다운믹스와 렌더링의 보다 복잡한 결합에 대해서도 가능한 최상의 오디오 품질을 가능하도록 하는 것이다.

도 4b는 전술한 바와 같이 도 4a와 대비되어, 사전-역상관기 믹스 매트릭스 Q 가 필요하지 않거나 또는 역상관기 업믹스 매트릭스 P 에 "흡수"된 상황을 도시한다.

도 4c는 사전-역상관기 믹스 매트릭스 Q가 역상관기 스테이지(356)에서 제공되고 수행되며, 여기서 역상관기 업믹스 매트릭스 P는 필요하지 않거나 또는 매트릭스 Q에 "흡수"된 상황을 도시한다.

나아가, 도 4d는 도 4a와 동일한 매트릭스들이 제공되고, 부가적인 이득 보상 매트릭스 가 제공되는 상황을 도시한 것으로서, 도 13을 참조하여 후술되는 세번째 실시예와 도 14를 참조하여 후술되는 네번째 실시예에서 특별히 유용하다.

역상관기 스테이지(356)은 단일 역상관기 또는 두 개의 역상관기들을 포함할 수 있다. 도 4e는 단일 역상관기(403)가 제공되고, 그리고 다운믹스 신호가 2-채널 객체 다운믹스 신호이며, 출력 신호가 2-채널 오디오 출력 신호인 상황을 도시한다. 이 경우, 역상관기 다운믹스 매트릭스는 하나의 행과 두 개의 열을 가지고, 역상관기 업믹스 매트릭스는 하나의 열과 두 개의 행을 가진다. 그러나, 다운믹스 신호가 만일 두 개 이상의 채널들을 갖는 경우 Q의 열의 수는 다운믹스 신호의 채널들의 수와 동일하게 될 것이고, 그리고 합성된 랜더링된 출력 신호는 두 개 이상의 채널들을 갖는 경우 역상관기 업믹스 매트릭스 P는 랜더링된 출력 신호의 채널들의 수와 동일한 숫자의 행을 가질 것이다.

도 4f는 C ₀ 로 지시되는 드라이 신호 믹스 유닛(401)의 회로-유사 실시을 도시한 것으로서, 2X2 실시예에서 C ₀ 는 2행과 2열을 갖는다. 매트릭스의 구성요소들이 회로-유사 구조에서 가중 인자들 c_ij 와 같이 도시되어 있다. 나아가, 가중된 채널들은 도 4f에서 보여지는 바와 같은 가산기(adders)를 이용하여 결합된다. 그러나, 다운믹스 채널들의 수가 랜더링된 출력 신호 채널들의 수와 상이한 경우, 드라이 믹스 매트릭스 C ₀ 는 정사각 매트릭스가 아닌 행과 열의 수가 다른 매트릭스가 될 것이다.

도 4g는 도 4a의 가산 스테이지(adding stage)(454)의 상세한 기능을 도시한다. 상세하게, 좌측 스테레오 채널 신호와 우측 스테레오 채널신호와 같은 두 개의 출력 채널들의 경우에 대하여, 도 4g에 도시된 바와 같은 역상관된 신호와 관련된 위쪽 가지와 드라이 신호와 관련된 아래쪽 가지로부터 출력 신호를 결합하는 2개의 상이한 가산 스테이지(454)가 제공된다.

이득 보상 매트릭스 G(409)에 관하여, 이득 보상 매트릭스의 구성요소들은 단지 매트릭스 G의 대각선상에만 존재한다. 도 4f의 드라이 신호 믹스 매트릭스 C ₀ 와 같은 2X2의 경우에 있어, 좌측 드라이 신호의 이득-보상을 위한 이득 팩터는 c₁₁의 자리에 위치하고, 우측 드라이 신호의 이득-보상을 위한 이득 팩터는 c₂₂의 자리에 위치할 것이다. 도 4d의 409에 도시된 바와 같은 2X2이득 매트릭스 G 내에서 c₁₂와 c₂₁의 값은 0이 될 것이다.

도 5는 종래기술에 따른 멀티채널 역상관기(403)의 동작을 도시한다. 이러한 도구는 예를 들어 앰펙 서라운드에 이용된다. 신호 1, 신호 2,…, 신호 N_d까지 N_d개의 신호들은 각각 역상관기 1, 역상관기 2,……, 역상관기 N_d로 공급된다. 각각의 역상관기는 전형적으로 입력신호 파워가 유지되는 동안 가능한한 입력과 상관관계가 없는(uncorrelated) 출력을 생성하기 위한 목적의 필터를 포함한다. 나아가, 상이한 역상관기 필터들은 페어와이즈 센스(pairwise sense) 내에서 역상관기 신호 1, 역상관기 신호 2,……, 역상관기 신호 N_d까지의 출력들 또한 가능한한 상관관계가 없게 할 수 있도록 선택된다. 역상관기들은 오디오 객체 디코더의 다른 부분들에 비하여 전형적으로 높은 연산 복잡성을 가지므로, N_d의 수를 가능한한 작게 유지하는 것이 중요하다.

본 발명은 1, 2 또는 그 이상의 그러나 오디오 객체들의 수보다는 작은 N_d에 대한 해결책을 제공한다. 상세하게, 바람직한 실시예에서 역상관기들의 수는 랜더링된 출력 신호의 오디오 채널 신호들의 수와 동일하거나 또는 랜더링된 출력 신호(350)의 오디오 채널 신호들의 수 보다 작다.

후술되는 본문에서, 본 발명의 수학적 설명이 기술된다. 여기서 고려되는 모든 신호들은 이산 시간 신호들(discrete time signals)의 변조 필터뱅크(modulated filter bank) 또는 윈도우 FFT 분석(windowed FFT analysis)으로부터의 서브밴드 샘플들이다. 이러한 서브밴드들이 상응되는 합성 필터 뱅크 오퍼레이션들(synthesis filter bank operations)에 의하여 이산 시간 영역으로 다시 변환되어야만 한다. L개 샘플들의 신호 블록은 신호 특성들의 설명에 적용되는 시간-주파수 평면의 지각적으로 활성화된 타일링(tiling)의 일 부분인 시간과 주파수 간격 내에서의 신호를 의미한다. 이러한 설정에 있어, 주어진 오디오 객체들은 수학식 1과 같은 L개의 열과 N개의 행의 매트릭스로 표현될 수 있다.

도 6은 N개의 객체를 가지는 오디오 객체 맵의 일 실시예를 도시한다. 도 6의 예시적 설명 내에서, 각각의 객체들은 객체 ID, 대응되는 객체 오디오 파일 그리고, 중요한, 바람직하게 오디오 객체의 에너지와 오디오 객체의 상호-객체 상관관계(inter-object correlation)에 관련된 정보인 오디오 객체 파라미터 정보를 갖는다. 상세하게, 오디오 객체 파라미터 정보는 각각의 서브밴드와 각각의 시간 블록에 대한 객체 공분산 매트릭스(object co-variance matrix) E를 포함한다. 객체 오디오 파라미터 정보 매트릭스 E의 일례가 도 7에 도시되어 있다. 대각 구성요소 e_ii는 대응되는 서브밴드와 대응되는 시간 블록 내의 오디오 객체 i의 파워 또는 에너지 정보를 포함한다.

이러한 목적으로, 특정 오디오 객체 i 를 나타내는 서브밴드 신호는 예를 들어 어느 정도의 정규화(normalization)를 이용하여 또는 정규화 없이 e₁₁의 값을 획득하기 위한 자동 상관관계 기능(auto correlation function, acf)을 수행할 수도 있는 파워 또는 에너지 계산기에 입력된다. 선택적으로, 에너지는 특정 길이에 걸친 신호의 제곱들(즉, 벡터 곱: ss*)의 합으로 계산될 수 있다. Acf는 어떤 면에서는 에너지의 스펙트럼 분배를 설명하지만, 그러나 주파수 선택에 대한 T/F 변환이 보다 바람직하게 사용된다는 사실에 기인하여 에너지 계산은 각각의 서브밴드에 대한 acf 없이 개별적으로 수행될 수 있다. 따라서, 객체 오디오 파라미터 매트릭스 E의 메인 대각 구성요소들은 특정 시간 블록 내의 특정 서브밴드에 속하는 오디오 객체의 에너지의 파워에 대한 측정 값을 지시한다.

다른 한편으로, 비대각선 구성요소(off-diagonal element) e_ij는 대응되는 서브밴드와 시간 블록 내에서 오디오 객체 i와 j 사이의 각각의 상관관계 측정 값을 지시한다. 도 7로부터 매트릭스 E는-실수 값을 갖는 입력들에 대한- 메인 대각선에 대하여 대칭적이다. 일반적으로, 이러한 매트릭스는 에르미트 매트릭스(hermitian matrix)이다. 상관관계 측정 값 구성요소 e_ij는 예를 들어, 정규화되거나 또는 정규화되지 않은 교차 상관관계 측정 값을 획득할 수 있도록 하는 각각의 오디오 객체들의 2개의 서브밴드 신호들의 교차 상관관계(cross correlation)에 의하여 계산될 수 있다. 교차 상호관계 오퍼레이션을 이용하여 계산되는 것이 아니라 두 개의 신호들 사이의 상관관계를 결정하는 다른 방법에 의하여 계산된 다른 상호관계 측정 값들이 사용될 수 있다. 실용적인 이유들로 인하여, 매트릭스 E의 모든 구성요소들은 0과 1 사이에서 크기들(magnitudes)을 가지도록 정규화되고, 여기서 1은 최대 파워 또는 최대 상관관계를 지시하고 0은 최소 파워(제로 파워)를 지시하며 그리고 -1은 최소 상관관계(아웃 오브 페이즈, out of phase)를 지시한다.

수학식 2에 나타난 바와 같이,

인

크기의 다운믹스 매트릭스 D는 매트릭스 곱을 통하여

개의 행을 갖는 매트릭스 형태로

채널 다운믹스 신호를 결정한다.

도 8은 다운믹스 매트릭스 구성요소들 d_ij를 갖는 다운믹스 매트릭스 D의 일 실시예를 도시한다. 이러한 구성요소 d_ij는 객체 j의 부분 또는 전체가 객체 다운믹스 신호 i에 포함되었는지 여부를 지시한다. 예를 들어, d₁₂가 0인 경우, 이는 객체 2가 객체 다운믹스 신호 1에 포함되어 있지 않음을 의미한다. 반면, d₂₃의 값이 1인 경우, 이는 객체 3이 객체 다운믹스 신호 2에 완전히 포함되어 있음을 의미한다.

다운믹스 매트릭스 구성요소들의 값들은 0과 1 사이에서 가능하다. 상세하게, 0.5의 값은 특정 객체가 다운믹스 신호 내에 포함되어 있으나 단지 절반의 에너지만 포함되어 있음을 지시한다. 따라서, 객체 번호 4와 같은 오디오 객체가 양쪽의 다운믹스 신호 채널들에 균등하게 분배된 경우, d₂₄와 d₁₄는 0.5로 동일할 것이다. 이러한 다운믹싱 방법은 몇몇의 상황들에 있어 선호되는 에너지-보존 다운믹스 오퍼레이션(energy-conserving downmix operation)이다. 그러나 선택적으로, 에너지 비보존 다운믹스(non-energy conserving downmix) 역시 이용될 수 있으며, 여기서 그 오디오 객체의 에너지가 다운믹스 신호 내의 다른 오디오 객체들에 비하여 두배가 될 수 있도록 그 전체 오디오 객체가 좌측 다운믹스 채널과 우측 다운믹스 채널로 인도된다.

도 8의 아래 부분에, 도 1의 객체 인코더(101)의 개략적인 다이어그램이 주어진다. 상세하게, 객체 인코더(101)는 두 개의 상이한 부분(101a, 101b)을 포함한다. 101a 부분은 바람직하게 오디오 객체들 1, 2, ……, N의 가중된 선형 결합을 수행하는 다운믹서(downmixer)이고, 객체 인코더(101)의 두번째 부분은 파라메트릭 정보이므로 따라서 낮은 비트 레이트로 전송될 수 있거나 또는 메모리 자원의 작은 양을 소비하여 저장될 수 있는 오디오 에너지와 상관관계 정보를 제공하기 위하여 각각의 시간블록 또는 서브밴드에 대한 매트릭스 E와 같은 오디오 객체 파라미터 정보를 계산하는 오디오 객체 파라미터 계산기(audio object parameter calculator)(101b)이다.

수학식 3에 나타난 바와 같이, 사용자에 의해 제어된

크기의 객체 렌더링 매트릭스

는 매트릭스 곱을 통하여

개의 행을 가지는 형태로 오디오 객체들의

채널 타겟 렌더링을 결정한다.

초점이 스테레오 렌더링에 관한 것이므로, 이하에서는

인 것으로 가정한다. 두 개 이상의 채널들로의 초기 렌더링 매트릭스와, 이러한 몇몇의 채널들을 두 개의 채널로 변환하는 다운믹스 규칙이 주어지면, 당업자에게 스테레오 렌더링을 위한 대응되는

크기의 렌더링 매트릭스 A를 도출하는 것은 자명할 것이다. 이러한 감소는 렌더링 감소기(rendering reducer)(204)에서 수행된다. 또한, 단순화를 위하여 객체 다운믹스 역시 스테레오 신호가 될 수 있도록

로 가정한다. 스테레오 객체 다운믹스의 케이스는 더욱이 응용 시나리오들과 관련하여 가장 중요한 특별한 케이스이다.

도 9는 타겟 렌더링 매트릭스 A에 대한 상세한 설명을 도시한다. 응용에 따라 타겟 렌더링 매트릭스 A는 사용자에 의해 제공될 수 있다. 사용자는 지시할 수 있는 완전한 자유를 가지고, 여기서 오디오 객체는 재생 셋업에 대하여 가상적인 방식으로 위치되어야만 한다. 오디오 객체 개념의 강점은 다운믹스 정보와 오디오 객체 파라미터 정보가 오디오 객체들의 특정한 로컬라이제이션(localization)에 완전히 독립적이라는 것이다. 오디오 객체들의 이러한 로컬라이제이션은 타겟 렌더링 정보의 형태로 사용자에 의해 제공된다. 바람직하게, 타겟 렌더링 정보는 도 9에 도시된 매트릭스의 형태일 수도 있는 타겟 매트릭스 A와 같이 구현될 수 있다. 상세하게, 렌더링 매트릭스 A는 M개의 행과 N개의 열을 갖고, 여기서 M은 랜더링된 출력 신호의 채널들의 수와 동일하고, N은 오디오 객체들의 수와 동일하다. M은 선호되는 스테레오 렌더링 시나리오에 있어 2이지만, 그러나 만일 M-채널 렌더링이 수행되는 경우 매트릭스 A는 M개의 행을 갖는다.

상세하게, 매트릭스 구성요소 a_ij는 객체 j의 부분 또는 전체가 특정 출력 채널 i에 랜더링된 되었는지 여부를 지시한다. 도 9의 아래쪽 부분은 시나리오의 타겟 렌더링 매트릭스의 간단한 일례를 도시하고, 이 시나리오 내에는 AO1로부터 AO6까지 6개의 오디오 객체들이 존재하며, 여기서 단지 처음 다섯개의 오디오 객체들만이 특정 위치들에 랜더링된되고, 여섯번째 오디오 객체는 전혀 랜더링된되지 않는다.

오디오 객체 AO1에 관하여, 사용자는 이 오디오 객체가 재생 시나리오의 좌측면에 랜더링된되기를 원한다. 따라서, 이 객체는 (가상) 재생 룸 내에서 좌측 스피커에 위치되고, 그 결과로서 렌더링 매트릭스 A 의 첫번째 열이 (10)이 된다. 두번째 오디오 객체에 관하여, a₂₂는 1이고 a₁₂는 0이며, 이는 두번째 오디오 객체가 우측면에 랜더링된되는 것을 의미한다.

오디오 객체 3은 오디오 객체의 레벨 또는 신호의 50%가 좌측 채널로 입력되고 오디오 객체의 레벨 또는 신호의 50%가 우측 채널로 입력될 수 있도록 좌측 스피커와 우측 스피커 사이의 중간에 랜더링된되며, 그 때문에 타겟 렌더링 매트릭스 A 의 대응되는 세번째 열은 (0.5 length 0.5)가 된다.

유사하게, 좌측 스피커와 우측 스피커 사이의 어떠한 위치도 타겟 렌더링 매트릭스에 의하여 지시될 수 있다. 오디오 객체 4에 관하여, 매트릭스 구성요소 a₂₄가 a₁₄ 보다 크기 때문에, 위치는 보다 우측으로 치우친다. 유사하게, 다섯번째 오디오 객체 A05는 타겟 렌더링 매트릭스 구성요소 a₁₅와 a₂₅에 의하여 지시되는 바와 같이 좌측 스피커에 보다 치우쳐 랜더링된된다. 타겟 렌더링 매트릭스 A 는 부가적으로 특정 오디오 객체를 전혀 렌더링하지 않는 것도 허용한다. 이는 0의 구성요소를 가지는 타겟 렌더링 매트릭스 A의 여섯번째 열에 의하여 예시적으로 도시된다.

초점이 스테레오 렌더링에 관한 것이므로, 이하에서는

인 것으로 가정한다. 두 개 이상의 채널들에 대한 초기 렌더링 매트릭스와, 이러한 몇몇의 채널들을 두 개의 채널로 변환하는 다운믹스 규칙이 주어지면, 당업자에게 스테레오 렌더링을 위한 대응되는

크기의 렌더링 매트릭스 A를 도출하는 것은 자명할 것이다. 이러한 감소는 렌더링 감소기(rendering reducer)(204)에서 수행된다. 또한, 단순화를 위하여 객체 다운믹스 또한 스테레오 신호로서

로 가정한다. 스테레오 객체 다운믹스의 케이스는 더욱이 응용 시나리오들과 관련하여 가장 중요한 특별한 케이스이다.

잠깐 동안의 객체 다운믹스 오디오 신호의 손실이 있는 코딩의 효과들을 무시하면, 렌더링 매트릭스 A, 다운믹스 X, 다운믹스 매트릭스 D, 그리고 객체 파라미터들이 주어졌을 때, 오디오 객체 디코더의 임무는 원본 오디오 객체들의 타겟 렌더링 Y의 지각적 범위 내에서의 근사치를 생성하는 것이다. 본 발명에 따른 향상된 매트릭싱 유닛(303)의 구조가 도 4에 도시된다. 403 내의 상호간 직교적인 역상관기들의 수 N_d가 주어지고, 세 개의 믹싱 매트릭스들이 존재한다.

·2X2 크기의 C는 드라이 신호 믹스를 수행한다.

·N_dX2 크기의 Q는 사전-역상관기 믹스를 수행한다.

·2XN_d 크기의 P는 역상관기 업믹스를 수행한다.

역상관기들이 파워를 보존하는 것으로 가정하면, 역상관된 신호 매트릭스

는 대각 값들이 수학식 4와 같은 처리된 객체 다운믹스를 믹스하는 사전-역상관기의 공분산 매트릭스의 대각 값들과 같은

의 대각 공분산 매트릭스

를 가진다.(여기서 그리고 이후에, 별표시는 복소 컨쥬게이트 트랜스포즈(complex conjugate transpose) 매트릭스 연산을 나타낸다. 또한, 계속하여 사용되는

형태의 결정론적인 공분산 매트릭스들은 연산의 편의를 위하여

기대값들(expectations)로 대체될 수 있다.)

나아가, 모든 역상관된 신호들은 객체 다운믹스 신호들과 상관되지 않는 것으로 가정될 수 있다. 따라서, 수학식 5와 6에 나타난 바와 같이, 본 발명에 따른 향상된 매트릭싱 유닛(303)의 결합된 출력의 공분산

는 드라이 신호 믹스

의 공분산

와 역상관기 출력 공분산의 합으로 표현될 수 있다.

객체 파라미터들은 전형적으로 객체 파워들과 선택된 상호-객체 상관관계 정보를 운송한다. 이러한 파라미터들로부터, 수학식 7과 같은

의 객체 공분산

의 모델

가 달성된다.

세 개의 매트릭스들

에 의하여 설명되는 이러한 경우에 있어, 그 데이터는 오디오 객체 디코더에 활용이 가능하고, 본 발명에 따른 방법은 결합된 출력(수학식5)과 그것의 공분산(수학식6)의 웨이브폼 매치(waveform match)를 타겟 렌더링 신호(수학식4)로 결합적으로 최적화하기 위하여 이 데이터를 사용한다. 주어진 드라이 신호 믹스 매트릭스에 대하여, 당면한 문제는 수학식 8과 같이 평가되는 정확한 타겟 공분산

를 목표로 한다.

에러 매트릭스의 정의는 수학식 9와 같고,

수학식 6과의 비교는 설계 요구(design requirement)를 이끌어 낸다.

수학식 10의 좌변이 역상관기 믹스 매트릭스

의 어떤 선택에 대한 양반한정(positive semidefinite) 매트릭스이므로, 수학식 9의 에러 매트릭스 역시 양반한정 매트릭스이다. 이어지는 공식들의 상세한 내용을 명확히 하기 위하여, 드라이 신호 믹스와 타겟 렌더링의 공분산들은 수학식 11과 같이 파라미터라이즈(parameterized)되는 것으로 가정한다.

에러 매트릭스에 대하여,

양반한정이 되기 위한 필요한 요구조건은 수학식 13의 세 개의 조건들로 표현될 수 있다.

계속적으로, 도 10이 논의된다. 도 10은 도 11 내지 14에서 논의되는 네 개의 실시예들 모두에서 수행되는 몇몇의 사전-계산(pre-calculating) 단계들의 모음을 도시한다. 이러한 사전-계산 단계 중 하나는 도 10의 도면부호 1000에서 지시하고 있는 바와 같은 타겟 렌더링 신호의 공분산 매트릭스 R을 계산하는 것이다. 블록(1000)은 수학식 8에 대응된다.

블록(1002)에 도시된 바와 같이, 드라이 믹스 매트릭스는 수학식 15를 이용해 계산될 수 있다. 특별히, 역상관된 신호가 전혀 가산되지 않는 것으로 가정하면, 드라이 믹스 매트릭스 C ₀ 는 다운믹스 신호들을 사용하여 획득되는 타겟 렌더링 신호의 최적 매치와 같이 계산된다. 따라서, 드라이 믹스 매트릭스는 어떠한 부가적인 역상관된 신호 없이 믹스 매트릭스 출력 신호 웨이브 폼(mix matrix output signal wave form)이 최대한 타겟 렌더링 신호에 가깝게 매치되는 것을 보장한다. 드라이 믹스 매트릭스에 대한 이러한 선행조건은 특별히 출력채널의 역상관된 신호 부분을 가능한 낮게 유지하는데 유용하다. 일반적으로, 역상관된 신호는 역상관기에 의해 큰 범위로 변형된 신호이다. 따라서, 이러한 신호는 통상적으로 컬러라이제이션(colorization), 타임 스미어링(time smearing) 및 불량 과도응답(bad transient response)과 같은 아티팩트들을 가진다. 그러므로, 본 실시예는 통상적으로 보다 높은 오디오 출력 품질을 가져올 수 있는 역상관관계 프로세스로부터의 보다 적은 신호의 이점을 제공한다. 웨이브 폼 매칭(wave form matching)의 수행에 의하여, 즉, 다운믹스 신호 내의 두 개 또는 그 이상의 채널의 가중과 결합에 의하여 드라이 믹스 오퍼레이션 뒤의 이러한 채널들은 타겟 렌더링 신호에 가능한 가까워지며, 단지 최소량의 역상관된 신호들이 요구된다.

타겟 렌더링 정보(360)를 이용한 원본 오디오 객체들의 렌더링이 오디오 객체들에 대한 손실이 적은 표현인 파라메틱 오디오 객체 정보(362)를 제공하는 경우, 혼합기(364)는 제1 객체 다운믹스 신호와 제2 객체 다운믹스 신호의 믹싱 오퍼레이션의 결과(452)가 획득될 수 있는 상황에 가능한한 대응될 수 있는 타겟 렌더링 결과에 웨이브 폼-매치드될 수 있도록 가중 인자들을 계산한다. 따라서, 신호의 정확한 재구축은 양자화되지 않은 E 매트릭스를 이용하더라도 결코 보장될 수 없다. 본 발명의 일 실시예는 평균 자승 오차(mean squared sense) 내에서 에러를 최소화한다. 따라서, 본 발명의 일 실시예는 웨이브폼 매치와 재구축된 파워들과 교차-상호관계들(cross-correlations)을 얻는 것을 목적으로 한다.

전술한 방법을 통해 드라이 믹스 매트릭스 C ₀ 가 계산되면, 드라이 믹스 신호의 공분산 매트릭스

가 계산될 수 있다. 상세하게, 도 10의 우측에 기재된 방정식, 즉,

가 이용되는 것이 선호된다. 이 계산 공식은 드라이 신호 믹스 결과의 공분산 매트릭스

의 계산에 대하여 단지 파라미터들만을 필요로 할 뿐 서브밴드 샘플들을 필요로 하지 않는다. 그러나, 선택적으로 드라이 믹스 매트릭스 C ₀ 와 다운믹스 신호들을 이용하여 드라이 신호 믹스 결과의 공분산 매트릭스를 계산할 수도 있으나, 파라미터 영역에 위치한 첫번째 계산은 단지 보다 낮은 복잡성을 가질 뿐이다.

계산 단계들 1000, 1002, 1004 후에 드라이 신호 믹스 매트릭스 C ₀ , 타겟 렌더링 신호의 공분산 매트릭스 R과 드라이 믹스 신호의 공분산 매트릭스

가 이용 가능하다.

매트릭스들 Q, P의 특정한 결정에 대하여 네 개의 상이한 실시예들이 후술된다. 덧붙이자면, 도 4d(세번째 실시예와 네번째 실시예에 대한 예)의 상황이 설명되고, 여기서 이득 보상 매트릭스 G의 값들 또한 결정된다. 요구되는 매트릭스 가중 인자들의 결정에 대하여 어느 정도의 자유가 존재하기 때문에, 이러한 매트릭스들의 값들을 계산하기 위한 상이한 실시예가 존재하는 것은 당업자에게 자명한 사항이다.

본 발명의 첫번째 실시예에서, 매트릭스 계산기(202)의 오퍼레이션은 아래와 같이 설계된다. 드라이 업믹스 매트릭스는 신호 웨이브폼 매치를 위한 최소 자승 해(least squares solution)를 얻기 위하여 수학식 14와 같이 첫번째로 도출된다.

여기서,

는 유효하다. 나아가, 후술되는 방정식은 참을 유지한다 :

이 문제의 해는 수학식 15와 같이 주어진다.

그리고, 이는 최소 자승 해들의 잘 알려진 부가적인 이득, 즉 에러

가 근사치

와 직교성을 가지는 경우 매우 용이하게 도출될 수 있는 부가적인 이득을 갖는다. 따라서, 수학식 16과 같은 다음의 연산에서 교차 관계들(cross terms)이 소거된다.

이는 수학식 10이 해결될 수 있도록 하는 명백한 양반한정(positive semi definite)으로서 수학식 17과 같다.

기호적으로, 그 해는 수학식 18과 같다.

여기서 두번째 팩터

는 단순하게 대각에 대한 엘러먼트-와이즈 오퍼레이션(element-wise operation)에 의하여 정의되고, 매트릭스

는 매트릭스 방정식

을 해결한다. 이러한 매트릭스 방정식의 해 선택에 있어 넓은 범위의 자유가 존재한다. 본 발명에 따른 방법은

의 특이값 분해(singular value decomposition)로부터 시작한다. 수학식 19와 같이 이러한 대칭 매트릭스에 대하여 이는 통상적인 고유벡터 분해(eigenvector decomposition)를 감소시킨다.

수학식 19에서 고유벡터 매트릭스

는 단위행렬이고, 그 열들은

으로 감소되는 크기로 저장된 고유값들에 대응되는 고유벡터들을 포함한다. 본 발명에 따른 하나의 역상관기(N_d=1)를 이용한 첫번째 해는 수학식 19에서

으로 설정하고, 수학식 18에서 대응되는 자연스러운 근사화를 삽입함으로써 획득된다.

2개의 역상관기들(N_d=2)를 이용한 경우 완전 해는

의 최소 고유값

로부터 유실된 최하위 기여(least significant contribution)를 더하는 것과 수학식 19의 첫번째 팩터

와 대각 고유 매트릭스의 엘러먼트 와이즈 제곱근(element wise square root)의 곱에 대응되는 수학식 20에 두번째 열을 더하는 것을 이용해 획득된다. 이는 수학식 21과 같이 표현된다.

계속적으로, 첫번째 실시예에 따른 매트릭스 P의 계산이 도 11과 관련되어 설명된다. 단계 1101에서, 에러 신호 또는, 도 4를 고려하면, 위쪽 가지의 상관된 신호의 공분산 매트릭스

은 도 10의 단계 1000과 단계 1004의 결과들을 이용하여 계산된다. 그 뒤에, 수학식 19와 관련되어 논의된 이 매트릭스의 고유값 분해가 수행된다. 그 뒤에, 후술되는 복수의 가능한 방안들 중 하나에 따라 매트릭스 Q가 선택된다. 선택된 매트릭스 Q에 기초하여, 도 11의 1103 박스의 우측에 기재된 방정식, 즉,

의 매트릭스 곱을 이용하여 매트릭스화된 역상관된 신호의 공분산 매트릭스 R_Z가 계산된다. 그 후, 단계 1103에서 획득된 R_Z에 기초하여 역상관기 업믹스 매트릭스 P가 계산된다. 도 4a의 출력 블록 P(404)에 입력 보다 많은 채널 신호들이 있는 경우, 이 매트릭스가 반드시 실제적인 업믹스를 수행해야 할 필요가 없다는 것은 명백하다. 이는 단일 역상관기의 경우에 있어 이루어질 수 있으나, 두 개의 역상관기들의 경우에 있어 역상관기 업믹스 매트릭스 P 는 두 개의 입력 채널들을 수신하고 두 개의 출력 채널을 출력하며 도 4f에 도시된 드라이 업믹서 매트릭스와 같이 구현될 수도 있다.

따라서, 첫번째 실시예는 계산된 C₀와 P에 있어 고유하다. 출력의 정확한 결과적인 상관관계 구조를 보장하기 위하여, 두 개의 역상관기가 요구됨이 참조된다. 다른 한편으로, 단지 하나의 역상관기를 이용하는 것이 가능하다는 것은 장점이다. 이러한 해결책은 수학식 20의 방정식에 의해 지시된다. 상세하게, 보다 작은 고유값을 가지는 역상관기가 구현된다. 본 발명의 두번째 실시예에 있어 매트릭스 계산기(202)의 오퍼레이션은 아래와 같이 설계된다. 역상관기 믹스 매트릭스는 수학식 22의 형태가 되도록 한정된다.

이러한 한정 아래에서, 단일의 역상관된 신호 공분산 매트릭스는 스칼라

이고 수학식 6의 결합된 출력의 공분산은 수학식 23이 된다.

수학식 23에서

이다. 일반적으로 타겟 공분산

에 대한 완전한 매치는 불가능하지만, 그러나 지각적으로 중요한 출력 채널들 사이에서의 정규화된 상관관계는 넓은 범위의 상황들 내에서 타겟에 대하여 조절될 수 있다. 여기서, 타겟 상관관계는 수학식 24와 같이 정의된다.

수학식 23의 결합된 출력에 의하여 달성되는 상관관계는 수학식 25에 의해 주어진다.

수학식 24와 25는 수학식 26과 같은

에 대한 2차 방정식을 이끌어 낸다.

수학식 26이

인 양의 해를 가지는 경우에 대하여, 본 발명의 두번째 실시예는 수학식 22의 믹스 매트릭스 정의에서 상수

를 사용한다. 만일 수학식 26의 두 해가 모두 양인 경우,

의 보다 작은 놈(norm)에 복종하는 해가 사용된다. 이러한 해가 존재하지 않는 경우,

의 복소 해들은 역상관된 신호들 내에서 인지할 수 있는 페이즈 왜곡들을 초래하므로, 역상관기 기여는

으로 선택함으로써 0으로 설정된다.

의 연산은 신호

로부터 직접적인 방식 또는 다운믹스 및 렌더링 정보와 결합된

와 같은 혼합 객체 공분산 매트릭스를 이용한 방식의 두가지 상이한 방법 중 하나의 방식으로 수행될 수 있다. 여기서 첫번째 방법은 복소-값의

를 초래하고, 따라서 수학식 26의 우변에서의 자승은 개별적으로 실수부 또는

의 크기(magnitude)로부터 이루어져야만 한다. 그러나 선택적으로, 복소값인

가 사용될 수도 있다. 이러한 복소값은 특별한 실시예들에 대하여 유용한 특정 페이즈 텀(phase term)과 관련된 상관관계를 지시한다.

수학식 25에서 보여지는 바와 같이, 이 실시예의 특징은 드라이 믹스의 상관관계와 비교할 때 단지 상관관계를 줄일 수 있다는 것이다. 즉,

이다.

요약하면, 두번째 실시예는 도 12에 보여지는 바와 같이 도시된다. 도 11의 단계 1101과 동일한 단계 1101에서 공분산 매트릭스

의 연산과 함께 시작된다. 그 후, 수학식 22가 수행된다. 상세하게, 매트릭스 P 의 외관은 미리 설정되고, 단지 P의 양 구성요소들에 모두 동일한 가중 인자 c가 계산될 것이다. 상세하게, 하나의 열을 가지는 매트릭스 P는 이 두번째 실시예에서 단지 하나의 역상관기가 이용되었음을 지시한다. 나아가, P의 구성요소의 부호들은 역상관된 신호가 드라이 믹스 신호의 좌측 채널과 같은 하나의 채널에 합산되었다는 것과 드라이 믹스 신호의 우측 채널로부터 감산되었다는 것을 명확히 한다. 따라서, 역상관된 신호를 하나의 채널에 합산하고 역상관된 신호를 다른 채널로부터 감산함으로써 최대 상관관계가 획득된다. c값을 결정하기 위하여, 단계 1203, 1206, 1103, 및 1208이 수행된다. 상세하게, 수학식 24에서 지시된 것과 같은 타겟 상관관계 행은 단계 1203에서 계산된다. 스테레오 렌더링이 수행된 경우, 이 값은 두 개의 오디오 채널 신호들 간의 상호채널 교차-상관관계 값(interchannel cross-correlation value)이다. 단계 1203의 결과에 기초하여, 단계 1206에서 지시된 바와 같이 수학식 26에 기초한 가중 인자 a가 결정된다. 더 나아가, 매트릭스 Q의 매트릭스 구성요소 값들이 선택되고, 이 경우에 있어 단지 스칼라 값인 R_z인 공분산 매트릭스가 단계 1103과 도 12의 박스(1103)의 우측에 도시된 방정식에 의하여 계산된다. 최종적으로, 팩터 c 는 단계 1208에서 지시된 바와 같이 계산된다. 수학식 26은

에 대하여 두 개의 양의 해를 제공하는 2차 방정식이다. 전술한 바와 같이 이 경우, c의 보다 작은 놈(norm)에 복종하는 해가 사용된다. 그러나, 양의 해가 얻어지지 않는 경우, c는 0으로 설정된다.

따라서, 두번째 실시예에 있어, 상자(1201)의 매트릭스 P에 의해 지시되는 두 개의 채널들에 대한 하나의 역상관기 분배(decorrelator distribution)의 특별한 경우를 이용하여 P를 계산한다. 몇몇의 경우에 대하여, 그 해가 존재하지 않고 단순히 역상관기의 작동을 중지시킨다. 이 실시예의 장점은 양의 상관관계(positive correlation)에 합성 신호를 절대 더하지 않는다는 것이다. 이러한 신호가 랜더링된 출력 신호의 오디오 품질을 저하시키는 아티팩트인 로컬라이즈드 팬텀 소스(localised phantom source)로 인식될 수 있으므로, 이 실시예는 유용하다. 유도과정에서 파워 이슈들이 고려되지 않는다는 관점에서, 출력 신호에서 미스-매치를 얻을 수 있다는 것은 출력 신호가 다소간의 다운믹스 신호 파워를 가지고 있음을 의미한다. 이 경우, 보다 향상된 오디오 품질을 위하여 보다 바람직한 실시예에서 부가적인 이득 보상이 수행될 수 있다.

본 발명의 세번째 실시예에 있어, 매트릭스 계산기(202)의 오퍼레이션은 다음과 같이 설계된다. 시작 지점은 수학식 27과 같은 이득 보상 드라이 믹스(gain compensated dry mix)이다.

수학식 27에서, 예를 들어, 보상되지 않은 드라이 믹스(uncompensated dry mix)

는 수학식 15로 주어지는 믹스 매트릭스를 이용한 최소 자승 근사(least squares approximation)

의 결과이다. 나아가

이고, 여기서 G 는 g₁와 g₂를 구성요소로 가지는 대각 매트릭스이다. 이 경우,

는 수학식 28로 표현되고, 에러 매트릭스는 수학식 29로 표현된다.

본 발명에 따른 세번째 실시예는 수학식 13에서 주어진 제한조건 아래에서 수학식 30으로 표현되는 에러 파워들의 가중된 합을 최소화하기 위한 이득 보상들

를 선택한다.

수학식 30에서 가중치들의 예시적인 선택들은

또는

이다. 그러면, 에러 매트릭스

의 결과가 수학식 18 내지 21의 단계들에 따른 역상관기 믹스 매트릭스

의 계산에 입력으로서 사용된다. 이 실시예의 매력적인 특징은 에러 신호

가 드라이 업믹스에 유사한 경우에 있어, 최종 출력에 합산되는 역상관된 신호의 양이 본 발명의 첫번째 실시예에 의해 최종 출력에 합산되는 역상관된 신호의 양 보다 작다는 것이다.

도 13과 관련되어 요약된 세번째 실시예에 있어, 부가적인 이득 매트릭스는 도 4d에 지시된 바와 같이 가정된다. 수학식 29와 30에 쓰여진 것에 따라서, 수학식 30 아래의 구문에서 지시된 바와 같이 선택된 w1, w2를 이용하고 수학식 13에서 지시된 바와 같은 에러 매트릭스에 대한 제한조건들에 기초하여 이득 팩터들 g₁과 g₂가 계산된다. 이러한 두 개의 단계들 1301, 1302의 수행 후, 단계 1303에서 지시된 바와 같은 g₁,g₂를 사용하여 에러 신호 공분산 매트릭스

이 계산될 수 있다. 단계 1303에서 계산된 이러한 에러 신호 공분산 매트릭스는 도 11과 12의 단계 1101에서 계산된 공분산 매트릭스 R과 상이하다는 것이 주목된다. 그 다음에, 도 11의 첫번째 실시예와 관련되어 이미 논의된 바와 같은 단계들 1102, 1103, 1104가 수행된다.

세번째 실시예의 장점은 드라이 믹스가 웨이브 폼-매치될 뿐만 아니라 부가적으로 이득 보상된다는 점이다. 이는 역상관된 신호의 부가로 인해 발생되는 아티팩트들 또한 감소시킬 수 있도록 역상관된 신호의 양을 감소시키는 데 도움을 준다. 따라서, 세번째 실시예는 이득 보상과 역상관기 부가의 결합으로부터 최적의 가능성을 얻기는 것을 꾀한다. 다시 말하면, 채널 파워들을 포함하는 공분산 구조의 완전한 재생과 수학식 30의 최소화 방정식에 의하여 합성 신호의 사용을 최소화하는 것을 목적으로 한다.

계속해서, 네번째 실시예가 논의된다. 단계 1401에서, 단일 역상관기가 실행되었다. 따라서, 단일 역상관기가 실제적인 수행에 대하여 가장 유리하므로, 낮은 복잡성의 실시예가 안출된다. 후속 단계 1101에서, 공분산 매트릭스 데이터 R이 첫번째 실시예의 단계 1101과 관련되어 강조되고 논의된 바와 같이 계산된다. 그러나 선택적으로, 또한 공분산 매트릭스 데이터 R은 도 13의 단계 1303에서 지시된 바와 같이 계산될 수 있으며, 여기서 이득 보상이 웨이브 폼 매칭에 부가된다. 계속해서, 공분산 매트릭스

의 비대각(off-diagonal) 구성요소

의 부호가 체크된다. 단계 1402가 이 부호를 음으로 결정하는 경우, 첫번째 실시예의 단계들 1102, 1103, 1104가 진행되고, 단일 역상관기만이 존재하기 때문에 여기서 특별히 단계 1103은 r_z가 스칼라 값인 사실에 기인하여 복소수가 아니다.

그러나

의 부호가 양으로 결정되는 경우, 역상관된 신호의 부가는 매트릭스 P의 구성요소들을 0으로 설정함으로써 완전히 소거된다. 선택적으로, 역상관된 신호의 부가는 0 이상의 값 그러나 부호를 음으로 만드는 값 보다는 작은 값으로 감소될 수 있다. 그러나 바람직하게, 매트릭스 P의 매트릭스 구성요소들은 보다 작은 값들로 설정될 뿐만 아니라, 도 14의 블록(1404)에서 지시된 바와 같이 0으로 설정된다. 그러나 도 4d에 따라, 블록(1406)에서 지시된 바와 같이 이득 보상을 수행하기 위하여 이득 팩터들 g₁,g₂가 결정된다. 상세하게, 수학식 29의 우변 매트릭스의 주 대각 구성요소들(main diagonal elements)이 0이될 수 있도록 이득 팩터들이 계산된다. 이는 에러 신호의 공분산 매트릭스가 주 대각에 대하여 0인 구성요소를 가지는 것을 의미한다. 따라서, 특별한 상관관계 특성들을 가지는 역상관된 신호가 부가된 경우 발생할 수 있는 팬텀 소스 아티팩트들(phantom source artefacts)을 회피하기 위한 전략에 기인하여 역상관기 신호가 감소되거나 또는 완전히 없어진 경우, 이득 보상이 달성된다. 따라서, 네번째 실시예는 첫번째 실시예의 몇몇 특성들을 결합하고 그리고 단일 역상관기 해결수단에 의존하지만, 그러나 에러 신호(부가된 신호)의 공분산 매트릭스

내의

값과 같은 품질 지시자(quality indicator)가 양이 되는 경우, 네번째 실시예는 역상관된 신호가 감소되거나 또는 완전히 소거될 수 있도록 하는 역상관된 신호의 품질을 결정하기 위한 테스트를 포함한다.

위의 2차 이론(second order theory)은 사용된 특정 매트릭스에 둔감하기 때문에, 사전-역상관기 매트릭스

의 선택은 지각적인 연구들(perceptual considerations)에 기초되어야만 한다. 이것은 또한

의 선택을 이끄는 연구들이 앞서 언급된 각각의 실시예들 사이에서의 선택에 독립적인 것을 암시한다.

*

본 발명에 따른 첫번째 선호되는 해결책은 모든 역상관기들의 입력으로서 드라이 스테레오 믹스의 모노 다운믹스를 사용하는 것으로 구성된다. 매트릭스 구성요소들과 관련하여 이것은 수학식 31을 의미한다.

수학식 31에서

는

의 매트릭스 구성요소들이고,

는 C ₀ 의 구성요소들이다.

본 발명에 따른 두번째 해결책은 다운믹스 매트릭스

만으로부터 도출된 사전-역상관기 매트릭스

를 이끌어 낸다. 이러한 도출은 모든 객체들이 유닛 파워를 가지고 상관되지 않았다는 가정에 기초한다. 이러한 가정 하에서, 객체들로부터 그들의 개별적인 예측 에러들까지의 업믹스 매트릭스가 형성된다. 그 뒤에, 사전-역상관기 가중치들의 자승이 다운믹스 채널들의 전역에 걸쳐 예측된 객체 에러 에너지의 합계에 비례하여 선택된다. 최종적으로 모든 역상관기들에 대하여 동일한 가중치들이 사용된다. 상세하게, 이러한 가중치들은 수학식 32의

매트릭스의 첫번째 형성에 의하여 획득된다.

그리고 그 뒤에 수학식 32의 모든 비-대각 값들을 0으로 설정함으로써 정의되는 추정된 객체 예측 에러 에너지 매트릭스(estimated object prediction error energy matrix)

가 도출된다. 각각의 다운믹스 채널에 대한 토탈 객체 에너지 기여들을 나타내는

에 의하여 의 대각 값들을 표시함으로써, 사전-역상관기 매트릭스 구성요소의 최종적인 선택이 수학식 33과 같이 주어진다.

역상관기들의 특별한 실시에 관해서, 반사기(reverberators) 또는 다른 어떤 역상관기들과 같은 모든 역상관기들이 사용될 수 있다. 그러나 보다 바람직한 실시예에 있어, 역상관기들은 파워-보존(power-conserving) 역상관기여야 한다. 이는 역상관기 출력 신호의 파워가 역상관기 입력 신호의 파워와 동일해야 함을 의미한다. 그럼에도 불구하고, 예를 들어 매트릭스 P가 계산된 경우 이를 참작함으로써, 비-파워-보존 역상관기에 의해 초래되는 편차들 또한 흡수될 수 있다.

전술한 바와 같이, 이러한 신호는 로칼라이즈드 합성 팬텀 소스(localised synthetic phantom source)로 인식될 수 있으므로, 선호되는 실시예들은 양의 상관관계에서 합성된 신호를 부가하는 것을 회피하려 한다. 두번째 실시예에 있어, 블록(1201)에 도시된 바와 같은 매트릭스 P의 특별한 구조에 기인하여 이 것은 명백하게 회피된다. 더욱이, 네번째 실시예에서 이 문제는 단계 1402의 체킹 오퍼레이션에 기인하여 명백하게 회피된다. 이러한 팬텀 소스 아티팩트들을 회피할 수 있도록 역상관된 신호의 품질과, 특별히, 상관관계 특성들을 결정하는 다른 방법들은 당업자에게 활용이 가능하고, 이득 보상된 출력 신호를 가지기 위하여 몇몇 실시예들의 형태로서 역상관된 신호의 부가를 스위칭 오프하기 위하여 사용될 수 있고, 또는 역상관된 신호의 파워를 감소하고 드라이 신호의 파워를 증가시키기 위하여 사용될 수 있다.

비록 모든 매트릭스들 E, D,A가 복소수 매트릭스들로 설명되었다고 하더라도, 이러한 매트릭스들은 또한 실수 매트릭스들일 수도 있다. 그럼에도 불구하고, 본 발명은 또한 0이 아닌 허수부를 갖는 실제 복소 계수들을 가지는 복소수 매트릭스들 D, A,E에 관련하여 유용하다.

더욱이, 모든 매트릭스들의 최상의 시간과 주파수 해상도를 가지는 매트릭스 E 에 비하여 매트릭스 D 와 매트릭스 A가 훨씬 낮은 스펙트럼과 시간 해상도를 가지는 것은 빈번한 경우이다. 상세하게, 타겟 렌더링 매트릭스와 다운믹스 매트릭스는 주파수에 의존하지 않고 시간에 의존할 수도 있다. 다운믹스 매트릭스에 관하여, 특별히 최적화된 다운믹스 오퍼레이션이 발생할 수도 있다. 타겟 렌더링 매트릭스에 관하여, 이것은 때때로 좌측과 우측 사이에서 그들의 위치를 변경할 수 있는 오디오 객체들의 이동에 관련된 경우가 될 수도 있다.

이상에서 설명된 실시예들은 본 발명의 원리들에 대한 단순한 실례에 불과하다.

여기서 설명된 장치들과 상세한 내용들의 변용들과 변형들이 당업자에게 명백하다는 것이 이해되어야 한다. 따라서, 청구된 특허 청구범위의 범위에 의해서만 제한될 뿐 여기서의 실시예들의 묘사와 설명에 의한 방식으로 표현된 특별한 상세들에 의하여 제한되지 않는다.

본 발명의 방법들의 특정 실행 요구조건에 따라, 본 발명의 방법들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 그 구현은 프로그래머블 컴퓨터와의 공동-작동을 통해 본 발명에 따른 방법들이 수행될 수 있도록 하는 전기적으로 읽을 수 있는 제어신호들이 저장되는 디스크, DVD 또는 CD와 같은 디지털 저장 매체를 이용하여 수행될 수 있다. 일반적으로, 본 발명은 기계-판독이 가능한 매개체에 저장된 컴퓨터 상에서 컴퓨터 프로그램 저작물이 구동되는 경우 본 발명에 따른 방법들을 수행할 수 있는 프로그램 코드를 이용한 컴퓨터 프로그램 저작물이다. 바꾸어 말하면, 본 발명에 따른 방법들은 컴퓨터 프로그램이 컴퓨터 상에서 구동되는 경우 본 발명에 따른 방법 중 최소한 하나를 수행하기 위한 프로그램 코드를 가지는 컴퓨터 프로그램이다.

본 발명은 스테레오 출력 신호 또는 가능한 멀티채널 다운믹스와 부가적인 제어데이터에 기초한 보다 많은 오디오 채널 신호들을 가지고 있는 출력 신호와 같은 랜더링된 출력 신호(rendered output signal)의 합성에 관한 것이으로서 산업상 이용가능성이 있다.

Claims (19)

1. 제 1 오디오 채널 신호 및 제 2 오디오 채널 신호를 갖는 출력 신호(350)를 합성하는 장치에 있어서,
   다운믹스 신호로부터 역상관 단일 채널 신호 또는 역상관 제 1 채널 신호 및 역상관 제 2 채널 신호를 갖고, 상기 다운믹스 신호는 제 1 오디오 오브젝트(object) 다운믹스 신호와 제 2 오디오 오브젝트 다운믹스 신호를 가지며, 상기 다운믹스 신호는 다운믹스 정보(354)에 따라 복수의 오디오 오브젝트 신호들을 재생하는, 역상관기 스테이지(356); 및
   가중 인자들(weighting factors, P, Q, C₀, G)를 사용하여 다운믹스 신호(352) 및 역상관된 신호(358)의 가중(weighted) 혼합을 수행하고, 다운믹스 정보(354) 및 가상 리플레이 셋-업 내에 있는 오디오 오브젝트의 가상(virtual) 위치를 나타내는 타깃 변환(rendering) 정보(360)로부터 가중 혼합용 가중 인자들(P, Q, C₀, G) 및 오디오 오브젝트(object)를 설명하는 파라메트릭(parametric) 오디오 오브젝트 정보(362)를 계산하도록 작동하는 혼합기(364);
   로 구성된 것을 특징으로 하는 출력 신호 합성 장치.
   
2. 제 1항에 따른 장치에 있어서,
   상기 혼합기(364)는 가중 혼합을 위한 가중 인자들을 계산하여, 제 1 오디오 오브젝트 다운믹스 신호 및 제 2 오디오 오브젝트 다운믹스 신호의 결과치(452)가 타깃 변환(rendering) 결과에 파형으로 정합(matched)되도록 하는 것을 특징으로 하는 출력 신호 합성 장치.
   
3. 청구항 1에 있어서,
   상기 혼합기(364)는 아래 방정식에 근거로 한 제 1 오디오 오브젝트 다운믹스 신호와 제 2 오디오 오브젝트 다운믹스 신호를 믹싱하기 위한 믹싱 매트릭스 C₀를 계산하도록 작동하되,
   C₀ = A E D^*(D E D^＊)^-1이고,
   여기에서, C₀는 믹싱 매트릭스이고, A는 타깃 변환 정보(360)를 나타내는 타깃 변환 매트릭스이며, D는 다운믹스 정보(354)를 나타내는 다운믹스 매트릭스이고, *는 복합공액전치(conjugate transpose) 작동을 나타내며, E는 파라메트릭 오디오 오브젝트 정보(362)를 나타내는 오브젝트 공분산 매트릭스인 것을 특징으로 하는 출력 신호 합성 장치.
   
4. 청구항 1에 있어서,
   상기 혼합기(364)는 아래 방정식에 근거한 가중 인자들을 계산하도록 작동하되,
   R = A E A^*이고,
   여기에서, R은 오디오 오브젝트에 타깃 변환 정보를 인가함으로써 얻은 변환 출력 신호(350)의 공분산 매트릭스이고, A는 타깃 변환 정보(360)를 나타내는 타깃 변환 매트릭스이며, E는 파라메트릭 오디오 오브젝트 정보(362)를 나타내는 오디오 오브젝트 공분산 매트릭스인 것을 특징으로 하는 출력 신호 합성 장치.
   
5. 청구항 3에 있어서,
   상기 혼합기(364)는 아래 방정식에 근거한 가중 인자들을 계산하도록 작동하되,
   R₀ = C₀ D E D^* C₀ ^*이고,
   여기에서, R₀는 다운믹스 신호의 믹싱 작동(401)에 대한 결과의 공분산 매트릭스인 것을 특징으로 하는 출력 신호 합성 장치.
   
6. 청구항 1에 있어서,
   상기 역상관기 스테이지(356)는 역상관기(403)를 피딩하기 전에 다운믹스 신호(352)를 조정하는 전치(pre)-역상관기 동작(402)을 수행하도록 작동하며, 상기 조정된 다운믹스 신호는 역상관기에 공급되는 것을 특징으로 하는 출력 신호 합성 장치.
   
7. 청구항 6에 있어서,
   상기 전치(pre)-역상관기 동작은 다운믹스 신호 내에서 오디오 오브젝트의 분배를 나타내는 다운믹스 정보(354)에 근거한 제 1 오디오 오브젝트 다운믹스 채널과 제 2 오디오 오브젝트 다운믹스 채널을 믹싱하는 믹스 작동을 포함하는 것을 특징으로 하는 출력 신호 합성 장치.
   
8. 청구항 6에 있어서,
   상기 혼합기(364)는 전치(pre)-역상관기 동작(402)에 상응하는 제 1 및 제 2 오디오 오브젝트 다운믹스 신호의 드라이 믹스 작동(401)을 수행하도록 작동하는 것을 특징으로 하는 출력 신호 합성 장치.
   
9. 청구항 8에 있어서,
   상기 혼합기(364)는 드라이 믹스 매트릭스(C₀)를 이용하여 동작하고,
   상기 전치(pre)-역상관기 동작(402)은 상기 드라이 믹스 매트릭스(C₀)와 동일한 전치(pre)-역상관기 매트릭스(Q)를 이용하여 구현되는 것을 특징으로 하는 출력 신호 합성 장치.
   
10. 청구항 1에 있어서,
    상기 혼합기(364)는 역상관된 신호의 추가가 아트팩트(artifact)(1402) 인지에 대해 결정하도록 작동되고,
    상기 혼합기(364)는 아트팩트-크리에이팅(creating) 상황이 결정될 때, 역상관된 신호(1404)의 부가를 감소시키거나 비활성화시키고, 역상관된 신호의 비활성화(1404)나 감소에 의해 일어나는 파워에러(power error)를 감소시키도록 작동되는 것을 특징으로 하는 출력 신호 합성 장치.
    
11. 청구항 10에 있어서,
    상기 드라이 믹스 작동의 결과값은, 파워값(power value)를 구비한 파워 연산(power operation)이 수행되고, 상기 혼합기(364)는 가중 인자들을 계산하도록 작동되어, 파워 연산 내에서 파워값이 증가되도록 하는 것을 특징으로 하는 출력 신호 합성 장치.
    
12. 청구항 10에 있어서,
    상기 혼합기(364)는 타깃 변환(rendering) 정보(360)를 이용하여 가상 타깃 변환 체계(rendering scheme)에 의해 결정된 출력 신호와 드라이 업(dry up) 믹스 신호 사이의 에러 신호의 보정 구조를 나타내는 에러 공분산 매트릭스 데이터(R, 1104)을 계산하도록 작동함과 동시에,
    상기 혼합기(364)는 에러 공분산 매트릭스 데이터(R)의 오프-대각선(diagonal) 엘리먼트의 부호(1402)를 결정하도록 작동되고, 만약 부호가 양일 경우 부가를 비활성화시키거나(1104) 감소시키는 것을 특징으로 하는 출력 신호 합성 장치.
    
13. 청구항 1에 있어서,
    각 서브 밴드 신호에 대해, 역상관기 작동(403)과 혼합기 작동(364)이 사용되어, 복수 개의 변환된 출력 서브밴드 신호가 발생되며,
    복수 개의 서브 밴드 다운믹스 신호들을 포함하는 스펙트럼 표시(spectral representation) 내로 다운믹스 신호를 컨버팅하는 시간/주파수 컨버터(302); 및
    타임 도메인 표시로 변환된 출력 신호의 서브 밴드 신호들을 컨버팅하는 주파수/시간 컨버터(304);
    를 더 포함하는 것을 특징으로 하는 출력 신호 합성 장치.
    
14. 청구항 1에 있어서,
    샘플 값의 개별 블럭을 처리하도록 다운믹스 신호의 샘플 값의 블럭을 재생시키고, 역상관기(356)와 혼합기(364)를 컨트롤하는 블럭처리 컨트롤러를 더 포함하는 것을 특징으로 하는 출력 신호 합성 장치.
    
15. 청구항 13에 있어서,
    상기 각 서브밴드 신호와 각 블럭에 대해서 오디오 오브젝트(object) 정보가 제공되며, 상기 타깃 변환(rendering) 정보 및 오디오 오브젝트(object) 다운믹스 정보는 타임블럭 동안 주파수에서 일정한 것을 특징으로 하는 출력 신호 합성 장치.
    
16. 청구항 1에 있어서,
    상기 혼합기(364)는 드라이 믹스 신호 내로 제 1 오디오 오브젝트(object) 다운믹스(downmix)와 제 2 오디오 오브젝트(object) 다운믹스(downmix) 신호를 선형적으로 조합시키는데 작동하는 개선된 매트릭싱 유닛(303)을 포함하고,
    상기 혼합기(364)는 역상관된 신호(358)를 신호로 선행적으로 조합하도록 동작하며, 드라이(dry) 믹스 신호를 갖는 채널-와이즈 상에 개선된 매트릭싱 유닛(303)의 스테레오 출력을 갖추고,
    상기 혼합기(364)는 다운믹스 정보(354)와 타깃 변환(rendering) 정보(360)의 파라메트릭 오디오 오브젝트(object) 정보에 근거한 개선된 매트릭싱 유닛(303)에 의해 사용된 선형 조합에 대하여 가중 인자들을 계산하는 매트릭스 계산기(202)를 포함하고 있는 것을 특징으로 하는 출력 신호 합성 장치.
    
17. 청구항 1에 있어서,
    상기 혼합기(364)는 가중 인자들을 계산하도록 작동시키고, 그 결과 변환된 출력 신호 내의 역상관된 신호(358)의 에너지부는 최소이며, 제 1 오디오 오브젝트(object) 다운믹스 신호 및 제 2 오디오 오브젝트(object) 다운믹스 신호를 선형적으로 조합하여 얻은 드라이 믹스 신호(452)의 에너지부는 최대인 것을 특징으로 하는 출력 신호 합성 장치.
    
18. 제 1 오디오 채널 신호 및 제 2 오디오 채널 신호를 갖는 출력 신호(350)를 합성하는 방법에 있어서,
    다운믹스 신호로부터 역상관된 단일 채널 신호 또는 역상관된 제 1 채널 신호 및 역상관된 제 2 채널 신호를 갖는 역상관된 신호(358)를 재생하는 단계(356)로, 상기 다운믹스 신호는 제 1 오디오 오브젝트 다운믹스 신호 및 제 2 오디오 오브젝트 다운믹스 신호를 가지며, 상기 다운믹스 신호는 다운믹스 정보(354)에 따라 복수 개의 오디오 오브젝트(object) 신호를 나타내는 단계;
    다운믹스 정보(354)와 가상 리플레이 셋-업 내에서 오디오 오브젝트(object)의 가상위치를 나타내는 타깃 변환(rendering) 정보(360) 및 오디오 오브젝트(object)를 설명하는 파라메트릭 오디오 오브젝트(object) 정보(362)로부터 가중 혼합을 위한 가중 인자들(P, Q, C₀, G)의 계산에 근거하여, 가중 인자들(P, Q, C₀, G)을 사용하여 다운믹스 신호(352)와 역상관된 신호(358)의 가중 혼합을 수행하는 단계(364);
    를 포함하는 것을 특징으로 하는 출력 신호(350) 합성방법.
    
19. 프로세서를 작동시킬 때 청구항 18의 방법을 수행하기에 적합한 프로그램 코드를 갖는 컴퓨터 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.

Images