KR20060060052A

KR20060060052A - 호환성 다중-채널 코딩/디코딩

Info

Publication number: KR20060060052A
Application number: KR1020067006428A
Authority: KR
Inventors: 쥐르겐 헤레; 요하네스 힐페르트; 스테판 게이에르스베르게르; 안드레아스 횔체르; 클라우스 스펭게르
Original assignee: 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date: 2003-10-02
Filing date: 2004-09-30
Publication date: 2006-06-02
Anticipated expiration: 2024-09-30
Also published as: US20190239017A1; US11343631B2; BR122018069726B1; NO344093B1; ATE350879T1; US20090003612A1; NO347074B1; US20190379990A1; US20160078872A1; US10206054B2; BR122018069730B1; NO20180980A1; NO342804B1; US8270618B2; US20180359589A1; BR122018069731B1; CN1864436A; KR100737302B1; NO344635B1; US10425757B2

Abstract

적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리에 있어서, 오리지널 채널로부터 유도된 제1 다운믹스 채널 및 제2 다운믹스 채널이 제공된다(12). 오리지널 채널중에서 선택된 오리지널 채널에 대해, 하나의 다운믹스 채널 또는 제1 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록, 채널 사이드 정보가 계산된다(14). 채널 사이드 정보 그리고 제1 및 제2 다운믹스 채널은, 디코더로 전송될 출력 데이터(20)를 형성하며, 하위 레벨 디코더의 경우에는 제1 및 제2 다운믹스 채널을 디코딩하기만 하고 상위 레벨 디코더의 경우에는 다운믹스 채널 및 채널 사이드 정보에 기초한 완전한(full) 다중-채널 오디오 신호를 제공한다. 채널 사이드 정보가 소수의 비트를 차지하기 때문에 그리고 디코더가 디매트릭싱(de matrixing)을 사용하지 않기 때문에, 스테레오 플레이어와 강화된 다중-채널 플레이어에 대한 효율적이고 고품질의 다중-채널 확장이 얻어진다.

Description

호환성 다중-채널 코딩/디코딩{Compatible multi-channel coding/decoding}

본 발명은 다중-채널 오디오 신호를 처리하는 장치 및 방법에 관한 것으로서, 특히, 스테레오-겸용 방식으로(in a stereo-compatible manner) 다중-채널 오디오 신호를 처리하는 장치 및 방법에 관한 것이다.

발명의 배경 및 선행기술

최근 들어, 다중-채널 오디오 재생 기술이 더욱 더 중요하게 되어가고 있다. 이것은 잘 알려진 mp3 기술과 같은 오디오 압축/엔코딩 기술이 인터넷 또는 제한된 대역폭을 갖는 다른 전송 채널을 통해 오디오 레코드를 보급하는(distribute) 것을 가능하게 만드는 사실에 기인한 것일 수 있다. mp3 코딩 기술은 스테레오 포맷, 즉, 제1 또는 좌측 스테레오 채널(left stereo channel) 및 제2 또는 우측 스테레오 채널(right stereo channel)을 포함하는 오디오 레코드의 디지털식 표시(digital representation)로 모든 레코드의 보급을 가능하게 하는 사실 때문에 매우 유명하게 되었다.

그럼에도 불구하고, 종래의 2-채널 사운드 시스템에는 근본적인 단점이 있다. 그 결과, 서라운드 기술(surround technique)이 개발되어 왔다. 바람직한 다중-채널-서라운드 표시는, 두 개의 스테레오 채널(L 및 R)에 더하여, 하나의 부가적 인 중심 채널(C)과 두 개의 서라운드 채널(Ls, Rs)을 포함한다. 이 참조 사운드 포맷(reference sound format)은, 세 개의 프론트 채널(front channels)과 두 개의 서라운드 채널을 의미하는, 3/2 스테레오(three/two-stereo)로 또한 불리운다. 일반적으로, 다섯개의 전송 채널이 필요하다. 재생 환경(playback environment)에서, 다섯 개의 알맞은 장소에 설치된 확성기로부터 특정 거리내에서 최적의 스위트 스팟(sweet spot)을 얻기 위해 각 5개의 상이한 장소에 적어도 다섯 개의 스피커가 필요하다.

당업계에는 다중-채널 오디오 신호의 전송에 필요한 데이터의 양을 감소시키기 위한 여러가지 기술들이 공지되어 있다. 그러한 기술들은 조인트 스테레오 기술(joint stereo techniques)로 불리운다. 이를 위해, 조인트 스테레오 장치(60)를 나타낸 도 10을 살펴보자. 이 장치는 예를 들어 인텐시티 스테레오(intensity stereo; IS) 또는 바이노럴 큐 코딩(binaural cue coding: BCC)을 실행하는 장치일 수 있다. 그러한 장치는 적어도 두 개의 채널(CH1, CH2, . . . CHn)을 -하나의 입력으로서- 수신하고, 싱글 캐리어 채널(single carrier channel)과 파라미터 데이터(parametric data)를 출력하는 것이 일반적이다. 파라미터 데이터(parametric data)는, 디코더에서, 오리지널 채널(CH1, CH2, . . . CHn)의 근사치(approximation)가 계산되도록 정의된다.

일반적으로, 파라미터 데이터는 스펙트럼 계수의 그러한 샘플들을 포함하지 않으나 곱셈(multiplication), 시간 쉬프팅(time shifting), 주파수 쉬프팅(frequency shifting) 등에 의한 가중(weighting)과 같은 특정 재구성 알고리 즘(reconstruction algorithm)을 제어하기 위한 제어 파라미터들을 포함하는 반면, 캐리어 채널은, 기초 신호(underlying signal)의 비교적 우수한 표시를 제공하는, 부대역 샘플(subband samples), 스펙트럼 계수(spectral coefficients), 시간 도메인 샘플(time domain samples) 등을 포함한다. 그러므로, 파라미터 데이터는 신호 또는 관련 채널의 비교적 조잡한 표시(comparatively coarse representation)만을 포함한다. 숫자로 표시된, 하나의 채널에 대한 파라미터 사이드 정보에 필요한 데이터의 양은 1,5 - 2,5 kbit/s 의 범위내인 반면, 캐리어 채널에 필요한 데이터의 양은 60 - 70 kbit/s 의 범위내에 있게 될 것이다. 파라미터 데이터에 대한 하나의 예는, 아래에 설명될 잘 알려진 스케일 인자(scale factors), 인텐시티 스테레오 정보 또는 바이노럴 큐 파라미터이다.

인텐시티 스테레오 코딩은 AES 예비원고(preprint) 3799, "인텐시티 스테레오 코딩(Intensity Stereo Coding)" [J. 헤레(J. Herre), K. H. 브란덴버그(K. H. Brandenburg), D. 리더러(D. Lederer), 1994년 2월, 암스테르담]에 기술되어 있다. 인텐시티 스테레오의 개념은 양쪽의 입체음향 오디오 채널(stereophonic audio channels)의 데이터에 적용될 메인 축 변형(main axis transform)에 기초하는 것이 일반적이다. 대부분의 데이터 포인트(data points)가 제1 원리 축(principle axis) 주위에 집중되면, 코딩에 앞서 특정 각도로 양쪽 신호를 회전시켜(rotating) 하나의 코딩 이득(coding gain)을 얻을 수 있다. 그러나, 실제 입체음향 생성 기술(real stereophonic production techniques)에 있어 항상 그러한 것은 아니다. 따라서, 이 기술은 제2 직교 성분을 비트 스트림의 전송으로부터 제외시킴에 의해 변형된다. 그러므로, 좌측 및 우측 채널에 대한 재구성 신호는 동일한 전송 신호의 차등 가중 또는 체감 버전(differently weighted or scaled versions)으로 구성된다. 그럼에도 불구하고, 재구성 신호는 그 크기(amplitude)에서 다르나 그 위상(phase) 정보에 있어 동일하다. 그러나, 양쪽의 오리지널 오디오 채널의 에너지-시간 엔벨로프(energy-time envelopes)는, 대체로 주파수 선택 방식으로 동작하는, 선택적 스케일링 동작(selective scaling operation)에 의해 보존된다(preserved). 이것은, 주공간 큐(dominant spatial cues)가 에너지 엔벨로프에 의해 결정되는, 인간의 고주파수에서의 소리 지각 작용과 합치한다.

부가적으로, 실제 실행에 있어서, 전송된 신호, 즉, 캐리어 채널은 두 성분들을 회전시키는 대신 좌측 채널과 우측 채널의 합계 신호(sum signal)로부터 발생된다. 또한, 이러한 처리, 즉, 스케일링 동작을 실행하기 위한 인센시티 스테레오 파라미터를 발생시키는 것은 주파수 선택적으로, 즉, 각 스케일 인자 대역(scale factor band), 즉, 엔코더 주파수 파티션encoder frequency partition)과 관계없이 실행된다. 두 채널들은 하나의 조합된(combined) 또는 "캐리어" 채널을 형성하기 위해 조합되며, 조합 채널에 더하여, 제1 채널의 에너지, 제2 채널의 에너지 또는 조합 채널의 에너지에 의존하는, 인텐시티 스테레오 정보가 결정되는 것이 바람직하다.

BCC 기술은 AES 컨벤션 페이퍼(convention paper) 5574, "스테레오 및 다중-채널 오디오 압축에 적용되는 바이노럴 큐 코딩(Binaural cue coding applied to stereo and multi-channel audio compression)" [C. 팔러(C. Faller), F. 바움가르 테(F. Baumgarte), 2002년 5월, 뮌헨]에 기술되어 있다. BBC 코딩에 있어서, 복수의 오디오 입력 채널들이 중첩 윈도우(overlapping windows)를 갖는 DFT 베이스 변환(DFT based transform)을 사용하여 하나의 스펙트럼 표시(spectral representation)로 변환된다. 그에 따라 나타나는 균일 스펙트럼(resulting uniform spectrum)은 각기 하나의 인덱스를 갖는 비-중첩 파티션(non-overlapping partitions)으로 분할된다. 각 파티션은 동등한 직각 대역폭(equivalent rectangular bandwidth; ERB)과 비례하는 대역폭을 갖는다. 채널간 레벨 차이(inter-channel level differences; ICLD)와 채널간 시간 차이(inter-channel time differences; ICTD)는 각 프레임(k)을 위한 각 파티션에 대해 평가된다(estimated). ICLD 및 ICTD는 양자화되고 코딩되어 하나의 BCC 비트 스트림이 된다. 채널간 레벨 차이와 채널간 시간 차이는 하나의 참조 채널에 대하여 각 채널마다 주어진다. 그 다음에, 파라미터들은 처리될 신호의 특정 파티션에 의존하는 미리 정해진 식(formulae)에 따라 계산된다.

디코더-측에서, 디코더는 하나의 단일 신호(mono signal) 및 BCC 비트 스트림을 수신한다. 이 단일 신호는 주파수 도메인으로 변환되고, 디코딩된 ICLD 및 ICTD 값을 또한 수신하는, 하나의 입체 합성 블록(spatial synthesis block)에 입력된다. 입체 합성 블록에 있어서, BCC 파라미터(ICLD 및 ICTD) 값은, 주파수/시간 변환 후에 오리지널 다중-채널 오디오 신호의 재구성을 나타내는, 다중-채널 신호를 합성하기 위하여 이 단일 신호의 가중 동작(weighting operation)을 실행하도록 사용된다.

BCC의 경우에, 조인트 스테레오 모듈(60)은, 파라미터 채널 데이터(parametric channel data)가 양자화되고 엔코딩된 ICLD 또는 ICTD 파라미터이도록, 채널 사이드 정보(channel side information)를 출력하도록 동작하며, 여기서 오리지널 채널들중의 하나가 채널 사이드 정보를 코딩하기 위한 참조 채널로 사용된다.

일반적으로, 캐리어 채널은 관여하는 오리지널 채널들(participating original channels)의 합계(sum)로 구성된다.

물론, 상기 기술은 캐리어 채널을 처리 할 수만 있는 디코더에 대하여 단일 표시를 제공하나, 하나 이상의 입력 채널의 하나 또는 그 이상의 근사치를 발생시키기 위한 파라미터 데이터(parametric data)를 처리할 수 없다.

겸용 방식으로, 즉, 하나의 노멀 스테레오 디코더에 대해 또한 판독가능한, 비트스트림 포맷으로, 다섯 개의 채널을 전송하기 위하여, 소위 매트릭싱 기술(matrixing technique)이, "뮤직캠 서라운드(MUSICAM surround): ISO 11172-3와 호환가능한 일반적 다중-채널 코딩 시스템(a universal multi-channel coding system compatible with ISO 11172-3)" [G. 테일레(G. Theile) 및 G. 스톨(G. Stoll), AES 예비원고(preprint) 3403, 1992년 10월, 샌프란시스코]에 기술된 바와 같이 사용되어 왔다. 다섯 개의 입력 채널로부터 기초 또는 겸용 스테레오 채널(Lo, Ro)을 계산하기 위해 다섯 개의 채널(L, R, C, Ls, 및 Rs)이 매트릭싱 동작을 실행하는 하나의 매트릭싱 장치(matrixing device)에 공급된다. 특히, 이들 기초 스테레오 채널(Lo/Ro)은 아래와 같이 계산된다:

Lo = L + xC + yLs

Ro = R + xC + yRs

x 및 y는 상수이다. 다른 세개의 채널(C, Ls, Rs)은, 기초 스테레오 신호(Lo/Ro)의 엔코딩된 버전을 포함하는, 기초 스테레오 층에 더하여, 하나의 확장 층(extension layer)에 있기 때문에 전송된다. 비트스트림에 있어서, 이 Lo/Ro 기초 스테레오 층은 하나의 헤더와, 스케일 인자 및 부대역 샘플과 같은 정보를 포함한다. 다중-채널 확장 층(multi-channel extension layer), 즉, 중심 채널과 두 개의 서라운드 채널들은 소위 보조 데이터 영역(ancillary data field)이라 불리우는 다중-채널 확장 영역에 포함된다.

디코더-측에 있어서, 기초 스테레오 채널(Lo, Ro) 및 세개의 부가 채널을 사용하여 다섯-채널 표시로 좌측 및 우측 채널들의 재구성을 형성하기 위해 역 매트릭싱 동작(inverse matrixing operation)이 실행된다. 게다가, 세 개의 추가 채널들이 오리지널 다중-채널 오디오 신호의 디코딩된 다섯-채널 또는 서라운드 표시를 얻기 위해 보조 정보로부터 디코딩된다.

다중-채널 엔코딩에 대한 또 다른 접근법(approach)은, 역방향 호환성(backward compatibility)을 얻기 위해, 역방향 호환 모드가 검토된, 간행물 "개선된 MPEG-2 오디오 다중-채널 엔코딩(Improved MPEG-2 audio multi-channel encoding)" [B. 그릴(B. Grill), J. 히레(J. Herre), K. H. 브란덴버그(K. H. Brandenburg), E. 에버레인(E. Eberlein), J. 콜러(J. Koller), J. 뮐러(J. Mueller), AES 예비원고 3865, 1994년 2월, 암스테르담]에 기술되어 있다. 이를 위해, 호환성 매트릭스가 오리지널 다섯 입력 채널로부터 두 개의 소위 다운믹스 채널(Lc, Rc)을 얻기 위해 사용된다. 더욱이, 보조 데이터로 전송된 세 개의 보조 채널들을 다이나믹하게(dynamically) 선택하는 것이 가능하다.

스테레오 이렐리번시(stereo irrelevancy)를 이용하기 위해, 조인트 스테레오 기술이 채널의 그룹, 예를 들어, 세 개의 프론트 채널(front channels), 즉, 좌측 채널, 우측 채널 및 중심 채널에 적용된다. 이를 위해, 이 세 개의 채널들이 하나의 조합 채널을 얻기 위해 조합된다. 이 조합 채널은 비트스트림으로 양자화되고 패킹된다(packed). 그 다음에, 이 조합 채널은 상응하는 조인트 스테레오 정보와 함께, 조인트 스테레오 디코딩 채널, 즉, 조인트 스테레오 디코딩 좌측 채널, 조인트 스테레오 디코딩 우측 채널 및 조인트 스테레오 디코딩 중심 채널을 얻기 위해 조인트 스테레오 디코딩 모듈로 입력된다. 이 조인트 스테레오 디코딩 채널들은 좌측 서라운드 채널 및 우측 서라운드 채널과 함께 제1 및 제2 다운믹스 채널(Lc, Rc)을 형성하기 위해 호환성 매트릭스 블록에 입력된다. 그 다음에 양쪽의 다운믹스 채널들의 양자화 버전과 조합 채널의 양자화 버전이 조인트 스테레오 코딩 파라미터와 함께 비트스트림으로 패킹된다.

그러므로, 인텐시티 스테레오 코딩을 사용하여, 독립 오리지널 채널 신호의 그룹이 "캐리어" 데이터의 단일부(single portion)내에 전송된다. 그 다음에, 디코더는 포함된 신호를, 그 오리지널 에너지-시간 엔벨로프(original energy-time envelopes)에 따라 재 스케일링되는 동일 데이터(identical data)로 재구성한다. 따라서, 전송된 채널들의 하나의 선형 조합은 오리지널 다운믹스와 아주 다른 결과를 가져온다. 이것은 인텐시티 스테레오 컨셉(intensity stereo concept)을 기초로 하는 여하한 종류의 조인트 스테레오 코딩에도 적용된다. 호환성 다운믹스 채널을 제공하는 코딩 시스템의 경우 바로 다음과 같이 귀결된다: 상기 간행물에 기술된 디매트릭싱(dematrixing)에 의한 재구성은, 불완전한 재구성에 기인한 아티팩트(artifacts)의 문제가 있다. 좌측, 우측 및 중심 채널의 조인트 스테레오 코딩이 엔코더의 매트릭싱 이전에 실행되는 소위 조인트 스테레오 프리디스토숀 스킴(joint stereo predistortion scheme)을 사용하여, 이 문제를 해결한다. 엔코더-측에서, 조인트 스테레오 디코딩 신호는 다운믹스 채널을 발생시키기 위해 사용되기 때문에, 재구성을 위한 디매트릭싱 설계는 이런 식으로 보다 적은 아티팩트를 가져온다. 따라서, 불완전한 재구성 처리는, 오디오 신호 그 자체에 의해 마스킹될 수 있는 호환성 다운믹스 채널(Lc 및 Rc)로 바뀐다(shifted).

그러한 시스템은 디코더-측에서의 디매트릭싱 때문에 아티팩트가 보다 적은 수로 되기는 하나, 그럼에도 불구하고 몇몇 결점을 가진다. 스테레오-겸용 다운믹스 채널(Lc 및 Rc)은, 오리지널 채널이 아닌, 오리지널 채널의 인텐시티 스테레오 코딩/디코딩 버전으로부터 유도된다. 그러므로, 인텐시티 스테레오 코딩 시스템으로 인한 데이터 손실이 호환성 다운믹스 채널에 포함된다. 강화 인텐시티 스테레오 엔코딩 채널(enhancement intensity stereo encoded channels)이 아닌 호환성 채널을 디코딩하는, 스테레오-유일 디코더(stereo-only decoder)는, 따라서, 인텐시티 스테레오 유도 데이터 손실에 의해 영향을 받는 출력 신호를 제공한다.

부가적으로, 완전한 추가 채널이 두 개의 다운믹스 채널 외에도 전송되어야 한다. 이 채널은 좌측 채널, 우측 채널 및 중심 채널의 조인트 스테레오 코딩에 의해 형성된 조합 채널이다. 부가적으로, 조합 채널로부터 오리지널 채널(L, R, C)을 재구성하기 위한 인텐시티 스테레오 정보가 또한 디코더로 전송되어야만 한다. 디코더에서, 하나의 역 매트릭싱, 즉, 디매트릭싱 동작이 두 개의 다운믹스 채널로부터 서라운드 채널을 유도하기 위해 실행된다. 부가적으로, 오리지널 좌측, 우측 및 중심 채널들은, 전송된 조합 채널 및 전송된 조인트 스테레오 파라미터를 사용하는 조인트 스테레오 디코딩에 의해 근사화된다(approximated). 오리지널 좌측 우측 및 중심 채널들이 조합 채널의 조인트 스테레오 디코딩에 의해 유도된다.

발명의 요약

본 발명의 목적은 다중-채널 오디오 신호의 비트-유효 및 아티팩트-감소 처리(bit-efficient and artifact-reduced processing) 또는 역 처리(inverse processing)의 개념을 제공하는 것이다.

본 발명의 제1 측면에 따르면, 본 발명의 목적은, 오리지널 채널(original channels)로부터 유도된(derived) 제1 및 제2 다운믹스 채널(downmix channels)을 제공하기 위한 수단과; 제1 및 제2 다운믹스 채널을 포함하는 하나의 다운믹스 채널 또는 하나의 조합 다운믹스 채널이, 채널 사이드 정보(channel side information)를 사용하여 가중될(weighted) 때, 선택된 오리지널 채널의 근사치를 얻도록, 채널 사이드 정보를 계산하기 위해 동작하는, 오리지널 신호의 선택된 오리지널 채널에 대한 채널 사이드 정보를 계산하기 위한 수단; 및 채널 사이드 정보, 상기 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호 및 상기 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호를 포함하는 출력 데이터를 발생시키기 위한 수단을 포함하여 구성되는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호를 처리하는 장치에 의해 달성된다.

본 발명의 제2 측면에 따르면, 본 발명의 목적은, 오리지널 채널로부터 유도된 제1 및 제2 다운믹스 채널을 제공하는 단계와; 하나의 다운믹스 채널 또는 제1 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록, 오리지널 신호의 하나의 선택된 오리지널 채널에 대한 채널 사이드 정보를 계산하는 단계와; 그리고 채널 사이드 정보, 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호, 및 제2 다운믹스 채널 또는 이 제2 다운 믹스 채널로부터 유도된 하나의 신호를 포함하는 출력 데이터를 발생시키는 단계를 포함하여 구성되는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호를 처리하는 방법에 의해 달성된다.

본 발명의 제3 측면에 따르면, 본 발명의 목적은, 채널 사이드 정보, 하나의 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호, 및 하나의 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호를 포함하는 입력 데이터의 역처리(inverse processing) 장치로서, 제1 다운믹스 채널 및 제2 다운믹스 채널이 다중-채널 오디오 신호의 적어도 세 개의 오리지널 채널로부터 유도되고, 그리고, 채널 사이드 정보가, 하나의 다운믹스 채널 또는 제1 다운믹스 채널 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록 계산되며; 하나의 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호 및 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호 및 하나의 채널 사이드 정보를 얻기 위해 입력 데이터를 판독하기 위한 하나의 입력 데이터 리더; 및 선택된 오리지널 채널의 근사치를 얻기 위해 채널 사이드 정보 및 다운믹스 채널 또는 조합 다운믹스 채널을 사용하여 선택된 오리지널 채널의 근사치(approximation)를 재구성하기 위한 하나의 채널 리컨스트럭터(channel reconstructor)를 포함하여 구성되는, 입력 데이터의 역처리 장치에 의해 달성된다.

본 발명의 제4 측면에 따르면, 본 발명의 목적은, 채널 사이드 정보, 하나의 제1 다운믹스 채널 또는 그 제1 다운믹스 채널로부터 유도된 하나의 신호, 및 하나의 제2 다운믹스 채널 또는 그 제2 다운믹스 채널로부터 유도된 하나의 신호를 포함하는 입력 데이터의 역처리(inverse processing) 방법으로서, 제1 다운믹스 채널 및 제2 다운믹스 채널이 다중-채널 오디오 신호의 적어도 세 개의 오리지널 채널로부터 유도되고, 그리고, 채널 사이드 정보가, 하나의 다운믹스 채널 또는 제1 다운믹스 채널 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록 계산되며; 제1 다운믹스 채널 또는 그 제1 다운믹스 채널로부터 유도된 하나의 신호 및 제2 다운믹스 채널 또는 그 제2 다운믹스 채널로부터 유도된 하나의 신호 및 채널 사이드 정보를 얻기 위해 입력 데이터를 판독하는 단계와; 그리고 선택된 오리지널 채널의 근사치를 얻기 위해 채널 사이드 정보 및 다운믹스 채널 또는 조합 다운믹스 채널을 사용하여 선택된 오리지널 채널의 근사치를 재구성하는 단계를 포함하여 구성되는, 입력 데이터의 역처리 방법에 의해 달성된다.

본 발명의 제5 측면 및 제6 측면에 따르면, 본 발명의 목적은, 상기 처리 방법 또는 역처리 방법을 포함하는 컴퓨터 프로그램에 의해 달성된다.

본 발명은, 좌측 및 우측 스테레오 채널을 나타내는 바람직한 두 개의 다운믹스 채널이 출력 데이터로 패킹될 때, 다중-채널 오디오 신호의 효율적 그리고 아티팩트-감소적 엔코딩이 얻어진다는 발견에 기초한다.

하나 또는 그 이상의 오리지널 채널에 대한 파라미터 채널 사이드 정보가, 선행 기술에서와 마찬가지로, 하나의 부가적인 "조합" 조인트 스테레오 채널보다는, 다운믹스 채널들중의 하나와 관련되게 유도되는 것이 독창적이다.

이것은 디코더 측에, 채널 사이드 정보가 지정되는(assigned) 오리지널 오디오 채널의 근사치를 재구성하기 위해, 하나의 채널 리컨스트럭터가 채널 사이드 정보 및 다운믹스 채널중의 하나 또는 이 다운믹스 채널들의 조합을 사용하도록, 파라미터 채널 사이드 정보가 계산됨을 의미한다.

본 발명은, 다중-채널 오디오 신호가 하나의 디코더에서 플레이될(played) 수 있도록, 비트-효율적 다중-채널 확장(bit-efficient multi-channel extension)을 제공하는 장점이 있다.

추가적으로, 두-채널 처리에만 적합한 하위 스케일 디코더(a lower scale decoder)가 확장 정보, 즉, 채널 사이드 정보를 간단히(simply) 무시할 수 있기 때문에, 본 발명의 개념은 역방향 호환성(backward compatibility)이다. 하위 스케일 디코더는 오리지널 다중-채널 오디오 신호의 하나의 스테레오 표시를 얻기 위해 두 다운믹스 채널을 플레이할(play) 수만 있다. 그러나, 다중-채널 동작을 할 수 있는 상위 채널 디코더는 오리지널 채널의 근사치를 재구성하기 위해 전송된 채널 사이드 정보를 사용할 수 있다.

본 발명은, 선행기술과 달리, 제1 및 제2 다운믹스 채널(Lc, Rc) 이외의 추가 캐리어 채널이 필요하지 않기 때문에, 비트-효율적인 장점이 있다. 대신에, 채널 사이드 정보는 하나 또는 양쪽의 다운믹스 채널과 관련된다. 이것은 채널 사이드 정보가, 오리지널 오디오 채널을 재구성하기 위해 조합되는 하나의 캐리어 채널의 역할을 다운믹스 채널 자신이 하는 것을 의미한다. 이것은 채널 사이드 정보가 파라미터 사이드 정보, 즉, 여하한 부대역 샘플 또는 스펙트럼 계수를 포함하지 않는 정보인 것이 바람직함을 의미한다. 대신에, 파라미터 사이드 정보는, 선택된 오리지널 채널의 재구성 버전을 얻기 위해 각각의 다운믹스 채널 또는 각 다운믹스 채널들의 조합을 (시간 및/또는 주파수로) 가중시키는데 사용되는 정보이다.

본 발명의 바람직한 실시예에서, 겸용 스테레오 신호에 기초한 다중-채널 신호의 역방향 호환성 코딩이 얻어진다. 바람직하게는, 호환성 스테레오 신호(다운믹스 신호)가 다중-채널 오디오 신호의 오리지널 채널의 매트릭싱을 사용하여 발생된다.

하나의 선택된 오리지널 채널의 채널 사이드 정보는, 인텐시티 스테레오 코딩 또는 바이노럴 큐 코딩과 같은 조인트 스테레오 기술에 기초하여 얻어지는 것이 독창적이다. 따라서, 디코더 측에서, 디매트릭싱 동작이 실행되지 않아야 한다. 디매트릭싱과 관련된 문제들, 즉, 디매트릭싱 동작에서의 양자화 노이즈(quantization noise)의 바람직하지 않은 분산(distribution)과 관련된 특정 아트팩트를 피하게 된다. 이것은 디코더가, 다운믹스 채널중의 하나 또는 다운믹스 채널들 그리고 전송된 채널 사이드 정보의 조합을 사용하여, 오리지널 신호를 재구성하는 채널 리컨스트럭터를 사용한다는 사실에 기인한다.

본 발명은 다섯 채널을 갖는 다중-채널 오디오 신호에 적용되는 것이 바람직하다. 이 다섯 채널들은 좌측 채널(L), 우측 채널(R), 중심 채널(C), 좌측 서라운드 채널(Ls), 및 우측 서라운드 채널(Rs)이다. 다운믹스 채널은, 오리지널 다중-채널 오디오 신호의 하나의 스테레오 표시를 제공하는 스테레오 겸용 다운믹스 채널(Ls 및 Rs)인 것이 바람직하다.

본 발명의 바람직한 실시예에 따르면, 각 오리지널 채널에 있어서, 출력 데이터로 패킹된 하나의 엔코더 측에서 채널 사이드 정보가 계산된다. 오리지널 좌측 채널에 대한 채널 사이드 정보는 좌측 다운믹스 채널을 사용하여 유도된다. 오리지널 좌측 서라운드 채널에 대한 채널 사이드 정보는 좌측 다운믹스 채널을 사용하여 유도된다. 오리지널 우측 채널에 대한채널 사이드 정보는 우측 다운믹스 채널로부터 유도된다. 오리지널 우측 서라운드 채널에 대한 채널 사이드 정보는 우측 다운믹스 채널로부터 유도된다.

본 발명의 바람직한 실시예에 따르면, 오리지널 중심 채널에 대한 채널 정보가 제2 다운믹스 채널과 함께 제1 다운믹스 채널을 사용하여, 즉, 두 다운믹스 채널들의 조합을 사용하여 유도된다. 이 조합은 합(summation)인 것이 바람직하다.

따라서, 그룹핑(groupings), 즉, 채널 사이드 정보와 캐리어 신호 사이의 관계, 즉, 선택된 오리지널 채널에 대한 채널 사이드 정보를 제공하기 위해 사용된 다운믹스 채널은, 최적의 품질을 위해, 채널 사이드 정보에 의해 표시되는 각 오리지널 다중-채널 신호의 가장 높은 가능한 상대적 양을 포함하는 특정 다운믹스 채널로 선택된다. 그러한 조인트 스테레오 캐리어 신호로서, 제1 및 제2 다운믹스 채널이 사용된다. 제1 및 제2 다운믹스 채널의 합계가 또한 사용될 수 있는 것이 바람직하다. 물론, 제1 및 제2 다운믹스 채널의 합은 각 오리지널 채널에 대한 채널 사이드 정보를 계산하기 위해 사용될 수 있다. 그러나, 다운믹스 채널의 합은, 다섯 채널 서라운드, 일곱 채널 서라운드, 5.1 서라운드 또는 7.1 서라운드와 같은 서라운드 환경에서 오리지널 중심 채널의 채널 사이드 정보를 계산하기 위해 사용되는 것이 바람직하다. 추가 전송 오버헤드(transmission overhead)가 실행되어야 하지 않기 때문에, 제1 및 제2 다운믹스 채널의 합을 사용하는 것이 특히 유리하다. 이것은, 이 다운믹스 채널들의 합(summing)이 추가적인 전송 비트를 필요로 하지 않고 디코더에서 쉽게 실행될 수 있도록, 두 다운믹스 채널들이 디코더에 존재하는 사실에 기인한다.

하위 스케일 디코더가 다중-채널 확장(extension) 데이터를 쉽게 무시하고 다중-채널 오디오 신호의 스테레오 표시를 제공하도록, 다중-채널 확장을 형성하는 채널 사이드 정보가 겸용 방식으로 출력 데이터 비트 스트림에 입력되는 것이 바람직하다. 그럼에도 불구하고, 상위(higher) 스케일 엔코더는 두 다운믹스 채널들을 사용할 뿐만 아니라 이에 더하여 오리지널 오디오 신호의 완전한(full) 다중-채널 표시를 재구성하기 위해 채널 사이드 정보를 사용한다(employs).

본 발명의 디코더는, 첫째로 양쪽의 다운믹스 채널들을 디코딩하고, 선택된 오리지널 채널에 대한 채널 사이드 정보를 판독하도록 동작한다. 그 다음에, 채널 사이드 정보와 다운믹스 채널이 오리지널 채널의 근사치를 재구성하도록 사용된다. 이를 위해, 디매트릭싱 동작이 전혀 실행되지 않는 것이 바람직하다. 이것은, 이 실시예에서, 예를 들어 다섯 개의 오리지널 입력 채널이 각각 예를 들어 다섯 셋트의 상이한 채널 사이드 정보를 사용하여 재구성되는 것을 의미한다. 디코더에서, 엔코더에서와 동일한 그룹핑이 재구성된 채널 근사치를 계산하기 위해 실행된다. 이것은, 다섯-채널 서라운드 환경에서, 오리지널 좌측 채널을 재구성하기 위해 좌측 다운믹스 채널과 좌측 채널에 대한 채널 사이드 정보가 사용되는 것을 의미한다. 오리지널 좌측 채널을 재구성하기 위해, 우측 다운믹스 채널과, 우측 채널에 대한 채널 사이드 정보가 사용된다. 오리지널 좌측 서라운드 채널을 재구성하기 위해, 좌측 다운믹스 채널과, 좌측 서라운드 채널에 대한 채널 사이드 정보가 사용된다. 오리지널 좌측 서라운드 채널을 재구성하기 위해, 좌측 서라운드 채널 및 좌측 다운믹스 채널에 대한 채널 사이드 정보가 사용된다. 오리지널 중심 채널을 재구성하기 위해, 제1 다운믹스 채널 및 제2 다운믹스 채널로부터 형성된 하나의 조합 채널과 중심 채널 사이드 정보가 사용된다.

자연적으로, 채널 사이드 정보 파라미터의 (예를 들어 다섯 세트 중에서) 세 셋트만이 전송되어야 하도록 제1 및 제2 다운믹스 채널을 좌측 및 우측 채널로서 재생시키는(replay) 것이 또한 가능하다. 그러나, 이것은, 품질에 관한 규정이 덜 엄격한 경우에만 권장할만 할 것이다. 이것은 일반적으로 좌측 다운믹스 채널과 우측 다운믹스 채널이 오리지널 좌측 채널 또는 오리지널 우측 채널과 다르다는 사실에 기인한다. 각 오리지널 채널에 대한 채널 사이드 정보를 전송할 수 없는 경우에만, 그러한 처리가 유리하다.

본 발명의 바람직한 실시예들을 첨부된 도면을 참고하여 다음에 설명하기로 하며, 도면 중,

도 1은, 본 발명의 엔코더의 바람직한 실시예의 블록도이고;

도 2는, 본 발명의 디코더의 바람직한 실시예의 블록도이며;

도 3a는, 주파수 선택적 채널 사이드 정보를 얻기 위한 계산 수단의 바람직한 실행의 블록도이고;

도 3b는, 인텐시티 코딩 또는 바이노럴 큐 코딩과 같은 조인트 스테레오 처리를 실행하는 계산기(calculator)의 바람직한 실시예를 나타낸 도면이며;

도 4는, 채널 사이드 정보가 이득 인자(gain factors)인, 채널 사이드 정보를 계산하기 위한 수단의 바람직한 실시예를 나타낸 도면이고;

도 5는, 엔코더가 도 4와 같이 실행될 때 디코더의 실행의 바람직한 실시예를 나타낸 도면이며;

도 6은, 다운믹스 채널을 제공하기 위한 수단의 바람직한 실시예를 나타낸 도면이고;

도 7은, 각 오리지널 채널에 대한 채널 사이드 정보를 계산하기 위한 오리지널 및 다운믹스 채널의 그룹핑을 나타낸 도면이며;

도 8은, 본 발명의 엔코더의 다른 바람직한 실시예를 나타낸 도면이고;

도 9는, 본 발명의 디코더의 다른 실행을 나타낸 도면이며; 그리고

도 10은, 종래의 조인트 스테레오 엔코더를 나타낸 도면이다.

바람직한 실시예의 상세한 설명

도 1은, R, L 및 C와 같은 적어도 세 개의 오리지널 채널을 갖는 하나의 다중-채널 오디오 신호(10)를 처리하기 위한 장치를 나타낸 도면이다. 오리지널 오디오 신호는, 도 1에 도시된 서라운드 환경에서 다섯 채널과 같은, 셋 이상의 채널을 가지는 것이 바람직하다. 다섯 채널은 좌측 채널(L), 우측 채널(R), 중심 채널(C), 좌측 서라운드 채널(Ls) 및 우측 서라운드 채널(Rs)이다. 본 발명의 장치는 제1 다운믹스 채널(Lc)과 제2 다운믹스 채널(Rc)을 제공하기 위한 수단(12)과, 오리지널 채널들로부터 유도된 제1 및 제2 다운믹스 채널을 포함한다. 오리지널 채널로부터 다운믹스 채널을 유도하기 위한 여러 가지 가능성이 존재한다. 하나의 가능성은 도 6에 도시된 매트릭싱 동작을 사용하여 오리지널 채널을 매트릭싱함에 의해 다운믹 스 채널(Lc 및 Rc)을 유도하는 것이다. 이 매트릭싱 동작은 시간 도메인에서 실행된다.

매트릭싱 파라미터(a, b 및 t)는 1과 동일하거나 작도록 선택된다. a와 b는 0.7 또는 0.5인 것이 바람직하다. 전체 가중 파라미터(overall weighting parameter)(t)는 채널 클리핑(channel clipping)이 회피되도록 선택되는 것이 바람직하다.

이와 달리, 도 1에 도시된 바와 같이, 다운믹스 채널(Lc 및 Rc)이 외부에서 공급될 수도 있다. 이것은 다운믹스 채널(Lc 및 Rc)이 "핸드 믹싱(hand mixing)" 동작의 결과일 때 행해질 수 있다. 이 시나리오에서, 사운드 엔지니어(sound engineer)는 자동 매트릭싱 동작을 사용하지 않고 스스로 다운믹스 채널들을 혼합한다. 사운드 엔지니어는 오리지널 다중-채널 오디오 신호의 가장 가능성있는 스테레오 표시를 부여하는 최적화된 다운믹스 채널(Lc 및 Rc)능 얻기 위해 독창적인 믹싱(creative mixing)을 실행한다.

다운믹스 채널을 외부에서 공급하는 경우에, 그 제공 수단은 매트릭싱 동작을 실행하지 않으나, 외부에서 공급된 다운믹스 채널을 다음의 계산 수단(14)에 단순히 전송한다.

계산 수단(14)은 L, Ls, R 또는 Rs와 같은 선택된 오리지널 채널에 대한 l_i, ls_i, r_i 또는 rs_i와 같은 채널 사이드 정보를 계산하도록 동작한다. 특히, 채널 사이드 정보를 사용하여 가중될 때, 다운믹스 채널이 선택된 오리지널 채널의 근사 치(approximation)를 가져오도록, 계산 수단(14)이 채널 사이드 정보를 계산한다.

이와 달리 또는 추가적으로, 계산된 채널 사이드 정보를 사용하여 가중될 때, 제1 및 제2 다운믹스 채널의 조합을 포함하는 하나의 조합 다운믹스 채널이, 선택된 오리지널 채널의 근사치를 가져오도록, 채널 사이드 정보를 계산하기 위한 수단이 선택된 오리지널 채널에 대한 채널 사이드 정보를 계산하도록 더 동작한다. 이 특성을 도면에 나타내기 위해, 하나의 애더(adder)(14a)와 하나의 조합 채널 사이드 정보 계산기( calculator)(14b)가 도시되어 있다.

이 구성요소들이 개별 요소(distinct elements)로 실행(implement)되어야만 하는 것이 아니라는 것은 당업자들에게 명백하다. 대신에, 블록(14, 14a, 및 14b)의 전체 기능은, 필요한 기능을 실행하기 위한 범용 프로세서(general purpose processor) 또는 다른 수단일 수 있는 특정 프로세서에 의해 실행될 수 있다.

추가적으로, 본 명세서에는 부대역 샘플 또는 주파수 도메인 값인 채널 신호가 대문자로 표시되어 있는 것이 주목된다. 채널 사이드 정보는, 채널들 자체와 달리, 소문자로 표시되어 있다. 채널 사이드 정보(C_i)는, 그러므로, 오리지널 중심 채널(C)에 대한 채널 사이드 정보이다.

다운믹스 채널(Lc 및 Rc) 또는 오디오 엔코더(16)에 의해 만들어진 엔코딩된 버전(Lc' 및 Rc')와 함께 채널 사이드 정보는 출력 데이터 포맷터(output data formatter)(18)에 입력된다. 일반적으로, 출력 데이터 포맷터(18)는, 적어도 하나의 오리지널 채널, 제1 다운믹스 채널 또는 (그 엔코딩된 버전과 같은) 제1 다운믹 스 채널로부터 유도된 신호 및 제2 다운믹스 채널 또는 (그 엔코딩된 버전과 같은) 제2 다운믹스 채널로부터 유도된 신호에 대한 채널 사이드 정보를 포함하는 출력 데이터를 발생시키는 수단의 역할을 한다.

출력 데이터 또는 출력 비트스트림(20)은 그 다음에 비트스트림 디코더로 전송될 수 있거나 저장 또는 배포(distribute)될 수 있다. 출력 비트스트림(20)은 다중-채널 확장 능력을 가지지 않는 하위(lower) 스케일 디코더에 의해 판독될 수 있는 호환성 비트스트림이다. 가장 많이 있는 통상적인 기술의 mp3 디코더와 같은 그러한 하위 스케일 엔코더는 다중-채널 확장 데이터, 즉, 채널 사이드 정보를 단순히 무시한다. 그들은 스테레오 출력을 만들어내기 위해 제1 및 제2 다운믹스 채널을 디코딩하기만 할 것이다. 다중-채널 가능 디코더(multi-channel enabled decoders)와 같은, 상위 스케일 디코더(higher scale decoders)는, 채널 사이드 정보를 판독할 것이며, 그 다음에 다중-채널 오디오 효과(multi-channel audio impression)가 얻어지도록 오리지널 오디오 채널의 근사치를 발생시킬 것이다.

도 8은, 다섯 채널 서라운드 / mp3의 환경에서의 본 발명의 바람직한 실시예를 나타낸 도면이다. 여기서, "mp3 서라운드" 비트 스트림이 얻어지도록, 표준화된 mp3 비트 스트림 신택스(bit stream syntax)의 보조 데이터 영역에 서라운드 강화 데이터(surround enhancement data)를 기록하는(write) 것이 바람직하다.

도 2는, 입력 데이터 포트(22)에서 수신된 입력 데이터를 역 처리하기(inverse processing) 위한 장치의 역할을 하는 본 발명의 디코더를 도시한 도면이다. 입력 데이터 포트(22)에서 수신된 데이터는 도 1의 출력 데이터 포트(20)에 서 출력된 것과 동일한 데이터이다. 이와 달리, 데이터가 유선 채널을 통해 전송되지 않고 무선 채널을 통해 전송될 때, 데이터 입력 포트(22)에서 수신된 데이터는 엔코더에 의해 만들어진 오리지널 데이터로부터 유도된 데이터이다.

디코더 입력 데이터는, 채널 사이드 정보(26), 좌측 다운믹스 채널(28) 및 우측 다운믹스 채널(30)을 최종적으로 얻기 위해 입력 데이터를 판독하기 위한 데이터 스트림 리더(data stream reader)(24)에 입력된다. 입력 데이터가, 도 1의 오디오 엔코더(16)가 존재하는 경우에 상응하는, 다운믹스 채널의 엔코딩된 버전을 포함하는 경우에, 데이터 스트림 리더(24) 다운믹스 채널을 엔코딩하기 위해 사용되는 오디오 엔코더에 적합한, 하나의 오디오 디코더를 또한 포함한다. 이 경우에, 데이터 스트림 리더(24)의 일부인 오디오 디코더가, 제1 다운믹스 채널(Lc) 및 제2 다운믹스 채널(Rc), 또는 더 정확하게 말하면, 그러한 채널들의 디코딩된 버전을 발생시키도록 동작한다. 설명을 쉽게 하기 위해, 신호와 그 디코딩된 버전은 명백히 설명한 경우만 구별된다.

데이터 스트림 리더(24)에 의해 출력된 채널 사이드 정보(26)와 좌측 및 우측 다운믹스 채널(28 및 30)은, 다중-채널 플레이어(36)에 의해 작동될 수 있는, 오리지널 오디오 신호의 재구성 버전(34)을 만들기 위해 다중-채널 리컨스트럭터(32)로 공급된다. 다중-채널 리컨스트럭터가 주파수 도메인에서 동작하는 경우에, 다중-채널 플레이어(36)는, 그들을 작동시키기 전에 시간 도메인으로 변환되는 것과 같이 특정 방식으로 디코딩되어야 하는, 주파수 도메인 입력 데이터를 수신할 것이다. 이를 위해 다중-채널 플레이어(36)가 디코딩 설비(decoding facilities)를 포함할 수도 있다.

여기서, 하위 스케일 디코더는, 좌측 및 우측 다운믹스 채널(28 및 30)을 스테레오 출력부(38)로 출력하기만 하는 데이터 스트림 리더(24)를 가지기만 할 것이다. 그러나, 진보된(enhanced) 본 발명의 디코더는, 채널 사이드 정보(26)를 추출하고 다중-채널 리컨스트럭터(32)를 사용하여 오리지널 채널의 재구성된 버전(34)을 재구성하기 위해 이 사이드 정보와 다운믹스 채널(28 및 30)을 사용할 것이다.

도 3a는, 한편으로는 오디오 엔코더 그리고 다른 한편으로는 채널 사이드 정보 계산기가, 다중-채널 신호의 동일한 스펙트럼 표시에서 작동하는(operate), 채널 사이드 정보를 계산하기 위한 본 발명의 계산기(14)의 실시예를 나타낸 도면이다. 그러나, 도 1은, 한편으로는 오디오 엔코더 그리고 다른 한편으로는 채널 사이드 정보 계산기가 다중-채널 신호의 상이한 스펙트럼 표시에서 작용하는 다른 예를 나타낸다. 오디오 엔코딩과 사이드 정보 계산에 대해 개별적으로 최적화된 필터뱅크(filterbanks)가 사용될 수 있기 때문에, 컴퓨팅 리소스(computing resources)가 오디오 품질만큼 중요하지 않을 때, 도 1의 대안이 바람직하다. 그러나, 컴퓨팅 리소스가 문제일 때는, 도 3의 대안이 바람직한데, 이는 구성요소의 공용성(shared utilization of elements)으로 인해 계산력(computing power)을 덜 필요로 하기 때문이다.

도 3a에 도시된 장치는 두 개의 채널(A, B)을 수신하기에 적합하다. 도 3a에 도시된 장치는, 선택된 오리지널 채널(B)에 대한 이 채널 사이드 정보를 사용하여 채널(B)의 재구성된 버전이 채널 신호(A)로부터 계산될 수 있도록, 채널(B)에 대한 사이드 정보를 계산하도록 동작한다. 더욱이, 도 3a에 나타낸 장치는, 스펙트럼 값 또는 부대역 샘플을 (예를 들어, BCC 코딩과 같이 다중화 또는 시간 처리함에 의해) 가중시키기 위한 파라미터와 같은, 주파수 도메인 채널 사이드 정보를 형성하도록 동작한다. 이를 위해, 본 발명의 계산기는 출력부(140b)에서 채널(A)의 주파수 표시(representation)를 얻기 위해 또는 출력부(140c)에서 채널(B)의 주파수 도메인 표시를 얻기 위해 윈도윙(windowing) 및 시간/주파수 변환 수단(140a)을 포함한다.

바람직한 실시예에서, [사이드 정보 결정 수단(140f)에 의한] 사이드 정보 결정은 양자화 스펙트럼 값(quantized spectral values)을 사용하여 실행된다. 그 다음, 심리음향 모델 제어 입력부(140e)를 갖는 심리음향 모델(psychoacoustic model)을 사용하여 제어되는 것이 바람직한 하나의 양자화기(quantizer)(140d)가 또한 존재한다. 그럼에도 불구하고, 사이드 정보 결정 수단(140c)이 채널(B)에 대한 채널 사이드 정보를 결정하기 위하여 채널(A)의 비-양자화 표시를 사용할 때에는, 양자화기가 필요하지 않다.

채널(B)에 대한 채널 사이드 정보가 채널(A)의 주파수 도메인 표시와 채널(B)의 주파수 도메인 표시에 의해 계산되는 경우에, 윈도윙 및 시간/주파수 변환 수단(140a)은 필터뱅크-베이스 오디오 엔코더에서 사용된 것과 동일한 것일 수 있다. 이 경우에, AAC (ISO/IEC 13818-3)가 고려되면, 수단(140a)은 50% 중첩-및- 부가 기능(overlap-and-add functionality)을 갖는 MDCT 필터뱅크 [MDCT = 변형 이산 코사인 변환(modified discrete cosine transform)]로서 실행된다.

그러한 경우에, 양자화기(140d)는 mp3 또는 AAC 엔코딩된 오디오 신호가 발생될 때 사용되는 반복성 양자화기(iterative quantizer)이다. 미리 양자화되는 것이 바람직한, 채널(A)의 주파수 도메인 표시는, 그 다음에, 산술 엔코딩(arithmetic encoding)을 실행하는 엔트로피 엔코더(entropy encoder) 또는 후프만 베이스 엔코더(Huffman based encoder)일 수 있는, 엔트로피 엔코더(140g)를 사용하는 엔트로피 엔코딩을 위해 직접적으로 사용될 수 있다.

도 1과 비교하면, 도 3a의 장치의 출력은, [장치(140f)의 출력부의 B에 대한 사이드 정보에 상응하는] 하나의 오리지널 채널에 대한 l_i와 같은 사이드 정보이다. 채널(A)에 대한 엔크로피 엔코딩 비트스트림(entropy encoded bitstream)은, 예를 들어, 도 1의 블록(16)의 출력부의 엔코딩 좌측 다운믹스 채널(Lc')에 해당한다. 구성요소(14)(도 1), 즉, 채널 사이드 정보를 계산하기 위한 계산기와 (도 1의) 오디오 엔코더(16)는 별개의 수단으로서 동작되거나, 양쪽의 장치가 MDCT 필터 뱅크(140a), 양자화기(140e) 및 엔트로피 엔코더(140g)와 같은 여러 구성요소들을 공유하여, 공유 버전으로 실행될 수 있다는 것이, 도 3a로부터 명백하다. 자연스럽게, 채널 사이드 정보를 결정하기 위한 다른 변형(transform) 등이 필요한 경우에, (도 1의) 엔코더(16)와 계산기(14)가 필터 뱅크 등을 공유하지 않게 다른 장치에서 실행될 것이다.

일반적으로, 사이드 정보를 계산하기 위한 실제의 결정장치(determinator)[또는 일반적으로 말하는 계산기(14)]는, 인텐시티 스테레오 코딩 또는 바이노럴 큐 코딩과 같은 조인트 스테레오 기술중의 하나에 따라 동작하는, 도 3b에 도시된 하나의 조인트 스테레오 모듈로서 실행될 것이다.

그러한 종래의 인텐시티 스테레오 엔코더와 달리, 본 발명의 결정 수단(140f)은 조합 채널(combined channel)을 계산하여야만 하는 것은 아니다. "조합 채널" 또는 캐리어 채널은 이미 존재한다고 할 수 있으며, 그것은 좌측 호환성 다운믹스 채널(Lc) 또는 우측 호환성 다운믹스 채널(Rc) 또는 Lc + Rc와 같은 그 다운믹스 채널들의 조합 버전이다. 따라서, 본 발명의 장치(140f)는, 다운믹스 채널이 스케일링 정보 또는 인텐시티 지향성 정보(intensity directional information)를 사용하여 가중될 때, 각각의 선택된 오리지널 채널의 에너지/시간 엔벨로프가 얻어지도록, 각 다운믹스 채널을 스케일링하기 위한 스케일링 정보를 계산하여야만 한다.

따라서, 도 3b의 조인트 스테레오 모듈(140f)은, 제1 또는 제2 다운믹스 채널 또는 이 다운믹스 채널들의 조합인, "조합" 채널(A)과 오리지널 선택 채널을 하나의 입력으로 수신하는 것으로 도시되어 있다. 이 모듈은, 물론, 조합 채널(A)과 조인트 스테레오 파라미터를 사용하여 오리지널 선택 채널(B)의 근사치가 계산될 수 있도록, "조합" 채널(A)과 조인트 스테레오 파라미터를 채널 사이드 정보로서 출력한다.

이와 달리, 조인트 스테레오 모듈(140f)은 바이노럴 큐 코딩을 실행하기 위해 실행될 수 있다.

BCC의 경우에, 제1, 제2 다운믹스 채널 또는 그 조합(combination)과 같은 사이드 정보를 계산하기 위해 사용된 각 다운믹스 채널이 BCC 코딩/디코딩 기술의 측면에서 참조 채널로 사용되는 한편, 채널 사이드 정보가 양자화 및 엔코딩된 ICLD 또는 ICTD 파라미터이도록, 조인트 스테레오 모듈(140f)이 채널 사이드 정보를 출력하며, 선택된 오리지널 채널은 실제 처리될 채널의 역할을 한다.

도 4에는, 구성요소(140f)의 간단한 에너지-지향 실행(energy-directed implementation)이 도시되어 있다. 이 장치는, 채널(A)과, 채널(B)의 상응하는 주파수 대역으로부터 주파수 대역을 선택하는 하나의 주파수 대역 선택기(frequency band selector)(44)를 포함한다. 그 다음, 양쪽의 주파수 대역에서, 각 브랜치(branch)에 대한 에너지 계산기(42)에 의해 에너지가 계산된다. 에너지 계산기(42)의 상세한 실행은 블록(40)으로부터의 출력 신호가 부대역 신호인지 또는 주파수 계수인지의 여부에 좌우될 것이다. 스케일 인자 대역에 대한 스케일 인자가 계산되는 다른 실행에 있어서, 제1 및 제2 채널(A, B)의 스케일 인자를 에너지 값(E_A 및 E_B) 또는 적어도 에너지의 추정값(estimates)으로 사용할 수 있다. 이득 인자 계산 장치(44)에 있어서, 선택된 주파수 대역에 대한 이득 인자(g_B)는 도 4의 블록(44)에 도시된 이득 결정 규칙(gain determining rule)과 같은 특정 규칙에 기초하여 결정된다. 여기서, 이득 인자(g_B)는, 도 5에서 다음에 설명될 주파수 계수 또는 시간 도메인 샘플을 가중시키기 위하여 직접적으로 사용될 수 있다. 이를 위해, 선택된 주파수 대역에 유효한 이득 인자(g_B)는 선택된 오리지널 채널로서의 채널(B)에 대한 채널 사이드 정보로 사용된다. 이 선택된 오리지널 채널(B)은 디코더 로 전송되지 않을 것이나, 도 1의 계산기(14)에 의해 계산된 파라미터 채널 사이드 정보에 의해 표시될(represented) 것이다.

채널 사이드 정보로서 이득 값을 전송하는 것이 필요하지 않다는 것에 주목해야 한다. 그것은 또한 선택된 오리지널 채널의 절대 에너지(absolute energy)와 관련된 주파수 의존값을 전송하기에 충분하다. 그 다음, 디코더는 다운믹스 채널 에너지와 채널(B)에 대한 전송 에너지에 기초하여 이득 인자와 다운믹스 채널의 실제 에너지를 계산하여야만 한다.

도 5는 변형-베이스 지각 오디오 엔코더(transform-based perceptual audio encoder)와 관련된, 디코더 셋업의 가능한 실행을 나타낸 도면이다. 도 2와 비교하면, (도 5의) 엔트로피 디코더와 역 양자화기(50)의 기능은 도 2의 블록(24)에 포함될 것이다. 그러나, (도 5의) 주파수/시간 변환 요소(52a, 52b)의 기능은 도 2의 아이템(36)에서 실행된다. 도 5의 요소(50)는 제1 또는 제2 다운믹스 신호(Lc' 또는 Rc')의 엔코딩된 버전을 수신한다. 요소(50)의 출력부에, 제1 및 제2 다운믹스 채널의 적어도 부분적으로 디코딩된 버전이 존재하며, 채널(A)로 불리운다. 채널(A)은 채널(A)로부터 특정 주파수 대역을 선택하기 위해 주파수 대역 선택기(54)에 입력된다. 이 선택된 주파수 대역은 멀티플라이어(multiplier)(56)를 사용하여 가중된다. 멀티플라이어(56)는, 엔코더 측에서 도 4의 주파수 대역 선택기(40)에 해당하는 주파수 대역 선택기(54)에 의해 선택된 주파수 대역에 지정되는(assigned), 특정 이득 인자(g_B)를 멀티플라잉을 위해 수신한다. 주파수 시간 변 환기(52a)의 입력부에, 다른 대역과 함께, 채널(A)의 주파수 도메인 표시가 존재한다. 멀티플라이어(56)의 출력부에, 그리고, 특히, 주파수/시간 변환 수단(52b)의 입력부에, 채널(B)의 재구성된 주파수 도메인 표시가 존재할 것이다. 따라서, 구성요소(52b)의 출력부에, 재구성된 채널(B)의 시간 도메인 표시가 있을 것인 반면에, 구성요소(52a)의 출력부에, 채널(A)에 대한 시간 도메인 표시가 있을 것이다.

특정 실행에 따라서는, 디코딩된 다운믹스 채널(Lc 또는 Rc)이 다중-채널 강화 디코더(multi-channel enhanced decoder)에서 재생되지(played back) 않는다. 그러한 다중-채널 강화 디코더에서, 디코딩된 다운믹스 채널은 오리지널 채널의 재구성(reconstructing)을 위해서만 사용된다. 디코딩된 다운믹스 채널은 하위 스케일 스테레오 디코더(lower scale stereo-only decoders)에서만 재생된다.

이를 위해, 서라운드/mp3 환경에서 본 발명의 바람직한 실행을 나타낸 도 9를 살펴본다. mp3 강화 서라운드 비트스트림이, 오리지널 다운믹스 채널의 디코딩된 버전을 출력하는, 표준 mp3 디코더(24)에 입력된다. 이 다운믹스 채널은 그 다음에 하위 레벨 디코더에 의해 직접 재생될(replayed) 수 있다. 이와 달리, 이 두 개의 채널들은, 고급(advanced) 조인트 스테레오 디코딩 장치(32)로 입력되는데, 이 장치는, mp3 컴플라이언트 비트스트림(compliant bitstream)의 보조 데이터 영역에 입력되는 것이 바람직한 다중-채널 확장 데이터를 또한 수신한다.

이어서, 선택된 오리지널 채널 및 각 다운믹스 채널 또는 조합 다운믹스 채널의 그룹핑을 나타낸 도 7을 살펴본다. 이와 관련하여, 도 7의 표의 우측 컬럼은 도 3a, 3b, 4 및 5의 채널(A)에 해당하는 한편, 중간의 컬럼은 이들 도면의 채 널(B)에 해당한다. 도 7의 좌측 컬럼에는 각 채널 사이드 정보가 명백하게 나타나 있다. 도 7의 표에 따라, 오리지널 좌측 채널(L)에 대한 채널 사이드 정보(l_i)가 좌측 다운믹스 채널(Lc)을 사용하여 계산된다. 좌측 서라운드 채널 사이드 정보(ls_i)는 오리지널 선택 좌측 서라운드 채널(original selected left surround channel; Ls)에 의해 결정되고, 좌측 다운믹스 채널(Lc)은 캐리어이다. 오리지널 우측 채널(R)에 대한 우측 채널 사이드 정보(r_i)는 우측 다운믹스 채널(Rc)을 사용하여 결정된다. 추가적으로, 우측 서라운드 채널(Rs)에 대한 채널 사이드 정보가 우측 다운믹스 채널(Rc)을 캐리어로 사용하여 결정된다. 마지막으로, 중심 채널(C)에 대한 채널 사이드 정보(c_i)가, 제1 및 제2 다운믹스 채널의 조합에 의해 얻어지는, 조합 다운믹스 채널을 사용하여 결정되며, 이 조합 다운믹스 채널은 엔코더와 디코더 양쪽에서 쉽게 계산될 수 있으며, 전송을 위해 여분의 비트를 필요로 하지 않는다.

자연적으로, 가중 파라미터가 디코더에 알려지거나 그렇게 전송되는 한, 0.7 Lc와 0.3 Rc와 같은 제1 및 제2 다운믹스 채널의 가중 추가(weighted addition)에 의해 얻어지는, 예를 들어 하나의 조합 다운믹스 채널 또는 심지어 하나의 다운믹스 채널에 기초하여, 좌측 채널에 대한 채널 사이드 정보를 또한 계산할 수 있다. 그러나, 대부분의 적용예에 있어서, 조합 다운믹스 채널로부터, 즉, 제1 및 제2 다운믹스 채널의 조합으로부터, 중심 채널에 대한 채널 사이드 정보를 유도하기만 하는 것이 바람직할 것이다.

본 발명의 비트 저장 잠재력(bit saving potential)을 보여주기 위해, 다음의 전형적인 예를 소개한다. 다섯 채널 오디오 신호의 경우에, 표준 엔코더는 다섯 채널 신호에 대해서 320 kbit/s의 전체 비트 전송속도(bit rate)에 달하는, 각 채널에 대해 64 kbit/s의 전송 속도가 필요하다. 좌측 및 우측 스테레오 신호는 128 kbit/s의 비트 전송속도가 필요하다. 하나의 채널에 대한 채널 사이드 정보는 1.5와 2 kbit/s 사이이다. 따라서, 각 다섯 채널에 대한 채널 사이드 정보가 전송되는 경우에, 이 추가 데이터는 7.5 내지 10 kbit/s 까지만 추가된다. 따라서, 본 발명의 개념은, 문제가 많은 디매트릭싱 동작(problematic dematrixing operation)을 디코더가 사용하지 않기 때문에, 우수한 품질을 갖는 [320 (!) kbit/s와 비교되는] 138 kbit/s 의 전송속도를 사용하여 다섯 채널 오디오 신호의 전송을 가능하게 한다. 현존하는 mp3 플레이어들이 모두 종래의 스테레오 출력을 만들기 위해 제1 다운믹스 채널과 제2 다운믹스 채널을 재생할(replay) 수 있기 때문에, 본 발명의 개념이 완전히 역방향 호환가능하다는(backward compatible) 사실이 아마도 더 중요할 것이다.

적용 환경에 따라서는, 본 발명의 처리 또는 역처리 방법이 하드웨어 또는 소프트웨어에서 실행될 수 있다. 이 실행물은, 본 발명의 처리 또는 역처리 방법이 수행되도록 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호를 갖는 디스크 또는 CD와 같은 디지털 저장 매체일 수 있다. 그러므로, 본 발명은 또한, 일반적으로, 기계-판독가능 캐리어에 저장되고, 컴퓨터 프로그램 제품이 컴퓨터에서 동작될 때 본 발명의 방법을 실행하기에 적합한, 프로그램 코드 를 갖는 컴퓨터 프로그램 제품에 관한 것이라고 일반적으로 일컬어진다. 따라서, 본 발명은 또한, 바꾸어 말하면, 컴퓨터 프로그램이 컴퓨터에서 동작될 때 본 발명의 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램에 관한 것이다.

Claims

오리지널 채널들로부터 유도된 제1 및 제2 다운믹스 채널들을 제공하기 위한 수단(12)과;

상기 제1 및 제2 다운믹스 채널을 포함하는 하나의 다운믹스 채널 또는 하나의 조합 다운믹스 채널이, 채널 사이드 정보(channel side information)를 사용하여 가중될(weighted) 때, 선택된 오리지널 채널의 근사치를 가져오도록 채널 사이드 정보를 계산하도록 동작하는, 오리지널 신호의 선택된 오리지널 채널에 대한 채널 사이드 정보를 계산하기 위한 수단; 및

채널 사이드 정보를 포함하는 출력 데이터를 발생시키기 위한 수단(18)을 포함하여 구성되는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항에 있어서, 상기 발생 수단(18)이, 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호 및 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호를 추가적으로 포함하는 출력 데이터를 발생시키도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 또는 제2항에 있어서, 상기 계산 수단(14)이, 채널 사이드 정보를 시 간 도메인 샘플(time domain samples) 또는 스펙트럼 값(spectral values)을 포함하지 않는 파라미터 데이터(parametric data)로서 결정하도록(determine) 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제3항 중의 어느 한 항에 있어서, 상기 계산 수단(14)이, 조인트 스테레오 파라미터를, 선택된 오리지널 채널에 대한 채널 사이드 정보로 발생시키기 위해, 하나의 다운믹스 채널을 하나의 캐리어 채널로서 사용하고, 선택된 오리지널 채널을 하나의 입력 채널로 사용하여, 조인트 스테레오 코딩(joint stereo coding)을 실행하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제3항에 있어서, 선택된 오리지널 채널에 대한 하나의 에너지 분포(distribution) 또는 바이노럴 큐 파라미터(binaural cue parameters)를 채널 사이드 정보가 표시하도록(represent), 상기 계산 수단(14)이, 인텐시티 스테레오 코딩(intensity stereo coding) 또는 바이노럴 큐 코딩(binaural cue coding)을 실행하도록 동작하고; 하나의 다운믹스 채널 또는 하나의 조합 다운믹스 채널이 하나의 캐리어 채널로서 사용가능한, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제5항에 있어서,

다중-채널 오디오 신호가 하나의 좌측 채널, 하나의 좌측 서라운드 채널, 하나의 우측 채널 및 하나의 우측 서라운드 채널을 포함하고;

상기 제공 수단(12)이, 제1 다운믹스 채널을 하나의 좌측 다운믹스 채널로 제공하고 제2 다운믹스 채널을 하나의 좌측 다운믹스 채널로 제공하도록 동작하고, 상기 좌측 및 우측 다운믹스 채널이 플레이될(played) 때 다중-채널 오디오 신호의 스테레오 표시(stereo representation)가 얻어지도록 형성되며; 그리고

상기 계산 수단(14)이,

상기 좌측 다운믹스 채널을 사용하여 상기 좌측 채널에 대한 채널 사이드 정보를, 선택된 오리지널 채널로서 계산하고,

상기 우측 다운믹스 채널을 사용하여 상기 우측 채널에 대한 채널 사이드 정보를, 선택된 오리지널 채널로서 계산하고,

상기 좌측 다운믹스 채널을 사용하여 상기 좌측 서라운드 채널에 대한 채널 사이드 정보를, 선택된 오리지널 채널로서 계산하고, 그리고

상기 우측 다운믹스 채널을 사용하여 상기 좌측 서라운드 채널에 대한 채널 사이드 정보를, 선택된 오리지널 채널로서 계산하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제6항에 있어서,

상기 오리지널 채널이, 조합 다운믹스 채널(combined downmix channel)을 얻기 위해 제1 다운믹스 채널 및 제2 다운믹스 채널을 조합시키기 위한 하나의 콤바 이너(combiner)(14a)를 더 포함하는 하나의 중심 채널을 포함하고;

상기 중심 채널에 대한 채널 사이드 정보를, 선택된 오리지널 채널로서 계산하기 위한 수단이, 상기 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 오리지널 중심 채널의 근사치를 얻게, 채널 사이드 정보를 계산하도록(14b) 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제7항에 있어서, 상기 제공 수단(12)이, 제1 다운믹스 채널에 대한 제1의 미리 정해진 선형 가중 조합(linear weighted combination)과 제2 다운믹스 채널에 대한 제2의 미리 정해진 선형 가중 조합을 사용하여, 오리지널 채널로부터 제1 다운믹스 채널 및 제2 다운믹스 채널을 유도하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제7항에 있어서, 상기 제1의 미리 정해진 선형 가중 조합이 다음과 같이 정의되고;

Lc = t·(L + a·Ls + b·C); 또는

상기 제2의 미리 정해진 선형 가중 조합이 다음과 같이 정의되며;

Rc = t·(R + a·Rs + b·C),

여기서, Lc는 제1 다운믹스 채널이고, Rc는 제2 다운믹스 채널이며, t, a 및 b는 1보다 작은 가중 인자(weighting factors)이고, L은 하나의 오리지널 좌측 채널이며, C는 하나의 오리지널 중심 채널이고, R은 하나의 오리지널 우측 채널이며, Ls는 하나의 오리지널 좌측 서라운드 채널이고, Rs는 하나의 오리지널 우측 서라운드 채널인, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제9항에 있어서, 상기 제공 수단(12)이 외부에서 공급된 제1 및 제2 다운믹스 채널들을 수신하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제10항에 있어서, 상기 제1 다운믹스 채널 및 제2 다운믹스 채널이, 바뀌는 정도로(in varying degrees) 오리지널 채널들을 합성한 합성 채널(composite channels)이고, 상기 계산 수단이, 채널 사이드 정보를 계산함에 있어서, 두 개의 다운믹스 채널중에서, 다른 다운믹스 채널과 비교할 때, 선택된 오리지널 채널에 의해 영향을 더 강하게 받는 다운믹스 채널을 사용하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제11항에 있어서, 상기 발생 수단(18)이, 다중-채널 오디오 신호의 디코딩된 스테레오 표시를 얻기 위해, 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호 또는 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호를 처리하기 위한 하나의 하위 레벨 디코더에 의해 사용될 출력 데이터 신택스(output data syntax)에 따르는 출력 데이터를 형성하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제12항에 있어서, 상기 출력 데이터 신택스가 하나의 하위 레벨 디코더에 의해 무시될 하나의 특수 데이터 영역(special data field)을 포함하도록 구성되고, 상기 발생 수단이 채널 사이드 정보를 특수 데이터 영역에 삽입하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제13항에 있어서, 상기 신택스가 mp3 신택스이고, 상기 특수 데이터 영역이 하나의 보조 데이터 영역(ancillary data field)인, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제12항 내지 제14항에 있어서, 채널 사이드 정보가 하나의 상위 레벨 디코더에 의해서만 사용되고 하위 레벨 디코더에 의해서는 무시되게, 상기 발생 수단(18) 이 채널 사이드 정보를 출력 데이터에 삽입하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제2항 내지 제15항에 있어서, 제1 다운믹스 채널로부터 유도된 신호를 얻기 위해 제1 다운믹스 채널을 엔코딩하고 제2 다운믹스 채널로부터 유도된 신호를 얻기 위해 제2 다운믹스 채널을 엔코딩하기 위한 하나의 엔코더(16)를 더 포함하여 구성되는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제16항에 있어서, 상기 엔코더(16)가, 엔코딩될 신호를 하나의 스펙트럼 표시(spectral representation)으로 변환시키는 수단과, 심리음향 모델(psychoacoustic model)을 사용하여 스펙트럼 표시를 양자화하는 수단과, 그리고 엔트로피 엔코딩 양자화 스펙트럼 표시(entropy encoded quantized spectral representation)를 제1 다운믹스 채널로부터 유도된 신호 또는 제2 다운믹스 채널로부터 유도된 신호로서 얻기 위해 양자화 스펙트럼 표시를 엔트로피 엔코딩하는 수단을 포함하는 지각 엔코더(perceptual encoder)인, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제17항에 있어서, 상기 지각 엔코더(16)가, MPEG-1/2 레이어 III (mp3) 또는 MPEG-2/4 고급 오디오 코딩 장치(advanced audio coding; AAC)에 따른 하나의 엔코 더인, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제18항에 있어서, 상기 계산 수단(14)이,

다운믹스 채널 또는 조합 다운믹스 채널에 대한 다운믹스 에너지값을 계산하고, 선택된 오리지널 채널에 대한 하나의 오리지널 에너지 값을 계산하며, 그리고 다운믹스 에너지 값과 오리지널 에너지 값으로부터 유도된 이득 인자(gain factor)를 채널 사이드 정보로서 계산하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
제1항 내지 제19항에 있어서, 상기 계산 수단(14)이, 복수의 주파수 대역에 대해, 복수의 상이한 채널 사이드 정보 파라미터들이 얻어지도록, 주파수 의존 채널 사이드 정보 파라미터(frequency dependent channel side information parameters)를 계산하도록 동작하는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 장치.
오리지널 채널들로부터 유도된 제1 및 제2 다운믹스 채널을 제공하는 단계(12)와;

하나의 다운믹스 채널 또는 제1 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치(approximation)를 얻도록, 오리지널 신호의 하나의 선택된 오리지널 채널에 대한 채널 사이드 정보를 계산하는 단계(14)와; 그리고

채널 사이드 정보를 포함하는 출력 데이터를 발생시키는 단계(18)를 포함하여 구성되는, 적어도 세 개의 오리지널 채널을 갖는 다중-채널 오디오 신호의 처리 방법.
하나의 채널 사이드 정보, 하나의 제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호, 및 하나의 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호를 포함하는 입력 데이터의 역처리(inverse processing) 장치로서, 제1 다운믹스 채널 및 제2 다운믹스 채널이 다중-채널 오디오 신호의 적어도 세 개의 오리지널 채널들로부터 유도되고; 채널 사이드 정보가, 하나의 다운믹스 채널 또는 제1 다운믹스 채널 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록 계산되며;

제1 다운믹스 채널 또는 이 제1 다운믹스 채널로부터 유도된 하나의 신호 및 제2 다운믹스 채널 또는 이 제2 다운믹스 채널로부터 유도된 하나의 신호 및 하나의 채널 사이드 정보를 얻기 위해 상기 입력 데이터를 판독하기 위한 하나의 입력 데이터 리더(24); 및

선택된 오리지널 채널의 근사치를 얻기 위해 채널 사이드 정보 및 다운믹스 채널 또는 조합 다운믹스 채널을 사용하여 선택된 오리지널 채널의 근사치(approximation)를 재구성하기 위한 하나의 채널 리컨스트럭터(channel reconstructor)(32)를 포함하여 구성되는, 입력 데이터의 역처리 장치.
제22항에 있어서, 제1 다운믹스 채널의 디코딩된 버전을 얻기 위해 제1 다운믹스 채널로부터 유도된 신호를 디코딩하고 제2 다운믹스 채널의 디코딩된 버전을 얻기 위해 제2 다운믹스 채널로부터 유도된 신호를 디코딩하기 위한, 하나의 지각 디코더(perceptual decoder)(24)를 더 포함하여 구성되는, 입력 데이터의 역처리 장치.
제22항 내지 제23항에 있어서, 조합 다운믹스 채널을 얻기 위해 제1 다운믹스 채널 및 제2 다운믹스 채널을 조합시키기 위한 하나의 콤바이너(combiner)를 더 포함하여 구성되는, 입력 데이터의 역처리 장치.
제22항 내지 제24항에 있어서,

상기 오리지널 오디오 신호가 하나의 좌측 채널, 하나의 좌측 서라운드 채널, 하나의 우측 채널, 하나의 우측 서라운드 채널 및 중심 채널을 포함하고;

상기 제1 다운믹스 채널 및 제2 다운믹스 채널이 각각 하나의 좌측 다운믹스 채널 및 하나의 우측 다운믹스 채널이며; 그리고

상기 입력 데이터가 상기 좌측 채널, 좌측 서라운드 채널, 우측 채널, 우측 서라운드 채널 및 중심 채널중의 적어도 세 개에 대한 채널 사이드 정보를 포함하고;

상기 채널 리컨스트럭터(32)가,

좌측 채널 및 좌측 다운믹스 채널에 대한 채널 사이드 정보를 사용하여 좌측 채널에 대한 근사치를 재구성하고,

좌측 서라운드 채널 및 좌측 다운믹스 채널에 대한 채널 사이드 정보를 사용하여 좌측 서라운드 채널에 대한 근사치를 재구성하며,

우측 채널 및 우측 다운믹스 채널에 대한 채널 사이드 정보를 사용하여 우측 채널에 대한 근사치를 재구성하고, 그리고

우측 서라운드 채널 및 우측 다운믹스 채널에 대한 채널 사이드 정보를 사용하여 우측 서라운드 채널에 대한 근사치를 재구성하도록 동작하는, 입력 데이터의 역처리 장치.
제22항 내지 제25항에 있어서, 상기 채널 리컨스트럭터가, 중심 채널 및 조합 다운믹스 채널에 대한 채널 사이드 정보를 사용하여 중심 채널에 대한 근사치를 재구성하도록 동작하는, 입력 데이터의 역처리 장치.
채널 사이드 정보, 하나의 제1 다운믹스 채널 또는 그 제1 다운믹스 채널로부터 유도된 하나의 신호, 및 하나의 제2 다운믹스 채널 또는 그 제2 다운믹스 채널로부터 유도된 하나의 신호를 포함하는 입력 데이터의 역처리(inverse processing) 방법으로서,

제1 다운믹스 채널 및 제2 다운믹스 채널이 다중-채널 오디오 신호의 적어도 세 개의 오리지널 채널로부터 유도되고, 채널 사이드 정보가, 하나의 다운믹스 채널 또는 제1 다운믹스 채널 및 제2 다운믹스 채널을 포함하는 하나의 조합 다운믹스 채널이, 채널 사이드 정보를 사용하여 가중될 때, 선택된 오리지널 채널의 근사치를 얻도록 계산되며;

제1 다운믹스 채널 또는 그 제1 다운믹스 채널로부터 유도된 하나의 신호 및 제2 다운믹스 채널 또는 그 제2 다운믹스 채널로부터 유도된 하나의 신호 및 채널 사이드 정보를 얻기 위해 입력 데이터를 판독하는 단계(24)와; 그리고

선택된 오리지널 채널의 근사치를 얻기 위해, 채널 사이드 정보 및 다운믹스 채널 또는 조합 다운믹스 채널을 사용하여 선택된 오리지널 채널의 근사치를 재구성하는 단계(32)를 포함하여 구성되는, 입력 데이터의 역처리 방법.
제21항 또는 제27항에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.