KR20200041312A - 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 - Google Patents

인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 Download PDF

Info

Publication number
KR20200041312A
KR20200041312A KR1020207002678A KR20207002678A KR20200041312A KR 20200041312 A KR20200041312 A KR 20200041312A KR 1020207002678 A KR1020207002678 A KR 1020207002678A KR 20207002678 A KR20207002678 A KR 20207002678A KR 20200041312 A KR20200041312 A KR 20200041312A
Authority
KR
South Korea
Prior art keywords
channel
pass filter
signal
global pass
adder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207002678A
Other languages
English (en)
Other versions
KR102392804B1 (ko
Inventor
젠 보이트
프란즈 뤼텔휴버
사스차 디쉬
길라움 푸쉬스
마르쿠스 뮬트러스
랄프 가이거
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20200041312A publication Critical patent/KR20200041312A/ko
Application granted granted Critical
Publication of KR102392804B1 publication Critical patent/KR102392804B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Filters And Equalizers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

광대역 필터에 의해 생성된 충전 신호를 사용하여, 인코딩된 다채널 신호를 인코딩 또는 디코딩하는 장치로써, 인코딩된 다채널 신호를 디코딩하는 장치는, 디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700); 충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800); 및 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고, 상기 역상관 필터(800)는 광대역 필터이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱을 적용하도록 구성된다.

Description

인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치
본 발명은 오디오 프로세싱에 관한 것으로, 특히 인코딩된 다채널 신호를 디코딩하는 장치 또는 방법에서의 다채널 오디오 프로세싱에 관한 것이다.
스테레오 신호를 낮은 비트 레이트에서 파라메트릭 코딩을 하기 위한 현재 기술 상태의 코덱은 MPEG 코덱 xHE-AAC이다. 이는 모노 다운믹스 및 스테레오 파라미터 채널간 레벨차(ILD: Inter-Channel Level Difference) 및 채널간 일관성(ICC: Inter-Channel Coherence)을 - 이들은 부대역에서 추산됨 - 기반으로 하는 완전한 파라메트릭 스테레오 코딩 모드를 특징으로 한다. 각 부대역에서 부대역 다운믹스 신호와 이 부대역 다운믹스 신호의 역상관된(decorrelated) 버전 - 이는 QMF 필터뱅크 내에 부대역 필터를 적용함으로써 얻어짐 - 을 매트릭스화 함으로써 모노 다운믹스로부터 출력이 합성된다.
음성 아이템(speech item)을 코딩하기 위한 xHE-AAC와 관련된 몇 가지 단점이 있다. 합성 제2 신호를 생성시키는 필터는 더커(ducker)를 필요로 하는, 매우 반향적인 입력 신호를 생성한다. 따라서, 프로세싱은 입력 신호의 스펙트럼 형태를 시간이 지남에 따라 심하게 흐리게 한다. 이것은 많은 신호 유형에서는 잘 작용하지만 스펙트럼 포락선(envelope)이 빠르게 변하는 음성 신호에서는 그렇지 않은데, 이로 인해 이중 대화(double talk) 또는 고스트 보이스(ghost voice)와 같은 자연스럽지 않은 채색(coloration) 및 가청 아티팩트(artifact)가 발생한다. 또한, 필터는 샘플링 레이트에 따라 변하는 기본 QMF 필터 뱅크(underlying QMF filter bank)의 시간 해상도에 따라 달라진다. 따라서, 상이한 샘플링 레이트들에서 출력 신호는 일치하지 않는다.
이 외에도 3GPP 코덱 AMR-WB+는 7 내지 48 kbit/s의 비트 레이트를 지원하는 반파라메트릭 스테레오 모드를 특징으로 한다. 이는 왼쪽 및 오른쪽 입력 채널의 중앙/측면 변환을 기반으로 한다. 낮은 주파수 범위에서는, 측방 신호 s를 중앙 신호 m으로 예측하여 균형 이득을 얻으며, m과 예측 잔차(prediction residual) 둘 다가 예측 계수와 함께 인코딩되어서 디코더로 전송된다. 중앙 주파수 범위에서는, 다운믹스 신호 m만 코딩되고, 누락 신호 s는 인코더에서 계산되는 저차 FIR 필터를 사용하여 m으로부터 예측된다. 이는 두 채널을 위한 대역폭 확장과 결합된다. 코덱은 일반적으로 음성에 대해 xHE-AAC보다 더 자연스러운 소리를 생성하지만 몇 가지 문제에 직면한다. 저차 FIR 필터에 의해서 m으로 s를 예측하는 절차는 예를 들어 반향 음성 신호 또는 이중 대화의 경우와 같이 입력 채널들이 겨우 약하게 상관되어 있으면 잘 작용하지 않는다. 또한, 코덱은 위상이 맞지 않는 신호를 처리할 수 없는데, 이는 실질적인 품질 저하를 유발할 수 있고, 디코딩된 출력의 스테레오 이미지가 일반적으로 매우 압축되는 것으로 관찰된다. 또한, 이 방법은 완전한 파라메트릭이 아니므로 비트 레이트 측면에서 비효율적이다.
일반적으로, 완전한 파라메트릭 방법은 파라메트릭 인코딩으로 인해 손실된 임의의 신호 부분이 디코더 측에서 재구성되지 않는다는 점으로 인해 오디오 품질 저하를 초래할 수 있다.
한편, 중앙/측면 코딩 등과 같은 파형 보존 절차는 파라메트릭 다채널 코더로부터 얻을 수 있는 것과 같은 실질적인 비트 레이트 절약을 허용하지 않는다.
AU 2015 201 672 B2 EP 3 046 339 A1 WO 2009/045649 A1
SCHUIFERS ERIK ET AL : "LOW COMPLEXITY PARAMETRIC STEREO CODING" (2004. 5. 1. 공개) SCHROEDER M R : "NATURLA SOUNDING ARTIFICIAL REVERBERATION" (1962. 11. 1. 공개)
본 발명의 목적은 인코딩된 다채널 신호를 디코딩하기 위한 개선된 개념을 제공하는 것이다.
이 목적은 인코딩된 다채널 신호를 디코딩하는 장치, 청구항 37의 인코딩된 다채널 신호를 디코딩하는 방법, 청구항 38의 컴퓨터 프로그램과, 청구항 39의 오디오 신호 역상관기, 청구항 49의 오디오 입력 신호를 역상관하는 방법, 또는 청구항 50의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 인코딩된 다채널 신호를 디코딩하는 데에는 혼합식 접근법이 유용하다는 발견에 기초한다. 이 혼합식 접근법은 역상관 필터에 의해 생성된 충전 신호를 사용하는 것에 의존하며, 이 충전 신호는 디코딩된 다채널 신호를 생성하기 위해 파라메트릭 또는 기타 다채널 프로세서와 같은 다채널 프로세서에 의해 사용된다. 특히, 역상관 필터는 광대역 필터이고, 다채널 프로세서는 스펙트럼 표현(spectral representation)에 협대역 프로세싱을 적용하도록 구성된다. 따라서, 충전 신호는 바람직하게는 예를 들어 전역 통과 필터(allpass filter) 절차에 의해 시간 영역 내에 생성되며, 다채널 프로세싱은 디코딩된 기본 채널의 스펙트럼 표현을 사용하여 그리고, 추가적으로, 상기 시간 영역에서 계산된 충전 신호로부터 생성된 충전 신호의 스펙트럼 표현을 사용하여 스펙트럼 영역 내에서 발생한다.
따라서, 높은 오디오 품질을 갖는 디코딩된 다채널 신호를 얻기 위해 한편으로는 주파수 영역 다채널 프로세싱의 장점과 다른 한편으로는 시간 영역 역상관이 유용한 방식으로 결합된다. 그럼에도 불구하고, 인코딩된 다채널 신호가 일반적으로는 파형 보존 인코딩 포맷이 아니라 예를 들어 파라메트릭 다채널 코딩 포맷이라는 사실로 인해, 인코딩된 다채널 신호를 전송하기 위한 비트레이트는 가능한 한 낮게 유지된다. 따라서, 충전 신호를 생성하기 위해, 디코딩된 기본 채널과 같은 디코더가 이용 가능한 데이터만이 사용되며, 특정 실시예에서는 이득 파라미터 또는 예측 파라미터와 같은 추가 스테레오 파라미터, 또는 대안적으로 ILD, ICC 또는 당해 기술분야에 공지된 기타 스테레오 파라미터가 사용된다.
이어서, 몇 가지 바람직한 실시예들이 논의된다. 스테레오 신호를 코딩하는 가장 효율적인 방법은 바이노럴 큐 코딩(Binaural Cue Coding) 또는 파라메트릭 스테레오(Parametric Stereo)와 같은 파라메트릭 방법을 사용하는 것이다. 이는 부대역에서 여러 공간적 큐를 복원함으로써 모노 다운믹스로부터 공간적 인상을 재구성하는 것을 목표로 하며, 그렇기 때문에 심리 음향에 기초한다. 파라메트릭 방법을 보는 또 다른 방법이 있는데, 그 하나는 단순히 한 채널을 다른 채널로 파라메트릭 방식으로 모델링하여 채널간 중복성(inter channel redundancy)을 활용하려고 하는 것이다. 이러한 방식에서, 하나는 1차 채널로부터 2차 채널의 일부를 복구할 수 있지만, 다른 하나는 일반적으로 잔차 성분으로 남는다. 이 성분을 빠뜨리게 되면 디코딩된 출력의 불안정한 스테레오 이미지가 일반적으로 야기된다. 따라서, 그러한 잔차 성분을 적절히 대체할 성분을 채워 넣을 필요가 있다. 이러한 대체는 어림짐작으로 하는 것이기 때문에, 다운믹스 신호와 유사한 시간적 특성 및 스펙트럼 특성을 갖는 제2 신호로부터 그러한 부분을 취하는 것이 가장 안전하다.
따라서, 본 발명의 실시예들은 파라메트릭 오디오 코더와 관련하여, 특히, 누락된 잔차 부분에 대한 대체 부분이 디코더 측의 역상관 필터에 의해 생성된 인공 신호로부터 추출되는 파라메트릭 오디오 디코더와 관련하여, 특히 유용하다.
추가 실시예들은 인공 신호를 생성하기 위한 절차에 관한 것이다. 실시예들은 누락된 잔차 부분에 대한 대체 부분이 추출되는 인공 제2 채널을 생성하는 방법과, 그 인공 제2 채널을 향상된 스테레오 필링이라 불리는 완전 파라메트릭 스테레오 코더에서 사용하는 것에 관한 것이다. 상기 인공 신호는 스펙트럼 형태가 일시적으로 입력 신호에 가깝기 때문에 xHE-AAC 신호보다 음성 신호를 코딩하는 데 더 적합하다. 상기 인공 신호는 특수 필터 구조를 적용함으로써 시간 영역에서 생성되므로, 스테레오 업믹스가 수행되는 필터 뱅크와 무관하다. 따라서, 상기 인공 신호는 상이한 업믹스 절차들에서 사용될 수 있다. 예를 들어, QMF 도메인으로 변환한 후 인공 신호를 대체하기 위해 xHE-AAC에 사용될 수 있는데, 이는 음성 성능을 향상시키며, 이뿐만 아니라 중앙/측방 예측에서 잔차를 대신하도록 보통의 AMR-WB+에도 사용될 수 있고, 이는 약하게 상관된 입력 채널들의 성능을 향상시켜서 스테레오 이미지를 향상시킨다. 이는 상이한 스테레오 모드들(예컨대, 시간 영역 및 주파수 영역 스테레오 프로세싱 등)을 특색 짓는 코덱에 특히 중요하다.
바람직한 실시예들에서, 역상관 필터는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 제3 슈뢰더 전역 통과 필터에 중첩된 2개의 슈뢰더 전역 통과 필터 셀을 포함하고/하거나, 상기 전역 통과 필터는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀은 2개의 층계형 슈뢰더 전역 통과 필터(cascaded Schroeder allpass filter)를 포함하고, 제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지 전에 신호 흐름의 방향으로 연결된다.
추가적인 일 실시예에서, 스테레오 또는 다채널 디코딩을 위해 양호한 임펄스 응답을 갖는 특히 유용한 전역 통과 필터가 얻어지도록, 3개의 중첩된 슈뢰더 전역 통과 필터를 포함하는 다수의 상기 전역 통과 필터 셀들이 중첩된다.
본 발명의 여러 양태들이 모노 기본 채널로부터 왼쪽 업믹스 채널 및 오른쪽 업믹스 채널을 생성하는 스테레오 디코딩과 관련하여 논의되지만, 본 발명은 또한, 예를 들어 4개의 채널의 신호가 2개의 기본 채널을 사용하여 인코딩되되 제1 및 제2 업믹스 채널이 제1 기본 채널로부터 생성되고 제3 및 제4 업믹스 채널이 제2 기본 채널로부터 생성되는 경우에, 다채널 디코딩에도 적용 가능하다는 것을 여기서 강조하고자 한다. 다른 대안에서, 본 발명은 단일 기본 채널로부터 바람직하게는 동일한 충전 신호를 항상 사용하여 3개 이상의 업믹스 채널을 생성하는 데에도 유용하다. 그러나, 이러한 모든 절차에서, 충전 신호는 광대역 방식으로, 즉 바람직하게는 시간 영역에서 생성되고, 디코딩된 기본 채널로부터 2개 이상의 업믹스 채널을 생성하기 위한 다채널 프로세싱은 주파수 영역에서 행해진다.
역상관 필터가 시간 영역에서 완전히 작동하는 것이 바람직하다. 그러나 예를 들어 역상관이 한편으로는 저대역 부분 및 다른 한편으로는 고 대역 부분을 역상관시킴으로써 수행되는 한편 예를 들어 다채널 프로세싱이 훨씬 더 높은 스펙트럼 해상도에서 수행되는 그 밖의 다른 하이브리드 방식도 유용하다. 따라서, 예시적으로, 다채널 프로세싱의 스펙트럼 해상도는 예를 들어 각각의 DFT 또는 FFT 라인을 개별적으로 프로세싱하는 것만큼 높을 수 있고, 각각의 대역이 예를 들어 2개, 3개, 또는 더 많은 DFT/FFT/MDCT 라인을 포함하는 여러 대역에 대해 파라메트릭 데이터가 주어지며, 충전 신호를 얻기 위한 디코딩된 기본 채널의 필터링이 예를 들어 저대역 및 고대역 내에서 또는 아마도 3개의 다른 대역 내에서 광대역과 같은 방식으로, 즉 시간 영역 또는 준광대역 대역에서와 같이 행해진다. 따라서, 어떠한 경우에도, 개별 라인 또는 부대역(subband) 신호에 대해 전형적으로 수행되는 스테레오 프로세싱의 스펙트럼 해상도는 가장 높은 스펙트럼 해상도이다.
전형적으로, 인코더에서 생성되고 전송되어 바람직한 디코더에 의해 사용되는 스테레오 파라미터는 중간 스펙트럼 해상도를 갖는다. 따라서, 대역들에 대해 파라미터들이 주어지고, 대역들은 가변 대역폭을 가질 수 있지만, 각각의 대역은 적어도 다채널 프로세서들에 의해 생성되고 사용되는 2개 이상의 라인 또는 부대역 신호를 포함한다. 또한, 역상관 필터링의 스펙트럼 해상도는 매우 낮으며, 시간 영역 필터링이 매우 낮거나 중간인 경우에 상이한 대역들에 대해 상이한 역상관된 신호들을 생성하는 경우, 이러한 중간의 스펙트럼 해상도는 파라메트릭 프로세싱을 위한 파라미터들이 주어진 해상도에 비해 여전히 낮다.
바람직한 일 실시예에서, 역상관 필터의 필터 특성은 관심을 두고 있는 스펙트럼 범위 전체에 걸쳐 일정한 크기 영역을 갖는 전역 통과 필터이다. 그러나 이러한 이상적인 전역 통과 필터 거동이 없는 그 밖의 다른 역상관 필터도, 바람직한 일 실시예에서 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 큰 한은, 유용하다.
따라서, 다채널 프로세싱이 수행되는 충전 신호 또는 디코딩된 기본 채널의 스펙트럼 입도가 역상관 필터링에 영향을 미치지 않아서, 고품질 충전 신호가 생성되고 바람직하게는 에너지 정규화 인수를 사용하여 조정되고 나서 둘 이상의 업믹스 채널을 생성하는 데 사용되게 된다는 것이 확실하다.
또한, 이후에 논의되는 도 4, 도 5, 또는 도 6과 관련하여 설명된 바와 같은 역상관된 신호의 생성은 다채널 디코더와 관련하여 사용될 수 있지만, 역상관된 신호가 오디오 신호 렌더링, 잔향 동작 등과 같은 것에 유용하게 되는 기타 응용에서도 사용될 수 있다.
후속하여, 바람직한 실시예들이 첨부 도면과 관련하여 논의된다.
새로운 방법은 예를 들어 xHE-AAC에 적용되는 종래 기술의 방법에 비해 많은 이점과 장점을 가지고 있다.
시간 영역 프로세싱은 파라메트릭 스테레오에 적용되는 부대역 프로세싱보다 훨씬 더 높은 시간 해상도를 허용하므로 임펄스 응답이 조밀하고 빠른 감쇠인 필터를 설계할 수 있다. 이로 인해 입력 신호 스펙트럼 포락선이 시간이 지남에 따라 흐려지는 것이 적어지게 되거나, 출력 신호가 덜 채색되므로, 소리가 더 자연스럽게 들린다.
필터 임펄스 응답의 최적 피크 영역이 20 내지 40 ms에 있어야 음성에 더 적합하다.
필터 유닛은 샘플링 레이트가 상이한 입력 신호들에 대한 재샘플링 기능을 특색 짓는다. 이는 필터를 고정 샘플링 레이트로 작동할 수 있게 하는데, 이는 상이한 샘플링 레이트에서 유사한 출력을 보장하기 때문에 유리하거나, 상이한 샘플링 레이트의 신호들 간의 전환 시의 불연속성을 매끄럽게 한다. 복잡도로 인해, 필터링된 신호가 지각적으로 관련된 주파수 범위만 커버하도록 내부 샘플링 레이트를 선택해야 한다.
신호는 디코더의 입력에서 생성되고 필터 뱅크에 연결되지 않기 때문에 상이한 스테레오 프로세싱 유닛들에서 사용될 수 있다. 이는 상이한 유닛들 사이에서 전환할 때나 또는 상이한 유닛들이 신호의 상이한 부분들에서 작동할 때의 불연속성을 매끄럽게 하는 데 도움이 된다.
또한 유닛들 간의 전환 시 초기화가 필요 없으므로 복잡도를 면하게 된다.
이득 압축 체계(gain compression scheme)는 코어 코딩으로 인한 주변의 손실을 보상하는 데 도움이 된다.
ACELP 프레임의 대역폭 확장에 관한 방법은 패닝 기반 시간 영역 대역폭 확장 업믹스에서 누락되는 잔차 성분의 부족을 완화시키고, 이는 DFT 영역에서의 고대역 프로세싱과 시간 영역에서의 고대역 프로세싱 사이에서 전환할 때 안정성을 증가시킨다.
매우 미세한 시간 스케일에서 입력을 영(0)으로 대체할 수 있고, 이는 공격을 처리하는 데 유익하다.
도 1a는 EVS 코어 코더와 함께 사용될 때의 인공 신호 생성을 예시하는 도면이다.
도 1b는 EVS 코어 코더와 함께 사용될 때의 인공 신호 생성을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 2a는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 도면이다.
도 2b는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 3은 다수의 스테레오 프로세싱 유닛을 특색 짓는 시스템으로의 통합을 예시하는 도면이다.
도 4는 기본 전역 통과 유닛을 예시하는 도면이다.
도 5는 전역 통과 유닛을 예시하는 도면이다.
도 6은 바람직한 전역 통과 필터의 임펄스 응답을 예시하는 도면이다.
도 7a는 인코딩된 다채널 신호를 디코딩하기 위한 장치를 예시하는 도면이다.
도 7b는 역상관 필터의 바람직한 일 구현예를 예시하는 도면이다.
도 7c는 기본 채널 디코더와 스펙트럼 변환기의 조합을 예시하는 도면이다.
도 8은 다채널 프로세서의 바람직한 일 구현예를 예시하는 도면이다.
도 9a는 인코딩된 다채널 신호를 대역폭 확장 프로세싱을 사용하여 디코딩하기 위한 장치의 추가 구현예를 예시하는 도면이다.
도 9b는 압축 에너지 정규화 인자를 생성하기 위한 바람직한 실시예를 예시한 도면이다.
도 10은 인코딩된 다채널 신호를, 기본 채널 디코더에서 채널 변환을 사용하여 작동하는 또 다른 실시예에 따라, 디코딩하기 위한 장치를 예시하는 도면이다.
도 11은 기본 채널 디코더를 위한 재샘플링기(resampler)와 그 뒤에 연결된 역상관 필터 사이의 협동을 예시하는 도면이다.
도 12는 본 발명에 따른 디코딩 장치에 유용한 예시적인 파라메트릭 다채널 인코더를 예시하는 도면이다.
도 13은 인코딩된 다채널 신호를 디코딩하기 위한 장치의 바람직한 일 구현예를 예시하는 도면이다.
도 14는 다채널 프로세서의 또 다른 바람직한 구현예를 예시하는 도면이다.
도 7a는 인코딩된 다채널 신호를 디코딩하기 위한 장치의 바람직한 일 실시예를 예시하고 있다. 인코딩된 다채널 신호는 인코딩된 기본 채널을 디코딩하여 디코딩된 기본 채널이 수득되도록 하는 기본 채널 디코더(700)로 입력되는 인코딩된 기본 채널을 포함한다.
또한, 디코딩된 기본 채널은 디코딩된 기본 채널의 적어도 일부를 필터링하여 충전 신호(filling signal)가 수득되도록 하는 역상관 필터(800, decorrelation filter)에 입력된다.
디코딩된 기본 채널과 충전 신호는 디코딩된 기본 채널의 스펙트럼 표현과 추가로 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)로 입력된다. 다채널 프로세서는 예를 들어 스테레오 프로세싱과 관련하여 왼쪽 업믹스 채널(upmix channel) 및 오른쪽 업믹스 채널(upmix channel)을 포함하거나 또는 2개 초과한 업믹스 채널을 커버하는 다채널 프로세싱의 경우 3개 이상의 업믹스 채널을 포함하는 디코딩된 다채널 신호를 출력한다.
상기 역상관 필터(800)는 광대역 필터(broad band filter)로 구성되고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현(spectrum representation)과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band filter)을 적용하도록 구성된다. 중요하기로는, 필터링될 신호가, 22 kHz 이하와 같은 높은 샘플링 레이트로부터 16 kHz 또는 12.8 kHz로 다운샘플링되는 것과 같이, 높은 샘플링 레이트로부터 다운샘플링될 때, 광대역 필터링도 수행된다.
따라서, 다채널 프로세서는 충전 신호가 생성되는 스펙트럼 입도(spectrum granularity)보다 상당히 높은 스펙트럼 입도로 작동한다. 바꾸어 말하면, 역상관 필터의 필터 특성은 그 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 크도록 선택된다.
따라서, 예를 들어, 다채널 프로세서의 스펙트럼 입도가 일례로 1024 라인 DFT 스펙트럼의 각 스펙트럼 라인에 대해 업믹스 프로세싱이 수행되도록 한 경우, 역상관 필터는 역상관 필터의 필터 특성의 일정한 크기의 영역이 DFT 스펙트럼의 둘 이상의 스펙트럼 라인보다 높은 주파수 폭을 갖도록 하는 방식으로 정의된다. 전형적으로, 역상관 필터는 시간 영역에서 작동하고, 예를 들어 20 Hz 내지 20 kHz의 사용된 스펙트럼 대역에서 작동한다. 이러한 필터는 전역 통과 필터인 것으로 알려져 있으며, 여기서, 크기가 완전히 일정한 완전하게 일정한 크기 범위는 일반적으로 전역 통과 필터에 의해 얻어질 수 없지만, 일정한 크기로부터 평균값의 +/- 10%의 변동도 또한 전역 통과 필터에 유용한 것으로 밝혀지므로 "필터 특성의 일정한 크기(constant magnitude of the filter characteristic)"를 나타낸다는 점을 주지해야 한다.
도 7b는 전역 필터 스테이지(802) 및 이에 부속되어 연결된 충전 신호의 스펙트럼 표현을 생성하는 스펙트럼 변환기(804)를 포함하는 역상관 필터(800)의 바람직한 일 구현예를 예시하는 도면이다. 스펙트럼 변환기(804)는 전형적으로 FFT 또는 DFT 프로세서로서 구현되지만, 다른 시간-주파수 영역 변환 알고리즘도 유용하다.
도 7c는 기본 채널 디코더(700)와 기본 채널 스펙트럼 변환기(902) 사이의 협동의 바람직한 구현을 도시한다. 일반적으로, 기본 채널 디코더는 다채널 프로세서(900)가 스펙트럼 영역에서 작동하는 동안 시간 영역 기본 채널 신호를 생성하는 시간 영역 기본 채널 디코더로서 작동하도록 구성된다. 따라서, 도 7a의 다채널 프로세서(900)는 도 7c의 기본 채널 스펙트럼 변환기(902)를 입력 스테이지로서 구비하며, 기본 채널 스펙트럼 변환기(902)의 스펙트럼 표현은 예를 들어 도 8, 도 13, 도 14, 도 9a 또는 도 10에 예시된 다채널 프로세서 프로세싱 요소들로 보내진다.
이와 관련하여, 일반적으로 "7"로 시작하는 도면 부호는 바람직하게는 도 7a의 기본 채널 디코더(700)에 속하는 요소를 나타낸다는 개요를 설명하고자 한다. "8"로 시작하는 도면 부호를 갖는 요소들은 바람직하게는 도 7a의 역상관 필터(800)에 속하고, 도면에서 "9"로 시작하는 도면 부호를 갖는 요소들은 바람직하게는 도 7a의 다채널 프로세서(900)에 속한다. 그러나, 여기서, 개별 요소들 사이의 분리는 본 발명을 설명하기 위해서만 행해지지만, 실제의 임의의 구현은 도 7a 및 다른 도면에 예시된 논리적 분리와는 다른 방식으로 분리되는, 상이하게 다른 전형적으로 하드웨어 또는 대안적으로 소프트웨어 또는 혼합된 하드웨어/소프트웨어 프로세싱 블록들을 가질 수 있음을 주지해야 한다.
도 4는 도면 부호 802'으로 표시된 필터 스테이지(802)의 바람직한 구현을 예시하고 있다. 특히, 도 4는 예를 들어 도 5에 예시된 바와 같이 역상관 필터에 단독으로 또는 더 많은 층계형 전역 통과 유닛들(cascaded allpass unit)들과 함께 포함될 수 있는 기본 전역 통과 유닛을 예시하고 있다. 도 5는 예시적으로 5개의 층계형 기본 전역 통과 유닛(502, 504, 506, 508, 510)을 갖는 역상관 필터(802)를 예시하고 있지만, 각각의 기본 전역 통과 유닛은 도 4에 개요를 나타낸 바와 같이 구현될 수 있다. 그러나 대안적으로 역상관 필터는 도 4의 하나의 기본 전역 통과 유닛(403)을 포함할 수 있으므로 역상관 필터 스테이지(802')의 대안적인 구현을 나타낸다.
바람직하게는, 각각의 기본 전역 통과 유닛은 제3 슈뢰더 전역 통과 필터(403, Schroeder allpass filter)에 중첩된 2개의 슈뢰더 전역 통과 필터(401, 402)를 포함한다. 이 구현에서, 전역 통과 필터 셀(403)이 2개의 층계형(cascaded) 슈뢰더 전역 통과 필터(401, 402)에 연결되고, 제1 층계형 슈뢰더 전역 통과 필터(401)로의 입력과 제2 층계형 슈뢰더 전역 통과 필터(402)로부터의 출력은 제3 슈뢰더 전역 통과 필터의 지연 스테이지(423) 전에 신호 흐름의 방향으로 연결된다.
특히, 도 4에 예시된 전역 통과 필터는 제1 가산기(411, first adder), 제2 가산기(412, second adder), 제3 가산기(413, third adder), 제4 가산기(414, fourth adder), 제5 가산기(415, fifth adder), 및 제6 가산기(416, sixth adder); 제1 지연 스테이지(421, first delay stage), 제2 지연 스테이지(422, second delay stage), 및 제3 지연 스테이지(423, third delay stage); 제1 순방향 이득(first forward gain)을 갖는 제1 순방향 피드(431, first forward feed), 제1 역방향 이득(first backward gain)을 갖는 제1 역방향 피드(441, first backward feed), 제2 순방향 이득(second forward gain)을 갖는 제2 순방향 피드(442, second forward feed), 및 제2 역방향 이득(second backward gain)을 갖는 제2 역방향 피드(432, second backward feed); 및 제3 순방향 이득(third forward gain)을 갖는 제3 순방향 피드(443, third forward feed) 및 제3 역방향 이득(third backward gain)을 갖는 제3 역방향 피드(433, third backward feed)를 포함한다.
연결은 도 4에 도시되어 있고 다음과 같다: 제1 가산기(411)로의 입력이 전역 통과 필터(802)로의 입력을 나타내고, 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함한다. 제1 가산기(411)의 출력이 상기 제2 가산기(412)로의 입력에 연결되며, 제3 순방향 이득을 갖는 제3 순방향 피드(443)를 통해 제6 가산기(416)의 입력에 연결된다. 제2 가산기(412)로의 입력이 제1 역방향 이득을 갖는 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결된다. 제2 가산기(412)의 출력이 제1 지연 스테이지(421)의 입력에 연결되고, 제1 순방향 이득을 갖는 제1 순방향 피드(431)를 통해 제3 가산기(413)의 입력에 연결된다. 제1 지연 스테이지(421)의 출력이 제3 가산기(413)의 추가 입력에 연결된다. 제3 가산기(413)의 출력이 제4 가산기(414)의 입력에 연결된다. 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결된다. 제4 가산기(414)의 출력이 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 제2 순방향 피드(442)를 통해 제5 가산기(415)로의 입력에 연결된다. 제1 지연 스테이지(421)의 출력이 제5 가산기(415)의 추가 입력에 연결된다. 제5 가산기(415)의 출력이 제3 지연 스테이지(423)의 입력에 연결된다. 제3 지연 스테이지(423)의 출력이 제6 가산기(416)로의 입력에 연결된다. 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 제3 순방향 피드(443)를 통해 제1 가산기(411)의 출력에 연결된다. 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타낸다.
바람직하게는, 도 8에 예시된 바와 같이, 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널과 제2 업믹스 채널을 결정하도록 구성된다. 특히, 상기 상이한 가중치 조합들은 인코딩된 다채널 신호 내에 포함된 인코딩된 파라메트릭 정보(encoded parametric information)로부터 도출되는 예측 인자(prediction factor) 및/또는 이득 인자(gain factor)에 의존한다. 또한, 상기 가중치 조합들은 바람직하게는 포락선 정규화 인자(envelope normalization factor), 또는 바람직하게는 디코딩된 기본 채널의 스펙트럼 대역 및 충전 신호의 대응하는 스펙트럼 대역을 사용하여 계산된 에너지 정규화 인자(energy normalization factor)에 의존한다. 따라서, 도 8의 프로세서(904)는 디코딩된 기본 채널의 스펙트럼 표현 및 충전 신호의 스펙트럼 표현을 수신하고, 바람직하게는 시간 영역에서 제1 업믹스 채널 및 제2 업믹스 채널을 출력하고, 예측 인자, 이득 인자, 및 에너지 정규화 인자가 대역별로 입력되고, 이어서 이 인자들은 대역 내의 모든 스펙트럼 라인에 사용되지만, 이 데이터가 인코딩된 신호에서 검색되거나 디코더에서 로컬 방식으로 결정되는 상이한 대역에 대해서는 변경된다.
특히, 예측 인자 및 이득 인자는, 전형적으로는, 디코더 측에서 디코딩된 다음 파라메트릭 스테레오 업믹싱에 사용되는 인코딩된 파라미터를 나타낸다. 이와 달리, 에너지 정규화 인자는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 스펙트럼 대역을 사용하여 계산된다. 포락선 정규화 인자도 이와 마찬가지이다. 바람직하게는, 포락선 정규화는 대역마다의 에너지 정규화에 대응한다.
본 발명은 도 12에 예시된 특정 기준 인코더 및 도 13 또는 도 14에 예시된 특정 디코더를 가지고 논의되고 있지만, 협대역 스펙트럼 영역에서 동작하는 다채널 스테레오 디코딩에서의 광대역 충전 신호의 생성 및 광대역 충전 신호의 적용은 또한 당해 기술분야에 공지된 임의의 다른 파라메트릭 스테레오 인코딩 기술에도 적용될 수 있다는 점을 주지해야 한다. 이들은 HE-AAC 표준에서, 또는 MPEG 서라운드 표준에서, 또는 바이노럴 큐 코딩(Binaural Cue Coding)에서, 또는 기타 스테레오 인코딩/디코딩 도구, 또는 기타 다채널 인코딩/디코딩 도구에서 알려진 파라메트릭 스테레오 인코딩이다.
도 9a는 제1 업믹스 채널 및 제2 업믹스 채널을 생성하는 다채널 프로세서 스테이지(904)와, 상기 제1 업믹스 채널 및 상기 제2 업믹스 채널에 개별적으로 안내되거나 안내되지 않는 방식으로 시간 영역 대역폭 확장을 수행하는, 후속해서 연결된 시간 영역 대역폭 확장 요소들(908, 910)을 포함하는 다채널 디코더의 또 다른 바람직한 실시예를 예시하고 있다. 일반적으로, 다채널 프로세서(904)에 의해 사용될 에너지 정규화 인자를 계산하기 위해 윈도우 및 에너지 정규화 인자 계산기(912)가 제공된다. 그러나 도 1a 또는 도 1b 및 도 2a 또는 도 2b와 관련하여 논의된 대안적인 실시예에서 대역폭 확장은 모노 또는 디코딩된 코어 신호로 수행되고, 도 2a 또는 도 2b의 단일 스테레오 프로세싱 요소(960)만이, 가산기(994a, 994b)에 의해 저대역 좌측 채널 신호 및 저대역 우측 채널 신호에 추가되는 고대역 좌측 채널 신호 및 고대역 우측 채널 신호를 고대역 모노 신호로부터 생성하기 위해 제공된다.
도 2a 또는 도 2b에 예시된 이러한 가산은 예를 들어 시간 영역에서 수행될 수 있다. 그 다음, 블록 960이 시간 영역 신호를 생성한다. 이것이 바람직한 구현이다. 그러나, 대안적으로, 도 2a 또는 도 2b의 스테레오 프로세싱(904) 및 블록 960으로부터의 좌측 채널 및 우측 채널 신호는 스펙트럼 영역에서 생성될 수 있으며 가산기(994a, 994b)는 예를 들어 합성 필터 뱅크에 의해 구현되므로, 블록 904로부터의 저대역 데이터가 합성 필터 뱅크의 저대역 입력으로 입력되고, 블록 960의 고대역 출력이 합성 필터 뱅크의 고대역 입력으로 입력되며, 합성 필터 뱅크의 출력이 대응하는 좌측 채널 시간 영역 신호 또는 우측 채널 시간 영역 신호가 된다.
바람직하게는, 도 9a의 윈도우어(windower) 및 인자 계산기(912, factor calculator)는 예를 들어 도 1a 또는 도 1b에 도면 부호 961로도 예시된 바와 같이 고대역 신호의 에너지 값을 생성 및 계산하고, 이 에너지 추정치를 바람직한 일 실시예에서 수학식 28 내지 31과 관련하여 후술되는 바와 같이 고대역 제1 및 제2 업믹스 채널을 생성하기 위해 사용한다.
바람직하게는, 가중치 조합을 계산하는 프로세서(904)는 대역마다의 에너지 정규화 인자를 입력으로서 수신한다. 그러나 바람직한 일 실시예에서는 에너지 정규화 인자의 압축이 수행되며 그 압축된 에너지 정규화 인자를 사용하여 상이한 가중치 조합들이 계산된다. 따라서, 도 8과 관련하여, 프로세서(904)는 압축되지 않은 에너지 정규화 인자 대신에 압축된 에너지 정규화 인자를 수신한다. 이 절차는 다른 실시예들과 관련하여 도 9b에 예시되어 있다. 블록 920은 시간/주파수 빈마다의 잔차 또는 충전 신호의 에너지와, 시간 및 주파수 빈마다의 디코딩된 기본 채널의 에너지를 수신한 다음, 이러한 다수의 시간/주파수 빈을 포함하는 대역에 대한 절대 에너지 정규화 인자를 계산한다. 그 다음, 블록 921에서, 에너지 정규화 인자의 압축이 수행되고, 이 압축은 예를 들어 후술하는 수학식 22와 관련하여 논의되는 로그 함수의 사용일 수 있다.
블록 921에 의해 생성된 압축 에너지 정규화 인자에 기초하여 압축 에너지 정규화 인자를 생성하기 위한 상이한 절차들이 제공된다. 제1 대안에서, 도면 부호 922로 예시된 바와 같은 압축 인자에 함수가 적용되며, 이 함수는 비선형 함수인 것이 바람직하다. 그 다음, 블록 923에서, 평가된 인자를 확장시켜서 특정 압축 에너지 정규화 인자가 얻어지도록 한다. 따라서, 블록 922는 예를 들어 후술할 수학식 22의 함수 표현으로 구현될 수 있고, 블록 923은 수학식 22 내의 "지수(exponent)" 함수에 의해 수행된다. 그러나 유사한 압축 에너지 정규화 인자를 생겨나게 하는 다른 대안이 블록 924 및 925에 제공된다. 블록 924에서 평가 인자가 결정되고, 블록 925에서, 이 평가 인자는 블록 920에서 얻어진 에너지 정규화 인자에 적용된다. 따라서, 블록 912에 개요 설명된 바와 같은, 상기 인자를 에너지 정규화 인자에 적용하는 것은 후속해서 예시되는 수학식 27로 구현될 수 있다.
따라서, 예를 들어 뒤에서 수학식 27에 예시된 바와 같이, 평가 인자가 결정되고, 이 인자는, 실제로 특수 기능 평가를 수행하지 않고 블록 920에 의해 결정된 것과 같은 에너지 정규화 인자 gnorm이 곱해질 수 있는 간단한 인자이다. 따라서, 정규화된 충전 신호 스펙트럼 라인을 얻기 위해 원래의 비압축 에너지 정규화 인자와, 충전 신호의 스펙트럼 값과 같은 곱셈 내의 평가 인자와 추가 피연산자를 함께 곱하자마자 바로 그 때에, 블록 925의 계산은 필요 없을 수도, 즉 압축된 에너지 정규화 인자의 특정 계산이 필요하지 않을 수 있다.
도 10은 인코딩된 다채널 신호가 단순히 모노 신호가 아니라 예를 들어 인코딩된 중앙 신호 및 인코딩된 측방 신호를 포함하는 추가적인 구현을 예시하고 있다. 이러한 상황에서, 기본 채널 디코더(700)는 인코딩된 중앙 신호 및 인코딩된 측방 신호 또는 일반적으로는 인코딩된 제1 신호 및 인코딩된 제2 신호를 디코딩할 뿐만 아니라, 예를 들어, L과 같은 주채널과 R과 같은 부채널을 계산하기 위해 중앙/측방 변환 및 중앙/측방 역변환 형태 또는 카루넨 뢰브 변환(Karhunen Loeve transformation) 형태의 채널 변환(705)도 추가로 수행한다.
그러나 채널 변환의 결과, 특히 디코딩 동작의 결과는 주채널이 광대역 채널이고 부채널이 협대역 채널이라는 것이다. 그 다음, 광대역 채널이 역상관 필터(800)에 입력되고, 블록 930에서 고역 통과 필터링이 수행되어 역상관된 고역 통과 신호가 생성되고, 그 다음 이 역상관된 고역 통과 신호가 대역 결합기(934)에서 협대역 부채널에 추가되어 광대역 부채널을 얻게 되어, 결국에는 광대역 주채널과 광대역 부채널이 출력된다.
도 11은 인코딩된 기본 채널과 연관된 특정 샘플링 레이트에서 기본 채널 디코더(700)에 의해 얻어진 디코딩된 베이스 채널이 재샘플링기(710, resampler)에 입력되어 재샘플링된 기본 채널이 얻어지도록 한 다음 이를 재샘플링된 채널에서 작동하는 다채널 프로세서에 사용되도록 하는 또 다른 구현을 예시하고 있다.
도 12는 기준 스테레오 인코딩의 바람직한 구현을 예시하고 있다. 블록 1200에서, L과 같은 제1 채널 및 R과 같은 제2 채널에 대해 채널간 위상차 IPD(inter-channel phase difference)가 계산된다. 그 다음 이 IPD 값은, 일반적으로, 각각의 시간 프레임에서 각 대역에 대해 인코더 출력 데이터(1206)로서 양자화되어 출력된다. 또한, IPD 값은, 각각의 시간 프레임 t에서 각각의 대역 b에 대한 예측 파라미터 gt,b 및 각각의 시간 프레임 t에서 각각의 대역 b에 대한 이득 파라미터 rt,b와 같은, 스테레오 신호에 대한 파라메트릭 데이터를 계산하는 데 사용된다.
또한, 각 대역에 대해 중앙 신호 및 측방 신호를 계산하기 위해 제1 채널과 제2 채널 모두가 중앙/측방 프로세서(1203)에도 사용된다.
구현 여하에 따라, 중앙 신호(M)만이 인코더(1204)로 보내질 수 있고 측방 신호는 인코더(1204)로 보내지지 않으므로, 출력 데이터(1206)는 인코딩된 기본 채널, 블록 1202에 의해 생성된 파라메트릭 데이터, 및 블록 1200에 의해 생성된 IPD 정보만을 포함한다.
이어서, 바람직한 일 실시예가 기준 인코더와 관련하여 논의되지만, 전술한 바와 같은 임의의 다른 스테레오 인코더도 사용될 수 있음을 주지해야 한다.
참조용 스테레오 인코더
DFT 기반 스테레오 인코더가 참조용으로 설명된다. 통상적으로, 좌측 및 우측 채널의 시간 주파수 벡터 Lt 및 Rt는 분석 윈도우 및 이에 이어지는 이산 푸리에 변환(DFT, Discrete Fourier Transform)을 동시에 적용함으로써 생성된다. 그 다음, DFT 빈들이 부대역
Figure pct00001
및
Figure pct00002
로 각각 그룹화되고, 여기서 I b 는부대역 지수들의 집합을 나타낸다.
IPD 계산 및 다운믹싱. 다운믹스의 경우, 대역별(bandwise) 채널간 위상차(IPD)는 다음과 같이 계산된다.
Figure pct00003
여기서 z*는 z의 공액 복소수를 나타낸다. 이것은 하기의 대역별 중앙 및 측방 신호를 생성하는 데 사용된다.
Figure pct00004
및
Figure pct00005
단,
Figure pct00006
이고, 여기서 β는 예를 들어 다음 식에 의해 주어진 절대 위상 회전 파라미터이다.
Figure pct00007
파라미터 계산. 상기 대역별 IPD 외에, 두 개의 추가 스테레오 파라미터가 추출된다. Mt,b로 St,b를 예측하기 위한 최적 계수, 즉 하기의 나머지 에너지가 최소가 되도록 하는 gt,b 수와,
Figure pct00008
중앙 신호 Mt에 적용되는 경우 각각의 대역에서 pt와 Mt의 에너지를 균일화하는 상대 이득 계수 rt,b, 즉
Figure pct00009
최적 예측 계수가 다음과 같은 부대역의 에너지와,
Figure pct00010
다음과 같은 Lt와 Rt의 내적의 절대 값으로부터 계산될 수 있다.
Figure pct00011
및
Figure pct00012
이로부터 gt,b는 [-1, 1]에 있게 된다. 잔차 이득은 상기 에너지와 상기 내적으로부터 유사하게 다음과 같이 계산될 수 있고,
Figure pct00013
여기에는 다음 조건이 수반된다.
Figure pct00014
도 13은 디코더 측의 바람직한 구현을 예시하고 있다. 도 7a의 기본 채널 디코더를 나타내는 블록 700에서, 인코딩된 기본 채널(M)이 디코딩된다.
이어서, 블록 940a에서, L과 같은 주 업믹스 채널이 계산된다. 또한, 블록 940b에서, 예를 들어 채널 R인 부 업믹스 채널이 계산된다.
블록 940a와 블록 940b 모두가 충전 신호 생성기(800)에 연결되고, 도 12의 블록 1200 또는 도 12의 블록 1202에 의해 생성된 파라메트릭 데이터를 수신한다.
바람직하게는, 파라메트릭 데이터는 제2 스펙트럼 해상도를 갖는 대역들에 제공되고, 블록 940a 및 블록 940b는 높은 스펙트럼 해상도 입도에서 작동하여 제2 스펙트럼 해상도보다 높은 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 생성한다.
블록 940a 및 블록 940b의 출력은 예를 들어 주파수-시간 변환기(961, 962)로 입력된다. 이들 변환기는 DFT 또는 임의의 다른 변환일 수 있으며, 또한 일반적으로는 후속 합성 윈도우 프로세싱 및 추가적인 중첩-가산 동작을 포함한다.
부가적으로, 충전 신호 생성기는 에너지 정규화 인자, 바람직하게는 압축된 에너지 정규화 인자를 수신하고, 이 인자는 블록 940a 및 블록 940b에 대해 정확하게 평등화된/가중된 충전 신호 스펙트럼 라인을 생성하기 위해 사용된다.
이어서, 블록 940a 및 블록 940b의 바람직한 구현이 제공된다. 두 블록은 위상 회전 인자의 계산(941a)과, 도면 부호 942a 및 942b로 표시된 바와 같은, 디코딩된 기본 채널의 스펙트럼 라인에 대한 제1 가중치의 계산을 포함한다. 또한, 두 블록은 충전 신호의 스펙트럼 라인에 대한 제2 가중치를 계산하기 위한 계산(943a 및 943b)을 포함한다.
또한, 충전 신호 생성기(800)는 블록 945에 의해 생성된 에너지 정규화 인자를 수신한다. 이 블록 945는 대역마다의 충전 신호와 대역마다의 기본 채널 신호를 수신한 다음, 한 대역 내의 모든 라인에 사용되는 동일한 에너지 정규화 인자를 계산한다.
마지막으로, 이 데이터는 제1 및 제2 업믹스 채널에 대한 스펙트럼 라인들을 계산하기 위해 프로세서(946)로 보내진다. 이를 위해, 프로세서(946)는 상기 데이터를 블록들(941a, 941b, 942a, 942b, 943a, 943b)로부터 수신하고, 디코딩된 기본 채널에 대한 스펙트럼 라인 및 충전 신호에 대한 스펙트럼 라인을 수신한다. 이 때, 블록 946의 출력은 제1 및 제2 업믹스 채널에 대한 대응하는 스펙트럼 라인이다.
이어서, 디코더의 바람직한 구현이 제공된다.
참조용 디코더
전술한 인코더에 대응하는 참조용 DFT 기반 디코더가 지정된다. 두 인코더로부터의 시간-주파수 변환이 디코딩된 다운믹스에 적용되어, 시간-주파수 벡터
Figure pct00015
를 생성한다. 역양자화 값
Figure pct00016
, 및
Figure pct00017
를 사용하여, 왼쪽 및 오른쪽 채널이 다음과 같이 계산된다.
Figure pct00018
및
Figure pct00019
단,
Figure pct00020
이고, 여기서
Figure pct00021
는 인코더로부터 누락된 잔차
Figure pct00022
에 대한 대체이고,
Figure pct00023
은 다음 식으로 나타내는 에너지 정규화 인자이고,
Figure pct00024
이는 상대 잔차 예측 이득
Figure pct00025
를 절대 이득으로 변환시킨다.
Figure pct00026
에 대한 단순한 선택은 다음 식과 같다.
Figure pct00027
여기서, db >는 대역별 프레임 지연을 나타내지만 여기에는 특정 단점들이 있다. 즉,
-
Figure pct00028
및
Figure pct00029
는 아주 상이한 스펙트럼 및 시간 형상을 갖는다.
- 스펙트럼 포락선과 시간 포락선을 일치시키는 경우에도, 수학식 12 및 수학식 13에서 수학식 15를 사용하게 되면 주파수 종속 ILD 및 IPD가 유도되며, 이는 저주파수에서 중간 주파수까지의 범위에서만 느리게 변동한다. 이는 예를 들어 음색 아이템에 문제를 야기한다.
- 음성 신호의 경우, 반향 문턱치 아래로 유지시키기 위해서는 지연을 작게 선택해야 하지만, 이는 콤 필터링(comb-filtering)으로 인해 강한 채색(coloration)을 야기한다.
따라서, 아래에 설명된 인공 신호의 시간-주파수 빈을 사용하는 것이 좋다.
위상 회전 인자 β가 다시 다음과 같이 계산된다.
Figure pct00030
합성 신호 생성
스테레오 업믹스에서 누락된 잔차 부분을 대체하기 위해, 시간 영역 입력 신호 m으로부터 제2 신호가 생성되어, 제2 신호 mF를 출력한다. 이 필터의 설계 제약은 짧고 밀도가 높은 임펄스 응답을 갖도록 하는 것이다. 이는 두 개의 슈뢰더 전역 통과 필터를 제3 슈뢰더 필터에 중첩시킴으로써 얻어진 여러 스테이지의 기본 전역 통과 필터들을 적용함으로써 달성된다. 즉,
Figure pct00031
여기서,
Figure pct00032
및
Figure pct00033
이러한 기본적인 전역 통과 필터들은,
Figure pct00034
인공 잔향 생성과 관련하여 슈뢰더가 제안한 바 있는데, 여기서는 필터에 큰 이득과 큰 지연이 적용된다. 이와 관련하여 잔향 출력 신호를 갖는 것은 바람직하지 않기 때문에, 이득과 지연은 오히려 작게 선택된다. 잔향의 경우와 마찬가지로, 밀도가 높고 무질서한 형태의 임펄스 응답은 모든 전역 통과 필터에 대해 짝을 이루어 서로 소(coprime)인 지연들 dt를 선택함으로써 가장 잘 얻어진다.
필터는 코어 코더가 전달하는 신호의 대역폭 또는 샘플링 레이트에 관계없이 고정된 샘플링 레이트에서 작동한다. EVS 코더와 함께 사용할 때에는 이것이 필요한데, 왜냐하면 대역폭은 작동 중에 대역폭 검출기에 의해 변경될 수 있고 고정된 샘플링 레이트는 일관된 출력을 보장하기 때문이다. 전역 통과 필터의 바람직한 샘플링 레이트는 본래의 초광대역 샘플링 레이트인 32 kHz인데, 왜냐하면 16 kHz를 초과하는 잔차 부분이 없으면 일반적으로는 더 이상 들을 수 없기 때문이다. EVS 코더와 함께 사용할 때, 상기 신호는 코어로부터 직접 구성되며, 도 1에 표시된 바와 같이 여러 재샘플링 루틴들을 통합한다.
32 kHz 샘플링 속도에서 잘 작동하는 것으로 밝혀진 필터는 다음과 같고,
Figure pct00035
여기서, Bi는 표 1에 표시된 이득 및 지연을 갖는 기본 전역 통과 필터들이다. 이 필터의 임펄스 응답은 도 6에 도시되어 있다. 복잡도 때문에, 이러한 필터를 더 낮은 샘플링 레이트에서 적용할 수도 있고/있거나 기본 전역 통과 필터 유닛들의 수를 줄일 수도 있다.
전역 통과 필터 유닛들은 또한 입력 신호의 일부를 영(0)으로 덮어쓰는 기능을 제공하며, 이는 인코더로 제어된다. 이는, 예를 들어, 필터 입력으로부터의 공격을 삭제하는 데 사용할 수 있다.
g norm 인자의 압축
보다 평활한 출력을 얻기 위해서는, 압축기를 에너지 조정 이득 gnorm에 적용하여 값들을 하나의 값으로 압축하는 것이 유리하다는 것으로 밝혀졌다. 이것은 또한 다운믹스를 더 낮은 비트 레이트로 코딩한 후에는 분위기의 일부가 일반적으로 손실된다는 사실을 약간 보상한다.
이러한 압축기는 하기 식을 취함으로써 구성될 수 있으며,
Figure pct00036
여기서,
Figure pct00037
그리고 함수 c는 다음을 충족시킨다.
Figure pct00038
t 주위의 c 값은 이 영역이 얼마나 강력하게 압축되는지를 특정하며, 여기서 0은 압축 없음에 해당하고 1은 전체 압축에 해당한다. 또한, c가 짝수인 경우, 압축 체계는 대칭, 즉 c(t) = c(-t)이다. 한 예는 다음과 같고,
Figure pct00039
이는 다음 식을 도출한다.
Figure pct00040
이 경우, 수학식 22는 다음과 같이 단순화될 수 있으며,
Figure pct00041
특수 기능 평가를 면할 수 있다.
ACELP 프레임을 위한 대역폭 확장의 시간 영역 스테레오 업믹스와 조합한 사용
통신 시나리오를 위한 저지연 오디오 코덱인 EVS 코덱과 함께 사용될 때, 시간 영역 대역폭 확장(TBE: time domain bandwidth extension)에 의해 유도된 안전한 지연에 대해 시간 영역에서 대역폭 확장의 스테레오 업믹스를 수행하는 것이 바람직하다. 스테레오 대역폭 업믹스는 대역폭 확장 범위에서 올바른 패닝을 복원하는 것을 목표로 하지만, 누락된 잔차에 대한 대체물을 추가하지 않는다. 따라서, 도 2에 도시된 바와 같이, 주파수 영역 스테레오 프로세싱에서 대체물을 추가하는 것이 바람직하다.
디코더에서의 입력 신호에 대해서는
Figure pct00042
을, 필터링된 입력 신호에 대해서는
Figure pct00043
를,
Figure pct00044
의 시간-주파수 빈에 대해서는
Figure pct00045
를,
Figure pct00046
의 시간-주파수 빈에 대해서는
Figure pct00047
를 표기법으로 사용한다.
그러면, 대역폭 확장 범위에서
Figure pct00048
가 미지인 문제에 직면하게 되므로, 아래의 에너지 정규화 인자는,
Figure pct00049
일부 지수
Figure pct00050
가 대역폭 확장 범위에 있는 경우에는, 직접 계산할 수 없다. 이 문제는 다음과 같이 해서 풀린다:
Figure pct00051
및
Figure pct00052
를 주파수 빈의 고대역 지수 및 저대역 지수를 각각 나타내는 것으로 한다. 그 다음, 시간 영역 내의 윈도우된 고대역 신호(windowed high band signal)의 에너지를 계산함으로써
Figure pct00053
의 추정치
Figure pct00054
를 얻는다. 이제,
Figure pct00055
및
Figure pct00056
를 대역 b의 지수
Figure pct00057
내의 저대역 및 고대역 지수를 나타내는 것으로 하면, 다음 식을 갖게 된다.
Figure pct00058
이제 우항의 두 번째 합계에 있는 피가수(summand)는 미지이지만,
Figure pct00059
가 전역 통과 필터에 의해
Figure pct00060
으로부터 얻어지기 때문에,
Figure pct00061
및
Figure pct00062
의 에너지가 유사하게 분포된다고 추정할 수 있으므로, 다음 식이 얻어진다.
Figure pct00063
따라서, 수학식 29의 우변에 있는 두 번째 합계는 다음과 같이 추산될 수 있다.
Figure pct00064
주채널과 부채널을 코딩하는 코더와 함께 사용
인공 신호는 또한 주채널 및 부채널을 코딩하는 스테레오 코더에도 유용하다. 이 경우, 주채널은 전역 통과 필터 유닛의 입력 역할을 한다. 그 다음, 가능하기로는 쉐이핑 필터가 적용된 후, 스테레오 프로세싱 내의 잔차 부분을 대체하는 데 필터링된 출력이 사용될 수 있다. 가장 간단한 설정에서, 주채널 및 부채널은 중앙/측방 또는 KL 변환과 같은 입력 채널의 변환일 수 있으며, 부채널은 더 작은 대역폭으로 제한될 수 있다. 그 다음, 부채널의 누락 부분은, 고역 통과 필터를 적용한 후에, 필터링된 주채널로 대체될 수 있다.
스테레오 모드들 사이에서 전환할 수 있는 디코더와 함께 사용
인공 신호의 특히 흥미로운 경우는 디코더가 도 3에 도시된 바와 같이 상이한 스테레오 프로세싱 방법들을 특색 짓는 경우이다. 방법들이 동시에(예를 들어, 대역폭에 의해 분리됨) 또는 배타적으로(예를 들어, 주파수 영역 대 시간 영역 프로세싱) 적용될 수 있고, 스위칭 결정에 연결될 수 있다. 모든 스테레오 프로세싱 방법들에 동일한 인공 신호를 사용하게 되면 전환하는 경우와 동시적 경우 모두에서 불연속성이 매끄럽게 된다.
바람직한 실시예들의 이점 및 장점
새로운 방법은 예를 들어 xHE-AAC에 적용되는 종래 기술의 방법에 비해 많은 이점과 장점을 가지고 있다.
시간 영역 프로세싱은 파라메트릭 스테레오에 적용되는 부대역 프로세싱보다 훨씬 더 높은 시간 해상도를 허용하므로 임펄스 응답이 조밀하고 빠른 감쇠인 필터를 설계할 수 있다. 이로 인해 입력 신호 스펙트럼 포락선이 시간이 지남에 따라 흐려지는 것이 적어지게 되거나, 출력 신호가 덜 채색되므로, 소리가 더 자연스럽게 들린다.
필터 임펄스 응답의 최적 피크 영역이 20 내지 40 ms에 있어야 음성에 더 적합하다.
필터 유닛은 샘플링 레이트가 상이한 입력 신호들에 대한 재샘플링 기능을 특색 짓는다. 이는 필터를 고정 샘플링 레이트로 작동할 수 있게 하는데, 이는 상이한 샘플링 레이트에서 유사한 출력을 보장하기 때문에 유리하거나, 상이한 샘플링 레이트의 신호들 간의 전환 시의 불연속성을 매끄럽게 한다. 복잡도로 인해, 필터링된 신호가 지각적으로 관련된 주파수 범위만 커버하도록 내부 샘플링 레이트를 선택해야 한다.
신호는 디코더의 입력에서 생성되고 필터 뱅크에 연결되지 않기 때문에 상이한 스테레오 프로세싱 유닛들에서 사용될 수 있다. 이는 상이한 유닛들 사이에서 전환할 때나 또는 상이한 유닛들이 신호의 상이한 부분들에서 작동할 때의 불연속성을 매끄럽게 하는 데 도움이 된다.
또한 유닛들 간의 전환 시 초기화가 필요 없으므로 복잡도를 면하게 된다.
이득 압축 체계(gain compression scheme)는 코어 코딩으로 인한 주변의 손실을 보상하는 데 도움이 된다.
ACELP 프레임의 대역폭 확장에 관한 방법은 패닝 기반 시간 영역 대역폭 확장 업믹스에서 누락되는 잔차 성분의 부족을 완화시키고, 이는 DFT 영역에서의 고대역 프로세싱과 시간 영역에서의 고대역 프로세싱 사이에서 전환할 때 안정성을 증가시킨다.
매우 미세한 시간 스케일에서 입력을 영(0)으로 대체할 수 있고, 이는 공격을 처리하는 데 유익하다.
이어서, 도 1a 또는 도 1b, 도 2a 또는 도 2b, 및 도 3과 관련하여 추가 세부 사항들에 대해 논의한다.
도 1a 또는 도 1b는 기본 채널 디코더(700)가 디코딩된 기본 채널의 제1 부분을 생성하기 위해 저대역 디코더(721) 및 대역폭 확장 디코더(720)를 구비하는 제1 디코딩 브랜치를 포함하는 것으로 예시하고 있다. 또한, 기본 채널 디코더(700)는 디코딩된 기본 채널의 제2 부분을 생성하기 위해 전대역 디코더를 구비한 제2 디코딩 브랜치(722, decording branch)를 포함한다.
두 요소들 사이의 전환은, 블록을 포함하는 제1 디코딩 브랜치(720, 721) 또는 제2 디코딩 브랜치(722)에 인코딩된 기본 채널의 일부를 공급하기 위해 인코딩된 다채널 신호에 포함된 제어 파라미터에 의해 제어되는 스위치로서 예시된 제어기(713)에 의해, 수행된다. 저대역 디코더(721)는 예를 들어 대수 코드 여기 선형 예측 코더(ACELP: algebraic code excited linear prediction coder)로서 구현되고, 제2 전대역 디코더는 변환 코드 여기(TCX: transform coded excitation)/고품질(HQ) 코어 디코더로서 구현된다.
블록들(722)로부터의 디코딩된 다운믹스 또는 블록(721)으로부터의 디코딩된 코어 신호 와, 추가로, 블록(720)으로부터의 대역폭 확장 신호가 취해져서 도 2a 또는 도 2b의 절차로 보내진다. 또한, 후속하여 연결된 역상관 필터는 재샘플링기(810, 811, 812)와, 필요한 경우, 지연 보상 요소(813, 814)를 포함한다. 가산기가 블록(720)으로부터의 시간 영역 대역폭 확장 신호와 블록(721)으로부터의 코어 신호를 결합하여, 이를, 이용 가능한 신호에 따라 달라지는 제1 코딩 브랜치 또는 제2 코딩 브랜치 사이에서 전환하기 위해 스위치 제어기의 형태의 인코딩된 다채널 데이터에 의해 제어되는 스위치(815)로 보낸다.
또한, 전환 결정(817, switching decision)이 구성되는데, 이는 예를 들어 과도 감지기(transient detector)로서 구현된다. 그러나 과도 감지기는 신호 분석에 의해 과도(transient)를 검출하기 위한 실제 검출기일 필요는 없지만, 과도 감지기는 또한 기본 채널에서 과도를 나타내는 인코딩된 다채널 신호에서 부가 정보 또는 특정 제어 파라미터를 결정하도록 구성될 수 있다.
전환 결정(817)은, 도 1a 또는 도 1b에서 도면 부호 1000으로 표시된 EVS 전역 통과 신호 발생기(APSG: allpass signal generator)가 그 시간 영역에서 완전히 작동하기 때문에 아주 구체적으로 선택 가능한 특정 시간 영역들에 대해 다채널 프로세서에서 충전 신호 추가를 실제로 비활성화시키는 결과를 일으키는 제로 입력이나 또는 전역 통과 필터 유닛(802)으로 스위치(815)로부터 출력된 신호를 공급하기 위해, 스위치를 설정한다. 따라서, 제로 입력은 스펙트럼 도메인 프로세싱에 필요한 스펙트럼 해상도를 감소시키는 임의의 윈도우 길이에 대한 참조를 하지 않고 샘플 방식으로 선택될 수 있다.
도 1a에 예시된 장치는, 재샘플링기들과 지연 스테이지들이 도 1b에서 생략된다는 점, 즉 요소들(810, 811, 812, 813, 814)이 도 1b의 장치에 필요하지 않다는 점에서, 도 1b에 예시된 장치와 다르다. 따라서, 도 1b의 실시예에서, 전역 통과 필터 유닛들은 도 1a에서와 같이 32 kHz가 아닌 16 kHz에서 작동한다.
도 2a 또는 도 2b는 전역 통과 신호 생성기(1000, allpass signal generator)가 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱에 통합된 것을 예시한다. 블록 1000은, 블록 720에 의해 생성된 대역폭 확장 신호를, 블록 720에 의해 생성된 모노 대역 폭 확장 신호로부터 고대역 왼쪽 신호 및 고대역 오른쪽 신호를 생성하기 위한 고대역 업믹서(960)(TBE 업믹스-(시간 영역) 대역폭 확장 업믹스)로 출력한다. 또한, 도면 부호 804로 표시된 충전 신호에 대한 DFT 전에 연결된 재샘플링기(821)가 제공된다. 또한, (전대역) 디코딩된 다운믹스이거나 또는 (저대역) 디코딩된 코어 신호인 디코딩된 기본 채널에 대한 DFT(922)가 제공된다.
구현 여하에 따라, 전대역 디코더(722)로부터의 디코딩된 다운믹스 신호가 이용 가능할 때, 블록 960이 비활성화되고, 스테레오 프로세싱 블록 904는 전대역 좌/우 채널과 같은 전대역 업믹스 신호를 이미 출력한다.
그러나, 디코딩된 코어 신호가 DFT 블록 922에 입력된 때, 블록 960이 활성화되고, 좌측 채널 신호와 우측 채널 신호가 가산기(994a, 994b)에 의해 추가된다. 그러나, 충전 신호의 추가는 그럼에도 불구하고 예를 들어 수학식 28 내지 31에 기초하여 바람직한 실시예에서 논의된 바와 같은 절차에 따라 블록 904로 표시된 스펙트럼 영역에서 수행된다. 따라서, 이러한 상황에서, 저대역 중앙 신호에 대응하는 DFT 블록 902에 의해 출력된 신호는 어떠한 고대역 데이터도 갖지 않는다. 그러나, 블록 804에 의해 출력된 신호, 즉 충전 신호는 저대역 데이터와 고대역 데이터를 갖는다.
스테레오 프로세싱 블록에서, 블록 904에 의해 출력된 저대역 데이터는 디코딩된 기본 채널 및 충전 신호에 의해 생성되지만, 블록 904에 의해 출력된 고대역 데이터는 충전 신호로만 구성되고 디코딩된 기본 채널로부터의 어떠한 고대역 정보도 갖지 않는데, 이는 디코딩된 기본 채널이 대역 제한되었기 때문이다. 디코딩된 기본 채널로부터의 고대역 정보는 대역폭 확장 블록 720에 의해 생성되고, 블록 960에 의해 왼쪽 고대역 채널 및 오른쪽 고대역 채널로 업믹싱된 다음 가산기(994a, 994b)에 의해 추가된다.
도 2a에 예시된 장치는, 재샘플링기가 도 2b에서 생략된다는 점, 즉 요소(821)가 도 2b의 장치에 필요하지 않다는 점에서, 도 2b에 예시된 장치와 다르다.
도 3은 스테레오 모드들 사이의 전환과 관련하여 전술한 바와 같이 다수의 스테레오 프로세싱 유닛(904a 내지 904b, 904c)을 갖는 시스템의 바람직한 구현을 예시하고 있다. 각각의 스테레오 프로세싱 블록은 부가 정보를 수신하며, 부가적으로, 특정 1차 신호이지만, 입력 신호의 특정 시간 부분이 스테레오 프로세싱 알고리즘(904a), 스테레오 프로세싱 알고리즘(904b), 또는 다른 스테레오 프로세싱 알고리즘(904c)을 사용하여 처리되는지에 관계없이 정확히 동일한 충전 신호를 수신한다.
일부 양태들은 장치와 관련하여 설명되었지만, 이들 양태들은 또한 대응하는 방법에 대한 설명을 나타내는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 해당한다. 유사하게, 방법 단계와 관련하여 설명된 양태들은 또한 대응하는 장치의 대응하는 블록 또는 세목 또는 특징에 대한 설명을 나타낸다. 방법 단계들 중 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능 컴퓨터, 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상이 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 오디오 신호는 디지털 저장 매체에 저장되거나, 인터넷과 같은 유선 전송 매체 또는 무선 전송 매체와 같은 전송 매체에서 전송될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 이러한 구현은 전자적으로 판독 가능한 제어 신호가 저장되어 있고 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협동하는(또는 협동할 수 있는) 비일시적 저장 매체 또는 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM, 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터로 판독될 수 있다.
본 발명에 따른 일부 실시예들은 본원에 기술된 방법들 중 하나가 수행되도록 프로그램 가능 컴퓨터 시스템과 협동할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 캐리어에 저장된, 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
따라서, 바꾸어 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터에서 실행될 때 본원에 기술된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 기록해서 포함하고 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체, 또는 기록 매체는 전형적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는, 예를 들면, 데이터 통신 연결을 통해서, 일례로 인터넷을 통해서, 전송되도록 구성될 수 있다.
추가 실시예는 본원에 기술된 방법들 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 상기 수신기는 예를 들면 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 상기 장치 또는 시스템은 예를 들면 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 기술된 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예들에서, 필드 프로그램 가능 게이트 어레이는 본원에 기술된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협동할 수 있다. 일반적으로, 본 발명의 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
본원에 기술된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 기술된 장치, 또는 본원에 기술된 장치의 임의의 구성 요소들은 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본원에 기술된 방법들은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본원에 기술된 방법들, 또는 본원에 기술된 장치의 임의의 구성 요소들은 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
전술한 실시예들은 단지 본 발명의 원리를 예시하는 것일 뿐이다. 본원에 기술된 배치들과 세부 사항들에 대한 수정 및 변형은 당업자에게 명백할 것이라고 이해된다. 따라서, 본 발명은 임박한 특허청구범위의 범위에 의해서만 제한되고 본원의 실시예들에 대한 기술 및 설명에 의해 제시된 특정 세부 사항들에 의해서는 제한되지 않는 것으로 의도되어 있다.
전술한 설명에서, 본 개시를 간소화하기 위해 다양한 특징들이 실시예들에서 함께 그룹화 됨을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각 청구항에 명시적으로 언급된 것보다 더 많은 특징을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 다음의 청구범위가 반영하는 바와 같이, 본 발명의 기술 요지는 하나의 개시된 실시예의 모든 특징들보다 적을 수 있다. 따라서, 다음의 청구범위는 상세한 설명에 포함되며, 각 청구항은 별도의 실시예로서 자체적으로 존립할 수 있다. 각 청구항은 별도의 실시예로서 자체적으로 존립할 수 있는 한편, 종속항은 청구범위에서 하나 이상의 다른 청구항과의 특정 조합을 인용할 수 있지만, 다른 실시예들은 또한 해당 종속항과 각각의 다른 종속항의 기술 요지와의 조합 또는 다른 종속항 또는 독립항과의 각 특징의 조합을 포함할 수 있음을 유의해야 한다. 이러한 조합은 특정 조합이 의도되지 않은 것으로 언급되지 않는 한 본원에서 제안되는 것이다. 또한, 한 청구항이 임의의 다른 독립항에 직접적으로 종속되지 않더라도 그 임의의 다른 독립항에 대한 그 청구항의 특징들도 포함하도록 의도되어 있다.
또한, 명세서 또는 청구범위에 개시된 방법들은 이들 방법의 각각의 단계를 수행하기 위한 수단을 갖는 장치에 의해 구현될 수 있음을 유의해야 한다.
또한, 일부 실시예들에서, 단일 단계는 다수의 하위 단계를 포함하거나, 다수의 하위 단계로 나누어질 수 있다. 이러한 하위 단계들은 명시적으로 배제되지 않는 한 그 단일 단계의 개시에 포함되거나 단일 단계의 개시의 일부일 수 있다.

Claims (50)

  1. 인코딩된 다채널 신호를 디코딩하는 장치로서,
    디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
    충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
    디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
    상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  2. 청구항 1에 있어서,
    상기 역상관 필터(800)의 필터 특성은 그 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 크도록 선택된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 역상관 필터는, 광대역 또는 시간 영역 충전 신호를 얻기 위해, 디코딩된 기본 채널을 필터링하는 필터 스테이지(802); 및
    상기 광대역 또는 시간 영역 충전 신호를 상기 충전 신호의 스펙트럼 표현으로 변환하는 스펙트럼 변환기(804)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 디코딩된 기본 채널을 상기 디코딩된 기본 채널의 스펙트럼 표현으로 변환하는 기본 채널 스펙트럼 변환기(902)를 추가로 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는 전역 통과 시간 영역 필터(802, allpass time domain filter) 또는 적어도 하나의 슈뢰더 전역 통과 필터(802, Schroeder allpass filter)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는, 제1 가산기(411), 지연 스테이지(423), 제2 가산기(416), 순방향 이득을 갖는 순방향 피드(443), 및 역방향 이득을 갖는 역방향 피드(433)를 구비하는 적어도 하나의 슈뢰더 전역 통과 필터를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  7. 청구항 5 또는 청구항 6에 있어서,
    상기 전역 통과 필터(802)는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 제3 슈뢰더 전역 통과 필터(403)에 중첩된 2개의 슈뢰더 전역 통과 필터(401, 402)를 포함하거나; 또는
    상기 전역 통과 필터는 적어도 하나의 전역 통과 필터 셀(403)을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 2개의 층계형 슈뢰더 전역 통과 필터(401, 402)를 포함하고, 제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지(423) 전에 신호 흐름의 방향으로 연결되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  8. 청구항 5 내지 청구항 7 중 어느 한 항에 있어서,
    상기 전역 통과 필터는, 제1 가산기(411), 제2 가산기(412), 제3 가산기(413), 제4 가산기(414), 제5 가산기(415), 및 제6 가산기(416);
    제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423);
    제1 순방향 이득을 갖는 제1 순방향 피드(431), 제1 역방향 이득을 갖는 제1 역방향 피드(441);
    제2 순방향 이득을 갖는 제2 순방향 피드(442) 및 제2 역방향 이득을 갖는 제2 역방향 피드(432); 및
    제3 순방향 이득을 갖는 제3 순방향 피드(443) 및 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  9. 청구항 8에 있어서,
    상기 제1 가산기(411)로의 입력이 상기 전역 통과 필터(802)로의 입력을 나타내고, 상기 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하고,
    상기 제1 가산기(411)의 출력이 상기 제2 가산기(412)로의 입력에 연결되며, 제3 순방향 이득을 갖는 상기 제3 순방향 피드를 통해 제6 가산기의 입력에 연결되고,
    상기 제2 가산기(412)로의 추가 입력이 제1 역방향 이득을 갖는 상기 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결되고,
    상기 제2 가산기(412)의 출력이 상기 제1 지연 스테이지(421)의 입력에 연결되며, 제1 순방향 이득을 갖는 상기 제1 순방향 피드(431)를 통해 상기 제3 가산기(413)의 입력에 연결되고,
    상기 제1 지연 스테이지(421)의 출력이 상기 제3 가산기(413)의 추가 입력에 연결되고,
    상기 제3 가산기(413)의 출력이 상기 제4 가산기(414)의 입력에 연결되고,
    상기 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 상기 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결되고,
    상기 제4 가산기(414)의 출력이 상기 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 상기 제2 순방향 피드(442)를 통해 제5 가산기(415)로의 입력에 연결되고,
    상기 제2 지연 스테이지(421)의 출력이 상기 제5 가산기(415)로의 추가 입력에 연결되고,
    상기 제5 가산기(415)의 출력이 상기 제3 지연 스테이지(423)의 입력에 연결되고,
    상기 제3 지연 스테이지(423)의 출력이 상기 제6 가산기(416)로의 입력에 연결되고,
    상기 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 상기 제3 순방향 피드(443)를 통해 상기 제1 가산기(411)의 출력에 연결되고,
    상기 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타내는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  10. 청구항 7 내지 청구항 9 중 어느 한 항에 있어서,
    상기 전역 통과 필터(802)는 둘 이상의 전역 통과 필터 셀(401, 402, 403, 502, 504, 506, 508, 510)을 포함하고, 상기 전역 통과 필터 셀들의 지연의 지연 값들은 서로 소수(prime)인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  11. 청구항 5 내지 청구항 10 중 어느 한 항에 있어서,
    슈뢰더 전역 통과 필터의 순방향 이득과 역방향 이득은 해당 순방향 이득 및 해당 역방향 이득의 더 큰 이득 값의 10% 미만으로 서로 같거나 다른 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  12. 청구항 5 내지 청구항 11 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는 둘 이상의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀들 중 하나는 두 개의 양의 이득(positive gain)과 하나의 음의 이득(negative gain)을 가지며, 상기 전역 통과 필터 셀들 중 다른 것은 하나의 양의 이득과 두 개의 음의 이득을 가지는, 인코딩된 다채널 신호를 디코딩하는 장치.
  13. 청구항 5 내지 청구항 12 중 어느 한 항에 있어서,
    제1 지연 스테이지(421)의 지연 값이 제2 지연 스테이지(422)의 지연 값보다 낮고, 상기 제2 지연 스테이지(422)의 지연 값이 세 개의 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀의 제3 지연 스테이지(423)의 지연 값보다 낮고,
    제1 지연 스테이지(421)의 지연 값과 제2 지연 스테이지(422)의 지연 값의 합이 세 개의 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀(502, 504, 506, 508, 510)의 제3 지연 스테이지(423)의 지연 값보다 작은 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  14. 청구항 5 내지 청구항 13 중 어느 한 항에 있어서,
    상기 전역 통과 필터(802)는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀(502, 504, 506, 508, 510)을 포함하고, 상기 캐스케이드에서의 나중의 전역 통과 필터의 최소 지연 값이 상기 캐스케이드에서의 초기의 전역 통과 필터 셀의 최고 또는 두 번째 최고 지연 값보다 작은 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  15. 청구항 5 내지 청구항 14 중 어느 한 항에 있어서,
    상기 전역 통과 필터는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀(502, 504, 506, 508, 510)을 포함하고,
    각 전역 통과 필터 셀(502, 504, 506, 508, 510)은 제1 순방향 이득 또는 제1 역방향 이득, 제2 순방향 이득 또는 제2 역방향 이득, 및 제3 순방향 이득 또는 제3 역방향 이득, 제1 지연 스테이지, 제2 지연 스테이지, 및 제3 지연 스테이지를 가지며,
    상기 이득들 및 상기 지연들의 값은 다음 표에 표시된 값의 ±20%의 공차 범위 내에서 설정되고,
    Figure pct00065

    여기서, B1(z)는 캐스케이드 내의 제1 전역 통과 필터 셀(502)이고,
    B2(z)는 캐스케이드 내의 제2 전역 통과 필터 셀(504)이고,
    B3(z)는 캐스케이드 내의 제3 전역 통과 필터 셀(506)이고,
    B4(z)는 캐스케이드 내의 제4 전역 통과 필터 셀(508)이고,
    B5(z)는 캐스케이드 내의 제5 전역 통과 필터 셀(510)이고,
    상기 캐스케이드는 B1 내지 B5로 구성된 전역 통과 필터 셀들의 그룹 중 제1 전역 통과 필터 셀(B1)과 제2 전역 통과 필터 셀(B2)만을 또는 임의의 다른 두 개의 전역 통과 필터 셀만을 포함하거나, 또는
    상기 캐스케이드는 5개의 전역 통과 필터 셀들(B1 내지 B5)의 그룹에서 선택된 3개의 전역 통과 필터 셀을 포함하거나, 또는
    상기 캐스케이드는 B1 내지 B5로 구성되는 전역 통과 필터 셀들의 그룹에서 선택된 4개의 전역 통과 필터 셀을 포함하거나, 또는
    상기 캐스케이드는 5개의 전역 통과 필터 셀(B1 내지 B5) 모두를 포함하고,
    g1은 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제1 지연 스테이지의 지연을 나타내고, d2는 전역 통과 필터 셀의 제2 지연 스테이지의 지연을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지의 지연을 나타내거나, 또는
    g1은 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제2 지연 스테이지의 지연을 나타내고, d2는 전역 통과 필터 셀의 제1 지연 스테이지의 지연을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지의 지연을 나타내는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  16. 청구항 1 내지 청구항 15 중 어느 한 항에 있어서,
    상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정하도록(946) 구성되고,
    상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 대응하는 스펙트럼 대역을 사용하여 계산된, 예측 인자 및/또는 이득 인자 및/또는 포락선(envelope) 또는 에너지 정규화 인자(energy normalization factor)에 따라 달라지는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  17. 청구항 16에 있어서,
    상기 다채널 프로세서는 상기 에너지 정규화 인자를 압축하고(945) 압축된 에너지 정규화 인자를 사용하여 상이한 가중치 조합들을 계산하도록 구성되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  18. 청구항 17에 있어서,
    상기 에너지 정규화 인자는, 에너지 정규화 인자의 로그를 계산하는 것(921);
    상기 로그를 비선형 함수에 적용하는 것(922); 및
    상기 비선형 함수의 결과의 지수화 결과를 계산하는 것(923)을 이용하여 압축되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  19. 청구항 18에 있어서,
    상기 비선형 함수는
    Figure pct00066
    에 기초하여 정의되고,
    상기 함수 c는
    Figure pct00067
    에 기초하고,
    t는 실수이고 T는 적분 변수인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  20. 청구항 16 또는 청구항 18에 있어서,
    상기 다채널 프로세서(900, 924, 925)는 상기 에너지 정규화 인자를 압축하고(921) 압축된 에너지 정규화 인자와 비선형 함수를 사용하여 상이한 가중치 조합들을 계산하도록 구성되고,
    상기 비선형 함수는
    Figure pct00068
    에 기초하여 정의되고,
    α는 미리 결정된 경계 값이고 t는 -α와 +α 사이의 값인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  21. 청구항 1 내지 청구항 20 중 어느 한 항에 있어서,
    상기 다채널 프로세서(900)는 저대역 제1 업믹스 채널 및 저대역 제2 업믹스 채널을 계산하도록(904) 구성되고,
    상기 인코딩된 다채널 신호를 디코딩하는 장치는 상기 저대역 제1 업믹스 채널 및 상기 저대역 제2 업 믹스 채널, 또는 저대역 기본 채널을 확장하는 시간 영역 대역폭 확장기(960)를 더 포함하고,
    상기 다채널 프로세서(904)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정하도록(946) 구성되고, 상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 스펙트럼 대역을 사용하여 계산된(945) 에너지 정규화 인자에 따라 달라지며,
    상기 에너지 정규화 인자는 윈도우된(windowed) 고대역 신호의 에너지로부터 도출된(961) 에너지 추정치를 사용하여 계산되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  22. 청구항 21에 있어서,
    상기 시간 영역 대역폭 확장기(960)는 상기 에너지 정규화 인수 계산에 사용되는 윈도잉 조작(windowing operation) 없이 고대역 신호를 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  23. 청구항 1 내지 청구항 22 중 어느 한 항에 있어서,
    상기 기본 채널 디코더(700, 705)는 디코딩된 주 기본 채널 및 디코딩된 부 기본 채널을 제공하도록 구성되고,
    상기 역상관 필터(800)는 충전 신호를 얻기 위해 상기 디코딩된 주 기본 채널을 필터링하도록 구성되고,
    상기 다채널 프로세서(900)는 충전 신호를 사용하여 다채널 프로세싱에서 하나 이상의 잔차 부분을 합성함으로써 다채널 프로세싱을 수행하도록 구성되거나, 또는
    쉐이핑 필터(930)가 상기 충전 신호에 적용되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  24. 청구항 23에 있어서,
    상기 주 기본 채널과 상기 부 기본 채널은 원래 입력 채널들의 변환 결과이고, 상기 변환은 예를 들어 중앙/측부 변환 또는 카루넨 뢰브(Karhunen Loeve, KL) 변환이고, 상기 디코딩된 부 기본 채널은 더 작은 대역폭으로 제한되고,
    상기 다채널 프로세서는 충전 신호를 고역 통과 필터링하도록(930) 구성되며 또한 고역 통과 필터링된 충전 신호를 대역폭 제한 디코딩된 부 기본 채널에 포함되지 않은 대역폭에 대한 부 채널로서 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  25. 청구항 1 내지 청구항 24 중 어느 한 항에 있어서,
    상기 다채널 프로세서(900)는 상이한 스테레오 프로세싱 방법들(904a, 904b, 904c)을 수행하도록 구성되고,
    상기 다채널 프로세서(900)는, 추가로, 상이한 다채널 프로세싱 방법들을 동시에, 예를 들어 대역폭에 의해 분리된 상태에서 수행하거나 또는 배타적으로, 예를 들어 주파수 영역 대 시간 영역 프로세싱으로 수행하도록 구성되며 그리고 전환 결정에 연결되고,
    상기 다채널 프로세서(900)는 모든 다채널 프로세싱 방법들(904a, 904b, 904c)에서 동일한 충전 신호를 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  26. 청구항 1 내지 청구항 25 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는 20 ms 내지 40 ms의 시간 영역 필터 임펄스 응답의 최적 피크 영역을 갖는 시간 영역 필터(802)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  27. 청구항 1 내지 청구항 26 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는 디코딩된 기본 채널을 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트로 재샘플링하도록(811, 812) 구성되고,
    상기 역상관 필터(800)는 역상관 필터(802) 스테이지를 사용하여 재샘플링된 디코딩된 기본 채널을 필터링하도록 구성되고,
    상기 다채널 프로세서(900)가, 상이한 시간 부분들에 대한 디코딩된 기본 채널의 상이한 샘플링 레이트에 상관없이 동일한 샘플링 레이트에 기초하는 디코딩된 기본 채널의 스펙트럼 표현 및 충전 신호의 스펙트럼 표현을 사용하여, 작동하도록, 상기 다채널 프로세서(900)는 추가 시간 부분에 대한 디코딩된 기본 채널을 동일한 샘플링 레이트로 변환하도록(710) 구성되거나, 또는
    상기 인코딩된 다채널 신호를 디코딩하는 장치가, 주파수 영역으로 변환하기 전 또는 변환할 때(804, 702) 또는 주파수 영역으로의 변환(804, 702)에 후속해서 재샘플링을 수행하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  28. 청구항 1 내지 청구항 27 중 어느 한 항에 있어서,
    인코딩 또는 디코딩된 기본 채널에서 과도(transient)를 찾기 위한 과도 감지기(transient detector)를 더 포함하고,
    상기 역상관 필터(800)는 과도 감지기가 과도 신호 샘플을 발견한 소정의 시간 부분에서 잡음 또는 제로 값(816)을 역상관 필터 스테이지(802)에 공급하도록 구성되고, 상기 역상관 필터(800)는 과도 감지기가 인코딩 또는 디코딩된 기본 채널에서 과도를 발견하지 못한 또 다른 시간 부분에서 디코딩된 기본 채널의 샘플을 역상관 필터 스테이지(802)에 공급하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  29. 청구항 1 내지 청구항 28 중 어느 한 항에 있어서,
    상기 기본 채널 디코더(700)는
    디코딩된 채널의 제1 부분을 생성하기 위해 저대역 디코더(721) 및 대역폭 확장 디코더(720)를 포함하는 제1 디코딩 브랜치;
    디코딩된 기본 채널의 제2 부분을 생성하기 위해 전체 대역 디코더를 갖는 제2 디코딩 브랜치(722); 및
    인코딩된 기본 채널의 일부를 제어 신호에 따라 제1 디코딩 브랜치 또는 제2 디코딩 브랜치로 공급하는 제어기(713)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  30. 청구항 1 내지 청구항 29 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는, 제1 부분을 미리 결정된 샘플링 레이트로 재샘플링하기 위한 제1 재샘플링기(810, 811);
    제2 부분을 미리 결정된 샘플링 레이트로 재샘플링하기 위한 제2 재샘플링기(812);
    충전 신호를 얻기 위해 전역 통과 필터 입력 신호를 전역 통과 필터링하는 전역 통과 필터 유닛(802); 및
    재샘플링된 제1 부분 또는 재샘플링된 제2 부분을 전역 통과 필터 유닛(802)으로 공급하기 위한 제어기(815)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  31. 청구항 30에 있어서,
    상기 제어기(815)는 제어 신호에 응답하여, 재샘플링된 제1 부분 또는 재샘플링된 제2 부분 또는 제로 데이터(816)를 전역 통과 필터 유닛으로 공급하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  32. 청구항 1 내지 청구항 31 중 어느 한 항에 있어서,
    상기 역상관 필터(800)는 충전 신호를 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 포함하는 스펙트럼 표현으로 변환하는 시간-스펙트럼 변환기(804)를 포함하고,
    상기 다채널 프로세서(900)는 디코딩된 기본 채널을 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 사용하는 스펙트럼 표현으로 변환하는 시간-스펙트럼 변환기(902)를 포함하고,
    상기 다채널 프로세서(904)는 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 제1 해상도를 갖는 스펙트럼 라인들을, 특정 스펙트럼 라인에 대해 충전 신호의 스펙트럼 라인, 디코딩된 기본 채널의 스펙트럼 라인, 및 하나 이상의 파라미터를 사용하여, 생성하도록 구성되고,
    상기 하나 이상의 파라미터는 이와 연관된, 상기 제1 스펙트럼 해상도보다 낮은 제2 스펙트럼 해상도를 가지며,
    상기 하나 이상의 파라미터는 스펙트럼 라인들의 그룹을 생성하는 데 사용되며, 상기 스펙트럼 라인들의 그룹은 특정 스펙트럼 라인과, 적어도 하나의 주파수 인접 스펙트럼 라인을 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  33. 청구항 1 내지 청구항 32 중 어느 한 항에 있어서,
    상기 다채널 프로세서는 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 스펙트럼 라인을 생성하되,
    하나 이상의 전송된 파라미터에 의존하는 위상 회전 인자(941a, 941b, phase rotation factor);
    디코딩된 기본 채널의 스펙트럼 라인;
    디코딩된 기본 채널의 스펙트럼 라인에 대한 제1 가중치(942a, 942b)로서, 전송된 파라미터에 의존하는 제1 가중치;
    충전 신호의 스펙트럼 라인;
    충전 신호의 스펙트럼 라인에 대한 제2 가중치(943a, 943b)로서, 전송된 파라미터에 의존하는 제2 가중치; 및
    에너지 표준화 인자(945)를 사용하여 생성하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  34. 청구항 33에 있어서,
    상기 제2 업믹스 채널을 계산함에 있어서, 상기 제2 가중치의 부호가 상기 제1 업믹스 채널을 계산하는 데 사용되는 상기 제2 가중치의 부호와 다르거나, 또는
    상기 제2 업믹스 채널을 계산함에 있어서, 상기 위상 회전 인자가 상기 제1 업믹스 채널을 계산하는 데 사용되는 위상 회전 계수와 다르거나, 또는
    상기 제2 업믹스 채널을 계산함에 있어서, 상기 제1 가중치는 상기 제1 업믹스 채널을 계산하는 데 사용되는 상기 제1 가중치와 다른 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  35. 청구항 1 내지 청구항 34 중 어느 한 항에 있어서,
    상기 기본 채널 디코더는 제1 대역폭을 갖는 디코딩된 기본 채널이 얻어지도록 구성되고,
    상기 다채널 프로세서(900)는 제1 업믹스 채널 및 제2 업믹스 채널의 스펙트럼 표현을 생성하도록 구성되고, 상기 스펙트럼 표현은 제1 대역폭과, 주파수에 대하여 상기 제1 대역폭을 초과한 대역을 포함하는 추가의 제 2 대역폭을 가지며, 상기 제1 대역폭은 상기 디코딩된 기본 채널과 상기 충전 신호를 사용하여 생성되고,
    상기 제2 대역폭은 상기 디코딩된 기본 채널 없이 상기 충전 신호를 사용하여 생성되고,
    상기 다채널 프로세서는 상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널을 시간 영역 표현으로 변환하도록 구성되고,
    상기 다채널 프로세서는 상기 제1 업믹스 신호 또는 상기 제2 업믹스 신호 또는 상기 기본 채널에 대한 시간 영역 확장 신호를 생성하는 시간 영역 대역폭 확장 프로세서(960), 상기 시간 영역 확장 신호는 상기 제2 대역폭을 포함하고;
    광대역 업믹스 채널이 얻어지도록 시간 영역 확장 신호와 제1 또는 제2 업믹스 채널의 시간 표현 또는 기본 채널의 시간 표현을 결합시키는 결합기(994a, 994b)를 추가로 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  36. 청구항 35에 있어서,
    상기 다채널 프로세서(900)는 상기 제2 대역폭에서 상기 제1 또는 제2 업믹스 채널을 계산하는 데 사용되는 에너지 정규화 인수를 계산하되,
    상기 제1 대역폭에 있어서의 디코딩된 기본 채널의 에너지를 사용하고,
    상기 제1 채널 또는 상기 제2 채널 또는 대역폭 확장 다운믹스 신호에 대한 윈도잉된 버전의 시간 확장 신호의 에너지를 사용하고,
    상기 제2 대역폭에 있어서의 충전 신호의 에너지를 사용하여 계산하도록(945) 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
  37. 인코딩된 다채널 신호를 디코딩하는 방법으로서,
    디코딩된 기본 채널을 얻기 위해 인코딩된 기본 채널을 디코딩(700)하는 단계;
    충전 신호를 얻기 위해 디코딩된 기본 채널의 적어도 일부를 역상관 필터링(800)하는 단계; 및
    디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱(900)을 수행하는 단계를 포함하고,
    상기 역상관 필터링(800)은 광대역 필터링이고, 상기 다채널 프로세싱(900)은 상기 디코딩된 기본 채널의 스펙트럼 표현과 상기 충전 신호의 스펙트럼 표현에 협대역 프로세싱을 적용하는 것을 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 방법.
  38. 컴퓨터 또는 프로세서에서 실행될 때 청구항 37의 방법을 수행하는 컴퓨터 프로그램.
  39. 역상관된 신호(decorrelated signal)를 얻기 위해 오디오 입력 신호를 역상관시키는 오디오 신호 역상관기(800, audio signal decorrelator)로서,
    적어도 하나의 전역 통과 필터 셀을 포함하는 전역 통과 필터(802)를 포함하고, 전역 통과 필터 셀은 제3 슈뢰더 전역 통과 필터(403)에 중첩된 2개의 슈뢰더 전역 통과 필터(401, 402)를 포함하거나, 또는
    상기 전역 통과 필터는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀은 2개의 층계형 슈뢰더 전역 통과 필터(401, 402)를 포함하고, 제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터(403)의 지연 스테이지(423) 전에 신호 흐름의 방향으로 연결되는 것을 특징으로 하는 오디오 신호 역상관기.
  40. 청구항 39에 있어서,
    상기 적어도 하나의 슈뢰더 전역 통과 필터는, 제1 가산기(411), 지연 스테이지, 제2 가산기(412), 순방향 이득을 갖는 순방향 피드, 및 역방향 이득을 갖는 역방향 피드를 구비하는 것을 특징으로 하는 오디오 신호 역상관기.
  41. 청구항 39 내지 청구항 40 중 어느 한 항에 있어서,
    상기 전역 통과 필터는, 제1 가산기(411), 제2 가산기(412), 제3 가산기(413), 제4 가산기(414), 제5 가산기(415), 및 제6 가산기(416);
    제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423); 제1 순방향 이득을 갖는 제1 순방향 피드(431), 제1 역방향 이득을 갖는 제1 역방향 피드(441);
    제2 순방향 이득을 갖는 제2 순방향 피드(442) 및 제2 역방향 이득을 갖는 제2 역방향 피드(432); 및
    제3 순방향 이득을 갖는 제3 순방향 피드(443) 및 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하는 것을 특징으로 하는 오디오 신호 역상관기.
  42. 청구항 41에 있어서,
    상기 제1 가산기(411)로의 입력이 상기 전역 통과 필터로의 입력을 나타내고, 상기 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하고,
    상기 제1 가산기(411)의 출력이 상기 제2 가산기(412)의 입력에 연결되며, 제3 순방향 이득(433)을 갖는 상기 제3 순방향 피드(443)를 통해 제6 가산기(416)의 입력에 연결되고,
    상기 제2 가산기(412)로의 추가 입력이 제1 역방향 이득을 갖는 상기 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결되고,
    상기 제2 가산기(412)의 출력이 상기 제1 지연 스테이지(421)의 입력에 연결되며, 제1 순방향 이득을 갖는 상기 제1 순방향 피드(431)를 통해 상기 제3 가산기(413)의 입력에 연결되고,
    상기 제1 지연 스테이지(421)의 출력이 상기 제3 가산기(413)의 추가 입력에 연결되고,
    상기 제3 가산기(413)의 출력이 상기 제4 가산기(414)의 입력에 연결되고,
    상기 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 상기 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결되고,
    상기 제4 가산기(414)의 출력이 상기 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 상기 제2 순방향 피드를 통해 제5 가산기(415)로의 입력에 연결되고,
    상기 제2 지연 스테이지(422)의 출력이 상기 제5 가산기(415)로의 추가 입력에 연결되고,
    상기 제5 가산기(415)의 출력이 상기 제3 지연 스테이지(423)의 입력에 연결되고,
    상기 제3 지연 스테이지(423)의 출력이 상기 제6 가산기(416)로의 입력에 연결되고,
    상기 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 상기 제3 순방향 피드(443)를 통해 상기 제1 가산기(411)의 출력에 연결되고,
    상기 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타내는 것을 특징으로 하는 오디오 신호 역상관기.
  43. 청구항 39 내지 청구항 42 중 어느 한 항에 있어서,
    상기 전역 통과 필터(802)는 둘 이상의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 들의 지연의 지연 값들은 서로 소수(prime)인 것을 특징으로 하는 오디오 신호 역상관기.
  44. 청구항 39 내지 청구항 43 중 어느 한 항에 있어서,
    슈뢰더 전역 통과 필터의 순방향 이득과 역방향 이득은 해당 순방향 이득 및 해당 역방향 이득의 더 큰 이득 값의 10% 미만으로 서로 같거나 다른 것을 특징으로 하는 오디오 신호 역상관기.
  45. 청구항 39 내지 청구항 44 중 어느 한 항에 있어서,
    역상관 필터는 둘 이상의 전역 통과 필터 셀을 포함하고,
    상기 전역 통과 필터 셀들 중 하나는 두 개의 양의 이득과 하나의 음의 이득을 가지며, 상기 전역 통과 필터 셀들 중 다른 것은 하나의 양의 이득과 두 개의 음의 이득을 가지는 것을 특징으로 하는 오디오 신호 역상관기.
  46. 청구항 39 내지 청구항 45 중 어느 한 항에 있어서,
    제1 지연 스테이지(421)의 지연 값이 제2 지연 스테이지(422)의 지연 값보다 낮고, 상기 제2 지연 스테이지(422)의 지연 값이 세 개의 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀의 제3 지연 스테이지(423)의 지연 값보다 낮고,
    제1 지연 스테이지(421)의 지연 값과 제2 지연 스테이지(422)의 지연 값의 합이 세 개의 슈뢰더 전역 통과 필터(401, 402, 403)를 포함하는 전역 통과 필터 셀의 제3 지연 스테이지(423)의 지연 값보다 작은 것을 특징으로 하는 오디오 신호 역상관기.
  47. 청구항 39 내지 청구항 46 중 어느 한 항에 있어서,
    상기 전역 통과 필터(802)는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀을 포함하고, 상기 캐스케이드에서의 나중의 전역 통과 필터(802)의 최소 지연 값이 상기 캐스케이드에서의 초기의 전역 통과 필터 셀의 최고 또는 두 번째 최고 지연 값보다 작은 것을 특징으로 하는 오디오 신호 역상관기.
  48. 청구항 39 내지 청구항 47 중 어느 한 항에 있어서,
    상기 전역 통과 필터(802)는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀을 포함하고,
    각 전역 통과 필터 셀(802)은 제1 순방향 이득 또는 제1 역방향 이득, 제2 순방향 이득 또는 제2 역방향 이득, 및 제3 순방향 이득 또는 제3 역방향 이득, 제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423)를 가지며,
    상기 이득들 및 상기 지연들의 값은 다음 표에 표시된 값의 ±20%의 공차 범위 내에서 설정되고,
    Figure pct00069

    여기서, B1(z)는 캐스케이드 내의 제1 전역 통과 필터 셀이고,
    B2(z)는 캐스케이드 내의 제2 전역 통과 필터 셀이고,
    B3(z)는 캐스케이드 내의 제3 전역 통과 필터 셀이고,
    B4(z)는 캐스케이드 내의 제4 전역 통과 필터 셀이고,
    B5(z)는 캐스케이드 내의 제5 전역 통과 필터 셀이고,
    상기 캐스케이드는 B1 내지 B5로 구성된 전역 통과 필터 셀들의 그룹 중 제1 전역 통과 필터 셀(B1)과 제2 전역 통과 필터 셀(B2)만을 또는 임의의 다른 두 개의 전역 통과 필터 셀만을 포함하거나, 또는
    상기 캐스케이드는 5 개의 전역 통과 필터 셀들(B1 내지 B5)의 그룹에서 선택된 3개의 전역 통과 필터 셀을 포함하거나, 또는
    상기 캐스케이드는 B1 내지 B5로 구성되는 전역 통과 필터 셀들의 그룹에서 선택된 4개의 전역 통과 필터 셀을 포함하거나, 또는
    상기 캐스케이드는 5개의 전역 통과 필터 셀(B1 내지 B5) 모두를 포함하고,
    g1은 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제1 지연 스테이지(421)의 지연을 나타내고, d2는 전역 통과 필터 셀의 제2 지연 스테이지의 지연(422)을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지의 지연(423)을 나타내거나, 또는
    g1은 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제2 지연 스테이지(422)의 지연을 나타내고, d2는 전역 통과 필터 셀의 제1 지연 스테이지(421)의 지연을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지(423)의 지연을 나타내는 것을 특징으로 하는 오디오 신호 역상관기.
  49. 역상관된 신호를 얻기 위해 오디오 입력 신호를 역상관시키는 방법으로서,
    제3 슈뢰더 전역 통과 필터에 중첩된 2개의 슈뢰더 전역 통과 필터를 포함하는 적어도 하나의 전역 통과 필터 셀을 사용한 전역 통과 필터링을 포함하거나, 또는 2개의 층계형(cascaded) 슈뢰더 전역 통과 필터를 포함하는 적어도 하나의 전역 통과 필터 셀을 사용하는 단계를 포함하고,
    제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지 전에 신호 흐름의 방향으로 연결되는 것을 특징으로 하는 오디오 입력 신호를 역상관시키는 방법.
  50. 컴퓨터 또는 프로세서에서 실행될 때 청구항 49의 방법을 수행하는 컴퓨터 프로그램.
KR1020207002678A 2017-07-28 2018-07-26 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 Active KR102392804B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17183841.0 2017-07-28
EP17183841 2017-07-28
PCT/EP2018/070326 WO2019020757A2 (en) 2017-07-28 2018-07-26 APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER

Publications (2)

Publication Number Publication Date
KR20200041312A true KR20200041312A (ko) 2020-04-21
KR102392804B1 KR102392804B1 (ko) 2022-04-29

Family

ID=59655866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002678A Active KR102392804B1 (ko) 2017-07-28 2018-07-26 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치

Country Status (15)

Country Link
US (3) US11341975B2 (ko)
EP (3) EP4531438A3 (ko)
JP (5) JP7161233B2 (ko)
KR (1) KR102392804B1 (ko)
CN (4) CN110998721B (ko)
AR (1) AR112582A1 (ko)
AU (2) AU2018308668A1 (ko)
BR (1) BR112020001660A2 (ko)
CA (4) CA3258752A1 (ko)
ES (2) ES3031961T3 (ko)
PL (2) PL3659140T3 (ko)
RU (1) RU2741379C1 (ko)
SG (1) SG11202000510VA (ko)
TW (2) TWI697894B (ko)
WO (1) WO2019020757A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7008716B2 (ja) * 2016-11-08 2022-01-25 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法
CN110998721B (zh) * 2017-07-28 2024-04-26 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
EP3928315A4 (en) * 2019-03-14 2022-11-30 Boomcloud 360, Inc. SPATIALLY AWARENESS MULTI-BAND COMPRESSION SYSTEM WITH PRIORITY
WO2021252748A1 (en) 2020-06-11 2021-12-16 Dolby Laboratories Licensing Corporation Encoding of multi-channel audio signals comprising downmixing of a primary and two or more scaled non-primary input channels
JPWO2022050087A1 (ko) * 2020-09-03 2022-03-10
AU2021357364B2 (en) * 2020-10-09 2024-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a parameter smoothing
CN116457878A (zh) * 2020-10-09 2023-07-18 弗劳恩霍夫应用研究促进协会 使用带宽扩展来处理编码音频场景的装置、方法或计算机程序
MX2023003965A (es) * 2020-10-09 2023-05-25 Fraunhofer Ges Forschung Aparato, metodo, o programa de computadora para procesar una escena de audio codificada utilizando una extension de ancho de banda.
AU2021358432B2 (en) * 2020-10-09 2024-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a parameter conversion
CA3211264A1 (en) * 2021-03-11 2022-09-15 Sascha Disch Audio decorrelator, processing system and method for decorrelating an audio signal
KR20250052461A (ko) 2021-07-08 2025-04-18 붐클라우드 360 인코포레이티드 올패스 필터 네트워크를 사용한 고도 지각적 큐의 무색 생성

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009045649A1 (en) 2007-08-20 2009-04-09 Neural Audio Corporation Phase decorrelation for audio processing
EP3046339A1 (en) 2013-10-24 2016-07-20 Huawei Technologies Co., Ltd. Virtual stereo synthesis method and device
KR20160099531A (ko) * 2013-10-21 2016-08-22 돌비 인터네셔널 에이비 오디오 신호들의 파라메트릭 재구성
AU2015201672B2 (en) 2010-08-25 2016-12-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for generating a decorrelated signal using transmitted phase information
KR20170039245A (ko) * 2014-07-28 2017-04-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 전체 대역 갭 채움을 이용하는 주파수 도메인 프로세서와 시간 도메인 프로세서를 사용하는 오디오 인코더 및 디코더
KR20170039699A (ko) * 2014-07-28 2017-04-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 연속 초기화를 위해 주파수 도메인 프로세서, 시간 도메인 프로세서 및 크로스 프로세서를 사용하는 오디오 인코더 및 디코더

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111958A (en) 1997-03-21 2000-08-29 Euphonics, Incorporated Audio spatial enhancement apparatus and methods
US6928168B2 (en) * 2001-01-19 2005-08-09 Nokia Corporation Transparent stereo widening algorithm for loudspeakers
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7933415B2 (en) 2002-04-22 2011-04-26 Koninklijke Philips Electronics N.V. Signal synthesizing
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
ATE390683T1 (de) 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
CA2572805C (en) * 2004-07-02 2013-08-13 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
TWI393121B (zh) * 2004-08-25 2013-04-11 杜比實驗室特許公司 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
CN101253556B (zh) * 2005-09-02 2011-06-22 松下电器产业株式会社 能量整形装置以及能量整形方法
DE102006017280A1 (de) * 2006-04-12 2007-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals
US20090052676A1 (en) 2007-08-20 2009-02-26 Reams Robert W Phase decorrelation for audio processing
US20100040243A1 (en) 2008-08-14 2010-02-18 Johnston James D Sound Field Widening and Phase Decorrelation System and Method
WO2009141775A1 (en) * 2008-05-23 2009-11-26 Koninklijke Philips Electronics N.V. A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
JP5711555B2 (ja) 2010-02-15 2015-05-07 クラリオン株式会社 音像定位制御装置
EP4645307B1 (en) * 2010-08-25 2026-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for encoding an audio signal having a plurality of channels
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
SG194199A1 (en) 2011-03-18 2013-12-30 Fraunhofer Ges Forschung Frame element positioning in frames of a bitstream representing audio content
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830336A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Renderer controlled spatial upmix
TWI579831B (zh) 2013-09-12 2017-04-21 杜比國際公司 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統
CN110998721B (zh) 2017-07-28 2024-04-26 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009045649A1 (en) 2007-08-20 2009-04-09 Neural Audio Corporation Phase decorrelation for audio processing
AU2015201672B2 (en) 2010-08-25 2016-12-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for generating a decorrelated signal using transmitted phase information
KR20160099531A (ko) * 2013-10-21 2016-08-22 돌비 인터네셔널 에이비 오디오 신호들의 파라메트릭 재구성
EP3046339A1 (en) 2013-10-24 2016-07-20 Huawei Technologies Co., Ltd. Virtual stereo synthesis method and device
KR20170039245A (ko) * 2014-07-28 2017-04-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 전체 대역 갭 채움을 이용하는 주파수 도메인 프로세서와 시간 도메인 프로세서를 사용하는 오디오 인코더 및 디코더
KR20170039699A (ko) * 2014-07-28 2017-04-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 연속 초기화를 위해 주파수 도메인 프로세서, 시간 도메인 프로세서 및 크로스 프로세서를 사용하는 오디오 인코더 및 디코더

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SCHROEDER M R : "NATURLA SOUNDING ARTIFICIAL REVERBERATION" (1962. 11. 1. 공개)
SCHROEDER, Manfred R. Natural sounding artificial reverberation. Audio Engineering Society Convention 13. 1961.* *
SCHUIFERS ERIK ET AL : "LOW COMPLEXITY PARAMETRIC STEREO CODING" (2004. 5. 1. 공개)
SCHUIJERS, Erik, et al. Low complexity parametric stereo coding. Audio Engineering Society Convention 116. 2004.* *

Also Published As

Publication number Publication date
CN117854515A (zh) 2024-04-09
JP2022180652A (ja) 2022-12-06
ES3031961T3 (en) 2025-07-14
TWI695370B (zh) 2020-06-01
CN110998721A (zh) 2020-04-10
CN117612542A (zh) 2024-02-27
SG11202000510VA (en) 2020-02-27
EP4243453C0 (en) 2025-05-07
JP2024023572A (ja) 2024-02-21
JP7826271B2 (ja) 2026-03-09
EP3659140C0 (en) 2023-09-20
WO2019020757A2 (en) 2019-01-31
CA3071208A1 (en) 2019-01-31
JP2024023574A (ja) 2024-02-21
RU2741379C1 (ru) 2021-01-25
EP4243453A2 (en) 2023-09-13
US11341975B2 (en) 2022-05-24
WO2019020757A3 (en) 2019-03-07
EP3659140A2 (en) 2020-06-03
CA3258752A1 (en) 2025-10-30
AU2021221466A1 (en) 2021-09-16
US20230419976A1 (en) 2023-12-28
JP7161233B2 (ja) 2022-10-26
EP4531438A2 (en) 2025-04-02
PL3659140T3 (pl) 2024-03-11
TWI697894B (zh) 2020-07-01
US12367886B2 (en) 2025-07-22
EP4243453A3 (en) 2023-11-08
CN110998721B (zh) 2024-04-26
JP2020528580A (ja) 2020-09-24
JP7401625B2 (ja) 2023-12-19
ES2965741T3 (es) 2024-04-16
CN117690442A (zh) 2024-03-12
EP4243453B1 (en) 2025-05-07
US20220093113A1 (en) 2022-03-24
US20200152209A1 (en) 2020-05-14
AU2018308668A1 (en) 2020-02-06
BR112020001660A2 (pt) 2021-03-16
JP2024023573A (ja) 2024-02-21
KR102392804B1 (ko) 2022-04-29
PL4243453T3 (pl) 2025-09-08
AR112582A1 (es) 2019-11-13
US11790922B2 (en) 2023-10-17
CA3071208C (en) 2026-04-21
CA3258743A1 (en) 2025-10-30
TW202004735A (zh) 2020-01-16
EP3659140B1 (en) 2023-09-20
AU2021221466B2 (en) 2023-07-13
JP7804634B2 (ja) 2026-01-22
EP4531438A3 (en) 2025-04-16
TW201911294A (zh) 2019-03-16
CA3258756A1 (en) 2025-10-31

Similar Documents

Publication Publication Date Title
JP7401625B2 (ja) 広帯域フィルタによって生成される補充信号を使用して、エンコードされたマルチチャネル信号をエンコードまたはデコードするための装置
KR102230727B1 (ko) 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
CA3057366C (en) Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
RU2798024C1 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
RU2799737C2 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
RU2799400C2 (ru) Устройство обработки звуковых сигналов для кодирования стереофонического сигнала в сигнал битового потока и способ декодирования сигнала битового потока в стереофонический сигнал, осуществляемый с использованием устройства обработки звуковых сигналов
HK40019025A (en) Apparatus for encoding or decoding an encoded multichannel signal using a filling signal generated by a broad band filter
HK40019025B (en) Apparatus for encoding or decoding an encoded multichannel signal using a filling signal generated by a broad band filter
BR122024008232A2 (pt) Aparelho e método para decodificar um sinal multicanal codificado
BR122024008226A2 (pt) Aparelho e método para decodificar um sinal multicanal codificado

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5