KR101962000B1 - 고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소 - Google Patents

고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소 Download PDF

Info

Publication number
KR101962000B1
KR101962000B1 KR1020167036985A KR20167036985A KR101962000B1 KR 101962000 B1 KR101962000 B1 KR 101962000B1 KR 1020167036985 A KR1020167036985 A KR 1020167036985A KR 20167036985 A KR20167036985 A KR 20167036985A KR 101962000 B1 KR101962000 B1 KR 101962000B1
Authority
KR
South Korea
Prior art keywords
coefficients
audio
ambience
ambient
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020167036985A
Other languages
English (en)
Other versions
KR20170024584A (ko
Inventor
닐스 귄터 페터스
디판잔 센
마틴 제임스 모렐
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170024584A publication Critical patent/KR20170024584A/ko
Application granted granted Critical
Publication of KR101962000B1 publication Critical patent/KR101962000B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

일반적으로, 오디오 데이터의 압축 및 디코딩을 위한 기법들이 설명된다. 오디오 데이터를 압축하기 위한 예시의 디바이스는, 주변 앰비소닉 계수들에 역상관 변환을 적용하고 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 구성된 하나 이사의 프로세서들을 포함한다. 이 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되고, 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내며, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다.

Description

고차 앰비소닉 (HOA) 백그라운드 채널들 간의 상관의 감소{REDUCING CORRELATION BETWEEN HIGHER ORDER AMBISONIC (HOA) BACKGROUND CHANNELS}
본 출원은 "REDUCING CORRELATION BETWEEN HOA BACKGROUND CHANNELS" 라는 제목으로 2014년 7월 2일에 출원된 미국 가특허출원 번호 제 62/020,348 호; 및 "REDUCING CORRELATION BETWEEN HOA BACKGROUND CHANNELS" 라는 제목으로 2014년 10월 6일에 출원된 미국 가특허출원 번호 제 62/060,512 호의 우선권을 주장하며, 각각의 전체 내용들이 참조로써 본원에 포함된다.
본 개시물은 오디오 데이터 및, 보다 구체적으로는 고차 엠비소닉 오디오 데이터의 코딩에 관한 것이다.
고차 엠비소닉스 (higher-order ambisonics; HOA) 신호 (종종, 복수의 구면 조화 계수들 (spherical harmonic coefficients; SHC) 또는 다른 계층 엘리먼트들로 표현됨) 는 사운드필드의 3 차원 표현이다. HOA 또는 SHC 표현은, SHC 신호로부터 렌더링되는 멀티-채널 오디오 신호를 재생하는데 사용된 로컬 스피커 지오메트리와 독립적인 방식으로 사운드필드를 표현할 수도 있다. SHC 신호는 또한, SHC 신호가 널리 공지되고 많이 채택된 멀티-채널 포맷들, 예컨대 5.1 오디오 채널 포맷 또는 7.1 오디오 채널 포맷으로 렌더링될 수도 있기 때문에, 이전 버전과의 호환성 (backwards compatibility) 을 용이하게 할 수도 있다. SHC 표현은 따라서, 이전 버전과의 호환성을 또한 수용하는 더 좋은 사운드필드의 표현을 가능하게 할 수도 있다.
일반적으로, 고차 엠비소닉스 오디오 데이터의 코딩을 위한 기법들이 설명된다. 고차 엠비소닉스 오디오 데이터는 1 보다 큰 차수를 갖는 구면 조화 기저 함수에 대응하는 적어도 하나의 고차 엠비소닉 (HOA) 계수를 포함할 수도 있다. 고차 앰비소닉스 (HOA) 백그라운드 채널들 간의 상관을 감소시키기 위한 기법들이 설명된다.
일 양태에서, 방법은, 적어도 좌측 신호 및 우측 신호를 갖는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 단계로서, 주변 앰비소닉 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 상기 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 단계; 및 상기 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 스피커 피드 (feed) 를 생성하는 단계를 포함한다.
다른 양태에서, 방법은, 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 주변 앰비소닉 계수들에 역상관 변환을 적용하는 단계로서, 주변 HOA 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내는, 상기 주변 앰비소닉 계수들에 역상관 변환을 적용하는 단계를 포함하고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다.
다른 양태에서, 오디오 데이터를 압축하기 위한 디바이스는, 적어도 좌측 신호 및 우측 신호를 갖는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 것으로서, 주변 앰비소닉 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하며; 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 스피커 피드를 생성하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 오디오 데이터를 압축하기 위한 디바이스는, 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 주변 앰비소닉 계수들에 역상관 변환을 적용하도록 구성되고, 주변 HOA 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다.
다른 양태에서, 오디오 데이터를 압축하기 위한 디바이스는, 적어도 좌측 신호 및 우측 신호를 갖는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 수단으로서, 주변 앰비소닉 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 수단; 및 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 스피커 피드를 생성하는 수단을 포함한다.
다른 양태에서, 오디오 데이터를 압축하기 위한 디바이스는, 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 주변 앰비소닉 계수들에 역상관 변환을 적용하는 수단으로서, 주변 HOA 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들에 역상관 변환을 적용하는 수단; 및 주변 앰비소닉 계수들의 역상관된 표현을 저장하는 수단을 포함한다.
다른 양태에서, 컴퓨터 판독가능 저장 매체는 명령들로 인코딩되고, 이 명령들은 실행되는 경우, 오디오 압축 디바이스의 하나 이상의 프로세서들로 하여금, 적어도 좌측 신호 및 우측 신호를 갖는 주변 앰비소닉 계수들의 역상관된 표현을 획득하게 하는 것으로서, 주변 앰비소닉 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하게 하며; 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 스피커 피드를 생성하게 한다.
다른 양태에서, 컴퓨터 판독가능 저장 매체는 명령들로 인코딩되고, 이 명령들은 실행되는 경우, 오디오 압축 디바이스의 하나 이상의 프로세서들로 하여금, 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 주변 앰비소닉 계수들에 역상관 변환을 적용하는 것으로서, 주변 HOA 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되었고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내는, 상기 주변 앰비소닉 계수들에 역상관 변환을 적용하게 하고, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다.
본 기법들의 하나 이상의 양태들의 세부 사항들은 첨부도면 및 아래의 상세한 설명에서 기술된다. 본 기법들의 다른 특성들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구범위로부터 명백해질 것이다.
도 1 은 다양한 차수들 및 서브-차수들의 구면 조화 기저 함수들을 예시하는 다이어그램이다.
도 2 는 본 개시물에 설명된 기법들의 다양한 양태들을 수행할 수도 있는 시스템을 예시하는 다이어그램이다.
도 3 은 본 개시물에 설명된 기법들의 다양한 양태들을 수행할 수도 있는 도 2 의 예에 도시된 오디오 인코딩 디바이스의 일 예를, 더 상세히 예시하는 블록도이다.
도 4 는 도 2 의 오디오 디코딩 디바이스를 더 상세히 예시하는 블록도이다.
도 5 는 본 개시물에 설명된 벡터-기반 합성 기법들의 다양한 양태들을 수행하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
도 6a 는 본 개시물에 설명된 기법들의 다양한 양태들을 수행하는데 있어서 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
도 6b 는 본 개시물에 설명된 코딩 기법들의 다양한 양태들을 수행하는데 있어서 오디오 인코딩 디바이스 및 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
오늘날 서라운드 사운드의 발전은 엔터테인먼트에 대한 많은 출력 포맷들을 이용가능하게 하였다. 이러한 소비자 서라운드 사운드 포맷들의 예들은 주로, 그들이 소정의 기하학적 좌표들에서 라우드스피커들로의 피드들을 암시적으로 지정한다는 점에서 '채널' 기반이다. 소비자 서라운드 사운드 포맷들은 대중적인 5.1 포맷 (이것은 다음의 6 개의 채널들을 포함한다: 전방 좌측 (FL), 전방 우측 (FR), 중앙 또는 전방 중앙, 후면 좌측 또는 서라운드 좌측, 후면 우측 또는 서라운드 우측, 및 저 주파수 효과들 (LFE)), 성장하는 7.1 포맷, (예를 들어, 초고화질 텔레비전 표준과 함께 사용하기 위한) 7.1.4 포맷 및 22.2 포맷과 같은 높이 스피커들을 포함하는 다양한 포맷들을 포함한다. 비-소비자 포맷들은 종종 '서라운드 어레이들' 로 칭해지는 임의의 개수의 스피커들을 (대칭 및 비-대칭적 지오메트리들로) 포괄할 수 있다. 이러한 어레이의 일 예는 트렁케이트된 (truncated) 정십이면체의 코너들 상의 좌표들에 포지셔닝된 32 개의 라우드스피커들을 포함한다.
미래 MPEG 인코더에의 입력은 선택적으로 다음 3 개의 가능한 포맷들 중 하나이다: (i) 사전-지정된 포지션들에서 라우드스피커들을 통해 플레이되어야 하는 (위에서 논의된 바와 같은) 전통적인 채널-기반의 오디오; (ii) (다른 정보 중에서) 그들의 로케이션 좌표들을 포함하는 연관된 메타데이터를 가진 단일 오디오 오브젝트들에 대한 이산 펄스-코드-변조 (PCM) 데이터를 수반하는 오브젝트-기반의 오디오; 및 (iii) 구면 조화 기저 함수들의 계수들 (또한, "구면 조화 계수들", 또는 SHC, "고-차수 앰비소닉스" 또는 HOA, 및 "HOA 계수들" 로 지칭됨) 을 사용하여 사운드필드를 표현하는 것을 수반하는 장면-기반의 오디오. 미래 MPEG 인코더는 2013년 1월, 스위스, 제네바에서 배포되며, http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13411.zip 에서 입수가능한, ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) JTC1/SC29/WG11/N13411 에 의한, "Call for Proposals for 3D Audio" 라는 제목으로 된 문헌에서 더 상세히 설명될 수도 있다.
시장에서는 다양한 '서라운드-사운드' 채널-기반 포맷들이 있다. 그들은 예를 들어, (스테레오를 넘어서 거실에 영향을 미친다는 관점에서 가장 성공적이었던) 5.1 홈 시어터 시스템에서부터, NHK (Nippon Hoso Kyokai 또는 일본 방송 협회 (Japan Broadcasting Corporation)) 에 의해 개발된 22.2 시스템에 이른다. 콘텐트 생성자들 (예컨대, 할리우드 스튜디오들) 은 영화용 사운드트랙을 한번 제작하고, 각각의 스피커 구성을 위해 그것을 리믹스하는데 노력을 들이지 않기를 원할 것이다. 최근, 표준들 개발 조직들은 표준화된 비트스트림으로의 인코딩, 및 스피커 지오메트리 (및 개수) 및 (렌더러를 포함한) 재생의 로케이션에서의 음향 조건들에 적응가능하고 독립적인 후속 디코딩을 제공할 방법들을 고려하고 있다.
콘텐트 생성자들에게 이러한 유연성을 제공하기 위해, 엘리먼트들의 계층적 세트가 사용되어 사운드필드를 표현할 수도 있다. 엘리먼트들의 계층적 세트는, 하위-차수의 엘리먼트들의 기본 세트가 모델링된 사운드필드의 전체 표현을 제공하도록 엘리먼트들이 차수화되어 있는 엘리먼트들의 세트를 지칭할 수도 있다. 이 세트는 상위-차수 엘리먼트들을 포함하도록 확장되기 때문에, 그 표현은 더 상세해지고, 해상도를 증가시킨다.
엘리먼트들의 계층적 세트의 일 예는 구면 조화 계수들 (SHC) 의 세트이다. 다음의 수식은 사운드필드의 설명 또는 표현을 SHC 를 사용하여 설명한다:
Figure 112016129312571-pct00001
이 수식은 시간 t 에서 사운드필드의 임의의 포인트
Figure 112016129312571-pct00002
에서의 압력
Figure 112016129312571-pct00003
이, SHC,
Figure 112016129312571-pct00004
에 의해 고유하게 표현될 수 있다는 것을 보여준다. 여기서, k=ω/c, c 는 사운드의 속도 (~343 m/s) 이고,
Figure 112016129312571-pct00005
는 참조 포인트 (또는, 관측 포인트) 이고,
Figure 112016129312571-pct00006
는 차수 n 의 구면 베셀 (Bessel) 함수이며,
Figure 112016129312571-pct00007
는 차수 n 및 하위차수 m 의 구면 조화 기저 함수들이다. 꺽쇠 괄호들 내 항은 이산 푸리에 변환 (DFT), 이산 코사인 변환 (DCT), 또는 웨이블릿 변환과 같은, 다양한 시간-주파수 변환들에 의해 근사화될 수 있는 신호의 주파수-도메인 표현 (즉,
Figure 112016129312571-pct00008
) 인 것을 인식할 수 있다. 계층적 세트들의 다른 예들은 웨이블릿 변환 계수들의 세트들 및 다중해상도 기저 함수들의 계수들의 다른 세트들을 포함한다. 고차 앰비소닉스 신호들은, 단지 제로 및 제 1 차수가 남아 있도록 상위 차수들을 트렁케이트함으로써 프로세싱된다. 우리는 대개, 상위 차수 계수에서 에너지의 손실로 인한 나머지 신호들의 일부 에너지 보상을 행한다.
본 개시물의 다양한 양태들은 백그라운드 신호들 간의 상관을 감소시키는 것에 관한 것이다. 예를 들어, 본 개시물의 기법들은 HOA 도메인에서 표현된 백그라운드 신호들 간의 상관을 감소시키거나 가능하게는 제거할 수도 있다. 백그라운드 HOA 신호들 간의 상관을 감소시키는 잠재적인 이점은 잡음 언마스킹의 완화이다. 본원에 사용된 바와 같이, 표현 "잡음 언마스킹 (noise unmasking)" 은, 공간 도메인에서 오디오 오브젝트에 대응하지 않는 로케이션들에 오디오 오브젝트들을 부여하는 것을 지칭할 수도 있다. 잡음 언마스킹에 관련된 잠재적인 이슈들을 완화시키는 것에 추가하여, 본원에 설명된 인코딩 기법들은 좌측 및 우측 오디오 신호들을 나타내는 출력 신호들, 예컨대 스테레오 출력을 함께 형성하는 신호들을 생성할 수도 있다. 이어서, 디코딩 디바이스는 좌측 및 우측 오디오 신호들을 디코딩하여 스테레오 출력을 획득할 수도 있거나, 또는 좌측 및 우측 신호들을 믹스하여 모노 출력을 획득할 수도 있다. 부가적으로, 인코딩된 비트스트림이 오직 가로방향 레이아웃을 나타내는 시나리오들에서, 디코딩 디바이스는 역상관된 HOA 백그라운드 신호들의 가로방향 컴포넌트들 만을 디코딩하기 위해 본 개시물의 다양한 기법들을 구현할 수도 있다. 디코딩 프로세스를 역상관된 HOA 백그라운드 신호들의 가로방향 컴포넌트들에 제한함으로써, 디코더는 컴퓨팅 리소스들을 보존하고 대역폭 소비를 감소시키기 위한 기법들을 구현할 수도 있다.
도 1 은 제로 차수 (n = 0) 에서 제 4 차수 (n = 4) 까지의 구면 조화 기저 함수들을 예시하는 다이어그램이다. 알 수 있는 바와 같이, 각각의 차수에 대해, 예시 용이의 목적들을 위해 도 1 의 예에는 도시되지만 명시적으로는 언급되지 않은 서브차수들 (m) 의 확장이 존재한다.
SHC
Figure 112016129312571-pct00009
는 다양한 마이크로폰 어레이 구성들에 의해 물리적으로 획득될 (예컨대, 레코딩될) 수 있거나, 또는 대안으로, 그들은 사운드필드의 채널-기반의 또는 오브젝트-기반의 설명들로부터 도출될 수 있다. SHC 는 장면-기반의 오디오를 나타내며, 여기서, SHC 는 더 효율적인 송신 또는 저장을 촉진할 수도 있는 인코딩된 SHC 를 획득하기 위해 오디오 인코더에 입력될 수도 있다. 예를 들어, (1+4)2 (25, 따라서, 제 4 차수) 계수들을 수반하는 제 4-차수 표현이 사용될 수도 있다.
위에서 언급한 바와 같이, SHC 는 마이크로폰 어레이를 사용한 마이크로폰 레코딩으로부터 도출될 수도 있다. SHC 가 마이크로폰 어레이들로부터 도출될 수 있는 방법의 다양한 예들은 2005년 11월, J. Audio Eng. Soc., Vol. 53, No. 11, pp. 1004-1025, Poletti, M., "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics" 에서 설명된다.
SHC들이 어떻게 오브젝트-기반의 설명으로부터 도출될 수 있는지를 예시하기 위해, 다음 방정식을 고려한다. 개별의 오디오 오브젝트에 대응하는 사운드필드에 대한 계수들
Figure 112016129312571-pct00010
은 다음과 같이 표현될 수도 있다:
Figure 112016129312571-pct00011
여기서, i 는
Figure 112016129312571-pct00012
이고,
Figure 112016129312571-pct00013
는 차수 n 의 (제 2 종의) 구면 Hankel 함수이고,
Figure 112016129312571-pct00014
는 오브젝트의 로케이션이다. (예를 들어, PCM 스트림에 고속 푸리에 변환을 수행하는 것과 같은, 시간-주파수 분석 기법들을 사용하여) 오브젝트 소스 에너지 g(ω) 를 주파수의 함수로서 아는 것은 우리가 각각의 PCM 오브젝트 및 대응하는 로케이션을 SHC
Figure 112016129312571-pct00015
로 전환하는 것을 허용한다. 또한, (상기가 선형 및 직교 분해이기 때문에) 각각의 오브젝트에 대한
Figure 112016129312571-pct00016
계수들이 가산적인 것으로 보여질 수 있다. 이 방식으로, 다수의 PCM 오브젝트들은
Figure 112016129312571-pct00017
계수들에 의해 (예컨대, 개별의 오브젝트들에 대한 계수 벡터들의 합계로서) 표현될 수 있다. 본질적으로, 계수들은 사운드필드에 관한 정보 (3D 좌표들의 함수로서의 압력) 을 포함하며, 상기는 관측 포인트
Figure 112016129312571-pct00018
근처에서, 개별의 오브젝트들로부터 전체 사운드필드의 표현으로의 변환을 나타낸다. 나머지 도면들은 오브젝트-기반 및 SHC-기반의 오디오 코딩의 맥락에서 아래에서 설명된다.
도 2 는 본 개시물에 설명된 기법들의 다양한 양태들을 수행할 수도 있는 시스템 (10) 을 예시하는 다이어그램이다. 도 2 의 예에 도시된 바와 같이, 시스템 (10) 은 콘텐트 생성자 디바이스 (12) 및 콘텐트 소비자 디바이스 (14) 를 포함한다. 콘텐트 생성자 디바이스 (12) 및 콘텐트 소비자 디바이스 (14) 의 맥락에서 설명되었으나, 이 기법들은 (또한, HOA 계수들로도 지칭될 수도 있는) SHC들 또는 사운드필드의 임의의 다른 계층적 표현이 오디오 데이터를 나타내는 비트스트림을 형성하도록 인코딩되는 임의의 맥락에서 구현될 수도 있다. 더욱이, 콘텐트 생성자 디바이스 (12) 는, 몇 개의 예들을 제공하기 위해 핸드셋 (또는 셀룰러 폰), 태블릿 컴퓨터, 스마트 폰, 또는 데스크톱 컴퓨터를 포함하는, 본 개시물에 설명된 기법들을 구현할 수 있는 컴퓨팅 디바이스의 임의의 형태를 나타낼 수도 있다. 유사하게, 콘텐트 소비자 디바이스 (14) 는, 몇 개의 예들을 제공하기 위해 핸드셋 (또는 셀룰러 폰), 태블릿 컴퓨터, 스마트 폰, 셋-탑 박스 또는 데스크톱 컴퓨터를 포함하는, 본 개시물에 설명된 기법들을 구현할 수 있는 컴퓨팅 디바이스의 임의의 형태를 나타낼 수도 있다.
콘텐트 생성자 디바이스 (12) 는 콘텐트 소비자 디바이스들, 예컨대 콘텐트 소비자 디바이스 (14) 의 오퍼레이터들에 의한 소비를 위해 멀티-채널 오디오 콘텐트를 생성할 수도 있는 영화 스튜디오 또는 다른 엔티티에 의해 동작될 수도 있다. 일부 예들에서, 콘텐트 생성자 디바이스 (12) 는 HOA 계수들 (11) 을 압축하기를 원하는 개별의 사용자에 의해 동작될 수도 있다. 종종, 콘텐트 생성자는 비디오 콘텐트와 함께 오디오 콘텐트를 생성한다. 콘텐트 소비자 디바이스 (14) 는 개인에 의해 동작될 수도 있다. 콘텐트 소비자 디바이스 (14) 는 멀티-채널 오디오 콘텐트로서 재생을 위해 SHC 를 렌더링할 수 있는 오디오 재생 시스템의 임의의 형태를 지칭할 수도 있는 오디오 재생 시스템 (16) 을 포함할 수도 있다.
콘텐트 생성자 디바이스 (12) 는 오디오 편집 시스템 (18) 을 포함한다. 콘텐트 생성자 디바이스 (12) 는 라이브 레코딩들 (7) 을 (HOA 계수들로서 직접 포함하는) 다양한 포맷들로, 그리고 콘텐트 생성자 디바이스 (12) 가 오디오 편집 시스템 (18) 을 사용하여 편집할 수도 있는 오디오 오브젝트들 (9) 을 획득한다. 마이크로폰 (5) 은 라이브 레코딩들 (7) 을 캡처할 수도 있다. 콘텐트 생성자는, 편집 프로세스 동안, 추가의 편집을 요구하는 사운드필드의 다양한 양태들을 식별하려는 시도에서 렌더링된 스피커 피드들을 청취하는 오디오 오브젝트들 (9) 로부터 HOA 계수들 (11) 을 렌더링할 수도 있다. 콘텐트 생성자 디바이스 (12) 는 그 후, (잠재적으로는 소스 HOA 계수들이 전술된 방식으로 도출될 수도 있는 오디오 오브젝트들 (9) 의 상이한 것들의 조작을 통해 간접적으로) HOA 계수들 (11) 을 편집할 수도 있다. 콘텐트 생성자 디바이스 (12) 는 오디오 편집 시스템 (18) 을 이용하여 HOA 계수들 (11) 을 생성할 수도 있다. 오디오 편집 시스템 (18) 은 오디오 데이터를 편집하고 이 오디오 데이터를 하나 이상의 소스 구면 조화 계수들로서 출력할 수 있는 임의의 시스템을 나타낸다.
편집 프로세스가 완료되는 경우, 콘텐트 생성자 디바이스 (12) 는 HOA 계수들 (11) 에 기초하여 비트스트림 (21) 을 생성할 수도 있다. 즉, 콘텐트 생성자 디바이스 (12) 는 비트스트림 (21) 을 생성하기 위해 본 개시물에 설명된 기법들의 다양한 양태들에 따라 HOA 계수들 (11) 을 인코딩하거나 다르게는 압축하도록 구성된 디바이스를 나타내는 오디오 인코딩 디바이스 (20) 를 포함한다. 오디오 인코딩 디바이스 (20) 는 일 예로서, 유선 또는 무선 채널, 데이터 저장 디바이스, 또는 기타 등등일 수도 있는 송신 채널을 통한 송신을 위해 비트스트림 (21) 을 생성할 수도 있다. 비트스트림 (21) 은 HOA 계수들 (11) 의 인코딩된 버전을 나타낼 수도 있으며, 1차 비트스트림 및 부 채널 정보로서 지칭될 수도 있는 다른 부 비트스트림 (side bitstream) 을 포함할 수도 있다.
콘텐트 소비자 디바이스 (14) 로 직접적으로 송신되는 것으로서 도 2 에 도시되었으나, 콘텐트 생성자 디바이스 (12) 는 콘텐트 생성자 디바이스 (12) 와 콘텐트 소비자 디바이스 (14) 사이에 포지셔닝된 중간 디바이스로 비트스트림 (21) 을 출력할 수도 있다. 중간 디바이스는, 비트스트림을 요청할 수도 있는 콘텐트 소비자 디바이스 (14) 로 추후의 전달을 위해 비트스트림 (21) 을 저장할 수도 있다. 중간 디바이스는 파일 서버, 웹 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 모바일 폰, 스마트 폰, 또는 오디오 디코더에 의한 추후의 취출을 위해 비트스트림 (21) 을 저장할 수 있는 임의의 다른 디바이스를 포함할 수도 있다. 중간 디바이스는, 비트스트림 (21) 을 요청하는 콘텐트 소비자 디바이스 (14) 와 같은 가입자들에게 (그리고 가능하게는 대응하는 비디오 데이터 비트스트림을 송신하는 것과 함께) 비트스트림 (21) 을 스트리밍할 수 있는 콘텐트 전달 네트워크에 상주할 수도 있다.
대안으로, 콘텐트 생성자 디바이스 (12) 는 비트스트림 (21) 을 저장 매체, 예컨대 컴팩트 디스크, 디지털 비디오 디스크, 고화질 비디오 디스크 또는 다른 저장 매체에 저장할 수도 있고, 이들의 대부분은 컴퓨터에 의해 판독될 수 있고 따라서 컴퓨터 판독가능 저장 매체 또는 비일시적 컴퓨터 판독가능 저장 매체로서 지칭될 수도 있다. 이 맥락에서, 송신 채널은, 매체들에 저장된 콘텐트가 송신되는 채널들을 지칭할 수도 있다 (그리고 소매점들 및 다른 저장-기반의 전달 메커니즘을 포함할 수도 있다). 어쨌든, 본 개시물의 기법들은 따라서, 이점에 있어서 도 2 의 예에 제한되지 않아야 한다.
도 2 의 예에 추가로 도시된 바와 같이, 콘텐트 소비자 디바이스 (14) 는 오디오 재생 시스템 (16) 을 포함한다. 오디오 재생 시스템 (16) 은 멀티-채널 오디오 데이터를 재생할 수 있는 임의의 오디오 재생 시스템을 나타낼 수도 있다. 오디오 재생 시스템 (16) 은 다수의 상이한 렌더러들 (22) 을 포함할 수도 있다. 렌더러들 (22) 은 각각, 상이한 형태의 렌더링을 제공할 수도 있는데, 여기서 상이한 형태들의 렌더링은 벡터-기반 진폭 패닝 (vector-base amplitude panning; VBAP) 을 수행할 수 있는 다양한 방식들 중 하나 이상, 및/또는 사운드필드 합성을 수행할 수 있는 다양한 방식들 중 하나 이상을 포함할 수도 있다. 본원에 사용된 바와 같이, "A 및/또는 B" 는 "A 또는 B", 또는 "A 및 B" 양자 모두를 의미한다.
오디오 재생 시스템 (16) 은 오디오 디코딩 디바이스 (24) 를 더 포함할 수도 있다. 오디오 디코딩 디바이스 (24) 는 비트스트림 (21) 으로부터 HOA 계수들 (11') 을 디코딩하도록 구성된 디바이스를 나타낼 수도 있고, 여기서 HOA 계수들 (11') 은 HOA 계수들 (11) 과 유사할 수도 있지만 손실 있는 동작들 (예를 들어, 양자화) 및/또는 송신 채널을 통한 송신으로 인해 상이할 수도 있다. 오디오 재생 시스템 (16) 은, 비트스트림 (21) 을 디코딩한 후에 HOA 계수들 (11') 을 획득하고, HOA 계수들 (11') 을 렌더링하여 라우드스피커 피드들 (25) 을 출력할 수도 있다. 라우드스피커 피드들 (25) 은 하나 이상의 라우드스피커들 (예시 용이의 목적들을 위해 도 2 의 예에서는 도시되지 않음) 을 도출할 수도 있다.
적합한 렌더러를 선택하기 위해, 또는 일부 경우들에서 적합한 렌더러를 생성하기 위해, 오디오 재생 시스템 (16) 은 라우드스피커들의 개수 및/또는 라우드스피커들의 공간 지오메트리를 나타내는 라우드스피커 정보 (13) 를 획득할 수도 있다. 일부 경우들에서, 오디오 재생 시스템 (16) 은, 참조 마이크로폰을 사용하여 라우드스피커 정보 (13) 를 획득하고, 라우드스피커 정보 (13) 를 동적으로 결정하기 위한 그러한 방식으로 라우드스피커들을 도출할 수도 있다. 다른 경우들에서 또는 라우드스피커 정보 (13) 의 동적 결정과 함께, 오디오 재생 시스템 (16) 은 오디오 재생 시스템 (16) 과 간섭하고 라우드스피커 정보 (13) 를 입력하도록 사용자를 프롬프트할 수도 있다.
오디오 재생 시스템 (16) 은 그 후, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 선택할 수도 있다. 일부 경우들에서, 오디오 재생 시스템 (16) 은, 오디오 렌더러들 (22) 중 어느 것도 라우드스피커 정보 (13) 에 지정된 라우드스피커 지오메트리에 대한 (라우드스피커 지오메트리의 관점들에서) 일부 임계 유사성 척도 내에 있지 않은 경우, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 생성할 수도 있다. 오디오 재생 시스템 (16) 은, 일부 경우들에서, 기존의 오디오 렌더러들 (22) 중 하나를 선택하도록 먼저 시도하지 않고, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 생성할 수도 있다. 하나 이상의 스피커들 (3) 은 그 후, 렌더링된 라우드스피커 피드들 (25) 을 재생할 수도 있다.
도 3 은 본 개시물에 설명된 기법들의 다양한 양태들을 수행할 수도 있는 도 2 의 예에 도시된 오디오 인코딩 디바이스 (20) 의 일 예를, 더 상세히 예시하는 블록도이다. 오디오 인코딩 디바이스 (20) 는 콘텐트 분석 유닛 (26), 벡터-기반 합성 방법론 유닛 (27), 방향성-기반 합성 방법론 유닛 (28), 및 역상관 유닛 (40') 을 포함한다. 이하에서 간단히 설명되지만, 오디오 인코딩 디바이스 (20) 및 HOA 계수들을 압축 또는 다르게는 인코딩하는 다양한 양태들에 관한 더 많은 정보가 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD" 라는 제목으로, 2014년 5월 29일자로 출원된, 국제특허출원 공개 번호 WO 2014/194099 호에서 이용 가능하다.
콘텐트 분석 유닛 (26) 은, HOA 계수들 (11) 의 콘텐트를 분석하여 HOA 계수들 (11) 이 라이브 레코딩 또는 오디오 오브젝트로부터 생성된 콘텐트를 나타내는지 여부를 식별하도록 구성된 유닛을 나타낸다. 콘텐트 분석 유닛 (26) 은, HOA 계수들 (11) 이 실제 사운드필드의 레코딩으로부터 생성되었는지 또는 인공 오디오 오브젝트로부터 생성되었는지 여부를 결정할 수도 있다. 일부 경우들에서, 프레이밍된 HOA 계수들 (11) 이 레코딩으로부터 생성된 경우, 콘텐트 분석 유닛 (26) 은 HOA 계수들 (11) 을 벡터-기반 분해 유닛 (27) 으로 패스한다. 일부 경우들에서, 프레이밍된 HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 생성된 경우, 콘텐트 분석 유닛 (26) 은 HOA 계수들 (11) 을 방향성-기반 합성 유닛 (28) 으로 패스한다. 방향성-기반 합성 유닛 (28) 은 HOA 계수들 (11) 의 방향성-기반 합성을 수행하여 방향성-기반 비트스트림 (21) 을 생성하도록 구성된 유닛을 나타낼 수도 있다.
도 3 의 예에 도시된 바와 같이, 벡터-기반 분해 유닛 (27) 은 선형 가역 변환 (linear invertible transform; LIT) 유닛 (30), 파라미터 계산 유닛 (32), 리오더 유닛 (34), 포어그라운드 선택 유닛 (36), 에너지 보상 유닛 (38), 음향심리 오디오 코더 유닛 (40), 비트스트림 생성 유닛 (42), 사운드필드 분석 유닛 (44), 계수 감축 유닛 (46), 백그라운드 (BG) 선택 유닛 (48), 시공간적 보간 유닛 (50), 및 양자화 유닛 (52) 을 포함할 수도 있다.
선형 가역 변환 (LIT) 유닛 (30) 은 HOA 계수들 (11) 을 HOA 채널들의 형태로 수신하고, 각각의 채널은 (HOA[k] 로서 표시될 수도 있고, 여기서 k 는 샘플들의 현재 프레임 또는 블록을 표시할 수도 있는) 구면 기저 함수들의 주어진 차수, 서브-차수와 연관된 계수의 블록 또는 프레임을 나타낸다. HOA 계수들 (11) 의 행렬은 디멘전들 D: M x (N+1)2 을 가질 수도 있다.
LIT 유닛 (30) 은 단일 값 (singular value) 분해로서 지칭된 분석의 형태를 수행하도록 구성된 유닛을 나타낼 수도 있다. SVD 에 대하여 설명되었으나, 본 개시물에 설명된 기법들은 선형적으로 비상관된, 에너지 결속된 출력의 세트들을 제공하는 임의의 유사한 변환 또는 분해에 대하여 수행될 수도 있다. 또한, 본 개시물에서 "세트들" 에 대한 참조는 일반적으로, 특별히 그 반대를 언급하지 않는다면 비-제로 세트들을 지칭하도록 의도되고, 소위 "빈 세트 (empty set)" 를 포함하는 세트들의 고전적인 수학적 정의를 지칭하도록 의도되지 않는다. 대안의 변환은, 종종 "PCA" 로서 지칭되는 주된 컴포넌트 분석을 포함할 수도 있다. 맥락에 따라, PCA 는 다수의 상이한 명칭들, 예컨대 몇몇 예를 들자면 이산 카루넨-루베 변환, 호텔링 변환, 적합 직교 분해 (proper orthogonal decomposition; POD), 및 고유치 분해 (eigenvalue decomposition; EVD) 에 의해 지칭될 수도 있다. 오디오 데이터를 압축하는 기본적 목표에 도움이 되는 이러한 동작들의 특성들은 멀티채널 오디오 데이터의 '에너지 결속' 및 '역상관' 이다.
어쨌든, 예의 목적을 위해 LIT 유닛 (30) 이 ("SVD" 로서 또한 지칭될 수도 있는) 단일 값 분해를 수행한다고 가정하면, LIT 유닛 (30) 은 HOA 계수들 (11) 을 변환된 HOA 계수들의 2 개 이상의 세트들로 변환할 수도 있다. 변환된 HOA 계수들의 "세트들" 은 변환된 HOA 계수들의 벡터들을 포함할 수도 있다. 도 3 의 예에서, LIT 유닛 (30) 은 HOA 계수들 (11) 에 대하여 SVD 를 수행하여, 소위 V 행렬, S 행렬, 및 U 행렬을 생성할 수도 있다. SVD 는, 선형 대수학에서, y 곱하기 z (y-by-z) 실수 또는 복소수 행렬 X (여기서, X 는 HOA 계수들 (11) 과 같은, 멀티-채널 오디오 데이터를 나타낼 수도 있음) 의 인수분해를 다음 형태로 나타낼 수도 있다:
X = USV*
U 는 y 곱하기 y 실수 또는 복소 단위 행렬 (unitary matrix) 을 나타낼 수도 있으며, 여기서, U 의 y 칼럼들은 멀티-채널 오디오 데이터의 좌측-단일 벡터들로서 알려져 있다. S 는 대각선 상에 비-음의 실수들을 갖는 y 곱하기 z (y-by-z) 직사각형의 대각선 행렬을 나타낼 수도 있으며, 여기서, S 의 대각선 값들은 멀티-채널 오디오 데이터의 단일 값들로서 알려져 있다. (V 의 켤레 전치를 표시할 수도 있는) V* 는 z 곱하기 z 실수 또는 복소 단위 행렬을 나타낼 수도 있으며, 여기서, V* 의 z 칼럼들은 멀티-채널 오디오 데이터의 우측-단일 벡터들로서 알려져 있다.
일부 예들에서, 상기에서 참조된 SVD 수학적 수식에서 V* 행렬은 SVD 가 복소수들을 포함하는 행렬들에 적용될 수도 있다는 것을 반영하도록 V 행렬의 켤레 전치로서 표시된다. 단지 실수들 만을 포함하는 행렬들에 적용되는 경우, V 행렬의 복소 켤레 (또는, 다시 말하면 V* 행렬) 는 V 행렬의 전치인 것으로 고려될 수도 있다. 이하에서는, 예시 용이의 목적들을 위해, V* 행렬보다는 V 행렬이 SVD 를 통해 출력된다는 결과로 HOA 계수들 (11) 이 실수들을 포함한다고 가정된다. 더욱이, 본 개시물에서 V 행렬로서 표시되었으나, V 행렬에 대한 참조는 적합한 경우 V 행렬의 전치를 지칭하는 것으로 이해되어야 한다. V 행렬인 것으로 가정되었으나, 기법들은 복소수 계수들을 갖는 HOA 계수들 (11) 과 유사한 방식으로 적용될 수도 있고, 여기서 SVD 의 출력은 V* 행렬이다. 따라서, 본 기법들은 이 점에서, 단지 V 행렬을 생성하기 위한 SVD 의 적용을 제공하는데만 제한되지 않아야 하고, V* 행렬을 생성하기 위한 복소수 컴포넌트들을 갖는 HOA 계수들 (11) 에의 SVD 의 적용을 포함할 수도 있다.
이 방식에서, LIT 유닛 (30) 은 HOA 계수들 (11) 에 대하여 SVD 를 수행하여, 디멘전들 D: M x (N+1)2 를 갖는 (S 벡터들과 U 벡터들의 결합된 버전을 나타낼 수도 있는) US[k] 벡터들 (33), 및 디멘전들 D: (N+1)2 x (N+1)2 를 갖는 V[k] 벡터들 (35) 을 출력할 수도 있다. US[k] 행렬에서의 개별의 벡터 엘리먼트들은 또한
Figure 112016129312571-pct00019
로서 지칭될 수도 있고, 반면에 V[k] 행렬의 개별의 벡터들은 또한
Figure 112016129312571-pct00020
로서 지칭될 수도 있다.
U, S 및 V 행렬들의 분석은, 행렬들이 X 로 위에서 나타낸 기본적인 사운드필드의 공간 및 시간 특성들을 운반하거나 또는 나타낸다는 것을 보일 수도 있다. (길이 M 샘플들의) U 에서의 N 개의 벡터들 각각은, 서로에 직교하며 (방향 정보로서 또한 지칭될 수도 있는) 임의의 공간 특성들로부터 디커플링되어 있는 정규화된 분리된 오디오 신호들을 (M 샘플들로 표현된 기간에 대한) 시간의 함수로서 나타낼 수도 있다. 공간 형상 및 포지션 (r, 쎄타(theta), 파이(phi)) 을 나타내는, 공간 특성들은 V 행렬 (길이 (N+1)2 각각) 에서, 개별의 i 번째 벡터들,
Figure 112016129312571-pct00021
로 대신 표현될 수도 있다.
Figure 112016129312571-pct00022
벡터들의 각각의 개별의 엘리먼트들은 연관된 오디오 오브젝트에 대한 사운드필드의 형상 (폭을 포함) 및 포지션을 기술하는 HOA 계수를 나타낼 수도 있다. U 행렬 및 V 행렬의 벡터들 양자 모두는 그들의 자승 평균 평방근 (root-mean-square) 에너지들이 1 과 동일하도록 정규화된다. U 에서의 오디오 신호들의 에너지는 따라서 S 에서 대각선 엘리먼트들에 의해 표현된다. U 와 S 를 곱하여 (개별의 벡터 엘리먼트들
Figure 112016129312571-pct00023
을 갖는) US[k] 를 형성하는 것은, 따라서 에너지들을 갖는 오디오 신호를 나타낸다. (U 에서) 오디오 시간-신호들, (S 에서) 그들의 에너지들 및 (V 에서) 그들의 공간 특성들을 디커플링시키는 SVD 분해의 능력은 본 개시물에서 설명된 기법들의 다양한 양태들을 지원할 수도 있다. 또한, US[k] 와 V[k] 의 벡터 곱셈에 의해 기본적인 HOA[k] 계수들, X 를 합성하는 모델은, 이 문헌 전반에 걸쳐서 사용되는 용어 "벡터-기반 분해" 를 야기시킨다.
HOA 계수들 (11) 에 대하여 직접 수행되는 것으로서 설명되었으나, LIT 유닛 (30) 은 HOA 계수들 (11) 의 유도체들에 선형 가역 변환을 적용할 수도 있다. 예를 들어, LIT 유닛 (30) 은 HOA 계수들 (11) 로부터 도출된 전력 스펙트럼 밀도 행렬에 대하여 SVD 를 적용할 수도 있다. 계수들 그 자체들 보다는 HOA 계수들의 전력 스펙트럼 밀도 (PSD) 에 대하여 SVD 를 수행함으로써, LIT 유닛 (30) 은 프로세서 사이클들 및 저장 공간 중 하나 이상의 관점들에서 SVD 를 수행하는 것의 연산적 복잡성을 잠재적으로 감소시키면서, SVD 가 HOA 계수들에 직접적으로 적용되었던 것처럼 동일한 소스 오디오 인코딩 효율성을 달성할 수도 있다.
파라미터 계산 유닛 (32) 은 상관 파라미터 (R), 방향 특성들 파라미터들 (
Figure 112016129312571-pct00024
), 및 에너지 특성 (e) 과 같은, 다양한 파라미터들을 계산하도록 구성된 유닛을 나타낸다. 현재 프레임에 대한 파라미터들의 각각은
Figure 112016129312571-pct00025
및
Figure 112016129312571-pct00026
로서 표시될 수도 있다. 파라미터 계산 유닛 (32) 은 US[k] 벡터들 (33) 에 대하여 에너지 분석 및/또는 상관 (또는, 소위 교차-상관) 을 수행하여, 파라미터들을 식별할 수도 있다. 파라미터 계산 유닛 (32) 은 또한 이전 프레임에 대한 파라미터들을 결정할 수도 있으며, 여기서 이전 프레임 파라미터들은 US[k-1] 벡터 및 V[k-1] 벡터들의 이전 프레임에 기초하여
Figure 112016129312571-pct00027
및
Figure 112016129312571-pct00028
로 표시될 수도 있다. 파라미터 계산 유닛 (32) 은 현재 파라미터들 (37) 및 이전 파라미터들 (39) 을 리오더 유닛 (34) 으로 출력할 수도 있다.
파라미터 계산 유닛 (32) 에 의해 계산된 파라미터들은 그들의 자연스러운 평가 또는 시간 경과에 따른 연속성을 나타내도록 오디오 오브젝트들을 리오더링하기 위해 리오더 유닛 (34) 에 의해 사용될 수도 있다. 리오더 유닛 (34) 은 파라미터들 (37) 의 각각을 제 1 US[k] 벡터들 (33) 과 비교하여, 제 2 US[k-1] 벡터들 (33) 에 대한 파라미터들 (39) 의 각각에 대해 턴-와이즈 (turn-wise) 할 수도 있다. 리오더 유닛 (34) 은 US[k] 행렬 (33) 및 V[k] 행렬 (35) 내의 다양한 벡터들을 현재 파라미터들 (37) 및 이전 파라미터들 (39) 에 기초하여 (일 예로서, Hungarian 알고리즘을 사용하여) 리오더링하여, (수학적으로
Figure 112016129312571-pct00029
로서 표기될 수도 있는) 리오더링된 US[k] 행렬 (33') 및 (수학적으로
Figure 112016129312571-pct00030
로서 표기될 수도 있는) 리오더링된 V[k] 행렬 (35') 를 포어그라운드 사운드 (또는, 우세한 사운드 - PS) 선택 유닛 (36) ("포어그라운드 선택 유닛 (36)") 및 에너지 보상 유닛 (38) 으로 출력할 수도 있다.
사운드필드 분석 유닛 (44) 은 목표 비트레이트 (41) 를 잠재적으로 달성하도록 HOA 계수들 (11) 에 대하여 사운드필드 분석을 수행하도록 구성된 유닛을 나타낼 수도 있다. 사운드필드 분석 유닛 (44) 은 그 분석에, 및/또는 수신된 목표 비트레이트 (41) 에 기초하여, (주변 또는 백그라운드 채널들의 총 개수 (BGTOT) 및 포어그라운드 채널들 또는, 다시 말하면 우세한 채널들의 개수의 함수일 수도 있는) 음향심리 코더 인스턴스화들의 총 개수를 결정할 수도 있다. 음향심리 코더 인스턴스화들의 총 개수는 numHOATransportChannels 로서 표기될 수 있다.
사운드필드 분석 유닛 (44) 은 또한, 다시 목표 비트레이트 (41) 를 잠재적으로 달성하기 위해, 포어그라운드 채널들의 총 개수 (nFG)(45), 백그라운드 (또는, 다시 말해 주변) 사운드필드의 최소 차수 (NBG 또는 다르게는, MmAmbHOAorder), 백그라운드 사운드필드의 최소 차수를 나타내는 실제 채널들의 대응하는 수 (nBGa = (MinAmbHOAorder + 1)2), 및 (도 3 의 예에서 총괄하여 백그라운드 채널 정보 (43) 로서 표기될 수도 있는) 전송할 추가적인 BG HOA 채널들의 인덱스들 (i) 을 결정할 수도 있다. 백그라운드 채널 정보 (42) 는 또한 주변 채널 정보 (43) 로서 지칭될 수도 있다. numHOATransportChannels - nBGa 로부터 남은 채널들의 각각은, "추가적인 백그라운드/주변 채널", "활성 벡터-기반 우세한 채널", "활성 방향 기반 우세한 신호" 또는 "완전히 비활성적" 일 수도 있다. 일 양태에서, 채널 유형들은 2 비트 (예컨대, 00: 방향 기반 신호; 01: 벡터-기반 우세한 신호; 10: 추가적인 주변 신호; 11: 비활성 신호) 에 의해 신택스 엘리먼트로서 ("ChannelType" 으로서) 표시될 수도 있다. 백그라운드 또는 주변 신호들의 총 개수, nBGa 는, (MinAmbHOAorder +1)2 + 그 프레임에 대한 비트스트림에서 채널 유형으로서 나타나는 (상기 예에서의) 인덱스 10 의 횟수로 주어질 수도 있다.
사운드필드 분석 유닛 (44) 은 목표 비트레이트 (41) 에 기초하여, 백그라운드 (또는, 다시 말해 주변) 채널들의 개수 및 포어그라운드 (또는, 다시 말해 우세한) 채널들의 개수를 선택할 수도 있고, 목표 비트레이트 (41) 가 상대적으로 더 높을 때 (예를 들어, 목표 비트레이트 (41) 가 512 Kbps 인 경우) 더 많은 백그라운드 및/또는 포어그라운드 채널들을 선택할 수도 있다. 일 양태에서, numHOATransportChannels 은 8 로 설정될 수도 있는 한편, MinAmbHOAorder 는 비트스트림의 헤더 섹션에서 1 로 설정될 수도 있다. 이 시나리오에서, 모든 프레임에서, 사운드필드의 백그라운드 또는 주변 부분을 나타내는데 4 개의 채널들이 전용될 수도 있지만, 다른 4 개의 채널들은 프레임 단위로, 채널 유형에 따라 변할 수 있다 - 예를 들어 추가적인 백그라운드/주변 채널 또는 포어그라운드/우세 채널로서 사용된다. 포어그라운드/우세 신호들은 전술된 바와 같이, 벡터-기반 또는 방향성-기반 신호들 중 어느 하나일 수 있다.
일부 경우들, 프레임에 대한 벡터-기반의 우세한 신호들의 총 개수는 그 프레임의 비트스트림에서 ChannelType 인덱스가 01 인 횟수로 주어질 수도 있다. 상기 양태에서, (예를 들어, 10 의 ChannelType 에 대응하는) 모든 추가적인 백그라운드/주변 채널에 대해, (처음 4개를 넘어서는) 가능한 HOA 계수들 중 어느 HOA 계수의 대응하는 정보가 그 채널에 표현될 수도 있다. 제 4 차수 HOA 콘텐트에 대한, 정보는 HOA 계수들 5-25 를 표시하는 인덱스일 수도 있다. 처음 4 개의 주변 HOA 계수들 1-4 는, minAmbHOAorder 가 1 로 설정되는 경우에는 언제나 전송될 수도 있고, 따라서 오디오 인코딩 디바이스는 단지 5-25 의 인덱스를 갖는 추가적인 주변 HOA 계수 중 하나만을 표시할 필요가 있을 수도 있다. 정보는 따라서 "CodedAmbCoeffIdx" 로서 표기될 수도 있는, (제 4 차수 콘텐트에 대해) 5 비트 신택스 엘리먼트를 사용하여 전송될 수 있다. 어쨌든, 사운드필드 분석 유닛 (44) 은 백그라운드 채널 정보 (43) 및 HOA 계수들 (11) 을 백그라운드 (BG) 선택 유닛 (36) 으로, 백그라운드 채널 정보 (43) 를 계수 감축 유닛 (46) 및 비트스트림 생성 유닛 (42) 으로, 그리고 nFG (45) 를 포어그라운드 선택 유닛 (36) 으로 출력할 수도 있다.
백그라운드 선택 유닛 (48) 은 백그라운드 채널 정보 (예를 들어, 백그라운드 사운드필드 (NBG) 및 개수 (nBGa) 및 전송할 추가적인 BG HOA 채널들의 인덱스들 (i)) 에 기초하여 백그라운드 또는 주변 HOA 계수들 (47) 을 결정하도록 구성된 유닛을 나타낼 수도 있다. 예를 들어, NBG 가 1 과 동일한 경우, 백그라운드 선택 유닛 (48) 은 1 이하의 차수를 갖는 오디오 프레임의 각각의 샘플에 대해 HOA 계수들 (11) 을 선택할 수도 있다. 백그라운드 선택 유닛 (48) 은 그 후, 이 예에서, 추가적인 BG HOA 계수들로서 인덱스들 (i) 중 하나에 의해 식별된 인덱스를 갖는 HOA 계수들 (11) 을 선택할 수도 있고, 여기서 nBGa 는 오디오 디코딩 디바이스, 예컨대 도 2 및 도 4 의 예에 도시된 오디오 디코딩 디바이스 (24) 로 하여금 비트스트림 (21) 으로부터 백그라운드 HOA 계수들 (47) 을 파싱하게 하기 위해 비트스트림 (21) 에 지정되도록 비트스트림 생성 유닛 (42) 에 제공된다. 백그라운드 선택 유닛 (48) 은 그 후, 주변 HOA 계수들 (47) 을 에너지 보상 유닛 (38) 으로 출력할 수도 있다. 주변 HOA 계수들 (47) 은 디멘전들 D: M x [(NBG+1)2 + nBGa] 를 가질 수도 있다. 주변 HOA 계수들 (47) 은 또한, "주변 HOA 계수들 (47)" 로서 지칭될 수도 있고, 여기서 주변 HOA 계수들 (47) 각각은 음향심리 오디오 코더 유닛 (40) 에 의해 인코딩될 별개의 주변 HOA 채널 (47) 에 대응한다.
포어그라운드 선택 유닛 (36) 은 (포어그라운드 벡터들을 식별하는 하나 이상의 인덱스들을 나타낼 수도 있는) nFG (45) 에 기초하여 사운드필드의 포어그라운드 또는 특유한 컴포넌트들을 나타내는 리오더링된 US[k] 행렬 (33') 및 리오더링된 V[k] 행렬 (35') 를 선택하도록 구성된 유닛을 나타낼 수도 있다. 포어그라운드 선택 유닛 (36) 은 (리오더링된 US[k]1, …, nFG (49), FG1, …, nfG[k] (49), 또는
Figure 112016129312571-pct00031
(49) 로서 표기될 수도 있는) nFG 신호들 (49) 을 음향심리 오디오 코더 유닛 (40) 으로 출력할 수도 있고, 여기서 nFG 신호들 (49) 은 디멘전들 D: M x nFG 을 갖고 각각은 모노-오디오 오브젝트들을 나타낼 수도 있다. 포어그라운드 선택 유닛 (36) 은 또한, 사운드필드의 포어그라운드 컴포넌트들에 대응하는 리오더링된 V[k] 행렬 (35') (또는,
Figure 112016129312571-pct00032
(35')) 를 시공간적 보간 유닛 (50) 으로 출력할 수도 있으며, 여기서, 포어그라운드 컴포넌트들에 대응하는 리오더링된 V[k] 행렬 (35') 의 서브세트는 디멘전들 D: (N+1)2 x nFG 를 갖는 (
Figure 112016129312571-pct00033
로서 수학적으로 표기될 수도 있는) 포어그라운드 V[k] 행렬 (51k) 로서 표기될 수도 있다.
에너지 보상 유닛 (38) 은 주변 HOA 계수들 (47) 에 대하여 에너지 보상을 수행하여 백그라운드 선택 유닛 (48) 에 의한 HOA 채널들의 다양한 채널들의 제거로 인한 에너지 손실을 보상하도록 구성된 유닛을 나타낼 수도 있다. 에너지 보상 유닛 (38) 은 리오더링된 US[k] 행렬 (33'), 리오더링된 V[k] 행렬 (35'), nFG 신호들 (49), 포어그라운드 V[k] 벡터들 (51k) 및 주변 HOA 계수들 (47) 중 하나 이상에 대하여 에너지 분석을 수행하고, 그 후 에너지 분석에 기초하여 에너지 보상을 수행하여 에너지 보상된 주변 HOA 계수들 (47') 을 생성할 수도 있다. 에너지 보상 유닛 (38) 은 에너지 보상된 주변 HOA 계수들 (47') 을 역상관 유닛 (40') 으로 출력할 수도 있다. 이어서, 역상관 유닛 (40') 은 하나 이상의 역상관된 HOA 계수들 (47") 을 형성하도록 HOA 계수들 (47') 의 백그라운드 신호들 간의 상관을 감소시키거나 제거하기 위해 본 개시물의 기법들을 구현할 수도 있다. 역상관 유닛 (40') 은 역상관된 HOA 계수들 (47") 을 음향심리 오디오 코더 유닛 (40) 으로 출력할 수도 있다.
시공간적 보간 유닛 (50) 은 k 번째 프레임에 대한 포어그라운드 V[k] 벡터들 (51k) 및 이전 프레임 (따라서, k-1 표기) 에 대한 포어그라운드 V[k-1] 벡터들 (51k-1) 을 수신하고 시공간적 보간을 수행하여, 보간된 포어그라운드 V[k] 벡터들을 생성하도록 구성된 유닛을 나타낼 수도 있다. 시공간적 보간 유닛 (50) 은 nFG 신호들 (49) 을 포어그라운드 V[k] 벡터들 (51k) 과 재결합하여 리오더링된 포어그라운드 HOA 계수들을 복원할 수도 있다. 시공간적 보간 유닛 (50) 은 그 후, 리오더링된 포어그라운드 HOA 계수들을 보간된 V[k] 벡터들로 나누어, 보간된 nFG 신호들 (49') 을 생성할 수도 있다. 시공간적 보간 유닛 (50) 은, 또한 오디오 디코딩 디바이스 (24) 와 같은, 오디오 디코딩 디바이스가 보간된 포어그라운드 V[k] 벡터들을 생성하여 포어그라운드 V[k] 벡터들 (51k) 을 복원할 수 있도록 보간된 포어그라운드 V[k] 벡터들을 생성하는데 사용된 포어그라운드 V[k] 벡터들 (51k) 을 출력할 수도 있다. 보간된 포어그라운드 V[k] 벡터들을 생성하는데 사용된 포어그라운드 V[k] 벡터들 (51k) 은 나머지 포어그라운드 V[k] 벡터들 (53) 로서 표기된다. 동일한 V[k] 및 V[k-1] 이 (보간된 벡터들 V[k] 을 생성하기 위해) 인코더 및 디코더에서 사용되도록 보장하기 위해, 벡터들의 양자화된/역양자화된 버전들이 인코더 및 디코더에서 사용될 수도 있다. 시공간적 보간 유닛 (50) 은 보간된 nFG 신호들 (49') 을 음향심리 오디오 코더 유닛 (46) 으로 그리고 보간된 포어그라운드 V[k] 벡터들 (51k) 을 계수 감축 유닛 (46) 으로 출력할 수도 있다.
계수 감축 유닛 (46) 은 백그라운드 채널 정보 (43) 에 기초하여 나머지 포어그라운드 V[k] 벡터들 (53) 에 대하여 계수 감축을 수행하여, 감소된 포어그라운드 V[k] 벡터들 (55) 을 양자화 유닛 (52) 으로 출력하도록 구성된 유닛을 나타낼 수도 있다. 감소된 포어그라운드 V[k] 벡터들 (55) 은 디멘전들 D: [(N+1)2 - (NBG+1)2-BGTOT] x nFG 를 가질 수도 있다. 계수 감축 유닛 (46) 은, 이 점에 있어서, 나머지 포어그라운드 V[k] 벡터들 (53) 에서 계수들의 개수를 감소시키도록 구성된 유닛을 나타낼 수도 있다. 다시 말하면, 계수 감축 유닛 (46) 은 거의 없거나 전혀 없는 방향성 정보를 갖는 (나머지 포어그라운드 V[k] 벡터들 (53) 을 형성하는) 포어그라운드 V[k] 벡터들에서 계수들을 제거하도록 구성된 유닛을 나타낼 수도 있다. 일부 예들에서, 특유의, 또는 다시 말해 (NBG 로서 표기될 수도 있는) 제 1 및 제로 차수 기저 함수들에 대응하는 포어그라운드 V[k] 벡터들의 계수들은 적은 방향성 정보를 제공하고, 따라서 ("계수 감축" 으로서 지칭될 수도 있는 프로세스를 통해) 포어그라운드 V-벡터들로부터 제거될 수 있다. 이 예에서, [(NBG +1)2+1, (N+1)2] 의 세트로부터, NBG 에 대응하는 계수들을 식별할 뿐만 아니라 (변수 TotalOfAddAmbHOAChan 에 의해 표시될 수도 있는) 추가적인 HOA 채널들을 식별하도록 더 많은 유연성이 제공될 수도 있다.
양자화 유닛 (52) 은 감소된 포어그라운드 V[k] 벡터들 (55) 을 압축하기 위해 임의의 형태의 양자화를 수행하여 코딩된 포어그라운드 V[k] 벡터들 (57) 을 생성하여, 이 코딩된 포어그라운드 V[k] 벡터들 (57) 을 비트스트림 생성 유닛 (42) 으로 출력하도록 구성된 유닛을 나타낼 수도 있다. 동작 시에, 양자화 유닛 (52) 은 사운드필드의 공간 컴포넌트, 즉 이 예에서는 감소된 포어그라운드 V[k] 벡터들 (55) 중 하나 이상을 압축하도록 구성된 유닛을 나타낼 수도 있다. 양자화 유닛 (52) 은, "NbitsQ" 로 표기된 양자화 모드 신택스 엘리먼트에 의해 표시된 바와 같이, 다음의 12 개의 양자화 모드들 중 어느 하나를 수행할 수도 있다:
NbitsQ 값 양자화 모드의 유형
0-3: 예약됨
4: 벡터 양자화
5: 허프만 (Huffman) 코딩에 의하지 않는 스칼라 양자화
6: 허프만 코딩에 의한 6-비트 스칼라 양자화
7: 허프만 코딩에 의한 7-비트 스칼라 양자화
8: 허프만 코딩에 의한 8-비트 스칼라 양자화
... ...
16: 허프만 코딩에 의한 16-비트 스칼라 양자화
양자화 유닛 (52) 은 또한, 양자화 모드들의 상기 유형들 중 임의의 것의 예측된 버전들을 수행할 수도 있고, 여기서 이전 프레임의 V-벡터의 엘리먼트 (또는 벡터 양자화가 수행되는 경우 가중치) 와 현재 프레임의 V-벡터의 엘리먼트 (또는 벡터 양자화가 수행되는 경우 가중치) 간의 차이가 결정된다. 양자화 유닛 (52) 은 그 후, 현재 프레임 자체의 V-벡터의 엘리먼트의 값 보다는, 현재 프레임과 이전 프레임의 엘리먼트들 또는 가중치들 간의 차이를 양자화할 수도 있다.
양자화 유닛 (52) 은 감소된 포어그라운드 V[k] 벡터들 (55) 각각에 대하여 다중 형태들의 양자화를 수행하여, 감소된 포어그라운드 V[k] 벡터들 (55) 의 다중 코딩된 버전들을 획득할 수도 있다. 양자화 유닛 (52) 은 코딩된 포어그라운드 V[k] 벡터 (57) 로서 감소된 포어그라운드 V[k] 벡터들 (55) 의 코딩된 버전들 중 하나를 선택할 수도 있다. 양자화 유닛 (52) 은, 다시 말해 본 개시물에 설명된 기준의 임의의 조합에 기초하여 출력 스위칭된-양자화된 V-벡터로서 사용하도록 비-예측된 벡터-양자화된 V-벡터, 예측된 벡터-양자화된 V-벡터, 비-허프만-코딩된 스칼라-양자화된 V-벡터, 및 허프만-코딩된 스칼라-양자화된 V-벡터 중 하나를 선택할 수도 있다. 일부 예들에서, 양자화 유닛 (52) 은, 벡터 양자화 모드 및 하나 이상의 스칼라 양자화 모드들을 포함하는 양자화 모드들의 세트로부터 양자화 모드를 선택하고, 이 선택된 모드에 기초하여 (또는 이것에 따라) 입력 V-벡터를 양자화할 수도 있다. 양자화 유닛 (52) 은 그 후, (예를 들어, 가중치 값들 또는 그것을 나타내는 비트들의 관점에서) 비-예측된 벡터-양자화된 V-벡터, (예를 들어, 에러 값들 또는 그것을 나타내는 비트들의 관점에서) 예측된 벡터-양자화된 V-벡터, 비-허프만-코딩된 스칼라-양자화된 V-벡터 및 허프만-코딩된 스칼라-양자화된 V-벡터 중 선택된 것을 코딩된 포어그라운드 V[k] 벡터들 (57) 로서 비트스트림 생성 유닛 (52) 에 제공할 수도 있다. 양자화 유닛 (52) 은 또한, 양자화 모드를 나타내는 신택스 엘리먼트 (예를 들어, NbitsQ 신택스 엘리먼트) 및 V-벡터를 역양자화 또는 다르게는 복원하는데 사용된 임의의 다른 신택스 엘리먼트들을 제공할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 역상관 유닛 (40') 은 하나 이상의 역상관 변환들을 HOA 계수들 (47') 에 적용하고 역상관된 HOA 계수들 (47") 을 획득하도록 구성된 유닛의 단일 또는 다중 인스턴스들을 나타낼 수도 있다. 일부 예들에서, 역상관 유닛 (40') 은 UHJ 행렬을 HOA 계수들 (47') 에 적용할 수도 있다. 본 개시물의 다양한 경우들에서, UHJ 행렬은 또한, "위상-기반 변환" 으로서 지칭될 수도 있다. 위상-기반 변환의 적용은 또한, "위상시프트 역상관" 으로서 본원에 지칭될 수도 있다.
앰비소닉 UHJ 포맷은 모노 및 스테레오 매체와 호환가능하도록 설계된 앰비소닉 서라운드 사운드 시스템의 전개이다. UHJ 포맷은, 레코딩된 사운드필드가 이용 가능한 채널들에 따라 변하는 정확도의 정도로 재생되는 시스템들의 계층을 포함한다. 다양한 경우들에서, UHJ 는 또한, "C-포맷" 으로서 지칭된다. 이니셜들은 시스템 안에 통합된 소스들의 일부를 표시한다: 유니버셜 (UD-4) 로부터 U; 행렬 H 로부터 H; 및 시스템 45J 로부터 J.
UHJ 는 앰비소닉 기술 내에서 인코딩 및 디코딩 방향성 사운드 정보의 계층적 시스템이다. 이용 가능한 채널들의 개수에 따라, 시스템은 더 많은 또는 더 적은 정보를 운반할 수 있다. UHJ 는 완전히 스테레오- 및 모노-호환 가능하다. 4 개 까지의 채널들 (L, R, T, Q) 이 사용될 수도 있다.
일 형태에서, 2-채널 (L, R) UHJ, 가로방향 (또는 "플래너 (planar)") 서라운드 정보는 정규 스테레오 신호 채널들에 의해 운반될 수 있다 - CD, FM 또는 디지털 라디오 등 - 이것은 청취 단부 (listening end) 에서 UHJ 디코더를 사용함으로써 복원될 수도 있다. 2 개의 채널들을 합하는 것은 호환 가능한 모노 신호를 산출할 수도 있고, 이것은 종래의 "팬포티드 모노 (panpotted mono)" 소스를 합하는 것보다 2-채널 버전의 더 정확한 표현일 수도 있다. 제 3 채널 (T) 이 이용 가능하면, 제 3 채널은 3-채널 UHJ 디코더를 통해 디코딩된 경우 플래너 서라운드 효과에 개선된 국부화 정확도를 산출하는데 사용될 수 있다. 제 3 채널은, 소위 "
Figure 112016129312571-pct00034
-채널" 시스템들의 가능성을 초래하는, 이 목적을 위해 풀 오디오 대역폭을 갖도록 요구될 수도 있고, 여기서 제 3 채널은 대역폭-제한된다. 일 예에서, 이 제한은 5 kHz 일 수도 있다. 제 3 채널은, 예를 들어 위상-직각 변조에 의해 FM 라디오를 통해 브로드캐스팅될 수 있다. UHJ 시스템에 제 4 채널 (Q) 을 추가하는 것은, 4-채널 B-포맷과 동일한 정확도의 레벨로, 가끔 페리포니 (Periphony) 로서 지칭된, 높이를 갖는 풀 서라운드 사운드의 인코딩을 허용할 수도 있다.
2-채널 UHJ 는 앰비소닉 레코딩들의 분포를 위해 흔히 사용된 포맷이다. 2-채널 UHJ 레코딩들은 모든 정규 스테레오 채널들을 통해 송신될 수 있고, 임의의 정규 2-채널 매체가 개조 없이 사용될 수 있다. UHJ 는, 디코딩 없이 청취자가 스테레오 이미지를 지각할 수도 있다는 점에서 호환 가능한 스테레오이지만, 종래의 스테레오보다 상당히 더 넓은 (예를 들어, 소위 "슈퍼 스테레오") 스테레오이다. 좌측 및 우측 채널들은 또한, 매우 높은 정도의 모노-호환성을 위해 합해질 수 있다. UHJ 디코더를 통해 리플레이되면, 서라운드 능력이 드러날 수도 있다.
UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 역상관 유닛 (40') 의 예시의 수학적 표현은 다음과 같다:
UHJ 인코딩:
Figure 112016129312571-pct00035
S 및 D 의 좌측 및 우측으로의 전환:
좌측 = (S+D)/2
우측 = (S-D)/2
상기 계산들의 일부 구현들에 따르면, 상기 계산들에 대한 가정들은 다음을 포함할 수도 있다: HOA 백그라운드 채널은, 앰비소닉스 채널 넘버링 순서 W(a00), X(a11), Y(a11-), Z(a10) 에서, 정규화된 FuMa, 제 1 차수 앰비소닉스이다.
상기에서 열거된 계산들에서, 역상관 유닛 (40') 은 상수들에 의한 다양한 행렬들의 스칼라 곱을 수행할 수도 있다. 예를 들어, S 신호를 획득하기 위해, 역상관 유닛 (40') 은 (예를 들어, 스칼라 곱에 의해) 0.9397 의 상수에 의한 W 행렬의, 및 0.1856 의 상수에 의한 X 행렬의 스칼라 곱을 수행할 수도 있다. 상기 열거된 계산들에서 또한 예시된 바와 같이, 역상관 유닛 (40') 은 D 및 T 신호들 각각을 획득하는데 있어서 (상기 UHJ 인코딩에서 "Hilbert ( )" 함수로 표기된) 힐버트 변환을 적용할 수도 있다. 상기 UHJ 인코딩에서 "imag( )" 함수는, 힐버트 변환의 결과 중 (수학적 의미에서) 허수가 획득된다는 것을 나타낸다.
UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 역상관 유닛 (40') 의 다른 예시의 수학적 표현은 다음과 같다:
UHJ 인코딩:
Figure 112016129312571-pct00036
S 및 D 의 좌측 및 우측으로의 전환:
좌측 = (S+D)/2;
우측 = (S-D)/2;
상기 계산의 일부 예시의 구현들에서, 상기 계산들에 대한 가정들은 다음을 포함할 수도 있다: HOA 백그라운드 채널은, 앰비소닉스 채널 넘버링 순서 W(a00), X(a11), Y(a11-), Z(a10) 에서, 정규화된 N3D (또는 "풀 3-D"), 제 1 차수 앰비소닉스들이다. N3D 정규화에 대하여 본원에서 설명되었으나, 예시의 계산들은 또한, SN3D 정규화되는 (또는 "Schmidt 반-정규화되는) HOA 백그라운드 채널들에 적용될 수도 있다는 것이 인식될 것이다. N3D 및 SN3D 정규화는 사용된 스케일링 팩터들의 관점들에서 상이할 수도 있다. SN3D 표준화에 대해, N3D 정규화의 예시의 표현은 아래에 다음과 같이 표현된다:
Figure 112016129312571-pct00037
SN3D 정규화에서 사용된 가중 계수들의 일 예는 아래에서 다음과 같이 표현된다:
Figure 112016129312571-pct00038
상기에서 열거된 계산들에서, 역상관 유닛 (40') 은 상수들에 의한 다양한 행렬들의 스칼라 곱을 수행할 수도 있다. 예를 들어, S 신호를 획득하기 위해, 역상관 유닛 (40') 은 (예를 들어, 스칼라 곱에 의해) 0.9396926 의 상수에 의한 W 행렬의, 및 0.151520536509082 의 상수에 의한 X 행렬의 스칼라 곱을 수행할 수도 있다. 상기 열거된 계산들에서 또한 예시된 바와 같이, 역상관 유닛 (40') 은 D 및 T 신호들 각각을 획득하는데 있어서 (상기 UHJ 인코딩 또는 위상시프트 역상관에서 "Hilbert( )" 함수로 표기된) 힐버트 변환을 적용할 수도 있다. 상기 UHJ 인코딩에서 "imag( )" 함수는, 힐버트 변환의 결과 중 (수학적 의미에서) 허수가 획득된다는 것을 나타낸다.
역상관 유닛 (40') 은, 결과의 S 및 D 신호들이 좌측 및 우측 오디오 신호들 (또는 다시 말해, 스테레오 오디오 신호들) 을 나타내도록, 상기에서 열거된 계산들을 수행할 수도 있다. 일부 이러한 시나리오들에서, 역상관 유닛 (40') 은 역상관된 HOA 계수들 (47") 의 부분으로서 T 및 Q 신호들을 출력할 수도 있지만, 비트스트림 (21) 을 수신하는 디코딩 디바이스는, 스테레오 스피커 지오메트리 (또는, 다시 말해 스테레오 스피커 구성) 로 렌더링되는 경우 T 및 Q 신호들을 프로세싱하지 않을 수도 있다. 예들에서, HOA 계수들 (47') 은 모노-오디오 재생 시스템 상에서 렌더링될 사운드필드를 나타낼 수도 있다. 역상관 유닛 (40') 은 역상관된 HOA 계수들 (47") 의 부분으로서 S 및 D 신호들을 출력할 수도 있고, 비트스트림 (21) 을 수신하는 디코딩 디바이스는 S 및 D 신호들을 결합 (또는 "믹스") 하여 모노-오디오 포맷으로 렌더링 및/또는 출력될 오디오 신호들을 형성할 수도 있다. 이들 예들에서, 디코딩 디바이스 및/또는 재생 디바이스는 다양한 방식들로 모노-오디오 신호를 복원할 수도 있다. 일 예는 (S 및 D 신호들로 표현된) 좌측 및 우측 신호들의 믹스에 의한 것이다. 다른 예는 (도 5 에 대하여, 이하에서 더 상세히 논의되는) W 신호를 디코딩하도록 UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 것에 의한 것이다. UHJ 행렬 (또는 위상-기반 변환) 을 적용함으로써 S 및 D 신호들의 형태로 자연스러운 좌측 신호 및 자연스러운 우측 신호를 프로듀싱함으로써, 역상관 유닛 (40') 은 다른 역상관 변환들 (예컨대, MPEG-H 표준에 설명된 모드 행렬) 을 적용하는 기법들에 비해 잠재적인 이점들 및/또는 잠재적인 개선들을 제공하도록 본 개시물의 기법들을 구현할 수도 있다.
다양한 예들에서, 역상관 유닛 (40') 은 수신된 HOA 계수들 (47') 의 비트레이트에 기초하여, 상이한 역상관 변환들을 적용할 수도 있다. 예를 들어, 역상관 유닛 (40') 은, HOA 계수들 (47') 이 4-채널 입력을 나타내는 시나리오들에서 전술된 UHJ 행렬 (또는 위상-기반 변환) 을 적용할 수도 있다. 보다 구체적으로, 4-채널 입력을 나타내는 HOA 계수들 (47') 에 기초하여, 역상관 유닛 (40') 은 4 x 4 UHJ 행렬 (또는 위상-기반 변환) 을 적용할 수도 있다. 예를 들어, 4 x 4 행렬은 HOA 계수들 (47') 의 4-채널 입력에 직교할 수도 있다. 다시 말하면, HOA 계수들 (47') 이 더 적은 수의 채널들 (예를 들어, 4) 을 나타내는 경우들에서, 역상관 유닛 (40') 은 선택된 역상관 변환으로서 UHJ 행렬을 적용하여, HOA 신호들 (47') 의 백그라운드 신호들을 역상관하여 역상관된 HOA 계수들 (47") 을 획득할 수도 있다.
이 예에 따르면, HOA 계수들 (47') 이 더 많은 수의 채널들 (예를 들어, 9) 을 나타내면, 역상관 유닛 (40') 은 UHJ 행렬 (또는 위상-기반 변환) 과 상이한 역상관 변환을 적용할 수도 있다. 예를 들어, HOA 계수들 (47') 이 9-채널 입력을 나타내는 시나리오에서, 역상관 유닛 (40') 은 (예를 들어, MPEG-H 표준에서 설명된 바와 같은) 모드 행렬을 적용하여 HOA 계수들 (47') 을 역상관할 수도 있다.
HOA 계수들 (47') 이 9-채널 입력을 나타내는 예들에서, 역상관 유닛 (40') 은 9 x 9 모드 행렬을 적용하여 역상관된 HOA 계수들 (47") 을 획득할 수도 있다.
이어서, 오디오 인코딩 디바이스 (20) 의 다양한 컴포넌트들 (예컨대, 음향심리 오디오 코더 (40)) 은 AAC 또는 USAC 에 따라 역상관된 HOA 계수들 (47") 을 지각적으로 코딩할 수도 있다. 역상관 유닛 (40') 은 위상시프트 역상관 변환 (예를 들어, 4-채널 입력의 경우에서 UHJ 행렬 또는 위상-기반 변환) 을 적용하여, HOA 에 대한 AAC/USAC 코딩을 최적화할 수도 있다. HOA 계수들 (47')(및 이에 의해, 역상관된 HOA 계수들 (47")) 이 스테레오 재생 시스템 상에서 렌더링될 오디오 데이터를 나타내는 예들에서, 역상관 유닛 (40') 은, AAC 및 USAC 이 스테레오 오디오 데이터에 대해 상대적으로 지향된다는 (또는 최적화된다는) 것에 기초하여, 압축을 개선 또는 최적화하도록 본 개시물의 기법들을 적용할 수도 있다.
역상관 유닛 (40') 은, 에너지 보상된 HOA 계수들 (47') 이 포어그라운드 채널들을 포함하는 상황들에서, 뿐만 아니라 에너지 보상된 HOA 계수들 (47') 이 어떤 포어그라운드 채널들도 포함하지 않는 상황들에서 본원에 설명된 기법들을 적용할 수도 있다. 일 예로서, 역상관 유닛 (40') 은, 에너지 보상된 HOA 계수들 (47') 이 제로 (0) 개의 포어그라운드 채널들 및 네 (4) 개의 백그라운드 채널들을 포함하는 시나리오 (예를 들어, 더 낮은/더 적은 비트 레이트의 시나리오) 에서, 전술된 기법들 및/또는 계산들을 적용할 수도 있다.
일부 예들에서, 역상관 유닛 (40') 은 비트스트림 생성 유닛 (42) 으로 하여금, 벡터-기반 비트스트림 (21) 의 부분으로서, 역상관 유닛 (40') 이 HOA 계수들 (47') 에 역상관 변환을 적용했다는 것을 나타내는 하나 이상의 신택스 엘리먼트들을 시그널링하게 할 수도 있다. 디코딩 디바이스에 이러한 표시 (indication) 를 제공함으로써, 역상관 유닛 (40') 은 디코딩 디바이스로 하여금, HOA 도메인에서 오디오 데이터 상에 상반된 (reciprocal) 역상관 변환들을 수행하게 할 수도 있다. 일부 예들에서, 역상관 유닛 (40') 은, 비트스트림 생성 유닛 (42) 으로 하여금, UHJ 행렬 (또는 다른 위상 기반 변환) 또는 모드 행렬과 같이, 어느 역상관 변환이 적용되었는지를 나타내는 신택스 엘리먼트들을 시그널링하게 할 수도 있다.
역상관 유닛 (40') 은 에너지 보상된 주변 HOA 계수들 (47') 에 위상-기반 변환을 적용할 수도 있다. CAMB (k-1) 의 제 1 0MIN HOA 계수 시퀀스들에 대한 위상-기반 변환은
Figure 112016129312571-pct00039
에 의해 정의되고, 표 1 에 정의된 바와 같은 계수들 d, 신호 프레임들 S(k-2) 및 M(k-2)는
Figure 112016129312571-pct00040
에 의해 정의되고, A+90(k-2) 및 B+90(k-2) 은
Figure 112016129312571-pct00041
에 의해 정의된 +90도 위상 시프트된 신호들 A 및 B 의 프레임들이다.
CP , AMB(k-1) 의 제 1 0MIN HOA 계수 시퀀스들에 대한 위상-기반 변환이 따라서 정의된다. 설명된 변환은 1 프레임의 지연을 도입할 수도 있다.
상기에서, xAMB , LOW ,1(k-2) 내지 xAMB , L0W ,4(K-2) 는 역상관된 주변 HOA 계수들 (47") 에 대응할 수도 있다. 상기 식에서, 가변적인 CAMB ,1(k) 변수는, 또한, 'W' 채널 또는 컴포넌트로서 지칭될 수도 있는, (0:0) 의 (order:sub-order) 을 갖는 구면 기저 함수들에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB ,2(k) 변수는, 또한, 'Y' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:-1) 의 (order:sub-order) 을 갖는 구면 기저 함수들에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB ,3(k) 변수는, 또한, 'Z' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:1) 의 (order:sub-order) 을 갖는 구면 기저 함수에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB,4(k) 변수는, 또한, 'X' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:1) 의 (order:sub-order) 을 갖는 구면 기저 함수에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. CAMB ,1(k) 내지 CAMB ,3(k) 은 주변 HOA 계수들 (47') 에 대응할 수도 있다.
표 1 은, 역상관 유닛 (40) 이 위상-기반 변환을 수행하기 위해 사용할 수도 있는 계수들의 예를 예시한다.
Figure 112016129312571-pct00042
표 1 위상-기반 변환에 대한 계수들
일부 예들에서, 오디오 인코딩 디바이스 (20) 의 다양한 컴포넌트들 (예컨대, 비트스트림 생성 유닛 (42)) 은 더 낮은 목표 비트레이트들 (예를 들어, 128K 또는 256K 의 목표 비트레이트) 에 대해 제 1 차수 HOA 표현들 만을 송신하도록 구성될 수도 있다. 일부 이러한 예들에 따르면, 오디오 인코딩 디바이스 (20)(또는 그 컴포넌트들, 예컨대 비트스트림 생성 유닛 (42)) 는 상위 차수 HOA 계수들 (예를 들어, 제 1 차수보다 큰 차수를 갖는 계수들, 또는 다시 말해 N>1) 을 폐기하도록 구성될 수도 있다. 그러나, 오디오 인코딩 디바이스 (20) 가, 목표 비트레이트가 상대적으로 높다는 것을 결정하는 예들에서, 오디오 인코딩 디바이스 (20)(예를 들어, 비트스트림 생성 유닛 (42)) 는 포어그라운드 및 백그라운드 채널들을 분리할 수도 있고, 비트들을 (예를 들어, 더 큰 양으로) 포어그라운드 채널들에 할당할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 음향심리 오디오 코더 유닛 (40) 은 음향심리 오디오 코더의 다수의 경우들을 나타낼 수도 있고, 이들 각각은 역상관된 HOA 계수들 (47") 및 보간된 nFG 신호들 (49') 각각의 상이한 오디오 오브젝트 또는 HOA 채널을 인코딩하여 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 생성하도록 사용된다. 음향심리 오디오 코더 유닛 (40) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 비트스트림 생성 유닛 (42) 으로 출력할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 비트스트림 생성 유닛 (42) 은 (디코딩 디바이스에 의해 알려진 포맷을 지칭할 수도 있는) 알려진 포맷에 따르는 데이터를 포맷하고, 이에 의해 벡터-기반 비트스트림 (21) 을 생성하는 유닛을 나타낸다. 비트스트림 (21) 은 다시 말해, 전술된 방식으로 인코딩되어 있는, 인코딩된 오디오 데이터를 나타낼 수도 있다. 비트스트림 생성 유닛 (42) 은 일부 예들에서 멀티플렉서를 나타낼 수도 있고, 이것은 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 를 수신할 수도 있다. 비트스트림 생성 유닛 (42) 은 그 후, 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 를 생성할 수도 있다. 이 방식으로, 비트스트림 생성 유닛 (42) 은 이에 의해, 비트스트림 (21) 에서 벡터들 (57) 을 지정하여 비트스트림 (21) 을 획득할 수도 있다. 비트스트림 (21) 은 1 차 또는 메인 비트스트림 및 하나 이상의 부 채널 비트스트림들을 포함할 수도 있다.
도 3 의 예에는 도시되지 않았으나, 오디오 인코딩 디바이스 (20) 는 또한, 현재 프레임이 방향성-기반 합성 또는 벡터-기반 합성을 사용하여 인코딩될 것인지 여부에 기초하여 오디오 인코딩 디바이스 (20) 로부터 출력된 비트스트림을 (예를 들어, 방향성-기반 비트스트림 (21) 과 벡터-기반 비트스트림 (21) 사이에서) 스위칭하는 비트스트림 출력 유닛을 포함할 수도 있다. 비트스트림 출력 유닛은, 방향성-기반 합성이 (HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 생성되었다는 것을 검출한 결과로서) 수행되었는지 또는 벡터-기반 합성이 (HOA 계수들이 레코딩되었다는 것을 검출하는 결과로서) 수행되었는지 여부를 나타내는 콘텐트 분석 유닛 (26) 에 의해 출력된 신택스 엘리먼트에 기초하여 스위칭을 수행할 수도 있다. 비트스트림 출력 유닛은 비트스트림들 (21) 의 각각의 비트스트림과 함께 현재 프레임에 대해 사용된 현재의 인코딩 또는 스위치를 나타내도록 정확한 헤더 신택스를 지정할 수도 있다.
더욱이, 상기에서 언급된 바와 같이, 사운드필드 분석 유닛 (44) 은 (가끔, BGTOT 가 2 개 이상의 (시간적으로) 인접한 프레임들에 걸쳐 여전히 일정하거나 동일할 수도 있지만) 프레임별 단위로 변할 수도 있는 BGTOT 주변 HOA 계수들 (47) 을 식별할 수도 있다. BGTOT 에서의 변화는 감소된 포어그라운드 V[k] 벡터들 (55) 로 표현된 계수들에 대한 변화들을 초래할 수도 있다. BGTOT 에서의 변화는 (다시 가끔, BGTOT 가 2 개 이상의 (시간적으로) 인접한 프레임들에 걸쳐 여전히 일정하거나 동일할 수도 있지만) 프레임 단위로 변하는 (또한, "주변 HOA 계수들" 로도 지칭될 수도 있는) 백그라운드 HOA 계수들을 초래할 수도 있다. 이 변화들은 종종, 추가적인 주변 HOA 계수들의 추가 또는 제거, 및 감소된 포어그라운드 V[k] 벡터들 (55) 로부터의 계수들의 대응하는 제거 또는 이에 대한 계수들의 추가에 의해 표현된 사운드필드의 양태들에 대한 에너지의 변화를 초래한다.
그 결과, 사운드필드 분석 유닛 (44) 은 또한, 주변 HOA 계수들이 프레임마다 각기 변하는 시점을 결정하고, (변화가 또한, 주변 HOA 계수의 "전이" 로서 또는 주변 HOA 계수의 "전이" 로서 지칭될 수도 있는) 사운드필드의 주변 컴포넌트들을 나타내는데 사용되고 있는 관점들에서 주변 HOA 계수에 대한 변화를 나타내는 플래그 또는 다른 신택스 엘리먼트를 생성할 수도 있다. 특히, 계수 감축 유닛 (46) 은 (AmbCoeffTransition 플래그 또는 AmbCoeffIdxTransition 플래그로서 표기될 수도 있는) 플래그를 생성하여, 그 플래그가 (가능하게는, 사이드 채널 정보의 부분으로서) 비트스트림 (21) 에 포함될 수 있도록 그 플래그를 비트스트림 생성 유닛 (42) 에 제공할 수도 있다.
계수 감축 유닛 (46) 은, 주변 계수 전이 플래그를 지정하는 것에 추가하여, 또한 감소된 포어그라운드 V[k] 벡터들 (55) 이 생성되는 방법을 수정할 수도 있다. 일 예에서, 주변 HOA 주변 계수들 중 하나가 현재 프레임 동안 전이 중이라고 결정 시에, 계수 감축 유닛 (46) 은 전이 중인 주변 HOA 계수에 대응하는 감소된 포어그라운드 V[k] 벡터들 (55) 의 V-벡터들 각각에 대해 ("벡터 엘리먼트" 또는 "엘리먼트" 로서 또한 지칭될 수도 있는) 벡터 계수를 지정할 수도 있다. 다시, 전이 중인 주변 HOA 계수는 백그라운드 계수들의 총 개수를 BGTOT 로부터 제거하거나 또는 그것에 추가할 수도 있다. 따라서, 백그라운드 계수들의 총 개수에서의 결과의 변화는, 주변 HOA 계수가 비트스트림에 포함되는지 또는 포함되지 않는지 여부, 및 V-벡터들의 대응하는 엘리먼트가 전술된 제 2 및 제 3 구성 모드들에서 비트스트림에 지정된 V-벡터들에 대해 포함되는지 여부에 영향을 준다. 계수 감축 유닛 (46) 이 에너지에서의 변화들을 극복하기 위해 감소된 포어그라운드 V[k] 벡터들 (55) 을 지정할 수 있는 방법에 관한 더 많은 정보는, "TRANSITIONING OF AMBIENT HIGHER-ORDER AMBISONIC COEFFICIENTS" 라는 제목으로, 2015년 1월 12일자로 출원된, 미국 출원 번호 제 14/594,533 호에 제공된다.
따라서, 오디오 인코딩 디바이스 (30) 는 역상관 변환을 주변 앰비소닉 계수들에 적용하여 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 구성된 오디오를 압축하기 위한 디바이스의 일 예를 나타낼 수도 있고, 주변 HOA 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내며, 복수의 상위 차수 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관된다. 일부 예들에서, 역상관 변환을 적용하기 위해, 디바이스는 UHJ 행렬을 주변 앰비소닉 계수들에 적용하도록 구성된다.
일부 예들에서, 디바이스는 또한, N3D (풀 3-D) 정규화에 따라 UHJ 행렬을 정규화하도록 구성된다. 일부 예들에서, 디바이스는 또한, SN3D 정규화 (Schmidt 반-정규화) 에 따라 UHJ 행렬을 정규화하도록 구성된다. 일부 예들에서, 주변 앰비소닉 계수들은 0 의 차수 또는 1 의 차수를 갖는 구면 기저 함수들과 연관되고, UHJ 행렬을 주변 앰비소닉 계수들에 적용하기 위해, 디바이스는 주변 앰비소닉 계수들의 적어도 서브세트에 대하여 UHJ 행렬의 스칼라 곱을 수행하도록 구성된다. 일부 예들에서, 역상관 변환을 적용하기 위해, 디바이스는 모드 행렬을 주변 앰비소닉 계수들에 적용하도록 구성된다.
일부 예들에 따르면, 역상관 변환을 적용하기 위해, 디바이스는 역상관된 주변 앰비소닉 계수들로부터 좌측 신호 및 우측 신호를 획득하도록 구성된다. 일부 예들에 따르면, 디바이스는 또한, 하나 이상의 포어그라운드 채널들과 함께 역상관된 주변 앰비소닉 계수들을 시그널링하도록 구성된다. 일부 예들에 따르면, 하나 이상의 포어그라운드 채널들과 함께 역상관된 주변 앰비소닉 계수들을 시그널링하기 위해, 디바이스는 목표 비트레이트가 미리결정된 임계를 충족하거나 초과한다는 결정에 응답하여 하나 이상의 포어그라운드 채널들과 함께 역상관된 주변 앰비소닉 계수들을 시그널링하도록 구성된다.
일부 예들에서, 디바이스는 또한, 임의의 포어그라운드 채널들을 시그널링하지 않고 역상관된 주변 앰비소닉 계수들을 시그널링하도록 구성된다. 일부 예들에서, 임의의 포어그라운드 채널들을 시그널링하지 않고 역상관된 주변 앰비소닉 계수들을 시그널링하기 위해, 디바이스는 목표 비트레이트가 미리결정된 임계 미만이라는 결정에 응답하여 임의의 포어그라운드 채널들을 시그널링하지 않고 역상관된 주변 앰비소닉 계수들을 시그널링하도록 구성된다. 일부 예들에서, 디바이스는 또한, 역상관 변환이 주변 앰비소닉 계수들에 적용되었다는 표시를 시그널링하도록 구성된다. 일부 예들에서, 디바이스는 압축될 오디오 데이터를 캡처하도록 구성된 마이크로폰 어레이를 더 포함한다.
도 4 는 도 2 의 오디오 디코딩 디바이스 (24) 를 더 상세히 예시하는 블록도이다. 도 4 의 예에 도시된 바와 같이, 오디오 디코딩 디바이스 (24) 는 추출 유닛 (72), 방향성-기반 복원 유닛 (90), 벡터-기반 복원 유닛 (92), 및 재상관 유닛 (81) 을 포함할 수도 있다.
이하에서 설명되지만, 오디오 디코딩 디바이스 (24) 및 HOA 계수들을 압축해제 또는 다르게는 디코딩하는 다양한 양태들에 관한 더 많은 정보는 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD" 라는 제목으로, 2014년 5월 29일자로 출원된, 국제특허출원 공개 번호 제 2014/194099 호에서 이용 가능하다.
추출 유닛 (72) 은 비트스트림 (21) 을 수신하고 HOA 계수들 (11) 의 다양한 인코딩된 버전들 (예를 들어, 방향성-기반 인코딩된 버전 또는 벡터-기반 인코딩된 버전) 을 추출하도록 구성된 유닛을 나타낼 수도 있다. 추출 유닛 (72) 은, HOA 계수들 (11) 이 다양한 방향성-기반 버전 또는 벡터-기반 버전을 통해 인코딩되었는지 여부를 나타내는 상기에서 언급된 신택스 엘리먼트로부터 결정할 수도 있다. 방향성-기반 인코딩이 수행된 경우, 추출 유닛 (72) 은 HOA 계수들 (11) 의 방향성-기반 버전 및 (도 4 의 예에서 방향성-기반 정보 (91) 로서 표기되는) 인코딩된 버전과 연관된 신택스 엘리먼트를 추출하여, 방향성 기반 정보 (91) 를 방향성-기반 복원 유닛 (90) 으로 패스할 수도 있다. 방향성-기반 복원 유닛 (90) 은 방향성-기반 정보 (91) 에 기초하여 HOA 계수들을 HOA 계수들 (11') 의 형태로 복원하도록 구성된 유닛을 나타낼 수도 있다. 비트스트림 및 이 비트스트림 내의 신택스 엘리먼트들의 어레인지먼트가 이하에서 설명된다.
신택스 엘리먼트가, HOA 계수들 (11) 이 벡터-기반 합성을 사용하여 인코딩되었다는 것을 나타내는 경우, 추출 유닛 (72) 은 (코딩된 가중치들 (57) 및/또는 인덱스들 (63) 또는 스칼라 양자화된 V-벡터들을 포함할 수도 있는) 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59) 및 (또한, 인코딩된 nFG 신호들 (61) 로서 지칭될 수도 있는) 대응하는 오디오 오브젝트들 (61) 을 추출할 수도 있다. 오디오 오브젝트들 (61) 각각은 벡터들 (57) 중 하나에 대응한다. 추출 유닛 (72) 은 코딩된 포어그라운드 V[k] 벡터들 (57) 을 V-벡터 복원 유닛 (74) 으로, 그리고 인코딩된 주변 HOA 계수들 (59) 을 인코딩된 nFG 신호들 (61) 과 함께 음향심리 디코딩 유닛 (80) 으로 패스할 수도 있다.
V-벡터 복원 유닛 (74) 은 인코딩된 포어그라운드 V[k] 벡터들 (57) 로부터 V-벡터들을 복원하도록 구성된 유닛을 나타낼 수도 있다. V-벡터 복원 유닛 (74) 은 양자화 유닛 (52) 의 방식과는 상반된 방식으로 동작할 수도 있다.
음향심리 디코딩 유닛 (80) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 디코딩하여, 이에 의해 에너지 보상된 주변 HOA 계수들 (47') 및 (보간된 nFG 오디오 오브젝트들 (49') 로서 또한 지칭될 수도 있는) 보간된 nFG 신호들 (49') 을 생성하도록 도 3 의 예에 도시된 음향심리 오디오 코더 유닛 (40) 에 상반된 방식으로 동작할 수도 있다. 음향심리 디코딩 유닛 (80) 은 에너지 보상된 주변 HOA 계수들 (47') 을 재상관 유닛 (81) 으로 그리고 nFG 신호들 (49') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 패스할 수도 있다. 이어서, 재상관 유닛 (81) 은 하나 이상의 재상관 변환들을 에너지 보상된 주변 HOA 계수들 (47') 에 적용하여 하나 이상의 재상관된 HOA 계수들 (47")(또는 상관된 HOA 계수들 (47")) 을 획득할 수도 있고, 상관된 HOA 계수들 (47") 을 (선택적으로, 페이드 유닛 (770) 을 통해) HOA 계수 포뮬레이션 유닛 (82) 으로 패스할 수도 있다.
상기 설명과 유사하게, 오디오 인코딩 디바이스 (20) 의 역상관 유닛 (40') 에 대하여, 재상관 유닛 (81) 은 에너지 보상된 주변 HOA 계수들 (47') 의 백그라운드 채널들 간의 상관을 감소시켜 잡음 언마스킹을 감소 또는 완화시키도록 본 개시물의 기법들을 구현할 수도 있다. 재상관 유닛 (81) 이 UHJ 행렬 (예를 들어, 역 UHJ 행렬) 을 선택된 재상관 변환으로서 적용하는 예들에서, 재상관 유닛 (81) 은 데이터 프로세싱 동작들을 감소시킴으로써 압축 레이트들을 개선시키고 컴퓨팅 리소스들을 보존할 수도 있다. 일부 예들에서, 벡터-기반 비트스트림 (21) 은, 역상관 변환이 인코딩 동안 적용되었다는 것을 나타내는 하나 이상의 신택스 엘리먼트들을 포함할 수도 있다. 벡터-기반 비트스트림 (21) 에 이러한 신택스 엘리먼트들의 포함은, 재상관 유닛 (81) 으로 하여금 에너지 보상된 HOA 계수들 (47') 상에 상반된 역상관 (예를 들어, 상관 또는 재상관) 변환들을 수행하게 할 수도 있다. 일부 예들에서, 신호 신택스 엘리먼트들은, 어느 역상관 변환, 예컨대 UHJ 행렬 또는 모드 행렬이 적용되었는지를 표시할 수도 있고, 이에 의해 재상관 유닛 (81) 으로 하여금 에너지 보상된 HOA 계수들 (47') 에 적용할 적합한 재상관 변환을 선택하게 한다.
벡터-기반 복원 유닛 (92) 이 HOA 계수들 (11') 을 스테레오 시스템을 포함하는 재생 시스템으로 출력하는 예들에서, 재상관 유닛 (81) 은 S 및 D 신호들 (예를 들어, 자연스러운 좌측 신호 및 자연스러운 우측 신호) 을 프로세싱하여 재상관된 HOA 계수들 (47") 을 생산할 수도 있다. 예를 들어, S 및 D 신호들이 자연스러운 좌측 신호 및 자연스러운 우측 신호를 나타내기 때문에, 재생 시스템은 S 및 D 신호들을 2 개의 스테레오 출력 스트림들로서 사용할 수도 있다. 복원 유닛 (92) 이 HOA 계수들 (11') 을 모노-오디오 시스템을 포함하는 재생 시스템으로 출력하는 예들에서, 재생 시스템은 (HOA 계수들 (11') 에서 표현된 바와 같은) S 및 D 신호들을 결합 또는 믹스하여 재생을 위한 모노-오디오 출력을 획득할 수도 있다. 모노-오디오 시스템의 예에서, 재생 시스템은 믹스된 모노-오디오 출력을 (임의의 포어그라운드 채널들이 존재한다면) 하나 이상의 포어그라운드 채널들에 추가하여, 오디오 출력을 생성할 수도 있다.
일부 기존의 UHJ-가능 인코더들에 대하여, 신호들은 위상 진폭 행렬로 프로세싱되어 B-포맷들을 닮은 신호들의 세트를 복원할 수도 있다. 대부분의 경우들에서, 신호는 실제로 B-포맷일 것이지만, 2-채널 UHJ 의 경우에서는 B-포맷 신호와 유사한 특징들을 보이는 신호보다는 실제 (true) B-포맷 신호를 복원할 수 있도록 이용 가능한 불충분한 정보가 존재한다. 정보는 그 후, (더 큰-스케일의 애플리케이션들에서 생략될 수도 있는) 더 작은 청취 환경들에서 디코더의 정확도 및 성능을 개선시키는, 선반 필터들의 세트를 통해, 스피커 피드들을 전개하는 진폭 행렬로 패스된다. 앰비소닉스는 실제 룸들 (예를 들어, 리빙 룸들) 및 실제 스피커 포지션들에 적합하도록 설계되었다: 많은 이러한 룸들은 직사각형이고, 그 결과 기본 시스템은, 길이에서 1:2 (폭이 길이의 두 배) 와 2:1 (길이가 폭의 두 배) 사이의 사이드들을 갖고, 따라서 이러한 룸들의 다수에 적합한, 직사각형 내의 4 개의 라우드스피커들 디코딩하도록 설계되었다. 일반적으로, 디코더가 라우드스피커 포지션들에 대해 구성되는 것을 허용하도록 레이아웃 제어가 제공된다. 레이아웃 제어는 다른 서라운드-사운드 시스템들과 상이한 앰비소닉 리플레이의 양태이다: 디코더는 스피커 어레이의 사이즈 및 레이아웃에 대해 특별히 구성될 수도 있다. 레이아웃 제어는 회전식 노브, 2-웨이 (1:2, 2:1) 또는 3-웨이 (1:2, 1:1, 2:1) 스위치의 형태를 취할 수도 있다. 4 개의 스피커들은 가로방향 서라운드 디코딩에 필요한 최소값이고, 한편 4 스피커 레이아웃은 다양한 청취 환경들에 적합할 수도 있고, 공간들이 더 클수록 풀 서라운드 국부화를 제공하기 위해 더 많은 스피커들을 필요로 할 수도 있다.
UHJ 행렬 (예를 들어, 역 UHJ 행렬 또는 역 위상-기반 변환) 을 재상관 변환으로서 적용하는 것에 대하여 재상관 유닛 (81) 이 수행할 수도 있는 계산들의 예는 아래에 다음과 같이 열거된다:
UHJ 디코딩:
좌측 및 우측의 S 및 D 로의 전환:
S = 좌측 + 우측
D = 좌측 - 우측
Figure 112016129312571-pct00043
상기 계산의 일부 예시의 구현들에서, 상기 계산들에 대한 가정들은 다음을 포함할 수도 있다: HOA 백그라운드 채널은, 앰비소닉스 채널 넘버링 순서 W (a00), X(a11), Y(a11-), Z(a10) 에서, 정규화된 FuMa, 제 1 차수 앰비소닉스이다.
UHJ 행렬 (예를 들어, 역 위상-기반 변환) 을 재상관 변환으로서 적용하는 것에 대하여 재상관 유닛 (81) 이 수행할 수도 있는 계산들의 예는 아래에서 다음과 같이 열거된다:
UHJ 디코딩:
좌측 및 우측의 S 및 D 로의 전환:
좌측 및 우측의 S 및 D 로의 전환:
S = 좌측 + 우측;
D = 좌측 - 우측;
Figure 112016129312571-pct00044
상기 계산의 일부 구현들에서, 상기 계산들에 대한 가정들은 다음을 포함할 수도 있다: HOA 백그라운드 채널은, 앰비소닉스 채널 넘버링 순서 W (a00), X(a11), Y(a11-), Z(a10) 에서, 정규화된 N3D (또는 "풀 3-D"), 제 1 차수 앰비소닉스이다. N3D 정규화에 대하여 본원에서 설명되었으나, 예시의 계산들은 또한, SN3D 정규화되는 (또는 "Schmidt 반-정규화되는) HOA 백그라운드 채널들에 적용될 수도 있다는 것이 인식될 것이다. 도 4 에 대하여 전술된 바와 같이, N3D 및 SN3D 정규화는 사용된 스케일링 팩터들의 관점들에서 상이할 수도 있다. N3D 정규화에서 사용된 스케일링 팩터들의 예시의 표현은 도 4 에 대하여 전술된다. SN3D 정규화에서 사용된 가중 계수들의 예시의 표현은 도 4 에 대하여 전술된다.
일부 예들에서, 에너지 보상된 HOA 계수들 (47') 은 오직 가로방향 (horizontal-only) 레이아웃, 예컨대 어떤 세로방향 채널들로 포함하지 않는 오디오 데이터를 나타낼 수도 있다. 이들 예들에서, 재상관 유닛 (81) 은, Z 신호가 세로방향 오디오 데이터를 나타내기 때문에 상기 Z 신호에 대하여 계산들을 수행하지 않을 수도 있다. 대신에, 이들 예들에서, 재상관 유닛 (81) 은 단지, W, X, 및 Y 신호들이 가로방향 데이터를 나타내기 때문에, W, X, 및 Y 신호들에 대하여 상기 계산들만을 수행할 수도 있다. 에너지 보상된 HOA 계수들 (47') 이 모노-오디오 재생 시스템 상에서 렌더링될 오디오 데이터를 나타내는 일부 예들에서, 재상관 유닛 (81) 은 단지, 상기 계산들로부터 W 신호만을 도출할 수도 있다. 보다 구체적으로, 결과의 W 신호가 모노-오디오 데이터를 나타내기 때문에, W 신호는, 에너지 보상된 HOA 계수들 (47') 이 모노-오디오 포맷으로 렌더링될 데이터는 나타내는 경우, 또는 재생 시스템이 모노-오디오 시스템을 포함하는 경우 필요한 데이터 모두를 제공할 수도 있다.
오디오 인코딩 디바이스 (20) 의 역상관 유닛 (40') 에 대하여 전술된 바와 유사하게, 재상관 유닛 (81) 은, 예들에서 에너지 보상된 HOA 계수들 (47') 이 더 적은 수의 백그라운드 채널들을 포함하는 시나리오들에서 UHJ 행렬 (또는 역 UHJ 행렬 또는 역 위상-기반 변환) 을 적용할 수도 있지만, 에너지 보상된 HOA 계수들 (47') 이 더 많은 수의 백그라운드 채널들을 포함하는 시나리오들에서 (예를 들어, MPEG-H 표준에서 설명된 바와 같은) 모드 행렬 또는 역 모드 행렬을 적용할 수도 있다.
재상관 유닛 (81) 은, 에너지 보상된 HOA 계수들 (47') 이 포어그라운드 채널들을 포함하는 상황들에서, 뿐만 아니라 에너지 보상된 HOA 계수들 (47') 이 어떤 포어그라운드 채널들도 포함하지 않는 상황들에서 본원에 설명된 기법들을 적용할 수도 있다. 일 예로서, 재상관 유닛 (81) 은, 에너지 보상된 HOA 계수들 (47') 이 제로 (0) 개의 포어그라운드 채널들 및 여덞 (8) 개의 백그라운드 채널들을 포함하는 시나리오 (예를 들어, 더 낮은/더 적은 비트 레이트의 시나리오) 에서, 전술된 기법들 및/또는 계산들을 적용할 수도 있다.
오디오 디코딩 디바이스 (24) 의 다양한 컴포넌트들, 예컨대 재상관 유닛 (81) 은 신택스 엘리먼트, 예컨대 플래그 UsePhaseShiftDecorr 를 사용하여, 2 개의 프로세싱 방법들 중 어느 것이 역상관에 적용되었는지를 결정할 수도 있다. 역상관 유닛 (40') 이 역상관을 위해 공간 변환을 사용한 경우들에서, 재상관 유닛 (81) 은 UsePhaseShiftDecorr 플래그가 제로의 값으로 설정된다는 것을 결정할 수도 있다.
재상관 유닛 (81) 이, UsePhaseShiftDecorr 플래그가 1 의 값으로 설정된다는 것을 결정하는 경우에서, 재상관 유닛 (81) 은, 재상관이 위상-기반 변환을 사용하여 수행될 것이라고 결정할 수도 있다. 플래그 UsePhaseShiftDecorr 이 1 의 값이면, 이하에서 표 1 에 정의된 바와 같은 계수들 c 를 갖고
Figure 112016129312571-pct00045
에 의해 주변 HOA 컴포넌트의 처음 4 개의 계수 시퀀스들을 복원하도록 그 다음의 프로세싱이 적용되고, A+90(k) 및 B+90(k) 는
Figure 112016129312571-pct00046
에 의해 정의된 +90 도 위상 시프트된 신호들의 프레임들이다.
표 2 는, 역상관 유닛 (40') 이 위상-기반 변환을 구현하기 위해 사용할 수도 있는 예시의 계수들을 이하에서 예시한다.
Figure 112016129312571-pct00047
표 2 위상-기반 변환에 대한 계수들
상기 식에서, 가변적인 CAMB,1(k) 변수는, 또한, 'W' 채널 또는 컴포넌트로서 지칭될 수도 있는, (0:0) 의 (order:sub-order) 을 갖는 구면 기저 함수들에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB,2(k) 변수는, 또한, 'Y' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:-1) 의 (order:sub-order) 을 갖는 구면 기저 함수들에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB,3(k) 변수는, 또한, 'Z' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:1) 의 (order:sub-order) 을 갖는 구면 기저 함수에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. 가변적인 CAMB,4(k) 변수는, 또한, 'X' 채널 또는 컴포넌트로서 지칭될 수도 있는, (1:1) 의 (order:sub-order) 을 갖는 구면 기저 함수에 대응하는 k번째 프레임에 대한 HOA 계수들을 표시한다. CAMB,1(k) 내지 CAMB ,3(k) 은 주변 HOA 계수들 (47') 에 대응할 수도 있다.
상기 [CI , AMB ,1(k) + [CI , AMB ,2(k)] 표기는, 대안으로 무엇이 좌측 채널 플러스 우측 채널과 동등한 'S' 로서 지칭되는지를 표시한다. CI , AMB ,1(k) 변수는 UHJ 인코딩의 결과로서 생성된 좌측 채널을 표시하는 한편, CI , AMB ,2(k) 변수는 UHJ 인코딩의 결과로서 생성된 우측 채널을 표시한다. 첨자로 I 표기는, 대응하는 채널이 다른 주변 채널들로부터 (예를 들어, UHJ 행렬 또는 위상-기반 변환의 적용을 통해) 역상관되었다는 것을 표시한다. [CI , AMB ,1(k) + [CI , AMB ,2(k)] 표기는, 좌측 채널 마이너스 우측 채널을 나타내는, 본 개시물 전반에 걸쳐 'D' 로서 지칭되는 것을 표시한다. CI , AMB ,3(k) 변수는 본 개시물 전반에 걸쳐 변수 'T' 로서 지칭되는 것을 나타낸다. CI , AMB ,4(k) 변수는 본 개시물 전반에 걸쳐 변수 'Q' 로서 지칭되는 것을 나타낸다.
A+90(k) 표기는 c(0) 곱하기 (본 개시물 전반에 걸쳐 변수 'h1' 로 또한 표시되는) S 의 양의 90도 위상 시프트를 나타낸다. B+90(k) 표기는 c(1) 곱하기 (본 개시물 전반에 걸쳐 변수 'h2' 로 또한 표시되는) D 의 양의 90도 위상 시프트를 나타낸다.
시공간적 보간 유닛 (76) 은 시공간적 보간 유닛 (50) 에 대해 위에서 설명한 방법과 유사한 방법으로 동작할 수도 있다. 시공간적 보간 유닛 (76) 은 감소된 포어그라운드 V[k] 벡터들 (55k) 을 수신하고 포어그라운드 V[k] 벡터들 (55k) 및 감소된 포어그라운드 V[k-1] 벡터들 (55k-1) 에 대하여 시공간적 보간을 수행하여 보간된 포어그라운드 V[k] 벡터들 (55k'') 을 생성할 수도 있다. 시공간적 보간 유닛 (76) 은 보간된 포어그라운드 V[k] 벡터들 (55k'') 을 페이드 유닛 (770) 으로 포워딩할 수도 있다.
추출 유닛 (72) 은 또한, 주변 HOA 계수들 중 하나가 전이 중인 시점을 나타내는 신호 (757) 를 페이드 유닛 (770) 으로 출력할 수도 있으며, 그 페이드 유닛은 그 후 SHCBG (47') (여기서, SHCBG (47') 는 또한 "주변 HOA 채널들 (47')" 또는 "주변 HOA 계수들 (47')" 로서 표기될 수도 있음) 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들 중 어느 것이 페이드-인되거나 또는 페이드-아웃되는지를 결정할 수도 있다. 일부 예들에서, 페이드 유닛 (770) 은 주변 HOA 계수들 (47') 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 각각에 대하여 반대로 동작할 수도 있다. 즉, 페이드 유닛 (770) 은 주변 HOA 계수들 (47') 의 대응하는 하나에 대하여 페이드-인 또는 페이드-아웃, 또는 페이드-인 또는 페이드-아웃 양자 모두를 수행하면서, 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 대응하는 하나에 대해 페이드-인 또는 페이드-아웃 또는 페이드-인 및 페이드-아웃 양자 모두를 수행할 수도 있다. 페이드 유닛 (770) 은 조정된 주변 HOA 계수들 (47'') 을 HOA 계수 포뮬레이션 유닛 (82) 으로, 그리고 조정된 포어그라운드 V[k] 벡터들 (55k''') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 출력할 수도 있다. 이 점에서, 페이드 유닛 (770) 은 예를 들어, 주변 HOA 계수들 (47') 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 형태로, HOA 계수들 또는 그 유도체들의 다양한 양태들에 대하여 페이드 동작을 수행하도록 구성된 유닛을 나타낸다.
포어그라운드 포뮬레이션 유닛 (78) 은 조정된 포어그라운드 V[k] 벡터들 (55k''') 및 보간된 nFG 신호들 (49') 에 대하여 행렬 곱셈을 수행하여 포어그라운드 HOA 계수들 (65) 을 생성하도록 구성된 유닛을 나타낼 수도 있다. 이 점에서, 포어그라운드 포뮬레이션 유닛 (78) 은 (보간된 nGF 신호들 (49') 을 표기하는 다른 방식인) 오디오 오브젝트들 (49') 을 벡터들 (55k''') 과 결합하여, 포어그라운드, 또는 다시 말하면 HOA 계수들 (11') 의 우세한 양태들을 복원할 수도 있다. 포어그라운드 포뮬레이션 유닛 (78) 은 조정된 포어그라운드 V[k] 벡터들 (55k''') 에 의한 보간된 nFG 신호들 (49') 의 행렬 곱셈을 수행할 수도 있다.
HOA 계수 포뮬레이션 유닛 (82) 은 HOA 계수들 (11') 을 획득하기 위해 포어그라운드 HOA 계수들 (65) 을 조정된 주변 HOA 계수들 (47") 에 결합하도록 구성된 유닛을 나타낼 수도 있다. 프라임 표기는, HOA 계수들 (11') 이 HOA 계수들 (11) 과 유사하지만 동일하지는 않다는 것을 반영한다. HOA 계수들 (11 과 11') 간의 차이들은 손실 있는 송신 매체, 양자화 또는 다른 손실 있는 동작들을 통한 송신으로 인한 손실에 기인할 수도 있다.
UHJ 는 제 1-차수 앰비소닉스 콘텐트로부터 2-채널 스테레오 스트림을 생성하는데 사용되었던 행렬 변환 방법이다. UHJ 는 FM 송신기를 통해 스테레오 또는 단지-가로방향 서라운드 콘텐트를 송신하도록 과거에 사용되었다. 그러나, UHJ 는 FM 송신기들에서의 사용에 제한되지 않는 것이 인식될 것이다. MPEG-H HOA 인코딩 스킴에서, HOA 백그라운드 채널들은 모드 행렬과 사전-프로세싱되어 HOA 백그라운드 채널들을 공간 도메인에서 직교 포인트들로 전환할 수도 있다. 변환된 채널들은 그 후, USAC 또는 AAC 를 통해 지각적으로 코딩된다.
본 개시물의 기법들은 일반적으로, 이 모드 행렬을 사용하는 대신에 HOA 백그라운드 채널들의 코딩의 적용에서 UHJ 변환 (또는 위상-기반 변환) 을 사용하는 것에 관한 것이다. 양자의 방법들 ((1) 모드 행렬을 통해 공간 도메인으로 변환 (2) UHJ 변환) 은 일반적으로, 디코딩된 사운드필드 내에서 (잠재적으로는 원하지 않는) 잡음 언마스킹의 영향을 초래할 수도 있는 HOA 백그라운드 채널들 간의 상관을 감소시키는 것에 관한 것이다.
따라서, 오디오 디코딩 디바이스 (24) 는, 예들에서 적어도 좌측 신호 및 우측 신호를 갖는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 것으로서, 주변 앰비소닉 계수들은 복수의 고차 앰비소닉 계수들로부터 추출되고 복수의 고차 앰비소닉 계수들에 의해 설명된 사운드필드의 백그라운드 컴포넌트를 나타내며, 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 보다 큰 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하며, 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 스피커 피드를 생성하도록 구성된 디바이스를 나타낼 수도 있다. 일부 예들에서, 디바이스는 또한, 주변 앰비소닉 계수들의 역상관된 표현에 재상관 변환을 적용하여, 복수의 상관된 주변 앰비소닉 계수들을 획득하도록 구성된다.
일부 예들에서, 재상관 변환을 적용하기 위해, 디바이스는 역 UHJ 행렬 (또는 위상-기반 변환) 을 주변 앰비소닉 계수들에 적용하도록 구성된다. 일부 예들에 따르면, 역 UHJ 행렬 (또는 역 위상-기반 변환) 은 N3D (풀 3-D) 정규화에 따라 정규화되었다. 일부 예들에 따르면, 역 UHJ 행렬 (또는 역 위상-기반 변환) 은 SN3D 정규화 (Schmidt 반-정규화) 에 따라 정규화되었다.
일부 예들에 따르면, 주변 앰비소닉 계수들은 제로의 차수 또는 1 의 차수를 갖는 구면 기저 함수들과 연관되고, 역 UHJ 행렬 (또는 역 위상-기반 변환) 을 적용하기 위해, 디바이스는 주변 앰비소닉 계수들의 역상관된 표현에 대하여 UHJ 행렬의 스칼라 곱을 수행하도록 구성된다. 일부 예들에서, 재상관 변환을 적용하기 위해, 디바이스는 역 모드 행렬을 주변 앰비소닉 계수들의 역상관된 표현에 적용하도록 구성된다. 일부 예들에서, 스피커 피드를 생성하기 위해, 디바이스는 스테레오 재생 시스템에 의한 출력을 위해, 좌측 신호에 기초하여 좌측 스피커 피드를 그리고 우측 신호에 기초하여 우측 스피커 피드를 생성하도록 구성된다.
일부 예들에서, 스피커 피드를 생성하기 위해, 디바이스는 우측 및 좌측 신호들에 재상관 변환을 적용하지 않고, 좌측 신호를 좌측 스피커 피드로서 그리고 우측 신호를 우측 스피커 피드로서 사용하도록 구성된다. 일부 예들에 따르면, 스피커 피드를 생성하기 위해, 디바이스는 모노 오디오 시스템에 의한 출력을 위해 좌측 신호 및 우측 신호를 믹스하도록 구성된다. 일부 예들에 따르면, 스피커 피드를 생성하기 위해, 디바이스는 하나 이상의 포어그라운드 채널들과 상관된 주변 앰비소닉 계수들을 결합하도록 구성된다.
일부 예들에 따르면, 디바이스는 또한, 상관된 주변 앰비소닉 계수들을 결합하기 위해 이용 가능한 포어그라운드 채널들이 없다는 것을 결정하도록 구성된다. 일부 예들에서, 디바이스는 또한, 사운드필드가 모노-오디오 재생 시스템을 통해 출력되는 것이라고 결정하고, 모노-오디오 재생 시스템에 의한 출력을 위한 데이터를 포함하는 역상관된 고차 앰비소닉 계수들의 적어도 서브세트를 디코딩하도록 구성된다. 일부 예들에서, 디바이스는 또한, 주변 앰비소닉 계수들의 역상관된 표현이 역상관 변환으로 역상관되었다는 표시를 획득하도록 구성된다. 일부 예들에 따르면, 디바이스는 주변 앰비소닉 계수들의 역상관된 표현에 기초하여 생성된 스피커 피드를 출력하도록 구성된 라우드스피커 어레이를 더 포함한다.
도 5 는 본 개시물에 설명된 벡터-기반 합성 기법들의 다양한 양태들을 수행하는데 있어서, 오디오 인코딩 디바이스, 예컨대 도 3 의 예에 도시된 오디오 인코딩 디바이스 (20) 의 예시적인 동작을 예시하는 플로우차트이다. 처음에, 오디오 인코딩 디바이스 (20) 는 HOA 계수들 (11) 을 수신한다 (106). 오디오 인코딩 디바이스 (20) 는, LIT 유닛 (30) 을 인보크할 수도 있는데, 이 LIT 유닛은 HOA 계수들에 대하여 LIT 를 적용하여 변환된 HOA 계수들 (예를 들어, SVD 의 경우에서, 변환된 HOA 계수들은 US[k] 벡터들 (33) 및 V[k] 벡터들 (35) 을 포함할 수도 있음) 을 출력할 수도 있다 (107).
오디오 인코딩 디바이스 (20) 는 다음으로, US[k] 벡터들 (33), US[k-1] 벡터들 (33), V[k] 및/또는 V[k-1] 벡터들 (35) 의 임의의 조합에 대하여 전술된 분석을 수행하여 전술된 방식으로 다양한 파라미터들을 식별하도록 파라미터 계산 유닛 (32) 을 인보크할 수도 있다. 즉, 파라미터 계산 유닛 (32) 은 변환된 HOA 계수들 (33/35) 의 분석에 기초하여 적어도 하나의 파라미터를 결정할 수도 있다 (108).
오디오 인코딩 디바이스 (20) 는 그 후, 리오더 유닛 (34) 을 인보크할 수도 있는데, 이 리오더 유닛은 전술된 바와 같이 파라미터에 기초하여 (다시 SVD 의 맥락에서, US[k] 벡터들 (33) 및 V[k] 벡터들 (35) 을 지칭할 수도 있는) 변환된 HOA 계수들을 리오더링하여, 리오더링된 변환된 HOA 계수들 (33'/35') 을 (또는, 다시 말하면 US[k] 벡터들 (33') 및 V[k] 벡터들 (35')) 을 생성할 수도 있다 (109). 오디오 인코딩 디바이스 (20) 는, 상기 동작들 또는 후속의 동작들 중 어느 하나 동안, 사운드필드 분석 유닛 (44) 을 인보크할 수도 있다. 사운드필드 분석 유닛 (44) 은, 전술된 바와 같이, HOA 계수들 (11) 및/또는 변환된 HOA 계수들 (33/35) 에 대하여 사운드필드 분석을 수행하여, 포어그라운드 채널들 (nFG)(45) 의 총 개수, 백그라운드 사운드필드 (NBG) 의 차수 및 (총괄하여 도 3 의 예에서 백그라운드 채널 정보 (43) 로서 표기될 수도 있는) 전송할 추가적인 BG HOA 채널들의 개수 (nBGa) 와 인덱스들 (i) 을 결정할 수도 있다 (109).
오디오 인코딩 디바이스 (20) 는 또한, 백그라운드 선택 유닛 (48) 을 인보크할 수도 있다. 백그라운드 선택 유닛 (48) 은 백그라운드 채널 정보 (43) 에 기초하여 백그라운드 또는 주변 HOA 계수들 (47) 을 결정할 수도 있다 (110). 오디오 인코딩 디바이스 (20) 는 또한, 포어그라운드 선택 유닛 (36) 을 인보크할 수도 있는데, 이 포어그라운드 선택 유닛은, (포어그라운드 벡터들을 식별하는 하나 이상의 인덱스들을 나타낼 수도 있는) nFG (45) 에 기초하여 사운드필드의 별개의 컴포넌트들 또는 포어그라운드를 나타내는 리오더링된 US[k] 벡터들 (33') 및 리오더링된 V[k] 벡터들 (35') 을 선택할 수도 있다 (112).
오디오 인코딩 디바이스 (20) 는 에너지 보상 유닛 (38) 을 인보크할 수도 있다. 에너지 보상 유닛 (38) 은 주변 HOA 계수들 (47) 에 대하여 에너지 보상을 수행하여, 백그라운드 선택 유닛 (48) 에 의한 HOA 계수들의 다양한 것들의 제거로 인한 에너지 손실을 보상하고 (114) 이에 의해 에너지 보상된 주변 HOA 계수들 (47') 을 생성할 수도 있다.
오디오 인코딩 디바이스 (20) 는 또한, 시공간적 보간 유닛 (50) 을 인보크할 수도 있다. 시공간적 보간 유닛 (50) 은 리오더링된 변환된 HOA 계수들 (33'/35') 에 대하여 시공간 보간을 수행하여, ("보간된 nFG 신호들 (49')" 로서 또한 지칭될 수도 있는) 보간된 포어그라운드 신호들 (49') 및 ("V[k] 벡터들 (53)" 로서 또한 지칭될 수도 있는) 나머지 포어그라운드 방향성 정보 (53) 를 획득할 수도 있다 (116). 오디오 인코딩 디바이스 (20) 는 그 후, 계수 감축 유닛 (46) 을 인보크할 수도 있다. 계수 감축 유닛 (46) 은 백그라운드 채널 정보 (43) 에 기초하여 나머지 포어그라운드 V[k] 벡터들 (53) 에 대하여 계수 감축을 수행하여, (감소된 포어그라운드 V[k] 벡터들 (55) 로서 또한 지칭될 수도 있는) 감소된 포어그라운드 방향성 정보 (55) 를 획득할 수도 있다 (118).
오디오 인코딩 디바이스 (20) 는 그 후, 전술된 방식으로, 감소된 포어그라운드 V[k] 벡터들 (55) 을 압축하고 코딩된 포어그라운드 V[k] 벡터들 (57) 을 생성하도록 (120) 양자화 유닛 (52) 을 인보크할 수도 있다. 오디오 인코딩 디바이스 (20) 는 또한, HOA 계수들 (47') 의 백그라운드 신호들 간의 상관을 감소 또는 제거하도록 위상시프트 역상관을 적용하여 하나 이상의 역상관된 HOA 계수들 (47") 을 형성하도록 (121) 역상관 유닛 (40') 을 인보크할 수도 있다.
오디오 인코딩 디바이스 (20) 는 또한, 음향심리 오디오 코더 유닛 (40) 을 인보크할 수도 있다. 음향심리 오디오 코더 유닛 (40) 은 에너지 보상된 주변 HOA 계수들 (47') 및 보간된 nFG 신호들 (49') 의 각각의 벡터를 음향심리학적으로 코딩하여, 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 생성할 수도 있다. 오디오 인코딩 디바이스는 그 후, 비트스트림 생성 유닛 (42) 을 인보크할 수도 있다. 비트스트림 생성 유닛 (42) 은 코딩된 포어그라운드 방향성 정보 (57), 코딩된 주변 HOA 계수들 (59), 코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 에 기초하여 비트스트림 (21) 을 생성할 수도 있다.
도 6a 는 본 개시물에 설명된 기법들의 다양한 양태들을 수행하는데 있어서, 도 4 에 도시된 오디오 디코딩 디바이스 (24) 와 같은 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다. 처음에, 오디오 디코딩 디바이스 (24) 는 비트스트림 (21) 을 수신할 수도 있다 (130). 비트스트림 수신 시에, 오디오 디코딩 디바이스 (24) 는 추출 유닛 (72) 을 인보크할 수도 있다. 논의의 목적을 위해, 벡터-기반 복원이 수행될 것이라는 것을 비트스트림 (21) 이 나타낸다고 가정하면, 추출 유닛 (72) 은 비트스트림을 파싱하여 전술된 정보를 취출하여, 이 정보를 벡터-기반 복원 유닛 (92) 으로 패스할 수도 있다.
다시 말하면, 추출 유닛 (72) 은 (다시 코딩된 포어그라운드 V[k] 벡터들 (57) 로서 또한 지칭될 수도 있는) 코딩된 포어그라운드 방향성 정보 (57), 코딩된 주변 HOA 계수들 (59) 및 (코딩된 포어그라운드 nFG 신호들 (59) 또는 코딩된 포어그라운드 오디오 오브젝트들 (59) 로서 또한 지칭될 수도 있는) 코딩된 포어그라운드 신호들을 비트스트림 (21) 으로부터 전술된 방식으로 추출할 수도 있다 (132).
오디오 디코딩 디바이스 (24) 는 또한, 역양자화 유닛 (74) 을 인보크할 수도 있다. 역양자화 유닛 (74) 은 코딩된 포어그라운드 방향성 정보 (57) 를 엔트로피 디코딩 및 역양자화하여, 감소된 포어그라운드 방향성 정보 (55k) 를 획득할 수도 있다 (136). 오디오 디코딩 디바이스 (24) 는 또한, 재상관 유닛 (81) 을 인보크할 수도 있다. 재상관 유닛 (81) 은 하나 이상의 재상관 변환들을 에너지 보상된 주변 HOA 계수들 (47') 에 적용하여, 하나 이상의 재상관된 HOA 계수들 (47")(또는 상관된 HOA 계수들 (47")) 을 획득할 수도 있고, 상관된 HOA 계수들 (47") 을 (선택적으로, 페이드 유닛 (770) 을 통해) HOA 계수 포뮬레이션 유닛 (82) 으로 패스할 수도 있다 (137). 오디오 디코딩 디바이스 (24) 는 또한, 음향심리 디코딩 유닛 (80) 을 인보크할 수도 있다. 음향심리 오디오 디코딩 유닛 (80) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 포어그라운드 신호들 (61) 을 디코딩하여, 에너지 보상된 주변 HOA 계수들 (47') 및 보간된 포어그라운드 신호들 (49') 을 획득할 수도 있다 (138). 음향심리 디코딩 유닛 (80) 은 에너지 보상된 주변 HOA 계수들 (47') 을 페이드 유닛 (770) 으로, 그리고 nFG 신호들 (49') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 패스할 수도 있다.
오디오 디코딩 디바이스 (24) 는 다음으로, 시공간적 보간 유닛 (76) 을 인보크할 수도 있다. 시공간적 보간 유닛 (76) 은 리오더링된 포어그라운드 방향성 정보 (55k') 를 수신하고, 감소된 포어그라운드 방향성 정보(55k/55k-1) 에 대하여 시공간 보간을 수행하여 보간된 포어그라운드 방향성 정보 (55k") 를 생성할 수도 있다 (140). 시공간적 보간 유닛 (76) 은 보간된 포어그라운드 V[k] 벡터들 (55k") 을 페이드 유닛 (770) 으로 포워딩할 수도 있다.
오디오 디코딩 디바이스 (24) 는 페이드 유닛 (770) 을 인보크할 수도 있다. 페이드 유닛 (770) 은, 에너지 보상된 주변 HOA 계수들 (47') 이 전이 중인 경우를 나타내는 신택스 엘리먼트들 (예를 들어, AmbCoeffTransition 신택스 엘리먼트) 을 (예를 들어, 추출 유닛 (72) 으로부터) 수신 또는 다르게는 획득할 수도 있다. 페이드 유닛 (770) 은, 전이 신택스 엘리먼트들 및 유지된 전이 상태 정보에 기초하여, 에너지 보상된 주변 HOA 계수들 (47') 을 페이드-인 또는 페이드-아웃하여 조정된 주변 HOA 계수들 (47") 을 HOA 계수 포뮬레이션 유닛 (82) 으로 출력할 수도 있다. 페이드 유닛 (770) 은 또한, 신택스 엘리먼트들 및 유지된 전이 상태 정보에 기초하여, 보간된 포어그라운드 V[k] 벡터들 (55k") 의 대응하는 하나 이상의 엘리먼트들을 페이드-아웃 또는 페이드-인하여 조정된 포어그라운드 V[k] 벡터들 (55k''') 를 포어그라운드 포뮬레이션 유닛 (78) 으로 출력할 수도 있다 (142).
오디오 디코딩 디바이스 (24) 는 포어그라운드 포뮬레이션 유닛 (78) 을 인보크할 수도 있다. 포어그라운드 포뮬레이션 유닛 (78) 은 조정된 포어그라운드 방향성 정보 (55k''') 에 의한 nFG 신호들 (49') 의 행렬 곱셈을 수행하여, 포어그라운드 HOA 계수들 (65) 을 획득할 수도 있다 (144). 오디오 디코딩 디바이스 (24) 는 또한, HOA 계수 포뮬레이션 유닛 (82) 을 인보크할 수도 있다. HOA 계수 포뮬레이션 유닛 (82) 은 HOA 계수들 (11') 을 획득하도록 포어그라운드 HOA 계수들 (65) 을 조정된 주변 HOA 계수들 (47") 에 추가할 수도 있다 (146).
도 6b 는 본 개시물에 설명된 코딩 기법들을 수행하는데 있어서 오디오 인코딩 디바이스 및 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다. 도 6b 는 본 개시물의 하나 이상의 양태들에 따라, 예시의 인코딩 및 디코딩 프로세스 (160) 를 예시하는 플로우차트이다. 프로세스 (160) 는 다양한 디바이스들에 의해 수행될 수도 있으나, 논의의 용이함을 위해, 프로세스 (160) 는 전술된 오디오 인코딩 디바이스 (20) 및 오디오 디코딩 디바이스 (24) 에 대하여 본원에 설명된다. 프로세스 (160) 의 인코딩 및 디코딩 섹션들은 도 6b 에서의 점선을 사용하여 경계가 표시된다. 프로세스 (160) 는 HOA 공간 인코딩을 사용하여 HOA 입력으로부터 제 1 차수 HOA 백그라운드 채널들 (166) 및 포어그라운드 채널들 (164) 을 생성하는 (162) 오디오 인코딩 디바이스 (20) 의 하나 이상의 컴포넌트들 (예를 들어, 포어그라운드 선택 유닛 (36) 및 백그라운드 선택 유닛 (48)) 로 시작할 수도 있다. 이어서, 역상관 유닛 (40') 은 역상관 변환을 (예를 들어, 위상-기반 역상관 변환 또는 행렬의 형태로) 에너지 보상된 주변 HOA 계수들 (47') 에 적용할 수도 있다. 보다 구체적으로, 오디오 인코딩 디바이스 (20) 는 UHJ 행렬 또는 위상-기반 역상관 변환을 (예를 들어, 스칼라 곱에 의해) 에너지 보상된 주변 HOA 계수들 (47') 에 적용할 수도 있다 (168).
일부 예들에서, 역상관 유닛 (40') 이 HOA 백그라운드 채널들이 더 적은 수의 채널들 (예를 들어, 4) 을 포함한다고 결정하면, 역상관 유닛 (40') 은 UHJ 행렬 (또는 위상-기반 변환) 을 적용할 수도 있다. 반대로, 이들 예들에서, 역상관 유닛 (40') 이, HOA 백그라운드 채널들이 더 많은 수의 채널들 (예를 들어, 9) 을 포함한다고 결정하면, 오디오 인코딩 디바이스 (20) 는 UHJ 행렬 (예컨대, MPEG-H 표준에 설명된 모드 행렬) 과 상이한 역상관 변환을 선택하여 HOA 백그라운드 채널들에 적용할 수도 있다. 역상관 변환 (예를 들어, UHJ 행렬) 을 HOA 백그라운드 채널들에 적용함으로써, 오디오 인코딩 디바이스 (20) 는 역상관된 HOA 백그라운드 채널들을 획득할 수도 있다.
도 6b 에 도시된 바와 같이, (예를 들어, 음향심리 오디오 코더 유닛 (40) 을 인보크함으로써) 오디오 인코딩 디바이스 (20) 는 (예를 들어, AAC 및/또는 USAC 를 적용함으로써) 역상관된 HOA 백그라운드 신호들에 시간적 인코딩을 적용하고 (170), 임의의 포어그라운드 채널들에 시간적 인코딩을 적용 (166) 할 수도 있다. 일부 시나리오들에서, 음향심리 오디오 코더 유닛 (40) 은, 포어그라운드 채널들의 개수가 0 일 수도 있다고 결정할 수도 있다 (즉, 이들 시나리오들에서, 음향심리 오디오 코더 유닛 (40) 은 HOA 입력으로부터 어떤 포어그라운드 채널들도 획득하지 않을 수도 있다). AAC 및/또는 USAC 가 스테레오 오디오 데이터에 최적화되지 않거나 다르게는 잘-적합하지 않을 수도 있기 때문에, 역상관 유닛 (40') 은 HOA 백그라운드 채널들 간의 상관을 감소시키거나 제거하도록 역상관 행렬을 적용할 수도 있다. 역상관된 HOA 백그라운드 채널들에서 나타난 감소된 상관은, AAC 및 USAC 는 스테레오 오디오 데이터에 대해 최적화되지 않을 수도 있기 때문에 AAC/USAC 시간적 인코딩 스테이지에서 잡음 언마스킹을 완화 또는 제거하는 잠재적인 이점을 제공한다.
이어서, 오디오 디코딩 디바이스 (24) 는 오디오 인코딩 디바이스 (20) 에 의해 출력된 인코딩된 비트스트림의 시간적 디코딩을 수행할 수도 있다. 프로세스 (160) 의 예에서, 오디오 디코딩 디바이스 (24) 의 하나 이상의 컴포넌트들 (예를 들어, 음향심리 디코딩 유닛 (80)) 은 (임의의 포어그라운드 채널들이 비트스트림에 포함된다면) 포어그라운드 채널들에 대하여 시간적 디코딩 (172) 을 그리고 백그라운드 채널들에 대하여 시간적 디코딩 (174) 을 별개로 수행할 수도 있다. 부가적으로, 재상관 유닛 (81) 은 시간적으로 디코딩된 HOA 백그라운드 채널들에 재상관 변환을 적용할 수도 있다. 일 예로서, 재상관 유닛 (81) 은 역상관 유닛 (40') 에 상반된 방식으로 역상관 변환을 적용할 수도 있다. 예를 들어, 프로세스 (160) 의 특정 예에서 설명된 바와 같이, 재상관 유닛 (81) 은 시간적으로 디코딩된 HOA 백그라운드 신호들에 UHJ 행렬 또는 위상-기반 변환을 적용할 수도 있다 (176).
일부 예들에서, 재상관 유닛 (81) 이, 시간적으로 디코딩된 HOA 백그라운드 채널들이 더 적은 수의 채널들 (예를 들어, 4) 을 포함한다고 결정하면, 재상관 유닛 (81) 은 UHJ 행렬 또는 위상-기반 변환을 적용할 수도 있다. 반대로, 이들 예들에서, 재상관 유닛 (81) 이, 시간적으로 디코딩된 HOA 백그라운드 채널들이 더 많은 수의 채널들 (예를 들어, 9) 을 포함한다고 결정하면, 재상관 유닛 (81) 은 UHJ 행렬 (예컨대, MPEG-H 표준에 설명된 모드 행렬) 과는 상이한 역상관 변환을 선택하여 HOA 백그라운드 채널들에 적용할 수도 있다.
부가적으로, HOA 계수 포뮬레이션 유닛 (82) 은 상관된 HOA 백그라운드 채널들, 및 임의의 이용 가능한 디코딩된 포어그라운드 채널들의 HOA 공간적 디코딩을 수행할 수도 있다 (178). 이어서, HOA 계수 포뮬레이션 유닛 (82) 은 디코딩된 오디오 신호들을 하나 이상의 출력 디바이스들, 예컨대 라우드스피커들 및/또는 헤드폰들 (스테레오 또는 서라운드-사운드 성능들을 갖는 출력 디바이스들을 포함하지만 이에 제한되지 않음) 에 렌더링할 수도 있다 (180).
상기 기법들은 임의의 개수의 상이한 맥락들 및 오디오 에코시스템들에 대하여 수행될 수도 있다. 다수의 예시의 맥락들이 이하에서 설명되지만, 기법들은 이 예시의 맥락들에 제한되지 않아야 한다. 일 예의 오디오 에코시스템은 오디오 콘텐트, 영화 스튜디오들, 음악 스튜디오들, 게이밍 오디오 스튜디오들, 채널 기반 오디오 콘텐트, 코딩 엔진들, 게임 오디오 스템들, 게임 오디오 코딩/렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있다.
영화 스튜디오들, 음악 스튜디오들, 및 게이밍 오디오 스튜디오들은 오디오 콘텐트를 수신할 수도 있다. 일부 예들에서, 오디오 콘텐트는 획득의 출력을 나타낼 수도 있다. 영화 스튜디오들은 채널 기반 오디오 콘텐트를 (예를 들어, 2.0, 5.1, 및 7.1 에서) 예컨대, 디지털 오디오 워크스테이션 (digital audio workstation; DAW) 을 사용함으로써 출력할 수도 있다. 음악 스튜디오들은 채널 기반 오디오 콘텐트를 (예를 들어, 2.0 및 5.1 에서) 예컨대, DAW 를 사용함으로써 출력할 수도 있다. 어느 경우에나, 코딩 엔진들은 전달 시스템에 의한 출력을 위해 채널 기반 오디오 콘텐트 기반의 하나 이상의 코덱들 (예를 들어, AAC, AC3, 돌비 트루 HD, 돌비 디지털 플러스, 및 DTS 마스터 오디오) 을 수신 및 인코딩할 수도 있다. 게이밍 오디오 스튜디오들은 하나 이상의 게임 오디오 스템들을 예컨대 DAW 를 사용함으로써 출력할 수도 있다. 게임 오디오 코딩/렌더링 엔진들은 전달 시스템들에 의한 출력을 위해 오디오 스템들을 채널 기반 오디오 콘텐트로 코딩하고/하거나 렌더링할 수도 있다. 본 기법들이 수행될 수도 있는 다른 예시의 맥락은 브로드캐스트 레코딩 오디오 오브젝트들, 전문 오디오 시스템들, 소비자 온-디바이스 캡처, HOA 오디오 포맷, 온-디바이스 렌더링, 소비자 오디오, TV 및 부속물들, 및 카 오디오 시스템들을 포함할 수도 있는 오디오 에코시스템을 포함한다.
브로드캐스트 레코딩 오디오 오브젝트들, 전문 오디오 시스템들, 및 소비자 온-디바이스 캡처는 HOA 오디오 포맷을 사용하여 그 출력을 모두 코딩할 수도 있다. 이 방식으로, 오디오 콘텐트는 HOA 오디오 포맷을 사용하여, 온-디바이스 렌더링, 소비자 오디오, TV, 및 부속물들, 및 카 오디오 시스템들을 사용하여 재생될 수도 있는 단일 표현으로 코딩될 수도 있다. 다시 말하면, 오디오 콘텐트의 단일 표현은 오디오 재생 시스템 (16) 과 같은, (즉, 5.1, 7.1 과 같은 특정 구성을 요구하는 것과는 대조적으로) 일반적인 오디오 재생 시스템에서 재생될 수도 있다.
본 기법들이 수행될 수도 있는 맥락의 다른 예들은 획득 엘리먼트들, 및 재생 엘리먼트들을 포함할 수도 있는 오디오 에코시스템을 포함한다. 획득 엘리먼트들은 유선 및/또는 무선 획득 디바이스들 (예를 들어, 아이겐 (Eigen) 마이크로폰들), 온-디바이스 서라운드 사운드 캡처, 및 모바일 디바이스들 (예를 들어, 스마트폰들 및 태블릿들) 을 포함할 수도 있다. 일부 예들에서, 유선 및/또는 무선 획득 디바이스들은 유선 및/또는 무선 통신 채널(들)을 통해 모바일 디바이스에 커플링될 수도 있다.
본 개시물의 하나 이상의 기법들에 따르면, 모바일 디바이스는 사운드필드를 획득하는데 사용될 수도 있다. 예를 들어, 모바일 디바이스는 유선 및/또는 무선 획득 디바이스들 및/또는 온-디바이스 서라운드 사운드 캡처 (예를 들어, 모바일 디바이스에 통합된 복수의 마이크로폰들) 를 통해 사운드필드를 획득할 수도 있다. 모바일 디바이스는 그 후, 재생 엘리먼트들 중 하나 이상에 의한 재생을 위해 그 획득된 사운드필드를 HOA 계수들로 코딩할 수도 있다. 예를 들어, 모바일 디바이스의 사용자는 라이브 이벤트 (예를 들어, 미팅, 회의, 연극, 콘서트 등) 를 레코딩 (이것의 사운드필드를 획득) 하고, 그 레코딩을 HOA 계수들로 코딩할 수도 있다.
모바일 디바이스는 또한, 재생 엘리먼트들 중 하나 이상을 이용하여 HOA 코딩된 사운드필드를 재생할 수도 있다. 예를 들어, 모바일 디바이스는 HOA 코딩된 사운드필드를 디코딩하고, 재생 엘리먼트들 중 하나 이상으로 하여금 사운드필드를 재생하게 하는 신호를 재생 엘리먼트들 중 하나 이상으로 출력할 수도 있다. 일 예로서, 모바일 디바이스는 유선 및/또는 무선 통신 채널을 이용하여 하나 이상의 스피커들 (예를 들어, 스피커 어레이들, 사운드 바들 등) 로 신호를 출력할 수도 있다. 다른 예로서, 모바일 디바이스는 도킹 솔루션들을 이용하여, 신호를 하나 이상의 도킹 스테이션들 및/또는 하나 이상의 도킹된 스피커들 (예를 들어, 스마트 카들 및/또는 홈들에서의 사운드 시스템들) 을 출력할 수도 있다. 다른 예로서, 모바일 디바이스는 헤드폰 렌더링을 이용하여, 예를 들어, 현실적인 바이노럴 사운드를 생성하기 위해 신호를 헤드폰들의 세트로 출력할 수도 있다.
일부 예들에서, 특정 모바일 디바이스는 3D 사운드필드를 획득할 뿐만 아니라 동일한 3D 사운드필드를 추후에 재생할 수도 있다. 일부 예들에서, 모바일 디바이스는 재생을 위해, 3D 사운드필드를 획득하고, 3D 사운드필드를 HOA 로 인코딩하며, 인코딩된 3D 사운드필드를 하나 이상의 다른 디바이스들 (예를 들어, 다른 모바일 디바이스들 및/또는 다른 비-모바일 디바이스들) 로 송신할 수도 있다.
본 기법들이 수행될 수도 있는 또 다른 맥락은 오디오 콘텐트, 게임 스튜디오들, 코딩된 오디오 콘텐트, 렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있는 오디오 에코시스템을 포함한다. 일부 예들에서, 게임 스튜디오들은 HOA 신호들의 편집을 지원할 수도 있는 하나 이상의 DAW들을 포함할 수도 있다. 예를 들어, 하나 이상의 DAW들은, 하나 이상의 게임 오디오 시스템들과 동작 (예를 들어, 이들과 작업) 하도록 구성될 수도 있는 툴들 및/또는 HOA 플러그인들을 포함할 수도 있다. 일부 예들에서, 게임 스튜디오들은 HOA 를 지원하는 새로운 스템 포맷들을 출력할 수도 있다. 어쨌든, 게임 스튜디오들은 전달 시스템들에 의한 재생을 위해, 코딩된 오디오 콘텐트를, 사운드필드를 렌더링할 수도 있는 렌더링 엔진들로 출력할 수도 있다.
본 기법들은 또한, 예시적인 오디오 획득 디바이스들에 대하여 수행될 수도 있다. 예를 들어, 이 기법들은, 3D 사운드필드를 레코딩하도록 집합적으로 구성되는 복수의 마이크로폰들을 포함할 수도 있는 아이겐 마이크로폰에 대하여 수행될 수도 있다. 일부 예들에서, 아이겐 마이크로폰의 복수의 마이크로폰들은 대략 4cm 의 반경을 갖는 실질적으로 구형인 볼의 표면에 위치될 수도 있다. 일부 예들에서, 오디오 인코딩 디바이스 (20) 는, 마이크로폰으로부터 직접 비트스트림 (21) 을 출력하도록 아이겐 마이크로폰에 통합될 수도 있다.
다른 예시적인 오디오 획득 맥락은 하나 이상의 마이크로폰들, 예컨대 하나 이상의 아이겐 마이크로폰들로부터 신호를 수신하도록 구성될 수도 있는 프로덕션 트럭을 포함할 수도 있다. 프로덕션 트럭은 또한, 오디오 인코더, 예컨대 도 3 의 오디오 인코더 (20) 를 포함할 수도 있다.
모바일 디바이스는 또한, 일부 경우들에서, 3D 사운드필드를 레코딩하도록 집합적으로 구성되는 복수의 마이크로폰들을 포함할 수도 있다. 다시 말하면, 복수의 마이크로폰은 X, Y, Z 다이버시티를 가질 수도 있다. 일부 예들에서, 모바일 디바이스는 모바일 디바이스의 하나 이상의 다른 마이크로폰들에 대하여 X, Y, Z 다이버시티를 제공하도록 회전될 수도 있는 마이크로폰을 포함할 수도 있다. 모바일 디바이스는 또한, 오디오 인코더, 예컨대 도 3 의 오디오 인코더 (20) 를 포함할 수도 있다.
러기다이즈드 (ruggedized) 비디오 캡처 디바이스는 또한, 3D 사운드필드를 레코딩하도록 구성될 수도 있다. 일부 예들에서, 러기다이즈드 비디오 캡처 디바이스는 활동에 참여된 사용자의 헬멧에 부착될 수도 있다. 예를 들어, 러기다이즈드 비디오 캡처 디바이스는 사용자 급류 래프팅의 헬멧에 부착될 수도 있다. 이 방식에서, 러기다이즈드 비디오 캡처 디바이스는 사용자 주변의 모든 액션 (예를 들어, 사용자 뒤에서 부서지는 물, 사용자의 전방에서 말하고 있는 다른 래프터, 등) 을 나타내는 3D 사운드필드를 캡처할 수도 있다.
본 기법들은 또한, 3D 사운드필드를 레코딩하도록 구성될 수도 있는 부속물 강화된 (accessory enhanced) 모바일 디바이스에 대하여 수행될 수도 있다. 일부 예들에서, 모바일 디바이스는 하나 이상의 부속물들의 추가로, 위에서 논의된 모바일 디바이스들과 유사할 수도 있다. 예를 들어, 아이겐 마이크로폰은 부속물 강화된 모바일 디바이스를 형성하기 위해 위에서 언급된 모바일 디바이스에 부착될 수도 있다. 이 방식에서, 부속물 강화된 모바일 디바이스는, 단지 부속물 강화된 모바일 디바이스에 통합된 사운드 캡처 컴포넌트들을 사용하는 것보다 더 높은 품질 버전의 3D 사운드필드를 캡처할 수도 있다.
본 개시물에 설명된 기법들의 다양한 양태들을 수행할 수도 있는 예시의 오디오 재생 디바이스들이 이하에서 추가로 논의된다. 본 개시물의 하나 이상의 기법들에 따르면, 스피커들 및/또는 사운드 바들은 어떤 임의의 구성으로 배열될 수도 있지만 여전히 3D 사운드필드를 재생할 수도 있다. 더욱이, 일부 예들에서, 헤드폰 재생 디바이스들은 유선이나 무선 접속을 통해 디코더 (24) 에 커플링될 수도 있다. 본 개시물의 하나 이상의 기법들에 따르면, 사운드필드의 단일의 일반적인 표현은 스피커들, 사운드 바들, 및 헤드폰 재생 디바이스들의 임의의 조합 상에 사운드필드를 렌더링하도록 이용될 수도 있다.
다수의 상이한 예시의 오디오 재생 환경들은 또한, 본 개시물에 설명된 기법들의 다양한 양태들을 수행하기에 적합할 수도 있다. 예를 들어, 5.1 스피커 재생 환경, 2.0 (예를 들어, 스테레오) 스피커 재생 환경, 풀 높이 전방 라우드스피커들을 갖는 9.1 스피커 재생 환경, 22.2 스피커 재생 환경, 16.0 스피커 재생 환경, 자동차 스피커 재생 환경, 및 이어 버드 재생 환경을 갖는 모바일 디바이스 가 본 개시물에 설명된 기법들의 다양한 양태들을 수행하는데 적합한 환경들일 수도 있다.
본 개시물의 하나 이상의 기법들에 따르면, 사운드필드의 단일의 일반적인 표현이 상기의 재생 환경들 중 임의의 환경 상에서 사운드필드를 렌더링하도록 이용될 수도 있다. 부가적으로, 본 개시물의 기법들은 위에서 설명된 것과는 다른 재생 환경들 상에서의 재생을 위해 렌더러가 일반적인 표현으로부터 사운드필드를 렌더링할 수 있게 한다. 예를 들어, 설계 고려사항들이 7.1 스피커 재생 환경에 따른 스피커들의 적합한 배치를 방해하면 (예를 들어, 우측 서라운드 스피커를 배치하는 것이 가능하지 않으면), 본 개시물의 기법들은 재생이 6.1 스피커 재생 환경 상에서 달성될 수 있도록 렌더가 다른 6 개의 스피커들을 보상할 수 있게 한다.
더욱이, 사용자는 헤드폰들을 착용한 상태에서 스포츠 게임을 볼 수도 있다. 본 개시물의 하나 이상의 기법들에 따르면, 스포츠 게임의 3D 사운드필드가 획득될 수 있으며 (예를 들어, 하나 이상의 아이겐 마이크로폰들이 야구 경기장 내 및/또는 주변에 배치될 수도 있으며), 3D 사운드필드에 대응하는 HOA 계수들이 획득되어 디코더로 송신될 수도 있으며, 디코더가 HOA 계수들에 기초하여 3D 사운드필드를 복원하여 복원된 3D 사운드필드를 렌더러로 출력할 수도 있으며, 렌더러가 재생 환경의 유형 (예컨대, 헤드폰들) 에 관한 표시를 획득하여 복원된 3D 사운드필드를, 헤드폰들이 스포츠 게임의 3D 사운드필드의 표현을 출력할 수 있게 하는 신호들로 렌더링할 수도 있다.
전술된 다양한 경우들 각각에서, 오디오 인코딩 디바이스 (20) 는 오디오 인코딩 디바이스 (20) 가 수행하도록 구성되는 방법을 수행하거나 다르게는 이 방법의 각 단계를 수행하기 위한 수단을 포함할 수도 있다. 일부 경우들에서, 이 수단은 하나 이상의 프로세서들을 포함할 수도 있다. 일부 경우들에서, 하나 이상의 프로세서들은 비일시적 컴퓨터 판독가능 저장 매체에 저장된 명령들의 방식에 의해 구성된 특수 목적의 프로세서를 나타낼 수도 있다. 다시 말하면, 인코딩 예들의 세트들 각각에서 본 기법들의 다양한 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금 오디오 인코딩 디바이스 (20) 가 수행하도록 구성된 방법을 수행하게 하는 명령들이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공할 수 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 이 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 이를 통해 송신될 수도 있고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는, 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 데이터 저장 매체는 본 개시물에 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
유사하게, 전술된 다양한 경우들 각각에서, 오디오 디코딩 디바이스 (24) 는, 오디오 디코딩 디바이스 (24) 가 수행하도록 구성되는 방법을 수행하거나 다르게는 이 방법의 각 단계를 수행하기 위한 수단을 포함할 수도 있다는 것이 이해되어야 한다. 일부 경우들에서, 수단은 하나 이상의 프로세서들을 포함할 수도 있다. 일부 경우들에서, 하나 이상의 프로세서들은 비일시적 컴퓨터 판독가능 저장 매체에 저장된 명령들의 방식으로 구성된 특수 목적의 프로세서를 나타낼 수도 있다. 다시 말하면, 인코딩 예들의 세트들 각각에서 본 기법들의 다양한 양태들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금 오디오 디코딩 디바이스 (24) 가 수행하도록 구성된 방법을 수행하게 하는 명령들이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장 디바이스, 자기 디스크 저장 디바이스, 또는 다른 자기 저장 디바이스, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적인, 유형의 저장 매체에 관한 것으로 이해되어야 한다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크 (disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적 회로 (ASIC) 들, 필드 프로그램가능 로직 어레이 (FPGA) 들, 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서" 는 상기의 구조 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 또한, 일부 양태들에서, 본원에 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있고, 또는 결합형 코덱에 통합될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC), 또는 IC 들의 세트 (예를 들어, 칩 세트) 를 포함하는 광범위한 디바이스들 또는 장치들로 구현될 수도 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시물에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 차라리, 전술된 바와 같이 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 관련되어, 전술된 하나 이상의 프로세서들을 포함하는, 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공되고 또는 코덱 하드웨어 유닛에 결합될 수도 있다.
본 기법들의 다양한 양태들이 설명되었다. 본 기법들의 이들 및 다른 양태들이 다음의 청구범위 내에 있다.

Claims (40)

  1. 앰비소닉 오디오 데이터를 디코딩하는 방법으로서,
    오디오 디코딩 디바이스에 의해, 복수의 고차 앰비소닉 계수들에 의해 기술된 사운드필드의 백그라운드 컴포넌트를 나타내는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 단계로서, 상기 주변 앰비소닉 계수들의 역상관된 표현은 상기 사운드필드의 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되고, 상기 사운드필드를 기술하는 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 또는 0 의 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 단계; 및
    상기 오디오 디코딩 디바이스에 의해, 복수의 재상관된 주변 앰비소닉 계수들을 획득하도록 상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 재상관 변환을 적용하는 단계를 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 재상관 변환을 적용하는 단계는, 상기 오디오 디코딩 디바이스에 의해, 상기 주변 앰비소닉 계수들에 역 위상 기반 변환을 적용하는 단계를 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  3. 제 2 항에 있어서,
    상기 역 위상 기반 변환은 N3D (풀 3-D) 정규화 중 하나에 따라 정규화되는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  4. 제 2 항에 있어서,
    상기 역 위상 기반 변환은 SN3D 정규화 (Schmidt 반-정규화) 에 따라 정규화되는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  5. 제 2 항에 있어서,
    상기 주변 앰비소닉 계수들은 0 의 차수 또는 1 의 차수를 갖는 구면 기저 함수들과 연관되고,
    상기 역 위상 기반 변환을 적용하는 단계는, 상기 오디오 디코딩 디바이스에 의해, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 대하여 위상 기반 변환의 스칼라 곱을 수행하는 단계를 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 오디오 디코딩 디바이스에 의해, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현이 역상관 변환으로 상기 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되었다는 표시를 획득하는 단계를 더 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 오디오 디코딩 디바이스에 의해, 상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드의 상기 하나 이상의 포어그라운드 컴포넌트들의 공간적 특징들을 정의하는 하나 이상의 공간 컴포넌트들을 획득하는 단계로서, 상기 공간 컴포넌트들은 구면 조화 도메인에서 정의되는, 상기 하나 이상의 공간 컴포넌트들을 획득하는 단계; 및
    상기 오디오 디코딩 디바이스에 의해, 상기 재상관된 주변 앰비소닉 계수들을 상기 하나 이상의 공간 컴포넌트들에 기초하여 획득된 하나 이상의 포어그라운드 채널들과 결합하는 단계를 더 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  8. 앰비소닉 오디오 데이터를 프로세싱하는 디바이스로서,
    프로세싱될 상기 앰비소닉 오디오 데이터의 적어도 부분을 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 메모리 디바이스에 저장된 상기 앰비소닉 오디오 데이터의 부분으로부터, 복수의 고차 앰비소닉 계수들에 의해 기술된 사운드필드의 백그라운드 컴포넌트를 나타내는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 것으로서, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현은 상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드의 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되고, 상기 사운드필드를 기술하는 상기 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 또는 0 의 차수를 갖는 구면 기저 함수와 연관되며, 상기 주변 앰비소닉 계수들의 역상관된 표현은 4 개의 계수 시퀀스들 CAMB,1, CAMB,2, CAMB,3, 및 CAMB,4 을 포함하는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하고; 그리고
    복수의 재상관된 주변 앰비소닉 계수들을 획득하도록 상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 재상관 변환을 적용하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  9. 제 8 항에 있어서,
    상기 4 개의 계수 시퀀스들 중 제 1 계수 시퀀스는 좌측 신호와 연관되고, 상기 4 개의 계수 시퀀스들 중 제 2 계수 시퀀스는 우측 신호와 연관되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  10. 제 9 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 우측 신호 및 상기 좌측 신호에 상기 재상관 변환을 적용하지 않고, 상기 좌측 신호를 좌측 스피커 피드로서 그리고 상기 우측 신호를 우측 스피커 피드로서 사용하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  11. 제 9 항에 있어서,
    상기 하나 이상의 프로세서들은 모노 오디오 시스템에 의한 출력을 위해 상기 좌측 신호 및 상기 우측 신호를 믹스하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  12. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 재상관된 주변 앰비소닉 계수들을 하나 이상의 포어그라운드 채널들과 결합하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  13. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 재상관된 주변 앰비소닉 계수들을 결합하기 위해 이용 가능한 포어그라운드 채널들이 없다는 것을 결정하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  14. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드가 모노-오디오 재생 시스템을 통해 출력되는 것을 결정하고; 그리고
    상기 모노-오디오 재생 시스템에 의한 출력을 위한 데이터를 포함하는 역상관된 상기 주변 앰비소닉 계수들의 적어도 서브세트를 디코딩하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  15. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 메모리 디바이스에 저장된 상기 앰비소닉 오디오 데이터의 부분으로부터, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현이 역상관 변환에 기초하여 상기 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되었다는 표시를 획득하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  16. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 복수의 재상관된 주변 앰비소닉 계수들에 기초하여 스피커 피드를 생성하도록 구성되고,
    상기 디바이스는 상기 하나 이상의 프로세서들에 커플링된 라우드스피커를 더 포함하며,
    상기 라우드스피커는 상기 재상관된 주변 앰비소닉 계수들에 기초하여 생성된 상기 스피커 피드를 출력하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  17. 오디오 데이터를 압축하는 디바이스로서,
    압축될 상기 오디오 데이터의 적어도 부분을 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    사운드필드를 기술하고 상기 메모리 디바이스에 저장된 상기 오디오 데이터에 포함되는 복수의 고차 앰비소닉 계수들로부터 상기 사운드필드의 백그라운드 컴포넌트를 나타내는 주변 앰비소닉 계수들을 추출하는 것으로서, 상기 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 또는 0 의 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들을 추출하고;
    추출된 상기 주변 앰비소닉 계수들을, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하도록 상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드의 하나 이상의 포어그라운드 컴포넌트로부터 역상관하기 위해 주변 앰비소닉 계수들에 위상 기반 변환을 적용하며; 그리고
    상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 기초하여 오디오 신호를 상기 메모리 디바이스에 저장하도록
    구성되는, 오디오 데이터를 압축하는 디바이스.
  18. 제 17 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 오디오 신호에, 하나 이상의 포어그라운드 채널들을 포함하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  19. 제 17 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 오디오 신호와 연관된 목표 비트레이트가 미리결정된 임계를 충족하거나 초과한다는 결정에 응답하여 역상관된 상기 주변 앰비소닉 계수들을 하나 이상의 포어그라운드 채널들과 함께 시그널링하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  20. 제 17 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 메모리 디바이스에 저장된 상기 오디오 신호의 포어그라운드 채널들을 시그널링하지 않고 상기 메모리 디바이스에 저장된 상기 오디오 신호의 역상관된 상기 주변 앰비소닉 계수들을 시그널링하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  21. 제 20 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 오디오 신호와 연관된 목표 비트레이트가 미리결정된 임계 미만이라는 결정에 응답하여 상기 메모리 디바이스에 저장된 상기 오디오 신호의 포어그라운드 채널들을 시그널링하지 않고 상기 메모리 디바이스에 저장된 상기 오디오 신호의 역상관된 상기 주변 앰비소닉 계수들을 시그널링하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  22. 제 21 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 저장된 상기 오디오 신호에, 역상관 변환이 상기 주변 앰비소닉 계수들에 적용되었다는 표시를 포함하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  23. 제 17 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 마이크로폰을 더 포함하고,
    상기 마이크로폰은 압축될 상기 오디오 데이터를 캡처하도록 구성되는, 오디오 데이터를 압축하는 디바이스.
  24. 앰비소닉 오디오 데이터를 프로세싱하는 디바이스로서,
    프로세싱될 상기 앰비소닉 오디오 데이터의 적어도 부분 및 UsePhaseShiftDecorr 플래그를 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 UsePhaseShiftDecorr 플래그의 값이 일 (1) 과 동일한 것을 결정하고;
    상기 UsePhaseShiftDecorr 플래그의 값이 일 (1) 과 동일한 것에 기초하여, 상기 메모리 디바이스에 저장된 상기 앰비소닉 오디오 데이터의 부분으로부터, 복수의 고차 앰비소닉 계수들에 의해 기술된 사운드필드의 백그라운드 컴포넌트를 나타내는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 것으로서, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현은 상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드의 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되고, 상기 사운드필드를 기술하는 상기 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 또는 0 의 차수를 갖는 구면 기저 함수와 연관되는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하고; 그리고
    복수의 재상관된 주변 앰비소닉 계수들을 획득하도록 상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 재상관 변환을 적용하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  25. 제 24 항에 있어서,
    상기 메모리 디바이스에 커플링된 인터페이스를 더 포함하며,
    상기 인터페이스는,
    상기 앰비소닉 오디오 데이터의 적어도 부분을 포함하는 비트스트림을 수신하고; 그리고
    상기 UsePhaseShiftDecorr 플래그를 수신하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  26. 제 24 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 복수의 재상관된 주변 앰비소닉 계수들에 기초하여 스피커 피드를 생성하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  27. 제 26 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 라우드스피커를 더 포함하며,
    상기 라우드스피커는 상기 재상관된 주변 앰비소닉 계수들에 기초하여 생성된 상기 스피커 피드를 출력하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  28. 제 24 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 복수의 재상관된 주변 앰비소닉 계수들을 사용하여 상기 사운드필드를 복원하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  29. 앰비소닉 오디오 데이터를 프로세싱하는 디바이스로서,
    프로세싱될 상기 앰비소닉 오디오 데이터의 적어도 부분을 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스에 커플링된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 메모리 디바이스에 저장된 상기 앰비소닉 오디오 데이터의 부분으로부터, 복수의 고차 앰비소닉 계수들에 의해 기술된 사운드필드의 백그라운드 컴포넌트를 나타내는 주변 앰비소닉 계수들의 역상관된 표현을 획득하는 것으로서, 상기 주변 앰비소닉 계수들의 상기 역상관된 표현은 상기 복수의 고차 앰비소닉 계수들에 의해 기술된 상기 사운드필드의 하나 이상의 포어그라운드 컴포넌트들로부터 역상관되고, 상기 사운드필드를 기술하는 상기 복수의 고차 앰비소닉 계수들 중 적어도 하나는 1 또는 0 의 차수를 갖는 구면 기저 함수와 연관되며, 상기 주변 앰비소닉 계수들의 역상관된 표현은 4 개의 계수 시퀀스들 CI,AMB,1, CI,AMB,2, CI,AMB,3, 및 CI,AMB,4 을 포함하는, 상기 주변 앰비소닉 계수들의 역상관된 표현을 획득하고; 그리고
    복수의 재상관된 주변 앰비소닉 계수들을 획득하도록 상기 주변 앰비소닉 계수들의 상기 역상관된 표현에 재상관 변환을 적용하도록
    구성되며,
    상기 재상관 변환을 적용하기 위해, 상기 하나 이상의 프로세서들은,
    상기 재상관 변환의 계수 c(0) 와 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 간의 차의 제 1 곱셈 결과에 기초하여 제 1 위상 쉬프트 신호를 생성하고; 그리고
    상기 재상관 변환의 계수 c(1) 와 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 의 합의 제 2 곱셈 결과에 기초하여 제 2 위상 쉬프트 신호를 생성하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  30. 제 29 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    제 1 위상 쉬프트 신호, 상기 재상관 변환의 계수 c(3), 상기 재상관 변환의 계수 c(2), 및 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 에 기초하여 제 1 결합을 생성하고;
    제 2 위상 쉬프트 신호, 상기 재상관 변환의 계수 c(5), 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 간의 차이, 상기 재상관 변환의 계수 c(6), 및 상기 계수 시퀀스 CI,AMB,3 에 기초하여 제 2 결합을 생성하고;
    상기 계수 시퀀스 CI,AMB,4 를 획득하며; 그리고
    상기 재상관 변환의 계수 c(4), 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 및 상기 제 1 위상 쉬프트 신호에 기초하여 제 3 결합을 생성하도록
    구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  31. 제 30 항에 있어서,
    상기 재상관 변환은, 상기 계수 c(0), 상기 계수 c(1), 상기 계수 c(2), 상기 계수 c(3), 상기 계수 c(4), 상기 계수 c(5), 및 상기 계수 c(6) 를 포함하는 계수들의 세트에 적어도 부분적으로 기초하는 역 위상 기반 변환을 포함하고,
    상기 계수 c(0), 상기 계수 c(1), 상기 계수 c(2), 상기 계수 c(3), 상기 계수 c(4), 상기 계수 c(5), 및 상기 계수 c(6) 의 각각은 상이한 값을 가지는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  32. 제 30 항에 있어서,
    상기 제 1 결합은,
    상기 계수 c(3) 와 상기 제 1 위상 쉬프트 신호의 제 3 곱셈 결과,
    상기 계수 c(2) 와 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 의 합의 제 4 곱셈 결과, 및
    상기 제 3 곱셈 결과와 상기 제 4 곱셈 결과의 합
    에 기초하는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  33. 제 30 항에 있어서,
    상기 제 2 결합은,
    상기 계수 c(5) 와 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 간의 차의 제 3 곱셈 결과,
    상기 계수 c(6) 와 상기 계수 시퀀스 CI,AMB,3 의 제 4 곱셈 결과, 및
    상기 제 3 곱셈 결과, 상기 제 4 곱셈 결과, 및 상기 제 2 위상 쉬프트 신호의 합
    에 기초하는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  34. 제 30 항에 있어서,
    상기 제 3 결합은,
    상기 계수 c(4) 와 상기 계수 시퀀스들 CI,AMB,1 및 CI,AMB,2 의 합의 곱셈 결과, 및
    상기 곱셈 결과와 상기 제 1 위상 쉬프트 신호의 합
    에 기초하는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  35. 제 29 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 복수의 재상관된 주변 앰비소닉 계수들에 기초하여 스피커 피드를 생성하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  36. 제 35 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 라우드스피커를 더 포함하며,
    상기 라우드스피커는 상기 재상관된 주변 앰비소닉 계수들에 기초하여 생성된 상기 스피커 피드를 출력하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  37. 제 29 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 복수의 재상관된 주변 앰비소닉 계수들을 사용하여 상기 사운드필드를 복원하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  38. 제 1 항에 있어서,
    상기 오디오 디코딩 디바이스에 의해, 상기 재상관 변환의 상기 주변 앰비소닉 계수들의 상기 역상관된 표현으로의 적용으로부터 획득된 상기 복수의 재상관된 주변 앰비소닉 계수들에 기초하는 스피커 피드를 생성하는 단계를 더 포함하는, 앰비소닉 오디오 데이터를 디코딩하는 방법.
  39. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 재상관 변환의 상기 주변 앰비소닉 계수들의 상기 역상관된 표현으로의 적용으로부터 획득된 상기 복수의 재상관된 주변 앰비소닉 계수들에 기초하는 스피커 피드를 생성하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
  40. 제 9 항에 있어서,
    상기 하나 이상의 프로세서들은, 스테레오 재생 시스템에 의한 출력을 위해, 상기 좌측 신호에 기초한 좌측 스피커 피드 및 상기 우측 신호에 기초한 우측 스피커 피드를 생성하도록 구성되는, 앰비소닉 오디오 데이터를 프로세싱하는 디바이스.
KR1020167036985A 2014-07-02 2015-07-02 고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소 Active KR101962000B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462020348P 2014-07-02 2014-07-02
US62/020,348 2014-07-02
US201462060512P 2014-10-06 2014-10-06
US62/060,512 2014-10-06
US14/789,961 US9838819B2 (en) 2014-07-02 2015-07-01 Reducing correlation between higher order ambisonic (HOA) background channels
US14/789,961 2015-07-01
PCT/US2015/038943 WO2016004277A1 (en) 2014-07-02 2015-07-02 Reducing correlation between higher order ambisonic (hoa) background channels

Publications (2)

Publication Number Publication Date
KR20170024584A KR20170024584A (ko) 2017-03-07
KR101962000B1 true KR101962000B1 (ko) 2019-03-25

Family

ID=55017979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036985A Active KR101962000B1 (ko) 2014-07-02 2015-07-02 고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소

Country Status (20)

Country Link
US (1) US9838819B2 (ko)
EP (1) EP3165001B1 (ko)
JP (1) JP6449455B2 (ko)
KR (1) KR101962000B1 (ko)
CN (1) CN106663433B (ko)
AU (1) AU2015284004B2 (ko)
BR (1) BR112016030558B1 (ko)
CA (1) CA2952333C (ko)
CL (1) CL2016003315A1 (ko)
ES (1) ES2729624T3 (ko)
HU (1) HUE043457T2 (ko)
IL (1) IL249257A0 (ko)
MX (1) MX357008B (ko)
MY (1) MY183858A (ko)
NZ (1) NZ726830A (ko)
PH (1) PH12016502356B1 (ko)
RU (1) RU2741763C2 (ko)
SA (1) SA516380612B1 (ko)
SG (1) SG11201609676VA (ko)
WO (1) WO2016004277A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6093373B2 (ja) * 2012-11-28 2017-03-08 クラリオン株式会社 デジタルスピーカーシステム
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
EP3378065B1 (en) * 2015-11-17 2019-10-16 Dolby International AB Method and apparatus for converting a channel-based 3d audio signal to an hoa audio signal
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
MC200186B1 (fr) * 2016-09-30 2017-10-18 Coronal Encoding Procédé de conversion, d'encodage stéréophonique, de décodage et de transcodage d'un signal audio tridimensionnel
FR3060830A1 (fr) * 2016-12-21 2018-06-22 Orange Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne
US10560661B2 (en) 2017-03-16 2020-02-11 Dolby Laboratories Licensing Corporation Detecting and mitigating audio-visual incongruence
CN110800048B (zh) 2017-05-09 2023-07-28 杜比实验室特许公司 多通道空间音频格式输入信号的处理
US20180338212A1 (en) 2017-05-18 2018-11-22 Qualcomm Incorporated Layered intermediate compression for higher order ambisonic audio data
US10405126B2 (en) 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
CN117133297A (zh) 2017-08-10 2023-11-28 华为技术有限公司 时域立体声参数的编码方法和相关产品
US10972851B2 (en) * 2017-10-05 2021-04-06 Qualcomm Incorporated Spatial relation coding of higher order ambisonic coefficients
US10657974B2 (en) * 2017-12-21 2020-05-19 Qualcomm Incorporated Priority information for higher order ambisonic audio data
GB201818959D0 (en) 2018-11-21 2019-01-09 Nokia Technologies Oy Ambience audio representation and associated rendering
KR102323529B1 (ko) 2018-12-17 2021-11-09 한국전자통신연구원 복합 차수 앰비소닉을 이용한 오디오 신호 처리 방법 및 장치
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US12142285B2 (en) 2019-06-24 2024-11-12 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
US12308034B2 (en) * 2019-06-24 2025-05-20 Qualcomm Incorporated Performing psychoacoustic audio coding based on operating conditions
US11538489B2 (en) * 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
US11743670B2 (en) * 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
CN115376530A (zh) * 2021-05-17 2022-11-22 华为技术有限公司 三维音频信号编码方法、装置和编码器
US12236959B2 (en) * 2021-05-27 2025-02-25 Qualcomm Incorporated Audio encoding based on link data
CN115938388A (zh) * 2021-05-31 2023-04-07 华为技术有限公司 一种三维音频信号的处理方法和装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2858512A1 (fr) * 2003-07-30 2005-02-04 France Telecom Procede et dispositif de traitement de donnees sonores en contexte ambiophonique
CN101518100B (zh) * 2006-09-14 2011-12-07 Lg电子株式会社 对话增强技术
CN101136197B (zh) * 2007-10-16 2011-07-20 得理微电子（上海）有限公司 基于时变延迟线的数字混响处理器
EP2094032A1 (en) * 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
EP2272169B1 (en) * 2008-03-31 2017-09-06 Creative Technology Ltd. Adaptive primary-ambient decomposition of audio signals
ES2733878T3 (es) 2008-12-15 2019-12-03 Orange Codificación mejorada de señales de audio digitales multicanales
GB2476747B (en) * 2009-02-04 2011-12-21 Richard Furse Sound system
WO2011104463A1 (fr) * 2010-02-26 2011-09-01 France Telecom Compression de flux audio multicanal
US8965546B2 (en) * 2010-07-26 2015-02-24 Qualcomm Incorporated Systems, methods, and apparatus for enhanced acoustic imaging
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
WO2012025580A1 (en) * 2010-08-27 2012-03-01 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
CN102844808B (zh) * 2010-11-03 2016-01-13 华为技术有限公司 用于编码多通道音频信号的参数编码器
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2544465A1 (en) * 2011-07-05 2013-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
US20140086416A1 (en) * 2012-07-15 2014-03-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9288603B2 (en) * 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
EP2688065A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for avoiding unmasking of coding noise when mixing perceptually coded multi-channel audio signals
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9761229B2 (en) * 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
FR2995752B1 (fr) * 2012-09-18 2015-06-05 Parrot Enceinte acoustique active monobloc configurable pour etre utilisee isolement ou par paire, avec renforcement de l'image stereo.
US9154877B2 (en) * 2012-11-28 2015-10-06 Qualcomm Incorporated Collaborative sound system
EP2738962A1 (en) * 2012-11-29 2014-06-04 Thomson Licensing Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
JP6271586B2 (ja) * 2013-01-16 2018-01-31 ドルビー・インターナショナル・アーベー Ｈｏａラウドネスレベルを測定する方法及びｈｏａラウドネスレベルを測定する装置
US20140355769A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
KR102159990B1 (ko) * 2013-09-17 2020-09-25 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
EP2866475A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9940937B2 (en) * 2014-10-10 2018-04-10 Qualcomm Incorporated Screen related adaptation of HOA content

Also Published As

Publication number Publication date
SA516380612B1 (ar) 2020-09-06
ES2729624T3 (es) 2019-11-05
SG11201609676VA (en) 2017-01-27
EP3165001B1 (en) 2019-03-06
IL249257A0 (en) 2017-02-28
PH12016502356B1 (en) 2024-06-05
US20160007132A1 (en) 2016-01-07
MX2016016566A (es) 2017-04-25
HUE043457T2 (hu) 2019-08-28
JP6449455B2 (ja) 2019-01-09
CN106663433A (zh) 2017-05-10
MX357008B (es) 2018-06-22
CA2952333C (en) 2020-10-27
WO2016004277A1 (en) 2016-01-07
RU2016151352A (ru) 2018-08-02
MY183858A (en) 2021-03-17
RU2016151352A3 (ko) 2020-08-13
NZ726830A (en) 2019-09-27
KR20170024584A (ko) 2017-03-07
CL2016003315A1 (es) 2017-07-07
BR112016030558B1 (pt) 2023-05-02
JP2017525318A (ja) 2017-08-31
PH12016502356A1 (en) 2017-02-13
AU2015284004B2 (en) 2020-01-02
US9838819B2 (en) 2017-12-05
AU2015284004A1 (en) 2016-12-15
CN106663433B (zh) 2020-12-29
EP3165001A1 (en) 2017-05-10
RU2741763C2 (ru) 2021-01-28
CA2952333A1 (en) 2016-01-07
BR112016030558A2 (ko) 2017-08-22

Similar Documents

Publication Publication Date Title
KR101962000B1 (ko) 고차 앰비소닉 (hoa) 백그라운드 채널들 간의 상관의 감소
US20220028401A1 (en) Spatial transformation of ambisonic audio data
CN106104680B (zh) 将音频信道插入到声场的描述中
US9847088B2 (en) Intermediate compression for higher order ambisonic audio data
CA2961292C (en) Signaling channels for scalable coding of higher order ambisonic audio data
KR102329373B1 (ko) 고차 앰비소닉 오디오 신호들로부터 분해된 코딩 벡터들에 대한 코드북들 선택
EP3143618B1 (en) Closed loop quantization of higher order ambisonic coefficients
EP3363213B1 (en) Coding higher-order ambisonic coefficients during multiple transitions
KR20170010367A (ko) 고차 앰비소닉 신호들간의 크로스페이딩
HK1232013A1 (en) Reducing correlation between higher order ambisonic (hoa) background channels
HK1232013B (zh) 用於处理音频数据的方法和装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20161229

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180515

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20180515

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180629

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181219

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190319

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211229

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221221

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240102

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241223

Start annual number: 7

End annual number: 7