KR20140092779A - 채널 신호를 처리하는 부호화/복호화 장치 및 방법 - Google Patents

채널 신호를 처리하는 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20140092779A
KR20140092779A KR1020140005056A KR20140005056A KR20140092779A KR 20140092779 A KR20140092779 A KR 20140092779A KR 1020140005056 A KR1020140005056 A KR 1020140005056A KR 20140005056 A KR20140005056 A KR 20140005056A KR 20140092779 A KR20140092779 A KR 20140092779A
Authority
KR
South Korea
Prior art keywords
channel
channel signal
signal
signals
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140005056A
Other languages
English (en)
Other versions
KR102213895B1 (ko
Inventor
서정일
백승권
장대영
강경옥
박태진
이용주
최근우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to PCT/KR2014/000443 priority Critical patent/WO2014112793A1/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/758,642 priority patent/US10068579B2/en
Publication of KR20140092779A publication Critical patent/KR20140092779A/ko
Priority to US16/011,249 priority patent/US10332532B2/en
Priority to US16/447,573 priority patent/US11289105B2/en
Priority to KR1020210014848A priority patent/KR102357924B1/ko
Application granted granted Critical
Publication of KR102213895B1 publication Critical patent/KR102213895B1/ko
Priority to US17/706,400 priority patent/US11875802B2/en
Priority to US18/525,181 priority patent/US12494215B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/12—Circuits for transducers for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

채널 신호 제어를 위한 부호화/복호화 장치 및 방법이 개시된다. 부호화 장치는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함할 수 있다.

Description

채널 신호를 처리하는 부호화/복호화 장치 및 방법{ENCODING/DECODING APPARATUS AND METHOD FOR CONTROLLING MULTICHANNEL SIGNALS}
본 발명은 채널 신호를 처리하는 부호화/복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 채널 신호 및 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 채널 신호를 처리하는 부호화/복호화 장치 및 방법에 관한 것이다.
MPEG-H 3D Audio 및 Dolby Atmos와 같이 복수의 채널 신호(channel Signals) 와 복수의 객체 신호(object signal)들로 구성되는 오디오 컨텐츠를 재생할 때, 스피커 개수, 스피커 배치 환경, 및 스피커 위치에 기초하여 생성된 객체 신호의 제어 정보 또는 렌더링 정보를 적절하게 변환함으로써 제작자가 의도한 오디오 컨텐츠를 충실히 재생할 수 있다.
하지만 채널 신호와 같이 2차원 또는 3차원 공간 상에 그룹으로 배치되어 있는 경우, 채널 신호를 전체적으로 처리할 수 있는 기능이 필요할 수 있다.
본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 재생하는 스피커 배치 환경에 따라 채널 신호를 처리하는 기능을 제공하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 부호화 장치는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함할 수 있다.
상기 비트스트림 생성부는, 상기 생성된 비트스트림을 저장 매체에 저장하거나 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 복호화부; 및 상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 렌더링부를 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 장치는 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 믹싱부; 및 상기 믹싱부에서 출력된 객체 신호들과 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 부호화부를 포함하고, 상기 부가 정보는, 상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함할 수 있다.
본 발명의 다른 실시예에 따른 복호화 장치는 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 복호화부; 및 상기 객체 신호들 및 채널 신호들을 믹싱하는 믹싱부를 포함하고, 상기 믹싱부는, 채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱할 수 있다.
상기 복호화 장치는 상기 믹싱부를 통해 출력된 채널 신호들을 바이노럴 렌더링하는 바이노럴 렌더링부를 더 포함할 수 있다.
상기 복호화 장치는 상기 믹싱부를 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 포맷 변환부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 단계; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 단계를 포함할 수 있다.
상기 부호화 방법은 상기 생성된 비트스트림을 저장 매체에 저장하는 단계; 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치에 전송하는 단계를 더 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 단계; 및 상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 단계를 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 방법은 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 단계; 및 믹싱 과정을 통해 출력된 객체 신호들, 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 단계를 포함하고, 상기 부가 정보는, 상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함할 수 있다.
본 발명의 다른 실시예에 따른 복호화 방법은 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 단계; 및 상기 객체 신호들 및 채널 신호들을 믹싱하는 단계를 포함하고, 상기 믹싱하는 단계는, 채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱할 수 있다.
상기 복호화 방법은 믹싱 과정을 통해 출력된 채널 신호들을 바이노럴 렌더링하는 단계를 더 포함할 수 있다.
상기 복호화 방법은 믹싱 과정을 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
도 1은 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2은 일실시예에 따른 부호화 장치에 입력되는 정보들을 도시한 도면이다.
도 3은 일실시예에 따른 채널 신호의 렌더링 정보의 일례를 도시한 도면이다.
도 4은 일실시예에 따른 채널 신호의 렌더링 정보의 다른 일례를 도시한 도면이다.
도 5는 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 6은 일실시예에 따른 복호화 장치에 입력되는 정보들을 도시한 도면이다.
도 7은 일실시예에 따른 부호화 방법을 도시한 흐름도이다.
도 8은 일실시예에 따른 복호화 방법을 도시한 흐름도이다.
도 9는 다른 실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 10은 다른 실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 부호화 방법 및 복호화 방법은 부호화 장치 및 복호화 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 부호화 장치(100)는 부호화부(110), 비트스트림 생성부(120)를 포함할 수 있다.
부호화부(110)는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화할 수 있다.
일례로, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
또한, 채널 신호를 특정 방향으로 로테이션하기 어려운 낮은 성능의 사용자 단말을 위해서, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보로 구성될 수 있다.
비트스트림 생성부(120)는 부호화부(110)에서 부호화된 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성할 수 있다. 그러면, 비트스트림 생성부(120)는 생성된 비트스트림을 저장 매체에 파일 형태로 저장할 수 있다. 또는, 비트스트림 생성부(120)는 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송할 수 있다.
채널 신호는 2차원 또는 3차원 전체 공간 상에 그룹으로 배치되어 있는 신호를 의미할 수 있다. 그래서, 채널 신호를 위한 렌더링 정보는 채널 신호의 전체 볼륨 또는 게인을 제어하거나 또는 채널 신호의 전체를 로테이션할 때 이용될 수 있다.
따라서, 본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
도 2은 일실시예에 따른 부호화 장치에 입력되는 정보들을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(100)에 N개의 채널 신호들, M개의 객체 신호들이 입력될 수 있다. 그리고, 부호화 장치(100)에 M개의 객체 신호들 각각을 위한 렌더링 정보 이외에, N개의 채널 신호들을 위한 렌더링 정보도 입력될 수 있다. 또한, 부호화 장치에 오디오 컨텐츠를 제작하기 위하여 고려된 스피커 배치 정보도 입력될 수 있다.
부호화부(110)는 입력된 N개의 채널 신호들, M개의 객체 신호들, 채널 신호를 위한 렌더링 정보 및 객체 신호를 위한 렌더링 정보를 부호화할 수 있다. 비트스트림 생성부(120)는 부호화된 결과를 이용하여 비트스트림을 생성할 수 있다. 비트스트림 생성부(120)는 생성된 비트스트림을 저장 매체에 파일 형태로 저장하거나 또는 복호화 장치에 전송할 수 있다.
도 3은 일실시예에 따른 채널 신호의 렌더링 정보의 일례를 도시한 도면이다.
복수의 채널에 대응하여 채널 신호가 입력되며, 채널 신호는 배경음(background sound)로 이용될 수 있다. 여기서, MBO는 배경음으로 사용되는 채널 신호를 의미할 수 있다.
일례로, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
도 3을 참고하면, 채널 신호를 위한 렌더링 정보는 renderinginfo_for_MBO로 표현될 수 있다. 그리고, 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보는 gain_factor로 정의될 수 있다. 또한, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보는 horizontal_rotation_angle로 정의될 수 있다. horizontal_rotation_angle는 채널 신호를 수평 방향으로 회전할 때의 회전 각도를 의미할 수 있다.
그리고, 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보는 vertical_rotation_angle로 정의될 수 있다. vertical_rotation_angle는 채널 신호를 수직 방향으로 회전할 때의 회전 각도를 의미할 수 있다. frame_index는 채널 신호를 위한 렌더링 정보가 적용되는 오디오 프레임의 식별 번호를 의미할 수 있다.
도 4은 일실시예에 따른 채널 신호의 렌더링 정보의 다른 일례를 도시한 도면이다.
채널 신호를 재생하는 단말의 성능이 미리 설정된 기준보다 낮은 경우, 채널 신호를 로테이션하는 기능을 수행하지 못할 수 있다. 그러면, 채널 신호를 위한 렌더링 정보는 도 4와 같이 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보는 gain_factor를 포함할 수 있다.
예를 들어, 오디오 컨텐츠가 M개의 채널 신호와 N개의 객체 신호로 구성된다고 가정한다. 이 때, M개의 채널 신호는 배경음으로서 M개의 악기 신호에 대응한다고 가정하고, N개의 객체 신호는 가수 목소리 신호에 대응한다고 가정한다. 그러면, 복호화 장치는 가수 목소리 신호의 위치와 크기를 제어할 수 있다. 또는 복호화 장치는 객체 신호인 가수 목소리 신호를 오디오 컨텐츠에서 제거함으로써 가라오케 서비스를 위한 반주음으로 사용할 수 있다.
또한, 복호화 장치는 M개의 악기 신호의 렌더링 정보를 이용하여 악기 신호의 크기(볼륨 또는 게인)를 제어하거나, M개의 악기 신호 전체를 수직 방향 또는 수평 방향으로 회전할 수 있다. 또는 복호화 장치는 오디오 컨텐츠에서 채널 신호인 M개의 악기 신호 전체를 제거함으로써 가수 목소리 신호만 재생할 수 있다.
도 5는 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 5를 참고하면, 본 발명의 일실시예에 따른 복호화 장치(500)는 복호화부(510), 및 렌더링부(520)를 포함할 수 있다.
복호화부(510)는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출할 수 있다.
렌더링부(520)는 채널 신호를 위한 렌더링 정보, 객체 신호를 위한 렌더링 정보 및 스피커 배치 정보에 기초하여 객체 신호 및 채널 신호를 렌더링할 수 있다. 여기서, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
도 6은 일실시예에 따른 복호화 장치에 입력되는 정보들을 도시한 도면이다.
일실시예에 따른 복호화 장치(500)의 복호화부(510)는 부호화 장치가 생성한 비트스트림으로부터 N 채널 신호, N채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보를 추출할 수 있다.
그러면, 복호화부(510)는 N 채널 신호, N채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보를 렌더링부(520)에 전달할 수 있다.
렌더링부(520)는 복호화부(510)로부터 전달된 N개의 채널 신호, N개의 채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보와 추가적으로 입력된 사용자 제어 및 복호화 장치에 연결된 스피커들의 스피커 배치 정보를 이용하여 K채널로 구성된 오디오 출력 신호를 생성할 수 있다.
도 7은 일실시예에 따른 부호화 방법을 도시한 흐름도이다.
단계(710)에서 부호화 장치는 객체 신호, 채널 신호, 및 객체 신호 및 채널 신호로 구성된 오디오 컨텐츠를 재생하기 위한 부가 정보를 부호화할 수 있다. 여기서, 부가 정보는 채널 신호의 렌더링 정보, 객체 신호의 렌더링 정보, 오디오 컨텐츠를 제작할 때 고려된 스피커 배치 정보를 포함할 수 있다.
이 때, 채널 신호의 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
단계(720)에서, 부호화 장치는 객체 신호, 채널 신호, 및 객체 신호 및 채널 신호로 구성된 오디오 컨텐츠를 재생하기 위한 부가 정보를 부호화한 결과를 이용하여 비트스트림을 생성할 수 있다. 그러면, 부호화 장치는 생성된 비트스트림을 파일 형태로 저장 매체에 저장하거나 또는 네트워크를 통해 복호화 장치에 전송할 수 있다.
도 8은 일실시예에 따른 복호화 방법을 도시한 흐름도이다.
단계(810)에서 복호화 장치는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 부가 정보를 추출할 수 있다. 여기서, 부가 정보는 채널 신호의 렌더링 정보, 객체 신호의 렌더링 정보, 복호화 장치와 연결된 스피커의 스피커 배치 정보를 포함할 수 있다.
이 때, 채널 신호의 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
단계(820)에서 복호화 장치는 부가 정보를 이용하여 채널 신호와 객체 신호를 복호화 장치와 연결된 스피커의 스피커 배치 정보에 대응되도록 렌더링하여 재생하고자 하는 오디오 컨텐츠를 출력할 수 있다.
도 9는 다른 실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 9를 참고하면, 부호화 장치는 믹싱부(910), SAOC 3D 부호화부(920), USAC 3D 부호화부(930) 및 OAM 부호화부(940)를 포함할 수 있다.
믹싱부(910)는 입력된 객체 신호들을 렌더링하거나 또는 객체 신호들과 채널 신호들을 믹싱할 수 있다. 또한, 믹싱부(910)는 입력된 복수의 객체 신호들을 프리-렌더링(prerendereing)할 수 있다. 구체적으로, 믹싱부(910)는 입력된 채널 신호들과 객체 신호들의 조합을 채널 신호로 변환할 수 있다. 그리고, 믹싱부(910)는 프리 렌더링을 통해 불연속적(discrete)인 객체 신호를 채널 레이아웃(channel layout)으로 렌더링할 수 있다. 각각의 채널 신호를 위한 객체 신호들 각각에 대한 가중치는 객체 메타데이터(OAM)로부터 획득될 수 있다. 믹싱부(910)는 채널 신호와 프리-렌더링된 객체 신호가 조합된 결과, 다운믹싱된 객체 신호들. 믹싱되지 않은 객체 신호들을 출력할 수 있다.
SAOC 3D 부호화부(920)는 MPEG SAOC 기술에 기초하여 객체 신호들을 부호화할 수 있다. 그러면, SAOC 3D 부호화부(920)는 N개의 객체 신호들을 재생성하고, 수정하며 렌더링함으로써, M개의 전송 채널과 추가적인 파라메트릭 정보를 생성할 수 있다. 여기서, M은 N보다 적을 수 있다. 그리고, 추가적인 파라메트릭 정보는 SAOC-SI로 표현되며, OLD(Object Level Difference), IOC(Inter Object Cross Correlation), DMG(Downmix Gain) 등 객체 신호들 간의 공간적인 파라미터를 포함할 수 있다.
SAOC 3D 부호화부(920)는 객체 신호와 채널 신호를 모노포닉 파형으로 채택하여, 3D 오디오 비트스트림에 패키징되는 파라메트릭 정보와 SAOC 전송 채널(transport channel)을 출력할 수 있다. SAOC 전송 채널은 싱글 채널 요소를 이용하여 부호화될 수 있다.
USAC 3D 부호화부(930)는 MPEG USAC 기술에 기초하여 라우드스피커의 채널 신호, 불연속적인 객체 신호, 객체 다운믹스 신호, 프리-렌더링된 객체 신호를 부호화할 수 있다. USAC 3D 부호화부(930)는 입력된 채널 신호와 객체 신호의 지오메트릭(geometric) 정보 또는 시멘틱(semantic) 정보에 기초하여 채널 매핑 정보와 객체 매핑 정보를 생성할 수 있다. 여기서, 채널 매핑 정보와 객체 매핑 정보는 어떻게 채널 신호들과 객체 신호들을 USAC 채널 요소(CPEs, SCEs, LFEs)에 매핑시킬 것인지를 나타낸다.
객체 신호들은 율/왜곡(rate/distortion) 요구에 의존하여 다른 방식으로 부호화될 수 있다. 프리-렌더링된 객체 신호들은 22.2 채널 신호로 코딩될 수 있다. 그리고, 불연속적인 객체 신호들은 USAC 3D 부호화부(930)에 모노포닉(monophonic) 파형으로 입력될 수 있다. 그러면, USAC 3D 부호화부(930)는 채널 신호에 추가하여 객체 신호를 전송하기 위해 싱글 채널 요소 SCEs를 이용할 수 있다.
또한, 파라메트릭 객체 신호들은 객체 신호들의 속성과 객체 신호들 간의 관계를 SAOC 파라미터를 통해 정의될 수 있다. 객체 신호들의 다운믹스 결과는 USAC 기술로 부호화횔 수 있고, 파라메트릭 정보는 별도로 전송될 수 있다. 다운믹스 채널의 개수는 객체 신호들의 개수와 전체 데이터율에 따라 선택될 수 있다. OAM 부호화부(940)를 통해 부호화된 객체 메타데이터는 USAC 3D 부호화부(930)에 입력될 수 있다.
OAM 부호화부(940)는 시간 또는 공간 상의 객체 신호들을 양자화함으로써, 3차원 공간 상에서의 각 객체 신호들의 지오메트릭 위치와 볼륨을 나타내는 객체 메타데이터를 부호화할 수 있다. 부호화된 객체 메타데이터는 부가 정보로서 복호화 장치에 전송될 수 있다.
이하에서는, 부호화 장치에 입력되는 다양한 형태의 입력 정보를 설명하기로 한다. 구체적으로, 채널 기반 입력 데이터, 객체 기반 입력 데이터 및 HOA(High Order Ambisonic) 기반 입력 데이터가 부호화 장치에 입력될 수 있다.
(1) 채널 기반 입력 데이터
채널 기반 입력 데이터는 모노포닉 채널 신호들의 집합으로 전송될 수 있으며, 각각의 채널 신호는 모노포닉 .wav 파일로 표현될 수 있다.
모노포닉 .wav 파일은 다음과 같이 정의될 수 있다.
<item_name>_A<azimuth_angle>_E<elevation_angle>.wav
여기서, azimuth_angle은 ±180도로 표현될 수 있으며, 양수일수록 왼쪽 방향으로 진행된다. elevation_angle는 ±90도로 표현될 수 있으며, 양수일수록 위쪽 방향으로 진행된다.
그리고, LFE 채널의 경우, 다음과 같이 정의될 수 있다.
<item_name>_LFE<lfe_number>.wav
여기서, lfe_number는 1 또는 2를 의미할 수 있다.
(2) 객체 기반 입력 데이터
객체 기반 입력 데이터는 모노포닉 오디오 컨텐츠들의 집합과 메타데이터로 전송될 수 있으며, 각각의 오디오 컨텐츠는 모노포닉 .wav 파일로 표현될 수 있다. 오디오 컨텐츠는 채널 오디오 컨텐츠 또는 객체 오디오 컨텐츠를 포함할 수 있다.
오디오 컨텐츠가 객체 오디오 컨텐츠를 포함하는 경우, .wav 파일은 다음과 같이 정의될 수 있다.
<item_name>_<object_id_number>.wav
여기서, object_id_number는 객체 식별 번호를 나타낸다.
그리고, 오디오 컨텐츠가 채널 오디오 컨텐츠를 포함하는 경우, .wav 파일은 다음과 같이 라우드스피커로 표현되며 매핑될 수 있다.
<item_name>_A<azimuth_angle>_E<elevation_angle>.wav
객체 오디오 컨텐츠들은 레벨 캘리브레이션(level-calibration)과 지연 정렬(delay-aligned)될 수 있다. 예를 들어, 청취자가 스윗 스팟(sweet-spot) 청취 위치에 있는 경우, 같은 샘플 인덱스에서 2개의 객체 신호에서 발생하는 2개의 이벤트를 인지할 수 있다. 만약, 객체 신호의 위치가 변경되는 경우, 객체 신호에 대해 지각된 레벨과 지연은 변화하지 않을 수 있다. 오디오 컨텐츠의 캘리브레이션은 라우드스피커가 캘리브레이션되는 것으로 가정될 수 있다.
객체 메타데이터 파일은 채널 신호들과 객체 신호들로 구성된 조합된 장면을 위한 메타데이터로 정의하기 위해 사용될 수 있다. 객체 메타데이터는 (<item_name>.OAM로 표현될 수 있다. 객체 메타데이터 파일은 장면에 참여하는 객체 신호의 개수, 채널 신호의 개수를 포함할 수 있다. 객체 메타데이터 파일은 장면 설명자에서 전체 정보를 제공하는 헤더에서 시작된다. 헤더 이후에 채널 설명 데이터 필드와 객체 설명 데이터 필드의 시리즈가 나타난다.
파일 헤더 이후에 <number_of_channel_signals> 채널 설명 필드(channel description fields) 또는 <number_of_object_signals> 객체 설명 필드(object description fields) 중 적어도 하나가 도출될 수 있다.
Syntax No. of bytes Data format
description_file () {
scene_description_header()
while (end_of_file == 0) {
for (i=0; i<number_of_object_signals; i++) {
object_data(i)
}
}
}
여기서, scene_description_header()는 장면 설명에서 전체 정보를 제공하는 헤더를 의미한다. object_data(i)는 i번째 객체 신호를 위한 객체 설명 데이터를 의미한다.
Syntax No. of bytes Data format
scene_description_header() {
format_id_string
format_version
number_of_channel_signals
number_of_object_signals
description_string
for (i=0; i<number_of_channel_signals; i++) {
channel_file_name
}
for (i=0; i<number_of_object_signals; i++) {
object_description
}
}
4
2
2
2
32

64


64
char
unsigned int
unsigned int
unsigned int
char

char


char
format_id_string는 OAM의 고유 문자 식별자를 나타낸다.
format_version 은 파일 포맷의 버전 개수를 나타낸다.
number_of_channel_signals 는 장면에 컴파일링된 채널 신호의 개수를 나타낸다. number_of_channel_signals가 0인 경우, 장면은 오직 객체 신호에 기초하는 것을 의미한다.
number_of_object_signals는 장면에 컴파일링된 객체 신호의 개수를 나타낸다. number_of_object_signals가 0인 경우, 장면은 오직 채널 신호에 기초하는 것을 의미한다.
description_string은 인간이 읽을 수 있는 컨텐츠 설명자를 포함할 수 있다.
channel_file_name은 오디오 채널 파일의 파일 이름을 포함하는 설명 스트링을 의미할 수 있다.
object_description는 객체를 설명하는 인간이 읽을 수 있는 텍스트 설명을 포함하는 설명 스트링을 의미할 수 있다.
여기서, number_of_channel_signals, channel_file_name은 채널 신호를 위한 렌더링 정보를 의미할 수 있다.
Syntax No. of bytes Data format
object_data() {
sample_index
object_index
position_azimuth
position_elevation
position_radius
gain_factor
}
8
2
4
4
4
4
unsigned int
unsigned int
32-bit float
32-bit float
32-bit float
32-bit float
sample_index는 객체 설명이 할당된 샘플에서 오디오 컨텐츠 내부의 시간 위치를 나타내는 타임스탬프에 기초한 샘플을 의미한다. 오디오 컨텐츠의 첫번째 샘플은 sample_index가 0으로 표현된다.
object_index는 객체의 할당된 오디오 컨텐츠를 참조하는 객체 번호를 나타낸다. 첫번째 객체 신호의 경우, object_index가 0으로 표현된다.
position_azimuth 는 객체 신호의 위치로서 -180도와 180도 범위의 azimuth (o)로 표현된다.
position_elevation 는 객체 신호의 위치로서 -90도와 90도 범위의 elevation (o )로 표현된다.
position_radius 는 객체 신호의 위치로서, 음수가 아닌 radius (m)로 표현된다.
gain_factor는 객체 신호의 게인 또는 볼륨을 의미한다.
모든 객체 신호는 정의된 타임스탬프에서 주어진 위치(azimuth, elevation, 및 radius)를 가질 수 있다. 주어진 위치에서 복호화 장치의 렌더링부는 패닝 게인(panning gain)을 계산할 수 있다. 인접한 타임스탬프의 쌍들 간의 패닝 게인은 선형적으로 보간될 수 있다. 복호화 장치의 렌더링부는 스윗 스팟 위치에 있는 청취자에 대한 객체 신호의 위치에 지각된 방향이 대응하는 방식으로 라우드스피커의 신호를 계산할 수 있다. 상기 보간은 주어진 객체 신호의 위치가 대응하는 sample_index에 정확하게 도달하도록 수행될 수 있다.
복호화 장치의 렌더링부는 객체 메타데이터 파일과 그것의 객체 설명으로 표현되는 장면을 22.2 채널의 라우드스피커 신호를 포함하는 .wav 파일로 변환할 수 있다. 각각의 라우드스피커 신호에 대해 채널 기반의 컨텐츠는 렌더링부에 의해 추가될 수 있다.
VBAP (Vector Base Amplitude Panning) 알고리즘은 스윗 스팟 위치에 있는 믹싱부에 의해 도출된 컨텐츠를 재생할 수 있다. VBAP는 패닝 게인을 계산하기 위해 이하의 3개의 버텍스로 구성된 삼각 메쉬를 이용할 수 있다.
Triangle # Vertex 1 Vertex 2 Vertex 3
1 TpFL TpFC TpC
2 TpFC TpFR TpC
3 TpSiL BL SiL
4 BL TpSiL TpBL
5 TpSiL TpFL TpC
6 TpBL TpSiL TpC
7 BR TpSiR SiR
8 TpSiR BR TpBR
9 TpFR TpSiR TpC
10 TpSiR TpBR TpC
11 BL TpBC BC
12 TpBC BL TpBL
13 TpBC BR BC
14 BR TpBC TpBR
15 TpBC TpBL TpC
16 TpBR TpBC TpC
17 TpSiR FR SiR
18 FR TpSiR TpFR
19 FL TpSiL SiL
20 TpSiL FL TpFL
21 BtFL FL SiL
22 FR BtFR SiR
23 BtFL FLc FL
24 TpFC FLc FC
25 FLc BtFC FC
26 FLc BtFL BtFC
27 FLc TpFC TpFL
28 FL FLc TpFL
29 FRc BtFR FR
30 FRc TpFC FC
31 BtFC FRc FC
32 BtFR FRc BtFC
33 TpFC FRc TpFR
34 FRc FR TpFR
전면의 낮은 위치에 있는 객체 신호와 전면의 측면에 위치한 객체 신호를 재생하는 것을 제외하고, 22.2 채널 신호는 청취자 위치 이하(elevation < 0o) 에 있는 오디오 소스를 지원하지 않을 수 있다. 라우드스피커의 셋업에 의해 주어진 제한 사항 이하의 오디오 소스를 계산하는 것은 불가능하지 않다. 렌더링부는 객체 신호의 azimuth에 따라 객체 신호의 최소 elevation을 설정할 수 있다.
최소 elevation은 참조 22.2 채널의 셋업에서 가능한 가장 낮은 위치의 라우드스피커에 의해 결정될 수 있다. 예를 들어, azimuth 45o에서의 객체 신호는 -15o의 최소 elevation을 가질 수 있다. 만약, 객체 신호의 elevation이 최소 elevation보다 낮은 경우, 객체 신호의 elevation은 VBAP 패닝 게인을 계산하기 이전에 자동으로 최소 elevation으로 조절될 수 있다.
최소 elevation은 다음과 같이 오디오 객체의 azimuth에 의해 결정될 수 있다.
Azimuth가 BtFL (45o)와 BtFR (-45o) 사이를 나타내는 전면에 위치한 객체 신호는 최소 elevation이 -15o이다.
Azimuth가 SiL (90o) 와 SiR (-90o) 사이를 나타내는 후면에 위치한 객체 신호는 최소 elevation 이 0o이다.
Azimuth가 SiL (90o) 와 BtFL (45o) 사이를 나타내는 객체 신호의 최소 elevation 은 SiL과 BtFL 를 직접 연결하는 선에 의해 결정될 수 있다.
Azimuth가 SiL (90o) 와 BtFL (-45o) 사이를 나타내는 객체 신호의 최소 elevation 은 SiL과 BtFL 를 직접 연결하는 선에 의해 결정될 수 있다.
(3) HOA 기반 입력 데이터
HOA 기반 입력 데이터는 모노포닉 채널 신호들의 집합으로 전송될 수 있으며, 각각의 채널 신호는 48KHz의 샘플링율을 가지는 모노포닉 .wav 파일로 표현될 수 있다.
각가의 .wav 파일의 컨텐츠는 시간 도멘인의 HOA 실수 계수 신호이며, HOA 컴포넌트
Figure pat00001
Figure pat00002
로 표현될 수 있다.
사운드 필드 설명(sound field description (SFD))는 하기 수학식 1에 따라 결정될 수 있다.
Figure pat00003
여기서, 시간 도메인의 HOA 실수 계수는
Figure pat00004
Figure pat00005
로 정의될 수 있다. 이 때,
Figure pat00006
Figure pat00007
는 인버스 시간도메인 푸리에 변환을 의미하고,
Figure pat00008
Figure pat00009
는
Figure pat00010
Figure pat00011
에 대응한다.
HOA 렌더링부는 구형태(spherical)의 라우드스피커 배열을 드라이빙하는 출력 신호를 제공할 수 있다. 이 때, 라우드스피커 배열이 구형태가 아닌 경우, 라우드스피커 배열을 위해 시간 보상 및 레벨 보상이 수행될 수 있다.
HOA 컴포넌트 파일은 다음과 같이 표현될 수 있다.
<item_name>_
Figure pat00012
Figure pat00013
.wav
여기서, N은 HOA 차수를 의미한다. 그리고,
Figure pat00014
Figure pat00015
은 차수 인덱스,
Figure pat00016
Figure pat00017
,
Figure pat00018
Figure pat00019
를 의미한다. 그리고,
Figure pat00020
Figure pat00021
은 azimuthal frequency index를 나타내며, 하기 표 5와 같은 테이블을 통해 정의될 수 있다.
Figure pat00022
 <item_name>_<
Figure pat00023
Figure pat00024
>_00+.wav
Figure pat00025
 <item_name>_<
Figure pat00026
Figure pat00027
>_11+.wav
Figure pat00028
 <item_name>_<
Figure pat00029
Figure pat00030
>_11-.wav
Figure pat00031
 <item_name>_<
Figure pat00032
Figure pat00033
>_10+.wav
Figure pat00034
 <item_name>_<
Figure pat00035
Figure pat00036
>_22+.wav
Figure pat00037
 <item_name>_<
Figure pat00038
Figure pat00039
>_22-.wav
Figure pat00040
 <item_name>_<
Figure pat00041
Figure pat00042
>_21+.wav
Figure pat00043
 <item_name>_<
Figure pat00044
Figure pat00045
>_21-.wav
Figure pat00046
 <item_name>_<
Figure pat00047
Figure pat00048
>_20+.wav
Figure pat00049
 <item_name>_<
Figure pat00050
Figure pat00051
>_33+.wav
도 10은 다른 실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 10을 참고하면, 복호화 장치는 USAC 3D 복호화부(1010), 객체 렌더링부(1020), OAM 복호화부(1030), SAOC 3D 복호화부(1040), 믹싱부(1050), 바이노럴 렌더링부(1060) 및 포맷 변환부(1070)를 포함할 수 있다.
USAC 3D 복호화부(1010)는 MPEG USAC 기술에 기초하여 라우드스피커의 채널 신호, 불연속적인 객체 신호, 객체 다운믹스 신호, 프리-렌더링된 객체 신호를 복호화할 수 있다. USAC 3D 복호화부(930)는 입력된 채널 신호와 객체 신호의 지오메트릭(geometric) 정보 또는 시멘틱(semantic) 정보에 기초하여 채널 매핑 정보와 객체 매핑 정보를 생성할 수 있다. 여기서, 채널 매핑 정보와 객체 매핑 정보는 어떻게 채널 신호들과 객체 신호들을 USAC 채널 요소(CPEs, SCEs, LFEs)에 매핑시킬 것인지를 나타낸다.
객체 신호들은 율/왜곡(rate/distortion) 요구에 의존하여 다른 방식으로 복호화될 수 있다. 프리-렌더링된 객체 신호들은 22.2 채널 신호로 코딩될 수 있다. 그리고, 불연속적인 객체 신호들은 USAC 3D 복호화부(930)에 모노포닉(monophonic) 파형으로 입력될 수 있다. 그러면, USAC 3D 복호화부(930)는 채널 신호에 추가하여 객체 신호를 전송하기 위해 싱글 채널 요소 SCEs를 이용할 수 있다.
또한, 파라메트릭 객체 신호들은 객체 신호들의 속성과 객체 신호들 간의 관계를 SAOC 파라미터를 통해 정의될 수 있다. 객체 신호들의 다운믹스 결과는 USAC 기술로 복호화횔 수 있고, 파라메트릭 정보는 별도로 전송될 수 있다. 다운믹스 채널의 개수는 객체 신호들의 개수와 전체 데이터율에 따라 선택될 수 있다.
객체 렌더링부(1020)는 USAC 3D 복호화부(1010)를 통해 출력된 객체 신호를 렌더링한 후, 믹싱부(1050)에 전달할 수 있다. 구체적으로, 객체 렌더링부(1020)는 OAM 복호화부(1030)으로 전달된 객체 메타데이터(OAM)를 이용하여 주어진 재생 포맷에 따라 객체 파형(object waveform)을 생성할 수 있다. 각각의 객체 신호들은 객체 메타데이터에 따라 출력 채널로 렌더링될 수 있다.
OAM 복호화부(1030)는 부호화 장치로부터 전달된 부호화된 객체 메타데이터를 복호화할 수 있다. 그리고, OAM 복호화부(1030)은 도출된 객체 메타데이터를 객체 렌더링부(1020)와 SAOC 3D 복호화부(1040)에 전달할 수 있다.
SAOC 3D 복호화부(1040)은 복호화된 SAOC 전송 채널과 파라메트릭 정보로부터 객체 신호와 채널 신호를 복원할 수 있다. 그리고, 재생 레이아웃, 복원된 객체 메타데이터 및 부가적으로 사용자 제어 정보에 기초하여 오디오 장면을 출력할 수 있다. 파라메트릭 정보는 SAOC-SI로 표현되며, OLD(Object Level Difference), IOC(Inter Object Cross Correlation), DMG(Downmix Gain) 등 객체 신호들 간의 공간적인 파라미터를 포함할 수 있다.
믹싱부(1050)는 (i) USAC 3D 복호화부(101)로부터 출력된 채널 신호와 프리렌더링된 객체 신호, (ii) 객체 렌더링부(1020)로부터 출력된 렌더링된 객체 신호, (iii) SAOC 3D 복호화부(1040)로부터 출력된 렌더링된 객체 신호를 이용하여 주어진 스피커 포맷에 맞는 채널 신호를 생성할 수 있다. 구체적으로, 믹싱부(1050)는 채널 기반 컨텐츠와 불연속/파라메트릭 객체가 디코딩되면, 채널 파형과 렌더링된 객체 파형을 지연 조절(delay-aligned), 샘플 와이즈(sample-wise)할 수 있다.
일례로, 믹싱부(1050)는 이하의 신택스를 통해 믹싱할 수 있다.
hannelConfigurationIndex;
if (channelConfigurationIndex == 0) {
sacChannelConfig();
여기서, channelConfigurationIndex는 아래 테이블에 따라 매핑된 라우드스피커, 채널 요소 및 채널 신호의 개수를 의미할 수 있다. 이 때, channelConfigurationIndex는 채널 신호의 렌더링 정보로 정의될 수 있다.
value audio syntactic elements , listed in order received channel to speaker mapping Speaker
abbrev . 		" Front /
Surr .
LFE" notation
0 defined in UsacChannelConfig()
1 UsacSingleChannelElement() center front speaker C 1/0.0
2 UsacChannelPairElement() left, right front speakers L, R 2/0.0
3 UsacSingleChannelElement(), UsacChannelPairElement() center front speaker,
left, right front speakers		 C
L,R		 3/0.0
4 UsacSingleChannelElement(),
UsacChannelPairElement(),
UsacSingleChannelElement() 		center front speaker,
left, right center front speakers,
center rear speakers		 C
L, R
Cs		 3/1.0
5 UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement() center front speaker,
left, right front speakers,
left surround, right surround speakers		 C
L, R
Ls, Rs		 3/2.0
6 UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(),
UsacLfeElement()		 center front speaker,
left, right front speakers,
left surround, right surround speakers,
center front LFE speaker		 C
L, R
Ls, Rs
LFE		 3/2.1
7 UsacSingleChannelElement(), UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacLfeElement()		 center front speaker
left, right center front speakers,
left, right outside front speakers,
left surround, right surround speakers,
center front LFE speaker		 C
Lc, Rc
L, R
Ls, Rs
LFE		 5/2.1
8 UsacSingleChannelElement(),
UsacSingleChannelElement()		 channel1
channel2		 N.A.
N.A.		 1+1
9 UsacChannelPairElement(),
UsacSingleChannelElement()		 left, right front speakers,
center rear speaker		 L, R
Cs		 2/1.0
10 UsacChannelPairElement(),
UsacChannelPairElement()		 left, right front speaker,
left, right rear speakers		 L, R
Ls, Rs		 2/2.0
11 UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(),
UsacSingleChannelElement(),
UsacLfeElement()		 center front speaker,
left, right front speakers,
left surround, right surround speakers,
center rear speaker,
center front LFE speaker		 C
L, R
Ls, Rs
Cs
LFE		 3/3.1
12 UsacSingleChannelElement(), UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacLfeElement()		 center front speaker
left, right front speakers,
left surround, right surround speakers,
left, right rear speakers,
center front LFE speaker		 C
L, R
Ls, Rs
Lsr, Rsr
LFE		 3/4.1
13 UsacSingleChannelElement(), UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(), UsacLfeElement(),
UsacLfeElement(),
UsacSingleChannelElement(),
UsacChannelPairElement(),
UsacChannelPairElement(), UsacSingleChannelElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(), UsacSingleChannelElement(),
UsacChannelPairElement()		 center front speaker,
left, right front speakers,
left, right outside front speakers,
left, right side speakers,
left, right back speakers,
back center speaker,
left front low freq. effects speaker,
right front low freq. effects speaker,
top center front speaker,
top left, right front speakers,
top left, right side speakers,
center of the room ceiling speaker,
top left, right back speakers,
top center back speaker,
bottom center front speaker,
bottom left, right front speakers		 C
Lc, Rc
L, R
Lss, Rss
Lsr, Rsr
Cs
LFE
LFE2
Cv
Lv, Rv
Lvss, Rvss
Ts
Lvr, Rvr
Cvr
Cb
Lb, Rb		 11/11.2
14 UsacChannelPairElement(),
UsacSingleChannelElement(),
UsacLfeElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(),
UsacLfeElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(),
UsacSingleChannelElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(),
UsacSingleChannelElement(),
UsacChannelPairElement()		 CH_M_L060, CH_M_R060,
CH_M_000,
CH_LFE1,
CH_M_L135, CH_M_R135,
CH_M_L030, CH_M_R030,
CH_M_L180,
CH_LFE2,
CH_M_L090, CH_M_R090,
CH_U_L045, CH_U_R045,
CH_U_000,
CH_T_000,
CH_U_L135, CH_U_R135,
CH_U_L090, CH_U_R090,
CH_U_L180,
CH_L_000,
CH_L_L045, CH_L_R045		 22.2
15 UsacChannelPairElement(),
UsacChannelPairElement (),
UsacLfeElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement (),
UsacChannelPairElement(), UsacChannelPairElement(),
UsacLfeElement (),
UsacChannelPairElement (),
UsacChannelPairElement (),
UsacChannelPairElement(),
UsacChannelPairElement(),		 CH_M_000, CH_L_000,
CH_U_000, CH_T_000,
CH_LFE1,
CH_M_L135, CH_U_L135,
CH_M_R135, CH_U_R135,
CH_M_L030, CH_L_L045,
CH_M_R030, CH_L_R045,
CH_M_L180, CH_U_L180,
CH_LFE2,
CH_M_L090, CH_U_L090,
CH_M_R090, CH_U_R090,
CH_M_L060, CH_U_L045,
CH_M_R060, CH_U_R045		 22.2
16 reserved
17 UsacSingleChannelElement(),UsacSingleChannelElement (),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement (),
UsacSingleChannelElement(),
UsacSingleChannelElement (),
UsacChannelPairElement(), 		CH_M_000,
CH_U_000,
CH_M_L135, CH_M_R135,
CH_U_L135, CH_U_R135,
CH_M_L030, CH_M_R030,
CH_U_L045, CH_U_R045,
CH_U_000,
CH_U_L180,
CH_U_L090, CH_U_R090		 14.0
18 UsacSingleChannelElement(),UsacSingleChannelElement (),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement (),
UsacSingleChannelElement(),
UsacSingleChannelElement (),
UsacChannelPairElement(),		 CH_M_000,
CH_U_000,
CH_M_L135, CH_U_L135,
CH_M_R135, CH_U_R135,
CH_M_L030, CH_U_L045,
CH_M_R030, CH_U_R045,
CH_U_000,
CH_U_L180,
CH_U_L090, CH_U_R090		 14.0
19 reserved
20 UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(), UsacLfeElement(),		 CH_M_L030, CH_M_R030,
CH_U_L030, CH_U_R030,
CH_M_L110, CH_M_R110,
CH_U_L110, CH_U_R110,
CH_M_000, CH_U_000,
CH_U_000,
CH_LFE1		 11.1
21 UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement(), UsacLfeElement()		 CH_M_L030, CH_U_L030,
CH_M_R030, CH_U_R030,
CH_M_L110, CH_U_L110,
CH_M_R110, CH_U_R110,
CH_M_000, CH_U_000,
CH_U_000,
CH_LFE1		 11.1
22 reserved
23 UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement()		 CH_M_L030, CH_M_R030,
CH_U_L030, CH_U_R030,
CH_M_L110, CH_M_R110,
CH_U_L110, CH_U_R110,
CH_M_000		 9.0
24 UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacChannelPairElement(),
UsacSingleChannelElement()		 CH_M_L030, CH_U_L030,
CH_M_R030, CH_U_R030,
CH_M_L110, CH_U_L110,
CH_M_R110, CH_U_R110,
CH_M_000		 9.0
25-30 reserved
31 UsacSingleChannelElement()
UsacSingleChannelElement()
...
(1 to numObjects)		 contains numObjects single channels
믹싱부(1050)를 통해 출력된 채널 신호는 직접적으로 라우드스피커에 피딩되어 재생될 수 있다. 그리고, 바이노럴 렌더링부(1060)는 복수의 채널 신호에 대해 바이노럴 다운믹스를 수행할 수 있다. 이 때, 바이노럴 렌더링부(1060)에 입력되는 채널 신호는 가상 사운드 소스(virtual sound source)로 표현될 수 있다. 바이노럴 렌더링부(1060)는 QMF 도메인에서 프레임의 진행 방향으로 수행될 수 있다. 바이노럴 렌더링은 측정된 바이노럴 룸 임펄스 응답(room impulse response)에 기초하여 수행될 수 있다.
포맷 변환부(1070)는 믹싱부(1050)로부터 전송된 채널 신호의 구성과 원하는 스피커의 재생 포맷 간의 포맷 변환을 수행할 수 있다. 포맷 변환부(1070)는 믹싱부(1050)로부터 출력된 채널 신호의 채널 수를 다운믹싱하여 보다 낮은 채널 수로 변환할 수 있다. 포맷 변환부(1070)는 믹싱부(1050)로부터 출력된 채널 신호의 구성을 표준 라우드스피커 구성 뿐만 아니라 비표준 라우드스피커 구성을 가지는 랜덤 구성에 최적화되도록 채널 신호를 다운믹싱 또는 업믹싱할 수 있다.
본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 부호화 장치
500: 복호화 장치

Claims (20)

  1. 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및
    상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부
    를 포함하는 부호화 장치.
  2. 제1항에 있어서,
    상기 비트스트림 생성부는,
    상기 생성된 비트스트림을 저장 매체에 저장하거나 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송하는 부호화 장치.
  3. 제1항에 있어서,
    상기 채널 신호를 위한 렌더링 정보는,
    상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 부호화 장치.
  4. 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 복호화부; 및
    상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 렌더링부
    를 포함하는 복호화 장치.
  5. 제4항에 있어서,
    상기 채널 신호를 위한 렌더링 정보는,
    상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 복호화 장치.
  6. 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 믹싱부; 및
    상기 믹싱부에서 출력된 객체 신호들과 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 부호화부
    를 포함하고,
    상기 부가 정보는,
    상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함하는 부호화 장치.
  7. 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 복호화부; 및
    상기 객체 신호들 및 채널 신호들을 믹싱하는 믹싱부
    를 포함하고,
    상기 믹싱부는,
    채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱하는 복호화 장치.
  8. 제7항에 있어서,
    상기 믹싱부를 통해 출력된 채널 신호들을 바이노럴 렌더링하는 바이노럴 렌더링부
    를 더 포함하는 복호화 장치.
  9. 제7항에 있어서,
    상기 믹싱부를 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 포맷 변환부
    를 더 포함하는 복호화 장치.
  10. 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 단계; 및
    상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 단계
    를 포함하는 부호화 방법.
  11. 제10항에 있어서,
    상기 생성된 비트스트림을 저장 매체에 저장하는 단계; 또는
    상기 생성된 비트스트림을 네트워크를 통해 복호화 장치에 전송하는 단계
    를 더 포함하는 부호화 방법.
  12. 제10항에 있어서,
    상기 채널 신호를 위한 렌더링 정보는,
    상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 부호화 방법.
  13. 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 단계; 및
    상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 단계
    를 포함하는 복호화 방법.
  14. 제13항에 있어서,
    상기 채널 신호를 위한 렌더링 정보는,
    상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 복호화 방법.
  15. 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 단계; 및
    믹싱 과정을 통해 출력된 객체 신호들, 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 단계
    를 포함하고,
    상기 부가 정보는,
    상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함하는 부호화 방법.
  16. 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 단계; 및
    상기 객체 신호들 및 채널 신호들을 믹싱하는 단계
    를 포함하고,
    상기 믹싱하는 단계는,
    채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱하는 복호화 방법.
  17. 제16항에 있어서,
    믹싱 과정을 통해 출력된 채널 신호들을 바이노럴 렌더링하는 단계
    를 더 포함하는 복호화 방법.
  18. 제16항에 있어서,
    믹싱 과정을 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 단계
    를 더 포함하는 복호화 방법.
  19. 제10항 내지 제12항, 제15항의 부호화 방법에 따라 생성된 비트스트림이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  20. 제13항 내지 제14항, 제16항 내지 제18항의 복호화 방법을 수행하는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020140005056A 2013-01-15 2014-01-15 채널 신호를 처리하는 부호화/복호화 장치 및 방법 Active KR102213895B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US14/758,642 US10068579B2 (en) 2013-01-15 2014-01-15 Encoding/decoding apparatus for processing channel signal and method therefor
PCT/KR2014/000443 WO2014112793A1 (ko) 2013-01-15 2014-01-15 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US16/011,249 US10332532B2 (en) 2013-01-15 2018-06-18 Encoding/decoding apparatus for processing channel signal and method therefor
US16/447,573 US11289105B2 (en) 2013-01-15 2019-06-20 Encoding/decoding apparatus for processing channel signal and method therefor
KR1020210014848A KR102357924B1 (ko) 2013-01-15 2021-02-02 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US17/706,400 US11875802B2 (en) 2013-01-15 2022-03-28 Encoding/decoding apparatus for processing channel signal and method
US18/525,181 US12494215B2 (en) 2013-01-15 2023-11-30 Encoding/decoding apparatus for processing channel signal and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130004359 2013-01-15
KR20130004359 2013-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210014848A Division KR102357924B1 (ko) 2013-01-15 2021-02-02 채널 신호를 처리하는 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140092779A true KR20140092779A (ko) 2014-07-24
KR102213895B1 KR102213895B1 (ko) 2021-02-08

Family

ID=51739314

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140005056A Active KR102213895B1 (ko) 2013-01-15 2014-01-15 채널 신호를 처리하는 부호화/복호화 장치 및 방법
KR1020220011551A Active KR102477610B1 (ko) 2013-01-15 2022-01-26 채널 신호를 처리하는 부호화/복호화 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220011551A Active KR102477610B1 (ko) 2013-01-15 2022-01-26 채널 신호를 처리하는 부호화/복호화 장치 및 방법

Country Status (3)

Country Link
US (2) US10068579B2 (ko)
KR (2) KR102213895B1 (ko)
CN (4) CN105009207B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199040A1 (ko) * 2018-04-10 2019-10-17 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068579B2 (en) * 2013-01-15 2018-09-04 Electronics And Telecommunications Research Institute Encoding/decoding apparatus for processing channel signal and method therefor
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
WO2014171791A1 (ko) * 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
EP4601259A3 (en) 2014-09-30 2025-09-24 Sony Group Corporation Transmitting device, transmission method, receiving device, and receiving method
US9961475B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9818427B2 (en) * 2015-12-22 2017-11-14 Intel Corporation Automatic self-utterance removal from multimedia files
WO2018001493A1 (en) * 2016-06-30 2018-01-04 Huawei Technologies Duesseldorf Gmbh Apparatuses and methods for encoding and decoding a multichannel audio signal
CN108694955B (zh) * 2017-04-12 2020-11-17 华为技术有限公司 多声道信号的编解码方法和编解码器
JP7226436B2 (ja) * 2018-04-12 2023-02-21 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
GB2575509A (en) 2018-07-13 2020-01-15 Nokia Technologies Oy Spatial audio capture, transmission and reproduction
GB2575511A (en) 2018-07-13 2020-01-15 Nokia Technologies Oy Spatial audio Augmentation
TWI703559B (zh) * 2019-07-08 2020-09-01 瑞昱半導體股份有限公司 音效編碼解碼電路及音頻資料的處理方法
CN110751956B (zh) * 2019-09-17 2022-04-26 北京时代拓灵科技有限公司 一种沉浸式音频渲染方法及系统
EP3857919B1 (en) 2019-12-02 2022-05-18 Dolby Laboratories Licensing Corporation Methods and apparatus for conversion from channel-based audio to object-based audio
EP4202921B1 (en) 2020-09-28 2026-04-08 Samsung Electronics Co., Ltd. Audio encoding apparatus and audio decoding apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977977A (en) * 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
US6597356B1 (en) * 2000-08-31 2003-07-22 Nvidia Corporation Integrated tessellator in a graphics processing unit
US7395210B2 (en) * 2002-11-21 2008-07-01 Microsoft Corporation Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform
JP4370802B2 (ja) * 2003-04-22 2009-11-25 富士通株式会社 データ処理方法およびデータ処理装置
US20070297519A1 (en) * 2004-10-28 2007-12-27 Jeffrey Thompson Audio Spatial Environment Engine
DE602006016017D1 (de) * 2006-01-09 2010-09-16 Nokia Corp Steuerung der dekodierung binauraler audiosignale
FR2899423A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
JP2008092072A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 音声ミキシング処理装置及び音声ミキシング処理方法
JP5337941B2 (ja) * 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル・パラメータ変換のための装置および方法
EP2130304A4 (en) 2007-03-16 2012-04-04 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
EP3712888B1 (en) 2007-03-30 2024-05-08 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
JP5133401B2 (ja) * 2007-04-26 2013-01-30 ドルビー・インターナショナル・アクチボラゲット 出力信号の合成装置及び合成方法
US8654994B2 (en) 2008-01-01 2014-02-18 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2250821A1 (en) * 2008-03-03 2010-11-17 Nokia Corporation Apparatus for capturing and rendering a plurality of audio channels
CN101339767B (zh) * 2008-03-21 2010-05-12 华为技术有限公司 一种背景噪声激励信号的生成方法及装置
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
KR101283783B1 (ko) 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
WO2010149700A1 (en) * 2009-06-24 2010-12-29 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
JP5645951B2 (ja) 2009-11-20 2014-12-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ダウンミックス信号表現に基づくアップミックス信号を提供する装置、マルチチャネルオーディオ信号を表しているビットストリームを提供する装置、方法、コンピュータプログラム、および線形結合パラメータを使用してマルチチャネルオーディオ信号を表しているビットストリーム
SG194199A1 (en) * 2011-03-18 2013-12-30 Fraunhofer Ges Forschung Frame element positioning in frames of a bitstream representing audio content
US9754595B2 (en) * 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
WO2013006342A1 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Synchronization and switchover methods and systems for an adaptive audio system
US10068579B2 (en) * 2013-01-15 2018-09-04 Electronics And Telecommunications Research Institute Encoding/decoding apparatus for processing channel signal and method therefor
WO2014112793A1 (ko) * 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
EP2830043A3 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
KR102159990B1 (ko) * 2013-09-17 2020-09-25 주식회사 윌러스표준기술연구소 멀티미디어 신호 처리 방법 및 장치
KR101627657B1 (ko) * 2013-12-23 2016-06-07 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Information technology - High Efficiency Coding and Media Delivery in Heterogeneous Environments - Part 3: 3D Audio, Working Draft Text of MPEG-H 3D Audio CO RM0, ISO/IEC WD 23008-3, w14060, MPEG 106* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199040A1 (ko) * 2018-04-10 2019-10-17 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
US11540075B2 (en) 2018-04-10 2022-12-27 Gaudio Lab, Inc. Method and device for processing audio signal, using metadata
US11950080B2 (en) 2018-04-10 2024-04-02 Gaudio Lab, Inc. Method and device for processing audio signal, using metadata

Also Published As

Publication number Publication date
US20150371645A1 (en) 2015-12-24
CN109166588A (zh) 2019-01-08
US10332532B2 (en) 2019-06-25
KR102213895B1 (ko) 2021-02-08
US20180301155A1 (en) 2018-10-18
CN105009207B (zh) 2018-09-25
US10068579B2 (en) 2018-09-04
CN109166588B (zh) 2022-11-15
CN108806706B (zh) 2022-11-15
CN108806706A (zh) 2018-11-13
CN105009207A (zh) 2015-10-28
CN109166587B (zh) 2023-02-03
KR102477610B1 (ko) 2022-12-14
CN109166587A (zh) 2019-01-08
KR20220020849A (ko) 2022-02-21

Similar Documents

Publication Publication Date Title
KR102477610B1 (ko) 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US9761229B2 (en) Systems, methods, apparatus, and computer-readable media for audio object clustering
TWI744341B (zh) 使用近場/遠場渲染之距離聲相偏移
KR101903873B1 (ko) 기하학적 거리 정의를 이용한 오디오 렌더링 장치 및 방법
US9516446B2 (en) Scalable downmix design for object-based surround codec with cluster analysis by synthesis
JP5823529B2 (ja) 高次アンビソニックス・オーディオ・データ用のデータ構造
US9478225B2 (en) Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
JP5337941B2 (ja) マルチチャネル・パラメータ変換のための装置および方法
US10356545B2 (en) Method and device for processing audio signal by using metadata
US20140086416A1 (en) Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
CN105981411A (zh) 用于高声道计数的多声道音频的基于多元组的矩阵混合
CN105593929A (zh) 实现3d音频内容的saoc降混合的装置及方法
EP1570462A1 (en) Method for coding and decoding the wideness of a sound source in an audio scene
US12494215B2 (en) Encoding/decoding apparatus for processing channel signal and method therefor
CN112005560B (zh) 使用元数据处理音频信号的方法和设备
Mores Music studio technology
KR20190060464A (ko) 오디오 신호 처리 방법 및 장치
Li et al. The perceptual lossless quantization of spatial parameter for 3D audio signals

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140115

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190115

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140115

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200113

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200603

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201102

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20210202

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210202

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231127

Start annual number: 4

End annual number: 4