KR20200074243A - 인코딩된 오디오 메타데이터-기반 등화 - Google Patents

인코딩된 오디오 메타데이터-기반 등화 Download PDF

Info

Publication number
KR20200074243A
KR20200074243A KR1020207016997A KR20207016997A KR20200074243A KR 20200074243 A KR20200074243 A KR 20200074243A KR 1020207016997 A KR1020207016997 A KR 1020207016997A KR 20207016997 A KR20207016997 A KR 20207016997A KR 20200074243 A KR20200074243 A KR 20200074243A
Authority
KR
South Korea
Prior art keywords
values
sequence
audio
downmix
digital audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207016997A
Other languages
English (en)
Other versions
KR102178231B1 (ko
Inventor
프랭크 바움가르테
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200074243A publication Critical patent/KR20200074243A/ko
Application granted granted Critical
Publication of KR102178231B1 publication Critical patent/KR102178231B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

인코딩된 디지털 오디오 레코딩을 생성하기 위한 시스템은, 다수의 오디오 채널들 또는 오디오 오브젝트들을 갖는 디지털 오디오 레코딩을 인코딩하는 오디오 인코더를 갖는다. 등화(EQ) 값 생성기는, 인코딩된 디지털 오디오 레코딩을 디코딩할 경우 적용될 EQ 필터링을 정의하는 EQ 값들의 시퀀스를 생성하며, 여기서, EQ 필터링은 임의의 다운믹스와는 독립적으로 레코딩의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 그룹에 적용될 것이다. 비트스트림 멀티플렉서는, 인코딩된 디지털 오디오 레코딩을 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터로서의 EQ 값들의 시퀀스와 결합시킨다. 인코딩된 오디오 레코딩을 디코딩하기 위한 시스템이 또한 설명된다.

Description

인코딩된 오디오 메타데이터-기반 등화{ENCODED AUDIO METADATA-BASED EQUALIZATION}
본 정규 특허 출원은 2015년 7월 31일자로 출원된 가출원 제62/199,634호의 보다 앞선 출원일의 이익을 주장한다.
기술분야
본 발명의 일 실시예는 일반적으로, 다양한 타입들의 소비자 전자기기 최종 사용자 디바이스들에서 재생 품질을 개선시키기 위해, 디코딩된 신호의 재생 동안, 인코딩된 신호와 연관되는, 오디오 신호의 인코딩과 디코딩, 및 메타데이터의 사용에 관한 것이다. 다른 실시예들이 또한 설명된다.
디지털 오디오 콘텐츠는, 예를 들어, 음악 및 영화 파일들을 포함하는 많은 예시들에서 나타난다. 대부분의 예시들에서, 오디오 신호가 인코딩되며, 여기서, 인코딩은 반드시 데이터-레이트 감소의 목적들을 위해 필요한 것이 아니라 단순히 포맷 변환의 목적을 위한 것일 수 있어서, 결과적인 미디어 파일 또는 스트림의 저장 또는 송신을 가능하게 하며, 그에 의해, 다수의 전달들 또는 송신들이 (필요하다면) 동시에 발생하게 허용한다. 미디어 파일 또는 스트림은 상이한 타입들의 최종 사용자 디바이스들에서 수신될 수 있으며, 여기서, 인코딩된 오디오 신호는, 내장형 또는 탈착가능 스피커 중 어느 하나를 통해 소비자에게 제시되기 전에 디코딩된다. 이것은, 인터넷을 통해 디지털 미디어를 획득하기 위한 소비자의 욕구를 채우는데 도움이 된다. 디지털 오디오 콘텐츠(프로그램들)의 창작자들 및 배포자들은, 오디오 콘텐츠를 인코딩 및 디코딩하기 위해 사용될 수 있는 수 개의 산업 표준들을 자유롭게 갖는다. 이들은, ATSC사(Advanced Television Systems Committee, Inc.)에 의해 발행된 2005년 6월 14일자의 디지털 오디오 압축 표준(AC-3, E-AC-3), 개정판 B의 문서 A/52B("ATSC 표준"), ISO/IEC 13818-7의 MPEG-2 전송 스트림에 기초한 유럽 원격통신 표준 협회의 ETSI TS 101 154 디지털 비디오 브로드캐스팅(DVB), 진보된 오디오 코딩(AAC)("MPEG-2 AAC 표준"), 및 국제 표준 기구(ISO)에 의해 발행된 ISO/IEC 14496-3("MPEG-4 오디오")을 포함한다.
오디오 콘텐츠는 디코딩되고, 이어서, 그것이 원래 마스터링되었던 것과는 상이하게 프로세싱(렌더링)될 수 있다. 예를 들어, 마스터링 엔지니어는, 재생 시에, 청취자가 콘서트의 관객석에, 즉, 밴드 또는 오케스트라의 앞에 앉아있는 것처럼, 오케스트라 또는 콘서트가 뒤로부터 들리는 박수 소리와 함께 (청취자에게) 소리를 내도록 오케스트라 또는 콘서트를 레코딩할 수 있다. 대안적으로, 마스터링 엔지니어는 (동일한 콘서트의) 상이한 렌더링을 행할 수 있으므로, 예를 들어, 재생 시에, (청취자가 "자신의 주변에서는" 악기소리들 및 "앞에서는" 박수 소리를 들을) 스테이지 상에 청취자가 있는 것처럼, 청취자는 콘서트를 들을 것이다. 이것은 또한, 재생 룸에서 청취자에 대한 상이한 관점을 생성하거나, 또는 상이한 "청취 위치" 또는 상이한 재생 룸에 대해 오디오 콘텐츠를 렌더링하는 것으로 지칭된다.
오디오 콘텐츠는 또한, 상이한 음향 환경들, 예를 들어, 헤드셋, 스마트폰 스피커폰, 또는 태블릿 컴퓨터, 랩톱 컴퓨터, 또는 데스크톱 컴퓨터의 내장형 스피커들을 통한 재생을 위해 렌더링될 수 있다. 특히, 예를 들어, 한 사람의 담화, 폭발음, 박수 소리, 또는 배경 사운드들의 디지털 오디오 레코딩인 개별 디지털 오디오 오브젝트가 주어진 음향 환경들에서 임의의 하나 이상의 스피커 채널들에 걸쳐 상이하게 재생될 수 있는 오브젝트 기반 오디오 재생 기법들이 이제 이용가능하다.
그러나, (소정의 오디오 콘텐츠의) 이전에 믹싱된 레코딩이 이어서 상이한 음향 환경으로 렌더링되거나 또는 상이한 청취자 관점으로부터 렌더링되는 경우, 청취자가 듣는 음조 균형이 영향을 받는다. 그러한 음조 불균형을 완화시키기 위해, 마스터링 엔지니어들은, 특정한 음향 환경 또는 특정한 청취자 관점에 대한 오디오 신호를 최적화하기 위해 등화(EQ) 또는 스펙트럼 성형을 디지털 오디오 신호에 적용한다. 예를 들어, 대형 영화관에서의 재생을 위한 동영상 파일을 렌더링하는 것은, 결과적인 사운드가 재생 동안 너무 선명해지는 것을 방지하도록 (동영상 파일의 디지털 오디오 트랙들에) 적용될 소정의 EQ를 요구할 수 있다. 그러나, 홈 시어터 시스템을 통한 재생을 위한 파일, 예를 들어, DVD 파일 또는 인터넷 스트리밍 영화 파일을 렌더링하는 것은, 더 작은 룸 사이즈(및 다른 팩터들) 때문에 상이한 EQ를 요구한다.
오디오의 믹싱 및 마스터링 또는 생성에서, 원하는 레벨(예를 들어, 라우드니스(loudness)) 및 음조 균형을 달성하기 위해 2개의 기본적인 툴들, 즉 동적 범위 제어 또는 압축(DRC) 및 등화(EQ)를 적용하는 것이 일반적이다. 그러나, 소비자 중심 재생 시나리오는 생성 동안 알려지지 않는다. 본 발명의 일 실시예는, 인코딩된 디지털 오디오 콘텐츠(또는 오디오 레코딩) 파일의 메타데이터의 일부인 EQ 값들을 생성하는 생성 또는 배포 시스템(예를 들어, 서버 시스템)이다. EQ 값들은, 재생 동안, 디코딩된 본래의 오디오 레코딩에 적용될 선형 필터링(스펙트럼 성형)을 정의할 수 있다. EQ의 이러한 적용은 임의의 다운믹스에 독립적이도록 정의될 수 있다. 오디오 레코딩이 인코딩된 콘텐츠 파일로부터 디코더에 의해 추출된 이후, 스펙트럼 성형이 적용되며; 이것은, 특정된 다운믹스가 형성되기 전에, 다운믹스가 수행된 이후, 또는 다운믹스 이전 및 이후 둘 모두에서 발생할 수 있다. 메타데이터-기반 EQ 값들에 의해 정의된 선형 필터링은, 특정한 재생 음향 환경 또는 청취 관점에 더 양호하게 적합하게 하기 위해 오디오 레코딩 내의 주파수 컴포넌트들 사이에서 균형을 조정하여, 특정 주파수 대역들의 에너지를 강화 또는 약화시키도록 설계된다. 따라서, 이것은 스펙트럼적으로 조정되거나 선형 필터링된 오디오 콘텐츠의 재생을 가능하게 하며, 여기서, 필터링은 인코딩 스테이지에서 특정되었고, 특정한 음향 환경(예를 들어, 공공 영화관보다 작은 거실)에서 또는 (예를 들어, 특정한 오디오 증폭기 이득 및 스피커 민감도를 갖는) 특정한 사운드 렌더링 시스템에 대해 재생 사운드를 개선시키도록 의도되었다. 오디오 콘텐츠 파일은, 예를 들어, 동영상 파일, 예를 들어, MPEG 영화 파일, 오디오-전용 파일, 예를 들어, AAC 파일, 또는 임의의 적합한 멀티미디어 포맷을 갖는 파일일 수 있다. 예를 들어, 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터는 MPEG-D DRC의 다수의 확장 필드로 전달될 수 있다. 메타데이터-기반 접근법은, 오디오 레코딩의 단일 기본 버전만이 필요하기 때문에, (메타데이터에서 EQ 시퀀스들에 의해 지원되는 바와 같이) 상이한 재생 시나리오들에 대해 기본 버전의 다수의 렌더링된 버전들을 전달하기 위한 능력과 함께, 통합된 사운드 프로그램 콘텐츠 배포 포맷을 가능하게 한다.
오디오 콘텐츠 파일의 메타데이터 내에서 EQ 값들을 저장 또는 반송하기 위한 다양한 포맷들이 가능하다. 예를 들어, 메타데이터는 EQ 값들의 하나 이상의 시퀀스들을 포함하도록 정의될 수 있다. 아래의 표, 예를 들어, EQ 시퀀스의 부분들을 참조한다. 시퀀스의 각각의 요소는, 특정한 디코딩된 채널 또는 오브젝트에 대해 수행될 스펙트럼 성형(필터링) 동작의 일부 양상을 정의하는 값을 포함할 수 있다. EQ 값들은 인코딩된 디지털 오디오 콘텐츠의 특정한 렌더링을 위해 선택된다. EQ 값들의 시퀀스는, (디코딩된 오디오 레코딩의) 사운드 프로그램 콘텐츠의 조각 전체에 적용될 등화 필터링을 정의할 수 있다. (파일에서 동일한 오디오 콘텐츠를 참조하는) 주어진 파일의 메타데이터 내의 각각의 EQ 시퀀스는, 하나 이상의 채널들 또는 오브젝트들의 각각의 그룹을 필터링하기 위한 명령어들을 포함할 수 있다. (하나 이상의 EQ 시퀀스들의) EQ 세트는 헤드셋을 통한 노래의 재생 동안 적용되는 EQ 필터링을 정의할 수 있는 반면, 다른 EQ 세트는 스피커 독을 통한 동일한 노래의 재생에 대해 적용될 EQ 필터링을 정의할 수 있다. 따라서, 주어진 EQ 시퀀스에서 정의된 필터링은 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 EQ 그룹과 연관되며, 그 EQ 그룹의 채널들 또는 오브젝트들에 또한 적용될 임의의 다운믹스와는 독립적일 수 있다.
EQ 값들(또는 EQ 명령어들 또는 페이로드)은, 주파수(또는 서브-대역) 도메인에서 적용될 필터링을 정의할 수 있다. 예를 들어, EQ 페이로드는, 그래픽 등화기 셋팅과 유사하게 2개 이상의 미리 정의된 주파수 대역들에 대한 이득 값들, 예를 들어, 고음, 중음, 및 저음을 가질 수 있다. 그 경우에서, EQ 필터링 동작은 디코딩된 오디오 콘텐츠의 주파수 도메인 표현을 이득 값들과 곱할 수 있다. 대안적으로 또는 부가적으로, EQ 페이로드는 시간 도메인에서 적용될 필터링을 정의할 수 있다. 예를 들어, EQ 페이로드는 디지털 필터의 탭 계수들을 포함할 수 있다. 그 경우에서, 디코딩된 오디오 콘텐츠가 재생 동안 통과하는 적응형 또는 가변형 디지털 필터는 EQ 페이로드에 따라, 필터를 통해 (디코더 스테이지에서) 합성될 수 있다. 그 경우에서, EQ 필터링 동작은, 합성된 디지털 필터가 재생 동안 업데이트될 때, 합성된 디지털 필터를 통해 오디오 콘텐츠의 시간 도메인 표현을 전달하는 것일 수 있다.
위에서 제안된 바와 같이, EQ 필터링의 적용은, 예를 들어, 오디오 콘텐츠의 모든 프레임처럼 빈번하게 재생 동안 변할 수 있다. 그러나, EQ는 또한, 상위 계층에서 변하도록 설계될 수 있다. 예를 들어, 오디오 오브젝트가 장면으로 들어갈 경우, 오디오 채널들을 선택하도록 적용되는 EQ는, 오디오 오브젝트의 사운드를 더 양호하게 수용하기 위해 변할 필요가 있을 수 있다. 따라서, 시퀀스 포맷은, 메타데이터-삽입된 EQ 값들이 인코딩된 오디오 콘텐츠와 동기적으로 시간에 걸쳐 변하게 허용할 수 있다. 예를 들어, 새로운 EQ가 페이드 인(fade in)되고 오래된 EQ가 페이드 아웃될 수 있게 하거나 또는 (재생 동안) EQ의 급격한 스위칭 온 또는 오프를 가능하게 할 수 있는 (EQ 메타데이터에 대한) 기법들이 본 명세서에 또한 설명된다.
위의 발명의 내용은 본 발명의 모든 양상들의 전수적인 목록을 포함하지는 않는다. 본 발명이 위에 요약된 다양한 양상들의 모든 적합한 조합들로부터 실시될 수 있는 모든 시스템들 및 방법들뿐만 아니라, 아래의 발명을 실시하기 위한 구체적인 내용에 개시된 것들, 특히 출원과 함께 제출된 청구범위에서 지적된 것들을 포함한다는 것이 고려된다. 그러한 조합들은 위의 발명의 내용에서 구체적으로 언급되지 않은 특정한 이점들을 갖는다.
본 발명의 실시예들은 첨부 도면의 도면들에서 제한으로서가 아니라 예로서 도시되며, 첨부 도면에서 유사한 도면 부호는 유사한 요소들을 표시한다. 본 개시내용에서 본 발명의 "일" 또는 "하나의" 실시예에 대한 참조들은 반드시 동일한 실시예에 대한 것은 아니며, 이들은 적어도 하나를 의미함을 유의해야 한다. 또한, 간결함 및 도면들의 총 수를 감소시키기 위해, 주어진 도면은 본 발명의 1개 초과의 실시예의 특징부들을 도시하는데 사용될 수 있으며, 도면의 모든 요소들이 소정의 실시예에 대해 요구되지는 않을 수 있다.
도 1은, 인코드 스테이지 프로세싱을 수행하는 예시적인 컴퓨터 시스템 및 디코드 스테이지 프로세싱을 수행하는 컴퓨터 시스템을 구성하는 컴포넌트들을 도시한 블록 다이어그램이다.
도 2는 EQ, DRC 및 다운믹스 성능을 갖는 디코드 스테이지 프로세싱의 일 예를 도시한다.
도 3은 EQ 필터 블록의 예시적인 디지털 필터 캐스케이드 구조이다.
여러 실시예들이 첨부 도면들을 참조하여 설명된다. 많은 세부사항들이 기재되지만, 본 발명의 일부 실시예들은 이들 세부사항들 없이 실시될 수 있다는 것이 이해된다. 다른 예시들에서, 본 설명의 이해를 모호하게 하지 않기 위해, 잘 알려진 회로들, 구조들, 및 기법들은 상세히 나타내지 않는다.
도 1은, 디지털 오디오 레코딩의 인코드 스테이지 프로세싱을 수행하는 컴퓨터 시스템 및 디지털 오디오 레코딩의 디코드 스테이지 프로세싱을 수행하는 컴퓨터 시스템을 구성하는 컴포넌트들의 일 예를 도시한다. 도 1이 EQ, 동적 범위 제어(DRC) 및 다운믹스 블록들을 포함하는 (디코드 또는 재생 스테이지에서의) 예시적인 프로세싱 체인을 도시하지만, 이들 모두가 본 발명의 주어진 실시예 또는 재생 디바이스의 주어진 예시에 존재하도록 요구되지는 않는다는 것이 이해되어야 한다. 또한, 특정한 오디오 콘텐츠 파일의 메타데이터는 재생을 위한 EQ를 특정할 수 있지만, DRC 및 다운믹스를 특정하지는 않을 수 있다.
도 1의 본래의 오디오 레코딩은, 음악 작품 또는 시청각 작품, 예를 들어, 다수의 오디오 채널들을 갖는 영화와 같은 사운드 프로그램 콘텐츠의 조각의 비트스트림 또는 파일(이들 용어들은 본 명세서에서 상호교환가능하게 사용됨)의 형태로 존재할 수 있으며; 대안적으로 또는 오디오 채널들에 부가하여, 레코딩은 다수의 오디오 오브젝트들, 예를 들어, 개별 악기들, 보컬들, 사운드 효과들의 사운드 프로그램 콘텐츠를 포함할 수 있다. 인코드 스테이지 프로세싱은, 예를 들어, 음악 공연들 또는 영화들의 프로듀서와 같은 사운드 프로그램 콘텐츠 프로듀서 또는 배포자의 컴퓨터(또는 컴퓨터 네트워크)에 의해 수행될 수 있으며; 디코드 스테이지 프로세싱은, 예를 들어, 소비자의 컴퓨터(또는 컴퓨터 네트워크)에 의해 수행될 수 있다.
인코드 스테이지 프로세싱으로 시작할 경우, 인코더(2)는 다수의 본래의 오디오 채널들 또는 오디오 오브젝트를 갖는 디지털 오디오 레코딩을 상이한 디지털 포맷으로 인코딩한다. 새로운 포맷은, 인코딩된 파일의 (예를 들어, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 휴대용 데이터 저장 디바이스 상의) 저장에, 또는 (예를 들어, 인터넷을 통해) 비트스트림을 소비자 컴퓨터에 통신하는데 더 적합할 수 있다. 인코더(2)는 또한, 예를 들어, MPEG 표준들에 따른 본래의 오디오 채널들 또는 오디오 오브젝트들에 대한 손실 또는 무손실 비트레이트 감소(데이터 압축), 또는 애플 무손실 오디오 코덱(Apple Lossless Audio Codec: ALAC)과 같은 무손실 데이터 압축을 수행할 수 있다.
등화(EQ) 값 생성기(3)는 EQ 값들의 시퀀스를 생성하며; 이들은, 인코딩된 디지털 오디오 레코딩을 디코딩할 경우, 도시된 바와 같이 디코드 스테이지 프로세싱에서 적용될 EQ 필터링을 정의한다. EQ 값들은 (디코딩된 레코딩의) 디지털 오디오 신호에 적용될 수 있는 고정된 시간-불변의 선형 필터링 프로세스를 정의할 수 있거나, 또는 그들은 EQ 값들에 따라, 예를 들어, 디지털 오디오 프레임 단위(여기서, 디지털 오디오 신호는 프레임들 또는 시간 청크들에서 프로세싱될 수 있음)로 변할 수 있는 스펙트럼 형상을 갖는 가변 선형 필터링을 정의할 수 있다. EQ 필터링은 다운믹스 이전(예를 들어, 디코딩된 오디오 채널들 중 2개 초과가 이어서 스테레오로 결합될 경우), 다운믹스 이후, 또는 다운믹스 이전 및 이후 둘 모두에 적용될 수 있다. EQ 필터링은 또한, 레코딩의 디코딩된 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 미리-정의된 그룹에만 적용가능한 것으로 특정될 수 있다 - 이러한 양상에 대해 더 많은 것이 아래에서 제공될 것이다. 아래 표들 1 및 2는 EQ 값 시퀀스의 일부들을 나타낸 예들이다.
일 실시예에서, EQ 값 생성기(3)는 인간 사용자, 예를 들어, 믹싱 엔지니어에 의해 동작가능하고 다수의 그래픽 등화기 셋팅들로 구성가능한 그래픽 등화기를 포함한다. 본래의 오디오 채널들은 그래픽 등화기로 입력되며, 여기서, 그래픽 등화기는 이어서, 특정한 그래픽 등화기 셋팅에 따라 디지털 오디오 레코딩의 적어도 일부를 필터링할 것이다. 이들 필터링된 오디오 신호들은 이어서, 사용자가 (오디오 채널들 또는 오브젝트들의 주어진 그룹의 주어진 부분 또는 세그먼트에 대한) 특정한 그래픽 등화기 셋팅의 사운드를 평가할 수 있기 위해 (오디오 전력 증폭기 및 스피커 시스템(미도시)을 갖는) 재생 시스템으로 전송될 수 있다. EQ 값 생성기(3)는, 주어진 입력 레코딩에 대해 EQ 명령어들 또는 값들을 생성하는 디지털 필터 합성기를 가질 수 있다. 사운드 프로그램 콘텐츠의 조각의 (주어진 그룹에 할당된 바와 같은) 상이한 채널들 또는 오브젝트들은 EQ 값들의 그들 각각의 EQ 시퀀스를 할당받을 수 있다.
일 실시예에서, EQ 시퀀스의 EQ 명령어들 또는 값들은, (주어진 입력 레코딩을 위한 바람직한 그래픽 등화기 셋팅인 것으로 발견된 것에 기초하는) 원하는 전달 함수를 갖는 선형 디지털 필터를 정의한다. 이것은 또한, 시간 도메인 스펙트럼 성형 또는 선형 필터링으로 지칭된다. 다른 실시예에서, 선형 필터링은, 다수의 주파수 대역들에 대한 등화기 이득 레벨들을 주파수 대역 당 하나씩 사용하여 주파수 도메인에서 정의되며, 그 레벨들은 (본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의) 표시된 EQ 그룹에 적용될 서브-대역 도메인 필터링을 정의한다.
인코드 스테이지 프로세싱은 또한, 인코딩된 디지털 오디오 레코딩을 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터로서의 (EQ 값 생성기(4)에 의해 생성된) EQ 값들의 하나 이상의 시퀀스들과 결합시키는 비트스트림 멀티플렉서(4)를 가질 수 있다. 결합의 결과는, 인코딩된 레코딩 및 그의 연관된 메타데이터를 포함하는 비트스트림 또는 인코딩된 파일(일반적으로, 이제부터 "비트스트림 6"으로 지칭됨)일 수 있다. 메타데이터가 인코딩된 레코딩과 함께 비트스트림 6에 삽입될 수 있거나, 또는 그것이 별개의 파일 또는 (인코딩된 레코딩이 연관되는) 사이드 채널에 제공될 수 있음을 유의해야 한다.
여전히 도 1을 참조하면, 디코드 스테이지 프로세싱은 다음의 컴포넌트들을 가질 수 있으며, 이들 모두는, 예를 들어, 랩톱 컴퓨터, 스마트폰, 또는 태블릿 컴퓨터와 같은 소비자 전자 디바이스와 같은 컴퓨터의 프로그래밍된 프로세서로서 구현될 수 있다. 비트스트림(6)은 비트스트림 디멀티플렉서(8)에 의해, 예를 들어, 로컬적으로 연결된 디바이스(예를 들어, CD 또는 DVD 드라이브, 스마트폰)로부터 판독하거나 또는 인터넷을 통해 원격 미디어 서버로부터 스트리밍함으로써 수신된다. 비트스트림(6)은, a) 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터의 일부로서의 b) EQ 값들의 시퀀스와 결합된 인코딩된 디지털 오디오 레코딩을 포함한다. EQ 시퀀스는 EQ 필터링이 적용될 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 그룹인 EQ 그룹을 식별하며; EQ 그룹은, 예컨대, 예를 들어, 단일 그룹에 있도록 소정의 채널들 또는 오브젝트들을 선택하는 믹싱 엔지니어에 의해 인코딩 스테이지에서 EQ 값 생성기(3)를 사용하여 정의될 수 있다.
디멀티플렉서(8)는 멀티플렉서(4)의 역 성능을 가질 수 있으며, 인코딩된 오디오 또는 사운드 프로그램 콘텐츠를 추출하여 그것을 디코더(9)에 제공할 수 있다. 디코더는 인코더(2)의 역 성능을 가질 수 있으며, 따라서, 인코딩된 오디오 레코딩으로부터 본래의 오디오 채널들 또는 오디오 오브젝트들을 디코딩한다. 또한, 디멀티플렉서(8)는 메타데이터로부터 EQ 값들의 시퀀스(연관된 EQ 그룹 정의들을 포함함)를 추출할 수 있다. 이러한 정보는 EQ 그룹화기(10)에 전달되고, K개의 그룹들에 각각 할당된 2개 이상의 EQ 필터들(11_1, 11_2, ... 11_K)을 구성한다. 본 명세서에서, 그룹은 하나 이상의 오디오 채널들 또는 오디오 오브젝트들을 지칭하며; 도시된 바와 같이, 각각의 그룹에 대해 제공된 EQ 값들의 별개의 시퀀스가 존재할 수 있다. 주어진 그룹에 할당된 EQ 값들은 (디코딩된 오디오 채널들 또는 오브젝트들의) 그 그룹 내의 각각의 채널 또는 오브젝트에 대해 동작할 EQ 필터(11)를 정의한다. 일 실시예에서, 디코드 스테이지 EQ 필터링 프로세스가 인에이블링되는 경우, 특정된 그룹은 다운믹스 프로세서(16)가 또한 인에이블링되는지 여부와는 독립적으로 (각각의 그룹에 대한 메타데이터에서 특정된 EQ 값들에 따라) 필터링된다.
여전히 도 1을 참조하면, 다운믹스 프로세서(16)는 메타데이터로부터 또한 추출되는 다운믹스 그룹화 정의에 따라, 예를 들어, 3개 이상(P>2)의 입력, EQ 필터링된 채널들 또는 오브젝트들을 2개 이상(Q<P)의 출력 채널들로 결합(예를 들어, 5.1 서라운드를 2 채널 스테레오로 변환)하기 위해, 디코드 스테이지에서 선택적으로 인에이블링될 수 있다. 이어서, 다운믹스 프로세서(16)로부터의 출력 채널들은, 렌더링 시스템(예를 들어, 소비자 전자 디바이스의 오디오 전력 증폭기들 및 스피커들(미도시))에 의해 사운드로 변환된다. 일 실시예에서, 메타데이터에서 특정된 EQ 필터링은, 다운믹스 프로세서(16)가 존재하는지 여부와 관계없이 수행될 것이다. 메타데이터가 다운믹스 프로세스를 특정하는 경우, 그것은 또한, 다운믹스 동작 이전에 (디코딩 스테이지에서) EQ를 적용하기 위한 프리-다운믹스 EQ 값들, 및 또한, 다운믹스 동작 이후에 EQ를 적용하기 위한 포스트-다운믹스 EQ 값들을 포함할 수 있다. 일 예가 도 2와 관련하여 아래에서 제공된다.
디코드 스테이지 프로세싱의 다른 선택적인 특성은 다운믹스 이전에, EQ 필터링된 채널들 또는 오브젝트들로부터의 선택에 대한 DRC의 적용이다. 이러한 목적을 위해, 다수의 DRC 블록들(14_1, 14_2, ... 14_L)이 제공 될 수 있고; 각각의 DRC 블록(14_i)은 자신의 그룹에 할당된 하나 이상의 채널들 또는 오브젝트들에 대해 동적 범위 압축을 수행하며; (하나 이상의 채널들 또는 오브젝트들 각각의) L개의 그룹들까지 존재할 수 있다. (DRC가 적용될) 디코딩된 채널들 또는 오브젝트들의 이러한 그룹화는, (위에서 설명된 EQ 메타데이터에 부가하여) 메타데이터에 포함된 DRC 그룹 정의들에 따라 구성되는 DRC 그룹화기(13)에 의해 수행된다. 따라서, 메타데이터는 (채널들 또는 오브젝트들의) DRC 그룹, 및 그 그룹의 채널들에 적용될, 재생 동안 시간에 걸쳐 변할 수 있는 원하는 압축 곡선을 정의하는 임계치 및 비율 값들과 같은 DRC 셋팅들(DRC 시퀀스)의 각각의 세트를 식별한다. 따라서, 동일한 DRC 시퀀스가 주어진 DRC 그룹의 채널들 또는 오브젝트들 모두에 적용될 것이다. 메타데이터는, EQ에 대한 그룹화와는 독립적인 DRC에 대한 그룹화를 특정할 수 있다.
도 2는 EQ, DRC 및 다운믹스 성능을 갖는 디코드 스테이지 프로세싱의 더 포괄적인 예를 도시한다. 모든 디코딩된 채널들 또는 오브젝트들은 EQ 그룹화기(10)에 이용가능하게 된다. 추출된 메타데이터는 재생 동안 이들 디코딩된 채널들 또는 오브젝트들에 등화를 적용하려는 목적들을 위해, 이들 디코딩된 채널들 또는 오브젝트들의 다수의 그룹들로의 그룹화를 특정한다. 이러한 그룹화는, 프리-다운믹스 EQ 필터(11_3)를 구성함으로써, 메타데이터의 주어진 EQ 값 시퀀스가 연관된 EQ 그룹, 즉 그룹 3의 채널들 또는 오브젝트들 모두에 적용될 것임을 의미한다. 즉, EQ 그룹 정의들은 비트스트림 디멀티플렉서(8)(도 2 참조)에 의해 EQ 그룹화기 디바이스(10)에 제공되고; 응답으로, EQ 그룹화기는 디코딩된 채널들 또는 오브젝트들을 특정된 2개 이상(K)의 그룹으로 그룹화한다. 이어서, 이들 K개의 그룹들 각각은 그룹과 연관된 EQ 값 시퀀스에서 정의된 바와 같이 구성된 각각의 프리-다운믹스 EQ 필터(11)에 의해 필터링된다. EQ 필터(11)의 기본적인 구조의 일 예가 아래의 도 3에서 제공된다.
일 실시예에서, 메타데이터는 1개 초과의 "EQ 세트"를 특정할 수 있다. EQ 세트는, 본래의 오디오 채널들 또는 오브젝트들의 그룹화 및 그 그룹화된 채널들 또는 오브젝트들에 적용될 EQ 필터링에 대한 명령어들을 포함하거나, 또는 그 그룹화 및 그 필터링을 정의한다. 즉, 각각의 EQ 세트는 본래의 오디오 채널들 또는 오브젝트들의 각각의 그룹화와 연관되며, 그 EQ 세트에서 정의된 EQ 필터링은 상이한 재생 시나리오 동안 적용될 수 있다. 예를 들어, 큰 룸에서 라우드스피커들을 통해, 디코딩된 오디오 레코딩의 재생을 위해 의도된 하나의 EQ 세트, 작은 룸에서 레코딩의 재생을 위해 의도된 다른 EQ 세트가 존재할 수 있는 반면, 다른 EQ 세트는 헤드셋을 통해, 디코딩된 오디오 레코딩의 재생을 위해 의도될 수 있다.
여전히 도 2를 참조하면, 메타데이터가 DRC 그룹 정의들 및 (DRC 그룹당) DRC 셋팅들을 또한 포함하는 경우, 메타데이터로부터 DRC 그룹 정의들을 DRC 그룹화기(13)에 제공하고, 메타데이터로부터의 DRC 셋팅들에 따라 L개의 프리-다운믹스 DRC 블록들(14)을 또한 구성하기 위해 결정이 인코드 스테이지 프로세싱에서 행해질 수 있다. 일단 디코딩된 오디오 채널들 또는 오브젝트들이 프리-다운믹스 EQ 필터들에 의해 필터링되면, 이들은, 채널/오브젝트 그룹화-해제기(un-grouper)(12)에 의해 그룹화-해제되기 전에 프리-다운믹스 DRC 블록들(14)에 의해 재-그룹화되고, 이어서 동적 범위 압축되며, 이어서, 다운믹스 프로세서(16)로의 입력으로서 제공될 수 있다.
위에서 지적된 바와 같이, 메타데이터는 또한, 디코딩된 오디오 레코딩에 대해 포스트-다운믹스, 선형 스펙트럼 성형(등화, 또는 EQ 필터링)을 수행하기 위해, 필요한 EQ 시퀀스들 및 EQ 그룹화 정의들을 포함할 수 있다. 그 경우에서, 다운믹스 프로세서(16)의 출력 오디오 채널들 또는 오브젝트들을 (메타데이터에 특정된 바와 같은) M개의 그룹으로 재-그룹화하는 디코드 스테이지에서 채널/오브젝트 재-그룹화기(17)가 제공될 수 있다. 또한, M개의 다운믹스 EQ 필터들(18)이 (그들 각각의 EQ 시퀀스들에 따라) 구성된다. 이어서, 재-그룹화된 오디오 채널들 또는 오브젝트들은 다운믹스 EQ 필터들(18)을 통과한다. 추가적인 양상으로서, 포스트-다운믹스 DRC 동작은 또한 메타데이터에서 특정될 수 있으며; 그 동작은, 메타데이터에 포함된 포스트 다운믹스 EQ 그룹화 정의에 따라 포스트-다운믹스 EQ 필터들(18)의 출력들에서 채널들 또는 오브젝트들을 재그룹화하는 채널/오브젝트 재그룹화기(19)에 의해, 그리고 메타데이터에서 포스트 다운믹스 EQ 시퀀스들에 의해 특정된 바와 같이 구성되는 포스트-다운믹스 DRC 블록들(20)에 의해 구현되어, 포스트-다운믹스 EQ 필터링된 오디오 채널들 또는 오브젝트들을 압축할 수 있다. 최종적으로, 채널/오브젝트 그룹화-해제기(22)는, 포스트-다운믹스 DRC 블록들(20)로부터의 출력 신호들을, 재생 시스템에 있는 다수의 오디오 전력 증폭기들을 구동하는데 필요한 어레인지먼트로 리-셔플링한다.
디코드 스테이지에 EQ 명령어들을 전달하기 위해 메타데이터를 사용하기 위한 위에서 설명된 접근법은 특히, 장편 영화들(동영상 필름들)을 배포 또는 생성할 경우 효과적이다. 통상적으로, 시청각 작품의 극장용 마스터는 먼저, 공공 영화관과 같은 큰 룸에서의 재생을 위해 최적화된 사운드 트랙을 갖게 생성된다. 특히, 극장용 마스터 오디오 또는 사운드 트랙은 큰 동적 범위를 갖는다. 이어서, 고음 및 저음이 감쇠되면서 중음이 평평하게 유지되도록 사운드 트랙을 수정하기 위해, 더 작은 룸을 위해 선택된 통상적인 X-곡선(타겟 레벨 대 주파수)에 기초하여 등화를 사운드 트랙에 적용함으로써 (예를 들어, DVD 출시를 위한) 홈 믹스가 생성된다. 또한, 극장용 마스터는 더 작은 룸을 위해 선택된 홈 믹스가 더 작은 동적 범위를 갖도록 수정된다. 따라서, 홈 믹스를 생성하기 위해 오디오 사운드트랙의 극장용 믹스에 적용되는 신호 프로세싱은 통상적으로, 동적 범위 압축(DRC) 뿐만 아니라 등화(EQ)를 포함한다.
본 발명의 일 실시예에 따르면, 재생 측(디코드 스테이지)에서 극장용 믹스로부터 홈 믹스를 생성하려는 목적으로, 재생 디바이스에서 실행되도록 동적 범위 압축 및 선형 등화 필터링을 수행하기 위한 필요한 동작들을 설명하는 정보가 장편 영화의 오디오 사운드 트랙의 메타데이터 내에 삽입된다. 이러한 접근법의 이점은, 그 접근법이 사운드 트랙의 단일 기본 버전을 포함하는 통합된 배포 포맷을 가능하게 하고, 따라서, 비트레이트 효율적이지만, 상이한 재생 시나리오들에 대해 사운드 트랙의 다수의 상이한 렌더링된 버전들을 또한 전달할 수 있다는 것이다.
사운드 트랙에 적용될 등화는, 개선된 음조 균형을 달성하기 위해 재생 환경에서 스피커들의 특정 구성을 고려해야 한다. 특정 스피커 레이아웃에 의존하여 고정 등화 곡선을 채택하는 것 대신, 메타데이터는, 예시마다 변할 수 있는 (장편 영화의 전달의) EQ 시퀀스들을 포함할 수 있다. 예를 들어, EQ 시퀀스들은 소비자의 거실에서의 특정 스피커 레이아웃에 특정하도록 동영상 필름의 프로듀서 또는 배포자에 의해 맞춰질 수 있다. EQ 시퀀스들은 또한, 사운드 트랙의 특정한 콘텐츠 또는 사운드 이벤트들에 맞춰질 수 있다.
위에서 설명된 접근법들은 또한, 오브젝트-기반 오디오에 적용가능하다(여기서, 사운드 트랙 또는 오디오 레코딩은 오디오 채널들 및/또는 오디오 오브젝트들 중 어느 하나를 포함함). 오브젝트-기반 오디오는, 렌더링된 오디오 오브젝트의 위치가 제어될 수 있게 함으로써 음향 장면을 구성하는데에 유연성을 제공한다. 개선된 음조 균형을 달성하기 위해, 각각의 오디오 오브젝트에 적용되는 등화 필터링은, 예를 들어, 스피커가 오디오 오브젝트를 변환하고 있을 각각의 오디오 오브젝트의 렌더링 위치에 의존해야 한다. 따라서, 메타데이터에서 특정된 EQ 시퀀스들은 이러한 오브젝트-기반 오디오 특징을 유념하면서 선택될 수 있다. EQ 시퀀스들의 다수의 EQ 세트들은, 동일한 기본 오디오 오브젝트에 기초하여 다시 상이한 믹스들 또는 렌더링들의 전달을 가능하게 하기 위해 메타데이터에 포함될 수 있다. EQ 시퀀스들의 세트들은, 예를 들어, 청취자의 상이한 가상 위치들에서의 재생을 위해 정의될 수 있다(예를 들어, EQ 시퀀스들의 하나의 세트는, 가상 청취자가 관객의 멤버인 것으로 가정되고 음악 밴드가 연주하고 있는 스테이지 "앞에" 앉아있는 경우에 대해 설계될 수 있는 반면, 다른 EQ 시퀀스는 가상 청취자가 스테이지 상에 있는 렌더링을 위해 설계될 수 있음).
본 발명의 일 실시예는 (예를 들어, 장편 영화의 일부로서) 오디오 레코딩의 프로듀서 또는 배포자에 의해 제어되는 바와 같은 일관된 등화를 제공하기 위한 접근법이며, 여기서, "오디오 장면"은, 메타데이터에 특정된 바와 같은 상이한 오디오 장면에 대한 오디오 품질을 개선시키기 위해, 디코딩된 기본 버전에 적용된 등화를 사용하여 오디오 레코딩의 인코딩된 기본 버전의 수정되지 않은 장면과는 상이하게 렌더링될 수 있다. 이러한 특정한 솔루션이 유리한 경우의 예들은, 인코딩된 오디오 레코딩(예를 들어, 극장용 마스터)이 서라운드 콘텐츠를 갖지만, 스테레오 라우드스피커 시스템에 의해 재생 디바이스에서 재생될 경우를 포함한다. 다른 예시들에서, 위에서 설명된 등화 기법들은, 재생 장면이 고출력 소스(elevated source)로부터의 사운드를 재생시킬 수 있게 할 높이 스피커들을 그 재생 장면이 갖지 않는 경우 또한 유용하다.
위에서 도입된 도 2의 포괄적인 예에서 관측되는 바와 같이, 시스템의 일 실시예는 도시된 바와 같이, 다운믹스 및 포스트 다운믹스 이전에 둘 모두를 포함하는 디코더 프로세싱 또는 디코더 스테이지 내의 수 개의 스테이지들에서 선형 스펙트럼 성형 필터링(EQ)을 적용하기 위한 옵션을 제공한다. EQ와 DRC 둘 모두가 적용될 것임을 메타데이터가 특정하면, 디코딩된 오디오 레코딩 시, DRC의 적용 이전에 EQ가 적용된다. 이것은 도 2에 또한 도시되며, 여기서, 프리-다운믹스 EQ 필터들(11)은 (재그룹화기(13)에 의해) 재그룹화되고, 이어서, 프리-다운믹스 DRC 블록들(14)에 의해 프로세싱되는 이들 신호들 이전에, 디코딩된 오디오 채널들 또는 오브젝트들을 프로세싱(스펙트럼 성형)한다(그리고, 포스트-다운믹스 스테이지에서 유사하게, EQ 필터들(18)은 포스트-다운믹스 DRC 블록들(20)에 의해 압축되는 그 신호들 이전에, 디코딩된 오디오 채널들 또는 오브젝트들을 프로세싱함). 위에서 언급된 바와 같이, EQ를 오디오 채널들 또는 오브젝트들에 적용하려는 목적을 위한 그 오디오 채널들 또는 오브젝트들의 그룹화는 동적 범위 압축의 적용을 위한 (메타데이터에서 특정되는) 그룹화와는 독립적일 수 있음을 유의한다.
(메타데이터 내의) EQ 값 시퀀스에서 EQ 필터들(11, 18)을 정의하기 위한 다양한 접근법들(각각의 EQ 필터의 파라미터화로 또한 지칭됨)이 취해질 수 있다. 예를 들어, 필터의 주파수 응답을 정의하는 파라미터들에 부가하여, 디지털 필터의 구조가 메타데이터에서 특정될 수 있다. 예를 들어, 각각의 필터(11, 18)는, 예를 들어, 필터 블록을 형성하도록 병렬로 연결될 수 있는 유한 임펄스 응답(FIR) 및/또는 무한 임펄스 응답(IIR)을 포함하는 개별 필터 요소들로 구성될 수 있으며, 그러한 필터 블록들 중 수 개는 캐스케이딩된다. 그러한 구조의 일 예는 도 3에 도시되며, 도 3은, EQ 필터(11 또는 18)에 있는 B개(2개 이상)의 필터 블록들의 캐스케이드를 도시한다. 이것은 또한, 필터 블록들(0, 1,... B - 1)을 캐스케이딩함으로써 형성되는 디지털 필터 캐스케이드로 지칭된다. 각각의 필터 블록은 도시된 바와 같이 병렬로 연결된 2개 이상의 FIR 요소들, IIR 요소들, 또는 둘 모두의 조합을 가지므로, 각각의 필터 요소는 입력과 동일한 단일의 디코딩된 채널 또는 오브젝트를 수신한다. 이러한 경우에서, 스펙트럼 성형되도록 소망되는 오디오 스펙트럼의 J 주파수 대역들에 대응하는 J개의 필터 요소들이 존재한다. 도 3에 도시된 어레인지먼트는 주어진 그룹의 각각의 단일의 디코딩된 채널 또는 오브젝트에 대해 복제될 수 있다. 일 실시예에서, 도 3에 도시된 바와 같은 각각의 필터 캐스케이드는 (특정한 EQ 그룹에 대해 정의된 것과) 동일한 구성을 가지며, EQ 그룹 내에 포함되는 각각의 디코딩된 채널 또는 오브젝트에 대해 복제된다. 채널들 또는 오브젝트들 모두에 대한 필터 요소들의 세트(여기서는 필터 캐스케이드들)는 여기에서 EQ 필터 세트로 지칭되며, 여기서, 위에서 제안된 바와 같이, 메타데이터는 1개 초과의 EQ 필터 세트를 특정할 수 있고, 이 필터 세트 각각은 (동일한 기본 오디오 레코딩의) 상이한 재생 시나리오에 대해 설계 또는 의도된다.
주어진 EQ 그룹의 채널들 또는 오브젝트들 모두는, 주어진 그룹의 각각의 채널 또는 오브젝트에 대해 (예를 들어, 도 3에 도시된 것과 같이) 동일한 선형 필터 캐스케이드의 별개의 예시를 갖는 필터 구조를 통해 병렬로 전달될 것이다. 즉, 주어진 EQ 그룹의 채널들 또는 오브젝트들 모두가 동일한 방식으로 필터링된다. 캐스케이드 내의 필터 요소들의 구성 또는 정의는 특정한 EQ 그룹에 적용될 필터링을 정의하는 EQ 값 시퀀스에 의해 메타데이터에서 특정된다.
메타데이터는, IIR 필터들만이 필터 캐스케이드에서 사용됨을 특정할 수 있거나, 또는 메타데이터는 IIR 및 FIR 필터들의 조합을 특정할 수 있다. 필터 캐스케이드의 정의는, 디코딩된 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 표시된 EQ 그룹의 시간 도메인 필터링을 위해 디코드 스테이지에서 구성 또는 합성될 각각의 필터 블록의 극들 및 제로들을 포함할 수 있다. 극 및 제로 위치들은 z-평면(반경 및 각도)에 있을 수 있으며, IIR 필터 파라미터들인 것으로 간주될 수 있다. 대안적으로, EQ 시퀀스는, 또한 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 표시된 EQ 그룹의 시간 도메인 필터링에 대해 필터 요소들의 디지털 필터 계수들을 특정함으로써 필터 캐스케이드를 정의할 수 있다. 여전히 도 3을 참조하면, 서로 평행한 (그리고 필터 블록을 구성하는) 각각의 필터 요소들 출력에서, 도시된 바와 같이, 출력들이 필터 캐스케이드의 다음의 블록에 대한 단일 입력 신호로 결합되기 전에, 각각의 스칼라 이득이 적용될 수 있다.
메타데이터는 또한, 출력들이 동일한 필터 캐스케이드의 다음의 블록에 대한 단일 입력 신호로 결합되기 전에, (동일한 입력 채널 또는 오브젝트를 병렬로 프로세싱하고 있는) 필터 블록 내의 병렬로-연결된 필터 요소들 모두의 출력들 사이에서 위상 매치를 획득하기 위해, 위상 정렬 필터가 필요한지 여부를 특정할 수 있다. 도 3에서, 그러한 위상 정렬 필터들은 "블록에 대한 위상 정렬"로 라벨링되고, 주어진 필터 블록 내에서 (필요에 따라) 각각의 필터 요소의 출력에 적용된다. 위상 정렬은, 동일한 필터 블록 내에서 수 개의 필터 요소의 출력들을 (수 개의 주파수 빈들에서) 결합할 경우 원치않는 위상 효과들을 피하는 것을 돕도록 설계된다. 위상 정렬 필터들은 모든 통과 필터들인 것으로 (메타데이터에서) 정의될 수 있으며, 그 통과 필터들의 위상 응답들은 그들의 출력들 모두에 걸쳐 위상 매치를 획득하도록 설계된다.
도 3에 도시된 바와 같이, 위상 정렬은 또한, 상이한 채널들 또는 오브젝트들 사이에서 수행될 수 있다. 즉, 그러한 위상 정렬은, 하나의 EQ 그룹의 EQ 필터링된 채널 또는 오브젝트와 다른 EQ 그룹의 EQ 필터링된 채널 또는 오브젝트 사이에서 수행될 것이다. 이것은, (예를 들어, 다운믹스 프로세서(16)에 의해) 상이한 채널 그룹들을 결합할 경우, 또는 EQ 필터링된 채널들 또는 오브젝트들을 사운드로 변환할 경우 원치않는 효과들을 피하기 위한 것이다. 도 3에서, 그러한 위상 정렬 필터는, "캐스케이드들에 걸친 위상 정렬"로 표시되고, 캐스케이드의 마지막 필터 블록(필터 블록(B-1))의 출력에 적용되므로, 예를 들어, EQ 필터(11_1)로부터의 출력 채널들 또는 오브젝트들은 EQ 필터(11_2)의 출력 채널들 또는 오브젝트들과 위상 매칭된다. 더 구체적으로, 이것은 EQ 필터링된 채널 그룹들 모두에 걸쳐 위상 매치를 획득하기 위해 행해져야 한다(여기서, EQ 필터들(11_1, 11_2, ..., 11_K)로부터의 출력 채널들 또는 오브젝트들 모두가 위상 매칭됨). 일부 경우들에서, 위상 정렬 필터가 존재하지 않을 수 있음을 유의해야 한다. 그러므로, 일 실시예에서, 메타데이터는 위상-정렬 필터가 존재하는(그리고 또한, 메타데이터에서 특정되는) EQ 필터 세트에 대해 IIR 필터들만을 특정한다. 위상 정렬 필터는 시간 도메인 디지털 필터로서 (디코드 스테이지에서) 합성될 수 있다.
다음의 표는, EQ 값들의 예시적인 인코딩 및 설명들을 나타내는 (메타데이터의) EQ 시퀀스의 일부의 예시적인 정의이다.
Figure pat00001
Figure pat00002
위에서 설명된 바와 같이, EQ 시퀀스는, 특정된 EQ 그룹(디코딩된 EQ 그룹)의 디코딩된 오디오 채널들 또는 오브젝트들에 적용될 스펙트럼 성형(EQ 필터링)을 정의하는 EQ 값들을 포함한다. 일 실시예에서, 이러한 인코딩 스테이지 또는 제조-측 정의된 EQ 필터링은, 다운믹스가 메타데이터에서 또한 특정(그리고 디코딩된 EQ 그룹에 적용)되는지 여부에 관계없이, 디코딩된 본래의 오디오 채널들 또는 오브젝트들의 이득을 500 ㎐ 미만으로 감소시키도록 디코드 스테이지 프로세서에 의해 적용된다. 예를 들어, 디코드 스테이지 프로세서는, 재생 디바이스에 대한 특수한 "심야" 동작 모드와 연관되는 것으로 EQ 시퀀스를 해석할 수 있다. 이러한 동작 모드는, 예를 들어, 재생 동안 인접한 룸들에 있을 수 있는 다른 사람들을 방해하는 저주파수 럼블의 기회를 감소시키기 위해, 재생 디바이스의 사용자에 의해 수동으로 인에이블링되거나, 또는 (현재의 시각에 기초하여) 늦은 저녁 동안 자동으로 인에이블링되도록 셋팅될 수 있다. 특수한 모드가 인에이블링되면, 디코드 스테이지 프로세서는, 다운믹스 프로세서(16)의 존재와는 관계없이 EQ 시퀀스에 의해 정의된 바와 같이 EQ 필터링을 적용한다. 이것은, 오디오 레코딩의 제조-측이 이득을 너무 많이 떨어뜨리지 않도록 오디오 레코딩의 콘텐츠를 또한 고려함으로써 저주파수 대역에서 이득을 얼마나 많이 떨어뜨릴지를 결정할 수 있게 하며, 그에 의해, 임의의 다운믹스가 재생을 위해 수행되는지 여부와 관계없이 더 양호한 사용자 경험을 제공한다.
다른 실시예에서, 메타데이터는, 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 EQ 그룹의 EQ 필터링된 버전에 대한 라우드니스 정보를 추가로 특정하며, 여기서, 이러한 라우드니스 정보는 인코딩 스테이지에서 추정될 수 있다.
위에서 설명된 실시예들은 광범위한 발명을 제한하는 것이 아니라 단지 예시할 뿐이며, 다양한 다른 변형들이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들에게 떠오를 수 있으므로, 본 발명은 도시되고 설명된 특정 구성들 및 어레인지먼트들로 제한되지 않음을 또한 이해할 것이다. 예를 들어, 일 실시예에서 인코딩 및 디코딩 스테이지들 각각이, 예를 들어, 오디오 콘텐츠 프로듀서 머신에서는 인코딩 스테이지 및 오디오 콘텐츠 소비자 머신에서는 디코딩 스테이지를 별개로 동작하는 것으로 설명될 수 있지만(여기서, 이들은 인터넷을 통해 서로 통신할 수 있음), 인코딩 및 디코딩은 또한, 동일한 머신(예를 들어, 트랜스코딩 프로세스의 일부) 내에서 수행될 수 있다. 따라서, 설명은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.

Claims (23)

  1. 복수의 오디오 채널들 또는 오디오 오브젝트들을 갖는 인코딩된 디지털 오디오 레코딩을 생성하기 위한 시스템으로서,
    인코딩된 디지털 오디오 레코딩을 생성하기 위해 복수의 본래의 오디오 채널들 또는 오디오 오브젝트들을 갖는 디지털 오디오 레코딩을 인코딩하기 위한 인코더;
    다운믹스와 독립적으로 그리고 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에, 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 특정된 등화(EQ) 그룹에 적용될 EQ 필터링을 정의하는 EQ 값들의 시퀀스를 생성하기 위한 EQ 값 생성기; 및
    a) 상기 인코딩된 디지털 오디오 레코딩을, b) 상기 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터로서의 상기 EQ 값들의 시퀀스와 결합시키기 위한 비트스트림 멀티플렉서
    를 포함하고,
    상기 EQ 값들의 시퀀스는 상기 EQ 그룹의 표시를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 EQ 값들의 시퀀스는, 다운믹스가 디코딩된 EQ 그룹에 적용되는지 여부와 관계없이, 500 ㎐ 미만으로 이득을 감소시키는 것으로서, 상기 EQ 그룹의 디코딩 시에 적용될 상기 EQ 필터링을 정의하는, 시스템.
  3. 제1항에 있어서,
    상기 EQ 값들의 시퀀스는, 디코더에 의해 자동으로 또는 사용자에 의해 수동으로, 디코딩된 디지털 오디오 레코딩의 재생 동안 인에이블링될 수 있는 심야 모드로서, 상기 EQ 그룹의 디코딩 시에 적용될 상기 EQ 필터링을 정의하는, 시스템.
  4. 제1항에 있어서,
    상기 EQ 값들은, 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 EQ 그룹의 서브-대역 도메인 필터링에 대한 등화기 이득 레벨들을, 복수의 주파수 대역들에 대한 주파수 대역마다 하나씩 포함하는, 시스템.
  5. 제1항에 있어서,
    상기 EQ 값 생성기는,
    인간 사용자에 의해 동작가능하고 복수의 그래픽 등화기 셋팅들로 구성가능한 그래픽 등화기; 및
    특정한 그래픽 등화기 셋팅에 기초하여 상기 EQ 값들을 생성하는 디지털 필터 합성기
    를 포함하는, 시스템.
  6. 제1항에 있어서,
    상기 메타데이터는, 다운믹스, 디코딩 스테이지에서의 다운믹스 동작 이전에 상기 디코딩 스테이지에서 EQ를 적용하기 위한 프리-다운믹스 EQ 값들, 및 포스트-다운믹스 EQ 값들을 특정하는, 시스템.
  7. 제1항에 있어서,
    상기 인코딩된 디지털 오디오 레코딩과 연관된 상기 메타데이터는 MPEG-D DRC의 복수의 확장 필드들로 전달되는, 시스템.
  8. 제1항에 있어서,
    상기 메타데이터는 복수의 상이한 EQ 시퀀스들을 특정하고,
    상기 EQ 시퀀스들 각각은, 다운믹스와는 독립적으로 그리고 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에, 상기 시퀀스에 의해 정의된 바와 같은 EQ 필터링이 적용될 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 각각의 특정된 그룹화와 연관되며,
    상기 EQ 시퀀스들 각각 및 상기 본래의 오디오 채널들 또는 오디오 오브젝트들의 그 각각의 특정된 그룹화는 상이한 재생 시나리오를 위한 것인, 시스템.
  9. 제1항에 있어서,
    상기 메타데이터는, 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 상기 EQ 그룹의 EQ 필터링된 버전에 대한 라우드니스(loudness) 정보를 추가로 특정하는, 시스템.
  10. 제1항에 있어서,
    상기 EQ 값들의 시퀀스는, 다운믹스와는 독립적으로 그리고 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에, 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 EQ 그룹에 적용될 시변 등화 필터링을 표현하고,
    상기 시변 등화 필터링은 상기 디코딩된 오디오 레코딩의 재생 동안 변하는, 시스템.
  11. 복수의 오디오 채널들 또는 오디오 오브젝트들을 갖는 인코딩된 디지털 오디오 레코딩을 생성하기 위한 방법으로서,
    인코딩된 디지털 오디오 레코딩을 생성하기 위해 복수의 본래의 오디오 채널들 또는 오디오 오브젝트들을 갖는 디지털 오디오 레코딩을 인코딩하는 단계;
    다운믹스와 독립적으로 그리고 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에, 상기 본래의 오디오 채널들 또는 오디오 오브젝트들 중 하나 이상의 특정된 EQ 그룹에 적용될 EQ 필터링을 정의하는 EQ 값들의 시퀀스를 생성하는 단계; 및
    a) 상기 인코딩된 디지털 오디오 레코딩을, b) 상기 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터로서의 상기 EQ 값들의 시퀀스와 비트스트림으로 결합시키는 단계
    를 포함하고,
    상기 EQ 값들의 시퀀스는 상기 EQ 그룹의 표시를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 EQ 값들의 시퀀스는, 다운믹스가 상기 EQ 그룹에 적용되는지 여부와 관계없이, 500 ㎐ 미만으로 이득을 감소시키는 것으로서, 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에 상기 EQ 그룹에 적용될 상기 EQ 필터링을 정의하는, 방법.
  13. 제12항에 있어서,
    상기 EQ 값들의 시퀀스는, 상기 EQ 그룹을 디코딩할 시에 자동으로 또는 사용자에 의해 수동으로, 디코딩된 디지털 오디오 레코딩의 재생 동안 인에이블링될 수 있는 심야 모드로서, 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에 적용될 상기 EQ 필터링을 정의하는, 방법.
  14. 제11항에 있어서,
    상기 EQ 값들의 시퀀스는, 상기 EQ 그룹을 디코딩할 시에 자동으로 또는 사용자에 의해 수동으로, 디코딩된 디지털 오디오 레코딩의 재생 동안 인에이블링될 수 있는 심야 모드로서, 상기 인코딩된 디지털 오디오 레코딩을 디코딩할 시에 적용될 상기 EQ 필터링을 정의하는, 방법.
  15. 제11항에 있어서,
    상기 메타데이터는 상기 복수의 본래의 오디오 채널들 또는 오디오 오브젝트들의 EQ에 대한 복수의 그룹들로의 그룹화를 특정하고,
    주어진 EQ 그룹의 본래의 오디오 채널들 또는 오디오 오브젝트들 모두에 동일한 EQ 시퀀스가 적용되는, 방법.
  16. 제15항에 있어서,
    상기 메타데이터는 상기 복수의 본래의 오디오 채널들 또는 오디오 오브젝트들의 DRC에 대한 복수의 그룹들로의 그룹화를 추가로 특정하고,
    주어진 DRC 그룹의 본래의 오디오 채널들 또는 오디오 오브젝트들 모두에 동일한 DRC 시퀀스가 적용되며,
    상기 메타데이터는, EQ에 대한 그룹화와는 독립적일 수 있는 DRC에 대한 그룹화를 특정하는, 방법.
  17. 디지털 오디오 레코딩의 인코딩측 프로세싱을 위해 프로세서에 의해 수행되는 방법으로서,
    인코딩된 디지털 오디오 레코딩을 생성하기 위해 복수의 본래의 오디오 채널들 또는 오디오 오브젝트들을 갖는 디지털 오디오 레코딩을 인코딩하는 단계;
    디코딩측 프로세서에 의해 적용될 EQ 필터링을 정의하는 EQ 값들의 시퀀스를 생성하는 단계 - 상기 EQ 값들의 시퀀스는 본래의 오디오 채널들 또는 오디오 오브젝트들의 그룹화에 적용될 EQ 필터링을 정의하는 EQ 세트의 EQ 세트 식별자를 포함함 -;
    디코딩측 프로세서에 의해 수행될 다운믹스를 정의하는 다운믹스 식별자를 생성하는 단계 - 상기 EQ 필터링을 정의하는 상기 EQ 세트는 상기 다운믹스 식별자에 의해 정의되는 상기 다운믹스와 독립적임 -; 및
    a) 상기 인코딩된 디지털 오디오 레코딩을, b) 상기 인코딩된 디지털 오디오 레코딩과 연관된 메타데이터로서의 상기 EQ 값들의 시퀀스 및 상기 다운믹스 식별자와 비트스트림으로 결합시키는 단계
    를 포함하는 방법.
  18. 제17항에 있어서,
    상기 EQ 세트 식별자에 의해 식별되는 등화와 관련하여 동적 범위 제어(DRC: dynamic range control)를 수행함에 있어서 디코딩측 프로세서에 의해 사용될 파라미터들을 갖는 DRC 세트를 식별하는 DRC 세트 식별자를 비트스트림으로 결합시키는 단계
    를 더 포함하는 방법.
  19. 제17항에 있어서,
    상기 EQ 값들의 시퀀스는 상기 EQ 세트에서 정의되는 상기 EQ 필터링의 목적을 정의하는 EQ 세트 목적(EQ set purpose)을 더 포함하는 방법.
  20. 제19항에 있어서,
    상기 EQ 세트 목적은 디폴트 EQ, 큰 룸, 작은 룸, 평균적인 룸, 자동차 객실, 헤드폰들 및 심야로 이루어지는 그룹으로부터 선택되는, 방법.
  21. 제17항에 있어서,
    상기 EQ 값들의 시퀀스는 필터 캐스케이드에서 존재하는 다수의 필터 블록들 및 상기 메타데이터에서 EQ 필터 계수들을 지칭하는 필터 블록 인덱스를 더 포함하는, 방법.
  22. 제17항에 있어서,
    상기 EQ 값들의 시퀀스는 EQ 채널 그룹들이 위상 정렬되는지 여부의 표시를 더 포함하는 방법.
  23. 제17항에 있어서,
    상기 EQ 값들의 시퀀스는 서브-대역 이득 값들이 존재하는지 여부의 표시 및 메타데이터에서 서브-대역 이득 벡터에 대한 인덱스를 더 포함하는, 방법.
KR1020207016997A 2015-07-31 2016-06-13 인코딩된 오디오 메타데이터-기반 등화 Active KR102178231B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562199634P 2015-07-31 2015-07-31
US62/199,634 2015-07-31
US15/060,392 2016-03-03
US15/060,392 US9934790B2 (en) 2015-07-31 2016-03-03 Encoded audio metadata-based equalization
PCT/US2016/037240 WO2017023423A1 (en) 2015-07-31 2016-06-13 Encoded audio metadata-based equalization

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187002465A Division KR102124547B1 (ko) 2015-07-31 2016-06-13 인코딩된 오디오 메타데이터-기반 등화

Publications (2)

Publication Number Publication Date
KR20200074243A true KR20200074243A (ko) 2020-06-24
KR102178231B1 KR102178231B1 (ko) 2020-11-12

Family

ID=57882908

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207016997A Active KR102178231B1 (ko) 2015-07-31 2016-06-13 인코딩된 오디오 메타데이터-기반 등화
KR1020187002465A Active KR102124547B1 (ko) 2015-07-31 2016-06-13 인코딩된 오디오 메타데이터-기반 등화

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187002465A Active KR102124547B1 (ko) 2015-07-31 2016-06-13 인코딩된 오디오 메타데이터-기반 등화

Country Status (6)

Country Link
US (3) US9934790B2 (ko)
EP (2) EP4290888A3 (ko)
JP (2) JP6499374B2 (ko)
KR (2) KR102178231B1 (ko)
CN (2) CN107851449B (ko)
WO (1) WO2017023423A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2007005027A (es) * 2004-10-26 2007-06-19 Dolby Lab Licensing Corp Calculo y ajuste de la sonoridad percibida y/o el balance espectral percibido de una senal de audio.
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
TWI896112B (zh) 2010-12-03 2025-09-01 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
CN121122295A (zh) 2012-05-18 2025-12-12 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN119479682A (zh) 2013-01-21 2025-02-18 杜比实验室特许公司 用于在不同回放设备之间优化响度和动态范围的系统和方法
KR102192755B1 (ko) 2013-01-21 2020-12-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
CN105074818B (zh) 2013-02-21 2019-08-13 杜比国际公司 音频编码系统、用于产生比特流的方法以及音频解码器
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
CN105190618B (zh) 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
ES3061991T3 (en) 2013-09-12 2026-04-08 Dolby Laboratories Licensing Corp Dynamic range control for a wide variety of playback environments
CN110675883B (zh) 2013-09-12 2023-08-18 杜比实验室特许公司 用于下混合音频内容的响度调整
CN110808723B (zh) 2014-05-26 2024-09-17 杜比实验室特许公司 音频信号响度控制
CN119296555A (zh) 2014-10-10 2025-01-10 杜比实验室特许公司 基于发送无关的表示的节目响度
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
US9934790B2 (en) * 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization
US9832590B2 (en) * 2015-09-12 2017-11-28 Dolby Laboratories Licensing Corporation Audio program playback calibration based on content creation environment
US10341770B2 (en) 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC
DE102016208242A1 (de) * 2016-05-12 2017-11-16 Wirtgen Gmbh Verfahren zur Kopplung eines Maschinenrahmens einer Bodenbearbeitungsmaschine mit einer Arbeitseinrichtung, Bodenbearbeitungseinrichtung und Verbindungsvorrichtung für das Verfahren
EP3566473B8 (en) 2017-03-06 2022-06-15 Dolby International AB Integrated reconstruction and rendering of audio signals
KR102036893B1 (ko) * 2018-03-30 2019-10-25 신대철 멀티레이어 바이노럴 컨텐츠 생성 방법 및 이를 위한 프로그램
RU2768224C1 (ru) * 2018-12-13 2022-03-23 Долби Лабораторис Лайсэнзин Корпорейшн Двусторонняя медийная аналитика
WO2020131963A1 (en) 2018-12-21 2020-06-25 Nura Holdings Pty Ltd Modular ear-cup and ear-bud and power management of the modular ear-cup and ear-bud
EP3897386A4 (en) * 2018-12-21 2022-09-07 Nura Holdings PTY Ltd AUDIO EQUALIZATION METADATA
EP3931737B1 (en) 2019-03-01 2025-10-15 Nura Holdings PTY Ltd Headphones with timing capability and enhanced security
US12069464B2 (en) 2019-07-09 2024-08-20 Dolby Laboratories Licensing Corporation Presentation independent mastering of audio content
EP3857919B1 (en) * 2019-12-02 2022-05-18 Dolby Laboratories Licensing Corporation Methods and apparatus for conversion from channel-based audio to object-based audio
KR102891079B1 (ko) 2019-12-31 2025-11-26 삼성전자주식회사 음악 신호 이퀄라이저 및 이퀄라이징 방법
EP4243014A4 (en) 2021-01-25 2024-07-17 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL
KR20230001135A (ko) * 2021-06-28 2023-01-04 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법
JP2024531963A (ja) * 2021-08-26 2024-09-03 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオデータのメタデータベースダイナミック処理の方法及び装置
US12563339B2 (en) 2023-02-09 2026-02-24 Samsung Electronics Co., Ltd. Signal normalization using loudness metadata for audio processing
EP4498704A1 (en) * 2023-07-27 2025-01-29 Koninklijke Philips N.V. Generating an audio data signal
US12568285B2 (en) * 2023-09-19 2026-03-03 International Business Machines Corporation System to auto equalize the audio frequency for an enhanced sound experience

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
WO2014175669A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 신호 처리 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930758A (en) * 1990-10-22 1999-07-27 Sony Corporation Audio signal reproducing apparatus with semiconductor memory storing coded digital audio data and including a headphone unit
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
CA2636684C (en) * 1997-12-24 2009-08-18 Mitsubishi Denki Kabushiki Kaisha A method for speech coding, method for speech decoding and their apparatuses
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
EP1986466B1 (en) * 2007-04-25 2018-08-08 Harman Becker Automotive Systems GmbH Sound tuning method and apparatus
US8300849B2 (en) 2007-11-06 2012-10-30 Microsoft Corporation Perceptually weighted digital audio level compression
US20090290725A1 (en) 2008-05-22 2009-11-26 Apple Inc. Automatic equalizer adjustment setting for playback of media assets
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2329492A1 (en) * 2008-09-19 2011-06-08 Dolby Laboratories Licensing Corporation Upstream quality enhancement signal processing for resource constrained client devices
US7755526B2 (en) 2008-10-31 2010-07-13 At&T Intellectual Property I, L.P. System and method to modify a metadata parameter
WO2011087460A1 (en) 2010-01-15 2011-07-21 Agency For Science, Technology And Research A method and a device for generating at least one audio file, and a method and a device for playing at least one audio file
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US9135929B2 (en) * 2011-04-28 2015-09-15 Dolby International Ab Efficient content classification and loudness estimation
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
US9858932B2 (en) 2013-07-08 2018-01-02 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
ES3061991T3 (en) 2013-09-12 2026-04-08 Dolby Laboratories Licensing Corp Dynamic range control for a wide variety of playback environments
EP4629236A3 (en) 2013-10-22 2025-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for combined dynamic range compression and guided clipping prevention for audio devices
EP4421617A3 (en) * 2013-10-31 2024-11-06 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
EP3213532B1 (en) * 2014-10-30 2018-09-26 Dolby Laboratories Licensing Corporation Impedance matching filters and equalization for headphone surround rendering
US9934790B2 (en) 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization
US10341770B2 (en) 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
WO2014175669A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 신호 처리 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ETSI TS 103 190 V1.1.1, Digital Audio Compression (AC-4) Standard, 2014.04. *
ISO/IEC DIS 23003-4:2014(E). Information technology - MPEG audio technologies - Part 4: Dynamic range control. 2014.07.25. *
ISO/IEC DIS 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2014.07.25. *

Also Published As

Publication number Publication date
KR102124547B1 (ko) 2020-06-18
EP3329489A1 (en) 2018-06-06
US10699726B2 (en) 2020-06-30
CN107851449B (zh) 2020-04-17
CN107851449A (zh) 2018-03-27
US11501789B2 (en) 2022-11-15
US20170032801A1 (en) 2017-02-02
CN111477253B (zh) 2022-02-01
JP2018528459A (ja) 2018-09-27
JP6499374B2 (ja) 2019-04-10
US9934790B2 (en) 2018-04-03
EP4290888A3 (en) 2024-02-21
EP3329489B1 (en) 2023-11-22
KR102178231B1 (ko) 2020-11-12
CN111477253A (zh) 2020-07-31
US20180218746A1 (en) 2018-08-02
EP4290888A2 (en) 2023-12-13
US20200342886A1 (en) 2020-10-29
WO2017023423A1 (en) 2017-02-09
KR20180020295A (ko) 2018-02-27
JP6750061B2 (ja) 2020-09-02
JP2019091095A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
US11501789B2 (en) Encoded audio metadata-based equalization
JP6778781B2 (ja) エンコードされたオーディオ拡張メタデータベースのダイナミックレンジ制御
JP5467105B2 (ja) オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法
EP2205007B1 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
Proper et al. Surround+ immersive mastering
HK1190554B (en) Apparatus and method for generating audio output signals using object based metadata
HK1140351A (en) Apparatus and method for generating audio output signals using object based metadata
HK1155884B (en) Apparatus and method for generating audio output signals using object based metadata

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200612

Application number text: 1020187002465

Filing date: 20180125

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200814

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201106

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201106

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231004

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240927

Start annual number: 5

End annual number: 5