KR20200047414A - 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법 - Google Patents

Abstract

오디오 렌더링 시스템은 오디오 입력 신호를 룸 응답을 갖는 개인화된 공간 오디오 전송 기능과 결합하는 프로세서를 포함한다. 개인화된 공간 오디오 전송 기능은 복수의 개인에 대한 인-이어 마이크 측정으로부터 도출된 복수의 후보 전송 기능을 갖는 데이터베이스로부터 선택된다. 대안으로서, 개인화된 전달 함수는 청취자의 실제 인-이어 측정으로부터 도출된다. 룸 수정 모듈을 통해 사용자는 개인화된 공간 오디오 전송 기능을 수정하여 다른 룸을 대체하거나 추가 귀 측정없이 선택된 룸의 특성을 수정할 수 있다. 모듈은 선택된 전달 함수를 하나 이상의 직접 영역; 머리와 몸통에 영향을 받는 영역; 초기 반향 영역; 및 늦은 잔향 영역 중 하나 이상을 포함하는 영역으로 분할한다. 감지된 소리를 변경하기 위해 하나 이상의 영역에서 추출 및 수정 작업이 수행된다.

Description

헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법{SYSTEMS AND METHODS FOR MODIFYING ROOM CHARACTERISTICS FOR SPATIAL AUDIO RENDERING OVER HEADPHONES}

관련 출원에 대한 상호 참조

이 출원은 발명의 명칭 “SYSTEMS AND METHODS FOR MODIFYING ROOM CHARACTERISTICS FOR SPATIAL AUDIO RENDERING OVER HEADPHONES”로 2018 년 10 월 25 일자로 출원된 미국가특허출원 62/750,719호의 우선권의 이점을 주장하며, 이는 발명의 명칭 "METHOD FOR GENERATING CUSTOMIZED SPATIAL AUDIO WITH HEAD TRACKING"의 2018년 1월 7일자 미국특허가출원 제62/614,482호를 참고자료로 포함하며, 그 내용 전체는 모든 용도로 본 발명에 포함된다. 본 출원은 또한 발명의 명칭 "METHOD FOR GENERATING CUSTOMIZED SPATIAL AUDIO WITH HEAD TRACKING"으로 2018 년 9 월 19 일에 출원되고 2019년 8월 20일 등록된 미국 특허 번호 제10,390,171호를 또한 참고자료로 포함하며, 그 내용 전체는 모든 용도로 본 발명에 포함된다.

기술분야

본 발명은 헤드폰을 통해 오디오를 렌더링하기 위한 방법 및 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 보다 현실적인 오디오 렌더링을 생성하기 위해 룸 임펄스 응답 정보를 갖는 개인화된 공간 오디오 전송 기능의 데이터베이스를 사용하는 것에 관한 것이다.

BRIR(Binaural Room Impulse Response) 처리 방법은 잘 알려져 있다. 공지된 방법에 따르면, 실제 또는 더미 헤드 및 바이노럴 마이크는 실제 방에서 다수의 스피커 위치 각각에 대한 스테레오 임펄스 응답(IR)을 기록하는데 사용된다. 즉, 각 귀에 하나씩 한 쌍의 임펄스 응답이 생성된다. 그런 다음 이러한 IR을 사용하여 음악 트랙을 컨볼루션(필터링)하고 결과를 혼합하여 헤드폰을 통해 재생할 수 있다. 올바른 이퀄라이제이션이 적용되면 음악 채널이 IR이 녹음된 방의 스피커 위치에서 재생되는 것처럼 들린다.

BRIR 및 이와 관련된 BRTF(Binaural Room Transfer Function)는 스피커의 음파와 청취자의 귀, 머리 및 몸통뿐만 아니라 벽체 및 방안의 기타 물체와의 상호 작용을 시뮬레이션한다. 방 크기는 방 벽의 소리 반사 및 흡수 품질과 마찬가지로 소리에 영향을 준다. 라우드스피커는 일반적으로 디자인과 구성이 사운드 품질에 영향을 주는 인클로저에 내장되어 있다. BRTF가 입력 오디오 신호에 적용되고 별도의 헤드폰 채널에 공급되면 실제 사운드는 라우드스피커의 음질 특성과 함께 실제 방 안의 스피커와 동일한 위치에서 실제 소스에서 들을 수 있는 사운드를 시뮬레이션하는 방향성 및 공간적 인상 신호와 함께 재생된다.

실제 BRIR 측정은 일반적으로 실내에 개인을 앉히고 인-이어 마이크를 사용하여 라우드스피커의 임펄스 응답을 측정하여 수행된다. 측정 프로세스는 청취자의 머리 위치에 대한 상이한 스피커 위치에 대해 다수의 측정이 취해 짐에 따라 청취자의 환자 협력을 요구하는 데 시간이 많이 소요된다. 이들은 전형적으로 청취자 주위의 수평면에서 방위각으로 적어도 3도 또는 6 도마다 취해지지만, 더 클 수도 작을 수도 있고, 또한 상이한 헤드 기울기와 관련된 측정뿐만 아니라 청취자에 대한 높이 위치를 포함할 수 있다. 이들 측정이 모두 완료되면, 해당 개인에 대한 BRIR 데이터 세트가 생성되어, 전술한 방향성 및 공간적 인상 신호를 제공하기 위해 전형적으로 해당 주파수 도메인 형태(BRTF)의 오디오 신호에 적용할 수 있게 된다.

많은 애플리케이션에서 일반적인 BRIR 데이터 세트는 청취자의 요구에 부적합하다. 일반적으로 BRIR 측정은 청취자의 머리에서 약 1.5m 떨어진 스피커로 이루어진다. 그러나 종종 청취자는 라우드스피커가 더 멀거나 더 가까운 거리에 위치하는 것으로 인식하는 것을 선호할 수 있다. 예를 들어, 음악 재생에서, 청취자는 스테레오 신호가 청취자로부터 3 미터 이상 떨어진 곳에 위치하는 것을 선호할 수 있다. 비디오 게임 상황에서, BRTF를 사용하여 오디오 객체를 올바른 방향으로 배치할 수 있지만 사용 가능한 단일 BRTF 데이터 세트와 연관된 거리로 객체의 거리가 부정확하게 표시된다. 기껏해야, 측정된 청취자 헤드에서 스피커 거리까지의 거리 증가를 감지하기 위해 신호에 감쇠가 적용 되더라도 거리에 대한 인식은 무한하다. 다른 청취자 헤드 대 스피커 거리에 맞게 사용 가능한 BRIR을 사용하는 것이 유용하다. 또한, 측정 제약으로 인해, BRIR 측정 프로세스에 사용된 라우드스피커는 크기 및/또는 품질이 제한되었을 수 있지만, 청취자는 BRIR 데이터 세트가 고품질 라우드스피커를 사용하여 기록된 것을 선호할 것이다. 이러한 상황은 경우에 따라 변경된 환경에서 개인을 재측정하여 처리할 수 있지만 비용이 많이 들고 시간이 많이 걸리는 접근 방식이다. 개인에 대한 BRIR의 선택된 부분이 BRIR의 재측정에 의지하지 않고 변경된 라우드스피커-방-청취자 거리 또는 다른 속성을 나타내도록 수정될 수 있다면 바람직할 것이다.

전술한 바를 달성하기 위해, 본 발명은 다양한 실시예에서 바이노럴 신호를 헤드폰에 제공하여 룸 임펄스 응답을 포함하여 오디오 트랙에 사실성을 제공하도록 구성된 프로세서를 제공한다. BRIR에 대한 수정은 하나 이상의 기술을 BRIR의 하나 이상의 세그먼트 화된 영역에 적용함으로써 제공된다. 결과적으로, 하나 이상의 라우드스피커-룸-청취자 특성이 개인의 재측정없이 변경된다.

도 1은 본 발명의 일 실시예에 따라 처리될 BRIR의 상이한 영역을 그래픽으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따라 추가 귀 측정을 요구하지 않고 BRIR의 수정을 위한 모듈을 도시하는 블록도이다.
도 3은 본 발명의 일부 실시예에 따라 BRIR의 하나 이상의 영역을 처리함으로써 BRIR에서의 수정을 목표로할 수 있는 스피커 및 룸 특성을 나타내는 룸의 도면이다.
도 4는 본 발명의 실시예에 따라 커스터마이징을 위한 BRIR을 생성하고, 커스터마이징을 위한 청취자 속성을 획득하고, 청취자를 위한 커스터마이징된 BRIR을 선택하고, BRIR에 의해 수정된 오디오를 렌더링하기 위한 시스템의 도면이다.
도 5는 본 발명의 실시예에 따라 추가적인 인-이어 측정을 요구하지 않고 다른 방을 대체하거나 선택된 방의 특성을 수정하기 위해 BRIR을 수정하는 단계를 도시한 도면이다.

이제 본 발명의 바람직한 실시예를 상세하게 참조할 것이다. 바람직한 실시예의 예가 첨부 도면에 도시되어있다. 본 발명은 이들 바람직한 실시예와 관련하여 설명될 것이지만, 본 발명을 이러한 바람직한 실시예로 제한하려는 것은 아님을 이해할 것이다. 반대로, 첨부된 청구 범위에 의해 정의된 바와 같이 본 발명의 사상 및 범위 내에 포함될 수 있는 대안, 수정 및 등가물을 포함하도록 의도된다. 이하의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 본 발명은 이들 특정 세부 사항의 일부 또는 전부없이 실시될 수 있다. 다른 경우에, 공지된 메커니즘은 본 발명을 불필요하게 모호하게하지 않기 위해 상세히 설명되지 않았다.

본 명세서에서 다양한 도면 전체에 걸쳐 유사한 참조 번호는 유사한 부분을 지칭한다는 것을 주목해야 한다. 본 명세서에 도시되고 설명된 다양한 도면은 본 발명의 다양한 특징을 설명하기 위해 사용된다. 다른 표시가 있거나 구조가 본질적으로 특징을 포함하는 것을 금지하는 것을 제외하고는, 특정 특징이 하나의 도면에 도시되고 다른 것이 아닌 것으로 설명되는 한, 그러한 특징은하기에 나타낸 실시예에 포함되도록 적응될 수 있음을 이해해야 한다. 다른 수치는 마치 그 수치에 완전히 표시된 것처럼. 달리 지시되지 않는 한, 도면은 반드시 축척에 맞는 것은 아니다. 도면에 제공된 임의의 치수는 본 발명의 범위를 제한하려는 것이 아니라 단지 예시적인 것으로 의도된다.

방에는 오디오 재생, 즉 청취자가 듣는 내용에 상당한 영향을 미치는 많은 특성이 있다. 여기에는 특히 벽 질감, 벽 구성, 흡음 및 물체의 존재가 포함된다. 또한, 방과 스피커 사이의 관계, 방의 크기 및 구성 및 기타 환경 특성은 또한 방이나 다른 환경에서 청취자가 듣는 소리에 영향을 준다. 따라서, 방이 변경되거나 방/스피커 특성이 변경되면, 이들 변경된 특성은 헤드폰을 통해 청취자가 인식한 공간 오디오에 복제되어야 한다. 하나의 방법은 변경된 조건, 즉 새로운 방에서, 새로운 BRIR 데이터 세트에 대해 청취자를 재측정하는 단계를 포함한다. 그러나 특정한 변화된 특성으로 새로운 방에 있다는 인식을 청중에게 제공하기를 원하지만 그러한 "새로운" 방을 이용할 수 없다면 BRIR 데이터 세트 인-이어 측정 기술조차도 이용할 수 없을 것이다. 개별화된 BRIR 데이터 세트를 제공하기 위해 인-이어 BRIR 측정을 수행함으로써 제시된 한계를 고려할 때, 크기 조정된 방, 하나 이상의 방 특성을 조정한 방, 완전히 다른 방(룸 스와핑)에 대하여 측정을 행할 경우 나타날 수 있는 수정을 시뮬레이션함으로써 프로세스를 단축하기 위한 대체적이고 효율적인 방법이 제공된다. 결정된 BRIR의 몇몇 상이한 부분(영역)을 수정하면 청취자에게 상이한 공간 오디오 경험을 제공한다.

전술한 바를 달성하기 위해, 본 발명은 다양한 실시예에서 바이노럴 신호를 헤드폰에 제공하여 룸 임펄스 응답을 포함하여 오디오 트랙에 사실성을 제공하도록 구성된 프로세서를 제공한다. 청취자가 변경된 방/스피커 특성 변화를 모방하기 위해 다른 방식으로 오디오를 인식할 수 있도록 BRIR을 수정하는 것은 일반적으로(1) BRIR을 영역으로 분할하는 단계;(2) 선택된 하나 이상의 영역에 대해 디지털 신호 처리(DSP) 동작(기술)을 수행하는 단계; 및(3) 일부 실시예에서, 다른 방/라우드스피커로부터 컬링된 BRIR 또는 BRIR 영역을 포함하여, 수정 후 영역을 재조합하는 단계를 통상적으로 요한다. 원치 않는 사운드 아티팩트의 생성을 피하기 위해 수정 후 BRIR 영역 사이를 부드럽게 전환하려면 재조합시 주의를 기울여야 한다.

공간적 오디오 포지셔닝 변화는 하나 이상의 프로세싱 기술을 BRIR의 하나 이상의 세그먼트화된 영역에 적용함으로써 생성된다. 선택된 기술의 조합은 수정될 원하는 룸 특성의 함수이다. 결과적으로, 라우드스피커-룸-청취자 특성들 사이의 상호 작용에 관한 하나 이상의 BRIR 영역이 개인의 재측정을 요구하지 않고 수정된다.

도 1은 본 발명의 일부 실시예에 따라 처리되는 BRIR의 상이한 영역(시간 세그먼트)을 그래픽으로 도시한 도면이다. BRIR(100)은 4개의 서로 다른 영역을 갖도록 도 1에 그래픽으로 도시되어있다. BRIR 직접 영역(102), 머리 및 몸통에 영향을 받는 영역(104), 및 초기 반사 영역(106)은 늦은 잔향 영역(108)에 선행한다. 청취자는 시간 T₀ 이후에 직접 경로 신호를 먼저 수신한다. 이 시점에서 청취자의 귀에 반사가 없다. 다음으로, 청취자는 청취자의 머리 및 몸통에 의해 영향을 받는 신호를 인식하고, 일반적으로 머리 및 몸통에 영향을 받는 영역(104)으로 식별된 위치에 도시된다. 다음으로, 초기 반사에서 잔향 응답의 초기 기간 동안 일련의 초기 반사가 수신된다. 마지막으로, 늦은 잔향은 늦은 잔향 영역(108)에 의해 도시된 청취자의 귀에 수신된다. 초기 직접 경로 신호로부터의 지연의 크기 및 초기 및 늦은 잔향의 도달은 전형적으로 방의 크기와 방의 소스와 청취자의 위치에 좌우된다. . 잔향은 측정 가능한 기준으로 특징 지어 질 수 있으며 그 중 하나는 RT60 이다. 이것은 잔향 시간 -60dB의 약어다. RT60은 객관적인 잔향 시간 측정 기능을 제공한다. 음압 레벨이 60dB 감소하는 데 걸리는 시간으로 정의된다. 이는 잔향이 효과적으로 인식되지 않는 데 걸리는 시간을 측정한 것이다. 전형적으로, 후기 잔향 영역(108)은 임펄스 응답의 개시 후 약 50ms에서 시작하지만, 이 수치는 실내 특성에 따라 방마다 다를 수 있다. 바람직한 실시예에서, 이 영역(및 다른 격리된 영역)의 시작 및 종료 시간을 식별하는 것은 선택된 파라미터 또는 파라미터의 수정에 필요한 BRIR의 부분만을 식별하고 수정하도록 설계된 세그먼테이션 동작과 함께 수행된다.

도 2는 본 발명의 실시예에 따른 추가의 인-이어 측정을 필요로하지 않고 실내 특성 변화에 따라 BRIR을 수정하기 위한 모듈을 도시하는 블록도이다. 선택된 각각의 원하는 BRIR 영역 수정에 대해, 시스템(200)은 BRIR 세그먼트의 선택, 적절한 DSP 기술의 선택, 및 다른 소스로부터의 BRIR 데이터의 조합을 포함하는 동작의 조합을 더 포함한다. 본 발명의 일부 실시예에 따라 프로세서(201)의 블록(208)에서 수행될 수 있는 BRIR 영역 수정의 예가 아래에 요약된다. BRIR 영역을 직접 수정하여 변경할 수 있는 특성 및 실내 물체에 대한 실내 및 라우드스피커 크기 및 기타 사운드의 비 제한적인 샘플링에는 라우드스피커 변경, 룸 벽과 관련한 라우드스피커 위치 변경, 및 청취자와 관련된 라우드스피커 거리 변경이 포함된다. 또한, 본 발명의 범위를 제한하지 않으면서, RT60 잔향 시간, 룸 크기/치수; 룸 구성 특징, 및 룸 퍼니싱(room furnishing)(가산 또는 감산에 의함) 및 위치에 대한 변화가 본 발명의 일부 실시예에 따라 BRIR 영역 수정에 의해 모방될 수 있다.

본 발명의 일부 실시예는 다른 BRIR 데이터베이스로부터 이미 수정된 BRIR 파라미터의 라이브러리 또는 수집에서 이용될 수 있는 BRIR에 대한 수정된 파라미터와 함께, 개인을 위한 맞춤형 BRIR로부터 유도된 임의의 세그먼트와 임의의 적합한 DSP 기술의 조합을 포함한다. 예를 들어, BRIR은 고품질 라우드스피커를 위해 생성되어 저장될 수 있으며,이 경우 적어도 직접 영역(102)에서 더 높은 주파수 범위의 컨텐츠를 가질 수 있다. BRIR의 영역은 개인에 대해 맞춤화된(개인화된) BRIR 영역과 조합하기 위해 격리될 수 있다.

이들 변형 기술은 몇몇 경우에 임펄스 응답의 4 개의 식별된 영역(도 1 참조) 중 하나에서만 수행될 수 있고, 다른 경우에는 2 개 이상의 영역에서 수행될 수 있다. DSP 기술이 임펄스 응답의 4 개의 별개의 영역 중 적어도 하나에 적용되는 경우, 수신된 입력 BRIR(202)의 세그먼트화는 블록(203)에서 발생한다. 임펄스 응답의 별개의 영역으로의 분할은 임의의 적합한 방법에 의해 수행될 수 있다. 예를 들어, 늦은 잔향 영역의 시작 시간을 50ms로 추정하고 임펄스 응답을 50ms 이상으로 그 영역에 고립시킬 수 있다. 50 ms 값은 리버브 시작의 대략적인/일반적인 시간이다. 실제 값은 방의 크기 및 기타 물리적 요인에 따라 다르다. 임펄스 응답 영역을 식별하고 분리하는 다른 기술에는 에코 밀도 추정 또는 청각적 간섭 측정이 포함된다.

수정될 BRIR 매개 변수의 선택과 실제 수정을 위해 일반적으로 추가 입력 데이터가 필요하다. 예를 들어, 원래의 BRIR 결정에서 사용된 것으로부터 라우드스피커를 변경하고자하는 경우, 블록(210)의 다른 소스로부터의 BRIR 데이터는 "새로운" 라우드스피커에 대한 라우드스피커 임펄스 응답 측정을 포함한다. 하나의 샘플 실시예에서, 프로세서(201)는 BRIR 또는 HRIR을 분석하여 BRIR에서 직접 사운드의 시작 및 오프셋을 추정하여 직접 부분을 바람직하게는 이전에 얻은 다른 스피커의 임펄스 응답으로 대체한다. 일부 실시예에서, 프로세서(201)는 블록(203)에서 BRIR/HRIR의 직접 부분으로부터 측정된 라우드스피커 응답을 추출(디컨볼루션)함으로써 및 결과적인 BRIR을 합성하고, 디컨볼루션된 결과를 타겟 라우드스피커의 임펄스 응답과 컨볼루션 결합하는 것에 관련된다.

대안적으로, 추가 또는 다른 입력 데이터는 블록(206)을 통해 프로세서(201)에 제공된다. 하나 이상의 실시예에 따르면, 청취자(피험자)와 라우드스피커 사이의 거리를 변경하는 것이 바람직할 수 있다. 그러한 변경에 필요한 입력 데이터(206)는 원래 BRIR의 거리 및 합성된 BRIR의 거리를 포함한다. 또한, BRIR 데이터는 블록(210)을 통해 제공되고; 여기에서는 1 이상의 상이한 거리에서 임펄스 응답의 BRIR 데이터베이스(보간이 필요한 경우 복수 데이터베이스가 필요함)가 측정된다. 이 구현에서, 적어도 직접 영역, 초기 반사 영역 및 후기 잔향 영역이 관련된다. 이 구현에서, 프로세서(201)는 먼저 관련된 3 개의 영역을 식별함으로써 분할 동작을 수행한다. 프로세서는 바람직하게는 예를 들어 에코 밀도 추정 또는 다른 적절한 기술에 의해 늦은 잔향 시간을 추정한다. 초기 반사 시간도 추정된다. 마지막으로, 다이렉트 사운드(다이렉트 영역(102) 참조)의 시작 및 오프셋이 수행된다. 또한, 프로세서(201)의 프로세서 모듈(208)은 원래의 BRIR과 합성된 BRIR 사이의 상대 거리에 기초하여 직접 음에 감쇠를 적용함으로써 새로운 BRIR을 합성한다. 또한, 초기 반사는 여러 기술 중 하나에 의해 수정된다. 예를 들어, 원래의 BRIR은 두 개의 상이한 BRIR 사이에서 시간 신장되거나 보간될 수 있다. 하나의 비 제한적인 실시예에서 단순화된 광선 추적을 포함하는 광선 추적의 필터링 또는 사용은 대안으로서 반사의 타이밍을 결정하는데 사용될 수 있다. 레이 트레이싱은 일반적으로 사운드 소스에서 방출된 모든 새로운 레이에 대해 가능한 경로를 결정하는 것이다. 광선이 모든 반사시 방향을 변경하는 벡터라고 생각하면 전파 경로에 관련된 벽과 공기의 흡음의 결과로 에너지가 감소한다.

다른 바람직한 구현에서, 라우드스피커와 룸 특성 사이의 상호 작용이 수정된다. 아래의 음악, 영화 및 게임 응용 프로그램을 설명하는 섹션에서 더 자세히 설명된다. 그러나 일반적으로 여기에는 다음이 포함된다. (1) 라우드스피커 위치; (2) 방의 크기, 치수 및 모양, (3) 방 가구; (4) 방 구성. 변경된 라우드스피커 위치에 대한 입력 데이터에는 원래 라우드스피커 위치, 새 라우드스피커 위치 및 룸 크기가 포함된다. 프로세싱 블록들(203 및 208)을 통한 프로세서(201)는 룸 지오메트리 추정을 수행한다. 이것은 임펄스 응답으로부터 룸 경계의 위치와 흡수를 식별하려고 시도하는 신호 처리 영역이다. 음향학적으로 중요한 물체를 식별하기 위해 일부 실시예에서 사용될 수 있다. 일부 다른 실시예에서, 룸 지오메트리는 이미 알려져 있으며, 그 오디오 특성은 광선 추적 또는 다른 수단으로부터 계산될 수 있다. 계산을 안내하기 위해 룸 기하 추정이 여전히 수행될 수 있고, 또는, 충분한 데이터가 있는 경우, 생략될 수 있다.

프로세서(201)는 벽에 대한 근접성에 따라 초기 반사 영역을 수정하고 역 제곱 법을 사용하여 이전 및 새로운 위치에서의 에너지를 검증함으로써 새로운 BRIR을 합성하는 데 더 관여한다. 결과를 미세 조정할 수 있는 보간으로 방위각과 고도 각도를 변경하여 스피커 회전을 변경할 수 있다. 청취자까지의 스피커 거리는 BRIR 데이터 세트를 참조하여 새 거리에 해당하는 스피커 거리를 찾아서 수정할 수 있다. 거리는 주로 사운드 직접 부분의 감쇠에 영향을 준다. 그러나 초기 반사도 변경될 것이다. 거리를 바꾸는 것은 필연적으로 스피커의 위치를 바꾸는 것을 의미하며, 벽과 다른 물체까지의 거리도 변경된다. 이러한 변화는 임펄스 응답의 초기 반사 부분에 영향을 미친다.

유사한 방식으로, 실내 가구 및 실내 구성 추정에 대해, 프로세서(201)는 위에서 논의된 바와 같이 실내 기하 추정을 수행함으로써 임펄스 응답을 분석한다. 이 경우 추가 입력 데이터에는 타겟 가구(실내 가구 구현 용) 및 타겟 방 구성(실 구조 수정용)이 포함되어야 한다.

도 2에 도시된 시스템 제한없이 BRIR과 함께 사용될 수 있다. 즉, 도 2의 시스템에 의해 도시된 바와 같은 본 발명의 BRIR 파라미터 수정 기술은 BRIR의 유형에 관계없이 모든 유형의 BRIR에 적용될 수 있다. 예를 들어, 그들은 다음 중 하나에 대해 작용할 것이다: (1) 개인에 대한 맞춤형 인-이어 측정(BRIR);(2) 인공지능법(AI) 또는 다른 이미지 기반 특성 매칭 방법을 이용하여 결정되듯이, 추가의 비제한적 예를 위해, 상관된 성질을 가진 BRIR의 후보 데이터베이스로부터 적절한 BRIR을 결정함으로써 도출되는 준-맞춤형 BRIR, 및 (3) 상업적으로 이용 가능한 BRIR의 데이터 세트, 예를 들어 마네킹의 귀에 위치한 인 이어 마이크 또는 인구에 대한 "평균" 개인에 기초한 데이터 또는 다른 연구 결과에 기초한 데이터 세트.

도 3은 본 발명의 일부 실시예에 따라 BRIR의 하나 이상의 영역을 처리함으로써 BRIR에서의 수정을 목표로할 수 있는 스피커 및 룸 특성을 나타내는 룸의 도면이다. 방(300)은 청취자(304)로부터 거리(308)에 위치된 라우드스피커(302)와 함께 도시되어있다. 방 폭(310)과 같은 룸 치수는 라우드스피커 배치와 같이 룸 오디오에 상당한 영향을 미치며, 예를 들어 방의 벽으로부터 라우드스피커에 대한 거리(306)로 표시된다. 벽 구조에 사용된 재료와 같은 벽 구조(312)는 실내 음향에 큰 영향을 미친다. 예를 들어, 단단한 벽, 바닥, 및 천장에서 반사되면 석고 건식 벽체와 같은 흡수성 재료로 만들어진 표면과 다르게 실내 음향에 영향을 준다. 실내 가구(314)의 추가 또는 감산 및 그 위치는 실내 음향에 영향을 미친다. 전술한 바와 같이, RT60(참조 번호 316으로 표시)은 객관적인 잔향 시간 측정을 제공한다. 이 메트릭은 다양한 장르의 음악, 영화 재생 및 게임을 위한 공간 최적화를 위한 공간의 적합성을 측정하는 중요한 수단이다.

개선되거나 최적화된 변화를 식별하기 위해 BRIR의 하나 이상의 영역을 합성 또는 수정하기 위해, 본 발명의 방법 및 시스템에 대한 응용의 이해를 염두에 둔다.(1) 음악,(2) 영화 및(3) 게임/가상 현실의 세 가지 주요 응용 프로그램이 있다.

음악 애플리케이션의 경우 청취 경험에 가장 큰 영향을 미치는 룸/스피커 특성에는 라우드스피커 선택; 방 벽에 대한 스피커 위치; 룸 RT60; 그리고 방 크기, 치수 및 모양이 포함된다. 이 중에서 라우드스피커를 교체하면 가장 큰 영향을 미친다. 음악 애호가들은 특정 음악 장르의 재생에 맞춰 다른 스피커를 선호할 수 있다. 실제 방에는 선택 가능한 스피커와 스위칭 네트워크로 가득 찬 방이 필요하다. 대신에, 그리고 본 발명의 일부 실시예들에 따르면, 이는 개인에 대한 BRIR의 스피커 관련 영역들을 수정함으로써 쉽게 달성될 수 있다. 이는 임펄스 응답을 대체 스피커에 의해 생성되는 것으로 대체하기 위해 HRIR에서 직접 사운드의 시작 및 오프셋을 먼저 추정하여 수행된다. 캡처된 라우드스피커의 직접 영역이 확보되면 측정된 라우드스피커 임펄스 응답이 HRIR의 직접 영역에서 분리된다. 일 실시예에 따르면, 원래의 라우드스피커는 BRIR의 직접 영역으로부터 분리된다. 다른 실시예에서, 원래의 라우드스피커는 전체 BRIR로부터 분리된다. 제 1 예시적인 실시예에서, 동작은 새로운 스피커를 응답의 직접 영역과 관련시킴으로써 역전된다. 제 2 실시예에서, 새 라우드스피커를 전체 응답으로 컨볼루션함으로써 역 동작이 수행된다. 풀 디컨볼루션이 보다 정확한 방법이지만, 룸 반사에 대한 라우드스피커의 영향이 적기 때문에 만족스러운 결과를 제공하는 것으로 직접 영역의 디컨볼루션이 제출된다. 다른 실시예에서, 우리는 직접 영역을 다른 BRIR로부터의 대응하는 직접 영역으로 대체한다.

높은 수준에서, 측정된 라우드스피커의 가장 두드러진 효과는 개별화된 임펄스 응답에 대해 제거되고, 타겟 라우드스피커의 두드러진 영역은 개인의 측정된 임펄스 응답으로 대체된다.

새로운 방으로 옮기면 라우드스피커가 다른 소리를 낸다. 이것은 방의 초기 반향과 늦은 잔향 효과로 인해 발생한다. 새로운 라우드스피커의 특성을 대체하기 위해, 타겟 라우드스피커 임펄스 응답은 룸 응답이 아니다. 즉, 타겟 라우드스피커는 무반향 조건 하에서 측정되는 것이 바람직하며, 이에 의해 입력 데이터 모듈(210)을 통해 프로세서(201)에 임펄스 응답 데이터를 제공한다. 대안으로서, 타겟 라우드스피커 직접 영역은 저장된 또는 다른 이용 가능한 BRIR 및 입력으로부터 추출될 수 있다. 후자의 경우, 입력(211)을 통해 제공된 것과 같은 완전한 BRIR은 완전한 BRIR로부터 직접 영역을 생성하기 위해 분할될 필요가 있을 것이다.

앞서 언급한 바와 같이, RT60 룸 파라미터는 룸 잔향 감쇄 특성을 평가하기 위한 메트릭이며 음악적 맥락에서 유용하다. RT60 값이 일치하는 객실과 일치하는 경우 특정 음악 장르가 가장 잘 인식된다. 예를 들어, 재즈 음악은 약 400ms의 RT60 값을 가진 방에서 가장 잘 인식된다. 새로운 RT60 값, 즉 새로운 목표 리버브 시간에 대한 변화를 인식하기 위해, 일부 실시예에서 임펄스의 에너지 감쇠 곡선의 추정치는 역적분을 사용하여 이루어진다. 그런 다음 감쇠 회귀의 기울기와 잔향 시간을 추정하기 위해 선형 회귀 기술이 적용된다. 목표 값과 일치시키기 위해 시간 영역 또는 뒤틀린 주파수 영역에서 진폭 엔벨로프가 적용된다.

또한 라우드스피커 위치가 변경될 수 있다. 이러한 변경은 블록(206)을 통해 제공된 것과 같은 원래의 라우드스피커 위치, 새로운 라우드스피커 위치 및 룸 크기에 관한 입력 정보를 요구한다. 프로세서(201)에서 수행되는 분석 단계는 일부 실시예에서 룸 지오메트리 추정을 포함한다. 룸 기하 추정은 임펄스 응답으로부터 룸 경계의 위치 및 흡수를 식별하는 것을 목표로하는 신호 처리 영역이다. 음향 적으로 중요한 물체를 식별하는 데 사용될 수도 있다. 음악 설정에서, 일반적으로 지배적인 저음이 존재하지 않도록 라우드스피커를 벽에 너무 가까이 두지 않는 것이 좋다. 일부 실시예에서, 스피커 회전은 방위각 및/또는 고도 각을 변경함으로써 프로세서(201)에 의해 구현된다. 더 자세하게 필터링은 방위각과 고도각을 회전시키고 결과를 미세 조정하기 위해 적용되는 보간을 적용한다. 청취자를 라우드스피커 거리로 수정할 때 적용할 수 있는 동일한 기술을 적용하여 스피커 거리를 수정할 수 있다. 보다 구체적으로, 일부 실시예들에서, 우리는 원래의 BRIR 및 합성된 BRIR에 대한 거리 설정 사이의 상대 거리에 기초하여 직접 음에 감쇠를 적용한다. 그런 다음 벽과의 근접성에 따라 초기 반사를 수정한다. 여기에는 여러 가지 기술이 적용될 수 있다. 예를 들어, 일부 실시예들에서, 2 개의 상이한 BRIR들 사이의 보간, 최초 BRIR의 시간 스트레칭, 필터링, 또는 반사의 타이밍을 결정하기 위해 레이트 레이싱을 이용하는 것 사이에서 선택이 이루어진다. 일 실시예에서, 단순화된 광선 추적이 사용된다. 입력 데이터는 보간 목적을 위해 서로 다른 거리에서 측정된 임펄스 응답의 BRIR 데이터베이스를 포함할 수 있다.

BRIR 수정을 위해 음악 영역에서 타겟팅할 수 있는 다른 룸 특성에는 룸 크기, 크기 및 모양이 포함된다. 초기 반향 영역과 후기 잔향 영역에 중점을 두어 가장 쉽게 수정할 수 있다. BRIR을 분석함에 있어서, 일 실시예에서, 잔향을 제거하기 위해 제 1 반사를 추정한다. 요구되는 입력은 타겟 룸 치수, 또는 대안으로서 룸 임펄스 응답(입력(211)을 통해 제공되거나 입력(210)을 통해 세분화 됨)을 포함할 수 있다. 선택된 새로운 방에 대한 새로운 잔향을 합성함에 있어서, 다음을 포함하지만 이에 한정되지 않는 몇몇 방법을 통해 BRIR 후기 잔향 영역에 대한 잔향을 생성할 수 있다:(1) 피드백 지연 네트워크;(2) 전체 통과 필터, 지연 라인 및 잡음 발생기의 조합;(3) 광선 추적 또는(4) 실제 BRIR 측정. 그 후, HRIR(Head Related Impulse Response)에 따라 일부 실시예에 따라 룸 잔향을 필터링할 수 있다. 실내 반사는 피사체의 HRTF/HRIR에 의해 수정되므로, 새로운 피사체에 대한 잔향을 조정하기 위해 잔향의 유사한 처리가 수행되어야 한다. 이것은 시변 필터 또는 STFT를 통해 적용될 수 있다.

본 발명의 실시예에서 식별된 방법 및 시스템은 영화 애플리케이션에 적합하게 적용될 수 있다. 영화관/영화는 일반적으로 오디오 형식에 의해 부과된 제약 및 널리 분포된 좌석 배치에 의해 공간 품질을 최대화하도록 구성된 사운드 시스템을 갖는다. 균형 잡힌 사운드를 제공하는 한 가지 방법은 영화관의 여러 위치에 분산된 여러 개의 스피커를 사용하는 것이다. 이 응용에 있어서, 수정 초점에 가장 유용한 룸/라우드스피커 특성은 다음을 포함한다:(1) 라우드스피커 대 청취자 거리; (2) 스피커 위치;(3) 룸 RT60; (4) 방 크기, 치수 및 모양; 및 (5) 룸 비품. 처음 네 가지 특성을 수정하기 위한 분석 및 합성과 관련된 특정 디지털 신호 처리 단계는 음악 응용 프로그램에서 위에서 설명되었으며 여기에서는 요약 형식으로만 설명된다. 실내 비품을 수정하면 영화관(예: 가정 극장 포함)에 큰 영향을 미친다. 입력 데이터(206)는 타겟 가구를 포함한다. 임펄스 응답으로부터 룸 경계의 위치 및 관련 흡수를 식별하고 또한 음향 적으로 중요한 물체를 식별하기 위해 룸 기하 추정이 수행된다. 흡수/반사율이 변경된 실내의 방 반사(가구 변화로 인해)는 청취자의 HRTF에 의한 수정을 필요로하기 때문에, 잔향 영역이 새로운 가구 기반 잔향을 청취자에게 적응시키기 위해 유사한 처리가 일어난다. 이것은 바람직하게 시변 필터 또는 STFT를 통해 적용된다.

극장 용도로는 특별히 중요하지 않지만 실내 구성도 변경될 수 있다. 여기에는 벽/클래딩에 사용되는 재료, 추가 흡음, 천장 재료 및 구조가 포함되지만 이에 국한되지는 않는다. 실내 구조를 분석하는 구체적인 방법은 실내 가구 변경에 적용 가능한 방법과 유사하다. 즉, 임펄스 응답으로부터 룸 경계의 위치 및 흡수를 식별하기 위해 룸 지오메트리 추정이 먼저 수행된다. 타겟 룸 구성이 입력되면 룸 기하 추정을 기반으로 룸 잔향이 생성된다. 합성된 방 잔향은 STFT(주파수) 도메인에서 필터링되어 잔향을 청취자의 HRTF에 맞게 조정한다. 이것은 시변 필터 또는 STFT를 통해 적용될 수 있다. 룸 구성 수정은 게임 및 가상 현실(VR) 응용 프로그램의 음향 환경을 수정하는 데 유용하다.

위에서 논의한 대부분의 분석 및 합성 기술은 Gaming/VR 구현에 적용할 수 있다. 이 일반적인 진술의 예외는 라우드스피커 교환을 포함한다. 참가자가 방이나 환경을 빠르게 바꿀 수 있기 때문에 동적 변경은 수정을 지시한다. 예를 들어, 청취자는 동굴에서 숲으로, 우주로 이동하고 있을 수 있다. 3D 디자인 공간에서 종종 합성되는 환경을 모델링하는 것이 중요하다. 광선 추적은 실내 또는 환경의 특성을 식별하는 데 특히 중요한 기술이다. 요약하면, Gaming/VR 영역에서 룸/라우드스피커에 대한 가장 중요한 수정 사항은 다음과 같다. (1) 청취자까지의 라우드스피커 거리; (2) 룸 RT60; (3) 방 크기, 치수 및 모양; (4) 룸 비품; (5) 비 실내 환경; (6) 유체 특성 변화; (7) 청취자의 신체 크기; 및 (8) 음향 변형. 음악 및 영화 애플리케이션과 관련하여 처음 4 개의 분석 합성 기술이 위에서 설명되었다.

비-룸 환경을 생성하기 위해, 일부 실시예에서, 기존 BRIR은 늦은 잔향 및 초기 반사 영역을 식별하고 제거하기 위해 분할된다. 이는 첫 번째 반사를 추정하여 수행할 수 있다. 타겟 환경에 대한 정보가 입력되고 레이트 레이싱으로 생성된 해당 잔향이 발생한다. 합성된 잔향은 원래의 BRIR에 결합된다. 이러한 기술은 실외 또는 일반적으로 실내가 아닌 룸 환경에 중요할 수 있다. 전술한 기술은 유체 특성을 변화시키기 위해 적용 가능하다. 이러한 특성에는 온도, 습도 및 밀도가 포함될 수 있다. 속성은 시간 및/또는 피치 시프팅/스트레칭에 의해 변경될 수 있다. 물론, 수행되는 단계는 타겟 환경과 관련하여 검색된 정보에 의해 결정된다.

Gaming/VR 응용 프로그램에서는 신체 크기를 변경해야 하며 음향 변화도 생성할 수 있다. 헤드폰을 통해 새로운 환경을 정확하게 합성하기 위해 현재 신체 크기에 대한 추정이 이루어지고 타겟 신체 크기에 대한 음향을 생성하기 위해 필터링이 수행된다.

어쿠스틱 모핑은 게임 영역에서 BRIR 수정이 필요하다. 이는 움직이는 소스, 움직이는 벽과 같은 동적 룸 속성 또는 다른 음향 공간 사이의 전환에서 나타난다. 본 발명의 실시예들에서, 이들은 발생하는 소스 또는 환경 변화에 관한 입력 정보를 수용함으로써 처리된다. 이는 음악, 영화 또는 게임 응용 프로그램에서 위에서 설명한 속성 또는 기타 특성에 적용할 수 있다. 이러한 동적 변화를 수용하는 것은 상황에 따라 하나 이상의 임펄스 응답을 함께 혼합하는 것을 포함한다. 전술한 많은 BRIR 수정에서, 변경은 청취자가 남아있는 상태로 룸 응답의 하나 이상의 영역에 집중된다. 다른 곳에서 사용하기 위해 또는 개인을 현재 방에 배치하기 위해 측정 된(캡처된) HRTF를 가져 오기 위해 방에서 개별 청취자를 제거해야 하는 경우가 많이 있다. 초기에, 이것은 도 1의 영역(102)과 같은 직접 사운드 영역의 시작 및 오프셋을 추정함으로써 수행된다. 개인의 직접 영역의 추출, 및 다른 실시예에서 추가로 머리 및 몸통 영역은 주파수 왜곡을 통해 발생한다. 다른 실시예에서 간단한 절단이 사용된다. 다른 타겟이 현재 방으로 대체될 때, 새로운 타겟의 직접 영역 임펄스 응답 및 다른 실시예에서 직접 영역 및 머리 및 몸통에 영향을 받는 영역은 현재 타겟의 BRIR의 대응 영역의 대응 영역(들)을 대체하기 위해 사용된다. 새 피사체의 HRTF는 잔향의 실내 반사 처리를 수정하므로 새 피사체의 잔향에 맞게 조정해야 한다. 이는 바람직한 실시예에서 시변 필터에 의해 또는 STFT를 통해 수행된다.

명확성을 높이기 위해 BRIR 영역을 분할하고 DSP 작업을 수행하는 추가 예가 아래에 제공된다. 도 5는 본 발명의 실시예에 따라 추가적인 인-이어 측정을 요구하지 않고 다른 공간을 대체하거나 선택된 룸의 특성을 수정하기 위해 개인화된 공간 오디오 전송 기능을 수정하는 단계를 도시한 도면이다. 초기에, 프로세스는 단계 502에서 시작하며, 여기서 직접 HRTF 기능 및 룸 응답 기능을 모두 갖는 BRIR 또는 개인화된 공간 오디오 전송 기능이 수신된다. BRIR을 참조하고 본 발명의 실시예에 따르면 BRIR 데이터 세트로부터의 BRIR은 3 차원 공간에서 단일 지점과 연관될 수 있다. 보다 바람직하게는, 개인에 대해 선택되거나 결정된 전달 함수의 전체 세트가 수정된다. 이들은 5.1 멀티 채널 셋업과 같은 복수의 BRIR 일 수 있거나 청취자의 머리 주위의 지향성 공간을 완전히 나타내는 임펄스 응답의 전체 구형 그리드를 포함할 수 있다. 다음 단계(504)에서 BRIR은 개별 영역들로 분할된다. 도 1과 관련하여 예시된 바와 같이. 이들 영역은 바람직하게는(1) 직접 영역;(2) 머리와 몸통에 영향을 받는 지역;(3) 초기 반사; 및(4) 늦은 잔향을 포함할 수 있다. 원하는 룸 수정 또는 교체 유형에 따라 선택한 영역과 수행되는 작업 유형이 결정된다. 비 제한적인 예에서, 방의 크기를 수정하기 위한 출발점은 초기 반사의 타이밍을 수정하는 것이다(그들은 더 큰 방에 도착할 것이다). 늦은 잔향의 타이밍과 지속 시간은 방의 크기와 그 경계의 흡수율의 곱입니다.

다음으로 단계 506에서, 제 1 동작은 제 1 영역에 집중된다. 사용 가능한 수정 작업에는 자르기, 경사 감소, 윈도잉, 스무딩, 램핑 및 풀 룸 스와핑이 포함되지만 이에 국한되지 않는다. 예를 들어, 방의 잔향을 수정하려면 임펄스 응답의 늦은 잔향에 초점을 맞추고 감쇠율을 변경할 수 있다. 잔향 영역에 대해 동일한 초기 위치를 사용하지만 종료 위치를 줄여서 수행할 수 있다. 바람직하게는, 에너지 또는 진폭은 원래의 종점에서 측정되고 그 후 잔향 신호가 새롭게 선택된 종점으로 감쇠(시간이 더 짧음)되어, 새로운 경사가 발생하여 실내 소음으로 알려진 작은 값으로 더 빨리 감쇠된다. 이것은 작은 방의 청취자에게 센세이션을 제공한다. 또 다른 실시예에서, 보다 간단한 동작은 절단을 포함할 수 있다. 이것은 작은 방의 청취자에게 다른 감각을 제공하기 위해 작동하지만 원래 방의 표시가 여전히 존재한다는 인상을 남기는 경향이 있다. 중간 점에서의 평활도를 견디기 위해 보간이 수행되는 것이 바람직하다. 일 실시예에서, 룸 크기 조정 동작에서 룸 응답을 보다 정확하게 모방하기 위해 제 2 영역이 처리된다. 이것은 바람직하게는 초기 반사 영역을 포함한다.

이러한 단계는 임펄스 응답의 다른 세그먼트를 분리하기 위해 적용될 수도 있다. 위에서 언급된 예에서, 이것은 초기 반사 영역에 초점을 맞추는 것을 포함할 수 있다. 초기 반향은 이상적으로 늦은 잔향과 분리된다. 초기 반향 음은 초기 반사 영역에 있지만 일반적으로 초기 반사에 의해 가려진다. 일반적으로 초기 반향 음은 잔향 음과 다르게 감쇠한다. 즉, 잔향 감쇄는 초기 반사 기울기와 비교하여 더 완만한(더 낮은) 기울기를 가질 것이다. 초기 반향을 분리하기 위해, "에코 밀도 추정"을 포함하여 여러 가지 방법이 있다. 반향 밀도가 낮은 영역에서 초기 반사가 발생한다. 이 제 2 영역이 분리되면, 이 분리된 임펄스 응답 세그먼트에 대해 DSP 동작이 수행된다. 이것은 바람직하게는, 이 예에서, 크기 조정된 방이 임펄스 응답의이 영역에서 어떻게 반응할 것인지에 대한 추정과 가장 잘 일치하는 동작을 포함할 것이다.

이 예는 제 2(및 다른) 영역에서 제 2 동작을 수행하는 것으로 설명되었지만, 본 발명은 그렇게 제한되지 않는다. 본 발명의 범위는 동일한 영역에서 수행되는 다수의 동작뿐만 아니라 다른 영역에서 순차적으로 동작(동일 또는 다른)을 수행하도록 의도된다.

또 다른 샘플 실시예에서, 결합된 HRTF/룸 임펄스 응답(BRIR)으로부터 HRTF를 추출하기 위해 주파수 왜곡이 적용된다. FFT 분해능은 저주파수 영역(예를 들어, 500Hz 미만)에서의 분해능 손실을 피하기 위해 시간의 함수이기 때문에, 주파수 왜곡이 초기에 수행되는 것이 바람직하다. 결과적으로 모든 관련 주파수 빈을 캡처하는 주파수 응답을 생성하고 음성의 음조를 유지한다. 본질적으로, 우리는 BRIR에서 HRTF를 추출하기 위해 주파수 왜곡을 적용한다.

추출된 HRTF가(여러 다른 가능한 단계들 중 어느 하나에 의해) 생성되면, 새로 추출된 HRTF는 추출된 HRTF를 새로운 룸에 대한 룸 임펄스 응답에 대한 템플릿과 결합함으로써 결합 단계(508)에서 다른 룸에 배치된다. 대안으로서, 추출된 HRTF는 동일한 방에 배치될 수 있고 본 명세서에서 앞서 설명된 방 동작이 적용된다. 프로세스는 단계 510에서 종료된다.

HRTF를 추출하면 비디오 게임의 선명도를 크게 향상시킬 수 있다. 이러한 게임에서 룸 잔향은 상충되거나 흐릿한 방향 정보를 제공하며 오디오에 제공된 단서로부터 방향 감각을 압도할 수 있다. 한 가지 해결책은 방을 제거하고(방을 0으로 줄임) HRTF를 추출하는 것이다. 그런 다음 파생된 HRTF를 사용하여 게임을 처리하여 너무 많은 리버브로 인한 흐릿한 방향 정보없이 더 나은 방향성을 제공한다.

위에서 논의된 BRIR 영역을 수정하기 위한 시스템 및 방법은 BRIR이 직접 인 이어 마이크 측정 또는 인 이어 마이크 측정이 사용되지 않는 개별화된 BRIR 데이터 세트에 의해 청취자에 대해 개별화될 때 가장 잘 작동한다. 본 발명의 바람직한 실시예에 따르면, BRIR을 생성하기 위한 "세미-커스텀(semi-custom)"방법이 사용되는데, 이는 사용자로부터 이미지 기반 특성을 추출하고 일반적으로 도 4에 의해 도시된 바와 같이 BRIR의 후보 풀로부터 적절한 BRIR을 결정하는 것을 포함한다. 보다 구체적으로, 도 4는 본 발명의 실시예에 따라 사용자 정의 사용을 위한 HRTF를 생성하고, 사용자 정의를 위한 청취자 속성을 획득하고, 청취자를 위한 사용자 정의된 HRTF를 선택하고, 상대 사용자 헤드 움직임과 함께 작동하도록 적응된 회전 필터를 제공하고 BRIR에 의해 수정된 오디오를 렌더링하기 위한 시스템을 도시한다. 추출 장치(702)는 청취자의 오디오 관련 물리적 특성을 식별하고 추출하도록 구성된 장치이다. 블록(702)이 바람직한 실시예에서 이러한 특성(예를 들어 귀 높이)을 직접 측정하도록 구성될 수 있지만, 적절한 측정은 적어도 사용자의 귀 또는 귀를 포함하도록 사용자의 촬영 이미지로부터 추출된다. 이러한 특성을 추출하는 데 필요한 처리는 바람직하게는 추출 장치(702)에서 발생하지만 다른 곳에도 위치할 수 있다. 비 제한적인 예에서, 이미지 센서(704)로부터 이미지를 수신한 후 원격 서버(710)의 프로세서에 의해 속성이 추출될 수 있다. 일부 실시예에서, 머리의 크기 및 몸통의 크기 및 다른 머리 또는 몸통 관련 기능에 관한 추가 특징을 추출하기 위해, 헤드 및 상반신의 이미지를 이용한다는 점에 유의해야 한다.

바람직한 실시예에서, 이미지 센서(704)는 사용자의 귀의 이미지를 획득하고 프로세서(706)는 사용자에 대한 적절한 속성을 추출하고 이를 원격 서버(710)로 전송하도록 구성된다. 예를 들어, 일 실시예에서, 능동 형상 모델을 사용하여, 귀 핀내 이미지(ear pinnae image)에서 랜드마크를 식별하고 이러한 랜드마크와 이들의 기하학적 관계 및 선형 거리를 사용하여 BRIR 데이터 세트 콜렉션, 즉 BRIR 데이터 세트의 후보 풀에서 BRIR을 선택하는 것과 관련된 사용자의 특성을 식별한다. 다른 실시예에서, RGT 모델(회귀 트리 모델)이 속성을 추출하는데 사용된다. 또 다른 실시예에서, 신경 네트워크 및 다른 형태의 인공 지능(AI)과 같은 기계 학습은 특성을 추출하는 데 사용된다. 신경망의 한 예는 컨볼루셔널 신경망이다. 새로운 청취자의 고유한 물리적 특성을 식별하기 위한 몇 가지 방법에 대한 자세한 설명은 WIPO 출원: 2016 년 12 월 28 일자로 제출된 발명의 명칭“A METHOD FOR GENERATING A CUSTOMIZED/PERSONALIZED HEAD RELATED TRANSFER FUNCTION”의 PCTG/SG2016/050621호에 설명되어 있고, 그 내용 전체는 본 명세서에 참조로 완전히 포함된다.

원격 서버(710)는 인터넷과 같은 네트워크를 통해 액세스 가능한 것이 바람직하다. 원격 서버는 바람직하게는 추출 장치(702)에서 추출된 물리적 특성 또는 다른 이미지 관련 특성을 사용하여 최상의 매칭된 BRIR 데이터 세트를 결정하기 위해 메모리(714)에 액세스하기 위한 선택 프로세서(710)를 포함한다. 선택 프로세서(712)는 바람직하게는 복수의 BRIR 데이터 세트를 갖는 메모리(714)에 액세스한다. 즉, 각각의 데이터 세트는 바람직하게는 방위각 및 고도의 적절한 각도 및 아마도 헤드 틸트에서 각각의 점에 대해 BRIR 쌍을 가질 것이다. 예를 들어, BRIR 후보 풀을 구성하는 표본 개체에 대한 BRIR 데이터 세트를 생성하기 위해 방위각 및 고도에서 3 도마다 측정을 수행할 수 있다.

앞서 논의된 바와 같이, 이들은 바람직하게는 적절한 크기(즉, 100 명 초과)의 집단에 대한 귀 마이크에서의 측정에 의해 도출되지만, 더 작은 그룹의 개인과 함께 작업할 수 있고 각각의 BRIR 세트와 관련된 유사한 이미지 관련 특성과 함께 저장될 수 있다. 이들은 BRIR 쌍의 구형 그리드를 형성하기 위해 직접 측정 및 보간에 의해 부분적으로 생성될 수 있다. 부분적으로 측정된/부분적으로 보간된 그리드의 경우에도, 적절한 방위각 및 고도 값을 사용하여 BRIR 데이터 세트의 포인트에 대한 적절한 BRIR 쌍을 식별하면 그리드 선에 떨어지지 않는 추가 포인트를 보간할 수 있다. 예를 들어, 바람직하게는 주파수 영역에서 인접한 선형 보간, 이중선 보간 및 구형 삼각형 보간을 포함하지만 이에 제한되지 않는 임의의 적합한 보간 방법이 사용될 수 있다.

일 실시예에서 메모리(714)에 저장된 각각의 BRIR 데이터 세트는 청취자를 위한 적어도 전체 구형 그리드를 포함한다. 그러한 경우, 음원의 배치를 위해 방위각(청취 기 주위의 수평면, 즉 귀 레벨) 또는 고도각의 임의의 각도를 선택할 수 있다. 다른 실시예에서, BRIR 데이터 세트는 보다 제한되며, 예를 들어, 종래의 스테레오 셋업에 부합하는 방에서 라우드스피커 배치를 생성하는데 필요한 BRIR 쌍으로 제한된다(즉, 직진 제로 위치에 대해 +30도 및 -30도, 또는 완전한 구형 그리드의 다른 서브 세트에서, 5.1 시스템 또는 7.1 시스템과 같은 제한없이 멀티 채널 셋업을 위한 스피커 배치).

HRIR은 헤드 관련 임펄스 응답이다. 무반향 조건 하에서 시간 영역에서 소스에서 수신기로 사운드가 전파되는 것을 완벽하게 설명한다. 여기에 포함된 대부분의 정보는 측정중인 사람의 생리학 및 인체 측정법과 관련이 있다. HRTF는 헤드 관련 전송 기능이다. 주파수 영역에 대한 설명이라는 점을 제외하고 HRIR과 동일하다. BRIR은 바이노럴 룸 임펄스 응답이다. 룸에서 측정된다는 점을 제외하고 HRIR과 동일하므로 캡처된 특정 구성에 대한 룸 응답을 추가로 통합한다. BRTF는 BRIR의 주파수 도메인 버전이다. 본 명세서에서 BRIR은 BRTF와 쉽게 이식 가능하고 마찬가지로 HRIR은 HRTF와 쉽게 이식 가능하기 때문에 본 발명의 실시예는 여기에서 구체적으로 설명되지 않더라도 쉽게 이식 가능한 단계를 포함하도록 의도된다는 것을 이해해야 한다. 따라서, 예를 들어, 설명이 다른 BRIR 데이터 세트에 액세스하는 것을 언급할 때, 다른 BRTF에 액세스하는 것이 포함된다는 것을 이해해야 한다.

도 4는 메모리에 저장된 데이터에 대한 샘플 논리 관계를 더 도시한다. 메모리는 몇몇 개인에 대한 열 716 BRIR 데이터 세트(예를 들어, HRTF DS1A, HRTF DS2A 등)를 포함하는 것으로 도시되어있다. 이들은 각각의 BRIR 데이터 세트와 연관된 특성, 바람직하게는 이미지 관련 특성에 의해 색인화되고 액세스된다. 열 715에 표시된 관련 속성을 사용하면 새 청취자 속성을 열 716, 717 및 718에 측정되어 저장된 BRIR과 관련된 속성과 일치시킬 수 있다. 즉, 해당 속성은 이러한 열에서 도시되는 BRIR 데이터 세트의 후보 풀에 대한 인덱스로 작동한다. 열(717)은 기준 위치 0에서 저장된 BRIR을 나타내며, 나머지 BRIR 데이터 세트와 연관되며, 청취자 헤드 회전이 모니터링되고 수용될 때 효율적인 저장 및 처리를 위해 회전 필터와 결합될 수 있다. 이 옵션에 대한 자세한 설명은 2018 년 1 월 7 일자로 출원된 미국 가출원: 제62/614,482호,“METHOD FOR GENERATING CUSTOMIZED SPATIAL AUDIO WITH HEAD TRACKING”에 자세히 설명되어 있다.

본 발명의 일부 실시예에서, 2 개 이상의 거리 구가 저장된다. 청취자로부터 이는 2 개의 다른 거리에 대해 생성된 구형 그리드를 나타낸다. 일 실시예에서, 하나의 기준 위치(BRIR)가 저장되고 2 개 이상의 상이한 구형 그리드 거리 구에 관련된다. 다른 실시예에서, 각각의 구형 그리드는 적용 가능한 회전 필터와 함께 사용하기 위한 자체 기준 BRIR을 가질 것이다. 선택 프로세서(712)는 메모리(714)의 특성을 새로운 청취자에 대한 추출 장치(702)로부터 수신된 추출된 특성과 매칭시키는 데 사용된다. 올바른 BRIR 데이터 세트를 선택할 수 있도록 연관된 특성을 일치시키기 위해 다양한 방법이 사용된다. 여기에는 다중 일치 기반 처리 전략에 의한 생체 데이터 비교; 다중 인식기 처리 전략; 클러스터 기반 처리 전략, 및 기타 2018년 5월 2일자 미국 특허 출원: 제15/969,767호, "SYSTEM AND A PROCESSING METHOD FOR CUSTOMIZING AUDIO EXPERIENCE"(그 개시 내용은 본원에 참조로 완전히 포함됨)가 포함된다. 열(718)은 제 2 거리에서 측정된 개인에 대한 BRIR 데이터 세트를 지칭한다. 즉, 이 열은 BRIR 데이터 세트를 측정된 개인에 대해 기록된 두 번째 거리에 게시한다. 다른 예로서, 열(716)의 제 1 BRIR 데이터 세트는 1.0m 내지 1.5m에서 취해질 수 있는 반면, 열(718)의 BRIR 데이터 세트는 5m에서 측정된 데이터 세트를 지칭할 수 있다. 청취자로부터. 이상적으로 BRIR 데이터 세트는 완전 구형 그리드를 형성하지만, 본 발명의 실시예는 다음을 포함하지만 이에 제한되지 않는 완전 구형 그리드의 임의의 및 모든 서브 세트에 적용된다: 종래의 스테레오 세트의 BRIR 쌍을 포함하는 서브 세트; a5.1 멀티 채널 셋업; a7.1 다중 채널 설정, 방위 및 고도 모두에서 3도 이하의 BRIR 쌍과 밀도가 불규칙한 구형 그리드를 포함하여, 구형 그리드의 모든 다른 변형 및 하위 집합에 적용된다. 예를 들어, 그리드 지점의 밀도가 청취자의 후면에 있는 것보다 전방 위치에서 훨씬 더 큰 구형 그리드를 포함할 수 있다. 더욱이, 컬럼(716 및 718)에서의 컨텐츠의 배열은 측정 및 보간으로부터 도출된 것으로 저장된 BRIR 쌍뿐만 아니라 전자를 회전 필터를 포함하는 BRIR 로의 변환을 반영하는 BRIR 데이터 세트를 생성함으로써 더 정제된 것들에 적용된다.

하나 이상의 매칭 BRIR 데이터 세트를 선택한 후, 새로운 청취자에 대해 전술한 바와 같은 매칭 또는 다른 기술에 의해 결정된 전체 BRIR 데이터 세트, 또는 일부 실시예에서, 선택된 공간화된 오디오 위치에 대응하는 서브셋을 저장하기 위해 데이터 세트가 오디오 렌더링 장치(730)로 전송된다. 오디오 렌더링 장치는 일 실시예에서 원하는 방위각 또는 고도각 위치에 대한 BRIR 쌍을 선택하고 이들을 입력 오디오 신호에 적용하여 헤드폰(735) 공간 오디오를 제공한다. 다른 실시예에서, 선택된 BRIR 데이터 세트는 오디오 렌더링 장치(730) 및/또는 헤드폰(735)에 연결된 별도의 모듈에 저장된다. 다른 실시예에서, 렌더링 장치에서 제한된 저장 장치만 이용 가능한 경우, 렌더링 장치는 청취자와 가장 일치하는 관련 특성 데이터의 식별, 또는 가장 잘 일치하는 BRIR 데이터 세트의 식별만을 저장하며, 필요에 따라 원격 서버(710)로부터 실시간으로 (선택된 방위각 및 고도에 대한)요망 BRIR 쌍을 다운로드한다. 앞서 논의된 바와 같이, 이들 BRIR 쌍은 바람직하게는 중간 크기(즉, 100 명 초과)의 집단에서 귀 마이크에서의 측정에 의해 도출되고 각각의 BRIR 데이터 세트와 관련된 유사한 이미지 관련 특성과 함께 저장된다. 수평면에서 방위각으로 3 도마다 측정을 하고 상반 구에 대해 3도에서 해당 고도 지점을 포함하도록 추가로 확장되는 경우 약 7200 개의 측정 지점이 필요하다. 7200 개의 점을 모두 사용하지 않고 직접 측정하여 부분적으로 보간하여 BRIR 쌍의 구형 그리드를 형성할 수 있다. 부분적으로 측정된/부분적으로 보간된 그리드의 경우에도, 적절한 방위각 및 고도 값을 사용하여 BRIR 데이터 세트의 포인트에 대한 적절한 BRIR 쌍을 식별하면 그리드 선에 떨어지지 않는 추가 포인트를 보간할 수 있다.

본 발명의 다양한 실시예들이 위에서 설명되었으며, 전형적으로 룸 크기, 벽 재료 등과 같은 룸 측면을 포함하여 수정된 BRIR 파라미터 중 적어도 일부가 수정되었다. 본 발명은 실내 실 파라미터를 포함하는 수정 파라미터로 제한되지 않음에 유의해야 한다. 본 발명의 범위는 "룸"이 도시 건물들 사이의 공통 공간, 야외 원형 극장, 또는 심지어 개방된 필드와 같은 실외 환경으로 보일 수 있는 환경을 더 포함하도록 의도된다.

Claims (19)

1. 변형된 바이노럴 룸 임펄스 응답(BRIR)을 생성하는 방법으로서,
   제 1 BRIR을 적어도 2 개의 영역으로 분할하는 단계;
   적어도 2 개의 영역 중 적어도 하나에 대해 디지털 신호 처리 동작을 수행하여 적어도 하나의 수정된 영역을 생성하는 단계; 및
   적어도 하나의 수정된 영역과, 수정된 BRIR 형성을 위해 프로세싱 동작이 수행되지 않은 임의의 수정되지 않은 영역을 결합하는 단계 - 상기 적어도 하나의 수정된 영역은 라우드스피커-룸-청취자 상호 관계에 대한 변경된 사운드 속성에 대응함; 를 포함하는 방법.
2. 제 1 항에 있어서, 상기 제 1 BRIR은 직접 영역, 초기 반사 영역, 헤드 및 몸통 영향 영역 및 늦은 잔향 영역을 포함하는 4 개 영역 중 적어도 2 개의 영역으로 분할되는 방법.
3. 제 2 항에 있어서, 디지털 신호 처리 동작은 상기 4 개 영역 중 2 개 이상에서 수행되는 것인 방법.
4. 제 2 항에 있어서, 상기 수정된 BRIR은 상기 제 1 BRIR에 사용된 상기 제 1 라우드스피커와 다른 타겟 라우드스피커에 의해 수행되는 오디오 프로세싱을 모방하도록 의도되고, 적어도 하나의 수정된 영역은 타겟 라우드스피커에 대한 임펄스 응답으로부터 컬링되는 대응 영역으로부터 생성되는, 방법.
5. 제 4 항에 있어서, 분할하는 단계는 제 1 BRIR에서 직접 영역을 결정하는 단계를 포함하고, 직접 영역으로부터 제 1 라우드스피커를 제거하기 위해 제 1 BRIR의 직접 영역에 디컨볼루션을 적용하는 단계; 및 타겟 라우드스피커 응답을 제 1 BRIR의 디컨볼루션된 다이렉트 영역과 컨볼루션하는 단계를 더 포함하는, 방법.
6. 제 4 항에 있어서, 상기 제 1 라우드스피커는 전체 BRIR로부터 분리되고, 상기 타겟 라우드스피커 응답을 상기 제 1 라우드스피커에 대한 전체 디컨볼루션된 BRIR 응답과 컨볼루션하는 단계를 더 포함하는 방법.
7. 제 4 항에 있어서, 상기 제 1 라우드스피커에 대한 BRIR의 직접 영역은 타겟 라우드스피커에 대한 BRIR의 대응하는 직접 영역으로 대체되는 방법.
8. 제 1 항에 있어서, 상기 수정된 BRIR은 상기 제 1 BRIR에 사용된 것과 다른 타겟 룸에서 수행되는 오디오 프로세싱을 모방하도록 의도되고, 적어도 하나의 수정된 영역은 타겟 룸에 대한 상기 임펄스 응답으로부터 컬링된 대응 영역으로부터 생성되는 것 인 방법.
9. 제 1 항에 있어서, 수정하는 단계는 시네마 애플리케이션에 대해 최적화되고, 라우드스피커-청취자 거리; 라우드스피커 위치; 룸 RT60; 룸 크기, 치수, 및 형상; 및 룸 비품 중 적어도 하나의 변화로부터 도출된 라우드스피커-룸-청취자 상호 관계에 대한 사운드 속성의 변화를 모방하도록 구성된 방법.
10. 제 1 항에 있어서, 수정하는 단계는 게임 애플리케이션에 최적화되고, 라우드스피커-청취자 거리; 룸 RT60; 룸 크기, 치수, 및 형상; 룸 비품; 비-실내 룸 환경; 유체 성질 변화 청취자의 신체 크기; 및 음향 모핑 중 적어도 하나의 변화로부터 도출된 라우드스피커-룸-청취자 상호 관계에 대한 사운드 속성의 변화를 모방하도록 구성된 방법.
11. 제 1 항에 있어서, 수정하는 단계는 음악 애플리케이션에 대해 최적화되고, 라우드스피커의 선택; 룸 RT60; 룸 크기, 치수, 및 형상; 및 룸 벽체에 대한 라우드스피커 위치 중 적어도 하나의 변화로부터 도출된 라우드스피커-룸-청취자 상호 관계에 대한 사운드 속성의 변화를 모방하도록 구성된 방법.
12. 제 11 항에 있어서, 룸 음향 특성은 RT60 룸 파라미터 값의 선택에 의해 음악의 장르에 매칭되는 방법.
13. 제 1 항에 있어서, 영역의 분할은 선택된 영역에 대한 시작 및 중지 시간에 대한 시간 추정치; 에코 밀도 추정치; 및 청각적 간섭성 척도 중 하나 이상에 기초하는, 방법.
14. 제 1 항에 있어서, 수정된 BRIR은 라우드스피커-실내 벽 거리; 라우드스피커-청취자 거리, 룸 크기 또는 치수; 룸 구성; 및 룸 비품의 변화들 중 적어도 하나로부터 유도된 라우드스피커-룸-청취자 상호 관계에 대한 사운드 속성의 변화를 모방하도록 구성되는, 방법.
15. 변형된 바이노럴 룸 임펄스 응답(BRIR)을 생성하는 방법으로서,
    제 1 BRIR을 적어도 2 개의 영역으로 분할하는 단계;
    적어도 하나의 수정된 영역을 생성하기 위해 상기 적어도 2 개의 영역 중 적어도 하나에 대한 수정 동작을 수행하는 단계; 및
    적어도 하나의 수정된 영역과, 수정된 BRIR 형성을 위해 프로세싱 동작이 수행되지 않은 임의의 수정되지 않은 영역을 결합하는 단계 - 상기 적어도 하나의 수정된 영역은 라우드스피커-룸-청취자 상호 관계에 대한 변경된 사운드 속성에 대응함; 를 포함하는, 방법.
16. 제 15 항에 있어서, 수정 동작은 절단(truncation), 광선 추적, 감쇠율의 기울기 변경, 윈도잉(windowing), 스무딩(smoothing), 램핑(ramping) 및 풀 룸 스와핑(full room swaping) 중 적어도 하나를 포함하는 방법.
17. 헤드폰을 통한 공간 오디오 렌더링을 위한 방 또는 스피커 특성을 수정하기 위한 시스템으로서,
    제 1 룸에서 제 1 라우드스피커에 대응하는 제 1 바이노럴 룸 임펄스 응답(BRIR)을 수신하는 단계;
    제 1 BRIR을 적어도 2 개의 영역으로 분할하는 단계;
    적어도 2 개의 영역 중 적어도 하나에 대해 디지털 신호 처리 동작을 수행하여 적어도 하나의 수정된 영역을 생성하는 단계; 및
    적어도 하나의 변형된 영역과 비 변형된 영역을 결합하여 변형된 BRIR을 형성하는 단계 - 적어도 하나의 변형된 영역은 라우드스피커-룸-청취자 상호 관계에 대한 변경된 사운드 속성에 대응함; 를 포함하는 시스템.
18. 제 17 항에 있어서, 상기 수정된 BRIR은 라우드스피커 선택의 변화; 라우드스피커와 룸 벽 사이의 거리; 라우드스피커와 청취자 거리; 룸 크기 또는 치수; 룸 구성; 및 룸 비품 중 적어도 하나로부터 도출되는 라우드스피커-룸-청취자 상호 관계에 대한 사운드 속성의 변화를 모방하도록 구성된, 시스템.
19. 제 17 항에 있어서, 상기 수정된 BRIR은 비-룸 환경을 시뮬레이션하도록 합성되고,
    프로세서를 사용하여 제 1 BRIR을 직접 영역, 초기 반사 영역, 헤드 및 몸통 영향 영역 및 늦은 잔향 영역을 포함하는 영역으로 분할하는 단계;
    늦은 잔향 및 초기 반사 영역을 식별하고 제거하는 단계; 및
    광선 추적을 사용하여 비-룸 환경에 해당하는 새로운 잔향을 합성하는 시스템..
    

Images