BRPI0718711B1 - Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual - Google Patents

Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual Download PDF

Info

Publication number
BRPI0718711B1
BRPI0718711B1 BRPI0718711-4A BRPI0718711A BRPI0718711B1 BR PI0718711 B1 BRPI0718711 B1 BR PI0718711B1 BR PI0718711 A BRPI0718711 A BR PI0718711A BR PI0718711 B1 BRPI0718711 B1 BR PI0718711B1
Authority
BR
Brazil
Prior art keywords
avatars
audio scene
fact
avatar
audio
Prior art date
Application number
BRPI0718711-4A
Other languages
English (en)
Inventor
Paul Boustead
Farzad Safaei
Original Assignee
Dolby Laboratories Licensing Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39364104&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI0718711(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2006906213A external-priority patent/AU2006906213A0/en
Application filed by Dolby Laboratories Licensing Corporation filed Critical Dolby Laboratories Licensing Corporation
Publication of BRPI0718711A2 publication Critical patent/BRPI0718711A2/pt
Publication of BRPI0718711B1 publication Critical patent/BRPI0718711B1/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408—Peer to peer connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Child & Adolescent Psychology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual a presente invenção refere-se a uma cena de áudio que é criada para um avatar em um meio virtual de múltiplos avatares. uma estrutura de ligação é criada entre os avatares. uma cena de áudio é criada para cada avatar, com base nas associações de avatar com outros avatares.

Description

[001] A presente invenção refere-se geralmente a um campo de comunicações de áudio imersivas e mais particularmente, porém por nenhum meio exclusivamente, a criação de uma cena de áudio imersiva em um meio ambiente de ponto a ponto.
Antecedente da Invenção [002] Têm havido significativos avanços na criação de meios virtuais visualmente imersivos nos recentes anos. Estes avanços têm resultado na captação de ampla difusão de jogos que massivamente desempenham papel de múltiplo jogadores em que os participantes podem entrar em um meio virtual comum (tal como um campo de batalha) e são representados no meio virtual por um avatar, que está tipicamente na forma de um caractere animado.
[003] A captação difundida dos meios virtuais visualmente imersivos é devida, em parte, aos avanços significativos tanto na tecnologia de processamento de imagem que possibilita gráficos altamente detalhados e realísticos a serem gerados no meio virtual como no desenvolvimento de cartões de sons tridimensionais que empregam unidades de processamento de alta velocidade. Uma desvantagem principal com estes meios, todavia, é que os mecanismos de comunicação entre jogadores correntes são usualmente primitivos envolvendo trocas de palavra do texto ou comunicações de voz de walkie-talkie. Engastar um ambiente de comunicação mais natural em que as vozes aparecem para vir dos avatares no mundo virtual correspondente ao jogador é complexo para implementar e caro para remessa. O áudio gerado por cada jogador que participa do meio virtual deve ser enviado a
Petição 870190041081, de 02/05/2019, pág. 4/27
2/17 cada um e a um outro jogador que está dentro da faixa da percepção auditiva. Para jogos massivamente de múltiplo jogadores, ambas as exigências da largura de banda a montante e a jusante para facilitar tal troca de áudio podem ser particularmente altas.
[004] Além do mais, o custo da CPU requerido para sintetizar todos os fluxos de áudio recebidos é alto, requerendo particularmente unidades de processamento poderosas a serem empregadas a fim de satisfazer as mínimas exigências de hardware para participar do meio virtual.
Definições [005] A seguir, as definições são proporcionadas aos vários termos usados ao longo deste relatório descritivo:
[006] Cena de áudio - informação de áudio compreendendo sons combinados (por exemplo, vozes pertencentes a outros avatares e outra fonte de tempo real de som dentro do meio virtual) que são colocados de modo espacial e opcionalmente atenuados de acordo com uma distância entre uma fonte de recipiente do som. Uma cena de áudio pode também compreender efeitos de som que representam as características acústicas do meio.
Sumário da Invenção [007] Em um primeiro aspecto da presente invenção, é provido um processo de criar uma cena de áudio para um avatar em um meio virtual incluindo uma pluralidade de avatares, o processo compreendendo as etapas de criar uma estrutura de ligação entre uma pluralidade de avatares; e sintetizar uma cena de áudio para cada avatar com base na sua associação com outros avatares.
[008] Vantajosamente, os aspectos da presente invenção proporcionam uma técnica de largura da banda menor para enviar cenas de áudio imersivo pela utilização de uma estrutura do tipo ponto a ponto. Enviar o serviço em tal maneira elimina a exigência de enviar tráfego
Petição 870190041081, de 02/05/2019, pág. 5/27
3/17 de tempo real através de um servidor central. Isto leva a significativa economia de custo quando grandes custos de parques de servidor e da largura da banda são comumente requeridos para enviar tal serviço. Ao invés, de acordo com os aspectos da presente invenção, o serviço pode ser enviado usando recursos da CPU e largura de banda dos pontos (avatares ligados) usando o serviço. Em adição, o envio de serviço pode facilmente ser escalado quando o número de avatares no meio virtual no meio ambiente cresce porque cada avatar novamente ligado adiciona recursos para suportar o serviço.
[009] De acordo com um segundo aspecto, é provido um programa de computador compreendendo pelo menos uma instrução para controlar um computador para implementar um processo de acordo com o primeiro aspecto da invenção.
[0010] De acordo com um terceiro aspecto, é provido um meio legível de comutador proporcionando um programa de computador de acordo com o segundo aspecto da invenção.
[0011] De acordo com um quarto aspecto, é provido um dispositivo de computação de usuário disposto para realizar as etapas de processo de acordo com o primeiro aspecto da invenção.
[0012] De acordo com um quinto aspecto, é provido um sistema disposto a criar uma cena de áudio para um meio virtual, o sistema compreendendo: uma pluralidade de dispositivos de computação, cada dispositivo de computação sendo capaz de controlar pelo menos um avatar no meio virtual, em que cada dispositivo de computação é disposto para sintetizar uma cena de áudio de saída para pelo menos um avatar e comunica a cena de áudio de saída a pelo menos um outro dispositivo de computação.
Breve Descrição dos Desenhos [0013] Não obstante quaisquer outras formas que podem cair dentro do escopo da presente invenção, uma concretização da presente
Petição 870190041081, de 02/05/2019, pág. 6/27
4/17 invenção será, a seguir, descrita, por meio do exemplo apenas, com referência aos desenhos anexos em que:
Figura 1 é um diagrama em bloco de um sistema disposto para realizar uma concretização da presente invenção;
Figura 2 mostra um exemplo de um layout de figuras avatares em um meio virtual;
Figura 3 mostra os ângulos e níveis de atenuação requeridos para sintetizar cada um dos fluxos de áudio recebidos por um avatar do meio virtual da Figura 2;
Figura 4 é um exemplo de uma conexão delta ligando os avatares ao meio virtual da Figura 2;
Figura 5 representa a aplicação de uma árvore de extensão mínima para determinar as ligações mais curtas entre os avatares da Figura 2; e
Figura 6 mostra uma borda sendo adicionada a árvore de extensão mínima, de acordo com uma concretização da presente invenção.
Descrição Detalhada das Concretizações Preferidas [0014] Com referência à Figura 1, o sistema 100 inclui um servidor de meio virtual 102; servidor de controle 103; dispositivos de computação do usuário 104; e um sistema de comunicação 106.
[0015] A função primária do servidor de meio virtual 102 é manter a informação do estado para um meio virtual. Na presente concretização da invenção, o meio virtual é um campo de batalha de um jogo online de múltiplo jogadores e os avatares representam participantes (que são usuários dos dispositivos de computação do usuário 104) no meio virtual e estão na forma de soldados animados. A informação do estado, mantida pelo servidor de meio virtual 102 compreende, por exemplo, a posição dos avatares no meio virtual; isto é, o local dos soldados no campo da batalha.
Petição 870190041081, de 02/05/2019, pág. 7/27
5/17 [0016] Nota-se que a concretização não está restrita aos meios virtuais e avatares para jogos on-line de múltiplo jogadores. A concretização tem aplicação à uma faixa de meios virtuais incluindo, por exemplo, meios virtuais em um contexto de negócio (tais como reunião de equipes virtual) ou um contexto educacional (tal como uma aula virtual).
[0017] Para realizar as funções primárias de manutenção da informação do estado, o servidor de meio virtual 102 compreende hardware de computador incluindo uma placa-mãe, unidades de processamento central, memória de acesso aleatório, discos rígidos, hardware de rede e uma fonte de força. Em adição a hardware, o servidor de meio virtual 1-2 inclui um sistema de operação (tal como Linux, que pode ser obtido da Internet em website localizado em URL http://www.redhat.com) que reside no disco rígido e que coopera com o hardware para prover um meio no qual as aplicações de software podem ser executadas. Neste aspecto, o disco rígido do servidor de meio virtual 102 é carregado com uma aplicação do servidor de meio virtual (tal como motor Quake que pode ser obtido da Internet em um website localizado em URL http: //www.idsoftware.com) para manter a informação do estado.
[0018] Um servidor de controle 103 é conectado ao servidor de meio virtual 102, via ligação de alta velocidade 105. O servidor de controle 103 incorpora o mesmo hardware que do servidor de meio virtual e é carregado com uma aplicação do servidor de controle que é disposta para interagir com o servidor de meio virtual 102 para obter informação que identifica os vários avatares presentes no meio virtual e o local dos avatares no meio virtual. Esta informação pode também incluir detalhes dos status dos avatares (por exemplo, ativos ou inativos) e detalhes de quaisquer barreiras de som dinâmicas. Usando algoritmos embutidos dentro da aplicação do servidor de controle, o ser
Petição 870190041081, de 02/05/2019, pág. 8/27
6/17 vidor de controle 103 gera informação de sintetização de áudio imersivo que é comunicada a cada um dos dispositivos de computação do usuário. Como representado na Figura l, o servidor de controle 102 é também disposto para comunicar com os dispositivos de computação de usuário, via ligação 114.
[0019] Os dispositivos de computação de usuário 104 estão na forma de laptop ou desktop. Todavia, será facilmente apreciado que a concretização não está restrita aos dispositivos de comunicação de laptop ou desktop. É considerado que nas concretizações alternativas da presente invenção, os dispositivos de computação do usuário 104 (por exemplo, tal como dispositivos 04a-h, como mostrado) podiam ser dispositivos de comunicação sem fio portáteis tais como Nokia N-Gage e Playstation Portátil. Cada dispositivo de computação do usuário 104 compreende hardware de computador incluindo uma placa-mãe, unidade de processamento central, memória de acesso aleatório, um disco rígido ou dispositivo de armazenagem similar, fonte de força, monitor e uma entrada de informação do usuário (por exemplo, um teclado). Em adição ao hardware, o disco rígido de cada dispositivo de computação do usuário 104 é carregado com um sistema operativo capaz de interagir com o hardware do dispositivo de computação 104 para prover um meio em que as aplicações de software podem ser executadas. Neste aspecto, o disco rígido de cada dispositivo de computação do usuário 104 é carregado com uma aplicação do cliente de meio virtual e uma aplicação de cliente de comunicação de áudio imersivo.
[0020] A aplicação do cliente de meio virtual é disposta para enviar e receber a informação de estado para o meio virtual a e da aplicação do servidor de meio virtual carregada no servidor de meio virtual 102. A aplicação do cliente de comunicação de áudio imersivo é disposta para enviar e receber informação de áudio a e de outros clientes de
Petição 870190041081, de 02/05/2019, pág. 9/27
7/17 comunicação de áudio imersivo. Foi descrito previamente que cada dispositivo de computação do usuário 104 é carregado com um sistema operativo. A concretização pode ser facilmente disposta para operar quaisquer sistemas de operação diferentes carregados nos dispositivos de computação de usuário 104 incluindo, por exemplo, Microsoft Windows XP ou Linux (ambos seriam tipicamente usados quando os dispositivos de comutação 104 estivessem na forma de um computador desktop).
[0021] O sistema de comunicação 106 possibilita a aplicação do cliente de meio virtual de cada um dos dispositivos de computação de usuário 104 e a aplicação do servidor de meio virtual do sistema de meio virtual 102 para trocar dados (mais especificamente, a informação do estado) entre si. O sistema de comunicação 106 também possibilita a aplicação do cliente de comunicação de áudio imersivo de cada um dos dispositivos de computação de usuário 104 e servidor de controle 103 a trocar dados (mais especificamente, os detalhes de uma estrutura de ligação na forma de um gráfico de ponto a ponto) entre si.
[0022] Para suportar a troca de dados, o sistema de comunicação 106 inclui uma rede de dados 110 na forma da Internet para enviar e receber dados dos dispositivos de computação do usuário 104. A presente invenção não está restrita a ser usada com Internet e uma concretização alternativa da presente invenção pode ser empregada, por exemplo, 802.11 com base na rede sem fio ou similar. Para possibilitar o sistema de meio virtual 102 e os dispositivos de computação do usuário 104 para troca de dados via o sistema de comunicação 106, o servidor de meio virtual 102 é conectado à Internet 110 via uma ligação de comunicação 114 na forma de uma ligação de dados de alta velocidade.
[0023] A concretização da presente invenção primariamente diz
Petição 870190041081, de 02/05/2019, pág. 10/27
8/17 respeito às técnicas de ponto a ponto da largura da banda menor para prover o áudio imersivo aos usuários dos dispositivos de computação do usuário 104 que participam do meio virtual. Como tal, a seguinte descrição focaliza particularmente a funcionalidade da aplicação do servidor de controle carregada no servidor de controle 103 e da aplicação do cliente de comunicação de áudio imersivo carregada em cada um dos dispositivos de computação do usuário 104.
[0024] Como previamente discutido, a aplicação do servidor de controle residente no servidor de controle 103 é disposta para obter a informação relativa à localização dos avatares operando no meio virtual proveniente da aplicação do servidor de meio virtual. De acordo com a concretização descrita aqui, a informação da localização está na forma de coordenadas tridimensionais (x,y,z). A aplicação do servidor de controle é adicionalmente configurada para obter detalhes de quaisquer barreiras de som dinâmicas (a seguir, informação da barreira) que podem efetuar a propagação de sons dentro do meio virtual. Uma vez que a informação de localização e informação de barreira têm sido obtidas, a aplicação do servidor de controle realiza as ações a seguir apresentadas:
calcular uma árvore ou uma série de árvores (se existirem inúmeros agrupamentos desiguais de avatares que não estão dentro da faixa auditiva entre si), com base na localização (x,y,z) de avatares no meio virtual. Estas árvores conectam avatares falantes aos avatares ouvintes. A aplicação do servidor de controle pode também levar em conta os fatores tais como largura da banda disponível e confiabilidade dos nós (isto é, correspondentes a cada um dos dispositivos de computação do usuário) para determinar como a árvore é construída. Por exemplo, se um nó na árvore não tiver uma largura de banda maior disponível, a aplicação pode restringir o número de outros nós na árvore que ela possa conectá-la. Se um nó não for confiável (por
Petição 870190041081, de 02/05/2019, pág. 11/27
9/17 exemplo, se o nó tiver uma história de grande retardo ou perda de pacote) então a aplicação de servidor de controle pode desejar tornar seguro que seja uma folha da árvore;
introduzir loops na árvore para reduzir a extensão do trajeto entre cada falante e cada ouvinte para formar um gráfico de ponto a ponto. A aplicação do servidor de controle não introduzirá loops que são mais curtos do que a extensão especificada para assegurar que não estão presentes nem a realimentação positiva nem ecos notáveis no fluxo de áudio eventualmente emitidos pelos dispositivos de computação do usuário; e comunicar os seguintes detalhes associados com o gráfico de ponto a ponto aos dispositivos de computação do usuário 104 identificados no gráfico;
o conjunto de avatares que um dispositivo de comutação do usuário A deve criar conexões para o mesmo;
um valor de atenuação α (alfa corresponde à extensão de uma ligação de gráfico) para aplicar aos fluxos de áudio que A enviará em cada uma de tais conexões; e um ângulo θ (Θ corresponde ao ângulo de uma ligação de gráfico) que os fluxos de áudio recebidos devem ser sintetizados. [0025] Em relação à função da criação das estruturas de árvore (ver ponto 1 acima), qualquer estrutura de árvore apropriada podia ser empregada. Todavia, no caso da presente concretização, uma árvore de extensão mínima (MST) foi empregada. (É mínima com relação a uma métrica de custo associada com a extensão das ligações na árvore, que é proporcional à distância entre os avatares no meio virtual.) [0026] Existem duas funções principais realizadas pela aplicação do cliente de áudio imersivo residindo em cada um dos dispositivos de computação do usuário 104. A primeira função é sintetizar os fluxos de áudio recebidos para criar uma cena de áudio imersivo para playback
Petição 870190041081, de 02/05/2019, pág. 12/27
10/17 para um usuário do dispositivo de computação do usuário 104. Este processo basicamente envolve o dispositivo de computação do usuário 104 recebendo um fluxo de áudio em cada uma das bordas do gráfico que é conectada a {Ei, E2 ...En) e sintetizando o fluxo de áudio em um ângulo Θ especificado pela informação de sintetizar (renderizar) áudio imersivo. A segunda função envolve o envio de um fluxo de áudio misto gerado pelo dispositivo de computação de usuário 104 a todos os outros dispositivos/avatares de computação do usuário conectados à borda. O fluxo de áudio misto contém uma mistura de ambos, um fluxo de áudio capturado pelo dispositivo de computador do usuário (Isto é, a voz do cliente) e fluxos de áudio sendo recebidos em todas as outras bordas (excluindo, naturalmente a borda junto a qual o fluxo de áudio misto está para ser enviado). Antes do envio, o fluxo de áudio misto é atenuado usando o valor de atenuação α para aquela borda particular, também especificada pela informação de sintetização de áudio imersivo.
[0027] Com referência às Figuras 1 a 6, um exemplo de um processo para sintetizar cenas de áudio imersivo por um dispositivo de computação do usuário será, a seguir, descrito.
[0028] Em uma primeira etapa, o servidor de meio virtual 102 passa informação do estado do meio virtual para a aplicação do servidor de cliente do servidor de cliente 103 para subsequente processamento. Dado um mundo virtual com N avatares (Al, A2, ...An) cada qual controlada por clientes (Cl, C2, ...Cn). Amostras de áudio (Vi) são geradas por cada um destes N clientes. Um gráfico é construído com F bordas (El, E2, ...Ef). Cada uma destas bordas possui um ângulo associado Θ) e fator de atenuação aj em que 0 < j < =F.
[0029] Etapa 1 - Colocar todos os avatares em um plano com suas coordenadas (x,y) correspondentes as suas coordenadas (x,y) no meio virtual como mostrado na Figura 2.
Petição 870190041081, de 02/05/2019, pág. 13/27
11/17 [0030] Etapa 2 - Criar uma conexão delta entre todos os nós do gráfico; se paredes existem, então removem quaisquer ligações entre os avatares que estão nos lados opostos das paredes.
[0031] Etapa 3 - Calcular uma árvore de extensão mínima (MST) para conectar todos os nós usando qualquer algoritmo apropriado - tal como algoritmo de Kruskal.
[0032] Etapa 4 - Remover todas as ligações no gráfico que não são parte da árvore de extensão mínima;
[0033] Etapa 5 - Embora loops possam ser adicionados sem exceder limites de transmissão nos nós e embora haja possíveis loops que excedam um limiar (por exemplo, dois tempos da faixa de audição), então:
(a) Ajustar extensão_ da borda _mínima= infinidade (b) Para cada par de nós i, j que podem ouvir entre si.
(i) Calcular distância de loop mínima entre os dois nós como: min_loopij = SPij + VDij. Em que SPij é o trajeto mais curto na árvore entre = i,j e VDij = a extensão de uma ligação direta entre i e j, se existir.
(ii) Se min_loopij > o limiar de loop (2x faixa de audição) e Dij<extensão_ da borda_mínima (1) extensão_ da borda_min = VDij (2) borda_min = {i,j} (c) Somar a borda referida como borda_min ao gráfico. Esta é a menor borda que introduz um loop aceitável.
[0034] A seguir, considerar 7 jogadores conectados ao meio virtual. Cada um dos jogadores está usando um PC diferente conectado ao Internet. Cada um dos jogadores está controlando um avatar separado - tais avatares são denominados A1 a A7. Os locais de x,y (espacial) destes avatares no mundo virtual são como mostrados na Tabela l.
Petição 870190041081, de 02/05/2019, pág. 14/27
12/17
Tabela 1: Local X,Y dos avatares
X Y
A1 228 191
A2 116 95
A3 205 150
A4 161 93
A5 216 235
A6 157 282
A7 127 221
[0035] Cada um dos avatares pode ser considerado sendo um nó. É admitido que cada um dos nós é capaz de enviar 4 fluxos e a faixa de audição de cada nó é 115.
[0036] Etapa 1 coloca os avatares em um plano com as mesmas coordenadas x,y quando elas ocupam o mundo virtual. Isto é mostrado na Figura 2.
[0037] Etapa 2 cria uma conexão de malha (Isto é, cada nó é conectado a cada um de outros nós) entre os nós. Esta etapa provê uma topologia de nó subjacente para uso pelo algoritmo de arvore de extensão mínima. A rede de malha para este exemplo é mostrada na Figura 4.
[0038] A distância entre cada um dos avatares é usada mais tarde no algoritmo e é calculada como o valor (matriz) VDj, como mostrado na Tabela 2.:
Tabela 2: Valores calculados de VDj
VD2,1 = 148 VD3,1 = 47 VD4,1 = 119
VD1,2 = 148 VD3,2 = 105 VD4,2 = 45
VD1,3 = 47 VD2,3 = 105 VD4,3 = 72
VD1,4 = 119 VD2,4 = 45 VD3,4 = 72
Petição 870190041081, de 02/05/2019, pág. 15/27
13/17
VD1,5 = 46 VD2,5 = 172 VD3,5 = 86 VD4,5 = 152
VD1,6 = 115 VD2,6 = 191 VD3,6 = 140 VD4,6 = 189
VD1,7 = 105 VD2,7 = 126 VD3,7 = 105 VD4,7 = 132
VD5,1 = 46 VD6,1 = 115 VD7,1 = 105
VD5,2 = 172 VD6,2 = 191 VD7,2 = 126
VD5,3 = 86 VD6,3 = 140 VD7,3 = 105
VD5,4 = 152 VD6,4 = 189 VD7,4 = 132
VD6,5 = 75 VD7,5 = 90
VD5,6 = 75 VD7,6 = 68
VD5,7 = 90 VD6,7 = 68
[0039] Na Etapa 3, o algoritmo de Kruskal foi usado para calcular uma árvore de extensão mínima. O algoritmo de Kruskal é um algoritmo comum para calcular árvores de extensão mínima e bem conhecido dos engenheiros de telecomunicação e expertos da teoria gráfica.
[0040] Na etapa 4, uma ligação que não é parte da árvore de extensão mínima é removida do gráfico. A saída deste estágio é mostrada na Figura 5.
[0041] O conjunto de nós que pode ouvir entre si é calculado na Etapa 5:
H = [(3,l), (3,5), (3,7), (3,4), (3,2), (2,4), (l,5), (l,6), (l,7), (5,6), (7,6), (7,5)] e a distância de cada ligação de gráfico é, também, calculada como mostrado na Tabela 3:
Tabela 3: Distância Entre Cada Ligação de Gráfico
Ligação 2,4 45
Ligação 4,3 72
Ligação 3,l 47
Ligação l,5 46
Petição 870190041081, de 02/05/2019, pág. 16/27
14/17
Ligação 5,6 75
Ligação 6,7 68
[0042] Por último, o trajeto mais curto para todos os elementos em
H é calculado:
SP(3,1)=D(3,1)=47
SP(3,5)=D(3,1 )+D(1,5)=47+46=93
SP(3,7)=D(3,1 )+D(1,5)+D(5,6)+D(6,7)=47+46+75+68=236
SP(3,4)=D(3,4)=72
SP(3,2)=D(3,4),D(4,2)=72+45=117
SP(2,4)=D(2,4)=45
SP(1,5)=D(1,5)=46
SP(1,6)=D(1,5)+D(5,6)=46+75=121
SP(1,7)=D(1,5)+D(5,6)+D(6,7)=46+75+68=189
SP(5,6)=D(5,6)=75
SP(7,6)=D(7,6)=68
SP(7,5)=D(7,6)+D(6,5)=68+75=143 min_loopij = Spij + VFij min_loop(3,1)=47+47=94 min_loop(3,5)=93+86=179 min_loop(3,7)=236+105=341 min_loop(3,4)=72+72=144 min_loop(3,2)=117+105=222 min_loop(2,4)=45+45=90 min_loop(1,5)=46+46=92 min_loop(1,6)=46+115=181 min_loop(1,7)=189+105=194 min_loop(5,6)=75+75=150 min_loop(7,6)=68+68=136 min_loop(7,5)=143+90=233 [0043] Então, ajustando extensão_da borda_ mín = infinidade, é
Petição 870190041081, de 02/05/2019, pág. 17/27
15/17 encontrado que o loop_min(3,7)> 2 x faixa de audição_ (230) e VD(3,7) < extensão_da borda_min;
assim extensão_da borda_mín=VD(3,7)=105 e borda_min={3,7}.
[0044] Além do mais, nenhum outro loop_min(i,j) > 2 x faixa_de audição existe.
[0045] A borda {3,7} é então adicionada ao gráfico como mostrado na Figura 6.
[0046] Etapa 5 é então repetida usando o gráfico atualizado (as ligações adicionadas pelas iterações prévias da Etapa 5) até não existirem loops deixados para adição.
[0047] A seguinte iteração da Etapa 5 constata que não existem mais loops aceitáveis para adicionar, assim o algoritmo para com apenas a adição de ligação 7,3.
[0048] Com referência à Figura 3, é mostrado um gráfico indicando os ângulos de sintetização e níveis de atenuação que são requeridos para sintetizar os fluxos de áudio de entrada da perspectiva do avatar
3. Como mostrado nas figuras precedentes, o avatar 3 receberá fluxos de áudio dos avatares 1, 7 e 4. A aplicação do cliente de meio virtual residente no dispositivo de computação do usuário que controla o avatar 3 sintetizará a cena de áudio como segue: o áudio chegando do avatar 1 será sintetizado no ângulo Θ31 para a esquerda do avatar 3. O áudio recebido do avatar 7 será sintetizado Θ37 graus para a esquerda do ouvinte; enquanto o áudio recebido do avatar 4 será sintetizado Θ34 para a direita do ouvinte, como mostrado na Figura 6.
[0049] Os fluxos de áudio que são recebidos dos avatares 1, 7 e 4 são uma mistura atenuada de todos os nós a montante. Por exemplo, o fluxo de áudio enviado do avatar 1 para o avatar 3 é uma mistura de todo o áudio recebido nos fluxos de entrada (exceto na ligação 3,1) misturados com a voz do avatar 1, que é gravada localmente pelo dis
Petição 870190041081, de 02/05/2019, pág. 18/27
16/17 positivo de computação de usuário. Estas vozes são atenuadas de acordo com a extensão da ligação de áudio a ser recebido. Portanto, o fluxo de áudio que é enviado na ligação 3,1 é igual a: fluxo de áudio enviado pelo avatar 2 atenuada por a12 misturado com voz localmente gerada do avatar 1.
[0050] Uma vez que o áudio proveniente de cada avatar é misturado com uma versão atenuada do áudio recebido em todas as ligações de entrada, o avatar 3 ouvirá eficazmente os avatares 1 e 5 que emanam da direção do avatar 1 com variações de distância devido aos níveis diferentes de atenuação. A voz do avatar 6 influenciará o áudio sendo ouvido pelo avatar 3 da direção de ambos os avatares 1 e 7. Todavia, se os níveis de atenuação estiverem ajustados corretamente, então o volume do avatar 6 será negligenciável. Deverá também ser notado que neste exemplo, se não existirem nenhum loop introduzido, então o avatar 3 não ouvirá o avatar 7 porque a atenuação no trajeto através de 5 e 1 teria sido muito grande.
[0051] Será facilmente apreciado que, mesmo embora a concretização da presente invenção tenha sido descrita no contexto de ser usado para suportar um meio virtual, a presente invenção não é restringida para ser usada com um meio virtual. Como tal, a presente invenção podia ser usada para prover um sistema de áudio imersivo para uso como, por exemplo, um sistema de conferenciar apenas áudio.
[0052] Embora a invenção tenha sido descrita com referência à presente concretização, será entendido por aqueles versados na técnica que alterações, mudanças e aperfeiçoamentos podem ser feitos e equivalentes podem ser substituídos para os seus elementos e suas etapas sem se distanciar do escopo da invenção. Em adição, muitas modificações podem ser feitas para adaptar a invenção a uma situação ou material particular aos ensinamentos da invenção sem distanciar-se do seu escopo central. Tais alterações, mudanças, modifica
Petição 870190041081, de 02/05/2019, pág. 19/27
17/17 ções e aperfeiçoamentos, embora não descritos acima de modo expresso, são entrementes pretendidos e implicados para estarem dentro do escopo e espírito da invenção. Portanto, é pretendido que a invenção não seja limitada à concretização particular descrita aqui e incluirá todas as concretizações que caiam dentro do escopo das reivindicações independentes.

Claims (11)

1. Método de criar uma cena de áudio para um avatar (AV 1 - AV 7) em um meio virtual incluindo uma pluralidade de avatares (AV
1 - AV 7), compreendendo as etapas de:
criar uma estrutura de ligação entre a pluralidade de avatares (AV 1 - AV 7), em que a estrutura de ligação é uma árvore de extensão mínima que conecta a pluralidade de avatares (AV 1 - AV 7); e sintetizar uma cena de áudio para cada avatar (AV 1 - AV 7) com base na sua associação com outros avatares ligados (AV 1 AV 7), caracterizado pelo fato de que criar a estrutura de ligação compreende introduzir loops na árvore de extensão mínima, de modo que uma extensão mínima dos loops seja menor do que um valor predeterminado para evitar ecos nas cenas de áudio sintetizadas.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a estrutura de ligação é operável para definir pelo menos um de ângulo de sintetização e fator de atenuação para aplicar aos fluxos de áudio nas ligações de entrada da estrutura de ligação.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que uma métrica de custo é calculada com base em uma distância entre dois avatares (AV 1 - AV 7) na estrutura de ligação.
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que a métrica de custo define o fator de atenuação.
5. Método, de acordo com qualquer uma das reivindicações
2 a 4, caracterizado pelo fato de que um ângulo de uma ligação entre os dois avatares (AV 1 - AV 7) na estrutura de ligação define o ângulo de sintetização.
6. Método, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de que o valor predeterminado é duas vezes a faixa de audição de um avatar (AV 1 - AV 7).
Petição 870190041081, de 02/05/2019, pág. 21/27
2/2
7. Método, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que ainda compreende a etapa de misturar a cena de áudio sintetizada com um fluxo de áudio gerado por pelo menos uma da pluralidade de avatares (AV 1 - AV 7).
8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que ainda compreende a etapa de enviar a cena de áudio mista para um outro avatar ligado (AV 1 - AV 7).
9. Dispositivo de computação de usuário (104), caracterizado pelo fato de que é disposto para realizar as etapas do método como definido em qualquer uma das reivindicações 1 a 8.
10. Sistema disposto para criar uma cena de áudio para um meio virtual de acordo com o método como definido em qualquer uma das reivindicações 1 a 8, caracterizado pelo fato de que compreende: uma pluralidade de dispositivos de computação (104), cada dispositivo de computação sendo capaz de controlar pelo menos um avatar (AV 1 - AV 7) no meio virtual, em que cada dispositivo de computação (104) é disposto para sintetizar uma cena de áudio de saída para o pelo menos um avatar (AV 1 - AV 7) e comunicar a cena de áudio de saída para pelo menos um outro dispositivo de computação (104).
11. Sistema, de acordo com a reivindicação 10, caracterizado pelo fato de que cada dispositivo de computação (104) é ainda disposto para receber uma cena de áudio de entrada a partir de pelo menos um outro dispositivo de computação (104) e sintetizar a cena de áudio de entrada com a cena de áudio de saída.
BRPI0718711-4A 2006-11-08 2007-11-08 Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual BRPI0718711B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906213A AU2006906213A0 (en) 2006-11-08 Apparatuses and methods for use in creating an audio scene
AU2006906213 2006-11-08
PCT/AU2007/001712 WO2008055305A1 (en) 2006-11-08 2007-11-08 Apparatuses and methods for use in creating an audio scene

Publications (2)

Publication Number Publication Date
BRPI0718711A2 BRPI0718711A2 (pt) 2014-01-14
BRPI0718711B1 true BRPI0718711B1 (pt) 2019-09-24

Family

ID=39364104

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0718711-4A BRPI0718711B1 (pt) 2006-11-08 2007-11-08 Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual

Country Status (10)

Country Link
US (1) US8403751B2 (pt)
EP (1) EP2095679B1 (pt)
JP (2) JP4997291B2 (pt)
KR (2) KR101225475B1 (pt)
CN (2) CN102325299B (pt)
AU (1) AU2007317195A1 (pt)
BR (1) BRPI0718711B1 (pt)
CA (1) CA2667110C (pt)
RU (2) RU2495538C2 (pt)
WO (1) WO2008055305A1 (pt)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055305A1 (en) * 2006-11-08 2008-05-15 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
KR101597375B1 (ko) 2007-12-21 2016-02-24 디티에스 엘엘씨 오디오 신호의 인지된 음량을 조절하기 위한 시스템
US20090234948A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Using Multiple Servers to Divide a Virtual World
US20090235191A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US8875026B2 (en) 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
JP2013520112A (ja) * 2010-02-18 2013-05-30 スマート サービシィズ シーアールシー プロプライエタリー リミテッド 複数のコンピュータ間のデータ配布システム、方法及びソフトウェアアプリケーション
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN104801043B (zh) * 2014-01-23 2019-12-13 腾讯科技（深圳）有限公司 场景音效控制的方法及装置
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
JP6205071B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP3287867A1 (en) * 2016-08-26 2018-02-28 Nokia Technologies Oy Audio processing
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US20200228911A1 (en) * 2019-01-16 2020-07-16 Roblox Corporation Audio spatialization
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
US11910183B2 (en) * 2020-02-14 2024-02-20 Magic Leap, Inc. Multi-application audio rendering
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
WO2023281820A1 (ja) * 2021-07-08 2023-01-12 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US12022235B2 (en) 2022-07-20 2024-06-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US12368821B2 (en) 2022-07-28 2025-07-22 Katmai Tech Inc. Optimizing physics for static objects in a three-dimensional virtual environment
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
CN1248504C (zh) 1997-01-29 2006-03-29 数字广告及销售有限公司 通过通信网络传送媒体文件的方法
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
JP3560282B2 (ja) * 1999-02-08 2004-09-02 日本電信電話株式会社 マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US20040085259A1 (en) * 2002-11-04 2004-05-06 Mark Tarlton Avatar control using a communication device
JP2004267433A (ja) 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP3772328B2 (ja) 2003-03-31 2006-05-10 株式会社光栄 ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
US7503006B2 (en) * 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
WO2005101897A1 (en) * 2004-04-16 2005-10-27 Smart Internet Technology Crc Pty Ltd Apparatuses and methods for use in creating an audio scene
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP2006094315A (ja) 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
US7577110B2 (en) * 2005-08-12 2009-08-18 University Of Southern California Audio chat system based on peer-to-peer architecture
WO2008055305A1 (en) * 2006-11-08 2008-05-15 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene

Also Published As

Publication number Publication date
JP4997291B2 (ja) 2012-08-08
EP2095679A4 (en) 2011-10-19
JP2010509810A (ja) 2010-03-25
AU2007317195A1 (en) 2008-05-15
KR20090086585A (ko) 2009-08-13
EP2095679B1 (en) 2013-07-10
WO2008055305A1 (en) 2008-05-15
CN102325299A (zh) 2012-01-18
KR101225475B1 (ko) 2013-01-23
RU2449496C2 (ru) 2012-04-27
CN101573991A (zh) 2009-11-04
RU2012100228A (ru) 2013-07-20
JP2012196465A (ja) 2012-10-18
US20100049346A1 (en) 2010-02-25
US8403751B2 (en) 2013-03-26
RU2009121548A (ru) 2010-12-20
KR20120080647A (ko) 2012-07-17
CA2667110C (en) 2014-01-14
HK1135269A1 (en) 2010-05-28
JP5563014B2 (ja) 2014-07-30
EP2095679A1 (en) 2009-09-02
KR101201695B1 (ko) 2012-11-15
CN102325299B (zh) 2014-03-12
CA2667110A1 (en) 2008-05-15
CN101573991B (zh) 2011-08-03
BRPI0718711A2 (pt) 2014-01-14
RU2495538C2 (ru) 2013-10-10

Similar Documents

Publication Publication Date Title
BRPI0718711B1 (pt) Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual
JP4854736B2 (ja) 没入型オーディオ通信
US8152639B2 (en) Method and system for enhanced audio communications in an interactive environment
JP2008547290A5 (pt)
US20060247918A1 (en) Systems and methods for 3D audio programming and processing
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
HK1135269B (en) Apparatuses and methods for use in creating an audio scene
AU2006261594B2 (en) Immersive audio communication

Legal Events

Date Code Title Description
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]