BRPI0924076B1

BRPI0924076B1 - Sistema de telepresença e método de telepresença

Info

Publication number: BRPI0924076B1
Application number: BRPI0924076-4A
Authority: BR
Inventors: Yuan Liu; Jing Wang; Guangyao Zhao
Original assignee: Huawei Device (Shenzhen) Co., Ltd.
Priority date: 2009-05-12
Filing date: 2009-05-12
Publication date: 2021-09-21
Also published as: CN102084650A; RU2011130860A; CN102084650B; BRPI0924076A2; US8836750B2; US20110096136A1; WO2010130084A1; RU2518218C2; US20130100240A1; EP2290969A4; EP2290969A1; US8692861B2

Abstract

sistema de telepresença, método de telepresença e dispositivo de coleta de vídeo. a presente invenção refere-se a um sistema de telepresença, um método de telepresença e um dispositivo de coleta de vídeo que são descritos. o sistema de telepresença inclui um dispositivo de coleta de vídeo, um dispositivo de exibição de vídeo, um dispositivo de coleta de áudio, um executor de áudio, e um dispositivo de comunicação de áudio e vídeo. o dispositivo de comunicação de áudio e vídeo transmite os vídeos coletados pelo dispositivo de coleta de vídeo em um terminal local para um terminal remoto por meio de uma rede; o dispositivo de exibição de vídeo e o executor de áudio no terminal remoto executam as imagens e os áudios respectivamente; e o dispositivo de coleta de vídeo é uma câmera panorâmica. a solução técnica sob a presente invenção supera o efeito ruim de presença panorâmica no sistema de telepresença existente, e melhora o sistema de telepresença em termos de presença de profundidade, exibição ininterrupta e contato visual.

Description

CAMPO DA INVENÇÃO

[0001] A presente invenção refere-se às tecnologias de videoconferência, e em particular, a um sistema de telepresença, um método de telepresença e um dispositivo de coleta de vídeo.

ANTECEDENTES

[0002] Telepresença é um sistema de videoconferência para implementar um ambiente de conferência virtual. O ambiente de conferência virtual visa: refletir os fatores de personalização dos participantes presentes suficientemente, simular a experiência real dos participantes presentes até onde possível, melhorar a aceitabilidade aos usuários finais imensamente, e melhorar a razão de uso do equipamento, retornar investimento e satisfação do usuário. Comparado com um sistema de videoconferência tradicional, um sistema de telepresença ideal traz mais méritos: imagens que simulam o tamanho de uma pessoa real; movimento suave; gestos precisos; vídeo, iluminação, e áudio de um nível de estúdio; contato visual e comunicação como contato visual entre um grupo grande de usuários; ambiente de conferência imersivo que faz os participantes presentes se sentirem como se estivessem no mesmo local da conferência; consistência dos locais de conferência de diferença; e câmeras ocultas, que reduzem impacto aos usuários.

[0003] No processo de implementar o presente pedido de patente, o inventor descobre que o sistema de telepresença existente é defeituoso no efeito de presença panorâmica ruim. O sistema de telepresença existente em geral usa múltiplas câmeras e múltiplos monitores de tela grande para coletar e exibir as imagens. Cada câmera ou monitor coleta ou exibe uma ou mais pessoas no site local ou remoto. No sistema de telepresença existente, as múltiplas câmeras são usadas para fotografar, e disparidade existe entre as imagens fotografadas por câmeras diferentes. É impossível mixar múltiplas imagens ao panorama expondo as câmeras. É necessário usar a borda do monitor para ocultar os defeitos das imagens na união em perspectiva das câmeras. Portanto, o sistema de telepresença existente não pode dar experiência panorâmica agradável aos participantes presentes. Quando os participantes presentes estiverem se locomovendo para a área próxima da borda do monitor, o efeito de imagem chega a ser até mesmo inaceitável.

[0004] Além disso, a telepresença existente necessita melhorar os seguintes aspectos:

1. Presença de profundidade

[0005] A maioria do sistema de telepresença ainda apresenta imagens bidimensionais (2D). Ou seja, os usuários veem imagens planas apenas, e não podem perceber a informação de profundidade da cena de conferência da parte oposta.

2. Exibição ininterrupta

[0006] O sistema de telepresença existente em geral usa múltiplas televisões de tela plana de tamanho grande, ou Monitor de Cristal Líquido (LCD) ou Painel de Monitor de Plasma (PDP), para apresentar as imagens de um modo combinado. Na área de exibição adjacente entre duas televisões de tela plana, parte das imagens apresentadas em um tal modo é obstruída pela borda da televisão, desse modo tornando impossível dar experiência ininterrupta panorâmica aos participantes presentes.

3. Contato visual/percepção do olhar atento

[0007] Contato olho-a-olho é um modo de comunicação não lingual importante. Contato visual causa alteração dos batimentos cardíacos e da pressão sanguínea fisiologicamente, e melhora a atividade do cérebro. Percepção do olhar atento fornece muitas fundações de comunicação tais como realimentação, modo do diálogo, e expressão da emoção, e é um meio fundamental de perceber os pensamentos da parte oposta. O sistema de videoconferência tradicional e o sistema de telepresença existente são incapazes de permitir contato visual entre os usuários devido à disparidade: Instintivamente, o usuário olha para a parte oposta na tela ao invés da câmera, mas usualmente a câmera não está localizada no centro da tela. Por conseguinte, disparidade existe entre a imagem fotografada pela câmera e a imagem encarada pelo usuário, e bom contato visual é impossível.

SUMÁRIO

[0008] As modalidades da presente invenção fornecem um sistema de telepresença melhorado, método de telepresença, e dispositivo de coleta de vídeo para apresentar um efeito panorâmico bom, e melhorar a presença de profundidade, exibição ininterrupta, e contato visual no sistema de telepresença.

[0009] A solução técnica sob a presente invenção inclui o seguinte: Um sistema de telepresença inclui: um dispositivo de coleta de vídeo configurado para coletar imagens em um terminal local; um dispositivo de coleta de áudio configurado para coletar áudios no terminal local; um dispositivo de exibição de vídeo configurado para exibir imagens de um terminal remoto; um executor de áudio configurado para executar áudios do terminal remoto; um dispositivo de comunicação de áudio e de vídeo configurado para transmitir as imagens coletadas pelo dispositivo de coleta de vídeo no terminal local e os áudios coletados pelo dispositivo de coleta de áudio no terminal local para o terminal remoto por meio de uma rede, em que as imagens e os áudios são exibidos e são executados respectivamente por um dispositivo de exibição de vídeo e um executor de áudio no terminal remoto; em que o dispositivo de coleta de vídeo é uma câmera panorâmica, e o sistema adicionalmente compreende uma unidade de mosaicos de imagem, configurada para mixar imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução.

[00010] Um método de telepresença inclui: obter imagens panorâmicas e áudios locais, fotografar as imagens por meio de uma câmera panorâmica de perspectivas diferentes, e mixar as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução por meio de uma unidade de mixagem; e transmitir imagens panorâmicas e áudios locais para um terminal remoto por meio de uma rede para exibir e executar.

[00011] Um dispositivo de coleta de vídeo em um sistema de telepresença é fornecido. O sistema de telepresença também inclui um dispositivo de vídeo, um dispositivo de coleta de áudio, um executor de áudio, e um dispositivo de comunicação de áudio e vídeo. O dispositivo de comunicação de áudio e vídeo transmite as imagens coletadas pelo dispositivo de coleta de vídeo e os áudios coletados pelo dispositivo de coleta de áudio para o terminal remoto por meio de uma rede, e o dispositivo de exibição de vídeo e o executor de áudio no terminal remoto exibem e executam as imagens e os áudios. O dispositivo de coleta de vídeo é uma câmera panorâmica. Uma unidade de mosaicos de imagem mixa as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução.

[00012] Pode ser visto da descrição acima que, as modalidades da presente invenção são atualização do sistema de telepresença existente. A câmera usual pode ser substituída por uma câmera panorâmica para fotografar o panorama da sala de conferência local e prover um panorama de conferência aos participantes presentes opostos. Desse modo, o sistema de telepresença dá um bom efeito de presença panorâmica, e é compatível com o sistema de telepresença existente.

[00013] Preferivelmente, uma tela de projeção usual ou tela de projeção transparente holográfica é empregada para apresentar as imagens ininterruptamente de um modo integrado, desse modo implementando presença ininterrupta e superando o defeito provocado pela combinação de múltiplas televisões de tela plana.

[00014] Preferivelmente, uma tela de projeção transparente holográfica e um espelho semitransparente semirrefletivo são empregados para prover presença de profundidade para os participantes presentes.

[00015] Preferivelmente, por meio do controle de uma unidade de sincronização, a câmera panorâmica fica livre do impacto causado pela projeção da imagem do projetor ao fotografar as imagens locais, desse modo evitando disparidade causada por inabilidade de colocar a câmera na linha de visão do usuário e permitindo o participante presente oposto a desfrutar do contato visual. Além disso, o espelho semitransparente semirrefletivo ou um componente de condução óptica ou um polarizador linear pode ser usado para permitir o contato visual.

[00016] Preferivelmente, um plano de fundo escuro especial é desenvolvido, um projetor de plano de fundo ou monitor de plano de fundo é usado, e um plano de fundo escuro é desenvolvido atrás do usuário. Desse modo, a imagem do usuário fica separada da imagem de plano de fundo, e o efeito da presença de profundidade é gerado.

BREVE DESCRIÇÃO DOS DESENHOS

[00017] A figura 1 é a primeira forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 2 é o primeiro diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 3 é um diagrama de projeção holográfica de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 4 é um diagrama esquemático de uma câmera panorâmica em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 5 é um diagrama esquemático de uma câmera panorâmica multirrefletiva em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 6 é um diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 7 é a segunda forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 8 é o segundo diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 9 é a terceira forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 10 é o terceiro diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 11 é uma forma em plano de um layout da sala de conferência em um sistema de telepresença em uma segunda modalidade da presente invenção; a figura 12 é o primeiro diagrama esquemático de um sistema de telepresença em uma segunda modalidade da presente invenção; a figura 13 é o segundo diagrama esquemático de um sistema de telepresença em uma segunda modalidade da presente invenção; a figura 14 é uma forma em plano de um layout da sala de conferência em um sistema de telepresença em uma terceira modalidade da presente invenção; a figura 15 é um diagrama esquemático de um sistema de telepresença na terceira modalidade de uma presente invenção; a figura 16 é um diagrama esquemático de um sistema de telepresença em uma quarta modalidade da presente invenção; a figura 17 é um diagrama esquemático de um sistema de telepresença em uma quinta modalidade da presente invenção; a figura 18 é um diagrama esquemático de um sistema de telepresença em uma sexta modalidade da presente invenção; a figura 19 é o primeiro diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 20 é o segundo diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 21 é o terceiro diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 22 é o quarto diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; e a figura 23 é um fluxograma de um método de telepresença em uma modalidade da presente invenção.

DESCRIÇÃO DETALHADA

[00018] A fim de tornar a solução técnica, os objetivos, e os méritos da presente invenção mais esclarecidos, o seguinte descreve as modalidades da presente invenção em mais detalhes com referência aos desenhos em anexo e às modalidades exemplares.

[00019] Primeiro, a primeira modalidade da presente invenção é descrita abaixo.

[00020] A figura 1 é a primeira forma em plano de um layout da sala de conferência em um sistema de telepresença na primeira modalidade da presente invenção. Na figura 1, a parede frontal 13 e a parede traseira 14 do local são um arco ou plano, e uma mesa de conferência 2 é colocada no meio. Um arranjo de microfones 3 é instalado na mesa de conferência 2. Para coletar os dados de áudio da conferência mais efetivamente, o arranjo de microfones 3 pode ser colocado no meio da mesa de conferência 2. Múltiplas poltronas dos participantes presentes 1A, 1B, e 1C são colocadas em um lado da mesa de conferência 2. As poltronas dos participantes presentes ficam defronte a uma tela de projeção 4. A tela de projeção 4 é uma forma arqueada ou plana (na figura, a tela de projeção é uma forma arqueada), e compõe uma superfície frontal do fole da câmera 5. O fole da câmera 5 retém uma câmera panorâmica 7 (aqui a câmera panorâmica inclui três câmeras, como mostrado na figura 4), um dispositivo de comunicação de áudio 8, múltiplos projetores 9A, 9B, e 9C, e múltiplos alto-falantes. Por exemplo, cinco alto-falantes 11A, 11B, 11C, 11D e 11E compõem um arranjo de alto-falantes na figura. A parede interna 6 do fole da câmera 5 oposta à tela de projeção 4 é um fundo especialmente decorado. A decoração especial refere-se à decoração que produz um efeito de ponto de profundidade e pode ocultar as câmeras. A parte de trás da poltrona do participante presente é um fundo escuro especialmente enfeitado 13. Um monitor auxiliar 12 é colocado em um lado da sala de conferência. Uma ou mais câmeras objetivas 10A e 10B são colocadas acima do fole da câmera 5 para compor um ou mais pares de câmeras estereoscópicas. Um par de câmera estereoscópica é composto de duas câmeras objetivas usuais, que simulam os princípios visuais de um ser humano e fotografam a cena das perspectivas da esquerda e da direita simultaneamente para obter uma imagem à esquerda e uma imagem à direita.

[00021] A figura 2 é o primeiro diagrama esquemático da primeira modalidade da presente invenção. A figura 2 mostra que o site de telepresença local e o site de telepresença remota têm a mesma configuração, e estão interconectados por meio de uma rede.

[00022] Preferivelmente, na primeira modalidade, a tela de projeção local A4 e a tela de projeção remota B4 são telas de projeção transparentes holográficas. As telas de projeção transparentes holográficas são telas de retroprojeção com base em uma tecnologia de holograma, e são caracterizadas por imagens holográficas. Elas exibem apenas as imagens de uma perspectiva específica da retroprojeção, mas ignoram os raios de luz de outras perspectivas. As telas holográficas geram efeitos de exibição muito luminosos e claros, até mesmo se os raios de luz do ambiente estiverem muito luminosos, e estiverem transparentes de modo que a audiência possa ver os objetos atrás da tela. Correntemente, alguns fabricantes como Woehburk, HoloPro, e Sax3D fabricam telas de projeção transparentes holográficas. A figura 3 exibe os princípios básicos da projeção holográfica. Como mostrado na figura 3, os raios de projeção que assumem um ângulo α são difratados pela tela de projeção transparente holográfica composta de materiais holográficos e painéis transparentes. Desse modo, o usuário pode ver o conteúdo de projeção, mas não pode ver os objetos atrás da área do conteúdo de projeção. Porém, os raios horizontais emitidos pelo objeto atrás da tela de projeção, exceto o conteúdo de projeção, são transmitidos pela tela de projeção. Através de tal área de tela de projeção, o usuário pode ver o objeto atrás da tela de projeção.

[00023] Na primeira modalidade, um ângulo de instalação α existe entre o ângulo de projeção do projetor A9 no fole da câmera A5 e na linha horizontal. O projetor A9 projeta a imagem do participante presente remoto B15 à tela transparente holográfica local A4. Porque o panorama da cena remota B é apresentado, a resolução de um projetor pode não ser suficiente. O dispositivo de comunicação de áudio e vídeo A8 divide a imagem remota em várias partes que são apresentadas por meio de múltiplos projetores A9 (porque o diagrama esquemático na figura 2 é uma vista da direita, os múltiplos projetores estão sobrepostos e não são todos apresentados). Para ocultar os projetores, a cor dos projetores A9 é preferivelmente igual à cor do plano de fundo do fole da câmera A6 atrás.

[00024] Para coletar a imagem panorâmica do local A, uma câmera panorâmica A7 é instalada no fole da câmera A5. A figura 4(A) e a figura 4(B) ilustram os princípios básicos de uma solução para imageamento de uma câmera panorâmica. A câmera panorâmica é com base na refletância do espelho plano e centro óptico comum virtual (câmera panorâmica em um modo de centro óptico comum virtual). O prismoide 1001 tem três superfícies de refletância 1002, 1003 e 1004. Tais superfícies são espelhos planos, e três câmeras C01, C02 e C03 são colocadas sob os espelhos. O centro óptico comum virtual é descrito abaixo, tomando uma câmera C02 como um exemplo. Como mostrado na figura 4(B), L02 é um raio incidente, e R02 é um raio refletivo. A linha normal 1006 é vertical para o plano refletivo 1003, e o ângulo entre a linha normal 1006 e a linha horizontal 1010 é θ. A distância vertical do ponto de reflexão para o centro óptico atual 02 da câmera C02 é d. De acordo com os princípios de refletância de luz, a câmera fotografa uma imagem virtual, e a imagem virtual tem um centro óptico virtual 00. Se os valores de θe d forem corretamente estabelecidos, os centros ópticos virtuais das câmeras C01, C02 e C03 coincidem, e três imagens que compartilham um centro óptico são obtidas. As três imagens são mixadas para obter uma imagem que é ininterruptamente mixada em qualquer profundidade. Na projeção de uma câmera panorâmica, a localização do centro óptico da câmera é tão baixa quanto praticável para obter um efeito de olho-a-olho vertical melhor. Se a altura geométrica da câmera for constante, um tal efeito pode ser realizado reduzindo a distância horizontal entre a câmera e o espelho de reflexão. Porém, aquela distância é restringida pelo tamanho da lente e visor da câmera, e reduz a perspectiva da fotografação, como mostrado na figura 4(C). Outra solução para a câmera panorâmica é um modelo de agregação de multicâmeras. Imagens múltiplas são fotografadas e mixadas digitalmente para obter uma imagem panorâmica (câmera panorâmica no modo de agregação), como mostrada na figura 4(D). Porque o centro óptico está dentro da câmera, um tal modelo de câmera é incapaz de compartilhar o centro óptico contando somente com o layout da câmera. Disparidade existe na sobreposição das imagens. Tecnologias de processamento de imagens necessitam ser aplicadas para alcançar um efeito de mixagem bom. Outro modo da câmera panorâmica é usar um arranjo de multicâmeras (câmera panorâmica no modo de arranjo de multicâmeras), como mostrado na figura 4(E). O arranjo de câmeras pode ser em formas diferentes de acordo com as diferentes cenas, por exemplo, arranjo linear, arranjo anelar, ou arranjo retangular. No arranjo de câmeras, cada câmera tem uma baixa resolução, e os intervalos entre as câmeras adjacentes são pequenos. Uma sobreposição de fotografação grande existe. A tecnologia de mixagem de imagens mixa as imagens das múltiplas câmeras de baixa resolução em uma imagem panorâmica de alta resolução. Os princípios básicos do algoritmo de mixagem de imagens são estimar os parâmetros internos (tais como comprimento focal, ponto principal e distorção) das múltiplas câmeras e os parâmetros de localização intercâmeras (tais como matriz de giro, e vetor de tradução); por meio dos parâmetros estimados e do algoritmo, as imagens das múltiplas câmeras são alinhadas, a sobreposição é eliminada, as bordas são misturadas, e a disparidade é eliminada para obter uma imagem panorâmica de alta resolução.

[00025] A tecnologia de mixagem de imagens bem conhecida é descrita abaixo.

[00026] Os princípios básicos do algoritmo de mixagem de imagens são estimar os parâmetros internos das múltiplas câmeras e os parâmetros de localização intercâmeras; por meio dos parâmetros estimados e do algoritmo, as imagens das múltiplas câmeras são alinhadas, a sobreposição é eliminada, as bordas são misturadas, e a disparidade é eliminada para obter uma imagem panorâmica de alta resolução. De acordo com os princípios de geometria de projeção, quando um ponto espacial 3D é projetado para um plano de imageamento da câmera, a relação de transformação é:

[00027] Na fórmula acima, xé a expressão homogênea das coordenadas planares; Xé a expressão homogênea do sistema de coordenada mundial; fx e fysão comprimentos focais equivalentes nas direções horizontais e verticais respectivamente; s é um coeficiente de distorção da imagem; e u0,v0são coordenadas de pontos principais da imagem. Ré a matriz de giro da câmera, e té o vetor de tradução da câmera. K é um parâmetro interno da câmera, e R e tsão parâmetros externos da câmera. Para imagens múltiplas que têm sobreposições e são fotografadas por meio de duas câmeras ou fotografadas por meio de uma câmera em localizações diferentes, a relação de imageamento de um ponto espacial em duas imagens é:

[00028] Hé uma matriz 3*3 cuja liberdade é 8. Ela representa a relação de transformação entre dois planos de imageamento, e é chamada uma homografia. Para um sistema de câmera de rotação puro ou um sistema de câmera de centro óptico comum envolvendo apenas movimento rotacional, H pode ser expresso como:

[00029] Portanto, por meio de um algoritmo de extração de característica tal como algoritmo de Transformada de Característica Invariante de Escala (SIFT), as características são extraídas na sobreposição, características múltiplas são encontradas, e uma relação de emparelhamento entre as características é estabelecida. Conjuntos de equação múltiplos são criados por meio de (3), e a homografia entre duas imagens trabalhada durante um algoritmo de otimização iterativo. Após H ser trabalhado, as duas imagens podem ser mixadas por meio de transformação de coordenadas, e os pixels na sobreposição são alinhados. Para o modelo de câmera que gira apenas na direção horizontal, pode-se usar transformação de coordenadas cilíndricas para converter as coordenadas planares em coordenadas cilíndricas. Nas coordenadas cilíndricas, os pixels são alinhados por meio de tradução de imagem. A transformação e a transformação reversa das coordenadas cilíndricas são:

[00030] Após a imagem ser transformada de acordo com o método anterior, outros fatores necessitam ser considerados antes de uma imagem de panorâmica ininterrupta antecipada ser obtida. Um fator principal é a disparidade. Os algoritmos existentes podem manipular apenas a mixagem em uma certa profundidade da imagem, a saber, como a mixagem em um plano. Teoricamente, é impossível mixar os objetos em outras profundidades ininterruptamente por uma transformação. Os objetos exceto aqueles nesta profundidade envolvem margens. É difícil eliminar as margens por meio do algoritmo de processamento de imagens. Uma solução melhor é minimizar a disparidade por meio de um modelo de câmera de centro óptico comum. Outro fator é a diferença de luminância/croma entre as imagens causadas pelas diferenças de exposição/cor entre as câmeras, especialmente na junção entre duas imagens. Uma solução simples é executar mistura Alfa na sobreposição da junta, e uma solução melhor é executar mistura de pirâmide Laplaciana ou mistura de domínio de gradiente na imagem em geral. Após o processamento relevante ter acabado, uma imagem ininterrupta panorâmica melhor é obtida.

[00031] Para obter um efeito de olho-a-olho vertical melhor, a câmera panorâmica A7 é preferivelmente instalada em uma altura aproximadamente equivalente à linha de visão A100 do participante presente (vide figura 2). A câmera panorâmica A7 é composta de várias câmeras coloridas usuais. Para rapidamente fotografar os objetos em movimento na cena, as câmeras coloridas necessitam ser sincronizadas. Porque as imagens obtidas por meio de múltiplas câmeras não podem ser adequadas para mixagem diretamente. Os três canais de imagens de vídeo necessitam ser mixados por meio de um algoritmo de mixagem de imagens para obter uma imagem panorâmica ininterrupta. Os canais múltiplos de fluxos de vídeo transmitidos pela câmera panorâmica A7 podem ser transmitidos diretamente ao dispositivo de comunicação de áudio-vídeo A8 que mixa as imagens. Alternativamente, a câmera panorâmica A7 é diretamente conectada a um dispositivo de terceiros (não ilustrado na figura) para mixagem das imagens. Após conclusão da mixagem, a imagem panorâmica é introduzida no dispositivo de comunicação de áudio e vídeo A8. Alternativamente, a câmera panorâmica A7 mixa as imagens, e introduz a imagem mixada no dispositivo de comunicação de áudio e vídeo A8 por meio de um ou mais fluxos de vídeo de canais. O dispositivo capaz de mixar as imagens é chamado aqui uma unidade de mosaicos de imagem. Os princípios da unidade de mosaicos de imagem são descritos acima, e a relação de conexão entre a unidade de mosaicos de imagem e as outras unidades é descrita no texto seguinte junto à figura 6. Com respeito à exibição, um projetor simples não pode exibir a imagem panorâmica corretamente. Preferivelmente, a imagem panorâmica é dividida em várias partes, e cada projetor exibe uma parte da imagem. Porque os projetores diferem em localização, luminância e croma, a imagem panorâmica dividida necessita ser corrigida geometricamente, e a junção entre as imagens adjacentes necessita ser eliminada por meio de mistura de luminância/croma. Uma tal função é executada por um dispositivo de terceiros independente (não ilustrado na figura), ou integrado no dispositivo de comunicação de áudio e vídeo A8. O dispositivo capaz de corrigir/misturar a imagem é chamado aqui uma unidade de correção/mistura. Para detalhes, vide a descrição junto à figura 6 depois. Para ocultar a câmera panorâmica A7, a cor da câmera é preferivelmente igual à cor do plano de fundo do fole da câmera A6 atrás de modo que a câmera é dificilmente notável ao usuário.

[00032] Na figura que ilustra a primeira modalidade, a câmera panorâmica 7 é colocada verticalmente, e os raios incidentes são refletidos diretamente na câmera por meio de um espelho de reflexão. Na prática, a trajetória óptica do raio incidente é alterada por meio de refletância repetida, e a câmera panorâmica pode ser colocada como requerido. A figura 5 mostra uma solução para colocar a câmera panorâmica horizontalmente. Um visor 2 é adicionado acima do visor 1 da câmera panorâmica. Portanto, os raios horizontalmente transmitidos são alterados para raios verticalmente transmitidos, e a localização da câmera pode ser alterada. Porque há múltiplas câmeras, um plano de refletância apropriado necessita ser projetado no lado superior de cada câmera.

[00033] Para impedir a imagem local A fotografada pela câmera panorâmica A7 de ser afetada pela imagem projetada pelo projetor A9, preferivelmente, a primeira modalidade da presente invenção usa um método de divisão de tempo para coordenar a coleta da câmera A7 com a projeção do projetor A9. De acordo com o método de divisão de tempo, os modos de funcionamento do sistema são categorizados em dois modos: modo de exibição visual e modo de coleta. No modo de exibição visual, o projetor A9 projeta a imagem do terminal remoto B para uma tela de projeção transparente A4. Neste momento, a câmera panorâmica A7 é inativa e não coleta os sinais; no modo de coleta, o projetor A9 fica inativo e não projeta as imagens, e a câmera panorâmica A7 fotografa a cena por meio de uma tela de projeção transparente A4. Para coordenar a câmera A7 e o projetor A9, uma unidade de sincronização especial A16 é requerida para produzir sinais de sincronização na câmera panorâmica A7 e no projetor A9, e controla o modo de funcionamento dos dois dispositivos. Por exemplo, a unidade de sincronização A16 controla a câmera panorâmica A7 para coletar os sinais no intervalo de retorno vertical entre dois quadros/cenas das imagens do projetor A9. Neste momento, porém, o tempo de exposição da câmera panorâmica A7 é mais curto, e a luminância da imagem é inferior. Para solucionar tais problemas, a câmera de um tempo de exposição mais curto pode ser aplicada, ou a taxa de renovação do projetor pode ser reduzida.

[00034] Como descrito acima, a câmera panorâmica B7 obtém uma imagem panorâmica da cena do usuário remoto B15, e a imagem é apresentada localmente em uma tela de projeção A4. Portanto, o usuário local A15 sente-se como se o usuário estivesse rodeado pela cena remota, e percebe uma imagem panorâmica e ininterruptamente exibida, sem a impressão notável de falar com uma tela. O sentido de imersão do usuário é intensificado. Além disso, a imagem do usuário remoto B15 é apresentada em uma tela de projeção transparente local A4, e os arredores do usuário remoto B15 são um plano de fundo escuro, e não será imageado na tela de projeção transparente A4. Portanto, o usuário local A15 pode ver o plano de fundo A6 do fole da câmera A5 por meio de uma tal parte. Uma distância física existe entre a tela de projeção transparente A4 e o plano de fundo A6 do fole da câmera A5, e o plano de fundo A6 do fole da câmera A5 é especialmente decorado, que traz uma ilusão de profundidade ao usuário. Portanto, o usuário local A15 percebe a profundidade da imagem do usuário remoto B15. Além disso, como controlado pela unidade de sincronização A16, a câmera panorâmica A7 é livre de impacto da projeção do projetor A9 ao fotografar a imagem local A. Igualmente, a câmera panorâmica B7 é livre de impacto da projeção do projetor B9 ao fotografar a imagem remota B. Portanto, as câmeras podem ser colocadas atrás do centro da tela de projeção ao longo da linha de visão do participante presente, desse modo evitando disparidade vertical e permitindo o participante presente oposto a desfrutar de contato visual.

[00035] A unidade de sincronização A16/B16 permite comunicação de vídeo face-a-face. Além disso, o sistema de telepresença envolve tarefas de colaboração remotas, por exemplo, duas equipes de projeto necessitam ver o protótipo de projeto. Os sistemas de telepresença existentes suportam vídeos 2D apenas, e o usuário não pode ver um objeto que assume um sentido de profundidade. A solução proposta nesta modalidade pode usar uma câmera estereoscópica como uma câmera objetiva para realizar vídeos 3D ao apresentar o objeto. Como mostrado na figura 2, a câmera estereoscópica B10 no terminal remoto B coleta a informação de imagem 3D de um objeto a ser apresentado, por exemplo, "imagem do olho esquerdo + imagem do olho direito", ou "imagem do olho esquerdo + imagem de profundidade", e introduz a informação no dispositivo de comunicação de áudio e vídeo B8 capaz de codificação de vídeo 3D. O dispositivo de comunicação de áudio e vídeo B8 processa a imagem 3D, codifica a imagem, e envia a mesma para o dispositivo de comunicação de áudio e vídeo A8 no terminal local A. O dispositivo de comunicação de áudio e vídeo A8 no terminal local A decodifica e apresenta os fluxos de código de vídeo 3D. Se um dispositivo de presença de vídeo 3D existir localmente, o vídeo é apresentado como vídeo 3D; do contrário, o vídeo é apresentado como vídeo 2D. Por exemplo, se o monitor auxiliar A12 no terminal local A for um monitor 3D, o dispositivo de comunicação de áudio e vídeo A8 transmite um vídeo do formato 3D para A12 para exibição. Se o monitor auxiliar local A12 for um monitor usual 2D, o dispositivo de comunicação de áudio e vídeo A8 produz um vídeo do formato 2D para A12 para exibição. Os dispositivos de presença de vídeo 3D incluem óculos 3D, monitor estereoscópico automático, e monitor 3D de multiperspectivas.

[00036] Para dar experiência de áudio imersivo agradável, um arranjo de microfones A3 e um arranjo de alto-falantes A11 são preferidos para apresentar áudios. Os planos de fundo do arranjo de microfones e do arranjo de alto-falantes são esboçados abaixo. Em um sistema de telepresença, a recorrência do áudio inclui a recorrência de acústica e a recorrência do sentido estereoscópico. A recorrência de acústica pode ser realizada por meio de um algoritmo de compressão de frequência eficiente ampla. O sentido estereoscópico traz impressão das localizações e direções, intensifica a impressão de estar na mesma sala, torna a voz mais compreensível, e torna o orador rapidamente identificável. A primeira modalidade da presente invenção usa microfones múltiplos ou arranjos de microfones para coletar os áudios, e usa alto-falantes múltiplos ou arranjos de alto-falantes para apresentar áudios, desse modo melhorando o efeito de recorrência do sentido estereoscópico do som. O arranjo de microfones é um sistema de microfones unidirecionais distribuído em uma certa estrutura geométrica. Um microfone direcional tradicional em geral coleta apenas um canal de sinais, mas um sistema de arranjo de microfones coleta múltiplos canais de sinais. Porque os microfones estão diferentemente localizados, os dados coletados diferem cronológica ou espacialmente. Por meio da tecnologia de processamento de sinal, a informação requerida pode ser de canais múltiplos de sinais. O sistema de arranjo de microfones é caracterizado por meio de seleção de espaço. Os feixes gerados pelo microfone visam a fonte de som, e suprimem o som de outros oradores e o ruído do ambiente, desse modo tornando os sinais de fonte de som de alta qualidade. Correntemente, o posicionamento da fonte de som é um cenário de aplicação principal do arranjo de microfones. O posicionamento com base em um arranjo de microfones é determinar a localização espacial da fonte de som usando os microfones distribuídos em um layout geométrico específico. Se o algoritmo de posicionamento da fonte de som com base em um arranjo de microfones entra em três tipos: tecnologia de formação de feixe controlável com base na potência de saída máxima, tecnologia de determinação da direção com base na estimação do espectro de alta resolução, e tecnologia com base na Diferença do Tempo de Chegada (TDOA). O primeiro método é filtrar os sinais de voz recebidos pelo arranjo de microfones, resumir o valor ponderado dos sinais de voz, e depois controlar o microfone para apontar para a direção que faz a potência de saída máxima do feixe. O segundo método é determinar o ângulo de direção trabalhando a matriz relevante entre os sinais de microfone, e determinar a localização da fonte de som. O terceiro método é trabalhar as diferenças de tempo do som que chega aos microfones em localizações diferentes, usar tais diferenças de tempo para trabalhar as diferenças de distância do som que chega aos microfones em localizações diferentes, e depois determinar a localização da fonte de som por meio de pesquisa ou conhecimento geométrico. O arranjo de alto-falantes pode reconstruir e reproduzir o campo de som de acordo com os sinais de áudio de entrada e informação de localização. O arranjo de alto-falantes pode combinar as múltiplas unidades de campo de som de um certo modo para amplificar o som. Comparado com um alto-falante só que radia som diretamente, o arranjo de alto-falantes aumenta a potência do som, aumenta o efeito de radiação do som no caso de frequência baixa, melhora a direcionalidade e desigualdade do campo de som, e melhora a clareza da voz em um ambiente de reverberação. O arranjo de alto-falantes pode ser com base em uma tecnologia de síntese de onda frontal.

[00037] O arranjo de microfones A3 pode ser um arranjo de microfones linear ou um arranjo de microfones circular, e é colocado na mesa ou suspenso do teto. O arranjo de alto-falantes A11 inclui muitos alto-falantes que são integrados com o fole da câmera A5. A direção de distribuição dos alto-falantes é igual à direção de distribuição dos participantes presentes remotos exibidos na tela de projeção A5. No processo de conferência, por meio do arranjo de microfones B3 no terminal remoto B, o dispositivo de comunicação de áudio e vídeo B8 pode detectar a localização de um participante presente falando B15, e transmitir os sinais de áudio no terminal remoto B e a informação de localização do participante presente B15 para o dispositivo de comunicação de áudio e vídeo A8 no terminal local A. O arranjo de alto-falantes A11 pode reconstruir e reproduzir o campo de som de acordo com os sinais de áudio de entrada e informação de localização. Desse modo, o usuário local A15 percebe que o som do usuário remoto B15 é proferido da localização B15 na tela, e obtém a experiência como uma conversa face-a-face.

[00038] A figura 6 exibe o fluxograma de funcionamento do sistema da primeira modalidade onde o terminal remoto B transmite a informação de áudio e vídeo local A.

[00039] No terminal remoto B, a câmera panorâmica B7 (composta de múltiplas câmeras) coleta as imagens das cenas em perspectivas diferentes de forma síncrona sob controle da unidade de sincronização B16. As múltiplas imagens coletadas são enviadas à unidade de mosaicos de imagem para mixagem em uma imagem panorâmica de uma cena remota B. Esta imagem panorâmica é transmitida da unidade de mosaicos de imagem, processada e outra saída para a unidade de codificação de vídeo 1 para codificação, e depois transmitida por meio de uma rede de domínio de pacote trocado na forma de fluxos de código de pacote. É merecedor de atenção que a resolução das imagens mixadas possa ser muito alta, e uma unidade de codificação de vídeo 1 não possa codificar a imagem mixada em tempo real. A imagem mixada pode necessitar ser dividida em várias partes, e transmitida de forma síncrona dos múltiplos codificadores de vídeo para codificação. Após codificar, a imagem pode formar um ou mais fluxos de código que são transmitidos por meio da rede de domínio de pacote trocado. Devido à codificação distribuída e a demora e agitação causadas na transmissão de rede, os fluxos de código podem ficar fora da sincronização. Portanto, os fluxos de código podem necessitar ser marcados (por exemplo, por meio de carimbos de tempo). No decodificador, os fluxos de código são sincronizados de acordo com as marcações. Igualmente, o arranjo de microfones no terminal remoto B coleta os sinais de áudio da cena, e codifica os sinais por meio de uma unidade de codificação de áudio para formar fluxos de código de áudio codificados que são transmitidos por meio da rede na forma de pacotes de dados. Para impedir perda de sincronização entre o áudio e o vídeo, é melhor fazer sincronização para os dados de áudio e os dados de vídeo. A sincronização dos dados de áudio e dados de vídeo é uma técnica anterior no campo de áudio e vídeo, e não é repetida aqui mais. Porque o terminal remoto B usa um arranjo de microfones para coletar os sinais de áudio, o algoritmo de posicionamento de áudio é também capaz de calcular a informação de localização de um participante presente falando. A informação de localização pode ser transmitida no terminal local por meio da rede. Além da câmera panorâmica B7, uma ou mais câmeras objetivas B10 fotografam os objetos que necessitam ser apresentados na cena. Se houver múltiplas câmeras objetivas B10, elas podem compensar uma câmera estereoscópica obtendo a imagem 3D da cena. Neste caso, uma unidade de sincronização B16 também existe entre as câmeras para sincronizar a coleta. Um ou mais fluxos de vídeo da câmera objetiva B10 são introduzidos na unidade de codificação de vídeo 2 para codificação. A unidade de codificação de vídeo 2 suporta formatos de codificação de vídeo 2D/3D, e os dados de fluxo de código codificados são transmitidos por meio da rede de domínio de pacote trocado.

[00040] No terminal local A, a unidade de codificação de vídeo 1 recebe os fluxos de código de vídeo panorâmicos do terminal remoto B para decodificação. Porque a resolução da imagem panorâmica pode ser muito alta, uma unidade de decodificação de vídeo 1 não pode terminar a decodificação da imagem, e múltiplas unidades de codificação de vídeo podem necessitar trabalhar simultaneamente. Na decodificação, a sequência de executar os quadros de imagem de vídeo necessita ser determinada de acordo com a marcação de sincronização nos fluxos de código. Após decodificar, a(s) imagem(ns) pode(m) ser uma imagem panorâmica completa ou múltiplas imagens divididas. Para uma imagem panorâmica completa, a imagem necessita ser dividida em múltiplas imagens que são transmitidas para múltiplos projetores A9 de forma síncrona. Os múltiplos projetores A9 apresentam as imagens na tela de projeção A4 ininterruptamente. Antes de o projetor apresentar a imagem, porque os projetores diferem em localização, luminância, e croma, a imagem é preferivelmente corrigida geometricamente por meio de uma unidade de correção/mistura, e a junção entre as imagens adjacentes necessita ser eliminada por meio de mistura de luminância/croma. Os fluxos de codificação de dados de áudio são decodificados pela unidade de decodificação de áudio em sinais de dados de áudio que são transmitidos ao arranjo de alto-falantes. De acordo com a informação de localização do participante presente sobre o terminal remoto B, o arranjo de alto-falantes pode selecionar um ou mais alto-falantes mais próximos ao participante presente remoto exibido na tela de projeção A4 para apresentar o áudio do participante presente remoto. Os fluxos de código de vídeo da câmera objetiva B10 no lado oposto B são decodificados pela unidade de decodificação de vídeo 2, e apresentados pelo monitor auxiliar A12. Se o monitor auxiliar A12 suportar vídeo 3D, os vídeos são apresentados como vídeos 3D; se o monitor auxiliar A12 suportar vídeos 2D apenas, os vídeos são apresentados como vídeos 2D. Portanto, um dispositivo de comunicação de áudio e vídeo completo A8 ou B8 inclui: uma unidade de mosaicos de imagem, unidade de codificação de vídeos 1 e 2, uma unidade de codificação de áudio, unidade de decodificação de vídeos 1 e 2, e uma unidade de decodificação de áudio.

[00041] A figura 7 é a segunda forma em plano de um layout da sala de conferência em um sistema de telepresença na primeira modalidade da presente invenção, e a figura 8 é o segundo diagrama esquemático de um sistema de telepresença na primeira modalidade da presente invenção. A solução é baseada na tecnologia de projeção frontal. O projetor A9 pode ser colocado em frente à tela de projeção A4, e suspenso acima da mesa de conferência A2 (como mostrado na figura) ou abaixo da mesa de conferência para projeção. A solução é superior porque os raios emitidos pelo projetor A9 não causam nenhuma interferência ao usuário.

[00042] A figura 9 é a terceira forma em plano de um layout da sala de conferência em uma solução simplificada na primeira modalidade da presente invenção. A figura 10 é o terceiro diagrama esquemático de um layout da sala de conferência em uma solução simplificada na primeira modalidade da presente invenção. Na solução simplificada, a câmera panorâmica A7 é colocada acima da tela de projeção A4 para obter uma imagem panorâmica da cena. Neste caso, nenhuma unidade de sincronização A16 é requerida para sincronizar a coleta da câmera panorâmica A7 e a projeção do projetor A9, desse modo simplificando o projeto e reduzindo o custo da câmera panorâmica A7 e do projetor A9. Porém, porque a câmera panorâmica 7 não é colocada na linha de visão do usuário A15, o efeito de olho-a-olho vertical deteriora-se. Em geral, se a diferença de perspectiva vertical for menos de sete graus (<7°), o efeito de olho-a-olho vertical é aceitável. Para reduzir a perspectiva vertical, o visor da câmera panorâmica A7 pode ser colocado abaixo da câmera colorida.

[00043] Na solução simplificada mostrada na figura 9 e na figura 10, a tela de projeção A4 pode ser uma tela de projeção transparente holográfica ou uma tela de projeção usual. Com uma tela de projeção holográfica, o usuário pode perceber a profundidade da cena; com o projetor traseiro usual, é impossível apresentar o sentido de profundidade da cena, e o fundo A13 atrás do usuário e o fundo A6 do fole da câmera A5 não necessitam ser decorados especialmente.

[00044] Pode ser visto da descrição acima que, nas três soluções na primeira modalidade, uma câmera panorâmica (A7 ou B7) é empregada, o panorama da sala de conferência local pode ser fotografado, e o participante presente oposto pode obter um panorama de conferência, desse modo trazendo um bom efeito de apresentar o panorama no sistema de telepresença.

[00045] Não importa se a tela de projeção A4 (B4) é uma tela de projeção usual ou uma tela de projeção transparente holográfica, a tela de projeção apresenta as imagens de um modo integrado, desse modo implementando presença ininterrupta e superando o defeito trazido pelos flanges da televisão quando múltiplas televisões planas são combinadas.

[00046] Preferivelmente, a tela de projeção A4 ou B4 é uma tela de projeção transparente holográfica que provê presença de profundidade para os participantes presentes.

[00047] Preferivelmente, por meio de controle de uma unidade de sincronização A16 ou B16, a câmera panorâmica A7 ou B7 é livre de impacto causado pela projeção de imagem do projetor A9 ou B9 ao fotografar as imagens no terminal local A ou terminal remoto B, desse modo evitando perspectivas verticais e permitindo o participante presente oposto a desfrutar do contato visual. A câmera panorâmica A7 ou B7 pode também ser colocada acima da tela de projeção A4 ou B4 para obter uma imagem panorâmica da cena. Neste caso, a unidade de sincronização A16 ou B16 é omissiva, desse modo simplificando o projeto e reduzindo o custo. Para reduzir as perspectivas verticais, o visor da câmera panorâmica A7 ou B7 pode ser colocado abaixo da câmera colorida.

[00048] Preferivelmente, o projetor A9 ou B9 é fixado no fole da câmera A5 ou B5 de modo que o projetor A9 seja livre de impacto de luz ambiental. O projetor A9 ou B9 pode ser colocado em frente à tela de projeção A4 ou B4 por meio de uma tecnologia de projeção frontal, ou suspenso acima da mesa de conferência ou abaixo da mesa de conferência. Desse modo, os raios do projetor A9 ou B9 não causam nenhuma interferência para o usuário na projeção transparente holográfica.

[00049] A segunda modalidade da presente invenção é descrita abaixo.

[00050] A figura 11 é uma forma em plano de um layout da sala de conferência em um sistema de telepresença na segunda modalidade da presente invenção. Correspondendo à figura 11, a figura 12 é o primeiro diagrama esquemático de um sistema de telepresença na segunda modalidade da presente invenção. Na segunda modalidade, o fole de câmera é omitido, e a tela de projeção 4 é colocada diretamente defronte às poltronas 1A, 1B e 1C. Em projeto atual, a tela de projeção pode ser projetada como uma estrutura de elevação. A tela de projeção 4 é elevada para cima ou ocultada na mesa 2 quando ficar inativa, e cai ou surge da mesa 2 quando funcionar. Desse modo, a mesa 2 pode ser usada para conferências usuais quando nenhuma videoconferência estiver em andamento. Porque a tela de projeção 4 é muito fina, o alto-falante pode ser um alto-falante de painel plano muito fino colocado abaixo da tela de projeção 4; ou um módulo vibratório é diretamente encaixado sobre a tela de modo que a tela se torna um alto-falante. Para realizar um efeito de olho-a- olho vertical bom, a câmera panorâmica 7 pode ser ocultada na parede do plano de fundo 14 atrás da tela de projeção 4. Por meio de decoração especial, a câmera panorâmica 7 e a parede do plano de fundo 14 são misturadas. O projetor 9 necessita ser sincronizado de certo modo com a câmera panorâmica 7 por meio de uma unidade de sincronização A16 descrita na primeira modalidade. O projetor 9 nesta modalidade pode empregar um modo de projeção frontal (mostrado na figura 11) ou modo de projeção traseira.

[00051] Outra solução de projeto na segunda modalidade 2 é pôr a câmera panorâmica 7 acima da tela de projeção A. A figura 13 é o segundo diagrama esquemático de um sistema de telepresença na segunda modalidade da presente invenção. Em prática, um flange de suporte de uma espessura específica é projetado, a tela de projeção A4 é embutida no flange, e a câmera panorâmica A7 é colocada em frente ao flange ou embutida no flange. No caso, nenhuma unidade de sincronização é requerida para sincronizar a coleta da câmera panorâmica A7 e a projeção do projetor A9. Porém, porque a câmera panorâmica 7 não é colocada na linha de visão do usuário A15, o efeito de olho-a-olho vertical deteriora-se. Em geral, se a diferença de perspectiva vertical for menos de sete graus (<7°), o efeito de olho-a-olho vertical é aceitável. Para reduzir a perspectiva vertical, o visor da câmera panorâmica A7 pode ser colocado abaixo da câmera colorida.

[00052] Na segunda modalidade, como mostrado na figura 11, porque a tela de projeção 4 é colocada diretamente oposta à poltrona, a tela de projeção pode ser retraída quando for inativa. Portanto, esta solução é compatível com a conferência tradicional. Ou seja, os dispositivos relevantes podem ser ocultados quando nenhuma conferência de telepresença estiver em andamento, e a sala de conferência fica disponível para conferências usuais.

[00053] A terceira modalidade da presente invenção é descrita abaixo.

[00054] A figura 14 é uma forma em plano de um layout da sala de conferência em um sistema de telepresença na terceira modalidade da presente invenção. A figura 15 é um diagrama esquemático de um sistema de telepresença na terceira modalidade da presente invenção. A terceira modalidade ainda simplifica a solução. Em vez de uma tela de projeção, televisões de tamanho grande 30A, 30B, e 30C são mixadas em um sistema de exibição. As televisões podem ser televisão de LCD, televisão de PDP, ou televisão de retroprojeção de Processamento de Luz Digital (DLP). A câmera panorâmica A7 é colocada acima do monitor para fotografar a cena local. Porque a presença da televisão não pode transmitir o efeito de profundidade, o fundo A13 atrás do usuário e o fundo A6 do fole da câmera não necessitam de nenhuma decoração especial.

[00055] Pode ser visto da descrição acima que a terceira modalidade é uma atualização com base no sistema de telepresença existente. Dá um efeito bom de presença panorâmica apenas substituindo a câmera usual com uma câmera panorâmica.

[00056] A quarta modalidade da presente invenção é descrita abaixo.

[00057] A figura 16 mostra um sistema de telepresença na quarta modalidade da presente invenção. Um espelho semitransparente semirrefletivo é usado nesta modalidade para apresentar profundidade. A tela de projeção transparente holográfica é substituída com um espelho semitransparente semirrefletivo A21. O espelho semitransparente semirrefletivo é instalado em frente ao fole da câmera. A tela de projeção A22 fica lateralmente acima do espelho semitransparente semirrefletivo, e um certo ângulo existe entre a tela de projeção e o espelho semitransparente semirrefletivo. A tela de projeção A22 forma imagens por meio de retroprojeção. As imagens projetadas pelo projetor A9 são refletidas pelo espelho de reflexão A23, e depois altera para imagens na tela de projeção A22. O espelho semitransparente semirrefletivo A21 transforma as imagens em A22 em imagens virtuais A101, e faz o local A15 ver as imagens em uma certa profundidade. A câmera panorâmica A7 coleta as imagens do usuário por meio do espelho semitransparente semirrefletivo A21, e são misturadas com o plano de fundo A6 do fole da câmera A5. Um plano de fundo escuro atrás do usuário remoto permite o plano de fundo local A6 decorado especialmente ser visível ao usuário local A15 por meio da área escura, exceto a área luminosa onde o corpo do usuário remoto está situado. Porque uma distância física existe entre a imagem A101 do usuário remoto visível para o usuário local e o plano de fundo local A6, parece como se a imagem do usuário remoto no olho do usuário local estivesse em frente ao plano de fundo. Será observado que o espelho de reflexão A23 é opcional. Quando o espelho de reflexão A23 for omitido, o projetor A9 pode empregar a solução de projeção frontal.

[00058] Pode ser visto da descrição acima que a quarta modalidade realiza presença panorâmica por meio de uma câmera panorâmica A7, e realiza presença de profundidade e contato visual por meio de um espelho semitransparente semirrefletivo A21 com base na realização de exibição ininterrupta por meio de projeção.

[00059] A quinta modalidade da presente invenção é descrita abaixo.

[00060] A figura 17 é um diagrama esquemático de um sistema de telepresença na quinta modalidade da presente invenção. Esta modalidade emprega um componente de condução óptica transparente A25 tendo uma área de redireção óptica A25 para introduzir as imagens. Como um dispositivo de guia de onda, A24 transmite a imagem do participante presente A15 para a câmera panorâmica A7 no plano de fundo do fole da câmera A5 somente por meio de reflexão interna. Como mostrado na figura, o raio incidente A102 é refletido repetidamente entre as duas superfícies internas A26 e A27 do componente de guia de luz, e é radiado por fim como um raio emergente A103 no plano de fundo do fole da câmera A5 e coletado pela câmera panorâmica A7. O componente de condução óptica é colocado em frente à tela de projeção A4, e a área de entrada A25 cobre a superfície da tela de projeção A4. O A25 necessita ser transparente o bastante para impedir causar interferência para o usuário A15. As superfícies internas A26 e A27 da área de entrada podem ser realizadas por meio de gradeamento holograficamente derivado. O componente é um painel transparente composto de vidro ou plástico.

[00061] Pode ser visto da descrição acima que a quinta modalidade realiza presença panorâmica por meio de uma câmera panorâmica A7, realiza exibição ininterrupta por meio de uma tela de projeção A4, e realiza contato visual por meio de um componente de condução óptica A25. Preferivelmente, a tela de projeção A4 é uma tela de projeção transparente holográfica capaz de apresentar profundidade.

[00062] A sexta modalidade da presente invenção é descrita abaixo.

[00063] Esta modalidade realiza um sistema de telepresença panorâmico que suporta o efeito de olho-a-olho vertical por meio de um polarizador.

[00064] Os princípios da luz polarizada bem conhecida são esboçados abaixo.

[00065] Ondas de luz são ondas transversais. Ou seja, a direção de vibração do vetor de onda de luz é vertical à direção de propagação da luz. Em geral, a vibração do vetor de onda de luz assume uma tendência irregular na direção vertical para a direção de propagação de luz para a onda de luz emitida de uma fonte luminosa. De modo variado, em todas as direções no espaço, a distribuição dos vetores de onda de luz é julgada como compartilhando chances iguais. Sua soma é simétrica com àquela na direção de propagação de luz. Ou seja, o vetor de luz é caracterizado por simetria axial, distribuição plana, e amplitude igual de vibração em todas as direções. Tal luz é chamada luz natural. Luz polarizada refere-se à onda de luz cuja direção da vibração do vetor de luz não altera ou altera regularmente. Dependendo da natureza, a luz polarizada é categorizada em luz polarizada planar (luz polarizada linear), luz polarizada circular, luz polarizada elíptica, e luz parcialmente polarizada. Se a direção de vibração do vetor elétrico da onda de luz for limitada a um plano definido, a luz polarizada é chamada luz polarizada planar; e, se a órbita for uma linha reta no processo de propagação, a luz polarizada é chamada luz polarizada linear. Se o vetor elétrico da onda de luz altera regularmente com tempo, a saber, a órbita de extremidade do vetor elétrico é verticalmente uma linha reta no processo de propagação, a luz polarizada é chamada luz polarizada linear. Se o vetor elétrico da onda de luz altera regularmente com tempo, a saber, a órbita de extremidade do vetor elétrico é circular ou elíptica no plano vertical para a direção de propagação, a luz polarizada é chamada luz polarizada circular ou elíptica. Se a vibração do vetor elétrico da onda de luz é relativamente dominante apenas em uma direção específica no processo de propagação, a luz polarizada é chamada uma luz parcialmente polarizada. Um polarizador é um filme fino feito manualmente. Partículas de cristal que absorvem seletivamente são dispostas regularmente nas camadas transparentes de um modo especial para formar o polarizador. O polarizador é permeável à luz em uma certa direção de vibração do vetor elétrico (esta direção é chamada uma direção de polarização), mas absorve a luz verticalmente vibrante, a saber, o polarizador assume dicroísmo.

[00066] A figura 18 é um diagrama esquemático de um sistema de telepresença na sexta modalidade da presente invenção. Nesta modalidade, um polarizador linear é colocado em frente à lente do projetor A9 e à câmera panorâmica A7. O ângulo de polarização do polarizador linear do projetor A9 é diferente do ângulo de polarização do polarizador linear da câmera panorâmica A7. (A direção de polarização do polarizador em frente à câmera panorâmica é diferente da direção de polarização da luz projetada pelo projetor. Isto é porque, de acordo com os princípios de luz polarizada, a luz projetada pelo projetor neste caso não pode entrar na câmera por meio do polarizador em frente à câmera panorâmica). Em condições ideais, a diferença são 90 graus. Ou seja, a direção de polarização do projetor A9 é vertical à direção de polarização da câmera panorâmica A7. Por exemplo, a direção de polarização do projetor A9 é vertical, mas a direção de polarização da câmera panorâmica A7 é horizontal. Uma tela de projeção A4 feita de materiais especiais pode ser usada em vez do polarizador em frente à câmera. A tela de projeção é uma tela semitransparente entrelaçada do material de polarizador A41 da câmera panorâmica A7 e outros materiais A42. Desse modo, a luz polarizada circular introduzida da cena altera a luz polarizada linear horizontal após atravessar a tela de projeção A4, e pode ser coletada pela câmera panorâmica A7; a luz projetada pelo projetor A9 é luz polarizada linear vertical e não pode atravessar o polarizador linear horizontal da câmera A7, e desse modo não é coletável pela câmera A7. Desse modo, a fotografação da câmera panorâmica A7 e a projeção do projetor A9 não geram nenhuma interferência.

[00067] Pode ser visto da descrição acima que a sexta modalidade realiza presença panorâmica por meio de uma câmera panorâmica A7, realiza exibição ininterrupta por meio de uma tela de projeção A4, e realiza contato visual por meio do polarizador adicionado em frente à câmera e ao projetor.

[00068] A sétima modalidade da presente invenção é descrita abaixo.

[00069] A sétima modalidade visa solucionar o layout do plano de fundo escuro atrás do usuário nas soluções precedentes. Na solução precedente para apresentar profundidade, o plano de fundo atrás do usuário necessita ser fixado como um plano de fundo escuro, por exemplo, uma cortina preta ou parede pintada de preto. Um tal plano de fundo pode ser inaceitável ao usuário em alguns quartos de conferência. Por exemplo, o usuário sente que o plano de fundo escuro não está harmonizado com o projeto de decoração da sala de conferência.

[00070] A figura 19 é o primeiro diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção. Um projetor do plano de fundo A50 é usado para projetar o plano de fundo do usuário a ser exibido sobre uma cortina de projeção preta pura A13. O projetor do plano de fundo A50 está conectado com a unidade de sincronização A16. A unidade de sincronização A16 coordena a coleta da câmera panorâmica A7 e a projeção do projetor do plano de fundo A50. De acordo com o método de divisão de tempo, os modos de funcionamento de um tal sistema são categorizados em dois modos: modo de projeção de plano de fundo e modo de coleta de câmera. No modo de projeção de plano de fundo, o projetor do plano de fundo A50 projeta o plano de fundo em uma cortina preta A13. Neste momento, a câmera panorâmica A7 é inativada e não coleta os sinais. No modo de coleta de câmera, o projetor do plano de fundo A50 é inativo e não projeta imagens, e a câmera panorâmica A7 fotografa a cena. Neste caso, o plano de fundo do usuário A15 fotografado pela câmera panorâmica A7 é um plano de fundo escuro. O plano de fundo local visto pelo usuário não é preto, mas é uma imagem projetada pelo projetor do plano de fundo A50 apenas se o deslocamento for bastante rápido. A imagem é substituível, e pode estar em harmonia com a decoração da sala de conferência.

[00071] A figura 20 é o segundo diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção. Na figura 20, um polarizador linear é adicionado em frente ao projetor do plano de fundo A50 de modo que a luz projetada na parede do plano de fundo seja luz polarizada linear. Outro polarizador linear é adicionado em frente à câmera panorâmica A7, e o ângulo de polarização deste polarizador é vertical ao ângulo de polarização do polarizador em frente ao projetor do plano de fundo A50. Desse modo, a luz de plano de fundo projetada pelo projetor do plano de fundo A50 não é coletável pela câmera panorâmica A7, e a luz da lâmpada da sala de conferência refletida por uma pessoa do primeiro plano é polarizada circularmente, e pode ser fotografada pela câmera A7. Portanto, o plano de fundo atrás da pessoa é preto na imagem fotografada, desse modo solucionando o problema de plano de fundo escuro.

[00072] A figura 21 é o terceiro diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção. Na figura 21, um monitor do plano de fundo de tamanho grande A51 é aplicado atrás do usuário para exibir a imagem do plano de fundo. O monitor do plano de fundo A51 é conectado à unidade de sincronização A16. A unidade de sincronização A16 coordena a coleta da câmera panorâmica A7 e da exibição do monitor do plano de fundo A51. De acordo com o método de divisão de tempo, os modos de funcionamento do sistema são categorizados em dois modos: modo de exibição do plano de fundo e o modo de coleta da câmera. No modo de exibição do plano de fundo, o monitor do plano de fundo A51 exibe a imagem normal. Neste momento, a câmera panorâmica A7 é inativada e não coleta os sinais. No modo de coleta da câmera, o monitor do plano de fundo A51 exibe uma imagem do plano de fundo preto puro, e a câmera panorâmica A7 fotografa a cena. Neste caso, o plano de fundo do usuário A15 fotografado pela câmera panorâmica A7 é um plano de fundo escuro. A imagem vista pelo usuário e exibida por A51 não é preta apenas se o deslocamento for bastante rápido.

[00073] A figura 22 é o quarto diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção. Na figura 22, um monitor do plano de fundo grande A51 é colocado atrás da pessoa, um polarizador linear é adicionado em frente ao monitor do plano de fundo A51, e outro polarizador linear é adicionado em frente à câmera panorâmica A7. Se o monitor do plano de fundo A51 for um monitor de LCD, a luz de plano de fundo emitida pelo LCD é luz polarizada. Portanto, apenas um polarizador linear necessita ser adicionado em frente à câmera panorâmica A7, e o ângulo de polarização do polarizador linear é vertical ao ângulo de polarização da luz polarizada de plano de fundo emitido pelo monitor do plano de fundo A51. Desse modo, a luz de plano de fundo do monitor do plano de fundo A51 não é coletável pela câmera panorâmica A7, e a luz de lâmpada da sala de conferência refletida pela pessoa do primeiro plano é polarizada circularmente, e pode ser fotografada pela câmera panorâmica A7. Portanto, o plano de fundo atrás da pessoa é preto na imagem fotografada, desse modo solucionando o problema de plano de fundo escuro.

[00074] Pode ser visto da descrição acima que, na sétima modalidade, um projetor do plano de fundo A50 ou monitor do plano de fundo A51 projeta o plano de fundo do usuário a ser exibido em uma cortina de projeção preta pura A13, desse modo solucionando o layout de plano de fundo escuro atrás do usuário. A sétima modalidade pode ser combinada com as modalidades 1 a 6.

[00075] Em conclusão, esta modalidade é uma atualização do sistema de telepresença existente. A câmera usual pode ser substituída com uma câmera panorâmica para fotografar o panorama da sala de conferência local e prover um panorama de conferência ao participante presente oposto. Desse modo, o sistema de telepresença dá um efeito de presença panorâmico bom, e é compatível com o sistema de telepresença existente.

[00076] Preferivelmente, uma tela de projeção usual ou tela de projeção transparente holográfica é empregada para apresentar as imagens panorâmicas de um modo integrado, desse modo implementando presença ininterrupta e superando o defeito trazido pela combinação de múltiplas televisões de tela plana.

[00077] Preferivelmente, uma tela de projeção transparente holográfica e um espelho semitransparente semirrefletivo são empregados para prover presença de profundidade aos participantes presentes.

[00078] Preferivelmente, por meio de controle de uma unidade de sincronização, a câmera panorâmica é livre de impacto causado pela projeção de imagem do projetor ao fotografar as imagens locais, desse modo evitando disparidade causada por inabilidade de colocar a câmera na linha de visão do usuário e permitindo o participante presente oposto a desfrutar do contato visual. Além disso, o espelho semitransparente semirrefletivo ou um componente de transmissão óptica ou um polarizador linear pode ser usado para permitir contato visual.

[00079] Preferivelmente, um plano de fundo escuro especial é desenvolvido, um projetor do plano de fundo ou monitor do plano de fundo é usado, e um plano de fundo escuro é desenvolvido atrás do usuário. Desse modo, a imagem de usuário é separada da imagem do plano de fundo, e o efeito de presença de profundidade é gerado.

[00080] Além disso, um método de presença remota é fornecido em uma modalidade da presente invenção. Como mostrado na figura 23, o método inclui as etapas seguintes:

[00081] S2301: Obter as imagens panorâmicas e áudios locais, imagens de fotografia por meio de uma câmera panorâmica de perspectivas diferentes, e mixar as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução por meio de uma unidade de mosaicos de imagem.

[00082] S2302: Transmitir as imagens panorâmicas e áudios locais para um terminal remoto por meio de uma rede para exibição e execução.

[00083] A câmera panorâmica fotografa a cena em qualquer um destes modos: centro óptico comum virtual de espelhos de reflexão planares, modo de multicâmera convergente, e modo de arranjo de câmeras denso.

[00084] Preferivelmente, as imagens e os áudios são coletados alternadamente nesta ordem de tempo. Preferivelmente, o método também inclui: coletar os vídeos 3D locais por meio de uma câmera estereoscópica, transmitir os vídeos para o terminal remoto por meio de uma rede, e exibir os vídeos por meio de um dispositivo de exibição auxiliar. Preferivelmente, antes de exibir a imagem panorâmica, o método também inclui: executar correção geométrica e mistura de borda para a imagem panorâmica. Preferivelmente, o método também inclui: receber informação de localização do participante presente remoto, e reconstruir e reproduzir o campo de som para os áudios recebidos de acordo com a informação de localização. Preferivelmente, o método também inclui: sincronização para os dados de áudio e dados de vídeo localmente obtidos.

[00085] Um dispositivo de coleta de vídeo em um sistema de telepresença é fornecido em uma modalidade da presente invenção.

[00086] O dispositivo de coleta de vídeo trabalha junto com o dispositivo de exibição de vídeo, dispositivo de coleta de áudio, um executor de áudio, e dispositivo de comunicação de áudio e vídeo no sistema de telepresença. O dispositivo de comunicação de áudio e vídeo transmite as imagens coletadas pelo dispositivo de coleta de vídeo local e os áudios coletados pelo dispositivo de coleta de áudio local para o terminal remoto por meio da rede. O dispositivo de vídeo e o executor de áudio no terminal remoto exibem e executam as imagens e os áudios respectivamente. Comparado com a técnica anterior, o dispositivo de coleta de vídeo nas modalidades da presente invenção é uma câmera panorâmica, e uma unidade de mosaicos de imagem é usada para mixar as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução.

[00087] A unidade de mosaicos de imagem é um dispositivo independente, ou uma parte da câmera panorâmica, ou uma parte do dispositivo de comunicação de áudio e vídeo. A câmera panorâmica fotografa a cena em qualquer um destes modos: centro óptico comum virtual de espelhos de reflexão planares, modo de multicâmera convergente, e modo de arranjo de câmeras denso.

[00088] Descritas acima são meramente algumas modalidades exemplares da presente invenção, mas não intencionadas a limitar o escopo da presente invenção. Qualquer modificação, substituição equivalente, e melhoria feitas sem abandono do princípio da presente invenção caem dentro do escopo da presente invenção.

Claims

1. Sistema de telepresença, caracterizado pelo fato de que compreende: um dispositivo de coleta de vídeo, configurado para coletar imagens em um terminal local; um dispositivo de coleta de áudio, configurado para coletar áudios no terminal local; um dispositivo de exibição de vídeo, configurado para exibir uma imagem panorâmica de um terminal remoto; um executor de áudio, configurado para executar áudios do terminal remoto; um dispositivo de comunicação de áudio e vídeo, configurado para transmitir as imagens coletadas pelo dispositivo de coleta de vídeo no terminal local e áudios coletados pelo dispositivo de coleta de áudio no terminal local para o terminal remoto através de uma rede, em que as imagens e os áudios são exibidos e executados respectivamente por um dispositivo de exibição de vídeo e um executor de áudio no terminal remoto; em que o dispositivo de exibição de vídeo compreende dois ou mais projetores ou múltiplos codificadores de vídeo, e o sistema de telepresença ainda compreende: uma unidade de correção/mistura de imagem no terminal local que é configurada para dividir a imagem panorâmica em imagens de uma quantidade igual a uma quantidade igual aos dois ou mais projetores ou os múltiplos codificadores de vídeo, e emitir as imagens divididas para os dois ou mais projetores respectivamente para exibição.

2. Sistema de telepresença, de acordo com a reivindicação 1, caracterizado pelo fato de que: o dispositivo de exibição de vídeo compreende pelo menos um monitor de painel plano; ou o dispositivo de exibição de vídeo compreende uma tela de projeção, em que a tela de projeção é uma tela de projeção não transparente, ou uma tela de projeção semitransparente, ou uma tela de projeção transparente.

3. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: a tela de projeção é colocada como uma superfície frontal de um fole de câmera oposto a um participante presente; ou a tela de projeção é implantada em uma mesa de conferência oposta ao participante presente, e pode ser elevada e rebaixada para dentro da mesa de conferência automática ou manualmente.

4. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: a tela de projeção é a tela de projeção transparente, e a câmera panorâmica fica localizada atrás da tela de projeção em uma altura equivalente ou similar a linha de visão de um participante presente.

5. Sistema de telepresença, de acordo com a reivindicação 4, caracterizado pelo fato de que: a câmera panorâmica é colocada atrás da tela de projeção transparente, e o sistema de telepresença ainda compreende uma unidade de sincronização, configurada para emitir sinais de sincronização para controlar a câmera panorâmica e o projetor para trabalhar alternadamente.

6. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: o sistema de telepresença ainda compreende um espelho semirrefletivo e semitransparente; o espelho semitransparente semirrefletivo é instalado em frente de um fole de câmera do sistema de telepresença; a tela de projeção é lateralmente acima do espelho semitransparente semirrefletivo, e um certo ângulo existe entre a tela de projeção e o espelho semitransparente semirrefletivo; e o espelho semitransparente semirrefletivo forma uma imagem virtual da imagem panorâmica apresentada pelo dispositivo de exibição.

7. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: um plano de fundo que traz um efeito pronto para profundidade é implantado atrás da tela de projeção transparente ou atrás de uma imagem virtual formada pelo espelho semitransparente semirrefletivo, e um plano de fundo escuro é implantado atrás de um participante presente.

8. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: o dispositivo de exibição de vídeo compreende a tela de projeto, e o sistema de telepresença ainda compreende um componente de condução óptica transparente que é colocado próximo a um participante presente em frente da tela de projeção.

9. Sistema de telepresença, de acordo com a reivindicação 2, caracterizado pelo fato de que: o dispositivo de exibição de vídeo compreende a tela de projeto, e o sistema de telepresença ainda compreende um polarizador linear que é colocado em frente dos dois ou mais projetores e uma lente da câmera panorâmica; e um ângulo de polarização de um polarizador dos dois ou mais projetores é diferente de um ângulo de polarização de um polarizador da câmera panorâmica.

10. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o sistema de telepresença ainda compreende um fundo preto e um projetor de plano de fundo, e o projetor de plano de fundo trabalha alternadamente com a câmera panorâmica sob o controle da unidade de sincronização do sistema de telepresença, ou o sistema de telepresença ainda compreende um monitor de plano de fundo colocado atrás do participante presente, e o monitor de plano de fundo trabalha alternadamente com a câmera panorâmica sob o controle da unidade de sincronização.

11. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o sistema de telepresença ainda compreende um projetor de plano de fundo, o polarizador linear é adicionado em frente ao projetor de plano de fundo e à lente da câmera panorâmica respectivamente, e o ângulo de polarização do polarizador do projetor de plano de fundo é diferente do ângulo de polarização do polarizador da câmera panorâmica.

12. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o sistema de telepresença ainda compreende um monitor de plano de fundo colocado atrás do participante presente, o polarizador linear é adicionado em frente do monitor de plano de fundo e da lente da câmera panorâmica respectivamente, e um ângulo de polarização de um polarizador do monitor de plano de fundo é diferente do ângulo de polarização do polarizador da câmera panorâmica; ou o sistema de telepresença ainda compreende um Monitor de Cristal Líquido (LCD) colocado atrás do participante presente, o polarizador linear é adicionado em frente da lente da câmera panorâmica, e um ângulo de polarização de luz emitida pelo LCD é diferente do ângulo de polarização do polarizador da câmera panorâmica.

13. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o sistema de telepresença ainda compreende uma câmera estereoscópica e um dispositivo de exibição auxiliar, o dispositivo de comunicação de áudio e vídeo transmite vídeos tridimensionais (3D) coletados pela câmera estereoscópica no terminal local para o dispositivo de exibição auxiliar no terminal remoto através da rede para exibição.

14. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o dispositivo de coleta de áudio é pelo menos um arranjo de microfones, e o executor de áudio é pelo menos um arranjo de alto-falantes.

15. Sistema de telepresença, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que: o dispositivo de comunicação de áudio e vídeo recebe informação de localização de participante presente remoto transmitida pelo dispositivo de comunicação de áudio e vídeo no terminal remoto, em que a informação de localização é detectada pelo dispositivo de comunicação de áudio e vídeo no terminal remoto através do dispositivo de coleta de áudio no terminal remoto; e o executor de áudio reconstrói e reproduz um campo de som para áudios recebidos de acordo com a informação de localização.

16. Método de presença remota, caracterizado pelo fato de que compreende: obter imagens panorâmicas e áudios locais, fotografar imagens através de uma câmera panorâmica de perspectivas diferentes, e emendar imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução através de uma unidade de mosaicos de imagem; transmitir as imagens panorâmicas e áudios locais para um terminal remoto através de uma rede para exibição e execução; e dividir a imagem panorâmica em uma quantidade de imagens, e emitir as imagens divididas para uma quantidade de projetores igual à quantidade de imagens respectivamente para exibição.

17. Método de presença remota, de acordo com a reivindicação 16, caracterizado pelo fato de que ainda compreende: coletar vídeos tridimensionais (3D) locais através de uma câmera estereoscópica, transmitir os vídeos para o terminal remoto através da rede, e exibir os vídeos através de um dispositivo de exibição auxiliar.

18. Método de presença remota, de acordo com a reivindicação 16, caracterizado pelo fato de que antes de exibir a imagem panorâmica, o método ainda compreende: executar correção geométrica e mistura de borda para a imagem panorâmica.

19. Método de presença remota, de acordo com a reivindicação 16, caracterizado pelo fato de que ainda compreende: receber informação de localização de um participante presente remoto; e reconstruir e reproduzir um campo de som para áudios recebidos de acordo com a informação de localização.