BRPI0924076A2

BRPI0924076A2 - sistema de telepresença, método de telepresença e dispositivo de coleta de vídeo

Info

Publication number: BRPI0924076A2
Application number: BRPI0924076-4A
Authority: BR
Inventors: Yuan Liu; Jing Wang; Guangyao Zhao
Original assignee: Huawei Device Co., Ltd.
Priority date: 2009-05-12
Filing date: 2009-05-12
Publication date: 2021-01-26
Also published as: US8836750B2; RU2011130860A; RU2518218C2; EP2290969A4; BRPI0924076B1; US8692861B2; EP2290969A1; US20130100240A1; US20110096136A1; CN102084650A; WO2010130084A1; CN102084650B

Abstract

sistema de telepresença, método de telepresença e dispositivo de coleta de vídeo. a presente invenção refere-se a um sistema de telepresença, um método de telepresença e um dispositivo de coleta de vídeo que são descritos. o sistema de telepresença inclui um dispositivo de coleta de vídeo, um dispositivo de exibição de vídeo, um dispositivo de coleta de áudio, um executor de áudio, e um dispositivo de comunicação de áudio e vídeo. o dispositivo de comunicação de áudio e vídeo transmite os vídeos coletados pelo dispositivo de coleta de vídeo em um terminal local para um terminal remoto por meio de uma rede; o dispositivo de exibição de vídeo e o executor de áudio no terminal remoto executam as imagens e os áudios respectivamente; e o dispositivo de coleta de vídeo é uma câmera panorâmica. a solução técnica sob a presente invenção supera o efeito ruim de presença panorâmica no sistema de telepresença existente, e melhora o sistema de telepresença em termos de presença de profundidade, exibição ininterrupta e contato visual.

Description

W W

W Relatório Descritivo da Patente de lnvenção para "SISTEMA DE TELEPRESENÇA, MÉTODO DE TELEPRESENÇA E DISPOSITIVO DE COLETA DE VÍDEO".

CAMPO DA INVENÇÃO 5 A presente invenção refere-se às tecnologias de videoconferên- cia, e em particular, a um sistema de telepresença, um método de telepre- sença, e um dispositivo de coleta de vídeo.

ANTECEDENTES Telepresença é um sistema de videoconferência para implemen- lO tar um ambiente de conferência virtual. O ambiente de conferência virtual visa: refletir os fatores de personalização dos participantes presentes sufici- entemente, simular a experiência real dos participantes presentes até onde r 'Í possível, melhorar a aceitabilidade aos usuários finais imensamente, e me- lhorar a razão de uso do equipamento, retornar investimento e satisfação do 15 usuário. Comparado com um sistema de videoconferência tradicional, um sistema de telepresença ideal traz mais méritos: imagens que simulam o tamanho de uma pessoa real; movimento suave; gestos precisos; vÍdeo, ilu- minação, e áudio de um nível de estúdio; contato visual e comunicação co- mo contato visual entre um grupo grande de usuários; ambiente de confe- 20 rência imersivo que faz os participantes presentes se sentirem como se esti- vessem no mesmo local da conferência; consistência dos locais de confe- rência de diferença; e câmeras ocultas, que reduzem impacto aos usuários. No processo de implementar o presente pedido de patente, o in- ventor descobre que o sistema de telepresença existente é defeituoso no 25 efeito de presença panorâmica ruim. O sistema de telepresença existente em geral usa múltiplas câmeras e múltiplos monitores de tela grande para coletar e exibir as imagens, Cada câmera ou monitor coleta ou exibe uma ou mais pessoas no site local ou remoto, por exemplo, o sistema de telepresen- ça lançado por Cisco e HP. No sistema de telepresença existente, as múlti- 30 plas câmeras são usadas para fotografar, e disparidade existe entre as ima- gens fotografadas por câmeras d iferentes. É impossível mixar múltiplas ima- gens ao panorama expondo as câmeras. É necessário usar a borda do mo-

W

W - nitor para ocultar os defeitos das imagens na união em perspectiva das câ- meras. Portanto, o sistema de telepresença existente não pode dar experi- ência panorâmica agradável aos participantes presentes. Quando os partici- pantes presentes estiverem se locomovendo para a área próxima da borda 5 do monitor, o efeito de imagem chega a ser até mesmo inaceitável. Além disso, os produtos de telepresença existentes estão no es- tágio preliminar, e ainda necessitam de melhorar os seguintes aspectos:

1. Presença de profundidade A maioria do sistema de telepresença ainda apresenta imagens 10 bidimensionais (2D). Ou seja, os usuários veem imagens planas apenas, e não podem perceber a informação de profundidade da cena de conferência da parte oposta,

W . J

2. Exibição ininterrupta O sistema de telepresença existente em geral usa múltiplas tele- 15 visões de tela plana de tamanho grande, ou Monitor de Cristai Líquido (LCD) ou Painel de Monitor de Ptasma (PDP), para apresentar as imagens de um modo combinado. Na área de exibição adjacente entre duas televisões de tela plana, parte das imagens apresentadas em um tal modo é obstruída pe- la borda da televisão, desse modo tornando impossivel dar experiência inin- 20 terrupta panorâmica aos participantes presentes.

3. Contato visual/percepção do olhar atento Contato olho a olho é um modo de comunicação não lingual im- portante. Contato visual causa alteração dos batimentos cardíacos e da pressão sangulnea fisiologicamente, e melhora a atividade do cérebro. Per- 25 cepção do olhar atento fornece muitas fundações de comunicação tais como realimentação, modo do diálogo, e expressão da emoção, e é um meio fun- damental de perceber os pensamentos da parte oposta. O sistema de video- conferência tradicional e o sistema de telepresença existente são incapazes de permitir contato visual entre os usuários devido à disparidade: lnstintiva- 30 mente, o usuário olha para a parte oposta na tela ao invés da câmera, mas usualmente a câmera não está localizada no centro da tela. Por conseguinte, disparidade existe entre a imagem fotografada pela câmera e a imagem en-

D W

W - carada pelo usuário, e bom contato visual é impossível.

SUMÁRIO As modalidades da presente invenção fornecem um sistema de telepresença melhorado, método de telepresença, e dispositivo de coleta de 5 vÍdeo para apresentar um efeito panorâmico bom, e melhorar a presença de profundidade, exibição ininterrupta, e contato visual no sistema de telepre- sença. A solução técnica sob a presente invenção inclui o seguinte: Um sistema de telepresença inclui um dispositivo de coleta de 10 vÍdeo, um dispositivo de exibição de vÍdeo, um dispositivo de coIeta de áu- dio, um executor de áudio, e um dispositivo de comunicação de áudio-vídeo. O dispositivo de comunicação de áudio-vídeo transmite as imagens coleta- das pelo dispositivo de coleta de vÍdeo e os áudios coletados pelo dispositivo de coleta de áudio para o terminal remoto por meio de uma rede, e o disposi- 15 tivo de exibição de vÍdeo e o executor de áudio no terminal remoto exibem e executam as imagens e áudios. O dispositivo de coIeta de vÍdeo é uma câ- mera panorâmica. O sistema também inclui uma unidade de mixagem que é adaptada para mixar as imagens de baixa resolução fotografadas pela câ- mera panorâmica de perspectivas diferentes em uma imagem panorâmica 20 de alta resolução- Um método de telepresença inclui: obter imagens panorâmicas e áudios locais, fotografar as ima- gens por meio de uma câmera panorâmica de perspectivas diferentes, e mi- xar as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução por meio de uma unidade de mixagem; e transmitir imagens panorâmicas e áudios locais para um terminal remoto por meio de uma rede para exibir e executar. Um dispositivo de coleta de vÍdeo em um sistema de telepresen- ça é fornecido. O sistema de telepresença também inclui um dispositivo de exibição de vÍdeo, um dispositivo de coleta de áudio, um executor de áudio, e um dispositivo de comunicação de áudio-vídeo. O dispositivo de comuni-

m ' cação de áudio-vídeo transmite as imagens coletadas pelo dispositivo de coIeta de vÍdeo e os áudios coIetados pelo dispositivo de coleta de áudio para o terminal remoto por meio de uma rede, e o dispositivo de exibição de vÍdeo e o executor de áudio no terminal remoto exibem e executam as ima- 5 gens e áudios. O dispositivo de coleta de vídeo é uma câmera panorâmica. Uma unidade de mixagem mixa as imagens de baixa resolução fotografadas pela câmera panorâmica de perspectivas diferentes em uma imagem pano- râmica de alta resolução- Pode ser visto da descrição acima que, as modalidades da pre- lO sente invenção são atualização do sistema de telepresença existente. A câ- mera usual pode ser substituída por uma câmera panorâmica para fotografar o panorama da sala de conferência local e prover um panorama de confe-

W d rência aos participantes presentes opostos. Desse modo, o sistema de tele- presença dá um bom efeito de presença panorâmica, e é compatível com o 15 sistema de telepresença existente. Preferivelmente, uma tela de projeção usual ou tela de projeção transparente holográfica é empregada para apresentar as imagens ininter- ruptamente de um modo integrado, desse modo implementando presença ininterrupta e superando o defeito provocado pela combinação de múltiplas 20 televisões de tela plana. Preferivelmente, uma tela de projeção transparente holográfica e um espelho semitransparente semirrefletivo são empregados para prover presença de profundidade para qs participantes presentes. Preferivelmente, por meio do controle de uma unidade de sin- 25 cronização, a câmera panorâmica fica livre do impacto causado pela proje- ção da imagem do projetor ao fotografar as imagens locais, desse modo evi- tando disparidade causada por inabilidade de colocar a câmera na linha de visão do usuário e permitindo o participante presente oposto a desfrutar do contato visual. Além disso, o espelho semitransparente semirrefletivo ou um 30 componente de condução óptica ou um polarizador linear pode ser usado para permitir o contato visual. Preferivelmente, um fundo escuro especial é desenvolvido, um projetor do fundo ou monitor do fundo é usado, e um fundo escuro é desen- volvido atrás do usuário. Desse modo, a imagem do usuário fica separada da imagem do fundo, e o efeito da presença de profundidade é gerado.

BREVE DESCRIÇÃO DOS DESENHOS 5 A figural é a primeira forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 2 é o primeiro diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 3 é um diagrama de projeção holográfica de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 4 é um diagrama esquemático de uma câmera panorâ- mica em um sistema de telepresença em uma primeira modalidade da pre- sente invenção; a figura 5 é um diagrama esquemático de uma câmera panorâ- mica multirrefletiva em um sistema de telepresença em uma primeira moda- lidade da presente invenção; a figura 6 é um diagrama esquemático de um sistema de tele- presença em uma primeira modalidade da presente invenção; a figura 7 é a segunda forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 8 é o segundo diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 9 é a terceira forma em plano de um layout da sala de conferência em um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 10 é o terceiro diagrama esquemático de um sistema de telepresença em uma primeira modalidade da presente invenção; a figura 11 é uma forma em plano de um layout da sala de con- ferência em um sistema de telepresença em uma segunda modalidade da presente invenção;

a figura12 é o primeiro diagrama esquemático de um sistema de telepresença em uma segunda modalidade da presente invenção; a figura 13 é o segundo diagrama esquemático de um sistema de telepresença em uma segunda modalidade da presente invenção; 5 a figura 14 é uma forma em plano de um layout da sala de con- ferência em um sistema de telepresença em uma terceira modalidade da presente invenção; a figura 15 é um diagrama esquemático de um sistema de tele- presença na terceira modalidade de uma presente invenção; a figura 16 é um diagrama esquemático de um sistema de tele- presença em uma quarta modalidade da presente invenção; a figura 17 é um diagrama esquemático de um sistema de tele- presença em uma quinta modalidade da presente invenção; a figura 18 é um diagrama esquemático de um sistema de tele- presença em uma sexta modalidade da presente invenção; a figura 19 é o primeiro diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 20 é o segundo diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 21 é o terceiro diagrama esquemático de um sistema de telepresença em uma sétima modalidade da presente invenção; a figura 22 é o quarto diagrama esquemático de um sistema de telepresença em uma sétima modatidade da presente invenção; e a figura 23 é um fluxograma de um método de telepresença em uma modalidade da presente invenção.

DESCRIÇÃO DETALHADA A fim de tomar a solução técnica, os objetivos, e os méritos da presente invenção mais esclarecidos, o seguinte descreve as modalidades da presente invenção em mais detalhes com referência aos desenhos em anexo e às modalidades exemplares. Primeiro, a primeira modalidade da presente invenção é descrita abaixo.

A figura 1 é a primeira forma em plano de um layout da sala de conferência em um sistema de telepresença na primeira modalidade da pre- sente invenção.

Na figural, a parede frontal 13 e a parede traseira 14 do local são um arco ou pIano, e uma mesa de conferência 2 é colocada no 5 meio.

Um arranjo de microfones 3 é instalado na mesa de conferência 2. Para coletar os dados de áudio da conferência mais efetivamente, o arranjo de microfones 3 pode ser colocado no meio da mesa de conferência 2. Múl- tiplas poltronas dos participantes presentes 1A, 1B, e lC são colocadas em um Iado da mesa de conferência 2. As poltronas dos participantes presentes ficam defronte a uma tela de projeção 4. A tela de projeção 4 é uma forma arqueada ou plana (na figura, a tela de projeção é uma forma arqueada), e compõe uma superfície frontal do fole da câmera 5. O fole da câmera 5 re- tém uma câmera panorâmica 7 (aqui a câmera panorâmica inclui três câme- ras, como mostrado na figura 4), um dispositivo de comunicação de áudio 8, múltiplos projetores 9A, 9B, e 9C, e múltiplos alto-falantes.

Por exemplo, cin- co alto-falantes 11A, 118, 11C, 11D e 11E compõem um arranjo de alto- falantes na figura.

A parede interna 6 do fole da câmera 5 oposta à tela de projeção 4 é um fundo especialmente decorado.

A decoração especial refe- re-se à decoração que produz um efeito de ponto de profundidade e pode ocultar as câmeras.

A parte de trás da poltrona do participante presente é um fundo escuro especialmente enfeitado 13. Um monitor auxiliar 12 é colo- cado em um lado da sala de conferência.

Uma ou mais câmeras objetivas IOA e 108 são colocadas acima do fole da câmera 5 para compor um ou mais pares de câmeras estereoscópicas.

Um par de câmera estereoscópica é composto de duas câmeras objetivas usuais, que simulam os princípios visuais de um ser humano e fotografam a cena das perspectivas da esquer- da e da direita simultaneamente para obter uma imagem à esquerda e uma imagem à direita.

A figura 2 é o primeiro diagrama esquemático da primeira moda- lidade da presente invenção.

A figura 2 mostra que o site de telepresença local e o site de telepresença remota têm a mesma configuração, e estão interconectados por meio de uma rede.

Preferivelmente, na primeira modalidade, a tela de projeção local A4 e a tela de projeção remota B4 são 'telas de projeção transparentes holo- gráficas.

As telas de projeção transparentes holográficas são telas de retro- projeção com base em uma tecnologia de holograma, e são caracterizadas 5 por imagens holográficas.

Eias exibem apenas as imagens de uma perspec- tiva específica da retroprojeção, mas ignoram os raios de luz de outras pers- pectivas.

As telas holográficas geram e'feitos de exibição muito luminosos e claros, até mesmo se os raios de luz do ambiente estiverem muito lumino- sos, e estiverem transparentes de modo que a audiência possa ver os obje- lo tos atrás da tela.

Correntemente, alguns fabricantes como Woehburk, Holo- Pro, e Sax3D fabricam telas de projeção transparentes holográficas.

A figura 3 exibe os princípios básicos da projeção holográfica.

Como rnostrado na figura 3, os raios de projeção que assumem um ângulo a são difratados pela tela de projeção transparente holográfica composta de rnateriais holográficos e painéis transparentes.

Desse modo, o usuário pode ver o conteúdo de pro- jeção, mas não pode ver os objetos atrás da área do conteúdo de projeção.

Porém, os raios horizontais emitidos pelo objeto atrás da tela de projeção, exceto o conteúdo de projeção, são transmitidos pela tela de projeção.

Atra- vés de tal área de tela de projeção, o usuário pode ver o objeto atrás da tela de projeção.

Na primeira modalidade, um ângulo de instalação a existe entre o ângulo de projeção do projetor A9 no fole da câmera A5 e na linha horizon- tal.

O projetor A9 projeta a imagem do participante presente remoto B15 à tela transparente holográfica local A4. Porque o panorama da cena remota B é apresentado, a resolução de um projetor pode não ser suficiente.

O dispo- sitivo de comunicação de áudio-vídeo A8 divide a imagem remota em várias partes que são apresentadas por meio de múltiplos projetores A9 (porque o diagrama esquemático na figura 2 é uma vista da direita, os múltiplos proje- tores estão sobrepostos e não são todos apresentados). Para ocultar os pro- jetores, a cor dos projetores A9 é preferivelrnente igual à cor do fundo do fole da câmera A6 atrás.

Para coletar a imagem panorâmica do local A, uma câmera pa-

norâmica A7 é instalada no fole da câmera A5. A figura 4(A) e a figura 4(8) ilustram os princípios básicos de uma soIução para imageamento de uma câmera panorâmica.

A câmera panorâmica é com base na refletância do espelho plano e centro óptico comum virtual (câmera panorâmica em um 5 modo de centro óptico comum virtual). O prismoide 1001 tem três superfícies de refletância 1002, 1003, e 1004. Tais superfícies são espelhos planos, e três câmeras COl, C02 e C03 são colocadas sob os espelhos.

O centro ópti- co comum virtual é descrito abaixo, tomando uma câmera C02 como um e- xemplo.

Como mostrado na figura 4(B), L02 é um raio incidente, e R02 é um raio refletivo.

A linha normal 1006 é vertical para o pIano refletivo 1003, e o ânguio entre a Iinha normal 1006 e a linha horizontal 1010 é t9. A distância vertical do ponto de reflexão para o centro óptico atual 02 da câmera C02 é d.

De acordo com os princípios de refletância de luz, a câmera fotografa uma imagem virtual, e a imagem virtual tem um centro óptico virtual 00. Se os valores de B e d forem corretamente estabelecidos, os centros ópticos virtu- ais das câmeras COl, C02 e C03 coincidem, e três imagens que comparti- lham um centro óptico são obtidas.

As três imagens são mixadas para obter uma imagem que é ininterruptamente mixada em qualquer profundidade.

Na projeção de uma câmera panorâmica, a localização do centro óptico da câ- mera é tão baixa quanto praticável para obter um efeito de olho-a-olho verti- cal melhor.

Se a altura geométrica da câmera for constante, um tal efeito pode ser realizado reduzindo a distância horizontal entre a câmera e o espe- Iho de reflexão.

Porém, aquela distância é restringida pelo tamanho da lente e visor da câmera, e reduz a perspectiva da fotografação, como mostrado na figura 4(C)- Outra solução para a câmera panorâmica é um modelo de agre- gação de multicâmeras.

Imagens múltiplas são fotografadas e mixadas digi- talmente para obter uma imagem panorâmica (câmera panorâmica no modo de agregação), como mostrada na figura 4(D). Porque o centro óptico está dentro da câmera, um tal modelo de câmera é incapaz de compartilhar o centro óptico contando somente com o layout da câmera.

Disparidade existe na sobreposição das imagens.

Tecnologias de processamento de imagens necessitam ser aplicadas para alcançar um efeito de mixagem bom.

Outro modo da câmera panorâmica é usar um arranjo de multicâmeras (câmera panorâmica no modo de arranjo de multicâmeras), como mostrado na figura 4(E). O arranjo de câmeras pode ser em formas diferentes de acordo com as diferentes cenas, por exemplo, arranjo linear, arranjo anelar, ou arranjo re- 5 tangular.

No arranjo de câmeras, cada câmera tem uma baixa resolução, e os intervalos entre as câmeras adjacentes são pequenos.

Uma sobreposição de fotografação grande existe.

A tecnologia de mixagem de imagens mixa as imagens das múltiplas câmeras de baixa resolução em uma imagem pano- râmica de alta resolução.

Os princípios básicos do algoritmo de mixagem de imagens são estimar os parâmetros internos (tais como comprimento focal, ponto principal, e distorção) das múltiplas câmeras e os parâmetros de loca-· lização intercâmeras (tais como matriz de giro, e vetor de tradução); por meio dos parâmetros estimados e do algoritmo, as imagens das múltiplas câmeras são alinhadas, a sobreposição é eliminada, as bordas são mistura- das, e a disparidade é eliminada para obter uma imagem panorâmica de aita resolução.

A tecnologia de mixagem de imagens bem conhecida é descrita abaixo.

Os princípios básicos do algoritmo de mixagem de imagens são estimar os parâmetros internos das múltiplas câmeras e os parâmetros de localização intercâmeras; por meio dos parâmetros estimados e do algorit-

mo, as imagens das múltiplas câmeras são alinhadas, a sobreposição é eli-

minada, as bordas são misturadas, e a disparidade é eliminada para obter uma imagem panorâmica de alta resolução.

De acordo com os princípios de geometria de projeção, quando um ponto espacial 3D é projetado para um pIano de imageamento da câmera, a relação de transformação é:

t=k[r i tjx (1)

K = rj i' ;j;) (2)

Na fórmula acima, F é a expressão homogênea das coordena-

d'as planares; Xé a expressão homogênea do sistema de coordenada mun-

dial; Jx e Jy são comprimentos focais equivalentes nas direções horizontais e verticais respectivamente; s é um coeficiente de distorção da imagem; e u0?v0 são coordenadas de pontos principais da imagem.

R é a matriz de giro da câmera, e t é o vetor de tradução da câmera.

K é um parâmetro in- temo da câmera, e R e t são parâmetros externos da câmera.

Para ima- 5 gens múltiplas que têm sobreposições e são fotografadas por meio de duas câmeras ou fotografadas por meio de uma câmera em localizações diferen- tes, a relação de imageamento de um ponto espacial em duas imagens é: L = FI,,8, (3)

H é uma matriz 3*3 cuja liberdade é 8. Ela representa a relação de transformação entre dois planos de imageamento, e é chamada uma ho- mografia.

Para um sistema de câmera de rotação puro ou um sistema de câmera de centro óptico comum envolvendo apenas movimento rotacional, H pode ser expresso como: H,, = K,R,R:'K,' (4)

Portanto, por meio de um algoritmo de extração de caracteristica tal como algoritmo de Transformada de Característica lnvariante de Escala (SIFT), as características são extraidas na sobreposição, características múltiplas são encontradas, e uma relação de emparelhamento entre as ca- racteristicas é estabelecida.

Conjuntos de equação múltiplos são criados por meio de (3), e a homografia entre duas imagens trabalhada durante um algo- ritmo de otimização iterativo.

Após H ser trabalhado, as duas imagens po- dem ser mixadas por meio de transformação de coordenadas, e os pixels na sobreposição são alinhados_ Para o rnodelo de câmera que gira apenas na direção horizontal, pode-se usar transformação de coordenadas cilíndricas para converter as coordenadas planares em coordenadas cilíndricas.

Nas coordenadas cilíndricas, os pixels são alinhados por meio de tradução de imagem.

A transformação e a transformação reversa das coordenadas cilín- dricas são: jc'-stan"'; x ftan{ (5)

y'=',ilx,j: f, y=f¥sec.F- s s (6J Após a imagem ser transformada de acordo com o método ante-

rior, outros fatores necessitam ser considerados antes de uma imagem de panorâmica ininterrupta antecipada ser obtida, Um fator principal é a dispari- dade.

Os algoritmos existentes podem manipular apenas a mixagem em uma certa profundidade da imagem, a saber, como a mixagem em um plano. 5 Teoricamente, é impossível mixar os objetos em outras profundidades inin- terruptamente por uma transformação.

Os objetos exceto aqueles nesta pro- fundidade envolvem margens.

É difícil eliminar as margens por meio do algo- ritmo de processamento de imagens.

Uma solução melhor é minimizar a dis- paridade por meio de um modelo de câmera de centro óptico comum.

Outro fator é a diferença de luminância/croma entre as imagens causadas pelas diferenças de exposição/cor entre as câmeras, especialmente na junção en- tre duas imagens.

Uma solução simples é executar mistura Alfa na sobrepo- sição da junta, e uma solução melhor é executar mistura de pirâmide Lapla- ciana ou mistura de domínio de gradiente na imagem em geral.

Após o pro- cessamento relevante ter acabado, uma imagem ininterrupta panorâmica melhor é obtida.

Para obter um efeito de olho-a-olho vertical melhor, a câmera panorâmica A7 é preferivelmente instalada em uma altura aproximadamente equivalente à linha de visão AIOO do participante presente (vide figura 2). A câmera panorâmica A7 é composta de várias câmeras coIoridas usuais.

Pa- ra rapidamente fotografar os objetos em movimento na cena, as câmeras coloridas necessitam ser sincronizadas.

Porque as imagens obtidas por meio de múltiplas câmeras não podem ser adequadas para mixagem diretamente.

Os três canais de imagens de vÍdeo necessitam ser mixados por meio de um algoritmo de mixagem de imagens para obter uma imagem panorâmica inin- terrupta.

Os canais múltiplos de fluxos de vÍdeo transmitidos pela câmera panorâmica A7 podem ser transmitidos diretamente ao dispositivo de comu- nicação de áudio-vídeo A8 que mixa as imagens.

Alternativamente, a câme- ra panorâmica A7 é diretamente conectada a um dispositivo de terceiros (não ilustrado na figura) para mixagem das imagens.

Após conclusão da mi- xagem, a imagem panorâmica é introduzida no dispositivo de comunicação de áudio-vídeo A8. Alternativamente, a câmera panorâmica A7 mixa as ima-

gens, e introduz a imagem mixada no dispositivo de comunicação de áudio- vÍdeo A8 por meio de um ou mais fluxos de vídeo de canais.

O dispositivo capaz de mixar as imagens é chamado aqui uma unidade de mixagem.

Os princípios da unidade de mixagem são descritos acima, e a relação de cone- 5 xão entre a unidade de mixagem e as outras unidades é descrita no texto seguinte junto à figura 6. Com respeito à exibição, um projetor simples não pode exibir a imagem panorâmica corretamente.

Preferivelmente, a imagem panorâmica é dividida em várias partes, e cada projetor exibe uma parte da imagem.

Porque os projetores diferem em localização, luminância e croma, a imagem panorâmica dividida necessita ser corrigida geometricamente, e a junção entre as imagens adjacentes necessita ser eliminada por meio de mistura de luminância/croma.

Uma tal função é executada por um dispositivo de terceiros independente (não ilustrado na figura), ou integrado no disposi- tivo de comunicação de áudio-vídeo A8. O dispositivo capaz de corri- gir/misturar a imagem é chamado aqui uma unidade de correção/mistura.

Para detalhes, vide a descrição junto à figura 6 depois.

Para ocultar a câme- ra panorâmica A7, a cor da câmera é preferivelmente igual à cor do fundo do fole da câmera A6 de atrás de modo que a câmera é dificilmente notável ao usuário.

Na figura que ilustra a primeira modalidade, a câmera panorâmi- ca 7 é colocada verticalmente, e os raios incidentes são refletidos diretamen- te na câmera por meio de um espelho de reflexão.

Na prática, a trajetória óptica do raio incidente é alterada por meio de refletância repetida, e a câ- mera panorâmica pode ser colocada como requerido.

A figura 5 mostra uma solução para colocar a câmera panorâmica horizontalmente.

Um visor 2 é adicionado acima do visor 1 da câmera panorâmica, Portanto, os raios hori- zontalmente transmitidos são alterados para raios verticalmente transmiti- dos, e a localização da câmera pode ser alterada.

Porque há múltiplas câ- meras, um plano de refletância apropriado necessita ser projetado no lado superior de cada câmera.

Para impedir a imagem Iocal A fotografada pela câmera pano- râmica A7 de ser afetada pela imagem projetada pelo projetor a9, preferi-

velmente, a primeira modalidade da presente invenção usa um método de divisão de tempo para coordenar a coleta da câmera A7 com a projeção do projetor A9. De acordo com o método de divisão de tempo, os modos de funcionamento do sistema são categorizados em dois modos: modo de exi- 5 bição visual e modo de coleta.

No modo de exibição visual, o projetor A9 projeta a imagem do terminal remoto B para uma tela de projeção transpa- rente A4. Neste momento, a câmera panorâmica A7 é inativa e não coleta os sinais; no modo de coleta, o projetor A9 fica inativo e não projeta as ima- gens, e a câmera panorâmica A7 fotografa a cena por meio de uma tela de projeção transparente A4. Para coordenar a câmera A7 e o projetor A9, uma unidade de sincronização especial A16 é requerida para produzir sinais de sincronização na câmera panorâmica A7 e no projetor A9, e controla o modo de füncionamento dos dois dispositivos.

Por exemplo, a unidade de sincroni- zação A16 controla a câmera panorâmica A7 para coletar os sinais no inter- valo de retorno vertical entre dois quadros/cenas das imagens do projetor A9. Neste momento, porém, o tempo de exposição da câmera panorâmica A7 é mais curto, e a luminância da imagem é inferior.

Para soIucionar tais problemas, a câmera de um tempo de exposição mais curto pode ser aplica- da, ou a taxa de renovação do projetor pode ser reduzida.

Como descrito acima, a câmera panorâmica B7 obtém uma ima- gem panorâmica da cena do usuário remoto B15, e a imagem é apresentada localmente em uma tela de projeção A4. Portanto, o usuário local A15 sente- se como se o usuário estivesse rodeado pela cena remota, e percebe uma imagem panorâmica e ininterruptamente exibida, sem a impressão notável de falar com uma tela.

O sentido de imersão do usuário é intensificado.

Além disso, a imagem do usuário remoto B15 é apresentada em uma tela de pro- jeção transparente local A4, e os arredores do usuário remoto B15 são um fundo escuro, e não será imageado na tela de projeção transparente A4. Portanto, o usuário local A15 pode ver o fundo A6 do fole da câmera A5 por meio de uma tal parte.

Uma distância física existe entre a tela de projeção transparente A4 e o fundo A6 do fole da câmera A5, e o fundo A6 do fole da câmera A5 é especialmente decorado, que traz uma ilusão de profundidade ao usuário.

Portanto, o usuário local A15 percebe a profundidade da imagem do usuário remoto B15. Além disso, como controlado pela unidade de sin- cronização A16, a câmera panorâmica A7 é livre de impacto da projeção do projetor A9 ao fotografar a imagem local A. lgualmente, a câmera panorâmi- 5 ca B7 é livre de impacto da projeção do projetor B9 ao fotografar a imagem remota B.

Portanto, as câmeras podem ser colocadas atrás do centro da tela de projeção ao longo da linha de visão do participante presente, desse modo evitando disparidade vertical e permitindo o participante presente oposto a desfrutar de contato visual.

A unidade de sincronização A16/B16 permite comunicação de vídeo face-a-face.

Além disso, o sistema de telepresença envolve tarefas de colaboração remotas, por exemplo, duas equipes de projeto necessitam ver o protótipo de projeto.

Os sistemas de telepresença existentes suportam VÍ- deos 2D apenas, e o usuário não pode ver um objeto que assume um senti- do de profundidade.

A solução proposta nesta modalidade pode usar uma câmera estereoscópica como uma câmera objetiva para realizar vÍdeos 3D ao apresentar o objeto.

Como mostrado na figura 2, a câmera estereoscópi- ca BlO no terminal remoto B coleta a informação de imagem 3D de um obje- to a ser apresentado, por exemplo, "imagem do olho esquerdo + imagem do olho direito", ou "imagem do olho esquerdo + imagem de profundidade", e introduz a informação no dispositivo de comunicação de áudio-vídeo B8 ca- paz de codificação de vÍdeo 3D.

O dispositivo de comunicação de áudio- vÍdeo B8 processa a imagem 3D, codifica a imagem, e envia a mesma para o dispositivo de comunicação de áudio-vídeo A8 no terminal local A.

O dis- positivo de comunicação de áudio-vídeo A8 no terminal local A decodifica e apresenta os fluxos de código de vídeo 3D.

Se um dispositivo de presença de vídeo 3D existir localmente, o vÍdeo é apresentado como vÍdeo 3D; do contrário, o vÍdeo é apresentado como vÍdeo 2D.

Por exemplo, se o monitor auxiliar A12 no terminal local A for um monitor 3D, o dispositivo de comuni- cação de áudio-vídeo A8 transmite um vÍdeo do formato 3D para A12 para exibição.

Se o monitor auxiliar local A12 for um monitor usual 2D, o dispositi- vo de comunicação de áudio-vídeo A8 produz um vÍdeo do formato 2D para

A12 para exibição.

Os dispositivos de presença de vÍdeo 3D incluem óculos 3D, monitor estereoscópico automático, e monitor 3D de multiperspectivas.

Para dar experiência de áudio imersivo agradável, um arranjo de microfones A3 e um arranjo de alto-falantes A11 são preferidos para apre- 5 sentar áudios.

Os fundos do arranjo de microfones e do arranjo de alto- falantes são esboçados abaixo.

Em um sistema de telepresença, a recorrên- cia do áudio inclui a recorrência de acústica e a recorrência do sentido este- reoscópico.

A recorrência de acústica pode ser realizada por meio de um algoritmo de compressão de frequência eficiente ampla.

O sentido estereos- lO cópico traz impressão das localizações e direções, intensifica a impressão de estar na mesma sala, torna a voz mais compreensível, e torna o orador rapidamente identificável.

A primeira modalidade da presente invenção usa microfones múltiplos ou arranjos de microfones para coletar os áudios, e usa alto-falantes múltiplos ou arranjos de alto-falantes para apresentar áudios, desse modo melhorando o efeito de recorrência do sentido estereoscópico do som.

O arranjo de microfones é um sistema de microfones unidirecionais distribuido em uma certa estrutura geométrica.

Um microfone direcional tra- dicional em geral coleta apenas urn canal de sinais, mas um sistema de ar- ranjo de microfones coleta múltiplos canais de sinais.

Porque os microfones estão diferentemente Iocalizados, os dados coletados diferem cronológica ou espacialmente.

Por meio da tecnologia de processamento de sinal, a infor- mação requerida pode ser de canais múltiplos de sinais.

O sistema de arran- jo de microfones é caracterizado por meio de seleção de espaço.

Os feixes gerados pelo microfone visam a fonte de som, e suprimem o som de outros oradores e o ruído do ambiente, desse modo tornando os sinais de fonte de som de alta qualidade.

Correntemente, o posicionamento da fonte de som é um cenário de aplicação principal do arranjo de microfones.

O posiciona- mento com base em um arranjo de microfones é determinar a localização espacial da fonte de som usando os microfones distribuídos em um layout geométrico específico.

Se o algoritmo de posicionamento da fonte de som com base em um arranjo de microfones entra em três tipos: tecnologia de formação de feixe controlável com base na potência de saída máxima, tec-

nologia de determinação da direção com base na estimação do espectro de alta resolução, e tecnologia com base na Diferença do Tempo de Chegada (TDOA). O primeiro método é filtrar os sinais de voz recebidos pelo arranjo de microfones, resumir o valor ponderado dos sinais de voz, e depois contro- 5 lar o microfone para apontar para a direção que faz a potência de saída má- xima do feixe.

O segundo método é determinar o ângulo de direção traba- lhando a matriz relevante entre os sinais de microfone, e determinar a locali- zação da fonte de som.

O terceiro método é trabalhar as diferenças de tem- po do som que chega aos microfones em localizações diferentes, usar tais diferenças de tempo para trabalhar as diferenças de distância do som que chega aos microfones em localizações diferentes, e depois determinar a Io- calização da fonte de som por meio de pesquisa ou conhecimento geométri- co.

O arranjo de alto-falantes pode reconstruir e reproduzir o campo de som de acordo com os sinais de áudio de entrada e informação de localização.

O arranjo de alto-falantes pode combinar as múltiplas unidades de campo de som de um certo modo para amplificar o som.

Comparado com um alto- falante só que radia som diretamente, o arranjo de alto-falantes aumenta a potência do som, aumenta o efeito de radiação do som no caso de frequên- cia baixa, melhora a direcionalidade e desigualdade do campo de som, e melhora a clareza da voz em um ambiente de reverberação.

O arranjo de alto-falantes pode ser com base em uma tecnologia de síntese de onda fron- tal.

O arranjo de microfones A3 pode ser um arranjo de microfones Iinear ou um arranjo de microfones circular, e é colocado na mesa ou sus- penso do teto.

O arranjo de alto-falantes A11 inclui muitos alto-falantes que são integrados com o fole da câmera A5. A direção de distribuição dos alto- falantes é igual à direção de distribuição dos participantes presentes remotos exibidos na tela de projeção A5. No processo de conferência, por meio do arranjo de microfones B3 no terminal remoto B, o dispositivo de comunica- ção de áudio-vídeo B8 pode detectar a Iocalização de um participante pre- sente falando B15, e transmitir os sinais de áudio no terminal remoto B e a informação de localização do participante presente B15 para o dispositivo de comunicação de áudio-vídeo A8 no terminal local A.

O arranjo de alto- falantes A11 pode reconstruir e reproduzir o campo de som de acordo com os sinais de áudio de entrada e informação de localização.

Desse modo, o usuário Iocal A15 percebe que o som do usuário remoto B15 é proferido da 5 localização B15 na tela, e obtém a experiência como uma conversa face-a- face.

A figura 6 exibe o fluxograma de funcionamento do sistema da primeira modalidade onde o terminal remoto B transmite a informação de áudio e vÍdeo para o local A.

No terminal remoto B, a câmera panorâmica B7 (composta de múltiplas câmeras) coleta as imagens das cenas em perspectivas diferentes de forma sÍncrona sob controle da unidade de sincronização B16. As múlti- plas imagens coletadas são enviadas à unidade de mixagem para mixagem em uma imagem panorâmica de uma cena remota B.

Esta imagem panorâ- mica é transmitida da unidade de mixagem, processada e outra saída para a unidade de codificação de vÍdeo 1 para codificação, e depois transmitida por meio de uma rede de domínio de pacote trocado na forma de fluxos de códi- go de pacote.

É merecedor de atenção que a resolução das imagens mixa- das possa ser muito alta, e uma unidade de codificação de vÍdeo 1 não pos- sa codificar a imagem mixada em tempo real.

A imagem mixada pode ne- cessitar ser dividida em várias partes, e transmitida de forma sÍncrona dos múltiplos codificadores de vÍdeo para codificação.

Após codificar, a imagem pode formar um ou mais fluxos de código que são transmitidos por meio da rede de domínio de pacote trocado.

Devido à codificação distribuida e a de- mora e agitação causadas na transmissão de rede, os fluxos de código po- dem ficar fora da sincronização.

Portanto, os fluxos de código podem neces- sitar ser marcados (por exemplo, por meio de carimbos de tempo). No deco- dificador, os fluxos de código são sincronizados de acordo com as marca- ções. lgualmente, o arranjo de microfones no terminal remoto B coleta os sinais de áudio da cena, e codifica os sinais por meio de uma unidade de codificação de áudio para formar fluxos de código de áudio codificados que são transmitidos por meio da rede na forma de pacotes de dados.

Para im-

pedir perda de sincronização entre o áudio e o vÍdeo, é melhor fazer sincro- nização labial para os dados de áudio e os dados de vÍdeo.

Sincronização labial é uma técnica anterior no campo de áudio e vÍdeo, e não é repetida aqui mais.

Porque o terminal remoto B usa um arranjo de microfones para 5 coletar os sinais de áudio, o algoritmo de posicionamento de áudio é tam- bém capaz de calcular a informação de localização de um participante pre- sente falando- A informação de Iocalização pode ser transmitida no terminal local por meio da rede.

Além da câmera panorâmica B7, uma ou mais câme- ras objetivas BlO fotografam os objetos que necessitam ser apresentados na cena.

Se houver múltiplas câmeras objetivas BlO, elas podem compensar uma câmera estereoscópica obtendo a imagem 3D da cena.

Neste caso, uma unidade de sincronização B16 também existe entre as câmeras para sincronizar a coleta.

Um ou mais fluxos de vÍdeo da câmera objetiva BlO são introduzidos na unidade de codificação de vÍdeo 2 para codificação.

A uni- dade de codificação de vÍdeo 2 suporta formatos de codificação de vÍdeo 2D/3D, e os dados de fluxo de código codificados são transmitidos por meio da rede de domínio de pacote trocado.

No terminal local A, a unidade de codificação de vÍdeo 1 recebe os fluxos de código de vÍdeo panorâmicos do terminal remoto B para decodi- ficação.

Porque a resolução da imagem panorâmica pode ser muito alta, uma unidade de decodificação de vÍdeo 1 não pode terminar a decodificação da imagem, e múltiplas unidades de codificação de vÍdeo podem necessitar trabalhar simultaneamente.

Na decodificação, a sequência de executar os quadros de imagem de vÍdeo necessita ser determinada de acordo com a marcação de sincronização nos fluxos de código.

Após decodificar, a(s) ima- gem(ns) pode(m) ser uma imagem panorâmica completa ou múltiplas ima- gens divididas.

Para uma imagem panorâmica completa, a imagem necessi- ta ser dividida em múltiplas imagens que são transmitidas para múltiplos pro- jetores A9 de forma sincrona.

Os múltiplos projetores A9 apresentam as j- magens na tela de projeção A4 ininterruptamente.

Antes de o projetor apre- sentar a imagem, porque os projetores diferem em localização, luminância, e croma, a imagem é preferivelmente corrigida geometricamente por meio de uma unidade de correção/mistura, e a junção entre as imagens adjacentes necessita ser eliminada por meio de mistura de luminância/croma.

Os fluxos de codificação de dados de áudio são decodificados pela unidade de decodi- ficação de áudio em sinais de dados de áudio que são transmitidos ao arran- 5 jo de alto-falantes.

De acordo com a informação de localização do participan- te presente sobre o terminal remoto B, o arranjo de alto-falantes pode sele- cionar um ou mais alto-falantes mais próximos ao participante presente re- moto exibido na tela de projeção a4 para apresentar o áudio do participante presente remoto.

Os fluxos de código de vÍdeo da câmera objetiva BlO no lado oposto B são decodificados pela unidade de decodificação de vÍdeo 2, e apresentados pelo monitor auxiliar A12. Se o monitor auxiliar A12 suportar vÍdeo 3D, os vídeos são apresentados como vÍdeos 3D; se o monitor auxiliar A12 suportar vídeos 2D apenas, os vÍdeos são apresentados como vÍdeos 2D.

Portanto, um dispositivo de comunicação de áudio-vídeo completo A8 ou B8 inclui: uma unidade de mixagem, unidade de codificação de vÍdeos 1 e 2, uma unidade de codificação de áudio, unidade de decodificação de vídeos 1 e 2, e uma unidade de decodificação de áudio.

A figura 7 é a segunda forma em plano de um layout da sala de conferência em um sistema de telepresença na primeira modalidade da pre- sente invenção, e a figura 8 é o segundo diagrama esquemático de um sis- tema de telepresença na primeira modalidade da presente invenção.

A solu- ção é baseada na tecnologia de projeção frontal.

O projetor A9 pode ser co- locado em frente à tela de projeção A4, e suspenso acima da mesa de con- ferência A2 (como mostrado na figura) ou abaixo da mesa de conferência para projeção.

A solução é superior porque os raios emitidos pelo projetor A9 não causam nenhuma interferência ao usuário, A figura 9 é a terceira forma em plano de um layout da sala de conferência em uma soIução simplificada na primeira modalidade da presen- te invenção.

A figura 10 é o terceiro diagrama esquemático de um layout da sala de conferência em uma solução simplificada na primeira modalidade da presente invenção.

Na solução simplificada, a câmera panorâmica A7 é co- locada acima da tela de projeção A4 para obter uma imagem panorâmica da cena.

Neste caso, nenhuma unidade de sincronização A16 é requerida para sincronizar a coleta da câmera panorâmica A7 e a projeção do projetor A9, desse modo simplificando o projeto e reduzindo o custo da câmera panorâ- mica A7 e do projetor A9. Porém, porque a câmera panorâmica 7 não é co- 5 locada na linha de visão do usuário A15, o efeito de olho-a-olho vertical dete- riora-se.

Em gerai, se a diferença de perspectiva vertical for menos de sete graus (<7°), o efeito de olho-a-olho vertical é aceitável.

Para reduzir a pers- pectiva vertical, o visor da câmera panorâmica A7 pode ser colocado abaixo da câmera colorida.

Na solução simplificada mostrada na figura 9 e na figura 10, a te- la de projeção a4 pode ser uma tela de projeção transparente holográfica ou uma tela de projeção usual.

Com uma tela de projeção holográfica, o usuário pode perceber a profundidade da cena; com o projetor traseiro usual, é im- possível apresentar o sentido de profundidade da cena, e o fundo A13 atrás do usuário e o fundo A6 do fole da câmera A5 não necessitam ser decora- dos especialmente.

Pode ser visto da descrição acima que, nas três soluções na primeira modalidade, uma câmera panorâmica (A7 ou B7) é empregada, o panorama da sala de conferência local pode ser fotografado, e o participante presente oposto pode obter um panorama de conferência, desse modo tra- zendo um bom efeito de apresentar o panorama no sistema de telepresença.

Não importa se a tela de projeção A4 (B4) é uma tela de proje- ção usual ou uma tela de projeção transparente holográfica, a tela de proje- ção apresenta as imagens de um modo integrado, desse modo implemen- tando presença ininterrupta e superando o defeito trazido pelos flanges da televisão quando múltiplas televisões planas são combinadas.

Preferivelmente, a tela de projeção a4 (B4) é uma tela de proje- ção transparente holográfica que provê presença de profundidade para os participantes presentes, Preferivelmente, por meio de controle de uma unidade de sin- cronização A16 (B16), a câmera panorâmica A7 (B7) é Iivre de impacto cau- sado pela projeção de imagem do projetor A9 (B9) ao fotografar as imagens no terminal Iocal A (terminal remoto B), desse modo evitando perspectivas verticais e permitindo o participante presente oposto a desfrutar do contato visual.

A câmera panorâmica A7 (B7) pode também ser colocada acima da tela de projeção A4 (B4) para obter uma imagem panorâmica da cena.

Neste 5 caso, a unidade de sincronização A16 (B16) é omissiva, desse modo simpli- ficando o projeto e reduzindo o custo.

Para reduzir as perspectivas verticais, o visor da câmera panorâmica A7 (B7) pode ser colocado abaixo da câmera colorida.

Preferivelmente, o projetor A9 (B9) é fixado no fole da câmera A5 (B5) de modo que o projetor A9 seja livre de impacto de luz ambiental.

O projetor A9 (B9) pode ser coIocado em frente à tela de projeção A4 (B4) por meio de uma tecnologia de projeção frontal, ou suspenso acima da mesa de conferência ou abaixo da mesa de conferência.

Desse modo, os raios do projetor A9 (B9) não causam nenhuma interferência para o usuário na proje- ção transparente holográfica.

A segunda modalidade da presente invenção é descrita abaixo.

A figura 11 é uma forma em plano de um layout da sala de con- ferência em um sistema de telepresença na segunda modalidade da presen-- te invenção.

Correspondendo à figura 11, a figura 12 é o primeiro diagrama esquemático de um sistema de telepresença na segunda modalidade da presente invenção.

Na segunda modalidade, o fole de câmera é omitido, e a tela de projeção 4 é colocada diretamente defronte às poltronas 1A, 1B, e lC.

Em projeto atual, a tela de projeção pode ser projetada como uma estru- tura de elevação.

A tela de projeção 4 é elevada para cima ou ocultada na mesa 2 quando ficar inativa, e cai ou surge da mesa 2 quando funcionar.

Desse modo, a mesa 2 pode ser usada para conferências usuais quando nenhuma videoconferência estiver em andamento.

Porque a tela de projeção 4 é muito fina, o alto-falante pode ser um alto-falante de painel plano muito fino colocado abaixo da tela de projeção 4: ou um módulo vibratório é dire- tamente encaixado sobre a tela de modo que a tela se torna um alto-falante.

Para realizar um efeito de olho-a-olho vertical bom, a câmera panorâmica 7 pode ser ocultada na parede do fundo 14 atrás da tela de projeção 4. Por meio de decoracão especial, a câmera panorâmica 7 e a parede do fundo 14 ;P são misturadas.

O projetor 9 necessita ser sincronizado de certo modo com a câmera panorâmica 7 por meio de uma unidade de sincronização A16 descrita na primeira modalidade.

O projetor 9 nesta modalidade pode em- 5 pregar um modo de projeção frontal (mostrado na figura 11) ou modo de pro- jeção traseira.

Outra solução de projeto na segunda modalidade 2 é pôr a câ- mera panorâmica 7 acima da tela de projeção A.

A figura13 é o segundo di- agrama esquemático de um sistema de telepresença na segunda modalida- lO de da presente invenção.

Em prática, um flange de suporte de uma espessu- ra especifica é projetado, a tela de projeção A4 é embutida no flange, e a câmera panorâmica A7 é colocada em frente ao flange ou embutida no flan- ge.

No caso, nenhuma unidade de sincronização é requerida para sincroni- zar a coleta da câmera panorâmica A7 e a projeção do projetor a9. Porém, porque a câmera panorâmica 7 não é colocada na linha de visão do usuário A15, o efeito de olho-a-olho vertical deteriora-se.

Em geral, se a diferença de perspectiva vertical for menos de sete graus ("7°), o efeito de olho-a-olho vertical é aceitável.

Para reduzir a perspectiva vertical, o visor da câmera panorâmica A7 pode ser colocado abaixo da câmera coIorida.

Na segunda modalidade, como mostrado na figura 11, porque a tela de projeção 4 é colocada diretamente oposta à poltrona, a tela de proje- ção pode ser retraída quando for inativa.

Portanto, esta solução é compatível com a conferência tradicional.

Ou seja, os dispositivos relevantes podem ser ocultados quando nenhuma conferência de telepresença estiver em anda- mento, e a sala de conferência fica disponlvel para conferências usuais.

A terceira modalidade da presente invenção é descrita abaixo.

A figura14 é uma forma em plano de um layout da sala de confe- rência em um sistema de telepresença na terceira modalidade da presente invenção.

A figura15 é um diagrama esquemático de um sistema de telepre- sença na terceira modalidade da presente invenção.

A terceira modalidade ainda simplifica a solução.

Em vez de uma tela de projeção, televisões de tamanho grande 30A, 30B, e 30C são mixadas em um sistema de exibição.

As televisões podem ser televisão de LCD, televisão de PDP, ou televisão de retroprojeção de Processamento de Luz Digital (DLP). A câmera panorâ- mica A7 é colocada acima do monitor para fotografar a cena local.

Porque a presença da televisão não pode transmitir o efeito de profundidade, o fundo 5 A13 atrás do usuário e o fundo A6 do fole da câmera não necessitam de ne- nhuma decoração especial.

Pode ser visto da descrição acima que a terceira modalidade é uma atualização com base no sistema de telepresença existente.

Dá um e- feito bom de presença panorâmica apenas substituindo a câmera usual com uma câmera panorâmica.

A quarta modalidade da presente invenção é descrita abaixo.

A figura 16 mostra um sistema de telepresença na quarta moda- lidade da presente invenção.

Um espelho semitransparente semirrefletivo é usado nesta modalidade para apresentar profundidade.

A tela de projeção transparente holográfica é substitulda com um espelho semitransparente semirrefletivo A21. O espelho semitransparente semirrefletivo é instalado em frente ao fole da câmera.

A tela de projeção A22 fica Iateralmente acima do espelho semitransparente semirrefletivo, e um certo ângulo existe entre a tela de projeção e o espelho semitransparente semirrefletivo.

A tela de pro- jeção a22 forma imagens por meio de retroprojeção.

As imagens projetadas pelo projetor A9 são refletidas pelo espelho de reflexão A23, e depois altera para imagens na tela de projeção a22. O espelho semitransparente semirre- fletivo A21 transforma as imagens em A22 em imagens virtuais A1O1, e faz o local A1 5 ver as imagens em uma certa profundidade.

A câmera panorâmica A7 coleta as imagens do usuário por meio do espelho semitransparente se- mirrefletivo A21, e são misturadas com o fundo A6 do fole da câmera A5. Um fundo escuro atrás do usuário remoto permite o fundo local A6 decorado especialmente ser visível ao usuário local A15 por meio da área escura, ex- ceto a área luminosa onde o corpo do usuário remoto está situado.

Porque uma distância fisica existe entre a imagem A1O1 do usuário remoto visível para o usuário local e o fundo local A6, parece como se a imagem do usuá- rio remoto no olho do usuário local estivesse em frente ao fundo.

Será ob-

servado que o espelho de reflexão A23 é opcional.

Quando o espelho de reflexão A23 for omitido, o projetor A9 pode empregar a solução de projeção frontal.

Pode ser visto da descrição acima que a quarta modalidade rea- 5 liza presença panorâmica por meio de uma câmera panorâmica A7, e realiza presença de profundidade e contato visual por meio de um espelho semi- transparente semirrefletivo A21 com base na realização de exibição ininter- rupta por meio de projeção.

A quinta modalidade da presente invenção é descrita abaixo.

A figura 17 é um diagrama esquemático de um sistema de tele- presença na quinta modalidade da presente invenção.

Esta modalidade em- prega um componente de condução óptica transparente A25 tendo uma área de redireção óptica A25 para introduzir as imagens.

Como um dispositivo de guia de luz, A24 transmite a imagem do participante presente A15 para a câmera panorâmica A7 no fundo do fole da câmera A5 somente por meio de reflexão interna.

Como mostrado na figura, o raio incidente A102 é refletido repetidamente entre as duas superfícies internas A26 e A27 do componente de guia de luz, e é radiado por fim como um raio emergente A103 no fundo do fole da câmera A5 e coletado pela câmera panorâmica A7. O componen- te de condução óptica é colocado em frente à tela de projeção a4, e a área de entrada A25 cobre a superfície da tela de projeção A4. O A25 necessita ser transparente o bastante para impedir causar interferência para o usuário A15. As superfícies internas A26 e A27 da área de entrada podem ser reali- zadas por meio de gradeamento holograficamente derivado.

O componente é um painel transparente composto de vidro ou plástico.

Pode ser visto da descrição acima que a quinta modalidade rea- liza presença panorâmica por meio de uma câmera panorâmica A7, realiza exibição ininterrupta por meio de uma tela de projeção A4, e realiza contato visual por meio de um componente de condução óptica A25. Preferivelmen- 'te, a tela de projeção a4 é uma tela de projeção transparente holográfica capaz de apresentar profundidade.

A sexta modalidade da presente invenção é descrita abaixo.

Esta modalidade realiza um sistema de telepresença panorâmi- co que suporta o efeito de olho-a-olho vertical por meio de um polarizador.

Os principios da luz polarizada bem conhecida são esboçados abaixo. 5 Ondas de luz são ondas transversais.

Ou seja, a direção de vi- bração do vetor de onda de luz é vertical à direção de propagação da luz.

Em geral, a vibração do vetor de onda de luz assume uma tendência irregu- . lar na direção vertical para a direção de propagação de luz para a onda de luz emitida de uma fonte luminosa.

De modo variado, em todas as direções no espaço, a distribuição dos vetores de onda de luz é julgada como com- partilhando chances iguais.

Sua soma é simétrica com àquela na direção de propagação de luz.

Ou seja, o vetor de luz é caracterizado por simetria axial, distribuição pIana, e amplitude igual de vibração em todas as direções.

Tal luz é chamada Iuz natural.

Luz polarizada refere-se à onda de iuz cuja dire- ção da vibração do vetor de luz não altera ou altera regularmente.

Depen- dendo da natureza, a luz polarizada é categorizada em luz polarizada planar (luz polarizada linear), luz polarizada circular, luz polarizada elíptica, e luz parcialmente polarizada.

Se a direção de vibração do vetor elétrico da onda de luz for limitada a um plano definido, a luz poIarizada é chamada Iuz poIa- rizada pIanar; e, se a órbita for uma linha reta no processo de propagação, a luz polarizada é chamada luz polarizada linear.

Se o vetor elétrico da onda de luz altera regularmente com tempo, a saber, a órbita de extremidade do vetor elétrico é verticalmente uma linha reta no processo de propagação, a luz polarizada é chamada luz polarizada linear.

Se o vetor elétrico da onda de luz altera regularmente com tempo, a saber, a órbita de extremidade do vetor elétrico é circular ou elíptica no pIano vertical para a direção de propa- gação, a luz polarizada é chamada luz polarizada circular ou elíptica.

Se a vibração do vetor elétrico da onda de Iuz é relativamente dominante apenas em uma direção específica no processo de propagação, a Iuz polarizada é chamada uma luz parcialmente polarizada.

Um polarizador é um filme fino feito manualmente.

Partículas de cristal que absorvem seletivamente são dispostas regularmente nas camadas transparentes de um modo especial para formar o polarizador.

O polarizador é permeável à luz em uma certa direção de vibração do vetor elétrico (esta direção é chamada uma direção de polarização), mas absorve a Iuz verticalmente vibrante, a saber, o polari- zador assume dicroismo. 5 A figura 18 é um diagrama esquemático de um sistema de tele- presença na sexta modalidade da presente invenção.

Nesta modalidade, um poIarizador linear é coIocado em frente à Iente do projetor A9 e à câmera panorâmica A7. O ângulo de polarização do polarizador linear do projetor A9 é diferente do ângulo de polarização do polarizador linear da câmera pano- lO râmica A7. (A direção de polarização do polarizador em frente à câmera pa- norâmica é diferente da direção de polarização da luz projetada pelo proje- tor. lsto é porque, de acordo com os princípios de luz polarizada, a luz proje- tada pelo projetor neste caso não pode entrar na câmera por meio do poIari- zador em frente à câmera panorâmica). Em condições ideais, a diferença são 90 graus.

Ou seja, a direção de polarização do projetor A9 é vertical à direção de polarização da câmera panorâmica A7. Por exemplo, a direção de polarização do projetor A9 é vertical, mas a direção de polarização da câmera panorâmica A7 é horizontal.

Uma tela de projeção A4 feita de mate- riais especiais pode ser usada em vez do polarizador em frente à câmera.

A tela de projeção é uma tela semitransparente entrelaçada do material de po- larizador A41 da câmera panorâmica A7 e outros materiais A42. Desse mo- do, a luz polarizada circular introduzida da cena altera a luz polarizada Iinear horizontal após atravessar a tela de projeção A4, e pode ser coletada pela câmera panorâmica A7; a luz projetada pelo projetor A9 é luz polarizada li- near vertical e não pode atravessar o polarizador linear horizontal da câmera A7, e desse modo não é coletável pela câmera A7. Desse modo, a fotogra- fação da câmera panorâmica A7 e a projeção do projetor A9 não geram ne- nhuma interferência.

Pode ser visto da descrição acima que a sexta modalidade reali- za presença panorâmica por meio de uma câmera panorâmica A7, realiza exibição ininterrupta por meio de uma tela de projeção A4, e realiza contato visual por meio do polarizador adicionado em frente à câmera e ao projetor.

A sétima modalidade da presente invenção é descrita abaixo.

A sétima modalidade visa solucionar o layout do fundo escuro a- trás do usuário nas soluções precedentes- Na solução precedente para a- presentar profundidade, o fundo atrás do usuário necessita ser fixado como 5 um fundo escuro, por exemplo, uma cortina preta ou parede pintada de pre- to.

Um tal fundo pode ser inaceitável ao usuário em alguns quartos de confe- rência.

Por exemplo, o usuário sente que o fundo escuro não está harmoni- zado com o projeto de decoração da sala de conferência- A figura 19 é o primeiro diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção.

Um projetor do fundo A50 é usado para projetar o fundo do usuário a ser exibido sobre uma cortina de projeção preta pura A13. O projetor do fundo A50 está conectado com a unidade de sincronização A16. A unidade de sincronização A16 coor- dena a coleta da câmera panorâmica A7 e a projeção do projetor do fundo A50. De acordo com o método de divisão de tempo, os modos de funciona- mento de um tal sistema são categorizados em dois modos: modo de proje- ção de fundo e modo de coleta de câmera.

No modo de projeção de fundo, o projetor do fundo A50 projeta o fundo em uma cortina preta A13. Neste mo- mento, a câmera panorâmica A7 é inativada e não coleta os sinais.

No modo de coleta de câmera, o projetor do fundo A50 é inativo e não projeta ima- gens, e a câmera panorâmica A7 fotografa a cena.

Neste caso, o fundo do usuário A15 fotografado pela câmera panorâmica A7 é um fundo escuro.

O fundo local visto pelo usuário não é preto, mas é uma imagem projetada peio projetor do fundo A50 apenas se o deslocamento for bastante rápido.

A ima- gem é substituível, e pode estar em harmonia com a decoração da sala de conferência.

A figura 20 é o segundo diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção.

Na figura 20, um polarizador linear é adicionado em frente ao projetor do fundo A50 de modo que a luz projetada na parede do fundo seja Iuz polarizada linear.

Ou- tro polarizador linear é adicionado em frente à câmera panorâmica A7, e o ângulo de polarização deste polarizador é vertical ao ângulo de polarização do polarizador em frente ao projetor do fundo A50. Desse modo, a luz de fundo projetada pelo projetor do fundo A50 não é coletável pela câmera pa- norâmica A7, e a luz da lãmpada da sala de conferência refletida por uma pessoa do primeiro plano é polarizada circularmente, e pode ser fotografada 5 pela câmera A7. Portanto, o fundo atrás da pessoa é preto na imagem foto- grafada, desse modo solucionando o problema de fundo escuro.

A figura 21 é o terceiro diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção.

Na figura 21, um monitor do fundo de tamanho grande A51 é aplicado atrás do usuário para exibir a imagem do fundo.

O monitor do fundo A51 é conectado à unidade de sincronização A16. A unidade de sincronização A16 coordena a coleta da câmera panorâmica A7 e da exibição do monitor do fundo A51. De acordo com o método de divisão de tempo, os modos de funcionamento do sistema são categorizados em dois modos: modo de exibição do fundo e o modo de coIeta da câmera.

No modo de exibição do fundo, o monitor do fundo A51 exibe a imagem normal.

Neste momento, a câmera panorâmica A7 é inati- vada e nâo coleta os sinais.

No modo de coleta da câmera, o monitor do fundo A51 exibe uma imagem do fundo preto puro, e a câmera panorâmica A7 fotografa a cena.

A imagem vista pelo usuário e exibida por A51 não é preta apenas se o deslocamento for bastante rápido.

A figura 22 é o quarto diagrama esquemático de um sistema de telepresença na sétima modalidade da presente invenção.

Na figura 22, um monitor do fundo grande A51 é colocado atrás da pessoa, um polarizador linear é adicionado em frente ao monitor do fundo A51, e outro polarizador linear é adicionado em frente à câmera panorâmica A7. Se o monitor do fun- do A51 for um monitor de LCD, a luz de fundo emitida pelo LCD é luz polari- zada.

Portanto, apenas um polarizador linear necessita ser adicionado em frente à câmera panorâmica A7, e o ângulo de polarização do poIarizador linear é vertical ao ângulo de polarização da luz poIarizada de fundo emitido pelo monitor do fundo A51. Desse modo, a luz de fundo do monitor do fundo A51 não é coletável pela câmera panorâmica A7, e a luz de lâmpada da sala de conferência refletida pela pessoa do primeiro plano é polarizada circular- mente, e pode ser fotografada pela câmera panorâmica A7. Portanto, o fun- do atrás da pessoa é preto na imagem fotografada, desse modo solucionan- do o problema de fundo escuro. 5 Pode ser visto da descrição acima que, na sétima modalidade, um projetor do fundo A50 ou monitor do fundo A51 projeta o fundo do usuá- rio a ser exibido em uma cortina de projeção preta pura A13, desse modo solucionando o layout de fundo escuro atrás do usuário.

A sétima modalida- de pode ser combinada com as modalidades 1 a 6. Em conclusão, esta modalidade é uma atualização do sistema de telepresença existente.

A câmera usual pode ser substituída com uma câmera panorâmica para fotografar o panorama da sala de conferência Iocal e prover um panorama de conferência ao participante presente oposto.

Des- se modo, o sistema de telepresença dá um efeito de presença panorâmico bom, e é compatível com o sistema de telepresença existente.

Preferivelmente, uma tela de projeção usual ou tela de projeção transparente holográfica é empregada para apresentar as imagens panorâ- micas de um modo integrado, desse modo implementando presença ininter- rupta e superando o defeito trazido pela combinação de múltiplas televisões de tela plana.

Preferivelmente, uma tela de projeção transparente holográfica e um espelho semitransparente semirrefletivo são empregados para prover presença de profundidade aos participantes presentes.

Preferivelmente, por meio de controle de uma unidade de sin- cronização, a câmera panorâmica é livre de impacto causado pela projeção de imagem do projetor ao fotografar as imagens locais, desse modo evitando disparidade causada por inabilidade de colocar a câmera na linha de visão do usuário e permitindo o participante presente oposto a desfrutar do contato visual.

Além d isso, o espelho semitransparente semirrefletivo ou um compo- nente de transmissão óptica ou um potarizador linear pode ser usado para permitir contato visual.

Preferivelmente, um fundo escuro especial é desenvolvido, um projetor do fundo ou monitor do fundo é usado, e um fundo escuro é desen- volvido atrás do usuário.

Desse rnodo, a imagem de usuário é separada da imagem do fundo,' e o efeito de presença de profundidade é gerado.

Além disso, um método de presença remota é fornecido em uma 5 modalidade da presente invenção.

Como mostrado na figura 23, o método inclui as etapas seguintes: S2301: Obter as imagens panorâmicas e áudios locais, imagens de fotografia por meio de uma câmera panorâmica de perspectivas diferen- tes, e mixar as imagens de baixa resolução fotografadas pela câmera pano- lO râmica de perspectivas diferentes em uma imagem panorâmica de alta reso- Iução por meio de uma unidade de mixagem.

S2302: Transmitir as imagens panorâmicas e áudios locais para um terminal remoto por meio de uma rede para exibição e execução- A câmera panorâmica fotografa a cena em qualquer um destes modos: centro óptico comum virtual de espelhos de reflexão planares, modo de multicâmera convergente, e modo de arranjo de câmeras denso.

Preferivelmente, as imagens e os áudios são coletados alterna- damente nesta ordem de tempo.

Preferivelmente, o método também inclui: coletar os vÍdeos 3D locais por meio de uma câmera estereoscópica, trans- mitir os vÍdeos para o terminal remoto por meio de uma rede, e exibir os VÍ- deos por meio de um dispositivo de exibição auxiliar.

Preferivelmente, antes de exibir a imagem panorâmica, o método também inclui: executar correção geométrica e mistura de borda para a imagem panorâmica.

Preferivelmente, o método também inclui: receber informação de localização do participante presente remoto, e reconstruir e reproduzir o campo de som para os áudios recebidos de acordo com a informação de localização.

Preferivelmente, o método também inclui: sincronização labial para os dados de áudio e dados de vÍdeo localmente obtidos.

Um dispositivo de coleta de vÍdeo em um sistema de telepresen- ça é fornecido em uma modalidade da presente invenção.

O dispositivo de coleta de vÍdeo trabalha junto com o dispositivo de exibição de vÍdeo, dispositivo de coleta de áudio, um executor de áudio, e dispositivo de comunicação de áudio-vídeo no sistema de telepresença- O dispositivo de comunicação de áudio-vídeo transmite as imagens coletadas pelo dispositivo de coleta de vÍdeo local e os áudios coletados pelo dispositi- vo de coleta de áudio local para o terminal remoto por meio da rede.

O dis- 5 positivo de vídeo e o executor de áudio no terminal remoto exibem e execu- tam as imagens e os áudios respectivamente.

Comparado com a técnica anterior, o dispositivo de coleta de vÍdeo nas modalidades da presente in- venção é uma câmera panorâmica, e uma unidade de mixagem é usada pa- ra mixar as imagens de baixa resolução fotografadas pela câmera panorâmi- lO ca de perspectivas diferentes em uma imagem panorâmica de alta resolu- ção.

A unidade de mixagem é um dispositivo independente, ou uma parte da câmera panorâmica, ou uma parte do dispositivo de comunicação de áudio-vídeo.

A câmera panorâmica fotografa a cena em qualquer um des- tes modos: centro óptico comum virtual de espelhos de reflexão planares, modo de multicâmera convergente, e modo de arranjo de câmeras denso.

Descritas acima são meramente algumas modalidades exempla- res da presente invenção, mas não intencionadas a limitar o escopo da pre- sente invenção.

Qualquer mod ificação, substituição equivalente, e melhoria feitas sem abandono do princípio da presente invenção caem dentro do es- copo da presente invenção.

Claims

REIVINDICAÇÕES

1. Sistema de telepresença, caracterizado por compreender: um dispositivo de coleta de vÍdeo, configurado para coIetar ima- gens em um terminal íocal; 5 um dispositivo de coleta de áudio, configurado para coletar áu- dios no terminal local; um dispositivo de exibição de vÍdeo, configurado para exibir i- y magens de um terminal remoto; um executor de áudio, configurado para executar áudios do ter- lO minal remoto; -" um dispositivo de comunicação de áudio e vÍdeo, configurado - para transmitir as imagens coletadas pelo dispositivo de coleta de vÍdeo no r' W " e terminal local e os áudios coIetados pelo dispositivo de coleta de áudio no terminal local para o terminal remoto por meio de uma rede, em que as ima- 15 gens e os áudios são exibidos e executados respectivamente por um dispo- sitivo de exibição de vÍdeo e um executor de áudio no terminal remoto; em que o dispositivo de coleta de vÍdeo é uma câmera panorâ- mica, e o sistema adicionalmente compreende uma unidade de mosaicos de imagem, configurada para dividir as imagens de baixa resolução fotografa- 20 das pela câmera panorâmica de perspectivas diferentes em uma imagem panorâmica de alta resolução.

2. Sistema de acordo com a reivindicação 1, em que: o dispositivo de exibição de vÍdeo compreende pelo menos um monitor de painel plano; ou 25 o dispositivo de exibição de vÍdeo compreende uma tela de pro- jeção e pelo menos um projetor, em que a tela de projeção é uma tela de projeção não transparente, ou uma tela de projeção semitransparente, ou uma tela de projeção transparente.

3. Sistema de acordo com a reivindicação 2, em que: 30 a tela de projeção é colocada como uma superfície frontal de um fole da câmera oposta a um participante presente; ou a tela de projeção é desenvolvida em uma mesa de conferência oposta ao participante presente, e pode ser movida para cima e para baixo na mesa de conferência automática ou manualmente.

4. Sistema de acordo com a reivindicação 2, em que: a tela de projeção é a tela de projeção transparente, e a câmera 5 panorâmica fica localizada atrás da tela de projeção em um equivalente de altura ou similar à linha de visão de um participante presente.

5. Sistema de acordo com a reivindicação 4, em que: a câmera panorâmica é colocada atrás da tela de projeção transparente, e o sistema adicionalmente compreende uma unidade de sin- lO cronização, configurada para produzir sinais de sincronização para controlar

K a câmera panorâmica e o projetor para trabalhar alternadamente. ~ W 6. Sistema de acordo com a reivindicação 2, em que: ~ d "" ¥ o sistema adicionalmente compreende um espelho semirrefletivo e semitransparente; 15 o espelho semitransparente semirrefletivo é instalado em frente a um fole de câmera do sistema; a tela de projeção é lateralmente acima do espelho semitranspa- rente semirrefletivo, e um certo ângulo existe entre a tela de projeção e o espelho semitransparente semirrefletivo; e 20 o espelho semitransparente semirrefletivo forma uma imagem virtual da imagem panorâmica apresentada pelo dispositivo de exibição.

7. Sistema de acordo com a reivindicação 2, em que: um fundo que traz efeito pronto para uma profundidade é desen- volvido atrás da tela de projeção transparente ou atrás de uma imagem vir- 25 tual formada pelo espelho sem itransparente semirrefletivo, e um fundo escu- ro é desenvolvido atrás de um participante presente.

8. Sistema de acordo com a reivindicação 2, em que: o dispositivo de exibição de vÍdeo compreende a tela de projeto e pelo menos um projetor, e o sistema adicionalmente compreende um com- 30 ponente de condução óptica transparente que é colocado próximo de um participante presente em frente à tela de projeção.

9. Sistema de acordo com a reivindicação 2, em que:

m o dispositivo de exibição de vÍdeo compreende a tela de projeto e pelo menos um projetor, e o sistema adicionalmente compreende um pola- rizador linear que é colocado em frente ao projetor e uma lente da câmera panorâmica; e 5 um ângulo de polarização de um polarizador do projetor é dife- rente de um ângulo de polarização de um polarizador da câmera panorâmi- ca.

10. Sistema de acordo com qualquer uma das reivindicações 1 a 9, em que: 10 o sistema adicionalmente compreende um fundo preto e um pro- *" jetor do fundo, e o projetor do fundo trabalha alternadamente com a câmera : panorâmica sob o controle da unidade de sincronização do sistema, ou "" o sistema adicionalmente compreende um monitor do fundo CO- k locado atrás do participante presente, e o monitor do fundo trabalha alterna- 15 damente com a câmera panorâmica sob o controle da unidade de sincroni- zação-

11. Sistema de acordo com qualquer uma das reivindicações 1 a 9, em que: o sistema adicionalmente compreende um projetor do fundo, o 20 polarizador linear é adicionado em frente ao projetor do fundo e à lente da câmera panorâmica respectivamente, e o ângulo de polarização do polariza- dor do projetor do fundo é diferente do ângulo de polarização do polarizador da câmera panorâmica.

12. Sistema de acordo com qualquer uma das reivindicações 1 a 25 9, em que: o sistema adicionalmente compreende um monitor do fundo co- locado atrás do participante presente, o polarizador Iinear é adicionado em frente ao monitor do fundo e à lente da câmera panorâmica respectivamente, e um ângulo de polarização de um poIarizador do monitor do fundo é diferen- 30 te do ângulo de polarização do polarizador da câmera panorâmica; ou o sistema adicionalmente compreende um Monitor de Cristal LÍ- quido (LCD) colocado atrás do participante presente, o polarizador linear é adicionado em frente à lente da câmera panorâmica, e um ângulo de polari- zação de luz emitida pelo LCD é diferente do ângulo de polarização do pola- rizador da câmera panorâmica.

13. Sistema de acordo com qualquer uma das reivindicações 1 a 5 9, em que: o sistema adicionalmente compreende uma câmera estereoscó- pica e um dispositivo de exibição auxiliar, o dispositivo de comunicação de áudio e vÍdeo transmite vÍdeos tridimensionais (3D) coletados pela câmera estereoscópica no terminal local para o dispositivo de exibição auxiliar no 10 terminal remoto por meio da rede para exibição. "

14. Sistema de acordo com qualquer uma das reivindicações 1 a - : 9, em que: d "" o dispositivo de coleta de áudio é pelo menos um arranjo de mi- µ crofones, e o executor de áudio é pelo menos um arranjo de alto-falantes. 15

15. Sistema de acordo com qualquer uma das reivindicações 1 a 9, em que: o sistema adicionalmente compreende uma unidade de corre- ção/mistura de imagem; a unidade de correção/mistura de imagem no terminal local é 20 configurada para executar correção geométrica e mistura de borda para as imagens transmitidas do terminal remoto; e as imagens que sofreram a correção geométrica e mistura de borda são exibidas por meio do dispositivo de video no terminal local.

16. Sistema de acordo com a reivindicação 15, em que: 25 o dispositivo de exibição compreende dois ou mais projetores, a unidade de correção/mistura de imagem é ainda configurada para mixar a imagem panorâmica em imagens cuja quantidade é igual à quantidade dos projetores, e transmitir as imagens divididas e processadas para os projeto- res respectivamente para exibição. 30 17. Sistema de acordo com qualquer uma das reivindicações 1 a 9, em que: o dispositivo de comunicação de áudio e vídeo recebe a infor-

mação de localização do participante presente remoto transmitida pelo dis- positivo de comunicação de áudio e vídeo no terminal remoto, em que a in- formação de localização é detectada pelo dispositivo de comunicação de áudio e vÍdeo no terminal remoto por meio do dispositivo de coleta de áudio 5 no terminal remoto; e o executor de áudio reconstrói e reproduz um campo de som pa- ra os áudios recebidos de acordo com a informação de localização.

18. Método de presença remota, caracterizado por compreender: obter imagens panorâmicas e áudios locais, fotografar as ima- lO gens por meio de uma câmera panorâmica de perspectivas diferentes, e mi- -{ " xar as imagens de baixa resolução fotografadas pela câmera panorâmica de ; perspectivas diferentes em uma imagem panorâmica de alta resolução por We meio de uma unidade de mosaicos de imagem; e transmitir as imagens panorâmicas locais e os áudios para um 15 terminal remoto por meio de uma rede para exibição e execução.

19. Método de acordo com a reivindicação 18, adicionalmente compreendendo: coletar vídeos tridimensionais (3D) locais por meio de uma câ- mera estereoscópica, transmitir os vídeos para o terminal remoto por meio 20 da rede, e exibir os vÍdeos por meio de um dispositivo de exibição auxiliar.

20. Método de acordo com a reivindicação 18, em que antes de exibir a imagem panorâmica, o método adicionalmente compreende: executar correção geométrica e mistura de borda para a imagem panorâmica. 25

21. Método de acordo com a reivindicação 18, adicionalmente compreendendo: receber informação de localização de um participante presente remoto; e reconstruir e reproduzir um campo de som para os áudios rece- 30 bidos de acordo com a informação de localização.