BRPI0608108B1

BRPI0608108B1 - Sistema de visualização de informação sobreposta a imagem real

Info

Publication number: BRPI0608108B1
Application number: BRPI0608108-8A
Authority: BR
Inventors: Manuel Nabais Nobre Edmundo
Original assignee: Ydreams-Informática, S.A.
Priority date: 2005-04-22
Filing date: 2006-04-24
Publication date: 2018-01-09
Also published as: EP1875299A1; BRPI0608108A2; ES2331332T3; CN101553752A; US20080192048A1; ATE438879T1; PT103264A; DE602006008289D1; EP1875299B1; PT103264B; CA2605962A1; WO2006112743A1

Abstract

sistema de visualização de informação sobreposta a imagem real. a invenção consiste em um sistema de visualização de informação sobreposta a imagem real de visão para ser utilizado, por exemplo, em miradouros. e constituído por um mecanismo que mede a posição e orientação do sistema, por um sistema de aquisição de imagem real tipicamente uma câmara de vídeo (11), por um sistema de recolha de moedas (06), por um computador (08) para processa: a imagem e compor os elementos virtuais e por um ecrã (13) para mostrar a imagem final a qual pode inclui: jogos, apresentações públicas e divulgação de conteúdo multimídia.

Description

(54) Titulo: SISTEMA DE VISUALIZAÇÃO DE INFORMAÇÃO SOBREPOSTA A IMAGEM REAL (51) lnt.CI.: G02B 27/01; G07F 17/02 (30) Prioridade Unionista: 22/04/2005 PT 103264 (73) Titular(es): YDREAMS-INFORMÁTICA, S.A.

(72) Inventor(es): EDMUNDO MANUEL NABAIS NOBRE

1/14

SISTEMA DE VISUALIZAÇÃO DE INFORMAÇÃO SOBREPOSTA A IMAGEM REAL

PROPOSITO DA INVENÇÃO

A invenção aqui proposta consiste em um dispositivo de visão para ser utilizado, por exemplo, em miradouros e funciona sobrepondo a imagem obtida diretamente através de uma lente, como um telescópio, e imagens geradas por computador, com um propósito lúdico, educacional ou comercial.

Este dispositivo, o Miradouro Virtual, substitui e adiciona um conjunto de funcionalidades inovadoras aos telescópios habitualmente existentes, por exemplo, em miradouros ou locais históricos. Permite adicionar elementos multimídia ao cenário real, compondo-os na imagem que é apresentada ao utilizador. Estes elementos multimídia podem ser mantidos e definidos através de uma interface simples, baseada em páginas Web.

O Miradouro Virtual beneficia de características físicas semelhantes ao telescópio, nomeadamente a facilidade de utilização e o fato de ser um dispositivo muito divulgado, para construir um sistema inovador que pode ser usado por qualquer pessoa, em qualquer localização física. A informação multimídia e os elementos virtuais são sensíveis à orientação e posição do dispositivo. São alterados quando o utilizador move manualmente o dispositivo (mudando a orientação). Toda a informação a que se acede no dispositivo é geo-referênciada.

ANTECEDENTES DA INVENÇÃO

Telescópios para a visualização de paisagens e dispositivos semelhantes são sobejamente conhecidos, mas a

2/14 aplicação da técnica de sobreposição de imagem real com imagem gerada por computador aplicada a um dispositivo de visão como o descrito na presente patente é novo e assim apresenta-se de seguida o estado da técnica anterior à invenção.

A patente W02004/008427, de Yoram Baram e as patentes US6037914 e GB2376397, da Hewlett Packard descrevem e reivindicam dispositivos portáteis de sobreposição de imagens reais com imagens geradas por computador para uso direto sobre os olhos do utilizador.

As patentes US2004/0080547, US2003/0179218 e

US2002/0036649 apresentam métodos e dispositivos de integração de imagens reais e virtuais para aplicações em ambientes específicos.

Os seguintes artigos e publicações são mencionados como estado da técnica no sentido que são textos de referência nas várias áreas de conhecimento necessárias para entender a presente patente:

1. Azuma, R.T. (1997). A Survey of Augmented Reality. Presence-Teleoperators and Virtual Environments, 6(4), pp. 355-385;

2. Azuma, R., Bailot, Y,, Behringer, R., Feiner, S., Julier, S., and Maclntyre, B. (2001) . Recent Advances in Augmented Reality. IEEE Computer & Graphics 21(6), pp. 34—47;

3. Azuma, R. , Lee, J., Jiang, B., Park, J. , You, Ξ., and Neumann, U. (1999) . Tracking in Unprepared Environments for Augmented Reality Systems. Journal of Computers & Graphics, 23 (26), pp. 787—793;

4. Berger, M.O., Wrobel—Dautcourt, B., Petitjean,

3/14

S., and Simon, G. (1999) - Mixing Synthetic and Video Images of an Outdoor Urban Environment. Machine Vision and Applications, 11(3), pp, 145—159;

5. Brooks, F.P. (1999). What's Real About Virtual Reality. IEEE Computer Graphics and Applications, 21(6), pp. 16-27;

6. Debevec, P.E, (1998). Rendering Synthetic Objects Into Real Scenes: Bridging Traditional and Image-Based Graphics with Global Illumination and High Dynamic Range Photography. Proceedings of SIGGRAPH'98, New York, NY.

7. Kutulakos, K.N. and Vailino, JR. (1998). Calibration-free Augmented Reality. IEEE Transactions on Visualization and Computer Graphics, 4(1}, pp. 1-20;

8. Livingston, M.A. and State, A. (1997) . Magnetic Tracker Calibration for Improved Augmented Reality Registration. Presence-Teleoperators and Virtual Environments, 6(5), pp. 532—546;

9. Piekarski, W., Thomas, B., Hepworth, D., Gunther B,, and Demczuk, V. (1999) . An Architecture for Outdoor Wearable Computers to support Augmented Reality and Multimedia Application. Proceedings of the 3^rdInternational Conference on Knowledge-Based Intelligent Information Engineering Systems, Adelaide, Australia;

10. Rokita, P. (1998). Compositing Computer Graphics and Real World Video Sequences. Computer Networks and ISDN Systems, 30 (20-21), pp. 2047-2057;

11. Roseblum, L. (2000). Virtual and Augmented Reality 2020. IEEE Computer Graphics and Applications, 20 (1), pp. 38—39;

12. Starner, T. , Schiele, B., Rhodes, B., Jebara,

4/14

T., Oliver, Ν., Weaver, J., and Pentland, A. (1998). Augmented Realities Integrating User and Physical Models. First IEEE International Workshop on Augmented Realíty (IWAR '98), San Francisco, CA;

13. State, A., Hirota, G. , Chen, D., Garrett, W., and Livingston. M. (1996). Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking. Proceedings SIGGRAPH'96, New Orleans;

14. Thalmann, N.M. and Thalmann, D. (1997). Animating Virtual Actors in Real Environments. Multimedia Systems, 5(2), pp. 113-125.

As patentes e referências referidas como estado da técnica da presente tecnologia são o ponto de partida. No entanto, para a criação da invenção apresentada é desenvolvido um sistema novo o qual possui características decorrentes da sua fixação e manuseio que permite resolver alguns dos problemas presentes nos outros sistemas.

DESCRIÇÃO DA INVENÇÃO

A estrutura física que suporta o Miradouro Virtual é semelhante na forma ao de um telescópio tradicional, mas inclui um conjunto de componentes para a funcionalidade acrescida. Os componentes principais são um sistema para aquisição de imagem real (tipicamente uma câmara de vídeo), um computador para processar a imagem e compor os elementos virtuais e um ecrã para mostrar a imagem final. Para determinar a colocação do dispositivo pode-se recorrer a sensores ou a técnicas de processamento de imagem. O utilizador pode interagir com o sistema usando um sistema de ecrã táctil, botões ou simplesmente movendo o telescópio.

5/14

A posição dos diferentes elementos do dispositivo foi definida de modo a que a utilização seja a mais amigável possível. O ecrã táctil é colocado na estrutura móvel de modo a maximizar a visibilidade e o acesso. A pega está colocada à frente para uma utilização intuitiva e manuseamento simples. Nesta pega estão colocados botões de pressão ou deslizamento semelhantes aos usados nos ratos dos computadores. Os sensores para determinar os ângulos são colocados no eixo da componente móvel. 0 sensor que mede a orientação cima/baixo é colocado no eixo horizontal, enquanto o sensor que mede a orientação esquerda/direita é colocado no eixo vertical. A intensidade e posição luminosa podem ser estimadas tendo em conta a hora do dia.

O software do sistema representa a câmara real no mundo virtual através de uma câmara virtual. Esta câmara virtual tem exatamente as mesmas características que a câmara real (distância focal, posição, orientação, etc.). Se alguma destas características da câmara real mudar, as características da câmara virtual são alteradas da mesma forma. Também as dimensões do mundo virtual são as mesmas do mundo real. É feito um modelo virtual que permite fazer a correspondência entre os elementos virtuais e reais. Em tempo real, quando a câmara real se move, também a câmara virtual se move. Se algum objeto tridimensional aparece em frente da câmara virtual (no mundo virtual) o objeto será posicionado e composto na imagem real que está a ser capturada.

Do ponto de vista do utilizador, os passos de execução são os seguintes:

- 0 primeiro passo é a inicialização que é o ponto

6/14 no qual o sistema recolhe toda a informação contextual do servidor. Quando toda a informação for obtida dc servidor o sistema estará pronto para ser utilizado e entra no modo Demonstração (opcional) ou Aplicação;

- Quando o sistema está no modo Demonstração, está a ser mostrado conteúdo vídeo, que pode incluir publicidade, créditos ou outra informação genérica. Dependendo do funcionamento (opcionalmente, o sistema pode ser de utilização paga) o sistema passa a modo de Aplicação que é o modo em que de fato o Miradouro Virtual funciona. Neste modo o utilizador pode interagir com os elementos visíveis (reais ou virtuais), jogar, ou usar qualquer uma das outras funcionalidades oferecidas pelo sistema;

- Finalmente, quando o tempo chega ao fim (de acordo com o montante introduzido no dispositivo ou por escolha do utilizador) é mostrada uma mensagem de despedida e o sistema volta ao modo Demonstração (opcional) ou fica inativo.

O sistema contempla dois tipos de utilizadores. O utilizador comum é a pessoa que usa o Miradouro Virtual e o gestor que pode alterar, adicionar ou remover a informação virtual. Estas alterações podem ser feiras local ou remotamente. O gestor pode fazer alterações sem ter que se deslocar fisicamente ao Miradouro Virtual, usando para isso uma ligação de rede e páginas Web de configuração.

A única funcionalidade dos telescópios nos miradouros tradicionais é aumentar a imagem. O Miradouro Virtual permite uma funcionalidade radicalmente diferente, incluindo: encontrar elementos na paisagem (através de indicadores gráficos e áudio é possível guiar o

7/14 utilizador), jogos com imagens reais, composição de elementos virtuais em cenas do mundo real, elementos virtuais multimídia incluindo texto, imagens, áudio e vídeo com possibilidade de interação. Como exemplo, se o utilizador aponta o Miradouro Virtual para um museu, pode receber informação sobre esse museu, incluindo o preço do bilhete ou como chegar ao local.

Relativamente aos sistemas existentes de realidade aumentada, o Miradouro Virtual tem uma característica diferenciadora muito importante, a utilização de uma estrutura fixa com os seguintes benefícios:

Fiabilidade — Se os graus de liberdade forem bem conhecidos, o principal problema da realidade aumentada (saber a posição e orientação do utilizador) pode ser resolvido.

Robustez — Os sistemas típicos de realidade aumentada são muito sensíveis ao ambiente envolvente. Com uma estrutura sólida, fixa, estes problemas são muito reduzidos, sendo assegurada a proteção elétrica e mecânica dos dispositivos.

As tecnologias de realidade aumentada são habitualmente aplicadas em sistemas móveis, transportáveis e carregados pelos utilizadores. São normalmente sistemas complexos. Por oposição, o Miradouro Virtual é um dispositivo que usa uma estrutura sólida e fixa, a funcionar em tempo real, destinada a utilizadores sem experiência prévia. Numa estrutura deste tipo podem ser aplicados sensores que medem facilmente a orientação da câmara. Desta forma, os elementos virtuais podem ser colocados na posição e orientação exatas, resolvendo um dos

8/14 maiores problemas da realidade aumentada — saber para onde o utilizador está a olhar.

Relativamente aos óculos tradicionais de realidade aumentada este equipamento tem a vantagem de ser muito mais robusto, fiável e fácil de utilizar. Os óculos são habitualmente usados em ambientes laboratoriais, sendo o objetivo do Miradouro Virtual a utilização pelo público em geral, com custos de manutenção baixos.

fato de saber a posição/orientação do Miradouro Virtual permite a utilização de um modelo virtual que indica onde devem ser posicionados os elementos virtuais. Os sensores passam informação sobre a câmara real ao modelo virtual que indica onde e como devem ser posicionados os elementos virtuais. Tendo a informação sobre a câmara real é possível ter uma câmara virtual que a replica.

O Miradouro Virtual tem ainda a possibilidade de ser usado com outros fins que não a observação de paisagens. Pode ainda ser usado para:

— Encontrar itens: A aplicação de pesquisa altera o processo habitual de procurar objetos através da seleção direta no telescópio do item que pretendemos encontrar;

— Jogos: Jogos de estratégia ou jogos do tipo first person shooter são facilmente implementados com o Miradouro Virtual. Por exemplo, num Miradouro Virtual, colocado no topo de um castelo é possível simular uma batalha histórica e definir a estratégia de defesa contra atacantes virtuais; — Participação Pública: O Miradouro Virtual permite de forma fácil avaliar o impacto de alterações na paisagem ou de construções planeadas. Estes elementos podem ser sobrepostos a imagens reais, permitindo

9/14 a participação e discussão pública;

Conteúdo Multimídia: 0 sistema permite associar conteúdo multimídia complexo a itens no mundo real.

DESCRIÇÃO DOS DESENHOS

A Figura 1 mostra uma vista frontal do conjunto da invenção;

A Figura 2 mostra uma vista lateral da invenção;

A Figura 3 mostra uma vista de cima da invenção;

A Figura 4 mostra uma perspectiva dianteira da invenção;

A Figura 5 mostra uma perspectiva traseira da invenção;

A Figura 6 mostra um corte lateral da invenção;

A Figura 7 mostra uma vista expandida da perspectiva traseira da invenção;

A Figura 8 mostra uma vista expandida da perspectiva dianteira da invenção;

Os principais componentes da presente invenção, tal como referenciados nas figuras, são:

peça 01. Proteção traseira; peça 02. Proteção principal; peça 03. Proteção frontal; peça 04. Eixo vertical; peça 05. Pega;

peça 06. Sistema de moedas; peça 07. Vidro de proteção da câmara; peça 08. CPU — Unidade de processamento; peça 09. UPS;

peça 10, horizontal);

Sensor de inclinação da câmara {Eixo

10/14

peça	11.	Câmara;
peça	12 .	Controlador de zoom e focagem,·
peça	13 .	Ecrã ,-
peça	14 .	Ventiladores ;
peça	15 .	Plataforma para fixação da câmara;
peça	16 .	Eixo horizontal;
peça	17	Mecanismo de transmissão interno	(para

movimento da câmara);

peça 18.	Base de sustentação superior;
peça 19.	Base de sustentação inferior;
peça 20.	Botões;
peça 21.	Sensor de rotação da estrutura (Eixo
vertical);
peça 22.	Colunas de som.
DESCRIÇÃO	ι DETALHADA DA REPRESENTAÇÃO PREFERIDA DA

INVENÇÃO

A base é constituída pelo Eixo vertical (peça 04) e pelas Bases de sustentação (peças 18 e 19) que suportam todo o sistema do Miradouro Virtual. Ao Eixo vertical (peça 04) estão acopladas a Proteção traseira (peça 01), a Proteção principal (peça 02) e a Proteção frontal (peça 03). Na Proteção principal estã ainda acoplada a Pega (peça 05) para movimentação do Miradouro Virtual.

O Ecrã (peça 13), fixado à Proteção frontal (peça 03), é ante—vandalismo. Pode também ser sensível ao tato para permitir interação. Por baixo do Ecrã, fixadas também à Proteção frontal (peça 03) , existem também Colunas de som (peça 22) para uma melhor interação com a invenção.

A Câmara (peça 11) para captura de imagens está colocada no interior da Proteção traseira (peça 01)

11/14 protegida pelo Vidro de proteção da câmara (peça 07) . No interior das proteções, está fixada sobre a Plataforma para fixação da câmara (peça 15) solidária com o Eixo horizontal (peça 16) . Todo este mecanismo está localizado atrás do Ecrã (peça 13). 0 movimento de rotação do Eixo horizontal é imposto por um Mecanismo de transmissão interno (peça 17) oriundo da pega (peça 05). Ao Eixo horizontal (peça 16) foi acoplado um Sensor rotativo (peça 10) com o objetivo de obter o ângulo de inclinação da Câmara (peça 11) . Para controlo do sistema óptico da câmara existe ainda um Controlador (peça 12) localizado lateralmente fixado à Proteção traseira. Este controla a íris, a Focagem e o Zoom da lente da câmara.

Os Ventiladores (peça 14) que garantem a temperatura de funcionamento no interior da estrutura estão localizados lateralmente na Proteção traseira {peça 01).

Na Pega (peça 05) estão acoplados dois Botões de pressão (peças 20) como alternativa à interface táctil do ecrã.

Sistema de moedas (peça 06) está fixado à Proteção frontal (peça 03) . Tem a funcionalidade de controlar o arranque da aplicação e controlo do tempo de funcionamento (proporcional ao valor introduzido), é ante-vandalismo e tem cofre incorporado.

Atrás do Sistema de moedas (peça 06), fixado à proteção principal (peça 02), existe um Sensor de rotação (peça 21} que mede o ângulo de rotação da estrutura global do Miradouro Virtual.

O Miradouro Virtual necessita de um micro computador industrial (peça 08) para processamento dos dados e geração

12/14 de imagens. Este computador contém no seu interior uma placa de aquisição de dados para obter os dados provenientes dos dois sensores rotativos, dados do sistema de moedas e botões. Existe ainda um modem que usando tecnologia de redes móveis (GPRS) permite a ligação a um servidor remoto para manutenção, atualização e recolha de dados estatísticos. Para algumas aplicações que exijam mobilidade pode ser incorporada uma bússola e um GPS. A UPS (peça 09) garante não só o correto encerramento do sistema em caso de falha de energia, como também filtra a tensão de alimentação de todos os sistemas principais.

Para os vários componentes da invenção podemos ter uma especificação preferida como se apresenta de seguida:

— Lentes;

Existem duas possibilidades para as lentes:

Motorizadas ou Fixas. O encaixe será do tipo CS e terá de ter focagem automática, Auto—íris. No caso de ser motorizada, terá acoplado ao motor um encoder para que se possa saber qual a distância focal da lente. A magnificência vai variar entre 5x e 15x. No caso de ser fixa, a sua magnificência vai ser adaptada ao local. Tendo em conta que um miradouro convencional tem entre 20x a 30x, e como se pretende que a aplicação seja mais exploratória, o zoom fixo deverá ter uma magnificência de lOx ou 15x.

— Câmara;

A câmara será firewire com uma resolução de 1024x576 e terá configurações automáticas, como por exemplo, 'auto—exposure e white—balance.

— TFT + Touch Screen;

Monitor TFT de 15 de Chassis metálico.

13/14

Resolução máxima SVGA 1024x768 a 60 Hz.

Tecnologia táctil.

- Computador Industrial;

Intel PIV CPU FSB800.

AGP 8X.

512Mb RAM.

40Gb HD.

FireWire.

Slots PCI.

- Placa de Aquisição;

Placa de aquisição 48 IO TTL PCI — Bus High Current Bus. Para adquirir os dados provenientes dos Encoders (Sensores Rotativos), Encoder da Lente (Distância Focal), e coletor de moedas.

— Modem GPRS;

Modem para enviar se conectar remotamente ao servidor.

PCI ou PCMCIA GPS/GPRS Triband — GPS e Bússola;

Pode ser incorporada uma bússola para saber a sua orientação e um GPS para saber a sua localização.

— Sensores Rotativos;

Serão usados Encoders Absolutos de uma volta com bits de resolução (erro de 3,8m a lOkm).

— Sistema de Moedas;

Sistema de arranque e controlo de tempo.

Ante-vandalismo e com cofre incorporado. Sistema de segurança para o cofre.

Os materiais, tamanhos, forma e disposição dos elementos estão sujeitos a variação proveniente da restante

14/14 invenção dentro do âmbito das reivindicações

1/3

Claims

REIVINDICAÇÕES

1. Sistema de visualização de informação sobreposta a imagem real no âmbito da realidade aumentada, compreendendo:

- um sistema de sobreposição e visualização de informação, incluindo uma base de dados local e/ou remota;

- um computador industrial (08) para processar a posição do aparelho e compor a imagem real com os elementos virtuais;

- uma base que inclui o eixo vertical (04) e as bases de sustentação (18 e 19) suportando todo o aparelho, cuja estrutura de proteção (01,02,03) protege todas as partes do aparelho exceto as que interagem com o utilizador;

Caracterizado pelo sistema compreender:

- um dispositivo para medição do posição e orientação do sistema, na forma de uma pega (5) que movimenta o aparelho, a qual se encontra incorporada na estrutura de proteção e que possui pelo menos dois botões de toque (20) para a seleção de opções para comandar e aceder à informação e conteúdo; onde as direções horizontal e vertical do aparelho são determinadas pelos sensores:

medir o movimento de rotação no eixo horizontal (16) através de um sensor de rotação (10), acoplado a um sistema de transmissão (17) e comandado através da pega (5) para comandar o ângulo de inclinação da câmara de vídeo (11); e um sensor de posição que mede a orientação esquerda / direita da estrutura no eixo vertical;

- um sistema para aquisição de imagem real, tipicamente uma câmara de vídeo (11), automaticamente alinhada com as direções do aparelho.

- uma tela sensível ao tato (13) para mostrar a imagem final, para comandar e aceder à informação e conteúdo;

- um controlador (12) para o sistema óptico da câmara de vídeo, o qual controla a íris, focagem e zoom da lente da câmara.
2. Sistema de visualização de informação sobreposta a imagem real, de acordo com a reivindicação 1, caracterizado pelo fato de que o sistema, que determina como a composição da imagem é realizada, baseia-se na medição da posição e orientação.

2/3
3. Sistema de visualização de informação sobreposta a imagem real, de acordo com a reivindicação 1 e 2, caracterizado pelo fato de que os parâmetros de orientação e posição são determinados pelos sensores de posição ou processamento de imagem.
4. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações I, 2 ou 3 caracterizado pelo fato de que uma base de dados de informação a sobrepor existe no próprio sistema ou pode ser acedida remotamente.
5. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações I, 2, 3 ou 4, caracterizado pelo fato de que podem ser usadas várias formas de entrada de informação, incluindo botões e/ou tela sensível ao tato adaptadas a aplicações diversas, nomeadamente ao acesso a informação e conteúdo.
6. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações I, 2, 3, 4 ou 5, caracterizado pelo fato de que as condições de ambiente são estimadas, incluindo temperatura e luminosidade, sendo a visualização adaptada a tais condições.
7. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações I, 2, 3, 4, 5 ou 6, caracterizado pelo fato de que uma estrutura física que integra a visualização de informação, a medição da posição e orientação, bem como a sobreposição de informação, pode ser sujeita a condições climáticas de interior e exterior e pode funcionar autonomamente, através de uma tela anti-vandalismo (13), uma estrutura de proteção robusta (03) e um sistema de controle da temperatura (14) que mantém a temperatura operacional no interior da estrutura, localizada do lado da estrutura de proteção traseira (1).
8. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações 1,2,3, 4, 5, 6 ou 07, caracterizado pelo fato de que a estrutura física pode ser transportada mas sendo apenas operacional numa localização fixa predefinida com uma posição e um conjunto de possíveis orientações predefinidas.
9. Sistema de visualização de informação sobreposta a imagem real, de acordo com qualquer uma das reivindicações I, 2, 3, 4, 5, 6, 7 ou 8 caracterizado

3/3 pelo fato de que os conteúdos a serem apresentados incluem publicidade, jogos, apresentações públicas e simulações históricas.

1/4