BRPI1106304A2

BRPI1106304A2 - aparelho, mÉtodo, e, dispositivo de armazenamento legÍvel por computador

Info

Publication number: BRPI1106304A2
Application number: BRPI1106304-1A
Authority: BR
Inventors: Yuichiro Takeuchi
Original assignee: Sony Corp
Priority date: 2010-10-01
Filing date: 2011-09-23
Publication date: 2013-02-19
Also published as: US10636326B2; US20170076638A1; CN102542905B; EP2437237A3; JP2012079129A; US9536454B2; EP2437237A2; JP5652097B2; CN202502670U; US20120082341A1; CN102542905A

Abstract

APARELHO, MÉTODO, E, DISPOSITIVO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR. Um método é fornecido para exibir objetos físicos. O método compreende capturar uma imagem de entrada dos objetos físicos, e corresponder um modelo tridimensional com os objetos físicos. O método ainda compreende produzir uma imagem parcial modificada por pelo menos um de, modificar uma porção do modelo tridimensional correspondente, ou modificar uma imagem parcial extraída da imagem de entrada usando o modelo tridimensional correspondente. O método também compreende exibir uma imagem de saída incluindo a imagem parcial modificada sobrepondo sobre a imagem de entrada.

Description

"APARELHO, MÉTODO, Ε, DISPOSITIVO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR"

REFERÊNCIA CRUZADA PARA PEDIDOS RELACIONADOS

A presente divulgação contém assunto relacionado aquele divulgado no Pedido de Patente de Prioridade Japonesa JP 2010-224347 depositado no Escritório de Patente do Japão e, sistema de processamento imagem 1 de Outubro de 2010, do qual o conteúdo inteiro é aqui incorporado para referência. FUNDAMENTOS Descrição da técnica relacionada

A presente divulgação se refere a um dispositivo de processamento de imagem, programa, e método.

No passado, vários serviços de informação geográfica que apresentam uma informação geográfica do usuário no mundo real em uma tela de computador foram colocados em uso prático. Por exemplo, através do uso de serviços de recuperação de mapa comum aberto ao público na Web, um usuário pode facilmente obter um mapa de uma região incluindo localizações correspondendo aos desejados nomes de lugares , endereços, ou nomes de marcos geográficos de referência, etc. Em qualquer mapa exibido nos serviços de recuperação de mapa, também é possível colocar uma marca em cada facilidade que concorda com uma palavra chave designada por um usuário.

Ainda mais, nos anos recentes, o desempenho de computador espetacularmente melhorado permite não somente uma mapa planar bi- dimensional, mas também informação no espaço tri-dimensional a ser tratado com um terminal de usuário. Por exemplo, Pedido de Patente Japonesa Estabelecida em Aberto de Nr. 2005-227590 propõe exibir um mapa bi- dimensional e uma imagem tri-dimensional em torno de uma localização atual em paralelo em uma imagem de saída a partir de um dispositivo de orientação de mapa. SUMÁRIO

Contudo, no método através do qual uma imagem tridimensional de uma vista aérea a partir de um determinado ponto de vista em uma localização designada é apenas exibida, o ponto de vista da imagem tridimensional exibida difere do ponto de vista de um usuário no espaço real. Por conseguinte, quando o usuário tenta encontrar um prédio ou instalação desejada, etc. no espaço real, para a qual ele ou ela quer ir, uma comparação de uma visão que o usuário vê no mundo real em torno dele ou dela e a imagem tridimensional não acarreta uma coincidência, e assim sendo o usuário pode ter dificuldade em localizar o prédio desejado ou instalação, etc, facilmente.

Por conseguinte, é desejável fornecer uma novo e melhorado aparelho de processamento de informação de imagem, método de processamento de imagem, e meio de armazenamento legível por computador que facilitam achar um objeto, tal como um prédio ou instalação desejada, no espaço real.

Conseqüentemente, é fornecido um aparelho para exibir objetos físicos. O aparelho compreende uma unidade de captura para capturar uma imagem de entrada de objetos físicos. O aparelho ainda compreende uma unidade de correspondência para corresponder um modelo tridimensional com os objetos físicos. O aparelho também compreende uma unidade de processamento para produzir uma imagem parcial modificada por pelo menos um de, modificar uma porção do modelo tridimensional correspondente, ou modificar uma imagem parcial extraída a partir da imagem de entrada usando o modelo tridimensional correspondente. O aparelho também compreende um gerador de exibição para gerar sinais representando uma imagem de saída, a imagem de saída incluindo a imagem parcial modificada sobreposta sobre a imagem de entrada. Em um outro aspecto, é fornecido um método para exibir objetos físicos. O método compreende capturar uma imagem de entrada de objetos físicos, e corresponder um modelo tridimensional com os objetos físicos. O método ainda compreende produzir uma imagem parcial modificada por pelo menos um de, modificar uma porção do modelo tridimensional correspondente, ou modificar uma imagem parcial extraída a partir da imagem de entrada usando o modelo tridimensional correspondente. O método também compreende exibir uma imagem de saída incluindo a imagem parcial modificada sobreposta sobre a imagem de entrada. Em um outro aspecto, é fornecido um meio de armazenamento

legível por computador não transitório incorporado tangivelmente armazenando instruções que, quando executado por um processador, causa um computador a efetuar um método para exibir objetos físicos. O método compreende capturar uma imagem de entrada de objetos físicos, e corresponder um modelo tridimensional com os objetos físicos. O método ainda compreende produzir uma imagem parcial modificada por pelo menos um de modificar uma porção do modelo tridimensional correspondente, ou modificar uma imagem parcial extraída da imagem de entrada usando o modelo tridimensional correspondente. O método também compreende exibir uma imagem de saída incluindo a imagem parcial modificada sobreposta sobre a imagem de entrada.

De acordo com as modalidades descritas acima, são fornecidos um aparelho de processamento de informação, método de processamento de informação, e meio de armazenamento legível por computador, achar um objeto, tal como um prédio ou instalação desejada no espaço real, pode ser facilitado.

BREVE DESCRIÇÃO DOS DESENHOS

FIG. 1 é um diagrama em bloco ilustrando um exemplo de uma configuração de hardware de um dispositivo de processamento de imagem de acordo com uma modalidade;

FIG. 2 é um diagrama em bloco ilustrando um exemplo de uma configuração lógica de um dispositivo de processamento de imagem de acordo com uma modalidade;

FIG. 3 é uma vista explicativa ilustrando um exemplo de uma

imagem de entrada;

FIG. 4 é uma vista explicativa para explicar um exemplo de um modelo tridimensional;

FIG. 5 é uma vista explicativa ilustrando um exemplo de um resultado de um processo de corresponder através de uma unidade de correspondência de acordo com uma modalidade;

FIG. 6 é uma vista explicativa para explicar um processo de extrair uma imagem parcial através de uma unidade de processo de enfatizar de acordo com uma modalidade; FIG. 7 é uma vista explicativa para explicar um primeiro

exemplo de um processo de enfatizar através de uma unidade de processo de enfatizar de acordo com uma modalidade;

FIG. 8 é uma vista explicativa para explicar um segundo exemplo de um processo de enfatizar através de uma unidade de processo de enfatizar de acordo com uma modalidade;

FIG. 9 é uma vista explicativa para explicar um terceiro exemplo de um processo de enfatizar através de uma unidade de processo de enfatizar de acordo com uma modalidade; e

FIG. 10 é um fluxograma ilustrando um exemplo de um fluxo de processamento de imagem de acordo com uma modalidade. DESCRIÇÃO DETALHADA DE UMA MODALIDADE(S)

Na seguinte, uma modalidade da presente divulgação será descrita em detalhe com referência aos desenhos em anexo. Note que, nesta especificação e nos desenhos em anexo, elementos estruturais que têm substancialmente a mesma função e estrutura são denotadas com os mesmos numerais de referência, e explicação repetida desses elementos estruturais é omitida.

É para ser notado que a descrição é descrita abaixo de acordo com a seguinte ordem.

1. Exemplo de configuração do dispositivo de processamento

de imagem

1-1. Configuração de hardware

1-2. Configuração lógica

2. Exemplos de processos de enfatizar

2-1. Primeiro exemplo 2-2. Segundo exemplo 2-3. Terceiro exemplo

3. Exemplo do fluxo do processamento de imagem

4. Conclusão

<1. Exemplo de configuração do dispositivo de processamento de imagem>

Primeiro, um exemplo de uma configuração de um dispositivo de processamento de imagem de acordo com uma modalidade será descrita com referência às Figs. 1 a 6. Exemplos do dispositivo de processamento de imagem aqui descrita incluem um computador pessoal (PC), um telefone inteligente, um assistente digital pessoal, uma câmera digital, um dispositivo de navegação de mão ou montado em carro, ou uma máquina de jogo de vídeo de mão.

[1-1. Configuração de hardware]

FIG. 1 é um diagrama em bloco ilustrando um exemplo de uma configuração de hardware de um dispositivo de processamento de imagem 100 de acordo com a presente modalidade. Referindo à Fig 1, o dispositivo de processamento de imagem 100 inclui uma unidade de processamento central (CPU) 10, uma memória de acesso randômico (RAM) 12, uma memória de somente de leitura (ROM) 14, um cabo de múltiplas vias de comunicação 16, um dispositivo de armazenamento 20, um gerador de imagem 22, um dispositivo de exibição 24, um dispositivo de entrada 26, um módulo de GPS 30, uma bússola eletrônica 32, e um sensor de aceleração 34.

A CPU 10 geralmente controla a operação do dispositivo de processamento de imagem 100 de acordo com programas gravados no ROM 14, dispositivo de armazenamento 20, e / ou RAM 12. A RAM 12 temporariamente armazena um programa e dados executados pela CPU 10. A ROM 14 pode ser uma memória não volátil para armazenar o programa para operação do dispositivo de processamento de imagem 100. O cabo de múltiplas vias de comunicação 16 interconecta a CPU 10, RAM 12, ROM 14, o dispositivo de armazenamento 20, o gerador de imagem 22, o dispositivo de exibição 24, o dispositivo de entrada 26, o módulo de GPS 30, a bússola eletrônica 32, e o sensor de aceleração 34.

O dispositivo de armazenamento 20 inclui um meio de armazenamento legível por computador não transitório incorporado tangivelmente, tal como um disco rígido ou memória de semicondutor, que pode armazenar programas ou instruções \ serem executadas pela CPU 10. O dispositivo de armazenamento 20 pode ser não removível ou removível. Os dados armazenados no dispositivo de armazenamento 20 podem ser dinamicamente obtidos a partir de um banco de dados externo, quando o dispositivo de processamento de imagem 100 efetua processamento de imagens. Mais ainda, dispositivo de armazenamento 20 pode ser incorporado em diferentes dispositivos remotos ou servidores em uma configuração de computação em nuvem.

O gerador de imagem 22 é configurado como um módulo de câmera com um gerador de imagem, tal como um dispositivo acoplado de carga (CCD) ou semicondutor de óxido de metal Complementar (CMOS). O dispositivo de exibição 24 exibe uma imagem em uma tela, tal como um mostrador de cristal líquido (LCD), diodo de emissão de luz orgânico (OLED), ou painel de exibição de plasma (PDP). O dispositivo de entrada 26 inclui um botão, teclado, painel de toque, ou dispositivo de apontamento, etc. para um usuário do dispositivo de processamento de imagem 1OO para entrar informação para o dispositivo de processamento de imagem 100.

O módulo de GPS 30 recebe o sinal de GPS transmitido a partir do satélite de GPS para calcular uma latitude, longitude, e altitude, etc. efetivas onde o dispositivo de processamento de imagem 100 está localizado. A bússola eletrônica 32 detecta a orientação efetiva do dispositivo de processamento de imagem 100. O sensor de aceleração 34 detecta aceleração causada por uma força atuando no dispositivo de processamento de imagem 100.

[1-2. Configuração lógica]

FIG. 2 é um diagrama em bloco ilustrando um exemplo de uma configuração lógica do dispositivo de processamento de imagem 100 de acordo com a presente modalidade. Referindo à Fig 2, o dispositivo de processamento de imagem 100 inclui uma unidade de obtenção de imagem de entrada 110, uma unidade de posicionamento 120, uma unidade de armazenamento 130, uma unidade de correspondência 140, uma unidade de sensoriamento de movimento de oscilação 150, uma unidade de aplicativo 160, uma unidade de interface de usuário 170, e uma unidade de processo de enfatizar 180. Como usado aqui o termo "unidade" pode ser um módulo de software, um módulo de hardware, ou uma combinação de um módulo de software e a módulo de hardware. Tais módulos de hardware e software podem ser incorporados no conjunto de circuito discreto, um circuito integrado, ou as instruções executadas por um processador. (1) Unidade de obtenção de imagem de entrada

A unidade de obtenção de imagem de entrada 110, i.e. unidade de captura, obtém, com o gerador de imagem 22, uma série de imagens de entrada na qual a vista no mundo real em torno de um usuário é capturada. Isto é, uma imagem de entrada de um objeto físico, ou objetos no mundo real são capturados. Então, a unidade de obtenção de imagem de entrada 110 seqüencialmente emite as imagens de entrada obtidas para a unidade de correspondência 140 e para a unidade de processo de enfatizar 180.

FIG. 3 é uma vista explicativa ilustrando um exemplo de uma imagem de entrada obtida pela unidade de obtenção de imagem de entrada 110. Referindo à Fig. 3, uma cidade, como o espaço real no qual um usuário que carrega o dispositivo de processamento de imagem 100 (ou um veículo equipado com o dispositivo de processamento de imagem 100, etc.) está presente, aparece em uma imagem de entrada. Há múltiplos prédios ou instalações na cidade. Cada um de tais objetos que aparecem em uma imagem de entrada pode ser um alvo para uma pesquisa de informação geográfica em uma unidade de aplicativo 160 descrita abaixo, ou um alvo para o qual o usuário é orientado na navegação usando um dispositivo de navegação.

(2) Unidade de posicionamento

A unidade de posicionamento 120 determina a atual do dispositivo de processamento de imagem 100 com o módulo de GPS 30. A unidade de posicionamento 120 também determina a orientação efetiva do dispositivo de processamento de imagem 100 com a bússola eletrônica 32. A unidade de posicionamento 120 então emite informação de localização, tal como a informação de latitude, longitude, e altitude, e azimute do dispositivo de processamento de imagem 100 obtida como um resultado da medição descrita acima, para a unidade de correspondência 140.

(3) Unidade de armazenamento

A unidade de armazenamento 130 armazena um modelo tridimensional que descreve uma forma tridimensional e a localização de um objeto que está presente no mundo real. Exemplos do objeto descrito pelo modelo tridimensional incluir um objeto relacionado à função de aplicativo mencionada acima, tal como a pesquisa de informação de geográfica ou navegação fornecida pela unidade de aplicativo 160. A forma tridimensional e a localização de objetos, tal como um restaurante, um escritório, uma escola, uma estação, uma instalação comunal, e um marco geográfico de referência que estão presentes em uma cidade, são descritos pelo modelo tridimensional. O modelo tridimensional pode ser descrito usando uma linguagem, tal como Linguagem de Marcação Geográfica (GML) ou KML com base em GML.

FIG. 4 é uma vista explicativa para explicar um exemplo do modelo tridimensional. Referindo a Fig 4, um modelo tridimensional 132 é parcialmente retratado a título de exemplo. No exemplo mostrado na Fig. 4, o modelo tridimensional 132 inclui dados sobre nove objetos Bl à B9 que são prédios respectivamente. Para cada um desses objetos, o modelo tridimensional 132 define, por exemplo, um identificador de um objeto (daqui em diante, "ID de objeto"), um nome de um prédio, e localização tridimensional dos vértices que formam a forma dos prédios, e a textura pre- determinada. Na prática, um modelo tridimensional armazenado pela unidade de armazenamento 130 pode incluir dados sobre um maior número de objetos (em uma área mais ampla) do que um grupo de objetos ilustrado na Fig. 4. Associada com esses objetos, a unidade de armazenamento 130 pode também armazenar informação adicional, tal como uma classificação por usuário para uma instalação, tal como um restaurante ou hotel, usada pelos usuários.

r

E para ser apreciado que a unidade de armazenamento 130 pode ser incorporado em diferentes dispositivo remotos ou servidores em uma configuração de computação em nuvem, e que o modelo tridimensional pode, por conseguinte ser recuperado a partir da unidade de armazenamento 130 via uma rede em resposta a uma solicitação remota para um modelo tridimensional a partir do dispositivo de processamento de imagem 100, em vez de acessar um depósito local do dispositivo de processamento de imagem 100. (4) Unidade de correspondência

A unidade de correspondência 140 associa um objeto incluído em um modelo tridimensional em torno de uma localização atual determinada por uma unidade de posicionamento 120, com um objeto que aparece em uma imagem de entrada coincidindo com pontos de característica do objeto incluídos no modelo tridimensional e pontos de característica em uma imagem de entrada. Mais especificamente, na presente modalidade, a unidade de correspondência 140 primeiro extrai dados em objetos em torno da localização atual do dispositivo de processamento de imagem 100 a partir de um modelo tridimensional armazenado na unidade de armazenamento 130 com base na informação de localização e azimute entrada a partir da unidade de posicionamento 120. A unidade de correspondência 140 também configura pontos de característica em uma imagem de entrada de acordo com um em conhecido método de detecção de canto, tal como método de Harris ou método de Moravec. A unidade de correspondência 140 coincide os pontos de característica do grupo de objetos extraídos a partir do modelo tridimensional, e dos pontos de característica configurados na imagem de entrada. Conseqüentemente, a unidade de correspondência 140 pode reconhecer a correspondência do objeto incluído no modelo tridimensional para o objeto que aparece na imagem de entrada. Como um resultado da ação de corresponder, a unidade de correspondência 140 pode também determine a localização e postura detalhada do dispositivo de processamento de imagem 100. A localização do dispositivo de processamento de imagem 100 determinada pelo processo de corresponder descrito aqui pode ter uma maior precisão do que a precisão de localização que a unidade de posicionamento 120 pode alcançar com o módulo de GPS 30.

FIG. 5 é uma vista explicativa ilustrando um exemplo de um resultado de um processo de corresponder através da unidade de correspondência 140. Referindo à Fig 5, muitos pontos em forma de triângulo são configurados em cada canto dos objetos que aparecem em uma imagem de entrada ImO 1. Cada um desses pontos na imagem de entrada ImOl coincide com cada correspondente vértice dos objetos incluídos no modelo tridimensional 132 em uma localização e postura específica do dispositivo de processamento de imagem 100. Por exemplo, um ponto de marcação FPl coincide com um dos vértices de um objeto B2 do modelo tridimensional 132. Assim sendo, a unidade de correspondência 140 pode reconhecer em que posição em uma imagem de entrada cada objeto incluído no modelo tridimensional aparece.

(5) Unidade de sensoriamento de movimento de oscilação

A unidade de sensoriamento de movimento de oscilação 150, i.e. unidade de sensor, detecta que o dispositivo de processamento de imagem 100 está tremendo com o sensor de aceleração 34. Após detectar que o dispositivo de processamento de imagem 100 é tremendo, a unidade de sensoriamento de movimento de oscilação 150 por sua vez emite um sinal de sensoriamento de movimento de oscilação para a unidade de processo de enfatizar 180. A unidade de sensoriamento de movimento de oscilação 150 pode determinar que o dispositivo de processamento de imagem 100 está tremendo, por exemplo, quando aceleração atuando no dispositivo de processamento de imagem 100 excede um limite pré-determinado.

(6) Unidade de aplicativo

A unidade de aplicativo 160, i.e. unidade de processamento, é um bloco de processamento que alcança a função de aplicativo ilustrada acima associada com serviço de informação geográfica. A função de aplicativo que a unidade de aplicativo 160 fornece inclui, por exemplo, função de pesquisa de informação de geográfica ou função de navegação. A unidade de aplicativo 160 faz, por exemplo, a unidade de interface de usuário 170 exibir uma tela de aplicativo. Quando um usuário entra uma palavra chave de pesquisa via a tela de aplicativo, a unidade de aplicativo 160 pesquisa a unidade de armazenamento 130 para o objeto que condiz com a palavra chave de pesquisa entrada. A unidade de aplicativo 160 emite informação de designação de objeto que designa um ou mais objetos especificados como o resultado de pesquisa, para a unidade de processo de enfatizar 180. A informação de designação de objeto pode ser, por exemplo, informação que designa um objeto selecionado pelo usuário como uma destinação de navegação.

(7) Unidade de Interface de Usuário

A unidade de interface de usuário 170 fornece uma interface de usuário para uso da função de aplicativo descrita acima, para um usuário. A unidade de interface de usuário 170 recebe informação de entrada de usuário, tal como uma palavra chave de pesquisa para a função de pesquisa de informação de geográfica ou uma destinação de navegação, por exemplo, via o dispositivo de entrada 26. A unidade de interface de usuário 170 também exibe a tela de aplicativo gerada pela unidade de aplicativo 160 com o dispositivo de exibição 24. Ainda mais, a unidade de interface de usuário 170 exibe, por exemplo, uma imagem enfatizada gerada pela unidade de processo de enfatizar 180 mencionada depois na tela de aplicativo.

(8) Unidade de processo de enfatizar

A unidade de processo de enfatizar 180 gera uma imagem enfatizada que enfaticamente exibe cada um de um ou mais objetos designados entre objetos incluídos em um modelo tridimensional (daqui em diante, "objeto designado") processando a imagem parcial em uma imagem de entrada correspondendo a cada um dos objetos designados descritos acima. Na presente modalidade, por exemplo, quando informação de designação de objeto é entrada a partir da unidade de aplicativo 160, e.g. um identificador de um objeto físico é recebido, a unidade de processo de enfatizar 180 determina se um objeto designado aparece em uma imagem de entrada com base na informação de designação de objeto. A seguir, quando o objeto designado aparece na imagem de entrada, a unidade de processo de enfatizar 180 reconhece a área na imagem de entrada correspondente ao objeto designado com base em um resultado da ação de corresponder descrita acima através da unidade de correspondência 140. A unidade de processo de enfatizar 180 então processa a imagem parcial na área reconhecida tal que o objeto designado correspondendo ao identificador recebido é enfatizado. A imagem parcial processada e gerada pela unidade de processo de enfatizar 180 é referida como uma imagem enfatizada ou imagem parcial enfatizada nesta especificação. A unidade de processo de enfatizar 180 gera uma imagem de saída sobrepondo a imagem enfatizada sobre a imagem de entrada e faz a unidade de interface de usuário 170 exibir a imagem de saída gerada usando um gerador de exibição que gera sinais representando a imagem de saída.

FIG. 6 é uma vista explicativa para explicar um processo de extrair uma imagem parcial através da unidade de processo de enfatizar 180

de acordo com a presente modalidade. Uma imagem de entrada ImOl é

>

mostrada no canto do lado esquerdo superior da Fig. 6. A título de exemplo, é assumido que informação de designação de objeto entrado a partir da unidade de aplicativo 160 designa um objeto B7 que aparece na imagem de entrada ImO 1. Uma área Rl que é reconhecida como um resultado da ação de corresponder através da unidade de correspondência 140 e é correspondente ao objeto designado B7, é mostrado no canto do lado direito superior da Fig. 6. A unidade de processo de enfatizar 180 extrai a imagem parcial Iml 1 de tal uma área Rl a partir da imagem de entrada ImOl (ver o canto do lado esquerdo inferior da Fig. 6). Um objeto em movimento que aparece na imagem de entrada ImOl pode sobrepor sobre a imagem parcial Imll em alguns casos. No exemplo mostrado na Fig. 6, a pessoa se sobrepõe na frente do objeto designado B7. No qual caso, a unidade de processo de enfatizar 180 gera a imagem parcial Im 12 no qual o efeito do objeto em movimento é reduzido, por exemplo, calculando à media de múltiplas imagens parciais Iml 1 sobre múltiplos quadros.

Na seguinte seção, três exemplos de processos de enfatizar através da unidade de processo de enfatizar 180 serão descritos em detalhes para gerar uma imagem enfatizada descrita acima a partir de uma imagem parcial extraída nesta maneira. <2. Exemplos dos processos de enfatizar>

FIGS. 7 à 9 são vistas explicativas para explicar um exemplo de um processo de enfatizar através da unidade de processo de enfatizar 180 de acordo com a presente modalidade respectivamente. [2-1. Primeiro exemplo]

Em um primeiro exemplo do processo de enfatizar, é assumido que os objetos B4 e B7 incluídos no modelo tridimensional 132 ilustrado na Fig. 4 são designados pela informação de designação de objeto. Referindo à Fig 7, uma imagem de saída Im21 gerada através da unidade de processo de enfatizar 180 no primeiro exemplo é mostrada. Através da comparação entre a imagem de saída Im21 e a imagem de entrada ImOl na Fig. 3, será entendido que o tamanho dos objetos designados B4 e B7 (especialmente altura) é estendida na imagem. Assim sendo, a unidade de processo de enfatizar 180 pode enfatizar um objeto designado modificando o tamanho da imagem parcial correspondendo ao objeto designado. Em vez disso (ou adicionalmente), a unidade de processo de enfatizar 180 pode enfatizar um objeto designado modificando a forma, cor, ou brilho da imagem parcial correspondendo to ao objeto designado, ou modificando uma porção do modelo tridimensional correspondendo ao objeto designado.

A unidade de processo de enfatizar 180 pode diretamente gerar uma imagem enfatizada (porções sombreadas na imagem de saída Im21 da Fig. 7) que enfatiza cada objeto designado mudando o tamanho, forma, cor, ou brilho da imagem parcial. Em vez disso, por exemplo, a unidade de processo de enfatizar 180 pode remover distorção da imagem parcial em perspectiva, obter uma textura de cada objeto designado, e cola a textura obtida na superfície de um polígono de cada objeto designado para gerar uma imagem enfatizada. Distorção da imagem parcial em perspectiva pode ser removida através da realização de transformação afim da imagem parcial dependendo da localização e postura do dispositivo de processamento de imagem 100 (o gerador de imagem 22) determinada pela unidade de correspondência 140. O uso da textura obtida nesta maneira também permite, por exemplo, uma porção de aparência de um objeto designado escondido por outros objetos em uma imagem de entrada a ser visível em uma imagem de saída (por exemplo, algumas porções escondidas por outros objetos são visíveis no exemplo mostrado na Fig. 9 descrito abaixo). [2-2. Segundo exemplo]

Além disso, em um segundo exemplo do processo de enfatizar,

é assumido que os objetos B4 e B7 incluídos no modelo tridimensional 132

ilustrados na Fig. 4 são designados pela informação de designação de objeto. \

A título de exemplo, é também assumido que os objetos B4 e B7 são designados como um resultado de uma pesquisa de restaurante, e dois pedaços de informação adicional de "um nome de loja" e "uma classificação" são associados com cada objeto. Por exemplo, referindo à Fig 8, o nome de loja do objeto designado B4 é "ABC Café," e a classificação é duas estrelas. Por outro lado, o nome de loja do objeto designado B7 é "Bar XYZ," e a classificação é três estrelas. Informação adicional não é limitada a este exemplo, e pode ser qualquer informação, tal como um orçamento assumido e estilo de cozinha.

No segundo exemplo, a unidade de processo de enfatizar 180, primeiro, similar ao primeiro exemplo, enfatiza o objeto designados B4 e B7 modificando o tamanho (ou forma, cor, ou brilho) da imagem parcial correspondendo a esses objetos designados B4 e B7. Ainda mais, a unidade de processo de enfatizar 180 gera uma série de imagens enfatizadas que representam animação na qual um objeto designado se move. Esta animação é, por exemplo, animação na qual um objeto designado treme. A unidade de processo de enfatizar 180 pode gerar tal animação no qual um objeto designado treme, por exemplo, quando um sinal de sensoriamento de oscilação de movimento que indica o dispositivo de processamento de imagem 100 está tremendo é entrado a partir da unidade de sensoriamento de movimento de oscilação 150.

Referindo à Fig 8, imagens de saída Im22, Im23, e Im24 geradas pela unidade de processo de enfatizar 180 no segundo exemplo são mostradas. Na imagem de saída Im22, os objetos designados B4 e B7 descritos acima são ambos enfatizados usando o método pelo qual o tamanho é estendido, independente do resultado da detecção da oscilação de movimento pela unidade de sensoriamento de movimento de oscilação 150. Por outro lado, as imagens de saídas Im23 e Im24 são exibidas quando o movimento de oscilação do dispositivo de processamento de imagem 100 é detectado. Nas imagens de saídas Im23 e Im24, somente o objeto B7 que é um restaurante altamente classificado (três estrelas) é enfatizado usando o método que usa animação na qual um objeto designado treme.

Assim sendo, o uso de animação na qual um objeto designado se move assegura que um objeto desejado designado é distinto dos outros objetos na imagem de entrada. Por conseguinte, um usuário pode achar um objeto desejado muito facilmente por referência a uma imagem de saída. Animação na qual um objeto se move não é limitada ao exemplo descrito acima e pode ser animação na qual um objeto é, por exemplo, alongado, contraído, ou pulado.

Além disso, como discutido anteriormente, múltiplos objetos designados a serem apresentados a um usuário e particularmente notáveis objetos designados (por exemplo, um restaurante altamente classificado com muitas estrelas, ou um restaurante que satisfaz ao orçamento do usuário) deles todos, podem ser exibidos em tal uma maneira que o usuário pode distinguir entre eles facilmente, classificando os objetos designados em dois ou mais grupos de acordo com a informação adicional (tal como o número de estrelas, ou o orçamento do usuário) e enfatizando os objetos designados usando diferentes métodos em uma maneira em fase de acordo com a classificação acima. O método através do qual o usuário agitando o dispositivo de processamento de imagem 100 aciona um objeto designado para ser agitado, também alcança uma interface efetiva de usuário que apresenta informação geográfica que é mais intuitiva e fácil par aos usuários lembrarem. [2-3. Terceiro exemplo]

Em um terceiro exemplo de um processo de enfatizar, é assumido que os objetos B4, B7, e um objeto BlO são designados pela informação de designação de objeto. Similar ao segundo exemplo, é também assumido que dois pedaços de informação adicional de "um nome de loja" e "uma classificação" são associados com cada objeto. No terceiro exemplo, contudo, é assumido que "uma classificação" é dada como um valor numérico e uma ordem de classificação de acordo com a magnitude do valor numérico é dado. Por exemplo, a classificação do objeto designado B4 é 2,9, e a ordem de classificação é terceiro lugar. A classificação do objeto designado B7 é 3,8, e a ordem de classificação é segundo lugar. A classificação do objeto designado BlO é 4,2, e a ordem de classificação é primeiro lugar.

No terceiro exemplo, quando os múltiplos objetos classificados são designados nesta maneira, a unidade de processo de enfatizar 180 modifica o tamanho de uma imagem parcial correspondendo a cada dos múltiplos objetos designados de acordo com a ordem de classificação de cada objeto designado. No exemplo mostrado na Fig. 9, em uma imagem de saída Im25, o objeto designado BlO é exibido como o mais alto, o objeto designado B7 é exibido como o segundo mais alto, e o objeto designado B4 é reduzido para ser o mais baixo de todos os objetos designados.

Assim sendo, a modificação do tamanho de um objeto designado de acordo com informação adicional, tal como uma ordem de classificação, dado ao objeto designado permite a um usuário entender não somente a informação de localização sobre o objeto designado mas também a informação adicional intuitivamente e facilmente. <3. Exemplo do fluxo do processamento de imagens>

FIG. 10 é um fluxograma ilustrando um exemplo de um fluxo de processamento de imagem pelo dispositivo de processamento de imagem 100 de acordo com a presente modalidade. Referindo à Fig. 10, primeiro, a unidade de obtenção de imagem de entrada 110 obtém imagens de entrada nas quais a visão no mundo real em torno de um usuário é capturado (etapa S102). A unidade de posicionamento 120 também determina a localização atual e orientação do dispositivo de processamento de imagem 100 (etapa S104). A seguir, a unidade de correspondência 140 pode recuperar um modelo tridimensional correspondendo à localização atual, e obter dados sobre os objetos em torno da localização atual do dispositivo de processamento de imagem 100 a partir do correspondente modelo tridimensional armazenado na unidade de armazenamento 130 (etapa S106). A seguir, a unidade de correspondência 140 coincide os pontos de característica configurados na imagem de entrada com os pontos de característica do grupo de objetos incluídos no modelo tridimensional obtido (etapa S108). A seguir, quando informação de designação de objeto é entrada a partir da unidade de aplicativo 160, a unidade de processo de enfatizar 180 distingue um ou mais objetos designados pela informação de designação de objeto (etapa S110). A seguir, a unidade de processo de enfatizar 180 extrai imagens parciais de áreas na imagem de entrada correspondendo aos objetos designados usando o modelo tridimensional (etapa Sl 12). A seguir, a unidade de processo de enfatizar 180 gera a imagem enfatizada que enfatiza os objetos designados pelo processamento e modifica as imagens parciais extraídas (etapa Sl 14). Alternativamente, a porção do modelo tridimensional pode ser modificada para gerar uma imagem sobrepondo a imagem enfatizada gerada sobre a imagem de entrada (etapa Sl 16). A imagem de saída gerada nesta maneira é exibida na tela do dispositivo de exibição 24 via a unidade de interface de usuário 170. <4. Conclusão >

Uma modalidade da presente divulgação foi descrita com referência às Figs. 1 a 10. De acordo com a presente modalidade, uma imagem enfatizada que enfatiza um objeto designado é gerado e exibida processando uma imagem parcial em uma imagem de entrada correspondendo ao objeto designado em um modelo tridimensional designado pela função de aplicativo. Por conseguinte, um objeto designado é enfaticamente exibido enquanto aparência natural que aparece em uma imagem de entrada a partir do ponto de vista do gerador de imagem 22 montado no dispositivo de processamento de imagem 100 que um usuário usa é mantida. Conseqüentemente, pode ser fácil para um usuário encontrar um objeto designado, tal como um prédio ou instalação desejada, no espaço real.

Por exemplo, o uso de uma série de imagens enfatizadas que representam animação na qual um objeto designado se move também permite a um usuário reconhecer o objeto desejado muito facilmente. A modificação de um objeto designado em uma imagem de saída também permite a um usuário entender informação adicional, tal como uma ordem de classificação, intuitivamente e facilmente.

O método pelo qual o usuário agitando o dispositivo de processamento de imagem 100 aciona animação na qual um objeto designado é agitado em uma imagem de saída a ser exibida também associa um movimento de um usuário com uma imagem enfatizada, e o método pode alcançar uma interface de usuário intuitiva e fácil de seguir que apresenta informação geográfica.

Deve ser entendido por aqueles com qualificação na arte que várias modificações, combinações, sub-combinações e alterações podem ocorrer dependendo dos requisitos de projeto e outros fatores na medida que eles estejam dentro do escopo das reivindicações anexas ou das equivalentes delas

Claims

1. Aparelho caracterizado pelo fato de compreender: - uma unidade de captura para capturar uma imagem de entrada de objetos físicos; - uma unidade de correspondência para corresponder um modelo tridimensional com os objetos físicos; - uma unidade de processamento para produzir uma imagem parcial modificada por pelo menos um de: - modificar uma porção do modelo tridimensional correspondente, ou - modificar uma imagem parcial extraída a partir da imagem de entrada usando o modelo tridimensional correspondente; e - um gerador de exibição para gerar sinais representando uma imagem de saída, a imagem de saída incluindo a imagem parcial modificada sobrepondo sobre a imagem de entrada.

2. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a imagem parcial modificada compreende uma imagem parcial enfatizada.

3. Aparelho de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de processamento enfatiza a imagem parcial mudando pelo menos um de um tamanho, uma forma, uma cor, ou um brilho da imagem parcial.

4. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo tridimensional compreende um modelo tridimensional descrevendo uma forma tridimensional e uma localização de um dos objetos físicos.

5. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o aparelho compreende uma unidade de armazenamento para armazenar o modelo tridimensional.

6. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo tridimensional compreende uma localização tridimensional de vértices formando a forma de um dos objetos físicos.

7. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo tridimensional compreende dados definindo um identificador de um dos objetos físicos.

8. Aparelho de acordo com a reivindicação 7, caracterizado pelo fato de que a unidade de processamento produz uma imagem parcial modificada de um dos objetos físicos, a imagem parcial modificada correspondendo a um identificador recebido de um dos objetos físicos.

9. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de correspondência corresponde os pontos de característica dos objetos físicos na imagem de entrada com o modelo tridimensional usando a localização tridimensional dos vértices.

10. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de compreender a unidade de posicionamento para determinar uma localização do aparelho.

11. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de que a unidade de correspondência recupera um modelo tridimensional correspondendo aos objetos físicos na imagem de entrada, com base na localização atual determinada.

12. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de que a unidade de posicionamento determina uma orientação atual do aparelho.

13. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de compreender uma unidade de sensor para detectar movimento do aparelho.

14. Aparelho de acordo com a reivindicação 13, caracterizado pelo fato de que a unidade de processamento produz uma imagem parcial modificada com base no movimento detectado.

15. Método caracterizado pelo fato de compreender: - capturar uma imagem de entrada de objetos físicos; - corresponder um modelo tridimensional com os objetos físicos; - produzir uma imagem parcial modificada por pelo menos um de: - modificar uma porção do modelo tridimensional correspondente, ou - modificar uma imagem parcial extraída a partir da imagem de entrada usando o modelo tridimensional correspondente; e - exibir uma imagem de saída incluindo uma imagem parcial modificada sobrepondo sobre a imagem de entrada.

16. Dispositivo de armazenamento legível por computador não transitório incorporado tangivelmente armazenando instruções que, quando executadas por um processador, faz com que um computador efetue um método para exibir objetos físicos, caracterizado pelo fato de compreender: - capturar uma imagem de entrada de objetos físicos; - corresponder um modelo tridimensional com os objetos físicos; - produzir uma imagem parcial modificada por pelo menos um de: modificar uma porção do modelo tridimensional correspondente, ou - modificar uma imagem parcial extraída a partir da imagem de entrada usando o modelo tridimensional correspondente; e - exibir uma imagem de saída incluindo uma imagem parcial modificada sobrepondo sobre a imagem de entrada.