BRPI0807594A2

BRPI0807594A2 - Dispositivo de processamento de dados, método de processamento de dados, e, meio de armazenagem

Info

Publication number: BRPI0807594A2
Application number: BRPI0807594-8A
Authority: BR
Inventors: Tetsujiro Kondo
Original assignee: Sony Corp
Priority date: 2007-12-18
Filing date: 2008-12-18
Publication date: 2014-07-22
Also published as: CN101617528B; US8169510B2; US20100157080A1; EP2222075A4; JP5288214B2; WO2009078454A1; KR20100103338A; JPWO2009078454A1; CN101617528A; RU2423015C2; RU2009131323A; EP2222075A1

Description

“DISPOSITIVO DE PROCESSAMENTO DE DADOS, MÉTODO DE PROCESSAMENTO DE DADOS, E, MEIO DE ARMAZENAGEM” CAMPO TÉCNICO

A presente invenção relaciona-se a um dispositivo de processamento de dados, um método de processamento de dados e um meio de armazenagem, e particularmente a um dispositivo de processamento de dados, um método de processamento de dados e um meio de armazenagem que habilitam um usuário a ter uma sensação física de coleta de um material, edição e similar.

TÉCNICA FUNDAMENTAL

Por exemplo, em uma estação de radiodifusão, uma câmera de vídeo possuindo um dispositivo de captura de imagem que captura uma imagem de um mundo real via um sistema óptico, captura uma imagem de luz de um objeto tal como um cenário ou similar no mundo real, via sistema óptico, e amostra a luz em uma direção espaço-temporal, por meio do qual dados de imagem são obtidos.

Especificamente, na câmera de vídeo, pixéis de tamanho diminuto do dispositivo de captura de imagem recebem luz do mundo real, por meio dos quais a luz é mostrada em uma direção espacial. Adicionalmente, nos pixéis do dispositivo de captura de imagem, a luz do mundo real é amostrada em uma direção temporal, sendo recebida por um tempo pré-determinado e sendo submetida a conversão fotoelétrica. O dispositivo de captura de imagem emite dados de imagem compostos de valores de pixel de acordo com quantidades de carga correspondentes à luz amostrada na direção espacial e direção temporal, conforme descrito acima.

Adicionalmente, na estação de radiodifusão, usando os dados de imagem obtidos pela câmera de vídeo como um material, os dados de imagem como material são editados, submetidos a processamento de sinal tal como codificação MPEG (Grupo de Especialistas de Imagem Móvel) e similar, e transmitidos.

Quando os dados de imagem são codificados MPEG conforme descrito acima, um lado de recepção efetua decodificação MPEG. Como a codificação MPEG submete os dados de imagem a uma DCT (Transformada 5 de Co-seno Discreta) em unidades de bloco de um tamanho pré-determinado, e quantifica adicionalmente os dados de imagem, distorção tal como distorção em bloco ou similar ocorre em uma imagem decodificada obtida como um resultado da decodificação MPEG.

Conseqüentemente, o presente requerente propôs previamente

um método para remediar distorção tal como distorção em bloco ou similar ocorrida em uma imagem decodificada. Obtida como um resultado da decodificação MPEG por uma técnica referida como um processamento adaptativo de classificação de classe (ver Documento de Patente 1, por exemplo).

Incidentalmente, por exemplo, mesmo quando um monitor no

lado de recepção é um monitor de alto desempenho capaz de exibir uma imagem que reproduza fielmente o mundo real, a qualidade de imagem de uma imagem visualizável no monitor está limitada pelo desempenho da câmera de vídeo da estação de radiodifusão.

Em adição, no mundo real, um usuário pode ter uma sensação

física de todo cenário visto pelo sensoreado da visão. Entretanto, como para dados de imagem obtidos pela câmera de vídeo, o usuário pode visualizar somente cenário aparecendo em uma imagem correspondente aos dados de imagem.

Documento de Patente 1: Patente Japonesa aberta ao público

No. 2001-320587 DESCRIÇÃO DA INVENÇÃO Problema Técnico

Conforme descrito acima, em uma estação de radiodifusão, dados de imagem gerados pela captação de imagem pela câmera de vídeo são obtidos, e adicionalmente os dados de imagem são editados.

Uma faixa na qual uma imagem do mundo real é capturada por uma câmera de vídeo e detalhes de edição executados nos dados de imagem 5 obtidos pela câmera de vídeo são efetuados em conformidade com a intenção de um diretor da estação de radiodifusão ou similar. Entretanto, a intenção do diretor ou similar não coincide necessariamente com a intenção de um usuário como espectador.

A presente invenção foi feita à vista de tal situação, e é por exemplo, destinada a habilitar o usuário a ter uma sensação física de coleta de material tal como dados de imagem ou similar, e edição.

SOLUÇÃO TÉCNICA

De acordo com um aspecto da presente invenção, é provido um dispositivo de processamento de imagem ou um meio de armazenagem no 15 qual é armazenado um programa para fazer com que um computador funcione como o dispositivo de processamento de dados, o dispositivo de processamento de dados sendo um dispositivo de processamento de dados configurado para processar dados de entrada obtidos efetuando processamento de sinal ou sensoreando dados obtidos por um dispositivo sensor, sensoreando 20 e amostrando um primeiro objeto em um mundo real, o dispositivo de processamento de dados incluindo: um bloco de remoção de distorção de dispositivo sensor configurado para remover distorção ocorrida quando dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de sinal, a distorção estando incluída nos dados de imagem; 25 bloco de eliminação de posição de dispositivo sensor configurado para gerar primeiros dados de objeto representando o primeiro objeto, os primeiros dados de objetos não sendo dependentes de pelo menos uma posição do dispositivo sensor, a partir dos dados de entrada; uma seção de configuração de parâmetro configurada para ajustar um parâmetro sensor como um parâmetro usado para sensorear o primeiro objeto; e uma seção de manipulação configurada para manipular os primeiros dados de imagem de acordo com o parâmetro sensoreado ajustado pela seção de configuração de parâmetro.

De acordo com um aspecto da presente invenção, é provido

um método de processamento de dados de um dispositivo de processamento de dados configurado para processar dados de entrada obtidos executando processamento de sinal ou sensoreando dados obtidos por um dispositivo sensor, sensoreando e amostrando um primeiro objeto em um mundo real, o 10 método de processamento de dados incluindo as etapas de: o dispositivo de processamento de dados remover distorção ocorrida quando o dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de sinal, a distorção estando incluída nos dados de entrada; gerar primeiros dados de objeto representando o primeiro objeto, os primeiros dados de objeto não 15 sendo dependentes de pelo menos uma posição do dispositivo sensor, a partir dos dados de entrada; e manipular os primeiros dados de objeto de acordo com um parâmetro sensor ajustado por uma seção de configuração de parâmetro, configurada para ajustar o parâmetro sensor como um parâmetro usado para sensorear o primeiro objeto.

Em um aspecto da presente invenção, distorção ocorrida quando o

dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de sinal, a distorção estando incluída nos dados de entrada, são removidas, e os primeiros dados de objeto representando o primeiro objeto, os primeiros dados de objeto não sendo dependentes de pelo menos uma posição do 25 dispositivo sensor, são gerados a partir dos dados de entrada. Então, os primeiros dados de objeto são manipulados de acordo com um parâmetro sensor ajustado por uma seção de configuração de parâmetro configurada para ajustar o parâmetro sensor como um parâmetro usado para sensorear o primeiro objeto.

Incidentalmente, o programa pode ser provido sendo transmitido via um meio de transmissão ou em um estado de ser gravado em um meio de gravação.

Em adição, o dispositivo de processamento de dados pode ser um dispositivo independente, ou pode ser parte dos blocos formando um dispositivo independente.

EFEITOS VANTAJOSOS

Em um aspecto da presente invenção, um usuário pode ter uma sensação física do mundo real. Em particular, um usuário pode por exemplo, ter uma sensação física de coleta de um material tal como dados de imagem ou similar.

BREVE DESCRIÇÃO DOS DESENHOS [FIG. 1]

Figura 1 é um diagrama em blocos mostrando um exemplo de configuração de uma primeira realização de um dispositivo de processamento de dados ao qual a presente invenção é aplicada.

[FIG. 2]

Figura 2 é um fluxograma de auxílio na explicação do processamento do dispositivo de processamento de dados de acordo com a primeira realização.

[FIG. 3]

Figura 3 é um diagrama em blocos mostrando um exemplo de configuração de uma segunda realização do dispositivo de processamento de dados ao qual a presente invenção é aplicada.

[FIG. 4]

Figura 4 é um fluxograma de auxílio na explicação do

processamento do dispositivo de processamento de dados de acordo com a segunda realização.

[FIG. 5]

Figura 5 é um diagrama em blocos mostrando um exemplo de configuração de uma realização de um sistema de comunicação ao qual o dispositivo de processamento de dados é aplicado.

[FIG. 6]

Figura 6 é um diagrama em blocos mostrando um primeiro exemplo de configuração de um dispositivo receptor 30.

[FIG. 7]

Figura 7 é um diagrama em blocos mostrando um exemplo de configuração de uma seção de processamento 31.

[FIG. 8]

Figura 8 é um diagrama em blocos mostrando um exemplo de

configuração de um bloco de remoção de distorção de dispositivo de captura de imagem 32 e um bloco de eliminação de operação de dispositivo de captura de imagem 33.

[FIG. 9]

Figura 9 é um diagrama em blocos mostrando um exemplo de

configuração do bloco de remoção de distorção de dispositivo de captura de imagem 32.

[FIG. 10]

Figura 10 é um diagrama em blocos mostrando um segundo

exemplo de configuração do dispositivo receptor 30.

[FIG. 11]

Figura 11 é um diagrama em blocos mostrando um terceiro exemplo de configuração do dispositivo receptor 30.

[FIG. 12]

Figura 12 é um diagrama em blocos mostrando um quarto

exemplo de configuração do dispositivo receptor 30.

[FIG. 13]

Figura 13 é um diagrama em blocos mostrando um quinto exemplo de configuração do dispositivo receptor 30. [FIG. 14]

Figura 14 é um diagrama em blocos mostrando um sexto exemplo de configüração do dispositivo receptor 30.

[FIG. 15]

Figura 15 é um diagrama em blocos mostrando um exemplo de

configuração de uma outra realização do sistema de comunicação ao qual o dispositivo de processamento de dados é aplicado.

[FIG. 16]

Figura 16 é um diagrama em blocos mostrando um primeiro exemplo de configuração de um dispositivo receptor 130.

[FIG. 17]

Figura 17 é um diagrama em blocos mostrando um exemplo de configuração de uma seção de processamento 131.

[FIG. 18]

Figura 18 é um diagrama em blocos mostrando um exemplo de

configuração de um bloco de remoção de distorção de dispositivo de coleta de som 132 e um bloco de eliminação de operação de dispositivo de coleta de som 133.

[FIG. 19]

Figura 19 é um diagrama em blocos mostrando um exemplo de

configuração do bloco de remoção de distorção de dispositivo de coleta de som 132 no dispositivo receptor 130.

[FIG. 20]

Figura 20 é um diagrama em blocos mostrando um segundo exemplo de configuração do dispositivo receptor 130.

[FIG. 21]

Figura 21 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de extração para extrair uma região telop (legendas, subtítulos, etc.) movendo-se em um segundo plano estacionário.

[FIG. 22]

Figura 22 é um diagrama em blocos mostrando um exemplo de configuração de um circuito de extração 214.

[FIG. 23]

Figura 23 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de conversão que converte primeiros dados para segundos dados, por DRC.

[FIG. 24]

Figura 24 é um diagrama em blocos mostrando um exemplo de

configuração de um dispositivo de detecção que detecta operação de aproximação.

[FIG. 25]

Figura 25 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de detecção para detectar uma operação de câmera intencional (movimento).

[FIG. 26]

Figura 26 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de geração que gera primeiros dados de imagem de objeto adicionando aos dados de imagem.

[FIG. 27]

Figura 27 é um diagrama mostrando esquematicamente um exemplo de configuração de uma seção de memória 515.

[FIG. 28]

Figura 28 é um diagrama de auxílio na explicação de

endereços relativos da seção de memória 515.

[FIG. 29]

Figura 29 é um diagrama de auxílio na explicação da escrita de dados de imagem de um quadro para uma faixa de acesso. [FIG. 30]

Figura 30 é um diagrama mostrando um objeto estacionário B como um segundo plano e um objeto móvel A como um primeiro plano.

[FIG. 31]

Figura 31 é um diagrama mostrando um estado de um objeto A

movendo-se por quatro pixéis em uma direção horizontal (direção x) a uma velocidade constante durante um tempo de exposição T.

[FIG. 32]

Figura 32 é um diagrama mostrando um valor de pixel yi

emitido por uma câmera de vídeo em um modelo de captura de imagem.

[FIG. 33]

Figura 33 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de detecção para detectar dados de áudio de BGM.

[FIG. 34]

Figura 34 é um diagrama em blocos mostrando um exemplo de configuração de um dispositivo de detecção que executa processamento de detecção de fonte sonora.

[FIG. 35]

Figura 35 é um diagrama de auxílio na explicação de

princípios de processamento que obtém um sinal enfatizado que enfatiza áudio alvo incluído em um sinal acústico estéreo.

[FIG. 36]

Figura 36 é um diagrama mostrando um sinal retardado de canal L emitido por um bloco de retardo 711 e um sinal retardado de canal R emitido por um bloco de retardo 712.

[FIG. 37]

Figura 37 é um diagrama em blocos mostrando um exemplo de configuração de uma realização de um computador ao qual a presente invenção é aplicada.

DESCRIÇÃO DOS NUMERAIS DE REFERÊNCIA

11 Seção de processamento, 12 Bloco de remoção de distorção de dispositivo sensor, 13 Bloco de eliminação de posição de dispositivo 5 sensor, 14 Seção de configuração de parâmetro, 15 Seção de manipulação, 16 Seção de detecção de segundos dados de objeto, 20 Dispositivo de transmissão, 21 Dispositivo de captura de imagem, 22 Sistema óptico, 23 Seção de recepção de luz, 24 Seção de amostragem espaço-temporal, 25 Memória, 26 Seção de edição, 27 Seção de processamento de sinal, 30 10 Dispositivo de recepção, 31 Seção de processamento, 32 Bloco de remoção de distorção de dispositivo de captura de imagem, 34 Seção de configuração de parâmetro, 35 Seção de manipulação,36 Seção de detecção de segundos dados de imagem de objeto, 41 Porção de remoção de distorção de processamento de sinal, 42 Porção de criação de resolução espaço-temporal, 43 Porção de 15 remoção de distorção óptica, 51 Porção de detecção de operação de dispositivo de captura de imagem, 52 Porção de compensação de operação de dispositivo de captura de imagem, 53 Porção de armazenagem, 54 Porção de separação de primeiro plano, 55 Porção de processamento de remoção de mancha de primeiro plano, 120 Dispositivo de transmissão, 121 Dispositivo 20 de coleta de som, 123 Seção de coleta de som, 124 Seção de amostragem temporal, 125 Memória, 126 Seção de edição, 127 Seção de processamento de sinal, 130 Dispositivo de recepção, 131 Seção de processamento, 132 Bloco de remoção de distorção de dispositivo de coleta de som, 133 Bloco de eliminação de operação de dispositivo de coleta de som, 134 Seção de 25 configuração de parâmetro, 135 Seção de manipulação, 136 Seção de detecção de segundos dados de áudio, 141 Porção de remoção de distorção de processamento de sinal, 142 Porção de criação de resolução temporal, 143 Porção de remoção de distorção de coleta de som, 151 Porção de detecção de fonte sonora, 152 Porção de separação, 211 Circuito de retardo, 212 Circuito sintetizador, 213 Memória de armazenagem, 214 Circuito de extração, 215 Circuito de detecção de vetor de movimento, 216 Circuito de desvio de fase, 221 Circuito de detecção de borda, 222 Circuito de detecção de nível, 223 Circuito de determinação de telop, 301 Seção de seleção de amostra de 5 interesse, 302, 303 Seção de seleção de derivação, 304 Seção de classificação de classe, 305 Seção de emissão de coeficiente, 306 Seção de operação de predição, 401, 402 Memória de quadro, 403 Seção funcional de interpolação linear, 404 Seção de cálculo de coeficiente de correlação, 405 Seção funcional de configuração de relação de aproximação, 421 Seção de estimativa de vetor 10 de movimento, 422 Memória de vetor, 423 Seção de determinação, 511 Seção de memória de quadro, 511 A, 511B Memória de quadro, 512 Seção de detecção de movimento, 513 Seção de detecção de mudança de cena, 514 Controlador, 515 Seção de memória, 601 Filtro, 701 Seção de adição de correção de retardo, 702 Seção de detecção de intensidade, 703 Seção de 15 criação de coeficiente de separação, 704 Circuito de operação de filtro, 711, 712 Bloco de retardo, 713, 714 Seção de operação, 801 Barramento, 802 CPU, 803 ROM, 804 RAM, 805 Disco rígido, 806 Seção de saída, 807 Seção de entrada, 808 Seção de comunicação, 809 Controlador, 810 Interface entrada-saída, 811 Meio de gravação removível.

MELHOR MODO PARA REALIZAR A INVENÇÃO

Na Figura 1, o dispositivo de processamento de dados inclui 25 uma seção de processamento 11, uma seção de configuração de parâmetro 14 e uma seção de manipulação 15. O dispositivo de processamento de dados processa dados de entrada obtidos executando processamento de sinal sobre dados sensoreados obtidos por um dispositivo sensor não mostrado na figura, sensoreando e amostrando um primeiro objeto em um mundo real. Isto é, a seção de processamento 11 é suprida com os dados de entrada obtidos efetuando processamento de sinal nos dados sensoreados obtidos pelo dispositivo sensor, sensoreando e amostrando o primeiro objeto no mundo real.

A seção de processamento 11 inclui um bloco de remoção de

distorção de dispositivo sensor 12 e um bloco de eliminação de posição de dispositivo sensor 13. A seção de processamento 11 processa os dados de entrada fornecidos à seção de processamento 11.

Especificamente, o bloco de remoção de distorção de dispositivo sensor 12 remove distorção ocorrida quando o dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de, cuja distorção está incluída nos dados de entrada fornecidos à seção de processamento 11.

O bloco de eliminação de posição de dispositivo sensor 13 gera primeiros dados de objeto representando o primeiro objeto, cujos dados não são dependentes de pelo menos uma posição (incluindo movimento de operação em uma direção em série de tempo da posição) do dispositivo sensor, a partir dos dados de entrada fornecidos à seção de processamento 11.

Os primeiros dados de objeto obtidos na seção de processamento 11 são fornecidos à seção de manipulação 15.

A seção de configuração de parâmetro 14, por exemplo, ajusta um parâmetro sensor como um parâmetro usado para sensorear o primeiro objeto de acordo com uma operação de um usuário. A seção de configuração de parâmetro 14 fornece o parâmetro sensor à seção de manipulação 15.

A seção de manipulação 15 manipula os primeiros dados de

objeto a partir da seção de processamento 11 de acordo com o parâmetro sensor a partir da seção de configuração de parâmetro 14. A seção de manipulação 15 emite os primeiros dados de objeto após a manipulação, como dados de saída. No dispositivo de processamento de dados formado conforme descrito acima, quando o dispositivo sensor e, por exemplo, um dispositivo que sensoreia luz, isto é, um dispositivo de captura de imagem que captura uma imagem do mundo real via um sistema óptico, e os dados de entrada são 5 dados de imagem de uma imagem móvel obtida capturando uma imagem do cenário ou similar como o primeiro objeto no mundo real pelo dispositivo de captura de imagem, os dados de entrada são processados na seção de processamento 11, e deste modo dados de imagem de uma imagem nos quais uma faixa mais ampla que uma faixa vista em um quadro (campo) capturado 10 pelo dispositivo de captura de imagem, é vista, é gerada como os primeiros dados de objeto.

Isto é, quando uma aproximação não é levada em consideração para simplificar a descrição, uma primeira faixa de objeto do cenário ou similar, vista em um quadro capturado pelo dispositivo de captura de imagem, 15 difere, dependendo da posição do dispositivo de captura de imagem (uma posição na qual captura de imagem é executada pelo dispositivo de captura de imagem). A seção de processamento 11 gera dados de imagem de uma imagem na qual uma faixa mais larga que a primeira faixa de objeto vista em um quadro capturado pelo dispositivo de captura de imagem é vista, como os 20 primeiros dados de objeto não dependendo da posição do dispositivo de captura de imagem.

Entrementes, a seção de configuração de parâmetro 14 ajusta uma faixa em uma posição a ser extraída como dados de imagem de um quadro, a partir dos primeiros dados de objeto como um parâmetro sensor de acordo com uma operação de um usuário. A seção de configuração de parâmetro 14 fornece o parâmetro sensor à seção de manipulação 15.

A seção de manipulação 15 extrai dados de imagem identificados pela faixa e a posição como o parâmetro sensor a partir da seção de configuração de parâmetro 14, a partir dos primeiros dados de objeto a partir da seção de processamento 11. A seção de manipulação 15 emite os dados de imagem como dados de saída.

Os dados de imagem como dados de saída são fornecidos a um monitor não mostrado na figura, e visualizados.

Então, o usuário pode visualizar uma imagem em uma faixa

desejada e uma posição desejada, operando a seção de configuração de parâmetro 14, e ter uma sensação física como se o usuário estivesse capturando (sensoreando) o cenário do mundo real por uma câmera de vídeo e coletando dados de imagem como material.

O processamento do dispositivo de processamento de dados da

Figura 1, será descrito a seguir adicionalmente com referência à Figura 2.

Quando a seção de processamento 11 é suprida de dados de entrada, a seção de processamento 11 na etapa Sll processa os dados de entrada. O processo então avança para a etapa S12.

Especificamente, na etapa Sl 1, o bloco de remoção de

distorção de dispositivo sensor 12 da seção de processamento 11 na etapa Sll-I executa um processo de remoção de dispositivo sensor que remove distorção ocorrida quando o dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de sinal, cuja distorção está incluída nos dados de entrada fornecidos à seção de processamento 11.

Em adição, na etapa Sl 1-2, o bloco de eliminação de posição de dispositivo sensor 13 da seção de processamento 11 executa um processo de eliminação de posição de dispositivo sensor que gera primeiros dados de objeto representando o primeiro objeto, cujos dados não são dependentes pelo 25 menos da posição do dispositivo sensor a partir dos dados de entrada fornecidos à seção de processamento 11.0 bloco de eliminação de posição de dispositivo sensor 13 fornece os primeiros dados de objeto obtidos como um resultado à seção de manipulação 15.

Na etapa S12, a seção de manipulação 15 executa um processo de manipulação que manipula os primeiros dados de objeto a partir da seção de processamento 11, de acordo com o parâmetro sensor fornecido a partir da seção de configuração de parâmetro 14. A seção de manipulação 15 emite os primeiros dados de objeto após a manipulação, como dados de saída.

Então, o processo aguarda os próximos dados de entrada serem

fornecidos à seção de processamento 11, e retoma da etapa S12 para a etapa Sll para posteriormente repetir um processo similar.

Incidentalmente, na figura, partes correspondendo a aquelas da Figura 1 são identificadas pelos mesmos numerais de referência e descrição destas serão omitidas a seguir, conforme apropriado.

Especificamente, o dispositivo de processamento de dados da 15 Figura 3 é idêntico ao dispositivo de processamento de dados da Figura 1 em que o dispositivo de processamento de dados da Figura 3 inclui uma seção de processamento 11, uma seção de configuração de parâmetro 14, e uma seção de manipulação 15. O dispositivo de processamento de dados da Figura 3 é diferente do dispositivo de processamento de dados da Figura 1, em que o 20 dispositivo de processamento de dados da Figura 3 é novamente provido de uma seção de detecção de segundos dados de objeto 16.

Entretanto, na Figura 3, dados de entrada fornecidos à seção de processamento 11 são dados obtidos superpondo segundos dados de objeto diferentes dos dados sensoreados nos dados de sensor, editando e efetuando processamento de sinal nos dados sensores nos quais os segundos dados de objeto são superpostos.

A seção de detecção de segundos dados de objeto 16 é fornecida com os mesmos dados de entrada fornecidos à seção de processamento 11. A seção de detecção de segundos dados de objeto 16 detecta os segundos dados de objeto a partir dos dados de entrada fornecidos a ela. A seção de detecção de segundos dados de objeto 16 fornece os segundos dados de objeto à seção de manipulação 15.

A seção de manipulação 15 manipula primeiros dados de

objeto a partir da seção de processamento 11 de acordo com um parâmetro sensor a partir da seção de configuração de parâmetro 14, conforme descrito com referência à Figura 1 e Figura 2. Em adição, a seção de manipulação 15 efetua edição usando os segundos dados de objeto fornecidos a partir da seção 10 de detecção de segundos dados de objeto 16, de acordo com um parâmetro de edição fornecido a partir da seção de configuração de parâmetro 14.

Isto é, na Figura 3, a seção de configuração de parâmetro 14 configura o parâmetro sensor, e também configura o parâmetro de edição como um parâmetro usado para efetuar edição de acordo com uma operação 15 de um usuário, por exemplo. A seção de configuração de parâmetro 14 fornece o parâmetro de edição juntamente com o parâmetro sensor à seção de manipulação 15.

Então, a seção de manipulação 15 manipula os primeiros dados de objeto a partir da seção de processamento 11 de acordo com o 20 parâmetro sensor, a partir da seção de configuração de parâmetro 14, e efetua edição usando os segundos dados de objeto a partir da seção de detecção de segundos dados de objeto 16, de acordo com o parâmetro de edição. A seção de manipulação 15 emite dados obtidos como um resultado da manipulação e edição, como dados de saída.

No dispositivo de processamento de dados formado conforme

descrito acima, quando o dispositivo sensor é, por exemplo, um dispositivo de captura de imagem que captura uma imagem no mundo real via um sistema óptico, e os dados de entrada são dados de imagem obtidos superpondo, por edição, dados de imagem de uma telop ou similar como segundos dados de objeto sobre dados de imagem de uma imagem móvel obtida capturando uma imagem do cenário ou similar como um primeiro objeto no mundo real, pelo dispositivo de captura de imagem, os dados de entrada são processados na seção de processamento 11, e deste modo dados de imagem de uma imagem 5 na qual uma faixa mais ampla que um quadro capturado pelo dispositivo de captura de imagem é vista, e a partir de cujos dados de imagem os dados de imagem da telop como segundos dados de objeto são removidos, são gerados como os primeiros dados de objeto.

Em adição, a seção de detecção de segundos dados de objeto 16 detecta os dados de imagem da telop como segundos dados de objeto a partir dos dados de entrada fornecidos a ela. A seção de detecção de segundos dados de objeto 16 fornece os dados de imagem à seção de manipulação 15.

Entrementes, como no caso da Figura 1, a seção de configuração de parâmetro 14 configura uma faixa e uma posição a serem 15 extraídas como dados de imagem do quadro, a partir dos primeiros dados de objeto como um parâmetro sensor de acordo com uma operação do usuário. A seção de configuração de parâmetro 14 fornece o parâmetro sensor à seção de manipulação 15.

Adicionalmente, a seção de configuração de parâmetro 14 configura um tamanho, uma posição e similar para superpor os dados de imagem da telop como segundos dados de objeto como um parâmetro de edição de acordo com uma operação do usuário. A seção de configuração de parâmetro 14 fornece o parâmetro de edição à seção de manipulação 15.

A seção de manipulação 15 extrai dados de imagem identificados pela faixa e posição indicada pelo parâmetro sensor a partir da seção de configuração de parâmetro 14, a partir dos primeiros dados de objeto da seção de processamento 11.

Adicionalmente, a seção de manipulação 15 executa edição que superpõe os dados de imagem da telop como segundos dados de objeto a partir da seção de detecção de segundos dados de objeto 16 na posição indicada pelo parâmetro de edição a partir da seção de configuração de parâmetro 14 nos dados de imagem extraídos dos primeiros dados de objeto no tamanho indicado pelo parâmetro de edição. A seção de manipulação 15 emite os dados de imagem após a edição como dados de saída.

Os dados de imagem como os dados de saída são fornecidos a um monitor não mostrado na figura, e exibidos.

Então, o usuário pode visualizar uma imagem em uma faixa desejada e uma posição desejada, operando a seção de configuração de parâmetro 14, e ter uma sensação física como se o usuário estivesse capturando (sensoreando) o cenário do mundo real por uma câmera de vídeo e coletando dados de imagem como um material.

Adicionalmente, o usuário pode ter uma sensação física de edição que superpõe dados de imagem de uma telop, por exemplo.

O processamento do dispositivo de processamento de dados da

Figura 3 será descrito a seguir adicionalmente com referência à Figura 4.

Quando a seção de processamento Ilea seção de detecção de segundos dados de objeto 16 são supridas de dados de entrada, a seção de processamento Ilea seção de detecção de segundos dados de objeto 16 na etapa S21 processam os dados de entrada. O processo então avança para a etapa S22.

Especificamente, na etapa S21, o bloco de remoção de distorção de dispositivo sensor 12 da seção de processamento 11 na etapa S21-1 efetua um processo de remoção de distorção de dispositivo sensor que 25 remove distorção ocorrida quando o dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo processamento de sinal, cuja distorção está incluída nos dados de entrada fornecidos à seção de processamento 11.

Em adição, na etapa S21-2, o bloco de eliminação de posição de dispositivo sensor 13 da seção de processamento 11 executa um processo de eliminação de posição de dispositivo sensor que gera primeiros dados de objeto representando o primeiro objeto, cujos dados não são dependentes pelo menos da posição do dispositivo sensor, a partir dos dados de entrada fornecidos à seção de processamento 11.0 bloco de eliminação de posição de 5 dispositivo sensor 13 fornece os primeiros dados de objeto obtidos como resultado à seção de manipulação 15.

Adicionalmente, na etapa S21-3, a seção de detecção de segundos dados de objeto 16 detecta segundos dados de objeto a partir dos dados de entrada. A seção de detecção de segundos dados de objeto 16 fornece os segundos dados de objeto à seção de manipulação 15.

Na etapa S22, a seção de manipulação 15 manipula os primeiros dados de objeto a partir da seção de processamento 11, de acordo com o parâmetro sensor fornecido a partir da seção de configuração de parâmetro 14, e submete os primeiros dados de objeto após a manipulação 15 para edição usando os segundos dados de objeto fornecidos a partir da seção de detecção de segundos dados de objeto 16, de acordo com o parâmetro de edição fornecido a partir da seção de configuração de parâmetro 14. A seção de manipulação 15 emite dados obtidos como resultado, como dados de saída.

Então, o processo aguarda os próximos dados de entrada a serem fornecidos à seção de processamento 11 e seção de detecção de segundos dados de objeto 16, e retoma da etapa S22 para a etapa S21, para posteriormente repetir um processo similar.

Incidentalmente, enquanto um objeto sensoreado pelo dispositivo sensor é luz que pode ser sensoreada pelo sensoreado da visão, nas

Figuras 1 a 4, o objeto sensoreado pelo dispositivo sensor não está limitado à luz, mas pode ser, por exemplo, som que pode ser sensoreado pelo sensoreado de audição ou um estímulo que pode ser sensoreado pelo sensoreado de olfato, sensoreado de paladar ou sensoreado de tato.

A seguir, Figura 5 é um diagrama em blocos mostrando um exemplo de configuração de uma realização de um sistema de comunicação ao qual o dispositivo de processamento de dados da Figura 1 ou Figura 3 é aplicado.

Na Figura 5, o sistema de comunicação inclui um dispositivo de transmissão 20 e um dispositivo de recepção 30. O sistema de comunicação, por exemplo, transmite e recebe dados de imagem como um programa de radiodifusão de televisão.

Incidentalmente, transmissão e recepção de dados de áudio (som) como um programa, será descrita mais tarde.

O dispositivo de transmissão 20 é, por exemplo, instalado em uma estação de radiodifusão que transmite programas ou similares. O dispositivo de transmissão 20 transmite dados de imagem como um programa.

Especificamente, o dispositivo de transmissão 20 inclui um dispositivo de captura de imagem 21, uma memória 25, uma seção de edição

26 e uma seção de processamento de sinal 27.

Na Figura 5, o dispositivo sensor acima descrito é o dispositivo de captura de imagem 21 que captura uma imagem do mundo real via um sistema óptico 22.

O dispositivo de captura de imagem 21 obtém primeiros dados de imagem capturados de objeto (correspondendo a dados de sensor), capturando uma imagem de um primeiro objeto tal como cenário (vista) do mundo real ou similar, via sistema óptico 22 e amostrando o primeiro objeto em uma direção espaço-temporal. O dispositivo de captura de imagem 21 fornece os primeiros dados de imagem capturados de objeto à memória 25.

Especificamente, o dispositivo de captura de imagem 21 inclui o sistema óptico 22, uma seção de recepção de luz 23 e uma seção de amostragem espaço-temporal 24.

Luz do primeiro objeto como um cenário (vista) do mundo real ou similar entra na seção de recepção de luz 23, via sistema óptico 22. A seção de recepção de luz 23 e a seção de amostragem espaço-temporal 24 são blocos modelando um elemento de conversão fotoelétrico para converter luz para dados de imagem como um sinal elétrico (por exemplo, um gerador de imagem de CCD (Dispositivo Acoplado por 5 Carga) ou CMOS (Semicondutor Metal-Óxido Complementar) ou similar. A seção de recepção de luz 23 recebe luz do sistema óptico 22, e fornece um sinal analógico correspondente à quantidade de luz recebida à seção de amostragem espaço-temporal 24.

A seção de amostragem espaço-temporal 24 amostra o sinal analógico a partir da seção de recepção de luz 23 em uma direção espacial e uma direção temporal. A seção de amostragem espaço-temporal 24 fornece dados de imagem como um resultado da amostragem como primeiros dados de imagem capturados de objeto à memória 25.

O intervalo da amostragem na direção espacial da seção de amostragem espaço-temporal 24 corresponde ao intervalo de pixéis do elemento de conversão fotoelétrico. O intervalo da amostragem na direção temporal da seção de amostragem espaço-temporal 24 corresponde ao ciclo de quadros (campos).

A memória 25 armazena temporariamente os primeiros dados de imagem capturados de objeto a partir da seção de amostragem espaçotemporal 24 do dispositivo de captura de imagem 21.

A seção de edição 26 lê os primeiros dados de imagem capturados de objeto armazenados na memória 25, superpondo, por edição, segundos dados de imagem de objeto correspondendo a segundo dados de 25 objeto, como dados de imagem representando uma telop ou similar como um segundo objeto, por exemplo, nos primeiros dados de imagem capturados de objeto, e fornece o resultado à seção de processamento de sinal 27.

A seção de processamento de sinal 27 efetua processamento de sinal por exemplo, como codificação MPEG ou similar nos primeiros dados de imagem capturados de objeto, nos quais os segundos dados de imagem de objeto são superpostos a partir da seção de edição 26. A seção de processamento de sinal 27 emite dados de imagem obtidos como um resultado do processamento de sinal, como dados de entrada.

Os dados de entrada obtidos na seção de processamento de

sinal 27 são transmitidos ao dispositivo de recepção 30 e recebidos pelo dispositivo de recepção 30.

O dispositivo de recepção 30 é, por exemplo, um receptor de televisão ou um sintonizador como um dispositivo de processamento de 10 imagem ao qual o dispositivo de processamento de dados da Figura 1 ou Figura 3 é aplicado. O dispositivo de recepção 30 processa os dados de entrada transmitidos a partir do dispositivo de transmissão 20 conforme descrito acima.

Especificamente, Figura 6 é um diagrama em blocos mostrando um primeiro exemplo de configuração do dispositivo de recepção

30 na Figura 5.

Na Figura 6, o dispositivo de recepção 30 inclui uma seção de processamento 31, uma seção de configuração de parâmetro 34, uma seção de manipulação 35 e uma seção de detecção de segundos dados de imagem de 20 objeto 36. Os dados de entrada do dispositivo de transmissão 20 na Figura 5 são fornecidos à seção de processamento 31 e à seção de detecção de segundos dados de imagem de objeto 36.

A seção de processamento 31 (correspondendo à seção de processamento 11 na Figura 3) inclui um bloco de remoção de distorção de dispositivo de captura de imagem 32 e um bloco de eliminação de operação de dispositivo de captura de imagem 33. A seção de processamento 31 processa os dados de entrada fornecidos a ela.

Especificamente, o bloco de remoção de distorção de dispositivo de captura de imagem 32 (correspondendo ao bloco de remoção de distorção de dispositivo sensor 12 na Figura 3) remove distorção ou corrida quando o dispositivo de captura de imagem 21 (Figura 5) captura uma imagem do primeiro objeto e distorção causada pelo processamento de sinal na seção de processamento de sinal 27 (Figura 5), cuja distorção está incluída nos dados de entrada fornecidos à seção de processamento 31.

O bloco de eliminação de operação de dispositivo de captura de imagem 33 (correspondendo ao bloco de eliminação de posição de dispositivo sensor 13 na Figura 3) detecta operação relativa do dispositivo de captura de imagem 21 com respeito ao primeiro objeto a partir dos dados de 10 entrada fornecidos à seção de processamento 31, adiciona os dados de entrada enquanto compensa pela operação do dispositivo de captura de imagem 21, e deste modo gera primeiros dados de imagem de objeto representando o primeiro objeto, antes que o dispositivo de captura de imagem 21 capture a imagem do primeiro objeto, isto é, por exemplo, primeiros dados de imagem 15 de objeto que são dados de imagem apresentando um ângulo de visualização mais amplo (ângulo mais amplo) que os dados de imagem de um quadro capturado pelo dispositivo de captura de imagem 21 e que são dados de imagem a partir dos quais os dados de imagem de uma telop ou similar como segundos dados de imagem de objeto são removidos.

Os primeiros dados de imagem de objeto obtidos na seção de

processamento 31 conforme descrito acima são fornecidos à seção de manipulação 35.

Entrementes, a seção de configuração de parâmetro 34 (correspondente à seção de configuração de parâmetro 14 na Figura 3) por 25 exemplo, ajusta um parâmetro de captura de imagem como um parâmetro usado para capturar uma imagem do primeiro objeto, isto é, por exemplo, o parâmetro de captura de imagem para identificar dados de imagem de um quadro a ser extraído dos primeiros dados de imagem de objeto como um parâmetro sensor de acordo com uma operação do usuário. A seção de configuração de parâmetro 34 fornece o parâmetro de captura de imagem à seção de manipulação 35.

Em adição, a seção de configuração de parâmetro 34, por exemplo, ajusta um parâmetro de edição usado para edição usando os 5 segundos dados de imagem de objeto e similar, isto é, por exemplo, um parâmetro de edição indicando uma maneira de superpor os dados de imagem de uma telop como segundos dados de imagem de objeto de acordo com uma operação do usuário. A seção de configuração de parâmetro 34 fornece o parâmetro de edição à seção de manipulação 35.

Neste caso, o parâmetro de captura de imagem inclui

informação de posição indicando uma posição horizontal e uma posição vertical de dados de imagem (posteriormente referidos como dados de imagem de extração conforme apropriado) tendo um tamanho de um quadro a ser extraído dos primeiros dados de imagem de objeto como dados de imagem 15 de ângulo amplo, a velocidade e aceleração de panorâmica ou inclinação quando os dados de imagem que seriam obtidos se o usuário efetuasse captura de imagem enquanto usando panorâmica ou inclinação de uma câmera de vídeo no mundo real, com as posições indicadas pela informação de posição como posições iniciais são obtidas. A magnificação de aproximação de uma 20 aproximação quando os dados de imagem que seriam obtidos se o usuário efetuasse captura de imagem enquanto ajustasse a aproximação da câmera de vídeo no mundo real é obtida, e similar.

Os primeiros dados de imagem de objeto são dados de imagem possuindo um ângulo mais amplo que os dados de imagem de um quadro 25 capturado pelo dispositivo de captura de imagem 21, conforme descrito acima. Então, mudando as posições onde os dados de imagem de extração são extraídos dos dados de imagem de ângulo amplo, dados de imagem como se o usuário efetuasse captura de imagem enquanto usando panorâmica ou inclinação da câmera de vídeo no mundo real podem ser obtidos. Adicionalmente, dados de imagem como se o usuário efetuasse captura de configuração de imagem enquanto ajustasse a aproximação da câmera de vídeo no mundo real, podem ser obtidos ajustando (por exemplo, reduzindo) o alcance dos dados de imagem extraídos dos primeiros dados de 5 imagem de objeto e efetuando interpolação (ou processamento adaptativo de classificação de classe).

Em adição, o parâmetro de edição inclui informação de posição indicando uma posição horizontal e uma posição vertical, onde os segundos dados de imagem de objeto como dados de imagem de uma telop 10 são superpostos nos dados de imagem de extração, e o tamanho dos segundos dados de imagem de objeto. Adicionalmente, quando a telop é movida, a velocidade e aceleração do movimento pode ser ajustada como o parâmetro de edição, e onde o tamanho da telop é mudado, a maneira (configuração) da mudança pode ser configurada como o parâmetro de edição.

A seção de manipulação 35 (correspondendo à seção de

manipulação 15 na Figura 3) sintetiza os primeiros dados de imagem de objeto a partir da seção de processamento 31 e os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de objeto 36, de acordo com o parâmetro de captura de imagem e o parâmetro de edição a partir da seção de configuração de parâmetro 34.

Especificamente, a seção de detecção de segundos dados de imagem de objeto 36 (correspondendo à seção de detecção de segundos dados de objeto 16 na Figura 3) detecta os segundos dados de imagem de objeto como dados de imagem da telop ou similar a partir dos dados de entrada 25 fornecidos a ela. A seção de detecção de segundos dados de imagem de objeto 36 fornece os segundos dados de imagem de objeto à seção de manipulação 35.

A seção de manipulação 35 extrai os dados de imagem de extração dos primeiros dados de imagem de objeto da seção de processamento 31, de acordo com o parâmetro de captura de imagem a partir da seção de configuração de parâmetro 34. Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem da telop como os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de 5 objeto 36 nos dados de imagem de extração de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 35 emite dados de imagem obtidos como um resultado, como dados de saída.

Os dados de imagem como dados de saída são fornecidos a um monitor mostrado na figura, e exibidos.

Conforme descrito acima, a seção de processamento 31 gera os primeiros dados de imagem de objeto como dados de imagem possuindo um ângulo mais amplo que os dados de imagem obtidos pela imagem capturada pelo dispositivo de captura de imagem 21, e a seção de manipulação 35 extrai 15 os dados de imagem de extração dos primeiros dados de imagem de objeto, de acordo com o parâmetro de captura de imagem configurado de acordo com uma operação do usuário. Então, o usuário pode ter uma sensação física de coletar um material ou dados de imagem.

Isto é, o usuário pode desfrutar de uma sensação como se estivesse capturando uma imagem do primeiro objeto com uma câmera de vídeo no mundo real.

Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem da telop como os segundos dados de imagem de objeto nos dados de imagem de extração de acordo com o parâmetro de edição ajustado de acordo com uma operação do usuário. Então, um usuário pode ter uma sensação física de editar dados de imagem.

Incidentalmente, na Figura 6, a seção de detecção de segundos dados de imagem de objeto 36 detecta os segundos dados de imagem de objeto a partir dos próprios dados de entrada. Entretanto, a seção de detecção de segundos dados de imagem de objeto 36 pode também detectar os segundos dados de imagem de objeto a partir dos dados de entrada após serem processados no bloco de remoção de distorção de dispositivo de captura de imagem 32, conforme indicado por uma linha pontilhada na Figura 6.

Em adição, a seção de processamento 31 pode processar os

dados de entrada a partir dos quais os segundos dados de imagem de objeto detectados na seção de detecção de segundos dados de imagem de objeto 36 são removidos, ao invés dos próprios dados de entrada.

Isto é, a seção de processamento 31 pode remover os segundos dados de imagem de objeto detectados na seção de detecção de segundos dados de imagem de objeto 36 a partir dos dados de entrada e processar os dados de entrada após a remoção.

A seguir, Figura 7 mostra um outro exemplo de configuração, da seção de processamento 31 na Figura 6.

Na Figura 6, a ordem de processamento pelo bloco de remoção

de distorção de dispositivo de captura de imagem 32 e bloco de eliminação de operação de dispositivo de captura de imagem 33 na seção de processamento

31 é arbitrária. Na Figura 7, entretanto, o bloco de remoção de distorção de dispositivo de captura de imagem 32 processa os dados de entrada fornecidos 20 à seção de processamento 31, e posteriormente o bloco de eliminação de operação de dispositivo de captura de imagem 33 processa os dados de entrada após serem processados pelo bloco de remoção de distorção de dispositivo de captura de imagem 32.

Incidentalmente, o bloco de eliminação de operação de 25 dispositivo de captura de imagem 33 pode processar os dados de entrada fornecidos à seção de processamento 31, e o bloco de remoção de distorção de dispositivo de captura de imagem 32 pode portanto, processar os dados de entrada após serem processados pelo bloco de eliminação de operação de dispositivo de captura de imagem 33. Figura 8 mostra um exemplo de configuração do bloco de remoção de distorção de dispositivo de captura de imagem 32 e do bloco de eliminação de operação de dispositivo de captura de imagem 33 na Figura 7 (e Figura 6).

Especificamente, Figura 8 A mostra um exemplo de

configuração do bloco de remoção de distorção de dispositivo de captura de imagem 32 na Figura 7.

Na Figura 8A, o bloco de remoção de distorção de dispositivo de captura de imagem 32 inclui uma porção de remoção de distorção de processamento de sinal 41, um porção de criação de resolução espaçotemporal 42 e uma porção de remoção de distorção óptica 43.

A porção de remoção de distorção de processamento de sinal 41 remove distorção causada pelo processamento de sinal pela seção de processamento de sinal 27 do dispositivo de transmissão 20 (Figura 5) a partir dos dados de entrada fornecidos a ela.

Especificamente, quando a seção de processamento de sinal 27 efetua codificação MPEG como o processamento de sinal no dispositivo de transmissão 20, a porção de remoção de distorção de processamento de sinal

41 efetua um processo de remoção de distorção de processamento de sinal que, por exemplo, submete os dados de entrada a decodificação MPEG e que

remove adicionalmente distorção de bloco ou similar causada pela codificação/decodificação MPEG.

Incidentalmente, a decodificação MPEG pode ser efetuada não só na porção de remoção de distorção de processamento de sinal 41 como 25 também na porção de criação de resolução espaço-temporal 42, na porção de remoção de distorção óptica 43 ou um outro bloco (incluindo um bloco não mostrado na figura) além da porção de remoção de distorção de processamento de sinal 41, porção de criação de resolução espaço-temporal

42 e porção de remoção de distorção óptica 43. A porção de criação de resolução espaço-temporal 42 melhora a resolução em uma direção espaço-temporal dos dados de imagem como os dados de imagem fornecidos a ela.

Especificamente, mesmo quando o monitor do dispositivo de recepção 30 é um monitor de alto desempenho capaz de exibir uma imagem que reproduz fielmente o mundo real, a qualidade de imagem, isto é, por exemplo, resolução espacial e resolução temporal (taxa de quadro) de uma imagem visualizável no monitor, é limitada pelo desempenho do dispositivo de captura de imagem 21 do dispositivo de transmissão 20 (Figura 5).

Conseqüentemente, a porção de criação de resolução espaçotemporal 42 melhora a resolução na direção espaço-temporal dos dados de imagem como os dados de entrada, no sensoreado de exibir uma imagem de qualidade de imagem suficiente no monitor.

Incidentalmente, a porção de criação de resolução espaçotemporal 42 também remove um borrão de movimento causado pelo movimento da mão e um borrão de foco causado por um estado de desfocalização, por exemplo, melhorando a resolução na direção espaçotemporal.

A porção de remoção de distorção óptica 43 remove distorção causada pelo sistema óptico 22 do dispositivo de transmissão 20 (Figura 5) (por exemplo, distorção de uma imagem cuja distorção é causada por uma aberração do sistema óptico 22) a partir dos dados de entrada fornecidos a ela.

Incidentalmente, a ordem na qual a porção de remoção de distorção de processamento de sinal 41, a porção de criação de resolução espaço-temporal 42 e a porção de remoção de distorção óptica 43 efetuam processamento no bloco de remoção de distorção de dispositivo de captura de imagem 32 não é particularmente limitada.

Em adição, processamento efetuado pela porção de remoção de distorção de processamento de sinal 41, porção de criação de resolução espaço-temporal 42 e porção de remoção de distorção óptica 43 no bloco de remoção de distorção de dispositivo de captura de imagem 32 podem ser efetuadas coletivamente por processamento adaptativo de classificação de classe.

Figura 8B mostra um exemplo de configuração do bloco de

eliminação de operação de dispositivo de captura de imagem 33 na Figura 7.

Na Figura 8B, o bloco de eliminação de operação de dispositivo de captura de imagem 33 inclui uma porção de detecção de operação de dispositivo de captura de imagem 51, uma porção de compensação de operação de dispositivo de captura de imagem 52 e uma porção de armazenagem 53.

A porção de detecção de operação de dispositivo de captura de imagem 51 detecta uma operação relativa no primeiro objeto pelo dispositivo de captura de imagem 21 (Figura 5), isto é, por exemplo, uma operação de 15 panorâmica, inclinação ou aproximação do dispositivo de captura de imagem 21a partir dos dados de entrada, após serem processados no bloco de remoção de distorção de dispositivo de captura de imagem 32. A porção de detecção de operação de dispositivo de captura de imagem 51 fornece informação de operação indicando a operação para a porção de compensação de operação de

dispositivo de captura de imagem 52.

A porção de compensação de operação de dispositivo de captura de imagem 52 adiciona os dados de entrada após serem processados no bloco de remoção de distorção de dispositivo de captura de imagem 32 na porção de armazenagem 53, enquanto compensa pela operação do dispositivo 25 de captura de imagem 21, cuja operação é indicada pela informação de operação a partir da porção de detecção de operação de dispositivo de captura de imagem 51. A porção de compensação de operação de dispositivo de captura de imagem 52 deste modo gera primeiros dados de imagem de objeto representando o primeiro objeto, antes do dispositivo de captura de imagem 21 capturar uma imagem do primeiro objeto.

Especificamente a porção de armazenagem 53 possui uma capacidade de armazenagem suficientemente maior que os dados de imagem de um quadro capturado pelo dispositivo de captura de imagem 21. A porção 5 de compensação de operação de dispositivo de captura de imagem 52 escrever dados de imagem de um quadro imediatamente após uma mudança de cena, por exemplo, de dados de imagem de uma imagem móvel como os dados de entrada após serem processados no bloco de remoção de distorção de dispositivo de captura de imagem 32 para a porção de armazenagem 53 como 10 um valor inicial.

Adicionalmente, a porção de compensação de operação de dispositivo de captura de imagem 52 efetua adição na qual efetua adição de ponderação de dados de imagem de um quadro próximo ao quadro imediatamente após a mudança de cena e quadro subseqüentes, por exemplo, 15 dos dados de imagem da imagem móvel como os dados de imagem após serem processados no bloco de remoção de distorção de dispositivo de captura de imagem 32 para os dados de imagem armazenados na porção de armazenagem 53, enquanto efetua registro com os dados de imagem do quadro imediatamente após a mudança de cena de acordo com a operação do

dispositivo de captura de imagem 21, tal como panorâmica, inclinação ou aproximação indicada pela informação de operação a partir da porção de detecção de operação de dispositivo de captura de imagem 51.

Deste modo, quando a captura de imagem pelo dispositivo de captura de imagem 21 do dispositivo de transmissão 20 (Figura 5) é efetuada 25 enquanto panorâmica, inclinação ou aproximação (incluindo fazer um ângulo de visualização de uma imagem sendo capturada como um ângulo amplo de visão e um ângulo telescópico de visão) conforme apropriado, a porção de armazenagem 53 armazena primeiros dados de imagem de objeto representando o primeiro objeto antes que o dispositivo de captura de imagem 21 capture a imagem do primeiro objeto, isto é, dados de imagem possuindo um ângulo mais amplo que os dados de imagem de um quadro capturado pelo dispositivo de captura de imagem 21, isto é, por exemplo, dados de imagem de uma faixa que seria vista se o usuário visualizasse o primeiro objeto no mundo real.

Incidentalmente, suponha que o primeiro objeto aparecendo nos dados de imagem (a imagem correspondente a dados de imagem) processados pela porção de compensação de operação de dispositivo de captura de imagem 52 é um objeto estacionário tal como um cenário (vista), 10 por exemplo. Neste caso, quando os dados de imagem sendo processados pela porção de compensação de operação de dispositivo de captura de imagem 52 incluem segundos dados de imagem de objeto tais como dados de imagem de uma telop móvel e outros dados de imagem de um objeto móvel, a porção de compensação de operação de dispositivo de captura de imagem 52 adiciona os 15 dados de imagem enquanto efetua registro, deste modo os dados de imagem dos objetos móveis são gradualmente apagados (removidos).

Isto é, os dados de imagem armazenados na porção de armazenagem 53 são os primeiros dados de imagem de objeto representando somente o primeiro objeto antes que o dispositivo de captura de imagem 21 capture uma imagem do primeiro objeto.

Figura 9 mostra um outro exemplo de configuração do bloco de remoção de distorção de dispositivo de captura de imagem 32 no dispositivo de recepção 30.

Na Figura 8A, a ordem na qual a porção de remoção de 25 distorção de processamento de sinal 41, a porção de criação de resolução espaço-temporal 42 e a porção de remoção de distorção óptica 43 efetuam processamento no bloco de remoção de distorção de dispositivo de captura de imagem 32 não é particularmente limitada. Na Figura 9, entretanto, a porção de remoção de distorção de processamento de sinal 41, a porção de criação de resolução espaço-temporal 42 e a porção de remoção de distorção óptica 43 efetuam processamento nesta ordem.

Especificamente, na Figura 9, dados de entrada do dispositivo de transmissão 20 (Figura 5) são fornecidos ao bloco de remoção de distorção de dispositivo de captura de imagem 32 e seção de detecção de segundos dados de imagem de objeto 36.

A porção de remoção de distorção de processamento de sinal 41 no bloco de remoção de distorção de dispositivo de captura de imagem 32 remove distorção causada por processamento de sinal pela seção de 10 processamento de sinal 27 do dispositivo de transmissão 20 a partir de dados de imagem como dados de imagem do dispositivo de transmissão 20 (Figura 5), e então fornece os dados de imagem à porção de criação de resolução espaço-temporal 42.

A porção de criação de resolução espaço-temporal 42 melhora a resolução na direção espaço-temporal dos dados de imagem a partir da porção de remoção de distorção de processamento de sinal 41. A porção de criação de resolução espaço-temporal 42 fornece dados de imagem obtidos como um resultado à porção de remoção de distorção óptica 43.

A porção de remoção de distorção óptica 43 remove distorção 20 causada pelo sistema óptico 22 do dispositivo de transmissão 20 (Figura 5) a partir dos dados de imagem da porção de criação de resolução espaçotemporal 42. A porção de remoção de distorção óptica 43 fornece os dados de imagem ao bloco de eliminação de operação de dispositivo de captura de imagem 33.

A porção de detecção de operação de dispositivo de captura de

imagem 51 no bloco de eliminação de operação de dispositivo de captura de imagem 33 detecta operação relativa do dispositivo de captura de imagem 21 (Figura 5), com respeito ao primeiro objeto, isto é, por exemplo, operação tal como panorâmica, inclinação, aproximação ou similar do dispositivo de captura de imagem 21a partir dos dados de imagem do bloco de remoção de distorção de dispositivo de captura de imagem 32 (a porção de remoção de distorção óptica 43 no bloco de remoção de distorção de dispositivo de captura de imagem 32). A porção de detecção de operação de dispositivo de 5 captura de imagem 51 fornece informação de operação indicando a operação à porção de compensação de operação de dispositivo de captura de imagem 52.

A porção de compensação de operação de dispositivo de captura de imagem 52 registra os dados de imagem do bloco de remoção de 10 distorção de dispositivo de captura de imagem 32 (registro que faz com que a posição do primeiro objeto aparecendo nas imagens correspondentes aos dados de imagem coincidam) de acordo com a operação do dispositivo de captura de imagem 21 tal como panorâmica, inclinação, aproximação ou similar indicados informação de operação a partir da porção de detecção de 15 operação de dispositivo de captura de imagem 51, e efetua adição na qual efetua adição ponderada dos dados de imagem após o registro para dados de imagem armazenados na porção de armazenagem 53.

Deste modo, conforme descrito acima, a porção de armazenagem 53 armazena primeiros dados de imagem de objeto (dados de imagem de ângulo amplo) representando o primeiro objeto antes que o dispositivo de captura de imagem 21 capture uma imagem do primeiro objeto.

Os primeiros dados de imagem de objeto armazenados na porção de armazenagem 53 são fornecidos à seção de manipulação 35.

Entrementes, a seção de detecção de segundos dados de 25 imagem de objeto 36 detecta segundos dados de imagem de objeto como dados de imagem de uma telop ou similar a partir dos dados de imagem, como os dados de entrada do dispositivo de transmissão 20 (cujos dados de imagem são obtidos por decodificação MPEG dos dados de entrada, quando os dados de entrada do dispositivo de transmissão 20 são codificados MPEG). A seção de detecção de segundos dados de imagem de objeto 36 fomece os segundos dados de imagem de objeto à seção de manipulação 35.

Conforme descrito acima, a seção de manipulação 35 é suprida dos primeiros dados de imagem de objeto a partir da porção de armazenagem 5 53 e suprida dos segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de objeto 36 e também é suprida do parâmetro de captura de imagem e do parâmetro de edição a partir da seção de configuração de parâmetro 34.

Especificamente, de acordo com uma operação do usuário a 10 seção de configuração de parâmetro 34 configura o parâmetro de captura de imagem como informação de posição indicando uma posição horizontal e uma posição vertical dos dados de imagem de extração a serem extraídos dos primeiros dados de imagem de objeto, a velocidade e aceleração de panorâmica ou inclinação da câmera de vídeo, uma magnificação de 15 aproximação e similar. A seção de configuração de parâmetro 34 fomece o parâmetro de captura de imagem à seção de manipulação 35.

Adicionalmente, de acordo com uma operação do usuário, a seção de configuração de parâmetro 34 configura o parâmetro de edição tal como informação de posição (incluindo informação indicando quanto a 20 executar superposição) indicando uma posição horizontal e uma posição vertical na qual superpor os segundos dados de imagem de objeto como dados de imagem de uma telop nos dados de imagem de extração, o tamanho da telop, uma velocidade e uma aceleração nas quais mover a telop (incluindo a velocidade angular de rotação quando a telop é girada), uma maneira de 25 mudar o tamanho da telop, e similar. A seção de configuração de parâmetro 34 fomece o parâmetro de edição à seção de manipulação 35.

A seção de manipulação 35 extrai os dados de imagem de extração dos primeiros dados de imagem de objeto a partir da porção de armazenagem 53, de acordo com o parâmetro de captura de imagem a partir da seção de configuração de parâmetro 34. Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem da telop como os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados dé imagem de objeto 36 nos dados de imagem de extração de acordo com o 5 parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 35 emite dados de imagem obtidos como um resultado, como dados de saída.

Os dados de imagem como dados de saída são fornecidos a um monitor não mostrado na figura, e exibidos.

Então, o usuário pode visualizar uma imagem como se o

usuário estivesse normalmente efetuando captura de imagem pela câmera de vídeo no mundo real, enquanto efetua uma operação de panorâmica, inclinação, aproximação ou similar, operando a seção de configuração de parâmetro 34.

Adicionalmente, operando a seção de configuração de

parâmetro 34, o usuário pode ligar ou desligar a visualização dos dados de imagem da telop como os segundos dados de imagem de objeto, e mudar a visualização da telop para uma visualização desejada quando a visualização dos dados de imagem da telop é ligada.

Incidentalmente, a seção de detecção de segundos dados de

imagem de objeto 36 pode, não só detectar os segundos dados de imagem de objeto a partir dos dados de entrada, como também detectar os segundos dados de imagem de objeto a partir de dados de imagem após serem processados na porção de remoção de distorção de processamento de sinal 41,

conforme indicado por uma linha pontilhada na Figura 9.

Figura 10 mostra um segundo exemplo de configuração do dispositivo de recepção 30 na Figura 5.

Incidentalmente, na figura, partes correspondentes à Figuras 6 a 9 são identificadas pelos mesmos numerais de referência, e a descrição destas será omitida a seguir, conforme apropriado.

Na Figura 9, a porção de detecção de operação de dispositivo de captura de imagem 51 é suprida com dados de imagem após processamento da porção de remoção de distorção óptica 43. Entretanto, no 5 dispositivo de recepção 30 da Figura 10, a porção de detecção de operação de dispositivo de captura de imagem 51 é suprida dos mesmos dados de entrada conforme fornecidos à seção de processamento 31. A porção de detecção de operação de dispositivo de captura de imagem 51 detecta operação relativa do dispositivo de captura de imagem 21 (Figura 5) com respeito ao primeiro 10 objeto a partir dos dados de entrada, e fomece informação de operação indicando a operação à porção de compensação de operação de dispositivo de captura de imagem 52.

O dispositivo de recepção 30 da Figura 10 efetua processamento similar ao da Figura 9 como outro processamento, e portanto, a descrição deste será omitida.

Figura 11 mostra um terceiro exemplo de configuração do dispositivo de recepção 30 na Figura 5.

Incidentalmente, na figura, partes correspondendo às Figuras 6 a 9 são identificadas pelos mesmos numerais de referência, e descrição destas são omitidas a seguir, conforme apropriado.

O dispositivo de recepção 30 da Figura 11 é diferente da Figura 9 em que uma porção de separação de primeiro plano 54 é novamente provida ao bloco de eliminação de operação de dispositivo de captura de imagem 33.

A porção de separação de primeiro plano 54 é suprida de

dados de entrada após processamento da porção de remoção de distorção óptica 43 e primeiros dados de imagem de objeto armazenados na porção de armazenagem 53.

A porção de separação de primeiro plano 54 compara os dados de entrada da porção de remoção de distorção óptica 43 e os primeiros dados de imagem armazenados na porção de armazenagem 53 uns com os outros. Deste modo, quando dados de imagem diferentes do primeiro objeto cujos dados de imagem são incluídos nos dados de entrada, isto é, por exemplo, 5 segundos dados de imagem de objeto tais como dados de imagem de uma telop ou similar e, por exemplo, terceiros dados de imagem de objeto representando um terceiro objeto, que é uma pessoa, um animal, um veículo tal como um automóvel ou similar, ou um outro objeto móvel, são incluídos como um assim chamado primeiro plano nos dados de entrada, a porção de 10 separação de primeiro plano 54 funciona como uma porção de geração de imagem para gerar os segundos dados de imagem de objeto e os terceiros dados de imagem de objeto.

Isto é, a porção de separação de primeiro plano 54 separa os segundos dados de imagem de objeto e os terceiros dados de imagem de 15 objeto dos dados de entrada, subtraindo dados de imagem que são incluídos nos primeiros dados de imagem de objeto armazenados na porção de armazenagem 53, de uma faixa correspondente a dados de imagem como os dados de entrada a partir dos dados de entrada. A porção de separação de primeiro plano 54 fomece os segundos dados de imagem de objeto e os 20 terceiros dados de imagem de objeto à seção de manipulação 35.

A seção de manipulação 35 sintetiza os primeiros dados de imagem de objeto armazenados na porção de armazenagem 53, os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de objeto 36 e os terceiros dados de imagem de objeto fornecidos 25 a partir da porção de separação de primeiro plano 54, de acordo com o parâmetro de captura de imagem e parâmetro de edição a partir da seção de configuração de parâmetro 34.

Neste caso, na Figura 11, de acordo com uma operação do usuário, a seção de configuração de parâmetro 34 configura não só o parâmetro de edição para os segundos dados de imagem de objeto como dados de imagem da telop, como também o parâmetro de edição para os terceiros dados de imagem de objeto como dados de imagem do primeiro plano, isto é, por exemplo, o parâmetro de edição tal como uma informação 5 de posição indicando uma posição horizontal e uma posição vertical na qual superpor o primeiro plano nos dados de imagem de extração, o tamanho do primeiro plano, uma velocidade e uma aceleração na qual mover o primeiro plano (incluindo a velocidade angular de rotação o primeiro plano é girado), uma maneira de modificar o tamanho do primeiro plano e similar. A seção de 10 configuração de parâmetro 34 fomece o parâmetro de edição à seção de manipulação 35.

A seção de manipulação 35 compara os segundos dados de imagem de objeto e os terceiros dados de imagem de objeto a partir da porção de separação de primeiro plano 54 com os segundos dados de imagem de 15 objeto a partir da seção de detecção de segundos dados de imagem de objeto 36 e deste modo separa os terceiros dados de imagem de objeto dos segundos dados de imagem de objeto e os terceiros dados de imagem de objeto da porção de separação de primeiro plano 54.

Então, a seção de manipulação 35 extrai dados de imagem de 20 extração dos primeiros dados de imagem de objeto a partir da porção de armazenagem 53 de acordo com o parâmetro de captura de imagem a partir da seção de configuração de parâmetro 34. Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem da telop como os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados 25 de imagem de objeto 36 nos dados de imagem de extração de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34, e superpõe os dados de imagem do primeiro plano como os terceiros dados de imagem de objeto nos dados de imagem de extração de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 35 emite dados de imagem obtidos como um resultado, como dados de saída. Os dados de imagem como os dados de saída são fornecidos a um monitor não mostrado na figura, e exibidos.

Como nos casos das Figuras 6 a 9, o dispositivo de recepção 30 da Figura 11 permite que o usuário tenha uma sensação física de coleta de material e edição.

Adicionalmente, o dispositivo de recepção 30 da Figura 11 toma possível editar, não só os dados de imagem da telop como os segundos dados de imagem de objeto, como também os dados de imagem do primeiro plano como os terceiros dados de imagem de objeto.

Figura 12 mostra um quarto exemplo de configuração do dispositivo de recepção 30 na Figura 5.

O dispositivo de recepção 30 da Figura 12 é diferente da Figura 9 em que uma porção de processamento de remoção de mancha de primeiro plano 55 é novamente provida ao bloco de eliminação de operação de dispositivo de captura de imagem 33.

A porção de processamento de remoção de mancha de

primeiro plano 55 é fornecida com dados de entrada após processamento da porção de remoção de distorção óptica 43 e primeiros dados de imagem de objeto armazenados na porção de armazenagem 53.

Como com a porção de separação de primeiro plano 54 na 25 Figura 11, a porção de processamento de remoção de mancha de primeiro plano 55 compara os dados de entrada da porção de remoção de distorção óptica 43 e os primeiros dados de imagem de objeto armazenados na porção de armazenagem 53 uns com os outros. Deste modo, quando dados de imagem de outros além de um primeiro objeto cujos dados de imagem estão incluídos nos dados de entrada, isto é, por exemplo, segundos dados de imagem de objeto tais como dados de imagem de uma telop ou similar e terceiros dados de imagem de objeto representando um terceiro objeto como um primeiro plano são incluídos nos dados de entrada, A porção de 5 processamento de remoção de mancha de primeiro plano 55 funciona como um porção de geração de imagem para gerar os segundos dados de imagem de objeto e os terceiros dados de imagem de objeto.

Entretanto, a porção de processamento de remoção de mancha de primeiro plano 55 gera os terceiros dados de imagem de objeto cuja

mancha de movimento é reduzida usando os dados de entrada e os primeiros dados de imagem de objeto armazenados na porção de armazenagem 53, supondo que os valores de pixel dos pixéis do terceiro objeto incluído nos dados de entrada são valores obtidos integrando os valores de pixel dos respectivos pixéis livres da mancha de movimento em uma direção temporal 15 enquanto move os valores de pixel dos respectivos pixéis livres da mancha de movimento.

A porção de processamento de remoção de mancha de primeiro plano 55 fomece os terceiros dados de imagem de objeto cuja mancha de movimento é reduzida à seção de manipulação 35.

A seção de manipulação 35 sintetiza os terceiros dados de

imagem de objeto armazenados na porção de armazenagem 53, os segundos dados de imagem de objeto da seção de detecção de segundos dados de imagem de objeto 36 e os terceiros dados de imagem de objeto fornecidos a partir da porção de processamento de remoção de mancha de primeiro plano 25 55, de acordo com parâmetro de captura de imagem e o parâmetro de edição da seção de configuração de parâmetro 34.

Neste caso, também na Figura 12, como na Figura 11, de acordo com uma operação do usuário, a seção de configuração de parâmetro 34 configura não só o parâmetro de edição para os segundos dados de imagem de objeto como dados de imagem da telop como também o parâmetro de edição para os terceiros dados de imagem de objeto como dados de imagem do primeiro plano. A seção de configuração de parâmetro 34 fomece o parâmetro de edição à seção de manipulação 35.

A seção de manipulação 35 extrai dados de imagem de extração dos primeiros dados de imagem de objeto a partir da porção de armazenagem 53, de acordo com o parâmetro de captura de imagem a partir da seção de configuração de parâmetro 34. Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem da telop como os segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de objeto 36 nos dados de imagem de extração de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34, e superpõe os dados de imagem do primeiro plano como os terceiros dados de imagem de objeto nos dados de imagem de extração de acordo com parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 35 emite dados de imagem obtidos como um resultado, como dados de saída.

Como no caso da Figura 11, o dispositivo de recepção 30 da Figura 12 também permite que o usuário tenha uma sensação física de coleta de um material e edição, edite cada um dos dados de imagem da telop como os segundos dados de imagem de objeto e os dados de imagem do primeiro plano como os terceiros dados de imagem de objeto.

Figura 13 mostra um quinto exemplo de configuração do dispositivo de recepção 30 na Figura 5.

Incidentalmente, na figura, partes correspondendo às da Figura

11 são identificadas pelos mesmos numerais de referência.

O dispositivo de recepção 30 da Figura 14 é formado de uma maneira similar ao da Figura 11. Entretanto, por exemplo, de acordo com uma operação do usuário, a seção de configuração de parâmetro 34 no dispositivo de recepção da Figura 14 configura o parâmetro de captura de imagem e o parâmetro de edição conforme descrito acima, e gera uma relação de tamanho como uma relação entre tamanho de uma tela de um monitor como um destino de saída ao qual a seção de manipulação 35 emite dados de saída e o tamanho dos terceiros dados de imagem de objeto.

Adicionalmente, quando o tamanho da tela do monitor, como o destino de saída é modificado substituindo o monitor como o destino de saída ao qual a seção de manipulação 35 efetua saída, por exemplo, a seção de configuração de parâmetro 34 ajusta o parâmetro de edição para editar o tamanho dos terceiros dados de imagem de objeto de acordo com a relação de tamanho. A seção de configuração de parâmetro 34 então fomece o parâmetro de edição à seção de manipulação 35.

Especificamente, na Figura 13, para um objeto que pode ser um primeiro plano tal como a face de uma pessoa ou similar, a seção de configuração de parâmetro 34 armazena um tamanho (um tamanho médio das faces de pessoas, por exemplo) percebido como a face de uma pessoa no mundo real pelo usuário, quando a face da pessoa como objeto é exibida em um monitor, por exemplo, como tamanho de referência A (em centímetros, polegadas ou similar). A seção de configuração de parâmetro 34 reconhece o tamanho de uma tela do monitor como um destino de saída (em centímetros, polegadas ou similar), e determina uma relação de tamanho ATB entre o tamanho de referência A da face de uma pessoa como um objeto cujos terceiros dados de imagem de objeto são obtidos na porção de separação de primeiro plano 54 e o tamanho B da tela do monitor como o destino de saída.

Então, de acordo com a relação de tamanho A/B, a seção de configuração de parâmetro 34 ajusta o parâmetro de edição especificando o tamanho dos terceiros dados de imagem de objeto como dados de imagem da face de uma pessoa cujos dados de imagem são obtidos na porção de separação de primeiro plano 54, de tal modo que a relação M/N entre o número M de pixéis da face da pessoa exibida no monitor como destino de 5 saída e o número N de pixéis do monitor como destino de saída é a relação de tamanho A/B. A seção de configuração de parâmetro 34 fomece o parâmetro de edição à seção de manipulação 35.

Neste caso, o tamanho de referência A da face da pessoa é, por exemplo, um tamanho quando a face da pessoa em uma posição distante do

dispositivo de captura de imagem 21 (Figura 5) por uma distância de referência pré-determinada (por exemplo, uma posição imediatamente em frente ao dispositivo de captura de imagem 21) é visualizada no mundo real. Uma quantidade para ajustar o parâmetro de edição especificando o tamanho dos terceiros dados de imagem de objeto é corrigida de acordo com uma 15 relação entre a distância da pessoa correspondente aos terceiros dados de imagem de objeto a partir do dispositivo de captura de imagem 21 e uma distância de referência.

Especificamente, por exemplo, quando a pessoa correspondente aos terceiros dados de imagem de objeto está distante do 20 dispositivo de captura de imagem 21, o parâmetro de edição especificando o tamanho dos terceiros dados de imagem de objeto é corrigido de tal modo que o tamanho da face da pessoa exibido no monitor como destino de saída é menor que o tamanho de referência A.

Incidentalmente, suponhamos que a distância da pessoa correspondente aos terceiros dados de imagem de objeto do dispositivo de captura de imagem 21 é incluída como dados de entrada a partir do dispositivo de transmissão 20, por exemplo.

Em adição, o tamanho de referência A de cada objeto pode ser armazenado na seção de configuração de parâmetro 34 antecipadamente, ou transmitido a partir do dispositivo de transmissão 20 em um estado de ser incluído nos dados de entrada, por exemplo.

A seção de manipulação 35 extrai dados de imagem de extração dos primeiros dados de imagem de objeto da porção de 5 armazenagem 53, de acordo com o parâmetro de captura de imagem da seção de configuração de parâmetro 34. Adicionalmente, a seção de manipulação 35 superpõe os dados de imagem de uma telop como segundos dados de imagem de objeto a partir da seção de detecção de segundos dados de imagem de objeto 36 nos dados de imagem de extração de acordo com o parâmetro de 10 edição a partir da seção de configuração de parâmetro 34, e superpõe os dados de imagem do primeiro plano como os terceiros dados de imagem de objeto nos dados de imagem de extração de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 35 emite dados de imagem obtidos como um resultado, como dados de saída.

Os dados de imagem como os dados de saída são fornecidos ao

monitor não mostrado na figura, e exibidos.

Neste caso, um monitor, por exemplo, exibe a face de uma pessoa como um terceiro objeto em um tamanho percebido como a face da pessoa no mundo real pelo usuário, isto é, um tamanho similar a um tamanho quando a pessoa é visualizada no mundo real.

Então, o usuário pode desfrutar de uma sensação como se o usuário estivesse realmente no cenário do mundo real aparecendo em uma imagem exibida no monitor.

Figura 14 mostra um sexto exemplo de configuração do dispositivo de recepção 30 na Figura 5.

Incidentalmente, na figura, partes correspondentes às da Figura

11 são identificadas pelos mesmos numerais de referência.

O dispositivo de recepção 30 da Figura 13 é formado de uma maneira similar à da Figura 11. Entretanto, por exemplo, de acordo com uma operação do usuário, a seção de configuração de parâmetro 34 no dispositivo de recepção 30 da Figura 13 configura o parâmetro de edição de tal modo que processamento de correção de gama é executado somente nos terceiros dados 5 de imagem de objeto obtidos na porção de separação de primeiro plano 54. A seção de configuração de parâmetro 34 fomece o parâmetro de edição à seção de manipulação 35.

Neste caso, a seção de manipulação 35 efetua processamento similar ao da Figura 11, e executa edição que faz correção de gama somente para os terceiros dados de imagem de objeto de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34.

Conforme descrito acima, efetuando correção de gama somente para os terceiros dados de imagem de objeto, o dispositivo de recepção 30 da Figura 14 pode, por exemplo, exibir uma imagem de um terceiro objeto contrastada com uma imagem de um primeiro objeto de acordo com uma preferência do usuário.

A seguir, Figura 15 é um diagrama em blocos mostrando um exemplo de configuração de uma outra realização do sistema de comunicação ao qual os dispositivos de processamento de dados da Figura 1 e Figura 3 são aplicados.

Na Figura 15, o sistema de comunicação inclui um dispositivo de transmissão 120 e um dispositivo de recepção 130. O sistema de comunicação, por exemplo, transmite e recebe dados de áudio como um programa de radiodifusão de televisão.

Incidentalmente, no presente relatório descritivo, para

simplificar a descrição, a transmissão de recepção de dados de imagem como um programa e a transmissão e recepção de dados de áudio como um programa são descritas separadamente uma da outra. Entretanto, dados de imagem e dados de áudio como um programa podem ser transmitidos e recebidos simultaneamente sendo multiplexados, por exemplo.

O dispositivo de transmissão 120 é, por exemplo, instalado em uma estação de radiodifusão que transmite programas ou similar. O dispositivo de transmissão 120 transmite dados de áudio como um programa.

Especificamente, o dispositivo de transmissão 120 inclui um

dispositivo de coleta de som 121, uma memória 125, uma seção de edição 126 e uma seção de processamento de sinal 127.

Na Figura 15, o dispositivo sensor descrito com referência às Figuras 1 a 4 é o dispositivo de coleta de som 121 possuindo uma seção de coleta de som 123 para coletar primeiros dados de áudio no mundo real.

O dispositivo de coleta de som 121 coleta o som do primeiro áudio tal como a voz de uma pessoa no mundo real ou similar e amostra o primeiro áudio em uma direção temporal. O dispositivo de coleta de som 121 obtém deste modo primeiros dados de som coletados (correspondendo a dados 15 sensoreados). O dispositivo de coleta de som 121 fomece os primeiros dados de som coletados de áudio para a memória 125.

Especificamente, o dispositivo de coleta de som 121 inclui a seção de coleta de som 123 a uma seção de amostragem temporal 124.

A seção de coleta de som 123, por exemplo, coleta primeiro 20 áudio tal como a voz de uma pessoa no mundo real ou similar. A seção de coleta de som 123 converte o primeiro áudio em um sinal analógico como um sinal elétrico, isto é, converte a vibração do ar em um sinal analógico como um sinal elétrico. A seção de coleta de som 123 fomece o sinal analógico à seção de amostragem temporal 124.

A seção de amostragem temporal 124 amostra o sinal

analógico a partir da seção de coleta de som 123 na direção temporal. A seção de amostragem temporal 124 fomece dados de áudio como um resultado da amostragem como primeiros dados de som coletados de áudio à memória 125.

A memória 125 armazena temporariamente os primeiros dados de som coletados de áudio fornecidos a partir da seção de amostragem temporal 124 do dispositivo de coleta de som 121.

A seção dé edição 126 lê os primeiros dados de som coletados de áudio armazenados na memória 125, superpondo, por edição, segundos 5 dados de áudio (correspondendo a segundos dados de objeto) como dados de áudio de BGM (Música de Segundo Plano) ou similar como segundo áudio, por exemplo, nos primeiros dados de som coletados de áudio e fomece o resultado à seção de processamento de sinal 127.

A seção de processamento de sinal 127 efetua processamento 10 de sinal tal como, por exemplo, por codificação MPEG ou similar nos primeiros dados de som coletados de áudio nos quais os segundos dados de áudio são superpostos a partir da seção de edição 126. A seção de processamento de sinal 127 emite dados de áudio obtidos como um resultado do processamento de sinal como dados de entrada.

Os dados de entrada obtidos na seção de processamento de

sinal 127 são transmitidos ao dispositivo de recepção 130 e recebidos pelo dispositivo de recepção 130.

O dispositivo de recepção 30 é, por exemplo, um receptor de televisão ou um sintonizador como um dispositivo de processamento de áudio 20 ao qual o dispositivo de processamento de dados da Figura 1 ou Figura 3 é aplicado. O dispositivo de recepção 130 processa os dados de entrada transmitidos a partir do dispositivo de transmissão 120, conforme descrito acima.

Especificamente, Figura 16 é um diagrama em blocos mostrando um primeiro exemplo de configuração do dispositivo de recepção 130 na Figura 15.

Na Figura 16, o dispositivo de recepção 130 inclui uma seção de processamento 131, uma seção de configuração de parâmetro 134, uma seção de manipulação 135 e uma seção de detecção de segundos dados de áudio 136. Os dados de entrada a partir do dispositivo de transmissão 120 na Figura 15 são fornecidos à seção de processamento 131 e seção de detecção de segundos dados de áudio 136.

A seção de processamento 131 (correspondendo à seção de processamento 11 na Figura 3) inclui um bloco de remoção de distorção de dispositivo de coleta de som 132 e um bloco de eliminação de operação de dispositivo de coleta de som 133. A seção de processamento 131 processa os dados de entrada fornecidos a ela.

Especificamente, o bloco de remoção de distorção de 10 dispositivo de coleta de som 132 (correspondendo ao bloco de remoção de distorção de dispositivo sensor 12 na Figura 3) remove distorção ocorrida quando o dispositivo de coleta de som 121 (Figura 15) coleta o som do primeiro áudio e distorção causada pelo processamento de sinal na seção de processamento de sinal 127 (Figura 15), cuja distorção está incluída nos dados 15 de entrada fornecidos à seção de processamento 131.

No sensoreado de gerar primeiros dados de áudio representando o primeiro áudio no mundo real, cujos dados não são dependentes pelo menos da posição do dispositivo de coleta de som 121 (Figura 15), o bloco de eliminação de operação de dispositivo de coleta de 20 som 133 (correspondendo ao bloco de eliminação de posição de dispositivo sensor 13 na Figura 3) detecta pelo menos a posição da fonte sonora do primeiro áudio (uma posição relativa a partir do dispositivo de coleta de som 121 (Figura 15) que coletou o som do primeiro áudio) e a pressão sonora (potência) do primeiro áudio na posição da fonte sonora a partir dos dados de 25 entrada fornecidos à seção de processamento 131. O bloco de eliminação de operação de dispositivo de coleta de som 133 gera os primeiros dados de áudio (primeiros dados de áudio representando o primeiro áudio no mundo real cujos dados não são dependentes da posição do dispositivo de coleta de som 121) possuindo a pressão sonora do primeiro áudio na posição de fonte sonora do primeiro áudio.

Os primeiros dados de áudio (dados do próprio primeiro áudio na posição de fonte sonora) que são obtidos pelo processamento do bloco de remoção de distorção de dispositivo de coleta de som 132 e bloco de 5 eliminação de operação de dispositivo de coleta de som 133 na seção de processamento 131, a partir de cujos dados a distorção ocorrendo quando o som do primeiro áudio é coletado e a distorção causada pelo processamento de sinal são removidos, e cujos dados possuem a pressão sonora do primeiro áudio na posição de fonte sonora do primeiro áudio, são fornecidos à seção de 10 manipulação 135, juntamente com a posição de fonte sonora do primeiro áudio.

Entrementes, a seção de configuração de parâmetro 134 (correspondendo à seção de configuração de parâmetro 14 na Figura 3) configura por exemplo, um parâmetro de coleta de som, que é um parâmetro 15 usado para coletar o som do primeiro áudio, isto é, por exemplo, um parâmetro de coleta de som indicando uma posição relativa (posteriormente referida como uma posição de coleta de som conforme apropriado) a partir da posição de fonte sonora do primeiro áudio em cuja posição relativa o som do primeiro áudio é coletado, como um parâmetro sensor de acordo com uma 20 operação do usuário. A seção de configuração de parâmetro 134 fomece o parâmetro de coleta de som à seção de manipulação 135.

Em adição, de acordo com uma operação do usuário, a seção de configuração de parâmetro 134, por exemplo, ajusta um parâmetro de edição, usado para edição, usando os segundos dados de áudio e similar, isto 25 é, por exemplo, um parâmetro de edição indicando uma pressão sonora quando os dados de áudio da BGM como segundos dados de áudio são superpostos bem como um tempo de início no qual iniciar a superposição, um tempo final e similar. A seção de configuração de parâmetro 134 fomece o parâmetro de edição à seção de manipulação 135. A seção de manipulação 135 (correspondendo à seção de manipulação 15 na Figura 3) sintetiza os primeiros dados de áudio a partir da seção de processamento 131 e os segundos dados de áudio a partir da seção de detecção de segundos dados de áudio 136 de acordo com o parâmetro de 5 coleta de som e o parâmetro de edição a partir da seção de configuração de parâmetro 134, bem como a posição de fonte sonora do primeiro áudio a partir da seção de processamento 131.

Isto é, a seção de detecção de segundos dados de áudio 136 (correspondendo à seção de detecção de segundos dados de objeto 16 na 10 Figura 3) detecta segundos dados de áudio como os dados de áudio da BGM ou similar a partir dos dados de entrada fornecidos a ela. A seção de detecção de segundos dados de áudio 136 fomece os segundos dados de áudio à seção de manipulação 135.

A seção de manipulação 135 ajusta (manipula) a pressão 15 sonora dos primeiros dados de áudio a partir da seção de processamento 131, de acordo com o parâmetro de coleta de som a partir da seção de configuração de parâmetro 134. Isto é, a seção de manipulação 135, por exemplo, ajusta a pressão sonora dos primeiros dados de áudio a partir da seção de processamento 131 para uma pressão sonora que seria ouvida se o primeiro 20 áudio correspondente aos primeiros dados de áudio emitidos a partir da posição de fonte sonora da seção de processamento 131 fossem ouvidos em uma parâmetro de coleta de som indicada pelo parâmetro de coleta de som.

Adicionalmente, a seção de manipulação 135 superpõe os dados de áudio da BGM como segundos dados de áudio a partir da seção de 25 detecção de segundos dados de áudio 136 nos primeiros dados de áudio após o ajuste da pressão sonora (posteriormente referidos como dados de áudio ajustados conforme apropriado) de acordo com o parâmetro de edição da seção de configuração de parâmetro 134. A seção de manipulação 135 emite dados de áudio obtidos como um resultado como dados de saída. Os dados de áudio como os dados de saída são fornecidos a um alto-falante não mostrado na figura, e emitidos.

Conforme descrito acima, a seção de processamento 131 gera os primeiros dados de áudio possuindo a pressão sonora na posição de fonte 5 sonora do primeiro áudio, e a seção de manipulação 135 ajusta a pressão sonora dos primeiros dados de áudio ou similar de acordo com o parâmetro de coleta de som ajustado de acordo com uma operação do usuário. Então, o usuário pode ter uma sensação física de coletar o material de dados de áudio.

Isto é, o usuário pode desfrutar de uma sensação como se o usuário estivesse coletando o som do primeiro áudio por um microfone no mundo real (por exemplo, uma sensação de direcionar um microfone em um alto-falante como a fonte sonora do primeiro áudio).

Adicionalmente, como a seção de manipulação 135 superpõe os dados de áudio da BGM como segundos dados de áudio nos dados de áudio ajustados após o ajuste da pressão sonora ou similar de acordo com o parâmetro de edição configurado de acordo com uma operação do usuário, o usuário pode ter uma sensação física de editar dados de áudio.

Incidentalmente, na Figura 16, a seção de detecção de segundos dados de áudio 136 detecta os segundos dados de áudio a partir dos 20 próprios dados de entrada. Entretanto, a seção de detecção de segundos dados de áudio 136 pode também detectar os segundos dados de áudio a partir dos dados de entrada, após serem processados no bloco de remoção de distorção de dispositivo de coleta de som 132, conforme indicado por uma linha pontilhada na Figura 16.

Em adição, a seção de processamento 131 pode processar os

dados de entrada a partir dos quais os segundos dados de áudio detectados na seção de detecção de segundos dados de áudio 136 são removidos, ao invés dos próprios dados de entrada.

Isto é, a seção de processamento 131 pode remover os segundos dados de áudio detectados na seção de detecção de segundos dados de áudio 136 a partir dos dados de entrada, e processar os dados de entrada após a remoção.

A seguir, Figura 17 mostra um outro exemplo de configuração da seção de processamento 131 da Figura 16.

Na Figura 16, a ordem do processamento pelo bloco de remoção de distorção de dispositivo de coleta de som 132 e bloco de eliminação de operação de dispositivo de coleta de som 133 na seção de processamento 131 é arbitrária. Na Figura 17, entretanto, o bloco de remoção 10 de distorção de dispositivo de coleta de som 132 processa os dados de entrada fornecidos à seção de processamento 131, e posteriormente o bloco de eliminação de operação de dispositivo de coleta de som 133 processa os dados de entrada após serem processados pelo bloco de remoção de distorção de dispositivo de coleta de som 132.

Incidentalmente, o bloco de eliminação de operação de

dispositivo de coleta de som 133 pode processar os dados de entrada fornecidos à seção de processamento 131, e o bloco de remoção de distorção de dispositivo de coleta de som 132 pode posteriormente processar os dados de entrada após serem processados pelo bloco de eliminação de operação de dispositivo de coleta de som 133.

Figura 18 mostra um exemplo de configuração do bloco de remoção de distorção de dispositivo de coleta de som 132 e bloco de eliminação de operação de dispositivo de coleta de som 133 na Figura 17 (e Figura 16).

Especificamente, Figura 18A mostra um exemplo de

configuração do bloco de remoção de distorção de dispositivo de coleta de som 132 na Figura 17.

Na Figura 18A, o bloco de remoção de distorção de dispositivo de coleta de som 132 inclui uma porção de remoção de distorção de processamento de sinal 141, uma porção de criação de resolução temporal 142 e uma porção de remoção de distorção de coleta de som 143.

A porção de remoção de distorção de processamento de sinal 141 remove a distorção causada pelo processamento de sinal pela seção de processamento de sinal 127 do dispositivo de transmissão 120 (Figura 15) a partir dos dados de entrada fornecidos a ela.

Especificamente, quando a seção de processamento de sinal 127 efetua codificação MPEG como o processamento de sinal no dispositivo de transmissão 120, a porção de remoção de distorção de processamento de 10 sinal 141 executa um processo de remoção de distorção de processamento de sinal que submete, por exemplo, os dados de entrada a decodificação MPEG e que remove adicionalmente distorção ou similar causada pela codificação/decodificação MPEG.

Incidentalmente, a decodificação MPEG pode ser efetuada, 15 não só na porção de remoção de distorção de processamento de sinal 141 como também na porção de criação de resolução temporal 142, porção de remoção de distorção de coleta de som 143 ou um outro bloco (incluindo um bloco não mostrado na figura) além da porção de remoção de distorção de processamento de sinal 141, porção de criação de resolução temporal 142 e 20 porção de remoção de distorção de coleta de som 143.

A porção de criação de resolução temporal 142 melhora a resolução em uma direção temporal de dados de áudio como dados de entrada fornecidos a ela.

Especificamente, mesmo quando o alto-falante do dispositivo 25 de recepção 130 é um alto-falante de alto desempenho capaz de emitir áudio (som) que reproduz fielmente o mundo real, a qualidade de som de áudio que pode ser emitida pelo alto-falante, isto é, por exemplo, resolução temporal (taxa de amostragem) é limitada pelo desempenho do dispositivo de coleta de som 121 do dispositivo de transmissão 120 (Figura 15). Conseqüentemente, no sensoreado de emitir áudio de qualidade sonora suficiente no alto-falante, a porção de criação de resolução temporal 142 melhora a resolução na direção temporal dos dados de áudio como os dados de entrada.

A porção de remoção de distorção de coleta de som 143

remove distorção causada pela seção de coleta de som 123 do dispositivo de transmissão 120 (Figura 15) (por exemplo, distorção de forma de onda do áudio devido a características de freqüência da seção de coleta de som 123) a partir dos dados de entrada fornecidos a ela.

Incidentalmente, a ordem na qual a porção de remoção de

distorção de processamento de sinal 141, a porção de criação de resolução temporal 142 e a porção de remoção de distorção de coleta de som 143 efetuam processamento no bloco de remoção de distorção de dispositivo de coleta de som 132 não é particularmente limitada.

Em adição, processamento efetuado pela porção de remoção

de distorção de processamento de sinal 141, a porção de criação de resolução temporal 142 e a porção de remoção de distorção de coleta de som 143 no bloco de remoção de distorção de dispositivo de coleta de som 132 pode ser efetuada coletivamente por processamento adaptativo de classificação de classe.

Figura 18B mostra o exemplo de configuração do bloco de eliminação de operação de dispositivo de coleta de som 133 na Figura 17.

Na Figura 18B, o bloco de eliminação de operação de dispositivo de coleta de som 133 inclui uma porção de detecção de fonte sonora 151.

No sensoreado de gerar primeiros dados de áudio representando o primeiro áudio no mundo real, cujos dados não são dependentes pelo menos da posição do dispositivo de coleta de som 121 (Figura 15) a porção de detecção de fonte sonora 151 detecta pelo menos a posição da fonte sonora do primeiro áudio e a pressão sonora (potência) do primeiro áudio na posição da fonte sonora a partir dos dados de entrada fornecidos a ela.

A porção de detecção de fonte sonora 151 gera os primeiros 5 dados de áudio (primeiros dados de áudio representando o primeiro áudio no mundo real, cujos dados não são dependentes da posição do dispositivo de coleta de som 121) possuindo a pressão sonora do primeiro áudio na posição da fonte sonora do primeiro áudio. A porção de detecção de fonte sonora 151 emite os primeiros dados de áudio juntamente com a posição da fonte sonora 10 do primeiro áudio.

Figura 19 mostra um outro exemplo de configuração do bloco de remoção de distorção de dispositivo de coleta de som 132 no dispositivo de recepção 130.

Na Figura 18A, a ordem na qual a porção de remoção de 15 distorção de processamento de sinal 141, a porção de criação de resolução temporal 142 e a porção de remoção de distorção de coleta de som 143 executam processamento no bloco de remoção de distorção de dispositivo de coleta de som 132 não é partícula limitada. Na Figura 19, entretanto, a porção de remoção de distorção de processamento de sinal 141, a porção de criação 20 de resolução temporal 142 e a porção de remoção de distorção de coleta de som 143 efetua um processamento nesta ordem.

Especificamente, na Figura 19, dados de entrada do dispositivo de transmissão 120 (Figura 15) são fornecidos ao bloco de remoção de distorção de dispositivo de coleta de som 132 e seção de detecção de segundos dados de áudio 136.

A porção de remoção de distorção de processamento de sinal 141 no bloco de remoção de distorção de dispositivo de coleta de som 132 remove distorção causada pelo processamento de sinal pela seção de processamento de sinal 127 do dispositivo de transmissão 120 a partir de dados de áudio como os dados de entrada do dispositivo de transmissão 120 (Figura 15), e então fomece os dados de áudio à porção de criação de resolução temporal 142.

A porção de criação de resolução temporal 142 melhora a resolução na direção temporal do dados de áudio a partir da porção de remoção de distorção de processamento de sinal 141. A porção de criação de resolução temporal 142 fomece dados de áudio obtidos como um resultado à porção de remoção de distorção de coleta de som 143.

A porção de remoção de distorção de coleta de som 143 10 remove distorção causada pela seção de coleta de som 123 do dispositivo de transmissão 120 (Figura 15) a partir dos dados de áudio da porção de criação de resolução temporal 142. A porção de remoção de distorção de coleta de som 143 fomece os dados de áudio ao bloco de eliminação de operação de dispositivo de coleta de som 133.

A porção de detecção de fonte sonora 151 no bloco de

eliminação de operação de dispositivo de coleta de som 133 detecta a posição da fonte sonora e a pressão sonora do primeiro áudio a partir dos dados de áudio do bloco de remoção de distorção de dispositivo de coleta de som 132 (a porção de remoção de distorção de coleta de som 143 no bloco de remoção 20 de distorção de dispositivo de coleta de som 132). Adicionalmente, a porção de detecção de fonte sonora 151 gera primeiros dados de áudio (primeiros dados de áudio representando o primeiro áudio no mundo real cujos dados não são dependentes da posição do dispositivo de coleta de som 121) possuindo a pressão sonora do primeiro áudio na posição de fonte sonora do 25 primeiro áudio. A porção de detecção de fonte sonora 151 emite os primeiros dados de áudio para a seção de manipulação 135, juntamente com a posição de fonte sonora do primeiro áudio.

Entrementes, a seção de detecção de segundos dados de áudio 136 detecta segundos dados de áudio como dados de áudio da BGM ou similar a partir dos dados de áudio como dados de entrada a partir do dispositivo de transmissão 120. A seção de detecção de segundos dados de áudio 136 fomece os segundos dados de áudio à seção de manipulação 135.

Conforme descrito acima, a seção de manipulação 135 é 5 suprida com os primeiros dados de áudio a partir da porção de detecção de fonte sonora 151 e suprida como os segundos dados de áudio a partir da seção de detecção de segundos dados de áudio 136, e é também suprida com o parâmetro de coleta de som e o parâmetro de edição a partir da seção de configuração de parâmetro 134.

Especificamente, por exemplo, conforme descrito acima, a

seção de configuração de parâmetro 134 configura o parâmetro de coleta de som e o parâmetro de edição de acordo com uma operação do usuário. A seção de configuração de parâmetro 134 fomece o parâmetro de coleta de som e o parâmetro de edição à seção de manipulação 135.

A seção de manipulação 135 ajusta a pressão sonora dos

primeiros dados de áudio a partir da porção de detecção de fonte sonora 151, de acordo com o parâmetro de coleta de som a partir da seção de configuração de parâmetro 134 (ajusta a pressão sonora dos primeiros dados de áudio a partir da porção de detecção de fonte sonora 151 para uma pressão sonora que 20 seria ouvida se o primeiro áudio correspondente aos primeiros dados de áudio emitidos a partir da posição de fonte sonora da porção de detecção de fonte sonora 151 fosse ouvido em uma posição de coleta de som indicada pelo parâmetro de coleta de som). A seção de manipulação 135 gera deste modo dados de áudio ajustados.

Adicionalmente, a seção de manipulação 135 superpõe os

dados de áudio da BGM como segundos dados de áudio a partir da seção de detecção de segundos dados de áudio 136 nos dados de áudio ajustados de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 134. A seção de manipulação 135 emite dados de áudio obtidos como um resultado como dados de saída.

Os dados de áudio como dados de saída são fornecidos a um alto-falante não mostrado ría figura, e emitidos.

Então, operando a seção de configuração de parâmetro 134, o usuário pode ouvir áudio (som) como se o usuário estivesse realmente coletando som por um microfone, no mundo real.

Isto é, por exemplo, o usuário pode desfrutar de um sentimento como se, enquanto diversas pessoas estiverem falando, o usuário estivesse ouvindo uma pessoa em particular dentre diversas pessoas, com um microfone trazido próximo da pessoa particular.

Adicionalmente, operando a seção de configuração de parâmetro 134, o usuário pode ligar ou desligar a superposição dos dados de áudio da BGM como os segundos dados de áudio, e mudar o volume de som da BGM ou similar para um estado desejado quando a superposição dos dados de áudio da BGM é ligada.

Incidentalmente, a seção de detecção de segundos dados de áudio 136 não pode apenas detectar os segundos dados de áudio a partir dos dados de entrada, mas também detectar os segundos dados de áudio dos dados de áudio, após serem processados na porção de remoção de distorção de 20 processamento de sinal 141, conforme indicado por uma linha pontilhada na Figura 19.

Figura 20 mostra um segundo exemplo de configuração do dispositivo de recepção 130 na Figura 15.

Incidentalmente, na figura, partes correspondendo às Figuras 16 a 19 são identificadas pelos mesmos numerais de referência, e descrição destas serão omitidas a seguir, conforme apropriado.

O dispositivo de recepção 130 da Figura 20 é diferente da Figura 19 em que uma porção de separação 152 é novamente provida ao bloco de eliminação de operação de dispositivo de coleta de som 133. A porção de separação 152 é fornecida com dados de entrada após o processamento da porção de remoção de distorção de coleta de som 143 e primeiros dadòs de áudio gerados na porção de detecção de fonte sonora 151.

A porção de separação 152 compara os dados de entrada a

partir da porção de remoção de distorção de coleta de som 143 e os primeiros dados de áudio gerados na porção de detecção de fonte sonora 151 uns com os outros. Deste modo, quando os dados de entrada incluem, por exemplo, não só o primeiro áudio coletado, dados de som tais como a voz de uma pessoa ou 10 similar e segundos dados de áudio tais como dados de áudio da BGM ou similar, como também terceiros dados de áudio (terceiros dados de som coletados de áudio) gerados a partir de uma fonte sonora diferente do primeiro áudio, tal como a voz de uma outra pessoa ou similar, a porção de separação 152 funciona como uma seção de geração de dados de áudio para gerar dados 15 de áudio diferentes dos primeiros dados de áudio gerados na porção de detecção de fonte sonora 151, isto é, os segundos dados de áudio e os terceiros dados de áudio.

Isto é, a porção de separação 152 ajusta apropriadamente a pressão sonora dos primeiros dados de áudio gerados na porção de detecção 20 de fonte sonora 151 e executa subtração dos dados de entrada. A porção de separação 152 deste modo separa os segundos dados de áudio e os terceiros dados de áudio dos dados de entrada. A porção de separação 152 fomece os segundos dados de áudio e os terceiros dados de áudio à seção de manipulação 135.

A seção de manipulação 135 sintetiza os primeiros dados de

áudio da porção de detecção de fonte sonora 151, os segundos dados de áudio da seção de detecção de segundos dados de áudio 136 e os terceiros dados de áudio fornecidos a partir da porção de separação 152, de acordo com o parâmetro de coleta de som e o parâmetro de edição a partir da seção de configuração de parâmetro 134.

Neste caso, na Figura 20, de acordo com uma operação do usuário, a seção de configuração de parâmetro 134 ajusta não só o parâmetro de edição para os segundos dados de áudio como os dados de áudio da B GM, 5 como também o parâmetro de edição para os terceiros dados de áudio como os dados de áudio da outra pessoa, isto é, por exemplo, o parâmetro de edição indicando uma pressão sonora quando os terceiros dados de áudio são superpostos, bem como um tempo de início no qual iniciar a superposição, um tempo de final e similar. A seção de configuração de parâmetro 34 fomece o 10 parâmetro de edição à seção de manipulação 135.

A seção de manipulação 135 compara os segundos dados de áudio e os terceiros dados de áudio da porção de separação 152 com os segundos dados de áudio a partir da seção de detecção de segundos dados de áudio 136, e deste modo separa os terceiros dados de áudio dos segundos dados de áudio e os terceiros dados de áudio da porção de separação 152.

Então, a seção de manipulação 135 gera dados de áudio ajustados, ajustando os primeiros dados de áudio da voz de uma pessoa, por exemplo, a partir da porção de detecção de fonte sonora 151, de acordo com o parâmetro de coleta de som a partir da seção de configuração de parâmetro 20 134. Adicionalmente, a seção de manipulação 135 superpõe os dados de áudio da BGM como os segundos dados de áudio a partir da seção de detecção de segundos dados de áudio 136 nos dados de áudio ajustados de acordo com o parâmetro de edição da seção de configuração de parâmetro 34, e superpõe os dados de áudio de voz de uma outra pessoa como os terceiros dados de áudio 25 nos dados de áudio ajustados de acordo com o parâmetro de edição a partir da seção de configuração de parâmetro 34. A seção de manipulação 135 emite dados de áudio obtidos como resultado, como dados de saída.

Os dados de áudio como os dados de saída são fornecidos a um alto-falante não mostrado na figura e emitidos. Como no caso das Figuras 16 a 19, o dispositivo de recepção 130 da Figura 20 permite que o usuário tenha uma sensação física de coleta de material e edição.

Adicionalmente, o dispositivo de recepção 130 da Figura 20 habilita a edição de cada um dos dados de áudio da BGM como segundos dados de áudio e os dados de áudio da voz de uma outra pessoa como terceiros dados de áudio.

Será feita a seguir, descrição de um método para detectar segundos dados de imagem de objeto como dados de imagem de uma telop a partir de dados de imagem como dados de entrada na seção de detecção de segundos dados de imagem de objeto 36 na Figura 9, e similar.

Uma técnica descrita na Patente Japonesa aberta ao público No. 2002-084458, por exemplo, pode ser usada como um método para detectar uma telop.

Patente Japonesa aberta ao público No. 2002-084458 descreve

uma técnica para extrair uma região de telop movendo-se em um segundo plano estacionário, repetindo um processo para extrair uma região de telop de uma imagem de armazenagem, obtendo um vetor de movimento da região de telop com respeito a uma imagem de entrada, deslocando uma posição de 20 pixel na imagem de armazenagem de uma quantidade correspondente ao vetor de movimento, e formando uma nova imagem de armazenagem sintetizando a imagem de armazenagem após o deslocamento e a imagem de entrada.

Figura 21 mostra um exemplo de configuração de um dispositivo de extração para extrair uma região de telop movendo-se em um segundo plano estacionário, usando a técnica descrita na Patente Japonesa aberta ao público No. 2002-084458.

O dispositivo de extração extrai uma imagem de uma telop, por exemplo, cuja imagem tem uma característica de se mover diferentemente de um segundo plano (cuja imagem será posteriormente referida como uma imagem característica), a partir de uma imagem de entrada inserida nela.

A imagem de entrada inserida no dispositivo de extração é fornecida a um circuito de retardo 211 e um circuito de detecção de vetor de movimento 215.0 circuito de retardo 211 retarda a imagem de entrada de um 5 tempo pré-determinado, e então fomece a imagem de entrada a um circuito sintetizador 212.

O circuito sintetizador 212 sintetiza a imagem de entrada fornecida a partir do circuito de retardo 211 e uma imagem de armazenagem que é fornecida a partir de um circuito de desvio de fase 216, deslocada em 10 fase, e armazenada em uma memória de armazenagem 213. O circuito sintetizador 212 fomece uma imagem após a síntese como uma nova imagem de armazenagem à memória de armazenagem 213.

A memória de armazenagem 213 armazena a imagem de armazenagem a partir do circuito sintetizador 212 e fomece a imagem de armazenagem a um circuito de extração 214 e circuito de desvio de fase 216.

O circuito de extração 214 extrai uma imagem característica (uma região de imagem julgada ser a imagem característica, para ser exato) na imagem de armazenagem fornecida a partir da memória de armazenagem 213, e fomece os dados de imagem da região de imagem extraída e a posição de 20 visualização da região de imagem extraída ao circuito de detecção de vetor de movimento 215 e para fora.

O circuito de detecção de vetor de movimento 215 é suprido com a imagem de entrada e suprido com os dados de imagem da região de imagem julgada ser a imagem característica na imagem de armazenagem e a 25 posição de visualização da região de imagem a partir do circuito de extração 214. O circuito de detecção de vetor de movimento 215 detecta um vetor de movimento entre a região de imagem na imagem de armazenagem cuja região de imagem é extraída no circuito de extração 214 (região de imagem na imagem de armazenagem cuja região de imagem é julgada ser a imagem característica) e uma região de imagem na imagem de entrada, cuja região de imagem corresponde' a aquela região de imagem, usando os dados de imagem e a posição de visualização fornecida a partir do circuito de extração 214. O circuito de detecção de vetor de movimento 215 fomece o vetor de movimento ao circuito de desvio de fase 216.

O circuito de desvio de fase 216 desloca a fase da imagem de armazenagem a partir da memória de armazenagem 213 com base no vetor de movimento a partir do circuito de detecção de vetor de movimento 215 (deste movo modifica pixéis da imagem de armazenagem a serem sintetizados com 10 pixéis da imagem de entrada no circuito sintetizador 212). O circuito de desvio de fase 216 fomece o resultado ao circuito sintetizador 212.

Figura 22 mostra um exemplo de configuração do circuito de extração 214 na Figura 21, quando uma telop é extraída como uma imagem característica.

Uma imagem de armazenagem fornecida a partir da memória

de armazenagem 213 para o circuito de extração 214 é fornecida a cada um dentre um circuito de detecção de borda 221, um circuito de detecção de nível 222 e um circuito de determinação de telop 223.

O circuito de detecção de borda 221 efetua processamento de borda sobre cada área pré-determinada (região de imagem) da imagem de armazenagem, detecta um grau de seletividade de uma borda e fomece um resultado da detecção ao circuito de determinação de telop 223.

O circuito de detecção de nível 222 detecta o valor de nível de uma média de luminescência, por exemplo, em cada região de imagem pré25 determinada (região de imagem submetida ao processamento de borda no circuito de detecção de borda 221) da imagem de armazenagem. O circuito de detecção de nível 222 fomece um resultado da detecção ao circuito de determinação de telop 223.

O circuito de determinação de telop 223 efetua determinação de valor limite para o grau de seletividade da borda a partir do circuito de detecção de borda 221 e o valor de nível a partir do circuito de detecção de nível 222. O circuito de determinação de telop 223 determina que uma região de imagem na imagem de armazenagem cuja região de imagem é julgada ter 5 um grau de seletividade e um valor de nível, ambos mais alto que um valor limite pré-determinado, é uma telop. Como telops geralmente possuem um alto grau de seletividade e um alto valor de nível, uma telop pode ser detectada submetendo então cada valor à determinação de valor limite.

O circuito de determinação de telop 223 obtém os dados de 10 imagem da região de imagem julgada ser uma telop e a posição de visualização da região de imagem a partir da imagem de armazenagem. O circuito de determinação de telop 223 emite os dados de imagem da região de imagem e a posição de visualização da região de imagem para o circuito de detecção de vetor de movimento 215.

No dispositivo de extração então formado da Figura 21, o

circuito de detecção de vetor de movimento 215 detecta um vetor de movimento entre a região de imagem extraída no circuito de extração 214 e julgada ser uma telop na imagem de armazenagem e uma região de imagem na imagem de entrada em uma posição correspondente à posição de 20 visualização daquela região de imagem. O circuito de detecção de vetor de movimento 215 fomece o vetor de movimento ao circuito de desvio de fase 216.

Incidentalmente, neste caso, supor que a entrada de uma imagem de entrada já iniciou, e que um imagem de armazenagem é 25 armazenada na memória de armazenagem 213. Quando os dados de imagem de uma nova imagem de entrada são inseridos, o circuito de extração 214 obtém os dados de imagem de uma região de imagem julgada ser uma telop e a posição de visualização da região de imagem a partir da imagem de armazenagem armazena na memória de armazenagem 213, pelo método descrito com referência à Figura 22. O circuito de extração 214 fomece os dados de imagem da região de imagem e a posição de visualização da região de imagem do ao circuito de detecção de vetor de movimento 215.

O circuito de desvio de fase 216 desloca a fase da imagem de 5 armazenagem armazena na memória de armazenagem 213 com base no vetor de movimento a partir do circuito de detecção de vetor de movimento 215, de tal modo que a fase (posição) de pixéis da região de imagem na imagem de armazenagem julgada ser uma telop e a fase (posição) dos pixéis da região de imagem na imagem de entrada na posição correspondente à posição de 10 visualização daquela região de imagem, coincidem uma com a outra.

Deste modo, a fase de pixéis de uma região de imagem não julgada ser uma telop (por exemplo, uma parte de um segundo plano) na imagem de armazenagem e a fase dos pixéis de uma região de imagem na imagem de entrada correspondente a aquela região de imagem, não coincidem uma com a outra.

O circuito de desvio de fase 216 fomece a imagem de armazenagem deslocada em fase ao circuito sintetizador 212. O circuito sintetizador 212 sintetiza o valor de pixel A de um pixel da imagem de entrada a partir do circuito de retardo 211 e o valor de pixel B de um pixel

correspondente da imagem de armazenagem deslocada em fase a partir do circuito de desvio de fase 216, de acordo com a Equação C = (1-α)Α + aB, por exemplo, obtém o valor de pixel C de um pixel de uma nova imagem de armazenagem, e fomece o valor de pixel C à memória de armazenagem 213. Incidentalmente, α é um fator de ponderação em uma faixa 0 < α < 1.

Isto é, a imagem de entrada e a imagem de armazenagem são

submetidas a adição de ponderação em unidades de pixel, e valores de adição tomam-se valores de pixel da nova imagem de armazenagem a serem armazenados na memória de armazenagem 213.

A memória de armazenagem 213 armazena (acumula) a imagem de armazenagem a partir do circuito sintetizador 212.

Então, o circuito de extração 214 lê a imagem de armazenagem da memória de armazenagem 213, extrai uma região de imagem julgada ser uma telop da imagem de armazenagem, e fomece a região de imagem ao circuito de detecção de vetor de movimento 215. Posteriormente, um processo similar é repetido.

Conforme descrito acima, o dispositivo de extração da Figura

21 sintetiza a imagem de entrada e a imagem de armazenagem em um estado no qual a fase dos pixéis da região de imagem julgada ser uma telop na 10 imagem de armazenagem e a fase dos pixéis da região de imagem na imagem de entrada correspondente a aquela região de imagem coincidem uma com a outra e as fases dos pixéis de regiões de imagens diferentes da telop nos dados de imagem e imagem de armazenagem não coincidem uma com a outra. Portanto, a imagem de armazenagem toma-se uma imagem na qual uma 15 região telop é enfatizada e outras regiões são submetidas a média. Como resultado, a telop móvel pode ser extraída.

Será feita a seguir descrição de um método para remover distorção causada por processamento de sinal a partir de dados de imagem como dados de entrada na porção de remoção de distorção de processamento de sinal 41 na Figura 9 e similar.

Processamento adaptativo de classificação de classe, por exemplo, pode ser usado como um método para remover distorção causada pelo processamento de sinal.

Processamento adaptativo de classificação de imagem é uma 25 técnica para converter (mapear) primeiros dados para segundos dados diferentes dos primeiros dados. Um coeficiente de derivação para minimizar estatisticamente um erro de predição de um valor previstos dos segundos dados obtidos por uma operação usando os primeiros dados e um coeficiente de derivação pré-determinado é obtido para cada uma de diversas classes, e os primeiros dados são convertidos para os segundos dados (valor previsto dos segundos dados são obtidos) por uma operação usando o coeficiente de derivação e os primeiros dados.

O processamento ádaptativo de classificação de classe que converte os primeiros dados para os segundos dados, transforma-se em vários processamentos de sinal de acordo com definições dos primeiros e segundos dados.

Especificamente, por exemplo, quando os primeiros dados são dados de imagem de baixa resolução espacial, e os segundos dados são dados de imagem de alta resolução espacial, o processamento adaptativo de classificação de classe pode ser considerado processamento de criação (melhoramento) de resolução espacial que melhora a resolução espacial.

Em adição, por exemplo, quando os primeiros dados são dados de imagem de baixa S/N (Sinal/Ruído) e os segundos dados são dados de imagem de alta S/N, o processamento adaptativo de classificação de classe pode ser considerado processamento de remoção de ruído, que remove ruído.

Adicionalmente, por exemplo, quando os primeiros dados são dados de imagem possuindo um número pré-determinado de pixéis (tamanho), e os segundos dados são dados de imagem obtidos aumentando ou 20 diminuindo o número de pixéis dos primeiros dados, o processamento adaptativo de classificação de classe pode ser considerado um processo de redimensionamento que redimensiona (aumenta ou diminui) uma imagem.

Em adição, por exemplo, quando os primeiros dados são dados de imagem de baixa resolução temporal (baixa taxa de quadro) e os segundos 25 dados são dados de imagem de alta resolução temporal (alta taxa de quadro), o processamento adaptativo de classificação de classe pode ser considerado um processamento de criação (melhoramento) de resolução temporal que melhora a resolução temporal.

Adicionalmente, por exemplo, quando os primeiros dados são dados de imagem decodificados obtidos decodificando dados de imagem codificados em unidades de blocos por codificação MPEG ou similar, e os segundos dados são dados de imagem antes da codificação, o processamento adaptativo de classificação de classe pode ser considerado processamento de 5 remoção de distorção que remove várias distorções tais como distorção em bloco causada pela codificação e decodificação MPEG e similar.

Incidentalmente, no processo de criação de resolução espacial, ao converter os primeiros dados como dados de imagem de baixa resolução espacial para os segundos dados, como dados de imagem de alta resolução 10 espacial, os segundos dados podem ser dados de imagem possuindo o mesmo número de pixéis dos primeiros dados, ou podem ser dados de imagem possuindo um número maior de pixéis que os primeiros dados. Quando os segundos dados são dados de imagem possuindo um número maior de pixéis que os primeiros dados, o processamento de criação de resolução espacial é 15 um processamento que melhora a resolução espacial e é também um processo de redimensionamento que aumenta o tamanho de imagem (número de pixéis).

Conforme descrito acima, de acordo com o processamento adaptativo de classificação de classe, vários processamentos de sinal podem ser realizados dependendo das definições dos primeiros e segundos dados.

O processamento adaptativo de classificação de classe conforme descrito acima obtém uma amostra de interesse (um valor previsto do valor de amostra da amostra de interesse) por uma operação usando o coeficiente de derivação de uma classe obtido por classificação de classe da 25 amostra de interesse (valor de amostra da amostra de interesse) para cuja atenção é direcionado dentre diversas amostras formando os segundos dados em uma de diversas classes e diversas amostras (valores de amostra das diversas amostras) dos primeiros dados cujas amostras são selecionadas para a amostra de interesse. Especificamente, Figura 23 mostra um exemplo de configuração de um dispositivo de conversão que converte os primeiros dados para os segundos dados, pelo processamento adaptativo de classificação de classe.

O dispositivo de conversão é suprido dos primeiros dados. Os

primeiros dados são fornecidos a seções de seleção de derivação 302 e 303

Uma seção de seleção de amostra de interesse 301 configura seqüencialmente amostras formando os segundos dados como uma amostra de interesse, e fornece informação indicando a amostra de interesse para blocos necessários.

A seção de seleção de derivação 302 seleciona algumas das amostras (valores de amostra das amostras) formando os primeiros dados usados para prever a amostra de interesse (valor da amostra da amostra de interesse) como uma derivação de predição.

Especificamente, a seção de seleção de derivação 302

seleciona diversas amostras dos primeiros dados em posições espacialmente ou temporalmente próximas à posição da amostra de interesse como uma derivação de predição.

Por exemplo, quando os primeiros e segundos dados são dados de imagem, diversos pixéis (valores de pixel dos pixéis) dos dados de imagem como os primeiros dados em posições espacialmente ou temporalmente próximas de um pixel como a amostra de interesse, são selecionados como uma derivação de predição.

Em adição, por exemplo, quando os primeiros e segundos dados são dados de áudio, diversas amostras (valores de amostra das amostras) dos dados de áudio como os primeiros dados de áudio em posições temporalmente próximas à amostra de interesse, são selecionadas como uma derivação de predição.

A seção de seleção de derivação 303 seleciona diversas amostras formando os primeiros dados usados para efetuar classificação de classe, que classificam a amostra de interesse em uma dentre diversas classes pré-determinadas, como uma classe de derivação. Isto é, a seção de seleção de derivação 303 seleciona a derivação de classe de uma maneira similar à seleção da derivação de predição pela seção de seleção de derivação 302.

Incidentalmente, a derivação de predição e a derivação de classe podem ter uma mesma estrutura de derivação (relação de posição das diversas amostras como a derivação de predição (derivação de classe) com a amostra de interesse como referência), ou podem ter estruturas de derivação diferentes.

A derivação de predição obtida na seção de seleção de derivação 302 é fornecida a uma seção de operação de predição 306, e a derivação de classe obtida na seção de seleção de derivação 303 é fornecida a uma seção de classificação de classe 304.

A seção de classificação de classe 304 efetua classificação de

classe da amostra de interesse com base na derivação de classe a partir da seção de seleção de derivação 303. A seção de classificação de classe 304 fornece um código de classe correspondente a uma classe obtida como um para uma seção de emissão de coeficiente 305.

Por exemplo, ADRC (Codificação de Alcance Dinâmico

Adaptativo) ou similar pode ser adotada como um método para efetuar classificação de classe.

Em um método usando ADRC, as amostras (valores de amostra das amostras) formando a derivação de classe são submetidas a processamento ADRC e a classe da amostra de interesse é determinada de acordo com o código ADRC obtido como um resultado do processamento ADRC.

Incidentalmente, em ADRC de K bits, por exemplo, um valor máximo MAX e um valor mínimo MIN de valores de amostra das amostras formando a derivação de classe são detectados, DR = MAX - MIN é ajustado como uma faixa dinâmica local do conjunto, e o valor de amostra de cada amostra formando a derivação de classe é novamente quantificado em K bits com base na faixa dinâmica DR. Isto é, o valor mínimo MIN é subtraído do 5 valor de amostra de cada amostra formando a derivação de classe, e o valor de subtração é dividido (novamente quantificado) por DR/2K.

Então, uma cadeia de bits obtida arranjando os valores de amostra de K bits das amostras formando a derivação de classe cujos valores de amostra são obtidos conforme descrito acima em ordem pré-determinada, 10 são emitidos como um código ADRC. Então, quando a derivação de classe é submetida a processamento ADRC de 1 bit, por exemplo, o valor de amostra de cada amostra formando a derivação de classe é dividido por um valor médio do valor máximo MAX e do valor mínimo MIN (uma parte fracionária é perdida) e deste modo o valor de amostra de cada amostra é convertido em 15 um bit (binarizado).

Então, uma cadeia de bit obtida arranjando os valores de amostra de um bit em uma ordem pré-determinada, é emitida como um código ADRC.

Incidentalmente, a seção de classificação de classe 304, por 20 exemplo, pode ser feita para emitir uma configuração de distribuição de nível dos valores de amostra das amostras formando a derivação de classe como um código de classe como este é. Entretanto, neste caso, quando a derivação de classe é formada pelos valores de amostra de N amostras e K bits são designados ao valor de amostra de cada amostra, o número de configurações 25 no caso do código de classe emitido pela seção de classificação de classe 304 é (2n)k, que é um número enorme exponencialmente proporcional ao número K de bits dos valores de amostra das amostras.

r

E portanto desejável que a seção de classificação de classe 304 efetue classificação de classe, comprimindo a quantidade de informação da derivação de classe, isto é, os valores de amostra das diversas amostras formando a derivação de classe pelo processamento ADRC acima descrito, quantificação de vetor ou similar.

A seção de emissão de coeficiente 305 armazena o coeficiente 5 de derivação de cada classe obtido por aprendizado a ser descrito mais tarde, e emite adicionalmente um coeficiente de derivação armazenado em um endereço correspondente ao código de classe fornecido a partir da seção de classificação de classe 304 (o coeficiente de derivação de uma classe indicado pelo código de classe fornecido a partir da seção de classificação de classe 10 304) entre os coeficientes de derivação armazenados. Este coeficiente de derivação é fornecido à seção de operação de predição 306.

Neste caso, o coeficiente de derivação corresponde a um coeficiente multiplicado por dados de entrada em uma assim chamada derivação em um filtro digital.

A seção de operação de predição 306 obtém a derivação de

predição emitida pela seção de seleção de derivação 302 e o coeficiente de derivação emitido pela seção de emissão de coeficiente 305, e executa uma operação de predição pré-determinada para obter o valor previsto do valor verdadeiro da amostra de interesse, usando a derivação de predição e o 20 coeficiente de derivação. A seção de operação de predição 306 obtém deste modo e emite o valor de amostra da amostra de interesse (valor previsto do valor de amostra da amostra de interesse), isto é, o valor de amostra da amostra formando os segundos dados.

No dispositivo de conversão então formado, a seção de seleção de amostra de interesse 301 seleciona, como uma amostra de interesse, uma das amostras que não tenha sido uma amostra de interesse ainda, dentre as amostras formando os segundos dados, opostos aos primeiros dados inseridos no dispositivo de conversão.

Entrementes, as seções de seleção de derivação 302 e 303 selecionam, respectivamente, amostras a serem configuradas como a derivação de predição e a derivação de classe para a amostra de interesse a partir dos primeiros dados fornecidos a elas. A derivação de predição é fornecida a partir da seção de seleção de derivação 302 para a seção de 5 operação de predição 306. A derivação de classe é fornecida a partir da seção de seleção de derivação 303 para a seção de classificação de classe 304.

A seção de classificação de classe 304 recebe a derivação de classe para a amostra de interesse a partir da seção de seleção de derivação 303, e efetua classificação de classe da amostra de interesse com base na 10 derivação de classe. Adicionalmente, seção de classificação de classe 304 fornece um código de classe indicando a classe da amostra de interesse cuja classe é obtida como um resultado da classificação de classe, à seção de emissão de coeficiente 305.

A seção de emissão de coeficiente 305 obtém um coeficiente de derivação armazenado em um endereço correspondente ao código de classe fornecido a partir da seção de classificação de classe 304. A seção de emissão de coeficiente 305 fornece o coeficiente de derivação à seção de operação de predição 306.

A seção de operação de predição 306 efetua uma operação de predição pré-determinada usando a derivação de predição emitida pela seção de seleção de derivação 302 e o coeficiente de derivação a partir da seção de emissão de coeficiente 305. A seção de operação de predição 306 obtém deste modo e emite o valor de amostra da amostra de interesse.

A seção de seleção de amostra de interesse 301 seleciona, como uma nova amostra de interesse, uma das amostras que não tenha sido uma amostra de interesse ainda, entre as amostras formando os segundos dados, opostos aos primeiros dados inseridos no dispositivo de conversão. Um processo similar é repetido posteriormente.

Será feita agora uma descrição da operação de predição na seção de operação de predição 306 na Figura 23 e o aprendizado do coeficiente de derivação armazenado na seção de emissão de coeficiente 305.

Incidentalmente, suponha neste caso que dados de imagem, por exemplo, sejam usados como os primeiros e segundos dados.

Será considerado um caso em que, por exemplo, dados de imagem

de alta qualidade de imagem (dados de imagem de alta qualidade) são configurados como segundos dados e dados de imagem de baixa qualidade de imagem (dados de imagem de baixa qualidade de imagem) cujos dados de imagem são reduzidos na qualidade de imagem (resolução) filtrando os dados de 10 imagem de alta qualidade por um LPF (Filtro Passa Baixa), por exemplo, são configurados como primeiros dados, uma derivação de predição é selecionada a partir do dados de imagem de baixa qualidade de imagem, e o valor de pixel de um pixel (pixel de alta qualidade de imagem) dos dados de imagem de alta qualidade de imagem são obtidos (previstos) por uma operação de predição pré15 determinada usando a derivação de predição e o coeficiente de derivação.

Supondo que uma operação de predição linear de primeiro grau, por exemplo, seja adotada como a operação de predição prédeterminada, o valor de pixel y de um pixel de alta qualidade de imagem é obtido pela seguinte equação linear de primeiro grau.

[Equação 1]

N

y =

...(1)

Na Equação (1), xn denota o valor de pixel de um n-ésimo pixel dos dados de imagem de baixa qualidade de imagem (cujo pixel será posteriormente referido como um pixel de baixa qualidade de imagem, conforme apropriado) cujo pixel forma a derivação de predição para o pixel 25 de alta qualidade de imagem y, e wn denota o n-ésimo coeficiente de derivação multiplicado pelo n-ésimo pixel de baixa qualidade de imagem (valor de pixel do pixel de baixa qualidade de imagem). Incidentalmente, na Equação (1), a derivação de predição formada por N pixéis de baixa qualidade de imagem x1; X2,..., Xn

Neste caso, o valor de pixel y do pixel de alta qualidade de imagem pode também ser obtido por uma equação de grau alto de um segundo grau ou mais alto, ao invés da equação linear de primeiro grau mostrada como Equação (1).

Quando o valor verdadeiro do valor de pixel de um pixel de alta qualidade de imagem como o k-ésimo pixel é denotado por y^ e o valor previsto do valor verdadeiro yk obtido pela Equação (1) é denotado por yk\ o valor de predição ek é expresso pela seguinte equação.

[Equação 2] t

ek =yk-yk _ _ (2)

O valor previsto yk’ na Equação (2) é obtido de acordo com a Equação (1). Portanto, quando yk’ na Equação (2) é substituído de acordo com a Equação (1), a equação seguinte é obtida.

[Equação 3]

f N

ek=yk

...(3)

Na Equação (3), xnk denota um n-ésimo pixel de baixa qualidade de imagem formando uma derivação de predição para o pixel de alta qualidade de imagem como k-ésimo pixel.

O coeficiente de derivação wn que toma o erro de predição ek na Equação (3) (ou Equação (2)) zero, é ótimo para prever o pixel de alta qualidade de imagem. Entretanto, geralmente é difícil obter tal coeficiente de derivação wn para todos os pixéis de alta qualidade de imagem.

Conseqüentemente, supondo que o método de quadrados

mínimos, por exemplo, seja adotado como um padrão, mostrando que o coeficiente de derivação wn é ótimo, o coeficiente de derivação wn ótimo pode ser obtido minimizando uma soma E de erros quadráticos expressos pela equação a seguir. 10

15

20

[Equação 4]

E = ±ek2

k=1.

Na Equação (4), K denota o número de pixéis (número de pixéis para aprendizado) de um conjunto do pixel de alta qualidade de imagem yk e os pixéis de baixa qualidade de imagem x]jk, x2;kv> XN,k·

O menor valor (valor mínimo) da soma E de erros quadráticos na Equação (4) é dado por wn o que toma um resultado da diferenciação parcial da soma E em relação ao coeficiente de derivação wn zero, conforme mostrado na Equação (5).

[Equação 5]

QE õe

Qe1

õw„

— --—h é?2--—^----^

ÕW„ õw„

õek

õw„

= 0

(n=l, 2, ... N) ...(5) Conseqüentemente, a equação a seguir é obtida quando a Equação (3) acima é submetida a diferenciação parcial com respeito ao coeficiente de derivação wn.

[Equação 6] õe. õe.

õei,

= -x

Swt '^dW1 -Swh (k=l, 2, K)

A equação a seguir é obtida das Equações (5) e (6). [Equação 7]

KK K

Σ'jekXl,k = ®’^jekX2,k ~ " ’ Σ ek XN,k

= -x

(6)

4=1

k=\

...(7)

Substituindo a Equação (3) para ek na Equação (7), a Equação (7) pode ser expressa como uma equação normal mostrada na Equação (8).

[Equação 8]

λ f K

Σ X\,kXl,k k=1 K

ΣΧ2,^1,

Σχα

Vt=I ' κ

Kk=I

Vt=I ' K

Σχ>

kXN,k

HX2,k

^Ar=I

\k=l

K

ΈΧ2„

kXN,k

λ f K

Σ·

Ví=i

( * Σ*

Vt=I

N,kXN,k

W1

JJ

YaXX,kyk

.Jt=I

κ

ΣΧ2 ,iJi

Λ Λ

Vt=I

( κ

^,xN kyk

VVt=I

Jj

(8) A equação normal da Equação (8) pode ser resolvida para o coeficiente de derivação wn usando um método de varredura (método de eliminação de Gauss-Jordan) e similar, por exemplo.

Configurando e resolvendo a equação normal da Equação (8) para cada classe, um coeficiente de derivação wn ótimo (coeficiente de derivação que minimiza a soma E dos erros quadráticos nesse caso) pode ser obtido para cada classe.

Para um aprendizado do coeficiente de derivação, um grande número de peças de dados de estudante correspondentes aos primeiros dados 10 (dados de imagem de baixa qualidade de imagem no caso descrito acima) e dados de professor correspondentes aos segundos dados (dados de imagem de alta qualidade de imagem no caso descrito acima) são preparados, e o aprendizado do coeficiente de derivação é executado utilizando os dados de estudante e os dados de professor.

Então, a seção de emissão de coeficiente 305 na Figura 23

armazena um coeficiente de derivação para cada classe, obtido pelo aprendizado do coeficiente de derivação.

Dependendo do método selecionado de dados de estudante correspondentes aos primeiros dados e dados de professor correspondentes ao segundos dados, coeficientes de derivação para efetuar vários processamentos de sinal conforme descrito acima, podem ser obtidos como o coeficiente de derivação.

Especificamente, aprendendo o coeficiente de derivação com dados de imagem de alta qualidade de imagem como dados de professor 25 correspondentes aos segundos dados e com dados de imagem de baixa qualidade de imagem obtidos degradando a resolução espacial dos dados de imagem de alta qualidade de imagem configurados como dados de estudantes correspondentes aos primeiros dados, conforme descrito acima, um coeficiente de derivação para executar processamento de criação de resolução espacial que converte os primeiros dados como dados de imagem de baixa qualidade de imagem (imagem SD (Definição de Padrão)) para os segundos dados como dados de imagem de alta qualidade de imagem (dados de imagem HD (Alta Definição)) obtidos melhorando a resolução espacial dos dados de 5 imagem de baixa qualidade de imagem, podem ser obtidos como coeficiente de derivação.

Incidentalmente, neste caso, os primeiros dados (dados de estudante) podem ter o mesmo número de pixéis que os segundos dados (dados de professor) ou podem ter um número menor de pixéis que os segundos dados (dados de professor).

Em adição, por exemplo, aprendendo o coeficiente de derivação com dados de imagem de alta qualidade de imagem configurados como dados de professor e com dados de imagem obtidos superpondo ruído aos dados de imagem de alta qualidade de imagem como os dados de 15 professor configurados como dados de estudante, um coeficiente de derivação para executar processamento de remoção de ruído que converte os primeiros dados como os dados de imagem de baixa S/N para os segundos dados como os dados de imagem de alta S/N obtidos removendo (reduzindo) o ruído incluído nos dados de imagem de baixa S/N, podem ser obtidos como 20 coeficiente de derivação.

Adicionalmente, por exemplo, aprendendo coeficiente de derivação com certos dados de imagem configurados como dados de professor e com dados de imagem obtidos reduzindo discretamente o número de pixéis dos dados de imagem como dados de professor configurados como 25 dados de estudante, um coeficiente de derivação para efetuar processamento de aumento (processamento de redimensionamento) que converte os primeiros dados como uma parte dos dados de imagem para os segundos dados como dados de imagem aumentados obtidos aumentando os primeiros dados, podem ser obtidos como o coeficiente de derivação. Em adição, por exemplo, aprendendo o coeficiente de derivação com dados de imagem de uma alta taxa de quadro configurado como dados de professor e com dados de imagem obtidos reduzindo discretamente quadros dos dados de imagem de alta taxa de quadro dos dados 5 de professor configurados como dados de estudante, um coeficiente de derivação para executar processamento de criação de resolução temporal que converte os primeiros dados como dados de imagem de uma taxa de quadro pré-determinada para os segundos dados como dados de imagem da alta taxa de quadro, podem ser obtidos como o coeficiente de derivação.

Incidentalmente, por exemplo, aprendendo o coeficiente de

derivação com dados de imagem de alta qualidade de imagem de uma alta taxa de quadro configurada como dados de professor e com dados de imagem de baixa qualidade de imagem de uma taxa de quadro baixa obtidos reduzindo discretamente pixéis de cada quadro dos dados de professor e quadros dos 15 dados de professor configurados como dados de estudante, um coeficiente de derivação para executar processamento de criação de resolução na direção espacial e na direção temporal que converte os primeiros dados como dados de imagem de baixa qualidade de imagem de uma pré-determinada taxa de quadro para os segundos dados como dados de imagem de alta qualidade de 20 imagem da alta taxa de quadro, podem ser obtidos como coeficiente de derivação.

Adicionalmente, por exemplo, aprendendo o coeficiente de derivação com dados de imagem antes da codificação MPEG, configurados como dados de professor e com dados de imagem decodificados obtidos por 25 decodificação MPEG de dados de imagem codificados MPEG configurados como dados de estudante, um coeficiente de derivação para efetuar processamento de remoção de distorção que converte os primeiros dados como dados de imagem decodificados incluindo distorção de bloco e similar cujos dados de imagem decodificados são obtidos pela decodificação MPEG e decodificação MPEG para os segundos dados como dados de imagem livres de distorção em bloco ou similar, pode ser obtidos como o coeficiente de derivação.

Em adição, por exemplo, aprendendo o coeficiente de 5 derivação com dados de imagem livres de distorção causada por aberração ou similar configurados como dados de professor e com dados de imagem obtidos distorcendo os dados de professor configurados como dados de estudante, um coeficiente de derivação para efetuar processamento de remoção de distorção óptica, que remove a distorção óptica e que converte os 10 primeiros dados como dados de imagem incluindo a distorção para os segundos dados como dados de imagem livres da distorção, podem ser obtidos como coeficiente de derivação.

Adicionalmente, por exemplo, aprendendo o coeficiente de derivação com dados de áudio possuindo uma alta taxa de amostragem 15 configurados como dados de professor e com dados de áudio possuindo uma baixa taxa de amostragem, cujos dados de áudio são obtidos reduzindo discretamente amostras dos dados de professor, configurados como dados de estudante, um coeficiente de derivação para efetua processamento de criação de resolução temporal que converte os primeiros dados como dados de áudio 20 de baixa taxa de amostragem para os segundos dados como dados de áudio de alta taxa de amostragem, podem ser obtidos como coeficiente de derivação.

O processamento que remove distorção causada por processamento de sinal a partir de dados de imagem como dados de entrada na porção de remoção de distorção de processamento de sinal 41 na Figura 9 e similar pode ser efetuado pelo processamento adaptativo de classificação de classe, conforme descrito acima.

Especificamente, por exemplo, o coeficiente de derivação para cada classe é obtido aprendendo o coeficiente de derivação com dados de imagem antes do processamento de sinal na seção de processamento de sinal 27 (Figura 5) configurados como dados de professor e dados de imagem obtidos submetendo os dados de professor ao processamento de sinal na seção de processamento de sinal 27, configurados como dados de estudante, e o processamento adaptativo de classificação de classe é efetuado usando o 5 coeficiente de derivação. Deste modo, distorção causada pelo processamento de sinal pode ser removida a partir dos dados de imagem como dados de entrada.

Especificamente, o processamento que remove distorção causada pelo processamento de sinal a partir de dados de imagem como dados de entrada, pode ser efetuado usando uma técnica descrita na Patente Japonesa aberta ao público No. 2001-320587, por exemplo.

Patente Japonesa aberta ao público No. 2001-320587 descreve uma técnica que efetua o processamento adaptativo de classificação de classe usando um coeficiente de derivação obtido pelo aprendizado efetuado com 15 uma imagem antes da codificação MPEG configurados como dados de professor e como dados codificados MPEG obtidos por codificação MPEG do conjunto de imagem como dados de estudante.

A seguir será feita a descrição de um método para melhorar a resolução na direção espaço-temporal de dados de imagem como dados de entrada na porção de criação de resolução espaço-temporal 42 na Figura 9 e similar.

O processamento que melhora a resolução na direção espaçotemporal dos dados de imagem como dados de entrada na porção de criação de resolução espaço-temporal 42 na Figura 9 e similar pode ser efetuado pelo processamento adaptativo de classificação de classe descrito acima.

Especificamente, por exemplo, o coeficiente de derivação para cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de imagem de alta resolução na direção temporal e na direção espacial, configurados como dados de professor e com dados obtidos reduzindo a resolução na direção temporal e na direção espacial dos dados de professor configurados como dados de estudante, e o processamento adaptativo de classificação de classe é efetuado usando o coeficiente de derivação. Deste modo, a resolução na direção espaço-temporal dos dados de imagem como dados de entrada pode ser melhorada.

Especificamente, o processamento que melhora a resolução na direção espaço-temporal dos dados de imagem como dados de entrada pode ser efetuado usando uma técnica descrita na Patente Japonesa aberta ao público No. 2005-260928, por exemplo.

A Patente Japonesa aberta ao público No. 2005-260928

descreve uma técnica que executa o processamento adaptativo de classificação de classe usando um coeficiente de derivação obtido pelo aprendizado executado com uma imagem de alta resolução configurada como dados de professor e com dados de imagem de baixa resolução configurados como dados de estudante.

Incidentalmente, a porção de criação de resolução espaçotemporal 42 pode também remover uma mancha de movimento causada pelo movimento da mão, um borrão de foco causado por um estado de desfocalização, e similar, melhorando a resolução na direção espaço20 temporal. Em adição, a remoção de mancha pode ser efetuada usando uma técnica descrita na Patente Japonesa aberta ao público No. 2005-063097, por exemplo.

A Patente Japonesa aberta ao público No. 2005-063097 descreve uma técnica que supõe um produto de uma matriz A de valores de 25 pixel de uma imagem sem mancha e uma matriz W de coeficientes em conformidade com uma distribuição Gaussiana é um vetor coluna B de valores de pixel de uma imagem borrada, isto é, que uma equação B = WA mantém, impõe uma condição de que uma diferença entre valores de pixel adjacentes de uma imagem sem uma mancha é zero em pixéis diferentes dos pixéis de uma parte de borda, obtém uma matriz inversa W'1 da matriz W, calcula um produto A = W1B da imagem borrada Beo coeficiente W'1, e deste modo obtém a imagem A sem mancha.

A seguir, será feita uma descrição de um método para remover distorção causada pelo sistema óptico 22 (por exemplo, distorção de imagem causada pela aberração do sistema óptico 22 ou similar) a partir de dados de imagem como dados de entrada na porção de remoção de distorção óptica 43 na Figura 9 e similar.

O processamento que remove distorção (distorção óptica) causado pelo sistema óptico 22 a partir de dados de imagem como dados de entrada na porção de remoção de distorção óptica 43 na Figura 9 e similar pode ser executado pelo processamento adaptativo de classificação de classe descrito acima.

Especificamente, por exemplo, o coeficiente de derivação para cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de imagem sem distorção óptica, configurados como dados de professor e dados de imagem obtidos causando distorção óptica para os dados de professor configurados como dados de estudante, e o processamento adaptativo de classificação de classe é executado usando o coeficiente de derivação. Deste modo, a distorção óptica pode ser removida dos dados de imagem como dados de entrada.

Especificamente, o processamento que remove distorção óptica a partir de dados de imagem como dados de entrada pode ser efetuado usando uma técnica descrita no Documento WO00/56075, por exemplo.

O Documento W000/56075 descreve uma técnica que executa o processamento adaptativo de classificação de classe usando um coeficiente de derivação obtido pelo aprendizado efetuado como uma imagem distorcida configurada como dados de estudante e com uma imagem sem distorção configurada como dados de professor. Incidentalmente, o processamento efetuado pela porção de remoção de distorção de processamento de sinal 41, porção de criação de resolução espaço-temporal 42 e porção de remoção de distorção óptica 43 no bloco de remoção de distorção de dispositivo de captura de imagem 32 da 5 Figura 9 e similar pode ser executado coletivamente por processamento adaptativo de classificação de classe.

Especificamente, por exemplo, o coeficiente de derivação para cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de imagem de alta resolução na direção temporal e direção espacial, 10 configurados como dados de professor e com dados de imagem obtidos causando distorção óptica nos dados de professor, degradando a resolução na direção temporal e direção espacial dos dados de professor e executando processamento de sinal nos dados de professor configurados como dados de estudante, e o processamento adaptativo de classificação de classe é efetuado 15 usando o coeficiente de derivação. Deste modo, o processamento executado pela porção de remoção de distorção de processamento de sinal 41, porção de criação de resolução espaço-temporal 42 e porção de remoção de distorção óptica 43 pode ser executado coletivamente.

A seguir, será feita descrição de um método para detectar 20 alteração relativa do dispositivo de captura de imagem 21 (Figura 25) com respeito ao primeiro objeto, isto é, por exemplo, operação tal como panorâmica, inclinação, aproximação ou similar do dispositivo de captura de imagem 21a partir de dados de imagem como dados de entrada na porção de detecção de operação de dispositivo de captura de imagem 51 na Figura 9 e 25 similar.

Técnicas descritas na Patente Japonesa aberta ao público No. Hei 06-165014 e Patente Japonesa aberta ao público No. Hei 05-328201, por exemplo, podem ser usadas como um método para detectar a operação de panorâmica, inclinação ou aproximação do dispositivo de captura de imagem 21.

A Patente Japonesa aberta ao público No. Hei 06-165014 descreve uma técnica que, para uma imagem de referência e uma imagem aumentada obtida aumentando a imagem de referência, efetua interpolação 5 linear que aumenta a imagem de referência em diversas relações de aproximação, obtém coeficientes de correlação entre imagens interpoladas obtidas pela interpolação linear e a imagem aumentada, e obtém a relação de aproximação na qual o coeficiente de correlação é um máximo como a relação de aproximação da imagem aumentada.

Em adição, a Patente Japonesa aberta ao público No. Hei 05-

328201 descreve uma técnica que detecta o vetor de movimento de uma tela, armazena vetores de movimento de diversas telas, determina que uma operação de câmera intencional (movimento) tal como panorâmica, inclinação ou similar ocorreu quando há um movimento uniforme, exceto para o início 15 do movimento, há um movimento uniformemente acelerado no início do movimento, e a direção do movimento é fixa e de outro modo determina que um movimento de mão ocorreu, e efetua correção de movimento de mão.

Figura 24 mostra um exemplo de configuração de um dispositivo de detecção que detecta operação de aproximação usando a técnica descrita na Patente Japonesa aberta ao público No. Hei 06-165014.

Na Figura 24, o dispositivo de detecção inclui memórias de quadro 401 e 402, uma seção funcional de interpolação linear 403, uma seção de cálculo de coeficiente de correlação 404 e uma seção funcional de configuração de relação de aproximação 405.

A memória de quadro 401 é suprida de dados de imagem de

um quadro imediatamente após uma mudança de cena, por exemplo, cujos dados de imagem são incluídos em dados de imagem como dados de entrada. A memória de quadro 401 armazena os dados de imagem fornecidos a ela como dados de imagem de referência. Por outro lado, a memória de quadro 402 é fornecida seqüencialmente com dados de imagem de um quadro sucedendo ao quadro suprido à memória de quadro 401. A memória de quadro 402 armazena os dados de imagem fornecidos a ela como dados de imagem aumentados, 5 resultantes do aumento dos dados de imagem de referência a uma taxa de aproximação pré-determinada.

Supor neste caso que a relação de aproximação pode assumir não só o valor de magnificação de um ou mais, como também um valor de menos que a magnificação de um. Quando a relação de aproximação é menor 10 que a magnificação de um, os dados de imagem aumentados são dados de imagem obtidos aumentando os dados de imagem de referência de menos que a magnificação de um, isto é, dados de imagem obtidos reduzindo os dados de imagem de referência.

Quando novos dados de imagem aumentados são armazenados 15 na memória de quadro 402 após os dados de imagem de referência serem armazenados na memória de quadro 401, a seção funcional de configuração de relação de aproximação 405 configura os dados de imagem aumentados armazenados na memória de quadro 402 como dados de imagem de interesse, seleciona, para os dados de imagem de. interesse, por exemplo, uma dentre 20 diversas relações de aproximação pré-determinadas cuja relação de aproximadamente não tenha sido uma relação de aproximação de interesse, ainda como uma relação de aproximação de interesse, e fornece a relação de aproximação de referência à seção funcional de interpolação linear 403.

A seção funcional de interpolação linear 403 efetua 25 interpolação linear que aumenta os dados de imagem de referência armazenados na memória de quadro 401 para uma magnificação de um valor numérico indicado pela relação de aproximação de interesse, a partir da seção funcional de configuração de relação de aproximação 405 (reduz discretamente os dados de imagem de referência quando o valor numérico indicado pela relação de aproximação de interesse for menor que um). A seção funcional de interpolação linear 403 fornece dados de imagem interpolados obtidos como um resultado à seção de cálculo de coeficiente de correlação 404.

Para a relação de aproximação de interesse, a seção de cálculo

de coeficiente de correlação 404 obtém um coeficiente de correlação entre os dados de imagem interpolados a partir da seção funcional de interpolação linear 403 e os dados de imagem de interesse armazenados na memória de quadro 402, isto é, um valor obtido dividido uma covariância de valores de 10 pixel dos dados de imagem interpolados e valores de pixel dos dados de imagem de interesse por um produto de um desvio padrão dos valores de pixel dos dados de imagem interpolados e um desvio padrão dos valores de pixel dos dados de imagem de interesse. A seção de cálculo de coeficiente de correlação 404 fornece o coeficiente de correlação à seção funcional de 15 configuração de relação de aproximação 405.

Neste caso, a seção funcional de interpolação linear 403 obtém um coeficiente de correlação enquanto desloca a posição de pixéis dos dados de imagem interpolados e os dados de imagem de interesse cujos pixéis são feitos corresponder um ao outro no formato apropriado, e adota um 20 coeficiente de correlação possuindo um valor maior entre diversos coeficientes de correlação obtidos como um resultado, como um coeficiente de correlação para a relação de aproximação de interesse.

Depois, a seção funcional de configuração de relação de aproximação 405 seleciona todas as diversas relações de aproximação pré25 determinadas como relação de aproximação de interesse, e coeficientes de correlação para todas as diversas relações de aproximação são fornecidos a partir da seção de cálculo de coeficiente de correlação 404 para a seção funcional de configuração de relação de aproximação 405, executando processamento na seção funcional de interpolação linear 403 e seção de cálculo de coeficiente de correlação 404 para todas as diversas relações de aproximação, a seção funcional de configuração de relação de aproximação 405 detecta um coeficiente de correlação possuindo um maior valor a partir dos coeficientes de correlação para todas as diversas relações de aproximação, e determina e emite a relação de aproximação correspondente ao coeficiente de correlação como a relação de aproximação dos dados de imagem de interesse (relação de aproximação para os dados de imagem de referência).

Posteriormente, cada vez que novos dados de imagem são armazenados na memória de quadro 402, os novos dados de imagem são configurados como dados de imagem de interesse, e um processo similar é repetido.

A seguir, Figura 25 mostra um exemplo de configuração de um dispositivo de detecção para detectar uma operação de câmera intencional (movimento) tal como panorâmica, inclinação ou similar, usando a técnica descrita na Patente Japonesa aberta ao público No. Hei 05-328201.

Na Figura 25, o dispositivo de detecção inclui uma seção de estimativa de vetor de movimento 421, um memória de vetor e uma seção de determinação 423.

A seção de estimativa de vetor de movimento 421 é suprida de dados de imagem como dados de entrada. Para cada quadro (campo) dos dados de imagem fornecidos à seção de estimativa de vetor de movimento

421, a seção de estimativa de vetor de movimento 421 detecta o vetor de movimento do quadro como um todo (tela inteira). A seção de estimativa de vetor de movimento 421 fornece o vetor de movimento à memória de vetor

422.

A memória de vetor 422 armazena vetores de movimento fornecidos a partir da seção de estimativa de vetor de movimento 421 para uns poucos quadros a umas poucas dezenas de quadros.

A seção de determinação 423 determina se uma operação de câmera intencional tal como panorâmica, inclinação ou similar é executada com base nos vetores de movimento para diversos quadros, para os poucos quadros a poucas dezenas de quadros armazenados no passado na memória de vetor 422. A seção de determinação 423 emite um resultado da determinação.

Especificamente, a seção de determinação 423 determina que

uma operação de câmera intencional tal como panorâmica, inclinação ou similar é executada quando um movimento indicado pelos vetores de movimento é, um movimento uniforme, exceto para um início do movimento, o início do movimento é um movimento uniformemente acelerado, e a direção 10 do movimento é fixa. A seção de determinação 423 de outra forma determina que nenhuma operação de câmera intencional é efetuada. A seção de determinação 423 emite um resultado da determinação.

A seguir, será feita descrição de um método para gerar os primeiros dados de imagem de objeto representando o primeiro objeto, antes 15 que o dispositivo de captura de imagem 21 capture uma imagem do primeiro objeto, adicionando dados de imagem como dados de entrada na porção de armazenagem 53, enquanto compensa pela operação do dispositivo de captura de imagem 21, cuja operação é indicada pela informação de operação a partir da porção de detecção de operação de dispositivo de captura de imagem 51, 20 na porção de compensação de operação de dispositivo de captura de imagem 52 na Figura 9, e similar.

Técnicas descritas na Patente Japonesa aberta ao público No. Hei 07-038858, Patente Japonesa aberta ao público No. Hei 07-046533 e Patente Japonesa aberta ao público No. Hei 11-164264, por exemplo, podem 25 ser usadas como método para gerar os primeiros dados de imagem de objeto representando o primeiro objeto, após o dispositivo de captura de imagem 21 capturar uma imagem do primeiro objeto, adicionando dados de imagem na porção de armazenagem 53.

A Patente Japonesa aberta ao público No. Hei 07-038858 e Patente Japonesa aberta ao público No. Hei07-046533 descrevem uma técnica que obtém uma imagem de segundo plano X(k) de um k-ésimo quadro, por adição ponderada de acordo com a equação X(k) = (l-ot)X(k-l) + aZ(k), usando um pixel Z(k) da imagem de saída do k-ésimo quadro e um peso a.

Em adição, a Patente Japonesa aberta ao público No. Hei 11-

164264 descreve uma técnica que gera uma imagem de alta resolução, detectando o movimento de uma tela como um todo e escrevendo o pixel em uma posição deslocada pelo movimento.

Figura 26 mostra um exemplo de configuração de um 10 dispositivo de geração que gera os primeiros dados de imagem de objeto representando o primeiro objeto, antes que o dispositivo de captura de imagem 21 capture uma imagem do primeiro objeto, adicionando nos dados de imagem usando as técnicas descritas na Patente Japonesa aberta ao público No. Hei 07-038858, Patente Japonesa aberta ao público No. Hei 07-046533, e 15 Patente Japonesa aberta ao público No. Hei 11-164264.

Na Figura 26, o dispositivo de geração inclui uma seção de memória de quadro 511, uma seção de detecção de movimento 512, uma seção de detecção de mudança de cena 513, um controlador 514 e uma seção de memória 515.

Incidentalmente, neste caso, para simplificar a descrição,

suponhamos que os dados de imagem como dados de entrada cuja tela total efetua um movimento idêntico, cujos dados são obtidos capturando uma imagem do cenário ou similar, por panorâmica ou inclinação de uma câmera de vídeo (dispositivo de captura de imagem 21) são inseridos no dispositivo de geração.

A seção de memória de quadro 511 é suprida de dados de imagem como dados de entrada, e a seção de memória de quadro 511 armazena dados de imagem de dois quadros consecutivos. Especificamente, a seção de memória de quadro 511 possui uma memória de quadro presente 51IA e uma memória de quadro prévia 511B. A memória de quadro presente 51IA armazena o quadro presente agora inserido, e a memória de quadro prévia 51IB armazena o quadro prévio imediatamente antes do quadro presente (portanto, o quadro armazenado na memória de quadro presente 5 51IA até um instante imediatamente antes do quadro presente é fornecido à memória de quadro presente 51 IA), respectivamente.

A seção de detecção de movimento 512 refere-se à seção de memória de quadro 511, detecta um vetor de movimento indicando o movimento do presente quadro com respeito ao quadro prévio e fornece o 10 vetor de movimento ao controlador 514. Incidentalmente, conforme descrito acima, neste caso, dados de imagem cuja tela cheia efetua um movimento idêntico, são inseridos, e portanto, um vetor de movimento é detectado para a tela cheia (um quadro). Em adição, a seção de detecção de movimento 512 detecta por exemplo, um componente em uma direção vertical do movimento 15 de componentes em uma direção horizontal e a direção vertical cujos componentes formam o vetor de movimento em unidades mais finas que pixéis formando os dados de imagem.

A seção de detecção de mudança de cena 513 detecta uma mudança de cena, referindo-se à seção de memória de quadro 511. Quando a seção de detecção de mudança de cena 513 detecta uma mudança de cena a partir de um quadro prévio para um quadro presente, a seção de detecção de mudança de cena 513 emite informação para este efeito ao controlador 514.

O controlador 514 controla um endereço de escrita e um endereço de leitura na seção de memória 515, com base no vetor de 25 movimento a partir da seção de detecção de movimento 512. Em adição, quando o controlador 514 recebe informação indicando uma mudança de cena a partir da seção de detecção de mudança de cena 513, o controlador 514 reinicia o endereço de escrita e o endereço de leitura na seção de memória 515, e limpa um valor armazenado na seção de memória 515 para um valor inicial pré-determinado.

A seção de memória 515 é formada por uma memória ou similar possuindo uma capacidade de armazenagem suficientemente mais alta que um quadro de dados de imagem. Sob controle do controlador 514, a seção 5 de memória de quadro 511 armazena os dados de imagem do quadro presente armazenado na memória de quadro presente 51IA da seção de memória de quadro 511 e similar, e lê e emite dados de imagem armazenados.

Figura 27 mostra esquematicamente um exemplo de configuração da seção de memória 515 na Figura 26.

Por exemplo, conforme mostrado na Figura 27, a seção de

memória 515 tem uma capacidade de armazenagem para armazenar os valores de pixel de PH’ pixéis na direção horizontal (direção de linhas de varredura horizontal) e os valores de pixel de PY5 pixéis na direção vertical, respectivamente.

Incidentalmente, fazendo PH ou PV o número de pixéis na

direção horizontal ou direção vertical, cujos pixéis formam dados de imagem, PH5 » PH e PV’ » PV neste caso.

Em adição, como para endereços da seção de memória 515, endereços absolutos e endereços relativos são definidos. Os endereços 20 absolutos são, por exemplo, dados seqüencialmente com uma área de armazenagem mais alta e mais à esquerda na seção de memória 515 configurada como uma origem (0,0), e com a direção horizontal e direção vertical configuradas como um eixo x e um eixo y, respectivamente. Então, um endereço absoluto que é um (i+l)-ésimo endereço absoluto a partir do 25 topo é (i,j).

Figura 28 é um diagrama para auxiliar na explicação dos endereços relativos da seção de memória 515.

Os endereço relativos são endereços possuindo um endereço absoluto indicado por um indicador de endereço relativo como uma origem, conforme mostrado na Figura 28. Um endereço relativo que é um (i+l)-ésimo endereço relativo a partir da esquerda do indicador de endereço relativo e um (j+l)-ésimo endereço relativo a partir do topo é denotado como (i,j).

O indicador de endereço relativo é controlado pelo controlador 5 514. A escrita de dados de imagem para a seção de memória 515 e a leitura de dados de imagem a partir da seção de memória 515 são efetuadas em uma faixa de PH x 4PV pixéis (indicados em parte por uma linha pontilhada na mesma figura) (cuja faixa será posteriormente referida como uma faixa de aceso, conforme apropriado), por exemplo, possuindo o indicador de endereço 10 relativo como um ponto mais alto e mais à esquerda.

Neste caso, conforme descrito acima, a escrita de dados de imagem na seção de memória 515 é efetuada na faixa de acesso, e neste caso o tamanho da faixa de acesso é uma faixa de PH x 4PV pixéis. Portanto, somente um mesmo número de pixéis que o número de pixéis na direção 15 horizontal, cujos pixéis formam dados de imagem como dados de entrada, podem ser escritos na direção horizontal da faixa de acesso, ao passo que pixéis quatro vezes o número de pixéis na direção vertical, cujos pixéis formam os dados de imagem como dados de entrada, podem ser escritos na direção vertical da faixa de acesso.

Permitindo então que pixéis quatro vezes o número de pixéis

na direção vertical, cujos pixéis formam os dados de imagem como dados de entrada a serem escritos na direção vertical da faixa de acesso, novos pixéis em uma posição correspondente a um movimento menor que um pixel dos dados de imagem, são supostos para cada quadro dos dados de imagem como 25 dados de entrada, e portanto, uma imagem de alta resolução na direção espacial com um número aumentado de pixéis na direção vertical (número de linhas de varredura horizontal) pode ser formado (criado).

Especificamente, Figura 29 é um diagrama de auxílio na explicação da escrita de dados de imagem de um quadro na faixa de acesso. Conforme indicado pela hachura na Figura 29, a escrita dos dados de imagem de um quadro na faixa de acesso é efetuada seqüencialmente a partir de um endereço indicado pelo indicador de endereço relativo na direção horizontal, e é efetuado a cada quarta fila a partir de um 5 endereço indicado pelo indicador de endereço indicativo na direção vertical.

Portanto, um movimento na direção vertical de um pixel nos dados de imagem, corresponde a quatro pixéis na faixa de acesso. Como resultado, pixéis podem ser supostos em posições correspondentes ao movimento na direção vertical, em unidades de 1/4 de um pixel nos dados de 10 imagem. Isto é, direcionando a atenção somente à direção vertical, a faixa de acesso pode ser movida em unidades mais finas que um pixel (unidades de 1/4 de uma distância entre pixéis formando os dados de imagem neste caso) de acordo com o movimento dos dados de imagem. Quando dados de imagem são escritos a cada quarta fila em tal faixa de acesso, um espaço entre pixéis 15 adjacentes um ao outro na direção vertical é preenchido, e uma imagem de quatro vezes a resolução na direção vertical pode ser obtida.

A seguir, será feita a descrição da operação do dispositivo de geração da Figura 26.

Dados de imagem como dados de entrada são fornecidos à 20 seção de memória de quadro 511, e são armazenados na memória de quadro presente 511A. Então, quando dados de imagem de um próximo quadro são fornecidos, os dados de imagem são armazenados como o quadro presente na memória de quadro presente 511 A, e os dados de imagem que foram até agora armazenados na memória de quadro presente 51IA são fornecidos como um 25 quadro prévio à memória de quadro prévia 511B, a serem armazenados na memória de quadro prévia 511B. Posteriormente, um processo similar é repetido na seção de memória de quadro 511.

Quando o primeiro quadro é armazenado na memória de quadro presente 5 IlA da seção de memória de quadro 511, a seção de detecção de mudança de cena 513 detecta que o primeiro quadro é armazenado na memória de quadro presente 51IA de uma maneira similar à detecção de uma mudança de cena. A seção de detecção de mudança de cena

513 notifica o controlador 514 de que uma mudança de cena ocorreu.

Neste caso, quando o primeiro quadro é armazenado na

memória de quadro presente 511 A, dados de imagem não foram ainda armazenados na memória de quadro prévia 511B, de tal modo que uma soma de valores absolutos de diferenças entre a memória de quadro presente 511A e a memória de quadro prévia 51IB é grande e então a seção de detecção de 10 mudança de cena 513 detecta uma mudança de cena. Entretanto, neste caso, não há problema, porque não é necessário distinguir uma mudança de cena a partir da armazenagem do primeiro quadro na memória de quadro presente 511A.

Quando o controlador 514 recebe a mudança de cena (realmente, entretanto, a armazenagem do primeiro quadro na memória de quadro presente 51IA ao invés da mudança de cena, conforme descrito acima) a partir da seção de detecção de mudança de cena 513, o controlador

514 reinicia a seção de memória 515. Especificamente, o indicador de endereço relativo é movido para a origem (0,0) dos endereços absolutos, e

todos os valores armazenados na seção de memória 515 são limpos para um valor inicial pré-determinado.

Posteriormente, os dados de imagem armazenados na memória de quadro presente 51IA são fornecidos à seção de memória 515 e escritos na seção de memória 515. A escrita dos dados de imagem é efetuada dentro da 25 faixa de acesso, e é efetuada em cada quarto pixel (a três pixéis de distância) na direção vertical, conforme descrito acima. Incidentalmente, o controle de endereço quando dados de imagem são escritos na seção de memória 515 é efetuado pelo controlador 514.

Quando um próximo quadro é fornecido à seção de memória de quadro 511, a seção de detecção de mudança de cena 513 determina se uma mudança de cena ocorreu. Quando é determinado que uma mudança de cena ocorreu, a seção dè défécção de mudança de cena 513 emite informação indicando que ocorreu uma mudança de cena, para o controlador 514.

Posteriormente, um processo similar ao caso acima descrito é executado.

Quando é determinado que uma mudança de cena não ocorreu, por outro lado, a seção de detecção de movimento 512 detecta um vetor de movimento. Incidentalmente, neste caso, o vetor de movimento é detectado na direção vertical em unidades mais curtas que um intervalos de uma linha, 10 conforme descrito acima. O vetor de movimento detectado na seção de detecção de movimento 512 é fornecido ao controlador 514. Quando o controlador 514 recebe o vetor de movimento, o controlador 514 move o indicador de endereço relativo de uma quantidade correspondente ao vetor de movimento.

Neste caso, o indicador de endereço relativo é movido pelo

mesmo número de pixéis que um componentes na direção horizontal do vetor de movimento na direção horizontal, porém é movido pelo mesmo número de pixéis que um número obtido, por exemplo, arredondando um valor de quatro vezes um componente na direção vertical do vetor de movimento na direção 20 vertical. Isto é porque a faixa de acesso tem uma capacidade de armazenagem correspondente a quatro vezes o número de pixéis dos dados de imagem na direção vertical, conforme descrito acima.

Após o indicador de endereço relativo ser movido, os dados de imagem armazenados na memória de quadro presente 51IA (imagem a partir da qual o vetor de movimento é detectado) é fornecido à seção de memória 515. Então, os dados de imagem são adicionados a cada quarta linha dentro da faixa de acesso.

Isto é, configurar um certo pixel dos dados de imagem armazenados na memória de quadro presente 51IA como um pixel de interesse, fazendo A ser o valor de pixel do pixel de interesse, e fazendo B ser um valor de pixel armazenado em um em correspondente ao pixel de interesse na faixa de acesso da seção de memória 515, a seção de memória 515 obtém um novo valor de pixel C por adição ponderada de acordo com uma equação 5 C = (l-a)B + aA, onde a é um peso possuindo um valor em uma faixa 0 < α <1.0 novo valor de pixel C é escrito no endereço correspondente ao pixel de interesse em uma forma de sobrescrito.

Posteriormente, quando um próximo quadro é fornecido à seção de memória de quadro 511, um processo similar é repetido.

Conforme descrito acima, os dados de imagem como os dados

de entrada são adicionados (submetidos a adição ponderada) na seção de memória 515. Então, quando uma imagem correspondente aos dados de imagem como dados de entrada inclui, por exemplo, um primeiro objeto estacionário tal como um cenário ou similar, um segundo objeto tal como uma 15 telop móvel ou similar, e um terceiro objeto móvel tal como uma pessoa ou similar, os dados de imagem do segundo e terceiro objetos móveis são gradualmente apagados (removidos). Como um resultado, os dados de imagem armazenados na seção de memória 515 tomam-se dados de imagem somente do primeiro objeto estacionário.

Adicionalmente, como a adição é efetuada enquanto o

indicador de endereço relativo é movido de acordo com o vetor de movimento, os dados de imagem armazenados na seção de memória 515 são dados de imagem com um ângulo mais amplo do que os dados de imagem de um quadro, isto é, dados de imagem representando uma imagem mais 25 próxima de uma imagem que reproduz fielmente o mundo real (imagem do mundo real).

Incidentalmente, enquanto a seção de memória 515 obtém dados de imagem de alta resolução na resolução vertical, cuja resolução é quatro vezes aquela dos dados de imagem como dados de entrada, conforme descrito acima, dados de imagem de alta resolução na direção horizontal podem também ser obtidos similarmente.

É também possível obter uma imagem da mesma resolução que os dados de imagem como dados de entrada, em ambas direções horizontal e vertical.

Será feita a seguir uma descrição de um método para gerar terceiros dados de imagem de objeto cujo borrão de movimento é reduzido usando dados de entrada e primeiros dados de imagem de objeto armazenados na porção de armazenagem 53, supondo que os valores de pixel dos pixéis de 10 um terceiro objeto incluído nos dados de entrada, são valores obtidos integrando os valores de pixel dos respectivos pixéis, livres do borrão de movimento em uma direção temporal, enquanto move os valores de pixel dos respectivos pixéis livre do borrão de movimento na porção de processamento de remoção de mancha de primeiro plano 55.

Uma técnica descrita na Patente Japonesa aberta ao público

No. 2001-250119, por exemplo, pode ser usada como um método para gerar terceiros dados de imagem de objeto cujo borrão de movimento é reduzido supondo que os valores de pixel de pixéis de um terceiro objeto incluído nos dados de entrada são valores obtidos integrando os valores de pixel dos 20 respectivos pixéis, livres do borrão de movimento em uma direção temporal, enquanto move os valores de pixel dos respectivos pixéis, livres o borrão de movimento.

A Patente Japonesa aberta ao público No. 2001-250119 descreve uma técnica para obter valores de pixel (imagem no mundo real) 25 livres de um borrão de movimento, supondo que os valores de pixel de uma imagem capturada são valores obtidos integrando os valores de pixel de pixéis livres do borrão de movimento em uma direção temporal, enquanto move os valores de pixel dos pixéis livres do borrão de movimento.

Um método para gerar dados de imagem cujo borrão de movimento é reduzido usando a técnica descrita na Patente Japonesa aberta ao público No. 2001-250119 será descrito com referência às Figuras 30 a 32.

Figura 30 mostra um objeto estacionário B como um segundo plano e um objeto móvel A como primeiro plano.

Incidentalmente, na Figura 30 (o mesmo válido para a Figura

31 e Figura 32 a serem descritas mais tarde), b, (i = 1, 2,..., 9, a, b, c, d, e, f (a a f denotam números hexadecimais)) denota o valor de pixel de um pixel de uma imagem no mundo real do objeto B, e aj (j = 1, 2,..., 6) denota o valor de pixel de um pixel de uma imagem no mundo real (uma imagem que reproduz fielmente o mundo real) do objeto A.

Na Figura 30, o objeto móvel A está presente entre o objeto estacionário B e uma câmera de vídeo (correspondente ao dispositivo de captura de imagem 21) não mostrada na figura em um lado próximo.

Quando a câmera de vídeo captura uma imagem do objeto estacionário B e objeto A movendo-se no lado próximo, luz incidente por um tempo de exposição pré-determinado T é submetida a conversão fotoelétrica na câmera de vídeo, e valores de pixel correspondentes à quantidade de luz (quantidade de luz) são emitidos.

Neste caso, supondo que o tamanho dos pixéis do elemento de 20 conversão fotoelétrica que executa a conversão fotoelétrica na câmera de vídeo coincide com o tamanho dos pixéis da imagem no mundo real, a imagem capturada pela câmera de vídeo pode ser representada por um modelo no qual valores de pixel emitidos pela câmera de vídeo são valores obtidos integrando os valores de pixel de pixéis da imagem no mundo real pelo tempo 25 de exposição T (cujo modelo será posteriormente referido como um modelo de captura de imagem).

Especificamente, Figura 31 mostra um estado de um objeto A movendo-se de quatro pixéis na direção horizontal (direção x) a uma velocidade constante durante o tempo de exposição T. Fazendo ti ser um tempo de partida do movimento feito pelo objeto A durante o tempo de exposição T, fazendo t5 ser um tempo de final do movimento, e t2, t3 e t4 sendo três tempos respectivos que dividem um tempo do instante ti para o instante t5 em quatro partes iguais em ordem crescente de intervalos do tempo ti do início do movimento, o objeto A está presente no instante tk (k = 1, 2, 3, 4, 5) em uma posição deslocada de uma posição inicial (a posição do objeto A no instante ti) na direção horizontal, de (k - 1) pixéis).

Neste caso, valores de pixel emitidos pela câmera de vídeo no modelo de captura de imagem são conforme mostrados na Figura 32.

Especificamente, Figura 32 mostra um valor de pixel y, emitido pela câmera de vídeo no modelo de captura de imagem.

Supondo que a posição (na direção horizontal) de um pixel possuindo um valor de pixel bi da imagem no mundo real do objeto B é indicado por X0 + i com uma posição pré-determinada X0 como referência, e que um pixel na posição Xo + i é representado como pixel Xo + i, somente um valor de pixel bi da imagem no mundo real do objeto B é visto na posição Xo + 1 em cada um dos instantes ti a t5 do tempo de exposição T, e portanto, o valor de pixel do pixel X0 + 1 emitido pela câmera de vídeo é um valor de pixel bi.

Similarmente, somente um valor de pixel b2 da imagem no mundo real do objeto B é visto na posição Xo + 2 em cada um dos instantes ti a t5 do tempo de exposição T, e portanto, o valor de pixel y2 do pixel X0 + 2 emitido pela câmera de vídeo é um valor de pixel b2.

Na posição X0 + 3, um valor de pixel ai da imagem no mundo real do objeto A é visto no instante ti do tempo de exposição T, e um valor de pixel b3 da imagem no mundo real do objeto B é visto em instantes subseqüentes t2 a t5. Portanto, o valor de pixel y3 do pixel Xo + 3 emitido pela câmera de vídeo é um valor de pixel (1/5 x ai) + (4/5 x b3) obtido integrando o valor de pixel ai por um período de um tempo de 1/5 do tempo de exposição T durante cujo período o valor de pixel ai do objeto A é visto, e integrando o valor de pixel b3 por um período de tempo de 4/5 do tempo de exposição T durante cujo período o valor de pixel b3 do objeto B é visto.

Posteriormente, o valor de pixel y, emitido pela câmera de vídeo pode ser similarmente obtido.

Daí, há três casos em que o valor de pixel y, emitido pela câmera de vídeo coincide com um valor com um valor de pixel b, da imagem no mundo real do objeto B, onde o valor de pixel y; emitido pela câmera de vídeo é um valor obtido misturando um valor de pixel aj ou mais da imagem no mundo real do 10 objeto A e um valor de pixel bi da imagem no mundo real do objeto B de acordo com o movimento do objeto A, e onde o valor de pixel yi emitido pela câmera de vídeo é um valor obtido misturando um valor de pixel aj ou mais da imagem no mundo real do objeto A, de acordo com o movimento do objeto A.

Uma região do valor de pixel y; coincidindo com um valor de 15 pixel bi da imagem no mundo real de um objeto B na imagem formada pelo valor de pixel y; emitida pela câmera de vídeo (cuja imagem será posteriormente referida também como uma imagem capturada, conforme apropriado) será referida como uma região de segundo plano, e uma região do valor de pixel y; que é um valor obtido misturando um valor de pixel aj ou mais da imagem no mundo 20 real do objeto A na imagem formada pelo valor de pixel y; emitida pela câmera de vídeo, será referida como uma região de primeiro plano.

Em adição, uma região do valor de pixel yi que é um valor obtido misturando um valor de pixel aj ou mais da imagem no mundo real do objeto A e um valor de pixel b; da imagem no mundo real do objeto B será referida como uma região mista.

Geralmente, valores de pixel da imagem no mundo real do objeto A como um primeiro plano são freqüentemente valores próximos um do outro, e valores de pixel da imagem no mundo real do objeto B como um segundo plano são também freqüentemente valores próximos um do outro. Por outro lado, valores de pixel da imagem do objeto A no mundo real como um primeiro plano e valores de pixel da imagem no mundo real do objeto B como um segundo plano, freqüentemente não são valores próximos um do outro (são valores que diferem muito um do outro).

Então, uma região mista como uma região do valor de pixel yi

que é um valor obtido misturando um valor de pixel aj ou mais da imagem no mundo real do objeto A e um valor de pixel b, da imagem no mundo real do objeto B é reconhecida como uma região com um borrão de movimento.

No modelo de captura de imagem da Figura 32, dando atenção ao 10 objeto A como um primeiro plano, o valor de pixel y, da imagem capturada obtida capturando a imagem do objeto A, isto é, valores de pixel y3 a yc afetados pelo valor de pixel aj da imagem no mundo real do objeto A são valores obtidos integrando o valor de pixel aj da imagem no mundo real, isto é, o valor de pixel aj de um pixel livre de um borrão de movimento enquanto move o valor de pixel aj. 15 Os valores de pixel y3 a yc são expressos pela Equação (9).

[Equação 9]

1 4 A

y4 =^’(ai +a2)+yb4

1 ( \ 2 U

= ^’Kai +a2 +a3) + ~-bS

y6 =^-(ai+«2+«3+«4)+|^6

y 7

= — · (a, + a2 + a3 + a4 + a5)

5

y» =|‘(a2 +a3+a4+a5 +a6)

y9 =^·(α3 +«4 +«5 +í0+

ya =~(«4+«5+fl6 )+f A yb =|-(«s +«6)+|a

1 4 I.

V = — ■ a. Λ---h

5 5 ... (9) Portanto, o valor de pixel aj da imagem no mundo real do objeto A, isto é, o valor de pixel aj livre do borrão de movimento (cujo borrão de movimento é reduzido) pode ser obtido resolvendo a Equação (9) por um método de quadrados mínimos ou similar quando o valor de pixel b, da 5 imagem no mundo real do objeto B é conhecido. Então, uma imagem do objeto A sem o borrão de movimento como primeiro plano pode ser separada (criada) a partir da imagem capturada.

A porção de processamento de remoção de mancha de primeiro plano 55 na Figura 12 cria terceiros dados de imagem de objeto 10 (correspondendo a imagem no mundo real do objeto A como um primeiro plano) cujo borrão de movimento é reduzido com base no modelo de captura de imagem acima descrito, usando dados de imagem como dados de entrada (correspondendo à imagem capturada) e primeiros dados de imagem de objeto (correspondendo à imagem no mundo real do objeto B como um segundo 15 plano) armazenados na porção de armazenagem 53.

A seguir será feita a descrição de um método para detectar segundos dados de áudio como dados de áudio da BGM a partir de dados de áudio como dados de entrada na seção de detecção de segundos dados de áudio 136 na Figura 19 e similar.

Uma técnica descrita na Patente Japonesa aberta ao público

No. 2005-233984, por exemplo, pode ser usada como um método para detectar dados de áudio da BGM.

A Patente Japonesa aberta ao público No. 2005-233984 descreve uma técnica para separar voz ou BGM usando um filtro passando a voz humana ou um filtro passando BGM ou similar, diferente da voz humana.

Figura 33 mostra um exemplo de configuração de um dispositivo de detecção para detectar dados de áudio de BGM usando a técnica descrita na Patente Japonesa aberta ao público No. 2005-233984.

Na Figura 33, o dispositivo de detecção é formado por um filtro 601.

Um coeficiente de filtro pré-determinado é configurado no filtro 601. O filtro 601 funciona deste modo como um filtro passando BGM ou similar, diferente da voz humana.

A seguir, será feita uma descrição de um método para remover

distorção causada por processamento de sinal a partir de dados de áudio como dados de entrada na porção de remoção de distorção de processamento de sinal 141 na Figura 19 e similar.

O processamento que remove distorção causada por processamento de sinal de dados de áudio como dados de entrada na porção de remoção de distorção de processamento de sinal 141 na Figura 19 e similar pode ser executado pelo processamento adaptativo de classificação de classe acima descrito, por exemplo.

Especificamente, por exemplo, o coeficiente de derivação para 15 cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de áudio, antes do processamento de sinal na seção de processamento de sinal 127 (Figura 15) configurados como dados de professor e com dados de áudio obtidos submetendo os dados de professor ao processamento de sinal na seção de processamento de sinal 127 configurados como dados de estudante, e o 20 processamento adaptativo de classificação de classe é efetuado usando o coeficiente de derivação. Deste modo, a distorção causada pelo processamento de sinal pode ser removida dos dados de áudio como dados de entrada.

Especificamente, o processamento que remove distorção causada por processamento de sinal a partir de dados de áudio pode ser executado usando uma técnica descrita na Patente Japonesa aberta ao público No. Hei 10-011583, por exemplo.

A Patente Japonesa aberta ao público No. Hei 10-011583 descreve processamento adaptativo de classificação de classe que remove distorção causada por processamento de sinal a partir de dados de áudio.

A seguir, será feita uma descrição de um método para melhorar a resolução na direção temporal de dados de áudio como dados de entrada na porção de criação de resolução temporal 142 na Figura 19 e similar.

O processamento que melhora a resolução na direção temporal de dados de áudio como dados de entrada na porção de criação de resolução temporal 142 na Figura 19 e similar, pode ser executado pelo processamento adaptativo de classificação de classe descrito acima.

Especificamente, por exemplo, o coeficiente de derivação para

cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de áudio de alta resolução na direção temporal, configurados como dados de professor e com dados de áudio obtidos reduzindo a resolução na direção temporal dos dados de professor configurados como dados de estudante, e o 15 processamento adaptativo de classificação de classe é executado usando o coeficiente de derivação. Deste modo, a resolução na direção temporal dos dados de áudio como dados de entrada pode ser melhorada.

Especificamente, o processamento que melhora a resolução na direção temporal dos dados de áudio como dados de entrada pode ser efetuado usando uma técnica descrita na Patente Japonesa aberta ao público No. Hei 10-313251, por exemplo.

A Patente Japonesa aberta ao público No. Hei 10-313251 descreve uma técnica que executa o processamento adaptativo de classificação de classe usando um coeficiente de derivação obtido pelo 25 aprendizado executado com dados de áudio de uma alta freqüência de amostragem configurados como dados de professor e com dados de áudio obtidos reduzindo a freqüência de amostragem, configurados como dados de entrada.

Será feita agora uma descrição de um método para remover distorção causada pela coleta de som da seção de coleta de som 123 (Figura 15) a partir de dados de áudio como dados de entrada na porção de remoção de distorção de coleta de som 143 na Figura 19 e similar.

O processamento que remove distorção causada pela coleta de som (distorção de coleta de som) de dados de áudio como dados de entrada na porção de remoção de distorção de coleta de som 143 na Figura 19 e similar, pode ser executado pelo processamento adaptativo de classificação de classe descrito acima.

Especificamente, por exemplo, o coeficiente de derivação para 10 cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de áudio livres de distorção de coleta de som configurados como dados de professor e com dados de áudio obtidos causando distorção de coleta de som aos dados de professor configurados como dados de estudante, e o processamento adaptativo de classificação de classe é efetuado usando o 15 coeficiente de derivação. Deste modo, a distorção de coleta de som pode ser removida dos dados de áudio como dados de entrada.

Especificamente, o processamento que remove distorção de coleta de som de dados de áudio como dados de entrada pode ser efetuado usando uma técnica descrita na Patente Japonesa aberta ao público No. Hei 10-011583.

A Patente Japonesa aberta ao público No. Hei 10-011583 descreve processamento adaptativo de classificação de classe que remove distorção de coleta de som de dados de áudio.

Incidentalmente, o processamento efetuado pela porção de 25 remoção de distorção de processamento de sinal 141, porção de criação de resolução temporal 142 e porção de remoção de distorção de coleta de som 143 no bloco de remoção de distorção de dispositivo de coleta de som 132 na Figura 19 e similar pode ser efetuado coletivamente por processamento adaptativo de classificação de classe. Especificamente, o coeficiente de derivação para cada classe é obtido pelo aprendizado do coeficiente de derivação com dados de áudio de alta resolução na direção temporal configurados como dados de professor e com dados de áudio obtidos causando distorção de coleta de som aos dados de 5 professor, degradando adicionalmente a resolução na direção temporal dos dados de professor, e efetuando processamento de sinal nos dados de professor configurados como dados de estudante, e o processamento adaptativo de classificação de classe é efetuado usando o coeficiente de derivação. Deste modo, o processamento executado pela porção de remoção 10 de distorção de processamento de sinal 141, porção de criação de resolução temporal 142 e porção de remoção de distorção de coleta de som 143 pode ser executado coletivamente.

A seguir, será feita descrição de um método para efetuar processamento de detecção de fonte sonora que detecta pelo menos a posição 15 da fonte sonora do primeiro áudio e a pressão sonora (potência) do primeiro áudio na posição da fonte sonora a partir de dados de áudio como dados de entrada, no sensoreado de gerar primeiros dados de áudio representando o primeiro áudio no mundo real, cujos dados não são dependentes pelo menos da posição do dispositivo de coleta de som 121 (Figura 15) e gera os 20 primeiros dados de áudio possuindo a pressão sonora do primeiro áudio na posição da fonte sonora do primeiro áudio (primeiros dados de áudio representando o primeiro áudio no mundo real, cujos dados não são dependentes da posição do dispositivo de coleta de som 121) na porção de detecção de fonte sonora 151 na Figura 19 e similar.

Uma técnica descrita na Patente Japonesa aberta ao público

No. 2005-266797, por exemplo, pode ser usada como um método para efetuar processamento de detecção de fonte sonora.

A Patente Japonesa aberta ao público No. 2005-266797 descreve uma técnica que obtém um sinal enfatizado, enfatizando um áudio alvo mudando quantidades de retardo de dois áudios de entrada a partir de um microfone estéreo, executa detecção de intensidade, gera um coeficiente de filtro com base em um intensidade, filtra o sinal enfatizado e extrai o áudio alvo.

Figura 34 mostra um exemplo de configuração de um

dispositivo de detecção que executa processamento de detecção de fonte sonora usando a técnica descrita na Patente Japonesa aberta ao público No. 2005-266797.

Na Figura 34, o dispositivo de detecção inclui uma seção de adição de correção de retardo 701, uma seção de detecção de intensidade 702, uma seção de criação de coeficiente de separação 703 e um circuito de operação de filtro 704.

A seção de adição de correção de retardo 701 é suprida por exemplo, de um sinal acústico estéreo obtido pela coleta de som por um microfone estéreo.

A seção de adição de correção de retardo 701 obtém um sinal enfatizado que enfatiza áudio alvo (correspondendo ao primeiro alvo) como a voz de um humano incluída no sinal acústico estéreo, ajustando quantidades de retardo para retardar um sinal de canal L (Esquerdo) e um sinal de canal R 20 como o sinal acústico estéreo e adicionando os sinais de canal LeR após serem retardados. A seção de adição de correção de retardo 701 fornece o sinal enfatizado à seção de detecção de intensidade 702 e circuito de operação de filtro 704.

Em adição, a seção de adição de correção de retardo 701 25 detecta e emite a posição de fonte sonora do áudio alvo com base nas quantidades de retardo quando o sinal enfatizado é obtido. Adicionalmente, a seção de adição de correção de retardo 701 trata a potência do sinal enfatizado como potência do áudio alvo em uma posição de coleta de som na qual o som do áudio alvo é coletado, obtém potência na posição da fonte sonora do áudio alvo a partir daquela potência, e emite a potência na posição da fonte sonora do áudio alvo como pressão sonora na posição de fonte sonora do áudio alvo.

A posição de fonte sonora e a pressão de fonte sonora do áudio alvo emitidas pela seção de adição de correção de retardo 701 são emitidas para fora, e são fornecidas ao circuito de operação de filtro 704.

A seção de detecção de intensidade 702 detecta a intensidade de freqüência do sinal enfatizado a partir da seção de adição de correção de retardo 701. A seção de detecção de intensidade 702 supre a intensidade de freqüência do sinal enfatizado como intensidade de freqüência do áudio alvo à seção de criação de coeficiente de separação 703.

Com base na intensidade de freqüência a partir da seção de detecção de intensidade 702, a seção de criação de coeficiente de separação 703 obtém (cria) o coeficiente de filtro de um filtro passando áudio na intensidade de freqüência, isto é, o áudio alvo. A seção de criação de 15 coeficiente de separação 703 fornece o coeficiente de filtro ao circuito de operação de filtro 704.

O circuito de operação de filtro 704 funciona como um filtro como o coeficiente de filtro a partir da seção de criação de coeficiente de separação 703. Filtrando o sinal enfatizado a partir da seção de adição de correção de retardo 701, o circuito de operação de filtro 704 extrai o áudio alvo (componente de sinal do áudio alvo) a partir do sinal enfatizado.

Adicionalmente, o circuito de operação de filtro 704 amplifica o áudio alvo extraído do sinal enfatizado, e deste modo obtém o áudio alvo na pressão sonora fornecida a partir da seção de adição de correção de retardo 701, e emite o áudio alvo.

A seguir, referindo-se à Figura 35, será feita a descrição dos princípios do processamento no qual a seção de adição de correção de retardo 701 na Figura 34 obtém o sinal enfatizado que enfatiza o áudio alvo (correspondente ao primeiro alvo) incluído no sinal acústico estéreo, ajustando quantidades de retardo para retardar os respectivos sinais de canal L e R como o sinal acústico estéreo e adicionando os sinais de canal LeR após serem retardados.

Na Figura 35, microfones de canal L e canal R MCL e MCR correspondem ao dispositivo de coleta de som 121 na Figura 15.

O microfone MCL coleta som emitido pelas fontes sonoras SL, SC, e SR, e emite o som como um sinal de canal L. O microfone MCR coleta o som emitido pelas fontes sonoras SL, SC, e SR e emite o som como um sinal de canal R.

O sinal de canal L emitido pelo microfone MCL é fornecido a

um bloco de retardo 711.0 sinal de canal R emitido pelo microfone MCR é fornecido a um bloco de retardo 712.

O bloco de retardo 711 ajusta uma quantidade de retardo para retardar o sinal conforme apropriado, retarda o sinal de canal L emitido pelo microfone MCL e fornece o sinal retardado obtido como um resultado para as seções de operação 713 e 714.

O bloco de retardo 712 também ajusta uma quantidade de retardo, retarda o sinal de canal R emitido pelo microfone MCR e fornece o sinal retardado obtido como um resultado às seções de operação 713 e 714.

A seção de operação 713 adiciona o sinal retardado do canal L

a partir do bloco de retardo 711 e o sinal retardado do canal R a partir do bloco de retardo 712, e emite o resultado.

A seção de operação 714 subtrai um sinal retardado do canal L do bloco de retardo 711 e o sinal retardado do canal R do bloco de retardo 712 do outro, e emite o resultado.

Na Figura 35, o sinal emitido pela seção de operação 713 é um sinal enfatizado no qual o componente de sinal do áudio alvo desejado é enfatizado entre componentes de sinal incluídos nos sinais acústicos obtidos pela coleta de som pelos microfones MCL e MCR e os outros componentes de sinal são atenuados.

Especificamente, na Figura 35, a fonte sonora SL é disposta de um lado esquerdo, a fonte sonora SC é disposta no centro e a fonte sonora SR é disposta de um lado direito conforme visualizado do lado dos microfones MCL e MCR.

Suponha que o som emitido pela fonte sonora SR do lado direito, por exemplo, entre as fontes sonoras SL, SC e SR é áudio alvo.

Fazendo t um instante no qual o áudio alvo emitido a partir da fonte sonora SR alcança o microfone MCR no lado próximo com respeito à 10 fonte sonora SR, o áudio alvo emitido a partir da fonte sonora SR alcança o microfone MCL no lado distante com respeito à fonte sonora SR com um retardo de um tempo (quantidade de retardo físico) τ correspondente a uma distância entre os microfones MCL e MCR ou similar, a partir do instante t.

Como resultado, quando a quantidade de retardo do bloco de 15 retardo 712 é ajustada para ser mais longa que a quantidade de retardo do bloco de retardo 711 pelo tempo τ, um coeficiente de correlação entre o sinal retardado de canal L emitido pelo bloco de retardo 711 e o sinal retardado de canal R emitido pelo bloco de retardo 712 é grande, porque os componentes de sinal do áudio alvo incluídos nos sinais retardados de canal LeR, 20 respectivamente, estão em fase um com o outro.

Especificamente, Figura 36 mostra o sinal retardado de canal L emitido pelo bloco de retardo 711 e o sinal retardado de canal R emitido pelo bloco de retardo 712, quando a quantidade de retardo do bloco de retardo 712 é ajustada para ser mais longa que a quantidade de retardo do bloco de retardo 711, pelo tempo τ.

Quando a quantidade de retardo de bloco de retardo 712 é ajustada para ser mais longa que a quantidade de retardo do bloco de retardo 711 pelo tempo τ, os componentes de sinal do áudio alvo no sinal retardado de canal L emitido pelo bloco de retardo 711 e o sinal retardado de canal R emitido pelo bloco de retardo 712, respectivamente, estão em fase um com o outro.

Por outro lado, os componentes de sinal diferentes do áudio alvo no sinal retardado de canal L emitido pelo bloco de retardo 711 e sinal retardado de canal R emitido pelo bloco de retardo 712, respectivamente, estão fora de fase um com o outro.

Como resultado, um sinal obtido ajustando a quantidade de retardo do bloco de retardo 712 de modo a ser mais longo que a quantidade de retardo do bloco de retardo 711 pelo tempo τ e adicionando o sinal retardado 10 de canal L emitido pelo bloco de retardo 711 e o sinal retardado de canal R emitido pelo bloco de retardo 712 na seção de operação 713, é um sinal enfatizado no qual a componente de sinal do áudio alvo desejado é enfatizada entre componentes de sinal incluídos nos sinais acústicos obtidos por coleta de som pelos microfones MCL e MCR e os outros componentes de sinal são 15 atenuados.

Neste caso, as quantidades de retardo dos blocos de retardo 711 e 712 são ajustadas de tal modo que o coeficiente de correlação entre o sinal retardado de canal L emitido pelo bloco de retardo 711 e o sinal retardado de canal R emitido pelo bloco de retardo 712 (valor obtido 20 dividindo uma covariância do sinal retardado de canal L e sinal retardado de canal R por um produto de um desvio padrão do sinal retardado de canal L e um desvio padrão do sinal retardado de canal R) toma-se um máximo.

Então, a posição da fonte sonora SR do áudio alvo conforme visualizada a partir dos microfones MCL e MCR pode ser obtida de uma diferença entre as respectivas quantidades de retardo dos blocos de retardo 711 e 712, uma distância entre os microfones MCL e MCR e similar.

Incidentalmente, quando a porção de detecção de fonte sonora 151 na Figura 19 e similar efetua processamento de detecção de fonte sonora usando o dispositivo de detecção da Figura 34, as posições dos microfones MCL e MCR correspondente ao dispositivo de coleta de som 121 (Figura 15) e similar, são necessárias. As posições dos microfones MCL e MCR e similar são conhecidas antecipadamente, ou transmitidas a partir do dispositivo de transmissão 120 (Figura 15) em um estado de serem incluídas nos dados de entrada.

Quando o dispositivo de coleta de som 121 (Figura 15) é um microfone monaural ao invés de um microfone estéreo tal como os microfones MCL e MCR ou similar, uma posição de fonte sonora é detectada usando uma imagem.

Especificamente, por exemplo, quando dados de imagem

formando um programa juntamente com dados de áudio como dados de entrada mostram uma pessoa falando para simplificar a descrição, a parte da boca da pessoa se move. Portanto, quando são obtidas diferenças entre quadros dos dados de imagem, os valores de diferença são grandes somente na parte da boca da pessoa.

Portanto, diferenças entre quadros dos dados de imagem são obtidas, e a posição de um objeto (pessoa falando, neste caso) aparecendo em uma região de pixéis cujas diferenças são um valor pré-determinado ou mais, podem ser detectadas como uma posição de fonte sonora.

Incidentalmente, quando a região de pixéis cujas diferenças

são o valor pré-determinado ou mais, tiver se tomado muito pequena, ou quando as diferenças da totalidade de um quadro tiverem se tomado muito pequenas, é considerado que a pessoa parou de falar, e a saída dos primeiros dados de áudio da porção de detecção de fonte sonora 151 (Figura 19 e similar) pode ser interrompida (emudecida).

A seguir, a série de processos descritos acima podem ser executada por hardware e também realizada por software. Quando a série de processos deve ser realizada por software, um programa constituindo o software é instalado em um computador pessoal de finalidade geral ou similar.

Conseqüentemente, Figura 37 mostra um exemplo de configuração de uma realização de um computador, no qual o programa para realizar a série de processos acima descrita é instalado.

O programa pode ser gravado antecipadamente em um disco

rígido 805 como um meio de gravação incluído no computador, ou em uma ROM 803.

Alternativamente, o programa pode ser armazenado (gravado) temporariamente ou permanentemente em um meio de gravação removível 10 811 tal como um disco flexível, um CD-ROM (Memória de Somente Leitura de Disco Compacto) e um disco MO (Magneto Óptico), um DVD (Disco Versátil Digital), um disco magnético, uma memória de semicondutor ou similar. Tal meio de gravação removível 811 pode ser provido como assim chamado software empacotado.

Incidentalmente, em adição a ser instalado a partir do meio de

gravação removível 811 conforme descrito acima, no computador, o programa pode ser transferido a partir de um site de transferência para o computador, via rádio, satélite artificial para radiodifusão via satélite digital ou transferido para o computador com fio através de uma rede tal como uma 20 LAN (Rede de Area Local), a Internet ou similar, e o computador pode receber o programa então transferido por uma seção de comunicação 808 e instalar o programa no disco rígido 805 incorporado.

O computador inclui uma CPU (Unidade de Processamento Central) 802. A CPU 802 é conectada à interface entrada-saída 810 via um 25 barramento 801. Quando um usuário insere um comando via interface entrada-saída 810, por exemplo, operando uma seção de entrada 807 formada por um teclado, um mouse, um microfone e similar, a CPU 802 executa um programa armazenado na ROM (Memória de Somente Leitura) 803 de acordo com o comando. Alternativamente, a CPU 802 carrega, em uma RAM (Memória de Acesso Randômico) 804, o programa armazenado no disco rígido 805, o programa transferido do satélite ou da rede, recebido pela seção de comunicação 808 e então instalado no disco rígido 805, ou o programa lido a partir do meio de gravação removível 811 carregado em um controlador 809 e então instalado no disco rígido 805. A CPU 802 então executa o programa. A CPU 802 executa deste modo os processos de acordo com os fluxogramas acima descritos ou os processos executados pelas configurações dos diagramas em blocos acima descritos. Então, conforme requerido, a CPU 802 emite, por exemplo, um resultado dos processos a partir de uma seção de saída 806 formada por um LCD (Visor de Cristal Líquido), um alto-falante e similar via interface entrada-saída 810, transmite o resultado a partir da seção de comunicação 808 ou grava o resultado no disco rígido 805.

No presente relatório descritivo, as etapas do processo descrevendo o programa para fazer com que o computador execute os vários processos, não precisam necessariamente ser executadas em série de tempo na ordem descrita como os fluxogramas, e incluem processos executados em paralelo ou individualmente (por exemplo, processamento paralelo ou processamento baseado em áudio).

O programa pode ser processado por um computador, ou pode ser submetido a processamento distribuído por diversos computadores. Adicionalmente, o programa pode ser transferido para um computador remoto e executado pelo computador remoto.

Deve ser notado que as realizações da presente invenção não estão limitadas às reivindicações precedentes, e que várias mudanças podem ser feitas, sem se afastar do espírito da presente invenção.

Claims

1. Dispositivo de processamento de dados para processar dados de entrada obtidos executando processamento de sinal sobre dados de sensor obtidos por um dispositivo sensor, sensoreando e amostrando um primeiro objeto em um mundo real, caracterizado pelo fato de compreender: bloco de remoção de distorção de dispositivo sensor configurado para remover distorção ocorrida quando citado dispositivo sensor sensoreia o primeiro objeto e distorção causada pelo citado processamento de sinal, a distorção estando incluída nos citados dados de entrada; bloco de eliminação de posição de dispositivo sensor configurado para gerar primeiros dados de objeto representando citado primeiro objeto, os primeiros dados de objeto não sendo dependentes de pelo menos uma posição do citado dispositivo sensor, a partir dos citados dados de entrada; seção de configuração de parâmetro configurada para ajustar um parâmetro sensor como um parâmetro usado para sensorear citado primeiro objeto; e seção de manipulação configurada para manipular citados primeiros dados de objeto de acordo com o parâmetro sensoreado ajustado pela citada seção de configuração de parâmetro.

2. Dispositivo de processamento de dados de acordo com a reivindicação 1, caracterizado pelo fato de que: citados dados de entrada são obtidos superpondo segundos dados de objeto diferentes dos citados dados sensoreados nos citados dados sensoreados, editando e efetuando citado processamento de sinal sobre os citados dados sensoreados nos quais os segundos dados de objeto são superpostos, citado dispositivo de processamento de dados inclui adicionalmente uma segunda seção de detecção de dados de objeto configurada para detectar segundos dados de objeto a partir dos citados dados de entrada, citada seção de configuração de parâmetro configura citado parâmetro sensor e parâmetro de edição como um parâmetro usando para efetuar edição, e citada seção de manipulação manipula citados primeiros dados de objeto de acordo com o citado parâmetro sensor e executa edição, usando citados segundos dados de objeto de acordo com o citado parâmetro de edição.

3. Dispositivo de processamento de dados de acordo com a reivindicação 2, caracterizado pelo fato de citado dispositivo sensor ser um dispositivo de captura de imagem que captura uma imagem no mundo real via um sistema óptico, citado dispositivo de processamento de dados ser um dispositivo de processamento de imagem configurado para processar citados dados de entrada que são dados de imagem obtidos superpondo, por edição, segundos dados de imagem de objeto representando um segundo objeto nos citados primeiros dados de imagem capturados de objeto obtidos pelo citado dispositivo de captura de imagem, capturando uma imagem de um primeiro objeto no mundo real, via sistema óptico e amostrando o primeiro objeto em uma direção espaço-temporal, e efetuar processamento de sinal nos citados primeiros dados de imagem capturados de objeto nos quais citados segundos dados de imagem de objeto são superpostos, citado bloco de remoção de distorção de dispositivo sensor ser um bloco de remoção de distorção de dispositivo de captura de imagem configurado para remover distorção ocorrida quando citado dispositivo de captura de imagem captura a imagem do citado primeiro objeto e distorção causada pelo citado processamento de sinal, a distorção estando incluída nos citados dados de entrada, citado bloco de eliminação de posição de dispositivo sensor ser um bloco de eliminação de operação de dispositivo de captura de imagem incluindo porção de detecção de operação de dispositivo de captura de imagem configurada para detectar operação relativa do citado dispositivo de captura de imagem, com respeito ao citado primeiro objeto, a partir dos citados dados de entrada, e porção de compensação de operação de dispositivo de captura de imagem configurada para gerar primeiros dados de imagem de objeto representando primeiro objeto antes que o citado dispositivo de captura de imagem capture a imagem do primeiro objeto, adicionando citados dados de entrada em uma porção de armazenagem configurada para armazenar dados, enquanto compensa citados dados de entrada pela operação do citado dispositivo de captura de imagem, a operação sendo detectada pela citada porção de detecção de operação de dispositivo de captura de imagem, citada segunda seção de detecção de dados de objeto ser uma segunda seção de detecção de objeto configurada para detectar citados segundos dados de imagem de objeto a partir dos citados dados de entrada, citada seção de configuração de parâmetro configurar um parâmetro de captura de imagem, que é um parâmetro usado para capturar uma imagem do citado primeiro objeto, como citado parâmetro sensor, e citada seção de manipulação sintetizar citados primeiros dados de imagem de objeto e citados segundos dados de imagem de objeto de acordo com citado parâmetro de captura de imagem e citado parâmetro de edição.

4. Dispositivo de processamento de dados de acordo com a reivindicação 3, caracterizado pelo fato de que citado bloco de remoção de distorção de dispositivo de captura de imagem inclui porção de remoção de distorção de processamento de sinal configurada para remover a distorção causada pelo citado processamento de sinal a partir dos citados dados de entrada, porção de melhoramento de resolução espaço-temporal configurada para melhorar a resolução na direção espaço-temporal dos citados dados de entrada, e porção de remoção de distorção óptica configurada para remover distorção causada pelo citado sistema óptico a partir dos citados dados de entrada.

5. Dispositivo de processamento de dados de acordo com a reivindicação 3, caracterizado pelo fato de compreender adicionalmente porção de geração de dados de imagem configurada para gerar citados segundos dados de imagem de objeto e terceiros dados de imagem de objeto representando um terceiro objeto como um corpo móvel, comparando citados dados de imagem e citados primeiros dados de imagem de objeto armazenados na citada porção de armazenagem uns com os outros.

6. Dispositivo de processamento de dados de acordo com a reivindicação 5, caracterizado pelo fato de que citada porção de geração de dados de imagem gera citados terceiros dados de imagem de objeto cujo borrão de movimento é reduzido, supondo que um valor de pixel de um pixel do citado terceiro objeto é um valor obtido integrando valores de pixel dos respectivos pixéis livres do borrão de movimento em uma direção temporal, enquanto move os valores de pixel dos respectivos pixéis.

7. Dispositivo de processamento de dados de acordo com a reivindicação 5, caracterizado pelo fato de que citada seção de configuração de parâmetro gera uma relação de tamanho entre o tamanho de uma tela de um destino de saída da citada seção de manipulação e tamanho dos citados terceiros dados de imagem de objeto, e ajusta citado parâmetro de edição para editar o tamanho dos citados terceiros dados de imagem de objeto de acordo com citada relação de tamanho, quando o tamanho da tela do citado destino de saída é modificado.

8. Dispositivo de processamento de dados de acordo com a reivindicação 5, caracterizado pelo fato de que citada seção de configuração de parâmetro ajusta citado parâmetro de edição de modo a executar processamento de correção de gama somente nos citados terceiros dados de imagem de objeto gerados pela citada porção de geração de dados de imagem, e citada seção de manipulação submete somente citados terceiros dados de imagem de objeto a correção de gama de acordo com citado parâmetro de edição.

9. Dispositivo de processamento de dados de acordo com a reivindicação 2, caracterizado pelo fato de que citado dispositivo sensor é um dispositivo de coleta de som possuindo uma seção de coleta de som configurada para coletar som do primeiro áudio no mundo real, citado dispositivo de processamento de dados é um dispositivo de processamento de áudio configurado para processar citados dados de entrada que são dados de áudio obtidos superpondo, por edição, segundos dados de áudio nos primeiros dados de som coletados de áudio obtidos pelo citado dispositivo de coleta de som, coletando o som do primeiro áudio no mundo real e amostrando o primeiro áudio em uma direção temporal, e efetuando processamento de sinal nos citados primeiros dados de som coletados de áudio nos quais citados segundos dados de áudio são superpostos, citado bloco de remoção de distorção de dispositivo sensor é um bloco de remoção de distorção de dispositivo de coleta de som, configurado para remover distorção ocorrida quando citado dispositivo de coleta de som coleta o som do citado primeiro áudio e distorção causada pelo citado processamento de sinal, a distorção estando incluída nos citados dados de entrada, citado bloco de eliminação de posição de dispositivo sensor é um bloco de eliminação de operação de dispositivo de coleta de som incluindo uma porção de detecção de fonte sonora configurada para detectar pelo menos uma posição de fonte sonora e pressão sonora do citado primeiro áudio a partir dos citados dados de entrada, de modo a gerar primeiros dados de áudio representando citado primeiro áudio no mundo real, os primeiros dados de áudio não sendo dependentes de pelo menos uma posição do citado dispositivo de coleta de som, citada segunda seção de detecção de dados de objeto é uma segunda seção de detecção de dados de áudio configurada para detectar citados segundos dados de áudio a partir dos citados dados de entrada, citada seção de configuração de parâmetro configura um parâmetro de coleta de som, que é um parâmetro usado para coletar o som do citado primeiro áudio, como citado parâmetro de sensor, e citada seção de manipulação sintetiza citados primeiros dados de áudio e citados segundos dados de áudio de acordo com citado parâmetro de coleta de som e citado parâmetro de edição.

10. Dispositivo de processamento de dados de acordo com a reivindicação 9, caracterizado pelo fato de que citado bloco de remoção de distorção de dispositivo de coleta de som inclui porção de remoção de distorção de processamento de sinal configurada para remover a distorção causada pelo citado processamento de sinal dos citados dados de entrada, porção de melhoramento de resolução temporal configurada para melhorar a resolução na direção temporal dos citados dados de entrada, e porção de remoção de distorção de coleta de som configurada para remover distorção causada pela citada seção de coleta de som a partir dos citados dados de entrada.

11. Dispositivo de processamento de dados de acordo com a reivindicação 9, caracterizado pelo fato de compreender adicionalmente meios de geração de dados de áudio para gerar citados segundos dados de áudio e terceiros dados de áudio representando terceiro áudio emitido a partir de uma fonte sonora diferente do primeiro áudio, comparando citados dados de entrada e citados primeiros dados de áudio uns com os outros.

12. Método de processamento de dados de um dispositivo de processamento de dados, configurado para processar dados de entrada obtidos executando processamento de sinal sobre dados de sensor obtidos por um dispositivo sensor, sensoreando e amostrando um primeiro objeto em um mundo real, caracterizado pelo fato de compreender as etapas de: citado dispositivo de processamento de dados remover distorção ocorrida quando o citado dispositivo sensor sensoreia o citado primeiro objeto e distorção causada pelo citado processamento de sinal, a distorção estando incluída nos citados dados de entrada; gerar primeiros dados de objeto representando citado primeiro objeto, os primeiros dados de objeto não sendo dependentes de pelo menos uma posição do citado dispositivo sensor, a partir dos citados dados de entrada; e manipular citados primeiros dados de objeto de acordo com um parâmetro sensor configurado por uma seção de configuração de parâmetro, configurada para ajustar o parâmetro sensor como um parâmetro usado para sensorear o citado primeiro objeto.

13. Meio de armazenagem, caracterizado pelo fato de que no qual um programa para fazer com que um computador funcione como um dispositivo de processamento de dados configurado para processar dados de entrada obtidos executando processamento de sinal sobre dados sensores obtidos por um dispositivo sensor, sensoreando e amostrando um primeiro objeto em um mundo real, são armazenados, citado dispositivo de processamento de dados compreendendo: bloco de remoção de distorção de dispositivo sensor configurado para remover distorção ocorrida quando citado dispositivo sensor sensoreia o citado primeiro objeto e distorção causada pelo citado processamento de sinal, a distorção sendo incluída nos citados dados de entrada; bloco de eliminação de posição de dispositivo sensor configurado para gerar primeiros dados de objeto representando citado primeiro objeto, os primeiros dados de objeto não sendo dependentes de pelo menos uma posição do citado dispositivo sensor, a partir dos citados dados de entrada; seção de configuração de parâmetro configurada para ajustar um parâmetro sensor como um parâmetro usado para sensorear citadoprimeiro objeto; e seção de manipulação configurada para manipular citados primeiros dados de objeto de acordo com o parâmetro sensor ajustado pela citada seção de configuração de parâmetro.