BRPI1100216A2

BRPI1100216A2 - mÉtodo e aparelho de corte, e , programa de computador

Info

Publication number: BRPI1100216A2
Application number: BRPI1100216-6A
Authority: BR
Inventors: Jonathan Richard Thorpe; Hideki Ando
Original assignee: Sony Corp
Priority date: 2010-02-26
Filing date: 2011-02-18
Publication date: 2012-07-31
Also published as: US8736667B2; GB2478157A; CN102170578A; US20110211042A1; JP5680994B2; JP2011182399A; GB201003291D0; EP2362668A2; AU2011200146A1

Abstract

MÉTODO E APARELHO DE CORTE, E, PROGRAMA DE COMPUTADOR. Um método de corte entre uma primeira sequência de imagem e uma segunda sequência de imagem visíveis em uma tela, que define um plano de tela, em que a primeira sequência de imagem inclui um objeto estereoscopicamente visível, perceptível por um expectador em um primeiro plano de imagem diferente do plano de tela e a segunda sequência de imagem incluindo um segundo objeto perceptível em um segundo plano de imagem diferente do primeiro plano de imagem, o objeto estereoscopicamente visível compreendendo uma primeira imagem em um primeiro plano de tela e uma segunda imagem em uma segunda posição de plano de tela, o método compreendendo: identificar a primeira posição de plano de tela da primeira imagem, e a segunda posição de plano de tela da segunda imagem; inserir dentro de um primeiro quadro pós-corte da segunda sequência de imagem uma primeira cópia do segundo objeto substancialmente na primeira posição de plano de tela e inserir uma segunda cópia do segundo objeto substancialmente na segunda posição de plano de tela e inserir a primeira cópia do segundo objeto e a segunda cópia do segundo objeto dentro de um número predeterminado de quadros subsequentes, em posições da tela que são mais próximas à posição de tela requerida para visualizar o segundo objeto no segundo plano de imagem do que as primeiras e segundas posições do plano de tela.

Description

"MÉTODO E APARELHO DE CORTE, E, PROGRAMA DE COMPUTADOR"

CAMPO DA INVENÇÃO

A presente invenção refere-se a um método e aparelho para processar imagens de vídeo.

FUNDAMENTOS DA INVENÇÃO

A fim de intensificar a experiência do expectador, quando assistir material de vídeo, é possível aplicar técnicas conhecidas, a fim de dar a um expectador a impressão de que certas imagens dentro do material de vídeo têm uma qualidade tridimensional (3D). Isto é conseguido arranjando- se o vídeo para incluir uma seqüência de imagens estereoscópicas, em que um expectador vê uma primeira imagem através de um olho e uma segunda imagem através do outro olho. Se a primeira imagem e a segunda imagem forem do mesmo objeto, porém as imagens forem deslocadas horizontalmente entre si, com respeito ao plano de visualização que o expectador vê (p. ex., um exibidor de televisão ou uma tela de cinema), então o expectador reconcilia esta informação visual percebendo haver uma única imagem do objeto e que esta imagem tem um certo grau de profundidade (isto é, é posicionada em frente ou atrás do plano de visualização). O efeito 3D pode ser intensificado arranjando-se as duas imagens para serem do mesmo objeto, porém capturadas de ângulos ligeiramente diferentes. Em razão de os olhos humanos serem afastados entre si por uma pequena distância, isto imita a informação de que um expectador vê quando um objeto real é visto através de ambos os olhos, assim o expectador percebe a imagem exibida como um objeto 3D.

Diferente das seqüências de vídeo bidimensionais (2D) convencionais, a fim de um expectador ver uma imagem 3D, seus olhos devem estar apontando em direções ligeiramente diferentes, devido ao deslocamento horizontal da versão deslocada do mesmo objeto. Quando visualizando as imagens estereoscópicas, movimento não natural dos olhos do espectador pode ocorrer. Por exemplo, os olhos do espectador pode não naturalmente divergir, pode convergir demasiado ou pode verticalmente divergir (como resultado do paralaxe vertical das imagens). Isto pode resultar em desconforto. Pode, portanto, ser útil para analisar seqüências de vídeo 3D, para determinar a extensão em que um espectador deve dirigir seus olhos em diferentes direções, para produzir um mapa de disparidade, que indique a posição relativa do primeiro e segundo objetos.

Alem disso, quando combinando o monitor de imagens 2D com imagens 3D em uma seqüência de vídeo, considerações cuidadosas devem ser feitas para assegurar que a ilusão 3D não se decomponha. Isto é particularmente importante em comprimento total de filme ao vivo, onde os objetos do comprimento total do filme podem mover-se "através" das legendas.

SUMÁRIO DA INVENÇÃO

De acordo com um primeiro aspecto da invenção, é provido um método de cortar entre uma primeira seqüência de imagem e uma segunda seqüência de imagem visíveis em uma tela que define um plano de tela, em que a primeira seqüência de imagem inclui um objeto visível estereoscopicamente perceptível por um expectador em um primeiro plano de imagem, diferente ao plano de tela e da segunda seqüência de imagem incluindo um segundo objeto, perceptível em um segundo plano de imagem, diferente do primeiro plano de imagem, o objeto visível estereoscopicamente compreendendo uma primeira imagem em uma primeira posição de plano de tela e uma segunda imagem em uma segunda posição de plano de tela, o método compreendendo: identificar a primeira posição de plano de tela da primeira imagem e a segunda posição de plano de tela da segunda imagem; inserir dentro de um primeiro quadro pós-corte, da segunda seqüência de imagem, uma primeira cópia do segundo objeto substancialmente na primeira posição de plano de tela e inserir uma segunda copia do segundo objeto substancialmente na segunda posição de plano de tela e inserir a primeira cópia do segundo objeto e da segunda cópia do segundo objeto dentro de um número predeterminado de quadros subsequentes, em posições na tela que são mais próximas à posição de tela requerida para ver o segundo objeto no segundo plano de imagem do que as primeira e segunda posições de plano de tela.

A mudança da posição de tela entre quadros consecutivos pode ser a mesma através do número predeterminado de quadros.

A mudança da posição de tela entre quadros consecutivos pode variar através do número predeterminado de quadros.

A mudança da posição de tela pode ser menor durante um primeiro predeterminado número de quadros consecutivos, em comparação com um número predefinido por último de quadros consecutivos.

O segundo plano de imagem pode ser o plano de tela.

As primeira e segunda posições podem ser identificadas usando-se um mapa de disparidade gerado por um processo de mapeamento por disparidade.

A seqüência de imagem pode compreender um primeiro grupo de quadros de imagem estereoscópica, visível pelo outro olho do espectador e o mapa de disparidade pode ser gerado: realizando-se um primeiro processo de detecção de pixel de borda no primeiro quadro de imagem, para identificar bordas dentro do primeiro quadro de imagem; identificar uma característica de pixel da primeira imagem pelas bordas detectadas; gerar um bloco de pixel incluindo a característica de pixel, realizando-se igualação de bloco em uma região de busca da segunda imagem, usando-se o bloco de pixel do primeiro quadro de imagens, em que o bloco de pixel gerados pelo primeiro quadro é correlacionado em comparação com a região de busca; e gerar um mapa de disparidade pela identificação de um deslocamento relativo da característica de pixel do primeiro quadro de imagem de um correspondente característica de pixel do segundo quadro de imagem.

O método pode compreender gerar do mapa de disparidade um mapa de profundidade provendo uma indicação de uma distância entre o plano de tela e o plano de imagem, associando parâmetros de profundidade previamente definidos, indicando uma profundidade do primeiro objeto estereoscopicamente visível com a posição objeto identificada pelo mapa de disparidade.

O metodo pode compreender associar o primeiro objeto estereoscopicamente visível com um indicador gráfico, na dependência da profundidade do primeiro objeto estereoscopicamente visível, indicado pelo mapa de profundidade ou o mapa de disparidade.

O método pode compreender o primeiro objeto estereoscopicamente visível com o indicador gráfico, se a profundidade for igual a ou maior do que um valor paralaxe limiar predeterminado.

O indicador gráfico pode compreender aplicar uma cor à imagem 3 D.

O método pode compreender realizar um segundo processo de detecção de pixel de borda no segundo quadro de imagem, para identificar bordas dentro do segundo quadro de imagem, determinar pixels de borda preditos no primeiro quadro de imagem de uma borda identificada e o mapa de disparidade gerado e verificar o mapa de disparidade quando a posição do pixel de borda predito e o pixel de borda detectado na primeira imagem estiverem dentro de uma predeterminada distância limiar.

Antes das etapas de detecção de pixel de borda, um processo de soma sub-harmônico pode ser aplicado a uma versão auto-correlacionada de pelo menos um do primeiro quadro de imagem e do segundo quadro de imagem, para determinar a magnitude de uma freqüência fundamental de um padrão repetitivo presente no pelo menos um quadro e os processos de detecçao de pixel de borda e as etapas de processamento de disparidade são realizados na dependência da magnitude da freqüência fundamental do pelo menos um quadro de imagem.

O mapa de disparidade pode incluir deslocamento horizontal entre os características de pixel correspondentes e o processo de detecção de borda que utiliza uma técnica de detecção de borda Sobel.

O primeiro processo de detecção de borda pode incluir a etapa de segmentação da primeira imagem dentro de uma pluralidade de blocos de pixel e determinar o número de bordas em cada bloco de pixel, em que, se o número de bordas for abaixo de um valor limiar, aquele bloco de pixel é considerado não ter bordas localizadas nele.

O valor limiar pode ser o mesmo que o número vertical de pixels do bloco de pixel.

Se o número de bordas detectadas em um bloco de pixel for acima de um segundo valor limiar, então o número de bordas naquele bloco de pixel pode ser considerado ser o segundo valor limiar.

De acordo com outro aspecto, é provido um aparelho para cortar entre uma primeira seqüência de imagem e uma segunda seqüência de imagem visível em uma tela que defina um plano de tela, em que a primeira seqüência de imagem inclui um objeto estereoscopicamente visível, perceptível por um expectador em um primeiro plano de imagem diferente ao plano de imagem e à segunda seqüência de imagem, incluindo um segundo objeto perceptível em um segundo plano de imagem diferente do primeiro plano de imagem, o objeto estereoscopicamente visível compreendendo uma primeira imagem em uma primeira posição de plano de tela e uma segunda imagem em um segunda posição de plano de tela, o aparelho compreendendo: um dispositivo de identificação operável para identificar a primeira posição de plano de tela da primeira imagem e a segunda posição de plano de tela da segunda imagem; um insersor operável para inserir dentro de um primeiro quadro pos-corte da segunda seqüência de imagem uma primeira cópia do segundo objeto, substancialmente na primeira posição de plano de tela e inserir uma segunda cópia do segundo objeto substancialmente na segunda posição de plano de tela e para inserir a primeira cópia do segundo objeto e a segunda cópia do segundo objeto dentro de um número predeterminado de quadros subsequentes, em posições na tela que são mais próximas da posição de tela requerida para ver o segundo objeto no segundo plano de imagem do que as primeira e segunda posições de plano de tela.

A mudança da posição de tela entre quadros consecutivos pode ser a mesma durante o número predeterminado de quadros.

A mudança da posição de tela pode ser menor durante um primeiro número predeterminado de quadros consecutivos, em comparação com um número predeterminado por último de quadros consecutivos.

O segundo plano de imagem pode ser o plano de tela.

As primeira e segunda posições podem ser identificadas usando-se um mapa de disparidade gerado por um processo de mapeamento de disparidade.

A seqüência de imagem pode compreender um primeiro grupo de quadros de imagem estereoscópica, visualizáveis por um olho de expectador e um segundo grupo de quadros de imagem estereoscópica visível pelo outro olho do espectador e o mapa de disparidade é gerado por um gerador de mapa de disparidade operável para: realizar um primeiro processo de detecção de pixel de borda do primeiro quadro de imagem, para identificar bordas dentro do primeiro quadro de imagem; identificar uma característica de pixel da primeira imagem das bordas detectadas; gerar um bloco de pixel incluindo a característica de pixel, realizar a correspondência de blocos em uma região de busca da segunda imagem utilizando o bloco de pixel do primeiro quadro de imagem, em que o bloco de pixel gerado pelo primeiro quadro é correlacionado com a região de investigação; e gerar um mapa de disparidade identificando um deslocamento relativo da característica de pixel do primeiro quadro de imagem de uma característica de pixel correspondente do segundo quadro de imagem.

O aparelho pode compreender um gerador de mapa de profundidade, operável para gerar pelo mapa de disparidade um mapa de profundidade provendo uma indicação de uma distância entre o plano de tela e o plano de imagem, associando-se parâmetros de profundidade previamente definidos, indicando uma profundidade do primeiro objeto estereoscopicamente visível com a posição objeto identificada pelo mapa de disparidade.

O aparelho pode compreender um dispositivo de associaçao operável para associar o primeiro objeto estereoscopicamente visível com um indicador gráfico, na dependência da profundidade do primeiro objeto estereoscopicamente visível, indicado pelo mapa de profundidade ou mapa de disparidade.

O dispositivo de associação pode ser operável para associar o primeiro objeto estereoscopicamente visível com o indicador gráfico, se a profundidade for igual a ou maior do que um valor paralaxe limiar predeterminado.

O indicador gráfico pode compreender aplicar uma cor à imagem 3D.

O aparelho pode compreender, em que o gerador é operável para realizar um segundo processo de detecção de pixel de borda no segundo quadro de imagem, para identificar bordas dentro do segundo quadro de imagem, determinar pixels de borda preditos no primeiro quadro de imagem de uma borda identificada e o mapa de disparidade gerado e verificar o mapa de disparidade quando a posição do pixel de borda predito e o pixel de borda detectado da primeira imagem estão dentro de um predeterminada distância limiar.

Antes das etapas de detecção de pixel de borda, um processo de soma sub-harmônico pode ser aplicado a uma versão auto-correlacionada de pelo menos um do primeiro quadro de imagem e do segundo quadro de imagem, para determinar a magnitude de uma freqüência fundamental de um padrão repetitivo presente no pelo menos um quadro e os processos de detecção de pixel de borda e as etapas de processamento de disparidade são realizadas na dependência da freqüência fundamental do pelo menos um quadro de imagem.

O mapa da disparidade pode incluir deslocamento horizontal entre os correspondentes características de pixels e o processo de detecção de borda utiliza uma técnica de detecção de borda Sobel.

O primeiro processo de detecção de borda pode incluir a etapa de segmentar a primeira imagem em uma pluralidade de blocos de pixel e determinar o número de bordas de cada bloco de pixel, em que se o número de bordas for abaixo de um valor limiar, aquele bloco de pixel é considerado não ter bordas localizadas nele.

O valor limiar pode ser o mesmo que o número vertical de pixels no bloco de pixel.

Vários aspectos e detalhes da presente invenção são ainda definidos nas reivindicações anexas.

BREVE DESCRIÇÃO DOS DESENHOS

Os objetivos acima e outros, detalhes e vantagens da invenção serão evidentes pela seguinte descrição detalhada de modalidades ilustrativas, que é para ser lida com relação aos desenhos acompanhantes, em que: A Figura 1 prove um diagrama esquemático ilustrando uma seqüência de vídeo 3D;

A Figura 2 provê um diagrama esquemático ilustrando um sistema para exibir a seqüência de vídeo 3D mostrada na Figura 1;

A Figura 3 provê um diagrama esquemático ilustrando como as imagens visíveis no sistema da figura 2 podem ser vistas pelo expectador;

A Figura 4 provê um diagrama esquemático ilustrando como as imagens visíveis no sistema da Figura 2 pode ser vista pelo expectador.

As Figuras 5 e 6 provêem um diagrama esquemático ilustrando uma versão de topo abaixo do monitor mostrado nas Figuras 2 e 3;

As Figuras 7a a 7d provêem diagramas esquemáticos ilustrando uma técnica para reduzir o desconforto do expectador, de acordo com uma modalidade da invenção;

A Figura 8 provê um diagrama esquemático ilustrando um exemplo da técnica mostrada nas Figuras 7a a 7d;

A Figura 9 provê um diagrama esquemático ilustrando um sistema para implementar a técnica mostrada nas Figuras 7a a 7d;

A Figura 10 provê um diagrama esquemático ilustrando um exemplo de uma imagem 2D sendo inserida dentro de uma seqüência de vídeo 3D;

A Figura 11 provê um diagrama esquemático ilustrando o posicionamento de uma imagem 2D em uma tela;

A Figura 12 provê um diagrama esquemático ilustrando como um quadro obturador esquerdo e um quadro obturador direito de uma seqüência de vídeo 3D são comparados para gerar um mapa de disparidade em uma maneira convencional.

A Figura 13 provê um diagrama esquemático ilustrando um exemplo de uma técnica aperfeiçoada para aumentar a velocidade e eficiência com que um mapa de disparidade é gerado; A Figura 14 provê um diagrama esquemático ilustrando uma unidade de mapeamento de disparidade;

A Figura 5a provê um diagrama esquemático ilustrando uma cena de uma seqüência de vídeo 3D;

A Figura 5b provê um diagrama esquemático ilustrando uma técnica para mostrar uma cena de uma seqüência de vídeo 3D;

A Figura 16 provê um diagrama esquemático ilustrando um sistema para realizar a técnica ilustrada na Figura 15b;

A Figura 17 provê um diagrama esquemático ilustrando um exemplo de um quadro obturador direito e um quadro obturador esquerdo de uma seqüência de vídeo 3D;

As Figuras 18a a 18e provêem diagramas esquemáticos ilustrando uma técnica para identificar partes dos quadros que contêm conteúdo que pode provavelmente causar serrilhado durante mapeamento de disparidade;

A Figura 19 provê um diagrama esquemático de um sistema para realizar a técnica ilustrada nas Figs. 18a a 18e, e

A Figura 20 provê um fluxograma ilustrando processos de acordo com as modalidades da invenção.

DESCRIÇÃO DETALHADA DAS MODALIDADES EXEMPLOS

Há um número de técnicas para prover imagens estereoscópicas (isto é, 3D) em uma seqüência de vídeo. Por exemplo, um expectador pode usar um par de óculos em que uma lente compreende um filtro óptico, que somente permite que luz polarizada em uma direção passe sem interrupção e a outra lente compreende um filtro óptico que somente permite que luz polarizada na outra direção passe sem interrupção. O expectador então visualiza uma seqüência de vídeo em que as imagens 3D são geradas exibindo-se primeira e segunda imagens, cada imagem exibida com luz de uma diferente polaridade. Isto assegura que somente uma imagem seja vista por cada um dos olhos do expectador. Em um cinema isto pode ser conseguido utilizando-se dois projetores separados para projetarem duas versões da seqüência de vídeo na pela de cinema, cada diferente versão sendo passada através de um diferente filtro de polarização. Nas televisões e monitores de computador, esta técnica pode ser conseguida provendo-se um monitor interlaçado adaptado, em que os pixels de linha par emitem luz polarizada na primeira direção e os pixels de linha ímpar emitem luz polarizada na segunda direção. A primeira imagem é exibida usando-se os pixels de linha ímpar e a segunda imagem é exibida usando-se os pixels de linha par.

Outros exemplos incluem monitores baseados em lente lenticular, que incluem uma formação de lentes lenticulares verticais, que são arranjadas para projetar as duas diferentes imagens, que compreendem uma imagem 3D em diferentes ângulos de exibição. Igualando-se os ângulos de exibição para a separação entre os olhos do expectador, ver-se-ão diferentes imagens através de cada olho.

Em outro exemplo, um sistema de lenta obturadora é usado. Um expectador é provido com um par de "óculos obturadores". O óculo obturador compreende um arranjo de óculos padrão, exceto que, onde um par de lentes ópticas são convenientemente localizadas, em vez disso é um par de obturadores que são capazes de abertura e fechamento muito rápidos, para permitir ou restringir a transmissão de luz. Cada obturador é tipicamente implementado usando-se uma lente de exibição de cristal líquido, que possa ser tornada opaca pela aplicação de uma voltagem adequada. Os óculos obturadores são sincronizados com um monitor. O monitor mostra uma seqüência de "quadros obturadores esquerdos" e "quadros obturadores direitos". Durante um quadro de vídeo há um completo ciclo de um quadro obturador esquerdo e um quadro obturador direito. Quando um "quadro obturador esquerdo" é mostrado, um obturador da lente direita dos óculos obturadores e fecha e o expectador vê a tela somente através de seu olho esquerdo. Quando um "quadro obturador direito" é mostrado, um obturador da lente esquerda dos óculos obturadores fecha e o expectador vê a tela somente através de seu olho direito. Por conseguinte, a seqüência dos quadros obturadores esquerdos e quadros obturadores direitos pode ser usada para permitir que o usuário veja diferentes imagens através de cada olho.

Os métodos e sistemas explicados na seguinte descrição são descritos principalmente em termos de um sistema de lentes obturadoras. Entretanto, observamos que os sistemas e métodos descritos aqui podem ser implementados usando-se qualquer um dos sistemas de vídeo estereoscópicos acima mencionados. Especificamente, todos os sistemas de vídeo estereoscópicos incluem em alguma extensão a concepção de um "quadro esquerdo", que é visto somente pelo olho esquerdo e um quadro direito que é somente visto pelo olho direito.

A Figura 1 provê um diagrama esquemático ilustrando uma seqüência de vídeo 3D 101, compreendendo um número de quadros de vídeo 3D. Cada quadro de vídeo 3D 103 compreende um quadro obturador esquerdo 102 e um quadro direito 104. Como pode ser visto pela Figura 1, os quadros obturadores esquerdos e os quadros obturadores direitos são arranjados alternativamente.

A Figura 2 mostra um monitor 201, por exemplo, uma televisão convencional, que é conectada a uma fonte de vídeo 3D 202, em que é armazenada a seqüência de vídeo 3D mostrada na Figura 1. A seqüência de vídeo 3D armazenada na fonte de vídeo 3D 202 é introduzida no monitor 201 e cada quadro de vídeo 3D da seqüência de vídeo 3D é seqüencialmente exibida no monitor 201. Um expectador 203 é mostrado vestindo um par de par de óculos obturadores 204. Os óculos obturadores 204 são sincronizados com a saída da seqüência de vídeo 3D da armazenagem de vídeo 3D 202 por meio de uma conexao 205. A conexão 205 pode em alguns exemplos ser uma conexão sem fio ou em outros exemplo ser uma conexão física. Os óculos obturadores 204 são sincronizados com a saída da seqüência de vídeo 3D da fonte de vídeo 3D 202 pelo fato de que, quando o monitor 201 exibe um quadro obturador esquerdo o quadro direito 204b dos óculos obturadores 204 são fechados a fim de substancialmente evitar que qualquer luz passe através do obturador direito 204b. O efeito disto é que o expectador 203 somente vê o monitor 201 com seu olho esquerdo. Por conseguinte, uma primeira imagem 206 mostrada no quadro obturador esquerdo da seqüência de vídeo 3D é vista pelo expectador somente através de seu olho esquerdo. Após o quadro obturador esquerdo ter sido exibido, o subsequente quadro obturador direito da seqüência de vídeo 3D é exibido. A sincronização entre os óculos obturadores 204 e a fonte de vídeo 3D 202 é de modo que, quando o quadro obturador direito é exibido, o obturador esquerdo 204a dos óculos obturadores 204 é fechado, de modo que o expectador 203 vê o monitor 201 através de seu olho direito somente. Quando o quadro obturador direito é exibido, uma segunda imagem 207 é exibida, que corresponde à primeira imagem 206 mostrada no quadro obturador esquerdo, entretanto a segunda imagem 207 é horizontalmente deslocada em relação à posição da primeira imagem 206. Como será observado, os quadros são exibidos para o expectador 203 em uma tal velocidade que o expectador não pode detectar que imagens alternadas 206, 207 estão sendo visíveis. Em vez disso, o expectador percebe as duas imagens 206, 207 como uma única imagem, que tem algum grau de três "profundidades" dimensionais. Isto é explicado ainda com referência à Figura 3.

A Fig. 3 mostra um diagrama esquemático ilustrando o sistema como mostrado na Figura 2, exceto mostrando como as imagens do monitor 201 são vistas pelo expectador 203. O expectador 203 vê a primeira imagem 206 através de seu olho esquerdo, via a abertura e fechamento seqüenciais do obturador esquerdo dos óculos obturadores 204 e vê a segunda imagem 207 através de seu olho direito, via o obturador direito dos óculos obturadores 204, abrindo e fechando seqüencialmente. O cérebro humano reconciliará esta informação do monitor percebendo que há uma imagem 3D 208, que é posicionada a uma distância em frente do monitor 201. As imagens 3D, posicionadas em frente de um monitor desta maneira são ditas terem tido um paralaxe "negativo".

Como será observado, esta técnica pode também ser usada para dar a um expectador a impressão de que uma imagem 3D está posicionada atrás da tela. Isto é mostrada na Figura 4. A Figura 4 mostra um diagrama esquemático ilustrando uma primeira imagem 401, que um expectador 203 vê através de seu olho direito e uma segunda imagem 402 que um expectador vê através de seu olho esquerdo. Como pode ser visto pela Figura 4, isto dá ao expectador 203 a impressão de que uma imagem 3D 403 está posicionada atrás da tela 201.

Redução de desconforto devido ao corte das imagens percebidas em um plano de imagem a imagens percebidas para ficarem em um segundo, diferente plano de imagem (tal como 2D)

Nas seqüências de vídeo visíveis para um expectador como ilustrado nas Figuras 2 a 4, pode surgir um problema devido à seqüência de vídeo 3D cortando abruptamente a exibição de uma imagem 3D (isto é, uma imagem gerada mostrando uma primeira imagem para o olho direito do expectador e uma segunda imagem horizontalmente deslocada para o olho esquerdo do expectador) a uma imagem em um diferente plano (por exemplo, imagem 2D, exibida na tela, que o expectador vê através de ambos os olhos ou uma imagem tendo um diferente efeito 3D). Esta concepção é ilustrada com referência à Figura 5 e Figura 6. A Figura 5 mostra um diagrama esquemático ilustrando uma versão de topo abaixo do monitor 201 mostrado na Figura 2 e Figura 3, mostrando a primeira imagem 206 e a segunda imagem 207, que são vistas respectivamente pelo olho direito do expectador 501 e o olho esquerdo do expectador 502 que, desse modo, fazem com que o expectador perceba a imagem 3D 208.

A Figura 6 mostra uma vista de cima para baixo de topo do monitor 201, como na Figura 5, exceto que desta vez um subsequente quadro da seqüência de vídeo 3D é mostrado, por meio do que a imagem 3D 208 foi substituída, neste exemplo, por uma imagem 2D 601, que o expectador vê com ambos os olhos. Como pode ser visto comparando-se a Figura 6 coma Figura 5, quando o monitor 201 abruptamente muda da exibição da imagem 3D 208 para exibição da imagem 2D 601, a direção dos olhos do expectador tem que abruptamente mudar para focalizar na imagem 2D 601. Se uma seqüência de vídeo 3D incluir um número de cortes abruptos entre a exibição de ima imagem 3D para exibição de uma imagem 2D e vice-versa, o fato de um expectador ter que rapidamente mudar a direção em que seus olhos estão apontando pode resultar em significativo desconforto.

As Figuras 7a a 7d provêem diagramas esquemáticos ilustrando uma técnica para reduzir o desconforto do expectador, de acordo com uma modalidade da invenção.

A Figura 7a mostra duas imagens 206, 207, providas por uma seqüência de quadros de seqüência de vídeo 3D, que um expectador percebe como uma imagem 3D 208, exibida durante o quadro obturador esquerdo e a imagem 207 é exibida durante o quadro obturador direito. A Figura 7B mostra o próximo quadro de vídeo da seqüência de vídeo 3 D, em que há um corte da imagem de vídeo 3D 108 a uma imagem 2D 601. Entretanto, como pode ser visto pela Figura 7b, duas cópias da imagem 2D 601 são providas na tela 201, uma primeira cópia 601 e uma segunda cópia 601b. As primeira e segunda cópias das duas imagens dimensionais são em posições que correspondem à posição da primeira imagem 206 e segunda imagem 207, que compreendem a imagem 3D 208. A Figura 7c mostra um próximo quadro da seqüência de vídeo que mostra a primeira cópia da imagem 2D 601a e a segunda cópia da imagem 2D 601b convergindo entre si. A Figura 7d mostra um quadro da seqüência de vídeo 3D após aquele mostrado na Figura 7c, em que as primeira e segunda cópias da imagem 2D convergiram em um único ponto da tela 201, provendo uma única representação da imagem 2D 601. Este único ponto corresponde à posição em que a imagem 2D é para ser exibida ao expectador do plano de imagem.

Portanto, durante um curto período de tempo, a imagem 2D é exibida estereoscopicamente (assim terá um ligeiro efeito 3D). Quando a imagem 2D gradualmente converge na tela em direção ao ponto único, o efeito 3D diminuirá até em, em direção ou no ponto único, a imagem tornar- se quase 2D ou exatamente 2D. De fato, é possível, quando quase (ou na realidade) totalmente convergida mudar os óculos obturadores, assim tornando ambas as lentes dos óculos transparentes. Neste ponto, a única imagem 2D pode então ser exibida. Seria possível exibir apenas a imagem 2D exatamente antes de haver total convergência, porque a transição do olho não seria assim tão grande.

Como será entendido, empregando-se esta técnica em vez de o expectador ser forçado a abruptamente mudar a direção de seus olhos de duas imagens deslocadas para uma única imagem, os olhos do expectador são mais gradualmente guiado para o ponto eventual em que a imagem 2D é para ser exibida. Esta técnica pode ser aplicada sobre um pequeno número de quadros, por exemplo 12, de modo que a convergência das duas cópias da imagem 2D no ponto único do monitor 201 é de reduzida perceptibilidade para o expectador. De fato, na realidade, o número de quadros que seriam imperceptíveis ao usuário seria mais elevado do que 12, visto que é difícil para o expectador perceber uma imagem 2D no espaço 3D. Além disso, a convergência da 2D ao único ponto pode ser controlada para ser imperceptível ou perceptível ao expectador. Tornando-se a transição perceptível ao usuário, um efeito de edição útil pode ser conseguido. De fato, a transição pode ser feita através de qualquer número de quadros que reduz o efeito sobre o expectador de seus olhos movendo-se da visualização de uma imagem 3D para uma imagem 2D. Assim, no caso da transição ser imperceptível ao expectador, embora o expectador não perceba que por um curto período de tempo a imagem 2D foi exibida estereoscopicamente no monitor (e desta maneira, portanto, não percebe a imagem 2D tendo um efeito 3D), seus olhos contudo serão guiados gradualmente para a posição da imagem 2D no monitor 201.

A Figura 8 mostra um diagrama esquemático ilustrando um exemplo desta técnica. A Figura 8 mostra o monitor 201 mostrado nas Figuras 2 e 3. Como pode ser visto pela Figura 8, em t = 0, o expectador percebe a imagem 3D 208 na tela 201. Em t = 1, duas cópias de uma imagem 2D 801a, 801b são visíveis na tela 201 nas posições formalmente ocupadas pela primeira imagem e segunda imagem 207. Isto tem o efeito do objeto 2D aparecer no espaço 3D por um curto período. No tempo 6 = 2, as duas cópias da imagem 2D 801a e 801b podem ser vistas convergirem em direção a um único ponto no monitor 201. Isto faz a posição do objeto 2D aparecer mais próximo da tela. No t=3, uma única imagem 2D 801 é exibida no ponto em que as duas cópias da imagem 2D convergem.

A taxa em que a imagem converge para ser uma imagem 2D pode ser controlada. Por exemplo, a convergência das imagens durante a transição pode ser constante (isto é, a taxa em que as imagens 2D convergem é constante). Alternativamente, a convergência das imagens no início da transição pode ser mais rápida do que no final da transição (isto é, a velocidade em que as imagens 2D convergem no início da transição é maior do que no final da transição). Alternativamente, a convergência das imagens no final da transição pode ser mais rápida do que no início da transição (isto é, a velocidade em que as imagens 2D convergem no fim da transição é maior do que no início da transição). Isto pode ser vantajoso, especialmente onde a transição é perceptível, porque isto pode produzir uma ferramenta de edição útil. Entretanto, mesmo no caso de transições imperceptíveis, tendo-se diferentes velocidades de transição, pode-se ainda reduzir os efeitos adversos sobre os olhos do expectador. Por exemplo, onde os olhos do expectador estiverem mais divergidos (isto é, no início da transição), pode ser útil começar uma lenta transição. Isto terá menos impacto sobre os olhos do expectador, quando eles estiverem em sua posição menos natural. Entretanto, quando os olhos do expectador tornarem-se menos divergidos durante a transição, a velocidade de convergência pode aumentar quando o impacto sobre os olhos do expectador for menor.

Além disso, embora o acima descreva o número de quadros como sendo uma influência sobre a perceptibilidade da transição, outras influências também existem. Por exemplo, a profundidade percebida do objeto quando movendo-se do plano 3D para o plano 2D pode também influenciar a perceptibilidade da transição.

A Figura 9 mostra um diagrama esquemático ilustrando um sistema para implementar a técnica mostrada nas Figuras 7a a 7d e na Figura 8. O sistema mostrado na Figura 9 pode ser implementado como parte de um conjunto de edição de vídeo, tais como aqueles conhecidos na arte, que são usados para editar teor de vídeo vivo ou pré-gravado.

A Figura 9 inclui uma unidade de edição 91 para realizar funções de edição de vídeo convencionais, tais como editar juntos diferentes quadros de vídeo, para produzir uma seqüência de vídeo de saída e para aplicar vários efeitos a uma seqüência de vídeo. A unidade editar 91 pode ser controlada por um usuário usando um controle de usuário 95. Uma fonte de seqüência de vídeo 92, tal como uma alimentação viva de câmeras de televisão ou uma seqüência de vídeo sendo lida de alguma forma do meio de armazenagem é remetida para a unidade de edição 91. No exemplo mostrado na Figura 9, a seqüência de vídeo da fonte de vídeo 92 é uma seqüência de vídeo 3D. A unidade de edição 91 também recebe conteúdo de vídeo de uma segundo flange vertical 94. Em alguns exemplos este pode ser conteúdo gerado por computador, em particular conteúdo gerado por computador 2D, tal como logos e/ou informação suplementar a ser inserida dentro de uma seqüência de vídeo. O sistema inclui uma unidade de mapeamento de disparidade 93, dentro da qual a seqüência de vídeo 3D da fonte de vídeo 92 é também introduzida. A unidade de mapeamento de disparidade 93 é arranjada para comparar quadros obturadores esquerdos e quadros obturadores direitos da seqüência de vídeo 3D, para determinar uma disparidade entre as imagens visíveis ali. Por exemplo, com referência à Figura 2, pode ser visto que um quadro obturador esquerdo e quadro obturador direito de uma seqüência de vídeo 3D exibe substancialmente a mesma imagem, exceto que estas imagens são deslocadas horizontalmente entre si. A unidade de mapeamento de disparidade 93 é disposta para detectar este deslocamento horizontal (isto é, disparidade) e passar esta informação para a unidade de edição 91. A disparidade é o número de diferença pixels entre os pixels correspondentes das imagens esquerda e direita. O mapa de disparidade pode ser usado para gerar uma profundidade que mapeia a disparidade em qualquer ponto a um ponto no espaço real utilizando-se parâmetros de câmera. Por conseguinte, utilizando-se a informação de mapeamento de disparidade provida pela unidade de mapeamento de disparidade 93, a unidade de edição pode manter o rastro da posição da imagem no quadro obturador esquerdo e a posição da imagem no quadro obturador direito, que se combinam para produzir a imagem 3D. A informação de mapeamento de disparidade pode ser metadados estereoscópicos providos na forma de sinal. Esta informação de mapeamento pode ser produzida por uma câmera capturando a imagem. Os metadados estereoscópicos podem ser armazenados em associação com as imagens capturadas. Esta informação de mapeamento de disparidade permite que a unidade de edição insira as duas cópias da imagem 2D em posições que correspondem às posições das primeira e segunda imagens previamente visíveis, a fim de realizar a técnica descrita acima. A função do gerador do mapa de disparidade é explicada mais detalhadamente abaixo.

Deve ser observado aqui que o precedente foi descrito com referência ao corte 3D a 2D. Entretanto, a invenção não é assim limitada. Nas modalidades da presente invenção, esta técnica de transferência pode ser igualmente aplicada a transições 3D para 3D. Por exemplo, se houver um corte de um pedaço de comprimento total 3D, onde um objeto é visualizado em frente da tela, para um pedaço de comprimento 3D, onde um objeto é visualizado atrás da tela, o desconforto pode ainda existir. Portanto, a técnica de transferência descrita acima é útil para qualquer situação onde o objeto é movido de ser visualizado em um plano de imagem para outro plano de imagem diferente.

Inserção de Objeto de Imagem 2D

Em algumas situações, pode ser desejável inserir uma imagem 2D de um objeto (isto é, um objeto de imagem) em uma seqüência de vídeo 3D. Por exemplo, se mostrando um evento esportivo vivo como um evento de corrida de carro, pode ser desejável inserir gráficos gerados por computador dentro de um pedaço de comprimento de vídeo 3D, mostrando os carros de corrida, para prover o expectador com mais informações referentes à corrida de automóveis. Tais informações podem ser uma legenda ou um subtítulo ou, na realidade, um número como na Figura 10. A Figura 10 mostra um diagrama esquemático ilustrando um exemplo de uma imagem 2D sendo inserida dentro de uma seqüência de vídeo 3D.

Como pode ser visto pela Figura 10, a primeira imagem 206 é mostrada para um olho esquerdo do expectador e a segunda imagem 207 é mostrada para o olho direito do expectador, formando uma imagem 3D 208, que neste exemplo é um carro de corrida. A Figura 10 mostra a inserção de uma imagem 2D, tal como um gráfico gerado por computador, tal como um número. Embora este número seja suplementado para a imagem 3D e deste modo seja inserido na tela 201 em uma posição que é diferente da primeira e segunda imagens, o posicionamento da imagem 2D 10 entre a primeira imagem 206 e a segunda imagem 207, pode conduzir à ruptura da ilusão de profundidade da imagem 3D 208. Isto é mostrado mais claramente na Figura 11, que provê um diagrama esquemático ilustrando o posicionamento da imagem 2D 110 na tela 201 em uma posição entre a primeira imagem 206 e a segunda imagem 207. O expectador pode ver a imagem 2D 110 através de ambos os olhos esquerdo e direito, porém este posicionamento não faz sentido da perspectiva do expectador, visto que está atrás de uma posição em que o expectador percebe que a imagem 3D 208 está posicionada em frente da tela.

A fim de tratar do problema, a imagem 2D deve ser inserida na tela em um local mais apropriado. Especificamente, o local não deve ser afetado pela ilusão 3D ou deve ser colocado na tela em uma posição que seria em frente do objeto que na ilusão 3D está mais próximo do expectador. A fim de determinar esta informação, o mapa de disparidade é usado.

Esta técnica de identificar áreas onde a imagem 2D pode ser inserida é implementada pelo sistema mostrado na Figura 9, utilizando-se a informação da unidade de mapeamento de disparidade 93, para determinar as posições relativas das primeira e segunda imagens que vão compor a imagem 3D dos quadros da seqüência de vídeo 3D, enquanto inserindo o conteúdo gerado por computador 2D da segunda fonte de vídeo 94, utilizando-se a unidade de edição 91.

Além disso, para conteúdo vivo, não pode ser garantido que uma posição anteriormente 'segura' na tela ou no espaço 3D permanecerá assim. Por exemplo, alguém pode caminhar em frente da câmera ou correr em direção à câmera. Nestes casos é desejável remover automaticamente os gráficos quando o objeto se move em frente deles, ou remover a parte dos gráficos que está sendo ocluída pelo objeto. No primeiro caso, é possível obter-se esta informação do mapa de disparidade como determinado nas modalidades da presente invenção. Entretanto, no segundo caso, seria necessário gerar um mapa de disparidade denso, tendo informação de profundidade para cada pixel. Um tal mapa pode ser gerado usando-se qualquer técnica conhecida, tal como aquele explicada com referência à Figura 12, como seria observado pela pessoa hábil.

Geração do Mapa de Disparidade

A Figura 12 provê um diagrama esquemático ilustrando uma técnica convencional de gerar um mapa de disparidade comparando-se um quadro obturador esquerdo 141 e um quadro obturador direito 142 da seqüência de vídeo 3D. O quadro obturador direito 141 e o quadro obturador esquerdo 142 são alinhados e então, pixel por pixel, cada ponto de cada quadro é comparado com pontos correspondentes do outro quadro, para identificar o deslocamento horizontal dos pixels (isto é, disparidade) entre os quadros. Esta informação pode então ser representada por meio de gráfico em um mapa bidimensional 143, que mostra graficamente regiões onde os pixels de um quadro são horizontalmente deslocados de pixels do outro quadro. Em alguns exemplos, áreas mais escuras do mapa bidimensional podem ser usadas para indicar um maior nível de disparidade.

Utilizando-se esta técnica convencional cada linha 145 do quadro obturador direito é comparado com a correspondente linha 146 do quadro obturador esquerdo em uma base de pixel por pixel, para determinar a disparidade de pontos naquela linha. Em razão de isto ser feito em uma base de pixel por pixel, embora gerando um mapa de disparidade muito detalhado 143, é computacionalmente muito intenso e pode tomar muito tempo. Para imagens de alta definição, que podem compor os quadros de uma seqüência de vídeo 3D, pode ser imprático gerar um mapa de disparidade em tempo real ou próximo do tempo real. A Figura 13 provê um diagrama esquemático ilustrando um exemplo de uma técnica aperfeiçoada para aumentar a velocidade e eficiência com que um mapa de disparidade de uma seqüência de vídeo é gerada.

Primeiramente, um quadro obturador esquerdo 151 sofre um processo de detecção de borda. Entretanto, igualmente, um quadro obturador direito pode ser usado em vez disso para processamento de detecção de borda. Este processo de detecção de borda pode ser realizado utilizando-se algoritmos de detecção de borda convencionais, tais como um processo de detecção de borda Sobel. Na realidade, é útil utilizar-se a técnica de detecção de borda Sobel visto que somente bordas verticais são detectadas nas imagens. As bordas verticais são detectadas porque, nas modalidades, somente disparidade horizontal é determinada. Portanto, detectando-se somente bordas verticais, o número de detalhes chave candidatos é reduzido. Isto reduz a despesa computacional. Entretanto, a invenção não é assim limitada e outros processos de detecção de borda são considerados, como o é a detecção de bordas em qualquer direção. Após a detecção de borda ter sido realizada, uma imagem de detecção de borda 153, mostrando os pixels de borda detectados do quadro obturador esquerdo, é gerado. Como pode ser visto, a primeira imagem 153 contém um número de pixels de borda supérfluo 155, 156, que não correspondem ao objeto principal 157 do quadro obturador esquerdo da seqüência de vídeo 3D.

Portanto, um segundo estágio de detecção de borda é realizado, por meio do qual a primeira imagem 153 é decomposta em menores blocos de pixel, por exemplo, blocos de 8 por 8 pixels ou blocos de 16 por 16 pixels (ou na realidade qualquer tamanho de blocos de pixel) e o número de pixels de borda presentes nestes blocos é presumido não conter pixels de borda. Na modalidade, o limiar do bloco é o mesmo que a largura e altura do bloco. Isto é porque uma linha vertical que atravessa o bloco terá pelo menos aquele número de pixels. Entretanto, a invenção não é limitada deste modo e qualquer valor limiar é antecipado, tal como 5. Por conseguinte, os pixels de borda supérfluos que surgem devido a objetos dos quadros de fundo, que não são relevantes para gerar mapa de disparidade, tendem a ser excluídos. Em algumas situações pode haver muitos pixels de borda em uma bloco de pixel.

Por esta razão, um número máximo de pixels de borda pode ser estabelecido, por exemplo, 12 e, se o número de pixels de borda de um bloco de pixel exceder este valor, então um número de pixels de borda predefinido daquela bloco são aleatoriamente pegos, por exemplo 8, e estes pixels de borda são presumidos serem os pixels de borda daquela bloco. Esta é uma maneira conveniente de aumentar a velocidade desta técnica.

Após o segundo estágio de detecção de pixel de borda, um ou mais detalhes chave são selecionados. O detalhe chave é um pixel retirado das bordas detectadas dos blocos de pixel. A seleção é, em modalidades, uma seleção aleatória dos pixels de borda contidos no bloco de pixel que é presumido conter pixels de borda, embora outras seleções não-aleatórias são possíveis. Alternativamente, cada pixel de borda do bloco de pixel poder ser um detalhe chave. Após seleção do detalhe chave de cada bloco de pixel, um segundo bloco, em que o detalhe chave é localizado no quadro obturador esquerdo, é gerado. Este outro bloco é, por exemplo, de 16 pixels por 16 pixels e é centrado na característica de pixel chave. E considerado que o outro bloco pode ser de qualquer tamanho. Isto significa que os características de pixel chave na imagem direita são selecionados dos blocos de pixels tendo pixels detectados na borda.

No quadro obturador direito (onde o quadro obturador esquerdo teve processamento de detecção de borda nele), uma área de investigação é determinada. Esta área de investigação tem o pixel chave em seu centro e é tipicamente de 201 pixels de largura e 11 pixels de altura. Em outras palavras, o ponto de partida para a área de investigação na imagem direita está na posição do pixel do detalhe chave da imagem esquerda. Deve ser observado aqui que área de investigação de qualquer tamanho pode ser usada e que o tamanho da área de investigação depende do paralaxe horizontal e vertical máximo esperado entre o quadro obturador esquerdo e o quadro obturador direito. Uma área de investigação com a largura de 201 pixels permite que um paralaxe horizontal na faixa de -100 pixels a +100 pixels e uma área de investigação elevada de 11 pixels permite um paralaxe vertical na faixa de -5 pixels a + 5 pixels. Se a faixa de paralaxes esperados for conhecida, então o tamanho da área de investigação pode ser ajustado correspondentemente. O bloco de 16 por 16 do quadro obturador esquerdo é então 'igualado' com a área de investigação do quadro obturador direito, comparando-se o bloco de 16 por 16 com cada posição de pixel da área de investigação, usando-se uma técnica de igualação de bloco convencional. A comparação é feita correlacionando-se o bloco exemplo com todos os blocos de investigação da área de investigação. O bloco de investigação com a mais elevada correlação torna-se a melhor igualação. Os valores de disparidade verticais e horizontais são calculados comparando-se as posições de característica de pixel chave do quadro obturador esquerdo com a melhor posição de pixel de igualação do quadro obturador direito. Após o bloco de investigação para uma característica de pixel chave ser determinado, o processo é repetido para todos os características de pixel chave.

E útil calcular o paralaxe tanto horizontal como vertical, porque esta técnica é robusta para equipamentos de câmara 3D, que não são corretamente alinhados na direção vertical. Além disso, determinando-se o paralaxe vertical, é possível corrigir tais erros.

Como será observado, somente usando-se os pixels de borda no processo de mapeamento da disparidade para gerar os detalhes chave, um mapa de disparidade é gerado muito mais rápida e eficientemente do que de outro modo teria sido o caso se um mapa de disparidade fosse gerado em uma base de pixel por pixel para o quadro obturador esquerdo 151 e quadro obturador direito 152 da seqüência de vídeo 3D, sem qualquer outro processamento.

Esta técnica pode ser ainda aperfeiçoada para assegurar que o número de erros das estimativas de disparidade seja reduzido. A fim de validar o resultado da disparidade, uma vez a igualação do bloco tenha ocorrido, a detecção de borda na imagem direita ocorre. Quando as posições das bordas da imagem direita tenham sido determinadas e a disparidade calculada, é possível identificar que posições de pixel dentro da imagem direita devem ser pixels de borda. Uma comparação é então feita entre onde os pixels de borda da imagem direita devem ser localizados (se a disparidade estiver correta) e se há um pixel de borda localizado naquela posição de pixel da imagem direita. O resultado da disparidade é validado se o melhor pixel de igualação da imagem direita for localizado na ou próximo de uma borda da imagem direita. O termo "próximo" pode significar dentro de um pixel, embora qualquer número de pixels possa ser considerado.

A Figura 14 mostra um diagrama esquemático ilustrando uma unidade de mapeamento de disparidade, por exemplo, como a mostrada na Figura 9, que pode ser disposta para implementar o método ilustrado na Figura 13.

A Figura 14 mostra uma unidade de mapeamento de disparidade 1601, que inclui uma memória intermediária 1602 e uma unidade de detecção de borda 1603 e um gerador de mapa de disparidade 1604. Um primeiro quadro de seqüência de vídeo 3D é introduzido na memória intermediária 1602, que é então passado para a unidade de detecção de borda 1603, que realiza os processo de detecção de borda mostrados na Figura 15. A informação de detecção de borda é então passada para um gerador de mapa de disparidade 1604, onde a disparidade é determinada. O gerador de mapa de disparidade 1604 emite o mapa de disparidade como metadados.

Detecção de Orçamento de Profundidade Como será observado com referência à Figura 3, uma imagem 3D pode ser arranjada em um monitor, a fim de parecer estar em uma posição em frente daquele monitor. Além disso, quanto mais longe uma imagem 3D estiver da tela e quanto mais próximo a imagem 3D do expectador, maior o deslocamento horizontal (isto é, disparidade) entre as duas imagens que compõem a imagem 3 D. Portanto, a fim de dar a impressão de que uma imagem 3D está muito próxima do expectador, é necessário terem-se duas imagens que compõem a imagem 3D muito afastadas entre si. Como será observado, se a distância entre as duas imagens que compões a imagem 3 D for demasiado grande, isto tornará inconfortável ou impossível para um expectador harmonizar, visto que, após um certo ponto, um expectador será incapaz de simultaneamente dirigir seus olhos em duas imagens que são substancialmente deslocadas entre si. Portanto, um "orçamento de profundidade" pode ser estabelecido que defina um paralaxe negativo ou positivo máximo que uma imagem 3D pode ter antes de ser julgada tornar-se demasiado desconfortável para um expectador ver a imagem 3D. Quer ou não uma imagem 3 D exceda esta profundidade, o orçamento é informação que será útil para um editor compilando uma seqüência de vídeo 3D. As Figuras 15a e 15b ilustram uma técnica para produzir esta informação disponível para um editor de seqüência de vídeo 3 D.

Em um exemplo, uma técnica é provida para clara e convenientemente indicar para um expectador, por exemplo, um usuário que está editando o comprimento de vídeo 3D, que as imagens tridimensionais estão posicionadas em um paralaxe negativo, que está próximo do ou excede o orçamento de profundidade. A Figura 15a mostra um diagrama esquemático ilustrando uma cena 171a de uma seqüência de vídeo 3D contendo uma primeira imagem 172a, que tem um paralaxe negativo muito

elevado, uma segunda imagem 173 a que tem um paralaxe médio negativo e uma terceira imagem 174a que tem paralaxe negativo desprezível. De acordo com esta técnica, as imagens 3D, que são visíveis em um quadro de seqüência de vídeo 3D, que estão na ou excedem o orçamento de profundidade, recebem uma cor para indicar a um editor de seqüência de vídeo 3D que aquela imagem 3D particular excedeu o orçamento de profundidade. A Figura 15b mostra um diagrama esquemático ilustrando uma segunda cena 171b de uma seqüência de vídeo 3 D em que as várias imagens 3D tenham sido coloridas para indicar seu paralaxe relativo em relação ao orçamento de profundidade. Em particular, foi atribuída à primeira imagem 3D 172b uma cor escura, para indicar que ela está na ou excedeu o orçamento de profundidade 173b. Uma segunda imagem recebe uma cor escuro médio para indicar que ela está próximo de exceder o orçamento de profundidade 3D e uma terceira imagem 3D 174b recebe uma cor clara para indicar que ela não excede o orçamento de profundidade.

Como será observado, diferentes técnicas poderiam ser usadas para indicar quão próximo um objeto 3D está de exceder o orçamento de profundidade. Por exemplo, se um objeto 3D estiver dentro de 10% do paralaxe positivo máximo permitido pelo orçamento de profundidade, o objeto 3D poderia receber uma cor vermelho claro. Se um objeto 3D estiver em um paralaxe positivo, que está na ou excede o orçamento de profundidade, ele poderia receber uma cor vermelho brilhante.

A Figura 16 mostra um diagrama esquemático ilustrando um sistema para realizar a técnica ilustrada na Figura 15b. Como pode ser visto pela Figura 16, o sistema compreende as mesmas partes que o sistema mostrado na Figura 9, portanto, partes iguais não serão explicadas novamente. Entretanto, o sistema mostrado na Figura 16 inclui como unidade de mapeamento de profundidade 181 e uma unidade de mapeamento de profundidade 182.

Como descrito acima, a unidade de mapeamento de disparidade 93 provê um mapa de disparidade que indica o deslocamento horizontal entre imagens do quadro obturador esquerdo e do quadro obturador direito da seqüência de vídeo 3D. Do mapa de disparidade é possível determinar se o paralaxe positivo ou negativo está presente. Isto é porque, quando o mapa de profundidade é criado, é possível determinar se ou não o pixel da imagem esquerda esta localizado na esquerda ou direita do mesmo pixel da imagem direita. Se o pixel for para a direita, então há paralaxe negativo. Entretanto, se o pixel for para a esquerda, então há paralaxe positivo. Portanto, o sistema da Figura 16 inclui a unidade de mapeamento de profundidade 181, que obtém o mapa de disparidade da unidade de disparidade 93 e aplica a estes parâmetros de profundidade providos pela unidade de parâmetro de profundidade 182. Os parâmetros de profundidade provêem outra fonte de informação indicando a profundidade relativa dos objetos da seqüência de vídeo 3D. Os parâmetros de profundidade podem ser providos por numerosos diferentes meios. Por exemplo, se a seqüência de vídeo 3D tiver sido capturada por câmeras de televisão convencional, metadados associados com o comprimento focai da lente das câmeras de televisão usadas durante a captura do quadro particular pode ser usado para determinar a posição relativa da imagem 3D em questão. Esta informação pode ser armazenada como metadados na unidade de parâmetro de profundidade 182 e suprida à unidade de mapeamento de profundidade 66 como apropriado. Em outro exemplo, os parâmetros de profundidade podem ter sido gerados manualmente simplesmente por um observador vendo a seqüência de vídeo 3D e atribuindo a cada imagem 3D uma certa profundidade. Em qualquer caso, a unidade de mapeamento de profundidade 181 combina os parâmetros de profundidade providos pela unidade de parâmetro de profundidade 182 com o mapa de disparidade provido pela unidade de mapeamento de disparidade 93 para prover um mapa de profundidade completo, indicando as profundidades relativas dos objetos dentro do quadro de vídeo 3D. Esta informação é então passada para a unidade de edição 91, que então determina se as imagens 3D presentes na seqüência de vídeo 3D estão no ou excedem o orçamento de profundidade e, se assim, aplica alguma espécie de indicador gráfico ao objeto 3D relevante, como descrito acima com referência à Figura 15b. Observamos que é também possível determinar se ou não um orçamento de profundidade foi excedido simplesmente olhando-se a disparidade do mapa de disparidade.

Técnica de Redução de Introdução de Erro

Em algumas situações, quando dois quadros de uma seqüência de vídeo 3D sofre mapeamento de disparidade, o processo de mapeamento da disparidade pode ser afetado por introdução de erro entre o quadro obturador esquerdo e o quadro obturador direito. Isto é ilustrado na Figura 17.

A Figura 17 mostra um diagrama esquemático ilustrando um exemplo de um quadro obturador direito 192 e quadro obturador esquerdo 191 de uma seqüência de vídeo 3D, que mostra uma cena de uma quadra de tênis. A quadra de tênis inclui uma rede de tênis 193a, 193b. A rede de tênis 193 a, 193 b é feita de um material de rede, que é mostrado nos quadros de vídeo 191, 192 como um padrão regularmente repetitivo.

Como será observado, quando o quadro obturador direito 192 e o quadro obturador esquerdo 191 são comparados durante o mapa de disparidade, devido ao padrão repetitivo da rede, o processo de disparidade pode introduzir a mudança horizontal real entre o quadro obturador esquerdo 191 e o quadro obturador direito 192.

As Figuras 18a a 18e provêem diagramas esquemáticos ilustrando uma técnica para identificar partes de quadros que contêm conteúdo que pode provavelmente causar introdução de erro durante o mapeamento de disparidade.

Primeiramente, um dos quadros é autocorrelacionado usando- se técnicas de autocorrelação de imagem conhecidas. Esta pode utilizar um de soma Sub-harmônica da região de borda detectada ou filtragem pente da probabilidade de igualação de bloco.

Para a soma sub-harmônica, a região de interesse é detectada na borda. Cada linha de varredura na região detectada na borda é somada com versões daquela linha de varredura comprimida por um fator de 1, 2 ou 3, para identificar a estrutura "harmônica". Se a resposta desta linha de varredura for acima de um limiar, então ela é classificada como harmônica e, portanto, introdução de erro é provável ocorrer. Esta região é então excluída do cálculo de mapeamento da disparidade.

Para filtragem pente dos resultados de probabilidade de igualação de bloco, a região de interesse no quadro obturador esquerdo é igualada em bloco em relação a uma área de investigação do quadro obturador direito. Isto produz uma matriz de probabilidade de igualação de bloco, com um valor de probabilidade para cada pixel da área de investigação. Fileiras desta matriz são processadas da mesma maneira que as linhas de varredura na técnica de soma sub-harmônica. Estruturas repetidas resultarão em máximas probabilidades em pontos regulares através da fileira de matriz, que são detectadas. A matriz de probabilidade é ruidosa, o que pode produzir uma resposta positiva falsa, resultante de simplesmente somar o 'ruído' na matriz de probabilidade. Deste modo, um filtro pente é aplicado à matriz de probabilidade, que tem seus teens afastados em um dado espaçamento que se refere a uma dada freqüência espacial. A resposta nos teens tem sua média calculada e subtraída da média da resposta dos pontos equidistantes entre os teens. Subraindo-se o ruído entre os teens isto reduz a probabilidade de um positivo falso. Este processo é repetido com uma faixa de filtros pente que têm seus teens afastados em uma faixa de distâncias correspondendo a uma faixa de freqüências espaçada. Dada a faixa de respostas para uma faixa de freqüências, se qualquer uma resposta for maior do que um limiar, então a linha de varredura é classificada como harmônica.

Isto resulta em uma saída como ilustrada na Figura 18a. A Figura 18a mostra uma ilustração esquemática de um gráfico obtido através da largura do quadro. Os picos 194 indicam áreas da imagem que se autocorrelacionam, que indicam um padrão repetitivo.

0 gráfico mostrado na Figura 18a é então reduzido de tamanho produzindo-se metade do gráfico mostrado na Figura 18b. O gráfico mostrado na Figura 18b é então reduzido de tamanho por semi-produzindo o gráfico mostrado na Figura 18c. O gráfico mostrado na Figura 18c é então reduzido de tamanho semi-produzindo o gráfico mostrado na Figura 18d. Os dados dos gráficos mostrados na Figura 18a à Figura 18d são então somados para produzir o gráfico mostrado na Figura 18e.

O gráfico mostrado na Figura 18e inclui um pico 195, que corresponde à freqüência repetitiva fundamental (isto é, harmônica) do quadro que sofreu o processamento. Se o pico for acima de um nível limiar predeterminado th, então isto indica que o padrão repetitivo do quadro é suficientemente pronunciado que ele pode resultar em introdução de erro durante mapa de disparidade.

O fato de que o pico 195 é acima do nível limiar pode então ser usado para assegurar que a introdução de erro não ocorre, por exemplo, assegurando-se que a parte de um quadro em questão, que produziria introdução de erro, não sofre mapa de disparidade. Um sistema para realizar a técnica ilustrada com respeito às Figuras 18a a 18d é mostrada na Figura 19.

A Figura 19 mostra um diagrama esquemático de um sistema que corresponde àquele da Figura 9, exceto que o sistema da Figura 19 inclui uma unidade de soma sub-harmônica 210 entre a fonte de seqüência de vídeo 92 e a unidade de mapeamento de disparidade.

A unidade de soma sub-harmônica 210 é arranjada para realizar o processo de soma sub-harmônica em pelo menos um do par de quadro obturador esquerdo e direito da seqüência de vídeo 3D armazenada na fonte de seqüência de vídeo 92. Se a unidade de soma sub-harmônica 210 determinar que a freqüência de repetição fundamental do quadro em questão produz um pico acima de um nível limiar, como mostrado na Figura 18e, a unidade de soma sub-harmônica 210 é arranjada para remeter um sinal para a unidade de mapeamento de disparidade 93, para assegurar que ela não realize mapeamento de disparidade na parte do quadro em que introdução de erro é provável ocorrer.

A Fig. 20 mostra um fluxograma ilustrando um exemplo de um método de implementar a técnica de reduzir o desconforto devido ao corte das imagens 3D para as imagens 2D descritas acima, em que um corte de uma imagem 3D para uma imagem não-3D em uma seqüência de quadro de vídeo é modificada para substituir a imagem 3D pela imagem não-3D. A imagem 3D é perceptível por um expectador em um plano de imagem da seqüência de vídeo devido a uma primeira imagem da seqüência de quadro de vídeo visível por um olho esquerdo do expectador e uma segunda imagem da seqüência de quadro de vídeo, visível pelo olho direito do expectador e a primeira imagem e a segunda imagem serem deslocadas em relação entre si no plano de imagem. Na etapa S101, uma primeira posição da primeira imagem do plano de imagem é identificado. Na etapa S102, uma segunda posição da segunda imagem do plano de imagem é identificada. Após o corte da imagem 3D para a imagem não-3D na etapa S103, uma primeira cópia da imagem não-3D substancialmente na primeira posição é inserida em um primeiro quadro pós- corte da seqüência de vídeo. Na etapa S104, uma segunda cópia da imagem não-3D é inserida substancialmente na segunda posição do primeiro quadro pós-corte da seqüência de vídeo. Na etapa S105, a primeira cópia da imagem não-3D e a segunda cópia da imagem não-3D são inseridas em posições do plano de imagem de um número predeterminado de quadros subsequentes, a posição em que a primeira e segunda cópias são inseridas gradualmente convergindo em um ponto predefinido dentro do plano de imagem. Observamos que, nas modalidades da presente invenção, os elementos do método e sistemas descritos acima podem ser implementados em qualquer maneira adequada. Assim, a adaptação requerida das partes existentes de um dispositivo equivalente convencional pode ser implementada na forma de um produto de programa de computador compreendendo instruções implementáveis por processador, armazenadas em um portador de dados, tal como um disquete, disco óptico, disco rígido, PROM, RAM, memória flash ou qualquer combinação destes ou outros meios de armazenagem, ou transmitidas via sinais de dados em uma rede, tal como uma Ethernet, uma rede sem fio, a Internet ou qualquer combinação destes de outras redes, ou realizada em hardware como um ASIC (circuito integrado específico de aplicação) ou um FPGA (arranjo de circuitos programáveis em campo) ou outro circuito configurável ou indicado, adequado para uso em adaptação de dispositivo equivalente convencional.

Embora modalidades ilustrativas da invenção tenham sido descritas em detalhes aqui com referência aos desenhos anexos, deve ser entendido que a invenção não é limitada àquelas precisas modalidades e que várias mudanças e modificações podem ser realizadas nelas por uma pessoa hábil na arte, sem desvio do escopo e espírito da invenção, como definida pelas reivindicações anexas.

Claims

1. Método de corte entre uma primeira seqüência de imagem e uma segunda seqüência de imagem, visível em uma tela que define um plano de tela, em que a primeira seqüência de imagem inclui um objeto visível estereoscopicamente por um expectador em um primeiro plano de imagem diferente do plano de tela e a segunda seqüência de imagem incluindo um segundo objeto perceptível em um segundo plano de imagem diferente do primeiro plano de imagem, o objeto estereoscopicamente visível compreendendo uma primeira imagem em uma primeira posição de plano de tela e uma segunda imagem em uma segunda posição de plano de tela, dito método caracterizado pelo fato de compreender: identificar uma primeira posição de plano de tela da primeira imagem e a segunda posição de plano de tela da segunda imagem; inserir dentro de um primeiro quadro pós-corte da segunda seqüência de imagem uma primeira cópia do segundo objeto substancialmente na primeira posição de plano de tela e inserir uma segunda cópia do segundo objeto substancialmente na segunda posição de plano de tela, e inserir a primeira cópia do segundo objeto e a segunda cópia do segundo objeto dentro de um número predeterminado de quadros subsequentes em posições da tela, que são mais próximas da posição de tela requerida para ver o segundo objeto no segundo plano de imagem, do que as primeira e segunda posições de plano de tela.

2. Método de acordo com a reivindicação 1, caracterizado pelo fato de a mudança da posição de tela entre quadros consecutivos ser a mesma através dos predeterminados números de quadros.

3. Método de acordo com a reivindicação 1, caracterizado pelo fato de a mudança da posição de tela entre quadros consecutivos variar através de um número predeterminado de quadros.

4. Método de acordo com a reivindicação 3, caracterizado pelo fato de a mudança da posição de tela ser menor durante um primeiro número predeterminado de quadros consecutivos, em comparação com um último número predefinido de quadros consecutivos.

5. Método de acordo com a reivindicação 1, caracterizado pelo fato de o segundo plano de imagem ser o plano de tela.

6. Método de acordo com a reivindicação 1, caracterizado pelo fato de as primeira e segunda posições serem identificadas usando um mapa de disparidade gerada por um processo de mapeamento da disparidade.

7. Método de acordo com a reivindicação 6, caracterizado pelo fato de a seqüência de imagens compreender um primeiro grupo de quadros de imagem estereoscópica, observáveis por um olho do expectador e um segundo grupo de quadros de imagem estereoscópica visível pelo outro olho do expectador, e o mapa de disparidade sendo gerado: realizando-se um primeiro processo de detecção de pixel de borda no primeiro quadro de imagem para identificar bordas dentro do primeiro quadro de imagem; identificando-se uma característica de pixel da primeira imagem das bordas detectadas; gerando-se um bloco de pixel incluindo a característica de pixel, realizando-se correspondência de blocos em uma região de investigação da segunda imagem, usando-se o bloco de pixel do primeiro quadro de imagem, em que o bloco de pixel gerado pelo primeiro quadro é correlacionado com a região de investigação; e gerando-se um mapa de disparidade, identificando-se um deslocamento relativo da característica de pixel do primeiro quadro de imagem de um correspondente característica de pixel do segundo quadro de imagem.

8. Método de acordo com a reivindicação 7, caracterizado pelo fato de compreender gerar a partir do mapa de disparidade um mapa de profundidade provendo uma indicação de uma distância entre o plano de tela e o plano de imagem, associando-se parâmetros de profundidade previamente definidos, indicando a profundidade do primeiro objeto estereoscopicamente visível, com a posição do objeto identificada pelo mapa de disparidade.

9. Método de acordo com a reivindicação 8, caracterizado pelo fato de compreender: associar o primeiro objeto estereoscopicamente visível com um indicador gráfico, na dependência da profundidade do primeiro objeto estereoscopicamente visível, indicado pelo mapa de profundidade ou o mapa de disparidade.

10. Método de acordo com a reivindicação 8, caracterizado pelo fato de compreender associar o primeiro objeto estereoscopicamente visível com o indicador gráfico, se a profundidade for igual a ou maior do que um valor paralaxe limiar predeterminado.

11. Método de acordo com a reivindicação 9, caracterizado pelo fato de o indicador gráfico compreender aplicar uma cor à imagem 3D.

12. Método de acordo com a reivindicação 7, caracterizado pelo fato de compreender realizar um segundo processo de detecção de pixel de borda no segundo quadro de imagem, para identificar bordas dentro do segundo quadro de imagem, determinar pixels de borda preditos no primeiro quadro de imagem de uma borda identificada e do mapa de disparidade gerado e verificar o mapa de disparidade quando a posição do pixel de borda predito e o pixel de borda detectado na primeira imagem estiverem dentro de uma distância limiar predeterminada.

13. Método de acordo com a reivindicação 7, caracterizado pelo fato de, antes das etapas de detecção de pixel de borda, um processo de soma sub-harmônico ser aplicado a uma versão auto-correlacionada de pelo menos um do primeiro quadro de imagem e do segundo quadro de imagem, para determinar a magnitude de uma freqüência fundamental de um padrão repetitivo, presente no pelo menos um quadro, e os processos de detecção de pixel de borda e as etapas de processamento de disparidade serem realizados na dependência da magnitude da freqüência fundamental do pelo menos um quadro de imagem.

14. Método de acordo com a reivindicação 7, caracterizado pelo fato de o mapa de disparidade incluir deslocamento horizontal entre as características de pixel correspondentes e o processo de detecção de borda utilizar uma técnica de detecção de borda Sobel.

15. Método de acordo com a reivindicação 7, caracterizado pelo fato de o primeiro processo de detecção de borda incluir a etapa de segmentar a primeira imagem em uma pluralidade de blocos de pixel e determinar o número de bordas de cada bloco de pixel, em que, se o número de bordas for abaixo de um valor limiar, aquele bloco de pixel é considerado não ter bordas localizadas nele.

16. Método de acordo com a reivindicação 15, caracterizado pelo fato de o valor limiar ser o mesmo que o número vertical de pixels do bloco de pixel.

17. Método de acordo com a reivindicação 15, caracterizado pelo fato de, se o número de bordas detectadas em um bloco de pixel for acima de um segundo valor limiar, então o número de bordas naquele pixel de blocos ser considerado ser o segundo valor limiar.

18. Aparelho de corte entre uma primeira seqüência de imagem e uma segunda seqüência de imagem visíveis em uma tela que define um plano de tela, em que a primeira seqüência de imagem inclui um objeto estereoscopicamente visível, perceptível por um expectador em um primeiro plano de imagem diferente do plano de tela e a segunda seqüência de imagem incluir um segundo objeto perceptível em um segundo plano de imagem diferente do primeiro plano de imagem, o objeto estereoscopicamente visível compreendendo uma primeira imagem em um primeira posição de plano de tela e uma segunda imagem em uma segunda posição de plano de tela, dito aparelho caracterizado pelo fato de compreender: um dispositivo de identificação, para identificar a primeira posição de plano de tela da primeira imagem e a segunda posição de plano de tela da segunda imagem; um insersor operável para inserir dentro de um primeiro quadro pós-corte da segunda seqüência de imagem uma primeira cópia do segundo objeto substancialmente na primeira posição de plano de tela e inserir uma segunda cópia do segundo objeto substancialmente na segunda posição de plano de tela e operável para inserir a primeira cópia do segundo objeto e a segunda cópia do segundo objeto dentro de um número predeterminado de subsequentes quadros em posições na tela que são mais próximas da posição de tela requerida para ver o segundo objeto no segundo plano de imagem, do que as primeira e segunda posições de plano de tela.

19. Aparelho de acordo com a reivindicação 18, caracterizado pelo fato de a mudança da posição de tela entre quadros consecutivos ser a mesma através do número de quadros predeterminados.

20. Aparelho de acordo com a reivindicação 18, caracterizado pelo fato de a mudança da posição de tela entre quadros consecutivos variar através do número de quadros predeterminados.

21. Aparelho de acordo com a reivindicação 20, caracterizado pelo fato de a mudança da posição de tela ser menor durante um primeiro número predefinido de quadros consecutivos, em comparação com um último número predefinido de quadros consecutivos.

22. Aparelho de acordo com a reivindicação 18, caracterizado pelo fato de o segundo plano de imagem ser o plano de tela.

23. Aparelho de acordo com a reivindicação 18, caracterizado pelo fato de as primeira e segunda posições serem identificadas usando-se um mapa de disparidade gerado por um processo de mapeamento da disparidade.

24. Aparelho de acordo com a reivindicação 23, caracterizado pelo fato de a seqüência de imagem compreender um primeiro grupo de quadros de imagem estereoscópica visível por um olho do expectador e um segundo grupo de quadros de imagem estereoscópica visíveis pelo outro olho do expectador, e o mapa de disparidade ser gerado por um gerador de mapa de disparidade, operável para: realizar um primeiro processo de detecção de pixel de borda no primeiro quadro de imagem, para identificar bordas dentro do primeiro quadro de imagem; identificar uma característica de pixel da primeira imagem das bordas detectadas; gerar um bloco de pixel incluindo a característica de pixel, realizar a correspondência de blocos em uma região de busca da segunda imagem, empregando-se o bloco de pixel do primeiro quadro de imagem, em que o bloco de pixel gerado pelo primeiro quadro é correlacionado com a região de investigação; e gerar um mapa de disparidade identificando-se um deslocamento relativo da característica de pixel do primeiro quadro de imagem de uma característica de pixel correspondente do segundo quadro de imagem.

25. Aparelho de acordo com a reivindicação 24, caracterizado pelo fato de compreender um gerador de mapa de profundidade, operável para gerar pelo mapa de disparidade um mapa de profundidade provendo uma indicação de uma distância entre o plano de tela e o plano de imagem, associando-se os parâmetros de profundidade previamente definidos, indicando uma profundidade do primeiro objeto estereoscopicamente visível, com a posição do objeto identificada pelo mapa de disparidade.

26. Aparelho de acordo com a reivindicação 25, caracterizado pelo fato de compreender um dispositivo de associação, operável para associar o primeiro objeto estereoscopicamente visível com um indicador gráfico, na dependência da profundidade do primeiro objeto estereoscopicamente visível, indicado pelo mapa de profundidade ou mapa de disparidade.

27. Aparelho de acordo com a reivindicação 25, caracterizado pelo fato de o dispositivo de associação ser operável para associar o primeiro objeto estereoscopicamente visível com o indicador gráfico, se a profundidade for igual a ou maior do que um valor paralaxe limiar predeterminado.

28. Aparelho de acordo com a reivindicação 26, caracterizado pelo fato de o indicador gráfico compreender aplicar uma cor à imagem 3D.

29. Aparelho de acordo com a reivindicação 23, caracterizado pelo fato de o gerador ser operável para realizar um segundo processo de detecção de pixel de borda no segundo quadro de imagem, para identificar bordas dentro do segundo quadro de imagem, determinar pixels de borda preditos no primeiro quadro de imagem de uma borda de uma borda identificada e o mapa de disparidade gerado e verificar o mapa de disparidade quando a posição do pixel de borda predito e o pixel de borda detectado na primeira imagem estiverem dentro de uma distância limiar predeterminada.

30. Aparelho de acordo com a reivindicação 24, caracterizado pelo fato de antes das etapas de detecção de pixel de borda, um processo de soma sub-harmônico ser aplicado a uma versão auto-correlacionada de pelo menos um do primeiro quadro de imagem e do segundo quadro de imagem, para determinar a magnitude de uma freqüência fundamental de um padrão repetitivo presente no pelo menos um quadro, e os processos de detecção de pixel de borda e as etapas de processamento de disparidade serem realizados na dependência da magnitude da freqüência fundamental do pelo menos um quadro de imagem.

31. Aparelho de acordo com a reivindicação 24, caracterizado pelo fato de o mapa de disparidade incluir deslocamento horizontal entre os correspondentes características de pixel e o processo de detecção de borda utilizar uma técnica de detecção de borda Sobel.

32. Aparelho de acordo com a reivindicação 24, caracterizado pelo fato de o primeiro processo de detecção de borda incluir a etapa de segmentar a primeira imagem em uma pluralidade de blocos de pixel e determinar o número de bordas de cada bloco de pixel, em que, se o número de bordas for abaixo de um valor limiar, aquele bloco de pixel é considerado não ter bordas localizadas nele.

33. Aparelho de acordo com a reivindicação 32, caracterizado pelo fato de o valor limiar ser o mesmo que o número vertical de pixels do bloco de pixel.

34. Aparelho de acordo com a reivindicação 32, caracterizado pelo fato de, se o número de bordas detectadas em um bloco de pixel for acima de um segundo valor limiar, então o número de bordas naquele bloco de pixel ser considerado ser o segundo valor limiar.

35. Programa de computador caracterizado pelo fato de que, quando executado por um computador, fazer com que o computador execute o método como definido na reivindicação 1.