BRPI0621997A2 - mÉtodo e sistema para aquisiÇço de modelo tridimensional - Google Patents
mÉtodo e sistema para aquisiÇço de modelo tridimensional Download PDFInfo
- Publication number
- BRPI0621997A2 BRPI0621997A2 BRPI0621997-7A BRPI0621997A BRPI0621997A2 BR PI0621997 A2 BRPI0621997 A2 BR PI0621997A2 BR PI0621997 A BRPI0621997 A BR PI0621997A BR PI0621997 A2 BRPI0621997 A2 BR PI0621997A2
- Authority
- BR
- Brazil
- Prior art keywords
- image
- images
- illuminated
- pair
- rate
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
MÉTODO E SISTEMA PARA AQUISIÇçO DE MODELO TRIDIMENSIONAL. Um sistema e método para aquisição de informação geométrica a partir de imagen inclui uma fonte de luz modulada configurada para fornecer energia de luz a uma taxa imperceptível pelo olho humano. Uma câmera é configurada para adquirir imagens a uma tax na qual um par diferencial de imagens é obtido de modo que um dentre o par de imagen inclui luz da fonte de luz e a outra imagem do par não inclui luz da fonte de luz. Um módulo de comparação é configurado para comparar o par diferencial de imagens para criar ur mapa de profundidade para a criação do modelo tridimensional.
Description
"MÉTODO E SISTEMA PARA AQUISIÇÃO DE MODELO TRIDIMENSIONAL"
Campo da Invenção
A presente invenção se refere geralmente a gráficos digitais e, mais particularmen- te, a sistemas e métodos para a aquisição de modelos tridimensionais de imagens.
Fundamentos da Invenção
A aquisição de modelo tridimensional (3D), também conhecida como recuperação de geometria 3D, reconstrução de formato 3D, etc., é um problema desafiante envolvendo a recuperação da geometria 3D (freqüentemente representada por entrelaçamentos polinomi- ais) de objetos e cenas a partir de imagens tiradas, por exemplo, por sensores de imagem. Tem havido trabalho substancial na recuperação de informação profunda ou geometria tri- dimensional (3D) de objetos. Uma técnica pertence a uma categoria de abordagens conhe- cidas como métodos de luz estruturada, que recupera a geometria 3D de um objeto pela projeção de padrões de luz especialmente desenhados na superfície de um objeto e esti- mando a profundidade (isso é, a distância entre o ponto na superfície até a câmera) pela análise das deformações dos padrões projetados.
Dentre muitas técnicas para a recuperação de geometria 3D, as abordagens de luz estruturada são altamente precisas e podem ser implementadas em tempo real, tornando as mesmas promissoras para aplicações no mundo real. Não obstante, as abordagens de luz estrutura atuais apresentam várias limitações que prejudicam sua aplicação nas situações reais. Por exemplo, para se realizar a aquisição precisa, essas técnicas precisam de luz muito potente e padrões de alto contraste a serem projetados nas superfícies do objeto. Isso é freqüentemente inaceitável para os humanos tais como atores em uma cena de cinema.
Adicionalmente, as técnicas de luz estruturada atuais normalmente resultam na conclusão de que existe pouca ou nenhuma textura na superfície do objeto. A presença da textura do objeto afeta a aparência dos padrões de luz estruturada. Portanto, as texturas podem degradar de forma substancial a precisão. Adicionalmente ainda, quando as ima- gens/vídeos capturados também são utilizados para a criação de conteúdo, tal como para se fazer filmes, a presença de luz estruturada nas imagens e vídeos é freqüentemente indese- jável.
As várias técnicas de aquisição 3D podem ser classificadas como abordagens ati- vas e passivas. As abordagens passivas adquirem a geometria 3D a partir de imagens ou vídeos tirados sob condições de iluminação regulares. A geometria 3D é computada utili- zando-se as características geométricas ou fotométricas extraídas das imagens e dos ví- deos. Duas das abordagens mais amplamente utilizadas são as técnicas de algoritmo esté- reo e fotométrica. As técnicas de algoritmo estéreo estimam a profundidade com base na disparidade de um par de imagem estéreo que é tirado por duas câmeras com ângulos de observação diferentes. A disparidade é estimada pela comparação de pixels no par de ima- gem estéreo e computação da diferença coordenada. As técnicas fotométricas estimam o normal de uma superfície com base no efeito de sombreamento causado pelas orientações de superfície. Para imagens no mundo real, ambos os métodos são imprecisos e exigem alto custo computacional. Os algoritmos estéreo falham em estimar as profundidades dos pixels em regiões planas (regiões sem textura). A técnica fotométrica exige que os materiais (isso é, BRDF1 Função de Distribuição de Refletância Bidirecional) das superfícies do objeto sejam conhecidos de antemão.
Em contraste, as abordagens ativas são capazes de alcançar uma alta precisão e uma velocidade em tempo real. A digitalização a laser, por exemplo, é uma técnica que in- clui a projeção de luz de laser em uma superfície e estimando a profundidade com base no princípio de tempo de voo ou deformação do padrão de luz. A aplicação da digitalização de laser é muito restrita, no entanto.
Outra técnica referida como luz estruturada é preferida da técnica. As técnicas de luz estruturada projetam padrões visíveis ou invisíveis (infravermelho) nas superfícies dos objetos e estimam a profundidade de acordo com a deformação dos padrões. As aborda- gens de luz estruturada têm sido exaustivamente estudadas na comunidade de visão de computador. As técnicas do estado da técnica incluem luz estruturada composta, que utiliza múltiplas tiras ao invés de uma única tira e luz estruturada colorida, e implementa cor para distinguir e identificar as tiras. No entanto, para se alcançar uma alta precisão de estimativa de profundidade, essas abordagens exigem luz estruturada de alta intensidade e/ou suavi- dade de uma superfície de forma que a textura da superfície não interfira com os padrões de luz estruturada. Como tal, a recuperação da geometria 3D dos objetos reais utilizando as técnicas atualmente disponíveis é intrusiva e imprecisa.
Sumário da Invenção
Os conceitos da presente invenção solucionam as deficiências da técnica anterior pelo fornecimento de um método e sistema para a aquisição de informação geométrica tri- dimensional de objetos e imagens reais com alta precisão e velocidade em tempo real.
Em uma modalidade da presente invenção, um método de aquisição de informação geométrica de imagens inclui a iluminação de um objeto com um padrão estruturado a uma taxa modulada imperceptível pelo olho humano, capturando as imagens do objeto a uma taxa na qual um par diferencial de imagens é obtido de modo que uma primeira imagem do par de imagens seja iluminado e uma segunda imagem do par de imagens não seja ilumina- da, e comparando o par diferencial de imagens para determina a informação geométrica para o objeto. O método pode incluir adicionalmente a implementação de um processo de seleção de quadro para recuperar uma seqüência de imagens que não foram iluminadas para a reprodução e exibição de uma cena.
Em uma modalidade alternativa da presente invenção, um sistema para aquisição de informação geométrica de imagens inclui uma fonte de luz modulada configurada para fornecer energia de luz a uma taxa imperceptível ao olho humano para iluminar um objeto de imagem, uma câmera configurada para capturar as imagens do objeto a uma taxa na qual um par diferencial de imagens é obtido de modo que uma primeira imagem do par de imagens seja iluminada e uma segunda imagem do par de imagens não seja iluminada, e um módulo de comparação configurado para comparar o par diferencial, de imagens para determinar a informação geométrica do objeto. O módulo de comparação do sistema pode incluir um estimador de profundidade configurado para estimar as profundidades de um ob- jeto de acordo com as deformações de determinados padrões estruturados da dita luz mo- dulada, um módulo de comparação configurado para determinar um entrelaçamento tridi- mensional respectivo a partir do mapa de profundidade para a determinação de um modelo tridimensional do objeto e um módulo de seleção de quadro configurado para eliminar os quadros iluminados pela luz modulada para fornecer uma seqüência de imagens não ilus- trada pela luz modulada para uso na reprodução e exibição.
Breve Descrição dos Desenhos
Os ensinamentos da presente invenção podem ser prontamente compreendidos considerando-se a descrição detalhada a seguir em conjunto com os desenhos em anexo, nos quais:
A figura 1 apresenta um diagrama em bloco de alto nível de um sistema para aqui- sição de informação geométrica a partir de imagens de acordo com uma modalidade da pre- sente invenção;
A figura 2 apresenta um diagrama de um método para aquisição de informação ge- ométrica de imagens de acordo com uma modalidade da presente invenção;
A figura 3 apresenta um diagrama de um processo de análise de diferença para a produção de um mapa de profundidade de acordo com uma modalidade ilustrativa da pre- sente invenção;
A figura 4 apresenta um fluxograma de um método de aquisição de informação ge- ométrica de imagens de acordo com uma modalidade da presente invenção; e
A figura 5 apresenta um diagrama de um processo de seleção de quadro implemen- tado para produzir uma seqüência de imagem ou vídeo não possuindo quaisquer imagens iluminadas de acordo com uma modalidade da presente invenção.
Deve-se compreender que os desenhos servem à finalidade de ilustração dos con- ceitos da invenção e não são necessariamente a única possível configuração para ilustrar a invenção. Para facilitar a compreensão, referências numéricas idênticas foram utilizadas, onde possível, para designar elementos idênticos que são comuns às figuras.
Descrição Detalhada da Invenção
A presente invenção soluciona as deficiências da técnica anterior pelo fornecimento de um método e sistema para a aquisição de modelos tridimensionais a partir de imagens. Apesar de a presente invenção ser descrita basicamente dentro do contexto de um sistema de gravação de vídeo, as modalidades específicas da presente invenção não devem ser tratadas como limitadoras do escopo da invenção. Será apreciado pelos versados na técnica e informado pelos ensinamentos da presente invenção que os conceitos da presente inven- ção podem ser aplicados de forma vantajosa substancialmente em qualquer sistema de cri- ação de imagem digital, que é capaz de ser utilizado para adquirir a informação geométrica, e/ou qualquer sistema de gravação incluindo a gravação de dados pelo telefone, câmera digital, câmera de vídeo e similares. Isso é, a descrição a seguir ilustra os princípios da pre- sente invenção. Será, dessa forma, apreciado que os versados na técnica serão capazes de vislumbrar várias disposições que, apesar de não explicitamente descritas ou ilustradas a- qui, consubstanciam os princípios da invenção e são incluídas dento de seu espírito e esco- po.
Os elementos apresentados nas figuras podem ser implementados de várias for- mas de hardware, software ou combinações dos mesmos. Preferivelmente, esses elementos são implementados em uma combinação de hardware e software em um ou mais dispositi- vos de finalidade geral programados adequadamente, que pode incluir um processador, memória e interfaces de entrada/saída. Dessa forma, por exemplo, será apreciado pelos versados na técnica que os diagramas em bloco apresentados aqui representam vistas con- ceituais do conjunto de circuitos ilustrativos consubstanciando os princípios da invenção. De forma similar, será apreciado que quaisquer fluxogramas, diagramas de transição de estado, pseudocódigo, e similares representam vários processos que podem ser substancialmente representados em mídia legível por computador e executados por um computador ou pro- cessador, caso ou não tal computador ou processador seja ilustrado.
A figura 1 apresenta um diagrama em bloco de alto nível de um sistema para aqui- sição de informação geométrica a partir das imagens de acordo com uma modalidade da presente invenção. O sistema 100 da figura 1 compreende de forma ilustrativa um computa- dor 105, uma fonte de luz 104, uma câmera 108 e uma imagem ou cena 103 a ser gravada. No sistema 100 da figura 1, o computador compreende de forma ilustrativa um módulo de controle de luz 102, que armazena vários programas para o controle da fonte de luz 104 e um módulo de comparação 110. O módulo de comparação 110 do computador 105 compre- ende de forma ilustrativa um estimador de profundidade 112, um módulo de conversão 114 e um módulo de seleção de quadro 116.
No sistema 100 da figura 1, uma fonte de luz modulada ou piscando 104 projeta padrões estruturados de luz em um objeto 113 na cena 103. Uma câmera 108 é fornecida com uma taxa de quadro relativamente alta que captura a cena iluminada pela luz estrutura- da. Em uma modalidade da presente invenção, a taxa de quadro da câmera é igual a ou superior à taxa de oscilação da luz estruturada. A fonte de luz 104 da figura 1 é conectada ao PC 105, que controla a geração dos padrões de luz estruturados e simula os efeitos de oscilação. Os padrões estruturados podem ser gerados, por exemplo, pelos programas ar- mazenados 107 no módulo de controle de luz 102. Isso é, os efeitos de oscilação podem ser gerados pelo ligar e desligar do padrão de luz de acordo com os detalhes contidos no pro- grama 107.
Para se minimizar o distúrbio da luz causado pela fonte de luz nos objetos, em uma modalidade da presente invenção, o sistema 100 da figura 1 utiliza uma freqüência oscilante para a fonte de luz 104 que é alta o suficiente de modo que o sistema visual humano seja incapaz de perceber a mesma (por exemplo, 60 Hz ou mais). Isso é, a fonte de luz fornece luz estruturada invisível para os olhos humanos com base no fato de a sensibilidade dos olhos humanos ser substancialmente reduzida quando a freqüência de uma fonte de luz oscilante excede um determinado limite. Como tal, quando os objetos são capturados utili- zando-se a câmera 108 a luz é invisível e o distúrbio é mínimo, se algum. Com a taxa de quadro relativamente alta, as imagens são capturadas como pares de imagem diferenciais.
Os pares de imagem diferenciais compreendem duas imagens consecutivas na seqüência de imagem capturada na qual uma está acesa pela luz estruturada e a outra não. Pela aná- lise das diferenças entre as imagens no par de imagens diferenciais, as texturas na superfí- cie do objeto podem ser eliminadas, enquanto que o formato e a cor dos padrões de luz es- truturados são preservados.
Por exemplo, em uma modalidade da presente invenção, o módulo de comparação 110 do computador 105 analisa as diferenças entre as imagens nos pares de imagem dife- renciais e elimina as partes não iluminadas do objeto em uma cena. Isso é, em uma modali- dade da presente invenção, uma análise de diferença inclui a comparação de uma imagem incluindo os padrões de luz estruturados com a imagem que não possui o padrão de luz es- truturado e a determinação de quaisquer diferenças.
A figura 2 apresenta um diagrama de um aplicativo ilustrativo de um método de a- quisição de informação geométrica das imagens de acordo com uma modalidade da presen- te invenção. Na figura 2, os padrões de luz estruturados 126, de acordo com as modalida- des da presente invenção, são adquiridos pela câmera 108 em uma primeira imagem 128 de um par de imagens diferenciais 120. A segunda imagem 130 de cada par 120 capturada pela câmera 108 não inclui o padrão de luz estruturado.
Por exemplo, em uma modalidade da presente invenção, a luz estruturada colorida projeta tiras coloridas em uma cena a ser utilizada para a estimativa de profundidade de um objeto iluminado. Mais especificamente, definindo o vetor de cor em um ponto na superfície observado pela câmera 108 como S=[sr, s9, sb]T, a matriz de cruzamento de projetor pode ser caracterizada de acordo com a equação um (1), que se segue: <formula>formula see original document page 7</formula>
e a matriz de cena pode ser caracterizada de acordo com a equação dois (2), que se segue:
<formula>formula see original document page 7</formula>
Adicionalmente, o vetor de iluminação de projetor pode ser caracterizado como <formula>formula see original document page 7</formula> onde θ é o ângul0 entre a superfície normal e a luz inciden- te de projetor, o vetor de iluminação de ambiente pode ser caracterizado por <formula>formula see original document page 7</formula> e um vetor de luz ambiente ser caracterizado como <formula>formula see original document page 7</formula>. As quantidades acima podem ser relacionadas de acordo com a equação três (3), que se segue:
S = XF(P + E)+0. (3)
A cor de luz estruturada pr, pg, pb no vetor de iluminação P é determinada de acordo com o vetor de cor S observado pela câmera. Uma vez que pr, pg, pb é determinado, os valo- res são combinados com os padrões de luz estruturados e são utilizados para estimar a pro- fundidade de um ponto relativo na superfície de um objeto. Pela subtração de dois quadros nos pares de imagem diferenciais, os efeitos da iluminação ambiental e da luz ambiente po- dem ser caracterizados de acordo com a equação quatro (4), que se segue:
<formula>formula see original document page 7</formula>
onde S(t) e S(t+1) são os quadros capturados pela câmera no momento t e t+1. Pe- la estimativa da matriz cruzada X, o estágio de retificação de projetor e câmera, FP, pode ser determinado pela multiplicação δ,S com X-1. No entanto, o vetor albedo de cena F e os termos de orientação de superfície no vetor de iluminação ainda precisam ser eliminados. Para se fazer isso, um método baseado em diferença espacial é empregado para fatorar a orientação albedo e de superfície. Em uma modalidade da presente invenção, o vetor albe- do de cena, FP, pode ser caracterizado de acordo com a equação cinco (5), que se segue:
<formula>formula see original document page 7</formula>
Considera-se que o albedo dos pixels vizinhos seja substancialmente igual ao des- crito acima visto que, tipicamente, um mapa albedo é constante no sentido da peça e a su- perfície é suave. Como tal, na equação (5) acima, θ está próximo da constante dentro de uma região local. É considerado adicionalmente que um pixel 1 e um pixel 2 sejam pixels vizinhos. Como tal, excluindo os termos de orientação de superfície e albedo de cena, a e- quação (5) pode ser reescrita e caracterizada de acordo com a equação seis (6) que se se- gue:
<formula>formula see original document page 8</formula>
Portanto, se a diferença de Iogaritmo ÔlogFP for utilizada para calcular a correspon- dência e realizar a estimativa de profundidade, o albedo de cena e orientação de superfície local são consideráveis invariáveis para tais determinações. Apesar de o exemplo de esti- mativa de profundidade ser descrito acima como implementando uma luz de estrutura colo- rida, deve ser apreciado pelos versados na técnica e informado pelos ensinamentos aqui que os cálculos de profundidade podem ser realizados utilizando-se técnicas para a estima- tiva de profundidade a partir de métodos de luz estruturada composta e luz estruturada colo- rida e similares.
Por exemplo e com referência novamente à figura 1, o módulo de comparação 110 inclui um estimador de profundidade 112, que estima a profundidade de acordo com a de- formação dos padrões estruturados utilizando, em uma modalidade, a diferença de Iogarit- mo, ÔlogFP, como caracterizado na equação (6) acima. O estimador de profundidade 112 envia um mapa de profundidade da cena e objetos na mesma.
A figura 3 apresenta um diagrama de um processo de análise de diferença para a produção de um mapa de profundidade de acordo com uma modalidade ilustrativa da pre- sente invenção. No exemplo da figura 4, uma análise de diferença é aplicada a um par de imagem diferencial 120 para separar as partes de uma imagem de objeto 130 de uma ima- gem de objeto iluminada 128 para determinar um padrão estruturado 134. O padrão estrutu- rado 134 é então utilizado, por exemplo, pelo estimador de profundidade 112 da figura 1 para determinar um mapa de profundidade 136.
Subseqüentemente, a informação de profundidade (por exemplo, mapa de profun- didade) é utilizada para determinar um modelo tridimensional (3D) para o objeto iluminado. Mais especificamente e com referência novamente à modalidade da figura 1, o módulo de comparação 110 inclui um módulo de conversão 114. Em uma modalidade da presente in- venção, o módulo de conversão 114 converte o mapa de profundidade em entrelaçamentos 3D e combina múltiplos entrelaçamentos tirados de diferentes pontos de visualização em um entrelaçamento 3D para produzir um modelo 3D para o objeto iluminado. Existem várias técnicas bem conhecidas existentes na técnica para converter uma faixa ou mapa de pro- fundidade em um entrelaçamento 3D e como tal os detalhes de tais técnicas não serão des- critos aqui. Por exemplo, em uma modalidade, a conversão do mapa de profundidade em entrelaça mento 3D pode ser realizada pela captura de imagens de faixa a partir de ângulos diferentes e então pelo alinhamento e união das mesmas para criar um entrelaçamen- to/modelo 3D completo. Subseqüentemente, as seqüências de imagens ou vídeos sem padrões de luz es- truturados podem ser totalmente recuperadas no estágio de pós-processamento. Mais es- pecificamente, um processo de seleção de quadro 116 pode ser realizado, por exemplo, pelo módulo de seleção de quadro 116 da figura 1 para separa os quadros não iluminados pela luz de estrutura dos quadros iluminados pela luz estruturada para produzir uma se- qüência de imagem que não inclui imagens iluminadas pela luz estruturada de forma que a reprodução e a exibição de uma cena não seja afetada de forma negativa. Tal processo é descrito em maiores detalhes abaixo.
A figura 4 apresenta um fluxograma de um método de aquisição de informação ge- ométrica de imagens de acordo com uma modalidade da presente invenção. O método 400 começa na etapa 402 na qual um objeto é iluminado com uma luz oscilante como descrito acima. Em uma modalidade, a luz oscilante é invisível aos olhos humanos e pode compre- ender uma freqüência de 60 Hz1 apesar de outras freqüências poderem ser utilizadas. Como tal, alta precisão e velocidade em tempo real podem ser alcançadas mesmo para objetos com texturas fortes. O método 400 então prossegue para a etapa 404.
Na etapa 404, as imagens produzidas à medida que a luz oscilante ilumina o objeto de referência são capturadas por uma câmera como descrito acima. O método 400 então prossegue para a etapa 406.
Na etapa 406, uma análise diferencial é aplicada a um par de imagens diferenciais produzido (por exemplo, um par de imagens produzido no qual uma primeira imagem é ace- sa pela luz estruturada oscilante e uma segunda não é) para identificar e isolar o padrão de luz estruturado produzido no objeto iluminado. O método 400 então prossegue para a etapa 408.
Na etapa 408, um mapa de profundidade é gerado a partir de um resultado da aná- lise de imagem diferencial da etapa 406. O método então prossegue para a etapa 410.
Na etapa 410, os modelos em 3D dos objetos são criados a partir do objeto entrela- çado do mapa de profundidade. O método 400 é então deixado.
O método 400 da presente invenção pode incluir adicionalmente a etapa 412. Isso é, na etapa 412, um processo de seleção de quadro é empregado para eliminar os quadros de imagem iluminados pela luz estruturada oscilante, de forma que a seqüência de imagem de quadros que não foram iluminados possa ser removida.
Mais especificamente, um processo de seleção de quadro 116 pode ser realizado, por exemplo, pelo módulo de seleção de quadro 116 da figura 1 para separar os quadros não iluminados pela luz de estrutura a partir dos quadros iluminados pela luz estruturada para produzir uma seqüência de imagem que não inclui imagens iluminadas pela luz estrutu- rada de forma que a reprodução e a exibição de uma cena não sejam afetadas negativa- mente ou corrompidas pela iluminação. Por exemplo, a figura 5 apresenta um diagrama de um processo de seleção de quadro implementado para produzir uma seqüência de imagem não possuindo imagens ilu- minadas de acordo com uma modalidade da presente invenção. O processo de seleção da figura 5 identifica os quadros possuindo padrões de luz estruturados. Por exemplo, em uma modalidade da presente invenção, a identificação das imagens iluminadas pode ser realiza- da pela combinação dos padrões recuperados a partir da análise da diferença realizada pelo estimador de diferença 112, como descrito acima, com quadros de imagem para identificar os quadros de imagem possuindo o padrão de luz estruturado. Depois que os quadros com padrões de luz estruturados são identificados, esses quadros podem ser excluídos de uma seqüência de imagem original para gerar uma seqüência de imagem que não inclui qualquer imagem iluminada. Com referência à figura 5, os quadros com luz estruturada 128 são re- movidos ou eliminados e os quadros 130 são selecionados pelo processo de seleção de quadro. Como tal, a seqüência recuperada 140 inclui quadros que não são necessários para a reprodução ou exibição de vídeo, filme, imagens estáticas e similares.
Tendo descrito as modalidades preferidas para aquisição de informação geométrica tridimensional de objetos e cenas reais (que devem ser ilustrativas e não limitadoras), é no- tado que as modificações e variações podem ser realizadas pelos versados na técnica em vista dos ensinamentos acima. É, portanto, compreendido que mudanças podem ser reali- zadas nas modalidades particulares da invenção descritas que estão dentro do escopo e espírito da invenção como destacado pelas reivindicações em anexo. Enquanto o acima exposto é direcionado às várias modalidades da presente invenção, outras modalidades adicionais da invenção podem ser vislumbradas sem se distanciar do escopo básico da mesma. Como tal, o escopo adequado da invenção deve ser determinado de acordo com as reivindicações que se seguem.
Claims (23)
1. Método para a aquisição de informação geométrica de imagens, CARACTERIZADO pelo fato de compreender: a iluminação de um objeto com um padrão estruturado em uma taxa modulada im- perceptível pelo olho humano; a captura de imagens do dito objeto a uma taxa na qual um par diferencial de ima- gens é obtido de forma que uma primeira imagem do par de imagens seja iluminada e uma segunda imagem do par de imagens não seja iluminada; e a comparação do par diferencial de imagens para determinar a informação geomé- trica para o dito objeto.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de a in- formação geométrica ser determinada pela subtração da dita segunda imagem a partir da dita primeira imagem e avaliação das deformações de um padrão de luz resultante.
3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de as profundidades do objeto serem determinadas pela avaliação das deformações do dito pa- drão de luz resultante.
4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de um mapa de profundidade ser criado a partir da dita informação geométrica determinada.
5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de um entrelaçamento tridimensional respectivo ser determinado a partir do dito mapa de profundi- dade e o dito entrelaçamento tridimensional ser utilizado para construir um modelo tridimen- sional do dito objeto.
6. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de com- preender a geração do mapa de profundidade utilizando um método de diferença de Iogarit- mo para eliminar pelo menos um dentre os efeitos albedo, a iluminação e sombreamento ambiental.
7. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de com- preender a implementação de um processo de seleção de quadro para recuperar uma se- qüência de imagens que não foram iluminadas.
8. Método, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de a dita seqüência de imagens que não foram iluminadas ser utilizada para reprodução e exibição de uma cena.
9. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de as di- tas imagens serem capturadas em uma taxa de quadro igual a ou superior à dita taxa modulada.
10. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de compreender a eliminação de pelo menos um dentre os efeitos albedo, iluminação e som- breamento ambiental para criar um modelo do dito objeto.
11. Sistema para aquisição de informação geométrica das imagens, CARACTERIZADO pelo fato de compreender: uma fonte de luz modulada configurada para fornecer energia elétrica a uma taxa imperceptível pelo olho humano para iluminar um objeto de imagem; uma câmera configurada para capturar as imagens do dito objeto a uma taxa na qual um par diferencial de imagens é obtido de forma que uma primeira imagem do par de imagens seja iluminada e uma segunda imagem do par de imagens não seja iluminada; e um módulo de comparação configurado para comparar o par diferencial de imagens para determinar a informação geométrica para o dito objeto.
12. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de compreender um módulo de seleção de quadro configurado para eliminar os quadros ilumi- nados pela luz modulada para fornecer uma seqüência de imagens não iluminadas pela luz modulada.
13. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de compreender um estimador de profundidade configurado para estimar as profundidades no objeto de imagem de acordo com as deformações dos padrões estruturados da dita luz mo- dulada.
14. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de o dito estimador de profundidade subtrair a dita segunda imagem da dita primeira imagem e avaliar as deformações de um padrão de luz resultante para determinar as profundidades do objeto.
15. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de um mapa de profundidade ser criado a partir da dita informação geométrica determinada.
16. Sistema, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de compreender um módulo de comparação configurado para determinar um entrelaçamento tridimensional respectivo a partir do dito mapa de profundidade para determinar um modelo tridimensional do dito objeto.
17. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de o dito objeto ser iluminado a partir de diferentes pontos de vista e a dita câmera capturar as imagens do dito objeto a partir de diferentes pontos de vista.
18. Sistema, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de um mapa de profundidade respectivo ser criado a partir da informação geométrica determinada dos diferentes pontos de vista e um entrelaçamento tridimensional respectivo ser determina- do a partir dos mapas de profundidade.
19. Sistema, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de os entrelaçamentos diferentes serem combinados para determinar um modelo tridimensional do dito objeto.
20. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de a fonte de luz modulada incluir um projetor controlado por um computador.
21. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de a câmera capturar as imagens em uma taxa de quadro igual a ou superior à taxa da luz modu- lada.
22. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de a câmera incluir uma câmera de vídeo.
23. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de o objeto ser texturizado e o módulo de comparação eliminar pelo menos um dentre os efeitos albedo, iluminação e sombreamento ambiental.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2006/036839 WO2008036092A1 (en) | 2006-09-21 | 2006-09-21 | A method and system for three-dimensional model acquisition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0621997A2 true BRPI0621997A2 (pt) | 2011-12-27 |
Family
ID=38042922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0621997-7A BRPI0621997A2 (pt) | 2006-09-21 | 2006-09-21 | mÉtodo e sistema para aquisiÇço de modelo tridimensional |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8284194B2 (pt) |
| EP (1) | EP2064676B1 (pt) |
| JP (1) | JP5317206B2 (pt) |
| CN (1) | CN101512599B (pt) |
| BR (1) | BRPI0621997A2 (pt) |
| WO (1) | WO2008036092A1 (pt) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008156450A1 (en) * | 2007-06-20 | 2008-12-24 | Thomson Licensing | System and method for stereo matching of images |
| US8537229B2 (en) * | 2008-04-10 | 2013-09-17 | Hankuk University of Foreign Studies Research and Industry—University Cooperation Foundation | Image reconstruction |
| US8643641B2 (en) * | 2008-05-12 | 2014-02-04 | Charles G. Passmore | System and method for periodic body scan differencing |
| JP2010210585A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ |
| US9632167B2 (en) * | 2009-09-17 | 2017-04-25 | Gal Villaret | Solar tracker device and system |
| JP5520562B2 (ja) * | 2009-10-06 | 2014-06-11 | 本田技研工業株式会社 | 立体形状測定システム及び立体形状測定方法 |
| WO2011071929A2 (en) * | 2009-12-07 | 2011-06-16 | Photon-X, Inc. | 3d visualization system |
| RU2427796C1 (ru) * | 2009-12-25 | 2011-08-27 | Государственное образовательное учреждение высшего профессионального образования "МАТИ"-Российский государственный технологический университет им. К.Э. Циолковского | Способ получения 3-мерной модели поверхности объекта |
| RU2453922C2 (ru) * | 2010-02-12 | 2012-06-20 | Георгий Русланович Вяхирев | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) |
| CN101872491B (zh) * | 2010-05-21 | 2011-12-28 | 清华大学 | 基于光度立体的自由视角重光照方法和系统 |
| US8681255B2 (en) * | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
| US8526734B2 (en) * | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
| WO2013046100A1 (en) * | 2011-09-28 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Object distance determination from image |
| EP2766792A4 (en) * | 2011-10-10 | 2016-03-30 | Invisage Technologies Inc | CAPTURE OF EVENTS SPACE AND TIME |
| US8436853B1 (en) * | 2012-07-20 | 2013-05-07 | Google Inc. | Methods and systems for acquiring and ranking image sets |
| US9002719B2 (en) | 2012-10-08 | 2015-04-07 | State Farm Mutual Automobile Insurance Company | Device and method for building claim assessment |
| US10368053B2 (en) | 2012-11-14 | 2019-07-30 | Qualcomm Incorporated | Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption |
| CN108334204B (zh) | 2012-12-10 | 2021-07-30 | 因维萨热技术公司 | 成像装置 |
| US10945639B2 (en) * | 2013-01-16 | 2021-03-16 | Van De Velde Nv | Fitting room mirror |
| US20140240469A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
| US9407837B2 (en) | 2013-02-28 | 2016-08-02 | Google Inc. | Depth sensor using modulated light projector and image sensor with color and IR sensing |
| US9398287B2 (en) * | 2013-02-28 | 2016-07-19 | Google Technology Holdings LLC | Context-based depth sensor control |
| US20150002734A1 (en) * | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
| US8872818B2 (en) | 2013-03-15 | 2014-10-28 | State Farm Mutual Automobile Insurance Company | Methods and systems for capturing the condition of a physical structure |
| US8818572B1 (en) | 2013-03-15 | 2014-08-26 | State Farm Mutual Automobile Insurance Company | System and method for controlling a remote aerial device for up-close inspection |
| US9082015B2 (en) | 2013-03-15 | 2015-07-14 | State Farm Mutual Automobile Insurance Company | Automatic building assessment |
| US8874454B2 (en) | 2013-03-15 | 2014-10-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for assessing a roof |
| US10268885B2 (en) | 2013-04-15 | 2019-04-23 | Microsoft Technology Licensing, Llc | Extracting true color from a color and infrared sensor |
| US9542749B2 (en) * | 2014-01-06 | 2017-01-10 | Microsoft Technology Licensing, Llc | Fast general multipath correction in time-of-flight imaging |
| WO2015188146A2 (en) | 2014-06-05 | 2015-12-10 | Edward Hartley Sargent | Sensors and systems for the capture of scenes and events in space and time |
| US9692968B2 (en) | 2014-07-31 | 2017-06-27 | Invisage Technologies, Inc. | Multi-mode power-efficient light and gesture sensing in image sensors |
| US9325876B1 (en) | 2014-09-08 | 2016-04-26 | Amazon Technologies, Inc. | Selection of a preferred image from multiple captured images |
| US9521365B2 (en) | 2015-04-02 | 2016-12-13 | At&T Intellectual Property I, L.P. | Image-based techniques for audio content |
| US9947098B2 (en) * | 2015-05-13 | 2018-04-17 | Facebook, Inc. | Augmenting a depth map representation with a reflectivity map representation |
| US9936151B2 (en) * | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
| US10621744B1 (en) | 2015-12-11 | 2020-04-14 | State Farm Mutual Automobile Insurance Company | Structural characteristic extraction from 3D images |
| WO2017126711A1 (ko) * | 2016-01-19 | 2017-07-27 | 전자부품연구원 | 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템 |
| US10257505B2 (en) * | 2016-02-08 | 2019-04-09 | Microsoft Technology Licensing, Llc | Optimized object scanning using sensor fusion |
| US10007971B2 (en) | 2016-03-14 | 2018-06-26 | Sensors Unlimited, Inc. | Systems and methods for user machine interaction for image-based metrology |
| US9928592B2 (en) | 2016-03-14 | 2018-03-27 | Sensors Unlimited, Inc. | Image-based signal detection for object metrology |
| US10176527B1 (en) | 2016-04-27 | 2019-01-08 | State Farm Mutual Automobile Insurance Company | Providing shade for optical detection of structural features |
| KR102529120B1 (ko) | 2016-07-15 | 2023-05-08 | 삼성전자주식회사 | 영상을 획득하는 방법, 디바이스 및 기록매체 |
| KR101765257B1 (ko) | 2016-08-12 | 2017-08-04 | 한국과학기술원 | 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치 |
| KR102850047B1 (ko) * | 2016-10-31 | 2025-08-25 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR102546990B1 (ko) * | 2018-03-16 | 2023-06-23 | 엘지전자 주식회사 | 신호 처리 장치 및 이를 구비하는 영상표시장치 |
| EP3561776A1 (en) | 2018-04-24 | 2019-10-30 | InterDigital CE Patent Holdings | Method and apparatus for processing a 3d scene |
| US10909373B1 (en) * | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
| CN110012206A (zh) * | 2019-05-24 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、电子设备和可读存储介质 |
| CN112019660B (zh) * | 2019-05-31 | 2021-07-30 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
| CN110213413B (zh) * | 2019-05-31 | 2021-05-14 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
| CN112019674B (zh) * | 2019-05-31 | 2021-10-15 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
| CN110686652B (zh) * | 2019-09-16 | 2021-07-06 | 武汉科技大学 | 一种基于深度学习和结构光相结合的深度测量方法 |
| US12252134B1 (en) | 2020-10-20 | 2025-03-18 | State Farm Mutual Automobile Insurance Company | Training and utilizing a machine-learning model to automatically predict an identity of a driver based on seat position |
| JP7593131B2 (ja) * | 2021-01-21 | 2024-12-03 | 大日本印刷株式会社 | 投影装置、検出装置、ランダム・ドット・パターンの設計方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0615968B2 (ja) * | 1986-08-11 | 1994-03-02 | 伍良 松本 | 立体形状測定装置 |
| BR9709679A (pt) * | 1996-06-13 | 2000-01-11 | Leuven K U Res & Dev | Sistema e processo para alcançar uma descrição de forma tridimencional. |
| JP2000068077A (ja) * | 1998-08-12 | 2000-03-03 | Yoshikazu Ichiyama | 投光照明システム |
| EP1067362A1 (en) | 1999-07-09 | 2001-01-10 | Hewlett-Packard Company | Document imaging system |
| JP2001298655A (ja) * | 2000-04-13 | 2001-10-26 | Sony Corp | 撮像装置および方法、並びに記録媒体 |
| JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
| JP4761670B2 (ja) * | 2001-08-27 | 2011-08-31 | 三洋電機株式会社 | 動立体モデル生成装置及び方法 |
| JP2003207324A (ja) * | 2002-01-16 | 2003-07-25 | Olympus Optical Co Ltd | 3次元情報取得装置及び3次元情報取得方法 |
| JP2003324751A (ja) | 2002-05-07 | 2003-11-14 | Toshiba Corp | 情報入力装置 |
| US6974373B2 (en) * | 2002-08-02 | 2005-12-13 | Geissler Technologies, Llc | Apparatus and methods for the volumetric and dimensional measurement of livestock |
| CN1176351C (zh) * | 2002-10-09 | 2004-11-17 | 天津大学 | 动态多分辨率的三维数字成像的方法及装置 |
| JP4115801B2 (ja) * | 2002-10-10 | 2008-07-09 | オリンパス株式会社 | 3次元撮影装置 |
| JP4229398B2 (ja) | 2003-03-28 | 2009-02-25 | 財団法人北九州産業学術推進機構 | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
| US7421111B2 (en) * | 2003-11-07 | 2008-09-02 | Mitsubishi Electric Research Laboratories, Inc. | Light pen system for pixel-based displays |
| US8050491B2 (en) * | 2003-12-17 | 2011-11-01 | United Technologies Corporation | CAD modeling system and method |
| CN1267766C (zh) * | 2003-12-26 | 2006-08-02 | 四川大学 | 用频闪结构照明实现高速运动物体三维面形测量的方法 |
| ATE463145T1 (de) * | 2004-11-19 | 2010-04-15 | Koninkl Philips Electronics Nv | Rückkopplungssystem zur steuerung der lichtleistung einer led-einheit |
| WO2007102195A1 (ja) * | 2006-03-07 | 2007-09-13 | Fujitsu Limited | 撮影装置、及び撮影方法 |
-
2006
- 2006-09-21 BR BRPI0621997-7A patent/BRPI0621997A2/pt not_active IP Right Cessation
- 2006-09-21 JP JP2009529162A patent/JP5317206B2/ja not_active Expired - Fee Related
- 2006-09-21 EP EP06803993A patent/EP2064676B1/en not_active Not-in-force
- 2006-09-21 US US12/310,704 patent/US8284194B2/en not_active Expired - Fee Related
- 2006-09-21 WO PCT/US2006/036839 patent/WO2008036092A1/en not_active Ceased
- 2006-09-21 CN CN2006800559071A patent/CN101512599B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8284194B2 (en) | 2012-10-09 |
| CN101512599A (zh) | 2009-08-19 |
| WO2008036092A1 (en) | 2008-03-27 |
| US20090322745A1 (en) | 2009-12-31 |
| EP2064676B1 (en) | 2011-09-07 |
| JP5317206B2 (ja) | 2013-10-16 |
| CN101512599B (zh) | 2012-07-18 |
| JP2010504522A (ja) | 2010-02-12 |
| EP2064676A1 (en) | 2009-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0621997A2 (pt) | mÉtodo e sistema para aquisiÇço de modelo tridimensional | |
| Wang et al. | Estimation of multiple directional light sources for synthesis of augmented reality images | |
| Nair et al. | A survey on time-of-flight stereo fusion | |
| Neumann et al. | Augmented virtual environments (ave): Dynamic fusion of imagery and 3d models | |
| Waschbüsch et al. | Scalable 3D video of dynamic scenes | |
| Thompson et al. | Detecting moving objects using the rigidity constraint | |
| US20170084075A1 (en) | Reflectance parameter estimation in real scenes using an rgb-d sequence | |
| Jiddi et al. | Reflectance and illumination estimation for realistic augmentations of real scenes | |
| Klaudiny et al. | High-detail 3D capture and non-sequential alignment of facial performance | |
| Elhayek et al. | Outdoor human motion capture by simultaneous optimization of pose and camera parameters | |
| Kerl et al. | Towards illumination-invariant 3D reconstruction using ToF RGB-D cameras | |
| CN108364292A (zh) | 一种基于多幅视角图像的光照估计方法 | |
| Boom et al. | Interactive light source position estimation for augmented reality with an RGB‐D camera | |
| Caspi et al. | Vertical parallax from moving shadows | |
| JPH04130587A (ja) | 3次元画像評価装置 | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| Selmanovic et al. | Enabling stereoscopic high dynamic range video | |
| Yagi et al. | Diminished reality for privacy protection by hiding pedestrians in motion image sequences using structure from motion | |
| Anderson et al. | Augmenting depth camera output using photometric stereo. | |
| Kim et al. | Planar abstraction and inverse rendering of 3D indoor environments | |
| Mukawa | Optical-model-based analysis of consecutive images | |
| Pine et al. | Estimation 2d illuminant direction and shadow segmentation in natural video sequences | |
| Plopski et al. | Reflectance and light source estimation for indoor AR Applications | |
| Leclercq et al. | Which stereo matching algorithm for accurate 3D face creation? | |
| KR20220153433A (ko) | 객체에 영상을 투영시키는 장치, 방법 및 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application fees: dismissal - article 86 of industrial property law |
Free format text: REFERENTE A 10A ANUIDADE. |
|
| B08K | Lapse as no evidence of payment of the annual fee has been furnished to inpi (acc. art. 87) |
Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2385 DE 20-09-2016 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013. |