ES2860940T3 - Método para generar una imagen panorámica - Google Patents

Método para generar una imagen panorámica Download PDF

Info

Publication number
ES2860940T3
ES2860940T3 ES14714416T ES14714416T ES2860940T3 ES 2860940 T3 ES2860940 T3 ES 2860940T3 ES 14714416 T ES14714416 T ES 14714416T ES 14714416 T ES14714416 T ES 14714416T ES 2860940 T3 ES2860940 T3 ES 2860940T3
Authority
ES
Spain
Prior art keywords
point
point model
view
model
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14714416T
Other languages
English (en)
Inventor
Bart Johannes Beers
Peter Joosten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CycloMedia Tech BV
Original Assignee
CycloMedia Tech BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CycloMedia Tech BV filed Critical CycloMedia Tech BV
Application granted granted Critical
Publication of ES2860940T3 publication Critical patent/ES2860940T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Método para generar una imagen panorámica de un área, que comprende las etapas de: proporcionar un modelo de puntos 3D (300) del área, en donde el modelo de puntos 3D comprende puntos con información de posición, los puntos que corresponden a uno o más elementos en una posición correspondiente a la información de posición; adquirir múltiples fotos digitales (200) del área, cada foto digital adquirida desde una posición conocida y con una orientación conocida, en donde las fotos digitales comprenden información de color sobre al menos una parte del uno o más elementos; proyectar las fotos digitales adquiridas en el modelo de puntos 3D para obtener un modelo de puntos 3D con información de color por punto; y generar la imagen panorámica asociada a un punto de vista virtual dado, orientación dada, y campo de visión dado mediante el uso del modelo de puntos 3D del área así obtenido, la imagen panorámica que corresponde a una imagen que se adquiriría si se usara una cámara óptica que registraría dicho campo de visión dado en dicho punto de vista virtual dado mediante el uso de dicha orientación dada; en donde dicha proporción de modelo de puntos 3D comprende escanear el área con una unidad de determinación de distancia desde una o más posiciones conocidas con el fin de determinar una distancia entre una o más posiciones conocidas y el uno o más elementos, en donde proporcionar el modelo de puntos 3D comprende de mover un vehículo (120) en el que la unidad de determinación de la distancia (122, 124) se monta a lo largo de una trayectoria, en donde el vehículo se mueve durante la determinación de la distancia; en donde dicha adquisición de múltiples fotos digitales del área comprende tomar fotos digitales, cada una desde una posición conocida, con una orientación conocida, y cada una con un campo de visión conocido, las múltiples fotos digitales del área se registran mediante el uso de una o más cámaras ópticas (112, 114) que se montan en un vehículo (110) que se mueve durante la adquisición de múltiples fotos digitales.

Description

DESCRIPCIÓN
Método para generar una imagen panorámica
La presente invención se refiere a un método para generar una imagen panorámica.
En el contexto de la presente invención se entiende por imagen panorámica una imagen que puede ser captada por medio de una pluralidad de cámaras ópticas, cuyas imágenes individuales se combinan para formar la imagen panorámica y en donde el campo de visión mostrado por la imagen panorámica es mayor que los campos de visión asociados con las cámaras ópticas con las que se han adquirido las imágenes individuales. Se entiende aquí por campo de visión la parte del área circundante vista desde una posición y orientación determinadas que puede verse por una cámara óptica o puede mostrarse por la imagen panorámica.
Las imágenes panorámicas pueden, por ejemplo, proporcionar información sobre la infraestructura que pueden utilizar los gobiernos, agentes inmobiliarios, empresas de servicios públicos, bancos, compañías de seguros y otros con el fin de evaluar situaciones locales, por ejemplo, la ubicación de la propiedad, el estado de los objetos de infraestructura y situaciones de tráfico locales.
En vista de la aplicación mencionada anteriormente, un requisito importante para las imágenes panorámicas es que las dimensiones de los elementos de la imagen, tal como la altura o el ancho de un edificio o una carretera, sean lo suficientemente precisas.
También existe un deseo constante de aumentar la resolución de las imágenes panorámicas. Debido a que la resolución de las cámaras ópticas no es suficiente, debe usarse una pluralidad de cámaras ópticas.
Un requisito adicional es que las imágenes individuales usadas para generar la imagen panorámica puedan adquirirse mediante un sistema montado en la parte superior o sobre un vehículo en movimiento, y que las cámaras ópticas puedan grabar las imágenes mientras el vehículo está en movimiento. Si este no fuera el caso, sería más difícil recopilar una cantidad suficiente de imágenes para un área grande tal como una región, un área local o un país.
Un problema conocido cuando se combinan múltiples imágenes es que estas imágenes generalmente no se han adquirido desde la misma posición y con la misma cámara óptica. Por lo que se producirán errores de paralaje. Se conocen varias técnicas para prevenir estos errores.
En una primera técnica se hace uso de una cámara óptica montada de manera giratoria. Al no desplazar la cámara, sino solo hacerla girar, pueden adquirirse varias imágenes desde más o menos la misma posición. Un inconveniente de esta técnica es que no es adecuada para adquirir imágenes de un vehículo en movimiento.
Una técnica conocida adicional se conoce por el documento US 2002/0089765 A1 y se refiere a la colocación de cámaras ópticas y espejos en un marco de manera que la luz incidente en un espejo se refleje en una cámara óptica, esto de manera que la pupila de entrada virtual asociada con esta cámara óptica es la misma que en las otras cámaras en el marco. Esto consigue que todas las cámaras vean las imágenes virtualmente desde la misma posición, a pesar de que todas las cámaras tienen una orientación diferente. Un inconveniente de esta técnica es que la obtención de una pupila de entrada virtual idéntica para todas las cámaras impone requisitos con respecto a la ubicación de las cámaras, por lo que este enfoque es menos adecuado para aumentar el número de cámaras, particularmente debido a que la colocación deseada es a veces imposible debido a las dimensiones físicas de las cámaras.
Otra técnica se conoce por el documento EP 1903534 A1 y se refiere a dos cámaras ópticas que se colocan una detrás de la otra en un eje longitudinal de un vehículo sobre el techo de este vehículo. Debido a que el vehículo se mueve, es posible lograr mediante un control adecuado de las cámaras para grabar una imagen que, en el momento en que se está grabando la imagen, cada cámara esté ubicada en la misma posición con respecto al área circundante. Un inconveniente de la técnica es que se limita a cámaras colocadas una detrás de otra en la dirección longitudinal del vehículo. El aumento en el número de cámaras puede describirse aquí como limitado. Otro inconveniente es que aún pueden ocurrir errores de paralaje cuando se negocian curvas
Un método para fabricar una geometría 3D del entorno se describe en: Xuexian Geng y otros. A Mobile System Using Lidar and Photogrammetry for Urban Spatial Objects Extraction. Information Engineering and Computer Science 2009. ICIECS 2009. International Conference On, IEEE. Piscataway, NJ, Estados Unidos, 19 de diciembre de 2009 (2009-12-19), páginas 1-4, XP031589802. ISBN: 978-1-4244-4994-1.
Es un objeto de la presente invención proporcionar un método para generar una imagen panorámica de un área circundante a un punto de vista virtual como se ve desde el punto de vista virtual y correspondiente a un campo de visión predeterminado que hace uso de múltiples imágenes, esta imagen panorámica que tiene pocos o ningún error de paralaje y en donde los inconvenientes mencionados anteriormente no ocurren, o casi nunca ocurren.
Este objeto se logra con el método de la reivindicación 1. De acuerdo con la invención el método comprende proporcionar un modelo de puntos tridimensional (3D) de un área circundante al punto de vista virtual, en donde el modelo de puntos 3D comprende puntos con información de posición y/o está formado por ellos y/o consta de los mismos, los puntos que corresponden a uno o más elementos alrededor del punto de vista virtual en una posición que corresponde a la información de posición. La imagen panorámica corresponde a una imagen que se adquiriría si se usara una cámara óptica en el punto de vista virtual que registra el campo de visión asociado a la imagen panorámica. Una cámara de este tipo que tiene la resolución deseada y el campo de visión deseado no existe generalmente, por lo que deben usarse múltiples imágenes.
Un punto en el modelo de puntos 3D corresponde preferentemente a la presencia de una estructura periférica de un objeto en una ubicación en el espacio que corresponde a la información de posición de ese punto. Un ejemplo de esto es una colección de puntos en el modelo de puntos 3D que corresponde a una pared exterior o fachada de un edificio.
Los puntos del modelo de puntos 3D corresponden a uno o más elementos alrededor del punto de vista virtual. Básicamente, toda el área circundante al punto de vista virtual se escanea preferentemente para este propósito con el fin de recopilar los puntos para el modelo de puntos 3D. No es necesario que el escaneo en sí tenga lugar aquí desde el punto de vista virtual. Sin embargo, el modelo de puntos 3D es preferentemente completo en la medida en que sea posible proporcionar una imagen panorámica fiel asociada con el punto de vista virtual y preferentemente con un campo de visión aleatorio, y particularmente con un campo de visión de 360 grados.
El método comprende además adquirir múltiples imágenes del área circundante al punto de vista virtual, cada imagen adquirida desde una posición conocida y con una orientación conocida, en donde las imágenes comprenden información de color sobre al menos una parte del uno o más elementos. Las imágenes generalmente corresponden aquí a fotos digitales en color.
El método comprende además proyectar las imágenes adquiridas sobre el modelo de puntos 3D para obtener un modelo de puntos 3D con información de color por punto. En esta etapa, el color del punto en el modelo de puntos 3D se determina por medio de la correlación entre puntos del modelo de puntos 3D y la imagen adquirida, más particularmente, elementos de esa imagen. Un ejemplo de esto es que un punto en el modelo de puntos 3D que corresponde a una ubicación en una pared de hormigón de un edificio se correlaciona con la misma ubicación en la foto digital de la pared o el edificio. El color de la foto digital de esta ubicación se usa como base para asignar un color al punto desde el modelo de puntos 3D. El color generalmente se corregirá para tener en cuenta factores ambientales tales como otras condiciones de luz cambiantes.
La etapa final del método consiste en generar la imagen panorámica mediante el uso del modelo de puntos 3D así obtenido del área circundante. El modelo de puntos 3D comprende información de posición e información de color. Por lo tanto, es posible calcular cuál debe ser la imagen panorámica vista desde el punto de vista virtual y con un campo de visión determinado.
Se conoce de "Towards a 3D true colored space by the fusion of laser scanner point cloud and digital photos", por A. Abdelhafiz y otros, ISPRS XXXVI-5 / W17, una técnica para calcular un modelo 3D de un objeto. Esta técnica también comprende proporcionar un modelo de puntos 3D y usar múltiples imágenes con el fin de asignar color a los puntos en el modelo de puntos 3D. Sin embargo, esta técnica tiene como objetivo determinar un modelo de puntos 3D en color. Se puede generar una vista del objeto con dicho modelo. Este documento no tiene por objeto proporcionar imágenes panorámicas. A diferencia de la presente invención, en este documento no se obtiene un modelo de puntos 3D con puntos que corresponden a uno o más elementos alrededor del punto de vista virtual en una posición correspondiente a la información de posición. La misma consideración se aplica a la adquisición de imágenes. Esto tiene lugar no desde una posición que cae dentro del modelo de puntos 3D, sino solo fuera de él. De acuerdo con la invención, el punto de vista virtual se sitúa preferentemente sobre o en la esfera, elipsoide, haz o caja envolvente más pequeña que encierra todos los puntos del modelo de puntos 3D. Esto significa que el punto de vista virtual se ubica preferentemente en el modelo de puntos 3D.
El modelo de puntos 3D de acuerdo con la invención proporciona preferentemente información sobre la presencia de uno o más elementos en direcciones correspondientes a un ángulo de visión en el plano horizontal, como se ve desde el punto de vista virtual, de 180 grados o con mayor preferencia de al menos 270 grados, y con mayor preferencia de 360 grados. Además o en su lugar, el modelo de puntos 3D de acuerdo con la invención proporciona preferentemente información sobre la presencia de uno o más elementos en direcciones correspondientes a un ángulo de visión en el plano vertical, como se ve desde el punto de vista virtual, de al menos 120 grados, preferentemente de al menos 150 grados y con mayor preferencia de 180 grados. Una unidad que se coloca en el punto de vista virtual y que gira puede usarse, por ejemplo, para escanear el área circundante. Sin embargo, no es necesario para la presente invención que la información asociada con las diferentes direcciones se obtenga desde una y la misma posición.
Proporcionar un modelo de puntos 3D comprende preferentemente escanear el área circundante al punto de vista virtual con una unidad de determinación de distancia desde una o más posiciones conocidas con el fin de determinar una distancia entre la una o más posiciones conocidas y el uno o más elementos. Determinar la distancia es aquí un ejemplo de escaneo del área circundante. No se excluyen aquí otras técnicas en las que el escaneo proporciona información sobre la presencia de un objeto, pero en las que la distancia no se mide directamente pero puede derivarse indirectamente. Tampoco se excluye el uso de una pluralidad de unidades de determinación de la distancia. Estas unidades pueden usarse de manera simultánea o secuencial.
Proporcionar el modelo de puntos 3D comprende preferentemente combinar múltiples determinaciones de distancia relativas al mismo elemento desde diferentes posiciones conocidas. De este modo se hace posible, por ejemplo, obtener información sobre características de un elemento, tal como una pared, que no son visibles desde el punto de vista virtual.
Proporcionar el modelo de puntos 3D comprende preferentemente mover a lo largo de una trayectoria un vehículo sobre el que se monta la unidad de determinación de la distancia, en donde el vehículo está parado o se mueve durante la determinación de la distancia. Debido a que el vehículo se mueve, la determinación de la distancia no tiene lugar en el punto de vista virtual. Sin embargo, el área circundante a este punto de vista puede escanearse adecuadamente. Será evidente para el experto en la técnica que la velocidad del vehículo y/o la velocidad de escaneo tendrá que modificarse opcionalmente si hay muchos elementos alrededor del punto de vista virtual para evitar una posible obstrucción del escaneo por un elemento.
El vehículo puede comprender una pluralidad de unidades que se dirigen en diferentes ángulos. Esto es particularmente ventajoso cuando la unidad de determinación de la distancia tiene un campo de visión limitado. Para evitar que el área circundante al punto de vista virtual se muestre incorrectamente en la imagen panorámica debido a que hay elementos entre el punto de vista virtual y una o más posiciones desde las que se escanea el área circundante, la distancia más corta entre la trayectoria a lo largo de la cual se realiza el movimiento y el punto de vista virtual puede hacerse más pequeña que un valor predeterminado.
La unidad de determinación de distancia comprende preferentemente una unidad de detección y determinación de distancia de luz (LIDAR).
El campo de visión de la imagen panorámica en el plano horizontal es preferentemente igual o superior a 180 grados, con mayor preferencia al menos 270 grados y aún con mayor preferencia 360 grados. El campo de visión de la imagen panorámica en el plano vertical es preferentemente igual o superior a 120 grados, con mayor preferencia al menos 150 grados y aún con mayor preferencia 180 grados. Sin embargo, el método de acuerdo con la presente invención permite el uso de un campo de visión aleatorio. Después de todo, es preferible disponer de un modelo 3D completo del área circundante provisto de información de color.
La información de posición comprende preferentemente información de posición tridimensional relativa a un origen predeterminado. Durante el escaneo se obtiene generalmente una distancia entre un elemento visto y la posición desde la que tiene lugar la visualización. Sin embargo, esta última posición puede ser variable. Al relacionar ahora toda la información de posición con el mismo origen, la información se puede incorporar más fácilmente en un modelo.
Preferentemente, las múltiples imágenes cubren sustancialmente toda el área circundante como se ve desde el punto de vista virtual. Si una imagen panorámica tiene un campo de visión limitado, por ejemplo, 100 grados en el plano horizontal, no es necesario para la imagen panorámica que las imágenes se hagan de toda el área circundante. Sin embargo, se recomienda que el campo de visión y el punto de vista virtual sean ajustables por un usuario. Este requisito puede cumplirse al cubrir ahora toda el área circundante con imágenes.
Al menos una de las imágenes adquiridas tiene preferentemente menos elementos de imagen que la imagen panorámica generada. Un elemento de imagen puede referirse aquí a un objeto en la imagen, pero también a un píxel de una foto digital. La resolución de la imagen panorámica, por ejemplo, medida en número total de píxeles por foto, se puede aumentar al hacer uso de múltiples imágenes, cada una adquirida con alta resolución pero relacionada solo con una parte del área circundante. Como un resultado, una imagen a menudo tendrá menos elementos que la imagen panorámica resultante.
La adquisición de múltiples imágenes del área circundante al punto de vista virtual comprende preferentemente tomar fotos digitales, cada una desde una posición conocida y cada una con un campo de visión conocido. Preferentemente, cada una de las fotos digitales se refiere aquí a un segmento del área circundante al punto de vista virtual. Además, los campos de visión asociados con al menos dos de las fotos digitales no se superponen y/o la posición desde la que se ha tomado la foto difiere en el caso de al menos dos fotos digitales. El área circundante está cubierta de hecho por una pluralidad de fotos digitales que sirven como mosaico.
La adquisición de las múltiples imágenes del área circundante al punto de vista virtual comprende preferentemente mover a lo largo de una trayectoria un vehículo en el que se monta la cámara óptica, en donde el vehículo está parado o se mueve durante la adquisición de las múltiples imágenes. La distancia más corta entre la trayectoria a lo largo de la cual tiene lugar el movimiento y el punto de vista virtual puede ser aquí menor que un valor predeterminado.
No se excluye que el vehículo para la determinación de la distancia y el vehículo para adquirir las imágenes sean el mismo vehículo. Si hay dos vehículos, se recomienda que ambos recorran la misma trayectoria.
La distancia entre el punto de vista virtual y cada una de las posiciones conocidas desde las que se adquieren las múltiples imágenes es preferentemente menor que un valor predeterminado. Sin embargo, esto no excluye la toma de múltiples fotos de las áreas circundantes a una pluralidad de puntos de vista virtuales. Sin embargo, se recomienda agrupar las fotos que sirven como información de color de un área circundante a un punto de vista virtual dado y asegurarse de que las posiciones desde las que se tomaron estas fotos no estén demasiado lejos del punto de vista virtual en sí.
La posición a partir de la cual se adquiere una imagen de las múltiples imágenes o la posición o posiciones conocidas para la determinación de la distancia se determina preferentemente por medio de un sistema de posicionamiento tal como el Sistema de Posicionamiento Global GPS.
La proyección de una imagen de las múltiples imágenes en el modelo de puntos 3D comprende preferentemente asignar un color a un punto en el modelo de puntos 3D, este color se basa en un color de un punto correspondiente en la imagen, que tiene en cuenta la información de posición de ese punto en el modelo de puntos 3D, la posición desde la que se ha adquirido la imagen y el campo de visión asociado con la imagen. Aquí se pueden usar líneas de proyección imaginarias que se extienden desde la posición desde la que se ha adquirido la imagen, normalmente correspondiente a la pupila de entrada de una cámara óptica, a través de la imagen hasta un punto o un punto imaginario en el modelo de puntos 3D correspondiente a un punto de la imagen por el que pasa la línea de proyección. La posición de la imagen entre el modelo de puntos 3D y la posición desde la que se ha adquirido la imagen se determina aquí, entre otros factores, por la ampliación usada y/o el campo de visión y/o la distancia entre un elemento en el modelo de puntos 3D y la posición desde la que se ha adquirido la imagen.
El color asignado de un punto en el modelo de puntos 3D se basa en el color de un punto correspondiente en la imagen. Aquí es posible corregir la intensidad de la luz y/o la composición de la luz.
La proyección de una imagen de las múltiples imágenes en el modelo de puntos 3D puede comprender más particularmente las etapas de a) determinar para un punto de la imagen un punto correspondiente en el modelo de puntos 3D que se encuentra más cerca de la posición conocida desde la cual se ha adquirido la imagen y que se ubica a menos de una distancia predeterminada de una línea de proyección que pasa por el punto desde la imagen y la posición conocida, y b) asignar un color al punto en el modelo de puntos 3D encontrado en la etapa a), en donde el color se deriva del color del punto correspondiente de la imagen.
El método puede comprender mejorar el modelo de puntos 3D sobre la base del modelo de puntos 3D existente y una imagen de las múltiples imágenes. El modelo de puntos 3D mejorado también puede usarse para generar la imagen panorámica.
Un ejemplo de mejora del modelo de puntos 3D comprende las etapas de a) determinar para un punto de la imagen una pluralidad de puntos correspondientes en el modelo de puntos 3D que se encuentran más cerca de la posición conocida desde la que se ha adquirido la imagen y que están ubicados menos que una distancia predeterminada desde una línea de proyección que pasa por el punto desde la imagen y la posición conocida, b) agregar un punto al modelo de puntos 3D, a dicho punto agregado se le asigna información de posición correspondiente a una interpolación de la información de posición de dicha pluralidad de puntos correspondientes, y c) asignar un color al punto agregado en la etapa b), en donde el color se deriva del color del punto correspondiente de la imagen. El número de puntos en el modelo de puntos 3D se puede aumentar con este método.
Además de buscar puntos correspondientes entre una imagen y el modelo de puntos 3D, el método de acuerdo con la presente invención puede comprender además las etapas de extraer una primera característica del objeto del modelo de puntos 3D y extraer una segunda característica del objeto, correspondiente a la primera característica del objeto, a partir de una imagen de las múltiples imágenes. La proyección de una imagen a partir de varias imágenes en el modelo de puntos 3D también puede basarse en una similitud entre las características del primer y el segundo objeto. El método puede comprender, por ejemplo, determinar un error de posición relativo entre la imagen y el modelo de puntos 3D al determinar la distancia entre la posición de la primera característica del objeto y la segunda característica del objeto. La información de posición de un punto en el modelo de puntos 3D, la posición conocida y/o la orientación a partir de la cual se ha adquirido la imagen pueden corregirse aquí mediante el error de posición relativo. Aquí se puede hacer uso de una ponderación relacionada con la precisión de la información. Por lo tanto, se puede realizar una mayor corrección en la posición conocida a medida que la precisión de esta posición disminuye con respecto a la orientación y/o la información de posición de un punto en el modelo de puntos 3d . De lo contrario, la determinación del error de posición relativa también puede tener lugar después de la proyección de la imagen en el modelo de puntos 3D. Por lo tanto, la proyección de un borde de un edificio sobre un modelo de puntos 3D no puede superponerse con el borde correspondiente en el modelo de puntos 3D, por lo que se puede derivar un error de posición relativa.
La invención se describirá con más detalle a continuación con referencia a las figuras adjuntas, en las que:
La Figura 1A muestra dos vehículos para realizar varias etapas de un método de acuerdo con la presente invención; La Figura 1B muestra una vista detallada de uno de los vehículos de la Figura 1A;
La Figura 2 muestra una vista esquemática de una foto para su uso en un método de acuerdo con la presente invención;
La Figura 3 muestra un modelo tridimensional para su uso en un método de acuerdo con la presente invención; La Figura 4 muestra un diagrama de flujo de un método de acuerdo con la presente invención;
La Figura 5 muestra un diagrama de flujo de un método más específico de acuerdo con la presente invención;
La Figura 6 muestra una vista axonométrica esquemática del método de acuerdo con la presente invención.
No es realmente importante per se para la invención cómo se obtienen las fotos requeridas y en qué dirección se toman. Siempre que esté disponible suficiente información de las imágenes para generar una imagen panorámica con el fin de asignar color a los puntos en el modelo de puntos 3D, se puede obtener una vista bidimensional del modelo de puntos 3D que da la impresión de ser una imagen panorámica en forma de una foto.
Un objeto de la presente invención es generar finalmente imágenes panorámicas del área circundante con un gran número de elementos de imagen de manera que el área circundante se muestre con gran detalle, mayor de lo que es posible con una sola grabación mediante una cámara convencional. En este ejemplo, por lo tanto, se hace uso, con fines ilustrativos y a modo de comparación con la técnica anterior, de un solo vehículo 110 (Figura 1A) con dos cámaras 112 y 114 montadas en él que no tienen exactamente la misma orientación pero tienen un ligero campo de visión superpuesto. De acuerdo con la técnica anterior, las grabaciones de estas cámaras 112 y 114 podrían combinarse mediante costura para formar una única imagen con un mayor número de elementos de imagen. Sin embargo, debido a la distancia entre las pupilas de entrada de las cámaras 112 y 114, esto producirá una imagen con errores de paralaje.
Además, se hace un modelo tridimensional del área circundante al proporcionar un vehículo 120 con dos dispositivos LIDAR 122 y 124 (Figuras 1A y 1B). Estos dispositivos LIDAR 122 y 124 tienen un rayo láser giratorio con el que se escanea el área circundante. Cada uno de los rayos láser giratorios define un plano respectivo 132 y 134 en el que los objetos 162, 164, 166 y 168 se detectan en el área circundante. Los dispositivos LIdAr 122 y 124 escanean solo en un plano 132, 134 pero, debido a que el vehículo 120 avanza sobre una carretera 150, se escanea toda el área circundante. Los dispositivos LIDAR 122 y 124 emiten un rayo láser. La distancia del dispositivo LIDAR a un objeto se puede determinar sobre la base del tiempo que tarda una reflexión en volver al dispositivo LIDAR 122, 124. Debido a que también se conoce la dirección en la que se emite el rayo láser, se conoce la posición relativa del objeto sobre el que se refleja el rayo láser en relación con el dispositivo LIDAR. Al almacenar también cada posición del dispositivo LIDAR 122, 124, determinada por ejemplo mediante GPS, se conoce así la posición absoluta de los reflejos.
La Figura 2 muestra un ejemplo de una grabación 200 realizada por una de las cámaras 112, 114. La grabación 200 muestra una vista de la carretera 150 y los objetos 162, 164, 166 y 168 en el área circundante. La grabación 200 se realiza preferentemente con alta resolución mediante el uso de una cámara digital 112, 114.
Se realiza un modelo 300 tridimensional (figura 3) del área circundante mediante el uso de dispositivos LIDAR 122, 124. Los objetos 162, 164, 166 y 168 se definen en el modelo de puntos 3D mediante los respectivos grupos de puntos 362, 364, 366 y 368. La carretera 150 también está definida por un grupo de puntos 370. Lo mismo ocurre con la superficie del suelo. Los puntos en el modelo de puntos 3D corresponden así a puntos donde la luz se ha reflejado debido a la presencia de una estructura material. La Figura 3 muestra una vista del modelo de puntos 3D 300 desde el mismo punto de vista desde el que se tomó la foto 200.
Un método ilustrativo 400 (Figura 4) de acuerdo con la presente invención comprende lo siguiente: el método se basa en una serie de fotos 200 que deben adquirirse 408 y un modelo de puntos 3D 300 (obtenido en la etapa 404) del área circundante donde se tomaron las fotos 200. El modelo de puntos 3D 300 podría ser, por ejemplo, un dibujo CAD tridimensional del área circundante. Sin embargo, estos dibujos a menudo no están disponibles, por ejemplo, en barrios más antiguos. Los dibujos CAD pueden estar disponibles de edificios individuales en vecindarios más nuevos. Los dibujos de barrios enteros son excepcionales. Además, estos dibujos a menudo no se han proporcionado con datos de posición absoluta. Por tanto, en la práctica se recomienda obtener el modelo de puntos 3D 300 mediante el uso de un dispositivo LIDAR 122, 124. Esto produce grupos de puntos en un espacio tridimensional sin más procesamiento, estos grupos de puntos representan las superficies exteriores de los objetos en el área circundante.
Una vez que se han adquirido el modelo de puntos 3D 300 y las fotos 200, las fotos 200 se proyectan 414 en el modelo de puntos 3D 300. Los elementos de imagen individuales de las fotos 200, por ejemplo en forma de píxeles, se proyectan al buscar el punto en el modelo de puntos 3D 300 a lo largo de la línea de proyección que se encuentra dentro de una distancia establecida de la línea de proyección y se encuentra más cerca del punto de vista del cual se tomó la foto 200. La línea de proyección se extiende aquí desde la pupila de entrada a través de la foto hasta el modelo de puntos 3D, ver Figura 6. El color del píxel se asigna luego a este punto correspondiente en el modelo de puntos 3D 300, en donde el color se modifica opcionalmente. El modelo de puntos 3D 300 está coloreado de esta manera mediante el uso de las fotos 200. La distancia establecida anteriormente indicada no tiene por qué ser una distancia fija. Un modelo de puntos 3D 300 obtenido al montar dispositivos LIDAR 122, 124 en un automóvil que circula por el área producirá, por lo tanto, nubes de puntos que son menos densas a mayor altura sobre el suelo que cerca del suelo, debido a que el dispositivo LIDAR 122, 124 escanea en un ángulo fijo durante la rotación y la distancia entre las líneas de escaneo individuales (las direcciones en las que se emite el rayo láser) diverge a medida que aumenta la distancia desde el dispositivo LIDAR 122, 124. En tales situaciones, es ventajoso hacer que la distancia establecida dependa, por ejemplo, de la altura sobre el suelo y/o la distancia al punto de vista desde el que se toma la foto.
A continuación, se determina un punto de vista 416 asociado con la imagen panorámica que se va a generar, así como también una orientación asociada, o dirección de visualización, y un campo de visión, con el fin de usar el modelo de puntos 3D 300 en la etapa siguiente, etapa 418, para generar la imagen panorámica, por lo que el método termina 420.
En una modalidad adicional (Figura 5) se toman etapas adicionales para reducir la posibilidad de que partes de las fotos 200 se proyecten sobre los objetos incorrectos en el modelo de puntos 3D 300. Este método 500 comienza 502 y en el primer caso realiza las etapas ya descritas anteriormente de obtener 504 el modelo de puntos 3D 300 y adquirir 508 las fotos 200.
Después de obtener 504 el modelo de puntos 3D 300, las características del objeto se extraen 506 del modelo de puntos 3D 300. Las características del objeto también se extraen 510 de las fotos 200. Las características del objeto deben entenderse como las características de los objetos que son relativamente fáciles de identificar tanto en el modelo de puntos 3D 300 como en las fotos 200, tales como bordes y esquinas de objetos que contrastan marcadamente con el fondo.
Una vez que se han extraído las características del objeto del modelo de puntos 3D 300 y de las fotos 200, se realiza una búsqueda 512 para los pares correspondientes de características del objeto en el modelo de puntos 3D 300 por un lado y en las fotos 200 por el otro. Las fotos 200 se proyectan una vez más 514 en el modelo de puntos 3D 300, aunque ahora se tienen en cuenta los pares de características del objeto correspondientes durante la proyección. Esto se hace al alinear mutuamente las características del objeto correspondiente en el proceso de proyección de modo que los puntos de imagen que pertenecen a los objetos del primer plano se proyecten, por ejemplo, sobre los objetos del primer plano, y los puntos de la imagen que pertenecen a los objetos del fondo se proyectan sobre los objetos del fondo. Al igual que en el método de la Figura 4, se determina entonces un punto de vista virtual 516 con orientación y campo de visión, tras lo cual se genera la imagen panorámica, por lo que el procedimiento finaliza 520.
Lo anterior se aclara con referencia a la Figura 6. Aquí se muestra un modelo 3D 300 de un edificio de iglesia, en donde el edificio de la iglesia está representado por un grupo de puntos que comprende puntos 310 como se podría obtener con un dispositivo LIDAR 122, 124. Con el fin de aclarar la figura, los bordes de los planos en el modelo de puntos 3D 300 se muestran en líneas de puntos. En el modelo de puntos 3D 300 real, los puntos 310 en o cerca de los bordes, sin embargo, no son fácilmente distinguibles de los otros puntos 310 que se encuentran, por ejemplo, en el centro de un plano.
Al menos una foto 200 se proyecta sobre el modelo de puntos 3D 300 a lo largo de las líneas de proyección 620. Las líneas de proyección 620 están determinadas por la geometría del sistema óptico de la cámara con la que se adquiere la foto 200 y se extienden desde la posición 621 de la pupila de entrada en el momento en que se toma la foto 200, pasando por la foto 200 y en la dirección del modelo de puntos 3D. El modelo de puntos 3D puede comprender múltiples puntos que se encuentran en las proximidades de la línea de proyección 620. Generalmente se elegirá el punto más cercano a la posición 621 y la línea de proyección 620. Esta proyección a lo largo de las líneas de proyección 620 asigna colores a los puntos 310 en el modelo de puntos 3D 300. Los puntos adicionales 310 se agregan opcionalmente al modelo de puntos 3D 300.
El modelo de puntos 3D 300 (opcionalmente de manera parcial) coloreado se usa luego para generar una imagen panorámica 600. Esto puede volver a tener lugar mediante proyección, aunque ahora desde el modelo de puntos 3D 300 en la dirección de un punto de vista virtual 622. Se hace uso para este propósito de las líneas de proyección 630 que se extienden desde los puntos del modelo de puntos 3D 300 hasta el punto de vista virtual 622.
Resultará evidente para el experto en la técnica que la modalidad mostrada en la Figura 6 sirve únicamente con fines ilustrativos. Este método se usa en la práctica para generar imágenes panorámicas que proporcionan una imagen de un área circundante al punto de vista virtual 622 y no un solo objeto como en la Figura 6. En tal caso, el modelo de puntos 3D comprende puntos alrededor del punto de vista virtual 622. El punto de vista virtual 622 es como si estuviera situado en el modelo de puntos 3D y no, como podría concluirse de la Figura 6, fuera del modelo de puntos 3D.
Las modalidades descritas aquí y mostradas en las figuras son solo modalidades ilustrativas que se incluyen solo con el propósito de ilustrar la invención. Por tanto, estas modalidades no deben considerarse limitativas. La protección buscada está limitada únicamente por las siguientes reivindicaciones.

Claims (15)

  1. REIVINDICACIONES
    i. Método para generar una imagen panorámica de un área, que comprende las etapas de:
    proporcionar un modelo de puntos 3D (300) del área, en donde el modelo de puntos 3D comprende puntos con información de posición, los puntos que corresponden a uno o más elementos en una posición correspondiente a la información de posición;
    adquirir múltiples fotos digitales (200) del área, cada foto digital adquirida desde una posición conocida y con una orientación conocida, en donde las fotos digitales comprenden información de color sobre al menos una parte del uno o más elementos;
    proyectar las fotos digitales adquiridas en el modelo de puntos 3D para obtener un modelo de puntos 3D con información de color por punto; y
    generar la imagen panorámica asociada a un punto de vista virtual dado, orientación dada, y campo de visión dado mediante el uso del modelo de puntos 3D del área así obtenido, la imagen panorámica que corresponde a una imagen que se adquiriría si se usara una cámara óptica que registraría dicho campo de visión dado en dicho punto de vista virtual dado mediante el uso de dicha orientación dada;
    en donde dicha proporción de modelo de puntos 3D comprende escanear el área con una unidad de determinación de distancia desde una o más posiciones conocidas con el fin de determinar una distancia entre una o más posiciones conocidas y el uno o más elementos, en donde proporcionar el modelo de puntos 3D comprende de mover un vehículo (120) en el que la unidad de determinación de la distancia (122, 124) se monta a lo largo de una trayectoria, en donde el vehículo se mueve durante la determinación de la distancia;
    en donde dicha adquisición de múltiples fotos digitales del área comprende tomar fotos digitales, cada una desde una posición conocida, con una orientación conocida, y cada una con un campo de visión conocido, las múltiples fotos digitales del área se registran mediante el uso de una o más cámaras ópticas (112, 114) que se montan en un vehículo (110) que se mueve durante la adquisición de múltiples fotos digitales.
  2. 2. Método como se reivindicó en la reivindicación 1, en donde el punto de vista virtual está situado sobre o en la esfera, elipsoide, haz o caja envolvente más pequeña que encierra todos los puntos del modelo de puntos 3D, y en donde el campo de visión de la imagen panorámica en el plano horizontal es igual o superior a 180 grados, preferentemente al menos 270 grados y con mayor preferencia 360 grados; y
    en donde el campo de visión de la imagen panorámica en el plano vertical es igual o superior a 120 grados, preferentemente al menos 150 grados y con mayor preferencia 180 grados.
  3. 3. Método como se reivindicó en la reivindicación 1 o 2, en donde dicha generación de una imagen panorámica se realiza mediante proyección desde el modelo de puntos 3D en la dirección del punto de vista virtual mediante el uso de líneas de proyección que se extienden desde los puntos del modelo de puntos 3D hasta el punto de vista virtual.
  4. 4. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde proyectar las fotos digitales adquiridas en el modelo de puntos 3D comprende además las etapas de:
    extraer una primera característica del objeto del modelo de puntos 3D;
    extraer una segunda característica del objeto, que corresponde a la primera característica del objeto, de una foto digital dada entre las múltiples fotos digitales;
    en donde la proyección de una foto digital de las múltiples fotos digitales en el modelo de puntos 3D tiene en cuenta la primera característica del objeto y la segunda característica del objeto al alinear mutuamente las características del objeto correspondientes en el proceso de proyección de modo que los puntos de imagen de dicha foto digital dada que pertenecen a los objetos de primer plano se proyectan sobre objetos de primer plano en el modelo de puntos 3D, y los puntos de imagen de dicha foto digital dada que pertenecen a objetos del fondo se proyectan sobre objetos del fondo en el modelo de puntos 3D;
    el método comprende además las etapas de:
    determinar un error de posición relativa entre la foto digital de la que se extrajo la segunda característica del objeto y el modelo de puntos 3D al determinar la distancia entre la posición de la primera característica del objeto y la segunda característica del objeto;
    corregir la información de posición de un punto en el modelo de punto 3D y corregir la posición conocida y la orientación de la que se ha adquirido la foto digital de la que se extrajo la característica del segundo objeto mediante el uso del error de posición relativa determinado, mediante el uso de una ponderación relacionada con la precisión para cada una de la información de posición del punto en el modelo de punto 3D, la posición conocida desde la cual se ha adquirido la foto digital de la que se extrajo la segunda característica del objeto y la orientación desde la cual se ha adquirido la foto digital de la que se extrajo la segunda característica del objeto.
  5. 5. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde el modelo de puntos 3D proporciona información sobre la presencia de uno o más elementos en direcciones correspondientes a un ángulo de visión en el plano horizontal, como se ve desde el punto de vista virtual, de 180 grados o con mayor preferencia de al menos 270 grados, y con mayor preferencia de 360 grados; y/o en donde el modelo de puntos 3D proporciona información sobre la presencia de uno o más elementos en direcciones correspondientes a un ángulo de visión en el plano vertical, como se ve desde el punto de vista virtual, de al menos 120 grados, preferentemente de al menos 150 grados, y con mayor preferencia de 180 grados.
  6. 6. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde proporcionar el modelo de puntos 3D comprende combinar múltiples determinaciones de distancia relativas al mismo elemento desde diferentes posiciones conocidas.
  7. 7. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde el vehículo comprende una pluralidad de unidades de determinación de distancia que se dirigen en diferentes ángulos.
  8. 8. Método como se reivindicó en cualquiera de las reivindicaciones 1-6, en donde la distancia más corta entre la trayectoria a lo largo de la cual tiene lugar el movimiento del vehículo sobre el que se monta la unidad de determinación de distancia y el punto de vista virtual es menor que un valor predeterminado.
  9. 9. Método como se reivindicó en cualquiera de las reivindicaciones 1-6, en donde la unidad de determinación de distancia comprende una unidad LIDAR.
  10. 10. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde la información de posición comprende información de posición tridimensional relativa a un origen predeterminado.
  11. 11. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde las múltiples fotos digitales cubren sustancialmente toda el área circundante como se ve desde el punto de vista virtual y/o en donde al menos una de las fotos digitales adquiridas tiene menos elementos de imagen que la imagen panorámica generada, y/o en donde cada una de las fotos digitales se relaciona con un segmento del área circundante al punto de vista virtual.
  12. 12. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde los campos de visión asociados con al menos dos de las fotos digitales no se superponen y/o en donde la posición desde la que se ha tomado una foto difiere en el caso de al menos dos fotos digitales.
  13. 13. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde la distancia más corta entre la trayectoria a lo largo de la cual tiene lugar el movimiento del vehículo sobre el que se montan una o más cámaras ópticas y el punto de vista virtual es menor que un valor predeterminado, y/o en donde la distancia entre el punto de vista virtual y cada una de las posiciones conocidas desde las que se adquieren las múltiples fotos digitales es menor que un valor predeterminado, y/o en donde la posición desde la cual se adquiere una foto digital de las múltiples fotos digitales o la(s) posición(ones) conocida(s) para la determinación de la distancia se determinan mediante un sistema de posicionamiento tal como el GPS.
  14. 14. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, en donde la proyección de una foto digital a partir de las múltiples fotos digitales sobre el modelo de puntos 3D comprende asignar un color a un punto en el modelo de puntos 3D, este color que se basa en un color de un punto correspondiente en la foto digital, que tiene en cuenta la información de posición de ese punto en el modelo de puntos 3D, la posición desde la cual se ha adquirido la foto digital y el campo de visión asociado con la foto digital;
    en donde la proyección de una foto digital a partir de múltiples fotos digitales en el modelo de puntos 3D comprende preferentemente:
    a) determinar para un punto de la foto digital un punto correspondiente en el modelo de puntos 3D que se encuentra más cerca de la posición conocida desde la cual se ha adquirido la foto digital y que se ubica a menos de una distancia predeterminada de una línea de proyección que pasa a través del punto desde la foto digital y la posición conocida;
    b) asignar un color al punto en el modelo de puntos 3D encontrado en la etapa a), en donde el color se deriva del color del punto correspondiente de la foto digital.
  15. 15. Método como se reivindicó en cualquiera de las reivindicaciones anteriores, que comprende además mejorar el modelo de puntos 3D sobre la base del modelo de puntos 3D existente y una foto digital de las múltiples fotos digitales;
    en donde la generación de la imagen panorámica mediante el uso del modelo 3D así obtenido del área circundante comprende la generación mediante el uso del modelo de puntos 3D mejorado;
    en donde la mejora del modelo de puntos 3D comprende:
    a) determinar para un punto de la foto digital una pluralidad de puntos correspondientes en el modelo de puntos 3D que se encuentran más cerca de la posición conocida desde la cual se ha adquirido la foto digital y que se ubican a menos de una distancia predeterminada de una línea de proyección que pasa a través del punto desde la foto digital y la posición conocida;
    b) añadir un punto al modelo de puntos 3D, a dicho punto agregado se le asigna información de posición correspondiente a una interpolación de la información de posición de dicha pluralidad de puntos correspondientes;
    c) asignar un color al punto agregado en la etapa b), en donde el color se deriva del color del punto correspondiente de la foto digital.
ES14714416T 2013-03-15 2014-03-17 Método para generar una imagen panorámica Active ES2860940T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NL2010463A NL2010463C2 (nl) 2013-03-15 2013-03-15 Werkwijze voor het genereren van een panoramabeeld.
PCT/NL2014/050158 WO2014142669A1 (en) 2013-03-15 2014-03-17 Method for generating a panoramic image

Publications (1)

Publication Number Publication Date
ES2860940T3 true ES2860940T3 (es) 2021-10-05

Family

ID=48142901

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14714416T Active ES2860940T3 (es) 2013-03-15 2014-03-17 Método para generar una imagen panorámica

Country Status (9)

Country Link
US (1) US10602059B2 (es)
EP (1) EP2972586B1 (es)
BR (1) BR112015023686A2 (es)
CA (1) CA2907047C (es)
DK (1) DK2972586T3 (es)
ES (1) ES2860940T3 (es)
NL (1) NL2010463C2 (es)
PL (1) PL2972586T3 (es)
WO (1) WO2014142669A1 (es)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6347674B2 (ja) * 2014-06-04 2018-06-27 株式会社トプコン レーザスキャナシステム
US9992412B1 (en) * 2015-04-15 2018-06-05 Amazon Technologies, Inc. Camera device with verged cameras
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US12495134B2 (en) 2015-07-15 2025-12-09 Fyusion, Inc. Drone based capture of multi-view interactive digital media
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US12261990B2 (en) 2015-07-15 2025-03-25 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
GB2555585A (en) * 2016-10-31 2018-05-09 Nokia Technologies Oy Multiple view colour reconstruction
DE112017006840B4 (de) * 2017-01-16 2023-11-02 Fujitsu Limited Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US20180227482A1 (en) 2017-02-07 2018-08-09 Fyusion, Inc. Scene-aware selection of filters and effects for visual digital media content
EP3615961B1 (en) 2017-05-15 2024-10-02 Ouster, Inc. Augmenting panoramic lidar results with color
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN108132052A (zh) * 2018-02-06 2018-06-08 武汉市云宇智能科技有限责任公司 一种电子全站仪及其使用方法
CN112106063B (zh) 2018-03-20 2025-05-16 Pcms控股公司 用于动态调整点云的细节级别系统及方法
US11373319B2 (en) 2018-03-20 2022-06-28 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10748257B2 (en) * 2018-06-29 2020-08-18 Topcon Corporation Point cloud colorization with occlusion detection
JP7249755B2 (ja) * 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
WO2020123686A1 (en) 2018-12-14 2020-06-18 Pcms Holdings, Inc. System and method for procedurally colorizing spatial data
JP7215231B2 (ja) * 2019-03-04 2023-01-31 トヨタ自動車株式会社 情報処理装置、検知方法及びプログラム
KR102535136B1 (ko) 2021-08-05 2023-05-26 현대모비스 주식회사 영상정합장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
AU9663098A (en) * 1997-09-23 1999-04-12 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
AU2005214407A1 (en) * 2004-02-18 2005-09-01 Bloodworth, Keith Adaptive 3D image modelling system and appartus and methode therefor
US20070065002A1 (en) * 2005-02-18 2007-03-22 Laurence Marzell Adaptive 3D image modelling system and apparatus and method therefor
EP1903534B1 (en) 2006-09-22 2008-12-10 CycloMedia Technology B.V. Method and system for producing a panoramic image from a vehicle
WO2008048088A1 (en) * 2006-10-20 2008-04-24 Tele Atlas B.V. Computer arrangement for and method of matching location data of different sources
WO2008150153A1 (en) * 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
MX2012014098A (es) 2010-06-01 2013-08-27 Zte Corp Metodos y sistemas para asignacion de recursos de csi-rs en un sistema de lte avanzada.
US8977074B1 (en) * 2010-09-29 2015-03-10 Google Inc. Urban geometry estimation from laser measurements

Also Published As

Publication number Publication date
EP2972586A1 (en) 2016-01-20
BR112015023686A2 (pt) 2017-09-26
PL2972586T3 (pl) 2021-07-12
US20160044240A1 (en) 2016-02-11
DK2972586T3 (da) 2021-03-15
NL2010463C2 (nl) 2014-09-16
CA2907047C (en) 2022-03-01
WO2014142669A1 (en) 2014-09-18
CA2907047A1 (en) 2014-09-18
US10602059B2 (en) 2020-03-24
EP2972586B1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
ES2860940T3 (es) Método para generar una imagen panorámica
ES2359852T3 (es) Método y sistema para el mapeo de datos de sensores de alcance sobre datos de sensores de imagen.
ES2788687T3 (es) Procedimientos de dirección de línea de corte para formar una imagen de mosaico de un área geográfica
ES2787226T3 (es) Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas
Haala Benchmarking high density image matching for oblique airborne imagery
ES2887202T3 (es) Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes, y programa
EP2973420B1 (en) System and method for distortion correction in three-dimensional environment visualization
Wagner A new approach for geo-monitoring using modern total stations and RGB+ D images
ES2882402T3 (es) Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo
EP2588882B1 (en) Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo
JP4978615B2 (ja) 対象特定装置
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
KR20090042249A (ko) 매핑 애플리케이션을 위한 모델링 및 텍스처링을 용이하게 하는 시스템, 및 수치 표면 모델(ｄｓｍ) 텍스처링 및 모델링을 위한 방법
EP2022007A2 (en) System and architecture for automatic image registration
ES2912192T3 (es) Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
ES3053009T3 (en) Method for geolocation and qualification of signalling infrastructure devices
CN111147834A (zh) 一种基于增强现实抬头显示的虚拟图像标定方法
Gschwandtner et al. Infrared camera calibration for dense depth map construction
Elias et al. Multi-modal image matching to colorize a SLAM based point cloud with arbitrary data from a thermal camera
Lanman et al. Surround structured lighting for full object scanning
ES2935651A2 (es) Método y sistema de modelado 3D
NL2016718B1 (en) A method for improving position information associated with a collection of images.
JP2019066289A5 (es)
Huang et al. Wide-angle vision for road views