ES2654101T3 - Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto - Google Patents

Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto Download PDF

Info

Publication number
ES2654101T3
ES2654101T3 ES14708850.4T ES14708850T ES2654101T3 ES 2654101 T3 ES2654101 T3 ES 2654101T3 ES 14708850 T ES14708850 T ES 14708850T ES 2654101 T3 ES2654101 T3 ES 2654101T3
Authority
ES
Spain
Prior art keywords
roi
image sensor
sensor device
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14708850.4T
Other languages
English (en)
Inventor
Mattias Johannesson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick IVP AB
Original Assignee
Sick IVP AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick IVP AB filed Critical Sick IVP AB
Application granted granted Critical
Publication of ES2654101T3 publication Critical patent/ES2654101T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

Un método, realizado por un dispositivo sensor (130) de imagen, para proporcionar datos de imagen relativos a una imagen de un objeto (120; 121; 501), comprendiendo el dispositivo sensor (130) de imagen un sensor (131) de imagen que tiene una zona sensible (132) para detectar luz, en donde el método comprende: - definir (401) regiones de interés "ROI" (301a-303a) en la zona sensible (132), solapando parcialmente cada ROI (301a; 302a; 303a) una o varias de las otras ROI (301a-303a), - exponer (402) las ROI (301a-303a) individualmente a luz proveniente del objeto y en donde se exponen las ROI (301a-303a) de manera que todos los píxeles pertenecientes a una misma ROI comienzan y terminan su exposición al mismo tiempo, - leer (403) datos parciales de imagen pertenecientes a grupos de datos parciales de imagen, los grupos respectivamente asociados con las ROI (301a-303a) expuestas, siendo los datos parciales de imagen resultantes de luz detectada en las ROI (301a-303a) expuestas, y - proporcionar (405), basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.

Description

imagen1
DESCRIPCIÓN
Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto
Campo técnico
5 Realizaciones de la presente memoria se refieren a un dispositivo sensor de imagen, un sistema de medición, métodos de los mismos, un programa informático y un producto de programa informático. En particular, realizaciones de la presente memoria se refieren a proporcionar datos de imagen relativos a una imagen de un objeto y proporcionar características tridimensionales del objeto.
Antecedentes
10 Las cámaras para visión industrial y los sistemas para la automatización fabril y logística se basan a menudo en la visión artificial tridimensional (3D), donde se capturan imágenes 3D de un objeto. Se denominan imágenes 3D las imágenes que también codifican información de "profundidad" y no solamente de intensidad y/o color de posiciones de píxel en dos dimensiones (2D), como hace una imagen convencional. Después se aplica procesamiento para extraer información acerca de características del objeto a partir de las imágenes 3D, es decir, características 3D del
15 objeto.
Los sistemas de visión artificial 3D se basan a menudo en la triangulación activa. En un sistema de este tipo existe una fuente luminosa que ilumina el objeto con un patrón lumínico específico. Es común utilizar una lámina de luz como patrón lumínico específico, por ejemplo, producida mediante luz láser. Se dispone entonces una cámara con un sensor de imagen con respecto a la fuente luminosa y al objeto de manera que el patrón lumínico específico, 20 cuando es reflejado por el objeto, se convierte en luz que incide en el sensor de imagen. La parte del objeto que, por reflexión, origina la luz que incide en el sensor de imagen, es capturada por la cámara y el sensor de imagen, y se generan datos de imagen. Conociendo la geometría del sistema, se pueden convertir después los datos de imagen, por ejemplo, en los denominados "datos de rango" que proporcionan información acerca de una forma 3D, lo que puede denominarse "perfil", del objeto, correspondiente a allí donde se ha reflejado sobre el objeto el patrón lumínico
25 específico. Si se mueve la fuente luminosa y/o el objeto, de forma que se iluminen múltiples partes del objeto y reflejen luz que sea capturada por el sensor de imagen, se pueden generar datos que describen una forma 3D más completa del objeto, por ejemplo, correspondientes a múltiples perfiles consecutivos, y se puede crear un modelo 3D del objeto.
Especialmente en aplicaciones industriales, el tiempo está a menudo estrechamente relacionado con el coste y, por
30 consiguiente, uno de los factores más importantes es una velocidad elevada. Es deseable poder capturar, procesar y proporcionar resultados, por ejemplo datos de imagen correspondientes a perfiles del objeto, con suficiente precisión y velocidad. Lo "suficiente" difiere según los casos y, por ejemplo, depende de la aplicación para la que se vaya a utilizar la salida de visión artificial, etc.
Un factor que limita la velocidad de un sistema de visión artificial 3D del tipo descrito en lo que antecede es la
35 velocidad del sensor de imagen que se utilice, que puede estar implementado en forma de un circuito integrado específico de aplicación (ASIC, por sus siglas en inglés) y/o comprendido en un "sistema en chip" (SoC, por sus siglas en inglés). Típicamente, el sensor de imagen está comprendido en un dispositivo sensor de imagen que puede incorporar asimismo funcionalidades adicionales, por ejemplo, relacionadas con el procesamiento de la salida de datos del sensor de imagen. Un ejemplo de dispositivo sensor de imagen lo constituye una cámara utilizada por
40 un sistema de visión artificial 3D, cámara que comprende una lente y componentes electrónicos que conectan con el sensor de imagen. Otro ejemplo lo constituye un SoC que comprende el sensor de imagen y cierto procesamiento de datos de imagen proporcionado por el sensor de imagen. En cualquier caso, la velocidad del dispositivo sensor de imagen está relacionada con la rapidez con la que el sensor de imagen adquiere y proporciona los datos de imagen y con la rapidez con que se lleva a cabo el eventual procesamiento implicado. Los dispositivos sensores de imagen
45 para sistemas de visión artificial 3D están a menudo adaptados específicamente a ciertas aplicaciones y, por ejemplo, permiten cierto control del dispositivo sensor de imagen y/o proporcionan cierta funcionalidad, lo que puede implicar que se realice más o menos procesamiento "en el chip". Por regla general, se proporciona este tipo de adaptación específica para algunas aplicaciones al objeto de permitir mayor velocidad, menor coste, tamaño más pequeño, menor consumo de energía, etc.
50 En el documento GB 2492387 (A) se describe un ejemplo de un dispositivo sensor de imagen que comprende una matriz de píxeles sensores de imagen. La matriz de píxeles sensores de imagen comprende una pluralidad de estructuras de píxel. La disposición permite el control selectivo de filas y columnas de píxeles que se pueden seleccionar para definir píxeles individuales o bien grupos o regiones de píxeles con un control de tiempo de exposición distinto al aplicado al resto de la matriz.
55 El documento US 6,415,051 B1 describe un dispositivo para obtención de imágenes que comprende un sensor de imagen que tiene una zona sensible para detectar luz, en donde dicho dispositivo para obtención de imágenes está adaptado para combinar una secuencia de imágenes con el fin de obtener un modelo completo del objeto
imagen2
Compendio
En vista de lo anterior, es un objeto proporcionar mejoras relativas a proporcionar características 3D de un objeto en sistemas de visión artificial 3D.
Según un primer aspecto de realizaciones de la presente memoria, el objeto se logra mediante un método, realizado
5 por un dispositivo sensor de imagen, para proporcionar datos de imagen relativos a una imagen de un objeto. El dispositivo sensor de imagen comprende un sensor de imagen que tiene una zona sensible para detectar luz. El dispositivo sensor de imagen define regiones de interés (ROI, por sus siglas en inglés) en la zona sensible. Cada ROI solapa parcialmente una o varias de las otras ROI. El dispositivo sensor de imagen expone las ROI individualmente a luz proveniente del objeto. El dispositivo sensor de imagen lee datos parciales de imagen
10 pertenecientes a grupos asociados respectivamente con las ROI expuestas y que resultan de la luz detectada en las mismas. El dispositivo sensor de imagen proporciona, basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.
Según un segundo aspecto de realizaciones de la presente memoria, el objeto se logra mediante un dispositivo sensor de imagen para proporcionar datos de imagen relativos a una imagen de un objeto. El dispositivo sensor de 15 imagen comprende un sensor de imagen que tiene una zona sensible para detectar luz. El dispositivo sensor de imagen está configurado para definir regiones ROI en la zona detectora de imagen. Cada ROI solapa parcialmente una o varias de las otras ROI. El dispositivo sensor de imagen está configurado para exponer las ROI individualmente a luz proveniente del objeto. Además, el dispositivo sensor de imagen está configurado para leer datos parciales de imagen pertenecientes a grupos asociados respectivamente con las ROI expuestas y que
20 resultan de la luz detectada en las mismas. Además, el dispositivo sensor de imagen está configurado para proporcionar, basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.
Según un tercer aspecto de realizaciones de la presente memoria, el objeto se logra mediante un programa informático que, cuando es ejecutado por un aparato de procesamiento de datos, hace que el dispositivo sensor de
25 imagen realice el método según el primer aspecto y/o hace que se sintetice hardware, y/o se configure, como el dispositivo sensor de imagen según el segundo aspecto.
Según un cuarto aspecto de realizaciones de la presente memoria, el objeto se logra mediante un producto de programa informático que comprende un medio legible por ordenador y un programa informático según el tercer aspecto almacenado en el medio legible por ordenador.
30 Según un quinto aspecto de realizaciones de la presente memoria, el objeto se logra mediante un sistema de medición para proporcionar información acerca de características tridimensionales del objeto basada en datos de imagen proporcionados procedentes del dispositivo sensor de imagen según el segundo aspecto. El sistema de medición comprende el dispositivo sensor de imagen y comprende además una fuente luminosa configurada para iluminar el objeto con un patrón lumínico específico. La fuente luminosa y el sensor de imagen están dispuestos uno
35 con respecto a otro de manera que el patrón lumínico, cuando es reflejado por el objeto, se convierte al menos parcialmente en luz que incide en la zona sensible y es detectada como dicha luz proveniente del objeto. De este modo, los datos de imagen proporcionados comprenden información que se puede convertir en las características tridimensionales del objeto con respecto a posiciones sobre el objeto, posiciones que originan dicha luz que incide en la zona sensible.
40 Para resolver problemas relativos a proporcionar características 3D del objeto a través de la obtención de imágenes, por diversas razones es deseable poder aplicar distintas exposiciones y/o procesamiento a distintas partes de cada imagen utilizada para proporcionar las características 3D. Esto, así como la ejecución rápida, lo hacen posible realizaciones de la presente memoria. Por ejemplo, a través de las ROI y del uso de las mismas como se ha descrito en lo que antecede se hace posible una exposición distinta y al mismo tiempo un procesamiento relativamente
45 simple de datos de imagen en cada ROI, especialmente con el fin de proporcionar información acerca de características 3D basada en los datos de imagen. En lugar de, por ejemplo, exponer por completo y de manera secuencial la zona sensible con distintas exposiciones, las ROI parcialmente solapantes permiten una exposición y procesamiento paralelos que implican cantidades reducidas de datos, mientras que, al mismo tiempo, el solapamiento parcial reduce el riesgo de que falte información, por ejemplo información acerca de posiciones de
50 pico, que sea importante para proporcionar la información acerca de características 3D. Además, la manipulación y el procesamiento por cada ROI facilitan la implementación "en el chip". Más aún, se facilita el procesamiento en el chip de datos parciales de imagen por cada ROI, y ello permite reducir la cantidad de datos que deben salir del chip para ulterior procesamiento, en comparación con soluciones donde, por ejemplo, todos los datos de imagen para la imagen completa se procesan fuera del chip.
55 Breve descripción de los dibujos
Se describen con más detalle ejemplos de realizaciones de la presente memoria haciendo referencia a los dibujos esquemáticos adjuntos.
imagen3
La Figura 1a es un diagrama esquemático de bloques que representa un ejemplo de un sistema de medición relevante para realizaciones de la presente memoria.
La Figura 1b es una ilustración esquemática para explicar relaciones y principios operativos relativos al sistema de medición.
5 La Figura 2 es un diagrama esquemático de bloques que representa un dispositivo sensor de imagen según realizaciones de la presente memoria.
Las Figuras 3a-d son diagramas esquemáticos de bloques que muestran ejemplos de cómo se pueden definir regiones de interés (ROI) relevantes para realizaciones de la presente memoria en una zona sensible.
La Figura 4 es un diagrama de flujo que ilustra un método, realizado por un dispositivo sensor de imagen, según 10 realizaciones de la presente memoria.
Las Figuras 5a-c son ilustraciones esquemáticas para ejemplificar la manipulación de picos de intensidad en el contexto de realizaciones de la presente memoria.
La Figura 6 es una ilustración esquemática para ejemplificar la exposición de diferentes ROI en el contexto de realizaciones de la presente memoria.
15 La Figura 7 es una ilustración esquemática para ejemplificar el solapamiento parcial entre regiones ROI, en el contexto de realizaciones de la presente memoria.
Las Figuras 8a-b son diagramas esquemáticos de bloques que ilustran un dispositivo sensor de imagen y un sistema de medición según realizaciones de la presente memoria.
Las Figuras 9a-d son dibujos esquemáticos para ilustrar realizaciones relacionadas con el programa informático, 20 relativas al dispositivo sensor de imagen.
Descripción detallada
La Figura 1a es un diagrama esquemático de bloques que representa un ejemplo de un sistema 100 de medición, con respecto al cual se explicarán realizaciones de la presente memoria. El sistema de medición es adecuado para proporcionar información acerca de características tridimensionales (3D) de objetos y puede corresponder a un 25 sistema de visión artificial configurado para triangulación activa. El sistema 100 de medición comprende una fuente luminosa 110 para iluminar con un patrón lumínico específico 112, en la figura ejemplificado como una lámina de luz, objetos de los que se van a obtener imágenes. La luz puede ser luz láser, pero no es necesario. En el ejemplo mostrado, los objetos están ejemplificados por un primer objeto 120 con la forma de un coche y un segundo objeto 121 con la forma de una construcción de rueda dentada. Cuando el patrón lumínico específico 112 incide sobre un 30 objeto, esto corresponde a una proyección del patrón lumínico específico 112 sobre el objeto, que puede verse a medida que el patrón lumínico específico 112 se interseca con el objeto. En el ejemplo mostrado, por ejemplo, el patrón lumínico específico 112, ejemplificado como lámina de luz, origina una línea 111 de luz sobre el primer objeto
120. El patrón lumínico específico 112 es reflejado por el objeto, más específicamente por partes del objeto en la intersección, es decir, en la línea 111 de luz en el ejemplo mostrado. El sistema 100 de medición comprende 35 además un dispositivo sensor 130 de imagen, en la figura ejemplificado como una cámara, que comprende un sensor 131 de imagen, que está dispuesto con respecto a la fuente luminosa 110 y a los objetos de los que se van obtener imágenes de manera que el patrón lumínico específico, cuando es reflejado por los objetos, se convierte en luz que incide en el sensor 131 de imagen. El sensor 130 de imagen es una disposición, típicamente implementada como un chip, para convertir luz incidente en datos de imagen. Dichas partes del objeto, que por reflexión originan 40 dicha luz que incide en el sensor 131 de imagen, pueden ser así capturadas por el dispositivo sensor 130 de imagen y el sensor 131 de imagen, y se pueden producir y suministrar para uso ulterior datos de imagen correspondientes. Por ejemplo, en el ejemplo mostrado el patrón lumínico específico 112, en la línea de luz 111 sobre una parte del techo del coche del primer objeto 120, será reflejado hacia el dispositivo sensor 130 de imagen y el sensor 131 de imagen, que de ese modo pueden producir y proporcionar información que codifica datos de imagen acerca de dicha
45 parte del techo del coche. Conociendo la geometría del sistema 100 de medición, por ejemplo, de qué manera se relacionan las coordenadas del sensor de imagen con las coordenadas universales, por ejemplo coordenadas de un sistema 123 de coordenadas, relevante para el objeto del que se están obteniendo imágenes, se pueden convertir los datos de imagen para proporcionar información acerca de características 3D, por ejemplo una forma 3D o perfil del objeto del que se están obteniendo imágenes.
50 Si, por ejemplo, se mueven la fuente luminosa 110 y/o el objeto del que se van a obtener imágenes, por ejemplo el primer objeto 120 o el segundo objeto 121, de modo que se iluminan múltiples partes del objeto y originan luz reflejada sobre el sensor 131 de imagen, se pueden producir datos de imagen que describen una forma 3D más completa del objeto, por ejemplo correspondientes a múltiples perfiles consecutivos del objeto, tales como los perfiles 140-1 -140-K que se muestran del primer objeto 120.
55 Tal como se indica en la Figura 1a, se puede emplear una cinta transportadora 122 o similar para desplazar los objetos a través del patrón lumínico específico 112, siendo típicamente estacionarios la fuente luminosa 110 y el dispositivo sensor 130 de imagen, de manera que se iluminan todas las partes de cada objeto, o al menos todas las partes que están orientadas hacia la fuente luminosa 110.
imagen4
5 La información acerca dichas características 3D, por ejemplo dicha forma o perfil 3D o dichas formas o perfiles 3D, puede comprender datos que describan características 3D en cualquier formato adecuado. Los denominados datos de rango son un ejemplo de datos utilizados frecuentemente para describir características 3D. La información acerca de características 3D la puede proporcionar el dispositivo sensor 130 de imagen directamente o, por ejemplo, desde un ordenador y/o algún hardware de finalidad específica, configurado para trabajar sobre datos de salida
10 procedentes del dispositivo sensor 130 de imagen. Los datos de salida se basan en datos de imagen procedentes del sensor 131 de imagen.
Se llama la atención sobre el hecho de que la Figura 1a es solo esquemática y tiene un fin ilustrativo, y que no todo lo que se muestra en la figura es necesario para todas las realizaciones de la presente memoria, como quedará evidenciado a partir del siguiente.
15 La Figura 1b es una ilustración esquemática para mostrar y describir principios básicos del sensor 131 de imagen y de qué manera se pueden proporcionar características 3D de un objeto basándose en datos de imagen procedentes del sensor 131 de imagen. La parte izquierda de la Figura 1b muestra una zona sensible 132 del sensor 131 de imagen. La zona sensible 132 es adecuada para detectar luz, es decir, luz que incide en la zona sensible 132, y tiene una resolución de NxM elementos sensores de imagen, correspondientes a píxeles, donde N es el número total
20 de filas con elementos sensores y M es el número total de columnas con elementos sensores. Se dibuja la zona sensible 132 en un sistema local de coordenadas del sensor de imagen, donde m indica la posición de la columna y n indica la posición de la fila. Por lo tanto, en la presente memoria se puede usar n para indicar una fila arbitraria de las N filas y en la presente memoria se puede usar m para indicar una columna arbitraria de las M columnas. En la zona sensible 132 se muestra un ejemplo de un primer patrón 133 de luz incidente, primer patrón 133 de luz
25 incidente que es resultado de que el segundo objeto 121 refleje el patrón lumínico específico 112. En la Figura 1b, exclusivamente para facilitar la comprensión, se ha dibujado el segundo objeto 121 en la zona sensible 132. El sensor 131 de imagen puede detectar el primer patrón 133 de luz incidente, en donde dichos elementos sensores de imagen que son iluminados por el primer patrón 133 de luz incidente deberían registrar intensidades más altas que otros elementos sensores de imagen del sensor 131 de imagen, al menos en condiciones de exposición adecuadas
30 que no sobreexpongan o subexpongan dichos otros elementos sensores de imagen.
En el ejemplo mostrado de la Figura 1b, cada fila n corresponde a una cierta distancia al segundo objeto 121 y cada columna m corresponde a una posición en un perfil del segundo objeto 121. Por tanto, se puede esperar que exista solamente una reflexión verdadera en cada columna m. En consecuencia, es posible así, al menos en teoría, buscar picos de intensidad en cada columna y esperar que tales picos, por ejemplo el pico máximo, sean la reflexión 35 verdadera de cada columna. Si se repite esto para cada columna, se puede identificar un patrón de píxeles correspondiente al patrón lumínico incidente 133. Dado que el patrón de píxeles está en las coordenadas n, m del sensor 131 de imagen, puede darse una conversión, basada en la geometría del sistema 100 de medición, a un patrón convertido en coordenadas universales, lo que en la Figura 1b se ilustra con la flecha y la parte derecha de la figura, donde dicho patrón convertido, en coordenadas universales, corresponde a un perfil 141-1 del segundo
40 objeto 121.
Antes de presentar detalles relativos a realizaciones de la presente memoria, se discutirán y ejemplificarán otros problemas relativos a sistemas de visión artificial 3D basados en triangulación.
En muchos sensores de imagen, una limitación principal de la velocidad de adquisición es el ancho de banda relacionado con la rapidez con la que un sensor de imagen puede proporcionar datos de imagen para ulterior 45 procesamiento por un sistema de medición que comprenda el sensor de imagen. Cuando se requiere un gran ancho de banda, por ejemplo para poder alcanzar una velocidad requerida, ello da a su vez típicamente como resultado que se necesita una gran cantidad de patillas de señal física y también da como resultado un gran consumo de energía. Esto es indeseable y a menudo es en sí limitante, por ejemplo, en la miniaturización del sistema. Si se implementa la extracción de M posiciones de pico desde un sensor de imagen NxM integrada con el sensor de 50 imagen, por ejemplo, en un dispositivo sensor de imagen que es un ASIC o un SoC, se reduciría enormemente la cantidad de datos que deben ser emitidos como salida desde el sensor de imagen. Tal procesamiento directo o uno similar, es decir, un procesamiento integrado con el sensor de imagen, que da como resultado que se necesitan leer menos datos y/o leerlos con menos frecuencia, puede reducir el ancho de banda de forma que se pueda lograr la misma velocidad de obtención de imágenes con un ancho de banda de salida y consumo de energía muy inferiores. 55 Sin embargo, también puede poner limitaciones a la complejidad de los algoritmos utilizados para extraer la posición de pico, ya que, en la práctica, puede ser difícil y/o ineficiente implementar algoritmos más complejos integrados con el sensor de imagen. El procesamiento para encontrar "picos verdaderos", correspondiente cada uno a una única reflexión verdadera, como se ha explicado más arriba, puede implicar el encontrar la posición de un pico único, por ejemplo el pico más intenso u otro pico específico que satisfaga algún otro criterio o criterios, por ejemplo que sea el 60 primer o el último pico de intensidad aceptable, en cada columna. Si el procesamiento necesita tomar en consideración otra información para extraer la posición de un pico verdadero en presencia de picos falsos, esto
imagen5
añade complejidad, lo que tiene un efecto más o menos limitante de la velocidad. En este caso, una solución puede consistir en extraer múltiples candidatos a pico en una primera etapa y después encontrar, en una segunda etapa, el pico verdadero entre los múltiples candidatos a pico. Por otro lado, la sobrecarga que conlleva manejar múltiples picos y dos fases de procesamiento puede reducir el rendimiento del sistema, lo que puede ser más o menos crítico
5 en función de la aplicación.
Otro factor limitante de la velocidad puede ser el tiempo de exposición que el sensor de imagen necesita para capturar la luz incidente con el fin de obtener una señal detectable.
Las reflexiones múltiples son un problema frecuente en el tipo de sistemas arriba descrito. Se producen reflexiones múltiples cuando la luz proveniente de la fuente luminosa 110, y reflejada desde una superficie, es reflejada 10 adicionalmente en una o varias superficies antes de llegar a incidir en el sensor de imagen, y da como resultado una reflexión falsa. Se puede saber, por ejemplo, que tiene que existir una única reflexión verdadera, por ejemplo una en cada columna m de las M columnas del sensor 131 de imagen, pero se presentan múltiples candidatos, todos falsos menos uno. También se pueden producir reflexiones múltiples debidas a distorsión geométrica y/o asimismo por perturbaciones del ruido ambiental. Las distorsiones geométricas se producen cuando la geometría, por ejemplo 15 alrededor de bordes escarpados, del objeto del que se están obteniendo imágenes provoca reflexiones múltiples. En la práctica, una reflexión falsa puede ser más intensa que una reflexión verdadera. La reflexión falsa también puede ser más nítida, es decir, más estrecha, que la reflexión verdadera y por lo tanto no siempre es posible utilizar la intensidad o la anchura de un pico de intensidad registrado por el sensor para discriminar entre una reflexión verdadera y una falsa. Por lo tanto, a menudo es difícil en la práctica discriminar en un sensor de imagen entre 20 reflexiones verdaderas y falsas. Una solución puede consistir en extraer todas las posibles posiciones candidatas para picos de intensidad y después realizar un paso de posprocesamiento, típicamente fuera del sensor de imagen, que filtre y elimine datos no deseados mediante la aplicación, por ejemplo, de criterios de suavidad (en inglés, "smoothness") con respecto a la imagen completa. La denominada programación dinámica es un ejemplo de una posible técnica a aplicar a las posiciones candidatas, con el fin de encontrar una eventual posición única por
25 columna.
Constituye otro problema el rango dinámico, donde la reflexión de la luz por un objeto puede ser muy débil en algunas partes y muy intensa en otras, especialmente si se dan reflexiones especulares. En una reflexión especular, una parte muy importante de la luz incidente es reflejada en una dirección específica. Lo opuesto constituye una reflexión difusa, donde la luz se refleja uniformemente en todas las direcciones. En la práctica, la mayoría de las 30 superficies dan una mezcla de reflexiones especulares y difusas. Un factor que contribuye al problema del rango dinámico es que la intensidad de la luz reflejada de forma difusa, por ejemplo, desde un plano láser divergente, típicamente disminuye de forma no lineal en función de la distancia. La divergencia de la luz proporciona menos energía incidente por unidad de área cuanto más lejos de la fuente luminosa. Otro factor que contribuye es el hecho de que una cámara que implemente o comprenda el dispositivo sensor 130 de imagen recoge luz a través de una
35 lente con una abertura relativamente pequeña. Será menos probable que pase a través de la abertura la luz reflejada desde un objeto a una distancia mayor que la luz reflejada desde una distancia más corta. Por ejemplo, en la situación mostrada en la Figura 1b, las intensidades medidas por elementos sensores que pertenecen a una parte inferior de la zona 132 detectora de imagen, parte inferior que corresponde a distancias más largas, pueden detectar intensidades menores que las detectadas por elementos sensores de una parte superior.
40 La anchura de los picos de intensidad observados también puede presentar variación dentro del campo de visión, es decir, también se presenta un problema de anchura de pico. Si un sistema de medición, por ejemplo correspondiente al sistema 100 de medición, no está ajustado para el enfoque de "plano inclinado" haciendo uso del denominado principio de Scheimpflug, ciertas partes del plano del láser pueden estar desenfocadas. Esto puede dar lugar a una distribución en la cual la anchura de los picos de intensidad observados, por ejemplo, es mayor lejos que cerca
45 dentro de la profundidad de campo. Por ejemplo, haciendo referencia a la Figura 1b, las posiciones de pico de la parte inferior pueden corresponder a picos de intensidad de mayor anchura que las posiciones de pico de las filas superiores, o a la inversa. La extracción con alta precisión de posiciones de pico subpíxel puede funcionar mejor con una anchura específica de la distribución y, por lo tanto, se puede ver afectada negativamente por grandes variaciones de anchura.
50 Además, debido a las propiedades geométricas de un sistema de medición basado en triangulación tal como el de la Figura 1a, la resolución en la medición de profundidad (ΔR) por unidad de píxel (ΔΡ) del sensor 131 de imagen aumenta con la profundidad, es decir, también se presenta un problema de resolución. Para que un sistema tenga una resolución de medición uniforme, se puede utilizar el denominado agrupamiento (en inglés, "binning") a distancias cercanas para reducir la resolución en ΔΡ en esa parte, con el fin de obtener una resolución ΔR más
55 uniforme.
Preferiblemente, cualquier solución a los problemas antes mencionados no debería empeorar, al menos, ningún otro problema, lo que sería contraproducente, y preferiblemente una solución debería aliviar más de un problema al mismo tiempo, o al menos ser compatible con otras soluciones para aliviar otros problemas.
La Figura 2 es un diagrama esquemático de bloques que representa el dispositivo sensor 130 de imagen separado 60 del sistema 100 de medición. El dispositivo sensor 130 de imagen comprende el sensor 131 de imagen. El
5
15
25
35
45
55
dispositivo sensor 130 de imagen es adecuado para proporcionar datos de imagen relativos a una imagen de un objeto, tal como el primer objeto 120 y el segundo objeto 121. El dispositivo sensor 130 de imagen puede estar implementado como un chip, al que puede denominarse "chip sensor", por ejemplo en forma de un ASIC o una colección de chips integrados en un SoC. El dispositivo sensor 130 de imagen se puede utilizar después, por ejemplo, en una cámara. Obsérvese que el dispositivo sensor 130 de imagen no necesita estar implementado como un chip (único) o SoC, aunque sea ventajoso para permitir una velocidad mayor. En lugar de ello, el dispositivo sensor 130 de imagen puede estar implementado mediante el uso de partes discretas interconectadas, por ejemplo un chip con el sensor 131 de imagen y uno u otros varios chips dispuestos para trabajar sobre la salida del sensor 131 de imagen. Por ejemplo, el dispositivo sensor de imagen 130 puede estar implementado en forma de una cámara, por ejemplo la cámara mostrada en la Figura 1a, que comprende dichas partes discretas interconectadas.
Las Figuras 3a-d son diagramas esquemáticos de bloques que muestran ejemplos de cómo se pueden definir regiones de interés (ROI) relacionadas con realizaciones de la presente memoria en la zona 132 detectora de imagen. Una ROI es una subzona de la zona sensible 132.
La Figura 3a muestra una primera ROI 301a, una segunda ROI 302a y una tercera ROI 303a de un primer grupo ilustrativo de regiones ROI, donde cada ROI solapa parcialmente una u otras varias ROI. Más particularmente, la primera y segunda ROI 301a, 302a se solapan parcialmente entre sí y la segunda y tercera ROI 302a, 303a se solapan parcialmente entre sí. Las ROI que se solapan parcialmente entre sí tienen un solapamiento parcial común, con filas de las ROI implicadas que se solapan por completo y columnas de las ROI implicadas que se solapan parcialmente. Cada ROI cubre filas completas de la zona sensible 132 y las ROI cubren toda la zona 132 detectora de imagen. Las ROI mostradas son un ejemplo de ROI ubicadas de manera consecutiva a lo largo de columnas de la zona sensible 132. Las ROI mostradas son también un ejemplo del caso en donde cada ROI presenta solapamiento, ya sea a lo largo de uno de sus lados o a lo largo de dos de sus lados opuestos. Las ROI 301a-303a se usan en un ejemplo y se discuten con mayor detalle a continuación en relación con la Figura 5.
La Figura 3b muestra una cuarta ROI 301b, una quinta ROI 302b y una sexta ROI 303b de un segundo grupo ilustrativo de regiones ROI, donde cada ROI solapa parcialmente una u otras varias ROI. Más particularmente, la cuarta y quinta ROI 301b, 302b se solapan parcialmente entre sí y la quinta y sexta ROI 302b y 303b se solapan parcialmente entre sí. Las ROI que se solapan parcialmente entre sí tienen un solapamiento parcial común, con columnas de las ROI implicadas que se solapan totalmente y filas de las ROI implicadas que se solapan parcialmente. Cada ROI cubre columnas completas de la zona sensible 132 y las ROI cubren toda la zona 132 detectora de imagen. Las ROI mostradas son un ejemplo de ROI ubicadas de manera consecutiva a lo largo de filas de la zona sensible 132. Las ROI mostradas son también un ejemplo de realizaciones en donde cada ROI presenta solapamiento, o bien a lo largo de solo uno de sus lados o a lo largo de dos de sus lados opuestos, por ejemplo a lo largo de dos lados paralelos opuestos.
La Figura 3c muestra las ROI séptima a décima 301c-304c de un tercer grupo ilustrativo de regiones ROI, donde cada ROI solapa parcialmente a otras dos o más ROI. Cada ROI cubre solamente una parte de las filas y columnas y las ROI cubren toda la zona 132 detectora de imagen. Las ROI mostradas son un ejemplo del caso en donde cada ROI presenta solapamiento a lo largo de al menos dos de sus lados, lados que están en dos lados perpendiculares, es decir, no son lados opuestos.
La Figura 3d muestra una undécima ROI 301d y una duodécima ROI 302d de un cuarto grupo ilustrativo de regiones ROI, donde cada ROI solapa parcialmente una u otras varias ROI. Las ROI que se solapan parcialmente entre sí, es decir, en este caso la undécima ROI 301d y la duodécima ROI 302d, tienen un solapamiento parcial común, con filas de las ROI implicadas que se solapan completamente y columnas de las ROI implicadas que se solapan parcialmente. Cada ROI cubre parcialmente filas de la zona sensible 132 y cubre parcialmente columnas de la zona sensible 132. Las ROI cubren solamente parte de la zona 132 detectora de imagen. De manera similar a la Figura 3a, las ROI mostradas son un ejemplo de ROI ubicadas de manera consecutiva a lo largo de columnas de la zona sensible 132. Las ROI mostradas son también un ejemplo del caso en donde cada ROI presenta solapamiento solamente a lo largo de uno de sus lados.
En lo que sigue se discute la manera en que las ROI, por ejemplo las ilustradas en las Figuras 3a-d, se relacionan con realizaciones de la presente memoria.
Se desarrollarán y se describirán ahora, haciendo referencia al diagrama de flujo representado en la Figura 4, ejemplos de realizaciones de la presente memoria que se refieren a un método, por ejemplo realizado por el dispositivo sensor 130 de imagen, para proporcionar datos de imagen relativos a una imagen de un objeto, por ejemplo el primer objeto 120 o el segundo objeto 121. El dispositivo sensor 130 de imagen comprende el sensor 131 de imagen que tiene la zona sensible 132 para detectar dicha imagen. Como se apreciará gracias a lo que sigue, los datos de imagen de interés que se han de proporcionar son típicamente datos de imagen que se puedan convertir al menos en información acerca de características tridimensionales, por ejemplo, en cualquiera de los perfiles 140-1, 141-1, del objeto.
El método comprende las siguientes acciones, acciones que se pueden tomar en cualquier orden adecuado. Además, se pueden combinar acciones.
imagen6
Acción 401
El dispositivo sensor 130 de imagen define regiones ROI, por ejemplo, correspondientes a cualquiera de los grupos ilustrativos de regiones ROI discutidos más arriba en relación con las Figuras 3a-d, en la zona sensible 132. Cada ROI solapa parcialmente una o varias de las otras ROI.
5 El dispositivo sensor 130 de imagen puede definir las ROI basándose en un conjunto o conjuntos preconfigurados de regiones ROI y/o basándose en una entrada al dispositivo sensor 130 de imagen, entrada que puede ser controlable por el usuario. La entrada puede consistir en datos de configuración, por ejemplo instrucciones y/o señalización eléctrica, y puede determinar la manera en que se definirán las ROI. La preconfiguración y/o la entrada se pueden llevar a cabo, por ejemplo, a través de un software que se ejecuta en un ordenador, u otro dispositivo de control,
10 conectado a un puerto de comunicación del dispositivo sensor 130 de imagen.
Por ejemplo, los datos de configuración pueden comprender información acerca de coordenadas que determinan el tamaño y la posición de las ROI en la zona sensible 132. En otro ejemplo, los datos de configuración comprenden información acerca de varias regiones ROI y acerca del tamaño de un solapamiento parcial. Al mismo tiempo, puede estar preconfigurado que las ROI, por ejemplo, se ubiquen de manera consecutiva a lo largo de columnas de la zona 15 sensible 132, como en la Figura 3a, y/o se ubiquen de manera uniforme cubriendo toda la zona sensible 132, y presenten un solapamiento parcial a lo largo de columnas de la zona sensible 132 en función de dicho tamaño del solapamiento parcial. En otro ejemplo más, la entrada se realiza mediante señalización eléctrica, por ejemplo, que pone a un voltaje alto o bajo patillas de un chip que implementa o comprende el dispositivo sensor 130 de imagen, seleccionando así un ajuste específico que tiene un significado específico para el dispositivo sensor 130 de imagen. 20 Por ejemplo, se pueden poner 4 patillas a voltajes que tienen un significado de "10 regiones ROI" (o más bien un número binario codificado por los voltajes puede tener este significado). De manera similar, se puede poner una patilla a un voltaje que tenga el significado de "las ROI deben ubicarse de manera consecutiva a lo largo de filas de la zona sensible 132", seleccionado entre 2 alternativas (por ejemplo, consecutivas a lo largo de columnas o a lo largo de filas). Se pueden poner otros dos patillas a voltajes que tengan un significado de "10 píxeles de manera
25 parcial a lo largo de filas de la zona sensible 132", seleccionados entre 4 alternativas preconfiguradas (por ejemplo, solapamiento parcial de 5, 10, 15 o 20 píxeles).
El número de regiones ROI definidas debe ser adecuado a la vista del contexto, el propósito y las circunstancias relativas al uso del método. Con ello, la persona experta puede preconfigurar o controlar, por ejemplo mediante el control de usuario que se ha discutido más arriba, el número de regiones ROI a definir. Sin embargo, en la mayoría
30 de las situaciones, un número adecuado de regiones ROI puede estar en un intervalo de 2 a 10.
En algunas realizaciones, las ROI están ubicadas de manera consecutiva a lo largo de, o bien las columnas M de píxeles o bien las filas N de píxeles de la zona 132 detectora de imagen, por ejemplo paralelas a la flecha marcada "n" o a la flecha marcada "m" de la Figura 2. Esto se ilustra en las Figuras 3a-b y en la Figura 3d. Como consecuencia, se posibilita una implementación menos compleja y un procesamiento más rápido.
35 El solapamiento entre las ROI se discute a continuación con mayor detalle, en relación con las Figuras 5-7.
Acción 402
El dispositivo sensor 130 de imagen expone individualmente a las ROI, como se ha definido en la Acción 401, a luz proveniente del objeto, por ejemplo reflejada desde el primer objeto 120 o el segundo objeto 121. La luz proveniente del objeto se convierte en luz que incide en la zona sensible 132. Como se apreciará, con la expresión "exponer a 40 luz una ROI de la zona sensible 132" se quiere significar que elementos sensores de la zona sensible 132, elementos sensores que están dentro de la ROI, son expuestos a la luz incidente y la detectan. Por "expuesto individualmente" se entiende expuesto de una manera única individual, que puede ser el resultado, por ejemplo, de que cada ROI esté asociada con su propio obturador que se puede utilizar para exponer elementos sensores dentro de la ROI sin exponer elementos sensores fuera de la ROI. Cada ROI asociada con su propio obturador, por 45 ejemplo, significa que existe un obturador "local" respectivo, por cada ROI, que es el mismo para todos los elementos sensores de la ROI. Una implicación del hecho de exponer individualmente las ROI es que los elementos sensores de cada ROI pueden tener un tiempo de exposición común que puede tener una longitud que sea independiente de las duraciones de tiempo de exposición de elementos sensores pertenecientes a otras ROI. En otras palabras, se pueden exponer las ROI de modo que todos los píxeles, esto es, elementos sensores,
50 pertenecientes a una misma ROI comienzan y terminan su exposición al mismo tiempo.
Téngase en cuenta que se puede exponer individualmente una ROI con el mismo tiempo de exposición que otra ROI
o uno distinto. Todas las ROI, o al menos algunas de ellas, pueden ser expuestas empleando tiempos de exposición distintos. Dichas al menos algunas de las ROI pueden estar ubicadas de manera consecutiva a lo largo de una dirección de exposición, aumentando o disminuyendo dichos tiempos de exposición distintos a lo largo de la
55 dirección de exposición. Más adelante se discuten, en relación con la Figura 6, distintos tiempos de exposición, cómo se pueden llevar a cabo las exposiciones asociadas con distintas ROI, y la dirección de exposición.
imagen7
Acción 403
El dispositivo sensor 130 de imagen lee datos parciales de imagen pertenecientes a grupos asociados respectivamente con las ROI expuestas y resultantes de luz detectada en las mismas, es decir, luz detectada en las ROI expuestas que ha sido detectada durante la exposición.
5 Como se apreciará, la ROI respectiva está así asociada con sus propios datos parciales de imagen (correspondientes a uno de dichos grupos) resultantes de los elementos de detección del sensor 131 de imagen, que están ubicados dentro de la ROI respectiva. Por tanto, la presente acción se refiere a leer dichos datos parciales de imagen para todas las ROI expuestas. La lectura de datos parciales de imagen se puede realizar fila por fila y, a este respecto, se puede realizar cierto procesamiento de los datos parciales de imagen leídos. Típicamente, esto
10 resulta eficaz por que, por ejemplo, se puede evitar un almacenamiento intermedio para realizar más tarde el procesamiento. Téngase además en cuenta que, como se explicará más adelante en relación con la Figura 6, la lectura de datos parciales de imagen asociados con una ROI se puede realizar de manera simultánea en forma de exposición o exposiciones de una u otras varias ROI, lo cual, por ejemplo, hace eficiente en cuanto al tiempo el uso de regiones ROI según realizaciones de la presente memoria. En algunas realizaciones, se aplica agrupamiento a, y
15 durante la lectura de, al menos algunos de los datos parciales de imagen. Este es un ejemplo de dicho "cierto procesamiento" mencionado más arriba. Se entiende por agrupamiento el hecho de que se combinan datos de más de un píxel para proporcionar datos combinados correspondientes a un "superpíxel", es decir, un píxel resultante con un área mayor que cada uno de los píxeles involucrados en la combinación. Por ejemplo, se puede hacer 2 o 4 veces más grandes a los píxeles sujetos a agrupamiento. Como se ha mencionado más arriba, se puede aplicar el
20 agrupamiento para lograr una resolución más uniforme. Es decir, se reduce dicha resolución en ΔΡ con el fin de obtener una resolución en ΔR más uniforme, aliviando dicho problema de resolución. Como se ha explicado, en los ejemplos ilustrados en la presente memoria cada fila corresponde a una distancia sustancialmente igual, y por lo tanto en estos ejemplos tiene interés principalmente aplicar agrupamiento por cada fila n.
Resulta ventajoso aplicar el agrupamiento durante la lectura, por ejemplo antes de la conversión de analógico a
25 digital (A/D), y no digitalmente después de la conversión A/D. Esto ahorra tiempo y, por lo tanto, tiene menor efecto limitante de la velocidad que el hecho de realizar agrupamiento por separado, después de la lectura.
Como ya se ha indicado, preferiblemente se aplica agrupamiento de manera más intensa en regiones ROI correspondientes a distancias más cercanas al objeto. En el ejemplo de la Figura 1b, la distancia cercana se encuentra en las filas superiores. En otras palabras, la primera fila inferior n está asociada con la mayor distancia y
30 la última fila superior n está asociada con la distancia más corta o más cercana. En caso de regiones ROI como las de la Figura 3a, por ejemplo, se puede aplicar un agrupamiento más intenso a la tercera ROI 303a, se puede aplicar un agrupamiento menos intenso a la segunda ROI 302a y se puede aplicar el mínimo agrupamiento o ninguno en absoluto, a la primera ROI 301. Preferiblemente, dentro de cada ROI se aplica agrupamiento con el mismo grado.
Para una situación específica con un sistema de medición dado, por ejemplo el sistema 100 de medición,
35 propiedades del mismo, ciertos requisitos que deben cumplirse, etc., está dentro de la capacidad de la persona experta determinar si merece o no la pena aplicar agrupamiento en el contexto de realizaciones de la presente memoria, y también dónde y en qué medida debe aplicarse.
Acción 404
Puede estar asociada una dirección de búsqueda con la zona sensible 132. El dispositivo sensor 130 de imagen
40 puede buscar en cada ROI, después de la exposición de la misma y a lo largo de cada línea de píxeles paralela a la dirección de búsqueda, una o varias posiciones respectivas de pico de intensidad que cumplan un criterio de búsqueda.
Posibilita un procesamiento simple y rápido para cada ROI la búsqueda por regiones ROI mencionada más arriba, donde se puede utilizar un criterio de búsqueda relativamente simple, por ejemplo encontrar la posición del pico de 45 intensidad máxima o el primer o el último pico de intensidad en cada línea de píxeles, por ejemplo en cada columna
m. Se pueden utilizar después las posiciones de picos únicos procedentes de múltiples ROI para encontrar una posición de pico de intensidad final para cada línea de píxeles en la dirección de búsqueda sobre toda la zona sensible 132, por ejemplo una posición de pico de intensidad final por cada columna m. Así, una implementación puede utilizar, por ejemplo, procesamiento rápido "en el chip" para cada ROI con el fin de encontrar las posiciones 50 de pico de intensidad únicas por cada ROI, reduciendo así la cantidad de datos. Después se puede utilizar un procesamiento más complejo, por ejemplo, procesamiento fuera del chip o al menos procesamiento fuera de un circuito que implemente el sensor 131 de imagen, para encontrar las posiciones de pico de intensidad finales en base a las posiciones de pico de intensidad encontradas por cada ROI. Este procesamiento más complejo puede consistir, por ejemplo, en programación dinámica, mencionada más arriba, que se puede aplicar así a dicha cantidad
55 reducida de datos para encontrar las posiciones de pico de intensidad finales.
Ventajosamente, la dirección de búsqueda puede ser paralela a las columnas de píxeles, por ejemplo a lo largo de las columnas M de píxeles, o filas n de píxeles, por ejemplo a lo largo de las filas N de píxeles de la zona 132 detectora de imagen. Es decir, cada línea de píxeles corresponde a una respectiva columna m de píxeles o a una respectiva fila n de píxeles. Con la disposición discutida e ilustrada en lo que antecede, se prefiere una dirección de búsqueda a lo largo de columnas m de píxeles. En general, una dirección de búsqueda a lo largo de filas o columnas permite un procesamiento menos complejo, y por lo tanto más rápido, y/o hardware menos complejo para implementar el método, en comparación con el caso en que, por ejemplo, se utilice una dirección diagonal de
imagen8
5 búsqueda. Si el sensor 131 de imagen está asociado con una dirección fija de búsqueda, el dispositivo sensor 130 de imagen y/o el sensor 131 de imagen comprendido en el dispositivo sensor 130 de imagen pueden estar dispuestos en un sistema de medición, por ejemplo el sistema 100 de medición, de modo que solo debería existir una reflexión verdadera, como se ha discutido más arriba, en cada línea de píxeles en la dirección de búsqueda. Como alternativa, con una dirección de búsqueda configurable se puede elegir la dirección de búsqueda de modo que se espere únicamente una reflexión verdadera en cada línea de píxeles en la dirección de búsqueda.
A continuación se ilustrará adicionalmente la dirección de búsqueda haciendo relación a la Figura 5b.
Acción 405
El dispositivo sensor 130 de imagen proporciona, basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto. En caso de que se lleve a cabo la búsqueda según la
15 Acción 404, el proporcionar los datos de imagen para dicha imagen se basa además en las posiciones de pico de intensidad encontradas en la búsqueda.
Los datos de imagen pueden comprender, por ejemplo, información correspondiente a un perfil de un objeto del que se están obteniendo imágenes, perfil que puede corresponder a uno de los perfiles 140-1 -140-K o bien al perfil 141-1. Los datos de imagen se pueden proporcionar para uso interno y/o procesamiento ulterior dentro del dispositivo sensor 130 de imagen, o bien se pueden proporcionar a un puerto de salida del dispositivo sensor 130 de imagen. El puerto de salida puede comprender una o más patillas de un chip que implementa el dispositivo sensor 130 de imagen, y/o un puerto de datos de salida en caso de que el dispositivo sensor 130 de imagen esté implementado en forma de una cámara, por ejemplo como se muestra en la Figura 1a. En cualquier caso, se pueden procesar ulteriormente los datos de imagen combinados y, por ejemplo, combinarlos con otros datos de imagen
25 combinados posteriores, por ejemplo, correspondientes a múltiples perfiles del mismo objeto. Así, el procesamiento ulterior puede tener lugar internamente dentro del dispositivo sensor 130 de imagen y/o externamente mediante un dispositivo separado de procesamiento de datos, por ejemplo un ordenador.
Las siguientes acciones amplían las Acciones 401-405, de forma que el método se convierte en un método para proporcionar información acerca de características tridimensionales del objeto, por ejemplo, los perfiles 140-1 141-K y 141-1 del primer objeto 120 y el segundo objeto 121, respectivamente. Se asume un escenario en el cual el dispositivo sensor 130 de imagen está comprendido en un sistema de medición adecuado para proporcionar, basándose en los datos de imagen proporcionados conforme a la Acción 405, dicha información acerca de características tridimensionales. El sistema de medición está ejemplificado en lo que sigue por el sistema 100 de medición. El sistema 100 de medición comprende la fuente luminosa 110 configurada para iluminar el objeto, por
35 ejemplo cualquiera de los objetos primero, segundo o tercero 120, 121, 501, con el patrón lumínico específico 112, por ejemplo la lámina de luz mostrada en la Figura 1a. La fuente luminosa 110 y el sensor 131 de imagen están dispuestos uno con respecto a otro de manera que el patrón lumínico específico 112, cuando es reflejado por dicho objeto, se convierte al menos parcialmente en luz que incide en la zona sensible 132 y es detectada como dicha luz proveniente del objeto, por ejemplo el patrón 133 de luz incidente detectado como luz proveniente del segundo objeto 121. Los datos de imagen proporcionados comprenden así información que se puede convertir en las características tridimensionales del objeto con respecto a posiciones sobre el objeto, posiciones que originan dicho patrón lumínico 133 que incide en la zona sensible 132.
Acción 406
El dispositivo sensor 130 de imagen puede obtener datos de imagen para múltiples imágenes, por ejemplo,
45 realizando una vez el método según las Acciones 401-405 y repitiendo una o más veces al menos las Acciones 402-405, cada vez con la luz incidente en el sensor 131 de imagen que resulte de reflexiones en partes distintas del objeto, por ejemplo el primer objeto 120. De este modo, el dispositivo sensor 130 de imagen obtiene un conjunto de datos de imagen asociados con múltiples imágenes del objeto, correspondientes por ejemplo a los perfiles 140-1 140-K. Es decir, se pueden repetir las acciones 402-405 hasta que exista un conjunto con suficientes datos de imagen correspondientes a perfiles para, por ejemplo, poder proporcionar la información acerca de características tridimensionales, por ejemplo poder crear un modelo 3D del objeto basado en los perfiles, para poder crear un modelo 3D del objeto, por ejemplo los perfiles 140-1 -140-K para poder crear un modelo 3D del primer objeto 120. Obsérvese también que se puede repetir una o más veces la Acción 401 si, por ejemplo, fuera deseable redefinir las regiones ROI de manera que se utilicen distintas regiones ROI para algunas de las imágenes múltiples.
55 Acción 407
El dispositivo sensor 130 de imagen puede convertir el conjunto de datos de imagen en la información acerca de características 3D del objeto. La información puede corresponder, por ejemplo, a dicho modelo 3D del objeto, o a partes del objeto, y/o medidas relacionadas con 3D y/o propiedades del objeto, tales como longitud, volumen, planitud, etc. Según explicaciones precedentes en la presente memoria, esto implica que la conversión se basa en el conocimiento de la geometría del sistema de medición. Por ejemplo, en el caso del sistema 100 de medición el conocimiento consistente en la manera en que las posiciones m, n de píxel de la zona sensible 132 se relacionan, o por ejemplo se corresponden, con las coordenadas en el sistema de coordenadas 123.
imagen9
5 Para resolver los problemas discutidos más arriba relativos a proporcionar características 3D del objeto a través de la obtención de imágenes, resulta deseable, por motivos también discutidos anteriormente, poder aplicar distintas exposiciones y/o procesamiento a partes diferentes de cada imagen utilizada para proporcionar las características 3D. En vista de lo anterior, debe tenerse en cuenta que el método conforme a realizaciones de la presente memoria soporta esto, así como la ejecución rápida. Por ejemplo, a través de las ROI, por ejemplo, las ROI 301a, 302a, 303a,
10 y el uso de las mismas tal como se ha descrito más arriba, se hace posible una exposición distinta y al mismo tiempo un procesamiento relativamente simple de datos de imagen para cada ROI, en particular con el fin de proporcionar información acerca de características 3D basándose en los datos de la imagen. En lugar de, por ejemplo, exponer por completo y de manera secuencial la zona sensible 132 a distintas exposiciones, las ROI parcialmente solapantes permiten una exposición y procesamiento paralelos que implican cantidades reducidas de datos (por ejemplo,
15 mediante la búsqueda de la posición de pico y/o el agrupamiento y/o la distinta exposición, por cada ROI), mientras que el solapamiento parcial reduce al mismo tiempo el riesgo de falta de información, por ejemplo información acerca de las posiciones de pico, que sea importante para proporcionar la información acerca de características 3D. Además, la implementación en chip se ve facilitada por la manipulación y procesamiento por cada ROI. Además, se facilita el procesamiento "en el chip" de datos parciales de imagen por cada ROI, y ello permite reducir la cantidad de
20 datos que deben salir del chip para ulterior procesamiento, en comparación con soluciones donde, por ejemplo, todos los datos de imagen para la imagen completa se procesan fuera del chip.
Las Figuras 5a-c son ilustraciones esquemáticas para ejemplificar la manipulación de picos de intensidad en el contexto de realizaciones de la presente memoria. En el ejemplo mostrado, en lugar del primer y segundo objetos 120, 121 se utiliza un tercer objeto 501, ilustrado esquemáticamente en la Figura 5a, con una línea luminosa 502
25 resultante del patrón lumínico específico 112 que incide sobre el tercer objeto 501.
La Figura 5b muestra una situación con regiones ROI definidas en la zona 132 detectora de imagen correspondiente al ejemplo de la Figura 3a. Es decir, la primera y segunda ROI 301a, 302a se solapan parcialmente entre sí con un primer solapamiento parcial 502, y la segunda y tercera ROI 302a y 303a se solapan parcialmente entre sí con un segundo solapamiento parcial 503. En la Figura 5b se muestra además un ejemplo esquemático de un segundo 30 patrón lumínico 504 que incide en la zona sensible 132, segundo patrón lumínico incidente 504 que es el resultado de que el tercer objeto 501 refleje el patrón lumínico específico 112. Tal como se ha explicado más arriba, se espera únicamente un pico de intensidad verdadero por cada columna m. Sin embargo, comparando el segundo patrón lumínico 504 con la forma del tercer objeto 501, se aprecia que una parte inferior del segundo patrón lumínico 504 corresponde a picos de intensidad falsos. Los picos de intensidad falsos son un ejemplo típico de casos en donde el 35 patrón lumínico específico 112 ha originado múltiples reflexiones sobre el tercer objeto 501, es decir, esas múltiples reflexiones que se explicaron más arriba como problemáticas. En la figura se muestran además dos ejemplos distintos de dirección de búsqueda, tal como se ha expuesto más arriba en la Acción 404. Se ilustran una primera dirección 505a de búsqueda y una segunda dirección 505b de búsqueda. La primera dirección 505a de búsqueda discurre a lo largo de las columnas M de píxeles, donde cada línea de píxeles en la que se efectúa la búsqueda 40 corresponde a una respectiva columna m de píxeles tal como se ha explicado más arriba en la Acción 404. Como también se ha explicado más arriba, típicamente se prefiere una dirección de búsqueda a lo largo de filas o columnas, pero se pueden emplear otras direcciones de búsqueda, es decir, direcciones de búsqueda diagonales. La segunda dirección 505b de búsqueda es un ejemplo de una dirección de búsqueda diagonal dentro de la zona sensible 132. Puede existir una dirección de búsqueda por cada ROI, pero preferiblemente existe una misma
45 dirección de búsqueda para todas las ROI, lo que permite una implementación más simple y un procesamiento más rápido. No obstante, son posibles regiones ROI con direcciones de búsqueda diferentes.
La Figura 5c ilustra esquemáticamente un primer, segundo y tercer patrones de pico de intensidad, respectivamente 506-1, 506-2, 506-3. El primer patrón 506-1 de pico de intensidad corresponde a picos de intensidad registrados por elementos sensores del sensor 131 de imagen en la primera ROI 301a, después de que la primera ROI 301a, por
50 ejemplo conforme a la Acción 402, haya sido expuesta individualmente a luz incidente, luz incidente que comprende aquí el segundo patrón lumínico 504. De manera similar, el segundo patrón 506-2 de pico de intensidad corresponde a picos de intensidad registrados por elementos sensores del sensor 131 de imagen de la segunda ROI 302a, etc., y el tercer patrón 506-3 de pico de intensidad corresponde a picos de intensidad registrados por elementos sensores del sensor 131 de imagen de la tercera ROI 303a, etc.
55 La Acción 404 se puede entender mejor a la vista de las Figuras 5a-c. Al igual que en la Acción 404, puede existir una búsqueda separada por cada ROI 301a, 302a, 303a con el fin de identificar el patrón de pico de intensidad respectivo, que corresponda, por ejemplo, al respectivo patrón de pico de intensidad 506-1, 506-2, 506-4 mostrado. La búsqueda separada puede implementarse como una búsqueda relativamente simple y eficiente, integrada con la funcionalidad básica del sensor 131 de imagen. Por ejemplo, se puede buscar por columnas m en cada ROI 301a,
60 302a, 303a un pico de intensidad máxima, o bien un primer pico de intensidad según algún criterio. Esto podría implementarse eficazmente de manera altamente integrada con el sensor 131 de imagen, necesitándose recordar y almacenar solamente un valor de posición de pico por columna para cada ROI 301a, 302a, 303a. Téngase en cuenta que se puede almacenar el valor de intensidad de la posición de pico además del valor de la posición de pico como tal. Puede bastar que el sensor 131 de imagen proporcione datos de imagen que identifiquen un valor de pico de intensidad resultante por columna y por ROI 301a, 302a, 303a, es decir, proporcione, para cada ROI, una cantidad reducida de datos basados en los datos parciales de imagen de los elementos sensores de la ROI en
imagen10
5 cuestión. Después, basándose en estas cantidades reducidas de datos para todas las ROI, el dispositivo sensor 130 de imagen puede proporcionar datos combinados de imagen como en la Acción 405, por ejemplo correspondientes a un perfil del objeto del que se están obteniendo imágenes, en este caso el tercer objeto 501.
Nótese que una búsqueda que dé como resultado solamente un pico por cada columna m y ROI no puede dar como resultado el segundo patrón 504-2 de intensidades de la Figura 5c, que contiene dos picos por cada columna m. Por 10 el contrario, en el caso de una simple búsqueda de "un pico de intensidad", el segundo patrón 504-2 de intensidades podría ser, por ejemplo, un patrón discontinuo que contuviera total o parcialmente también los picos falsos de intensidad inferior, pero con solo un pico de intensidad por cada columna m. Sin embargo, cuando se tienen en cuenta patrones de intensidad para todas las ROI 301a, 302a, 303a, todavía pueden darse múltiples picos de intensidad por cada columna m para toda la zona 132 detectora de imagen, que incluyen, por ejemplo, picos falsos 15 correspondientes al primer patrón 504-1 de intensidad. Dichos múltiples picos de intensidad resultantes se pueden manejar conjuntamente con el suministro, al igual que en la Acción 405, de los datos de imagen basados en una combinación de los datos parciales de imagen leídos. Por ejemplo, se pueden procesar ulteriormente de manera interna en el dispositivo sensor 130 de imagen las cantidades reducidas de datos para todas las ROI, y proporcionarlas después como datos de imagen, o bien se pueden proporcionar como datos de imagen las 20 cantidades reducidas de datos para todas las ROI y, por ejemplo, procesarlas ulteriormente de manera externa. En cualquier caso, el procesamiento ulterior puede implicar la programación dinámica antes mencionada y/o algún o algunos algoritmos que tengan en cuenta también columnas vecinas m, condiciones de uniformidad y/o la continuidad de los patrones de picos de intensidad correspondientes a un perfil. Para ello, también se pueden tener en cuenta datos de imagen procedentes de uno o más perfiles previos o posteriores del objeto del que se están
25 obteniendo imágenes.
La Figura 6 es una ilustración esquemática para ejemplificar la exposición de distintas ROI en el contexto de realizaciones de la presente memoria, como se ha discutido más arriba en la Acción 402. Por ejemplo, un primer bloque 601 de exposición ilustra un tiempo de exposición de 16 unidades de tiempo asociado con la primera ROI 301a, un segundo bloque 602 de exposición ilustra un tiempo de exposición de 4 unidades de tiempo asociado con 30 la segunda ROI 301b y un tercer bloque de exposición 603 ilustra un tiempo de exposición de 1 unidad de tiempo asociado con la tercera ROI 301c. Una unidad de tiempo puede ser, por ejemplo, 10 milisegundos (ms). Es decir, en el ejemplo mostrado existe entre cada bloque de exposición una diferencia múltiplo de 4 en el tiempo de exposición. En general, la diferencia en los tiempos de exposición que se debe aplicar entre distintas ROI (por ejemplo, aumentarlo al aumentar la distancia al objeto fotografiado) se puede determinar basándose en el conocimiento del 35 sistema de medición que se esté utilizando, por ejemplo el sistema 100 de medición, las condiciones de iluminación del mismo, etc., y/o en base a "datos aprendidos". Además, la diferencia en tiempos de exposición entre las ROI puede basarse en los tiempos de exposición necesarios o que son deseables para las ROI "extremas", es decir, las ROI que corresponden a la distancia más larga y más corta al objeto del que se están obteniendo imágenes. Se pueden asociar después las ROI intermedias a tiempos de exposición apropiados, por ejemplo proporcionales, entre
40 dichos tiempos de exposición asociados con las ROI extremas.
En el ejemplo mostrado, las ROI se exponen en disminución a lo largo de las filas, por ejemplo, de forma que las filas "inferiores" de la figura mostrada son expuestas utilizando tiempos de exposición más largos, y las filas "superiores" utilizando tiempos de exposición más cortos. Con el primer patrón lumínico 133 que incide en la zona sensible 132 de la manera que se ilustra en la Figura 1b, la distancia cercana es la de las filas superiores que, por lo
45 tanto, son expuestas durante un tiempo más corto, y las filas inferiores son expuestas durante un tiempo más largo. Esto se puede emplear para aliviar el problema de rango dinámico que se ha mencionado más arriba.
En la figura se muestra además un ejemplo de una dirección 604 de exposición tal como se ha expuesto más arriba dentro de la Acción 402, a lo largo de la cual se ubican de manera consecutiva las ROI 301a, 302a, 303c. Los tiempos de exposición disminuyen a lo largo de la dirección 604 de exposición mostrada. La dirección 604 de
50 exposición es la misma para todas las ROI, al menos en cada ejecución de la Acción 402.
En general, se pueden exponerse ventajosamente las ROI de modo que la dirección 604 de exposición esté en una dirección "cerca/lejos" frente al objeto del que se están obteniendo imágenes, por ejemplo el primer, segundo o tercer objeto, respectivamente 120, 121, 501, de modo que partes del objeto que están más alejadas de la zona sensible 132 son expuestas durante un tiempo mayor. Obsérvese que, en el caso de una dirección de búsqueda, por
55 ejemplo la dirección 505a de búsqueda discutida más arriba en relación con la Figura 5b, puede existir una dirección de exposición, tal como la dirección 604 de exposición, que esté en la misma dirección, aunque no es necesario.
Además, la Figura 6 representa la situación discutida más arriba dentro de la Acción 402, en donde se exponen las ROI de modo que todos los píxeles pertenecientes a una misma ROI comienzan y terminan su exposición al mismo tiempo. Esto es consistente con haber mencionado en la Acción 402 que se puede considerar a cada ROI asociada 60 con su propio obturador, que es el mismo para todos los elementos sensores de la ROI en cuestión. Además, esto minimiza el tiempo total necesario para las exposiciones y típicamente también facilita una implementación más
imagen11
simple, que en el caso de, por ejemplo, un obturador que sea individual para cada fila, lo que se denomina una "persiana enrollable".
Además, tal como se ilustra en la Figura 6, se pueden exponer de manera secuencial regiones ROI parcialmente solapantes. Véanse, por ejemplo, el primer y tercer bloques 601, 603 de exposición, asociados con la primera y 5 tercera ROI 301a, 303a, respectivamente, que están ubicados después del segundo bloque 602 de exposición asociado con la segunda ROI 301b. Puede ser necesaria una exposición secuencial, es decir, exposiciones separadas en el tiempo, cuando el solapamiento parcial signifique que las ROI comparten elementos sensores en el solapamiento, y se debe conseguir una exposición individual de las ROI. Sin embargo, se pueden exponer al menos parcialmente de manera simultánea ROI no solapantes, y se hace así de manera ventajosa, como ocurre en la 10 Figura 6 para el primer y tercer bloque 601, 603 de exposición, asociados con la primer y tercera ROI 301a, 303a, respectivamente. La exposición al menos parcial de las ROI reduce el tiempo total de exposición y, de este modo, permite una ejecución más rápida del método según realizaciones de la presente memoria. Nótese que cuando termina la exposición de una ROI, los datos parciales de imagen asociados con esa ROI se pueden leer como parte de la Acción 403, mientras que la exposición de una u otras varias ROI puede continuar. Por lo tanto, no solo se
15 pueden realizar simultáneamente exposiciones de ROI no solapantes, sino que también se puede realizar la lectura de datos parciales de imagen asociados con una ROI de forma simultánea con exposiciones de una o varias ROI.
La Figura 7 es una ilustración esquemática para ejemplificar el solapamiento parcial entre regiones ROI en el contexto de realizaciones de la presente memoria. Se ha elegido como ejemplo el primer solapamiento parcial 502 entre la primera ROI 301a y la segunda ROI 302a, y se muestra para una única columna m. También se muestra un 20 ejemplo esquemático de un pico 700 de intensidad, que tiene una altura 701 de pico de intensidad y una anchura 702 de pico de intensidad. Cada uno de los uno o varios solapamientos parciales, por ejemplo el primer solapamiento parcial 502 y/o el segundo solapamiento parcial 503, en la dirección de búsqueda (véanse la Acción 404 y la Figura 5b) puede basarse en, o debería al menos ser, una anchura máxima predicha de pico de intensidad de luz que incide en la zona sensible 132. En la Figura 7 se ilustra esta situación para el solapamiento parcial 502. 25 Por tanto, se puede asumir en lo sucesivo que la anchura 702 de pico de intensidad corresponde a la anchura máxima predicha de pico de intensidad de luz que incide en la zona sensible 132. Tal solapamiento "al menos" parcial reduce el riesgo de que falten picos de intensidad que estén ubicados en empalmes entre regiones ROI, que corren el riesgo de ser más o menos "puntos ciegos", y por lo tanto tiene el efecto de mejorar la precisión del dispositivo sensor 130 de imagen. Se sabe que cuanto mayor sea la cantidad de regiones ROI utilizadas aumenta el 30 riesgo de picos de intensidad ubicados en empalmes, y esto adquiere cada vez mayor importancia con el solapamiento parcial. Además, cierto solapamiento parcial, incluso aunque sea menor que la anchura máxima esperada 702 de pico de intensidad, todavía puede al menos reducir el riesgo de picos de intensidad faltantes. El determinar cuál es la anchura máxima esperada de pico de intensidad que cabe esperar se encuentra dentro de la capacidad de la persona experta, en vista de las circunstancias, por ejemplo en vista de detalles relativos a un 35 sistema de medición, por ejemplo el sistema 100 de medición, que se esté utilizando con el dispositivo sensor 130 de imagen, a la fuente luminosa específica, por ejemplo la fuente luminosa 110, que se utilice, las distancias que la luz deba recorrer, etc. Además, por supuesto, se pueden aplicar pruebas y mediciones de rutina para encontrar la anchura máxima esperada de pico de intensidad. En cualquier caso, la anchura máxima esperada de pico de intensidad suele ser del orden de 10 píxeles, por ejemplo 5, 10 o 15 píxeles, por mencionar solamente algunos
40 ejemplos específicos.
A la vez que es deseable un solapamiento parcial por las razones precedentes, también puede resultar ventajoso mantener pequeño el solapamiento, puesto que un solapamiento demasiado grande puede que no conlleve ninguna ventaja particular y pueda dar como resultado solamente la lectura de datos redundantes, por lo que se puede asociar con un tiempo de lectura mayor, es decir, el tiempo para realizar la Acción 403, teniendo así un potencial
45 efecto limitante de la velocidad en la ejecución del método según realizaciones de la presente memoria. Por lo tanto, puede ser ventajoso que dicho cada uno de uno o varios solapamientos parciales, por ejemplo el primer solapamiento parcial 502 y el segundo solapamiento parcial 503, en la dirección de búsqueda, por ejemplo la primera dirección 505a de búsqueda, sea a lo sumo un múltiplo de 2 veces la anchura máxima predicha de pico de intensidad.
50 Para llevar a cabo las acciones 401-407 descritas más arriba en relación con la Figura 4, con el fin de proporcionar datos de imagen relativos a una imagen de dicho objeto, el dispositivo sensor 130 de imagen puede comprender una disposición representada esquemáticamente en la Figura 8a. Como ya se ha mencionado, el dispositivo sensor 130 de imagen comprende el sensor 131 de imagen.
El dispositivo sensor 130 de imagen, o una circuitería 801 de definición comprendida en el dispositivo sensor 130 de
55 imagen, está configurado para definir las ROI, por ejemplo las ROI 301a-303a, en la zona sensible 132 de imagen, donde cada ROI solapa parcialmente una u otras varias ROI.
El dispositivo sensor 130 de imagen, o una circuitería 802 de exposición comprendida en el dispositivo sensor 130 de imagen, está configurado para exponer las ROI individualmente a la luz proveniente del objeto. En alguna realización, el dispositivo sensor 130 de imagen o la circuitería 802 de exposición están configurados además para
60 exponer de manera secuencial las ROI parcialmente solapantes, tales como las ROI 301a, 302a, y al menos parcialmente de manera simultánea las ROI no solapantes, tales como las ROI 301a, 303a.
imagen12
El dispositivo sensor 130 de imagen, o una circuitería 803 de lectura comprendida en el dispositivo sensor 130 de imagen, está configurado para leer los datos parciales de imagen pertenecientes a dichos grupos respectivamente asociados a las ROI expuestas y que resultan de luz detectada en las mismas.
El dispositivo sensor 130 de imagen, o una circuitería 804 de suministro comprendida en el dispositivo sensor 130 de 5 imagen, está configurado para proporcionar, basándose en dicha combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.
El dispositivo sensor de imágenes 130, o una circuitería 805 de búsqueda comprendida en el dispositivo sensor 130 de imagen, puede estar configurado para buscar en cada ROI, después de la exposición de la misma y a lo largo de cada línea de píxeles paralela a la dirección de búsqueda, dichas respectivas una o varias posiciones de pico de
10 intensidad que cumplan dicho criterio de búsqueda. En este caso, el suministro de los datos de imagen para dicha imagen se basa además en las posiciones de pico de intensidad encontradas a partir de la búsqueda.
El dispositivo sensor 130 de imagen, o una circuitería 806 de aplicación comprendida en el dispositivo sensor 130 de imagen, puede estar configurado para aplicar dicho agrupamiento en, y durante la lectura de, al menos algunos de los datos parciales de imagen.
15 El dispositivo sensor 130 de imagen, o una circuitería 807 de obtención comprendida en el dispositivo sensor 130 de imagen, puede estar configurado para obtener los datos de imagen para dichas imágenes múltiples llevando a cabo la Acción 406 arriba mencionada, es decir, realizando una vez el método según las Acciones 401-405 y repitiendo una o más veces al menos las Acciones 402-405, cada vez con la luz incidente en el sensor 131 de imagen que resulte de reflexiones en partes distintas del objeto, por ejemplo el primer objeto 120. De este modo, el dispositivo
20 sensor 130 de imagen puede obtener el conjunto de datos de imagen asociado con las múltiples imágenes del objeto.
El dispositivo sensor 130 de imagen, o una circuitería 808 de conversión comprendida en el dispositivo sensor 130 de imagen, puede estar configurado para convertir el conjunto de datos de imagen en dicha información acerca de características tridimensionales del objeto, por ejemplo los perfiles 140-1 -140-K del primer objeto 120.
25 Por supuesto, el dispositivo sensor 130 de imagen comprende típicamente un puerto 809 de comunicaciones que en general está configurado para participar en el envío y/o recepción de información que incluya datos hacia y/o desde el dispositivo sensor 130 de imagen. Por ejemplo, en realizaciones donde la circuitería 807 de obtención y la circuitería 808 de conversión son externas al dispositivo sensor 130 de imagen, por ejemplo como se describirá más adelante en relación con la Figura 8b, el dispositivo sensor 130 de imagen o la circuitería 804 de suministro pueden
30 estar configurados para proporcionar los datos de imagen enviándolos a través del puerto 809 de comunicaciones de manera externa a la circuitería 807 de obtención que puede estar ubicada en otra parte del sistema 100 de medición, por ejemplo en una unidad separada. En realizaciones en las que la circuitería 807 de obtención y la circuitería 808 de conversión están integradas con el dispositivo sensor 130 de imagen, la circuitería 808 de conversión puede estar configurada adicionalmente para emitir como salida la información acerca de dichas
35 características tridimensionales, por ejemplo los perfiles 140-1 -140-K, a través del puerto 802 de comunicaciones.
La Figura 8b muestra esquemáticamente una configuración mínima del sistema 100 de medición para algunas realizaciones de la presente memoria. Como ya se ha indicado más arriba, la configuración mínima comprende el dispositivo sensor 130 de imagen y la fuente luminosa 110, configurada para iluminar el objeto, por ejemplo cualquiera de los primer, segundo o tercer objetos 120, 121, 501, con el patrón lumínico específico 112, por ejemplo,
40 una lámina de luz tal como se muestra en la Figura 1a. La fuente luminosa 110 y el sensor 131 de imagen (comprendidos en el dispositivo sensor 130 de imagen) están dispuestos uno con respecto a otro de manera que el patrón lumínico específico 112, cuando es reflejado por dicho objeto, se convierte al menos parcialmente en luz, por ejemplo el patrón lumínico 133, que incide en la zona sensible 132 y es detectada como dicha luz proveniente del objeto.
45 La Figura 8b indica además, con líneas discontinuas, que la circuitería 807 de obtención y la circuitería 808 de conversión, como alternativa a lo que se muestra en la Figura 8a, pueden ser externas al dispositivo sensor 130 de imagen pero estar aún comprendidas en el sistema 100 de medición, por ejemplo, comprendidas en una unidad procesadora 813 de datos separada, por ejemplo un ordenador.
Las realizaciones del dispositivo sensor 130 de imagen y/o el sistema 100 de medición se pueden implementar total
50 o parcialmente a través de uno o más procesadores, por ejemplo un procesador 810 representado en la Figura 8a, junto con un programa informático para llevar a cabo las funciones y acciones de realizaciones de la presente memoria. En algunas realizaciones, la circuitería y los puertos discutidos más arriba pueden ser implementados total
o parcialmente por el procesador 810.
En algunas realizaciones, ilustradas con el apoyo de los dibujos esquemáticos de las Figuras 9a-d, que se explican
55 adicionalmente por separado más adelante, se proporciona un primer programa informático 901a y/o un segundo programa informático 901b.
5
10
15
20
25
30
35
40
45
50
55
Cuando es ejecutado por un primer aparato de procesamiento de datos, por ejemplo el procesador 810, el primer programa informático 901a hace que el dispositivo sensor 130 de imagen realice el método según realizaciones de la presente memoria, como se ha descrito más arriba.
Tal como se ilustra esquemáticamente en la Figura 9a, cuando es ejecutado por un segundo aparato 900 de procesamiento de datos, por ejemplo un ordenador, el segundo programa informático 901b hace que se sintetice y/o se configure hardware, típicamente un chip, como dispositivo sensor 130 de imagen según realizaciones de la presente memoria como se ha descrito más arriba. El segundo aparato de procesamiento de datos puede ser uno convencional para sintetizar hardware basándose en algún lenguaje de programación convencional para sintetizar hardware, por ejemplo, lenguaje de descripción de hardware de circuito integrado de muy alta velocidad (VHDL, por sus siglas en inglés).
En algunas realizaciones, también ilustradas con el apoyo de los dibujos esquemáticos de las Figuras 9b-d, se proporciona un producto de programa informático que comprende un medio legible por ordenador en el cual están almacenados el primer programa informático 901a y/o el segundo programa informático 901b. Con la expresión "medio legible por ordenador" queda excluida una señal transitoria en propagación y, en consecuencia, al medio legible por ordenador se le puede denominar un medio no transitorio legible por ordenador. Son ejemplos de medio legible por ordenador una tarjeta de memoria o un "lápiz de memoria" 902 como se muestra en la Figura 9b, un medio 903 de almacenamiento en disco tal como un CD o DVD, como se muestra en la Figura 9c, un dispositivo 904 de almacenamiento masivo como se muestra en la Figura 9d. El dispositivo 904 de almacenamiento masivo se basa típicamente en uno o varios discos duros o unidades de estado sólido (SSD). El dispositivo 904 de almacenamiento masivo puede ser tal que se use para almacenar datos accesibles a través de una red informática 905, por ejemplo el Internet o una red de área local (LAN, por sus siglas en inglés).
Además, los programas informáticos 901a y/o 901b se pueden proporcionar en forma de un programa informático puro o bien comprendidos en uno o varios archivos. El archivo o archivos pueden estar almacenados en la memoria legible por ordenador y, por ejemplo, estar disponibles por descarga, por ejemplo a través de la red informática 905, por ejemplo desde el dispositivo 904 de almacenamiento masivo a través de un servidor. El servidor puede ser, por ejemplo, una web o servidor de protocolo de transferencia de archivos (ftp, por sus siglas en inglés). En el caso del primer programa informático 901a, el archivo o archivos pueden ser, por ejemplo, archivos ejecutables para descarga directa o indirecta al dispositivo sensor 130 de imagen, por ejemplo el procesador 810, y ejecución en el mismo, o bien pueden ser para descarga intermedia y compilación que implique el mismo procesador, u otro, para hacerlos ejecutables antes de su descarga adicional y ejecución. En el caso del segundo programa informático 901b, el archivo o archivos pueden ser, por ejemplo, archivos ejecutables para descarga directa o indirecta y ejecución por el segundo aparato 900 de procesamiento de datos, o bien pueden ser para descarga intermedia y compilación que implique el mismo ordenador, u otro, para hacerlos ejecutables antes de su descarga adicional y ejecución en el aparato 906 de síntesis de hardware.
El dispositivo sensor 130 de imagen puede comprender además una memoria 811, representada en la Figura 8, que comprenda una o varias unidades de memoria. La memoria 811 está dispuesta para almacenar datos, tales como el primer programa informático 901a y/o datos de imagen y/o configuraciones para realizar las funciones y acciones de realizaciones de la presente memoria.
Las personas expertas en la materia también apreciarán que los puertos y circuitería 801 a 808 pueden referirse a una combinación de circuitos analógicos y digitales, y/o uno o más procesadores configurados con software y/o firmware (por ejemplo, almacenados en memoria) que, cuando son ejecutados por el uno o más procesadores tales como el procesador 810, realizan lo descrito más arriba. Por ejemplo, en algunas realizaciones pueden existir múltiples procesadores, asociado cada uno con una columna m respectiva de las M columnas, o con un subgrupo respectivo de las M columnas. Uno o más de estos procesadores, así como el restante hardware digital, pueden estar incluidos en un solo ASIC, o bien varios procesadores y diverso hardware digital pueden estar distribuidos entre varios componentes separados, ya sea empaquetados individualmente o ensamblados en un SoC.
Como ejemplo adicional, el dispositivo sensor 130 de imagen puede comprender una circuitería 812 de procesamiento, que puede comprender uno o varios de los circuitos y/o puertos, etc., mencionados más arriba. En la presente memoria, la expresión "circuito de procesamiento" puede referirse a una unidad de procesamiento, un procesador, un ASIC, una matriz de puertas programables en campo (FPGA, por sus siglas en inglés) o similares. A modo de ejemplo, un procesador, un ASIC, una FPGA o similares pueden comprender uno o más núcleos de procesador. En algunos ejemplos, el circuito de procesamiento puede estar realizado por un módulo de software y/o hardware.
Por ejemplo, en realizaciones mencionadas más arriba en donde el segundo programa informático 901b ejecutado por el segundo aparato 900 de procesamiento de datos origina la síntesis de un chip para implementar el dispositivo sensor 130 de imagen, el chip puede corresponder a la unidad 812 de procesamiento.
Las Figuras 9a-d, ya mencionadas más arriba, son dibujos esquemáticos destinados a ilustrar realizaciones relativas a realizaciones de programa informático, y se han utilizado y discutido más arriba.
5
10
15
20
25
30
35
Por supuesto, los principios subyacentes de lo que se ha discutido en la presente memoria funcionarán con disposiciones distintas a las de los ejemplos específicos precedentes. Además, la persona experta puede averiguar la manera de organizar y/o configurar el dispositivo sensor 130 de imagen con el sensor 131 de imagen en un sistema de medición específico, por ejemplo correspondiente al sistema 100 de medición, para poder utilizar eficazmente las capacidades del dispositivo sensor 130 de imagen y las ventajas de realizaciones de la presente memoria, aunque el sistema de medición y detalles específicos puedan apartarse de ejemplos específicos de la presente descripción. También se debe tener en cuenta que aquello a lo que se le denomina "fila" y "columna" puede ser solamente una cuestión de definiciones, es decir, a lo que se le llama fila en la presente descripción se le puede llamar columna en otro caso, y a la inversa.
En la presente memoria, el término "memoria" puede referirse a un disco duro, un medio de almacenamiento magnético, un disco de ordenador portátil, memoria "flash", memoria de acceso aleatorio (RAM, por sus siglas en inglés) o similar. Además, la memoria puede ser una memoria de registro interno de un procesador.
En la presente memoria, la expresión "configurado para" puede significar que un circuito de procesamiento está configurado para, o adaptado para, mediante configuración de software o de hardware, realizar una o varias de las acciones descritas en la presente memoria.
En la presente memoria, los términos "número" o "valor" pueden ser cualquier tipo de dígito, por ejemplo números binarios, reales, imaginarios o racionales, o similares. Además, "número" o "valor" pueden ser uno o más caracteres, por ejemplo una letra o una cadena de letras. "Número" o "valor" también pueden representarse con una cadena de bits.
En la presente memoria se ha empleado la expresión "en algunas realizaciones" para indicar que las características de la realización descrita pueden ser combinadas con cualquier otra realización descrita en la presente memoria.
En la presente memoria, la nomenclatura puede emplear términos enumerativos tales como "primero", "segundo", "a", "b", etc., para conseguir una nomenclatura única. Típicamente, los términos enumerativos siguen el orden de aparición en la presente descripción. No debe interpretarse, sin información explícita de lo contrario, que impliquen ningún otro orden, tal como el orden de ejecución, prioridad, etc., ni debe interpretarse que impliquen dependencia alguna. Por ejemplo, una realización puede implicar un elemento que en la presente memoria se denomina "segundo" sin tener que implicar a otro elemento similar que en la presente memoria se denomine "primero", etc.
Cuando se emplea la palabra "comprende" o la expresión "que comprende", estas se deben interpretar como no limitantes, es decir, con el significado de "consiste al menos en".
En los dibujos y en la memoria descriptiva se han descrito realizaciones ilustrativas de la invención. Sin embargo, a estas realizaciones se les pueden hacer muchas variaciones y modificaciones sin apartarse sustancialmente de los principios de la presente invención. En consecuencia, aunque se utilizan términos específicos, se emplean solamente en un sentido genérico y descriptivo, y no con fines de limitación.
Aunque se han descrito realizaciones de los diversos aspectos, para las personas expertas en la técnica resultarán evidentes muchas distintas alteraciones, modificaciones y similares. Por lo tanto, no se pretende que las realizaciones descritas limiten el alcance de la presente descripción, que está definida por las reivindicaciones adjuntas.

Claims (12)

  1. imagen1
    REIVINDICACIONES
    1. Un método, realizado por un dispositivo sensor (130) de imagen, para proporcionar datos de imagen relativos a una imagen de un objeto (120; 121; 501), comprendiendo el dispositivo sensor (130) de imagen un sensor (131) de imagen que tiene una zona sensible (132) para detectar luz, en donde el método comprende:
    5 -definir (401) regiones de interés "ROI" (301a-303a) en la zona sensible (132), solapando parcialmente cada ROI (301a; 302a; 303a) una o varias de las otras ROI (301a-303a),
    -exponer (402) las ROI (301a-303a) individualmente a luz proveniente del objeto y en donde se exponen las ROI (301a-303a) de manera que todos los píxeles pertenecientes a una misma ROI comienzan y terminan su exposición al mismo tiempo,
    10 -leer (403) datos parciales de imagen pertenecientes a grupos de datos parciales de imagen, los grupos respectivamente asociados con las ROI (301a-303a) expuestas, siendo los datos parciales de imagen resultantes de luz detectada en las ROI (301a-303a) expuestas, y
    -proporcionar (405), basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.
    15 2. Un dispositivo sensor (130) de imagen para proporcionar datos de imagen relativos a una imagen de un objeto (120; 121; 501), comprendiendo el dispositivo sensor (130) de imagen un sensor (131) de imagen que tiene una zona sensible (132) para detectar luz, en donde el dispositivo sensor (130) de imagen está configurado para:
    -definir regiones de interés "ROI" (301a-303a) en la zona sensible (132), solapando parcialmente cada ROI (301a; 302a; 303a) una o varias de las otras ROI (301a-303a),
    20 -exponer las ROI (301a-303a) individualmente a luz proveniente del objeto y en donde se exponen las ROI (301a-303a) de manera que todos los píxeles pertenecientes a una misma ROI comienzan y terminan su exposición al mismo tiempo,
    -leer datos parciales de imagen pertenecientes a grupos de datos parciales de imagen, los grupos respectivamente asociados con las ROI (301a-303a) expuestas, siendo los datos parciales de imagen
    25 resultantes de luz detectada en las ROI (301a-303a) expuestas, y
    -proporcionar, basándose en una combinación de los datos parciales de imagen leídos, los datos de imagen relativos a la imagen del objeto.
  2. 3. El dispositivo sensor (130) de imagen según la reivindicación 2, en donde al menos algunas de las ROI (301a303a) son expuestas empleando tiempos de exposición distintos.
    30 4. El dispositivo sensor (130) de imagen según la reivindicación 3, en donde dichas al menos algunas de las ROI (301a-303a) están ubicadas de manera consecutiva a lo largo de una dirección (604) de exposición, aumentando o disminuyendo dichos tiempos de exposición distintos a lo largo de la dirección (604) de exposición.
  3. 5. El dispositivo (130) sensor de imagen según una cualquiera de las reivindicaciones 2-4, en donde las ROI (301a
    303a) están ubicadas de manera consecutiva a lo largo de o bien columnas (M) de píxeles o bien filas (N) de píxeles 35 de la zona sensible (132).
  4. 6. El dispositivo sensor (130) de imagen según una cualquiera de las reivindicaciones 2-5, en donde está asociada una dirección (505a; 505b) de búsqueda con la zona sensible (132) y el dispositivo sensor (130) de imagen está configurado adicionalmente para:
    -buscar en cada ROI (301a; 302a; 303a), después de la exposición de la misma y a lo largo de cada línea de
    40 píxeles paralela a la dirección (505a; 505b) de búsqueda, respectivas una o varias posiciones de pico de intensidad que cumplan un criterio de búsqueda,
    en donde el proporcionar los datos de imagen para dicha imagen se basa además en las posiciones de pico de intensidad encontradas en la búsqueda.
  5. 7. El dispositivo sensor (130) de imagen según la reivindicación 6, en donde la dirección (505a; 505b) de búsqueda
    45 es paralela a columnas (M) de píxeles o filas (N) de píxeles de la zona (132) detectora de imagen, con lo que dicha cada línea de píxeles corresponde a una respectiva columna (m) de píxeles o a una respectiva fila (n) de píxeles.
  6. 8. El dispositivo sensor (130) de imagen según una cualquiera de las reivindicaciones 6-7, en donde cada uno de uno o varios solapamientos parciales (502, 503) entre regiones ROI (301a-303a) en la dirección de búsqueda solapa con una anchura que es al menos una anchura máxima predicha (702) de pico de intensidad de luz que incide en la
    50 zona sensible (132).
    17
    imagen2
  7. 9.
    El dispositivo sensor (130) de imagen según la reivindicación 8, en donde dicho cada uno de uno o varios solapamientos parciales (502, 503) en la dirección de búsqueda es a lo sumo un múltiplo de 2 veces la anchura máxima predicha de pico de intensidad.
  8. 10.
    El dispositivo sensor (130) de imagen según una cualquiera de las reivindicaciones 2-9, en donde el dispositivo
    5 sensor (130) de imagen está configurado para exponer de manera secuencial regiones ROI parcialmente solapantes (301a, 302a) y al menos parcialmente de manera simultánea regiones ROI no solapantes (301a, 303a).
  9. 11. El dispositivo sensor (130) de imagen según una cualquiera de las reivindicaciones 2-10, en donde el dispositivo sensor (130) de imagen está configurado además para aplicar agrupamiento a, y durante la lectura de, al menos algunos de los datos parciales de imagen, donde agrupamiento se refiere aquí a que se están combinando datos
    10 procedentes de más de un píxel para proporcionar datos combinados correspondientes a un pixel resultante con un área mayor que cada uno de los píxeles involucrados en la combinación.
  10. 12. Un programa informático (901) que, cuando es ejecutado por un aparato (809; 900) de procesamiento de datos, hace que el dispositivo sensor (130) de imagen realice el método según la reivindicación 1 y/o hace que sintetice hardware, y/o se configure, como el dispositivo sensor (130) de imagen según una cualquiera de las reivindicaciones
    15 2-11.
  11. 13.
    Un producto de programa informático que comprende un medio (902, 903, 904) legible por ordenador y un programa informático (901) según la reivindicación 12 almacenado en el medio (902, 903, 904) legible por ordenador.
  12. 14.
    Un sistema (100) de medición que comprende el dispositivo sensor (130) de imagen según una cualquiera de las
    20 reivindicaciones 2-11, para proporcionar información acerca de características tridimensionales (140-1 -140-K; 1411) del objeto (120; 121; 501) basada en datos de imagen proporcionados procedentes del dispositivo sensor (130) de imagen, comprendiendo además el sistema (100) de medición una fuente luminosa (110) configurada para iluminar el objeto (120; 121; 501) con un patrón lumínico específico (112), estando la fuente luminosa (110) y el sensor (131) de imagen dispuestos uno con respecto a otro de manera que el patrón lumínico específico (112), cuando es
    25 reflejado por el objeto (120; 121; 501), se convierte al menos parcialmente en luz (133) que incide en la zona sensible (132) y es detectada como dicha luz proveniente del objeto (120; 121; 501), con lo que los datos de imagen proporcionados comprenden información que se puede convertir en las características tridimensionales (140-1 -140-K; 141-1) del objeto (120; 121; 501) con respecto a posiciones sobre el objeto (120; 121; 501), posiciones que originan dicha luz (133) que incide en la zona sensible (132).
    30 15. El sistema (100) de medición según la reivindicación 14, en donde el sistema (100) de medición está configurado para:
    -obtener datos de imagen para múltiples imágenes realizando una vez el método según la reivindicación 13 y repitiendo una o más veces al menos las acciones de exponer (402), leer (403) y proporcionar (405), cada vez con la luz que incide en el sensor (131) de imagen que resulta de reflexiones en partes distintas del objeto
    35 (120; 121; 501), obteniendo de este modo un conjunto de datos de imagen asociados con múltiples imágenes del objeto (120; 121; 501), y
    -convertir el conjunto de datos de imagen en la información acerca de características tridimensionales (140-1 – 140-K; 141-1) del objeto (120; 121; 501).
    18
ES14708850.4T 2014-03-05 2014-03-05 Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto Active ES2654101T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/054284 WO2015131944A1 (en) 2014-03-05 2014-03-05 Image sensing device and measuring system for providing image data and information on 3d-characteristics of an object

Publications (1)

Publication Number Publication Date
ES2654101T3 true ES2654101T3 (es) 2018-02-12

Family

ID=50239614

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14708850.4T Active ES2654101T3 (es) 2014-03-05 2014-03-05 Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto

Country Status (8)

Country Link
US (1) US10509977B2 (es)
EP (1) EP3114432B1 (es)
JP (1) JP6204608B2 (es)
CN (1) CN106133476B (es)
CA (1) CA2940079C (es)
DK (1) DK3114432T3 (es)
ES (1) ES2654101T3 (es)
WO (1) WO2015131944A1 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
ES2654101T3 (es) 2014-03-05 2018-02-12 Sick Ivp Ab Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto
EP3408648B1 (en) * 2016-01-28 2025-12-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures
ES2682525B1 (es) * 2017-03-20 2019-10-21 Univ Girona Conjunto de escaneo por laser, vehiculo y procedimiento de escaneo por laser correspondientes
US10753726B2 (en) * 2017-03-26 2020-08-25 Cognex Corporation System and method for 3D profile determination using model-based peak selection
EP4708845A1 (en) * 2018-09-18 2026-03-11 Intuitive Surgical Operations, Inc. Method and system for enhanced image sensor timing
CN112997193A (zh) * 2018-11-07 2021-06-18 马瑞奥三文鱼加工有限公司 食品加工设备和食品加工设备中提供食品对象的图像的方法
US11906289B2 (en) 2019-06-28 2024-02-20 Institut National D'optique Triangulation-based optical profilometry system
EP3779882B1 (en) * 2019-08-16 2022-07-20 Sick IVP AB Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system
TWI735953B (zh) * 2019-09-18 2021-08-11 財團法人工業技術研究院 三維量測裝置與其操作方法
JP2023505611A (ja) * 2020-02-10 2023-02-09 コグネックス・コーポレイション 複合三次元ブロブツール及び複合三次元ブロブツールを動作させるための方法
US20220182561A1 (en) * 2020-10-04 2022-06-09 Digital Direct Ir, Inc. Wide field of view imaging system for vehicle artificial intelligence system
EP4220075B1 (en) * 2022-01-28 2023-12-27 Sick IVP AB Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196939A (en) * 1989-12-28 1993-03-23 Loral Fairchild Corporation Method and apparatus for transferring images from an imaging array
JPH0937040A (ja) * 1995-07-24 1997-02-07 Canon Inc 画像走査装置
US6166367A (en) * 1998-03-26 2000-12-26 Photobit Corporation Programmable analog arithmetic circuit for imaging sensor
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US7106377B2 (en) 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
US20060257053A1 (en) * 2003-06-16 2006-11-16 Boudreau Alexandre J Segmentation and data mining for gel electrophoresis images
JP2006074114A (ja) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
US7611060B2 (en) * 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7538813B2 (en) * 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
ES2648217T3 (es) * 2007-04-26 2017-12-29 Sick Ivp Ab Método y aparato para determinar la cantidad de luz dispersada en un sistema de visión artificial
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
US8332607B2 (en) 2008-07-31 2012-12-11 Skymedi Corporation Non-volatile memory storage device and operation method thereof
JP5524495B2 (ja) * 2009-03-10 2014-06-18 富士機械製造株式会社 撮像システムおよび電子回路部品装着機
JP2011039006A (ja) * 2009-08-18 2011-02-24 Topcon Corp 測定装置
JP5953305B2 (ja) * 2010-08-23 2016-07-20 レッド.コム,インコーポレイテッド 高ダイナミック・レンジ・ビデオ
JP5682196B2 (ja) * 2010-09-22 2015-03-11 セイコーエプソン株式会社 画像補正回路、撮影装置および画像補正プログラム
KR20140022858A (ko) * 2011-04-01 2014-02-25 가부시키가이샤 니콘 형상 측정 장치, 형상 측정 방법, 및 구조물의 제조 방법
JP5806511B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法
GB2492387B (en) * 2011-06-30 2017-07-19 Cmosis Nv Pixel array with individual exposure control for a pixel or pixel region
JP2013186089A (ja) * 2012-03-09 2013-09-19 Canon Inc 表面形状の測定方法及び測定装置
US8998089B2 (en) * 2013-01-03 2015-04-07 Symbol Technologies, Inc. Method of controlling illumination pulses to increase dynamic range in bioptic imager barcode scanner
JP6415454B2 (ja) * 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルTeledyne Innovaciones Microelectronicas,Slu 画像センサ用の高度の関心領域機能
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus
ES2654101T3 (es) 2014-03-05 2018-02-12 Sick Ivp Ab Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto
US20160037093A1 (en) * 2014-07-31 2016-02-04 Invisage Technologies, Inc. Image sensors with electronic shutter
US10475202B2 (en) * 2016-02-05 2019-11-12 Mitutoyo Corporation Image measuring device and program
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device

Also Published As

Publication number Publication date
EP3114432B1 (en) 2017-11-22
US10509977B2 (en) 2019-12-17
EP3114432A1 (en) 2017-01-11
WO2015131944A1 (en) 2015-09-11
US20170069098A1 (en) 2017-03-09
JP6204608B2 (ja) 2017-09-27
CN106133476A (zh) 2016-11-16
JP2017508968A (ja) 2017-03-30
CN106133476B (zh) 2018-09-14
DK3114432T3 (en) 2018-01-08
CA2940079C (en) 2018-06-12
CA2940079A1 (en) 2015-09-11

Similar Documents

Publication Publication Date Title
ES2654101T3 (es) Dispositivo sensor de imagen y sistema de medición para proporcionar datos de imagen e información acerca de características 3D de un objeto
ES2819868T3 (es) Método y aparato para generar imagen sintética
ES2996508T3 (en) Apparatus and method of texture mapping for dental 3d scanner
ES2893260T3 (es) Sombreado representaciones CG de materiales
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
US10692409B2 (en) Information processing apparatus, information processing method, and computer program product for arranging a planar image in a full-spherical panoramic image obtained by imaging an omnidirectional range
US20180275325A1 (en) Single-sensor hyperspectral imaging device
US11483468B2 (en) Phase detect auto-focus three dimensional image capture system
CN108475145B (zh) 图像识别装置、图像识别方法以及图像识别单元
US10198851B2 (en) Rendering system and method
US8942481B2 (en) Three dimensional CMOS image processor for feature detection
ES2907737T3 (es) Procedimiento para calibrar un sistema de sensores
US20130235364A1 (en) Time of flight sensor, camera using time of flight sensor, and related method of operation
CN110717589A (zh) 数据处理方法、设备和可读存储介质
JP7316860B2 (ja) 映像データを処理する方法及びその装置
BR102014003593A2 (pt) método de aprimoramento de um perfil de reflectância espectral de um objeto com o uso de um dispositivo de imageamento hiperespectral
CN114332349B (zh) 一种双目结构光边缘重建方法、系统及存储介质
Hansard et al. Automatic detection of calibration grids in time-of-flight images
JP2023525535A (ja) 3次元画像内の表面特徴を識別する方法及び装置
ES3057297T3 (en) Systems and methods of 3d object reconstruction using a neural network
US10223606B2 (en) 3-D intraoral measurements using optical multiline method
CN113508395B (zh) 用于检测由像素构成的图像中的对象的方法和设备
US20220383581A1 (en) Texture mapping method using reference image, and computing apparatus performing texture mapping method
Mauch et al. Real-time adaptive optic system using FPGAs
US9336600B2 (en) Shape from motion for unknown, arbitrary lighting and reflectance