ES2796252T3 - Generador de imágenes y telémetro combinados - Google Patents
Generador de imágenes y telémetro combinados Download PDFInfo
- Publication number
- ES2796252T3 ES2796252T3 ES12864658T ES12864658T ES2796252T3 ES 2796252 T3 ES2796252 T3 ES 2796252T3 ES 12864658 T ES12864658 T ES 12864658T ES 12864658 T ES12864658 T ES 12864658T ES 2796252 T3 ES2796252 T3 ES 2796252T3
- Authority
- ES
- Spain
- Prior art keywords
- image sensor
- images
- vehicle
- light
- illuminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
- G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Un vehículo (40) que comprende un generador de imágenes y un telémetro combinados (10A, 10B) que se montan en el vehículo, el generador de imágenes y el telémetro combinados que comprenden: (a) un sensor de imágenes (12) para adquirir imágenes de objetos en un campo de visión (18); (b) un iluminador (14) para dirigir un haz de luz (20) al menos en parte a través de dicho campo de visión; y (c) un controlador (16) para operar dicho sensor de imágenes (12) y dicho iluminador (14) en un primer modo en el que dicho sensor de imágenes adquiere imágenes completas que abarcan sustancialmente todo dicho campo de visión, caracterizado porque dicho controlador (16) se configura además para determinar un primer rango desde el vehículo (40) a uno de dichos objetos, y para cambiar, si dicho primer rango es inferior a un umbral predeterminado, para operar dicho sensor de imágenes (12) y dicho iluminador (14) en un segundo modo en el que dicho sensor de imágenes (12) adquiere imágenes parciales que abarcan solo una porción de dicho campo de visión que incluye una reflexión de dicho haz de luz (20) desde dicho un objeto, y para determinar desde una ubicación, en cada una de al menos una porción de dichas imágenes parciales, de una parte de dicha cada imagen parcial que representa dicha reflexión, un rango correspondiente hasta dicho un objeto; en donde dicho sensor de imágenes (12) adquiere dichas imágenes completas en dicho primer modo a una primera frecuencia de cuadros y adquiere dichas imágenes parciales en dicho segundo modo a una segunda frecuencia de cuadros que es más rápida que dicha primera frecuencia de cuadros.
Description
DESCRIPCIÓN
Generador de imágenes y telémetro combinados
Campo y antecedentes de la invención
La presente invención se refiere a telémetros y, más particularmente, a un dispositivo que realiza obtención de imágenes y telemetría.
Tales dispositivos se conocen en la técnica anterior. Por ejemplo, Solomon y otros, Patente de los Estados Unidos número 7,342,648, enseñan un dispositivo que incluye cuatro láseres que rodean una cámara y que emiten rayos láser paralelos al eje óptico de la cámara. La Figura 1, que se adapta a partir de la Figura 3 del documento US 7,342,648, ilustra el principio de funcionamiento del dispositivo. La cámara capta una reflexión, desde la pared, de un haz de luz que emite el primer láser, en un ángulo de 01, y capta una reflexión, desde la pared, de un haz de luz que emite el segundo láser, en un ángulo de 02. Dada la paralaje d de los láseres en relación con el eje óptico de la cámara, calcular los rangos ri y r2 hasta la pared es una cuestión de trigonometría simple.
Normalmente, la cámara del dispositivo del documento US 7,342,648 es una cámara de video con una frecuencia de cuadro de 30 a 50 Hz. El controlador del dispositivo necesita localizar, en los cuadros, los píxeles que corresponden a las reflexiones de los rayos láser y luego calcular los ángulos correspondientes 0i y 02 y los rangos correspondientes ri y r2. La frecuencia de cuadro de 30 a 50 Hz corresponde a una determinación de los rangos ri y r2 como máximo de 15 a 25 veces por segundo porque las reflexiones de los rayos láser se ubican en los cuadros al adquirir dos cuadros sucesivos, uno con los láseres encendidos y el otro con los láseres apagados, y restando un cuadro del otro. Hay aplicaciones en las que los rangos deben calcularse más rápido que de 15 a 25 veces por segundo. Por ejemplo, un helicóptero de reconocimiento teledirigido podría usar el dispositivo del documento US 7,342,648 para captar imágenes de objetivos por debajo de sí mismo en alta resolución mientras determina su altitud en relación con esos objetivos para garantizar que permanezca a una altitud segura por encima de esos objetivos, excepto que en algunos casos determinar la altitud por encima del objetivo debe hacerse con más frecuencia que 25 veces por segundo si el dron desciende por debajo de una altitud segura por encima de sus objetivos.
Montar un telémetro en tándem con el dispositivo del documento US 7,342,648 podría no ser una solución aceptable si el helicóptero teledirigido es pequeño y el telémetro adicional agregaría un peso excesivo al helicóptero teledirigido y ocuparía un espacio valioso en el helicóptero teledirigido que se usaría mejor para algún otro propósito. En principio, el dispositivo del documento US 7,342,648 podría modificarse para usar una cámara de video con una frecuencia de cuadro más rápida y usar un procesador más rápido en su controlador, pero sería muy ventajoso poder modificar el dispositivo del documento US 7,342,648 para determinar los rangos más rápido que 25 veces por segundo sin incurrir en el gasto de un procesador más rápido.
Resumen de la invención
De acuerdo con la presente invención, se proporciona un generador de imágenes y un telémetro combinados de acuerdo con la reivindicación 1.
De acuerdo con la presente invención, se proporciona un método para anticipar una colisión entre un primer cuerpo y un segundo de acuerdo con la reivindicación 11.
Un generador de imágenes y telémetro básico combinados de la presente invención incluye un sensor de imágenes, un iluminador y un controlador. El sensor de imágenes, que normalmente es una cámara de video o una cámara de visión infrarroja frontal (FLIR), es para adquirir imágenes de objetos en su campo de visión. El iluminador dirige un haz de luz al menos en parte a través del campo de visión. La luz puede ser visible, infrarroja o ultravioleta, pero normalmente es luz infrarroja. El controlador opera el sensor de imágenes y el iluminador en uno de dos modos. En el primer modo, el sensor de imágenes adquiere imágenes completas que abarcan sustancialmente todo el campo de visión. En el segundo modo, el sensor de imágenes adquiere imágenes parciales que abarcan solo una porción del campo de visión que incluye una reflexión de la luz del iluminador desde uno de los objetos en el campo de visión. El controlador determina, a partir de la ubicación, en cada una de al menos una porción de las imágenes parciales, de una parte, de la imagen parcial que representa la reflexión, un rango correspondiente a ese objeto.
Preferentemente, el sensor de imágenes adquiere las imágenes completas a una primera frecuencia de cuadros y adquiere la imagen parcial a una segunda frecuencia de cuadros que es más rápida que la primera frecuencia de cuadros.
Preferentemente, el controlador también determina, a partir de al menos dos de las ubicaciones, una velocidad de aproximación al objeto cuyas reflexiones son el sujeto de las imágenes parciales.
Preferentemente, el iluminador se despliega en una relación espacial fija con el sensor de imágenes. En algunas modalidades preferidas, el iluminador dirige su haz de luz sustancialmente paralelo al eje óptico del sensor de imágenes.
En otras modalidades preferidas, el iluminador dirige su haz de luz oblicuamente con relación al eje óptico del sensor de imágenes.
En algunas modalidades preferidas, el iluminador usa una fuente de radiación coherente, tal como un láser, para producir su haz de luz. En otras modalidades preferidas, el iluminador usa una fuente de luz incoherente, tal como un diodo emisor de luz (LED), junto con una óptica de colimación, para producir su haz de luz.
Preferentemente, en el primer modo de funcionamiento, el controlador determina, desde una ubicación, en cada una de al menos algunas de las imágenes completas, de una parte, de la imagen completa que representa la reflexión, un rango correspondiente a un objeto en el campo de visión del sensor de imágenes. Si ese rango es inferior a un umbral predeterminado, el controlador cambia al segundo modo de funcionamiento y las reflexiones desde ese objeto se convierten en el sujeto de las imágenes parciales.
Preferentemente, el sensor de imágenes incluye un filtro de muesca cuya muesca hace pasar un rango de longitudes de onda de la luz desde el iluminador.
Preferentemente, el sensor de imágenes incluye una matriz de una pluralidad de elementos fotodetectores. Más preferentemente, la matriz es una matriz rectangular que incluye una pluralidad de filas de los elementos fotodetectores y las imágenes parciales se adquieren usando solo una parte de las filas. Más preferentemente, el iluminador se despliega en una relación espacial fija con el sensor de imágenes para dirigir el haz de luz solo hacia una porción del campo de visión en el que las reflexiones de la luz del iluminador se captan por esa porción de las filas. También más preferentemente, para cada imagen parcial posterior a la primera imagen parcial, la porción de las filas que se usa para adquirir la nueva imagen parcial se selecciona de acuerdo con la parte, de la porción de las filas que se usó para adquirir la imagen parcial anterior, que capta la reflexión.
También más preferentemente, el sensor de imágenes incluye dos o más subpluralidades de los elementos fotodetectores. Los elementos fotodetectores de cada subpluralidad son sensibles solo a un rango respectivo de longitudes de onda. Las imágenes parciales se obtienen usando solo algunos o todos los elementos fotodetectores de solo una de las subpluralidades. Por ejemplo, en una de las modalidades preferidas que se discuten a continuación, se usa un filtro Bayer para hacer que los elementos fotodetectores sean sensibles a la luz azul o solo a la luz verde o solo al rojo y alguna luz infrarroja, y las imágenes parciales se obtienen usando solo algunas de las filas de solo los elementos fotodetectores que son sensibles solo al rojo y a alguna luz infrarroja.
También más preferentemente, los elementos fotodetectores son sensores de píxeles activos tales como sensores semiconductores complementarios de óxido de metal (CMOS).
Preferentemente, la parte de cada imagen parcial que representa la reflexión incluye una pluralidad de píxeles, y la ubicación de la parte de la imagen parcial que refleja la reflexión es el centroide de esos píxeles.
El alcance de la presente invención también incluye un vehículo, tal como un helicóptero, que incluye el generador de imágenes y el telémetro combinados de la presente invención.
Un método básico de la presente invención es un método para anticipar una colisión entre un primer cuerpo y un segundo cuerpo. Por ejemplo, en las modalidades preferidas que se analizan a continuación, el primer cuerpo es un helicóptero teledirigido y el segundo cuerpo es el terreno sobre el cual vuela el helicóptero teledirigido. El primer cuerpo se equipa con un sensor de imágenes. El sensor de imágenes adquiere imágenes parciales sucesivas que abarcan solo una parte del campo de visión del sensor de imágenes que incluye al menos parte del segundo cuerpo. Al mismo tiempo, un haz de luz se dirige al menos a una parte del segundo cuerpo. Se calculan dos o más primeros rangos desde el primer cuerpo hasta el segundo cuerpo, en base, al menos en parte, a ubicaciones respectivas, en las imágenes parciales, de partes de las imágenes parciales que reflejan las reflexiones de la luz de al menos una porción iluminada del segundo cuerpo. En base a los primeros rangos calculados, por ejemplo, en base a los valores y las tasas de cambio de los primeros rangos, se decide si es inminente una colisión entre los dos cuerpos. Preferentemente, si una colisión es inminente, el primer cuerpo se asegura para minimizar el daño que la colisión causará al primer cuerpo.
Preferentemente, antes de que se adquieran las imágenes parciales, se determina un segundo rango desde el primer cuerpo hasta el segundo cuerpo. La adquisición de las primeras imágenes se inicia si el segundo rango está por debajo de un umbral predeterminado. Más preferentemente, la determinación del segundo rango incluye el uso del sensor de imágenes para adquirir imágenes completas sucesivas que abarcan sustancialmente todo el campo de visión mientras se dirige el haz de luz al menos en parte a través del campo de visión de manera sincronizada con la adquisición de las imágenes completas para apoyar el cálculo del segundo rango. El cálculo del segundo rango se basa al menos en parte en la ubicación en una de las imágenes completas de una parte de esa imagen completa que representa una reflexión de la luz del segundo cuerpo. Más preferentemente, las imágenes completas se adquieren a una frecuencia de cuadro que es más lenta que la frecuencia de cuadro a la que se obtienen las imágenes parciales.
También más preferentemente, durante la adquisición de las imágenes completas, el haz de luz se dirige solo de manera intermitente, es decir, con menos frecuencia que cualquier otro cuadro, a través del campo de visión del sensor de imágenes. En otras palabras, la segunda distancia no se calcula para cada par de imágenes completas.
Preferentemente, el direccionamiento del haz de luz en al menos una porción del segundo cuerpo se sincroniza con la adquisición de las imágenes parciales, en lugar de, por ejemplo, iluminar continuamente la porción del segundo cuerpo.
Breve descripción de los dibujos
En el presente documento se describen diferentes modalidades, solo a manera de ejemplo, con referencia a los dibujos adjuntos, en donde:
La Figura 1 ilustra el funcionamiento del dispositivo de la técnica anterior del documento US 7,342,648;
Las Figuras 2A y 2B son diagramas de bloques de alto nivel de dos generadores de imágenes/telémetros de la presente invención;
Las Figuras 2C y 2D ilustran la sensibilidad angular del generador de imágenes/telémetro de la Figura 2A;
La Figura 3 es un diagrama esquemático de alto nivel de un sensor de imágenes;
Las Figuras 4A y 4B ilustran la definición del campo de visión del sensor de imágenes de la Figura 3;
La Figura 5 ilustra el funcionamiento del generador de imágenes/telémetro de la Figura 2B;
La Figura 6 ilustra un helicóptero teledirigido de la presente invención;
La Figura 7 ilustra una variante del sensor de imágenes de la Figura 3 que se basa en una cámara de video de color estándar;
La Figura 8 ilustra un filtro Bayer.
Descripción de las modalidades preferidas
Los principios y el funcionamiento de un generador de imágenes y telémetro combinados de acuerdo con la presente invención pueden entenderse mejor con referencia a los dibujos y la descripción adjunta.
Haciendo referencia nuevamente a los dibujos, las Figuras 2A y 2B son diagramas de bloques de alto nivel de dos generadores de imágenes/telémetros combinados 10A y 10B de la presente invención. Ambos generadores de imágenes/telémetros combinados 10A y 10B incluyen un sensor de imágenes 12, un iluminador 14 y un controlador 16. El sensor de imágenes 12 normalmente es una cámara, tal como una cámara de video, para captar imágenes en la porción visible del espectro electromagnético, o una cámara infrarroja frontal (FLIR), para captar imágenes en la porción infrarroja del espectro electromagnético, por ejemplo, en el infrarrojo cercano y el infrarrojo medio (longitudes de onda entre 0,8 micras y 12 micras) pero preferentemente en longitudes de onda entre tres micras y cinco micras. El iluminador 14 normalmente es un láser, pero también podría ser un diodo emisor de luz con óptica de colimación. El sensor de imágenes 12 adquiere imágenes dentro de un campo de visión cónico o piramidal cuyos límites se indican por líneas discontinuas 18. El iluminador 14 proporciona un haz de luz colimado 20 que se cruza con el campo de visión del sensor de imágenes 12. El controlador 16 coordina el funcionamiento del sensor de imágenes 12 y el iluminador 14 como se describe a continuación para determinar el rango desde el generador de imágenes/telémetro combinado 10A o 10B hasta un objeto dentro del campo de visión del sensor de imágenes 12. En el generador de imágenes/telémetro combinado 10A, el iluminador 14 se fija en su lugar en relación con el sensor de imágenes 12, de modo que el haz de luz 20 es paralelo al eje óptico 22 del sensor de imágenes 12. En el generador de imágenes/telémetro combinado 10B, el iluminador 14 se fija en su lugar en relación con el sensor de imágenes 12 de modo que el haz de luz 20 cruza el campo de visión del sensor de imágenes 12 oblicuamente en relación con el eje óptico 22 del sensor de imágenes 12.
Las Figuras 2C y 2D ilustran la geometría de la sensibilidad angular del generador de imágenes/telémetro combinado 10A, con los ejes ópticos paralelos del sensor de imágenes 12 y el iluminador 14 separados por una distancia D. "FP" denota el punto focal del sensor de imágenes 12.
En la Figura 2C, una reflexión de un objeto en un rango r desde el generador de imágenes/telémetro combinado 10A se capta en un ángulo 0 cuya relación con r y D es cot(0)=r/D. La sensibilidad angular del generador de imágenes/telémetro combinado 10A aumenta al disminuir r (siempre que el objeto permanezca en el campo de visión del sensor de imágenes 12) porque la magnitud de la pendiente de la función arccot(x) aumenta de manera monótona a medida que x se aproxima a cero desde encima.
La Figura 2D ilustra cómo la sensibilidad del generador de imágenes/telémetro 10A a un cambio en el rango de r2 a ri aumenta con el aumento de D. El ángulo A0 que se delimita por las reflexiones de ri y r2 es arctan(r2/D)-arctan(ri/D), cuya derivada con respecto a D es (r22-ri2)/[(D2+r22)(D2+ri2)] que es estrictamente positiva.
La Figura 3 es un diagrama esquemático de alto nivel del sensor de imágenes 12. El sensor de imágenes 12 incluye una matriz rectangular 26 de elementos fotodetectores, la óptica 24, que se representa en la Figura 3 por una lente convexa, que enfoca la luz desde el campo de visión del sensor de imágenes 12 en la matriz 26, y la electrónica de control 26 que usa la matriz 26 para adquirir imágenes del campo de visión del sensor de imágenes 12. El eje óptico 22 es el eje óptico de la óptica 24. Los elementos fotodetectores son preferentemente sensores de píxeles activos tales como detectores de
semiconductores complementarios de óxido de metal (CMOS) pero también podrían ser otros tipos de fotodetectores, por ejemplo, detectores acoplados a carga (CCD) o fotodiodos.
Las Figuras 4A y 4B ilustran que el campo de visión del sensor de imágenes 12 se define por la óptica 24 y la matriz 26 en combinación. En la Figura 4A, el círculo 30A indica la porción de la matriz 26 en la que se enfoca la luz de la óptica 24. El campo de visión del sensor de imágenes 12 es entonces un tronco cónico, que se extiende indefinidamente hacia afuera desde la porción de la matriz 26 que se limita por el círculo 30A, cuyo eje de simetría es el eje óptico 22. En la Figura 4B, la luz de la óptica 24 se enfoca en un plano que incluye la matriz 26 y se extiende más allá de la matriz 26. El campo de visión del sensor de imágenes 12 es entonces un tronco piramidal, que se extiende indefinidamente hacia afuera desde toda la matriz 26, cuyo eje de simetría es el eje óptico 22.
El generador de imágenes/telémetro 10A funciona como un telémetro sustancialmente como se describe anteriormente para el dispositivo del documento US 7,342,648. El funcionamiento del generador de imágenes/telémetro 10B como un telémetro es similar y ahora se describirá con referencia a la Figura 5. La luz 20 del iluminador 14 se refleja desde un objeto 36 en el campo de visión del sensor de imágenes 12. La luz reflejada, que se representa en la Figura 5 como un rayo reflejado 38, se enfoca por la óptica 24 en un punto 34 en la matriz 26. El desplazamiento A del punto 34 a lo largo de la matriz 26 desde el eje óptico 22 es una función monótona de donde a lo largo del haz de luz 20 se encuentra el punto de reflexión e indica el rango r desde un punto arbitrario en el generador de imágenes/telémetro hasta el objeto 36. Esta función puede obtenerse de antemano rastreando rayos desde varios puntos en la matriz 26 a través de la óptica 24 hasta el haz de luz 20, o calibrando el generador de imágenes/telémetro 10b en relación con los objetos 36 que se ubican en rangos conocidos r desde el generador de imágenes/telémetro 10B. Tenga en cuenta que el generador de imágenes/telémetro 10A es un caso especial del generador de imágenes/telémetro 10B, siendo el caso especial del haz de luz 20 paralelo al eje óptico 22. El controlador 16 identifica, en un cuadro que adquiere el sensor de imágenes 12, el píxel que representa la luz reflejada identifica el elemento fotodetector en el punto 34 que corresponde a ese píxel, y calcula o busca en una tabla el rango correspondiente r. Puede demostrarse que la sensibilidad angular del generador de imágenes/telémetro 10B, en función del rango r, es similar a la sensibilidad angular del generador de imágenes/telémetro 10A.
En la práctica, debido a efectos tales como el ancho finito del haz de luz 20, la luz que se refleja desde el objeto 36 se enfoca en varios de los elementos fotodetectores de la matriz 26. El punto 34 se determina a partir del centroide de los píxeles del cuadro que representa la luz reflejada 38.
Una ventaja del generador de imágenes/telémetro 10B sobre el generador de imágenes/telémetro 10A es que el generador de imágenes/telémetro 10B aprovecha más el ancho de la matriz 26 que el generador de imágenes/telémetro 10A para captar las reflexiones del haz de luz 20. En el generador de imágenes/telémetro 10A, las reflexiones del haz de luz 20 se enfocan solo en el lado de la matriz de fotodetectores 26 adyacente al iluminador 14. En el generador de imágenes/telémetro 10B, las reflexiones del haz de luz 20 se enfocan en ambos lados de la matriz de fotodetectores 26.
Se deduce que la estimación del rango r mediante el generador de imágenes/telémetro 10B es inherentemente más precisa que la estimación del rango r mediante el generador de imágenes/telémetro 10A. Si el haz de luz 20 es paralelo al límite opuesto 18 del campo de visión del sensor de imágenes 12, entonces el generador de imágenes/telémetro 10B aprovecha todo el ancho de la matriz de fotodetectores 26. El generador de imágenes/telémetro 10B también es inherentemente capaz de medir rangos r más cercanos que el generador de imágenes/telémetro 10A. De hecho, la precisión del generador de imágenes/telémetro 10B en rangos cortos r puede aumentarse haciendo que la oblicuidad del iluminador 14 en relación con el eje óptico 22 sea tan grande que el haz de luz 20 cruce todo el campo de visión del sensor de imágenes 12, a expensas de perder la capacidad de medir rangos r largos.
La Figura 6 muestra un helicóptero de reconocimiento teledirigido 40 que se equipa con un generador de imágenes/telémetro 10A o 10B. En funcionamiento normal, el generador de imágenes/telémetro 10A o 10B se usa para adquirir imágenes del terreno sobre el cual vuela el helicóptero 40. En este modo de funcionamiento "normal", el generador de imágenes/telémetro 10A o 10B adquiere imágenes del campo de visión completo del sensor de imágenes 12, bajo el control del controlador 16, a la frecuencia de cuadro normal del sensor de imágenes 12, por ejemplo, 30 a 50 Hz. Ocasionalmente, el controlador 16 activa el iluminador 14 durante la duración de un cuadro. El controlador 16 registra la imagen completa de ese cuadro con la imagen completa del cuadro anterior y luego resta esa imagen de la imagen anterior para obtener una imagen de diferencia. La característica más destacada en la imagen de diferencia son los píxeles que representan la luz 38 que se refleja desde el terreno. El controlador 16 identifica estos píxeles y calcula la altitud r del helicóptero 40 sobre el terreno como se describió anteriormente. El iluminador 14 se activa solo ocasionalmente en caso de que se sospeche que el objetivo del reconocimiento tenga un sensor para detectar el haz de luz 20 e inicie una acción defensiva o evasiva.
En modalidades alternativas del método de la presente invención, se usa un dispositivo de navegación tal como un receptor GPS además o en lugar del generador de imágenes/telémetro 10A o 10B en modo "normal" para medir la altitud del helicóptero 40 sobre el terreno.
Si, durante el modo de funcionamiento "normal", el controlador 16 determina que la altitud del helicóptero 40 sobre el terreno objetivo es peligrosamente baja, el controlador 16 cambia al modo "emergencia". El hecho de que el helicóptero 40 esté peligrosamente bajo puede indicar la falla del sistema de propulsión del helicóptero 40, por lo que es inminente un
choque en el terreno objetivo. En el modo de "emergencia", el controlador 16 aumenta la frecuencia de cuadro del sensor de imágenes 12 a, por ejemplo, 250 Hz y ordena al sensor de imágenes 12 que adquiera imágenes parciales que incluyen solo píxeles de solo una porción de los elementos fotodetectores de la matriz de fotodetectores 26, específicamente, las filas que incluyen los últimos elementos fotodetectores para representar la luz reflejada 38 durante el modo "normal" más un pequeño número de filas de respaldo en caso de que el punto 34 se haya movido desde la última medición de altitud. Alternativamente, después de que se hayan adquirido varias imágenes parciales, el cambio con el tiempo, de qué porción de las filas de la matriz de fotodetectores 26 representa la luz reflejada 38, de una imagen parcial a la siguiente, se usa para decidir qué filas (además, por seguridad, una pequeña cantidad de filas de respaldo) se usarán para adquirir la siguiente imagen parcial. El cambio inicial con el tiempo en la matriz 26 del cual los fotodetectores representan la luz reflejada 38 también podría deducirse del cambio con el tiempo del cual los fotodetectores representan la luz reflejada 38 hacia el final del modo de funcionamiento "normal". En principio, el modo de "emergencia" podría efectuarse usando solo una fila de fotodetectores para adquirir cada imagen parcial, pero este no es un modo preferido de la presente invención. El hecho de que solo una parte de los elementos fotodetectores de la matriz 26 se interroguen en modo "emergencia" permite que el controlador 16 se base en el mismo procesador que procesa imágenes completas en modo "normal" a pesar de la mayor frecuencia de cuadros del modo "emergencia". En el modo "emergencia", el controlador 16 activa el iluminador 14 durante la duración de cada dos cuadros, para tomar la diferencia de cada par de imágenes parciales y así calcular la altitud del helicóptero 40 a la mitad de la frecuencia de cuadros de emergencia y la tasa de cambio de la altitud del helicóptero 40 a una cuarta parte de la frecuencia de cuadros de emergencia. Si, en base a la altitud calculada y la velocidad de descenso calculada, el controlador 16 decide que un choque es inminente, el controlador 16 inicia una acción defensiva para asegurar el helicóptero 42 contra daños por impacto. Por ejemplo, el helicóptero 40 podría equiparse con un sistema de protección de airbag 42, similar a los sistemas de protección de airbag que se describen en la Patente de los Estados Unidos número 5,992,794 de Rotman y otros, y en la Publicación de Solicitud de Patente de los Estados Unidos número 2010/0181421 a Albagli y otros, como se ilustra en la Figura 6.
Como se señaló anteriormente, la funcionalidad del generador de imágenes/telémetro 10A o 10B para detectar y hacer frente a situaciones de emergencia como se describió anteriormente también podría implementarse usando un generador de imágenes convencional y un telémetro convencional separado. La ventaja de un generador de imágenes/telémetro de la presente invención es que combina ambas funcionalidades en el mismo dispositivo, lo cual es importante, por ejemplo, en un pequeño helicóptero teledirigido 40 en el que el espacio y el peso son muy importantes.
La Figura 7 es una vista esquemática lateral de una variante del sensor de imágenes 12 que se basa en una cámara de video de color estándar y que se destina a usarse junto con un iluminador 14 que es un láser infrarrojo. En una cámara de video de este tipo, la matriz de elementos fotodetectores 12 se cubre por un filtro 44, tal como un filtro Bayer, que solo pasa luz verde a la mitad de los elementos fotodetectores, solo luz azul a un cuarto de los elementos fotodetectores, y solo luz roja e infrarroja al cuarto restante de los elementos fotodetectores. La Figura 8 muestra cómo se disponen los subfiltros 48 de un filtro Bayer estándar. Los subfiltros 48 con etiqueta "B" solo pasan luz azul. Los subfiltros 48 con etiqueta "G" solo pasan luz verde. Los subfiltros 48 con etiqueta R solo pasan luz roja e infrarroja. En una cámara de video de color estándar, se monta un filtro Bayer 44 de modo que haya una correspondencia 1:1 entre los subfiltros 48 y los elementos fotodetectores de la matriz 12 y cada subfiltro 48 filtra solo la luz que se enfoca a su respectivo elemento fotodetector.
Una cámara de video de color estándar también incluye otro filtro, que se asocia con la óptica 24, para filtrar la radiación infrarroja. El sensor de imágenes 12 de la Figura 7 incluye un filtro similar 46 que filtra la mayoría de la radiación infrarroja, pero tiene una muesca para pasar una banda estrecha de longitudes de onda infrarrojas, específicamente, la banda de longitudes de onda en el rayo láser infrarrojo 20 del iluminador asociado 14. En un generador de imágenes/telémetro 10A o 10B que incluye un sensor de imágenes 12 de este tipo y un iluminador 14 de este tipo, el controlador 16 realiza telemetría basándose únicamente en los píxeles que representan la luz roja e infrarroja.
Si bien la invención se ha descrito con respecto a un número limitado de modalidades, se apreciará que pueden hacerse muchas variaciones, modificaciones y otras aplicaciones de la invención. Por lo tanto, la invención reivindicada como se menciona en las reivindicaciones que siguen no se limita a las modalidades descritas en el presente documento.
Claims (14)
1. Un vehículo (40) que comprende un generador de imágenes y un telémetro combinados (10A, 10B) que se montan en el vehículo, el generador de imágenes y el telémetro combinados que comprenden:
(a) un sensor de imágenes (12) para adquirir imágenes de objetos en un campo de visión (18);
(b) un iluminador (14) para dirigir un haz de luz (20) al menos en parte a través de dicho campo de visión; y (c) un controlador (16) para operar dicho sensor de imágenes (12) y dicho iluminador (14) en un primer modo en el que dicho sensor de imágenes adquiere imágenes completas que abarcan sustancialmente todo dicho campo de visión,
caracterizado porque dicho controlador (16) se configura además para determinar un primer rango desde el vehículo (40) a uno de dichos objetos, y para cambiar, si dicho primer rango es inferior a un umbral predeterminado, para operar dicho sensor de imágenes (12) y dicho iluminador (14) en un segundo modo en el que dicho sensor de imágenes (12) adquiere imágenes parciales que abarcan solo una porción de dicho campo de visión que incluye una reflexión de dicho haz de luz (20) desde dicho un objeto, y para determinar desde una ubicación, en cada una de al menos una porción de dichas imágenes parciales, de una parte de dicha cada imagen parcial que representa dicha reflexión, un rango correspondiente hasta dicho un objeto;
en donde dicho sensor de imágenes (12) adquiere dichas imágenes completas en dicho primer modo a una primera frecuencia de cuadros y adquiere dichas imágenes parciales en dicho segundo modo a una segunda frecuencia de cuadros que es más rápida que dicha primera frecuencia de cuadros.
2. El vehículo de acuerdo con la reivindicación 1, en donde dicho controlador (16) también determina, a partir de al menos dos de dichas ubicaciones, una velocidad de aproximación a dicho un objeto.
3. El vehículo de acuerdo con la reivindicación 1, en donde dicho iluminador (14) se despliega en una relación espacial fija con dicho sensor de imágenes (12).
4. El vehículo de acuerdo con la reivindicación 1, en donde dicho iluminador (14) incluye una fuente de luz coherente.
5. El vehículo de acuerdo con la reivindicación 1, en donde dicho iluminador (14) incluye una fuente de luz incoherente y una óptica para colimar dicha luz incoherente para producir dicho haz de luz.
6. El vehículo de acuerdo con la reivindicación 1, en donde, mientras opera dicho sensor de imágenes (12) y dicho iluminador (14) en dicho primer modo, dicho controlador (16) determina dicho primer rango desde una ubicación, en cada una de al menos una porción de dichas imágenes completas, de una parte de dicha imagen completa que representa dicha reflexión.
7. El vehículo de acuerdo con la reivindicación 1, en donde dicho sensor de imágenes (12) incluye un filtro de muesca (46) que pasa una banda estrecha de longitudes de onda de dicha luz.
8. El vehículo de acuerdo con la reivindicación 1, en donde dicho sensor de imágenes (12) incluye una matriz (26) de una pluralidad de elementos fotodetectores.
9. El vehículo de acuerdo con la reivindicación 8, en donde dicha matriz (26) incluye una pluralidad de filas y en donde dichas imágenes parciales se adquieren mediante el uso de una menor cantidad de dichas filas que las que se usan para adquirir dichas imágenes completas.
10. El buscador de vehículo de acuerdo con la reivindicación 1, en donde dicha parte de dicha imagen parcial que representa dicha reflexión incluye una pluralidad de píxeles y en donde dicha ubicación es un centroide de dicha pluralidad de píxeles.
11. Un método para anticipar una colisión entre un vehículo (40) y un segundo cuerpo, que comprende las etapas de:
(a) equipar el vehículo con un sensor de imágenes (12) que tiene un campo de visión (18) y un iluminador (14); (b) adquirir, usando dicho sensor de imágenes (12), imágenes completas sucesivas que abarcan sustancialmente todo dicho campo de visión;
(c) determinar un primer rango desde el vehículo (40) hasta el segundo cuerpo;
caracterizado por la etapa adicional de:
(d) si dicho primer rango está por debajo de un umbral predeterminado:
(i) adquirir, usando dicho sensor de imágenes (12), imágenes parciales sucesivas que abarcan solo una porción, de dicho campo de visión, que incluye al menos una porción del segundo cuerpo mientras se dirige un haz de luz (20) desde el iluminador (14) a dicha al menos porción del segundo cuerpo,
(ii) calcular una pluralidad de mediciones de rango, desde el vehículo hasta el segundo cuerpo, que se basan al menos en parte en las ubicaciones respectivas dentro de cada una de una pluralidad de dichas imágenes parciales, de una parte, de cada imagen parcial que representa una reflexión de dicho haz de luz (20) desde al menos dicha porción del segundo cuerpo, y
(iii) decidir, en base a dichas mediciones de rango, si es inminente una colisión entre el vehículo y el segundo cuerpo;
en donde dichas imágenes completas se adquieren a una primera frecuencia de cuadros y en donde dichas imágenes parciales se adquieren a una segunda frecuencia de cuadros que es más rápida que dicha primera frecuencia de cuadros.
12. El método de acuerdo con la reivindicación 11, que comprende además la etapa de:
(e) si se determina que dicha colisión es inminente, asegurar el vehículo para minimizar el daño al vehículo que causa dicha colisión.
13. El método de acuerdo con la reivindicación 11, en donde dicha determinación de dicho primer rango incluye dicha adquisición de dichas imágenes completas sucesivas, mientras se dirige dicho haz de luz al menos en parte a través de dicho campo de visión de una manera sincronizada con dicha adquisición de dichas imágenes completas para apoyar el cálculo de dicho primer rango en base, al menos en parte, a una ubicación dentro de una de dichas imágenes completas de una parte de dicha imagen completa que representa una reflexión de dicha luz desde el segundo cuerpo.
14. El método de acuerdo con la reivindicación 11, en donde dicho direccionamiento de dicho haz de luz en al menos dicha porción del segundo cuerpo durante dicha adquisición de dichas imágenes parciales se sincroniza con dicha adquisición de dichas imágenes parciales.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IL217361A IL217361A0 (en) | 2012-01-04 | 2012-01-04 | Device & method providing combined video camera and range finder functionality |
| IL220439A IL220439B (en) | 2012-01-04 | 2012-06-14 | Integrated simulator and range finder |
| PCT/IB2012/057744 WO2013102831A1 (en) | 2012-01-04 | 2012-12-27 | Combined imager and range finder |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2796252T3 true ES2796252T3 (es) | 2020-11-26 |
Family
ID=46179435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES12864658T Active ES2796252T3 (es) | 2012-01-04 | 2012-12-27 | Generador de imágenes y telémetro combinados |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20150035974A1 (es) |
| EP (1) | EP2800947B1 (es) |
| ES (1) | ES2796252T3 (es) |
| IL (2) | IL217361A0 (es) |
| PL (1) | PL2800947T3 (es) |
| WO (1) | WO2013102831A1 (es) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016059877A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 制御装置、制御方法および飛行体デバイス |
| EP3799427A1 (en) * | 2014-12-31 | 2021-03-31 | SZ DJI Technology Co., Ltd. | System and method for adjusting a baseline of an imaging system with microlens array |
| US20200133270A1 (en) * | 2018-10-31 | 2020-04-30 | Baidu Usa Llc | Lidar device with cylindrical lens for autonomous driving vehicles |
| EP3889645A4 (en) * | 2018-11-27 | 2022-09-14 | Aerolaser System S.L. | AIR-BASED OPTICAL COLOR SCANNER |
| EP4090587B1 (en) * | 2020-01-13 | 2025-10-08 | Skydio, Inc. | Autonomous unmanned aerial vehicle with folding collapsible arms |
| US12266131B2 (en) | 2021-03-31 | 2025-04-01 | Skydio, Inc. | Autonomous aerial navigation in low-light and no-light conditions |
| US11861896B1 (en) | 2021-03-31 | 2024-01-02 | Skydio, Inc. | Autonomous aerial navigation in low-light and no-light conditions |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2151308C (en) * | 1994-06-17 | 1999-06-08 | Hideaki Ohta | Pulverized fuel combustion burner |
| US5816817A (en) * | 1995-04-21 | 1998-10-06 | Fats, Inc. | Multiple weapon firearms training method utilizing image shape recognition |
| US6057909A (en) * | 1995-06-22 | 2000-05-02 | 3Dv Systems Ltd. | Optical ranging camera |
| US6502053B1 (en) * | 2000-06-12 | 2002-12-31 | Larry Hardin | Combination passive and active speed detection system |
| US7248344B2 (en) * | 2001-04-04 | 2007-07-24 | Instro Precision Limited | Surface profile measurement |
| US6804607B1 (en) * | 2001-04-17 | 2004-10-12 | Derek Wood | Collision avoidance system and method utilizing variable surveillance envelope |
| FR2832892B1 (fr) * | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
| US6714283B2 (en) * | 2002-04-02 | 2004-03-30 | Institut National D'optique | Sensor and method for range measurements using a TDI device |
| GB2399246B (en) * | 2003-03-03 | 2006-01-11 | Keymed | High-speed digital video camera system and controller therefor |
| US8139141B2 (en) * | 2004-01-28 | 2012-03-20 | Microsoft Corporation | Single chip red, green, blue, distance (RGB-Z) sensor |
| US20070103671A1 (en) * | 2005-11-08 | 2007-05-10 | Honeywell International Inc. | Passive-optical locator |
| EP2055095A4 (en) * | 2006-08-25 | 2012-06-27 | Eliezer Jacob | IMPROVED DIGITAL CAMERA WITH INCORRECT IMAGE RESOLUTION |
| US7852461B2 (en) * | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
-
2012
- 2012-01-04 IL IL217361A patent/IL217361A0/en unknown
- 2012-06-14 IL IL220439A patent/IL220439B/en active IP Right Grant
- 2012-12-27 US US14/370,491 patent/US20150035974A1/en not_active Abandoned
- 2012-12-27 EP EP12864658.5A patent/EP2800947B1/en active Active
- 2012-12-27 ES ES12864658T patent/ES2796252T3/es active Active
- 2012-12-27 PL PL12864658T patent/PL2800947T3/pl unknown
- 2012-12-27 WO PCT/IB2012/057744 patent/WO2013102831A1/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| US20150035974A1 (en) | 2015-02-05 |
| PL2800947T3 (pl) | 2020-10-19 |
| IL217361A0 (en) | 2012-03-29 |
| WO2013102831A1 (en) | 2013-07-11 |
| EP2800947A1 (en) | 2014-11-12 |
| IL220439B (en) | 2018-11-29 |
| EP2800947B1 (en) | 2020-02-12 |
| IL220439A0 (en) | 2012-10-31 |
| EP2800947A4 (en) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2796252T3 (es) | Generador de imágenes y telémetro combinados | |
| JP7203217B2 (ja) | 構造化光照明付き飛行時間型センサ | |
| EP3818392B1 (en) | HYBRID TIME-OF-FLIGHT AND IMAGING MODULE | |
| KR102856043B1 (ko) | 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처 | |
| ES2778083T3 (es) | Un sistema de cámara aérea | |
| JP7627231B2 (ja) | 無人飛行機の飛行制御システム及び地形計測システム | |
| ES2606488T3 (es) | Sistemas y procedimientos para capturar de forma detallada imágenes de gran área incluidas cámaras en cascada y/o funciones de calibración | |
| ES2452037T3 (es) | Sistema de seguimiento óptico de amplio campo de visión | |
| KR102324449B1 (ko) | 광 검출기 어레이 및 아날로그 판독 회로가 개재된 lidar 수신기용 멀티 검출기 | |
| KR20200024914A (ko) | 전자적으로 스캔되는 방출기 어레이 및 동기화된 센서 어레이를 갖는 광 레인징 장치 | |
| JP2021504677A (ja) | 調整可能な分解能とフェイルセーフ動作を備えたlidarのシステムと方法 | |
| US20140293266A1 (en) | Local Alignment and Positioning Device and Method | |
| CN111060066B (zh) | 用于测量物体的测量设备 | |
| KR20210066906A (ko) | 가열 요소를 갖는 전기 광학 시스템 | |
| US8547531B2 (en) | Imaging device | |
| WO2020109633A1 (es) | Escáner óptico a color aerotransportado | |
| ES2943155T3 (es) | Un vehículo autopropulsado | |
| ES2234789T3 (es) | Dispositivos para la armonizacion entre una via de emision laser y una via pasiva de observacion. | |
| US20230408694A1 (en) | Segmented flash lidar using stationary reflectors | |
| US10742881B1 (en) | Combined temporal contrast sensing and line scanning | |
| ES2363962A1 (es) | Sistema de adquisición de imágenes para aplicaciones de asistencia a la conducción de vehículos automóviles adaptable automáticamente en función del entorno de conducción y del propio vehículo. |