ES2554549T3 - Procedimiento de búsqueda de un objetivo térmico - Google Patents
Procedimiento de búsqueda de un objetivo térmico Download PDFInfo
- Publication number
- ES2554549T3 ES2554549T3 ES09771026.3T ES09771026T ES2554549T3 ES 2554549 T3 ES2554549 T3 ES 2554549T3 ES 09771026 T ES09771026 T ES 09771026T ES 2554549 T3 ES2554549 T3 ES 2554549T3
- Authority
- ES
- Spain
- Prior art keywords
- field
- imaging apparatus
- thermal
- vision
- thermal imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Studio Devices (AREA)
Abstract
Un sistema para buscar un objetivo térmico, que comprende: un aparato de formación de imágenes térmicas de campo de visión amplio dispuesto sobre una plataforma aérea o móvil y configurado para dirigirse hacia un área de búsqueda y registrar señales térmicas a través de un campo de visión del aparato (14) de formación de imágenes térmicas de campo de visión amplio; caracterizado porque el sistema además comprende: un receptor de sistema de navegación global por satélite (GPS) y un sistema de navegación inercial (INS) dispuestos sobre la plataforma aérea o móvil y acoplados con el aparato (14) de formación de imágenes térmicas de campo de visión amplio; un aparato (16) de formación de imágenes de vídeo de formación de imágenes térmicas de campo de visión estrecho configurado para señalar y acercar a un campo de visión que es menor que o igual a un 10 % del campo de visión amplio; y un ordenador (12) conectado con el aparato (14) de formación de imágenes térmicas de campo de visión amplio, el aparato (16) de formación de imágenes térmicas de campo de visión estrecho, el receptor de sistema de navegación global por satélite y el sistema de navegación inercial, en el que el ordenador (12) está configurado para integrar en el tiempo la amplitud de las señales térmicas que emanan de cada sector en el área de búsqueda representada por formación de imágenes por el aparato (14) de formación de imágenes térmicas de campo de visión amplio, identificar uno o más sectores de interés que tienen una señal térmica promedio que se encuentra por lo menos tres desviaciones estándar por encima de una señal térmica media local, determinar la posición GPS del uno o más sectores de interés mediante la combinación de datos de navegación y de orientación a partir del receptor de sistema de navegación global por satélite y el sistema de navegación inercial con unos datos geométricos conocidos acerca del campo de visión del aparato (14) de formación de imágenes de campo de visión amplio y dirigir el aparato (16) de formación de imágenes térmicas de campo de visión estrecho para señalar la posición GPS del sector de interés y presentar visualmente una imagen térmica que está asociada con el sector de interés para un usuario.
Description
5
10
15
20
25
30
35
40
45
50
55
DESCRIPCIÓN
Procedimiento de búsqueda de un objetivo térmico Antecedentes de la invención Campo de la invención
La presente invención se refiere a la búsqueda de objetivos térmicos pequeños, tales como un nadador humano en mar abierto y, en particular, en el contexto de una operación de búsqueda y rescate, de seguridad portuaria o de defensa nacional.
Antecedentes de la técnica relacionada
A menudo, es necesario localizar objetivos térmicos pequeños, tales como mamíferos, vehículos, periscopios o embarcaciones, en medio de una extensión comparativamente vasta de tierra o mar abierto. Los seres humanos son el objeto más común de tales búsquedas, tal como durante una operación de búsqueda y rescate (“SAR”, Search and Rescue) a continuación de un accidente de aeronave o de embarcación en mar abierto. Otras búsquedas en mar abierto se realizan a veces para patrullas policiales y labores antiterroristas, tal como en la ejecución de “seguridad nacional en mar abierto”. En estas búsquedas, puede ser necesario detectar un objetivo pequeño, tal como un periscopio u otro indicador de un objeto sumergido. Las búsquedas en tierra pueden incluir, por ejemplo, la búsqueda de seres humanos o animales de interés en espacios naturales. Incluso automóviles, embarcaciones o aeronaves pueden ser el objeto de una búsqueda. En el contexto de las búsquedas en mar abierto de seres humanos, el procedimiento más básico de detectar un objetivo humano comporta explorar por medios visuales un área de agua, a simple vista, tal como desde una aeronave. La anchura de barrido máxima eficaz con este enfoque en unas condiciones de visibilidad óptima es 0,1 millas náuticas (NM) (185,2 metros), o en torno a 600 pies (182,88 metros), de acuerdo con el Suplemento de Búsqueda y Rescate Nacional de los Estados Unidos al Manual de Búsqueda y Rescate Marítimo Aeronáutico Internacional, publicado en mayo de 2000 por el Comité de Búsqueda y Rescate Nacional (“NSARC”, National Search and Rescue Committee). La inspección visual es extremadamente difícil y factores tales como la fatiga pueden desempeñar un papel considerable en la eficacia de una búsqueda de este tipo. Por lo tanto, una diversidad de sistemas y procedimientos se han implementado para asistir a, o sustituir, las búsquedas a simple vista.
El radar es un ejemplo de un sistema que se usa ampliamente en las búsquedas en mar abierto. No obstante, los objetivos humanos son en general demasiado pequeños para una detección con radar. Tanto el Radar Aéreo de Orientación hacia Delante (“FLAR”, Forward-Looking Airborne Radar) como el Radar Aéreo de Orientación Lateral (“SLAR”, Side-Looking Airborne Radar) están mejor adaptados para la detección de barcos y de otros objetos de gran escala que de seres humanos. El objeto más pequeño que se considera accesible por uno u otro procedimiento es un bote salvavidas para 4 personas, de acuerdo con el NSARC.
Otro sistema y procedimiento de búsqueda comporta Infrarrojos de Orientación hacia Delante (“FLIR”, Forward Looking Infrared). FLIR es, en la actualidad, el más efectivo medio comercialmente disponible de detección de nadadores. No obstante, todavía este está limitado en gran medida en su capacidad de búsqueda de objetivos pequeños. Con un campo de visión amplio (“WFOV” wide field ofview), la resolución espacial en la pantalla que es vista por el usuario humano es demasiado basta para resolver objetivos pequeños. Cuando el aparato de formación de imágenes se usa con un campo de visión estrecho (“NFOV”, narrow field of view), solo una pequeña área de búsqueda puede ser vista en un instante cualquiera. Debido a que un buscador humano requiere tiempo para reconocer un objetivo de búsqueda en el campo de visión, la tasa de progresión para una búsqueda es bastante lenta. A menudo, se hace referencia a esto como efecto “túnel”. La anchura de barrido recomendada por el NSARC para un sistema de FLIR cuando se busca un nadador es de 0,3 NM (555,6 m), suponiendo una escala marítima de Douglas (“DSS”, Douglas Sea Scale) de no más de 1. Por referencia, un valor de DSS de 1 se corresponde con mares “lisos” con una altura de las olas de no más de 1 pie (30,48 cm). Por encima de un valor de DSS de 1, la anchura de barrido recomendada cae a 0. En mares más agitados, Las olas pueden ocultar de forma momentánea al nadador de la visión directa y, por lo tanto, la oportunidad de detección puede ser desaprovechada por los procedimientos convencionales. Debido a que el campo de visión del aparato de formación de imágenes es bastante estrecho, el aparato de formación de imágenes de infrarrojos (“IR”) que se usa en FLIR ha de explorar por tramas por lo general atrás y adelante para cubrir un área extensa de interés.
La patente de EE. UU. n.° 5077609 divulga un sistema optoelectrónico de asistencia en misiones de ataque y de navegación que comprende una cámara de infrarrojos de campo amplio.
La presente invención trata de proporcionar un sistema y procedimiento mejorado para buscar un objetivo térmico.
De acuerdo con un aspecto de la presente invención, se proporciona un sistema tal como se define en la reivindicación 1 en lo sucesivo en el presente documento.
De acuerdo con otro aspecto de la presente invención, se proporciona un procedimiento tal como se define en la reivindicación 14 en lo sucesivo en el presente documento.
5
10
15
20
25
30
35
40
45
50
55
Una realización de la invención proporciona un sistema para buscar un objetivo térmico, que comprende un aparato de formación de imágenes térmicas de campo de visión amplio (“WFOV”) dispuesto sobre una plataforma aérea y configurado para dirigirse hacia un área de búsqueda y georregistrar señales térmicas a través de un campo de visión del aparato de formación de imágenes térmicas de WFOV, un aparato de formación de imágenes térmicas de campo de visión estrecho (“NFOV”) configurado para señalar geográficamente y acercar la imagen hasta un campo de visión que es un 10 % o menos del campo de visión del aparato de formación de imágenes térmicas de WFOV, y un ordenador conectado con los aparatos de formación de imágenes térmicas tanto de WFOV como de NFOV. El ordenador está configurado para registrar en el espacio e integrar en el tiempo la amplitud de la señal térmica que emana de cada uno de una pluralidad de sectores en el área de búsqueda representada mediante formación de imágenes por el aparato de formación de imágenes de WFOV, identificar uno o más sectores de interés que tienen una señal térmica promedio que se encuentra por lo menos tres desviaciones estándar por encima de una señal térmica media local, y dirigir el aparato de formación de imágenes de vídeo de formación de imágenes térmicas de NFOV para señalar geográficamente el sector de interés y presentar visualmente una imagen térmica que está asociada con el sector de interés a un usuario.
Otra realización de la invención proporciona un procedimiento para buscar un objetivo térmico desde una plataforma aérea, que comprende identificar un área de búsqueda y una pluralidad de sectores dentro del área de búsqueda, rastrear el movimiento de la plataforma aérea por encima del área de búsqueda, dirigir un aparato de formación de imágenes de infrarrojos de campo de visión amplio (WFOV) hacia el área de búsqueda, rastrear cada uno de la pluralidad de sectores a medida que unas imágenes de los sectores pasan a través de píxeles sucesivos en una disposición de plano focal del aparato de formación de imágenes de WFOV y calcular el promedio de señales térmicas que están asociadas con cada sector en píxeles sucesivos a lo largo de un periodo de tiempo, identificar un sector que tiene una señal térmica promedio que supera la señal térmica promedio de los sectores circundantes, y dirigir un aparato de formación de imágenes de infrarrojos de NFOV para representar mediante formación de imágenes el sector identificado con una resolución más alta que lo representado mediante formación de imágenes por el aparato de formación de imágenes de infrarrojos de WFOV para valorar si el sector identificado contiene el objeto de la búsqueda. El aparato de formación de imágenes de WFOV incluye la disposición de plano focal, en el que la disposición de plano focal tiene una pluralidad de píxeles, en el que la pluralidad de píxeles incluye uno o más píxeles sensibles al calor que es emitido por cada uno de la pluralidad de sectores que pasan dentro de un campo de visión del aparato de formación de imágenes de WFOV a medida que los sectores pasan por debajo de la plataforma aérea.
Una realización todavía más adicional de la invención proporciona un procedimiento para buscar un objetivo térmico, que comprende: dirigir un aparato de formación de imágenes térmicas de WFOV dispuesto sobre una plataforma móvil hacia un área de búsqueda seleccionada; georregistrar una imagen en un campo de visión del aparato de formación de imágenes térmicas de WFOV; registrar en el espacio y calcular el promedio de la amplitud de una señal térmica que emana de cada sector en el área de búsqueda representada mediante formación de imágenes por el aparato de formación de imágenes térmicas de WFOV; identificar uno o más sectores de interés como cualquier sector que tiene una señal promedio que se encuentra por lo menos tres desviaciones estándar por encima de una media local; dirigir un aparato de formación de imágenes de vídeo de formación de imágenes térmicas de NFOV dispuesto sobre la plataforma móvil configurado para señalar geográficamente el sector de interés, acercar la imagen hasta un campo de visión que es igual a o menor que un 10 % del campo de visión del aparato de formación de imágenes de formación de imágenes térmicas de WFOV; y presentar visualmente el sector de interés a un usuario.
Breve descripción de los dibujos
La figura 1 es un diagrama esquemático de componentes de un Sistema de Formación de Imágenes de Área Extensa (“WAIRI”, Wide-Area InfraRed Imaging System) de acuerdo con una realización de la invención, que incluye un aparato de formación de imágenes de IR de campo de visión amplio (WFOV) y un aparato de formación de imágenes de IR de campo de visión estrecho (NFOV).
La figura 2 es un diagrama esquemático que ilustra el uso del sistema de formación de imágenes en una plataforma aérea que es provista por una aeronave.
La figura 3 es un campo de visión en perspectiva a partir del aparato de formación de imágenes de WFOV en el que una cuadrícula cuadrada de hilos calientes se ha dispuesto en el plano de la superficie del agua.
La figura 4 es un campo de visión en perspectiva a partir del aparato de formación de imágenes de WFOV después de que la transformación resultante elimine la perspectiva de la imagen.
La figura 5 es un diagrama de flujo de procesamiento para el sistema de WAIRI de versión de vuelo completo.
Las figuras 6A- D son unos diagramas esquemáticos que ilustran el sistema de WAIRI en funcionamiento. La figura 6A muestra que todas las tramas digitales a partir del aparato de formación de imágenes de WFOV se georregistran y se integran entre sí para construir un mapa térmico promediado del área de búsqueda tal como se muestra en la figura 6B. En la figura 6C, el algoritmo identifica de forma continua anomalías térmicas que
5
10
15
20
25
30
35
40
45
50
55
60
tienen una alta probabilidad de ser el objeto de la labor de búsqueda, en base a unos criterios definidos por el usuario. La figura 6D es una imagen que es capturada por el aparato de formación de Imágenes de NFOV que examina aquellos objetivos que son Identificados en la figura 6C y presenta la secuencia de transmisión de vídeo al usuario humano, que verifica o rechaza el objetivo.
La figura 7 es una gráfica que compara la probabilidad de detección lateral de hallar un nadador en mar abierto usando el sistema de WAIRI que se describe en el presente documento en comparación con el uso de un aparato de formación de imágenes de FLIR sin modificaciones.
La figura 8 es una Ilustración conceptual simplificada de un ejemplo de la ejecución de un algoritmo de acuerdo con una realización que se usa para ¡mplementar una integración georregistrada en la disposición de plano focal del aparato de formación de Imágenes.
Descripción detallada de la invención
La invención incluye sistemas y procedimientos de uso de una tecnología de formación de Imágenes de infrarrojos para buscar objetivos térmicos dentro de un área de búsqueda con una eficiencia de búsqueda y una probabilidad de detección mejoradas en relación con los sistemas y procedimientos convencionales. Una realización de la Invención proporciona un sistema adecuado para buscar seres humanos en una masa de agua desde arriba, tal como desde una aeronave. Un sistema de Formación de Imágenes de Área Extensa (“WAIRI”) consiste en tres subsistemas principales: (1) un aparato de formación de imágenes térmicas de señalamiento geográfico pequeño y montado en torreta con un campo de visión amplio (WFOV), (2) un aparato de formación de Imágenes térmicas de señalamiento geográfico grande y montado en torreta con un campo de visión estrecho (NFOV), y (3) un Sistema Global de Determinación de Posición (GPS, Global Positioning System) / Sistema de Navegación Inercial (INS, Inertial Navigation System) Incorporado (haciéndose referencia a la combinación de GPS/INS como “EGI”). El aparato de formación de Imágenes de WFOV se dirige hacia abajo y cubre unas anchuras de barrido amplias desde la aeronave con una resolución suficiente para determinar objetivos potenciales en un área de búsqueda en base a un algoritmo que se describe en detalle adicional en lo sucesivo. El WAIRI puede utilizar una integración de señales térmicas georreglstradas a partir del aparato de formación de imágenes de WFOV en un procedimiento de determinación de los objetivos potenciales. La ubicación o ubicaciones del objetivo u objetivos potenciales identificados se retransmiten entonces al aparato de formación de imágenes de NFOV, que tiene una resolución espacial más alta en comparación con el aparato de formación de imágenes de WFOV. El aparato de formación de imágenes de NFOV puede centrarse en seleccionar objetivos potenciales, en base al diferencial de temperatura con respecto al segundo plano promedio local de la información de extensión espacial de objetivo y la superficie del océano. La secuencia de transmisión de vídeo de NFOV se presenta o bien a un usuario humano o bien a un soporte lógico de reconocimiento de objetivos automático que puede determinar si la escena que es representada mediante formación de imágenes por el aparato de formación de imágenes de NFOV contiene el objeto de la labor de búsqueda. El resultado es un procedimiento de búsqueda que produce una anchura de barrido amplia con una alta probabilidad de detección. La búsqueda se beneficia de una sinergia entre los aparatos de formación de imágenes de WFOV y de NFOV, de tal modo que la probabilidad global de detección es más alta, la anchura de barrido resultante es más amplia, y la eficiencia de búsqueda es más alta de lo que se podría proporcionar por uno u otro aparato de formación de imágenes, solos. La expresión “aparato de formación de imágenes” tiene por objeto englobar en un sentido amplio cámaras u otras configuraciones de componentes que posibilitan la captura de una Imagen.
Se debería resaltar que el sistema de WAIRI y su uso tal como se describe en el presente documento no es meramente un “aparato de formación de imágenes de disposición de doble observación” que tenga como fin doblar el rendimiento de una plataforma de formación de imágenes de IR existente. A pesar de que un enfoque de este tipo de hecho mejoraría el rendimiento, las limitaciones fundamentales de un instrumento con un campo de visión estrecho todavía se encontrarían presentes. De hecho, el rendimiento de un único aparato de formación de imágenes de FLIR se podría potenciar de forma sustancial mediante el uso de una disposición de aparatos de formación de imágenes de FLIR, en su lugar. Cada uno podría representar mediante formación de imágenes una estrecha franja de mar a medida que esta pasara de largo por debajo de la aeronave. No obstante, se requerirían docenas de aparatos de formación de imágenes (si no más) para cubrir un rango de visualización amplio y continuo en perpendicular con respecto a la trayectoria de vuelo. No solo el coste de un sistema de este tipo sería prohibitivamente caro sino que el soporte físico informático y de formación de imágenes que se requiere para adquirir, importar y analizar las secuencias de transmisión de imagen que provienen de cada FLIR para ¡mplementar un algoritmo de reconocimiento de objetivos en tiempo real sería excesivamente engorroso. De forma similar, un usuario humano no podría procesar de forma eficaz datos de vídeo en directo que se están transmitiendo por secuencias a partir de varios aparatos de formación de imágenes al mismo tiempo.
A pesar de que el soporte físico de un sistema de WAIRI puede incluir una cámara de IR de transmisión por secuencias comercialmente disponible con una lente gran angular, la forma en la que los datos se analizan para localizar objetivos potenciales es fundamentalmente diferente de los procedimientos que se usan en otros sistemas. En el contexto de las búsquedas en el agua, la disposición de plano focal (“FPA”, focal plañe array) del aparato de formación de imágenes forma la imagen de un área de búsqueda en mar abierto, que se desliza bajo la aeronave de forma continua a la tasa de la velocidad de la aeronave con respecto al suelo. Debido a la altitud de la aeronave en
5
10
15
20
25
30
35
40
45
50
55
60
relación con el área extensa que se representa mediante formación de imágenes, la presencia de un objetivo humano con solo la cabeza expuesta fuera del agua sería mucho más pequeña que el área que es representada mediante formación de Imágenes por un único píxel de la FPA en el aparato de formación de imágenes de WFOV. Por lo tanto, el aparato de formación de imágenes de WFOV no representará mediante formación de imágenes el objetivo humano directamente. En su lugar, el sistema rastreará sectores de mar abierto, cada sector de aproximadamente el tamaño cubierto por un píxel del aparato de formación de imágenes de WFOV, a medida que estos pasan a través del campo de visión del aparato de formación de imágenes de WFOV. Cada ubicación en el área de búsqueda está contenida dentro de un sector específico y la disposición cubierta a modo de embaldosado, de forma regular, de sectores se puede establecer a priori, en base a las coordenadas absolutas de latitud y de longitud. El sistema de WAIRI calcula el promedio de la intensidad de infrarrojos que emana de cada sector de océano que es representado mediante formación de imágenes por el aparato de formación de imágenes de WFOV a lo largo de un periodo total de varios segundos. Si un objetivo humano se encuentra presente en un sector, la temperatura promedio de ese sector será ligeramente más alta que los sectores circundantes. Por ejemplo, si la cabeza de una persona está 6 °C más caliente que la temperatura de la superficie del océano en el sector en el que esta está flotando y el área en sección transversal de su cabeza es 0,075 m2, y el área de un sector es 9 m2, entonces la temperatura promedio del sector en el que esta se encuentra estará 0,05 °C más caliente de lo que lo estaría si esta no estuviera presente. Por lo tanto, el sistema indicará que el sector de océano en cuestión puede contener, de forma potencial, un objetivo y que un cierto periodo de tiempo a partir del aparato de formación de imágenes de NFOV se puede garantizar para inspeccionar ese sector con más cuidado.
Un sistema de formación de imágenes de acuerdo con una realización de la invención incluye un aparato de formación de imágenes de WFOV y un aparato de formación de imágenes de NFOV que residen en una aeronave. El sistema de formación de imágenes adquiere de forma continua datos de navegación y de orientación a partir de un EGI de a bordo. Estos datos de posición se usan para rastrear de forma eficaz el avance de la aeronave por encima del agua de tal modo que el patrón térmico de la superficie del océano se puede georregistrar. Dicho de otra forma, los datos térmicos que se adquieren se pueden poner en correspondencia de forma continua con una base de datos de a bordo de acuerdo con los orígenes geofísicos de los datos térmicos. Los datos térmicos que se adquieren a partir del mismo sector en múltiples tramas de vídeo se pueden atribuir al mismo registro de base de datos que se corresponde con esa ubicación en el área de búsqueda. Por lo tanto, hay una correspondencia directa entre las muchas áreas pequeñas en la superficie del océano (“sectores”) y la base de datos electrónica de ubicaciones medidas (“registros”).
El área de búsqueda se puede procesar como una cuadrícula rectangular de sectores. El sistema de WAIRI incluye un aparato de formación de imágenes de WFOV que se puede dirigir hacia el océano para rastrear los sectores identificados. El aparato de formación de imágenes de WFOV incluye una FPA, que puede ser una disposición de píxeles sensibles a la radiación de infrarrojos que se emite a partir de los sectores que pasan dentro del campo de visión del aparato de formación de imágenes. El aparato de formación de imágenes de WFOV supervisa de forma continua una amplia franja de océano con una resolución espacial baja en comparación con el aparato de formación de imágenes de NFOV a la vez que se rastrean los sectores de la superficie del océano a medida que estos pasan por debajo de la aeronave. La baja resolución en este contexto dependerá de la altitud de vuelo y de parámetros del aparato de formación de imágenes pero, como un ejemplo, un píxel podría cubrir un área del océano de 3 m x 3 m. La FPA forma la imagen del área de búsqueda en mar abierto a la vista de la FPA, con el área representada mediante formación de imágenes pasando bajo la aeronave de forma continua a la tasa de la velocidad de la aeronave con respecto al suelo.
Cuando la imagen de un sector de océano pasa por la FPA del aparato de formación de imágenes de WFOV, la intensidad de radiación de infrarrojos promedio a partir de ese sector se puede determinar mediante el cálculo de promedio de los valores de intensidad que son registrados por cada píxel que representó mediante formación de imágenes ese sector a medida que este pasó a través del campo de visión del aparato de formación de imágenes. Durante su tiempo en el campo de visión, el sector pasará bajo múltiples píxeles del aparato de formación de imágenes de WFOV, y una señal se generará para ese sector en cada trama de vídeo. La señal agregada a partir de ese sector que pasa a través de píxeles sucesivos a lo largo de varias tramas de vídeo se compara con la señal agregada a partir de otros sectores en las cercanías. Si la temperatura promedio para un sector particular es anómalamente alta en relación con los sectores cercanos, que indica que puede haber una fuente de calor relevante, tal como un ser humano, en ese sector. La señal a partir de un sector de interés podría ser de 3 o más desviaciones estándar más alta que la media local, por ejemplo, y lo más preferiblemente por lo menos 4 desviaciones estándar. Tales sectores identificados se pueden seleccionar entonces para una inspección adicional. Este procedimiento se ejecuta de forma concurrente para cada sector que es representado mediante formación de imágenes por el aparato de formación de imágenes de WFOV. Por lo tanto, para un aparato de formación de imágenes de WFOV con una resolución de 320 x 240 píxeles, por ejemplo, 76.800 sectores (320 x 240) se podrían procesar en un instante cualquiera.
Para investigar adicionalmente, el sistema de WAIRI puede comunicar la ubicación de sectores con la probabilidad más alta de contener el objeto de la labor de búsqueda al aparato de formación de imágenes de NFOV. El sector con la mayor desviación positiva con respecto a la temperatura media local y para el cual otros sectores cercanos no indican desviaciones similares sería el sector de probabilidad más alta en el campo de visión. En respuesta a la recepción de las ubicaciones comunicadas, el aparato de formación de imágenes de NFOV puede apuntar en acimut
5
10
15
20
25
30
35
40
45
50
para representar mediante formación de imágenes el sector asociado con una resolución espacial mucho más alta (suficiente para identificar el objetivo que se está buscando) que la que se proporciona por el aparato de formación de imágenes de WFOV. Un píxel típico en el aparato de formación de imágenes de NFOV podría cubrir un área de 5 cm x 5 cm. Un usuario, que puede ser un ser humano o un ordenador que es operado de acuerdo con un programa informático, puede valorar entonces si el sector contiene de hecho el objeto de la labor de búsqueda.
De este enfoque pueden inferirse varios resultados beneficiosos. En primer lugar, debido a que cada sector de océano se representa mediante formación de imágenes a lo largo de un tiempo de integración prolongado y por múltiples píxeles, efectos intermitentes tales como cabeceo o enmascaramiento periódico de un objetivo debido a un estado de alta mar se mitigan a lo largo de un promedio a largo plazo. En segundo lugar, una franja especialmente amplia de océano se puede supervisar de forma continua, superando tanto el problema de la formación de imágenes de solo un campo de visión estrecho usando un único FLIR montado en torreta como eliminando la necesidad de explorar por tramas con rapidez sobre un área en busca de objetivos. En tercer lugar, se puede eliminar la mayor parte de la “paja” de la información, ver lo cual sería de lo contrario de la incumbencia de un usuario de aparato de formación de imágenes de FLIR. Por lo tanto, el WAIRI da prioridad al tiempo y las capacidades del aparato de formación de imágenes de NFOV y el usuario del sistema para centrarse en unas regiones de interés que es lo más probable que contengan el objeto de la labor de búsqueda.
En el contexto de las operaciones de SAR en mar abierto, la tecnología propuesta aumenta la probabilidad de recuperar un nadador en el mar antes de que este o esta sufra daño. Tal como se Indica en la siguiente tabla, que se determina a partir del Modelo de Supervivencia en Agua Fría (“CWSM”, Coid Water Survival Model) desarrollado por el Instituto Civil y de Defensa de Canadá para la Medicina Ambiental, el tiempo es un factor significativo en el SAR marítimo:
- Tiempo de supervivencia esperada en agua fría para un nadador en mar abierto.
- Temperatura del agua
- Agotamiento o inconsciencia Supervivencia esperada
- 21 -27 °C
- 3-12 horas 3 horas -indef.
- 16 -21 °C
- 2-7 horas 2-40 horas
- 10 -16 °C
- 1 - 2 horas 1-6 horas
- 4 -10 °C
- 30 - 60 min 1-3 horas
- 0-4 °C
- 15-30 min 30 - 90 min
- < 0°C
- <15 min < 15-45 min
Adicionalmente, el coste de llevar a cabo una búsqueda también se reduce en última instancia. De acuerdo con el Apéndice de la Guardia Costera de EE. UU. al Suplemento de SAR Nacional de los Estados Unidos, la Guardia Costera de EE. UU. lleva a cabo más de 5.000 búsquedas al año como promedio con un coste de aproximadamente 50 millones de dólares. Una quinta parte de esas búsquedas continúan más de 12 horas y las búsquedas más prolongadas son en general mucho más caras que las búsquedas cortas; cada hora que una aeronave de la Guardia Costera se encuentra en el aire cuesta aproximadamente 3.700 dólares y se pueden usar varias aeronaves en una misión de SAR extensa. Por lo tanto, los ahorros de costes potenciales de un tiempo de búsqueda reducido son significativos.
La figura 1 es un diagrama esquemático de componentes de un sistema 10 de WAIRI de acuerdo con una realización de la invención e indica el papel de cada componente. La electrónica 12 del sistema de WAIRI adquiere de forma constante datos 1A de navegación y de orientación usando el Sistema Global de Determinación de Posición (GPS) / Sistema de Navegación Inercial (INS) Incorporado a bordo de la aeronave, que se conoce como “EGI” 18. Esta información, en combinación con unos datos geométricos conocidos acerca del FOV del aparato 14 de formación de imágenes de WFOV, se usa para determinar la posición GPS de objetivos térmicos en la superficie del océano dentro del campo de visión del aparato 14 de formación de imágenes de WFOV. El sistema 10 de WAIRI supervisa de forma continua una amplia franja de océano usando el aparato 14 de formación de imágenes de WFOV y georregistra los datos térmicos a partir de la superficie del océano. Cuando la imagen de cada sector de océano pasa por la FPA, la señal térmica a partir de ese sector de forma continua se graba y se añade a una pila de memoria que está reservada de forma temporal para ese sector. Mediante el cálculo de promedio de señal, se pueden detectar incluso objetivos que se encuentran por debajo de la resolución térmica y espacial del aparato de formación de imágenes de WFOV. Un algoritmo paralelo explora entonces la pila de integraciones georregistradas en busca de sectores que tienen una alta probabilidad de contener un objetivo humano (es decir, el objeto de la labor de búsqueda). Para investigar adicionalmente, el sistema de WAIRI comunica las ubicaciones de los sectores de probabilidad alta a un aparato 16 de formación de imágenes de NFOV que, a su vez, bascula para representar mediante formación de imágenes esos sectores de interés específicos con una ampliación 1C mucho más alta. La secuencia de transmisión de vídeo a partir del aparato 16 de formación de imágenes de NFOV se presenta o se presenta visualmente al usuario humano que puede determinar si ese FOV contiene el objeto de la labor de búsqueda. Si el FOV no contiene el objeto de la labor de búsqueda, no se requiere entrada alguna por parte del usuario; el sistema registrará de forma automática el sector como que no contiene el objetivo y presentará visualmente otro sector de interés en aproximadamente 7 segundos. Si el sector de interés contiene el objetivo,
5
10
15
20
25
30
35
40
45
50
entonces el objetivo se puede rastrear en la pantalla y la trayectoria de vuelo se puede ajustar para realizar una intercepción.
La figura 2 es un diagrama esquemático que ¡lustra el uso del sistema 10 de formación de imágenes en una plataforma aérea que es provista por una aeronave 12. El funcionamiento del sistema 10 de formación de Imágenes se puede describir en términos de localizar un objetivo humano en el agua, y se puede hacer referencia al objetivo como “nadador”. El procedimiento para la detección de nadadores comienza mediante la adquisición de una señal de vídeo del aparato 14 de formación de Imágenes de WFOV, que está apuntado hacia abajo hacia el agua tal como se muestra en la reglón 20. La señal de vídeo es adquirida por el aparato 14 de formación de imágenes de WFOV a una tasa de tramas elevada, tal como 60 Hz, y unos datos sin procesar se obtienen a partir de la FPA del aparato de formación de Imágenes, en lugar de unos datos de temperatura calibrados. Los datos sin procesar se encuentran en la forma de recuentos de números enteros que se detectan en cada píxel de la FPA, que se puede procesar por un ordenador a una tasa mucho más rápida de lo que lo pueden ser los números en coma flotante.
La elevada tasa de tramas del aparato de formación de Imágenes de WFOV es útil por un número de razones. En primer lugar, la elevada tasa de tramas del aparato de formación de imágenes ayuda a asegurar que las tramas se adquieren a una tasa lo bastante rápida como para que unos cambios rápidos en el campo de visión del aparato de formación de Imágenes no den lugar a borrosldad de la Imagen. En segundo lugar, y lo más importante, el aumento en la relación de la señal con respecto al ruido del objetivo en relación con el segundo plano es proporcional a la raíz cuadrada del número de tramas que se promedian en las que aparece el objetivo. Por lo tanto, considérese, por ejemplo, una FPA de 320 x 240 que está orientada de tal modo que la dirección de 240 píxeles de la FPA es paralela con respecto a la dirección del avance hacia delante de la aeronave. Si se necesitan 20 segundos para que el objetivo descienda por el campo de visión y las Imágenes se capturan a una tasa de 60 Hz, entonces el objetivo se representará mediante formación de Imágenes un total de (20 segundos) x (60 Hz) = 1.200 veces. Debido a que el aumento en la relación de la señal con respecto al ruido (SNR, signal-to-noise ratio) para una señal promediada que contiene ruido aleatorio es proporcional a la raíz cuadrada del número de muestras que se toman, entonces el aumento en SNR del objetivo será Vl.200 = 35. Este aumento posibilita la detección de objetivos que se encuentran por debajo de la sensibilidad o la resolución espacial en bruto del aparato de formación de imágenes.
En el mismo Instante en el que se adquiere cada trama de vídeo, también se adquiere el estado de posición concurrente de la aeronave incluyendo la ubicación GPS, la altitud y la orientación de rotación en 3 ejes en relación con la Tierra. Estos datos de orientación y de posición espacial se pueden obtener a través del EGI 18 (véase la figura 1) de la aeronave, a través de un sistema interno al sistema de formación de imágenes, o a través de una combinación de los dos. La orientación del aparato de formación de imágenes se puede ajustar entonces en tiempo real para contrarrestar el efecto de o bien un movimiento transitorio de la aeronave a medida que esta es bataneada en el aire o bien unas desviaciones intencionadas con respecto a una trayectoria de vuelo recta y a nivel.
Un vector de por lo menos seis (6) componentes, que representa la orientación y la posición física de la aeronave en un instante en el tiempo, está asociado con cada trama que es capturada del aparato de formación de imágenes. Para cualquier trama individual, en base a la información que está contenida en el vector asociado, cada punto del espacio físico en el campo de visión en la trama de imagen se puede correlacionar con una posición absoluta en coordenadas de latitud y de longitud. Para los fines del presente documento, el procedimiento de realización de esta puesta en correspondencia se denominará “georregistro”. Este procedimiento se puede completar con rapidez debido a la topología de la superficie que se está representando mediante formación de imágenes. Es decir, debido a que la superficie del agua es aproximadamente un plano liso sobre el campo de visión, la traducción de imagen y vector a georregistro del campo de visión se puede lograr en tiempo real. Se hará referencia al vector mínimo para representar la orientación y la posición completas del aparato de formación de imágenes en el espacio físico como X, tal como se indica en lo sucesivo, a pesar de que podría estar contenida información adicional en este vector en base a mediciones inerciales, mediciones de diferencial de tiempo, u otras potenciaciones para perfeccionar la precisión y la exactitud de la información de ubicación y de orientación.
x
y
x= z e
y_
Un objetivo equivalente a un nadador en el agua tal como es visto desde el aparato 14 de formación de imágenes de WFOV en la plataforma aérea que es provista por la aeronave 12 se puede incluir en el campo de visión del aparato 14 de formación de imágenes de WFOV, incluso a pesar de que puede que el aparato 14 de formación de imágenes de WFOV no sea capaz de resolver el objetivo. Un “tamaño de objetivo” se puede definir como el producto del
5
10
15
20
25
30
35
40
45
50
55
60
diferencial de temperatura de segundo plano de objetivo y el área del objetivo o bien en el espacio físico (tamaño de objetivo absoluto) o bien en la imagen (tamaño de objetivo de imagen). Por lo tanto, por ejemplo, la cabeza de una persona puede tener una temperatura que es 6 °C (6 K) más alta que la del océano circundante y un área en sección transversal tal como se ve desde arriba de 0,075 m2 Por lo tanto, el tamaño de objetivo absoluto es de 0,075 m2 x 6 K = 0,45 m2 K. De forma similar, ese mismo objetivo tal como es visto por un aparato de formación de imágenes con un campo de visión de 90° a una altitud de 3.300 pies (1005,84 m) podría ocupar solo un 0,8 % del área de un píxel. El tamaño de objetivo de la imagen entonces sería de 0,008 píxeles x 6 K = 0,048 píxel • K. Un objetivo de tal tamaño se encuentra dentro del alcance operativo típico del sistema, incluso a pesar de que la amplitud instantánea de la señal térmica en relación con la media local se puede encontrar en o cerca del diferencial de temperatura equivalente de ruido (“NETD”, noise-equivalent temperature differential) del aparato 14 de formación de imágenes de WFOV.
Una potenciación al sistema que se puede realizar es que el segundo plano promedio del campo de visión se puede restar de cada trama sin procesar que es capturada del aparato de formación de imágenes. Esta etapa reduce el efecto del ruido de patrón fijo (“FPN”, fixed pattern noise) del aparato de formación de imágenes, lo que distorsiona la magnitud de la radiación térmica que afecta a cada píxel de la FPA debido a la falta de uniformidad inherente en la sensibilidad de los píxeles que constituyen la FPA. Así mismo, esto puede reducir la magnitud de señal fija en el campo de visión, tal como podría encontrarse presente a partir de la reflexión constante del sol en la superficie del agua. Los datos de segundo plano se pueden obtener mediante el cálculo de promedio de muchas imágenes de orientación registrada de un campo de visión en blanco. Una vez que se ha recogido la imagen de segundo plano, esta se puede restar de cada imagen de trama que es recogida del aparato de formación de imágenes con posterioridad a ese instante siempre que las condiciones ambientales para la formación de imágenes permanezcan relativamente constantes. Si las condiciones ambientales fluctúan en el tiempo o se desvían con respecto a las condiciones en las cuales se recogieron los datos de segundo plano en gran medida, entonces la etapa de sustracción de segundo plano se debería omitir en el procedimiento con el fin de evitar añadir una señal no deseada a cada trama debido a una sustracción de segundo plano imprecisa.
Después de que una única imagen sin procesar se haya adquirido y, opcionalmente, se le haya sustraído el segundo plano, la siguiente etapa en el procedimiento es corregir la perspectiva y la distorsión visual del área de agua que se representa mediante formación de imágenes en el campo de visión. La figura 3 es un campo de visión oblicuo a partir del aparato 14 de formación de imágenes de WFOV en el que una cuadrícula cuadrada de hilos calientes se ha dispuesto en el plano de la superficie del agua. Las líneas casi verticales en la imagen parecen converger hacia un punto virtual por encima de la parte superior del campo de visión. Esto es debido a la perspectiva de la imagen; los sectores de agua que se encuentran más alejados parecen más pequeños que los sectores que se encuentran más cerca. Esto se puede corregir a través de una transformación geométrica sencilla de los datos de imagen.
La figura 4 es el mismo campo de visión a partir del aparato 14 de formación de imágenes de WFOV que se muestra en la figura 3 después de que la transformación elimine la perspectiva de la imagen. Esta transformación ayuda a la alineación apropiada de cada trama a partir del aparato 14 de formación de imágenes de WFOV para georreferenciar y el subsiguiente cálculo de promedio de imagen. Obsérvese que un objetivo alejado del centro, si se sigue una trayectoria vertical recta en la imagen de perspectiva corregida, tendrá su trayectoria truncada por el lado del FOV del aparato de formación de imágenes. Este efecto crea la cola en el perfil de detección lateral del sistema.
Otras correcciones a la imagen también se pueden aplicar para responder por aberraciones ópticas tales como la distorsión en barril, lo que da lugar a la curvatura aparente de líneas rectas cerca del borde del FOV y se halla comúnmente en imágenes que cubren un FOV amplio. Esto solo sería necesario si tales distorsiones interfirieran con el subsiguiente georregistro y cálculo de promedio de imágenes secuenciales. Estas otras correcciones se pueden aplicar antes, durante o después de la etapa de corrección de perspectiva.
Estas etapas de corrección de la perspectiva de la imagen y de la distorsión se pueden realizar a través del cálculo en directo de una matriz de corrección de imagen multiplicativa o el uso de una tabla de consulta de matrices previamente calculadas para un intervalo de vectores de orientación posibles de aparato de formación de imágenes. El uso de una tabla de consulta reduciría los requisitos de procesamiento de forma significativa y probablemente daría como resultado un tiempo de ciclo de proceso reducido y, por lo tanto, una tasa de tramas eficaz aumentada para una capacidad de procesamiento dada.
Entonces, los datos de imagen corregidos se pueden georregistrar o poner en correspondencia con coordenadas de latitud y de longitud usando el vector de orientación y de posición que se graba en el instante en el que se capturó la imagen. El centro del campo de visión de cualquier imagen se encuentra directamente en línea con la línea central del aparato de formación de imágenes y, por lo tanto, su información de latitud y de longitud se puede determinar a través de geometría sencilla que se puede lograr usando el vector X que se graba de forma simultánea con la imagen. De forma similar, la rotación y la escala de la imagen se pueden determinar a partir de ese mismo vector. Por lo tanto, las coordenadas de cualquier punto en la superficie del agua representada mediante formación de imágenes se pueden determinar directamente. Esta imagen georregistrada se almacena entonces de forma temporal en una pila de RAM, en la que esta puede extraerse con rapidez para un análisis posterior.
Habiendo definido las etapas de corrección de perspectiva, de corrección de distorsión y de georregistro por
5
10
15
20
25
30
35
40
45
50
55
separado, también es posible realizar la totalidad de estas etapas de forma simultánea y computaclonal de forma eficiente a través de una configuración de sistema apropiada, siempre que las variaciones de altura al nivel de la superficie sean pequeñas en comparación con la altitud de la aeronave. Normalmente este sería el caso, por ejemplo, en la superficie del océano. Usando datos de calibración a partir de la óptica del aparato de formación de Imágenes de WFOV, se puede generar un mapa de perspectiva y de distorsión para el aparato de formación de Imágenes de WFOV. Los datos en directo a partir del EGI se pueden usar para apuntar el aparato de formación de Imágenes de WFOV directamente por debajo de la aeronave en todo momento. La perspectiva en el campo de visión entonces será constante hasta un factor de escala que es dado por la altitud de vuelo. La distorsión debido a las lentes, en si mismas, también será constante. Por lo tanto, la posición absoluta de cualquier punto en el WFOV del sistema de WAIRI se puede determinar de forma sencilla al conocer solo la matriz de perspectiva / distorsión para la óptica, la altitud de vuelo y el rumbo absoluto del aparato de formación de imágenes de WFOV, lo que puede Incluir una información tanto de guiñada como de rumbo de la aeronave.
Matemáticamente, considérese la matriz de perspectiva / distorsión como la desviación en X y en Y en el espacio de Imagen para cada píxel en la FPA en relación con la ubicación a la vista en el punto muerto de la FPA Habrá una desviación en las direcciones tanto de X como de Y relativas para cada píxel, (i,j), que se denominan respectivamente X¡¿ y Y¡j, cuando el aparato de formación de imágenes se encuentra a una distancia unidad por encima de un plano horizontal y observando con el eje óptico normal con respecto a ese plano. Debido a que el aparato de formación de imágenes está apuntando directamente hacia abajo, la latitud y la longitud que se representan mediante formación de Imágenes en el centro de la disposición coinciden con la latitud y la longitud del propio aparato de formación de Imágenes. Conociendo la altitud, A, el acimut absoluto, 9, la ubicación GPS, (Xg, Yg), del aparato de formación de imágenes y considerando que la superficie del océano se puede considerar plana a la escala de distancia de altitud de vuelo, la ubicación GPS de cualquier punto que se represente mediante formación de imágenes en el campo de visión se puede computar directamente a partir de la ecuación
Xif = XG + A(Xij Cos 6 + YijSen 9)
Yif =Yg + A(-X¡j Sen 9 + Yu Cos 9).
El georregistro de la totalidad del campo de visión se puede lograr usando no más que una simple multiplicación escalar y adición de matrices, lo que se podría lograr de forma sencilla en tiempo real con un soporte físico computaclonal modesto. El cálculo de promedio georregistrado del FOV se puede realizar a la tasa de tramas del aparato de formación de imágenes, posibilitando un funcionamiento en tiempo real en condiciones de vuelo. Por esta razón, la precisión de la matriz de perspectiva / distorsión ha de ser alta para asegurar una fidelidad de georregistro.
El diagrama en la figura 5 resume el procedimiento de WAIRI, que opera continuamente en dos lazos paralelos. El primer lazo empieza con la adquisición simultánea de la Imagen de Infrarrojos y la información de orientación y de posición a partir de la aviónica y continúa a través del almacenamiento temporal de la trama de imagen georregistrada en una pila de RAM, tal como se indica en el lado Izquierdo del diagrama. Este primer lazo del algoritmo itera de forma continua a la tasa de tramas del aparato de formación de imágenes (por ejemplo, 60 Hz). La segunda mitad del algoritmo es un bucle separado para calcular el promedio de las imágenes georreferenciadas para dar un mapa que se actualiza de forma continua del área barrida y analizar ese mapa para seleccionar objetivos de interés para el aparato de formación de Imágenes de NFOV para ver estos con una ampliación alta. Este segundo lazo también opera de forma continua, en paralelo con el primer lazo, tal como se describe en el lado derecho del diagrama, e Itera a una tasa que es definida por el número de objetivos potenciales que el usuario desea ver por unidad de tiempo (por ejemplo, una vez cada 7 segundos o 0,14 Hz). Obsérvese que, tal como se ha descrito previamente, algunas de las etapas discretas que se bosquejan en el diagrama global se pueden combinar, tal como las etapas de corrección de perspectiva / distorsión y de transformación de coordenadas georreferenciadas.
Para realizar el cálculo de promedio de señal que potencia el SNR de objetivos en el agua representada mediante formación de imágenes, los datos térmicos a partir de cada sector de océano se han de promediar a lo largo de varias capturas de trama para construir un mapa térmico promediado del área de búsqueda. El algoritmo ha de identificar entonces qué anomalías tienen la probabilidad más grande de ser el objeto de la labor de búsqueda, en base a unos criterios definidos por el usuario. Por último, el aparato de formación de imágenes de NFOV ha de apuntar en acimut de forma automática a la geoubicaclón o geoublcaclones que son identificadas por la electrónica de WAIRI y presentar visualmente la imagen de ese objetivo al usuario humano o a un soporte lógico de reconocimiento de objetivos automático. Este procedimiento se describe en relación con las figuras 6A - D.
En la figura 6A, la banda en la parte inferior de la imagen representa la franja de océano en la que se está buscando a lo largo de un corto periodo de tiempo. Las placas traslúcidas que están apiladas de una forma similar a una escalera sobre la banda de océano representan una serie de tramas de video secuenciales del aparato de formación de imágenes de WFOV que se procesan para dar la base de datos de Imágenes de áreas localizadas tal como se ha descrito previamente. La etapa de cálculo de promedio de Imágenes de área extensa integra la señal a partir de estas imágenes entre sí de una forma georregistrada, para formar el mapa que se muestra en la figura 6B. El conjunto de datos procesados de área extensa resultante es un mapa de la totalidad del área cubierta durante la búsqueda con cada señal de sector de océano promediada a lo largo de muchas tramas. El conjunto de datos
5
10
15
20
25
30
35
40
45
50
55
60
resultante es un mapa de cobertura para el área en la que se está buscando, combinado con la latitud y la longitud de las señales de objetivo amplificadas y el Instante en el que se adquirieron aquellos objetivos. Este conjunto de datos se puede presentar al usuario como un registro en marcha de en qué áreas de mar abierto se ha buscado, cuál era la cobertura de las áreas en las que se estaba buscando, y cuándo se buscó en las áreas. Un ejemplo de un mapa de Imagen procesado de área extensa que resulta de la Integración de imágenes georregistradas se muestra en la figura 6C. Por último, el vídeo en directo a partir del aparato de formación de imágenes de NFOV que está apuntado sobre una anomalía específica, tal como este se podría presentara un usuario humano, por ejemplo, se muestra en la figura 6D.
Haciendo de nuevo referencia a la figura 5, la segunda fase del procedimiento determina qué anomalías térmicas en el mapa de imagen procesado se deberían investigar adicionalmente por el aparato de formación de imágenes de NFOV. Debido a que el aparato de formación de imágenes de NFOV solo puede representar mediante formación de imágenes un objetivo potencial de cada vez, y se pierde tiempo en el apuntamiento en acimut de un objetivo potencial a otro, y se requiere una mínima cantidad de tiempo para que el usuario determine en realidad si la región que se está representando mediante formación de imágenes contiene el objeto de la labor de búsqueda, los criterios para la selección de objetivos potenciales han de elegirse de forma juiciosa.
Un procedimiento definido se usa para determinar qué anomalías térmicas son del mayor interés. El sistema usa un recuadro de delimitación de región de análisis, que es definido por el usuario, para analizar el mapa de base de datos georregistrado y promediado en áreas pequeñas y discretas. El recuadro de delimitación de región de análisis es por lo general una forma geométrica tal como un círculo o un cuadrado que tiene una anchura de unos pocos píxeles. Se hace referencia al análisis en cada una de estas áreas como análisis local. El sistema explora de forma eficaz el recuadro de delimitación de región de análisis sobre el mapa de base de datos recientemente procesado e identifica cualesquiera áreas en las que hay una anomalía térmica que cumple los criterios definidos para los objetivos. Tales anomalías se identifican como objetivos potenciales.
Varios criterios se pueden usar en la evaluación de anomalías térmicas. El primero de estos es un valor mínimo (umbral) localizado de amplitud de señal de anomalía térmica (en desviaciones estándar) necesario para que la anomalía térmica reúna los requisitos como un objetivo potencial. Debido a que el objeto de la labor de búsqueda debería estar más caliente que el agua circundante, todas las desviaciones térmicas negativas en relación con la media local se pueden rechazar. Otros criterios se usan entonces para clasificar los objetivos potenciales en el orden de probabilidad de que estos sean el objeto de la labor de búsqueda. El tamaño, la forma, la señal promedio y la SNR de pico del objetivo potencial se pueden usar, todos ellos, para clasificar el conjunto de objetivos potenciales.
La selección de cuántos objetivos potenciales clasificados presentar visualmente al usuario se determina mediante el número de objetivos potenciales a presentar visualmente por unidad de tiempo, un parámetro que es definido por el usuario del sistema. Este parámetro determina durante cuánto tiempo el usuario del sistema tendrá que ver cada objetivo potencial sometido a inspección. El sistema selecciona los objetivos potenciales de clasificación más alta dentro del alcance durante la trama de tiempo que es facilitada por el avance hacia delante de la aeronave. Establecer este valor a un número demasiado alto cubrirá muchos objetivos potenciales pero el periodo de tiempo que cada objetivo permanecerá en la pantalla será demasiado corto para que el usuario identifique de forma precisa la anomalía térmica. Establecer el valor demasiado bajo omitirá muchos objetivos potenciales y también se puede omitir el objeto de la labor de búsqueda. Se recomienda permitir 7 segundos por objetivo potencial.
Por lo tanto, por ejemplo, lo siguiente se podría usar en una búsqueda de una persona en el océano. El usuario podría definir un recuadro de delimitación de región de análisis de 40 píxeles x 40 píxeles para que lo use el sistema para el análisis del mapa de base de datos georregistrado y promediado. Después de que el análisis local se hubo completado (es decir, el análisis dentro del recuadro de delimitación de región de análisis en esa ubicación específica), el recuadro de delimitación de región de análisis se desplazaría 5 píxeles y comenzaría un nuevo análisis local. El tamaño del desplazamiento del recuadro de delimitación podría ser definido por el usuario o un valor mínimo puede estar impuesto por el sistema en base a los recursos de cómputo disponibles y la velocidad de exploración necesaria para continuar un análisis en tiempo real. Este procedimiento podría proceder de forma cíclica a una tasa de 100 Hz con el fin de seguir el parámetro definido por el usuario para el número de objetivos potenciales a presentar visualmente por unidad de tiempo. Cualquier anomalía térmica dentro del recuadro de delimitación de región de análisis que estuviera más fría la temperatura promedio dentro de la región de análisis se podría rechazar, debido a que una persona estaría más caliente que el océano circundante. Entonces, cualquier anomalía térmica con una amplitud de señal menor que una amplitud de punto de consigna dada, tal como 5 desviaciones estándar con respecto al valor térmico medio dentro de la región de análisis local, se podría rechazar como ruido. Así mismo, cualquier anomalía térmica de una extensión más grande que 5 píxeles se podría rechazar, debido a que esa anomalía térmica sería demasiado grande para que fuera una persona. Si una anomalía térmica pasara la totalidad de estos criterios de evaluación, entonces esta sería identificada por el sistema como un objetivo potencial.
De entre los objetivos potenciales, uno tendrá la mayor desviación con respecto a su media de segundo plano y ese se volverá el objetivo de “puesto 1”, o el que es lo más probable que sea el objeto de la labor de búsqueda de entre los objetivos potenciales dentro del alcance del aparato de formación de imágenes de NFOV. El objetivo potencial con la segunda mayor desviación con respecto a la media se vuelve el objetivo de “puesto 2”, y así sucesivamente.
5
10
15
20
25
30
35
40
45
50
55
60
Debido a que se usa un criterio de desviación estadística localizada, áreas extensas de elevada intensidad de señal, tal como generaría una reflexión directa del sol en el agua, no se Identifican como objetivos potenciales. De forma similar, las desviaciones transitorias de pequeña escala tales como los destellos de luz del sol procedentes de las olas tienen como promedio un valor de campo medio a lo largo del transcurso de los muchos promedios de imagen. Por lo tanto, tal reflejo también se reduce drásticamente.
En base a este procedimiento, los objetivos más probables serán identificados por el sistema, tal como se Indica mediante el recuadro de delimitación en torno al píxel objetivo en la figura 6C. Esta imagen cubre el mismo campo de visión que la Imagen en la figura 6B, después de que se haya aplicado el filtrado. El objetivo que es identificado en esta Imagen es, de hecho, el objeto de la labor de búsqueda que está oculto en el campo de visión. Los sectores que contienen tales objetivos se determinan a partir del mapa de base de datos georreglstrado y promediado y las ubicaciones de los sectores se añaden a una base de datos de objetivos potenciales. En base a la clasificación y el número de objetivos a presentar visualmente por unidad de tiempo, la ubicación de algunos objetivos potenciales se envían entonces al aparato de formación de imágenes térmicas de NFOV que prepara los objetivos y puntos geográficos para cada uno, presentando visualmente su imagen con una ampliación alta al usuario. Para potenciar adlclonalmente la capacidad de detección, el aparato de formación de imágenes de NFOV puede determinar el objetivo más Intenso en el campo de visión estrecho, acercar la Imagen adicionalmente para representar mediante formación de Imágenes ese objetivo con una ampliación incluso más alta, y rastrear ese objetivo térmico durante el periodo de tiempo que está programado para representar mediante formación de imágenes ese objetivo.
El usuario del sistema vería solo el mapa global del área de búsqueda cubierta, con los objetivos más probables Identificados sobre este, y la imagen acercada en directo que se mueve de objetivo potencial a objetivo potencial a medida que la aeronave avanza en su búsqueda. La totalidad del algoritmo que describe este enfoque se resume en el diagrama de proceso que se muestra en la figura 5.
El resultado de este procedimiento de búsqueda es que la probabilidad de detectar un nadador en mar abierto se potencia de forma significativa. La figura 7 compara la probabilidad de detección lateral de hallar un nadador en mar abierto usando el sistema de WAIRI que se describe en el presente documento en comparación con el uso de un aparato de formación de Imágenes de FLIR sin modificaciones tal como se mide en K. Krapels, R. G. Driggers, J. F. García, “Performance ofinfrared systems in swimmer detection formaritime security", Optics Express, Vol. 15, n.° 19, pág. 12296, 17 de septiembre de 2007. El aparato de formación de imágenes que se usa en los datos de Krapels era casi 5 veces más sensible que el aparato de formación de imágenes que se usa en el conjunto de pruebas de WAIRI y la condición del estado del mar en los datos de Krapels fue de solo 1, mientras que esta fue de 3 en los datos de WAIRI. Así mismo, la forma del perfil de detección lateral de WAIRI se encuentra mucho más cerca de un perfil de alcances definido que los otros perfiles, que siguen un modelo de raíz cúbica. El perfil de detección lateral de WAIRI posibilita una búsqueda mucho más eficiente, usando la labor de búsqueda disponible para el mayor provecho. Una búsqueda en mar abierto usando el sistema que se describe en el presente caso claramente tiene una probabilidad mucho más grande de detección de nadadores que una búsqueda usando un aparato de formación de imágenes de FLIR no asistido.
Se muestran los perfiles de detección lateral medidos por Krapels y col. en condiciones durante el día (7,1 °C de AT) y condiciones durante la noche (6,4 °C de AT) y el perfil medido para el sistema de WAIRI (con escala de 6,4 °C de AT). La anchura de barrido recomendada usando FLIR convencionales para buscar una persona en el agua (PIW, person in the water) es de 0,3 NM (555,6 m), o aproximadamente 560 m, y se indica mediante la línea de puntos. Mediante la integración del área bajo cada perfil de detección lateral, la probabilidad total de hallar un objetivo dentro de una distancia especificada con respecto al aparato de formación de imágenes se puede determinar, suponiendo que el objetivo se encuentra presente dentro de ese alcance. La probabilidad total de detectar una PIW dentro de un alcance de 0,7 km (área integrada normalizada) para el perfil de detección durante el día de Krapels es de un 39 %; para los datos durante la noche de Krapels esta es de un 85 %; para el sistema de WAIRI esta es de > 99 %, en base a 500 mediciones a escala tomadas.
Ejemplo 1
La figura 8 es una ilustración esquemática de un ejemplo de la ejecución de un algoritmo de acuerdo con una realización que se usa para implementar una Integración georregistrada con la FPA del aparato de formación de imágenes. En realidad, las señales de objetivo no se desplazan directamente por las columnas de la FPA y se analizan mapas de integración con procesadores de Imagen en tiempo real, no solo se comparan de una forma línea a línea. Por lo tanto, esta ilustración no tiene como fin ser interpretada de manera demasiado estricta.
A pesar de que en el presente caso se muestran solo doce sectores para fines ilustrativos, miles de sectores se podrían evaluar usando un sistema de WAIRI real. Dos objetivos, marcados a y (3, se encuentran en el agua y se están aproximando a un helicóptero 30 de SAR. A medida que estos pasan bajo la vista del sistema de WAIRI a bordo del helicóptero 30, los sectores de océano en los que está ubicado cada uno se miden de forma continua, como lo son la totalidad de los otros sectores dentro del campo de visión del aparato de formación de imágenes de WFOV. Una vez que el sector que contiene el objetivo a ha pasado completamente a través del campo de visión, la señal acumulada que está asociada con ese sector de océano se promedia y se compara con la señal promedio a partir de cada una de las otras columnas en esa fila. Obsérvese que la señal a partir del objetivo (3 no desempeña un
5
10
15
20
25
30
35
40
45
50
55
60
papel en este promedio, debido a que esta se encuentra en una columna diferente. Debido a que el promedio térmico del sector que contiene el objetivo a es más alto que el promedio global a un nivel estadísticamente significativo, el sistema de WAIRI envía entonces una orden al aparato de formación de imágenes de NFOV para inspeccionar las coordenadas que están asociadas con el sector que contiene el objetivo a. Obsérvese que este algoritmo simple a modo de ejemplo no es sino uno de muchos que se podrían usar tanto para integrar la señal objetivo para un sector dado como para comparar esta con la señal promedio en el entorno. Son posibles muchos enfoques numéricos tanto para la integración de señales como para comparaciones ambientales.
Ejemplo 2
Una configuración experimental puede imitar este algoritmo de hecho, incluso a pesar de basarse en unos valores introducidos de forma manual para la velocidad y la ubicación, en contraposición a una entrada de GPS. Mediante el montaje de de forma estática un aparato de formación de imágenes de WFOV por encima de una masa de agua y el arrastre de un objetivo térmico a través del agua a una velocidad conocida, el experimento puede imitar el efecto de volar por encima de un objetivo estático. Un factor de escala se ha de aplicar a todos los elementos a prueba pero en todos los otros aspectos, el algoritmo sería el mismo. La velocidad de vuelo y la altitud equivalentes para el aparato de formación de imágenes serían mucho más altas de lo que se usaría por lo general en una misión de SAR usando FLIR, solamente. A pesar de que el tiempo de integración para un píxel cualquiera sería insuficiente para registrar de forma concluyente la presencia de un objetivo potencial, la entrada promediada en el tiempo a partir de la totalidad de los píxeles que forman la imagen de un objetivo aumentaría de forma significativa la potencia estadística de la medición. Cuestiones prácticas tales como en dónde debería establecerse el corte en términos de la desviación estándar de una medición con respecto a la media o bien se pueden establecer inicialmente, o bien los objetivos más probables se pueden seleccionar de forma jerárquica a partir del conjunto de objetivos potenciales. No obstante, la capacidad de ajustar el umbral para la indicación de objetivos potenciales se puede incluir en la implementación en soporte lógico del algoritmo.
Un experto en la materia que tenga el beneficio de la presente divulgación puede apreciar que la invención también se puede usar en aplicaciones que no sean búsquedas por encima del agua desde una aeronave. Por ejemplo, en otra realización, en su lugar el sistema 10 de formación de imágenes se podría proporcionar en un satélite y usarse para localizar objetos térmicos en tierra o en agua. El satélite también proporciona una plataforma aérea, aunque a una altitud significativamente más alta que la de una aeronave típica. Los aparatos de formación de imágenes de WFOV y de NFOV se podrían dirigir hacia un área de búsqueda en la Tierra, tal como un área de agua o de tierra. Debido a la altitud de un satélite en órbita, el satélite incluso podría centrarse en un área de búsqueda dentro de un espacio aéreo seleccionado, en la que buscar aeronaves en vuelo. A medida que el satélite órbita en torno a la Tierra, sectores específicos en el área de búsqueda se podrían identificar como que contienen “objetivos potenciales”, al igual que en lo que antecede. Entonces, el aparato de formación de imágenes de NFOV se puede dirigir para representar mediante formación de imágenes el sector asociado con una resolución mucho más alta que la que se proporciona por el aparato de formación de imágenes de WFOV para confirmar el objetivo seleccionado.
De forma similar, se podrían perseguir otros objetivos, tal como periscopios para detectar vehículos sumergibles. Así mismo, se podría invertir la orientación de la configuración, de tal modo que el sistema de WAIRI explora el cielo desde el suelo en busca de aeronaves, o una aeronave podría buscar a otra, en donde tanto el buscador como el objetivo son aéreos. Otros objetivos para búsquedas desde el aire por encima de tierra podrían incluir la detección de minas, el uso de artefactos de huella térmica, o un residuo térmico a partir de vehículos que salieron recientemente.
Adicionalmente, no es necesario que la metodología que se describe en el presente documento esté limitada a buscar en la región de infrarrojos del espectro de radiación electromagnética. El sistema tal como se describe se podría aplicar a buscar cualquier objetivo que tenga unas características de radiación diferencial en comparación con su entorno circundante. Otras plataformas de formación de imágenes, tales como una disposición en fase en el rango espectral de longitudes de onda de radio o un sistema montado en torreta que opera en el rango espectral de longitudes de onda ópticas, se podrían potenciar usando el procedimiento que se describe.
Tal como también será apreciado por un experto en la materia, la presente invención se puede incorporar como un sistema, procedimiento o producto de programa informático. Por consiguiente, la presente invención puede adoptar la forma de una realización enteramente de soporte físico, una realización enteramente de soporte lógico (incluyendo soporte lógico inalterable, soporte lógico residente, micro-código, etc.) o una realización que combina aspectos de soporte lógico y de soporte físico a la totalidad de los cuales se puede hacer referencia en el presente documento, en general, como “circuito”, “módulo” o “sistema”. Adicionalmente, la presente invención puede adoptar la forma de un producto de programa informático incorporado en cualquier medio tangible de expresión que tenga un código de programa usable por ordenador incorporado en el medio.
Se puede utilizar cualquier combinación de uno o más medio o medios usables por ordenador o legibles por ordenador. El medio usable por ordenador o legible por ordenador puede ser, por ejemplo pero sin limitarse a, un sistema, aparato, dispositivo o medio de propagación electrónico, magnético, óptico, electromagnético, de infrarrojos o semiconductor. Más ejemplos específicos (una lista no exhaustiva) del medio legible por ordenador incluirían lo siguiente: una conexión eléctrica que tiene uno o más hilos, un disquete informático portátil, un disco duro, una
5
10
15
20
25
30
35
40
45
50
55
60
memoria de acceso aleatorio (RAM, random access memory), una memoria de solo lectura (ROM, read-only memory), una memoria de solo lectura programable borrable (EPROM, erasable programmable read-only memory o memoria Flash), una fibra óptica, un disco compacto - memoria de solo lectura (CD-ROM, compact disc read-only memory) portátil, un dispositivo de almacenamiento óptico, un medio de transmisión tal como los que suportan Internet o una intranet, o un dispositivo de almacenamiento magnético. Obsérvese que el medio usable por ordenador o legible por ordenador incluso podría ser papel u otro medio adecuado sobre el cual se imprime el programa, debido a que el programa puede capturarse de forma electrónica, por medio de, por ejemplo, exploración óptica del papel u otro medio, entonces compilarse, interpretarse o procesarse de otro modo de una forma adecuada, si es necesario, y entonces almacenarse en una memoria informática. En el contexto del presente documento, un medio usable por ordenador o legible por ordenador puede ser cualquier medio que pueda contener, almacenar, comunicar, propagar o transportar el programa para su uso por o en conexión con el sistema, aparato o dispositivo de ejecución de instrucciones. El medio usable por ordenador puede incluir una señal de datos propagada con el código de programa usable por ordenador incorporado con el mismo, o bien en banda de base o bien como parte de una onda de portadora. El código de programa usable por ordenador se puede transmitir usando cualquier medio apropiado, incluyendo pero sin limitarse a, inalámbrico, de línea cableada, de cable de fibra óptica, de RF, etc.
Un código de programa informático para llevar a cabo las operaciones de la presente invención se puede escribir en cualquier combinación de uno o más lenguajes de programación, incluyendo lenguajes por guiones de alto nivel tales como MATLAB o Simulink, un lenguaje de programación orientado a objetos tal como Java, Smalltalk, C++ o similares y lenguajes de programación por procedimientos convencionales, tales como el lenguaje de programación “C” o lenguajes de programación similares. El código de programa se puede ejecutar en su totalidad en una tarjeta dentro del sistema informático de un subcomponente, el ordenador del usuario, en parte en el ordenador del usuario, como un paquete de soporte lógico independiente, en parte en el ordenador del usuario y en parte en un ordenador remoto o en su totalidad en el servidor u ordenador remoto. En este último escenario, el ordenador remoto se puede conectar con el ordenador del usuario a través de cualquier tipo de red, incluyendo una red de área local (LAN, local area network) o una red de área extensa (WAN, wide area network), o la conexión se puede hacer con un ordenador externo (por ejemplo, a través de Internet usando un Proveedor de Servicios de Internet).
La presente invención se ha descrito con referencia a ilustraciones de diagrama de flujo y / o diagramas de bloques de procedimientos, aparatos (sistemas) y productos de programa informático de acuerdo con realizaciones de la invención. Se entiende que cada bloque de las ilustraciones de diagrama de flujo y/o de diagramas de bloques, y combinaciones de bloques en las ilustraciones de diagrama de flujo y/o de diagramas de bloques, se pueden implementar mediante instrucciones de programa informático. Estas instrucciones de programa informático se pueden proporcionar a un procesador de un ordenador de propósito general, un ordenador de propósito especial, u otro aparato de procesamiento de datos programable para producir una máquina, de tal modo que las instrucciones, que se ejecutan por medio del procesador del ordenador u otro aparato de procesamiento de datos programable, crean unos medios para implementar las funciones / acciones que se especifican en el bloque o bloques de diagrama de flujo y / o de diagrama de bloques.
Estas instrucciones de programa informático también se pueden almacenar en un medio legible por ordenador que puede dirigir un ordenador u otro aparato de procesamiento de datos programable para que funcione de una forma particular, de tal modo que las instrucciones que están almacenadas en el medio legible por ordenador producen un artículo de fabricación que incluye unos medios de instrucciones que implementan la función / acción que se especifica en el bloque o bloques de diagrama de flujo y / o de diagrama de bloques.
Las instrucciones de programa informático también se pueden cargar en un ordenador u otro aparato de procesamiento de datos programable para dar lugar a que una serie de etapas operativas se realicen en el ordenador u otro aparato programable para producir un procedimiento implementado por ordenador de tal modo que las instrucciones que se ejecutan en el ordenador u otro aparato programable proporcionan procedimientos para implementar las funciones / acciones que se especifican en el bloque o bloques de diagrama de flujo y lo de diagrama de bloques.
El diagrama de flujo y los diagramas de bloques en las figuras ilustran la arquitectura, la funcionalidad y el funcionamiento de posibles implementaciones de sistemas, procedimientos y productos de programa informático de acuerdo con diversas realizaciones de la presente invención. A este respecto, cada bloque en el diagrama de flujo y los diagramas de bloques puede representar un módulo, segmento o porción de código, que comprende una o más instrucciones ejecutables para implementar la función o funciones lógicas especificadas. También se debería observar que, en algunas implementaciones alternativas, las funciones que se indican en el bloque pueden tener lugar fuera del orden que se indica en las figuras. Por ejemplo, dos bloques que se muestran en sucesión se pueden ejecutar, de hecho, de forma sustancialmente concurrente, o los bloques se pueden ejecutar a veces en el orden inverso, dependiendo de la funcionalidad implicada. También se debería observar que cada bloque de la ilustración de diagramas de bloques y / o de diagrama de flujo, y combinaciones de bloques en la Ilustración de diagramas de bloques y / o de diagrama de flujo, se pueden implementar por sistemas basados en soporte físico de propósito especial que realizan las funciones o acciones especificadas, o combinaciones de soporte físico de propósito especial e instrucciones informáticas. También se debería reconocer que un código de programa informático no se limita a los bloques en el diagrama de flujo, y también puede incluir etapas o sub-etapas adicionales que se han
descrito en cualquier otra parte en el presente documento.
Las estructuras, materiales, acciones y equivalentes correspondientes de todos los medios o etapas más elementos de función en las reivindicaciones en lo sucesivo tienen por objeto incluir cualquier estructura, material o acción para realizar la función en combinación con otros elementos reivindicados como reivindicados de forma específica. La 5 descripción de la presente invención se ha presentado para fines de ilustración y de descripción, pero no tiene por objeto ser exhaustiva o estar limitada a la invención en la forma que se divulga. Muchas modificaciones y variaciones serán evidentes para los expertos en la materia sin apartarse del ámbito de la invención. La realización se eligió y se describió con el fin de explicar del mejor modo los principios de la invención y la aplicación práctica, y para posibilitar que otros expertos en la materia entiendan la invención para diversas realizaciones con diversas 10 modificaciones según estén adaptadas para el uso particular contemplado.
Claims (20)
- 510152025303540455055REIVINDICACIONES1. Un sistema para buscar un objetivo térmico, que comprende:un aparato de formación de imágenes térmicas de campo de visión amplio dispuesto sobre una plataforma aérea o móvil y configurado para dirigirse hacia un área de búsqueda y registrar señales térmicas a través de un campo de visión del aparato (14) de formación de imágenes térmicas de campo de visión amplio; caracterizado porque el sistema además comprende:un receptor de sistema de navegación global por satélite (GPS) y un sistema de navegación inercial (INS) dispuestos sobre la plataforma aérea o móvil y acoplados con el aparato (14) de formación de imágenes térmicas de campo de visión amplio;un aparato (16) de formación de imágenes de vídeo de formación de imágenes térmicas de campo de visión estrecho configurado para señalar y acercar a un campo de visión que es menor que o igual a un 10 % del campo de visión amplio; yun ordenador (12) conectado con el aparato (14) de formación de imágenes térmicas de campo de visión amplio, el aparato (16) de formación de imágenes térmicas de campo de visión estrecho, el receptor de sistema de navegación global por satélite y el sistema de navegación inercial, en el que el ordenador (12) está configurado para integrar en el tiempo la amplitud de las señales térmicas que emanan de cada sector en el área de búsqueda representada por formación de imágenes por el aparato (14) de formación de imágenes térmicas de campo de visión amplio, identificar uno o más sectores de interés que tienen una señal térmica promedio que se encuentra por lo menos tres desviaciones estándar por encima de una señal térmica media local, determinar la posición GPS del uno o más sectores de interés mediante la combinación de datos de navegación y de orientación a partir del receptor de sistema de navegación global por satélite y el sistema de navegación inercial con unos datos geométricos conocidos acerca del campo de visión del aparato (14) de formación de imágenes de campo de visión amplio y dirigir el aparato (16) de formación de imágenes térmicas de campo de visión estrecho para señalar la posición GPS del sector de interés y presentar visualmente una imagen térmica que está asociada con el sector de interés para un usuario.
- 2. El sistema de la reivindicación 1, en el que el aparato (14) de formación de imágenes térmicas de campo de visión amplio está montado de forma rígida en la plataforma aérea o móvil.
- 3. El sistema de la reivindicación 1, en el que el aparato (14) de formación de imágenes térmicas de campo de visión amplio está montado de forma móvil sobre una suspensión cardan para contrarrestar el movimiento de bataneo de la plataforma aérea para mantener el aparato (14) de formación de imágenes de WFOV con una orientación sustancialmente constante en relación con la Tierra.
- 4. El sistema de la reivindicación 1, en el que tanto el aparato (14) de formación de imágenes térmicas de campo de visión amplio como el aparato (16) de formación de imágenes térmicas de campo de visión estrecho están configurados para detectar radiación térmica en la región de infrarrojos o bien de onda media o bien de onda larga del espectro electromagnético.
- 5. El sistema de la reivindicación 1, en el que el aparato (14) de formación de imágenes térmicas de campo de visión amplio está configurado para adquirir vídeo a una tasa de tramas lo bastante alta para evitar el desenfoque debido al movimiento de la plataforma aérea.
- 6. El sistema de la reivindicación 1, en el que un ordenador asocia posiciones GPS con un mapa topológicamente plano de solo coordenadas de latitud y de longitud, o con una imagen visual del área de búsqueda cubierta.
- 7. El sistema de la reivindicación 1, en el que el ordenador (12) es un componente de uno u otro de los aparatos (14, 16) de formación de imágenes térmicas de WFOV o de campo de visión estrecho.
- 8. El sistema de la reivindicación 1, en el que el ordenador (12) es un sub-componente o tarjeta dentro de un componente informático de uno u otro de los aparatos (14, 16) de formación de imágenes térmicas de campo de visión amplio o de campo de visión estrecho.
- 9. El sistema de la reivindicación 1, en el que el usuario es un ser humano o un soporte lógico de reconocimiento de objetivos automático.
- 10. El sistema de la reivindicación 1, en el que el aparato (16) de formación de imágenes térmicas de campo de visión estrecho puede detectar, ampliar adicionalmente y rastrear de forma automática la anomalía térmica más intensa en el sector estrecho al que este ha sido dirigido para una representación mediante formación de imágenes, aumentando de ese modo el impacto visual de ese objeto en el usuario sin requerir una intervención del usuario.
- 11. El sistema de la reivindicación 1, en el que la orientación de la línea central del aparato (14) de formación de imágenes térmicas de campo de visión amplio en relación con la vertical es de 45° o menos con el fin de reducir al mínimo la falta de uniformidad de resolución espacial o la curvatura del campo de visión del aparato (14) de formación de imágenes térmicas de campo de visión amplio debido a la perspectiva o aberración óptica.510152025303540
- 12. El sistema de la reivindicación 1, en el que una imagen de segundo plano se resta de cada trama de vídeo que es recogida por el aparato (14) de formación de imágenes térmicas de campo de visión amplio para corregir la falta de uniformidad en la sensibilidad de red de plano focal, ruido de patrón fijo o efectos ambientales que tienen influencia sobre la salida del aparato (14) de formación de imágenes térmicas de campo de visión amplio.
- 13. El sistema de la reivindicación 1, en el que el aparato (14) de formación de imágenes térmicas de campo de visión amplio tiene un campo de visión de 45° o mayor para dirigir hacia delante, o directamente por debajo, de la plataforma aérea hacia el área de búsqueda.
- 14. Un procedimiento para buscar un objetivo térmico, que comprende:dirigir un aparato (14) de formación de imágenes térmicas de campo de visión amplio dispuesto sobre una plataforma aérea o móvil hacia un área de búsqueda seleccionada;adquirir múltiples imágenes en un campo de visión del aparato (14) de formación de imágenes térmicas de campo de visión amplio a medida que el aparato (14) de formación de imágenes térmicas de campo de visión amplio se mueve en relación con el área de búsqueda;usar un sistema global de determinación de posición y un sistema de navegación inercial para adquirir datos de navegación y de orientación;calcular el promedio de la amplitud de una señal térmica que emana de cada sector en el área de búsqueda representada mediante formación de imágenes por el aparato (14) de formación de imágenes térmicas de campo de visión amplio;identificar uno o más sectores de interés como cualquier sector que tenga una señal promedio que se encuentra por lo menos tres desviaciones estándar por encima de una media local;determinar la posición GPS del o cada sector de interés usando las imágenes que son adquiridas por el aparato (14) de formación de imágenes térmicas de campo de visión amplio en combinación con unos datos geométricos conocidos acerca del campo de visión del aparato (14) de formación de imágenes de campo de visión amplio y los datos de navegación y de orientación adquiridos;dirigir un aparato (16) de formación de imágenes térmicas de campo de visión estrecho dispuesto sobre la plataforma móvil configurado para señalar la posición GPS del sector de interés, acercar la imagen hasta un campo de visión que es igual a o menor que un 10 % del campo de visión del aparato (14) de formación de imágenes térmicas de campo de visión amplio; y presentar visualmente el sector de interés para un usuario.
- 15. El procedimiento de la reivindicación 14, en el que la plataforma móvil es una plataforma aérea y el área de búsqueda es la superficie de una masa de agua.
- 16. El procedimiento de la reivindicación 14, en el que la plataforma móvil es una plataforma aérea y el área de búsqueda es la superficie de una masa de tierra.
- 17. El procedimiento de la reivindicación 14, en el que la plataforma móvil está soportada en tierra o agua y el área de búsqueda se encuentra en el cielo u horizonte.
- 18. El procedimiento de la reivindicación 14, en el que la plataforma móvil permanece en una ubicación pero se puede reorientar de forma rotacional.
- 19. El procedimiento de la reivindicación 14, en el que el aparato (14) de formación de imágenes térmicas de campo de visión amplio es estacionario y para el cual el campo de visión no cambia pero el aparato (16) de formación de imágenes térmicas de campo de visión estrecho se puede reorientar.
- 20. El procedimiento de la reivindicación 14, en el que los componentes de formación de imágenes son sensibles a objetivos que emiten radiación en cualquier rango de longitudes de onda del espectro electromagnético.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7614208P | 2008-06-26 | 2008-06-26 | |
| US76142 | 2008-06-26 | ||
| PCT/US2009/048652 WO2009158494A1 (en) | 2008-06-26 | 2009-06-25 | Method of searching for a thermal target |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2554549T3 true ES2554549T3 (es) | 2015-12-21 |
Family
ID=41138821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES09771026.3T Active ES2554549T3 (es) | 2008-06-26 | 2009-06-25 | Procedimiento de búsqueda de un objetivo térmico |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8373127B2 (es) |
| EP (1) | EP2294811B1 (es) |
| CA (1) | CA2729712C (es) |
| ES (1) | ES2554549T3 (es) |
| IL (1) | IL210253A (es) |
| WO (1) | WO2009158494A1 (es) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230292015A1 (en) * | 2022-03-08 | 2023-09-14 | Nec Corporation Of America | Image based localization |
| US12069380B2 (en) | 2022-03-08 | 2024-08-20 | Nec Corporation Of America | Solar blind imaging |
| US12067805B2 (en) | 2022-03-08 | 2024-08-20 | Nec Corporation Of America | Facial gesture recognition in SWIR images |
| US12181695B2 (en) | 2022-03-08 | 2024-12-31 | Nec Corporation Of America | Retroreflector |
| US12198375B2 (en) | 2022-03-08 | 2025-01-14 | Nec Corporation Of America | Image analysis for controlling movement of an object |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621461B1 (en) * | 2013-03-13 | 2020-04-14 | Hrl Laboratories, Llc | Graphical display and user-interface for high-speed triage of potential items of interest in imagery |
| US9304305B1 (en) * | 2008-04-30 | 2016-04-05 | Arete Associates | Electrooptical sensor technology with actively controllable optics, for imaging |
| US9108709B2 (en) * | 2010-06-21 | 2015-08-18 | Kollmorgen Corporation | Modular optronic periscope |
| US9511858B2 (en) | 2011-08-19 | 2016-12-06 | Aerovironment, Inc. | Inverted-landing aircraft |
| US9208689B2 (en) | 2011-08-19 | 2015-12-08 | Aerovironment Inc. | Deep stall aircraft landing |
| US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
| US9714815B2 (en) | 2012-06-19 | 2017-07-25 | Lockheed Martin Corporation | Visual disruption network and system, method, and computer program product thereof |
| US9632168B2 (en) | 2012-06-19 | 2017-04-25 | Lockheed Martin Corporation | Visual disruption system, method, and computer program product |
| US9495783B1 (en) * | 2012-07-25 | 2016-11-15 | Sri International | Augmented reality vision system for tracking and geolocating objects of interest |
| US9196041B2 (en) | 2013-03-14 | 2015-11-24 | Lockheed Martin Corporation | System, method, and computer program product for indicating hostile fire |
| US9103628B1 (en) | 2013-03-14 | 2015-08-11 | Lockheed Martin Corporation | System, method, and computer program product for hostile fire strike indication |
| US9146251B2 (en) | 2013-03-14 | 2015-09-29 | Lockheed Martin Corporation | System, method, and computer program product for indicating hostile fire |
| US20140362218A1 (en) * | 2013-06-06 | 2014-12-11 | William Meadow | Electromagnetic radiation transmission location system |
| CN114414062B (zh) * | 2013-12-01 | 2023-07-25 | 杭州美盛红外光电技术有限公司 | 决定装置和决定方法 |
| US9734399B2 (en) * | 2014-04-08 | 2017-08-15 | The Boeing Company | Context-aware object detection in aerial photographs/videos using travel path metadata |
| US9699392B2 (en) * | 2014-11-21 | 2017-07-04 | Flir Systems, Inc. | Imaging system for an aircraft |
| EP3387398B1 (en) * | 2015-12-09 | 2026-03-25 | Teledyne Flir, LLC | Unmanned aerial system based thermal imaging systems and methods |
| US9963246B2 (en) * | 2016-03-28 | 2018-05-08 | Amazon Technologies, Inc. | Combining depth and thermal information for object detection and avoidance |
| RU2660751C1 (ru) * | 2017-09-11 | 2018-07-09 | Акционерное общество "Концерн "Центральный научно-исследовательский институт "Электроприбор" | Перископ непроникающего типа с панорамной многоканальной системой наблюдения без вращения головной части относительно корпуса носителя |
| CN110445465A (zh) * | 2017-12-22 | 2019-11-12 | 晶科电力科技股份有限公司 | 一种光伏电站中热斑定位方法 |
| EP3524949B1 (en) * | 2018-01-30 | 2020-10-21 | OneSubsea IP UK Limited | Methodology and system for determining temperature of subsea infrastructure |
| CN109060144A (zh) * | 2018-08-24 | 2018-12-21 | 电子科技大学 | 红外热像仪netd自动测试的方法 |
| CN110095193B (zh) * | 2019-05-14 | 2021-03-12 | 武汉高芯科技有限公司 | 一种红外热像仪噪声等效温差测试方法及系统 |
| US11367211B2 (en) | 2019-07-29 | 2022-06-21 | Raytheon Company | Inertially-assisted target detection |
| US11195286B2 (en) * | 2019-08-12 | 2021-12-07 | The Boeing Company | Image-based target tracking |
| CN110940420B (zh) * | 2019-11-14 | 2021-06-22 | 国网山西省电力公司大同供电公司 | 一种用于窄小管腔微型巡检机器人的温度异常点定位系统 |
| US11090873B1 (en) * | 2020-02-02 | 2021-08-17 | Robert Edwin Douglas | Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects |
| CN112101151B (zh) * | 2020-08-31 | 2023-12-08 | 深圳数联天下智能科技有限公司 | 固定区域是否存在人体的检测方法及相关装置 |
| EP4432652A4 (en) * | 2021-11-12 | 2025-01-01 | Sony Group Corporation | Information processing device, movable object, and information processing method |
| TWI806448B (zh) * | 2022-02-24 | 2023-06-21 | 群光電子股份有限公司 | 溫度量測系統、溫度量測方法及非暫態電腦可讀取儲存媒體 |
| CN117035745B (zh) * | 2023-10-07 | 2023-12-19 | 上海华建电力设备股份有限公司 | 一种变电站线路保护系统及方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE58902538D1 (de) * | 1988-05-19 | 1992-12-03 | Siemens Ag | Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens. |
| FR2655503B1 (fr) * | 1989-12-01 | 1992-02-21 | Thomson Csf | Systeme optoelectronique d'aide aux missions aeriennes d'attaque et de navigation. |
| US5371358A (en) * | 1991-04-15 | 1994-12-06 | Geophysical & Environmental Research Corp. | Method and apparatus for radiometric calibration of airborne multiband imaging spectrometer |
| US5371542A (en) | 1992-06-23 | 1994-12-06 | The United States Of America As Represented By The Secretary Of The Navy | Dual waveband signal processing system |
| US5274236A (en) | 1992-12-16 | 1993-12-28 | Westinghouse Electric Corp. | Method and apparatus for registering two images from different sensors |
| CA2140681C (en) * | 1994-06-17 | 2003-09-23 | Paul C. Chevrette | Wide area coverage infrared search system |
| US5894323A (en) * | 1996-03-22 | 1999-04-13 | Tasc, Inc, | Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data |
| IL139982A (en) | 1996-04-01 | 2004-07-25 | Lockheed Corp | Laser / FLIR integrated optics system |
| US5963653A (en) | 1997-06-19 | 1999-10-05 | Raytheon Company | Hierarchical information fusion object recognition system and method |
| US20030218674A1 (en) | 2002-05-24 | 2003-11-27 | Sarnoff Corporation | Method and apparatus for video georegistration |
| US7298869B1 (en) | 2003-07-21 | 2007-11-20 | Abernathy Donald A | Multispectral data acquisition system and method |
| US7358498B2 (en) * | 2003-08-04 | 2008-04-15 | Technest Holdings, Inc. | System and a method for a smart surveillance system |
| US7183549B2 (en) * | 2004-09-09 | 2007-02-27 | Flir Systems, Inc. | Multiple camera systems and methods |
| US7555143B2 (en) | 2005-02-09 | 2009-06-30 | Lawrence Livermore National Security, Llc | Real-time geo-registration of imagery using COTS graphics processors |
| WO2008060257A2 (en) * | 2005-05-25 | 2008-05-22 | Lau Daniel L | Projectile tracking system |
| US7395156B2 (en) | 2005-06-23 | 2008-07-01 | Raytheon Company | System and method for geo-registration with global positioning and inertial navigation |
-
2009
- 2009-06-25 ES ES09771026.3T patent/ES2554549T3/es active Active
- 2009-06-25 CA CA2729712A patent/CA2729712C/en not_active Expired - Fee Related
- 2009-06-25 WO PCT/US2009/048652 patent/WO2009158494A1/en not_active Ceased
- 2009-06-25 EP EP09771026.3A patent/EP2294811B1/en not_active Not-in-force
- 2009-06-25 US US12/491,720 patent/US8373127B2/en active Active
-
2010
- 2010-12-23 IL IL210253A patent/IL210253A/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230292015A1 (en) * | 2022-03-08 | 2023-09-14 | Nec Corporation Of America | Image based localization |
| US12069380B2 (en) | 2022-03-08 | 2024-08-20 | Nec Corporation Of America | Solar blind imaging |
| US12067805B2 (en) | 2022-03-08 | 2024-08-20 | Nec Corporation Of America | Facial gesture recognition in SWIR images |
| US12114084B2 (en) * | 2022-03-08 | 2024-10-08 | Nec Corporation Of America | Image based localization |
| US12181695B2 (en) | 2022-03-08 | 2024-12-31 | Nec Corporation Of America | Retroreflector |
| US12198375B2 (en) | 2022-03-08 | 2025-01-14 | Nec Corporation Of America | Image analysis for controlling movement of an object |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2729712C (en) | 2014-12-30 |
| US20090321636A1 (en) | 2009-12-31 |
| US8373127B2 (en) | 2013-02-12 |
| EP2294811B1 (en) | 2015-09-30 |
| IL210253A (en) | 2014-12-31 |
| IL210253A0 (en) | 2011-03-31 |
| EP2294811A1 (en) | 2011-03-16 |
| WO2009158494A1 (en) | 2009-12-30 |
| CA2729712A1 (en) | 2009-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2554549T3 (es) | Procedimiento de búsqueda de un objetivo térmico | |
| US10395113B2 (en) | Polarization-based detection and mapping method and system | |
| US8072581B1 (en) | Laser range finding system using variable field of illumination flash lidar | |
| US6678395B2 (en) | Video search and rescue device | |
| JP5349055B2 (ja) | マルチレンズアレイシステム及び方法 | |
| US20200211215A1 (en) | Passive sense and avoid system | |
| ES2875368T3 (es) | Sistema de observación a bordo que comprende un lidar para obtener imágenes tridimensionales de alta resolución | |
| US20100141766A1 (en) | Sensing scanning system | |
| Graber et al. | Land-based infrared imagery for marine mammal detection | |
| AU2018230648A1 (en) | Polarization-based detection and mapping method and system | |
| US10733442B2 (en) | Optical surveillance system | |
| Helgesen et al. | Low altitude georeferencing for imaging sensors in maritime tracking | |
| Steinvall et al. | Simulation and modeling of laser range profiling and imaging of small surface vessels | |
| US10257472B2 (en) | Detecting and locating bright light sources from moving aircraft | |
| Steinvall et al. | Laser imaging of small surface vessels and people at sea | |
| Bar et al. | Target detection and verification via airborne hyperspectral and high-resolution imagery processing and fusion | |
| ES2914619T3 (es) | Detector de gases peligrosos con cámara de matriz 1D | |
| JP2005208023A (ja) | 目標探知装置 | |
| US9243902B2 (en) | System for light source location detection | |
| JP7636955B2 (ja) | 特徴領域判定システムおよび特徴領域判定方法。 | |
| US20160224842A1 (en) | Method and apparatus for aerial surveillance and targeting | |
| Wright | Thesis | |
| Bostater et al. | Operational multi-angle hyperspectral sensing for feature detection | |
| De Ceglie et al. | SASS: A bi-spectral panoramic IRST-results from measurement campaigns with the Italian Navy | |
| Judd et al. | Passive shortwave infrared technology and hyperspectral imaging for maritime applications |