ES1204716U - Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en las operaciones de control basadas en imágenes 3D - Google Patents

Abstract

1. Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, compuesto por un primer (1) soporte sobre el que se instalan: a. Un primer par de cámaras (2a) (2b) con sus respectivas lentes que apuntan al centro de una escena global. b. Un segundo soporte (3) sobre el que se instalan: b1. Un segundo par de cámaras (4a) (4b) con sus respectivas lente y que tienen con un campo de visión reducido respecto del primer par de cámaras. b2. Un conjunto de actuadores mecánicos que permiten un movimiento relativo del segundo soporte (3) respecto del primer soporte (1) en sentido vertical y horizontal. c. Una electrónica que incluye unos subsistemas de control, procesamiento y comunicaciones.

Description

5

10

15

20

25

30

SISTEMA DOBLE 3D PARA OBTENER UNA IMAGEN AUMENTADA DEL SECTOR DE INTERÉS DE LA ESCENA DE TRABAJO EN LAS OPERACIONES DE CONTROL BASADAS EN IMÁGENES 3D

DESCRIPCIÓN

OBJETO DE LA INVENCIÓN

Es objeto de la presente invención, un sistema de doble juego de cámaras 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo, , siendo de aplicación en operaciones de control basadas en imágenes 3D, y de manera más particular en operaciones de control para repostaje en vuelo con botalón volador.

En determinadas operaciones de control es necesario el empleo de una vista 3D del escenario de trabajo en la que la información de profundidad es importante para obtener una información completa de las distancias involucradas en dichas operaciones.

Ejemplos claros de las anteriores serían el control de grúas, el manejo de brazos robot y algunas operaciones de repostaje en vuelo, en las que nos vamos a centrar como caso claro de aplicación de esta invención y sin perjuicio de las demás aplicaciones de la misma.

Las operaciones de repostaje aéreo se pueden clasificar esencialmente en dos tipos principales que son: 1.- Con manguera y cesta y 2.- Con botalón volador, denominado "flying Boom” en la literatura anglosajona.

Se define botalón ("Boom”) como aquella parte del dispositivo de repostaje, consistente en una rótula de sujeción al avión, de la que pende una carcasa hueca, alargada y rígida y de la que puede extraerse o retraerse una pértiga o parte interna, también rígida, en cuyo extremo se halla la boquilla. Esta boquilla es la que finalmente dispensa el combustible, tras conectarse al receptáculo de admisión, que se halla en el avión receptor, tras abrirse la compuerta que cierra el paso de combustible.

5

10

15

20

25

30

35

40

En las operaciones de repostaje en vuelo con botalón volador y más concretamente en aquellas en las que se desea automatizar la operación de contacto y repostaje, es necesario conocer la posición de la punta del botalón del avión tanquero, que suministra el combustible y la de la boca del receptáculo de admisión de combustible del avión receptor. Un procedimiento para obtener ambos puntos, es emplear un sistema 3D en el que simultáneamente, dos cámaras obtienen diferentes vistas de esos objetos. Mediante un procesado de imagen, consistente en una segmentación y un registro de objetos, se pueden determinar las ubicaciones de esos puntos en ambas vistas. Una vez obtenido esto, por triangulación, (ya que se conoce la distancia entre las cámaras y la distancia focal de cada una de ellas), pueden obtenerse las coordenadas 3D de dichos puntos respecto a unos ejes de coordenadas situados en algún punto del tanquero solidario con dichas cámaras. Para realizar lo anterior, es necesario disponer de una vista global del escenario de trabajo al tiempo que, es muy conveniente, tener una vista aumentada de la zona en la que se va a llevar a cabo el contacto o la operación de máximo interés, con el fin de mejorar la resolución y calidad de los datos obtenidos.

Generalmente, los sistemas 3D constan de un simple par de cámaras, denominadas izquierda y derecha, que podrían estar dotadas o no, de un zoom óptico, que les permita mejorar la resolución de la imagen obtenida. Sin embargo, en este caso, al realizar la operación de zoom, al no cambiar el lugar de apuntamiento de las mismas, esto podría dar lugar a que el punto de interés de la operación quedase fuera de la zona de visión. Si para evitar eso, se las dota de un mecanismo de movimiento vertical y horizontal para su apuntamiento, el resultado puede ser que al realizar dicho zoom y apuntamiento, se pierda de vista, la zona de interés, porque los objetos, al moverse, se hayan salido de dicha zona. La consecuencia es que perdemos de vista los elementos que permiten el acercamiento automático y por ende la propia capacidad de un repostaje automático seguro, ya que este requiere que, en todo momento, el sistema "vea” los puntos de interés del escenario de trabajo.

El objeto de la presente invención soluciona ese problema al tiempo que proporciona una nueva capacidad de iluminar la zona de interés, con una intensidad suficiente para eliminar las sombras, ya que la amplitud de difusión de luz del foco empleado se puede reducir en función del campo de visión de las cámaras y en virtud del apuntamiento de las mismas, del que también se beneficia dicho foco. Al reducirse la amplitud referida, la intensidad por unidad

5

10

15

20

25

30

35

de superficie aumenta, lo que le permite competir con la luz emitida por el sol (o la luna) en determinadas longitudes de onda. El hecho de poder eliminar las sombras de la escena de interés permite un tratamiento de las imágenes más sencillo y más robusto y seguro. Al mismo tiempo, este sistema, permite que todo el escenario de trabajo pueda ser monitorizado sin perder nunca la visión global del mismo.

En el estado de la técnica se conocen sistemas que cuentan con un único par de cámaras para conseguir una visión tridimensional 3D, algunos de los sistemas conocidos son:

CN102555911. En esta patente se describe circuito cerrado de visión tridimensional que se puede utilizar para la visualización remota situaciones delante en un vehículo automóvil (un mástil buque de vapor o un perfil aerodinámico del avión), de manera que la ocurrencia de accidentes se disminuye.

WO2010009570. En esta patente se divulga un método de elevación- posicionamiento y sistema de visión de elevación inteligente que comprende dos cámaras de vídeo (C1, C2) montadas en cada lado de la pluma de la grúa, respectivamente, contando con unas marcas de cooperación (P1, P2) dispuestos en el gancho y el objeto a ser izado respectivamente. La invención permite disminuir la fuerza de trabajo del operador en gran medida y se mejora la eficiencia de trabajo.

JPH01272908. En esta patente se divulga un sistema para garantizar la seguridad de los trabajadores y para tomar una medición exacta en un corto período de tiempo mediante el análisis de fotografías estereoscópicas que son tomadas por dos cámaras instaladas en posiciones fijas en el mar por un dispositivo de dibujo analítico conectado a un ordenador.

Todas las anteriores patentes consta de un simple par de cámaras lo que les permite mejorar la resolución de la imagen tomada, sin embargo no solucionan el problema planteado de pérdida del punto de interés de la operación al realizar un zoom y quedase fuera de la zona de visión.

DESCRIPCIÓN DE LA INVENCIÓN

El sistema 3D objeto de esta invención está compuesto por dos pares de cámaras, emparejadas dos a dos en cuanto a sus lentes, campos de visión,

5

10

15

20

25

30

35

distancia focal, apuntamiento, etc. Las cámaras del primer par apuntan al centro del escenario de trabajo, donde la operación va a tener lugar. Las cámaras del segundo par tienen capacidad de movimiento en horizontal y vertical gracias a unos accionadores mecánicos que las mueven, manteniendo en ambas el mismo apuntamiento. Este apuntamiento es determinado y controlado por el resultado de un procesamiento de las imágenes obtenidas por el primer par. La consecuencia es que tenemos dos vistas 3D de la zona de trabajo: Una general, que abarca toda la zona de posible trabajo y otra parcial con un campo de visión reducido que tras un procesado de las imágenes de la primera, apunta al núcleo de máximo interés de la operación, con una resolución, iluminación y calidad mejoradas.

En los sistemas 3D empleados para el reconocimiento y detección de determinados elementos o aspectos de un cierto escenario de trabajo, es importante disponer de una visión 3D global de dicho escenario al tiempo que se obtiene una visión 3D más detallada de una determinada parte de la escena anterior. Esto permite una mayor precisión del reconocimiento y de los resultados que se obtienen de este. Durante el día es muy conveniente poder además, eliminar las sombras que aparecen sobre la imagen consecuencia de la interposición de objetos entre la zona de interés y el sol que la ilumina. También durante la noche o en situaciones de baja luminosidad, es conveniente poder intensificar la iluminación de la zona de interés. El objeto de esta invención comprende todas esas capacidades y mediante un mecanismo de accionadores consigue mover dos de las cámaras para apuntar a un punto determinado las mismas, así como un foco de luz asociado a ellas. Proporciona así, en definitiva, una visión 3D de todo el escenario de trabajo y otra vista 3D de la parte de dicho escenario que reviste el máximo interés, con una calidad aumentada y una iluminación mejorada.

El sistema comprende:

Un primer soporte, que puede cumplir la función de protección de los elementos que alberga, a modo de caja.

Un primer par de cámaras para una visión 3D, que apuntan un mismo punto de nuestro escenario de trabajo, a una distancia determinada entre ellas con una óptica fija de enfoque y un iris variable sin pérdida de generalidad, así como unos filtros ópticos que las complementan.

5

10

15

20

25

30

35

Un segundo par de cámaras para una visión 3D, a una distancia entre ellas inferior a la que hay entre las anteriores con una óptica también fija e iris variable que pueden moverse mediante unos accionadores, que en esta implementación preferida pueden ser piezoeléctricos. También ambas con sus respectivos filtros ópticos.

El primer par de cámaras se dispone sobre un primer soporte, mientras que el segundo par de cámaras se dispone sobre un segundo soporte que por medio de unos actuadores mecánicos permite un desplazamiento relativo del segundo soporte respecto del primer soporte en sentido vertical y horizontal.

Además el sistema cuenta con una electrónica que incluye unos subsistemas de control, procesamiento y comunicaciones y la electrónica está distribuida entre los distintos elementos del sistema.

De manera complementaria al segundo par de cámaras se le pueden añadir unas lentes de enfoque automático y/o unas lentes de zoom controladas por la electrónica.

Por otro lado, también en cualquiera de los dos pares de cámaras o a los dos pares de cámaras se pueden añadir unos filtros ópticos, relacionados con las longitudes de onda de los emisores de luz para mejorar la visibilidad de las mismas.

El sistema también puede contar con un foco emisor de luz solidario con el segundo par de cámaras y que apunta al mismo lugar que estas. Este foco puede ser uno por cámara o simplemente uno para el par.

Las cámaras, idénticas dos a dos, pueden ser monocromas o bien disponer de un filtro de color sobre su sensor, como puede ser el filtro Bayer.

El funcionamiento del sistema es el siguiente:

El primer par de cámaras proporciona una visión global 3D del escenario de trabajo con un campo de visión amplio, que le permite abarcarlo completamente.

5

10

15

20

25

30

35

A partir de las imágenes obtenidas por ese primer par de cámaras un sistema de procesamiento, que estaría fuera de los límites de esta invención, obtendrá el punto de interés principal, alrededor del cual se desarrolla la actividad principal. Ese punto P y P’ en cada una de las cámaras del par, que corresponde a un mismo punto en la realidad, es suministrado a los accionadores del segundo par de cámaras para que procedan a un apuntamiento de las mismas. Las cámaras de este segundo par, con un ángulo de visión reducido, se hacen apuntar ambas a ese punto P del espacio, proporcionando una mejor calidad de imagen, en virtud de ese más reducido campo de visión para la misma resolución de su sensor.

Este segundo par de cámaras proporciona, por tanto, una imagen 3D detallada del sector principal de nuestro escenario.

Además, el foco o focos de luz, que son solidarios con las cámaras del segundo par, apuntarán, al tiempo que éstas, al mismo sector, iluminándolo en unas determinadas longitudes de onda, en las que las sombras se eliminan al tiempo que una mejor luminosidad mejora la calidad de la imagen obtenida.

Unos filtros ópticos apropiados en las cámaras, ayudarán a obtener una mejora substancial en las imágenes obtenidas en las mismas.

Salvo que se indique lo contrario, todos los elementos técnicos y científicos usados en la presente memoria poseen el significado que habitualmente entiende un experto normal en la técnica a la que pertenece esta invención. En la práctica de la presente invención se pueden usar procedimientos y materiales similares o equivalentes a los descritos en la memoria.

A lo largo de la descripción y de las reivindicaciones la palabra "comprende” y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención.

EXPLICACIÓN DE LAS FIGURAS

Con el fin de ilustrar el objeto de la presente patente se presentan los dibujos o figuras siguientes, en los que se ha procurado, sin pérdida de generalidad,

5

10

15

20

25

30

35

reflejar una implementación posible o versión del sistema que constituye la presente invención y es objeto del presente documento.

La figura 1 muestra una representación general del sistema doble 3D objeto de la invención.

La figura 2 muestra los dos campos de visión de cada par de cámaras.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

A la vista de las figuras se describe seguidamente un modo de realización preferente de la invención propuesta.

La figura 1 se puede observar un primer soporte (1), que es fijo, y sobre el que se ha instalado un primer par de cámaras fijas (2a) y (2b) que constituyen un primer par 3D. Entre ambas cámaras se ha dispuesto un marco móvil vinculado a dicho primer soporte mediante unos ejes verticales que les permiten un movimiento horizontal del marco respecto del primer soporte (1) gracias a unos accionadores (7). Sobre dicho marco se encuentra un segundo soporte (3), que está sujeto al marco anterior mediante un eje horizontal que permite un movimiento vertical del segundo soporte (3) respecto del marco, del mismo llevado a cabo por unos accionadores (6). En este segundo soporte (3) se encuentra un segundo par de cámaras (4a) y (4b) y un par de focos de luz (5a) y (5b).

El anterior sistema cuenta con una electrónica que incluye unos subsistemas de control, procesamiento y comunicaciones, donde dicha electrónica puede estar distribuida entre los distintos elementos que componen esta invención.

La figura 2 representa los campos de visión de ambos pares de cámaras 3D. Se puede observar el campo de visión horizontal (14) y el campo de visión vertical (15) de las cámaras del primer par (2a) (2b). Así mismo, se puede ha representado el campo de visión horizontal (8) y su campo de visión (9) vertical de cualquiera de las cámaras del segundo par de cámaras (4a) (4b). La zona de visión del segundo par (4a) (4b) puede moverse horizontalmente hacia la izquierda (13) o a la derecha (12) al tiempo que puede accionarse hacia arriba (10) o hacia abajo (11).

Descrita suficientemente la naturaleza de la presente invención, así como la manera de ponerla en práctica, se hace constar que, dentro de su esencialidad, podrá ser llevada a la práctica en otras formas de realización que difieran en detalle de la indicada a título de ejemplo, y a las cuales alcanzará igualmente la 5 protección que se recaba, siempre que no altere, cambie o modifique su principio fundamental.

Claims (6)

1. 5

   10

   15

   20

   25

   30

   35

   1.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, compuesto por un primer (1) soporte sobre el que se instalan:

   a. - Un primer par de cámaras (2a) (2b) con sus respectivas lentes que apuntan al centro de una escena global.

   b. - Un segundo soporte (3) sobre el que se instalan:

   b1.- Un segundo par de cámaras (4A) (4b) con sus respectivas lente y que tienen con un campo de visión reducido respecto del primera par de cámaras

   b2.- Un conjunto de actuadores mecánicos que permiten un movimiento relativo del segundo soporte (3) respecto del primer soporte (1) en sentido vertical y horizontal

   c. - Una electrónica que incluye unos subsistemas de control, procesamiento y comunicaciones.
2. 2.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, de acuerdo a la reivindicación 1, caracterizado porque el movimiento relativo del segundo soporte (3) respecto del primer soporte (1) en sentido vertical y horizontal se consigue mediante un marco móvil vinculado a dicho primer soporte (1) mediante unos ejes verticales que les permiten un movimiento horizontal del marco respecto del primer soporte (1) gracias a unos accionadores (7), mientras que sobre dicho marco se encuentra el segundo soporte (3), que está sujeto al marco anterior mediante un eje horizontal que permite un movimiento vertical del segundo soporte (3) respecto del marco, del mismo llevado a cabo por unos accionadores (6)
3. 3.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, de acuerdo a la reivindicación 1 ó 2, en el que además se han añadido unas lentes de enfoque automático del segundo par de cámaras (4a) (4b).
4. 4.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, según cualquiera de las reivindicaciones anteriores, en el sistema en el

   segundo soporte (3) cuenta un par de focos de luz (5a) y (5b) que ilumina a la zona a la que se hace apuntar el segundo par de cámaras.
5. 5.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, 5 según cualquiera de las reivindicaciones anteriores, caracterizado en que a cualquiera de los dos pares de cámaras o a los dos se han añadido unos filtros ópticos, relacionados con las longitudes de onda de los emisores de luz para mejorar la visibilidad de las mismas.

   10 6.- Sistema doble 3D para obtener una imagen aumentada del sector de interés

   de la escena de trabajo en operaciones de control basadas en imágenes 3D, según cualquiera de las reivindicaciones anteriores, caracterizado por que al segundo par de cámaras (4a) (4b) cuenta con unas lentes de zoom controladas por la electrónica.

   15
6. 7.- Sistema doble 3D para obtener una imagen aumentada del sector de interés de la escena de trabajo en operaciones de control basadas en imágenes 3D, según cualquiera de las reivindicaciones anteriores, caracterizado por que la electrónica está distribuida entre los distintos elementos del sistema.