ES2981966T3 - Dispositivos para la representación de campos visuales parciales, dispositivos de representación de apertura múltiple y procedimientos para proporcionar los mismos - Google Patents
Dispositivos para la representación de campos visuales parciales, dispositivos de representación de apertura múltiple y procedimientos para proporcionar los mismos Download PDFInfo
- Publication number
- ES2981966T3 ES2981966T3 ES18724780T ES18724780T ES2981966T3 ES 2981966 T3 ES2981966 T3 ES 2981966T3 ES 18724780 T ES18724780 T ES 18724780T ES 18724780 T ES18724780 T ES 18724780T ES 2981966 T3 ES2981966 T3 ES 2981966T3
- Authority
- ES
- Spain
- Prior art keywords
- view
- image
- partial
- total
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
La invención se refiere a un dispositivo que comprende un sensor de imagen y un conjunto de canales ópticos, en el que cada canal óptico comprende una óptica para representar un campo de visión parcial de un campo de visión total en una zona del sensor de imagen del sensor de imagen. Un primer canal óptico del conjunto está configurado para representar un primer campo de visión parcial del campo de visión total. Un segundo canal óptico del conjunto está configurado para representar un segundo campo de visión parcial del campo de visión total. El dispositivo comprende una unidad de cálculo configurada para obtener información de imagen del primer y segundo campo de visión en base a los campos de visión parciales representados, para obtener información de imagen del campo de visión total, y para combinar la información de imagen del campo de visión parcial con la información de imagen del campo de visión total para producir información de imagen combinada del campo de visión total. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Dispositivos para la representación de campos visuales parciales, dispositivos de representación de apertura múltiple y procedimientos para proporcionar los mismos
[0001]La presente invención se refiere a un dispositivo para la detección multicanal de un campo visual total, a un dispositivo complementario para complementar una cámara existente, a un dispositivo de representación de apertura múltiple y a procedimientos para la fabricación de un dispositivo descrito en esta solicitud y dispositivo de representación de apertura múltiple. La presente invención se refiere además a una disposición de canales simétrica y diferentes campos visuales.
[0002]Las cámaras convencionales poseen un canal de imagen que visualiza todo el campo de objeto. Otras cámaras comprenden varios canales de representación para representar el campo visual total a través de varios campos visuales parciales. Para el stitching (cosido o unión) correcto de imágenes para un campo visual total con objetos a diferentes distancias de la cámara, puede ser necesario realizar el cálculo de un mapa de profundidad del campo visual total registrado. Si se utiliza para ello una detección estereoscópica, puede ser necesario generar sintéticamente una perspectiva de la cámara de referencia (artificial, media). Esto puede causar problemas de ocultación u oclusión, ya que algunos objetos pueden estar ocultos a lo largo de una dirección visual. Para la salida de una vista previa (preview) y/o de un vídeo, se puede realizar un procesamiento de imágenes, por ejemplo, mediante stitching, lo que requiere un esfuerzo de cálculo.
[0003]En el documento DE 102015216 140 A1 se describe un dispositivo de representación de apertura múltiple 3D. Los canales ópticos izquierdo y derecho detectan respectivamente campos visuales parciales de un campo visual total. Estos registros parciales se fusionan entre sí.
[0004]En el documento DE 102015215 845 A1 se describe un dispositivo de representación de apertura múltiple con capacidad de ajuste individual del canal, donde está prevista una modificación individual del canal de una posición relativa entre un área del sensor de imagen de un canal óptico, su óptica y un dispositivo de desviación del haz.
[0005]En el documento DE 102015215 836 A1 se describe un dispositivo de representación de apertura múltiple con un dispositivo de desviación del haz que presenta facetas reflectantes.
[0006]En el documento DE 102015215841 A1 se describe un dispositivo con un dispositivo de representación de canales múltiples y un procedimiento para la fabricación del mismo.
[0007]El documento EP 2059046 A1 describe un sistema y un procedimiento para combinar vídeos para su visualización en tiempo real.
[0008]Por lo tanto, sería deseable un concepto para proporcionar imágenes de alta calidad que no presenten las desventajas mencionadas anteriormente.
[0009]Por lo tanto, el objetivo de la presente invención consiste en proporcionar imágenes de alta calidad del campo visual total y, al mismo tiempo, en proporcionar una influencia en el registro de imágenes con un esfuerzo reducido de procesamiento previo.
[0010]Este objetivo se resuelve mediante el objeto de las reivindicaciones independientes.
[0011]Un conocimiento de la presente invención consiste en haber reconocido que el objetivo anterior se puede resolver mediante el hecho de que la información de la imagen, por ejemplo, una resolución de un campo visual completo, se puede aumentar mediante la combinación de la misma con información de la imagen de campos visuales parciales del mismo campo visual total, pero en este caso la información de la imagen del campo visual total ya existe como información aproximada, y mediante el uso de la información de la imagen total se puede evitar la aparición de artefactos de ocultación.
[0012]Según un ejemplo de realización, un dispositivo comprende un sensor de imagen y una matriz de canales ópticos. Cada canal óptico comprende un sistema óptico para representar un campo visual parcial de un campo visual total en un área de sensor de imagen, del sensor de imagen. Un primer canal óptico de la matriz está configurado para representar un primer campo visual parcial del campo visual total y un segundo canal óptico de la matriz está configurado para representar un segundo campo visual parcial del campo visual total. El dispositivo comprende una unidad de cálculo, que está configurada para obtener información de imagen del primer y segundo campo visual parcial en base a los campos visuales parciales representados. La unidad de cálculo también está configurada para obtener una información de imagen del campo visual total, por ejemplo, de otro dispositivo, y para combinar la información de imagen de los campos visuales parciales con la información de imagen del campo visual total, para generar una información de imagen combinada del campo visual total. Mediante la combinación de la información de imagen de los campos visuales parciales y del campo visual total se obtiene una información de imagen combinada de alta calidad, ya que existe un alto nivel de información de imagen. Además, la información de imagen del campo visual total permite una influencia con poco esfuerzo de procesamiento previo, ya que la misma se puede mostrar a un usuario sin necesidad de unir imágenes parciales.
[0013]Según otro ejemplo de realización, un dispositivo complementario comprende un dispositivo de este tipo y está configurado para acoplarse a una cámara para obtener de la misma la información de imagen del campo visual total. Esto permite complementar las monocámaras existentes con la representación adicional de los campos visuales parciales, de modo que se obtiene una información de imagen combinada de alta calidad del campo visual total. Al mismo tiempo, la imagen de la cámara se puede utilizar para influenciar el procesamiento de imágenes, ya que la información con respecto al campo visual total ya está presente al menos de forma aproximada.
[0014]Según otro ejemplo de realización, un dispositivo de representación de apertura múltiple comprende un sensor de imagen, una matriz de canales ópticos, donde cada canal óptico comprende una óptica para la representación de al menos un campo visual parcial de un campo visual total en un área de sensor de imagen, del sensor de imagen. Un primer canal óptico de la matriz está configurado para representar un primer campo visual parcial del campo visual total, donde un segundo canal óptico de la matriz está configurado para representar un segundo campo visual parcial del campo visual total, y donde un tercer canal óptico está configurado para representar completamente el campo visual total. Esto posibilita tanto la obtención de una información de imagen con respecto al campo visual total, como también adicionalmente la obtención de información de imagen con respecto a los campos visuales parciales del mismo campo visual total, de modo que se exploran varias veces áreas de imagen de los campos visuales parciales, lo que posibilita, por ejemplo, un mapa de profundidad generado estereoscópicamente y, con ello, la generación de imágenes de alta calidad. Al mismo tiempo, además de la información relativa a los campos visuales parciales, también está disponible la información relativa al campo visual total, lo que permite la influencia del usuario sin un procesamiento previo de la imagen.
[0015]Otros ejemplos de realización se refieren a un procedimiento para la fabricación de un dispositivo para el registro multicanal de un campo visual total y a un procedimiento para la puesta a disposición de un dispositivo de representación de apertura múltiple.
[0016]Los ejemplos de realización mencionados permiten evitar o reducir la ocultación, ya que la dirección visual principal de la imagen del campo visual total y de la información de imagen combinada del campo visual total no se modifica y se complementa con las representaciones de los campos visuales parciales.
[0017]Otras realizaciones ventajosas son objeto de las reivindicaciones dependientes.
[0018]A continuación, se explican algunos ejemplos de realización preferidos de la presente invención con referencia a los dibujos anexos. Muestran:
Fig. 1 una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple según un ejemplo de realización;
Fig. 2a-c representaciones esquemáticas de disposiciones de campos visuales parciales en un campo visual total, según un ejemplo de realización;
Fig. 3 una representación esquemática en perspectiva de un dispositivo de representación de apertura múltiple que presenta una unidad de cálculo según un ejemplo de realización;
Fig. 4 una representación esquemática de áreas de sensor de imagen, como pueden estar dispuestas, por ejemplo, en el dispositivo de representación de apertura múltiple según la figura 1 o la figura 3, según un ejemplo de realización; Fig. 5 una representación esquemática de una posible configuración de la unidad de cálculo, según un ejemplo de realización;
Fig. 6 una vista superior esquemática del dispositivo de representación de apertura múltiple de la Fig. 3 y según un ejemplo de realización, que está configurado para crear un mapa de profundidad;
Fig. 7 una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple según otro ejemplo de realización, que comprende un dispositivo de visualización;
Fig. 8 una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple según un ejemplo de realización, que presenta un estabilizador de imagen óptico y un estabilizador de imagen electrónico;
Fig. 9 una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple según otro ejemplo de realización, que comprende un dispositivo de enfoque;
Fig. 10 una representación esquemática en perspectiva de un dispositivo de representación de apertura múltiple según otro ejemplo de realización, donde las áreas de sensor de imagen están dispuestas en al menos dos chips diferentes entre sí, y están orientadas una hacia otra;
Fig. 11 una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple según otro ejemplo de realización, donde las ópticas presentan diferentes distancias focales;
Fig. 12 una vista esquemática en perspectiva de un dispositivo según otro ejemplo de ejecución;
Fig. 13 una vista esquemática en perspectiva de un dispositivo complementario según un ejemplo de realización; Fig. 14 un diagrama de flujo esquemático de un procedimiento para proporcionar un dispositivo según un ejemplo de realización; y
Fig. 15 un diagrama de flujo esquemático de un procedimiento para proporcionar un dispositivo de representación de apertura múltiple según un ejemplo de realización.
[0019]Antes de explicar los ejemplos de realización de la presente invención con más detalle con referencia a los dibujos, se señala que los elementos, objetos y/o estructuras idénticos, funcionalmente idénticos o equivalentes en las diferentes figuras están provistos de los mismos números de referencia, de manera que la descripción de estos elementos que se muestra en diferentes ejemplos de realización sea intercambiable o se pueda aplicar a cada uno de ellos.
[0020]La Fig. 1 muestra una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple 10 según un ejemplo de realización. El dispositivo de representación de apertura múltiple 10 comprende un sensor de imagen 12 con una pluralidad de áreas de sensor de imagen 24a-c. El sensor de imagen 12 puede estar configurado de modo que las áreas de sensor de imagen 24a-c formen parte de un chip común, pero también puede presentar alternativamente varios componentes, es decir, las áreas de sensor de imagen 24a-c pueden estar dispuestas en diferentes chips. Alternativa o adicionalmente, las áreas de sensor de imagen 24a y 24c, con respecto al área de sensor de imagen 24b, y/o el área de sensor de imagen 24a, con respecto al área de sensor de imagen 24b, pueden presentar un tamaño diferente de la superficie de sensor y/o presentar un número y/o tamaño diferente de píxeles.
[0021]El dispositivo de representación de apertura múltiple 10 comprende además una matriz 14 de canales ópticos 16a-c. Cada uno de los canales ópticos 16a-c comprende una óptica 64a-c para la representación de al menos un campo visual parcial de un campo visual total o área de objeto sobre un área de sensor de imagen 24a-c, del sensor de imagen 12. En cada caso, una de las ópticas 64a-c está asociada a una de las áreas de sensor de imagen 24a-c y está configurada para influir en un recorrido óptico 26a-c, por ejemplo, mediante agrupación o dispersión, de modo que el respectivo campo visual parcial o bien el campo visual total se represente en el área de sensor de imagen 24ac.Las ópticas 64a-c pueden estar dispuestas en un soporte común para formar la matriz 14, pero también pueden estar conectadas mecánicamente de otra manera o no estar en contacto mecánicamente. Las propiedades de los canales ópticos, como la longitud, la extensión perpendicular al eje óptico o similar, y/o las propiedades de las ópticas, como una distancia focal, número de diafragma, diámetro de apertura, corrección de aberración o dimensión física, pueden variar entre los canales ópticos 16a, 16b y/o 16c y ser diferentes entre sí.
[0022]Dos de los canales ópticos 16a-c están configurados para representar respectivamente un campo visual parcial en el área de sensor de imagen 24a-c asociada. La representación de un campo visual parcial significa que el campo visual total se representa de forma incompleta. Otro canal óptico de los canales ópticos 16a-c está configurado para representar completamente el campo visual total. El dispositivo de representación de apertura múltiple 10 está diseñado, por ejemplo, de modo que el canal óptico 16b está configurado para detectar completamente el campo visual total. Los canales ópticos 16a y 16c están configurados, por ejemplo, para detectar campos visuales parciales del campo visual total que se solapan entre sí a lo sumo de forma incompleta o dispuestos de forma disyuntiva unos con respecto a otros. Esto significa que la disposición de las ópticas 64a y 64c para la detección del primer y segundo campo visual parcial en el matriz 14 puede ser simétrica con respecto a la óptica 64b para la detección de la representación del campo visual total y/o que la disposición de las áreas de sensor de imagen 24a y 24c, para la representación del primer y segundo campo visual parcial con respecto a un lugar del área de sensor de imagen 24b para la representación del campo visual total, puede ser simétrica. Aunque también son posibles otras asociaciones arbitrarias entre campos visuales, ópticas y áreas de sensor de imagen, en particular la disposición simétrica ofrece la ventaja de que la detección adicional de los campos visuales parciales posibilita una disparidad simétrica con respecto al campo visual central, es decir, la detección del campo visual total.
[0023]El dispositivo de representación de apertura múltiple 10 puede presentar un dispositivo de desviación del haz 18 opcional, que a su vez comprende áreas de desviación del haz 46a-c, donde el dispositivo de desviación del haz 18 está configurado para desviar un recorrido óptico 26a-c con cada una de las áreas de desviación del haz 46a-c. El dispositivo de desviación del haz 18 puede comprender una superficie de espejo que presenta las áreas de desviación del haz 46a-c. Alternativamente, al menos dos de las áreas de desviación del haz 46a-c pueden estar inclinadas una con respecto a otra y formar una pluralidad de superficies de espejo. Alternativa o adicionalmente, el dispositivo de desviación del haz 18 puede presentar una mayoría o pluralidad de facetas. El uso del dispositivo de desviación del haz 18 puede ser ventajoso si el campo visual que debe detectarse se encuentra en una dirección diferente de la dirección visual entre el sensor de imagen 12 y la matriz 14, del dispositivo de representación de apertura múltiple 10. Alternativamente, en ausencia del dispositivo de desviación del haz 18, se puede detectar el campo visual total a lo largo de la dirección visual del dispositivo de representación de apertura múltiple 10 o la dirección entre el sensor de imagen 12 y la matriz 14 o más allá. Sin embargo, una disposición del dispositivo de desviación del haz 18 puede permitir cambiar la dirección visual del dispositivo de representación de apertura múltiple 10 mediante el movimiento de traslación y/o rotación del dispositivo de desviación del haz 18, sin tener que cambiar para ello la orientación del sensor de imagen 12 y/o de la matriz 14 en el espacio.
[0024]La fig. 2a muestra una representación esquemática de una disposición de campos visuales parciales 72a y 72b en un campo visual total 70, que puede detectarse, por ejemplo, mediante el dispositivo de representación de apertura múltiple 10. Por ejemplo, el campo visual total 70, con el canal óptico 16b, se puede representar en el área del sensor de imagen 24b. Por ejemplo, el canal óptico 16a puede estar configurado para detectar el campo visual parcial 72a y representarlo en el área de sensor de imagen 24a. El canal óptico 16C puede estar configurado para detectar el campo visual parcial 72b y representarlo en al área de sensor de imagen 24c. Esto significa que un grupo de canales ópticos puede estar configurado para detectar exactamente dos campos visuales parciales 72a y 72b.
[0025]Aunque para una mejor diferenciación se representa con una extensión diferente, los campos visuales parciales 72a y 72b, a lo largo de al menos una dirección de imagen 28 o 32, pueden tener una extensión igual o comparable, por ejemplo, a lo largo de la dirección de imagen 32. La extensión de los campos visuales parciales 72a y 72b puede ser idéntica a la extensión del campo visual total 70 a lo largo de la dirección de imagen 32. Esto significa que los campos visuales parciales 72a y 72b pueden detectar o registrar completamente el campo visual total 70 a lo largo de la dirección de imagen 32, y a lo largo de otra dirección de imagen 28 dispuesta perpendicularmente a la misma solo pueden detectar o registrar parcialmente el campo visual total, y pueden estar dispuestos desplazados unos con respecto a otros, de modo que también a lo largo de la segunda dirección, mediante una combinación, resulta una detección completa del campo visual total 70. En este caso, los campos visuales parciales 72a y 72b pueden ser disyuntivos uno con respecto a otro o, a lo sumo, pueden solaparse de forma incompleta entre sí en un área de solapamiento 73 que posiblemente se extiende por completo a lo largo de la dirección de imagen 32 en el campo visual total 70. Un grupo de canales ópticos que comprende los canales ópticos 16a y 16c puede estar configurado para representar completamente el campo visual total 70. La dirección de imagen 28 puede ser, por ejemplo, una horizontal de una imagen que debe proporcionarse. De manera simplificada, las direcciones de imagen 28 y 32 representan dos direcciones de imagen diferentes ubicadas arbitrariamente en el espacio.
[0026]La fig. 2b muestra una representación esquemática de una disposición de los campos visuales parciales 72a y 72b, que están dispuestos a lo largo de otra dirección de imagen, de la dirección de la imagen 32, desplazados uno con respecto a otro y que se solapan mutuamente. Los campos visuales parciales 72a y 72b pueden detectar el campo visual total 70 a lo largo de la dirección de imagen 28 respectivamente por completo, y de forma incompleta a lo largo de la dirección de imagen 32. El área de solapamiento 73 está dispuesta, por ejemplo, completamente en el campo visual total 70 a lo largo de la dirección de imagen 28.
[0027]La fig. 2c muestra una representación esquemática de cuatro campos visuales parciales 72a a 72d, que detectan de forma incompleta el campo visual total 70 respectivamente en ambas direcciones 28 y 32. Dos campos visuales parciales 72a y 72b adyacentes se solapan en un área de solapamiento 73b.Dos campos visuales parciales 72b y 72c que se solapan, se solapan en un área de solapamiento 73c. De modo similar, los campos visuales parciales 72c y 72d se solapan en un área de solapamiento 73d, y el campo visual parcial 72d con el campo visual parcial 72a, en un área de solapamiento 73a. Los cuatro campos visuales parciales 72a a 72d se pueden solapar en un área de solapamiento 73e del campo visual total 70.
[0028]Para la detección del campo visual total 70 y de los campos visuales parciales 72a-d, un dispositivo de representación de apertura múltiple puede estar configurado de forma similar al descrito en relación con la fig. 1, donde la matriz 14 puede presentar, por ejemplo, cinco ópticas, cuatro para la detección de campos visuales parciales 72ad y una óptica para la detección del campo visual total 70.
[0029]En las áreas de solapamiento 73a a 73e está disponible una gran cantidad de información de imagen. Así, por ejemplo, el área de solapamiento 73b se detecta a través del campo visual total 70, el campo visual parcial 72a y el campo visual parcial 72b. Un formato de imagen del campo visual total puede corresponder a una combinación sin redundancia de los campos visuales parciales representados, por ejemplo, de los campos visuales parciales 72ad en la fig. 2c, donde las áreas de solapamiento 73a-e solo se cuentan simplemente en cada caso. En relación con las fig. 2a y 2b, esto se aplica a la combinación sin redundancia de los campos visuales parciales 72a y 72b.
[0030]Un solapamiento en las áreas de solapamiento 73 y/o 73a-e puede comprender, por ejemplo, como máximo el 50%, como máximo el 35% o como máximo el 20% de las respectivas imágenes parciales.
[0031]La fig. 3 muestra una representación esquemática en perspectiva de un dispositivo de representación de apertura múltiple 30 según otro ejemplo de realización, que amplía el dispositivo de representación de apertura múltiple 10 mediante una unidad de cálculo 33.
[0032]La unidad de cálculo 33 está configurada para obtener información de imagen del sensor de imagen 12, es decir, información de imagen con respecto a los campos visuales parciales representados en las áreas de sensor de imagen 24a y 24c, por ejemplo, los campos visuales parciales 72a y 72b, así como información de imagen del campo visual total, por ejemplo, el campo visual total 70, que puede representarse en el área de sensor de imagen 24b. La unidad de cálculo 33 está configurada para combinar entre sí la información de imagen de los campos visuales parciales y la información de imagen del campo visual total. Por ejemplo, una combinación de la información de imagen se puede realizar de tal manera que el grado de exploración del campo visual total sea menor que un grado de exploración de los campos visuales parciales. Por grado de exploración se puede entender una resolución local del campo visual parcial o total, es decir, un tamaño que indica qué superficie en el área del objeto se representa en qué área o tamaño de píxel del sensor de imagen. En las realizaciones descritas en esta solicitud, el término resolución se refiere al alcance del campo visual parcial o total, que se representa en una superficie de sensor de imagen correspondiente. Por lo tanto, una resolución comparativamente mayor significa que un área de superficie constante de un campo visual se representa con el mismo tamaño de píxel en una superficie de sensor de imagen mayor, y/o que un área de superficie de objeto comparativamente más pequeña se representa con el mismo tamaño de píxel en una superficie de sensor de imagen constante. Mediante la combinación de la información de imagen, un grado de exploración y/o una resolución de la información de imagen combinada 61 pueden estar ampliados en comparación con la detección del campo visual total.
[0033]La fig. 4 muestra una representación esquemática de las áreas de sensor de imagen 24a-c, como pueden estar dispuestas, por ejemplo, en el dispositivo de representación de apertura múltiple 10 o 30. En el área de sensor de imagen 24a se muestra, por ejemplo, el campo visual parcial 72a. El campo visual parcial 72b se muestra, por ejemplo, en el área de sensor de imagen 24c. El campo visual total 70 se muestra, por ejemplo, en el área de sensor de imagen 24b. La disposición de los campos visuales parciales 72a y 72b en el espacio puede corresponder, por ejemplo, a la configuración según la fig. 2b.
[0034]Las áreas de sensor de imagen 24a, 24b y 24c pueden presentar a lo largo de la dirección de imagen 32 una extensión física b igual o igual dentro de un rango de tolerancia del 20%, 10% o 5%, que puede corresponder a un número correspondiente de píxeles. A lo largo de la dirección de la imagen 28, las áreas de sensor de imagen 24a y 24c pueden presentar una extensión física a, que puede corresponder a un número correspondiente de píxeles a. La extensión o los píxeles a pueden ser más grandes a lo largo de la dirección de imagen 28 que la extensión o el número de píxeles c del área de sensor de imagen 24b. Dado que los campos visuales parciales 72a y 72b a lo largo de la dirección de imagen 28 y en comparación con el campo visual total 70 son del mismo tamaño, tiene lugar una exploración con una resolución más alta o con un grado de exploración más elevado del campo visual total a lo largo de la dirección de imagen 28, es decir, que un área más pequeña en el área del objeto se representa en un píxel de tamaño constante, de modo que se amplía la resolución resultante mediante la combinación o el grado de exploración. Se puede implementar un efecto de superresolución, por ejemplo, si los píxeles de las representaciones de los campos visuales parciales presentan un desplazamiento de subpíxeles entre sí.
[0035]A lo largo de la dirección de imagen 32 se utilizan, por ejemplo, una cantidad de 2 x b píxeles para representar el campo visual total 70 sobre los campos visuales parciales 72a y 72b, considerando aquí el área de solapamiento 73. Sin embargo, debido al solapamiento disyuntivo o solo parcial de los campos visuales parciales 72a y 72b, también a lo largo de la dirección de imagen 32 resulta una resolución ampliada en comparación con la detección del campo visual total 70 en el área del sensor de imagen 24.
[0036]Por lo tanto, la información de imagen combinada del campo visual total 61 puede estar ampliada mediante la combinación de las representaciones en las áreas del sensor de imagen 24a a 24c en comparación con la resolución obtenida en el área de representación 24b. Una relación de aspecto de la imagen en el área del sensor de imagen 24b puede presentar un valor de 3:4. Esto permite obtener la imagen de combinación con la misma relación de aspecto. Una resolución en las áreas del sensor de imagen 24a y/o 24c puede ser mayor a lo largo de la respectiva dirección de imagen y/o en la imagen resultante dentro de un rango de tolerancia del 20%, 10% o exactamente en al menos el 30%, al menos el 50% o al menos el 100%, que en el área de sensor de imagen 24b, considerando en este caso una extensión del área de solapamiento.
[0037]Las áreas de sensor de imagen 24a-c pueden estar dispuestas a lo largo de una dirección de extensión de línea 35 que, por ejemplo, puede estar dispuesta en paralelo a la dirección de imagen 28 y/o a lo largo de la cual pueden estar dispuestas las ópticas 64a-c del dispositivo de representación de apertura múltiple 10 o 30. A lo largo de una dirección z perpendicular a la misma, que puede ser, por ejemplo, una dirección de grosor del dispositivo de representación de apertura múltiple, las áreas del sensor de imagen 24a-c pueden presentar una extensión igual dentro del rango de tolerancia, es decir, que el aumento de la resolución de la detección del campo visual total se puede obtener evitando un grosor adicional del dispositivo de representación de apertura múltiple.
[0038]En otras palabras, se puede implementar una disposición simétrica lineal de al menos tres canales de cámara, es decir, canales ópticos, donde uno de los canales ópticos, preferentemente el canal óptico central, cubre todo el campo visual y los (dos) canales externos solo cubren una parte del campo visual, aproximadamente arriba/abajo o izquierda/derecha, de modo que juntos también cubren todo el campo visual y, además, pueden presentar un ligero solapamiento en el centro del campo visual. Esto significa que se pueden obtener imágenes parciales de alta resolución izquierda/derecha o arriba/abajo. En el centro se detecta una imagen de menor resolución que cubre todo el campo visual relevante. La resolución en la imagen central se puede reducir tanto como la distancia focal correspondientemente más corta para la misma altura de imagen, es decir, sin considerar la relación de aspecto, y el mismo tamaño de píxel lo predetermina o posibilita. En otras palabras, la altura del sensor de imagen 24a, 24b y 24c es la misma. Por lo tanto, sin solapamiento, la altura de la imagen en el área del sensor de imagen 24b es aproximadamente de la mitad del tamaño de una altura de imagen combinada de 24a y 24c. Por lo tanto, para representar el mismo campo visual, la distancia focal (o también ampliación) de la óptica para el área de sensor de imagen 24b (canal óptico 16b) puede ser la mitad de larga o grande que la de 24a y 24c. Con el mismo tamaño de píxel, esto significa la mitad de la resolución (o exploración del campo visual) en 24b en comparación con 24a y c de forma combinada. Los anchos de imagen correspondientes se derivan simplemente de la relación de aspecto deseada de las imágenes.
[0039]El canal central de la cámara es la cámara de referencia para la generación de mapas de profundidad, si este es creado por la unidad de cálculo. Esta disposición que comprende la simetría con respecto al canal central permite una alta calidad de la imagen total combinada obtenida con respecto a la ocultación o coberturas en el mapa de profundidad. Por lo tanto, la imagen central también es conveniente como referencia para el cálculo de la imagen combinada de mayor resolución. En la referencia de baja resolución, se utilizan en bloques al menos dos imágenes de mayor resolución. Por lo tanto, sirven como material que se puede utilizar cuando se garantiza la precisión del ajuste, es decir, cuando se encuentran características coincidentes en los campos visuales parciales y en todo el campo visual. La utilización se puede realizar en bloques muy pequeños, de modo que se pueden evitar problemas de paralaje incluso con objetos finos con grandes saltos de profundidad. Los bloques correspondientes se buscan, por ejemplo, por correspondencia, lo que puede significar que se genera un mapa de disparidad (Disparity Map), es decir, un mapa de profundidad. Sin embargo, si no se encuentra un bloque de alta resolución con suficiente seguridad para un bloque de baja resolución, esto no tiene efectos catastróficos. Simplemente se deja la imagen original de baja resolución. En otras palabras: los huecos en el mapa de profundidad solo conducen a lugares borrosos en la imagen total en lugar de artefactos claramente visibles.
[0040]En otras palabras, mediante una distancia focal más corta, el sensor de imagen central puede capturar una imagen de menor resolución que cubre todo el campo visual (FOV) y tiene originalmente la relación de aspecto deseada. Esta cámara también se puede denominar como cámara de referencia, por ejemplo, porque la imagen combinada obtenida muestra su perspectiva. Se produce una unión de imágenes parciales de mayor resolución que pueden solaparse parcialmente y que, en conjunto, presentan la misma relación de aspecto que la cámara de referencia. La combinación de las imágenes de los campos visuales parciales con la cámara de referencia permite un stitching extremadamente correcto en el área de solapamiento, ya que allí se encuentra presente una imagen de menor resolución, pero originalmente correcta. Según una configuración ventajosa, la altura de los tres sensores de imagen es igual o próxima a la igualdad para aprovechar al máximo las alturas de construcción disponibles. Todas las cámaras se pueden desviar a través de un espejo común (dispositivo de desviación del haz). Si es necesario, se puede calcular un mapa de profundidad de la siguiente manera. En el área de solapamiento 73 de las dos imágenes parciales de alta resolución, a través de la misma, así como de la imagen general de baja resolución; en las áreas restantes, respectivamente, mediante la combinación de una de las imágenes parciales de alta resolución con la sección correspondiente de la imagen total de baja resolución.
[0041]La fig. 5 muestra una representación esquemática de una posible configuración de la unidad de cálculo 33. La unidad de cálculo 33 puede estar configurada para dividir la información de imagen del campo visual total 70 y la información de imagen de los campos visuales parciales 72a y 72b en bloques de imagen 63a del campo visual parcial 72a, 63b y del campo visual parcial 72b y 63c del campo visual total 70. Un bloque de imagen puede presentar un cierto número de píxeles a lo largo de ambas direcciones de imagen 28 y 32. Por ejemplo, los bloques pueden tener un tamaño a lo largo de la dirección de imagen 28 y 32 de al menos 2 y como máximo de 1000 píxeles, de al menos 10 y como máximo de 500 píxeles o de al menos 20 y como máximo de 100 píxeles.
[0042]La unidad de cálculo puede estar configurada para asociar por bloques una información de imagen contenida en un bloque de imagen del campo visual total a una información de imagen coincidente de un bloque de imagen del primer o segundo campo visual parcial 72a o 72b, para aumentar mediante la combinación del primer y segundo bloque de imagen una resolución de la información de imagen del campo visual total en la información de imagen combinada. El primer y el segundo bloque de imagen pueden ser respectivamente un bloque de imagen coincidente de una representación de diferentes campos visuales parciales en un área de solapamiento de los mismos. De forma alternativa o adicional, el primer o segundo bloque puede ser un bloque de la imagen total y el otro bloque un bloque de la imagen parcial. La unidad de cálculo 33 está configurada, por ejemplo, para identificar el objeto representado en el bloque 63a3 con x como coincidente con el objeto x en el bloque 63ci del campo visual total 70. En base a la mayor resolución del campo visual parcial 72a, en comparación con el campo visual total 70, la unidad de cálculo puede combinar la información de imagen de ambos bloques 63a3 y 63c1 entre sí para obtener más alta la resolución resultante en el bloque, de lo que era originalmente con respecto al campo visual total. A este respecto, la resolución mediante combinación resultante puede corresponder al valor de la resolución de la detección del campo visual parcial 72a o incluso ser mayor. El objeto representado con # en un bloque 63c2 del campo visual total 70 es identificado por la unidad de cálculo, por ejemplo, en un bloque 63a2 del campo visual parcial 72a y en un bloque 63b del campo visual parcial 72b, de modo que para mejorar la calidad de imagen se puede recurrir a la información de imagen de ambas figuras de los campos visuales parciales 72a y 72b.
[0043]Un objeto representado en un bloque 63c3 con * es identificado por la unidad de cálculo, por ejemplo, en un bloque 63b2 del campo visual parcial 72b, de modo que la información de imagen del bloque 63b2 es utilizada por la unidad de cálculo, por ejemplo, para aumentar la información de imagen en el bloque 63c3.
[0044]En un caso donde ningún bloque de los campos visuales parciales 72a y 72b puede asociarse a un bloque del campo visual total, como está representado, por ejemplo, para el bloque 63c4, la unidad de cálculo puede estar configurada para emitir un bloque de la imagen total combinada de tal manera que al menos el bloque 63c4 esté dispuesto en la imagen total. Es decir, se puede representar una información de imagen, incluso si la resolución no aumenta localmente. Esto conduce a cambios a lo sumo mínimos en la imagen total, es decir, que en el lugar del bloque 63c4 está presente, por ejemplo, una resolución reducida localmente.
[0045]La unidad de cálculo 33 puede estar configurada para realizar un stitching de la información de imagen de los campos visuales parciales 72a y 72b en base a la información de imagen del campo visual total 70. Esto significa que la representación total del campo visual total se puede utilizar para al menos favorecer o incluso realizar una alineación de las imágenes parciales de los campos visuales parciales 72a y 72b entre sí. De forma alternativa o adicional, la información de la representación total del campo visual total se puede utilizar para favorecer o incluso realizar la disposición de los objetos de la escena de las imágenes parciales y/o en una imagen parcial dentro de la imagen total. El campo visual total presenta un gran número o incluso todos los objetos, que también están representados en los campos visuales parciales 72a y 72b, de modo que una comparación de las respectivas imágenes parciales con la imagen total del campo visual total y/o una comparación de la posición del objeto permite una alineación en la imagen total y, por lo tanto, permite un stitching de las imágenes parciales entre sí.
[0046]En otras palabras, la imagen de baja resolución siempre proporciona previamente una base para favorecer el stitching de las imágenes de alta resolución, es decir, una base de orientación, puesto que los objetos ya están unidos en la imagen total. Además de una simple unión de dos áreas de imágenes parciales globales, el stitching también puede significar que los objetos se colocan de forma diferente en la escena o frente al fondo según su distancia en una imagen unida (con respecto a su posición lateral en la imagen), lo que puede ser necesario o deseado según la distribución del objeto según la distancia en la escena. Los conceptos descritos en esta solicitud simplifican considerablemente el proceso de stitching, incluso si se necesita un mapa de profundidad para un stitching exacto. Los problemas de ocultación causados por la falta de una cámara en la posición central se pueden evitar, ya que al menos tres canales ópticos permiten al menos tres direcciones visuales hacia el campo visual total. Por lo tanto, se puede reducir o evitar una ocultación en un ángulo visual mediante uno o dos ángulos visuales diferentes.
[0047]La fig.6 muestra una vista superior esquemática de un dispositivo de representación de apertura múltiple 30 según un ejemplo de realización. La unidad de cálculo 33 puede estar configurada para crear un mapa de profundidad 81. A este respecto, el mapa de profundidad 81 puede referirse a la información de imagen del campo visual total 70. La unidad de cálculo 33 está configurada, por ejemplo, para aprovechar las disparidades 83a entre las representaciones del campo visual parcial 72a y el campo visual total 70 y 73b, y entre las imágenes del campo visual parcial 72b y el campo visual total 70, para crear un mapa de profundidad. Esto significa que mediante la distancia física de las ópticas 64a, 64b y 64c, así como de las áreas de sensor de imagen 24a, 24b y 24c, se obtienen diferentes ángulos visuales o perspectivas, que se utilizan para la creación del mapa de profundidad 81 mediante la unidad de cálculo 33.La unidad de cálculo 33 puede estar configurada para crear el mapa de profundidad 81 utilizando la información de imagen de los campos visuales parciales 72a y 72b en el área de solapamiento 73, donde se solapan los campos visuales parciales 72a y 72b. Esto permite el uso de una disparidad mayor en comparación con las disparidades individuales 83a y 83b, simplificando la suma de las disparidades individuales, así como el uso de imágenes (parciales) de alta resolución. Esto significa que, en un ejemplo de realización, la unidad de cálculo 33 puede estar configurada para crear el mapa de profundidad 81 en el área de solapamiento 73 sin la información del campo visual total 70, que se representa en el área del sensor de imagen 24b. Alternativamente es posible un uso de la información del campo visual total 70 en el área de solapamiento 73, y es ventajoso, por ejemplo, para una alta densidad de información.
[0048]Las representaciones en las áreas de sensor de imagen 24a y 24c, según un perfeccionamiento ventajoso, se pueden realizar sin el uso de disposiciones de filtro de color Bayer (por ejemplo, RGB) como en 24b o al menos utilizando filtros de color uniformes, de modo que el dispositivo de representación de apertura múltiple proporcione los campos visuales parciales primero y segundo representados con una información de luminancia de color uniforme. Así, por ejemplo, se puede disponer un filtro infrarrojo de color uniforme, un filtro ultravioleta, un filtro rojo, un filtro azul o similar, o incluso no se puede disponer ningún filtro, mientras que no está dispuesto un filtro multicolor, como una disposición de Bayer, como en la figura 24b. En otras palabras, dado que los canales externos solo aportan detalles para aumentar la calidad de la imagen del campo visual total, puede ser ventajoso que los canales externos 16a y 16c no tengan filtros de color. Los canales exteriores solo aportan información de luminancia, es decir, una mayor nitidez/detalle general y ninguna mejor información de color, la ventaja que se obtiene reside en la mayor sensibilidad y, por lo tanto, un menor ruido, lo que a su vez también permite una mejor resolución o nitidez, ya que la imagen debe nivelarse menos, ya que, por ejemplo, no hay un patrón de filtro de color de Bayer por encima de los píxeles, pero la resolución en los canales de luminancia pura es originalmente más alta (idealmente casi el doble), ya que ya no es necesario ninguna De-Bayering (interpolación). De hecho, un píxel de color puede ser de aproximadamente el doble del tamaño de un píxel en blanco y negro. De forma física eventualmente no, porque aquí los píxeles en blanco y negro no solo se pueden utilizar para la resolución, sino también para la discriminación del color mediante el solapamiento de píxeles en blanco y negro con el patrón de filtro RGBG típico.
[0049]La figura 7 muestra una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple 71 según otro ejemplo de realización, que comprende un dispositivo de visualización 85. El dispositivo de representación de apertura múltiple 71 está configurado para reproducir la representación del campo visual total 70 representado en el área de sensor de imagen 24b con el dispositivo de visualización 85. Para ello, por ejemplo, la unidad de cálculo 33 puede estar configurada para transmitir la señal correspondiente desde el sensor de imagen 12 al dispositivo de visualización 85. Alternativamente, el dispositivo de visualización 85 también puede estar acoplado directamente con el sensor de imagen 12 y recibir la señal correspondiente del sensor de imagen 12.
[0050]El dispositivo de visualización 85 está configurado para recibir y emitir la información de imagen del campo visual total como máximo con la resolución que proporciona el área del sensor de imagen 24b. Preferentemente, la resolución del campo visual total representado en el área de sensor de imagen 24b se transmite sin cambios al dispositivo de visualización 85. Esto permite una visualización de la imagen o el vídeo posiblemente registrados actualmente, por ejemplo, como una vista previa para un usuario, de modo que este último puede influir en el registro. Las imágenes de mayor resolución, que se proporcionan a través de la información de imagen combinada 61, se pueden proporcionar en otro momento al dispositivo de visualización 85, se pueden proporcionar a otro dispositivo de visualización, se pueden almacenar o transmitir. También es posible obtener la información combinada de la imagen 61 temporalmente, es decir, solo cuando sea necesario, y por lo demás utilizar la imagen eventualmente de menor resolución del campo visual total 70, si esto es suficiente para el uso actual, por ejemplo, una observación en el dispositivo de visualización 85, sin que se requiera un mapa de profundidad o sin que se renuncie a un zoom en los detalles. Esto permite influir en el registro de imágenes sin una combinación de las señales de imagen que requiere mucho tiempo y cálculo, lo que tiene un efecto ventajoso en el retardo en el dispositivo de visualización 85 y en la demanda de energía para los cálculos. Al colocar en una línea varias imágenes a través del dispositivo de representación de apertura múltiple 71, también se puede obtener una señal de vídeo del sensor de imagen 12 y emitir una señal de vídeo del campo visual total en el dispositivo de visualización 85.
[0051]Por ejemplo, el dispositivo de representación de apertura múltiple 71 también puede estar formado por otro dispositivo de representación de apertura múltiple descrito en esta solicitud, por ejemplo, el dispositivo de representación de apertura múltiple 10, 30 o 60, como teléfono móvil, teléfono inteligente, tableta o monitor.
[0052]El dispositivo de representación de apertura múltiple 71 puede proporcionar una vista previa en tiempo real en la pantalla 85, por lo que los dos canales de cámara exteriores no siempre tienen que activarse, de modo que se puede ahorrar electricidad y/o que no se requiere ningún esfuerzo de cálculo adicional para la vinculación de las imágenes parciales, lo que permite una utilización reducida del procesador y un consumo de energía reducido, lo que también permite una mayor duración de la batería. De forma alternativa o adicional, por el momento se pueden guardar datos en bruto y solo se puede generar una imagen de alta resolución en caso de una transmisión a otra unidad de cálculo como un PC y/o en caso de una observación en el aparato de visualización con zoom en los detalles. En este caso, es posible crear la imagen mediante combinación solo para áreas relevantes de la imagen o no crear la imagen mediante combinación, al menos por áreas, para áreas irrelevantes de la imagen. Las áreas relevantes pueden ser, por ejemplo, áreas de la imagen para las que se desea una representación ampliada (zoom).
[0053]Por consiguiente, tanto para imágenes individuales como para un vídeo, la imagen del área de sensor de imagen 24b se puede utilizar directamente y, dado el caso, tiene una resolución suficiente para un vídeo. También es posible que la cámara central se ponga a disposición con la resolución adecuada para los formatos de vídeo habituales, es decir, aproximadamente 1080p o 4K, de modo que se pueda evitar el remuestreo habitual (conversión de la velocidad de muestreo), el binning (agrupación de elementos de imagen contiguos) o el skipping (omisión de píxeles), donde la resolución puede ser tan alta que pueden generarse imágenes estáticas de alta resolución.
[0054]La fig. 8 muestra una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple 80 según un ejemplo de realización, que presenta un estabilizador de imagen óptico 22 y un estabilizador de imagen electrónico 41. Los aspectos de la estabilización de imagen descritos a continuación se pueden realizar sin limitaciones con las funcionalidades de la unidad de cálculo 33, individualmente o en combinación entre sí.
[0055]El estabilizador de imagen óptico 22 comprende, por ejemplo, actuadores 36a, 36b y 42, donde los actuadores 36a y 36b están diseñados para lograr la estabilización óptica de la imagen de las representaciones de los campos visuales parciales en las áreas de sensor de imagen 24a a 24c mediante un desplazamiento de la matriz 14 a lo largo de la dirección de extensión de línea 35. Además, el estabilizador de imagen óptico 22 está configurado, por ejemplo, para obtener una estabilización de imagen óptica a lo largo del eje de imagen 32 mediante un movimiento de rotación 38 del dispositivo de desviación del haz 18. Por ejemplo, las ópticas 64a y 64b de la matriz 14 presentan una distancia focal efectiva f o f 3 que difieren una de otra dentro de un rango de tolerancia de como máximo el 10%, como máximo el 5% o como máximo el 3 %, para detectar los campos visuales parciales aproximadamente de la misma manera. La óptica 64b puede presentar una distancia focal f2, que se diferencia de la misma en al menos un 10%.El movimiento de rotación global del canal 38, en interacción con diferentes distancias focales f2 y fi,o bien dentro de las diferencias de distancia focal entre fi y f3, conduce a un desplazamiento diferente 691 a 693 de las representaciones en las áreas de sensor de imagen 24a-c. Esto significa que el estabilizador de imagen óptico 22, mediante el movimiento de rotación global del canal 38, logra diferentes efectos en las representaciones, de modo que al menos una, varias o todas las imágenes difieren de un estado teórico libre de errores. El estabilizador de imagen óptico 22 puede estar configurado para minimizar globalmente las desviaciones de todas las imágenes, lo que, sin embargo, puede provocar errores en cada una de las imágenes. Como alternativa, el estabilizador de imagen óptico 22 puede estar configurado para seleccionar una imagen de referencia en una de las áreas de sensor de imagen 24a-d y realizar el control del actuador 42 de tal manera que la representación en la imagen de referencia o canal de referencia sea lo más exacta posible, lo que también se puede designar como libre de errores. Esto significa que mediante la estabilización de imagen óptica global del canal se puede mantener un canal libre de errores en relación con la dirección de imagen afectada, mientras que los otros canales se desvían de esta imagen de referencia debido a las diferentes distancias focales f1 a f3. En otras palabras, un canal se corrige con el estabilizador de imagen óptico realizado mecánicamente, que despliega un efecto para todos los canales, pero no mantiene todos los canales estables. Estos otros canales se corrigen adicionalmente con el estabilizador de imagen electrónico.
[0056]El estabilizador de imagen óptico puede estar configurado para proporcionar los movimientos relativos para los canales ópticos individualmente en cada canal y/o individualmente para grupos de canales ópticos, por ejemplo, para el grupo de canales ópticos 16a y 16c para la detección de los campos visuales parciales y para el grupo que comprende el canal óptico 16b para la detección del campo visual total.
[0057]El estabilizador de imagen electrónico 41 puede estar configurado para realizar una estabilización de imagen electrónica individual del canal en cada canal según una relación funcional establecida, que depende de los movimientos relativos entre el sensor de imagen 12, la matriz 14 y el dispositivo de desviación del haz 18. El estabilizador de imagen electrónico 41 puede estar configurado para estabilizar cada representación por separado y de forma individual. El estabilizador de imagen electrónico 41 puede utilizar para ello valores globales, como el movimiento de la cámara o similares, para aumentar la calidad óptica de las imágenes. Es especialmente ventajoso que el estabilizador electrónico de imagen 41 esté configurado para realizar una corrección electrónica de la imagen a partir de una imagen de referencia del estabilizador óptico de imagen 22. Las diferentes distancias focales pueden proporcionar la relación funcional entre los diferentes cambios en las representaciones a través de la estabilización óptica de la imagen en una forma preferentemente lineal, por ejemplo, en la forma:
Error de representación = f(fi, movimiento relativo),
lo que significa que el error de la imagen se puede representar globalmente o en relación con el canal de referencia como función de la distancia focal o de las diferencias de distancia focal y del movimiento relativo realizado para cambiar la dirección visual, o para la estabilización óptica de la imagen. El estabilizador de imagen electrónico 41 puede vincular una magnitud del movimiento relativo entre el sensor de imagen 12, la matriz 14 y el dispositivo de desviación del haz 18 con las distancias focales f1 a f3 o las diferencias de distancia focal con respecto al canal de referencia para obtener una información fiable sobre la estabilización de imagen electrónica a realizar y para establecer y/o aprovechar la relación funcional. Los datos necesarios de las propiedades ópticas y/o de la relación funcional se pueden obtener durante una calibración. La alineación de imágenes entre sí para determinar un desplazamiento de una imagen con respecto a otra imagen también se puede realizar mediante la determinación de una característica coincidente en las representaciones de los campos visuales parciales, por ejemplo, curvas de bordes, tamaños de objetos o similares. Esto puede ser identificado, por ejemplo, por el estabilizador de imagen electrónico 41, que también puede estar diseñado para proporcionar la estabilización de imagen electrónica en base a una comparación de los movimientos de la característica, en la primera y segunda representación. Por lo tanto, la estabilización de imagen electrónica individual del canal se puede realizar mediante una evaluación de imagen individual del canal del movimiento de los detalles de la imagen.
[0058]De forma alternativa o adicional a una comparación en diferentes imágenes, también se puede realizar una comparación de la característica dentro de la misma imagen, en particular con respecto a dos imágenes o tramas espaciadas en el tiempo. El estabilizador de imagen óptico 41 puede estar configurado para identificar una característica coincidente en un primer momento y en un segundo momento en la imagen parcial correspondiente, y para proporcionar la estabilización de imagen electrónica en base a una comparación de movimientos de la característica en la primera representación. La comparación puede indicar, por ejemplo, un desplazamiento en torno al cual la característica se ha desplazado mediante un movimiento relativo y en torno al cual se debe desplazar la imagen hacia atrás para corregir al menos parcialmente el error de imagen.
[0059]El estabilizador de imagen óptico se puede utilizar para estabilizar una representación del campo visual parcial representado de un canal de referencia, por ejemplo, la representación en el área de sensor de imagen 24a. Esto significa que el canal de referencia se puede estabilizar ópticamente por completo. Según formas de realización, puede estar dispuesta una pluralidad de estabilizadores de imagen ópticos que proporcionan una estabilización de imagen óptica para al menos grupos de canales ópticos, por ejemplo, el canal óptico o canales ópticos con una primera distancia focal, como el canal óptico para la representación del campo visual total y canales ópticos con una segunda distancia focal, por ejemplo, para la representación de los campos visuales parciales. Alternativamente, también se puede proporcionar una estabilización de imagen óptica individual del canal. El estabilizador de imagen electrónico 41 está configurado, por ejemplo, para realizar una estabilización de imagen individual del canal para canales ópticos diferentes del canal de referencia, que se representan en las áreas de sensor de imagen 24b y 24c. El dispositivo de representación de apertura múltiple puede estar configurado para estabilizar el canal de referencia exclusivamente de forma óptica. Esto significa que en una forma de realización se puede conseguir una estabilización de imagen suficientemente buena en el canal de referencia utilizando únicamente la estabilización de imagen óptica alcanzada mecánicamente. Para los otros canales, además, se realiza una estabilización de imagen electrónica para compensar parcial o completamente el efecto descrito anteriormente de una estabilización de imagen óptica insuficiente debido a las diferencias de distancia focal, donde la estabilización electrónica se realiza de forma individual en cada canal.
[0060]Según otra realización, también es posible que cada canal del dispositivo de representación de apertura múltiple disponga de una estabilización de imagen electrónica individual. La estabilización de imagen electrónica realizada individualmente, es decir, en su propio alcance, para cada canal del dispositivo de representación de apertura múltiple se puede realizar de tal manera que se aproveche una relación funcional establecida entre los desplazamientos de imagen a realizar en los canales individuales. Por ejemplo, el desplazamiento a lo largo de la dirección 32 en un canal es 1,1 veces, 1,007 veces, 1,3 veces o 2 o 5 veces el desplazamiento a lo largo de la dirección 32 en otra imagen. Además, esta relación funcional individual del canal puede depender de los movimientos relativos entre la unidad de desviación del haz y/o la matriz y/o el sensor de imagen, donde ésta puede ser lineal o corresponder a una función angular que representa un ángulo de rotación del dispositivo de desviación del haz en un alcance de la estabilización electrónica de imagen a lo largo de la dirección de imagen. Se puede obtener una relación idéntica con valores numéricos iguales o diferentes para la dirección 28.
[0061]Para todas las realizaciones se aplica que los movimientos relativos realizados se detectan por sensores adicionales correspondientes, como giroscopios, entre otros, o se pueden derivar de los datos de imagen registrados de uno, varios o todos los canales. Estos datos o información se pueden utilizar para el estabilizador de imagen óptico y/o electrónico, lo que significa que el dispositivo de representación de apertura múltiple está configurado, por ejemplo, para recibir una señal de sensor de un sensor y para evaluar la señal de sensor con respecto a una información que está correlacionada con un movimiento relativo entre el dispositivo de representación de apertura múltiple y el objeto, y para realizar un control del estabilizador de imagen óptico y/o electrónico utilizando esta información.
[0062]El estabilizador de imagen óptico puede estar configurado para obtener la estabilización de imagen óptica a lo largo de los ejes de imagen 28 y 32 mediante el movimiento de diferentes componentes, por ejemplo, de la matriz 14, para la estabilización a lo largo de la dirección 28 y la rotación 38 del dispositivo de desviación del haz 18, para la estabilización a lo largo de la dirección 32. En ambos casos, las diferencias en las ópticas 64a-c tienen un efecto. Las explicaciones anteriores con respecto a la estabilización electrónica de la imagen se pueden implementar para ambos movimientos relativos. En particular, una consideración de las direcciones 28 y 32 por separado permite tener en cuenta las diferentes desviaciones entre las ópticas 64a-c a lo largo de las direcciones 28 y 32.
[0063]Los ejemplos de realización descritos en esta solicitud pueden utilizar un eje de imagen 28 y/o 32 común para las imágenes parciales en las áreas de sensor de imagen 24a-c. Alternativamente, las direcciones también pueden diferir y convertirse unas en otras.
[0064]La fig. 9 muestra una vista esquemática en perspectiva de un dispositivo de representación de apertura múltiple 90 según otro ejemplo de realización, que comprende un dispositivo de enfoque 87. El dispositivo de enfoque 87 puede comprender uno o varios actuadores 89a, 89b y/o 89c, que están configurados para modificar una distancia entre la matriz 14 y el sensor de imagen 12 y/o el dispositivo de desviación del haz 18 y la matriz 14 y/o el dispositivo de desviación del haz 18 y el sensor de imagen 12, para ajustar un enfoque de las representaciones sobre las áreas de sensor de imagen 24a, 24b y/o 24c. Aunque las ópticas 64a, 64b y 64c están representadas de tal manera que están dispuestas en un soporte común para poder moverse conjuntamente, al menos la óptica 64b, las áreas de sensor de imagen 24b y/o el área de desviación del haz 46b se pueden mover individualmente para ajustar un enfoque para el canal óptico 16b diferente de un enfoque en otros canales. Esto significa que el dispositivo de enfoque 87 puede estar configurado para ajustar de forma diferente entre sí un movimiento relativo para el primer y el segundo canal óptico 16a y 16c y un movimiento relativo para el canal óptico 16b.
[0065]El dispositivo de enfoque 87 se puede combinar con el estabilizador de imagen óptico 22, es decir, un movimiento, que es proporcionado por actuadores tanto en el estabilizador de imagen óptico 22 como en el dispositivo de enfoque 87, puede ser proporcionado por actuadores dispuestos adicionalmente o también por un actuador común, que proporciona movimientos entre componentes tanto para el enfoque como para la estabilización de imagen óptica.
[0066]En otras palabras, es ventajoso utilizar actuadores separados para el enfoque automático (AF) y, en su caso, la estabilización óptica de imagen (Optical Image Stabilisation - OIS). Debido a la estructura posiblemente desigual de los canales adyacentes con respecto a la resolución y distancia focal, un sistema de actuadores individual del canal puede permitir obtener un ajuste individual del canal, de modo que se obtengan las ventajas del enfoque automático y/o la estabilización de imagen en todos los canales. Por ejemplo, para la función de enfoque automático en diferentes distancias focales, se necesitan diferentes distancias para el enfoque en el lado de la imagen, para ejecutarlas con alta calidad. Las formas de construcción alternativas pueden estar realizadas de tal manera que el canal óptico, que está configurado para detectar el campo visual total, se realice sin un dispositivo de desviación del haz.
[0067]La fig. 10 muestra una representación esquemática en perspectiva de un dispositivo de representación de apertura múltiple 100 según otro ejemplo de realización, donde las áreas de sensor de imagen 24a a 24c están dispuestas en al menos dos chips diferentes entre sí, y están orientadas una hacia la otra, es decir, están inclinadas. Las áreas de sensor de imagen 24b, en combinación con la óptica 64b, pueden presentar una primera dirección visual, dado el caso, directamente hacia el campo visual total 70. Las áreas de sensor de imagen 24a y 24c, en combinación con las ópticas 64a y 64c asociadas a las mismas, pueden presentar una dirección visual diferente, por ejemplo, perpendicular a la misma, a lo largo de una dirección x, donde los recorridos ópticos 26a y 26c se desvían del dispositivo de desviación del haz 18 hacia los campos visuales parciales 72a y 72b.Esto representa una forma de construcción alternativa a los dispositivos de representación de apertura múltiple descritos anteriormente.
[0068]El uso del dispositivo de desviación del haz 18 puede conducir a un cierto tamaño de espejo o tamaño de superficie de desviación, que puede ser mayor para el canal 24b que para los canales contiguos para la detección de los campos visuales parciales, ya que el canal 16b tiene que detectar el campo visual total, que es mayor en comparación con los campos visuales parciales 72a y 72b. Esto puede conducir a un aumento a lo largo de una dirección de grosor del dispositivo, por ejemplo, una dirección z, lo que no es deseable en algunas realizaciones. Por lo tanto, el uso del dispositivo de desviación del haz 18 se puede configurar de tal manera que solo se desvíen los recorridos ópticos 26a y 26c, mientras que el recorrido óptico 26b se conduce directamente, es decir, sin desviación, hacia el campo visual total 70.
[0069]En otras palabras, el canal de cámara central sin espejo de desviación se monta por lo tanto en una orientación clásica directamente desde el plano del dispositivo, por ejemplo, un teléfono, mirando hacia fuera centralmente entre los dos canales de cámara desviados de mayor resolución. Debido a la menor resolución, por ejemplo, un valor de 0,77 o 1/1,3, 0,66 o 1/1,5 o 0,5 o 1/2, que corresponde a una mayor resolución de los canales adicionales descrita anteriormente de al menos el 30%, al menos el 50% o al menos el 100%, y una distancia focal correspondientemente menor, el canal de cámara central, en una configuración de este tipo, presenta una altura de construcción que se sitúa aproximadamente igual a lo largo de la dirección z, como los dos canales de cámara exteriores. Esta solución puede evitar, dado el caso, un cambio de la dirección visual del canal central 16b, pero puede ser compensada por una posible disposición adicional de un canal de cámara adicional. La disposición de una función de enfoque automático y/o de una estabilización de imagen óptica se puede proporcionar mediante una disposición individual de actuadores. Nuevamente, en otras palabras: un campo visual grande "1" se puede representar con una distancia focal corta y/o un aumento menor "erguido", y un campo visual parcial más pequeño "2" se puede visualizar con una distancia focal más larga y/o un aumento de mayor grado "horizontal y con el recorrido óptico plegado" y se puede adaptar mejor a las respectivas condiciones. "1" ya está realizado corto, pero permite un gran campo visual, lo que sin embargo puede hacer que el espejo sea grande, mientras que "2" puede estar realizado largo y solo requiere un espejo más pequeño debido al campo visual más pequeño.
[0070]La fig. 11 muestra una vista en perspectiva esquemática de un dispositivo de representación de apertura múltiple 110 según otro ejemplo de realización, donde una distancia d1 de las ópticas 64a y 64c, que presentan longitudes focales fi y f3, con respecto a las cuales el sensor de imagen 12 es mayor que una distancia d2 entre la óptica 64b y el sensor de imagen 12, donde la óptica 64b presenta la distancia focal f2. Por lo tanto, la distancia d1 y/o d2 puede adaptarse a la distancia focal de las ópticas 64a-64c. Las áreas de desviación del haz 46a-46c del dispositivo de desviación del haz 18 pueden controlarse individualmente cuando el dispositivo de desviación del haz 18 está dispuesto.
[0071]La fig. 12 muestra una vista esquemática en perspectiva de un dispositivo 120 según un ejemplo de realización. El dispositivo 120 comprende el sensor de imagen 12 que comprende las áreas de sensor de imagen 24a y 24c. El dispositivo 120 comprende además la matriz 14 con los canales ópticos 16a y 16c. Cada uno de los canales ópticos 16a y 16c presenta sin modificaciones la óptica 64a o 64c para la representación de un campo visual parcial 72a o 72b del campo visual total 70, como se describe en relación con los dispositivos de representación de apertura múltiple descritos anteriormente. Expresado de manera simplificada, el sensor de imagen 12 y la matriz 14 pueden estar realizados en ausencia del canal óptico para la representación del campo visual total. El dispositivo 120 comprende la unidad de cálculo 33, que está configurada para obtener información de imagen del sensor de imagen 12 con respecto a los campos visuales parciales 72a y 72b. La unidad de cálculo 33 también está configurada para recibir una señal 91 que comprende una información de imagen del campo visual total 70. La unidad de cálculo 33 está configurada para combinar la información de imagen de los campos visuales parciales 72a y 72b con la información de imagen 91 del campo visual total 70 para obtener la información de imagen combinada 61 del campo visual total 70.
[0072]Expresado de forma simplificada, el dispositivo 120 puede ser un módulo adicional para un dispositivo de cámara existente y puede estar configurado para recibir del dispositivo de cámara la señal de imagen con respecto al campo visual total detectado. En este caso, puede tratarse de cualquier cámara. Por lo tanto, el dispositivo 120 puede estar configurado para aumentar una resolución del dispositivo externo solapando la señal de imagen 91 recibida con campos visuales parciales 72a y 72b detectados adicionalmente, para aumentar la calidad.
[0073]La unidad de cálculo 33 puede estar configurada para proporcionar la misma funcionalidad que se describe en relación con los dispositivos de representación de apertura múltiple descritos en esta solicitud. Esto significa que el dispositivo 120 puede estar configurado para obtener la información de imagen 91 con una primera resolución de imagen y para obtener la información de imagen con respecto a los campos visuales parciales 72a y 72b con una resolución más alta. La información de imagen combinada 61 puede presentar la resolución más alta o al menos una resolución más alta que la resolución de la señal de imagen 91.La resolución de la señal de imagen 91, a lo largo de una primera y segunda dirección de imagen dentro del rango de tolerancia descrito anteriormente del 20%, 10% o 0%, puede corresponder o ser menor a la resolución de las áreas de sensor de imagen 24a y 24c multiplicadas por el valor 0,77, 0,66 o 1/2.
[0074]La unidad de cálculo 33 también puede estar configurada para realizar la asociación de imágenes por bloques, tal como se describe en relación con la fig. 5. Esto también puede significar que la unidad de cálculo 33 realiza un criterio de asociación, por ejemplo, un análisis de similitud, una comparación de bordes o similares, y para realizar la combinación de los bloques solo si se cumple el criterio de asociación. Si no se cumple el criterio de asociación, la unidad de cálculo 33 puede proporcionar la información de imagen combinada de tal manera que no tenga lugar una combinación de los bloques en el bloque evaluado.
[0075]La unidad de cálculo 33 puede estar configurada para realizar un stitching de la información de imagen de los campos visuales parciales 72a y 72b en base a la información de imagen del campo visual total 70. Dado que solo se evalúan las informaciones de imagen, para la unidad de cálculo 33 puede ser irrelevante si la información de imagen con respecto al campo visual total 70 se obtiene del propio sensor de imagen 12 o del sensor de imagen de un dispositivo externo.
[0076]Como se describe para los dispositivos de representación de apertura múltiple, la unidad de cálculo puede estar diseñada para crear un mapa de profundidad para la información de imagen del campo visual total utilizando una primera disparidad entre una dirección visual del canal para detectar el campo visual total y una representación del primer campo visual parcial y/o una segunda disparidad entre la representación del campo visual total y una representación del segundo campo visual parcial. Aunque el campo visual total haya sido registrado por otra cámara, presenta una dirección de visión hacia el campo visual total, de modo que se puede evaluar una disparidad, en particular cuando el dispositivo se calibra junto con el dispositivo que proporciona la señal de imagen 91.
[0077]Como se ha descrito anteriormente, la unidad de cálculo 33 puede estar configurada para crear el mapa de profundidad en un área de solapamiento de las imágenes parciales de los campos visuales parciales 72a y 72b mediante el uso exclusivo de la información de la imagen de los campos visuales parciales.
[0078]El dispositivo 120 puede presentar un estabilizador de imagen óptico, por ejemplo, el estabilizador de imagen óptico 22, que está configurado para proporcionar la estabilización óptica de la imagen mediante la generación de un movimiento relativo entre el sensor de imagen 12 y la matriz 14 a lo largo de una primera y una segunda dirección, por ejemplo, a lo largo de las direcciones de imagen 28 y 32. Alternativa o adicionalmente, el dispositivo 120 puede comprender un dispositivo de enfoque, por ejemplo, el dispositivo de enfoque 87, para ajustar un enfoque del dispositivo 120. Esto se puede realizar creando un movimiento relativo entre al menos una de las ópticas 64a y 64b de los canales ópticos 16a y 16b y el sensor de imagen 12.
[0079]La fig. 13 muestra una vista esquemática en perspectiva de un dispositivo complementario 130 según un ejemplo de realización. El dispositivo complementario 130 está configurado para complementar una cámara o dispositivo de registro de imágenes 93, donde la cámara o dispositivo de generación de imágenes 93 está configurado para generar la señal de imagen 91 y proporcionarla al dispositivo de complemento 130. El dispositivo complementario 130 comprende, por ejemplo, el dispositivo 120 y está configurado para ser acoplado con la cámara 93. Por lo tanto, el dispositivo complementario 130 está configurado para ampliar o complementar el procesamiento de imágenes de la cámara 93. Esto también se puede entender como un dispositivo de adición que, por ejemplo, proporciona un par de canales externos como un amplificador de resolución (resolution- boost) a un sistema existente. Esto significa que el canal central descrito anteriormente puede ser un módulo de cámara convencional que el fabricante conoce y entiende, por ejemplo, un teléfono móvil, y para el que existe una supply-chain (cadena de suministro) establecida. Los canales exteriores con las ópticas 64a y 64C son un módulo adicional que se construye junto o alrededor de este. Puede quedar un recorrido óptico plegado, por lo que la altura de construcción se adapta al módulo de cámara antiguo. Aunque una altura de construcción del sistema completo no es más delgada que el módulo de cámara 93, también se puede evitar un aumento de la altura de construcción mediante el aumento de la resolución mediante el módulo adicional. En lugar de ello, los canales exteriores juntos tienen una superficie de sensor más grande que el módulo interior. Si los píxeles son del mismo tamaño, el módulo tiene una resolución total más alta y, por lo tanto, una resolución angular más fina. Por lo tanto, se puede utilizar para aumentar la resolución en comparación con la cámara 93. Aquí también, los sensores pueden realizarse en realizaciones sin filtro de color. Esto significa que la información de imagen de los primeros y segundos campos visuales parciales pueden proporcionarse con una información de luminancia de color uniforme. El módulo adicional puede, pero no necesariamente debe, montarse simétricamente alrededor del módulo de cámara de la cámara 93. Otras formas de construcción, tales como, por ejemplo, diagonal o asimétrica, también son posibles y se pueden compensar mediante el procesamiento de imágenes. Los mapas de profundidad se pueden generar sin cambios, se puede proporcionar una estabilización de imagen óptica y/o electrónica, así como un enfoque automático.
[0080]La fig. 14 muestra un diagrama de flujo esquemático de un procedimiento 1400 para proporcionar un dispositivo según un ejemplo de realización, por ejemplo, el dispositivo 120. En una etapa 1410 tiene lugar una puesta a disposición de un sensor de imagen. En una etapa1420 tiene lugar una disposición de una matriz de canales ópticos, de modo que cada canal óptico comprenda una óptica para la representación de al menos un campo visual parcial de un campo visual total sobre un área de sensor de imagen, del sensor de imagen, de modo que un primer canal óptico de la matriz esté configurado para representar un primer campo visual parcial del campo visual total y de modo que esté conformado un segundo canal óptico de la matriz para representar un segundo campo visual parcial del campo visual total. En una etapa 1430 tiene lugar una disposición de una unidad de cálculo, de manera que la misma está configurada para obtener información de imagen del primer y segundo campo visual parcial en base a los campos visuales parciales representados, y para obtener una información de imagen del campo visual total, y para combinar la información de imagen de los campos visuales parciales con la información de imagen del campo visual total para generar una información de imagen combinada del campo visual total.
[0081]La fig. 15 muestra un diagrama de flujo esquemático de un procedimiento 1500 para proporcionar un dispositivo de representación de apertura múltiple según un ejemplo de realización, por ejemplo, el dispositivo de representación de apertura múltiple 10. En una etapa 1510 tiene lugar una puesta a disposición de un sensor de imagen. En un paso 1520 tiene lugar una puesta a disposición de una matriz de canales ópticos, de modo que cada canal óptico comprenda una óptica para la representación de al menos un campo visual parcial de un campo visual total sobre un área de sensor de imagen, del sensor de imagen, de modo que un primer canal óptico de la matriz esté configurado para representar un primer campo visual parcial del campo visual total y de modo que esté conformado un segundo canal óptico de la matriz para representar un segundo campo visual parcial del campo visual total; y de modo que esté conformado un tercer canal óptico para representar por completo el campo visual total.
[0082]Las realizaciones descritas en esta solicitud ofrecen la ventaja de que una imagen de baja resolución se sigue utilizando previamente para favorecer el stitching de las imágenes de alta resolución, con el fin de simplificar el proceso de stitching. Esto permite una menor ocultación en el mapa de profundidad gracias a la cámara de referencia central y a la disposición simétrica de los otros canales a su alrededor. Esto también da como resultado menos artefactos en la imagen combinada final. Se puede obtener una vista en vivo directamente desde el canal central sin esfuerzo de cálculo, eventualmente utilizando binning u omitiendo píxeles para reducir la resolución en la medida necesaria, pero el campo visual completo en la relación de aspecto correcta ya se puede obtener desde el canal central, ya que cubre todo el FOV. Un vídeo se puede derivar directamente del canal central sin esfuerzo de cálculo, lo que se realiza de forma análoga a la derivación de imágenes. El uso de solo tres canales, es decir, un grupo de canales ópticos para detectar los campos visuales parciales, comprende canales ópticos para detectar exactamente dos campos visuales parciales, permite un menor número de componentes, menos sensores, un ancho de banda de transmisión de datos reducido y un volumen reducido del dispositivo o del dispositivo de representación de apertura múltiple.
[0083]Los ejemplos de realización descritos en esta solicitud se pueden utilizar como o en sistemas de representación de apertura múltiple con una disposición de canal lineal y el tamaño constructivo más pequeño, y ofrecen las ventajas descritas en esta solicitud, en comparación con las soluciones conocidas.
[0084]Algunas realizaciones se refieren a direcciones relativas como arriba/abajo o izquierda/derecha. Se entiende que estas son intercambiables entre sí si se cambia una orientación en el espacio. Por lo tanto, estos términos no deben tener un efecto restrictivo y solo sirven para una mejor comprensión.
[0085]Aunque algunos aspectos se han descrito en el contexto de un dispositivo, se entenderá que estos aspectos también constituyen una descripción del procedimiento correspondiente, de modo que un bloque o un componente de un dispositivo también se debe entender como una etapa del procedimiento correspondiente o como una característica de una etapa del procedimiento. De manera análoga, los aspectos que se describieron con relación a una etapa del procedimiento o como la misma, también representan una descripción de un bloque correspondiente o detalles o características de un dispositivo correspondiente.
[0086]Los ejemplos de realización descritos anteriormente representan únicamente una ilustración de los principios de la presente invención. Se entenderá que las modificaciones y variaciones de las disposiciones y detalles descritos en el presente documento serán evidentes para otros expertos en la técnica. Por lo tanto, se pretende que la invención esté limitada únicamente por el alcance de protección de las siguientes reivindicaciones y no por las particularidades específicas que se han presentado en base a la descripción y la explicación de los ejemplos de realización del presente documento.
Claims (15)
1. Dispositivo con:
un sensor de imagen (12);
una matriz (14) de canales ópticos (16a- b), donde cada canal óptico (16a- b) comprende una óptica (64a-b) para la representación de un campo visual parcial (72a-b) de un campo visual total (70) sobre un área de sensor de imagen (24a-b) del sensor de imagen (12), donde un primer canal óptico (16a) de la matriz (14) está configurado para representar un primer campo visual parcial (72a) del campo visual total (70) y donde un segundo canal óptico (16b) de la matriz (14) está configurado para representar un segundo campo visual parcial (72b) del campo visual total (70); y
una unidad de cálculo (33), que está configurada para obtener información de imagen del primer y segundo campo visual parcial en base a los campos visuales parciales (72a-b) representados, y para obtener una información de imagen del campo visual total (70), y para combinar la información de imagen de los campos visuales parciales con la información de imagen del campo visual total para generar una información de imagen combinada (61) del campo visual total;
donde el dispositivo está configurado para obtener la información de imagen del campo visual total (70) con un primer grado de exploración (b x c), para obtener la información de imagen del primer o segundo campo visual parcial (72a-b) con un segundo grado de exploración (b x a) que es mayor que el primer grado de exploración (b x c), y para proporcionar la información de imagen combinada del campo visual total (70) con un tercer grado de exploración que es mayor que el primer grado de exploración; o
donde la unidad de cálculo (33) está configurada para dividir la información de imagen del campo visual total (70) y la información de imagen de los campos visuales parciales en bloques de imagen (63a, 63b), y para asociar por bloques una información de imagen (x, *, #) contenida en un primer bloque de imagen (63c) del campo visual total a una información de imagen coincidente de un segundo bloque de imagen (63a, 63b) del primer o segundo campo visual parcial, para aumentar un grado de exploración de la información de imagen del campo visual total (70) en la información de imagen combinada mediante la combinación del primer y el segundo bloque de imagen; donde la unidad de cálculo (33) está configurada para crear un mapa de profundidad para la información de imagen del campo visual total (70) utilizando una primera disparidad (83a) entre una representación del campo visual total (70) y una representación del primer campo visual parcial (72a) y una segunda disparidad (83b) entre la representación del campo visual total (70) y una representación del segundo campo visual parcial (72b).
2. Dispositivo según la reivindicación 1, donde el grado de exploración indica un tamaño, de qué superficie en el área del objeto se representa en qué superficie o tamaño de píxel del sensor de imagen.
3. Dispositivo según la reivindicación 1 o 2, que está configurado para proporcionar la información de imagen del primer y segundo campo visual parcial representado con una información de luminancia de color uniforme.
4. Dispositivo según cualquiera de las reivindicaciones anteriores, donde la unidad de cálculo (33) está configurada para dividir la información de imagen del campo visual total (70) y la información de imagen de los campos visuales parciales en bloques de imagen (63a, 63b), donde la unidad de cálculo (33) está configurada para asociar el primer bloque (63c) al segundo bloque (63a, 63b) utilizando un criterio de asociación para realizar la combinación solo si se cumple el criterio de asociación y para proporcionar la información de imagen combinada (61) del campo visual total (70) en el primer bloque (63c4) sin una combinación si no se cumple el criterio de asociación.
5. Dispositivo complementario con un dispositivo según cualquiera de las reivindicaciones anteriores, que está configurado para acoplarse a una cámara para obtener de esta la información de imagen del campo visual total (70).
6. Dispositivo según cualquiera de las reivindicaciones anteriores, que está formado como dispositivo de representación de apertura múltiple (10; 30; 60; 70; 80; 90) con:
un sensor de imagen (12 ); y
una matriz (14) de canales ópticos (16a- c), donde cada canal óptico (16a-c) comprende una óptica (64a-c) para representar imágenes de un campo visual parcial (72a-b) de un campo visual total (70) en un área de sensor de imagen (24a-c) del sensor de imagen (12);
donde un primer canal óptico (16a) de la matriz (14) está configurado para representar un primer campo visual parcial (72a) del campo visual total (70), donde un segundo canal óptico (16b) de la matriz (14) está configurado para representar un segundo campo visual parcial (72b) del campo visual total (70), donde el dispositivo de representación de apertura múltiple presenta un tercer canal óptico (16c), que está configurado para representar completamente el campo visual total (70);
donde la unidad de cálculo (33) está configurada para obtener la información de imagen del campo visual total (70) en base al campo visual total (70) representado.
7. Dispositivo según la reivindicación 6, que comprende un dispositivo de desviación del haz (18) para la desviación conjunta de un recorrido óptico (26a-b) del primer y segundo canal óptico (16a-b).
8. Dispositivo según la reivindicación 6 o 7, donde una disposición de ópticas (64a, 64c) para detectar el primer y el segundo campo visual parcial en la matriz (14) es simétrica con respecto a un lugar de la óptica (64b) para la representación del campo visual total (70); o
donde una disposición de áreas del sensor de imagen (24a, 24c) para la representación del primer y segundo campo visual parcial (72a-b) con respecto a un lugar del área del sensor de imagen (24b) es simétrica para la representación del campo visual total (70).
9. Dispositivo según cualquiera de las reivindicaciones 6 a 8, donde un formato de imagen del campo visual total (70) corresponde a una combinación sin redundancia del primer campo visual parcial (72a) representado y del segundo campo visual parcial (72b) representado.
10. Dispositivo según cualquiera de las reivindicaciones 6 a 9, que comprende la unidad de cálculo (33), y donde la unidad de cálculo (33) está configurada para realizar un stitching de la información de imagen de los campos visuales parciales en base a la información de imagen del campo visual total (70).
11. Dispositivo según cualquiera de las reivindicaciones 6 a 10, que está configurado para obtener una información de imagen del campo visual total (70) detectado por el tercer canal óptico del sensor de imagen con una primera resolución de imagen, donde el dispositivo de representación de apertura múltiple comprende un dispositivo de visualización y está configurado para mostrar la información de imagen con la primera resolución de imagen como máximo.
12. Dispositivo según cualquiera de las reivindicaciones 6 a 11, donde las áreas de sensor de imagen están dispuestas a lo largo de una dirección de extensión de línea (35) sobre el sensor de imagen (12), y donde las áreas de sensor de imagen (24a-c), a lo largo de una dirección de imagen (32) perpendicular a la dirección de extensión de línea, presentan la misma dimensión dentro de un rango de tolerancia del 20%.
13. Dispositivo según cualquiera de las reivindicaciones 6 a 12, donde el primer y el segundo canal óptico (16a, 16c) forman parte de un grupo de canales ópticos, que están configurados para representar respectivamente un campo visual parcial (72a-b) del campo visual total (70), donde el grupo de canales ópticos está configurado para representar conjuntamente el campo visual total (70) por completo.
14. Dispositivo según la reivindicación 13, donde el grupo de canales ópticos está configurado para detectar exactamente dos campos visuales parciales (72a-b).
15. Procedimiento (1400) para proporcionar un dispositivo con las siguientes etapas:
puesta a disposición (1410) de un sensor de imagen;
disposición (1420) de una matriz de canales ópticos, de modo que cada canal óptico comprenda una óptica para la representación de al menos un campo visual parcial de un campo visual total sobre un área de sensor de imagen, del sensor de imagen, de modo que un primer canal óptico de la matriz esté configurado para representar un primer campo visual parcial del campo visual total y de modo que esté conformado un segundo canal óptico de la matriz para representar un segundo campo visual parcial del campo visual total; y
disposición (1430) de una unidad de cálculo, de manera que la misma está configurada para obtener información de imagen del primer y segundo campo visual parcial en base a los campos visuales parciales representados, y para obtener una información de imagen del campo visual total, y para combinar la información de imagen de los campos visuales parciales con la información de imagen del campo visual total para generar una información de imagen combinada del campo visual total; y
de modo que el dispositivo está configurado para obtener la información de imagen del campo visual total (70) con un primer grado de exploración (b x c), para obtener la información de imagen del primer o segundo campo visual parcial (72a-b) con un segundo grado de exploración (b x a) que es mayor que el primer grado de exploración (b x c), y para proporcionar la información de imagen combinada del campo visual total (70) con un tercer grado de exploración que es mayor que el primer grado de exploración; o
de modo que la unidad de cálculo (33) está configurada para dividir la información de imagen del campo visual total (70) y la información de imagen de los campos visuales parciales en bloques de imagen (63a, 63b), y para asociar por bloques una información de imagen (x, *, #) contenida en un primer bloque de imagen (63c) del campo visual total a una información de imagen coincidente de un segundo bloque de imagen (63a, 63b) del primer o segundo campo visual parcial, para aumentar un grado de exploración de la información de imagen del campo visual total (70) en la información de imagen combinada mediante la combinación del primer y el segundo bloque de imagen;
creación de un mapa de profundidad para la información de imagen del campo visual total (70) utilizando una primera disparidad (83a) entre una representación del campo visual total (70) y una representación del primer campo visual parcial (72a) y una segunda disparidad (83b) entre la representación del campo visual total (70) y una representación del segundo campo visual parcial (72b).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017206442.0A DE102017206442B4 (de) | 2017-04-13 | 2017-04-13 | Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben |
| PCT/EP2018/025110 WO2018188815A1 (de) | 2017-04-13 | 2018-04-11 | Vorrichtung zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtung und verfahren zum bereitstellen derselben |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2981966T3 true ES2981966T3 (es) | 2024-10-14 |
Family
ID=62167274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES18724780T Active ES2981966T3 (es) | 2017-04-13 | 2018-04-11 | Dispositivos para la representación de campos visuales parciales, dispositivos de representación de apertura múltiple y procedimientos para proporcionar los mismos |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US11457152B2 (es) |
| EP (3) | EP4376404A3 (es) |
| JP (2) | JP6860692B2 (es) |
| KR (1) | KR102230188B1 (es) |
| CN (2) | CN114727009B (es) |
| DE (1) | DE102017206442B4 (es) |
| ES (1) | ES2981966T3 (es) |
| TW (1) | TWI687099B (es) |
| WO (1) | WO2018188815A1 (es) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| DE102017206442B4 (de) * | 2017-04-13 | 2021-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben |
| JP7095693B2 (ja) * | 2017-05-30 | 2022-07-05 | ソニーグループ株式会社 | 医療用観察システム |
| DE102018222861A1 (de) | 2018-12-21 | 2020-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation |
| DE102018222865A1 (de) | 2018-12-21 | 2020-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte |
| CN114270815B (zh) * | 2019-06-06 | 2025-03-18 | 弗劳恩霍夫应用研究促进协会 | 多通道成像设备和具有多孔径成像设备的设备 |
| DE102020110052A1 (de) * | 2020-04-09 | 2021-10-14 | Hybrid Lidar Systems Ag | Vorrichtung zur erfassung von bilddaten |
| EP4147193B1 (en) | 2020-05-05 | 2024-05-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Acquiring a digital image of an image content |
| DE102020207302A1 (de) * | 2020-06-10 | 2021-12-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Vorrichtung und Verfahren zur Aufnahme eines projizierten Punktmusters in einer Anzeigevorrichtung |
| US11606517B1 (en) | 2021-06-07 | 2023-03-14 | Waymo Llc | Enhanced depth of focus cameras using variable apertures and pixel binning |
| CN114937140B (zh) * | 2022-07-25 | 2022-11-04 | 深圳大学 | 面向大规模场景的图像渲染质量预测与路径规划系统 |
| WO2024118403A1 (en) * | 2022-11-30 | 2024-06-06 | Qualcomm Incorporated | Image sensor with multiple image readout |
| KR20240111592A (ko) | 2023-01-10 | 2024-07-17 | 현대자동차주식회사 | 객체 검출 장치 및 방법, 그리고 이를 위한 컴퓨터 판독 가능한 기록 매체 |
Family Cites Families (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | 1つの画像から虹彩認証を行う方法および装置 |
| US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
| WO2007047660A2 (en) * | 2005-10-16 | 2007-04-26 | Mediapod Llc | Apparatus, system and method for increasing quality of digital image capture |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| EP2016620A2 (en) | 2006-04-17 | 2009-01-21 | Omnivision Cdm Optics, Inc. | Arrayed imaging systems and associated methods |
| US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| KR100871566B1 (ko) | 2006-12-04 | 2008-12-02 | 삼성전자주식회사 | 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법 |
| US7643063B2 (en) | 2006-12-29 | 2010-01-05 | The Boeing Company | Dual loop stabilization of video camera images |
| US20090122195A1 (en) * | 2007-11-09 | 2009-05-14 | Van Baar Jeroen | System and Method for Combining Image Sequences |
| JP4510874B2 (ja) * | 2007-12-28 | 2010-07-28 | 富士通株式会社 | 合成映像検出装置 |
| CN101276415A (zh) * | 2008-03-03 | 2008-10-01 | 北京航空航天大学 | 用多定焦摄像机实现多分辨率图像采集的装置和方法 |
| CN102356630B (zh) * | 2009-03-19 | 2016-01-27 | 数字光学公司 | 双传感器照相机 |
| AU2009201637B2 (en) * | 2009-04-24 | 2011-08-11 | Canon Kabushiki Kaisha | Processing multi-view digital images |
| US9144714B2 (en) | 2009-05-02 | 2015-09-29 | Steven J. Hollinger | Ball with camera for reconnaissance or recreation and network for operating the same |
| US20100328471A1 (en) | 2009-06-24 | 2010-12-30 | Justin Boland | Wearable Multi-Channel Camera |
| JP5553597B2 (ja) | 2009-12-25 | 2014-07-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| WO2011093538A1 (en) * | 2010-01-27 | 2011-08-04 | Iris Id | Iris scanning apparatus employing wide-angle camera, for identifying subject, and method thereof |
| EP2369382A1 (en) * | 2010-03-22 | 2011-09-28 | Schott Corporation | Rigid multi-directional imaging bundle and imaging assembly incorporating the same |
| JP5506504B2 (ja) | 2010-03-31 | 2014-05-28 | キヤノン株式会社 | 撮像装置及び撮像方法 |
| CN101917550B (zh) * | 2010-07-01 | 2012-11-14 | 清华大学 | 高时空分辨率视频去模糊方法及系统 |
| US20120098971A1 (en) | 2010-10-22 | 2012-04-26 | Flir Systems, Inc. | Infrared binocular system with dual diopter adjustment |
| JP5830662B2 (ja) | 2010-12-09 | 2015-12-09 | パナソニックIpマネジメント株式会社 | 撮像装置 |
| US9007432B2 (en) * | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
| CN102148965B (zh) * | 2011-05-09 | 2014-01-15 | 厦门博聪信息技术有限公司 | 多目标跟踪特写拍摄视频监控系统 |
| CN202098297U (zh) * | 2011-06-24 | 2012-01-04 | 成都唐源电气有限责任公司 | 接触网关键悬挂自动巡查装置 |
| US10412367B2 (en) | 2011-08-05 | 2019-09-10 | 3D Media Ltd | Multi-lens camera with a single image sensor |
| JP2013045032A (ja) * | 2011-08-26 | 2013-03-04 | Fujifilm Corp | 多眼撮像装置 |
| EP2592823A3 (en) | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
| JP6004785B2 (ja) | 2012-06-29 | 2016-10-12 | キヤノン株式会社 | 撮像装置、光学機器、撮像システムおよび制御方法 |
| US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
| US9398264B2 (en) * | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| CN109963059B (zh) * | 2012-11-28 | 2021-07-27 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| JP6172161B2 (ja) * | 2012-12-11 | 2017-08-02 | コニカミノルタ株式会社 | 複眼光学系とそれを用いた撮像装置 |
| WO2014091986A1 (ja) | 2012-12-11 | 2014-06-19 | コニカミノルタ株式会社 | 複眼光学系とそれを用いた撮像装置 |
| US20140160231A1 (en) * | 2012-12-12 | 2014-06-12 | Daniel C. Middleton | Multi-focal image capture and display |
| JP6100089B2 (ja) * | 2013-05-17 | 2017-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN103338343A (zh) * | 2013-05-29 | 2013-10-02 | 山西绿色光电产业科学技术研究院(有限公司) | 以全景图像为基准的多路图像无缝拼接方法及装置 |
| US9232138B1 (en) | 2013-06-03 | 2016-01-05 | Amazon Technologies, Inc. | Image stabilization techniques |
| CN105917641B (zh) * | 2013-08-01 | 2018-10-19 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
| JP6429440B2 (ja) | 2013-09-18 | 2018-11-28 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
| US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
| DE102013222780B3 (de) | 2013-11-08 | 2015-04-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs |
| KR20150067608A (ko) * | 2013-12-10 | 2015-06-18 | 한국전자통신연구원 | 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 |
| DE102013226789B4 (de) * | 2013-12-19 | 2017-02-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren |
| KR102163045B1 (ko) | 2014-02-17 | 2020-10-08 | 삼성전기주식회사 | 이미지 보정 장치 및 그 방법 |
| JP2015185947A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 撮像システム |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US20150373269A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Parallax free thin multi-camera system capable of capturing full wide field of view images |
| CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
| DE102014213371B3 (de) | 2014-07-09 | 2015-08-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zur erfassung eines objektbereichs |
| US20160044247A1 (en) * | 2014-08-10 | 2016-02-11 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| US9596411B2 (en) | 2014-08-25 | 2017-03-14 | Apple Inc. | Combined optical and electronic image stabilization |
| US9992483B2 (en) * | 2014-09-03 | 2018-06-05 | Intel Corporation | Imaging architecture for depth camera mode with mode switching |
| US20160173869A1 (en) * | 2014-12-15 | 2016-06-16 | Nokia Corporation | Multi-Camera System Consisting Of Variably Calibrated Cameras |
| JP6436783B2 (ja) * | 2015-01-09 | 2018-12-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
| JP6659086B2 (ja) | 2015-03-16 | 2020-03-04 | キヤノン株式会社 | 像ブレ補正装置、光学機器、撮像装置および制御方法 |
| CN104730688B (zh) * | 2015-04-17 | 2017-01-11 | 张家港中贺自动化科技有限公司 | 一种宽视场高分辨率光学系统 |
| US10230898B2 (en) * | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
| DE102015215840B4 (de) | 2015-08-19 | 2017-03-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
| DE102015215841B4 (de) * | 2015-08-19 | 2017-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben |
| DE102015215837A1 (de) * | 2015-08-19 | 2017-02-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem |
| DE102015215836B4 (de) * | 2015-08-19 | 2017-05-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung |
| DE102015215845B4 (de) * | 2015-08-19 | 2017-06-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit |
| DE102015215833A1 (de) | 2015-08-19 | 2017-02-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung mit Optiksubstrat |
| DE102015215844B4 (de) | 2015-08-19 | 2017-05-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung |
| DE102015216140A1 (de) | 2015-08-24 | 2017-03-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3D-Multiaperturabbildungsvorrichtung |
| EP3353711A1 (en) * | 2015-09-23 | 2018-08-01 | Datalogic USA, Inc. | Imaging systems and methods for tracking objects |
| ITUB20154043A1 (it) | 2015-09-30 | 2017-03-30 | Datalogic IP Tech Srl | Sistema e metodo di lettura di informazioni codificate |
| DE102015220566B4 (de) | 2015-10-21 | 2021-03-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes |
| DE102016200287A1 (de) | 2016-01-13 | 2017-07-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem |
| DE102016200285A1 (de) | 2016-01-13 | 2017-07-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs |
| US11703326B2 (en) * | 2016-02-25 | 2023-07-18 | Kyocera Corporation | Stereo camera apparatus, vehicle, and parallax calculation method |
| DE102016204148A1 (de) | 2016-03-14 | 2017-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs |
| JP2017204674A (ja) * | 2016-05-09 | 2017-11-16 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 |
| DE102016208210A1 (de) | 2016-05-12 | 2017-11-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes |
| US10007854B2 (en) * | 2016-07-07 | 2018-06-26 | Ants Technology (Hk) Limited | Computer vision based driver assistance devices, systems, methods and associated computer executable code |
| US9940695B2 (en) * | 2016-08-26 | 2018-04-10 | Multimedia Image Solution Limited | Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation |
| US10165194B1 (en) * | 2016-12-16 | 2018-12-25 | Amazon Technologies, Inc. | Multi-sensor camera system |
| DE102017204035B3 (de) | 2017-03-10 | 2018-09-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
| DE102017206442B4 (de) * | 2017-04-13 | 2021-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben |
-
2017
- 2017-04-13 DE DE102017206442.0A patent/DE102017206442B4/de active Active
-
2018
- 2018-04-11 CN CN202210154442.6A patent/CN114727009B/zh active Active
- 2018-04-11 EP EP24166960.5A patent/EP4376404A3/de active Pending
- 2018-04-11 ES ES18724780T patent/ES2981966T3/es active Active
- 2018-04-11 TW TW107112446A patent/TWI687099B/zh active
- 2018-04-11 CN CN201880039912.6A patent/CN110754081B/zh active Active
- 2018-04-11 JP JP2019555889A patent/JP6860692B2/ja active Active
- 2018-04-11 WO PCT/EP2018/025110 patent/WO2018188815A1/de not_active Ceased
- 2018-04-11 EP EP18724780.4A patent/EP3610637B1/de active Active
- 2018-04-11 KR KR1020197033460A patent/KR102230188B1/ko active Active
- 2018-04-11 EP EP24166959.7A patent/EP4369708A3/de active Pending
-
2019
- 2019-09-27 US US16/585,693 patent/US11457152B2/en active Active
-
2021
- 2021-03-26 JP JP2021052628A patent/JP7189992B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021103181A (ja) | 2021-07-15 |
| JP7189992B2 (ja) | 2022-12-14 |
| WO2018188815A1 (de) | 2018-10-18 |
| KR20190138853A (ko) | 2019-12-16 |
| EP3610637B1 (de) | 2024-05-01 |
| US11457152B2 (en) | 2022-09-27 |
| EP4369708A2 (de) | 2024-05-15 |
| EP4369708A3 (de) | 2024-07-24 |
| CN110754081B (zh) | 2022-02-25 |
| DE102017206442A1 (de) | 2018-10-18 |
| TW201904266A (zh) | 2019-01-16 |
| EP4376404A3 (de) | 2024-07-24 |
| CN114727009B (zh) | 2025-09-23 |
| JP2020517183A (ja) | 2020-06-11 |
| CN110754081A (zh) | 2020-02-04 |
| KR102230188B1 (ko) | 2021-03-23 |
| EP4376404A2 (de) | 2024-05-29 |
| JP6860692B2 (ja) | 2021-04-21 |
| TWI687099B (zh) | 2020-03-01 |
| CN114727009A (zh) | 2022-07-08 |
| DE102017206442B4 (de) | 2021-01-28 |
| EP3610637A1 (de) | 2020-02-19 |
| US20200029023A1 (en) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2981966T3 (es) | Dispositivos para la representación de campos visuales parciales, dispositivos de representación de apertura múltiple y procedimientos para proporcionar los mismos | |
| ES2808940T3 (es) | Dispositivos de obtención de imágenes de apertura múltiple en 3D, dispositivo de obtención de imágenes de apertura múltiple, método para proporcionar una señal de salida de un dispositivo de obtención de imágenes de apertura múltiple en 3D y método para captar un campo de visión total | |
| ES2561937T3 (es) | Sensor para microscopia | |
| US10701340B2 (en) | 3D multi-aperture imaging device | |
| CN103875243B (zh) | 三维内窥镜装置 | |
| JP2010263501A (ja) | 撮像装置 | |
| JP4764624B2 (ja) | 立体視表示装置及び立体視用画像生成方法 | |
| US11924395B2 (en) | Device comprising a multi-aperture imaging device for generating a depth map | |
| JP2016192645A (ja) | 撮像素子、焦点調節装置および撮像装置 | |
| WO2019220722A1 (ja) | 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 | |
| US12007680B2 (en) | Device comprising a multi-aperture imaging device for generating a depth map | |
| JP5251323B2 (ja) | 撮像装置 | |
| US7586662B2 (en) | Three-dimensional light ray input apparatus | |
| JP5948059B2 (ja) | 立体画像撮影装置および立体画像表示装置 | |
| JP2010231192A (ja) | ステレオ撮像装置 | |
| JP6022428B2 (ja) | 画像撮影装置及び画像撮影方法 | |
| JP2012098551A (ja) | プロジェクタ | |
| CN101311813B (zh) | 光学仪器和光学仪器的制造方法 | |
| JP5691440B2 (ja) | 撮像装置 | |
| JP2010109922A (ja) | 撮像素子および撮像装置 |