WO2011045324A2 - Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung - Google Patents

Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung Download PDF

Info

Publication number
WO2011045324A2
WO2011045324A2 PCT/EP2010/065290 EP2010065290W WO2011045324A2 WO 2011045324 A2 WO2011045324 A2 WO 2011045324A2 EP 2010065290 W EP2010065290 W EP 2010065290W WO 2011045324 A2 WO2011045324 A2 WO 2011045324A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
image detector
optical
optical channel
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2010/065290
Other languages
English (en)
French (fr)
Other versions
WO2011045324A3 (de
Inventor
Andreas Brückner
Jacques Duparre
Frank Wippermann
Peter Dannberg
Andreas BRÄUER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority to JP2011543783A priority Critical patent/JP5379241B2/ja
Priority to ES10771393T priority patent/ES2572229T3/es
Priority to KR1020117008573A priority patent/KR101284414B1/ko
Priority to EP10771393.5A priority patent/EP2428034B1/de
Priority to US13/074,089 priority patent/US8629930B2/en
Publication of WO2011045324A2 publication Critical patent/WO2011045324A2/de
Publication of WO2011045324A3 publication Critical patent/WO2011045324A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8067—Reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Definitions

  • the present invention relates to a device, an image processing device and a method for optical imaging, which can be used, for example, in miniaturized camera systems for portable terminals.
  • miniaturized camera systems for portable devices (mobile phone, PDA, laptop, etc.) necessitates not only miniaturization of electronic and optoelectronic components, but also miniaturization of imaging lenses.
  • the prerequisites for this are short lens lengths and a small number of optical components (especially lens elements).
  • the progressive reduction in image sensor diagonal driven by the development of semiconductor patterning technology (smaller photodiodes, equal numbers of pixels on the same image area), as well as the reduction of sensor manufacturing costs, requires high resolution and high resolution despite the simplification of the optical design Light intensity of the optics must be achieved.
  • the existing optical design solutions are characterized by a few, but complex (mostly aspherical) lens shapes, which exhaust the possibilities of current manufacturing technologies.
  • An alternative method for objects of the order of magnitude smaller than 5 ⁇ 5 ⁇ 5 mm 3 is the production of optics on a wafer scale (WLO-wafer level optics).
  • a tool insert is used for the respective individual lenses, which is produced by ultra-precision machining (eg. B. diamond turning) was generated for multiple UV imaging (step and repeat process) of the individual component on a substrate wafer (wafer level optics modules).
  • ultra-precision machining eg. B. diamond turning
  • UV imaging step and repeat process
  • an entire tool wafer can always be made of the same individual components by means of ultra-precision machining and then replicated in a single UV molding step on a wafer scale.
  • Many similar lenses, but also spacers and diaphragms can be made in parallel in this way.
  • the individual wafer plates may be axially bonded together to obtain a wafer stack with a plurality of objectives.
  • This is a parallelized production technology that uses processes and systems of microelectronics production.
  • problems remain in the reproducibility and quality testing, in particular the characterization of the complex lens shape of this magnitude, so far unresolved. So far, the modules can only be tested in conjunction with all other optical components with an imaging process, which greatly reduces the yield, depending on the number of components and production steps.
  • each photomultiplier lens is assigned to each microlens.
  • a photodetector is sometimes referred to as an image detector or as a photodiode.
  • the documents DE 10 2004 003 013.8 and PCT PAT. APPL. WO 2005/069607 describes a multi-channel imaging system based on an artificial facet eye, wherein here each channel is assigned an image detector, or a few image detectors of different functions are assigned. Each channel thus captures only a narrowly limited area of the object field.
  • the documents US 005696371 A and EP 0840502A2 describe another multi-channel imaging system based on artificial compound eyes.
  • a compact digital camera with a multi-channel refractive / diffractive imaging optics and segmented field of view is described.
  • the system consists of a field array of lenses formed as decentered lens segments with a photosensitive image sensor array at their focal length. Axially in front of the lens array, two aperture fields with oblique sidewalls and a larger period compared to the lens field are used to specify the face field size.
  • To suppress optical crosstalk vertical walls of light absorbing material between adjacent optical channels are proposed.
  • a relatively small lens with a very short overall length and sufficient image quality can be used, so that the wafer-scale (lithographic) technologies according to the invention can also be averted here.
  • small pixels have the disadvantage of low photosensitivity surface and thus, with the same aperture number of the optics, low sensitivity of the overall arrangement.
  • the present invention provides a device for optical imaging (for example, also as an optical imaging device or as a multi-channel imaging and Imaging system) having at least one microlensing field with at least two microlenses, and an image sensor having at least two image detector arrays, the at least two image detector arrays (also referred to as photodiode groups or photodiode arrays or photodiode arrays) each comprising a plurality of image detectors.
  • each micro lens forms an optical channel together with an image detector die.
  • the center points of the image detector matrices are laterally shifted at different levels than the center of gravity of the micro-lens apertures of the associated optical channels projected onto the image detector matrices.
  • the different optical channels thus have different but partially overlapping detection areas. An overlapping area of two detection areas of two optical channels is thus imaged, with regard to an image detector grid of the image detector arrays, onto the image detector matrices of the optical channels.
  • the advantage of the present invention is thus that the parallel detection of partial areas of the object field in separate optical channels allows a short focal length of each individual channel and thus allows a reduction in the length of the extended object field imaging device. Furthermore, the short focal length, in conjunction with a small object field, which is small in relation to the total object field, makes it possible for a respective single channel to use simple optical components (for example, a refractive lens with a low peak height) per channel. Furthermore, it is advantageous that the maximum field of view is determined by the lateral dimensions (for example number of channels) and thus is essentially independent of the overall length or the complexity of the optical structure of each individual channel.
  • an optical device according to the present invention can be fabricated with established micro-optic manufacturing technology (laser writing, photolithography, melting or reflow melting (“reflow”)). low "), UV-imaging on a wafer scale.) These technologies are mature, highly accurate and cost-effective in mass production.
  • an image processing device comprises an image processing device for correcting image aberrations and for reconstructing an overall image which is designed to correct the image errors of the individual images of all the image detector matrices, independently of each other in time in parallel and in order to reconstruct an overall picture from the individual pictures in such a way that the entanglement of the individual figures is taken into account.
  • a further advantage of the present invention is that a higher image quality can be achieved by an image processing device having an image processing device for correcting image errors.
  • 1 is a schematic representation of an optical imaging device according to the invention according to a first embodiment of the present invention
  • 2 is a drawing for scanning an object field by the first embodiment with additional channel-wise scanning gratings.
  • FIG. 3 is a simplified schematic plan view of an optical imaging apparatus according to the second embodiment of the present invention.
  • FIG. 4 is a schematic representation of the scanning of the object field by an optical imaging apparatus according to the second embodiment of the present invention and a representation of the stepwise image preprocessing; a schematic plan view of a portion of an optical imaging apparatus according to the second embodiment of the present invention with the numbered individual channels; a simplified representation of the observed from the portion of Figure 5A object field area; a schematic plan view of a portion of an optical imaging device according to the second embodiment of the present invention, with additional channel-integrated spectral transmission fields (surface pattern); simplified representation of an object field region observed by the subregion of FIG.
  • Fig. 12 is a schematic sectional view of an optical imaging device according to the second embodiment of the present invention.
  • Fig. 13 is a schematic sectional view of an optical imaging device according to the third embodiment of the present invention
  • Fig. 14 is a schematic sectional view of an optical imaging device according to a fourth embodiment of the present invention.
  • Fig. 15 is a schematic sectional view of an optical imaging device according to a fifth embodiment of the present invention.
  • Fig. 1 shows a schematic representation of an optical imaging device 1000 according to a first embodiment of the present invention.
  • the optical imaging device 1000 includes a microlens array 10 having a first microlens 10a and a second microlens 10b.
  • Below the microlens array 10 is an image sensor 30.
  • This image sensor 30 includes a first image detector die 30a and a second image detector die 30b.
  • Each of the two image detector arrays 30a and 30b comprises a plurality of, for example, three image detectors 32a, 32b.
  • the first microlens 10a is associated with and forms with the first image detector die 30a a first optical channel
  • the second microlens 10b is associated with the second image detector die 30b and forms with it a second optical channel.
  • the centers 34a and 34b of the image detector arrays 30a and 30b are laterally offset from the center of area of the microlens apertures 13a and 13b projected onto the image detector arrays 30a and 30b of the associated microlenses 10a and 10b and the associated optical channels, respectively.
  • An object 800 is imaged by the two microlenses 10a and 10b on the respective associated image detector arrays 30a and 30b.
  • the first optical channel and the second optical channel overlap in their detection areas.
  • the overlap area of the two detection regions is staggered onto the image detectors of the image detector arrays 30a and 30b.
  • a sampling grid is associated with each optical channel (see FIG. 2) where a sample grating 810 of the first optical channel describes which object points of an object 800 are imaged onto which image detectors of the image detector array 30a, the first optical channel, and wherein a sampling grating 820 of the second optical channel describes which object points of the object 800 are imaged onto which image detectors of the image detector matrix 30b, the second optical channel.
  • FIG. 2 shows a surface of the object 800 with the scanning grating 810 of the first optical channel and the scanning grating 820 of the second optical channel.
  • the sampling grid 810 is shown in solid lines
  • the sampling grid 820 is shown in dashed lines.
  • the crossing points of the solid lines describe the object cells of the object which are imaged onto the image detectors of the image detector matrix 30a, the first optical channel.
  • the crossing points of the dashed lines describe the object cells of the object which are imaged onto the image detectors of the image detector matrix 30b, the second optical channel.
  • the scan gratings are selected to image a first object cell 840 of the object 800 onto a first image detector of the first optical channel image detector array 30a and a second object cell 850 adjacent the first object cell 840 to a first image detector of the second second optical image detector array 30b Channel is mapped.
  • This "entanglement" of the optical channels a higher image resolution can be achieved than with previously known artificial facet-eye principles.
  • the multichannel micro-optical imaging and image recording systems according to the exemplary embodiments according to FIGS. 12-15 have the following properties, all consisting of one or more microlens fields 10 mounted axially one behind the other on a stack of several at least partially transparent sub strate layers 20 , 21, 22 and / or spacer layers 40 are molded.
  • the entire layer stack is mounted on an optoelectronic image sensor 100 such that it is located in the focal length (or image plane or focal plane) of the microlenses of the microlens field 10.
  • the optoelectronic image sensor is also referred to below as "image sensor” or "image sensor chip”.
  • a die of at least 5x5 densely packed image detectors (ie, an image detector die) 30 of the optoelectronic image sensor 100 is used to read the microimage formed in each channel.
  • the image reading in this case includes the conversion of the electromagnetic radiation (light) occurring into electrical photocurrents. These are photodiode photodiode (pixelwise) sorted in rows and columns read, the image resolution is limited to the size and number of photodiodes.
  • each microimage stands upside down and is reversed (see microimages 44a to 44e in FIG. 4).
  • the average gaze direction 400 of each channel that is, the connecting line between the vertex of the microlens and the center of the associated image detector die 30
  • the size of the total field of view are determined by a center offset from the respective microlens to the associated image detector die 30 or by the offset of the center of the image detector die 30, relative to the area centroid projected onto the image detector die 30 of the microlens aperture of the associated optical channel and associated microlens, respectively.
  • the extent of the respective image detector die 30 together with the focal length of the microlens determines the area of the object field which is transmitted in the respective channel.
  • At least one aperture diaphragm field 11 prevents the light from passing through the intermediate spaces of the microlens field and reaches the image sensor 100 as stray light. Otherwise this would reduce the image contrast.
  • the use of channel separation structures for example, horizontal diaphragm layers or vertical or oblique absorbing walls) is recommended (in some cases even essential) for optical crosstalk, that is light which projects from a microlens into the region of the adjacent channel micrograph (or even further channels). to avoid.
  • Optical crosstalk leads to the superimposition of light bundles, which emanate from different object points, onto one and the same pixel, so that the image contrast is reduced.
  • each optical channel functions independently of the others, it is also advantageous to connect the regions 30 of the optoelectronic image sensor 100 belonging to the respective microimages to corresponding channels to break down.
  • SoC channel-by-channel separate circuits
  • a conventional image sensor with correspondingly adapted, downstream Jardin kau- and / or software can be used for the second method.
  • the active pixels in the spaces between the microimages on the conventional image sensor remain unlit and unused. They can only serve to correct dark current noise at most.
  • the read-out signals of the microimages of the adjacent channels can be computed in hardware or software with one another to form the overall image (for example, by the overall image reconstructor 60 according to FIG. 4).
  • An active focusing device of the individual microimages is not necessary due to the short focal length of the microlenses and the associated large depth of field (or depth of field).
  • each individual microlens of the microlens array 10 can be corrected for its mean angle of incidence (especially field curvature and astigmatism). This is done by the individual adjustment of the focal length in the tangential and sagittal direction, so that the corresponding image shells coincide in the middle of the microimage in the image plane.
  • anamorphic profiles of the microlenses deviating from the rotational symmetry arise in the respective microlens field.
  • the multi-channel imaging objectives can advantageously be produced by means of microoptical production methods (UV lithography, melting processes (reflow method and UV imaging or even laser writing, gray tone or two-photon lithography) Lenses are very high, since it can be mounted directly and flat on the optoelectronic image sensor.
  • the axial tolerances are therefore given by the layer thickness tolerances (in the ⁇ range.)
  • Lateral mounting tolerances are due to the accuracy of the masks, alignment marks and the adjustment device in the respective mask aligner ( Mask Aligner), which amounts to a few ⁇ (eg 1 to 2 ⁇ ).
  • the optical imaging device differs from the prior art in the field of artificial compound eyes such.
  • DE 10 2004 003 013.8 and WO 2005/069607 inter alia by the use of a multiplicity of pixels per channel and the imaging of small microimages, which are then calculated into an overall image.
  • each channel detects an object field which is many times larger than that of DE 10 2004 003 013.8 and WO 2005/069607.
  • a pixellated microimage of an extended object field area is thus detected.
  • the pixelized microimages of the different channels are interlocked so that a higher overall resolution is possible.
  • the use of a plurality of pixels per channel allows the use of larger, easier-to-manufacture microlenses.
  • the areas of the object field detected by the individual channels may partially overlap, and yet the objects imaged on the individual pixels of the photodiode groups are predominantly disjoint.
  • the reason for this is that the sampling gratings of adjacent channels in non-integer multiples of the sampling interval (distance between two adjacent lines of the sampling grid) of the single channel are shifted from each other, whereby a dense object field sampling in the interaction of adjacent channels despite the short focal length of the microlenses and the fixed size of the Photodiodes is enabled.
  • two cases for shifting the sampling gratings of adjacent channels may be mentioned here.
  • Fig. 11 shows these two cases schematically.
  • the two-dimensional region scanned in the object field by a photodiode of the optoelectronic image sensor of an optical imaging device is represented in cross-section by a box function.
  • the line style and the numbers indicate the assignment of the sampling areas to the respective channels.
  • five photodiodes for example, five photodiodes 32a for the third channel and five photodiodes 32b for the fourth channel
  • N 5 with N: number of scanning regions or photodiodes per channel.
  • Photodiodes of the first channel are numbered 1 and represented by a dash-dot line.
  • Photodiodes of the second channel are numbered 2 and shown by a short dashed line.
  • the photodiodes 32a of the third channel are numbered 3 and represented by a solid line.
  • the photodiodes 32b of the fourth channel are numbered 4 and represented by a wide dashed line.
  • Photodiodes of the fifth channel are numbered 5 and represented by a dashed line.
  • Photodiodes of the sixth channel are numbered 6 and a dashed line is shown.
  • Adjacent photodiodes of different channels detect adjacent object cells of the object detected by the optical imaging device.
  • the sample grids of each two adjacent channels are shifted from each other by half the sampling interval dA of a single channel (displacement: dV).
  • the shift dV of the sampling grid of one of the channels of the considered pair to the next channel of an adjacent pair is a non-integer multiple of the sampling interval in FIG Single channel (for example, (Nl / 2) x dA, where N is an integer).
  • N is an integer.
  • This case is relevant for a small number of optical channels (for example 2 ⁇ 2 channels) or for smaller object distances (smaller than 50 ⁇ focal length) in order to ensure seamless equidistant scanning of the object field.
  • a shift takes place by an odd multiple of half the sampling interval of a single channel.
  • Case 2 shows a shift dV of the optical channels or the centers of the photodetector arrays of the optical channels by half of the total sum of all sampling intervals (N x dA) within a channel or by half of the product of the number (N) of the photodiodes and the Sampling interval (dA) of an optical channel (for example N x dA / 2), with an odd number of photodiodes or sampling areas per channel (N).
  • This case is relevant to a larger number of channels in order to halve the sampling period in the interplay of adjacent channels, while preserving neither sampling gaps nor multiple sampling. This property has several advantages.
  • a first advantage is that a shortening (eg, halving) of the overall length (even for the multi-channel system) is possible with constant angle scanning. This means that the rearwardly projected by the optics angular distance between two adjacent image pixels of the overall image is maintained. This applies assuming the same f-number (F / #) and the same size of the photodiodes with respect to the prior art.
  • the resulting reduction of the lateral dimensions of the objective leads to a cost reduction, since an optoelectronic image sensor with a smaller footprint can be used.
  • Another advantage is the increased sensitivity with constant angle scanning, as is represented with a shorter focal length of the microlenses on the same size photodiode. Since the shortening of the focal length reduces the angular resolution in comparison with known systems while the size of the photodiode remains the same, in order additionally to keep the angular resolution constant, an optoelectronic image sensor with corresponding smaller photodiodes can be used, the sensitivity of the respective photodiodes being reduced compared to larger photodiodes.
  • FIG. 5a shows a schematic plan view of a partial region 500 of an optical imaging system according to an exemplary embodiment of the present invention with the individual channels 10 'identified by numbers.
  • Fig. 5a shows an exemplary arrangement for the microlens array 10 'as may be arranged in the embodiments shown in Figs. 12-15.
  • Each optical channel of the optical imaging system is exactly one micro lens 101-103; 201-203; 301-303, which is arranged in the microlens array 10 '.
  • the profile of the microlenses 101-103; 201-203; 301-303 is represented by contour lines 510.
  • FIG. 5B shows a simplified representation of an object field region 800 'observed by this subarea.
  • the object field area 800 ' is divided into cells 810, each of which is imaged onto a photodiode within a single channel 10' (through a microlens 101-103; 201-203; 301-303 associated with the channel).
  • each object cell is designated by the code number of the respective channel 10 '(or of the microlens 101-103, 201-203, 301-303) which detects this cell. Consequently, it can be seen here that adjacent object cells are detected by photodiodes of adjacent optical channels (or microlenses 101-103, 201-203, 301-303, respectively). Due to the entanglement of the optical channels, it is possible that the sampling gaps of an optical channel are detected by an adjacent optical channel.
  • a multispectral image recording for example color image recording
  • the spectral transmission filters necessary for this purpose are pixel-wise, that is to say on the individual photodiodes of the optoelectronic image sensor (eg.
  • the channel-wise integration of the spectral filter has the advantage over a conventional single-channel imaging system that the optics have the additional effect of correcting them in the known "Bayer mosaic") or on a channel-by-channel basis, for example within the microlens objective or on the associated image sensor area
  • no color crosstalk between adjacent photodiodes occurs in this configuration, resulting, for example, in a higher color rendition lance of the image when using color filters in the visual spectrum (eg. Red, green, blue).
  • the length of the optical Imaging system shortens.
  • a sampling scheme according to FIG. 4 and FIGS. 6A and 6B is used.
  • FIG. 6A shows a schematic plan view of a partial region 600 of an optical imaging device according to one exemplary embodiment of the present invention with the individual channels (10 ') identified by numbers and channel-integrated spectral transmission filters (surface pattern).
  • the top view of the optical imaging device shown in Fig. 6A differs therewith only by the spectral transmission filters on the optical channels or the microlenses 101-103; 201-203; 301-303.
  • Each surface pattern is assigned exactly one spectral transmission filter, and each channel is assigned to exactly one spectral color.
  • different optical channels can have the same spectral transmission filters.
  • the channels 101, 103, 301, 303 have an oblique line surface pattern and thus a first transmission filter (for example for the color red), the channels 102 and 302 have a straight line surface pattern and thus a second transmission filter (For example, green), the channels 201 and 202 have a wavy line surface pattern and thus a third transmission filter (for example, for the color blue) and the channel 202 has a dotted surface pattern and thus a fourth transmission filter (for example, a gray filter).
  • a first transmission filter for example for the color red
  • the channels 102 and 302 have a straight line surface pattern and thus a second transmission filter (For example, green)
  • the channels 201 and 202 have a wavy line surface pattern and thus a third transmission filter (for example, for the color blue)
  • the channel 202 has a dotted surface pattern and thus a fourth transmission filter (for example, a gray filter).
  • FIG. 6B shows a simplified representation of an object field region 800 'observed by this subregion 600 from FIG. 6A.
  • the object field area 800 ' is divided into object cells 810, wherein an object cell 810 is respectively (at least substantially) imaged onto a photodiode within a single channel 10'.
  • Adjacent object cells 810 are separated from adjacent optical channels 101-103 due to the scanning gratings located in the object-side depth-of-field of the imaging device; 201-203; 301-303 recorded. It becomes clear that the areas of the object field detected by adjacent channels (for example 101, 102, 201, 202) partly overlap so that directly adjacent image information (for example 810a, 810b, 810c, 81d0) in the combined overall image is produced by different spectral transmission filters (for example red filters , Green filter, blue filter, Gray filters) or filtered to obtain spectral data.
  • the multispectral data (eg, a gray value per color) of a respective image pixel or image information (eg, 810a) may be obtained by the weighted interpolation from the physically acquired value of the associated spectral region (s) (eg, 810a) and the values of the others Spectral regions or the image information (for example, 810b, 810c, 810c) of the adjacent and / or surrounding pixels (for example, 810b, 810c, 810c) are interpolated, each pixel is associated with a spectral region or a transmission filter.
  • each channel comprises its own transmission filter, wherein adjacent channels preferably comprise different transmission filters, in contrast to the integration of the spectral transmission filter on each photodiode has the advantage that larger transmission filters can be used, which in the Production are easier to handle.
  • the channel-wise spectral transmission filters can also be integrated on the image sensor area of the respective channels.
  • Fig. 12 shows an optical imaging apparatus 1200 according to the second embodiment of the present invention.
  • the imaging microlenses 10 are in a two-dimensional field arrangement (one-dimensional arrangement is also possible) on a stack of transparent or at least partially transparent substrate layers 20, 21, 22 with a total layer thickness corresponding to the focal length of the microlenses in the respective material (glass, plastic).
  • On the rear side of the transparent substrate layers 20, 21, 22 is (for example in a focal plane of the microlenses 10) of the optoelectronic image sensor 100 with a plurality of photodiodes 30 ', which are also arranged in a two-dimensional field.
  • an aperture diaphragm 11 Between the substrate layer 20 and the substrate layer 21 there is a first diaphragm field 12. A second diaphragm field 12 'is located between the substrate layer 21 and the substrate layer 22. At the bottom of the substrate layer 22 is the image sensor 100 attached. The centers of the image detector arrays 30 have a center offset from the to the image detector arrays 30 projected area of the microlens apertures swatches of the associated optical channels.
  • the average viewing direction 400 of each channel is described by the offset of the center of the image detector die 30 from the centroid of the micro-lens aperture of the respective optical channel projected onto the image detector die 30.
  • the regions of the object field detected by adjacent channels may overlap each other, at least in part, with the two coarse scan gratings of the channels complementing each other to form a denser new scanning grating.
  • a sampling lattice of a considered channel is understood to mean, for example, the entirety of those object points in the depth of field (or in a plane in the depth of field) of the considered channel which are imaged onto the individual image detectors of the image detector matrice 30 of the considered channel.
  • Figures 2, 4 and 5A and 5B show this property, the entanglement of adjacent channels.
  • the use of the aperture stop field 11 directly under the microlens array 10 proves advantageous to suppress stray light that would otherwise fall through the interstices of the microlenses.
  • the at least two horizontal aperture panels 12 and 12 'of opaque (absorbent or reflective) material are used to prevent optical crosstalk between the channels.
  • the transparent substrate layers 20, 21, 22 are advantageously made of glass, plastic or inorganic copolymer (eg ORMOCER).
  • a field-type arrangement of spectral transmission filters eg, channel-wise red, green, blue filters
  • the optical imaging device 1200 is characterized by its monolithic layer construction and the associated simplified manufacturing technology and stability.
  • the optics can be produced separately from the optoelectronic image sensor 100 and can be mounted in the subsequent step with this wafer scale (many optical systems on a wafer parallel to many optoelectronic systems on another wafer) by means of alignment marks.
  • individual optics can be sawed out of the optical wafer composite and individually mounted on the respective optoelectronic image sensors.
  • the fixation is done, for example, by gluing, soldering or anodic bonding.
  • a hybrid production technique is conceivable in which the optical components are built up step by step on the optical wafer with the plurality of image sensors 100.
  • FIG. 3 is a simplified schematic plan view of a two-dimensional one Imaging and imaging system according to the second embodiment shown. Shown here are the field-like arranged microlenses 10, the profile of which is represented by contour lines, and the groups of photodiodes (laterally offset laterally relative to the centroids of the microlens apertures of the respective channels or the respective microlenses projected onto the image detector matrices 30).
  • the second embodiment may include a unit 70 for channel-wise electronic preprocessing of the signals of the microimages. This can optionally be integrated in the circuit of the optoelectronic image sensor 100, or downstream of the image sensor 100.
  • the unit 70 may also be referred to below as an "image processing device”.
  • the image processing device 70 is located in the periphery outside the opto-electronic image sensor chip 100 (for example, an FPGA on the same circuit board on which the image sensor chip 100 is located), ie not on the image sensor chip 100 (English: "off-chip")
  • the image sensor chip 100 then has a few outputs, the entire image matrix (totality of all image information captured by the image detectors 30 'of the image detector matrices 30) is output and subsequently processed jointly (temporally serial).
  • the image processing device 70 is located in the periphery outside the optoelectronic image sensor chip 100, but the image sensor 100 has a plurality of outputs (at least as many as image detector matrices 30) are available).
  • the correction of distortion and further image preprocessing for each microimage can be separated and, if appropriate, carried out in parallel over time.
  • the image processing device 70 is located on the opto-electronic image sensor chip 100 (eg "ASIC" application-specific integrated circuit) but outside the photo-active area area.
  • the entire image matrix is transferred from the photoactive area within the image sensor chip 100 to the image processing device 70 and subsequently jointly processed (temporally serial).
  • the image processing device 70 is located on the opto-electronic image sensor chip 100 (eg ASIC) and a part, namely the microimage processing devices 50, is located in the interstices of the image detector matrices 30. In this case, part of the image processing is done for each image detector die 30. Image detector array 30 separated and performed in parallel time. In addition, the integration of the necessary circuits into the photoactive
  • the microimage processing for each of the image detector array 30 and the image detector matrice 30 is performed by microimage processing devices between the image detector arrays 30 and in parallel therewith in time.
  • the channel-by-channel correction of distortion can only be performed "temporally-parallel" in the case of the hardware implementation of the image processing device 70 (e.g., in an FPGA, ASIC, and the like), so the "parallel in time” property is optional.
  • this embodiment of the hardware embodiment is therefore preferred, but a software-based correction (for example in a connected PC) can also be performed.
  • the unit 70 or the image processing device 70 will now be explained using the example of the second embodiment. It implements a hardware- and / or software-implemented channel-by-channel electronic correction of the distortion of the microimages.
  • a simple imaging optics eg individual plano-convex lens
  • increasing image distortions occur with increasing angle of incidence (ie in the outer area of the object field).
  • a square object area is shown under oblique incidence in a diamond-shaped image area.
  • Fig. 7A shows a qualitative representation of the distortion in a central object field region of the second embodiment.
  • Object cells which are located in a square grid, are imaged at an oblique angle of incidence to smaller radial image coordinates, resulting in a barrel distortion.
  • FIG. 7B shows that at an oblique insertion angle (here 38 ° diagonal angle in the object field), the distortion additionally becomes highly asymmetrical.
  • Figs. 7A and 7B show amplified for visualization purposes.
  • the signals of the micro images are by a hardware and / or software component either directly in the integrated circuit (eg ASIC , SoC) or downstream (eg: FPGA, CPU) rotated and inverted and equalized (that is, corrected for distortion, for example by a distortion corrector 50 according to Fig.
  • the distortion corrector 50 can also dark-roughen Fixed (fixed pattern noise) and the inhomogeneity of the illuminance ("shading") in the microimages are corrected.
  • the parallelizability of this image processing allows (for example by means of an application-specific circuit (ASIC)) a short computing time and thus a high repetition rate of the overall image.
  • ASIC application-specific circuit
  • the unit for correcting the distortion and composing the entire image from the individual microimages is shown in Fig. 4 and Fig. 9 and will now be explained in detail with reference to these two figures. 4 shows an optical imaging device according to the second embodiment with a downstream unit (50, 60, 61) for correcting the microimages and for reconstructing the overall image 300 from the microimages.
  • An object 800 located in the extended object field area is detected by different channels of the optical imaging device according to its size.
  • the object field regions imaged by the individual microlenses of the microlens array 10 at least partially overlap one another. Nevertheless, the object regions (44a to 44e) imaged on the image detector matrices (30a to 30e) are predominantly disjoint, that is to say object field regions (44a to 44e) which are already imaged on an image detector matrix (30a to 30e) will preferably not be further Image detector die (30a to 30e) shown.
  • the reason for this is that the sampling gratings of adjacent channels e.g. B.
  • FIG. 4 further shows the schematic representation of the image preprocessing with an image processing device 70, which is necessary in order to form a complete and undistorted image 300 of the entire object 800 from the recorded microimages of the pixel groups (30a to 30e).
  • the individual microimages 30a to 30e are mirrored horizontally and vertically in a first processing device 51 ("microimage inverter") of the image processing device 70 (corresponds to rotation through 180 °)
  • the micro images are converted from their discrete grid structure by means of a spatial transformation (eg bi-linear transformation into x and y coordinates) to a continuous virtual coordinate plane.
  • the transformation parameters are known from the optical design data as well as simulations, so that image distortions due to perspectives, magnification variations, and aberrations are corrected.
  • the thus undistorted pixel values are mapped channel by channel onto a new discrete grid ( ⁇ ', y' in 31a to 31e).
  • the processing steps carried out in the processing devices 51 and 52 can preferably be performed channel-wise and thus in parallel.
  • the first processing means 51 and the second processing device 52 within a circuit module for each channel, directly on the chip of the image sensor 100 (eg ASIC) integrate.
  • the optically unused space between the image detector matrices 30 of adjacent channels lends itself to.
  • the fusion of the pixel values (or construction of the overall image) of all microimages (31a to 31e) can be found either close to the hardware, ie electronically in the periphery of the chip of the optoelectronic image sensor (eg FPGA), or close to software, ie only within an externally connected CPU (eg PC) , instead of.
  • the hardware ie electronically in the periphery of the chip of the optoelectronic image sensor (eg FPGA), or close to software, ie only within an externally connected CPU (eg PC) , instead of.
  • the fusion of the pixel values may be performed by a third processing means 60 ("overall image reconstructor") of the image processing means 70 which performs the resorting of the pixel values from the undistorted microimages 31a to 31e to a final image matrix 300 according to a fixed pattern defined by the interleavers - Kung the Abtastgitter the individual channels is given.
  • a third processing means 60 overall image reconstructor
  • all image reconstructor of the image processing means 70 which performs the resorting of the pixel values from the undistorted microimages 31a to 31e to a final image matrix 300 according to a fixed pattern defined by the interleavers - Kung the Abtastgitter the individual channels is given.
  • FIG. 9 shows a schematic illustration of the distortion of an image of a square object area with a grid object 800 as a result of distortion during imaging at an oblique angle of incidence.
  • the left side shows the reconstruction of a grating object 800 as a comparative example without the second distortion correction processing device 52
  • the right side shows the reconstruction of the grating object 800 with the second distortion correction processing device 52.
  • the image recording sequence including the image through the multichannel imaging and image recording system or the optical imaging device and the subsequent inversion by the first processing device ("microimage inverter") 51 of the microimages (here 3 x 3 pieces) are shown.
  • the microimages 32 are still recorded as a result of the missing second processing means ("equalization stage") 52.
  • the image processing sequence is shown with a distortion correction stage (equalization stage 52).
  • the microimages 31 thus transformed are undistorted and, after compensation of the parallax by the parallax compensator 61 (virtual shift of the microimages) and the fusion of the pixel values of all the microimages by the overall image reconstructor 60, gives a total image 300 which is a sufficiently accurate representation of the object 800 represents.
  • a channel-wise correction of the distortion of the microimages and an interpolation of the pixel values of the microimages is performed, thus the resolution in the overall image is not reduced by the segmentation.
  • an electronic adjustment of the working distance in the object space can be used.
  • an electronic adjustment of the working distance in the object space can be used.
  • This offset can be corrected by a ("virtual") shift of the field information, which depends on the object distance and the base length between the channels (ie the distance between the centers of the photoductor arrays of the respective channels) the offset can be corrected electronically by measuring the object distance (eg with a suitable independent distance sensor)
  • the optical imaging and image recording system adjusts the overall image by varying the virtual offset of the microimages before the offset (fusion of the microimages) an overall image) for the respective distance undistorted and sharp (for example, by the parallax compensator 61 in Fig. 4).
  • the adjustment of the working distance takes place in accordance with the number of image pixels of each microimage in discrete steps.
  • a coordinate transformation to the undistorted microimage
  • an interpolation the signal strength of the undistorted microimage in the case of discrete pixel positions
  • the adjustment of the working distance by means of virtual subpixel shifts can also be carried out in finer graduations.
  • the sorting algorithm in the overall image reconstructor 60 varies by the micro images of the individual channels are virtually offset laterally according to a table of values. This can be done in gradation of a pixel or even finer by subpixel interpolation.
  • Fig. 13 shows an optical imaging device 1300 according to a third embodiment of the present invention
  • Optical imaging device 1300 comprises an image sensor 100 with, for example, five image detector matrices 30.
  • On the side (or above) of the image sensor 100 facing the object is a transparent substrate layer 22 on which there is a first aperture field 12 'above the first aperture field 12 ', there is another transparent substrate layer 21, above which there is a second diaphragm field 12.
  • a spacer layer 40 is arranged above the second diaphragm field 12, the microlens array 10, ie the plane sides d, sits upside down in this spacer layer 40
  • the microlenses of the microlens array 10 point in the direction of the object, while the curved sides of the microlenses point in the direction of the image sensor 100.
  • a further substrate layer 20 is arranged, which has on its upper side a second Aperturblendenfeld 1 1 '.
  • a filter layer 200 is arranged above the second aperture diaphragm field 11 '.
  • the function and advantages of the optical imaging device 1300 according to the third embodiment will be explained below. Accordingly, in the optical imaging apparatus 1300, since the microlens array 10 having at least one substrate layer 20 is placed upside down on a spacer 40 with the underlying stack of transparent substrate layers 21, 22, the second aperture panel 11 'can be separated from the lenses and become open the front of the transparent substrate layer 20 are located. This has the following advantages over the optical imaging device 1200 according to the second embodiment.
  • a first advantage is that optical aberrations (in particular coma, astigmatism and field effect) can be partially compensated by the upstream position of the second aperture diaphragm field 1 1 'in conjunction with a plano-convex lens, which would otherwise result in a higher number of optical elements (lenses). within each single channel would require.
  • Another advantage is that light 410, which is to be imaged by the lens from a large angle of incidence, is refracted into the substrate layer 20 through the filter layer 200 before it reaches the actual lens surface. Due to the higher environmental refractive index of the substrate layer 20 pass the Beams the lens profile at smaller angles, resulting in a reduction in optical aberrations.
  • the principal rays of the central fields impinge on the photoactive areas of the optoelectronic image sensor 100 in each channel at a small angle, which has an advantageous effect on the relative illuminance in the image.
  • an optical filter 200 eg, IR cut filter for visual light applications
  • a field array of spectral transmission filters e.g., channel red, green, etc.
  • the plane boundary surface can be used for antireflection coating (eg AR coating) and for protecting the subsequent second aperture stop field 11 'against environmental influences (eg scratch-resistant coating).
  • the field-like arrangement of spectral transmission filters eg channel-wise red, green and blue color filters
  • the field spacers 40 are recommended to be either opaque material (eg, plastic, deeply etched silicon) or transparent materials (eg, plastic, glass, or inorganic organic polymer (eg, ORMOCER)).
  • the interstices include a material having a lower refractive index (eg, air, evacuated air, nitrogen, or the like) as compared with the microlenses, for focusing through the lenses.
  • the second aperture field layer 12 on the front side of the substrate 21 is necessary in some cases to prevent optical crosstalk between the channels.
  • the first aperture field 12 ' is additionally needed in some cases for the same reason, and additional aperture fields can be added to further minimize crosstalk between the channels.
  • the substrate layers 21, 22 can be dispensed with as long as the axial channel separation structures constitute a stable framework for the assembly of the microlens field 10 and the substrate layer 20.
  • the light bundles are then focused axially after the microlenses 10 in the respective filling medium (eg air, evacuated air, nitrogen or the like).
  • the cavities caused by the upside-down structure and the spacers 40 necessitate a construction and connection technique modified in comparison to the second exemplary embodiment.
  • the stack of filter layer 200, substrate layer 20, aperture diaphragm fields 11, 11 'and microlenses 10 can be produced separately from the stack of spacers 40 of the substrate layers 21, 22 with their diaphragm layers 12, 12'.
  • the two components can then be precisely adjusted on a wafer scale using markers and joined together (eg gluing, soldering or anodic bonding).
  • the entire microlens objective can then be adjusted and bonded on the optoelectronic image sensor 100, optionally on the wafer scale or in cut-to-size individual objectives.
  • the optical components can be built up in layers or layers on the optical wafer with the plurality of image sensors.
  • an anti-reflective coating on the curved surfaces of the microlenses 10 and on the front surface of the substrate layer 21 is advantageous.
  • FIG. 14 shows an image of an optical imaging device 1400 according to a fourth embodiment of the present invention.
  • three microlens arrays 10, 101, 102 are used axially in succession in an approximately symmetrical arrangement about the aperture diaphragm field 11 '. It is also possible that more than three microlens fields are used.
  • the first microlens array 10, consisting of convex-planar lenses, is located above (on an object-facing side) of a thin substrate layer 20, wherein between the substrate layer 20 and the micro lens array 10, an aperture diaphragm field 1 1 is structured.
  • Below the thin substrate layer 20 is a second microlens array 101, the lenses are designed plano-concave here.
  • an aperture diaphragm field 11 ' which represents the actual system aperture diaphragm in each channel.
  • the substrate layer 21 with front-side (the object zugwandten) Aperturblendenfeld 11 ' is directly connected to the residual layer of the microlens array on the back (the object facing away) of the substrate layer 20, so that a monolithic imaging lens is formed.
  • On the substrate rear side of the substrate layer 21 is another horizontal diaphragm layer 12, which serves to suppress optical crosstalk.
  • Another plano-convex microlens array 102 is formed on the back side of the substrate layer 21.
  • the layer stack thus created is fixed on the optoelectronic image sensor 100 by means of axial spacer structures 41.
  • the spacers 41 are made on the edge of the multi-channel lens.
  • the spacers 41 can also be designed channel by channel.
  • glass, plastic or metal can be used as the material for the spacers 41.
  • the material should be opaque or opaque in subsequent assembly steps (eg, blackening with light-absorbing material when using glass).
  • the respective photodiode group 30 has relative to the associated microlenses from the microlens senfelder 10, 101, 102, a lateral offset (distance difference - "pitch difference"), the middle observation direction (optical beam which through the microlens to the photodiode or photodiodes in the center
  • a lateral offset distance difference - "pitch difference”
  • the middle observation direction optical beam which through the microlens to the photodiode or photodiodes in the center
  • the various microlens arrays 10, 101, 102 may be made of different materials (various Glasses, plastics, inorganic organic polymers, etc.) in order, for example, to correct chromatic aberrations due to the different dispersion properties of the materials
  • one or more of the microlens fields 10, 101, 102 may be achromatic be designed matic elements.
  • both the multi-channel imaging system and the photosensitive areas of the optoelectronic image sensor 100 are protected against laterally incident stray light.
  • the microlens fields 10, 101, 102 may alternatively have a center spacing that is different from one another, such that the axial connecting lines 1410 between the vertices 1420 of the individual microlenses from FIGS. 10, 101, 102, between see adjacent channels enclose an angle and are not parallel as shown in optical imaging device 1400 of FIG.
  • a small micro-objective is produced in each channel, which images an image of the respectively assigned object section or object section onto the group of photodiodes 30 of the optoelectronic image sensor 100 assigned to it.
  • no two-step image with intermediate images is explicitly used in order to obtain the smallest possible overall length of the overall objective.
  • the arrangement of the three microlens arrays 10, 101, 102 of FIG. 14 is advantageous in order to reduce the optical aberrations (such as distortion, chromatic aberration and coma) within each individual channel and thus increase the optical resolution over the other embodiments.
  • the barrel-shaped distortion is largely corrected, so that the resolution of the overall image for large object field angles is no longer reduced as a result of the drawings.
  • the increased complexity also makes it possible to increase the optical intensity (reduction of the f-number).
  • Fig. 15 shows an optical imaging apparatus 1500 according to a fifth embodiment of the present invention.
  • the optical imaging device 1500 comprises on the upper side of a substrate layer 20 a microlens field which is designed as a first field of refractive free-form surfaces 10, and on the underside of a substrate layer 21 a microlens field which is formed as a second field of refractive free-form surfaces 102 is.
  • a field of refractive free-form surfaces is generally understood to mean a microlens field in which individual lens parameters (ie also the shape and size of the aperture) differ from channel to channel (or from free-form surface to free-form surface).
  • the first field of refractive free-form surfaces 10 and an associated aperture diaphragm 11 are located above the thin transparent substrate layer 20.
  • On the back of the substrate layer 20 is a plano-concave microlens array 101.
  • On the front side of the axially following substrate layer 21 is an aperture diaphragm 11 '.
  • Substrate layer 21 with front aperture field 11 ' is directly connected to the residual layer of microlens field 101 on the rear side of substrate layer 20, so that a monolithic imaging objective is produced.
  • a horizontal diaphragm layer 12 which serves to suppress optical crosstalk, and the second field refractive free-form surfaces 102.
  • the various microlens fields (or refractive free-form surface fields) 10, 101, 102 can be made of different materials (different glasses , Plastics, inorganic-organic co-polymers, etc.) consist, for. B. chromatic aberrations caused by the different chen dispersion properties of the materials to correct. Furthermore, one or more of the microlens fields (or refractive free-form surface fields) 10, 101, 102 can be designed as a field of achromatic elements.
  • the multi-channel imaging objective is fixed on the optoelectronic image sensor 100 by means of axial spacer structures 41. These spacers 41 are executed at the edge of the multi-channel lens, but can optionally be designed as a channel. In particular, glass, plastic or metal can be used as the material. The material should be opaque or rendered opaque in subsequent assembly steps (eg, blackening with light-absorbing polymer when using glass).
  • a focus here is generally understood to mean aspherical lenses and refractive free-form surfaces at which point normal (for example normal to a main surface of the image sensor 100) incident light is focused.
  • the respective photodiode group 30 has a lateral offset (distance difference - "pitch difference") with respect to the associated microlenses or refractive free-form surfaces from the microlens fields or refractive free-form surface fields 10, 101, 102, which predetermines the mean observation direction of the respective channel in the object field.
  • the optical imaging device 1500 according to the fifth embodiment shown in FIG. 15 has a higher optical fill factor than the optical imaging device 1500 shown in FIG. 14 according to the fourth embodiment. This is achieved by the use of at least one field-like arrangement of refractive shaping surfaces (in the optical imaging device 1500 according to FIG. 15, for example, two fields of refractive free-form surfaces are used - the first field of refractive free-form surfaces 10 and the second field of refractive free-form surfaces 102) reaches a respective microlens field.
  • the lateral extent of these free-form surfaces within each channel is not significantly greater than the illuminated area belonging to the respective photodiode group of a larger (complete) microlens compared to a free-form surface.
  • the groups of the photodiodes (photodiode arrays 30), densely packed, can be arranged side by side, which means a smaller active area compared to the use of microlenses of the optoelectronic image sensor 100 and thus a reduction in the manufacturing cost of the optoelectronic image sensor 100.
  • an axially approximate symmetrical arrangement is provided around the aperture stop panel 11 'with the advantages of increasing the optical aperture shown in the fourth embodiment Resolving power used. Distortion can be greatly reduced in the arrangement shown, primarily by the axially symmetrical optical structure within each channel.
  • the independent adaptation of the tangential and sagittal microlens parameters is preferred.
  • the imaging by one (thus anamorphic) refractive free-form surface per channel produces different imaging scales in the tangential and sagittal directions, resulting in a uniaxial distortion of each microimage.
  • This distortion can advantageously be corrected by the channel-by-channel local transformation and interpolation of the pixel values (for example using a second processing device 52 according to FIG. 4) in order to connect (matching) the image details of adjacent optical channels and thus a high resolution in the overall image guarantee.
  • a second refractive free-form surface per channel can be used to optically correct the variation of the magnification in the tangential and sagittal directions simultaneously with the channel-wise correction of imaging fields under oblique incidence of light.
  • the refractive free-form surfaces 10, 102 may be described channel by channel at least approximately through segments of larger biconical microlenses (i.e., microlenses having two aspherical profiles with different conic along two vertical cuts through the surface profile).
  • the surface profile of a biconical lens is thus generally not rotationally symmetric, that is anamorphic.
  • the exact mathematical description of their channel-wise different surface profiles is made by a polynomial winding of the axial arrow height as a function of the two-dimensional coordinates with respect to a reference point.
  • the microlenses within the field array differ from each other in at least one of their structural parameters (eg, shape of base, diameter, arrow height, radius of curvature, center distance, and others).
  • the surface profiles of the microlenses spherical, toric (ie, two spherical radii curvature along two vertical sections), biconic (ie, two aspheric profiles with different conic along two vertical sections) or aspherical.
  • the microlenses can also be designed as refractive optical freeform surfaces.
  • the microlenses are generally refractive, but in another embodiment may also be diffractive or a hybrid of the two. Furthermore, it is possible for the individual microlenses of the microlens fields to be designed as achromats in order to minimize color longitudinal and lateral chromatic aberrations. Furthermore, it is possible for the microlens field or the microlens fields and possibly further interfaces between materials having different refractive indices to be provided with reflection-reducing layers (AR coating).
  • AR coating reflection-reducing layers
  • Another possibility of hardware distortion correction is the variation of the physical center distances of the photodiodes 30 'in the optoelectronic image sensor 100.
  • the channel-specific distortion can thus be corrected by an image sensor 100 adapted for the optics with a channel-dependent change in the arrangement of the photodiodes 30' within the microimage region.
  • the channel-specific arrangement of the photodiodes 30 ' can be determined from the optical design data and in particular the channel-wise directory progression (see FIG.
  • the photodiode groups 30 are arranged on the optoelectronic image sensor 100 in a hexagonal, square, rectangular or other distribution, it is also possible for the associated microlenses 10 to be arranged in a hexagonal, square, rectangular or other distribution.
  • an imaging and imaging system in accordance with the present invention consists of one or more microlens arrays and an image detector array which includes a subarea in each channel of the object field is detected, images and composed of the electronic / digital signals of all individual channels an overall picture of the extended object field.
  • the system is fully self-contained and does not need to be combined with other optics. This represents a contrast to microlens fields on the respective photodiodes of image sensors, which are not imaging, but only light-bundling serve to increase the optical fill factor.
  • the following advantages arise among other things, the following advantages.
  • a further advantage is that the use of channel-wise signal pre-processing, in particular for the correction of optical distortion within each microimage, allows the segmentation of the object field without reducing the resolution in the total field, wherein a microimage in the image of a portion of the object field, by a microlens is created on an image detector matrix. Furthermore, due to the division of the image of the object field by a multiplicity of separate optical channels, a shortening of the length of the optical system is made possible and nevertheless the detection of a large object field area is made possible (in particular the size of the detectable object field scales with the number of channels and the lateral System size, but is independent of the overall length).
  • an optical imaging device allows an increase in the quotient of Profaufansshunt and required surface of the optoelectronic image sensor and thus a reduction in the overall system cost.
  • a suitable variation of the optical structure (see third embodiment) of the growing to the edge of the waste Image brightness can be reduced.
  • the typical diameter of the microlenses may be in the range of 10 ⁇ to 1 mm
  • the focal length of the microlenses may typically be in the range of 30 ⁇ to 3 mm.
  • the number of microlenses or channels may typically be 4 to 250,000, while in the one-dimensional field it may typically be 2 to 1,000. Due to the advantages of having an optical imaging device according to the present invention, a complete length of the imaging optics typically results in sizes of 50 ⁇ m to 4.5 mm.
  • the overall image resolution of an optical imaging device according to the present invention is typically between 10,000 pixels to 10 megapixels or more.
  • An imaging microlens array (for example, on a thin substrate with apertures) on an image sensor according to an embodiment of the present invention is clearly distinguishable from conventional single channel optics (then typically hybrid, since lens is manufactured separately (injection molding) and with the image sensor in a common housing is installed).
  • multi-channel imaging and image acquisition systems are for use in consumer electronics products (laptops, game consoles, toys) and, above all, for use in portable devices (cell phone, PDA and others) ) predestined.
  • sensor technology eg camera-type sensors, imaging sensors in production technology
  • automotive technology eg optical safety sensors in automotive interiors, driver assistance systems such as reversing camera, lane detection, etc.
  • safety monitoring eg , B. switchable environmental cameras with large field of view on / in buildings, museums, objects
  • robotics eg as an optical sensor for navigation, optical control of grippers or component receiving devices
  • medical technology eg in diagnostic imaging, endoscopy.
  • Embodiments of the methods can be supplemented by all aspects and functionalities of the devices according to the invention.
  • aspects have been described in the context of a device, it should be understood that these aspects also include a description of the subject matter. represent a block or a component of a device as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
  • a further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represent the computer program for carrying out one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
  • CPU computer processor
  • ASIC application specific to the process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Es wird eine optische Vorrichtung zur Abbildung mit mindestens einem Mikrolinsenfeld (10) mit mindestens zwei Mikrolinsen (10a, 10b) und einem Bildsensor (30) mit mindestens zwei Bilddetektorenmatrizen (30a, 30b) beschrieben. Die zumindest zwei Bilddetektorenmatrizen umfassen jeweils eine Mehrzahl von Bilddetektoren (32a, 32b) und es besteht eine Zuordnung zwischen den Bilddetektorenmatrizen und den Mikrolinsen, so dass jede Mikrolinse zusammen mit einer Bilddetektorenmatrize einen optischen Kanal bildet. Die Mittelpunkte (34a, 34b) der Bilddetektorenmatrizen sind lateral unterschiedlich weit gegenüber auf die Bilddetektorenmatrizen projizierten Flächenschwerpunkten der Mikrolinsenaperturen (13a, 13b) der zugehörigen optischen Kanäle verschoben, so dass die optischen Kanäle unterschiedliche teilweise überlappende Erfassungsbereiche aufweisen und dass ein Überlappbereich der Erfassungsbereiche zweier Kanäle im Hinblick auf ein Bilddetektorraster der Bilddetektorenmatrizen versetzt, auf die Bilddetektorenmatrizen abgebildet wird. Weiterhin werden eine Bildverarbeitungsvorrichtung und ein Verfahren zur optischen Abbildung beschrieben.

Description

Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
Beschreibung
Hintergrund der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung, eine Bildverarbeitungsvorrichtung und ein Verfahren zur optischen Abbildung, welche beispielsweise in miniaturi- sierten Kamerasystemen für tragbare Endgeräte zum Einsatz kommen können.
Der Einsatz miniaturisierter Kamerasysteme für tragbare Endgeräte (Mobiltelefon, PDA, Laptop etc.) bedingt neben der Verkleinerung elektronischer und optoelektronischer Bauteile auch die Miniaturisierung der Abbildungsobjektive. Die Voraussetzungen dafür sind kurze Objektivbaulängen und eine geringe Anzahl von optischen Komponenten (vor allem Linsenelemente). Die fortschreitende Verringerung der Bildsensordiagonale, welche durch die Entwicklung der Halbleiterstrukturierungstechnologie (kleinere Photodioden, gleich größere Anzahl von Pixeln auf gleicher Bildfläche) sowie durch die Reduktion der Sensorherstellungskosten getrieben ist, verlangt jedoch, dass trotz der Vereinfachung des Optikaufbaus, ein hohes Auflösungsvermögen und eine hohe Lichtstärke der Optik erreicht werden müssen. Die vorhandenen Optikdesignlösungen zeichnen sich durch wenige, dafür aber komplexe (zumeist asphärische) Linsenformen aus, welche die Möglichkeiten der aktuellen Herstellungstechnologien erschöpfen. Durch unzureichende Messverfahren für die Qualitätskontrolle solcher komplexen Flächen und die hochpräzisen lateralen und axia- len Montagegenauigkeiten, die notwendig sind, um die optischen Bauteile eines solchen miniaturisierten Kameraobjektives zu fassen, sind in der Realisierung weitere Grenzen gesetzt. Bestehende Lösungen für miniaturisierte Kameramodule genügen entweder nicht den Spezifikationen oder den Preisvorstellungen der Integratoren und Anwender. Ein etabliertes Herstellungsverfahren kleiner Kameraoptiken ist die Erzeugung von Einzellinsen und Fassungen durch Kunststoffspritzguß in ultrapräzisionsbearbeiteten Formeinsätzen. Für gewöhnlich können dabei die Linsen zusammen mit deren Fassung in Zweikomponentenspritzguß hergestellt werden. Die Einzelkomponenten werden im Anschluss in einer Steckfassung montiert und mittels formschlüssiger Verbindung (Ansprengen, Kle- ben) fixiert. Dieses Verfahren ist jedoch für die Herstellung von miniaturisierten Objektiven mit einer Baugröße kleiner als 5 x 5 x 5 mm3 nicht mehr mit hinreichender Justagegenauigkeit anwendbar. Weitere Probleme ergeben sich für die Zufuhrung sowie die Aufbau- und Verbindungstechnik derartig kleiner Komponenten. Im Detail entstehen Probleme der Handhabung der Bauteile aufgrund von elektrostatischen Kräften (kleines Gewicht und Abmessungen der Bauteile) sowie der Gefahr der Verschmutzung und des Zerkratzens der empfindlichen optischen Flächen. Aus diesen Gründen entfallen über 80 % der Produktionskosten auf die Montageprozesse. Es existieren zwar fortschrittliche Ansät- ze für die Handhabung kleiner Optiken in hybrider Aufbautechnik (sensorisch gestützte mechanische und elektrostatische sowie pneumatische Mikrogreifer), diese erhöhen jedoch erheblich die Kosten für eine Massenfertigung (z. B. Kameraoptiken für Mobiltelefone). Des Weiteren wird durch die hybride Fertigungstechnik für höhere Auflösungsformate eine aktive Positionierung z. B. Pieozostelltrieb der Kunststoffoptiken benötigt, um die Tole- ranzen der Montage des Objektivs auf dem optoelektronischen Bildwandler (Bildsensor) auszugleichen. Dies führt zu einer weiteren Erhöhung des Stückpreises.
Ein alternatives Verfahren für Objekte der Größenordnung kleiner als 5 x 5 x 5 mm3 stellt die Herstellung von Optiken im Wafermaßstab (WLO-wafer level optics) dar. Hier ver- wendet man einen Werkzeugeinsatz für die jeweiligen Einzellinsen, der durch Ultrapräzisionsbearbeitung (z. B. Diamantdrehen) erzeugt wurde, zur mehrfachen UV-Abformung (Step- und Repeatprozess) der Einzelkomponente auf einem Substratwafer (Waferlevel Optikmodule). Alternativ kann ein ganzer Werkzeugwafer immer gleicher Einzelkomponenten mittels Ultrapräzisionsbearbeitung erstellt und anschließend in einem einzigen UV- Abformschritt im Wafermaßstab repliziert werden. Viele gleichartige Linsen, aber auch Abstandshalter und Blenden können auf diese Weise parallel hergestellt werden. In nachfolgenden Schritten können die einzelnen Waferplatten axial miteinander gebondet werden, um einen Waferstapel mit einer Vielzahl von Objektiven zu erhalten. Hierbei handelt es sich um eine parallelisierte Herstellungstechnologie, die auf Prozesse und Anlagen der Mikroelektronikfertigung zurückgreift. Die Hauptnachteile der Anwendung dieser Herstellungsverfahren der Mikrooptik für miniaturisierte Linsen, die aber im Vergleich zu üblichen Mikrolinsen groß ausfallen, sind die hohen Kosten für die Herstellung geeigneter Abformwerkzeuge sowie die durch z. B. Materialschrumpf limitierte Genauigkeit der erreichbaren Oberflächenprofile bei der UV-Replikation von Mikrolinsen großer Scheitel- höhen (größer 100 μιη). Des Weiteren verbleiben Probleme bei der Reproduzierbarkeit und Qualitätsprüfung, insbesondere der Charakterisierung der komplexen Linsenform dieser Größenordnung, bisher ungelöst. Die Module können bisher nur im Verbund mit allen anderen optischen Komponenten mit einem bildgebenden Verfahren getestet werden, was abhängig von der Anzahl der Komponenten und Herstellungsschritte die Ausbeute stark reduziert.
Weiterhin existieren Anordnungen eines flachen optischen Abbildungssensors, der die technische Umsetzung des Appositionsfacettenauges der Insekten darstellt. In diesem ext- rem kompakten, mehrkanaligen Abbildungssystem ist jeder Mikrolinse ein Photodetektor (Pixel) zugeordnet.
Im Folgenden wird ein Photodetekor teilweise auch als Bilddetektor oder auch als Photo- diode bezeichnet.
Durch den Versatz des Photodetektors zur jeweiligen Mikrolinse kann, trotz der geringen Baugröße, ein sehr großes Gesichtsfeld aufgespannt werden. Aufgrund der Verwendung eines Photodetektors pro Kanal besteht jedoch der Bedarf für eine große Grundfläche des Photodetektorenfeldes (CMOS oder CCD-Bildsensor) um ein moderates Bildauflösungsvermögen zu erreichen. Dies erhöht die Herstellungskosten eines entsprechenden miniaturisierten abbildenden Sensors beträchtlich.
Die Druckschriften DE 10 2004 003 013.8 und PCT PAT. APPL. WO 2005/069607 be- schreiben ein mehrkanaliges Abbildungssystem auf Basis eines künstlichen Facettenauges, wobei hier jedem Kanal ein Bilddetektor zugeordnet ist, oder einige wenige Bilddetektoren unterschiedlicher Funktionen zugeordnet sind. Jeder Kanal erfasst damit nur einen eng begrenzten Bereich des Objektfeldes. Die Druckschriften US 005696371 A und EP 0840502A2 beschreiben ein weiteres mehrkanaliges Abbildungssystem auf Basis künstlicher Facettenaugen. Es wird eine kompakte digitale Kamera mit einer mehrkanaligen refraktiven/diffraktiven Abbildungsoptik und segmentierten Gesichtsfeld beschrieben. Das System besteht aus einer Feldanordnung von Linsen, die als dezentrierte Linsensegmente ausgeformt sind, in deren Brennweite sich ein photoempfindliches Bildsensorfeld befindet. Axial vor dem Linsenfeld werden zwei Blendenfelder mit schräg verlaufenden Seitenwänden und einer gegenüber dem Linsenfeld größeren Periode verwendet, um die Gesichtfeldgröße vorzugeben. Zur Unterdrückung von optischem Übersprechen werden senkrechte Wände aus lichtabsorbierendem Material zwischen benachbarten optischen Kanälen vorgeschlagen.
Die Druckschrift J. Tanida, T. Kumagai, K. Yamada und S. Miyatake,„Thin Observation module by bound optics (Tombo) concept and experimental verification" Appl. Opt. 40, Seiten 1806-1813, April 2001 zeigt eine weitere mehrkanalige Anordnung zur optischen Abbildung. Aus dieser Schrift ist eine mehrkanalige Anordnung bekannt, bei der sich die Mikrobilder des optoelektronischen Bildsensors zentriert axial unter der jeweils zugeordneten Mikrolinse befinden und benachbarte Kanäle mit senkrechten, lichtundurchlässigen Wänden voneinander getrennt sind. Mit dieser Anordnung kann jedoch nur ein kleines Objektfeld erfasst werden. Für kleine Objektentfernungen (etwa kleiner 2 m) kann durch den auftretenden Blickwinkelversatz (Parallaxe) benachbarter Kanäle auf denselben Objektpunkt eine Subpixelverschiebung der Mikrobildabbildung in Bezug auf die kanalweise Photodiodengruppe des Bildsensors erhalten werden, welche mittels eines Super Resolution Algorithmus aus der Vielzahl der niedrig aufgelösten Mikrobilder ein hoch aufgelöstes Gesamtbild errechnet. Diese Anordnung kann prinzipbedingt nur für kleine Objektabstände und kleine Objektfeldgrößen verwendet werden. Weiterhin besitzt dieses Verfahrens eine erhöhte Bildauslese und Verarbeitungszeit, da der Super Resolution Algorithmus (bekannt aus der Bildverarbeitung) eine hohe Komplexität besitzt. Eine alternative technische Umgehungsmöglichkeit stellt die Nutzung sehr kleiner Photodioden (Pixel) für den optoelektronischen Bildsensor in Verbindung mit einer einkanaligen Optik dar. Die somit kleine Bilddiagonale führt bei einer kurzen Baulänge der Optik zu kleinen Objektfeldwinkeln am Rand (geringe off-axis Aberrationen und geringe Vignettie- rung) und somit aber auch zu dem Nachteil der Erfassung nur eines kleinen Objektfeldes. Für diese miniaturisierte Einkanaloptik kann eine relativ kleine Linse mit sehr geringer Baulänge und hinreichender Bildqualität verwendet werden, so dass auch hier die erfindungsgemäßen (lithographischen) Technologien im Wafermaßstab abgewendet werden können. Allerdings haben kleine Pixel den Nachteil, geringer photoempfindlicher Fläche und damit, bei gleicher Blendenzahl der Optik, geringer Empfindlichkeit der Gesamtan- Ordnung.
Zusammenfassend kann festgehalten werden, dass sich im Stand der Technik keine vorteilhafte Bauform einer Abbildungsvorrichtung findet, die eine hohe Bildqualität mit einer kleinen Bauhöhe vereint und dabei kosteneffizient durch bekannte mikrooptische Herstel- lungstechnologien hergestellt werden kann.
Es ist somit die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur optischen Abbildung zu schaffen, die bei geringer Bauhöhe die Erzielung einer hohen Bildqualität ermöglicht und dabei kosteneffizient durch mikrooptische Herstellungstechno- logien realisiert werden kann.
Zusammenfassung der Erfindung
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1, eine Bildverarbeitungs- Vorrichtung gemäß Anspruch 14 und ein Verfahren gemäß Anspruch 15 gelöst.
Die vorliegende Erfindung schafft eine Vorrichtung zur optischen Abbildung (beispielsweise auch als optische Abbildungsvorrichtung oder als mehrkanaliges Abbildungs- und Bildaufnahmesystem bezeichnet) mit mindestens einem Mikrolmsenfeld mit mindestens zwei Mikrolinsen, und einem Bildsensor mit mindestens zwei Bilddetektorenmatrizen, wobei die zumindest zwei Bilddetektorenmatrizen (beispielsweise auch als Photodiodengruppen oder Photodiodenmatrizen oder Photodiodenfelder bezeichnet) jeweils eine Mehr- zahl von Bilddetektoren umfassen.
Zwischen den Bilddetektorenmatrizen und den Mikrolinsen besteht eine Zuordnung, so dass jede Mikro linse zusammen mit einer Bilddetektorenmatrize einen optischen Kanal bildet. Die Mittelpunkte der Bilddetektorenmatrizen sind lateral unterschiedlich weit ge- genüber auf die Bilddetektorenmatrizen projizierten Flächenschwerpunkten der Mikrolin- senaperturen der zugehörigen optischen Kanäle verschoben. Die verschiedenen optischen Kanäle haben damit verschiedene, aber teilweise überlappende Erfassungsbereiche. Ein Überlappbereich zweier Erfassungsbereiche zweier optischer Kanäle wird damit, im Hinblick auf ein Bilddetektorraster der Bilddetektorenmatrizen versetzt auf die Bilddetekto- renmatrizen der optischen Kanäle abgebildet.
Es ist der Kerngedanke der vorliegenden Erfindung, dass es möglich ist, eine Vorrichtung zur optischen Abbildung zu schaffen, indem ein Objektfeld in mehrere Teilbereiche aufgeteilt wird und jeder Teilbereich durch mindestens eine Mikrolinse eines Mikrolinsenfeldes auf eine zugeordnete Bilddetektorenmatrize abgebildet wird. Aufgrund der Überlappung der Erfassungsbereiche der verschiedenen optischen Kanäle werden Teilbereiche des Objektfelds parallel von mehreren Bilddetektorenmatrizen der optischen Kanäle erfasst.
Der Vorteil der vorliegenden Erfindung besteht somit darin, dass die parallele Erfassung von Teilbereichen des Objektfeldes in getrennten optischen Kanälen eine kurze Brennweite jedes einzelnen Kanals erlaubt und damit eine Verringerung der Baulänge der Abbildungsvorrichtung für ein ausgedehntes Objektfeld ermöglicht. Weiterhin ermöglicht die kurze Brennweite in Verbindung mit einem gegenüber dem Gesamtobjektfeld kleinen Objektfeld für einen jeweiligen Einzelkanal die Verwendung einfacher optischer Komponenten (bei- spielsweise refraktive Linse mit geringer Scheitelhöhe) pro Kanal. Weiterhin ist vorteilhaft, dass das maximale Gesichtsfeld durch die lateralen Abmaße (beispielsweise Anzahl der Kanäle) bestimmt ist und somit im Wesentlichen unabhängig von der Baulänge oder der Komplexität des optischen Aufbaus jedes einzelnen Kanals ist. Aufgrund der Überlappung der Erfassungsbereiche der optischen Kanäle wird zudem ein hohes Bildauflösungs- vermögen, im Vergleich zu den künstlichen Facettenaugen im Stand der Technik, erreicht. Weiterhin kann eine optische Vorrichtung gemäß der vorliegenden Erfindung aufgrund ihrer geringen Komplexität und Größe mit etablierter mikrooptischer Herstellungstechnologie (Laserschreiben, Photolithographie, Schmelzen bzw. Rückflussschmelzen („Ref- low"), UV-Abformung im Wafermaßstab) erzeugt werden. Diese Technologien sind ausgereift hoch präzise und kostengünstig in der Massenfertigung einsetzbar.
Ein weiterer Aspekt basiert auf der Erkenntnis, dass eine höhere Bildqualität erreicht wer- den kann, wenn eine Bildverarbeitungsvorrichtung eine Bildverarbeitungseinrichtung zur Korrektur von Bildfehlern und zur Rekonstruktion eines Gesamtbildes umfasst, welche ausgelegt ist um die Korrektur der Bildfehler der Einzelabbildungen aller Bilddetektorenmatrizen, unabhängig voneinander zeitlich parallel auszuführen und um aus den Einzelabbildungen ein Gesamtbild zu rekonstruieren derart, dass die Verschränkung der Einzelab- bildungen berücksichtigt ist.
Ein weiterer Vorteil der vorliegenden Erfindung ist damit, dass durch eine Bildverarbeitungsvorrichtung mit einer Bildverarbeitungseinrichtung zur Korrektur von Bildfehlern eine höhere Bildqualität erzielt werden kann.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert.
Es zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen optischen Abbildungsvorrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung; Fig. 2 eine Zeichnung zur Abtastung eines Objektfeldes durch das erste Ausführungsbeispiel mit zusätzlichen kanalweisen Abtastgittern;
Fig. 3 eine vereinfachte schematische Draufsicht auf eine optische Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 4 eine schematische Darstellung der Abtastung des Objektfeldes durch eine optische Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung sowie eine Darstellung der stufenweisen Bildvorverarbeitung; eine schematische Draufsicht auf einen Teilbereich einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung mit den durch Ziffern gekennzeichneten Einzelkanälen; eine vereinfachte Darstellung des von dem Teilbereich aus Fig. 5A beobachteten Objektfeldbereiches; eine schematische Draufsicht auf einen Teilbereich einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung, mit zusätzlich kanalweise integrierten spektralen Transmissionsfeldern (Flächenmuster); vereinfachte Darstellung eines von dem Teilbereich aus Fig. 6A beobachteten Objektfeldbereichs; eine qualitative Darstellung der Verzeichnung in einem zentralen Objektfeldbereich einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung; eine qualitative Darstellung der Verzeichnung eines äußeren Objektfeldbereiches einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung unter schrägem Einfallswinkel; eine Darstellung des prinzipiellen Verlaufs der positiven tonnenförmigen Verzeichnung; eine schematische Darstellung der Verzerrung des Bildes eines quadratischen Objektbereichs bei einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung mit einem Gitterobjekt, wobei rechts ein Schema unter Verwendung einer Verarbeitungseinrichtung zur Verzeichniskorrektur und als Vergleichsbeispiel links ein Schema ohne Verwendung dieser gezeigt ist;
Darstellung des Einfallswinkels (in Grad) des Hauptstrahls des zweiten Ausführungsbeispiels der vorliegenden Erfindung sowie des Hauptstrahls einer optischen Abbildungsvorrichtung gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung auf die Ebene des Bildsensors; Fig. 11 eine schematische Darstellung der wichtigsten Abtastprinzipien des Objektfeldes;
Fig. 12 eine schematische Schnittansicht einer optischen Abbildungsvorrichtung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 13 eine schematische Schnittansicht einer optischen Abbildungsvorrichtung gemäß dem dritten Ausführungsbeispiel der vorliegenden Erfindung; Fig. 14 eine schematische Schnittansicht einer optischen Abbildungsvorrichtung gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 15 eine schematische Schnittansicht einer optischen Abbildungsvorrichtung gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung.
Detaillierte Beschreibung der Ausführungsbeispiele
Fig. 1 zeigt eine schematische Darstellung einer optischen Abbildungsvorrichtung 1000 gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung. Die optische Abbildungsvorrichtung 1000 umfasst ein Mikrolinsenfeld 10 mit einer ersten Mikrolinse 10a und einer zweiten Mikrolinse 10b. Unter dem Mikrolinsenfeld 10 befindet sich ein Bildsensor 30. Dieser Bildsensor 30 umfasst eine erste Bilddetektorenmatrize 30a und eine zweite Bilddetektorenmatrize 30b. Jede der beiden Bilddetektorenmatrizen 30a und 30b umfasst eine Mehrzahl von beispielsweise drei Bilddetektoren 32a, 32b. Die erste Mikrolinse 10a ist der ersten Bilddetektorenmatrize 30a zugeordnet und bildet mit dieser einen ersten optischen Kanal, die zweite Mikrolinse 10b ist der zweiten Bilddetektorenmatrize 30b zugeordnet und bildet mit dieser einen zweiten optischen Kanal. Die Mittelpunkte 34a und 34b der Bilddetektorenmatrizen 30a und 30b sind lateral versetzt, gegenüber auf die Bilddetektorenmatrizen 30a und 30b projizierten Flächenschwerpunkten der Mikrolinsen- aperturen 13a und 13b der zugeordneten Mikrolinsen 10a und 10b bzw. der zugeordneten optischen Kanäle.
Ausgehend von der strukturellen Beschreibung der optischen Abbildungsvorrichtung 1000 gemäß dem ersten Ausführungsbeispiels der vorliegenden Erfindung wird nun die Funktionsweise erläutert. Ein Objekt 800 wird durch die beiden Mikrolinsen 10a und 10b auf die jeweils zugeordneten Bilddetektorenmatrizen 30a und 30b abgebildet. Der erste optische Kanal und der zweite optische Kanal überlappen sich in ihren Erfassungsbereichen. Auf- grund der lateralen Verschiebung der Mittelpunkte 34a und 34b der Bilddetektorenmatrizen 30a und 30b zu den Mikrolinsen 10a und 10b wird der Überlappbereich der beiden Erfassungsbereiche versetzt auf die Bilddetektoren der Bilddetektorenmatrizen 30a und 30b abgebildet.
Zusätzlich ist jedem optischen Kanal ein Abtastgitter zugeordnet (siehe Fig. 2) wobei ein Abtastgitter 810 des ersten optischen Kanals beschreibt, welche Objektpunkte eines Objekts 800 auf welchen Bilddetektoren der Bilddetektorenmatrize 30a, des ersten optischen Kanals, abgebildet werden und wobei ein Abtastgitter 820 des zweiten optischen Kanals beschreibt, welche Objektpunkte des Objekts 800 auf welche Bilddetektoren der Bilddetektorenmatrize 30b, des zweiten optischen Kanals, abgebildet werden.
Fig. 2 zeigt eine Oberfläche des Objekts 800 mit dem Abtastgitter 810 des ersten optischen Kanals und dem Abtastgitter 820 des zweiten optischen Kanals. Das Abtastgitter 810 ist mit durchgezogenen Linien dargestellt, das Abtastgitter 820 ist mit gestrichelten Linien dargestellt. Die Kreuzungspunkte der durchgezogenen Linien beschreiben die Objektzellen des Objektes welche auf die Bilddetektoren der Bilddetektorenmatrize 30a, des ersten optischen Kanals abgebildet werden. Die Kreuzungspunkte der gestrichelten Linien beschreiben die Objektzellen des Objektes welche auf die Bilddetektoren der Bilddetektorenmatri- ze 30b, des zweiten optischen Kanals abgebildet werden.
Die Abtastgitter so gewählt sind, dass eine erste Objektzelle 840 des Objektes 800 auf einen ersten Bilddetektor der Bilddetektorenmatrize 30a des ersten optischen Kanals abgebildet wird und eine zweite, der ersten Objektzelle 840 benachbarte, Objektzelle 850 auf einen ersten Bilddetektor der zweiten Bilddetektorenmatrize 30b des zweiten optischen Kanals abgebildet wird. Durch diese„Verschränkung" der optischen Kanäle lässt sich eine höhere Bildauflösung als bei bisher bekannten künstlichen Facettenaugenprinzipien erzielen. Im folgenden werden weitere Ausführungsbeispiele der vorliegenden Erfindung anhand der Figuren 12-15 näher erläutert.
Die mehrkanaligen mikrooptischen Abbildungs- und Bildaufnahmesysteme gemäß den Ausführungsbeispielen gemäß der Figuren 12-15 haben die folgenden Eigenschaften ge- mein, alle bestehen aus einem oder mehreren axial hintereinander angebrachten Mikrolin- senfeldern 10, welche auf einem Stapel mehrerer zumindest teilweise transparenter Sub- strätschichten 20, 21, 22 und/oder Abstandshalterschichten 40 abgeformt sind. Der ganze Schichtstapel ist so auf einem optoelektronischen Bildsensor 100 angebracht, dass sich dieser in der Brennweite (bzw. Bildebene oder Brennebene) der Mikrolinsen des Mikrolin- senfeldes 10 befindet. Der optoelektronische Bildsensor wird im Folgenden auch kurz als „Bildsensor" oder„Bildsensorchip" bezeichnet. Zwischen dem Mikrolinsenfeld 10 und dem optoelektronischen Bildsensor 100 befindet sich mindestens eine Blendenfeldschicht (12, 12') mit transparenten Öffnungen und lichtundurchlässigen (das heißt, absorbierenden oder reflektierenden) Zwischenräumen. Eine weitere Eigenschaft ist, dass zugeordnet zu jeder Mikrolinse aus dem Mikrolinsenfeld 10 eine Matrize von mindestens 5 x 5 dicht gepackten Bilddetektoren (also eine Bilddetektorenmatrize) 30 des optoelektronischen Bildsensors 100 zur Auslese des in jedem Kanal entstehenden Mikrobildes verwendet wird. Die Bildauslese beinhaltet in diesem Fall die Umwandlung der auftretenden elektromagnetischen Strahlung (Licht) in elektrische Photoströme. Diese werden Photodiode für Photodiode (pixelweise) in Zeilen und Spalten geordnet ausgelesen, wobei die Bildauflösung dabei auf die Größe und Anzahl der Photodioden begrenzt ist. Da in jedem Kanal eine einfache optische Abbildung entsteht, steht jedes Mikrobild für sich auf dem Kopf und ist seitenverkehrt (siehe Mikrobilder 44a bis 44e in Fig. 4). Außerdem ist die mittlere Blickrichtung 400 jedes Kanals (also die Verbindungslinie zwischen dem Scheitelpunkt der Mikrolinse und dem Mittelpunkt der zugeordneten Bilddetektorenmatrize 30) sowie die Größe des insgesamt aufgespannten Gesichtsfeldes durch einen Zentrumsversatz von der jeweiligen Mikrolinse zur zugeordneten Bilddetektorenmatrize 30 bzw. durch den Versatz des Mittelpunktes der Bilddetektorenmatrize 30, gegenüber dem auf die Bilddetektorenmatrize 30 projizierten Flächenschwerpunkt der Mikrolinsenapertur des zugeordneten optischen Kanals bzw. der zugeordneten Mikrolinse beschrieben. Weiterhin bestimmt die Ausdehnung der jeweiligen Bilddetektorenmatrize 30 zusammen mit der Brennweite der Mikrolinse den Bereich des Objektfeldes der im jeweiligen Kanal übertragen wird.
Weiterhin verhindert mindestens ein Aperturblendenfeld 11 das Licht durch die Zwischenräume des Mikrolinsenfeldes hindurch tritt und als Streulicht den Bildsensor 100 erreicht. Dies würde sonst den Bildkontrast verringern. Die Verwendung von Kanalseparationsstrukturen (beispielsweise horizontale Blendenlagen oder vertikale oder schräge absorbierende Wände) ist empfehlenswert (in manchen Fällen sogar essentiell) um optisches Übersprechen, also Licht welches von einer Mikrolinse in den Bereich des Mikrobildes des Nachbarkanals (oder gar weiter entfernten Kanälen) abbildet, zu vermeiden. Optisches Übersprechen führt zur Überlagerung von Licht- bündeln, welche von unterschiedlichen Objektpunkten ausgehen, auf ein und demselben Bildpunkt, so dass sich der Bildkontrast verringert. Da jeder optische Kanal von den übrigen unabhängig funktioniert, ist es vorteilhaft, auch die zu den jeweiligen Mikrobildern gehörenden Bereiche 30 des optoelektronischen Bildsensors 100 in entsprechende Kanäle zu gliedern. Dies kann einerseits durch die physische Untergliederung der Auslesebereiche des Photodiodenfeldes durch eine auf dem Chip des Bildsensors 100 integrierte Elektronik (beispielsweise kanalweise getrennte Schaltkreise, SoC =„System on a Chip" =„System auf einem Chip") oder auch außerhalb des Halbleiterchips durch die entsprechend getrenn- te Weiterverarbeitung der Daten (in Peripherie beispielsweise auf einem FPGA oder sogar durch Software auf einem PC), die jeweils ein Mikrobild repräsentieren, erreicht werden. Für die erste Methode (physische Untergliederung auf dem Chip des Bildsensors) muss ein speziell für das Objektiv angepasster Bildsensor verwendet werden. Im Gegensatz dazu kann für die zweite Methode ein konventioneller Bildsensor mit entsprechend angepasster, nachgeschalteter Bildverarbeitungshard- und/oder Software verwendet werden. Dabei bleiben jedoch die aktiven Pixel in den Zwischenräumen zwischen den Mikrobildern auf dem konventionellen Bildsensor unbeleuchtet und ungenutzt. Sie können höchstens zur Korrektur von Dunkelstromrauschen dienen. Die ausgelesenen Signale der Mikrobilder der benachbarten Kanäle können in Hard- oder Software miteinander zum Gesamtbild verrechnet werden (beispielsweise durch den Gesamtbild-Rekonstruierer 60 gemäß Fig. 4). Eine aktive Fokussierungseinrichtung der einzelnen Mikrobilder ist aufgrund der kurzen Brennweite der Mikrolinsen und der damit verbundenen großen Schärfentiefe (bzw. Tiefenschärfe) nicht notwendig. Außerdem kann das Oberflächenprofil jeder einzelnen Mikrolinse des Mikrolinsenfeldes 10 für ihren mittleren Einfallswinkel (speziell auf Bildfeldwölbung und Astigmatismus) korrigiert werden. Dies geschieht durch die individuelle Anpassung der Brennweite in tangentialer und sagittaler Richtung, so dass die entsprechenden Bildschalen in der Mitte des Mikrobildes in der Bildebene zusammenfallen. Durch diese Anpassung entstehen von der Rotationssymmetrie abweichende (anamorphotische) Profile der Mikrolinsen im jeweiligen Mikrolinsenfeld.
Die mehrkanaligen Abbildungsobjektive (Mikrolinsenfeld, Abstandshalterschichten und Aperturblenden) können vorteilhaft mittels mikrooptischer Herstellungsmethoden (UV- Lithographie, Schmelzprozesse (Rückflussverfahren bzw.„Reflow" und UV-Abformung oder auch Laserschreiben, Grauton oder Zweiphotonenlithographie) erzeugt werden. Dabei ist die axiale Positoniergenauigkeit des mikrooptischen Objektives sehr hoch, da es direkt und flächig auf den optoelektronischen Bildsensor montiert werden kann. Die axialen Toleranzen sind demnach durch die Schichtdickentoleranzen (im μηι-Bereich) gegeben. Laterale Montagetoleranzen werden durch die Genauigkeit der Masken, Justiermarken und der Justagevorrichtung im jeweiligen Maskenausrichter (Mask Aligner) bestimmt. Sie betragen wenige μιη (z. B. 1 - 2 μιη). Gemäß einem Aspekt der Erfindung unterscheidet sich die optische Abbildungsvorrichtung gemäß der vorliegenden Erfindung von dem Stand der Technik auf dem Gebiet künstlicher Facettenaugen, wie z. B. in DE 10 2004 003 013.8 und WO 2005/069607 beschrieben werden, unter anderem durch die Verwendung einer Vielzahl von Pixel pro Kanal und die Abbildung kleiner Mikrobilder, die anschließend zu einem Gesamtbild verrechnet werden. Statt eines eng begrenzten Bereichs des Objektfeldes erfasst jeder Kanal ein im Vergleich zu DE 10 2004 003 013.8 und WO 2005/069607 um ein Vielfaches größeres Objektfeld. In jedem Kanal wird somit ein pixelliertes Mikrobild eines ausgedehnten Objektfeldbereiches erfasst. Die pixellierten Mikrobilder der verschiedenen Kanäle sind miteinander ver- schränkt so dass ein höheres Gesamtauflösungsvermögen ermöglicht wird. Weiterhin ermöglicht die Nutzung einer Vielzahl von Pixeln pro Kanal die Nutzung größerer, einfacher herzustellender Mikrolinsen.
Die von den einzelnen Kanälen erfassten Bereiche des Objektfeldes können sich teilweise überlappen und dennoch sind die auf die einzelnen Pixel der Photodiodengruppen abgebildeten Objekte vorwiegend disjunkt. Der Grund dafür ist, dass die Abtastgitter benachbarter Kanäle in nicht ganzzahligen Vielfachen des Abtastintervalls (Abstand zwischen zwei benachbarten Linien des Abtastgitters) des Einzelkanals gegeneinander verschoben sind, wodurch eine dichte Objektfeldabtastung im Zusammenspiel benachbarter Kanäle trotz der kurzen Brennweite der Mikrolinsen und der festen Größe der Photodioden ermöglicht wird. Insbesondere seien hier zwei Fälle für die Verschiebung der Abtastgitter benachbarter Kanäle genannt. Fig. 11 zeigt diese beiden Fälle schematisch. Der im Objektfeld durch eine Photodiode des optoelektronischen Bildsensors einer optischen Abbildungsvorrichtung gemäß eines Ausführungsbeispiels der vorliegenden Erfindung abgetastete (bzw. er- fasste) zweidimensionale Bereich ist im Querschnitt durch eine Kastenfunktion dargestellt. Der Linienstil sowie die Zahlen kennzeichnen die Zuordnung der Abtastbereiche zu den jeweiligen Kanälen. Ohne Beschränkung der Allgemeinheit sind hier jeweils fünf Photodioden (beispielsweise fünf Photodioden 32a für den dritten Kanal und fünf Photodioden 32b für den vierten Kanal) pro Kanal (N = 5 mit N: Anzahl der Abtastbereiche, bzw. Pho- todioden pro Kanal) dargestellt.
Photodioden des ersten Kanals sind mit der Nummer 1 versehen und durch eine Strichpunkt-Linie dargestellt. Photodioden des zweiten Kanals sind mit der Nummer 2 versehen und durch eine kurzgestrichelte Linie dargestellt. Die Photodioden 32a des dritten Kanals sind mit der Nummer 3 versehen und durch eine durchgezogene Linie dargestellt. Die Photodioden 32b des vierten Kanals sind mit der Nummer 4 versehen und durch eine weit gestrichelte Linie dargestellt. Photodioden des fünften Kanals sind mit der Nummer 5 versehen und durch eine enggestrichelte Linie dargestellt. Photodioden des sechsten Kanals sind mit der Nummer 6 versehen und eine weitgestrichelte Linie dargestellt. Benachbarte Photodioden verschiedener Kanäle erfassen benachbarte Objektzellen des von der optischen Abbildungsvorrichtung erfassten Objekts. In Fall 1 sind die Abtastgitter jeweils zweier benachbarter Kanäle um die Hälfte des Abtastintervalls dA eines Einzelkanals gegeneinander verschoben (Verschiebung: dV) Die Verschiebung dV des Abtastgitters eines der Kanäle des betrachteten Paares zum jeweils nächsten Kanal eines benachbarten Paares beträgt ein nichtganzzahliges Vielfaches des Abtastintervalls im Einzelkanal (beispielsweise (N-l/2) x dA , wobei N eine ganze Zahl ist). Dieser Fall ist für eine geringe Anzahl von optischen Kanälen (z. B. 2 x 2 Kanäle) oder auch für kleinere Objektabstände (kleiner 50 x Brennweite) relevant, um eine lückenlose äquidistante Abtastung des Objektfeldes zu gewährleisten. Mit anderen Worten gesagt, findet eine Verschiebung um ein ungerades Vielfaches der Hälfte des Abtastintervalls eines Einzelkanals statt.
Fall 2 zeigt eine Verschiebung dV der optischen Kanäle bzw. der Mittelpunkte der Photodektorenmatrizen der optischen Kanäle um die Hälfte der Gesamtsumme aller Abtastintervalle (N x dA) innerhalb eines Kanals bzw. um die Hälfte des Produktes aus der Anzahl (N) der Photodioden und dem Abtastintervall (dA) eines optischen Kanals (bei- spielsweise N x dA/2), bei gleichzeitiger ungerader Anzahl der Photodioden bzw. Abtastbereiche pro Kanal (N). Dieser Fall ist für eine größere Anzahl von Kanälen relevant, um die Abtastperiode im Zusammenspiel benachbarter Kanäle zu halbieren und dabei weder Abtastlücken noch Mehrfachabtastung zu erhalten. Diese Eigenschaft hat mehrere Vorteile. Ein erster Vorteil ist, dass eine Verkürzung (z. B. Halbierung) der Baulänge (selbst für das mehrkanalige System) bei gleich bleibender Winkelabtastung ermöglicht ist. Das bedeutet, der rückwärtig durch die Optik projizierte Winkelabstand zwischen zwei benachbarten Bildpixeln des Gesamtbildes bleibt erhalten. Dies gilt unter der Annahme gleicher Blendenzahl (F/#) und gleicher Größe der Photodioden bezüglich des Stands der Technik. Aus der Verringerung der Baulänge bzw. Brennweite der Mikrolinsen ergibt sich die Ver- kleinerung des Mikrolinsendurchmessers um eine konstante Blendenzahl (F/# = Brennweite Mikrolinse/Durchmesser Mikrolinse) zu erhalten. Die resultierende Verringerung der lateralen Abmaße des Objektivs führt zu einer Kostenreduktion, da ein optoelektronischer Bildsensor mit kleinerer Grundfläche verwendet werden kann. Ein weiterer Vorteil ist die erhöhte Empfindlichkeit bei gleich bleibender Winkelabtastung, da mit einer kürzeren Brennweite der Mikrolinsen auf die gleichgroße Photodiode abgebildet wird. Da durch die Verkürzung der Brennweite, im Vergleich zu bekannten Systemen, bei gleich bleibender Größe der Photodiode das Winkelauflösungsvermögen reduziert wird, kann, um zusätzlich die Winkelauflösung konstant zu halten, ein optoelektronischer Bildsensor mit entspre- chend kleineren Photodioden verwendet werden, wobei die Empfindlichkeit der jeweiligen Photodioden reduziert gegenüber größeren Photodioden ist.
Zur Verdeutlichung der Verschränkung der einzelnen optischen Kanäle zeigt Fig. 5a eine schematische Draufsicht auf einen Teilbereich 500 eines optischen Abbildungssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung mit den durch Ziffern gekennzeichneten Einzelkanälen 10'. Mit anderen Worten zeigt Fig. 5a eine beispielhafte Anordnung für das Mikrolinsenfeld 10' wie es in den in Fig. 12-15 gezeigten Ausführungsbeispielen angeordnet bzw. ausgerichtet sein kann. Jedem optischen Kanal des opti- sehen Abbildungssystems ist genau eine Mikro linse 101-103; 201-203; 301-303 zugeordnet, welche in dem Mikrolinsenfeld 10' angeordnet ist. Das Profil der Mikrolinsen 101- 103; 201-203; 301-303 wird durch Höhenlinien 510 dargestellt.
Fig. 5B zeigt eine vereinfachte Darstellung eines von diesem Teilbereich beobachteten Objektfeldbereichs 800'. Der Objektfeldbereich 800' ist in Zellen 810 eingeteilt, die jeweils auf eine Photodiode innerhalb eines Einzelkanals 10' (durch eine zum Kanal zugeordnete Mikrolinse 101-103; 201-203; 301-303) abgebildet werden. Zur Verdeutlichung der ineinander verschränkten Abtastgitter der Einzelkanäle ist jede Objektzelle mit der Kennziffer des jeweiligen Kanals 10' (bzw. der Mikrolinse 101-103; 201-203; 301-303) bezeichnet, der diese Zelle erfasst. Folglich zu sehen ist hier, dass benachbarte Objektzellen von Photodioden benachbarter optischer Kanäle (bzw. Mikrolinsen 101-103; 201-203; 301-303) erfasst werden. Aufgrund der Verschränkung der optischen Kanäle ist es möglich, dass die Abtastlücken eines optischen Kanals durch einen benachbarten optischen Kanal erfasst werden.
Weiterhin ist es möglich, dass mit einem weiteren Ausführungsbeispiel der vorliegenden Erfindung eine multispektrale Bildaufnahme (z. B. Farbbildaufnahme) durchgeführt werden kann, wobei die dazu notwendigen spektralen Transmissionsfilter einerseits pixelweise, das heißt auf den einzelnen Photodioden des optoelektronischen Bildsensors (z. B. An- Ordnung im bekannten„Bayer-Mosaik") oder kanalweise, beispielsweise innerhalb des Mikrolinsenobjektives oder auf dem zugeordneten Bildsensorbereich, integriert werden können. Die kanalweise Integration des spektralen Filters hat dabei gegenüber einem konventionellen Einkanalabbildungssystem den Vorteil, dass die Optik zusätzlich zu der Korrektur für den kanalspezifischen Einfallswinkel auch bezüglich der kanalspezifischen transmittierten Spektralverteilung angepasst werden kann. Außerdem tritt in dieser Konfiguration kein Farbübersprechen zwischen benachbarten Photodioden auf. Daraus ergibt sich beispielsweise eine höhere Farbbrillanz des Bildes bei Verwendung von Farbfiltern im visuellen Spektrum (z. B. Rot, Grün, Blau). Des Weiteren wird die Baulänge des optischen Abbildungssystems verkürzt. Um bei der Variante der kanalweisen Integration der Filter eine gleichmäßige Abtastung des Objektfeldes für alle verschiedenen spektralen Anteile zu gewährleisten, wird ein Abtastungsschema entsprechend Fig. 4 und den Fig. 6A und 6B verwendet.
Fig. 6A zeigt eine schematische Draufsicht auf einen Teilbereich 600 einer optischen Ab- bildungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung mit den durch Ziffern gekennzeichneten Einzelkanälen (10') und kanal weise integrierten spektralen Transmissionsfiltem (Flächenmuster). Die in Fig. 6A gezeigte Draufsicht auf die optische Abbildungsvorrichtung unterscheidet sich damit nur durch die spektralen Transmissionsfiltem auf den optischen Kanälen bzw. den Mikrolinsen 101-103; 201-203; 301-303. Wobei jedes Flächenmuster genau einen spektralen Transmissionsfilter zugeordnet wird, und damit jeder Kanal genau einer Spektralfarbe zugeordnet wird. Um eine gleichmäßige Abtastung des Objektfeldes für alle verschiedenen spektralen Anteile zu ge- währleisten, können verschiedene optische Kanäle die gleichen spektralen Transmissions- filter besitzen. In Fig. 6A besitzen die Kanäle 101, 103, 301, 303 ein schräg verlaufendes Linien-Flächenmuster und damit ein erstes Transmissionsfilter (beispielsweise für die Farbe Rot), die Kanäle 102 und 302 besitzen ein gerade verlaufendes Linien-Flächenmuster und damit ein zweites Transmissionsfilter (beispielsweise Grün), die Kanäle 201 und 202 besitzen ein gewelltes Linien-Flächenmuster und damit ein drittes Transmissionsfilter (beispielsweise für die Farbe Blau) und der Kanal 202 besitzt ein gepunktetes Flächenmuster und damit einen vierten Transmissionsfilter (beispielsweise einen Graufilter).
Fig. 6B zeigt eine vereinfachte Darstellung eines von diesem Teilbereich 600 aus Fig. 6A beobachteten Objektfeldbereiches 800'. Der Objektfeldbereich 800' ist in Objektzellen 810 eingeteilt, wobei eine Objektzelle 810 jeweils (zumindest im Wesentlichen) auf eine Photodiode innerhalb eines Einzelkanals 10' abgebildet wird. Zur Verdeutlichung der ineinander verschränkten Abtastgitter der Einzelkanäle 101-103; 201-203; 301-303 sowie der Abdeckung der Objektzellen 810 durch die jeweiligen Transmissionsfilter, ist jede Objektzel- le mit der Kennziffer 101-103; 201-203; 301-303 des jeweiligen Kanals 10' und des Filtermusters (schräg verläufende Linien, gerade verlaufende Linien, wellige Linien, gepunktet) versehen. Benachbarte Objektzellen 810 werden aufgrund der Abtastgitter, welche im objektseitigen Tiefenschärfebereich der Abbildungsvorrichtung liegen, von benachbarten optischen Kanälen 101-103; 201-203; 301-303 erfasst. Deutlich wird, dass die von be- nachbarten Kanälen (beispielsweise 101,102,201,202) erfassten Bereiche des Objektfeldes sich teilweise so überlappen, dass jeweils direkt benachbarte Bildinformationen (beispielsweise 810a, 810b, 810c, 81 Od) im zusammen gesetzten Gesamtbild durch unterschiedliche spektrale Transmissionsfilter (beispielsweise Rotfilter, Grünfilter, Blaufilter, Graufilter) erhalten werden bzw. so gefiltert werden um Spektraldaten zu erhalten. Die 4 direkt benachbarten Bereiche 810a, 810b, 810c, 810d des Objektfeldes 800' bilden beispielsweise eine Gruppe 820 welche alle 4 Transmissionsfilter umfasst. Die multispektralen Daten (z. B. ein Grauwert pro Farbe) eines jeweiligen Bildpixels bzw. einer Bildinformation (beispielsweise 810a) können durch die gewichtete Interpolation aus dem physisch aufgenommenen Wert des zugeordneten Spektralbereichs bzw. der Bildinformation (beispielsweise 810a) und den Werten der übrigen Spektralbereiche bzw. der Bildinformationen (beispielsweise 810b, 810c, 810c) der benachbarten und/oder umliegen- den Pixel (beispielsweise 810b, 810c, 810c) interpoliert werden, wobei jedem Pixel ein Spektralbereich bzw. ein Transmissionsfilter zugeordnet ist. Die Variante der kanalweisen Integration der spektralen Transmissionsfilter, d.h. jeder Kanal umfasst ein eigenes Transmissionsfilter, wobei benachbarte Kanäle vorzugsweise verschiedene Transmissionsfilter umfassen, hat im Gegensatz zur Integration der spektralen Transmissionsfilter auf jede einzelne Photodiode den Vorteil, dass größere Transmissionsfilter verwendet werden können, welche in der Herstellung einfacher zu handhaben sind. Für die hier gezeigte Variante können die kanalweisen spektralen Transmissionsfilter auch auf dem Bildsensorbereich der jeweiligen Kanäle integriert sein. Fig. 12 zeigt eine optische Abbildungsvorrichtung 1200 gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung. Die abbildenden Mikrolinsen 10 befinden sich in einer zweidimensionalen Feldanordnung (eindimensionale Anordnung ist auch möglich) auf einem Stapel transparenter oder zumindest teilweise transparenter Substratschichten 20, 21, 22 mit einer Gesamtschichtdicke, die der Brennweite der Mikrolinsen im jeweiligen Material (Glas, Kunststoff) entspricht. Auf der Rückseite der transparenten Substratschichten 20, 21, 22 befindet sich (beispielsweise in einer Brennebene der Mikrolinsen 10) der optoelektronische Bildsensor 100 mit einer Vielzahl von Photodioden 30', welche ebenfalls in einem zweidimensionalen Feld angeordnet sind. Die Photodioden 30' können entsprechend der Kanaleinteilung des Mikrolinsenfeldes ebenfalls in separate Gruppen von mindestens 5 x 5 Photodioden 30' für die jeweiligen Mikrobilder der Kanäle unterteilt sein, wobei diese Gruppen jeweils eine Bilddetektorenmatrize 30 bzw. ein Photodiodenfeld 30 bilden.
Unter dem Mikrolinsenfeld 10 befindet sich ein Aperturblendenfeld 11. Zwischen der Sub- stratschicht 20 und der Substratschicht 21 befindet sich ein erstes Blendenfeld 12. Ein zweites Blendenfeld 12' befindet sich zwischen der Substratschicht 21 und der Substratschicht 22. An der Unterseite der Substratschicht 22 ist der Bildsensor 100 befestigt. Die Mittelpunkte der Bilddetektorenmatrizen 30 weisen einen Zentrumsversatz gegenüber den auf die Bilddetektorenmatrizen 30 projizierten Fläche schwe unkten der Mikrolinsen- aperturen der zugehörigen optischen Kanäle auf.
Ausgehend von der strukturellen Beschreibung wird nun die Funktion beschrieben. Die mittlere Blickrichtung 400 jedes Kanals ist durch den Versatz des Mittelpunktes der Bilddetektorenmatrize 30, gegenüber dem auf die Bilddetektorenmatrize 30 projizierten Flächenschwerpunkt der Mikrolinsenapertur des jeweiligen optischen Kanals beschrieben.
Die Ausdehnung der jeweiligen Bilddetektorenmatrizen 30 bestimmt, zusammen mit der Brennweite der Mikrolinsen, den Bereich des Objektfeldes, der im jeweiligen Kanal übertragen wird. Die von benachbarten Kanälen erfassten Bereiche des Objektfeldes können sich gegenseitig, zumindest teilweise, überlappen, wobei sich die zwei groben Abtastgitter der Kanäle jeweils zu einem dichteren neuen Abtastgitter ergänzen. Unter einem Abtastgit- ter eines betrachteten Kanals wird dabei beispielsweise die Gesamtheit derjenigen Objektpunkte in dem Tiefenschärfebereich (bzw. in einer Ebene in dem Tiefenschärfebereich) des betrachteten Kanals verstanden, die auf die einzelnen Bilddetektoren der Bilddetektorenmatrize 30 des betrachteten Kanals abgebildet werden. Die Fig. 2, 4 sowie 5A und 5B zeigen diese Eigenschaft, der Verschränktheit benachbarter Kanäle. Die Verwendung des Aperturblendenfelds 11 direkt unter dem Mikrolinsenfeld 10 erweist sich als vorteilhaft, um Streulicht zu unterdrücken, welches sonst durch die Zwischenräume der Mikrolinsen fallen würde. Des Weiteren werden die mindestens zwei horizontalen Blendenfelder 12 und 12', aus lichtundurchlässigen (absorbierendem oder reflektierendem) Material, verwendet, um optisches Übersprechen zwischen den Kanälen zu verhindern. Die transparen- ten Substratschichten 20, 21, 22 sind vorteilhaft aus Glas, Kunststoff oder anorganischen Co-Polymer (z. B. ORMOCER). Zusätzlich zu dem hier gezeigten kann eine feldartige Anordnung spektraler Transmissionsfilter (z. B. kanalweise Rot-, Grün-, Blaufilter) direkt zwischen der Blendenfeldschicht 11 und den Mikrolinsen 10 strukturiert sein, um eine multispektrale Bildaufnahme zu ermöglichen.
Das optische Abbildungsvorrichtung 1200 zeichnet sich durch ihren monolithischen Schichtaufbau und die damit verbundene vereinfachte Herstellungstechnologie und Stabilität aus. Die Optik kann getrennt vom optoelektronischen Bildsensor 100 hergestellt und im Folgeschritt mit diesem im Wafermaßstab (viele optische Systeme auf einem Wafer paral- lel zu vielen optoelektronischen Systemen auf einem anderen Wafer) mittels Justiermarken montiert werden. Alternativ können einzelne Optiken aus dem Optikwaferverbund ausgesägt und einzeln auf die jeweiligen optoelektronischen Bildsensoren montiert werden. Die Fixierung erfolgt, beispielsweise durch Kleben, Löten oder anodisches Bonden. Ebenfalls denkbar ist eine hybride Herstellungstechnik, bei der die Optikkomponenten schrittweise auf dem Optowafer mit der Vielzahl von Bildsensoren 100 aufgebaut werden. Zur Verdeutlichung des Versatzes der Mittelpunkte der Bilddetektorenmatrizen 30 bezüglich ihrer zugeordneten Mikrolinsen (bzw. gegenüber den auf die Bilddetektorenmatrizen 30 proji- zierten Flächenschwerpunkten der Mikrolinsenaperturen der zugehörigen optischen Kanäle bzw. der zugeordneten Mikrolinsen) ist in Fig. 3 eine vereinfachte schematische Draufsicht auf ein zweidimensionales Abbildungs- und Bildaufnahmesystem gemäß dem zweiten Ausführungsbeispiel dargestellt. Gezeigt sind hier die feldartig angeordneten Mikrolinsen 10, deren Profil durch Höhenlinien dargestellt ist, sowie die axial darunter liegenden, late- ral (gegenüber den auf die Bilddetektorenmatrizen 30 projizierten Flächenschwerpunkte der Mikrolinsenaperturen der jeweiligen Kanäle bzw. der jeweiligen Mikrolinsen) versetzten Gruppen von Photodioden (Bilddetektorenmatrizen 30) des optoelektronischen Bildsensors 100. Zusätzlich können das zweite Ausfuhrungsbeispiel sowie alle anderen möglichen Ausführungsbeispiele der vorliegenden Erfindung, eine Einheit 70 zur kanalweisen elektronischen Vorverarbeitung der Signale der Mikrobilder umfassen. Diese kann wahlweise in den Schaltkreis des optoelektronischen Bildsensors 100 integriert sein, oder außerhalb des Bildsensors 100 nachgeschaltet sein.
Die Einheit 70 kann im Folgenden auch als„Bildverarbeitungsvorrichtung" bezeichnet werden.
Beispielhaft werden im Folgenden vier Varianten für eine Hardwareimplementierung der Bildverarbeitungsvorrichtung 70 zur kanalweisen elektronischen Vorverarbeitung der Signale der Mikrobilder in Zusammenhang mit der optischen Abbildungsvorrichtung gezeigt werden:
1. Die Bildverarbeitungsvorrichtung 70 befindet sich in der Peripherie außerhalb des opto-elektronischen Bildsensorchips 100 (beispielsweise ein FPGA der sich auf derselben Leiterplatte auf der sich der Bildsensorchip 100 befindet), also nicht auf dem Bildsensorchip 100 (englisch: „off-chip"). Der Bildsensorchip 100 besitzt dann wenige Ausgänge, die gesamte Bildmatrix (Gesamtheit aller durch die Bilddetektoren 30' der Bilddetektorenmatrizen 30 erfassten Bild-Informationen) wird ausgegeben und im Nachgang gemeinschaftlich verarbeitet (zeitlich seriell).
2. Die Bildverarbeitungsvorrichtung 70 befindet sich in der Peripherie außerhalb des optoelektronischen Bildsensorchips 100 aber der Bildsensor 100 besitzt eine Vielzahl von Ausgängen (mindestens in gleicher Anzahl wie Bilddetektorenmatrizen 30 vorliegen). Hier kann die Korrektur von Verzeichnung und weitere Bildvorverarbeitung für jedes Mikrobild getrennt und gegebenenfalls zeitlich parallel durchgeführt werden.
3. Die Bildverarbeitungsvorrichtung 70 befindet sich auf dem opto-elektronischen Bildsensorchip 100 (z.B.„ASIC" - Anwendungsspezifischer Integrierter Schaltkreis) aber außerhalb des fotoaktiven Flächenbereiches. Die gesamte Bildmatrix wird aus dem fotoaktiven Bereich innerhalb des Bildsensorchips 100 an die Bildverarbeitungsvorrichtung 70 übergeben und im Nachgang gemeinschaftlich verarbeitet (zeitlich seriell).
4. Die Bildverarbeitungsvorrichtung 70 befindet sich auf dem opto-elektronischen Bildsensorchip 100 (z.B. ASIC) und ein Teil, nämlich die Mikrobildverarbeitungseinrichtungen 50, befindet sich in den Zwischenräumen der Bilddetektorenmatrizen 30. In diesem Fall wird ein Teil der Bildverarbeitung für jede Bilddetektorenmatrize 30 bzw. Bilddetektormatrix 30 getrennt und zeitlich parallel durchgeführt. Au- ßerdem wird durch die Integration der notwendigen Schaltkreise in den fotoaktiven
Bereich Siliziumfläche eingespart. Das heißt die Mikrobildverarbeitung erfolgt für jede Bilddetektormatrix 30 bzw. Bilddetektorenmatrize 30 getrennt durch Mikrobildverarbeitungsvorrichtungen zwischen den Bilddetektorenmatrizen 30 und damit zeitlich parallel.
Die kanalweise Korrektur von Verzeichnung kann nur im Falle der Hardwareausführung der Bildverarbeitungsvorrichtung 70 (z.B. in einem FPGA, ASIC und Ähnlichem)„zeitlich parallel" durchgeführt werden. Die Eigenschaft„zeitlich parallel" ist somit optional. In Bezug auf eine hohe Bildwiederholrate ist diese Ausführungsform der Hardwareausfüh- rung daher bevorzugt, es kann jedoch auch eine software-basierte Korrektur (z.B. in einem angeschlossenen PC) durchgeführt werden.
Die Einheit 70 bzw. die Bildverarbeitungsvorrichtung 70 soll nun am Beispiel des zweiten Ausführungsbeispiels erklärt werden. Sie implementiert eine Hard- und/oder software- implementierte kanalweise elektronische Korrektur der Verzeichnung der Mikrobilder.
Aufgrund der Abbildung und des schrägen Lichteinfalls durch eine einfache Abbildungsoptik (z. B. einzelne Plan-konvexe Linse) treten mit steigendem Einfallswinkel (d. h. im äußeren Bereich des Objektfeldes) wachsende Bildverzerrungen (Verzeichnung) auf. Dies führt dazu, dass z. B. ein quadratischer Objektbereich unter schrägem Einfall in einen rautenförmigen Bildbereich abgebildet wird. Fig. 7A zeigt eine qualitative Darstellung der Verzeichnung in einem zentralen Objektfeldbereich des zweiten Ausführungsbeispiels. Objektzellen, die sich in einem quadratischen Gitter befinden, werden unter schrägem Einfallswinkel zu kleineren radialen Bildkoordinaten abgebildet, es entsteht eine tonnenförmige Verzeichnung.
Fig. 7B zeigt, dass unter schrägem Einsatzwinkel (hier 38° diagonaler Winkel im Objektfeld) die Verzeichnung zusätzlich stark asymmetrisch wird. Die Effekte in den Fig. 7A und 7B sind zu Visualisierungszwecken verstärkt dargestellt. Fig. 8 zeigt den prinzipiellen Verlauf der positiven, tonnenförmigen Verzeichnung. Dies wird dargestellt durch die radiale Höhe des Hauptstrahls in der Bildebene („echte Auftreffhöhe") in Abhängigkeit seines Einfallswinkels im Objektfeld (EIO = Einfallswinkel im Objektfeld, engl: AOI = angle of incidence) im Vergleich mit der paraxialen, also ideal unverzeichneten, Auftreffhöhe („ideale Auftreffhöhe"). Man erkennt deutlich, wie die Ab- bildung mit zunehmendem Einfallswinkel zu kleineren Auftreffhöhen tendiert. Da benachbarte Objektpunkte, welche auf die Mikrobilder verschiedener Kanäle abgebildet werden, wieder zu benachbarten Bildpunkten im Gesamtbild zusammengesetzt werden müssen, ist eine Entzerrung der Mikrobilder empfehlenswert. Ansonsten käme es in Folge der entsprechend dem Einfallswinkel wachsenden Verzeichnung für Kanäle bei denen die Mittelpunk- te der Bilddetektorenmatrizen lateral verschoben gegenüber den auf die Bilddetektorenmatrizen 30 projizierten Flächensch werpunkten der Mikrolinsenaperturen der jeweiligen Kanäle sind (sogenannte„off axis Kanäle" bzw. von der Achse entfernte Kanäle), zum Rand des Gesamtbildes hin vermehrt zu Versätzen zwischen den Bildinformationen und damit zum falschen Anschluss der Mikrobilder und reduzierter Auflösung. Die Signale der Mikrobilder werden durch eine Hard- und/oder Softwarekomponente entweder direkt im integrierten Schaltkreis (z. B. ASIC, SoC) oder nachgeschaltet (z. B: FPGA, CPU) gedreht und invertiert sowie entzerrt (das heißt: auf Verzeichnung korrigiert, beispielsweise durch einen Verzeichnungskorrigierer 50 gemäß Fig. 4). Innerhalb der gleichen Sequenz, mit anderen Worten durch den Verzeichnungskorrigierer 50 kann außerdem Dunkelstromrau- sehen („fixed pattern noise) und die Inhomogenität der Beleuchtungsstärke („shading") in den Mikrobildern korrigiert werden. Die Parallelisierbarkeit dieser Bildverarbeitung erlaubt (beispielsweise mittels eines anwendungsspezifischen Schaltkreises (ASIC)) eine kurze Rechenzeit und somit eine hohe Wiederholrate des Gesamtbildes. Die Einheit zur Korrektur der Verzeichnung und zum Zusammensetzen des Gesamtbildes aus den einzelnen Mikrobildern ist in Fig. 4 sowie Fig. 9 aufgezeigt und wird nun anhand dieser beiden Figuren detailliert erklärt. Fig. 4 zeigt eine optische Abbildungsvorrichtung gemäß dem 2. Ausführungsbeispiel mit einer nachgeschalteten Einheit (50, 60, 61) zur Korrektur der Mikrobilder und zum Rekonstruieren des Gesamtbildes 300 aus den Mikrobildern. Ein im ausgedehnten Objektfeldbereich (beispielsweise im Tiefenschärfebereich) befindliches Objekt 800 wird entsprechend seiner Größe von verschiedenen Kanälen der optischen Abbildungsvorrichtung erfasst. Die durch die einzelnen Mikrolinsen des Mikrolinsenfeldes 10 abgebildeten Objektfeldbereiches überlappen sich gegenseitig zumindest teilweise. Dennoch sind die auf die Bilddetektorenmatrizen (30a bis 30e) abgebildeten Objektbereiche (44a bis 44e) vorwiegend dis- junkt, das heißt Objektfeldbereiche (44a bis 44e) welche bereits auf eine Bilddetektoren- matrize (30a bis 30e) abgebildet sind werden bevorzugt auf keine weitere Bilddetektorenmatrize (30a bis 30e) abgebildet. Der Grund dafür ist, dass die Abtastgitter benachbarter Kanäle z. B. um die Hälfte der gesamten Summe aller Abtastbereiche (bei ungerader Anzahl der Abtastbereiche bzw. Photodioden) innerhalb eines Kanals gegeneinander verschoben sind, wodurch eine dichte Objektfeldabtastung trotz der kurzen Brennweite der Mikro- linsen 10 sowie der festen Größe der Photodioden 30' ermöglicht wird.
Fig. 4 zeigt weiterhin die schematische Darstellung der Bildvorverarbeitung mit einer Bildverarbeitungseinrichtung 70, die notwendig ist, um aus den aufgenommenen Mikrobildern der Pixelgruppen (30a bis 30e) ein vollständiges und unverzerrtes Bild 300 des gesamten Objektes 800 zu formen. Die einzelnen Mikrobilder 30a bis 30e werden in einer ersten Verarbeitungseinrichtung 51 („Mikrobild-Invertierer") der Bildverarbeitungseinrichtung 70 horizontal und vertikal gespiegelt (entspricht Drehung um 180°). In einer zweiten Verarbeitungseinrichtung 52 („Entzerrungsstufe") der Bildverarbeitungseinrichtung 70 werden die Pixelwerte der Mikrobilder aus ihrer diskreten Gitterstruktur mittels einer Orts- transformation (z. B. bi-lineare Transformation in x- und y-Koordinaten) auf eine kontinuierliche virtuelle Koordinatenebene umgerechnet. Die Transformationsparameter sind aus den optischen Designdaten sowie Simulationen bekannt, so dass Bildverzerrungen aufgrund von Perspektiven, Variationen des Abbildungsmaßstabes und Abbildungsfehlern korrigiert werden. Durch eine zusätzliche Interpolation werden die somit unverzerrten Pi- xelwerte kanalweise auf ein neues diskretes Gitter (χ', y' in 31a bis 31e) abgebildet. Die in den Verarbeitungseinrichtungen 51 und 52 durchgeführten Verarbeitungsschritte können bevorzugt kanalweise und somit parallel durchgeführt. Bei Verwendung eines angepassten optoelektronischen Bildsensors 100 ist es für die Beschleunigung des Verarbeitungsprozesses vorteilhaft, die erste Verarbeitungseinrichtung 51 sowie die zweite Verarbeitungs- einrichtung 52 innerhalb eines für jeden Kanal vorhandenen Schaltkreismoduls, direkt auf dem Chip des Bildsensors 100 (z. B. ASIC) zu integrieren. Für die Platzierungen der entsprechenden Schaltkreise bietet sich der optisch ungenutzte Zwischenraum zwischen den Bilddetektorenmatrizen 30 benachbarter Kanäle an. Die Fusion der Pixelwerte (bzw. Re- konstruktion des Gesamtbildes) aller Mikrobilder (31a bis 31e) findet wahlweise hardwarenah, also elektronisch in der Peripherie des Chips des optoelektronischen Bildsensors (z. B: FPGA), oder softwarenah, also erst innerhalb einer extern angeschlossenen CPU (z. B. PC), statt.
Die Fusion der Pixelwerte kann von einer dritten Verarbeitungseinrichtung 60 („Gesamtbild-Rekonstruierer") der Bildverarbeitungseinrichtung 70 durchgeführt werden, welche die Umsortierung der Pixelwerte von den unverzerrten Mikrobildern 31a bis 31e in eine finale Bildmatrix 300 nach einem festen Muster durchfuhrt, welches durch die Verschrän- kung der Abtastgitter der einzelnen Kanäle vorgegeben ist.
Fig. 9 zeigt eine schematische Darstellung der Verzerrung eines Bildes eines quadratischen Objektbereiches mit einem Gitterobjekt 800 in Folge von Verzeichnung bei der Abbildung unter schrägem Einfallswinkel. Die linke Seite zeigt die Rekonstruktion eines Gitterobjek- tes 800 als Vergleichsbeispiel ohne die zweite Verarbeitungseinrichtung 52 zur Verzeichnungskorrektur, die rechte Seite zeigt die Rekonstruktion des Gitterobjektes 800 mit der zweiten Verarbeitungseinrichtung 52 zur Verzeichnungskorrektur.
Auf der linken Seite ist die Bildaufhahmesequenz inklusive Abbildung durch das mehrka- nalige Abbildungs- und Bildaufnahmesystem bzw. die optische Abbildungsvorrichtung und die nachfolgende Invertierung durch die erste Verarbeitungseinrichtung („Mikrobild- Invertierer") 51 der Mikrobilder (hier 3 x 3 Stück) gezeigt. Die Mikrobilder 32 sind in Folge der fehlenden zweiten Verarbeitungseinrichtung („Entzerrungsstufe") 52 immer noch verzeichnet. Es folgt die virtuelle Verschiebung (beispielsweise durch einen„Parallaxen- Kompensierer" 61 der Bildverarbeitungseinrichtung 70) der Mikrobilder 32 zueinander, um abhängig vom Objektabstand den Parallaxeversatz zu kompensieren und schließlich die Fusion der Pixelwerte durch die dritte Verarbeitungseinrichtung 60 aller Mikrobilder 32 zu einem Gesamtbild 320. Aufgrund der Verzeichnung können die Details der verschiedenen Mikrobilder nicht aneinander anschließen und das Objekt 800 wird durch das Gesamtbild 320 nicht hinreichend genau repräsentiert.
Im Gegensatz dazu ist auf der rechten Seite die Bildverarbeitungssequenz mit einer Stufe zur Korrektur der Verzeichnung (Entzerrungsstufe 52) dargestellt. Die dadurch transformierten Mikrobilder 31 sind unverzerrt und ergeben nach der Kompensation der Parallaxe durch den Parallaxen-Kompensierer 61 (virtuelle Verschiebung der Mikrobilder) und der Fusion der Pixelwerte aller Mikrobilder durch den Gesamtbild-Rekonstruierer 60 ein Gesamtbild 300, das eine hinreichend genaue Repräsentation des Objektes 800 darstellt. Im Gegensatz zu dem System gemäß US 05696371A und EP 0840502A2 wird in dem Ausführungsbeispiel der Erfindung eine kanalweise Korrektur der Verzeichnung der Mikrobilder und eine Interpolation der Pixelwerte der Mikrobilder durchgeführt, somit wird das Auflösungsvermögen im Gesamtbild nicht durch die Segmentierung reduziert.
Um eine ordnungsgemäße Korrektur der Verzeichnung und Rekonstruktion der Mikrobilder zu einem Gesamtbild zu ermöglichen, ist eine elektronische Einstellung des Arbeitsabstandes im Objektraum verwendbar. Bei der Abtastung zweier benachbarter Objektpunkte aus zwei lateral beabstandeten Kanälen kommt es, aufgrund von Parallaxe zwischen den verschiedenen Kanälen, bei geringen Objektabständen zu einem Versatz der benachbarten Bildinformationen. Dieser Versatz kann durch eine („virtuelle") Verschiebung der Teilbildinformationen korrigiert werden. Die Verschiebung ist dabei vom Objektabstand und der Basislänge zwischen den Kanälen (d.h. der Abstand zwischen den Mittelpunkten der Photodektektorenmatrizen der jeweiligen Kanäle) abhängig. Da die Basislänge bekannt ist, kann durch die Messung des Objektabstandes (z. B. mit einem dafür geeigneten unabhängigen Abstandsensor) der Versatz elektronisch nachkorrigiert werden. Das optische Abbil- dungs- und Bildaufnahmesystem stellt das Gesamtbild durch eine Variation des virtuellen Versatzes der Mikrobilder vor der Verrechnung (Fusion der Mikrobilder zu einem Gesamtbild) für die jeweilige Entfernung unverzerrt und scharf ein (beispielsweise durch den Parallaxen-Kompensierer 61 in Fig. 4).
Die Einstellung des Arbeitsabstandes erfolgt entsprechend der Anzahl der Bildpixel jedes Mikrobildes in diskreten Schritten. Da jedoch für die Entzerrung der Mikrobilder eine Koordinatentransformation (auf das unverzerrte Mikrobild) und eine Interpolation (der Sig- nalstärke des unverzerrten Mikrobildes bei diskreten Pixelpositionen) notwendig ist, kann die Einstellung des Arbeitsabstandes mittels virtuellen Subpixelverschiebungen auch in feineren Abstufungen durchgeführt werden.
Mit anderen Worten gesagt, da bei kleinen Objektabständen (kleiner 100 x Brennweite) ein Blickwinkelversatz (Parallaxe) zwischen den teilweise überlappenden Objektfeldbereichen in benachbarten Mikrobildern auftritt, sollte dieser bei der Fusion der Mikrobilder berücksichtigt werden, um einen gleichmäßigen Anschluss der Mikrobilderdetails zu gewährleisten. Wenn der (mittlere) Objektabstand bekannt ist (er kann z. B. durch eine externe Sensorquelle im Parallaxen-Kompensierer 61, ähnlich wie bei einer Messsucherkamera, be- stimmt werden), wird der Sortieralgorithmus im Gesamtbild-Rekonstruierer 60 (bei der Rekonstruktion des Gesamtbildes) variiert, indem die Mikrobilder der Einzelkanäle virtuell lateral entsprechend einer Wertetabelle zueinander versetzt werden. Dies kann in Stufung eines Pixels oder auch feiner durch eine Subpixelinterpolation geschehen. Am Rande des Gesamtbildes 300 kommt es aufgrund der verschränkten Abtastgitter zu„leeren Pixelwerten", da die zugehörigen Objektfeldzellen durch die fehlenden, jenseits des Randes des Mikrolinsenfeldes 10 befindlichen Nachbarkanäle erfasst würden. Fig. 13 zeigt eine optische Abbildungsvorrichtung 1300 gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung. Die optische Abbildungsvorrichtung 1300 um- fasst einen Bildsensor 100 mit beispielsweise fünf Bilddetektorenmatrizen 30. Auf der dem Objekt zugewandten Seite (bzw. oberhalb) des Bildsensor 100 befindet sich eine transparente Substratschicht 22, auf welcher sich ein erstes Blendenfeld 12' befindet. Oberhalb des ersten Blendenfeldes 12' befindet sich eine weitere transparente Substratschicht 21, oberhalb der sich ein zweites Blendenfeld 12 befindet. Eine Abstandshalterschicht 40 ist oberhalb dem zweiten Blendenfeld 12 angeordnet, kopfüber in dieser Abstandshalterschicht 40 sitzt das Mikrolinsenfeld 10, d.h. die planen Seiten der Mikrolinsen des Mikrolinsenfeldes 10 zeigen in Richtung des Objektes, während die gebogenen Seiten der Mikro- linsen in Richtung des Bildsensors 100 zeigt. Auf der Oberseite des Mikrolinsenfeldes 10 ist ein erstes Aperturblendenfeld 1 1 angeordnet. Oberhalb dem ersten Aperturblendenfeld 11 ist eine weitere Substratschicht 20 angeordnet, welche auf ihrer Oberseite ein zweites Aperturblendenfeld 1 1 ' hat. Oberhalb des zweiten Aperturblendenfeld 11 ' ist eine Filterschicht 200 angeordnet.
Im Folgenden werden nun die Funktion und die Vorteile der optischen Abbildungsvorrichtung 1300 gemäß dem dritten Ausführungsbeispiels erläutert. Da in der optischen Abbildungsvorrichtung 1300 das Mikrolinsenfeld 10 mit mindestens einer Substratschicht 20 kopfüber auf einem Abstandshalter 40 mit dem darunter liegendem Stapel aus transparen- ten Substratschichten 21, 22 aufgesetzt ist, kann dementsprechend das zweite Aperturblendenfeld 11 ' von den Linsen getrennt werden und sich auf der Frontseite der transparenten Substratschicht 20 befinden. Dies hat die folgenden Vorteile gegenüber der optischen Abbildungsvorrichtung 1200 gemäß dem zweiten Ausführungsbeispiel. Ein erster Vorteil ist, dass durch die vorgelagerte Position des zweiten Aperturblendenfelds 1 1 ' in Verbindung mit einer Plan-Konvex-Linse sich optische Abbildungsfehler (insbesondere Coma, Astigmatismus und Bildfeldwirkung) teilweise kompensieren lassen, was ansonsten eine höhere Anzahl optischer Elemente (Linsen) innerhalb jedes Einzelkanals erfordern würde. Ein weiterer Vorteil ist, dass Licht 410, welches aus großem Einfallswinkel durch das Objektiv abgebildet werden soll, vor dem Erreichen der eigentlichen Linsenfläche durch die Filterschicht 200 in die Substratschicht 20 hinein gebrochen wird. Aufgrund des gegenüber der Umwelt höheren Brechungsindex der Substratschicht 20 passieren die Strahlen das Linsenprofil unter kleineren Winkeln, was zu einer Verringerung der optischen Abbildungsfehler (Aberrationen) führt.
Weiterhin entstehen im zweiten Ausführungsbeispiel, je nach Blickwinkel im Objektfeld, nahezu ebenso große Einfallswinkel der Hauptstrahlen auf die Bildebene (vgl. Fig. 10). Dies führt vor allem bei einem großen Einfallswinkel zu Abschattungen durch die dreidimensionale Pixelstruktur des optoelektronischen Bildsensors 100 sowie Übersprechen zwischen den benachbarten Photodioden 30'. Diese Effekte reduzieren die relative Beleuchtungsstärke sowie den Kontrast im Bild. Im Gegensatz dazu, treffen im dritten Ausfüh- rungsbeispiel die Hauptstrahlen der mittleren Felder (Objektzellen des Objektfeldes welche von den Photodioden in der Mitte der jeweiligen Bilddektorenmatrize 30 erfasst werden) in jedem Kanal unter kleinem Winkel auf die photoaktiven Flächen des optoelektronischen Bildsensors 100 auf, was sich vorteilhaft auf die relative Beleuchtungsstärke im Bild auswirkt.
Fig. 10 zeigt den Einfallswinkel in Grad, des jeweiligen Hauptstrahls auf die Ebene des Bildsensors, aufgetragen über der normierten radialen Koordinate in der Ebene des Bildsensors für ein mehrkanaliges Abbildungs- und Bildaufnahmesystem mit vollem Gesichtsfeldwinkel von 75°. Die Datenreihe 1 wurde mit dem zweiten Ausführungsbeispiel, Daten- reihe 2 wurde mit dem dritten Ausführungsbeispiel erhalten.
Weiterhin kann, da das Mikrolinsenfeld 10 kopfüber montiert ist, auf der Vorderseite ein optischer Filter 200 (z. B. IR-Sperrfilter für Anwendungen im visuellen Licht) und/oder eine feldartige Anordnung spektraler Transmissionsfilter (z. B. kanalweise Rot-, Grün-, Blau-Farbfilter) integriert werden, da die Vorderseite des Mikrolinsenfeldes 10 plan ausgelegt ist. Des Weiteren kann die plane Grenzfläche zur Entspiegelung (z. B. AR- Beschichtung) und zum Schutz des darauffolgenden zweiten Aperturblendenfelds 1 1 ' vor Umwelteinflüssen (z. B. kratzfeste Beschichtung) dienen. Alternativ kann die feldartige Anordnung spektraler Transmissionsfilter (z. B. kanal weise Rot-, Grün- und Blau- Farbfilter) direkt zwischen dem ersten Aperturblendenfeld 11 und dem Mikrolinsenfeld 10 strukturiert sein.
Die als Feld ausgeführten Abstandshalter 40 bestehen empfehlenswerterweise entweder aus lichtundurchlässigem Material (z. B. Kunststoff, tief geätztes Silizium) oder transpa- renten Materialien (z. B. Kunststoff, Glas oder anorganisch organischem Polymer (z. B. ORMOCER)). Die Zwischenräume beinhalten ein Material mit, im Vergleich zu den Mik- rolinsen, geringerem Brechungsindex (z. B: Luft, evakuierte Luft, Stickstoff oder ähnliches), damit durch die Linsen eine Fokussierung erreicht wird. Bei der Verwendung eines transparenten Materials für den Abstandshalter 40 ist die zweite Blendenfeldschicht 12 auf der Vorderseite des Substrats 21 in einigen Fällen notwendig, um optisches Übersprechen zwischen den Kanälen zu verhindern. Das erste Blendenfeld 12' wird aus demselben Grund in einigen Fällen zusätzlich benötigt, weiterhin können zusätzliche Blendenfelder eingebracht werden um das Übersprechen zwischen den Kanälen zusätzlich zu minimieren. Wie auch im zweiten Ausführungsbeispiel sind alternativ vertikale schräge Wände aus lichtundurchlässigem Material (z. B. lichtabsorbierendes Material oder tief geätztes Silizium) anstatt der horizontalen Blendenfelder 12, 12' zur Unterdrückung von optischem Übersprechen geeignet, jedoch technologisch mit erhöhtem Aufwand verbunden. Im Falle der vertikalen Kanalseparationsstruktur können die Substratschichten 21, 22 entfallen, solange die axialen Kanalseparationsstrukturen ein stabiles Gerüst für die Montage des Mik- rolinsenfeldes 10 und der Substratschicht 20 darstellen. Die Lichtbündel werden dann axial nach den Mikrolinsen 10 in dem jeweiligen Füllmedium (z. B. Luft, evakuierte Luft, Stickstoff oder ähnliches) fokussiert.
Die durch den kopfstehenden Aufbau und die Abstandshalter 40 verursachten Kavitäten bedingen eine im Vergleich zum 2. Ausführungsbeispiel abgewandelte Aufbau- und Verbindungstechnik. Der Stapel aus Filterschicht 200, Substratschicht 20, Aperturblendenfelder 11, 11 ' und Mikrolinsen 10 kann getrennt vom Stapel der Abstandshalter 40 der Sub- stratschichten 21, 22 mit ihren Blendenlagen 12, 12' hergestellt werden. Die beiden Komponenten können dann im Wafermaßstab mittels Marken präzise justiert und miteinander verbunden werden (z. B. Kleben, Löten oder anodisches Bonden). Das gesamte Mikrolin- senobjektiv kann dann wahlweise im Wafermaßstab oder in ausgesägten Einzelobjektiven auf dem optoelektronischen Bildsensor 100 justiert und gebondet werden. Alternativ kön- nen die Optikkomponenten schritt-oder schichtweise auf dem Optowafer mit der Vielzahl von Bildsensoren aufgebaut werden.
Um die Transmission des Nutzlichtes durch das Mikrolinsenobjektiv zu erhöhen, ist eine Entspiegelungsbeschichtung auf den gekrümmten Oberflächen der Mikrolinsen 10 sowie auf der Frontfläche der Substratschicht 21 vorteilhaft.
Fig. 14 zeigt ein Bild einer optischen Abbildungsvorrichtung 1400 gemäß einem vierten Ausfuhrungsbeispiel der vorliegenden Erfindung. Im gezeigten Aufbau gemäß Fig. 14 werden drei Mikrolinsenfelder 10, 101, 102 axial hintereinander in einer annähernd sym- metrischen Anordnung um das Aperturblendenfeld 11 ' verwendet. Es ist auch möglich, dass mehr als drei Mikrolinsenfelder verwendet werden. Das erste Mikrolinsenfeld 10, bestehend aus konvex-planen Linsen, befindet sich oberhalb (auf einer dem Objekt zugewandten Seite) einer dünnen Substratschicht 20, wobei zwischen der Substratschicht 20 und dem Mikrolinsenfeld 10 ein Aperturblendenfeld 1 1 strukturiert ist. Unterhalb der dünnen Substratschicht 20 befindet sich ein zweites Mikrolinsenfeld 101 , dessen Linsen hier plan-konkav ausgelegt sind. Auf der Oberseite der folgenden Substratschicht 21, also zwischen der Substratschicht 21 und dem Mikrolinsenfeld 101, befindet sich ein Aperturblen- denfeld 1 1 ', welches in jedem Kanal die eigentliche Systemaperturblende darstellt. Die Substratschicht 21 mit frontseitigem (dem Objekt zugwandten) Aperturblendenfeld 11 ' ist direkt mit der Restschicht des Mikrolinsenfeldes auf der Rückseite (dem Objekt abgewandt) der Substratschicht 20 verbunden, so dass ein monolithisches Abbildungsobjektiv entsteht. Auf der Substratrückseite der Substratschicht 21 befindet sich eine weitere hori- zontale Blendenlage 12, welche zur Unterdrückung von optischem Übersprechen dient. Ein weiteres plan-konvexes Mikrolinsenfeld 102 ist auf der Rückseite der Substratschicht 21 abgeformt. Der somit entstehende Schichtstapel wird mittels axialer Abstandshalterstruktu- ren 41 auf dem optoelektronischen Bildsensor 100 fixiert. Die Abstandshalter 41 sind am Rand des mehrkanaligen Objektivs ausgeführt. Die Abstandshalter 41 können aber auch kanalweise ausgeführt sein. Als Material für die Abstandshalter 41 kann insbesondere Glas, Kunststoff oder Metall verwendet werden. Das Material sollte lichtundurchlässig sein oder in nachfolgenden Schritten der Montage lichtundurchlässig gemacht werden (z. B. Schwärzen mit lichtabsorbierendem Material bei der Verwendung von Glas). Die jeweilige Photodiodengruppe 30 besitzt gegenüber den zugeordneten Mikrolinsen aus den Mikrolin- senfeldern 10, 101, 102 einen lateralen Versatz (Abstandsdifferenz -„Pitchdifferenz"), der die mittlere Beobachtungsrichtung (optischer Strahl welcher durch die Mikrolinse auf die Photodiode bzw. die Photodioden im Mittelpunkt der zugeordneten Photodiodenmatrize 30 trifft) des jeweiligen Kanals im Objektfeld vorgibt. Ausgehend von der strukturellen Beschreibung werden nun die Funktionsweise und die Vorteile des der optischen Abbildungsvorrichtung 1400 gemäß dem vierten Ausführungsbeispiel erläutert. Die verschiedenen Mikrolinsenfelder 10, 101, 102 können aus verschiedenen Materialien (verschiedene Gläser, Kunststoffe, anorganische organische Polymere etc.) abgeformt sein, um z. B. chromatische Abbildungsfehler durch die unterschiedlichen Dispersionseigenschaften der Materialien zu korrigieren. Des Weiteren kann eines oder mehrere der Mikrolinsenfelder 10, 101, 102 als Feld achromatischer Elemente ausgelegt sein. Durch den am Objektivrand angebrachten lichtundurchlässigen axialen Abstandshalter 41 sind sowohl das mehrkanalige Abbildungssystem als auch die photoempfindlichen Bereiche des optoelektronischen Bildsensors 100 vor seitlich einfallendem Streulicht ge- schützt. Weiterhin können alternativ auch die Mikrolinsenfelder 10, 101, 102 einen zueinander unterschiedlichen Mittenabstand aufweisen, so dass die axialen Verbindungslinien 1410 zwischen den Scheitelpunkten 1420 der einzelnen Mikrolinsen aus 10, 101, 102, zwi- sehen benachbarten Kanälen einen Winkel einschließen und nicht wie bei der optischen Abbildungsvorrichtung 1400 gemäß Fig. 14 gezeigt, parallel sind.
Durch den beschriebenen Aufbau entsteht in jedem Kanal ein kleines Mikroobjektiv, wel- ches ein Bild des jeweilig zugeordneten Objektabschnittes bzw. Objektausschnitts auf die ihm zugeordnete Gruppe von Photodioden 30 des optoelektronischen Bildsensors 100 abbildet. Dabei wird explizit keine zweistufige Abbildung mit Zwischenbildern benutzt, um eine kleinstmögliche Baulänge des Gesamtobjektives zu erhalten. Die Anordnung der drei Mikrolinsenfelder 10, 101, 102 gemäß Fig. 14 ist vorteilhaft, um innerhalb jedes einzelnen Kanals die optischen Abbildungsfehler (wie Verzeichnung, chromatische Fehler und Co- ma) zu reduzieren und somit das optische Auflösungsvermögen gegenüber den anderen Ausführungsbeispielen zu erhöhen. Vor allem ist mit diesem vierten Ausfuhrungsbeispiel die tonnenförmige Verzeichnung zu größten Teilen korrigiert, so dass sich das Auflösungsvermögen des Gesamtbildes für große Objektfeldwinkel nicht mehr in Folge der Ver- Zeichnungen reduziert. Durch die erhöhte Komplexität wird außerdem die Erhöhung der optischen Lichtstärke (Verringerung der Blendenzahl) ermöglicht.
In Fig. 15 ist eine optische Abbildungsvorrichtung 1500 gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung gezeigt. Die optische Abbildungsvorrichtung 1500 umfasst im Gegensatz zu dem vierten Ausfuhrungsbeispiel an der Oberseite einer Substratschicht 20 ein Mikrolinsenfeld, welches als ein erstes Feld refraktiver Freiformflächen 10 ausgebildet ist, sowie an der Unterseite einer Substratschicht 21 ein Mikrolinsenfeld, welches als ein zweites Feld refraktiver Freiformflächen 102 ausgebildet ist. Unter einem Feld refraktiver Freiformflächen wird hier allgemein ein Mikrolinsenfeld verstan- den, bei dem sich einzelne Linsenparameter (also auch die Form und Größe der Apertur) von Kanal zu Kanal (bzw. von Freiformfläche zu Freiformfläche) unterscheiden. Das erste Feld refraktiver Freiformflächen 10 und ein dazugehöriges Aperturblendenfeld 11 befinden sich oberhalb der dünnen transparenten Substratschicht 20. Auf der Rückseite der Substratschicht 20 befindet sich ein plan-konkaves Mikrolinsenfeld 101. Auf der Frontseite der axial folgenden Substratschicht 21 befindet sich ein Aperturblendenfeld 11 '. Die Substratschicht 21 mit frontseitigem Aperturblendenfeld 11 ' ist direkt mit der Restschicht des Mik- rolinsenfeldes 101 auf der Rückseite der Substratschicht 20 verbunden, so dass ein monolithisches Abbildungsobjektiv entsteht. Auf der Substratrückseite der Substratschicht 21 befinden sich eine horizontale Blendenlage 12, welche zur Unterdrückung von optischem Übersprechen dient, und das zweite Feld refraktiver Freiformflächen 102. Die verschiedenen Mikrolinsenfelder (bzw. refraktiven Freiformflächenfelder) 10, 101, 102 können aus verschiedenen Materialien (verschiedene Gläser, Kunststoffe, anorganische-organische Co- Polymere etc.) bestehen, um z. B. chromatische Abbildungsfehler durch die unterschiedli- chen Dispersionseigenschaften der Materialien zu korrigieren. Des Weiteren kann eines oder mehrere der Mikrolinsenfelder (bzw. refraktiven Freiformflächenfelder) 10, 101, 102 als Feld achromatischer Elemente ausgelegt sein. Das mehrkanalige Abbildungsobjektiv wird mittels axialer Abstandshalterstrukturen 41 auf dem optoelektronischen Bildsensor 100 fixiert. Diese Abstandshalter 41 sind am Rand des mehrkanaligen Objektivs ausgeführt, können wahlweise aber auch kanalweise ausgeführt sein. Als Material kann insbesondere Glas, Kunststoff oder Metall verwendet werden. Das Material sollte lichtundurchlässig sein oder in nachfolgenden Schritten der Montage lichtundurchlässig gemacht werden (z. B. Schwärzen mit lichtabsorbierendem Polymer bei der Verwendung von Glas).
Unter einem Brennpunkt wird hier für asphärische Linsen und refraktive Freiformflächen allgemein der Punkt verstanden, an dem normal (beispielsweise normal zu einer Hauptoberfläche des Bildsensors 100) einfallendes Licht gebündelt wird. Durch den am Objektivrand angebrachten lichtundurchlässigen axialen Abstandshalter 41 sind sowohl das mehrkanalige Abbildungssystem als auch die photoempfindlichen Bereiche des optoelektronischen Bildsensors 100 vor seitlich einfallendem Streulicht geschützt. Die jeweilige Photodiodengruppe 30 besitzt gegenüber den zugeordneten Mikrolinsen bzw. refraktiven Freiformflächen aus den Mikrolinsenfeldern bzw. refraktiven Freiformflächen- feldern 10, 101, 102 einen lateralen Versatz (Abstandsdifferenz -„Pitchdifferenz"), der die mittlere Beobachtungsrichtung des jeweiligen Kanals im Objektfeld vorgibt.
Ausgehend von der Struktur werden nun die Funktionsweise und die Vorteile des fünften Ausführungsbeispiels beschrieben. Die in Fig. 15 gezeigte optische Abbildungsvorrichtung 1500 gemäß dem fünften Ausführungsbeispiel besitzt gegenüber der in Fig. 14 gezeigten optischen Abbildungsvorrichtung 1500 gemäß dem vierten Ausführungsbeispiel einen höheren optischen Füllfaktor. Dies wird durch die Verwendung von mindestens einer feldartigen Anordnung von refraktiven Formflächen (bei der optischen Abbildungsvorrichtung 1500 gemäß Fig. 15 werden beispielsweise zwei Felder refraktiver Freiformflächen ver- wendet - das erste Feld refraktiver Freiformflächen 10 und das zweite Feld refraktiver Freiformflächen 102) als Ersatz für ein jeweiliges Mikrolinsenfeld erreicht. Die laterale Ausdehnung dieser Freiformflächen innerhalb jedes Kanals ist nicht wesentlich größer ist als der zur jeweiligen Photodiodengruppe gehörende ausgeleuchtete Bereich einer im Vergleich zu einer Freiformfläche größeren (vollständigen) Mikrolinse. Aus diesem Grund können die Gruppen der Photodioden (Photodiodenmatrizen 30), dicht gepackt nebeneinander angeordnet sein, was eine kleinere aktive Fläche, im Vergleich zur Nutzung von Mikrolinsen, des optoelektronischen Bildsensors 100 und somit eine Reduktion der Herstellungskosten des optoelektronischen Bildsensors 100 bedeutet. Wie auch schon bei der optischen Abbildungsvorrichtung 1400 gemäß dem vierten Ausführungsbeispiel, wird auch bei der optischen Abbildungsvorrichtung 1500 gemäß dem vierten Ausführungsbeispiel, eine axial annähernd symmetrische Anordnung, um das Aperturblendenfeld 11 ' mit den, bei dem vierten Ausführungsbeispiel benannten, Vorteilen zur Erhöhung des optischen Auflösungsvermögen verwendet. Verzeichnung kann in der gezeigten Anordnung vorrangig durch den axial symmetrischen optischen Aufbau innerhalb jedes Kanals stark reduziert werden. In Folge der Optimierungen der kanalweisen Korrektur von Abbildungsfehlern unter schrägem Lichteinfall ist die unabhängige Anpas- sung der tangentialen und sagittalen Mikrolinsenparameter bevorzugt. Die Abbildung durch jeweils eine (somit anamorphotische) refraktive Freiformfläche pro Kanal erzeugt allerdings verschiedene Abbildungsmaßstäbe in tangentialer und sagittaler Richtung, was eine einachsige Verzerrung jedes Mikrobildes zur Folge hat. Diese Verzerrung kann vorteilhaft durch die kanalweise Ortstransformation und Interpolation der Pixelwerte (bei- spielsweise unter Verwendung einer zweiten Verarbeitungseinrichtung 52 gemäß Fig. 4) korrigiert werden, um einen Anschluss (passende Verbindung) der Bilddetails benachbarter optischer Kanäle und somit ein hohes Auflösungsvermögen im Gesamtbild zu gewährleisten. Alternativ kann, wie in Fig. 15 gezeigt, eine zweite refraktive Freiformfläche pro Kanal eingesetzt werden, um gleichzeitig mit der kanalweisen Korrektur von Abbildungsfel- dem unter schrägem Lichteinfall auch die Variation des Abbildungsmaßstabes in tangentialer und sagittaler Richtung optisch zu korrigieren.
Die refraktiven Freiformflächen 10, 102 können kanalweise zumindest annähernd durch Segmente größerer bikonischer Mikrolinsen (d. h. Mikrolinsen, die zwei asphärische Profi- le mit unterschiedlicher Konik entlang zweier senkrechter Schnitte durch das Oberflächenprofil aufweisen) beschrieben werden. Das Oberflächenprofil einer bikonischen Linse ist somit im Allgemeinen nicht rotationssymmetrisch, also anamorphotisch. Die exakte mathematische Beschreibung ihrer kanalweise verschiedenen Oberflächenprofile erfolgt durch eine Polynomentwicklung der axialen Pfeilhöhe in Abhängigkeit von den zweidi- mensionalen Koordinaten in Bezug auf einen Referenzpunkt. Aufgrund der unstetigen Strukturüberhänge zwischen den benachbarten Kanälen werden für diese feldartig angeordneten refraktiven Freiformflächen Herstellungsverfahren wie Laserschreiben, Grauton oder Zweiphotonenlithographie sowie alternativ Heiß- oder Glasprägen, notwendig. Alternativ kann eine Ultrapräzisionsbearbeitung zur Herstellung eines Masters für entsprechen- de Abform Werkzeuge dienen.
Weiterhin sind Ausführungsbeispiele verwendbar, welche von den bisher gezeigten Ausfuhrungsbeispielen abweichen. So können sich in einem weiteren Ausführungsbeispiel z. B. die Mikrolinsen innerhalb der Feldanordnung in mindestens einem ihrer Strukturparameter (beispielsweise Form der Grundfläche, Durchmesser, Pfeilhöhe, Krümmungsradius, Mittelpunktabstand und andere) voneinander unterscheiden. Weiterhin ist es möglich, dass, insbesondere die Oberflächenprofile der Mikrolinsen sphärisch, torisch (d. h. zwei sphäri- sehe Krümmungsradien entlang zweier senkrechter Schnitte), bikonisch (d. h. zwei asphärische Profile mit unterschiedlicher Konik entlang zweier senkrechter Schnitte) oder asphärisch sein können. Weiterhin können die Mikrolinsen ebenfalls als refraktive optische Freiformflächen ausgebildet sein. Die Mikrolinsen sind im Allgemeinen refraktiv, können aber in einem anderen Ausfuhrungsbeispiel auch diffraktiv oder eine Mischform aus beiden sein. Weiterhin ist es möglich, dass die einzelnen Mikrolinsen der Mikrolinsenfelder als Achromaten ausgebildet sind, um Farblängs- sowie Farbquerfehler zu minimieren. Weiterhin ist es möglich, dass das Mikrolinsenfeld bzw. die Mikrolinsenfelder sowie evtl. weitere Grenzflächen zwischen Materialien mit unterschiedlichen Brechungsindices mit reflexionsmildernden Schichten (AR-Beschichtung) versehen sind.
Eine weitere Möglichkeit der Hardwareverzeichnungskorrektur stellt die Variation der physischen Mittenabstände der Photodioden 30' im optoelektronischen Bildsensor 100 dar. Die kanalspezifische Verzeichnung kann somit durch einen für die Optik angepassten Bildsensor 100 mit einer kanalabhängigen Veränderung der Anordnung der Photodioden 30' innerhalb des Mikrobildbereiches korrigiert werden. Die kanalspezifische Anordnung der Photodioden 30' kann dafür aus den Optikdesigndaten und insbesondere dem kanalweisen Verzeichnisverlauf ermittelt werden (vgl. Fig. 8).
Weiterhin ist es möglich, dass falls die Photodiodengruppen 30 auf dem optoelektroni- sehen Bildsensor 100 in einer hexagonalen, quadratischen, rechteckigen oder anderen Verteilung angeordnet sind, dass auch die zugeordneten Mikrolinsen 10 in einer hexagonalen, quadratischen, rechteckigen oder anderen Verteilung angeordnet sind.
Zusammenfassend lässt sich sagen, dass es sich bei Ausführungsbeispielen gemäß der vor- liegenden Erfindung um ein mehrkanaliges Abbildungs- und Bildaufnahmesystem handelt, Ein Abbildungs- und Bildaufnahmesystem gemäß der vorliegenden Erfindung besteht aus einem oder mehreren Mikrolinsenfeldern und einem Bilddetektorenfeld, welches in jedem Kanal einen Teilbereich des Objektfeldes erfasst, abbildet und aus den elektronischen/digitalen Signale aller Einzelkanäle ein Gesamtbild des ausgedehnten Objektfeldes zusammensetzt. Das System ist völlig eigenständig abbildend und muss nicht mit anderen Optiken kombiniert werden. Dies stellt einen Gegensatz zu Mikrolinsenfeldern auf den jeweiligen Photodioden von Bildsensoren, welche nicht abbildend, sondern nur lichtbündelnd zur Erhöhung des optischen Füllfaktors dienen, dar. Gegenüber dem bekannten Stand der Technik, entstehen damit unter anderem die folgenden Vorteile. Die Aufbau- und Verbindungstechnik kann zum größten Teil (Optikkomponenten zu Abstandshalter- schichten, mehrkanaliges Objektiv zum optoelektronischen Bildsensor) für zahlreiche Systeme parallel im Wafermaßstab erfolgen. Die Genauigkeit dieser Verfahren liegt aufgrund der Verwendung von optischer Justageunterstützung mittel Justiermarken im μιη-Bereich. Dadurch werden der Anteil manueller Montage und die Montagezeit pro Modul deutlich verringert, was zu Kostenvorteilen führt. Ein weiterer Vorteil ist, dass die Verwendung von mehreren Pixeln pro Kanal und einem speziell angepassten Abtastprinzip gegenüber bereits bekannten künstlichen Appositionsfacettenaugen ein wesentlich höheres Bildauflö- sungsvermögen bei gleicher oder sogar geringerer Sensorgrundfläche erlaubt. Aus diesem Grund verringern sich die Herstellungskosten des optoelektronischen Bildsensors und damit die Herstellungskosten des Gesamtsystems. Ein weiterer Vorteil ist, dass die Verwendung von kanal weiser Signal vorverarbeitung, insbesondere zur Korrektur von optischer Verzeichnung innerhalb jedes Mikrobildes, die Segmentierung des Objektfeldes ohne Ver- ringerung des Auflösungsvermögens im Gesamtfeld ermöglicht, wobei ein Mikrobild bei der Abbildung eines Teilbereiches des Objektfeldes, durch eine Mikrolinse auf eine Bilddetektorenmatrize entsteht. Weiterhin wird aufgrund der Aufteilung der Abbildung des Objektfeldes durch eine Vielzahl von getrennten optischen Kanälen eine Verkürzung der Baulänge des optischen Systems ermöglicht und trotzdem die Erfassung eines großen Ob- jektfeldbereichs ermöglicht (insbesondere skaliert die Größe des erfassbaren Objektfeldes mit der Anzahl der Kanäle und der lateralen Systemgröße, ist aber unabhängig von der Baulänge). Weiterhin wird ein großes Objektfeld mit nahezu konstantem Auflösungsvermögen über das gesamte Feld abgebildet, obwohl pro Kanal ein einfaches (einfach herzustellendes) optisches System verwendet wird. Weiterhin ist eine kostengünstige Produktion und Montage des Abbildungsobjektives aber auch eine kosteneffiziente Aufbau- und Verbindungstechnik zum optoelektronischen Bildsensor durch zur Halbleiterstrukturierungs- technik verwandte Herstellungsprozesse im Wafermaßstab, möglich. Ein weiterer Vorteil ist die Erhöhung des Bildauflösungsvermögens (bis etwa 1000 x 1000 Pixel oder sogar noch mehr) durch Verwendung von mehreren Pixeln pro Kanal in Verbindung mit den optischen Anordnungen zur kanal weisen Korrektur von Abbildungsfehlern (insbesondere Coma, Astigmatismus, Bildfeldwölbung). Durch zusätzliche Verwendung von kanalweiser Bildvorverarbeitung zur Korrektur von Verzeichnung wird ein fehlerfreier Anschluss der Mikrobilddetails ermöglicht. Weiterhin ermöglicht eine optische Abbildungsvorrichtung gemäß der vorliegenden Erfindung eine Erhöhung des Quotienten aus Bildauflösungsver- mögen und benötigter Fläche des optoelektronischen Bildsensors und somit eine Verringerung der Gesamtsystemkosten. Außerdem kann durch eine geeignete Variation des optischen Aufbaus (siehe drittes Ausführungsbeispiel) der zum Rand anwachsende Abfall der Bildhelligkeit verringert werden. Zusätzlich bietet sich die Möglichkeit der einfachen Integration von spektralen Transmissionsfiltern (z. B. IR-Sperrfilter und/oder Farbfilter).
Beispielhafte Parameterbereiche für alle Ausführungsbeispiele werden im Folgenden auf- gezeigt. Der typische Durchmesser der Mikrolinsen kann im Bereich von 10 μπι bis 1 mm liegen, wobei die Brennweite der Mikrolinsen typischerweise im Bereich von 30 μπι bis 3 mm liegen kann. Im zweidimensionalen Feld kann die Anzahl der Mikrolinsen bzw. Kanäle typischerweise 4 bis 250000 betragen, während sie im eindimensionalen Feld typischerweise 2 bis 1000 betragen kann. Aufgrund der Vorteile, die eine optische Abbildungsvor- richtung gemäß der vorliegenden Erfindung besitzt, resultiert eine komplette Baulänge der Abbildungsoptik typischerweise in den Größen von 50 μιη bis 4,5 mm. Die Gesamtbild- auflösung einer optischen Abbildungsvorrichtung gemäß der vorliegenden Erfindung liegt typischerweise zwischen 10000 Pixeln bis 10 Megapixel oder mehr. Ein abbildendes Mikrolinsenfeld (beispielsweise auf einem dünnem Substrat mit Blendenlagen) auf einem Bildsensor gemäß einem Ausführungsbeispiel der vorliegenden Erfindung lässt sich eindeutig von herkömmlicher Einkanaloptik unterscheiden (Aufbau ist dann typischerweise hybrid, da Linse getrennt hergestellt (Spritzguß) und mit dem Bildsensor in ein gemeinsames Gehäuse eingebaut wird).
Aufgrund ihrer möglichen ultrakompakten Bauweise und der potentiell kostengünstigen Herstellungstechnologie sind mehrkanalige Abbildungs- und Bilderfassungserfassungssysteme, gemäß der vorliegenden Erfindung, zum Einsatz in Produkten der Unterhaltungselektronik (Laptop, Spielekonsolen, Spielzeug) und vor allem für den Einsatz in portablen Geräten (Mobiltelefon, PDA und andere) prädestiniert. Weitere Anwendungsgebiete gibt es in der Sensorik (z. B. kameraartige Sensoren, bildgebende Sensoren in der Produktionstechnik), in der Automobiltechnik (z. B. optische Sicherheitssensoren im Automobilinnenraum, Fahrassistenzsysteme, wie Rückfahrkamera, Fahrspurerkennung etc.), in der Sicherheitenüberwachung (z, B. umschaltbare Umweltkameras mit großem Gesichtsfeld an/in Gebäuden, Museen, Objekten), in der Robotik (z. B. als optischer Sensor zur Navigation, optische Steuerung von Greifern oder Bauteilaufnahmevorrichtungen), und in der Medizintechnik (z. B. Einsatz in bildgebenden Diagnoseverfahren, Endoskopie).
Ausführungsbeispiele der Verfahren können um alle Aspekte und Funktionalitäten der erfindunsgemäßen Vorrichtungen ergänzt werden.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfah- rens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Des- halb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Allgemein können Ausfuhrungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Ein weiteres Ausfuhrungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Compute rogramm zum Durchfuhren eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzu- führen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche
Vorrichtung (1000, 1200, 1300, 1400, 1500) zur optischen Abbildung mit folgenden Merkmalen: mindestens einem Mikrolinsenfeld (10) mit mindestens zwei Mikrolinsen; einem Bildsensor (100) mit mindestens zwei Bilddetektorenmatrizen (30); wobei die zumindest zwei Bilddetektorenmatrizen (30) jeweils eine Mehrzahl von Bilddetektoren umfassen; wobei ein Bilddetektor einem Pixel des Bildsensors (100) entspricht; wobei eine Zuordnung zwischen den Bilddetektorenmatrizen (30) und den Mikrolinsen (10) besteht, so dass jede Mikrolinse zusammen mit einer Bilddetektorenmatrize (30) einen optischen Kanal bildet; wobei Mittelpunkte verschiedener Bilddetektorenmatrizen (30) lateral unterschiedlich weit gegenüber, auf die Bilddetektorenmatrizen (30) projizierten Flächenschwerpunkten der Mikrolinsenaperturen (13a, 13b) der zugehörigen optischen Kanäle verschoben sind, so dass zumindest zwei der optischen Kanäle unterschiedliche, teilweise überlappende Erfassungsbereiche aufweisen, und so dass ein Überlappbereich der Erfassungsbereiche zweier Kanäle im Hinblick auf ein Bilddetektorraster der Bilddetektorenmatrizen (30) versetzt auf die Bilddetektorenmatrizen (30) abgebildet wird.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß Anspruch 1, bei der der Überlappbereich eine Mehrzahl von Objektzellen aufweist, wobei jede der Objektzellen auf zumindest einen Bilddetektor des Bildsensors (100) abbildbar ist; und bei der jedem optischen Kanal ein Abtastgitter zugeordnet ist; wobei ein Abtastgitter (810) des ersten optischen Kanals beschreibt, welche Objektzellen des Überlappbereichs auf welche Bilddetektoren der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet werden und; wobei ein Abtastgitter (820) des zweiten optischen Kanals beschreibt, welche Objektzellen des Überlappbereichs auf welche Bilddetektoren der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet werden; und wobei das Abtastgitter (810) des ersten optischen Kanals so gewählt ist, dass eine erste Objektzelle auf einen ersten Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet wird, und dass eine zweite, der ersten Objektzelle benachbarte, Objektzelle auf einen Zwischenraum zwischen dem ersten Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals und einem zweiten, dem ersten Bilddetektor benachbarten, Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet wird; und wobei das Abtastgitter (820) des zweiten optischen Kanals so gewählt ist, dass die zweite Objektzelle auf einen ersten Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet wird, und dass die erste Objektzelle auf einen Zwischenraum zwischen dem ersten Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals und einen zweiten, dem ersten Bilddetektor benachbarten, Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet wird.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß Anspruch 2, bei der das Abtastgitter (810) des ersten optischen Kanals um ein nicht-ganzzahliges Vielfaches eines Abtastintervalls gegenüber dem Abtastgitter (820) des zweiten optischen Kanals verschoben ist, so dass eine dritte, der zweiten Objektzelle benachbarte, Objektzelle auf dem zweiten Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet wird; und wobei das Abtastintervall gleich dem Abstand des Mittelpunktes der ersten Objektzelle zu dem Mittelpunkt der dritten Objektzelle ist.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, die ausgebildet ist, um in jedem optischen Kanal ein Mikrobild des jeweiligen Erfassungsbereiches zu erzeugen; wobei ein Mikrobild eine Mehrzahl von Pixeln umfasst, wobei ein Pixel durch eine Abbildung einer Objektzelle auf einem Bilddetektor entsteht; und wobei ein Mikrobild des ersten optischen Kanals mit einem Mikrobild des zweiten optischen Kanals so verschränkt ist, dass entlang einer Linie benachbarte Objektzellen des Überlappbereichs des ersten und des zweiten Kanals abwechselnd zu verschiedenen Mikrobildern zugeordnet werden.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der der Bildsensor (100) in einer Brennebene der Mikrolinsen des Mikrolinsenfeldes (10) angeordnet ist; wobei sich zwischen dem Bildsensor (100) und dem Mikrolinsenfeld (10) eine Abstandshalterschicht befindet; wobei die Abstandshalterschicht eine Mehrzahl von Kanalseparationsstrukturen umfasst, die ausgebildet sind, um ein optisches Übersprechen zwischen benachbarten optischen Kanälen zu unterdrücken; und wobei die Abstandshalterschicht mindestens ein Aperturblendenfeld (11) umfasst, das ausgebildet ist, um Streulicht durch die Zwischenräume zwischen den Mikrolinsen zu unterdrücken.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der eine Mehrzahl der optischen Kanäle unterschiedliche spektrale Transmissionsfelder umfassen, so dass in den optischen Kanälen jeweils ein zugehöriges Mikrobild entsteht, wobei Mikrobilder unterschiedlicher Kanäle unterschiedlichen Spektralfarben zugeordnet sind; wobei die optischen Kanäle durch Kanalseparationsstrukturen getrennt sind, um Farbübersprechen zu unterbinden; wobei benachbarte Kanäle verschiedene spektrale Transmissionsfelder umfassen, und die Mikrobilder der benachbarten Kanäle so verschränkt sind, dass entlang einer Linie benachbarte Objektzellen des Überlappbereichs der optischen Kanäle abwechselnd den verschiedenen spektralen Mikrobildern zugeordnet werden.
7. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, die einen Sensor zur Messung des Abstandes zwischen der Vorrichtung und einem zu erfassenden Objekt (800) umfasst; wobei die Vorrichtung (1000, 1200, 1300, 1400, 1500) ausgelegt ist, um einen Versatz von einer Abbildung einer ersten Objektzelle auf einen ersten Bilddetektor einer Bilddetektorenmatrize (30a) eines ersten optischen Kanals, zu einer Abbildung einer zweiten, der ersten Objektzelle benachbarten, Objektzelle auf einen ersten Bilddetektor einer Bilddetektorenmatrize (30b) eines zweiten optischen Kanals zu korrigieren, und bei der Korrektur den lateralen Abstand der Bilddetektorenmatrize
(30a) des ersten optischen Kanals zu der Bilddetektorenmatrize (30b) des zweiten optischen Kanals zu berücksichtigen.
8. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der verschiedene Mikrolinsen sich in mindestens einem ihrer Strukturparameter unterscheiden; wobei die Mikrolinsen, so geformt sind, dass alle in dieselbe Brennebene abbilden.
9. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der mindestens eine Mikrolinse als Achromat ausgebildet ist.
10. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der das Mikrolinsenfeld (10) und/oder eine Grenzfläche zwischen einem transparenten Material und Luft eine reflektionsmindernde Schicht aufweist.
11. Vorrichtung(1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der das Mikrolinsenfeld (10) sowie die Bilddetektorenmatrizen (30) in einer hexagonalen oder einer quadratischen oder einer rechteckigen Verteilung angeordnet sind.
12. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, bei der das Mikrolinsenfeld (10) als ein Feld von refraktiven Freiformflächen ausgebildet ist.
13. Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (1000, 1200, 1300, 1400, 1500) so ausgebildet ist, dass in jedem optischen Kanal ein Mikrobild mit einer Mehrzahl von Pixeln entsteht; wobei die Vorrichtung (1000, 1200, 1300, 1400, 1500) eine Bildverarbeitungseinrichtung (70) zur Korrektur der Verzeichnung der Mikrobilder, sowie zur Rekonstruktion eines Gesamtbildes (300) aus den Mikrobildern der optischen Kanäle um- fasst; wobei die Bildverarbeitungseinrichtung (70) ausgebildet ist, um die Korrektur der Verzeichnung für jedes Mikrobild getrennt und zeitlich parallel durchzuführen; und wobei die Bildverarbeitungseinrichtung (70) ausgebildet ist, um die Rekonstruktion des Gesamtbildes (300) durch abwechselndes Anordnen der Pixel der verschränkten Mikrobilder durchzuführen, um so das Gesamtbild (300) zu erhalten.
Vorrichtung (1000, 1200, 1300, 1400, 1500) gemäß Anspruch 13, wobei die Bildverarbeitungseinrichtung (70) auf einem Chip mit dem Bildsensor (100) ausgeführt ist; wobei die Bildverarbeitungseinrichtung (70) eine Mehrzahl von Mikrobildverarbeitungseinrichtungen (50), zur Korrektur von Verzeichnungen, umfasst, die in den Zwischenräumen der Bilddetektorenmatrizen (30) des Bildsensors (100) angeordnet sind.
Bildverarbeitungsvorrichtung mit folgenden Merkmalen: einem Bildsensor (100) mit einer Mehrzahl von Bilddetektoren, wobei eine erste Mehrzahl von Bilddetektoren einer ersten Bilddetektorenmatrize (30a) zugeordnet sind; wobei eine zweite Mehrzahl von Bilddetektoren einer zweiten Bilddetektorenmatrize (30b) zugeordnet sind; und wobei die Einzelabbildungen benachbarter Kanäle miteinander verschränkt sind; einer Bildverarbeitungseinrichtung (70) zur Korrektur von Bildfehlern und zur Rekonstruktion eines Gesamtbildes (300) aus den Abbildungen auf den Bilddetektoren der Bilddetektorenmatrizen; wobei die Bildverarbeitungseinrichtung (70) eine Mehrzahl von Verarbeitungseinrichtungen, zur Korrektur von Verzeichnungen, umfasst; wobei die Bildverarbeitungseinrichtung (70) ausgebildet ist, um die Korrektur der Bildfehler der Einzelabbildungen aller Bilddetektorenmatrizen, unabhängig voneinander zeitlich parallel auszuführen und um aus den Einzelabbildungen ein Gesamtbild zu rekonstruieren derart, dass die Verschränkung der Einzelabbildungen berücksichtigt ist; und einer Einheit zur Aufnahme eines Mikrolinsenfeldes, die ausgelegt ist, um ein Mikrolinsenfeld derartig auf der Bildverarbeitungsvorrichtung zu befestigen, so dass der Bildsensor sich in der Brennebene des Mikrolinsenfeldes befindet.
16. Bildverarbeitungsvorrichtung gemäß Anspruch 15, bei der die Bildverarbeitungseinrichtung (70) auf einem Chip mit dem Bildsensor (100) ausgeführt ist.
17. Bildverarbeitungsvorrichtung gemäß Anspruch 16, bei der die Mehrzahl von Verarbeitungseinrichtungen zur Korrektur von Verzeichnungen in den Zwischenräumen der Bilddetektorenmatrizen des Bildsensors (100) angeordnet sind.
18. Verfahren zur optischen Abbildung eines Objektes unter Verwendung eines Mikrolinsenfeldes (10) mit mindestens zwei Mikrolinsen und eines Bildsensors (100), wobei der Bildsensor eine Mehrzahl von Bilddetektorenmatrizen (30) umfasst und wobei jede Bilddetektormatrize eine Mehrzahl von Bilddetektoren umfasst und wobei jeder Mikrolinse eine Bilddetektorenmatrize zugeordnet ist, so dass jede Mikro- linse zusammen mit der zugeordneten Bilddetektorenmatrize einen optischen Kanal bildet, mit folgendem Schritt: a) Abbilden des Objektes durch das Mikrolinsenfeld auf dem Bildsensor, derart, dass jede Objektzelle auf einen Bilddetektor abgebildet wird, wobei benachbarte Objektzellen auf Bilddetektoren von benachbarten optischen Kanälen abgebildet werden, so dass Mikrobilder auf den Bilddetektorenmatrizen der optischen Kanäle entstehen, wobei jedes Mikrobild mit den Mikrobildern der benachbarten Kanäle verschränkt ist.
Verfahren zur optischen Abbildung gemäß Anspruch 18, wobei das Verfahren zusätzlich die folgenden Schritte umfasst: b) Horizontale sowie vertikale Spiegelung der einzelnen Mikrobilder der optischen Kanäle, wobei die Spiegelung sämtlicher Mikrobilder zeitlich parallel erfolgt; c) Umrechnung der Pixelwerte der Mikrobilder verschiedener optischer Kanäle aus ihrer diskreten Gitterstruktur, mittels einer Ortstransformation, auf eine kontinuierliche Koordinatenebene wobei eine Korrektur von Bildverzerrungen der Mikrobilder verschiedener optischer Kanäle erfolgt; d) Abbilden der Pixelwerte von der kontinuierlichen Koordinatenebene auf ein neues diskretes Gitter um entzerrte Mikrobilder zu erhalten, wobei verschiedene optische Kanäle zeitlich parallel verarbeitet werden; und e) Umsortierung der Pixelwerte der entzerrten Mikrobilder in eine Bildmatrix nach einem vorgegebenen Schema, welches durch die Verschränkung der Mikrobilder vorgegeben ist, um ein unverschränktes Gesamtbild zu erhalten.
Verfahren gemäß Anspruch 19 bei dem die Umrechnung der Pixel werte der Mikrobilder verschiedener optischer Kanäle aus ihrer diskreten Gitterstruktur, mittels einer Ortstransformation, auf eine kontinuierliche Koordinatenebene zeitlich parallel erfolgt.
Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 18, wenn das Programm auf einem Computer abläuft.
Vorrichtung (1000, 1200, 1300, 1400, 1500) zur optischen Abbildung mit folgenden Merkmalen: mindestens einem Mikrolinsenfeld (10) mit mindestens zwei Mikrolinsen; einem Bildsensor (100) mit mindestens zwei Bilddetektorenmatrizen (30); wobei die zumindest zwei Bilddetektorenmatrizen (30) jeweils eine Mehrzahl von Bilddetektoren umfassen; wobei ein Bilddetektor einem Pixel des Bildsensors (100) entspricht; wobei eine Zuordnung zwischen den Bilddetektorenmatrizen (30) und den Mikro- linsen (10) besteht, so dass jede Mikrolinse zusammen mit einer Bilddetektorenmatrize (30) einen optischen Kanal bildet; wobei Mittelpunkte verschiedener Bilddetektorenmatrizen (30) lateral unterschiedlich weit gegenüber, auf die Bilddetektorenmatrizen (30) projizierten Flächenschwerpunkten der Mikrolinsenaperturen (13a, 13b) der zugehörigen optischen Kanäle verschoben sind, so dass zumindest zwei der optischen Kanäle unterschiedliche, teilweise überlappende Erfassungsbereiche aufweisen, und so dass ein Überlappbereich der Erfassungsbereiche zweier Kanäle im Hinblick auf ein Bilddetektorraster der Bilddetektorenmatrizen (30) versetzt auf die Bilddetektorenmatrizen (30) abgebildet wird; bei der der Überlappbereich eine Mehrzahl von Objektzellen aufweist, wobei jede der Objektzellen auf zumindest einen Bilddetektor des Bildsensors (100) abbildbar ist; und bei der jedem optischen Kanal ein Abtastgitter zugeordnet ist; wobei ein Abtastgitter (810) des ersten optischen Kanals beschreibt, welche Objektzellen des Überlappbereichs auf welche Bilddetektoren der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet werden und; wobei ein Abtastgitter (820) des zweiten optischen Kanals beschreibt, welche Objektzellen des Überlappbereichs auf welche Bilddetektoren der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet werden; und wobei das Abtastgitter (810) des ersten optischen Kanals so gewählt ist, dass eine erste Objektzelle auf einen ersten Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet wird, und dass eine zweite, der ersten Objektzelle benachbarte, Objektzelle auf einen Zwischenraum zwischen dem ersten Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals und ei- nem zweiten, dem ersten Bilddetektor benachbarten, Bilddetektor der Bilddetektorenmatrize (30a) des ersten optischen Kanals abgebildet wird; und wobei das Abtastgitter (820) des zweiten optischen Kanals so gewählt ist, dass die zweite Objektzelle auf einen ersten Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet wird, und dass die erste Objektzelle auf einen Zwischenraum zwischen dem ersten Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals und einen zweiten, dem ersten Bilddetektor benachbarten, Bilddetektor der Bilddetektorenmatrize (30b) des zweiten optischen Kanals abgebildet wird.
Vorrichtung (1000, 1200, 1300, 1400, 1500) zur optischen Abbildung mit folgenden Merkmalen: mindestens einem Mikrolinsenfeld (10) mit mindestens zwei Mikrolinsen; einem Bildsensor (100) mit mindestens zwei Bilddetektorenmatrizen (30); wobei die zumindest zwei Bilddetektorenmatrizen (30) jeweils eine Mehrzahl Bilddetektoren umfassen; wobei eine Zuordnung zwischen den Bilddetektorenmatrizen (30) und den Mikrolinsen (10) besteht, so dass jede Mikrolinse zusammen mit einer Bilddetektorenmatrize (30) einen optischen Kanal bildet; wobei Mittelpunkte verschiedener Bilddetektorenmatrizen (30) lateral unterschiedlich weit gegenüber, auf die Bilddetektorenmatrizen (30) projizierten Flächenschwerpunkten der Mikrolinsenaperturen (13a, 13b) der zugehörigen optischen Kanäle verschoben sind, so dass zumindest zwei der optischen Kanäle unterschiedli- che, teilweise überlappende Erfassungsbereiche aufweisen, und so dass ein Überlappbereich der Erfassungsbereiche zweier Kanäle im Hinblick auf ein Bilddetektorraster der Bilddetektorenmatrizen (30) versetzt auf die Bilddetektorenmatrizen (30) abgebildet wird; die einen Sensor zur Messung des Abstandes zwischen der Vorrichtung und einem zu erfassenden Objekt (800) umfasst; wobei die Vorrichtung (1000, 1200, 1300, 1400, 1500) ausgelegt ist, um einen Versatz von einer Abbildung einer ersten Objektzelle auf einen ersten Bilddetektor einer Bilddetektorenmatrize (30a) eines ersten optischen Kanals, zu einer Abbildung einer zweiten, der ersten Objektzelle benachbarten, Objektzelle auf einen ersten Bilddetektor einer Bilddetektorenmatrize (30b) eines zweiten optischen Kanals zu korrigieren, und bei der Korrektur den lateralen Abstand der Bilddetektorenmatrize (30a) des ersten optischen Kanals zu der Bilddetektorenmatrize (30b) des zweiten optischen Kanals zu berücksichtigen. 24. Verfahren zur optischen Abbildung eines Objektes unter Verwendung eines Mikro- linsenfeldes (10) mit mindestens zwei Mikrolinsen und eines Bildsensors (100), wobei der Bildsensor eine Mehrzahl von Bilddetektorenmatrizen (30) umfasst und wobei jede Bilddetektormatrize eine Mehrzahl von Bilddetektoren umfasst und wobei jeder Mikrolinse eine Bilddetektorenmatrize zugeordnet ist, so dass jede Mikro- linse zusammen mit der zugeordneten Bilddetektorenmatrize einen optischen Kanal bildet, mit folgenden Schritten: a) Abbilden des Objektes durch das Mikrolinsenfeld auf dem Bildsensor, derart, dass jede Objektzelle auf einen Bilddetektor abgebildet wird, wobei benachbarte Objektzellen auf Bilddetektoren von benachbarten optischen Kanälen abgebildet werden, so dass Mikrobilder auf den Bilddetektorenmatrizen der optischen Kanäle entstehen, wobei jedes Mikrobild mit den Mikrobildern der benachbarten Kanäle verschränkt ist; b) Horizontale sowie vertikale Spiegelung der einzelnen Mikrobilder der optischen Kanäle, wobei die Spiegelung sämtlicher Mikrobilder zeitlich parallel erfolgt; c) Umrechnung der Pixelwerte der Mikrobilder verschiedener optischer Kanäle aus ihrer diskreten Gitterstruktur, mittels einer Ortstransfoimation, auf eine kontinuierliche Koordinatenebene wobei eine Korrektur von Bildverzerrungen der Mikrobilder verschiedener optischer Kanäle erfolgt; d) Abbilden der Pixelwerte von der kontinuierlichen Koordinatenebene auf ein neues diskretes Gitter um entzerrte Mikrobilder zu erhalten, wobei verschiedene optische Kanäle zeitlich parallel verarbeitet werden; und e) Umsortierung der Pixelwerte der entzerrten Mikrobilder in eine Bildmatrix nach einem vorgegebenen Schema, welches durch die Verschränkung der Mikrobilder vorgegeben ist, um ein unverschränktes Gesamtbild zu erhalten.
PCT/EP2010/065290 2009-10-14 2010-10-12 Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung Ceased WO2011045324A2 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011543783A JP5379241B2 (ja) 2009-10-14 2010-10-12 光学画像装置、光学画像処理装置および光学画像形成方法
ES10771393T ES2572229T3 (es) 2009-10-14 2010-10-12 Dispositivo para la reproducción óptica
KR1020117008573A KR101284414B1 (ko) 2009-10-14 2010-10-12 광 촬상을 위한 방법, 장치 및 영상 처리 장치
EP10771393.5A EP2428034B1 (de) 2009-10-14 2010-10-12 Vorrichtung zur optischen abbildung
US13/074,089 US8629930B2 (en) 2009-10-14 2011-03-29 Device, image processing device and method for optical imaging

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009049387.5 2009-10-14
DE102009049387.5A DE102009049387B4 (de) 2009-10-14 2009-10-14 Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/074,089 Continuation US8629930B2 (en) 2009-10-14 2011-03-29 Device, image processing device and method for optical imaging

Publications (2)

Publication Number Publication Date
WO2011045324A2 true WO2011045324A2 (de) 2011-04-21
WO2011045324A3 WO2011045324A3 (de) 2011-06-23

Family

ID=43126993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/065290 Ceased WO2011045324A2 (de) 2009-10-14 2010-10-12 Vorrichtung, bildverarbeitungsvorrichtung und verfahren zur optischen abbildung

Country Status (7)

Country Link
US (1) US8629930B2 (de)
EP (3) EP2429176B1 (de)
JP (2) JP5379241B2 (de)
KR (1) KR101284414B1 (de)
DE (1) DE102009049387B4 (de)
ES (3) ES2572229T3 (de)
WO (1) WO2011045324A2 (de)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101556A1 (en) * 2011-12-30 2013-07-04 Qualcomm Mems Technologies, Inc. Light direction distribution sensor
US20140003777A1 (en) * 2012-07-02 2014-01-02 Commscope, Inc. Of North Carolina Light focusing structures for fiber optic communications systems and methods of fabricating the same using semiconductor processing and micro-machining techniques
DE102013226196A1 (de) * 2013-12-17 2015-06-18 Volkswagen Aktiengesellschaft Optisches Sensorsystem
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
WO2017121609A1 (de) * 2016-01-13 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, abbildungssystem und verfahren zum erfassen eines objektbereichs
CN107589468A (zh) * 2017-07-25 2018-01-16 移康智能科技（上海）股份有限公司 一种人体探测方法、装置及电子设备
EP3282181A1 (de) * 2016-07-29 2018-02-14 ZKW Group GmbH Mikrooptic - linsen auf glas mit gedruckter strahlenblende - konzept und herstellverfahren
CN113037956A (zh) * 2019-12-24 2021-06-25 三星电子株式会社 成像装置、移动终端和图像感测方法
DE102017000774B4 (de) 2016-04-18 2021-08-12 Kastriot Merlaku Bild-Ausrichtungs-System für eine Digitalkamera
US12061121B2 (en) 2018-10-02 2024-08-13 Sony Semiconductor Solutions Corporation Temperature detecting element and imaging apparatus
US12380665B2 (en) 2020-06-10 2025-08-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method of capturing a projected dot pattern in a display device

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
EP4336447B1 (de) 2008-05-20 2025-05-07 Adeia Imaging LLC Aufnahme und verarbeitung von bildern mittels monolithischer kamera anordnung mit heterogenem bildwandler
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
GB0912970D0 (en) * 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5785398B2 (ja) 2011-02-17 2015-09-30 キヤノン株式会社 撮像装置及び画像信号処理装置
JP5330439B2 (ja) * 2011-03-18 2013-10-30 株式会社東芝 カメラモジュール、画像処理装置及び画像処理方法
BR112013013265A2 (pt) * 2011-04-22 2016-09-13 Grapac Japan Co Inc folha de exibição de imagem, e, corpo de exibição de imagem
CN107404609B (zh) * 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9129183B2 (en) 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
JP2013109011A (ja) * 2011-11-17 2013-06-06 Toshiba Corp カメラモジュール
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
EP2817955B1 (de) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systeme und verfahren zur manipulation von bilddaten aus einem erfassten lichtfeld
US9599508B2 (en) 2012-05-18 2017-03-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
EP2850403B1 (de) 2012-05-18 2021-10-27 Rebellion Photonics, Inc. Spektrales infrarot-bildgebungssystem mit geteilter apertur für chemischen nachweis
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
EP2873028A4 (de) 2012-06-28 2016-05-25 Pelican Imaging Corp Systeme und verfahren zur erkennung defekter kamera-arrays, optischer arrays und sensoren
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
KR102111181B1 (ko) 2012-08-21 2020-05-15 포토내이션 리미티드 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (de) 2012-09-28 2016-08-24 Pelican Imaging Corp Erzeugung von bildern aus lichtfeldern mithilfe virtueller blickpunkte
DE102012218834B4 (de) * 2012-10-12 2016-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und system zur optischen abbildung
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US20140158862A1 (en) * 2012-12-11 2014-06-12 Ying Wen Hsu Micro-Image Acquisition and Transmission System
TWI502212B (zh) * 2013-01-11 2015-10-01 Pixart Imaging Inc 光學裝置、使用微透鏡之感光元件及其製作方法
JPWO2014119737A1 (ja) * 2013-02-01 2017-01-26 コニカミノルタ株式会社 複眼光学系、撮像装置、及び複眼光学系の製造方法
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE102013209246B4 (de) * 2013-05-17 2019-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Herstellung einer falschlichtunterdrückenden Struktur und Vorrichtung mit derselben
JP6480919B2 (ja) 2013-05-21 2019-03-13 クラレト，ホルヘ ヴィセンテ ブラスコ プレノプティックセンサとその製造方法およびプレノプティックセンサを有する配置
JP5791664B2 (ja) * 2013-06-28 2015-10-07 キヤノン株式会社 光学素子アレイ、及び固体撮像装置
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9202833B2 (en) 2013-08-23 2015-12-01 Semiconductor Components Industries, Llc Imaging systems with baffle grids
KR102114248B1 (ko) * 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9880391B2 (en) * 2013-10-01 2018-01-30 Heptagon Micro Optics Pte. Ltd. Lens array modules and wafer-level techniques for fabricating the same
US20150116527A1 (en) * 2013-10-31 2015-04-30 Heptagon Micro Optics Pte. Ltd. Compact array camera modules having an extended field of view from which depth information can be extracted
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
DE102013222780B3 (de) * 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
GB2520261B (en) * 2013-11-12 2017-10-18 Canon Kk Visual servoing
EP2871452B1 (de) 2013-11-12 2019-05-01 Rebellion Photonics, Inc. Spektrales Infrarot-Bildgebungssystem mit geteilter Apertur
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
DE102013226789B4 (de) * 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
JP6351285B2 (ja) * 2014-02-13 2018-07-04 キヤノン株式会社 画像形成装置、及び画像形成装置の制御方法
EP2908341B1 (de) * 2014-02-18 2018-07-11 ams AG Halbleitervorrichtung mit oberflächenintegriertem Fokussierelement
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6327911B2 (ja) 2014-04-03 2018-05-23 キヤノン株式会社 光学素子、光学素子アレイ及び固体撮像装置
US9756263B2 (en) 2014-05-01 2017-09-05 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10107515B2 (en) * 2014-06-05 2018-10-23 Honeywell International Inc. HVAC controller with proximity sensor
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
DE102014213371B3 (de) * 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
KR20170032227A (ko) * 2014-07-16 2017-03-22 소니 주식회사 복안 촬상 장치
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的系统和方法
US9977961B2 (en) * 2014-10-21 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Method for maintaining detection capability when a frame in a multispectral image is corrupted
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
EP3588061B1 (de) 2014-12-23 2023-04-19 Apple Inc. Optisches untersuchungssystem und verfahren mit berücksichtigung von unterschieden in den optischen weglängen innerhalb einer probe
US9591287B2 (en) 2015-01-21 2017-03-07 Himax Technologies Limited Lens module applied to camera
DE102015002536B4 (de) * 2015-02-28 2021-10-28 Schölly Fiberoptic GmbH Optikanordnung, Endoskop und korrespondierendes Verfahren zur Fertigung
TWI564594B (zh) * 2015-03-02 2017-01-01 奇景光電股份有限公司 透鏡模組
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US20160309065A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102372745B1 (ko) * 2015-05-27 2022-03-11 에스케이하이닉스 주식회사 이미지 센서 및 이를 구비하는 전자장치
CA3241702A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10403668B2 (en) * 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
WO2017040431A1 (en) * 2015-09-01 2017-03-09 Bribbla Dynamics Llc Reference switch architectures for noncontact sensing of substances
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
CN105611122B (zh) 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
AU2017253712B8 (en) 2016-04-21 2019-11-21 Apple Inc. Optical system for reference switching
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10578274B2 (en) 2016-06-10 2020-03-03 General Electric Company Lens array assembly and method for making the same
US10270947B2 (en) 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
WO2018075957A1 (en) 2016-10-21 2018-04-26 Rebellion Photonics, Inc. Gas imaging system
US10375327B2 (en) 2016-10-21 2019-08-06 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
JP6947438B2 (ja) 2016-12-05 2021-10-13 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． マイクロレンズアレイ
DE102017200618A1 (de) * 2017-01-17 2018-07-19 Robert Bosch Gmbh Miniaturspektrometer und Verfahren eingerichtet zur spektralen Analyse eines Objekts
WO2018156795A1 (en) 2017-02-22 2018-08-30 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
DE102017106831A1 (de) * 2017-03-30 2018-10-04 Sick Ag Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
WO2019018851A1 (en) 2017-07-21 2019-01-24 California Institute Of Technology PLANAR ULTRAMINOUS PHOTOGRAPHIC CAMERA WITHOUT LENS
WO2019033110A1 (en) 2017-08-11 2019-02-14 California Institute Of Technology THIN-DIMENSIONAL IMAGING WITHOUT LENS USING DIRECTIONAL DETECTION ELEMENTS
US10539718B2 (en) 2017-08-17 2020-01-21 Honeywell International Inc. Fresnel lens array with improved off-axis optical efficiency
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
WO2019067796A2 (en) 2017-09-29 2019-04-04 Masseta Technologies Llc OPTICAL SAMPLING ARCHITECTURES OF RESOLUTION PATH
EP4116702B1 (de) 2017-11-09 2024-01-03 Rebellion Photonics, Inc. Fensterverdunkelungssensoren für mobile gas- und chemikalienabbildungskameras
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN114545550B (zh) 2018-02-13 2024-05-28 苹果公司 具有集成边缘外耦合器的集成光子装置
US10529763B2 (en) * 2018-04-19 2020-01-07 Semiconductor Components Industries, Llc Imaging pixels with microlenses
WO2019211214A1 (en) * 2018-05-01 2019-11-07 Signify Holding B.V. Lighting device with controllable light output characteristics
US10936885B2 (en) 2018-05-15 2021-03-02 Toyota Research Institute, Inc. Systems and methods of processing an image
US10736506B2 (en) * 2018-06-14 2020-08-11 Broadspot Imaging Corp Composite image with cross-channel illumination
FR3084207B1 (fr) * 2018-07-19 2021-02-19 Isorg Systeme optique et son procede de fabrication
US11301664B2 (en) 2018-09-12 2022-04-12 Fingerprint Cards Anacatum Ip Ab Reconstruction of fingerprint subimages
WO2020103075A1 (zh) * 2018-11-22 2020-05-28 深圳印象认知技术有限公司 一种图像处理方法及装置
JP2020098963A (ja) * 2018-12-17 2020-06-25 株式会社日立製作所 撮像装置
KR102912592B1 (ko) 2019-08-14 2026-01-13 삼성전자주식회사 분광 카메라
CN110505384B (zh) * 2019-08-29 2021-05-14 Oppo广东移动通信有限公司 成像系统、终端和图像获取方法
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
CN114600165B (zh) 2019-09-17 2025-08-15 波士顿偏振测定公司 用于使用偏振提示表面建模的系统和方法
EP4042366A4 (de) 2019-10-07 2023-11-15 Boston Polarimetrics, Inc. Systeme und verfahren zur erweiterung von sensorsystemen und bildgebungssystemen mit polarisation
KR102684228B1 (ko) 2019-10-21 2024-07-11 삼성전자주식회사 복수-입력 폴디드 카메라 및 이를 포함하는 모바일 장치
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
DE102019220436B4 (de) * 2019-12-20 2021-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Unterdrückung von Störungen durch Reflexionslicht bei einem Licht-erzeugenden System, Verwendungen der Vorrichtung und Licht-erzeugendes System
KR102942542B1 (ko) 2020-01-29 2026-03-23 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
JP7532651B2 (ja) 2020-09-09 2024-08-13 アップル インコーポレイテッド ノイズ緩和のための光学システム
US11513324B2 (en) * 2020-11-15 2022-11-29 Aac Optics Solutions Pte. Ltd. Camera module
US11902638B1 (en) * 2020-12-30 2024-02-13 Ball Aerospace & Technologies Corp. Gapless detector mosaic imaging systems and methods
CN112804001B (zh) * 2021-01-08 2022-05-27 中国人民解放军战略支援部队信息工程大学 孔径阵列接收机及其设计方法、装置、电子设备和介质
DE102021202164B3 (de) 2021-03-05 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Tandemblendenarchitektur zur Füllfaktorerhöhung von kompakten Multikanalabbildungssystemen
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12340538B2 (en) 2021-06-25 2025-06-24 Intrinsic Innovation Llc Systems and methods for generating and using visual datasets for training computer vision models
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12293535B2 (en) 2021-08-03 2025-05-06 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision
KR102928805B1 (ko) 2021-08-31 2026-02-23 삼성전자주식회사 영상 처리 방법 및 장치
US20230073107A1 (en) * 2021-09-09 2023-03-09 Beijing Voyager Technology Co., Ltd. Light concentrating device for optical sensing systems
CN114638824B (zh) * 2022-05-11 2022-08-23 成都数联云算科技有限公司 基于aoi设备采集图像的融合方法、装置、设备和介质
CN115086550B (zh) * 2022-05-30 2023-04-28 元潼(北京)技术有限公司 元成像系统
US12106599B2 (en) 2022-06-13 2024-10-01 Omnivision Technologies, Inc. Thin, multi-lens, optical fingerprint sensor adapted to image through cell phone displays and with multiple photodiode groups each having separate fields of view for each microlens
KR102848196B1 (ko) * 2022-09-29 2025-08-20 주식회사 마이크로픽스 근거리 센싱의 해상도를 증진시키기 위한 구조로 설계된 광학계를 포함하는 전자 장치
DE102023102131A1 (de) * 2023-01-30 2024-08-01 Ams-Osram Ag Sensorvorrichtung mit einer mehrzahl von optikkanälen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4585948A (en) 1983-03-15 1986-04-29 The United States Of America As Represented By The Secretary Of The Air Force Non-scanning integrated optical system with wide field of view search capability
US5796522A (en) 1996-12-20 1998-08-18 Eastman Kodak Company Lenslet array system with a baffle structure and a shutter
US20070081815A1 (en) 2005-05-04 2007-04-12 The Trustees Of Columbia University Devices and methods for electronically controlling imaging
WO2008025610A1 (de) 2006-08-30 2008-03-06 Robert Bosch Gmbh Bilderfassungssystem für anwendungen in fahrzeugen
US20090135289A1 (en) 2007-10-23 2009-05-28 Nikon Corporation Image sensor and imaging apparatus
EP1665779B1 (de) 2004-01-20 2009-07-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen verwendung

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497269A (en) * 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US5696371A (en) 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
EP0893915A3 (de) * 1997-06-25 2000-01-05 Eastman Kodak Company Kompakter Bildsensor mit daran befestigter Bildanzeigevorrichtung
JP2000032354A (ja) 1998-07-09 2000-01-28 Sony Corp 撮像装置
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
US6660988B2 (en) * 2001-05-01 2003-12-09 Innovative Technology Licensing, Llc Detector selective FPA architecture for ultra-high FPA operability and fabrication method
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
JP2005252625A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US20090268983A1 (en) * 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
DE102006004802B4 (de) * 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP2009206356A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 固体撮像装置およびその製造方法
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4585948A (en) 1983-03-15 1986-04-29 The United States Of America As Represented By The Secretary Of The Air Force Non-scanning integrated optical system with wide field of view search capability
US5796522A (en) 1996-12-20 1998-08-18 Eastman Kodak Company Lenslet array system with a baffle structure and a shutter
EP1665779B1 (de) 2004-01-20 2009-07-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen verwendung
US20070081815A1 (en) 2005-05-04 2007-04-12 The Trustees Of Columbia University Devices and methods for electronically controlling imaging
WO2008025610A1 (de) 2006-08-30 2008-03-06 Robert Bosch Gmbh Bilderfassungssystem für anwendungen in fahrzeugen
US20090135289A1 (en) 2007-10-23 2009-05-28 Nikon Corporation Image sensor and imaging apparatus

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013101556A1 (en) * 2011-12-30 2013-07-04 Qualcomm Mems Technologies, Inc. Light direction distribution sensor
US20140003777A1 (en) * 2012-07-02 2014-01-02 Commscope, Inc. Of North Carolina Light focusing structures for fiber optic communications systems and methods of fabricating the same using semiconductor processing and micro-machining techniques
DE102013226196A1 (de) * 2013-12-17 2015-06-18 Volkswagen Aktiengesellschaft Optisches Sensorsystem
US10362202B2 (en) 2014-06-24 2019-07-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for relative positioning of multi-aperture optics comprising several optical channels in relation to an image sensor
US10542196B2 (en) 2014-06-24 2020-01-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for relative positioning of multi-aperture optics comprising several optical channels in relation to an image sensor
WO2015197710A1 (de) 2014-06-24 2015-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
WO2017121609A1 (de) * 2016-01-13 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, abbildungssystem und verfahren zum erfassen eines objektbereichs
US10771668B2 (en) 2016-01-13 2020-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-aperture imaging device, imaging system and method for capturing an object area
DE102017000774B4 (de) 2016-04-18 2021-08-12 Kastriot Merlaku Bild-Ausrichtungs-System für eine Digitalkamera
EP3282181A1 (de) * 2016-07-29 2018-02-14 ZKW Group GmbH Mikrooptic - linsen auf glas mit gedruckter strahlenblende - konzept und herstellverfahren
CN107589468A (zh) * 2017-07-25 2018-01-16 移康智能科技（上海）股份有限公司 一种人体探测方法、装置及电子设备
US12061121B2 (en) 2018-10-02 2024-08-13 Sony Semiconductor Solutions Corporation Temperature detecting element and imaging apparatus
CN113037956A (zh) * 2019-12-24 2021-06-25 三星电子株式会社 成像装置、移动终端和图像感测方法
EP3842843A1 (de) * 2019-12-24 2021-06-30 Samsung Electronics Co., Ltd. Bildgebungsvorrichtung und bilderfassungsverfahren
US11503192B2 (en) 2019-12-24 2022-11-15 Samsung Electronics Co., Ltd. Imaging device and image sensing method
US12052487B2 (en) 2019-12-24 2024-07-30 Samsung Electronics Co., Ltd. Imaging device and image sensing method
CN113037956B (zh) * 2019-12-24 2025-01-17 三星电子株式会社 成像装置、移动终端和图像感测方法
US12380665B2 (en) 2020-06-10 2025-08-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method of capturing a projected dot pattern in a display device

Also Published As

Publication number Publication date
ES2685583T3 (es) 2018-10-10
JP5589107B2 (ja) 2014-09-10
EP2429176A1 (de) 2012-03-14
US20110228142A1 (en) 2011-09-22
DE102009049387B4 (de) 2016-05-25
KR101284414B1 (ko) 2013-07-09
US8629930B2 (en) 2014-01-14
EP2429176B1 (de) 2014-04-16
EP2432213A1 (de) 2012-03-21
JP2013102534A (ja) 2013-05-23
DE102009049387A1 (de) 2011-04-21
JP2012507250A (ja) 2012-03-22
KR20110074984A (ko) 2011-07-05
EP2432213B1 (de) 2018-05-30
ES2466820T3 (es) 2014-06-11
JP5379241B2 (ja) 2013-12-25
WO2011045324A3 (de) 2011-06-23
ES2572229T3 (es) 2016-05-30
EP2428034A2 (de) 2012-03-14
EP2428034B1 (de) 2016-04-13

Similar Documents

Publication Publication Date Title
EP2428034B1 (de) Vorrichtung zur optischen abbildung
DE102006004802B4 (de) Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
EP1665779B8 (de) Bilderfassungssystem und dessen verwendung
EP2406825B1 (de) Verfahren zur herstellung einer vielzahl von mikrooptoelektronischen bauelementen und mikrooptoelektronisches bauelement
JP5910739B2 (ja) 撮像装置
JP5144841B1 (ja) 撮像装置
EP2011331B1 (de) Bilderfassungssystem zur rundumsicht
US8836825B2 (en) Imaging apparatus
WO2006010622A1 (de) Kameramodul, hierauf basierendes array und verfahren zu dessen herstellung
CN103650478A (zh) 摄像装置和测距装置
WO2009040110A1 (de) Bildsensor mit bildkompensation durch pixelanordnung
US11095813B2 (en) Method of fabricating a multi-aperture system for foveated imaging and corresponding multi-aperture system
Brückner et al. Ultra-compact close-up microoptical imaging system
DE102013200059A1 (de) Vorrichtung zur aufnahme eines von einer hauptlinse einer plenoptischen kamera erzeugten zwischenbilds und plenoptische kamera
DE102024201203A1 (de) Optische Vorrichtungen und Verfahren zum Abbilden eines Objektbereichs
WO2016053140A1 (ru) Мобильное устройство с оптическими элементами

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2011543783

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20117008573

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10771393

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010771393

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE