WO2019234232A2 - Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade - Google Patents

Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade Download PDF

Info

Publication number
WO2019234232A2
WO2019234232A2 PCT/EP2019/064984 EP2019064984W WO2019234232A2 WO 2019234232 A2 WO2019234232 A2 WO 2019234232A2 EP 2019064984 W EP2019064984 W EP 2019064984W WO 2019234232 A2 WO2019234232 A2 WO 2019234232A2
Authority
WO
WIPO (PCT)
Prior art keywords
time series
correction
sensor
time
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/064984
Other languages
English (en)
French (fr)
Other versions
WO2019234232A3 (de
Inventor
Stefan TABEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP19731633.4A priority Critical patent/EP3804292A2/de
Publication of WO2019234232A2 publication Critical patent/WO2019234232A2/de
Publication of WO2019234232A3 publication Critical patent/WO2019234232A3/de
Priority to US17/113,566 priority patent/US12347078B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Definitions

  • the invention relates to methods and apparatus for the reconstruction of time series, which are degraded by utilization levels of the sensor used.
  • the inverse of the sampling time, the measuring frequency f_s, indicates the number of measurements per time.
  • the continuous signal x (t) to be measured directly or indirectly by a sensor.
  • This signal is usually dependent on time, so that the time series measures the variation of the signal along the time.
  • this assumption of a perfect Dirac pulse is especially when the measurement is carried out by means of a sensor which integrates the measured signal over a certain period of time, for example by means of a CCD sensor.
  • this type of integrating sensors formation that causes the actual signal amplitude to be underestimated at the relevant point in time. Therefore, it requires a correction of this focus.
  • This object is achieved by a method according to claim l.
  • Advantageous embodiments are specified in the subclaims.
  • t_int 2 delta
  • the invention proposes to use the integration time for a correction of the measured time series not taken into account in the prior art in the measurement of time series.
  • Another possible definition of the parameter to be taken into account is that of the degree of utilization t_int / t_s (English: duty-cycle). This results from the reference of the integration time to the sampling time.
  • the sampling time corresponds to a periodic measurement of the period.
  • the integration time is therefore usually smaller than the measurement period, so that the utilization rate indicates the relative duration of the measurement per period of the measurement.
  • the values of the degree of utilization are therefore between 0 and 1 and can be specified in percent.
  • the consideration of the integration time t_int now leads to the sensor not measuring the values of the signal x (t_s). Instead, there is an average over the signal x (t) in the time period [t_s-delta, t_s + delta].
  • This averaging results in a measurement of the center of gravity of the signal COG (x (t_s-delta, t_s + delta)), which under certain conditions can be set in a reversible mathematical relationship with the desired signal x (t_s).
  • the continuous signal x (t) always has a frequency separation, or a description in Fourier space. If it is sampled correctly, ie with a frequency that is twice as high as the highest frequency of the signal in frequency space, then it can be represented by means of a Fourier series. This representation with a Fourier series allows the derivation of a boxcar filter: The continuous center of gravity of each frequency of the signal depends on this frequency itself by means of a sinc function.
  • this sinc function describes the error that was made by the non-ideal measurement with duty cycle.
  • the DC component of the signal is the only one unloaded. All higher frequencies are dependent on the frequency index and the temporal extension of the integration time, or the level of utilization, and are systematically underestimated. The underestimation increases with increasing frequency, up to a maximum value of 2 / Pi at the highest possible frequency and maximum utilization.
  • the sinc function can also be used for a possible correction of the amplitude underestimation.
  • the sinc function is inverted and applied element by element to all frequencies of the time series. An inverse transformation of these corrected frequencies into the time domain then yields the corrected time series which contains ideal samples of the signal which has not been ideally sampled.
  • the inverse of the filter can thus be used to make a correction.
  • this requires the correct interpretation of the sampled signal itself.
  • the correct sampling times n * t_s must be defined. to be able to make a correction.
  • the method according to the invention works only if these sampling times are defined in the middle of the duty cycle, otherwise the correction remains ineffective or is reduced in its effect.
  • the duty cycle is known with sufficient accuracy. The latter requirement is generally fulfilled because the duty cycle in electrical measuring systems has been defined with high accuracy or can be set.
  • the measured time series can be transformed into a transformation area, where it is ele- ment-by-element with a correction term.
  • the transformation region is the Fourier space
  • the correction term is the element-wise inverse of said Sinc function.
  • This sinc function must be set up before the correction.
  • the sinc function is defined as the quotient of the sine of an expression divided by this expression itself.
  • the expression consists of the product of the variable duty cycle and frequency index.
  • the frequency index is defined according to its mathematical definition in Fourier space (2 * pi * k / N).
  • the duty cycle is directly included in the calculation since it is already normalized to the sampling time, and thus to the sampling frequency.
  • the product of the scalar duty cycle and the vector frequency index is again a vector.
  • Each element of the vector is now used as said expression as an input to the sinc function, allowing the filter to be calculated element by element in its forward form. This forward form describes the error.
  • the element-by-element inversion of the forward shape of the filter then gives the correction values for the application to the individual frequencies of the signal. This inversion is generally possible because it is not divided by zero.
  • the DC component of the filter with the frequency index zero is not defined, but can be regarded as continu- ously continuable. Therefore, the equal component is set equal to one.
  • the transformed signal values can be multiplied element by element by the correction value, the element-wise inverse of the sine of the named expression, such that an inverse Fourier transformation yields the sought-after signal.
  • This method can generally be used with high precision, since the correction values themselves are very precisely known. The reason for this is that no or little noise is applied to these correction values, and there are no zero or near-zero frequencies in the filter description. Due to these three conditions, precise knowledge of the filter, no to no noise, and no cut-off frequency, the filter can be applied as a direct reconstruction filter, by direct multiplication or division by the corresponding inverse.
  • the advantages of the correction according to the invention are that whenever a time series is measured with sensors which have a duty cycle, the measured values obtained can be corrected so that they are not underestimated in their amplitude.
  • the direct benefit arises when the meaning of the measurement lies in obtaining the right values themselves, which is usually the case.
  • the knowledge about the correction can be used if a sensor is to be calibrated to obtain correct time series.
  • This ambivalence poses a fundamental problem to the process: how can it be verified that the correction method calculates the true, wanted value of a signal, which at the same time verifies the assumption that the directly measured value of the signal is wrong? In the following two ways are shown. On the one hand, this can be achieved by measuring a known reference value, which makes the measurement comparable. However, known reference values restrict the selection of sensors to a particular type. In addition, simulations can confirm the assumptions made.
  • the methodology is verified using cameras as sensors. Cameras allow more general verification because they can quantify at least two essential parameters of a photographed, and thus measured object. These directly measurable parameters are the intensity of the object as well as the location of the object in relation to the camera. The determination of the location also allows a measurement by correlation. In a correlation, the location of the object relative to another location is determined. It can thereby be illustrated that it also requires a relative or, as it were, indirect measurement of an amplitude correction of the time series.
  • an object is simulated, which changes its location relative to a camera.
  • the change of the place takes place translato- ie, a shift along the coordinates of the imaging of the simulated camera.
  • the two time series of the location of the object are to be determined, given in pixel coordinates of the camera.
  • the change of each pixel coordinate of the object is in this case subject to a frequency distribution of whose amplitudes are known, or which can be sufficiently estimated upwards. This allows the selection of a suitable sampling frequency, in this case a frame rate of the camera. With said sampling frequency, photos of the object are now simulated.
  • This offset of the reference image can be corrected by the time series, but this is irrelevant for the correction by the filter.
  • the simulations now show the residual error between the time series of registered location and true location, with and without the claimed correction.
  • the residual error is clearly reduced.
  • the benefit of reducing the residual error arises from the prior art.
  • the time series of the location of the object can be used to calculate a motion blur PSF that can be used to deploy a parallel formed long-term exposed photo degraded by the measured PSF. It is known to the person skilled in the art that the accuracy of the reconstructed PSF decisively determines the quality of the unfolding. Thus, the immediate benefit of reducing the error results. It can also be shown how the transmission of the error from the time series of the location of the object affects the PSF.
  • the amplitude underestimation of the time series results in a radial underestimation of the PSF from the registry values, so that the difference between true PSF and those from registered values has a negative Strehl ratio and a positive Halo.
  • This problem can be solved by the claimed correction.
  • it can also be shown analytically that a scalar multiplication of the time series at least reduces the problem.
  • Such an imperfect solution can also be considered as a correction, although not as complete, since it at least reduces the problem.
  • the frame rate of the camera is set to a value which is just over twice the frequency of the mirror movement.
  • This experiment now measures several time series. Everybody measured time series is based on a different duty cycle of the camera, wherein the different duty cycle equally distributed in the interval between zero and one lie gene. It can be observed that the reconstructable amplitudes of the time series of the location of the object differ. As the duty cycle increases, the amplitude decreases. A normalization to the maximum amplitude from all time series of a coordinate shows that the amplitude underestimation is in accordance with the curve of the filter. This test therefore confirms the theory underlying the correction procedure, which in turn verifies the correction procedure. Inaccuracies from the test are due to inaccuracies of the relative measurement by means of correlation and do not hinder the correction by a filter.
  • FIG. 2 shows an over-resolved Blur core of a long-term exposed photo, which degrades the photo based on simulated translational movements between the camera and the object.
  • Fig. 3 shows the principle of image registration. The true result of a cross-correlation is the distance of the blur nuclei of the correlated images (here PSF 1 and PSF 3).
  • Fig. 4 shows the accuracies of the tested image correlations. The reference value is plotted against the measured error.
  • Figure 5 shows the extent of the Blur core along an axis, varying with the frame rate of the camera.
  • FIG. 6 shows the true time series of the relative position of object and camera on an axis, as well as their reconstruction based on a correlation.
  • Fig. 7 shows the filter in its forward form for a duty cycle of 1 at a frame rate of 800 hertz.
  • Fig. 9 shows the correlation time series of the error of the location on an axis versus the image index, where the error is either the distance between the correlation-calculated centroid of the location signal on one axis and the true location signal (blue), or the same error after the application of the correction (orange).
  • Fig. 10 shows a PSF which has been interpolated based on true time series of the location.
  • FIG. 11 shows a PSF which has been interpolated based on time series of the location measured by correlation.
  • FIG. 12 shows a PSF which has been interpolated based on time series of the location measured by correlation, the time series being reconstructed by the filter.
  • FIG. 13 shows a PSF which is the difference of the PSF in FIG. 10 and the PSF of FIG. 11.
  • FIG. 14 shows a PSF which is the difference of the PSF in FIG. 10 and the PSF of FIG. 12.
  • 15 shows the measurement results for verification of the reconstruction of time series of the relative location with cameras.
  • 16 shows the reference image from the measurement results for verifying the reconstruction of time series of the relative location with cameras at minimum exposure time.
  • 17 shows the reference image from the measurement results for verifying the reconstruction of time series of the relative location with cameras at the maximum exposure time.
  • FIG. 18 shows the measurement results for verification of the reconstruction of time series of the intensity with cameras.
  • FIG. 1 describes the correction method in comparison to the prior art by means of a flow chart. Both prior art and its extension by the described correction method are based on sampling a time series, which operation can be described as integrative sampling 0120 to obtain samples.
  • This integrative scanning is characterized by a sensor with an integration time, which can be described as a duty cycle. From this sampling results a sequence of multi-dimensional signals 0130 in order to obtain one or more measured values.
  • a time series is measured 0140, it being assumed that the integration of the sensor results in the time series being degraded by centroid formation. Similarly, several time series may have been measured, including by means of direct or indirect, or relational measurement.
  • Sampling and measurement values need not be different, for example in the reconstruction of intensity variations in images.
  • the prior art would not apply correction techniques to infer from the centroid degraded time series 0140 to the actual signal values 0174, but accept the centroid-degraded time series 0150 as the result (end 0160). Corrections with a different target are not taken into account in this diagram.
  • the described correction method (right branch 017X), on the other hand, takes the measurement from the preset parameter of the duty cycle 0170, or a value which can be regarded as equivalent, for example the integration time. Also, the set duty cycle or a set equivalent value may be used 0171.
  • FIG. 2 illustrates an over-resolved point spread function (motion blur PSF) which was simulated by relative, translatory movement between a camera and an object.
  • the axes describe the pixel resolution of the simulated camera.
  • the motion blur PSF is an interpolation of the two-dimensional track between the camera and the object. It should be clarified that movements continue during the integration time, so that the degradation motion blur arises. It should also be shown that the motion blur degradation consists of two time series describing the x- and y-coordinates of the camera as a variation over time.
  • FIG. 2 illustrates the principle of image registration of such images are degraded with motion blur.
  • the illustrated case refers to a correlation of the photos with the PSF 1 and the PSF 3, where both photos photograph the same object but with different degradations. The true result of this correlation is the vector from CoG 3 to CoG 1.
  • FIG. 4 shows the accuracies of the algorithms tested for the correlation of two motion blur-loaded images on one axis, ie the accuracy of the reconstruction of a center of gravity-based time series. It indicates the error of registration in pixel lengths, against the true result of the correlation as previously defined.
  • the investigated algorithms are from (Löfdahl, M.G., "Evaluation of image-shift measurement algorithms for solar shack-hartmann wavefront sensors," Astronomy and Astrophysics 524 (2010).) And are named according to the nomenclature there. It can be concluded that all algorithms calculate the true value of the registration as defined, since the average error is always zero.
  • FIG. 5 now shows the dependence of the corrected error (motion blur expansion along one axis) on the frame rate, under the condition that all other factors are constant. This presentation is interesting in connection with the state of the art. At high frame rates, the error is very small, so that its correction can be neglected. However, the state of the art Technique unable to handle high extents of motion blurs at low frame rates.
  • FIG. 6 shows the time series of the relative position between camera and object on the x-axis in pixel coordinates (blue), as well as a reconstruction by means of correlation without claimed filter correction (orange).
  • the representation is based on the same input values of the simulation as in FIGS. 3 and 4. It is made clear that the underestimation of the wanted signal by integrative measurement is not insignificant.
  • FIG. 7 now branches the corresponding filter in the Fourier range in its forward form.
  • the frame rate was 800 hertz, as shown. Shown are only positive frequencies, negative are mirror-symmetric. The phase of the filter is always zero, so only the amount is shown.
  • the DC component has been extended as one continuous one.
  • Figure 8 shows the application of the correction to the time series of the continuous center of gravity values of the signal.
  • the distance on the x-axis in pixels, between the true signal value (x (t)) and its symmetric center of gravity (CoG), is shown once in blue. This value corresponds to the error that would arise in the application of the prior art. This error is corrected to zero when the claimed reconstruction method is used.
  • Figure 9 shows the same principle as Figure 8, but the input values are different. Instead of the true signal x (t), its discrete reconstructions are now based on correlation results. It becomes clear that the correlation has little inaccuracy and that the reconstruction of this inaccurate center of gravity based signal is still possible with the claimed method. The error is significantly reduced overall, but a small residual error remains.
  • FIG. 1 l shows a PSF, matching FIG. 10, but this has been generated on the basis of correlation results. This PSF has a higher maximum value and slightly less maximum width.
  • FIG. 12 shows the PSF from FIG. 1, wherein the time series of the relative position between camera and object were previously corrected by the claimed method. It can be seen that the aforementioned maximum values are better reconstructed than without the claimed correction method.
  • FIG. 13 shows the difference between the PSFs of FIG. 10 minus the PSF of FIG. 11. Said properties of both PSFs mean that this difference is negative near the origin, and positive towards the edge. It can also be seen that the integral over the absolute value of the differential PSF is relatively large.
  • FIG. 14 now shows the difference between the PSF from FIG. 10 minus the PSF from FIG. 12. It can be seen that the integral over the absolute value of the differential PSF is relatively small, especially in comparison to FIG So again an improvement by minimizing errors illustrated.
  • FIG. 15 shows the results of the verification of the amplitude correction in the measurement of time series of the relative location.
  • the horizontal axis shows half the set duty cycle, given as a symmetrical integration interval normalized to the sampling time, the vertical shows the measured amplitude normalized to the maximum measured amplitude.
  • This representation was chosen because it makes it possible to trace the amplitudes of the filter, which is also plotted (H). The tracing of the filter by the measurement results verifies the claimed correction. Inaccuracies can be explained by residual errors of the correlations.
  • FIG. 16 shows the blur of the reference image from the experiment of FIG. 15, the smallest possible duty cycle having been configured in this measurement. It can be seen that this is relatively moderate. The sense of the figure is shown in comparison with FIG. 17.
  • FIG. 17 shows the blur of the reference image from the experiment of FIG. 15, the largest possible duty cycle having been configured in this measurement.
  • the blur now has significant proportions. This represents the correctness of the claim that it is one continuous change in the relative position between camera and object during the integration time, which depends on the duty cycle.
  • FIG. 18 shows the measurement results from the experiment for the verification of the amplitude correction in the measurement of time series of the intensity.
  • the horizontal shows the frequency with which the amplitude of the intensity of the LED was modulated, normalized to the camera's 8oo Hertz frame rate.
  • the vertical shows the dependent measurable amplitude, normalized to the maximum measurable amplitude from all measurements. This form of representation was again chosen because it allows to draw the filter against it.
  • the filter in forward mode is equal to one and equal to 0.8 for duty cycle. It can be seen from the results that the trace approximates the curve of the filter for 0.8. This in turn verifies the claimed correction since the camera's duty cycle in the experiment was 0.8.
  • the inventive method was developed in the context of correction of residual tip-tilt errors due to micro-vibrations of the Sunrise Officer transported in the nacelle of a stratospheric balloon (Barthol, P. et al., "The Sunrise Mission,” Sol. Phys. 268, 1 (34 (Jan. 2011), Solanki, SK et al., “SUNRISE: Instrument, Mission, Data, and First Results,” ApJ 723, Li27 (Li33 (Nov., 2010))
  • the Ben-Ezra method cited above can also be improved, but in addition to these special applications and beyond the important area of imaging, and in particular medical imaging, there are also many other fields of application, namely with each type of time series. which are degraded by utilization levels of the particular sensor used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, welche auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrieren-den Sensoren abgetastet wurden, sodass die Zeitreihen durch eine Schwerpunktbildung degradiert sind, welche durch einen Duty-Cycle der integrierenden Sensoren charakterisiert werden kann. Gemäß der Erfindung wird eine Schwerpunktbildung der Zeitreihen basierend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit der Sensoren korrigiert

Description

Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, degradiert durch Auslastungsgrade
Die Erfindung betrifft Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, die durch Auslastungsgrade des verwendeten Sensors degradiert sind.
Die Messung einer (äquidistanten) Zeitreihe wird im Stand der Technik durch be- stimmte Parameter gekennzeichnet:
Die Anzahl N der äquidistanten, zeitlichen Stützstellen, zu denen gemessen wird (Samples).
Den zeitlichen Abstand zweier solcher benachbarter Stützstellen t_s (Abtast- zeit).
Die diskreten Zeitpunkte [n*t_s], zu denen die Messwerte genommen werden. Das Inverse der Abtastzeit, die Messfrequenz f_s, gibt die Anzahl der Messung pro Zeit an.
Das kontinuierliche Signal x(t), das von einem Sensor direkt oder indirekt ge- messen werden soll. Dieses Signal ist üblicherweise von der Zeit abhängig, so- dass die Zeitreihe die Variation des Signals entlang der Zeit misst.
Abgebildet wird immer die Variation eines Merkmals über die Zeit. Daher bilden im- mer mehrere Messwerte (Anzahl N) einer wiederholten Messung eine Zeitreihe der Länge N, welche im Allgemeinen auch über Darstellung in einem Transformations- raum verfügt.
Gemeinhin wird jedoch davon ausgegangen, dass die Messung der Zeitreihe ideal ist. Der Zeitraum, über welchen ein einzelnes Sample gemessen wurde, wird mit Null ab- geschätzt. Es wird somit unterstellt, dass das Sample ein idealer Dirac-Impuls war.
Diese Annahme eines perfekten Dirac-Impulses ist aber insbesondere, wenn die Mes- sung mittels eines Sensors erfolgt, der das gemessene Signal über einen bestimmten Zeitraum integriert, beispielsweise mittels eines CCD-Sensors, unzureichend. Insbe- sondere kommt es bei dieser Art von integrierenden Sensoren zu einer Schwerpunkt- bildung, die dazu führt, dass die tatsächliche Signalamplitude im relevanten Zeitpunkt unterschätzt wird. Daher bedarf es einer Korrektur dieser Schwerpunktbildung.
Eine Korrektur von Zeitreihen eindimensionaler Signale, z.B. Strom- oder Spannungs- sensoren, ist aus dem Buch„Signalverarbeitung in Beispielen: Verständlich erläutert mit Matlab und Simulink“ (Josef Hoffmann u. Franz Quint, De Gruyter Oldenbourg; Auflage: l, 12. September 2016, S. 306) bekannt.
Aus dem Buch „Modulation Transfer Function in Optical and Electro-Optical Sys- tems“ (Glenn D. Boreman, Tutorial Texts in Optical Engineering Volume TT52, SPIE Press, Bellingham, Washington, USA, 2001) ist ferner ein Korrekturverfahren für mit Arrays von integrierenden Sensoren aufgenommene zweidimensionale Bilder bekannt (Kapitel 2,„Detector Footprint MTF, Gleichung 2.2, Fig. 2.4), welches basierend auf nur einem Bild die räumlichen Amplituden / Frequenzen eines einzelnen Bildes unter Verwendung der räumlichen Pixelausdehnung korrigiert. Die MTF von Vibration und von Bewegung / Motion ist dort jedoch als eine räumliche MTF beschrieben (Kapitel 3, Figur 3.1 und 3.2). Diese Annahme führt jedoch zu unvollständigen und mithin feh- lerhaften Korrekturen.
Ein besseres Verfahren zur Korrektur von sogenanntem Motion-Blur offenbaren Ben- Ezra, M. and Nayar, S. K., („Motion deblurring using hybrid imaging," in 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings. 1, I{657(I{664 vol.i, June 2003), unter Verwendung einer zweiten, schnelleren Kamera, welche synchron zu dem eigentlichen Bild eine Bewegung auf- nimmt. Dennoch weichen die auf dieser Basis bewegungskompensierten Bilder wei- terhin von der sog.„Grundwahrheit“ ab, ohne dass die genannte Arbeit diese Abwei- chung erklärt. Insbesondere wird die mittels der zweiten Kamera erhaltene Zeitreihe ihrerseits nicht korrigiert.
Aufgabe der vorliegenden Erfindung ist daher, ein Korrekturverfahren für Zeitreihen bereit zu stellen, welche auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrierenden Sen- soren abgetastet wurden, welches es insbesondere erlaubt, eine aufgrund der physika- lischen Eigenschaften des Sensors auftretende Schwerpunktbildung zu kompensieren und die erhaltenen Messwerte damit zu verbessern. Diese Aufgabe wird gelöst durch ein Verfahren gemäß Patentanspruch l. Vorteilhafte Ausführungsformen sind in den Unteransprüchen angegeben.
Gemäß einem Aspekt erweitert die Erfindung die angewandte Rekonstruktion von gemessenen Zeitreihen mit integrierenden Sensoren um die Berücksichtigung des Pa- rameters der Integrationszeit t_int (tau =2 Delta). Bei einer Kamera wird bei- spielsweise von Belichtungszeit gesprochen, welche in der Regel auch einstellbar ist. Die Erfindung schlägt vor, die im Stand der Technik bei der Messung von Zeitreihen nicht berücksichtigte Integrationszeit für eine Korrektur der gemessenen Zeitreihe zu verwenden.
Eine weitere mögliche Definition des zu berücksichtigenden Parameters ist die des Auslastungsgrads t_int/t_s (engl.: duty-cycle). Dieser ergibt sich durch den Bezug der Integrationszeit zur Abtastzeit. Die Abtastzeit entspricht bei einer periodischen Messung der Periodendauer. Die Integrationszeit ist daher im Regelfall kleiner als die Messperiode, sodass der Auslastungsgrad die relative Dauer der Messung pro Periode der Messung angibt. Die Werte des Auslastungsgrades liegen dadurch zwischen o und l und können in Prozent angegeben werden.
Die vorliegende Erfindung definiert die diskreten Sampling-Zeitpunkte t_s damit an- ders als zuvor, nämlich in der Mitte der Integrationszeit t_int. Es entstehen symmetrische Integrationsintervalle Delta um die Sampling-Zeitpunkte [n*t_s], sodass gilt 2*Delta = t_int. Die Berücksichtigung der Integrationszeit t_int führt nun dazu, dass der Sensor nicht den Werte des Signals x(t_s) misst. Stattdessen kommt es zu einer Durchschnittsbildung über das Signal x(t) in dem Zeit raum [t_s-Delta, t_s+Delta]. Diese Durchschnittsbildung resuliert in einer Mes- sung des Schwerpunkts des Signals COG(x(t_s-Delta, t_s+Delta)), welcher unter bestimmten Bedingungen in einen umkehrbaren mathematischen Zusammen- hang mit dem gesuchten Signal x(t_s) gesetzt werden kann. Das stetige Signal x(t) hat immer eine Frequenzzerlegung, bzw. eine Beschreibung im Fourier-Raum. Wird es Nyquist -richtig abgetastet, also mit einer Frequenz die doppelt so groß ist wie die höchste Frequenz des Signals im Frequenz-Raum, so kann es mittels einer Fourier- Reihe dargestellt werden. Diese Darstellung mit einer Fourier-Reihe ermöglicht die Herleitung eines Boxcar-Filters: Der kontinuierliche Schwerpunkt einer jeden Fre- quenz des Signals hängt mittels einer Sinc-Funktion von dieser Frequenz selber ab. D.h. es besteht eine Relation zwischen dem kontinuierlichen Schwerpunkt (CoG) der k-ten harmonischen Frequenz und dieser Frequenz selbst. Diese Relation ist eine sinc- Funktion und beschreibt die Durchschnittsbildung durch den Sensor aufgrund der Integration als kontinuierliche Boxcar-Funktion. Die Standardbedingung, dass die Abtastung der diskreten CogS CoG[x(t), n x ts, D] zumindest Nyquist-kritisch ist, er- laubt sowohl das diskrete Signal x[n x ts] und seine kontinuierliche Form x(t) über ei- nen diskreten Filter H(k) zu rekonstruieren. Jede Frequenz ist als Wk = 2p1</N im Fou- rierraum definiert, wobei N die Anzahl der Abtastwerte ist. Die Abtastzeit ist die Um kehrung der Bildrate fs. Daher wird der Duty-Cycle der Kamera als t=2D angenom- men. Alles in allem gilt:
Figure imgf000006_0001
Diese Sinc-Funktion beschreibt einerseits den Fehler, welcher durch die nicht-ideale Messung mit Duty-Cycle gemacht wurde. Die Gleichkomponente des Signals ist als einzige unbelastet. Alle höheren Frequenzen sind abhängig vom Frequenzindex und der zeitlichen Ausdehnung der Integrationszeit, bzw. der Höhe des Auslastungsgrades, und werden systematisch unterschätzt. Die Unterschätzung steigt dabei mit steigender Frequenz, bis zu einem Maximalwert von 2/Pi bei höchstmöglicher Frequenz und ma- ximalem Auslastungsgrad. Andererseits kann die Sinc-Funktion auch zu einer mögli- chen Korrektur der Amplitudenunterschätzung herangezogen werden. Hierzu wird die Sinc-Funktion invertiert und elementweise auf alle Frequenzen der Zeitreihe ange- wandt. Eine Rücktransformation dieser korrigierten Frequenzen in den Zeitbereich ergibt dann die korrigierte Zeitreihe, welche ideale Samples des nicht-ideal abgetaste- ten Signals enthält.
Unter der Annahme, dass das Signal x(t) Nyquist-richtig abgetastet wurde, kann die Inverse des Filters also herangezogen werden um eine Korrektur vorzunehmen. Hier- zu bedarf es zunächst der richtigen Interpretation des abgetasteten Signals selber. Wie bereits kurz beschrieben, müssen die richtigen Abtastzeitpunkte n*t_s definiert wer- den um eine Korrektur vornehmen zu können. Die erfindungsgemäße Methode funk- tioniert nur, wenn diese Abtastzeitpunkte in der Mitte des Duty-Cycle definiert wer- den, ansonsten bleibt die Korrektur wirkungslos oder ist in ihrer Wirkung reduziert. Weitere Voraussetzungen sind, dass der Duty-Cycle mit einer hinreichenden Genauig- keit bekannt ist. Letztere Voraussetzung ist in der Regel erfüllt, weil der Duty-Cycle in elektrischen Messsystemen mit hoher Genauigkeit definiert worden ist oder einge- stellt werden kann. Letztlich ist es ebenfalls Voraussetzung, dass die Zeitreihe mit äquidistanten Abtastwerten gemessen wurde, und dass die Abtastzeitpunkte hinrei- chend genau bekannt sind. Sind alle genannten Voraussetzungen erfüllt, kann die ge- messene Zeitreihe in einen Transformationsbereich transformiert werden, wo sie ele- mentweise mit einem Korrekturterm verrechnet wird. Im einfachsten Fall ist der Transformationsbereich der Fourier-Raum, und der Korrekturterm die elementweise Inverse der besagten Sinc-Funktion. Diese Sinc-Funktion muss vor der Korrektur ent- sprechend aufgestellt werden. Die Sinc-Funktion ist als Quotient aus Sinus eines Aus- drucks geteilt durch diesen Ausdruck selber definiert. Der Ausdruck besteht aus dem Produkt der Variablen Duty-Cycle und Frequenz-Index. Der Frequenz-Index wird ent- sprechend seiner mathematischen Definition im Fourier-Raum definiert (2*pi*k/N).
Der Duty-Cycle geht direkt in die Berechnung ein, da er bereits auf die Abtastzeit, und damit auf die Abtastfrequenz, normiert ist. Das Produkt aus dem Skalar Duty-Cycle und dem Vektor Frequenzindex ist wiederum ein Vektor. Jedes Element des Vektors wird nun als besagter Ausdruck als Eingangswert in die Sinc-Funktion verwendet, wodurch sich der Filter in seiner Vorwärtsform elementweise berechnen lässt. Diese Vorwärtsform beschreibt den Fehler. Die elementweise Inversion der Vorwärtsform des Filters ergibt dann die Korrekturwerte für die Anwendung auf die einzelnen Fre- quenzen des Signals. Diese Inversion ist generell möglich, da nicht durch Null geteilt wird. Die Gleichkomponente des Filters mit dem Frequenzindex Null ist nicht defi- niert, kann aber als stetig fortsetzbar betrachtet werden. Daher wird die Gleichkom- ponente gleich Eins gesetzt. Alle anderen Komponenten sind ungleich Null, weil der Frequenz-Index als Eingangswert in die Sinc-Funktion nur solche Werte als Ausgabe der Sinc-Funktion errechnet, welche immer größer als Null sind. Daher ist die Korrek- tur bei Nyquist-richtigem Abtasten des Signals immer möglich. Die transformierten Signalwerte können mit den Korrekturwert, dem elementweisen Inversen des Sine des genannten Ausdrucks, elementweise multipliziert werden, sodass eine inverse Fou- rier-Transformation das gesuchte Signal ergibt. Diese Methode kann generell mit hoher Präzision angewandt werden, da die Korrek- turwerte selber sehr genau bekannt sind. Der Grund dafür liegt darin, das diesen Kor- rekturwerten kein oder nur wenig Noise aufgeschlagen ist, und es keine Null- oder Nahe-Null-Frequenzen in der Filterbeschreibung gibt. Durch diese drei Bedingungen, präzise Kenntnis des Filters, kein bis wenig Noise, und keine cut-off Frequenz, kann der Filter als direkter Rekonstruktionsfilter angewandt werden, eben durch direkte Multiplikation oder Teilung durch das entsprechend Inverse.
Die Vorteile der erfindungsgemäßen Korrektur liegen darin, dass wenn immer eine Zeitreihe mit Sensoren gemessen wird, welche einen Duty-Cycle aufweisen, die erlang- ten Messwerte korrigiert werden können, sodass diese nicht weiter in Ihrer Amplitude unterschätzt sind. Der direkte Nutzen ergibt sich, wenn der Sinn der Messung in der Erlangung der richtigen Werte selber liegt, was üblicherweise der Fall ist. Weiter kann die Kenntnis über die Korrektur genutzt werden, wenn ein Sensor zur Erlangung kor- rekter Zeitreihen kalibriert werden soll. Diese Ambivalenz stellt das Verfahren vor ein grundlegendes Problem: Wie kann verifiziert werden, dass die Korrekturmethode den wahren, gesuchten Wert eines Signals berechnet, was gleichzeitig die Annahme verifi- ziert, dass der direkt gemessene Wert des Signals falsch ist? Im Folgenden werden hierzu zwei Wege aufgezeigt. Einerseits kann dies durch Messung eines bekannten Referenzwertes erreicht werden, was die Messung vergleichbar macht. Allerdings en- gen bekannte Referenzwerte die Auswahl der Sensoren auf einen bestimmten Typen ein. Darüber hinaus können Simulationen die gemachten Annahmen bestätigen.
Verifikation und Anwendungsbeispiele:
Die Methodik wird vorliegend anhand von Kameras als Sensoren verifiziert. Kameras erlauben eine allgemeinere Verifikation, da sie zumindest zwei wesentliche Parameter eines fotografierten, und somit gemessenen Objekts quantifizieren können. Diese di- rekt messbaren Parameter sind die Intensität des Objekts sowie der Ort des Objekts in Relation zur Kamera. Die Bestimmung des Ortes erlaubt zudem eine Messung per Korrelation. Bei einer Korrelation wird der Ort des Objekts relativ zu einem anderen Ort bestimmt. Hierdurch kann veranschaulicht werden, dass es auch bei einer relati- ven, oder sozusagen indirekten Messung einer Amplitudenkorrektur der Zeitreihe be- darf.
Zur ersten Verifikation der Amplitudenkorrektur wird ein Objekt simuliert, welches relativ zu einer Kamera seinen Ort ändert. Die Änderung des Ortes erfolgt translato- risch, also per Verschiebung entlang der Koordinaten der Bildgebung der simulierten Kamera. Hierbei sollen die beiden Zeitreihen des Orts des Objekts bestimmt werden, gegeben in Pixel-Koordinaten der Kamera. Die Änderung jeder Pixelkoordinate des Objekts unterliegt hierbei einer Frequenzverteilung derer Amplituden bekannt sind, oder die nach oben hin ausreichend abgeschätzt werden kann. Dies ermöglicht die Wahl einer geeigneten Abtastfrequenz, in diesem Fall einer Bildrate (framerate) der Kamera. Mit besagter Abtastfrequenz werden nun Fotos von dem Objekt simuliert. Entscheidend dabei ist, dass der Ort des Objekts während der simulierten Aufnahme des Fotos nicht still steht, es wird also angenommen, dass die Änderung der Koordi- nate kontinuierlich verläuft. Entsprechend wird ein der Duty-Cycle in der Simulation berücksichtigt, was zu einer Bewegung des Objekts während der Aufnahme führt. Die- se Änderung des Orts des Objekts während der Integrationszeit resultiert bekannter- maßen in Motion-Blur [Ben-Ezra, M. and Nayar, S. K.,„Motion deblurring using hyb- rid imaging," in [2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings.], 1, I{657(I{664 vol.i (June 2003)] in den einzelnen Fotos. Es kann davon ausgegangen werden, dass das Motion-Blur in jedem Foto eine Verschiebung dieses Fotos impliziert, welche durch den Schwerpunkt des Motion-Blur durch dessen Punkt-Spreiz-Funktion (PSF) beschrieben wird. Korrelati- onen berechnen nun diesen Versatz zweier Bilder entlang der Pixelkoordinaten. Die Messung von Zeitreihen mittels Korrelation bedarf daher in der Regel mehrerer korre- lierte Bilder. Weiter wird eines dieser Bilder immer als Referenzbild betrachtet, in der Regel das erste Bild der Serie. Dies ist damit zu erklären, dass die Korrekturwerte in bestimmten Anwendungen wie Adaptive Optiken in Echtzeit verarbeitet werden müs- sen, beispielsweise um Aktuatoren wie bewegungsfähige Spiegel zu steuern. Diese Wahl des Referenzbildes führt dazu, dass die Zeitreihen des Orts des Objekts mit ei- nem absoluten Versatz behaftet sind, der dem Versatz des Referenzbildes selber ent- spricht. Dieser Versatz des Referenzbildes kann von den Zeitreihen korrigiert werden, was aber für die Korrektur durch den Filter unerheblich ist. Erheblich ist dagegen, dass die Zeitreihen des Orts des Objekts nur Durchschnittswerte der wahren Ortsän- derung des Objekts darstellen, sodass die gesuchte Zeitreihe nicht korrekt vorliegt. Genau dieser Zusammenhang wurde in den beschriebenen Simulationen gemessen. Einer Bildregistrierung mittels Korrelation kann daher weiter unterstellt werden, dass deren Ergebnis die räumliche Entfernung der Schwerpunkte der PSFs der beiden kor- relierten Bilder berechnet, welche in Pixelkoordinaten der Kamera angegeben wird. Da die simulierte Kamera über zwei Pixelkoordinaten verfügt, entstehen entsprechend zwei Zeitreihen aus den Ergebnissen der Bildregistrierung. Beide Zeitreihen beschrei- ben je eine Koordinate des relativen Orts der Kamera in Relation zum Objekt in Pi- xeln, und müssen nun, wie in der grundlegenden Beschreibung erklärt, korrigiert werden, um die wahre Ortsänderung zu erhalten. Die Simulationen zeigen nun den Restfehler zwischen den Zeitreihen von registriertem Ort und wahren Ort, je mit und ohne die beanspruchte Korrektur. Der Restfehler wird eindeutig reduziert. Der Nutzen der Reduzierung des Restfehlers ergibt sich aus dem Stand der Technik. Die Zeitreihe des Orts des Objekts kann verwendet werden um eine Motion-Blur PSF zu errechnen wie sie zur Entfaltung eines parallel entstandenen Langzeit -belichteten Fotos verwen- det werden kann, welches durch die gemessen PSF degradiert wurde. Es ist dem Fachmann bekannt, dass die die Genauigkeit der rekonstruierten PSF maßgeblich über die Güte der Entfaltung entscheidet. Somit ergibt sich unmittelbar der Nutzen aus der Reduzierung des Fehlers. Ebenfalls kann gezeigt werden, wie sich die Übertra- gung des Fehlers von den Zeitreihen des Orts des Objekts auf die PSF auswirkt. Durch die Amplitudenunterschätzung bei den Zeitreihen kommt es zu einer radialen Unter- schätzung der PSF aus den Registrierungswerten, sodass die Differenz aus wahrer PSF und solcher aus registrierten Werten ein negatives Strehl-Verhältnis und eine positive Halo hat. Dieses Problem kann durch die beanspruchte Korrektur behoben werden. Es kann aber auch analytisch gezeigt werden, dass eine skalare Multiplikation der Zeit- reihen das Problem zumindest reduziert. Eine solche imperfekte Lösung kann auch als Korrektur angesehen werden, wenn auch nicht als vollständige, da diese zumindest das Problem reduziert.
Entsprechend der vorher beschriebenen Simulation wird derselbe Effekt nun mit rea- len Sensoren gemessen. Zur Verifikation der Amplitudenkorrektur wird ein Objekt fotografiert, welches relativ zu einer Kamera seinen Ort ändert. Hierzu wurde eine Kamera mittels Okular und Objektiv auf ein Testbild fokussiert. Der kollimierte Licht- strahl zwischen Objektiv und Okular wird dabei über einen sogenannten Tip-Tilt- Spiegel reflektiert. Der Spiegel kann hochpräzise Kipp- und Schwenkbewegungen aus- führen. Durch diese Bewegungen wird die relative Position zwischen Objekt (Testbild) translatorisch moduliert, sodass die Methode aus vorher beschriebener Simulation verifiziert werden kann. Zur Verifikation wurde eine sinusförmige Bewegung des Spiegels auf beiden Achsen eingestellt. Die Amplitude dieser Bewegung ist bekannt und wurde in Pixelkoordinaten auf der Kamera vermessen. Die Frequenz der sinus- förmigen Bewegung ist ebenfalls bekannt. Die Bildrate der Kamera wird auf einen Wert eingestellt, welche knapp über dem Doppelten der Frequenz der Spiegelbewe- gung liegt. Mit diesem Versuch werden nun mehrere Zeitreihen gemessen. Jeder ge- messenen Zeitreihe liegt dabei ein anderer Duty-Cycle der Kamera zugrunde, wobei die verschiedenen Duty-Cycle gleich verteilt im Intervall zwischen Null und eins lie gen. Es kann beobachtet werden, dass sich die rekonstruierbaren Amplituden der Zeitreihen des Orts des Objekts unterscheiden. Mit steigendem Duty-Cycle nimmt die Amplitude ab. Eine Normierung auf die maximale Amplitude aus allen Zeitreihen ei- ner Koordinate zeigt, dass die Amplitudenunterschätzung entsprechend der Kurve des Filters verläuft. Dieser Test bestätigt daher die Theorie, welche dem Korrekturverfah- ren zu Grunde liegt, was wiederum das Korrekturverfahren verifiziert. Ungenauigkei- ten aus dem Test sind durch Ungenauigkeiten der relativen Messung mittels Korrela- tion begründet und behindern nicht die Korrektur durch einen Filter.
Vorhergehende Verifikationen haben sich auf relative Messungen des Orts beschränkt. In einem weiteren Test wurde eine Korrektur einer Zeitreihe der Intensität verifiziert. Zur Verifikation dieser Amplitudenkorrektur wurde eine Kamera homogen ausge- leuchtet, wobei die Beleuchtungsintensität durch einen LED-Kontroller moduliert wurde. Diese Beleuchtungsintensität wird dabei wieder mit einem Signal in Sinusform moduliert, sodass die Amplitude der Intensitätsschwankungen immer konstant ist. Die Frequenz der Intensitätsschwankungen ist hingegen variabel. Es werden Frequen- zen zwischen Werten knapp über Null und knapp unterhalb der halben Frequenz der Kamera moduliert, was eine beinahe komplette Variation innerhalb des Nyquist- abtastbaren Bereiches garantiert. Für jeden Wert dieser variablen Frequenzen wird wieder eine Zeitreihe gemessen, wobei der Duty-Cycle konstant bleibt und bekannt ist. Für jede Zeitreihe werden nun die rekonstruierten Amplituden berechnet. Diese wer- den wiederum auf die maximal gemessene Amplitude normiert. Alle normierten Amplituden werden gegen die zugrundeliegende Frequenz der Intensitätsschwankung aufgetragen. Es wird das technische Problem der Messung von Intensitätsschwankun- gen mit Kameras verdeutlicht. Ebenso wird ersichtlich, dass die beanspruchte Korrek- turmethode Wirkung zeigt.
Fig. l zeigt ein Verfahren zur Korrektur von Fehlern in integrativ gemessenen Zeitreihen gemäß der beschriebenen Ausführungsform.
Fig. 2 zeigt ein über-aufgelösten Blur Kern eines Langzeit-belichteten Fotos, welcher das Foto, basierend auf simulierten translatorischen Bewegun- gen zwischen Kamera und Objekt, degradiert. Fig. 3 zeigt das Prinzip der Bildregistrierung. Das wahre Ergebnis einer Kreuzkorrelation ist der Abstand der Blur- Kerne der korrelierten Bilder (hier PSF l und PSF 3).
Fig. 4 zeigt die Genauigkeiten der getesteten Bildkorrelationen. Es ist der Re- ferenzwert gegen den gemessenen Fehler aufgetragen.
Fig.5 zeigt die Ausdehnung des Blur-Kerns entlang einer Achse, variierend mit der Bildrate der Kamera.
Fig. 6 zeigt die wahre Zeitreihe der relativen Position von Objekt und Kamera auf einer Achse, sowie deren Rekonstruktion basierend auf einer Korre- lation.
Fig. 7 zeigt den Filter in seiner Vorwärtsform für einen Duty-Cycle von 1 bei einer Bildrate von 800 Hertz.
Fig. 8 zeigt die Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bil dindex, wobei der Fehler entweder die Distanz zwischen dem kontinu- ierlichen Schwerpunkt des Ortssignals auf einer Achse und dem wah- ren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).
Fig. 9 zeigt die durch Korrelation gemessene Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bildindex, wobei der Fehler entweder die Distanz zwischen dem durch Korrelation berechneten Schwerpunkt des Ortssignals auf einer Achse und dem wahren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).
Fig. 10 zeigt eine PSF, welche basierend auf wahren Zeitreihen des Orts inter- poliert wurde.
Fig. 11 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeit- reihen des Orts interpoliert wurde.
Fig. 12 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeit- reihen des Orts interpoliert wurde, wobei die Zeitreihen durch den Fil ter rekonstruiert wurden.
Fig. 13 zeigt eine PSF, welche die Differenz aus der PSF in Fig. 10 und der PSF aus Fig. 11 ist.
Fig. 14 zeigt eine PSF, welche die Differenz aus der PSF in Fig. 10 und der PSF aus Fig. 12 ist.
Fig. 15 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeit- reihen des relativen Orts mit Kameras. Fig. 16 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei mi- nimaler Belichtungszeit.
Fig. 17 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei ma- ximaler Belichtungszeit.
Fig. 18 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeit- reihen der Intensität mit Kameras.
Figur 1 beschreibt das Korrekturverfahren im Vergleich zum Stand der Technik mit- tels Flussdiagramm. Sowohl Stand der Technik als auch dessen Erweiterung um das beschriebene Korrekturverfahren basieren auf dem Abtasten einer Zeitreihe, welcher Vorgang als integratives Abtasten 0120 beschrieben werden kann, um Abtastwerte zu erhalten. Dieses integrative Abtasten ist durch einen Sensor mit einer Integrationszeit gekennzeichnet, welche als Duty-Cycle beschrieben werden kann. Aus dieser Abtas- tung resultiert eine Sequenz mehrdimensionaler Signale 0130, um einen oder mehre- re Messwerte zu erhalten. Auf dieser Sequenz mehrdimensionaler Signale wird eine Zeitreihe gemessen 0140, wobei angenommen wird, dass die Integration des Sensors dazu führt, dass die Zeitreihe durch Schwerpunktbildung degradiert ist. Ebenso kön- nen mehrere Zeitreihen gemessen worden sein, auch mittels direkter oder indirekter, oder auch relationaler Messung. Abtast- und Messwerte müssen sich nicht unter- scheiden, zum Beispiel bei der Rekonstruktion von Intensitätsvariationen in Bildern. Der Stand der Technik (linker Zweig) würde keine Korrekturverfahren anwenden, um von der Schwerpunkt-degradierten Zeitreihe 0140 auf die tatsächlichen bzw. wahren Signalwerte 0174 zu schließen, sondern die Schwerpunkt-degradierte Zeitreihe 0150 als Ergebnis akzeptieren (Ende 0160). Korrekturen mit anderem Ziel werden in die- sem Diagramm nicht berücksichtigt. Das beschriebene Korrekturverfahren (rechter Zweig 017X) hingegen entnimmt der Messung den voreingestellten Parameter des Duty-Cycle 0170, oder einen Wert welcher als äquivalent angesehen werden kann, beispielsweise die Integrationszeit. Ebenso kann der eingestellte Duty-Cycle oder ein eingestellter gleichwertiger Wert verwendet werden 0171. Charakteristisch für die vorliegende Korrektur ist, dass aus einem so gewonnenen Duty-Cycle Korrekturwerte 0173 berechnet werden, welche angewandt auf die Zeitreihe, degradiert durch Schwerpunktbildung 0150, eine von der Degradierung korrigierte Zeitreihe 0175 be- rechnen. Figur 2 illustriert eine über-aufgelöste Punkt-Spreiz-Funktion (Motion-Blur PSF) welche durch relative, translatorische Bewegung zwischen einer Kamera zu einem Ob- jekt simuliert wurde. Die Achsen beschreiben die Pixel -Auflösung der simulierten Kamera. Die Motion-Blur PSF ist eine Interpolation der zweidimensionalen Spur zwi- schen Kamera und Objekt. Es soll verdeutlicht werden, dass Bewegungen während der Integrationszeit kontinuierlich weiterverlaufen, sodass die Degradierung Motion-Blur entsteht. Weiter soll gezeigt werden, dass die Degradierung Motion-Blur aus zwei Zeitreihen besteht, welche die x- und die y-Koordinate der Kamera als Variation ent- lang der Zeit beschreiben.
Figur 3 zeigt nun das gleiche Prinzip wie Figur 2. Allerdings ist die Integrationszeit wesentlich kürzer, sodass die Motion-Blur PSF eines Fotos auch wesentlich kürzer ist. Gezeigt werden die PSFs dreier Fotos als PSF l, PSF 2 und PSF 3. Zu PSF 1 und PSF 3 sind die zugehörigen Schwerpunkte eingezeichnet, benannt als CoG 1 und CoG 3. Fi- gur 2 veranschaulicht das Prinzip der Bildregistrierung von solchen Bildern, welche mit Motion-Blur degradiert sind. Der veranschaulichte Fall bezieht sich auf eine Kor- relation der Fotos mit der PSF 1 und der PSF 3, wobei beide Fotos das gleiche Objekt fotografieren, jedoch mit unterschiedlichen Degradierungen. Das wahre Ergebnis die- ser Korrelation ist der Vektor von CoG 3 nach CoG 1.
Figur 4 zeigt die Genauigkeiten der getesteten Algorithmen zur Korrelation zweier Motion-Blur belasteter Bilder auf einer Achse, also die Genauigkeit der Rekonstrukti- on einer Schwerpunkt-basierten Zeitreihe. Es ist der Fehler der Registrierung in Pixel- Längen angegeben, gegen das wahre Ergebnis der Korrelation wie zuvor definiert. Die untersuchten Algorithmen stammen aus (Löfdahl, M. G.,“Evaluation of image-shift measurement algorithms for solar shack-hartmann wavefront sensors,” Astronomy and Astrophysics 524 (2010).) und sind entsprechend der dortigen Nomenklatur be- nannt. Es kann gefolgert werden, dass alle Algorithmen den wahren Wert der Regist- rierung wie definiert berechnen, da der durchschnittliche Fehler immer gleich Null ist.
Figur 5 zeigt nun die Abhängigkeit des korrigierten Fehlers (Motion-Blur- Ausdehnung entlang einer Achse) von der Bildrate (framerate), unter der Bedingung, dass alle anderen Faktoren konstant sind. Diese Darstellung ist interessant im Zu- sammenhang mit dem Stand der Technik. Bei hoher Bildrate ist der Fehler sehr ge- ring, sodass seine Korrektur vernachlässigt werden kann. Allerdings ist der Stand der Technik nicht in der Lage mit hohen Ausdehnungen der Motion-Blurs bei geringen Bildraten umzugehen.
Figur 6 zeigt die Zeitreihe der relativen Position zwischen Kamera und Objekt auf der x-Achse in Pixel-Koordinaten (blau), sowie eine Rekonstruktion mittels Korrelati- on ohne beanspruchte Filterkorrektur (orange). Die Darstellung beruht auf den glei- chen Eingabewerten der Simulation wie die Figuren 3 und 4. Es wird verdeutlicht, dass die Unterschätzung des gesuchten Signals durch integrative Messung nicht uner- heblich ist.
Figur 7 zweigt nun den entsprechenden Filter im Fourier-Bereich in seiner Vorwärts- form. Die Bildrate war entsprechend der Darstellung 800 Hertz. Gezeigt sind nur po- sitive Frequenzen, negative sind spiegelsymmetrisch. Die Phase des Filters ist immer gleich Null, daher wird nur der Betrag gezeigt. Die Gleichkomponente wurde als stetig fortsetzbar mit Eins erweitert.
Figur 8 zeigt die Anwendung der Korrektur auf die Zeitreihe der kontinuierlichen Schwerpunktwerte des Signals. Die Distanz auf der x-Achse in Pixel, zwischen dem wahren Signalwert (x(t)) und dessen symmetrischen Schwerpunkt (CoG), ist einmal in blau dargestellt. Dieser Wert entspricht dem Fehler, welcher bei der Anwendung des Stands der Technik entstehen würde. Dieser Fehler wird gegen Null korrigiert, wenn die beanspruchte Rekonstruktionsmethode angewandt wird.
Figur 9 zeigt das gleiche Prinzip wie Figur 8, jedoch sind die Eingangswerte anders. Statt dem wahren Signal x(t) gehen nun dessen diskrete Rekonstruktionen anhand von Korrelationsergebnissen ein. Es wird deutlich, dass die Korrelation eine geringe Ungenauigkeit aufweist, und das die Rekonstruktion dieses ungenauen, Schwerpunkt - basiertem Signals mit dem beanspruchten Verfahren immer noch möglich ist. Der Fehler wird insgesamt signifikant reduziert, aber ein geringer Restfehler bleibt.
Figur 10 zeigt eine PSF wie sie aus den Zeitreihen der x- und y-Position zwischen Kamera und Objekt interpoliert wurde. Dem Zugrunde liegt nun ein Langzeit - belichtetes Foto. Im Weiteren werden die maximale Höhe der PSF sowie der maxima- le Ausdehnung relevant. Figur li zeigt eine PSF, passend zu Figur io, allerdings wurde diese anhand von Kor- relationsergebnissen erzeugt. Diese PSF weist einen höheren Maximalwert auf, sowie leicht weniger maximale Ausdehnung in die Breiten.
Figur 12 zeigt die PSF aus Figur n, wobei die Zeitreihen der relativen Position zwi- schen Kamera und Objekt zuvor mit dem beanspruchten Verfahren korrigiert wurden. Es ist ersichtlich, dass die zuvor besagten Maximalwerte besser rekonstruiert werden als ohne beanspruchtes Korrekturverfahren.
Figur 13 zeigt die Differenz aus den PSFs aus Figur 10 minus die PSF aus Figur 11. Besagte Eigenschaften beider PSFs führen dazu, dass diese Differenz nahe dem Ur- sprung negativ, und zum Rand hin positiv ist. Weiter ist zu sehen, dass das Integral über den Absolutwert der Differenz-PSF relativ groß ist.
Figur 14 zeigt nun die Differenz von der PSF aus Figur 10 minus der PSF aus Figur 12. Es ist zu erkennen, dass das Integral über den Absolutwert der Differenz-PSF rela- tiv gering ist, vor allem im Vergleich zu Figur 13. Es wird also wieder eine Verbesse- rung durch Fehlerminimierung illustriert.
Figur 15 zeigt die Ergebnisse der Verifikation der Amplitudenkorrektur bei der Mes- sung von Zeitreihen des relativen Ortes. Die horizontale Achse zeigt die Hälfte einge- stellten Duty-Cycle, gegeben als symmetrisches Integrationsintervall normiert auf die Samplingzeit, die Vertikale zeigt die gemessene Amplitude, normiert auf die maximal gemessene Amplitude. Diese Darstellung wurde gewählte, da diese es ermöglicht den Amplituden des Filters nachzuzeichnen, welcher ebenfalls eingezeichnet ist (H). Die Nachzeichnung des Filters durch die Messergebnisse verifiziert die beanspruchte Kor- rektur. Ungenauigkeiten sind durch Restfehler der Korrelationen zu erklären.
Figur 16 zeigt den Blur des Referenzbildes aus dem Experiment von Figur 15, wobei bei dieser Messung der kleinstmögliche Duty-Cycle konfiguriert war. Es ist zu erken- nen, dass dieser relativ moderat ausfällt. Sinn der Abbildung zeigt sich im Vergleich mit Figur 17.
Figur 17 zeigt den Blur des Referenzbildes aus dem Experiment von Figur 15, wobei bei dieser Messung der größtmögliche Duty-Cycle konfiguriert war. Der Blur hat nun erhebliche Ausmaße. Dies stellt die Richtigkeit der Behauptung dar, dass es zu einer kontinuierlichen Änderung der relativen Position zwischen Kamera und Objekt wäh- rend der Integrationszeit kommt, welche vom Duty-Cycle abhängt.
Figur 18 zeigt die Messergebnisse aus dem Experiment zur Verifikation der Amplitudenkorrektur bei der Messung von Zeitreihen der Intensität. Die Horizontale zeigt die Frequenz, mit welcher die Amplitude der Intensität der LED moduliert wur- de, normiert auf die 8oo Hertz Bildrate der Kamera. Die Vertikale zeigt die abhängig messbare Amplitude, normiert auf die maximal messbare Amplitude aus allen Mes- sungen. Diese Darstellungsform wurde wiederum gewählt, weil sie es ermöglicht, den Filter dagegen zu zeichnen. Der Filter in Vorwärtsform ist für Duty-Cycle gleich Eins und gleich 0.8 eingezeichnet. Es kann den Ergebnissen entnommen werden, dass die Messkurve die Kurve des Filters für 0.8 approximiert. Dies verifiziert wiederum die beanspruchte Korrektur, da der Duty-Cycle der Kamera in dem Experiment gleich 0.8 war. Die leichte Ungenauigkeit in der Messung lässt sich dadurch erklären, dass eine Einstellung der Frequenz des LED Kontrollers auf nahe-Null-Werte nicht möglich war. Somit wurden die gemessenen Amplituden nicht auf die theoretisch erreichbare, maximale Amplitude normiert, wodurch die Messergebnisse leicht höher ausfallen als zu erwarten wäre.
Das erfindungsgemäße Verfahren wurde im Zusammenhang mit der Korrektur von residuellen Tip-Tilt-Fehlern aufgrund von Mikro-Vibrationen der Sunrise-Sternwarte entwickelt, die in der Gondel eines Stratosphärenballons transportiert wurde (Barthol, P. et al.,„The Sunrise Mission," Sol. Phys. 268, 1(34 (Jan. 2011); Solanki, S. K. et al.“SUNRISE: Instrument, Mission, Data, and First Results," ApJ 723, Li27(Li33 (Nov. 2010)). Mit demselben Ansatz kann jedoch auch das eingangs zitierte Verfahren von Ben-Ezra verbessert warden. Es hat über diese speziellen Anwendungen und über den wichtigen Bereich der Bildgebung, insbesondere auch der medizinischen Bildge- bung hinaus jedoch noch vielfältige weitere Einsatzgebiete, nämlich bei jeder Art von Zeitreihen, die durch Auslastungsgrade des konkrete verwendeten Sensors degradiert sind.

Claims

Ansprüche l. Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, wel- che auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrierenden Senso- ren abgetastet wurden, sodass die Zeitreihen durch eine Schwerpunktbildung degradiert sind, welche durch einen Duty-Cycle der integrierenden Sensoren charakterisiert werden kann, dadurch gekennzeichnet, dass eine Schwerpunktbildung der Zeitreihen basie- rend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit der Sensoren korrigiert wird.
2. Verfahren nach Patentanspruch l, wobei die Korrektur mittels eines Boxcar-
Filters bzw. eines inversen sinc-Filters, wenn die Korrektur im Frequenzraum spezifiziert ist, erfolgt.
3. Verfahren nach Anspruch l, wobei der integrierende Sensor zur Abtastung von Photonenflüssen eingesetzt wird.
4. Verfahren nach Anspruch 3, wobei der integrierende Sensor ein CCD Sensor, ein CMOS Sensor, DEPFET Sensor oder ein Time-Delay-Integrationssensor ist.
5. Verfahren nach Anspruch 3, wobei zu jedem Zeitpunkt mehrere mehrdimensi- onale Signale verschiedener Sensoren abgetastet werden.
6. Verfahren nach 1, wobei eine Zeitreihe Eigenschaften eines Unschärfe-Kems (Blur) beschreibt, insbesondere eine Wellenfrontdegradierung von Licht zwi- schen einem Objekt und einem Sensor.
7. Verfahren nach Anspruch 1, wobei relative Messwerte gemessen wurden.
8. Verfahren nach Anspruch 1, wobei Messwerte korrigiert werden, die zur Ent- faltung der mehrdimensionalen Eingangssignale dienen, zum Beispiel von Kamerabildern.
9. Verfahren nach Anspruch 1, wobei die Korrektur in Echtzeit in einem Daten- strom vorgenommen wird, beispielsweise mittels analoger oder digitaler Fil- terelemente.
10. Verfahren nach Anspruch 9, wobei ein oder mehrere Aktuatoren mit dem kor- rigierten Signal gesteuert werden.
11. Verfahren nach Anspruch 10, wobei ein Aktuator Element einer adaptiven Op- tik oder eine aktiven Optik ist, zum Beispiel ein deformierbarer Spiegel.
12. Verfahren nach Anspruch 3, wobei Variationen in mehrdimensionalen Signal- intensitäten korrigiert werden.
13. Korrelationsverfahren, welche das Ergebnis eines Verfahrens gemäß Anspruch 1 als statistische Momente von Blur- Kernen weiterverarbeiten.
14. Verfahren nach Anspruch 13, welche das Ergebnis als Schwerpunkt verarbei- ten.
15. Computer-implementiertes Verfahren nach Anspruch 1.
16. Analog implementiertes Verfahren nach Anspruch 1.
17. Verfahren nach Anspruch 1, welches die Korrektur mittels Transformation vornimmt.
18. Verfahren nach Anspruch 1, in welchem die Sequenz mehrdimensionaler Sig- nale vorverarbeitet wird, um abgeleitete Zeitreihen auf dieser vorverarbeiteten Sequenz zu messen.
19. Verfahren nach Anspruch 1, wobei die Sensoren Schallwellen und / oder Mag- netismus und / oder Partikelflüsse messen.
20. Verfahren nach Anspruch 18, wobei die abgeleiteten Zeitreihen zum Beispiel
Gradienten, Geschwindigkeiten, Flächen, Volumina, Flüsse umfassen und die Korrektur auf die abgeleiteten Zeitreihen angewandt wird.
21. Integrierter Schaltkreis (IC), der ein Verfahren nach Patentansprüchen l bis 20 durchführt.
PCT/EP2019/064984 2018-06-08 2019-06-07 Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade Ceased WO2019234232A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19731633.4A EP3804292A2 (de) 2018-06-08 2019-06-07 Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade
US17/113,566 US12347078B2 (en) 2018-06-08 2020-12-07 Method and installation for reconstructing time series, degraded by the degree of utilization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018209176.5A DE102018209176A1 (de) 2018-06-08 2018-06-08 Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, degradiert durch Auslastungsgrade
DE102018209176.5 2018-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/113,566 Continuation US12347078B2 (en) 2018-06-08 2020-12-07 Method and installation for reconstructing time series, degraded by the degree of utilization

Publications (2)

Publication Number Publication Date
WO2019234232A2 true WO2019234232A2 (de) 2019-12-12
WO2019234232A3 WO2019234232A3 (de) 2020-01-30

Family

ID=66951901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/064984 Ceased WO2019234232A2 (de) 2018-06-08 2019-06-07 Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade

Country Status (4)

Country Link
US (1) US12347078B2 (de)
EP (1) EP3804292A2 (de)
DE (1) DE102018209176A1 (de)
WO (1) WO2019234232A2 (de)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876509A (en) * 1986-12-17 1989-10-24 Resonex, Inc. Image restoration process for magnetic resonance imaging resonance imaging
DD294361A5 (de) * 1990-05-02 1991-09-26 Carl Zeiss Jena Gmbh,De Automatische kennlinienaufnahmeeinrichtung zur bestimmung der fotoempfindlichkeit und linearitaetsabweichung von integrierenden bildsensoren
SE9201482L (sv) * 1992-05-11 1993-11-12 Regam Medical Systems Ab Metod för kompensering av mörkerström vid CCd-sensor för dentalröntgen
DE19734717A1 (de) * 1997-08-11 1999-02-25 Sirona Dental Systems Gmbh Verfahren zur Kompensation des Dunkelstroms bei der Erstellung von zahnärztlichen Panorama- und/oder cephalometrischen Schichtaufnahmen
US6307195B1 (en) * 1999-10-26 2001-10-23 Eastman Kodak Company Variable collection of blooming charge to extend dynamic range
US7129455B2 (en) * 2002-11-06 2006-10-31 Boston Micromachines Corporation Systems and methods for modifying wavefronts by amplifying stroke
WO2005010799A2 (en) * 2003-07-16 2005-02-03 Shrenik Deliwala Optical encoding and reconstruction
US7450044B2 (en) * 2007-03-27 2008-11-11 Agilent Technologies, Inc. Sub-harmonic image mitigation in digital-to-analog conversion systems
US9063344B1 (en) * 2012-03-21 2015-06-23 The Boeing Company Method and apparatus for deblurring an image
FR2999735B1 (fr) * 2012-12-17 2018-08-31 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif d'acquisition d'image
US9225920B2 (en) * 2013-03-15 2015-12-29 Northrop Grumman Systems Corporation Staring focal plane sensor systems and methods for imaging large dynamic range scenes
US10477095B2 (en) * 2015-05-14 2019-11-12 Sri International Selecting optimal image from mobile device captures
DE102016216985A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Abtasten eines Bildsensors

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BARTHOL, P ET AL.: "The Sunrise Mission", SOL. PHYS., vol. 268, January 2011 (2011-01-01)
BEN-EZRA, M.NAYAR, S. K.: "Motion deblurring using hybrid imaging", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2003. PROCEEDINGS, vol. 1, June 2003 (2003-06-01), XP010644960, DOI: doi:10.1109/CVPR.2003.1211416
BEN-EZRA, MNAYAR, S. K.: "Motion deblurring using hybrid imaging", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 1, June 2003 (2003-06-01), XP010644960, DOI: doi:10.1109/CVPR.2003.1211416
GLENN D. BOREMAN: "Tutorial Texts in Optical Engineering", vol. TT52, 2001, SPIE PRESS, article "Modulation Transfer Function in Optical and Electro-Optical Systems"
JOSEF HOFFMANN UFRANZ QUINTDE GRUYTER OLDENBOURG: "Signalverarbeitung in Beispielen: Verständlich erläutert mit Matlab und Simulink", 12 September 2016, pages: 306
See also references of EP3804292A2
SOLANKI, S. K. ET AL.: "SUNRISE: Instrument, Mission, Data, and First Results", APJ 723, November 2010 (2010-11-01)

Also Published As

Publication number Publication date
US12347078B2 (en) 2025-07-01
WO2019234232A3 (de) 2020-01-30
US20210233216A1 (en) 2021-07-29
DE102018209176A1 (de) 2019-12-12
EP3804292A2 (de) 2021-04-14

Similar Documents

Publication Publication Date Title
DE102012106584B4 (de) Verfahren und Vorrichtung zur Bildrekonstruktion
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
EP2598836B1 (de) Ermittlung von defokussierten reflexionskarten für die robuste bestimmung von &#34;shape from focus&#34; in mikroskopbildern
DE102017220101A1 (de) Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102014223387A1 (de) Bildverarbeitungs-Inspektionssystem und Verfahren zum Erhalten eines Bilds mit erweiterter Schärfentiefe
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
EP3482370B1 (de) Schnelles bildkorrekturverfahren für eine vereinfachte adaptive optik
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE10297208T5 (de) Verbessertes Verfahren und verbesserte Vorrichtung unter Verwendung eines SLM
EP3899861A1 (de) Optikkorrektur durch maschinenlernen
DE102014113256A1 (de) Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
EP3433577A1 (de) Vorrichtung und verfahren zum verknüpfen von messsignalen aus beleuchtungssignalen
DE102015118278A1 (de) Verfahren und System zur Vergrößerungskorrektur aus mehreren Fokusebenen
EP4040396B1 (de) Verfahren zur simulation einer optischen abbildung
EP3384461B1 (de) Verfahren und vorrichtung zur bildkorrektur
WO2019234232A2 (de) Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade
EP2732430B1 (de) Bestimmung der übertragungsfunktion eines signalverarbeitenden systems ohne bekanntes eingangssignal
DE102009027165A1 (de) Verfahren und Vorrichtung zur Darstellung einer Abtastfunktion
EP1451530B1 (de) Sensoranordnung mit auslesemitteln zur differenzbildung
DE102013217655A1 (de) Spiegelmonitoring unter Verwendung einer Graustufenblende
DE102010061864A1 (de) Verfahren und Vorrichtung zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung
DE19625727C2 (de) Einrichtung zur Bestimmung der Disparität in einem Stereobildpaar
Klapp et al. Deblurring space-variant blur by adding noisy image
WO2023274918A1 (de) Syntheseverfahren zur erzeugung eines räumlich hochaufgelösten bildes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19731633

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019731633

Country of ref document: EP

Effective date: 20210111