DE69434657T2

DE69434657T2 - System und Verfahren zur elektronischen Bildstabilisierung

Info

Publication number: DE69434657T2
Application number: DE69434657T
Authority: DE
Inventors: Peter Jeffrey Princeton Burt; Keith James Princeton Hanna
Original assignee: Sarnoff Corp
Current assignee: Sarnoff Corp
Priority date: 1993-06-04
Filing date: 1994-06-02
Publication date: 2007-02-15
Anticipated expiration: 2014-06-03
Also published as: US5629988A; EP0701758A1; KR100268311B1; DE69434657D1; ES2151550T3; ES2258311T3; DE69426232D1; JPH08511137A; DE69426232T2; JP3734829B2; EP0986252A1; EP0701758B1; KR960702974A; WO1994030007A1; EP0986252B1

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung für die elektronische Stabilisierung von Bildsequenzen unter Verwendung der digitalen Bildverarbeitung, um eine unerwünschte Komponente der Bewegung von Einzelbild zu Einzelbild zu entfernen.
HINTERGRUND DER ERFINDUNG
Der Bedarf an Bildstabilisierung taucht in vielen Anwendungen auf, einschließlich der Filmindustrie, die unerwünschtes Flackern zwischen aufeinanderfolgenden Bildern einer Videoquelle entfernen muß, bei Kameraleuten von Fernsehnachrichten, die Videos von handgehaltenen Kameras von im Schauplatz produzierten Nachrichten stabilisieren müssen, bei den Videos von Überwachungskameras, die auf schwankenden oder rotierenden Plattformen oder auf sich bewegenden Fahrzeugen montiert sind, die vor der Computeranalyse oder vor der Anzeige vor menschlichen Beobachtern stabilisiert werden müssen, und bei den Videos von sich bewegenden Fahrzeugen, die vor der Bildkomprimierung oder vor der Darstellung für einen Empfangsoperator (Fernsteuerung) oder für Computerbildsysteme für das automatische Fahren stabilisiert werden müssen.
Mechanisch stabilisierte Plattformen verschiedenen Typs werden in der Überwachung verwendet, um die Bewegung von Abbildern (Bilderfassungsgeräten) – nicht von Bildern – zu kompensieren. In 1 ist ein Abbilder 10 auf einer mechanisch stabilisierten Plattform 12 montiert. Der Ausgang I_in(t) auf der Leitung 14 des Bildes 10 wird auf einem Monitor 16 dargestellt. Die Plattform 12 verwendet typischerweise Kreiselgeräte, um Drehungen der Plattform zu erfassen, und Motoren, um diese Drehung zu kompensieren. Ein Benutzer kann die Blickrichtung des Bildes (Schwenken und Verkanten) steuern und über ein elektronisches Steuersignal 18 das Bild heranholen (zoomen) und die Antriebe in der Plattform 12 fahren.
Die elektronische Stabilisierung mit Abbilder-Bewegungssensoren kann verwendet werden, um die Bewegung des Abbilders, aber nicht die Bewegung des Bildes zu kompensieren. In 2 hat ein Abbilder 10, der auf einer mechanisch stabilisierten Plattform 12 montiert ist, einen Ausgang I_in(t) auf der Leitung 14. Eine Restbewegung der Plattform 12 wird unter Verwendung der Sensoren 20 gemessen. Erfaßte Verschiebungen d(t) auf der Leitung 22 werden mittels eines Transformationsmoduls 26 in Transformationsparameter p(t) auf der Leitung 24 konvertiert. Die Parameter p(t) 24 werden von der Bildschervorrichtung 28 verwendet, um ein stabilisiertes Ausgangsbild I_out(t) 30 für die Darstellung auf dem Monitor 16 zu erzeugen, in dem die Bildbewegung kompensiert wurde.
In 3 ist ein System für die elektronische Stabilisierung mit digitaler Verarbeitung, um Bildbewegung zu erfassen, gezeigt. Das System weist einen Abbilder 10 auf, der einen Ausgang I_in(t) 14 hat, der in einem Bildrahmenspeicher bzw. Bildspeicher 32 abgelegt wird, um das Bild zu halten, bis geeignete Scherparameter berechnet wurden und zu einer Bildschervorrichtung 28 für die Stabilisierung übermittelt wurden. (Dieser Bildspeicher wird nicht benötigt, wenn die durchgeführte Scherung zu einer Bildzeit auf Parametern basiert, die zu einer vorherigen Bildzeit errechnet wur den.) Eine Reihe von Merkmalen kann von dem Modul 34 aus der Videoquelle extrahiert werden, um den Speicherbedarf zu reduzieren. Ein zweiter Bildrahmenspeicher bzw. Bildspeicher 36 wird zur Verfügung gestellt, um die Merkmale, die von dem vorherigen Bild extrahiert wurden, zu halten, so daß sie mit dem gegenwärtigen Bild verglichen werden können. Die Merkmale f(t) auf der Leitung 38, die zur Zeit t extrahiert wurden, werden mit den Merkmalen f(t-1) auf der Leitung 40, die zu einer Zeit (t-1) extrahiert wurden, in einem Verschiebungsschätzer 42 verglichen, der digitale Bildverarbeitung verwendet, um die Bewegung von Bild-zu-Bild zu bestimmen, um die Verschiebungen d(t) auf der Leitung 44 zu erzeugen. Eine kommerziell erhältliche Kamera verwendet ein Array aus 36 Pixeln als Merkmale bzw. Eigenheiten, die zwischen Bildern verglichen werden. Erfaßte Verschiebungen d(t) auf der Leitung 44 werden von der Bildschervorrichtung 28 für die Darstellung auf dem Monitor 16 verwendet, um ein stabilisiertes Ausgangsbild I_out(t) 30 zu produzieren, in dem die Bildbewegung kompensiert wurde. Solche Systeme, die dem Erfinder bekannt sind, können nicht Zoomen, Rotationen, Parallaxen und/oder Linsenverzeichnungen kompensieren.
In 4 verwendet ein elektronisches Zielverfolgungssystem Korrelation, um ein Ziel innerhalb des Sichtfeldes des Abbilders zu lokalisieren, steuert dann den Abbilder, um das Ziel zu zentrieren und stabilisiert zumindest grob das Zielmuster. Das System beinhaltet einen Abbilder 10, der ein Ausgangsbild I_in(t) 14 hat, welches in einem Korrelationsmodul 46 mit dem Bild 14 verglichen wird, um ein Referenzmuster, das hierin gespeichert ist, abzustimmen. Das Referenzmuster wird von einem früheren Bild in dem Videosequenzmodul 48, das in dem Speicher 50 abgelegt ist, ausgewählt. Das Referenzmuster kann ein stationäres Objekt in der Szene oder ein sich bewegendes Objekt sein. Die Differenz zwischen dem Bild I_in(t) und dem Referenzmuster liefert eine Verschiebungsinformation zu dem Transformationsmodul 26, welches diese Information konvertiert, um ein Signal für die Stabilisierung der Plattform 12 zu erzeugen.
In 5 ist ein System für die elektronische Zielverfolgung unter Verwendung der Veränderungsdetektion gezeigt. Die Differenz zwischen dem gegenwärtigen Bild I_in(t) und einem vorherigen Bild I_in(t-1) in dem Bildspeicher 60 wird durch den Subtrahierer 62 bestimmt und Regionen mit einer signifikanten Veränderung werden lokalisiert. Die Ortsinformation x(t), die von dem Modul 64 geliefert wird, wird verwendet, um den Abbilder 10 zu lenken, um das Bild an einem speziellen Punkt oder auf einer speziellen Spur in dem dargestellten Bild zu behalten. Dieser Ansatz kann gegenüber einem musterbasierten Ansatz vorteilhaft sein, wenn die Ziele zu klein sind, um auf einer Musteranpassung basierend detektiert zu werden, sich jedoch derart bewegen, daß die Erfassung auf dieser Bewegung basieren kann. Bestehende Systeme erfordern, daß die Bewegung der Hintergrundszene klein ist, so daß die Zielbewegung erfaßt werden kann.
Burt et al. haben in den Proceedings of the Workshop on Visual Motion, Irvine, CA, 20.-22. März, 889, Seiten 1-12, ein Verfahren für das Erzielen einer präzisen Bildausrichtung durch iteratives Verbessern beschrieben. Solche Verfahren wurden für solche Anwendungen, wie z.B. Geländeformwiedererkennung und die Detektion von sich bewegenden Zielen verwendet.
Die WO 93/07585 offenbart ein Verfahren zum Bestimmen eines Modells für die Bildsensorbewegung durch ein Szenen- und ein Szenenstrukturmodell der Szene aus zwei oder mehreren Bildern der Szene bei einer gegebenen Bildauflösung, welches die folgenden Schritte umfaßt:

(a) Einstellen anfänglicher Abschätzungen lokaler Szenemodelle und eines Bildsensorbewegungsmodells,
(b) Bestimmen eines neuen Wertes eines dieser Modelle durch Minimieren des Unterschieds zwischen dem gemessenen Fehler in den Bildern und dem durch das Modell vorhergesagten Fehler,
(c) Zurücksetzen der anfänglichen Abschätzungen der lokalen Szenemodelle und des Bildsensorbewegungsmodells unter Verwendung des neuen Werts von dem einen der Modelle, der in Schritt (b) bestimmt wurde,
(d) Bestimmen eines neuen Werts des zweiten der Modelle unter Verwendung der Abschätzungen der Modelle, die in Schritt (b) bestimmt wurden, durch Minimieren des Unterschieds zwischen dem gemessenen Fehler in den Bildern und dem durch das Modell vorhergesagten Fehler,
(e) Scheren eines der Bilder in Richtung des anderen Bildes unter Verwendung der gegenwärtigen Abschätzungen der Modelle bei der gegebenen Bildauflösung und
(f) Wiederholen der Schritte (b), (c), (d) und (e), bis die Unterschiede zwischen den neuen Werten der Modelle und den Werten, die bei der vorherigen Iteration bestimmt wurden, weniger als einen bestimmten Wert betragen oder bis eine feste Anzahl von Iterationen stattgefunden hat.

Ein solches Verfahren kann bei der Bildstabilisierung verwendet werden.
J.K. Paik et al. "An adaptive motion decision system for digital image stabilizers based on edge pattern matching" in IEEE Transactions on Consumer Electronics, Band 38, Nr. 3, August 1992 (1992-08), Seiten 607-615, XP000311901, New York, USA. In dem System von Paik et al. wird, um einen Bewegungsvektor zwischen zwei aufeinanderfolgenden Bildern, bezeichnet als Referenzbild und Vergleichsbild, abzuschätzen, zuerst ein Bewegungsabschätzbereich (MEA) in einer ungefähren Position auf den Bildern definiert. Dann wird ein Teil des MEA in dem Referenzbild, der als Bewegungsabschätzblock (MEB) bezeichnet wird, mit den korrespondierenden MEBs in dem Vergleichsbild, von denen jeder durch den entsprechenden Bewegungsvektorkandidaten verschoben wird, verglichen. Bei jedem Vergleich des Referenz-MEB und eines Vergleichs-MEB wird ein Korrelationswert für den entsprechenden Bewegungsvektorkandidaten berechnet. Unter vielen Bewegungsvektorkandidaten wird einer mit einer maximalen Korrelation für den Bewegungsvektor ausgewählt, der dem vordefinierten MEA zwischen dem Referenzbild und dem Vergleichsbild entspricht. Für eine zuverlässigere Bewegungsvektorabschätzung werden mehr als ein – beispielsweise M – Bewegungsvektor(en) an verschiedenen Positionen, d.h. MEAs, auf dem Bild abgeschätzt, und sie werden als lokale Bewegungsvektoren (LMV) bezeichnet. Beim Abschätzen der LMVs verwendet das System binäre Kantenbilder anstelle von echten Bildern mit voller Bitzahl oder gefilterten Viel fachbit-Bildern, um die Hardwarekosten im Hinblick auf sowohl die Berechnung als auch die Lagerung zu reduzieren.
Durch geeignetes Mitteln der LMVs wird der gewünschte Bewegungsvektor zwischen Referenz- und Vergleichsfeldern, bezeichnet als Feldbewegungsvektor (FMV), erhalten. Das System verwendet ein Verfahren der gewichteten Mittelung zur Erzeugung der FMV, wobei Isolations- und Stabilitätsmessungen einstellbar die Gewichtung jedes LMV bestimmen.
Um mehr als zwei aufeinanderfolgende Bilder zu stabilisieren, werden FMVs der aufeinanderfolgenden Felder in Bezug auf das erste Referenzbild akkumuliert, und der resultierende Bewegungsvektor wird als der akkumulierte Bewegungsvektor (AMV) bezeichnet. Unter Verwendung des AMV wird die Leseadresse des Feldspeichers berechnet, und die entsprechenden Daten aus dem Feldspeicher werden vergrößert (oder gezoomt), um unübliche Ränder zu eliminieren.
Es wäre wünschenswert, die Funktionalität eines Bildstabilisierungssystems zu erweitern, um abgeleitete Bildsequenzen, die ein Ziel verfolgen, einzuschließen durch Verwendung von Informationen, die als ein Nebenprodukt des verbesserten Stabilisierungsverfahrens erzeugt werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur elektronischen Bildstabilisierung zur Verfügung gestellt, das in digitaler Form auf eine Sequenz von aufeinanderfolgenden Paaren (Iin(t) und Iin(t-1)) von Einzelbildern reagiert, wobei das Verfahren die Schritte beinhaltet (a) Anwenden einer iterativ betriebenen Rückkopplungsschleife, die einen Bildscherer, einen Verschiebungsschätzer, einen Addierer und einen Speicher aufweist, um eine am meisten fehlerbehaftete ursprüngliche Schätzung (d(t,0)) einer Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern der Sequenz dargestellt wird, auf eine am wenigsten fehlerhafte Endschätzung (d(t,K)) einer Verschiebung zu reduzieren, und (b) Speichern der Endschätzung (d(t,K)) der Verschiebung in dem Speicher, wobei das Verfahren weiterhin durch die folgenden Schritte gekennzeichnet ist:

(c) Bestimmen von Positionsinformation, die den Ort eines Ziels in dem Einzelbild anzeigt, aus dem Unterschied zwischen einem bestimmten Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern und dem anderen (I warp (t-1)) der Einzelbilder, die in Schritt (a) von dem Bildscherer hiermit in Ausrichtung geschert wurden,
(d) Umwandeln der Endabschätzung der Verschiebung, die in dem Speicher gespeichert ist, und der Positionsinformation in Ausgangstransformationsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, das die Endabschätzungen und die Positionsinformation, die für die Abfolge von Einzelbildern abgeleitet wurde, auf gewünschte Positionen in der Abfolge abbildet, und
(e) Scheren eines bestimmten Einzelbildes (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern in Übereinstimmung mit den Ausgangstransformationsparametern (p(t)), um die Abfolge bzw. Sequenz von Einzelbildern zu stabilisieren.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur elektronischen Bildstabilisierung bereitgestellt, die auf eine Abfolge von aufeinanderfolgenden Paaren (Iin(t), Iin(t-1)) von Einzelbildern in digitaler Form reagiert,
wobei die Vorrichtung eine Bildschereinrichtung, eine iterativ arbeitende Rückkopplungsschleife, die die Bildschereinrichtung, einen Verschiebungsschätzer, einen Addierer und einen Speicher beinhaltet, um eine fehlerhafteste ursprüngliche Schätzung (d(t,0)) der Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern der Sequenz dargestellt wird, auf eine am wenigsten fehlerhafte Endabschätzung (d(t,k)) der Verschiebung zu reduzieren, wobei die Endabschätzung der Verschiebung in dem Speicher gespeichert wird, und gekennzeichnet ist durch
eine Einrichtung zum Bestimmen von Positionsinformation, die den Ort eines Ziels in dem Einzelbild anzeigt, aus dem Unterschied zwischen einem bestimmten Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern und dem anderen (I warp (t-1)) der Einzelbilder, die in Schritt (a) von dem Bildscherer hiermit in Ausrichtung geschert wurden,
eine Einrichtung zum Umwandeln der Endabschätzung der Verschiebung (d(t,k)), die in dem Speicher gespeichert ist, und der Positionsinformation in Ausgangstransformationsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, welches die Endabschätzungen und die Positionsinformation, die aus der Sequenz von Einzelbildern abgeleitet wurde, auf gewünschte Positionen in der Sequenz abbildet, und
wobei die Vorrichtung die Bildschereinrichtung anwendet, um ein bestimmtes Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern in Übereinstimmung mit den Ausgangstransformationsparametern (p(t)) zu scheren, um das bestimmte Einzelbild zu stabilisieren.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Gleiche Elemente in den Figuren haben in jeder der Figuren dieselbe numerische Bezeichnung.
1 ist ein schematisches Diagramm einer mechanisch stabilisierten Plattform aus dem Stand der Technik,
2 ist ein schematisches Diagramm eines elektronisch stabilisierten Systems mit Sensoren für die Bewegung des Abbilders aus dem Stand der Technik,
3 ist ein schematisches Diagramm eines elektronischen Stabilisierungssystems mit Digitalverarbeitung des Standes der Technik,
4 ist ein schematisches Diagramm eines Systems aus dem Stand der Technik für die elektronische Zielverfolgung,
5 ist ein schematisches Diagramm eines Systems aus dem Stand der Technik für die elektronische Zielverfolgung über Veränderungsdetektion,
6 ist ein schematisches Diagramm eines elektronischen Stabilisierungssystems der Erfindung,
7 ist ein schematisches Diagramm eines anderen elektronischen Stabilisierungssystems der Erfindung,
8 ist ein schematisches Diagramm eines Systems für die adaptive Einzelbild-zu-Einzelbild-Bewegungsverarbeitung,
9 ist ein schematisches Diagramm eines anderen Stabilisierungssystems, das ein getrenntes Referenzmuster R verwendet,
10 ist ein schematisches Diagramm eines anderen Stabilisierungssystems, das zwei Bildabfolgen verwendet,
11 ist ein schematisches Diagramm eines Systems für die Lokalisierung eines Zieles,
12 und 13 stellen Verfahren zum Ermitteln der Transformationsparameter dar,
14 stellt ein Verfahren zum Bilden der Gauß- und Laplace-Pyramide dar,
15 ist ein schematisches Diagramm eines PYR-1-Schaltkreises und
16 ist ein schematisches Diagramm einer alternativen Ausführungsform des elektronischen Stabilisierungssystems von 6.
AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung ist ein System und ein Verfahren zur elektronischen Stabilisierung eines Bildes, das von einer elektronischen Abbildungsvorrichtung erzeugt wurde. Der Eingang kann jede Abfolge von Einzelbildrahmen Iin(t) von einer Bildquelle, wie z.B. einer Videokamera, einen IR- oder Röntgenabbilder, Radar oder von einem Speichermedium, wie z.B. einem Computerplattenspeicher, Videoband oder einem Computergrafikerzeuger, sein. Die Erfindung kann ebenso mit Bildern von verschiedenen Quellen verwendet werden, wenn diese in Bezug aufeinander stabilisiert werden müssen, wobei ein Bild stabilisiert wird und das andere Bild die Referenz liefert. Die Erfindung verwendet als Teil des Verschiebungsschätzungsverfahrens eine Rückkopplungsschleife und eine zweite Bildscherstufe, um eine präzise Bildausrichtung zu erzielen. Der Ausgang des Stabilisierungssystems ist eine modifizierte Bildabfolge I_out(t), in der unerwünschte Komponenten der Bildbewegung reduziert oder entfernt wurden oder in der neue Bewegung in einer gewünschten Form eingefügt wurde. Der Ausgang kann ebenso Informationen enthalten, die von der Eingangssequenz abgeleitet wurden, wie beispielsweise ein geschätzter Bild-zu-Bild-Verschiebungsvektor oder Bewegungsflußfelder und abgeleitete Bildabfolgen mit reduziertem Rauschen oder hervorgehobener Veränderung.
In 6 weist ein elektronisches Stabilisierungssystem 100 der Erfindung einen Abbilder 10 mit einem Ausgang I_in(t), einen Bildspeicher 32 zum Speichern des Bildes I_in(t), und einen zweiten Bildspeicher 36 zum Speichern eines vorherigen Bildes I_in(t-1) auf. Der Inhalt I_in(t-1) im Bildspeicher 36 ist im vorherigen Bildscherer 102 unter Verwendung einer ersten Abschätzung d(t,0) der Verschiebung geschert worden, die von einer Rückkopplungsschleife 104 zur Verfügung gestellt wurde, die in der gestrichelten Box dargestellt ist, um ein geschertes vorheriges I_in(t-1, k-1) zur Verfügung zu stellen. Das gescherte frühere Bild I_in(t-1, k-1) wird in der Einrichtung 106 für das Schätzen von Verschiebungen mit dem ursprünglichen Bild I_in(t) verglichen, um eine Abschätzung der Restverschiebung Δ(t,k) zu erhalten, was eine Eingangsgröße für die Rückkopplungsschleife 104 von dem Verschiebungsschätzer 106 liefert. Die Restverschiebung Δ(t,k) wird dann zu der ursprüng lichen Schätzung der Verschiebung in dem Addierer 108 addiert und in dem Speicher 110 gehalten, um eine verbesserte Abschätzung der Verschiebung d(t,k) = d(t,k-1) + Δ(t,k) zu erzeugen. Diese Schritte werden K-mal wiederholt, bis die Restverschiebung geringer als ein gegebener Wert ist oder alternativ dazu eine feste Anzahl von Wiederholungsschritten, die von einem Bediener oder einer anderen Vorrichtung ausgewählt werden, erreicht ist, wodurch eine Endabschätzung der Verschiebung gebildet wird. Der Anschluß 112 ist mit einer Einrichtung 114 für das Konvertieren der Endabschätzung der Verschiebung d(t,k) in Ausgangstransformationsparametern p(t) verbunden. Diese beinhaltet jede Bildveränderung, die modelliert werden kann, einschließlich Zoom, die meisten Parallaxen, Translation, Rotation, Dilatation und Linsenverzerrung. Der Ausgang der Vorrichtung 114 ist mit dem vorliegenden Bildscherer 116 verbunden. Der vorliegende Bildscherer 116 schert das vorliegende I_in(t), um I_out(t) an Anschluß 118 zu bilden. Die verbesserte Abschätzung der Verschiebung d(t,K) nach K Iterationen in der Rückkopplungsschleife 104 ist ebenso an dem Ausgangsanschluß 120 verfügbar. Die Abschätzungen der Bild-zu-Referenz/Bildverschiebung können auf Verschiebungsmessungen basieren, die nur auf Teilen des Bildgebietes, z.B. denjenigen Gebieten, die Zielmuster enthalten, berechnet wurden.
In dem Verfahren der Erfindung startet die Iteration k mit einer ersten Abschätzung d(t,k-1) der Verschiebung von I_in(t-1) nach I_in(t). Das Bild I_in(t-1) wird um d(t,k-1) geschert, um das gescherte Bild I_warp(t-1,k-1) zu bilden. Das Verschiebungsabschätzverfahren wird auf das aktuelle I_in(t) und das gescherte Bild I_warp(t-1,k-1) angewandt, um eine Abschätzung der Restverschiebung Dd(t,K) zu erhalten. Die Restverschiebung Δd(t,k) wird dann zu der ursprünglichen Abschätzung der Verschiebung addiert, um eine verbesserte Abschätzung der Verschiebung d(t,k) = d(t,k-1) + Δd(t,k) zu erhalten. Der Bildscherschritt wird dann wiederholt, um I_warp(t-1,k) zu bilden, welches besser mit I_in(t) ausgerichtet ist. Diese Schritte werden K-mal wiederholt, um eine Endabschätzung d(t,K) der Verschiebung von Bild I_in(t-1) nach Bild I_in(t) zu erhalten. Die erste Abschätzung d(t,0), die in dem ersten Iterationsschritt dieses Verfahrens verwendet wird, kann auf der Endabschätzung basieren, die zu einer vorherigen Bildzeit erhalten wurde, z.B. d(t,0) = d(t-1,K). Der Zyklus zur Zeit t wird dann durch Übertragen einer Kopie von I_in(t) von dem Bildspeicher 32 zu dem Bildspeicher 36 vollendet.
In dieser Ausführungsform wird das vorherige oder Referenzbild I_in(t-1) in Deckung mit dem gegenwärtigen Bild I_in(t) geschert, um die Verschiebungsinformation zur Verfügung zu stellen. Alternativ dazu kann eine Referenz von derselben oder einer anderen Quelle verwendet werden, um die Verschiebungsinformation zur Verfügung zu stellen, um das gegenwärtige Bild in Deckung zu scheren. Typischerweise wird die ursprüngliche Schätzung der Verschiebung d(t,0), die zur Zeit t verwendet wird, mit der Endabschätzung d(t-1,K) zur Zeit t-1 gleichgesetzt. Wenn die Beschleunigung von Bild zu Bild klein ist, kann es ausreichend sein, nur eine Iteration des Schätzverfahrens pro Bildzeit K=1 durchzuführen, um aufeinanderfolgende Verbesserung zu erzielen.
Während die vorgeschlagene Stabilisierungsmethode zwei verschiedene Scherschritte verwendet, können diese in der Praxis oft von derselben Scherhardwarevorrichtung durch Multiplexen der Schereingänge und -ausgänge durchgeführt werden. Beispielsweise sind der Ausgang vom Bildspeicher 36 und die Schleife 104 Eingänge und der Scherausgang zu dem Schätzer 106 ist ein Ausgang. Alternative Eingänge sind das gegenwärtige Bild und die Transformationsparameter und der Scherausgang ist dann das Ausgangsbild.
Die Bilder I_in(t) und I_warp(t-1,k-1) können vor der Verschiebungsschätzung gefiltert sein oder auf andere Weise verarbeitet wie in 7 gezeigt. In einer bevorzugten Implementierung wird eine Laplace-Pyramide für das gegenwärtige Eingangsbild I_in(t) in dem Pyramidenprozessor 130 konstruiert und im Speicher 132 abgelegt. Die Laplace-Pyramide für I_warp(t-1,k-1) wird nach dem Scherschritt in jeder Iteration k in dem Pyramidenprozessor 134 neu gebildet. Aufeinanderfolgende Verbesserungsschritte des Schätzverfahrens können dann als Basis zur Schätzung der Restverschiebung in Pyramidenniveaus mit fortschreitend höherer Auflösung dienen.
In 8 beinhaltet ein System 150 zur bewegungsangepaßten Bild-zu-Bild-Verarbeitung als Teil eines Bildstabilisierungssystems der Erfindung eine Vorrichtung 152 zur Pixel um Pixel (zeitlicher Tiefpaß) Summierung des gegenwärtigen Bildes I_in(t) und des gescherten Bildes I_warp(t-1,k-1), um ein zusammengesetztes A(t) = Iin(t) + Iwarp(t-1,k-1)mit reduziertem Bildrauschen zu erhalten. Das System 150 beinhaltet ebenso eine Einrichtung 154 für das Pixel-um-Pixel-Subtrahieren (zeitlicher Hochpaß) des gegenwärtigen und des gescherten Bildes, um ein Differenzbild B(t) = Iin(t) – Iwarp(t-1,k-1)zu bilden, das die Veränderung oder Bewegung in der Szene zeigt (Detektion eines sich bewegenden Zieles).
Das Summenbild und das Differenzbild können zusätzlich oder anstelle des stabilisierten Ausgangs I_out(t) als Ausgänge des Stabilisierungssystems zur Verfügung gestellt werden. Die abgeleiteten Bildabfolgen können durch Scheren in der gleichen Weise stabilisiert werden wie ein Bild unter Bezug auf 6 stabilisiert wird.
Es können mehr als zwei Bilder entweder zur Rauschunterdrückung (zeitlicher Tiefpaßfilter) oder zur Veränderungserfassung (zeitlicher Hochpaß) zueinander ausgerichtet werden. Als Optionen können die rauschreduzierten Bilder weiter verbessert werden, z.B. durch Schärfen oder Rauschentkernung (noise coring), oder die Veränderungsbilder können weiter verarbeitet werden, z.B. um ein Veränderungsenergiebild (oder eine Pyramide) zu bilden. Es soll erwähnt werden, daß Verfahren zur Bildausrichtung und zeitweisen Filterung bekannt sind. Die Erfindung ist daher als ein Schritt in der Bildstabilisierung ebenso das Einbinden der Bild-zu-Bild-Verarbeitung von Bildern, die ausgerichtet sind. Insbesondere die Erzeugung von rauschreduzierten oder veränderungsverstärkten Bildabfolgen durch zeitliches Tief- bzw. Hochpaßfiltern der zueinander ausgerichteten Eingangsbilder und die Stabilisierung dieser abgeleiteten Abfolgen vor der Ausgabe aus dem System.
9 zeigt ein System 160 für die Ausrichtung jedes Bildes der Quellabfolge mit einem getrennten Referenzmuster R anstatt mit dem vorherigen Bild. Das Referenzmuster kann von verschiedenen Quellen erhalten werden. Das Referenzmuster R wird typischerweise durch den Selektor 162 unter der Steuerung eines Benutzers von einem früheren Bild der Videoquelle ausgewählt, oder es kann einfach ein vorheriges Bild oder Teil eines vorherigen Bildes in der Videoquelle sein (z.B. jedes n-te Bild kann als Referenz ausgewählt und verwendet werden, um die folgenden n-1 Bilder auszurichten) oder es kann aus einem Satz von gespeicherten Zielmustern ausgewählt werden. Das Muster R, das in dem Bildspeicher 36 abgelegt ist, wird in dem Scherer 102 geschert, wodurch ein Ausgang R_warp(k-1) in Antwort auf eine Schätzung der Verschiebung des Musters R zwischen der Referenz und dem gegenwärtigen Bild I_in(t) erfolgt. Der Ausgang des Systems ist das gegenwärtige Bild I_in(t), welches geschert ist, um die Region, die von dem stationären Referenzmuster angepaßt ist, zu halten, oder dafür zu sorgen, daß die Region entlang eines willkürlichen gewünschten Pfades bewegt wird. Als Alternative dazu kann das System anstelle des Suchens nach einem einzelnen Zielmuster nach einem Satz von Komponentenmustern, z.B. unter Verwendung einer hierarchisch strukturierten Suche, suchen.
In 10 erfordert ein System 180 für die Stabilisierung von Bildern von unterschiedlichen Quellen, z.B. IR und sichtbare Abbilder, durch Eintragen eines speziellen Bildes I_in(t) von einer Bildquelle 182, das in dem Abbilder 10 erzeugt wurde und in dem Bildspeicher 32 abgelegt wurde, in eine zweite Bildabfolge I_2n(t) spezielle Verschiebungsabschätzverfahren. Die zweite Bildabfolge I_2n(t) wird in dem Bildspeicher 184 abgelegt. Die Bilder einer Quelle werden mit den Bildern der anderen Quelle ausgerichtet, das heißt die Bilder einer Quelle dienen als Referenzmuster, die verwendet werden, um die Bilder der anderen Quelle zu stabilisieren. Das gescherte Bild I_warp(t,k-1) wird mit dem Bild I_in(t) in der Vorrichtung 106 verglichen, um die Differenzen abzuschätzen, um die gegenwärtige Differenz d(t,k) zu bestimmen, die dann zu der vorherigen Abschätzung d(t,k-1) addiert wird, um die neue Abschätzung dem Scherer 102 zur Verfügung zu stellen. Die Endabschätzung der Differenzen wird von der Vorrichtung 114 verwendet, um die Transformationsparameter zu erzeugen, die notwendige Information zu dem Scherer 116 zu liefern, I_in(t) zu stabilisieren und das Bild I_out(t) an Anschluß 118 zu produzieren. Das Bild I_2n(t) ist ebenso als ein Systemausgang an Anschluß 186 erhältlich.
Verschiedene Verfahren können verwendet werden, um den Ort von Zielobjekten innerhalb des Sichtfeldes des Abbilders zu detektieren. Diese beinhalten Korrelationsanpassung (das heißt Eintragung in ein Referenzmuster), die Erfassung einer Aktivitätsregion in dem Bewegungsflußfeld und die Erfassung einer Aktivitätsregion in dem Bild der zeitlichen Veränderung. Systeme des gegenwärtigen Standes der Technik verwenden die elektronische Zielerfassung, um den Abbilder zu steuern. Diese basieren auf Korrelationsmusteranpassung oder Bild-zu-Bild-Veränderung, verwenden jedoch nicht den Bildbewegungsfluß oder die Bild-zu-Bild-Veränderung nach der elektronischen Ausrichtung. Im Ergebnis können solche Systeme die Bild-zu-Bild-Veränderung nur verwenden, um ein sich bewegendes Ziel zu erfassen, wenn der Abbilder den Hintergrund verfolgt und das Hintergrundbild im wesentlichen stationär ist.
In dem Verfahren der Erfindung wird der Hintergrund elektronisch ausgerichtet, dann wird das Ziel detektiert, dann leitet der Zielort den Abbilder und/oder den elektronischen Stabilisierungsprozeß, um das Ziel zu verfolgen und zu stabilisieren, und nicht den Hintergrund in der Ausgangsbildabfolge. Die Erfindung verwendet abgeleitete Veränderungs- oder Bewegungsinformationen, um Ziele zu erfassen, die sich relativ zu dem Hintergrund bewegen, und um sowohl die Zielbewegung als auch die Hintergrundbewegung abzuschätzen, und verwendet elektronisch erfaßte Zielorte und Hintergrundbewegungsinformation, um sowohl die Steuerung des Abbilders und die Ausgangsbildabfolgestabilisierung zu steuern.
In 11 beinhaltet ein System 200 eine Hochpaßfiltereinrichtung 202, die die Differenz I_in(t) – I_warp(t-1) bildet und eine Einrichtung 204 zur Bestimmung des Zielortes, das heißt jedes sich schnell verändernden Objekt in den Bildern. Der Ausgang der Vorrichtung 204 liefert Positionsinformationen, die zu der Einrichtung 114 und einer zweiten Einrichtung 206 geliefert werden, um die Transformationsparameter zu erzeugen. Der Ausgang der Vorrichtung 206 wird verwendet, um die Abbilderplattform 208 zu steuern um den Abbilder zu steuern, das heißt um das Ziel zu verfolgen oder elektronisch zu zentrieren oder das Ziel elektronisch zu stabilisieren oder zu zentrieren. Der Eingang zu der Vorrichtung 106 liefert eine Offsetbewegung zu dem Bild, die verwendet werden kann, um beispielsweise ein sich schnell bewegendes Objekt in dem Ausgangsbild zu zentrieren. Allgemeiner kann die Ziellokalisierungsinformation sowohl für die Steuerung des Abbilders als auch für die elektronische Kompensierung der Restbewegung verwendet werden. In diesem Fall basieren die Scherparameter sowohl auf der Bild-zu-Bild-Verschiebung d(t,k) als auch auf den Ziellokalisierungsparametern x(t). Die Kombination der Filtereinrichtung 202 und der Lokalisatoreinrichtung 204 kann ebenso gefilterte Differenzen von anderen Bildpaaren aufnehmen, die örtlich und zeitlich ausgerichtet sind, um die Zielerfassung zu verbessern und das Rauschen zu reduzieren.
Die Wirkungsweise eines Bildstabilisierungssystems ist es, die Bewegung der Eingabeabfolge zu bestimmen und die beobachtete Bewegung durch eine gewünschte Bewegung in der Ausgangssequenz zu ersetzen. Es gibt verschiedene Transformationen, die in der Vorrichtung 114 verwendet werden können, um die beobachteten Verschiebungen d(t) in die erforderlichen Scherparameter p(t) zu konvertieren. Wir beschreiben hier drei solcher Verfahren. In 12 sei x_in(t) der Ort des t-ten Eingangsbildes. Dies ist im allgemeinen eine Vektorgröße, die x, y, θ Skala (oder höhere Ordnungsparameter in dem Fall der modellbasierten Stabilisierung, die im Nachhinein beschrieben wird) beinhaltet. Sei Δx_in(t) = d(t,k) die beobachtete Bild-zu-Bild-Verschiebung. Sei x_desired(t) der Ort des t-ten Bildes auf einem gewünschten Ausgangspfad P. Die Vorrichtung 114 bestimmt die Verschiebung Δx_shift(t), die nötig ist, um Bilder von den beobachteten Eingangsorten zu den gewünschten Ausgangsorten zu verschieben. Das Transformationsmodul bestimmt basierend auf beobachteten Eingangsverschiebungen ebenso den gewünschten Pfad P. Das Folgende sind Verfahren zum Erhalten von P(x_desired) aus den beobachteten Δx_in.
In einem "low pass" (Tiefpaß) Verfahren zur Transformation von Verschiebungsabschätzungen wird die Ausgangsabfolge der Positionen durch einfaches Glätten der Eingangspositionsabfolge erhalten: Δxshift(t) – Δxin(t) – w·Δxin(t).
w ist hier typischerweise ein IIR Tiefpaßfilter. Verschiedene Filter können angelegt werden, um unterschiedliche Bewegungsparameter zu erhalten. Beispielsweise kann die Rotation θ stark geglättet werden, während die Bewegung (x, y) nur moderat geglättet wird und die Skalierung überhaupt nicht geglättet wird. In der Praxis können nicht lineare Tiefpaßfilter verwendet werden. Es kann beispielsweise eine Grenze gesetzt werden, wie groß die Verschiebung x_shift(t) werden darf. Die Erfindung umfaßt ebenso die Bewegungsabschwächung durch Anlegen eines Tiefpaßfilters an die Abfolge von Eingangspositionen, um die gewünschten Ausgangspositionen zu bestimmen.
In einem stückweise kontinuierlichen Verfahren zur Transformation von Verschiebungsabschätzungen wie in 13 gezeigt, wird der Ausgangspfad als eine Abfolge von verbundenen linearen (oder anderen geglätteten) Segmenten definiert. Diese Segmente werden ausgewählt, um dem erwarteten Trend der Eingangsbildpositionen zu folgen. Alle Ausgangsbilder können zu einem Liniensegment A verschoben werden, bis die Zeit t₁ erreicht ist, an dem diese Verschiebung einen vorher definierten Grenzwert überschreitet. Dann wird ein neues Segment initiiert, das dazu tendiert, die Ausgangsbilder zurück in das Zentrum des Ausgangsdisplays zu bringen. Eine Abschätzung der Geschwindigkeit zur Zeit t₁ basiert beispielsweise auf einem Durchschnitt der beobachteten Eingangsverschiebungen für eine Zeitperiode, die dem Zeitpunkt t₁ vorhergeht. Alternativ dazu kann der gewünschte Pfad extern spezifiziert werden. Diese Geschwindigkeit und die Position des Bildes I_in(t-1) definieren einen Pfad B, der die Positionen von nachfolgenden Eingangsbildern vorhersagt. Der Ausgangspfad P wird dann konstruiert, daß er einem Übergangssegment C folgt, das dem Ende des Segmentes A zur Zeit t₁-1 zu dem Segment B zur Zeit t₂ folgt. P folgt dann B bis zu der Zeit, bis die erforderliche Verschiebung wieder das vorher bestimmte Limit überschreitet. Dieses Verfahren entfernt hohe zeitliche Frequenzbewegungen der Eingangssequenz, während der Ausgang den Trends in der Eingangsbewegung folgen kann, die sich abrupt in der Richtung ändern können.
Wenn ein Zielverfolgungsverfahren in Kombination mit einem Bildausrichtverfahren verwendet wird, wie in 11 gezeigt, kann die detektierte Zielposition verwendet werden, um den Ausgangspfad P zu bestimmen, während der Bildausrichtprozeß verwendet wird, die Bilder zu diesem Pfad zu verschieben. Der Zwei-Prozeß-Ansatz kann notwendig sein, wenn die Ziele klein sind oder sich ziemlich sprunghaft in der Szene bewegen. Die stückweise geglättete Bildstabilisierung stellt sicher, daß unerwünschte Hochfrequenzbewegung der Hintergrundszene in dem Ausgang entfernt wird. Zielverfolgung wird verwendet, um einen Pfad zu definieren, der das Ziel im wesentlichen zentriert innerhalb der Ausgangsanzeige hält.
Das Zielmuster kann ein Stück bzw. Teil der Hintergrundszene sein, die von dem Benutzer ausgewählt wurde, oder ein sich bewegendes Objekt in der Szene sein, das von dem Benutzer ausgewählt wurde oder von dem Bewegungserfassungsmodul erfaßt wurde. In dem Fall eines Musters, das von dem Beobachter ausgewählt wurde, speichert das System ein Muster als eine in der nachfolgenden Zielverfolgung zu verwendende Referenz. Diese Referenz kann in regelmäßigen Intervallen, z.B. jedes n-te Bild, automatisch aktualisiert werden. Ist einmal der Ort, der eine beste Anpassung zu dem Referenzmuster liefert, in der Szene gefunden, wird das Muster an diesem Ort als Ersatz für die Referenz abgelegt. Auf diese Art und Weise kann das System sich an graduelle Veränderungen in dem Zielmuster anpassen. Wenn der erfaßte Ort des Zielmusters direkt verwendet werden würde, um die Ausgangssequenz zu stabilisieren, würde ein kleiner Sprung (eine Diskontinuität in dem Ausgangspfad B) jedesmal dann auftreten, wenn das Referenzmuster aktualisiert wird. Dieser Sprung wird durch die Verwendung von beobachteten Zielmusterpositionen verhindert, um Segmente in dem Pfad P zu definieren, während der präzise Hintergrundausrichtungsprozeß die Verschiebungen x(t) und p(t) in 11 definiert. Die Erfindung betrifft ebenso die Verwendung von getrennten Hintergrund- und Zielverfolgungsverfahren in der Stabilisierung. Der Hintergrundprozeß liefert eine stückweise geglättete Stabilisierung, während der Zielverfolgungsprozeß Segmente des Ausgangsbewegungspfades bestimmt, um das Zielmuster gleichmäßig zu einer gewünschten Position in der Ausgangsanzeige zu bewegen.
Existierende mechanische Stabilisierungsvorrichtungen stabilisieren zwei oder drei Achsen der Abbilderdrehung. Existierende elektronische Vorrichtungen kompensieren Bildverschiebungen in dem Sichtfeld des Abbilders. Ein wichtiger Vorteil des elektronischen Ansatzes, der hier vorgeschlagen wird, ist der, daß er verwendet werden kann, um Bewegungskomponenten zu kompensieren, die nicht über Abbildersteuerung kompensiert werden können. Beispielsweise kann das elektronische Scheren Linsenverzerrungen kompensieren, wenn Muster über das Sichtfeld des Abbilders laufen. Noch wichtiger, die elektronische Stabilisierung kann verwendet werden, um Parallaxenbewegung zu kompensieren, wenn sich der Abbilder relativ zu einer Oberfläche in der Szene bewegt. Die Stabilisierung basiert auf einem mathematischen Modell dieser Bewegung und Parametern, die durch das präzise Ausrichtverfahren, das oben ausgeführt wurde, abgeschätzt wurden. Beispielsweise kann eine quadratische Scherung die Bewegung einer ebenen Oberfläche kompensieren, die relativ zu der Blickrichtung des Abbilders verkippt sein kann.
Elektronische Stabilisierung kann verwendet werden, um die Bewegung von Oberflächen, die in der Szene existieren (z.B. eine Straßenfläche vor einem autonomen Fahrzeug) oder von Flächen, die relativ zu dem Abbilder definiert sind (z.B. eine vertikale Fläche mit einem vorbestimmten Abstand von einem sich bewegenden Fahrzeug), zu kompensieren. Das erste Verfahren liefert eine Einrichtung zum Abschätzen der Bewegungen und der Abstände zu Oberflächen in der Szene wie auch zum Stabilisieren dieser Oberflächen, während das letztere Verfahren eine Vorrichtung zum Detektieren von Objekten liefert, wenn diese eine "unsichtbare Barriere" bei einem vorbestimmten Abstand von dem Abbilder passieren (die Detektion kann auf einem Restbewegungsmodell basieren, welches auf der Stabilisierung einer Fläche vor einem sich bewegenden Fahrzeug basiert, gefolgt von einem zeitlichen Tiefpaßfilter, was zu einer Bewegungsunschärfe für alle Objekte in der Szene führt, die nicht in der Nähe dieser Oberfläche sind. Objekte erscheinen schart, wenn sie die "unsichtbare Barriere" passieren).
Modellbasierte Stabilisierung kann verwendet werden, um eine Fläche in der Szene zu stabilisieren, wie z.B. die Straße selbst. In diesem Fall muß die Bewegung der Fläche relativ zu dem Abbilder bestimmt werden. Dies kann unter Verwendung von bekannten modellbasierten Verschiebungsabschätzverfahren erfolgen. Diese Techniken wurden in der Vergangenheit als ein Mittel zum Bestimmen der Flächenform und des Abstandes vorgeschlagen. Wir schlagen hier die Verwendung dieser Techniken für die Stabilisierung von Bildsequenzen vor.
Die abbildende Vorrichtung 10 kann eine Struktur für den Empfang von von Objekten reflektierter Strahlung innerhalb eines Sichtfeldes, das von einem externen Strahler beleuchtet wird, aufweisen. Alternativ dazu kann die abbildende Vorrichtung 10 einen inneren Aufbau aufweisen, der eine Vorrichtung zum Beleuchten von Objekten innerhalb seines Sichtfeldes mit Strahlung und eine Vorrichtung zum Empfang der reflektierten Echos von diesen Objekten beinhaltet (diese Echos können ebenso Informationen über den Objektabstand liefern). Die abbildende Vorrichtung 10 kann des weiteren auf Strahlung jedes gegebenen Wellenlängenabschnitts des elektromagnetischen, Ultraschall- und/oder jedes anderen Typs von Wellenenergiespektren reagieren. Ein Analog-Digital- (A/D-Wandler konvertiert die Bilddaten in jedem der aufeinanderfolgenden Bilder in eine digitale Form für die Verarbeitung durch einen digitalen Prozessor.
Die Bildscherer 102 und 116 werden vorzugsweise aus einem TMC2302 Bildmanipulationszuordner und einem TMC2246 Bildfilter, der von TRW, Inc. hergestellt wird, gebildet. Der Bildmanipulationszuordner wird verwendet, um eine Adresse in der Bildquelle zu erzeugen, was eine Adresse in dem Ausgangsbild ergibt. Der Bildfilter interpoliert die Ausgangspixelwerte vorgegebener Eingangspixel in der Nachbarschaft der spezifizierten Eingangsbildadresse. Das Eingangsbild wird im Standardspeicher abgelegt, der segmentiert wurde, um das gleichzeitige Lesen aller benachbarten Pixel, die von dem Interpolierer benötigt werden, zu erlauben.
Die Transformationseinheit konvertiert die beobachteten Bildverschiebungen und extern spezifizierte Steuerinformationen. Das Transformationsmodul kann eine Allzweckrechenvorrichtung sein, wie z.B. der digitale signalverarbeitende Chip TMS320C30 mit etwas Speicher, der von Texas Instruments, Inc., Dallas, Texas, hergestellt wird. Das Transformationsmodul kann verschiedene unterschiedliche Stabilisierungssteuermoden beinhalten, die jeweils durch im Speicher abgelegten Computercode spezifiziert sind. Diese können beispielsweise gedämpfte Bewegungsstabilisierung, stückweise lineare Stabilisierung und Stabilisierung kombiniert mit Zielzentrierung beinhalten. Der Modus, der zu einem Zeitpunkt verwendet wird, wird normalerweise durch einen externen Eingang zu dem System spezifiziert. Andere Eingänge zu dem Transformationsmodul beinhalten Bild-zu-Bild-Verschiebungen, die von dem Verschiebungsschätzer berechnet wurden, und Zielorte, die von dem Lokalisiermodul berechnet wurden. Zu jeder Bildrahmenzeit bestimmt das Transformationsmodul zunächst den gewünschten Ausgangsbewegungspfad, danach die gewünschte Verschiebung, um ein Eingangsbild zu diesem Pfad zu verschieben. Die Verschiebeparameter werden als Ausgang des Systems zu dem Scherer geliefert. Eingänge beinhalten Bild-zu-Bild-Verschiebungsinformationen von dem Verschiebungsschätzer und externe Moden oder andere Steuerspezifikationen.
Für ihre Lehren der Bildzerlegungstechniken haben Burt in "Multiresolution Image Processing And Analysis", Band 16, Seiten 20-51, 881 und Anderson et al. in US-Patent Nr. 4,692,806, das durch Bezugnahme hierin aufgenommen ist, eine Bildanalyse durch Zerlegung eines Bildes, wo ein vergleichsweise Hochauflösungsbild eine erste Anzahl von Pixeln hat, durchgeführt wird, um ein Bild niedriger Auflösung eines breiten Sichtfeldes, mit einer zweiten Anzahl von Pixeln, die kleiner als die erste Anzahl von Pixeln ist, abzuleiten, offenbart.
Die Laplace-Transformation wird verwendet, um jedes Quellbild in regelmäßige Anordnungen von Gauß-artigen Basisfunktionen vielerlei Größen zu zerlegen, welche manchmal als Basisfunktionen der Pyramidentransformation oder als Wavelet-Funktionen bezeichnet werden. Eine Viel fachauflösungspyramide für ein Bild erlaubt grobe Merkmale bei niedriger Auflösung zu analysieren und feine Merkmale bei hoher Auflösung zu analysieren. Jeder abgefragte Wert einer Pyramide stellt die Amplitude, die mit einer entsprechenden Basisfunktion verbunden ist, dar. In 14 ist ein Flußdiagramm für die Erzeugung der Gauß'schen und Laplace'schen Pyramiden eines Quellbildes gezeigt. Die Gauß'sche G(0) ist das Quellbild, welches dann durch F1, einen Tiefpaßfilter mit einem Gauß'schen roll-off gefiltert wird und unterabgefragt wird durch F2, um abwechselnd Pixel in jeder Spalte und abwechselnden Spalten zu entfernen, um die Gauß-transformierte G(1) des ersten Niveaus zu bilden. Die Gauß-transformierten G(n) der niedrigen Niveaus werden nacheinander in der gleichen Art und Weise gebildet. Die Laplace-transformierte L(n), die der Gauß-transformierten an jedem Niveau der Pyramide entspricht, wird durch Rekonstruieren der unterabgefragten Daten zu dem nächstunteren Niveau der Gauß'schen Pyramide (durch Einfügen von Nullwert-Abfragen zwischen die gegebenen Abfragen F2' und anschließendes Anlegen eines Interpolationsfilters F1) und Subtrahieren von der Gauß'schen Pyramide des gegebenen Niveaus gebildet. Die Laplace-Transformierte, die in dieser Art und Weise gebildet wurde, ist als die Reduce-Expand (RE) Laplace-Transformierte bekannt. Alternativ dazu kann die Laplace-Transformierte ohne Unterabfragung und Reinterpolation gebildet werden, wie durch die gestrichelte Linie dargestellt ist. Diese wird filter-subtract-decimate (FSD) Laplace-Transformierte genannt.
Das Verfahren zum Zerlegen des Bildes, um Bilder niedriger Auflösung zu erzeugen, wird typischerweise unter Verwendung einer Mehrzahl von Tiefpaßfiltern unterschiedlicher Bandbreite mit einem Gauß'schen roll-off durchgeführt und kann effizient implementiert werden unter Verwendung des PYR-Schaltkreises, der in der US-Patentanmeldung Nr. 07/805 149, die durch Bezugnahme hierin aufgenommen ist, und in "Workshop for Machine Vision", Paris, Dezember, 891 und im allgemeinen im US-Patent Nr. 4,703,514 beschrieben wurde und von Sensar, Inc., PO Box, Princeton, NJ 08540 vertrieben wird. Der PYR-1-Pyramidenschaltkreis nimmt bis zu drei digitalisierte Eingangssignale auf und liefert bis zu zwei Ausgangssignale. Die Eingangs- und Ausgangsdatenkanäle beinhalten Taktsignale, die die befehlsverknüpfte (pipelined) Verarbeitung steuern. Diese Taktsignale werden automatisch auf die Verarbeitungsverzögerungen des Schaltkreises eingestellt, was eine automatische Verzögerungssteuerung in befehlsverknüpften Systemen erlaubt. Die effektiven Längen der horizontalen Verzögerungszeilen, die verwendet werden, um einen zweidimensionalen Filter zu implementieren, werden durch die Taktsignale gesteuert und müssen daher nicht programmiert werden. Dieser Schaltkreis nimmt Signale auf und verarbeitet sie mit kontinuierlich variablen horizontalen und vertikalen Auslaßzeiten. Für ein Bild von einer Videokamera liefern die horizontalen und vertikalen Synchronisierungssignale, die Taktsignale zur Verfügung stellen. Diese Signale werden digitalisiert und dann mit dem digitalen Datensignal kombiniert, um das Eingangssignal zu produzieren. Alternativ dazu kann das digitale Datensignal von einem Bildspeicher erzeugt werden, wobei in diesem Fall das Taktsignal von dem Bildspeicher oder einer Hilfsvorrichtung addiert wird. Der Schaltkreis hat zwei parallele Pfade, die verwendet werden können, um gleichzeitig ein Gaußtiefpaßgefiltertes Bild und eine Laplace-Funktion (die Differenz des Eingangsbildes und des Gauß- Bildes) des Eingangsbildes zu berechnen. Die zwei parallelen Pfade werden ebenso zur Berechnung der inversen Pyramidentransformationen verwendet.
In 15 kann ein exemplarischer PYR-1-Schaltkreis bis zu drei Eingangssignale IN1, IN2 und IN3 aufnehmen und liefert bis zu zwei Ausgangssignale OUT1 und OUT2. Jedes dieser Signale ist ein digitales Vielfachbit-Signal, das zumindest acht Datenbits und zwei Taktbits enthält. Die zwei Taktbits übermitteln jeweils Taktsignale. Ein Signal HA ist in einem logischen "High"-Zustand, wenn die Daten in einer Zeile gültig sind (das heißt während des aktiven Bildintervalls) und in einem logischen "Low"-Zustand anderenfalls (das heißt während des horizontalen Auslaßintervalls). Das andere Signal VA ist in einem logischen "High"-Zustand, wenn die Daten in einem Feld gültig sind und in einem logischen "Low"-Zustand anderenfalls (das heißt während des vertikalen Auslaßintervalls).
Der Schaltkreis beinhaltet fünf Hauptelemente: eine Eingangsrecheneinheit (ALU) 1104, einen Filter 1110 (gezeigt innerhalb der gestrichelten Linie in 1), einen Multiplexer 1120, einen Abschneideprozessor 1122 und eine Ausgangs-ALU 1124. Die Signale IN1 und IN2, die gleichmäßig durch ein Eingangsverzögerungselement 102 verzögert sind, werden durch die ALU 1104 kombiniert, um ein Signal IN für die Anwendung auf den Filter 1110 zu erzeugen. Dieses Signal kann eines der Signale IN1 oder IN2 oder es kann ihre Summe (IN1+IN2) oder ihre Differenz (IN1-IN2) sein.
Der Filter 1110 verarbeitet die Signale, die von der ALU 1104 geliefert werden, durch ein zweidimensionales Filter, das so konfiguriert sein kann, daß es zwischen einem und fünf Abgriffen in jeder seiner zwei Dimensionen aufweist. Das Filter beinhaltet einen vertikalen Randprozessor 1106 und einen horizontalen Randprozessor 1108, die eine Vielzahl von verschiedenen Pixelwerttypen erlauben, welche als die aktuellen Bilddaten umgebend eingefügt werden sollen. Unter diesen ist ein konstanter Wert oder eine Wiederholung der ersten oder letzten horizontalen oder vertikalen Zeile. Der Prozessor 108 verarbeitet die Eingangssignale, so daß effektiv Zeilen von Randpixeln zu dem Bild an dem oberen und unteren Rand addiert werden. Zusätzlich agiert er in Zusammenarbeit mit 3-Zustand-Schaltelementen (Gates) 1112a–1112d und einem Speicher 1114, um eine mit Abgriffen versehene Verzögerungszeile zu implementieren, die verwendet wird, um Bildsignale mit vier Zeilen Verzögerung zu dem vertikalen Filterabschnitt des Faltungsprozessors 1118 zu liefern.
Ein Speicher 1114 liefert eine Vier- oder Achtzeilenverzögerung für den vertikalen Abschnitt des zweidimensionalen Filters. Die verzögerten Zeilen werden sowohl vertikal als auch horizontal in dem Faltungsprozessor 1118 kombiniert, um den Filter 1110 zu vollenden. Das Ausgangssignal, das von dem Filter 1110 geliefert wird, wird von dem Abschneideprozessor 1122 verarbeitet, der Rundung und Skalierung für Signale einfacher Genauigkeit durchführt und die gefilterten Daten als die signifikanteren Bit (MSB) Positionen mit den gefilterten Daten, die die weniger signifikanten Bit (LSB) Abschnitte definieren, die über den Eingang IN3 geliefert werden, kombiniert, um Ausgangssignale doppelter Genauigkeit zu erzeugen.
Das Ausgangssignal des Prozessors 1122 oder das Ausgangssignal der ALU 1104, wie von dem Prozessor 1106 verarbeitet, können als das Ausgangssignal OUT1 ausgewählt werden. Das Ausgangssignal OUT2 kann das Ausgangssignal des Abschneideprozessors 1122 oder das Aus gangssignal des Multiplexers 120 oder der Ausgang der ALU 1124 sein, welcher diese beiden Signale kombiniert. Das Signal, das von dem Multiplexer 1120 zur Verfügung gestellt wird, kann entweder ein konstanter Wert K2, das Eingangssignal IN2 oder eines der verzögerten horizontalen Zeilensignale, die von dem horizontalen Randprozessor 1108 geliefert werden, sein. Der Multiplexer 1120 beinhaltet interne Kompensierungsverzögerungen (nicht gezeigt), die jedes der Eingangssignale mit dem Signal, das von dem Abschneideprozessor 1122 geliefert wird, ausrichten. Taktsignale für den Schaltkreis werden durch den Taktschaltkreis 1128 erzeugt, der einen Zweiphasenspeichertakt und ein Systemtaktsignal CK aus einem Zweiphaseneingangssignal CLK und CLK2 erzeugt.
Die Schaltkreisfunktionen werden über den Steuerschaltkreis 1130 gesteuert, welcher Benutzerkommandos von einem Steuereingangskanal CBUS akzeptiert und Steuersignale und Datenwerte zu den anderen Komponenten des Schaltkreises über einen Ausgangsanschluß CONT liefert.
Obwohl die Erfindung hierin als Abbildungsystem veranschaulicht und beschrieben wurde, soll sie dennoch nicht auf die gezeigten Details beschränkt sein. Beispielsweise beinhaltet die Erfindung Abfolgen von Bildern von einer einzigen Quelle oder von Bildern von mehreren Quellen. Vielmehr können verschiedene Modifikationen an den Einzelheiten vorgenommen werden, die innerhalb des Schutzumfangs und -bereichs der Äquivalente der Ansprüche liegen, und ohne vom Gedanken der Erfindung abzuweichen.
Es ist ebenso klar, daß, während die Erfindung beschrieben wurde, indem eine Referenz geschert wurde, um die Abschätzung der Verschiebung in einem Bild zu bestimmen, ebenso das Bild selbst geschert werden könnte für den Vergleich mit der Referenz in einem Schätzer. Die Endabschätzung der Verschiebung wird dann verwendet, um das Bild zu scheren, um das stabilisierte Ausgangsbild zu bilden. Das System in 16 ist das gleiche wie das von 6, außer daß die Position des Scherers verändert ist, so daß das gegenwärtige Bild anstelle der Referenz geschert wird, um die Abschätzung der Verschiebung zu erhalten.

Claims

Verfahren zur elektronischen Bildstabilisierung, das auf eine Sequenz von aufeinanderfolgenden Paaren (Iin(t) und Iin(t-1)) von Einzelbildern in digitaler Form reagiert, wobei das Verfahren die Schritte beinhaltet (a) Anwenden einer iterativ betriebenen Rückkopplungsschleife, die einen Bildscherer (102), einen Verschiebungsschätzer (106), einen Addierer (108) und einen Speicher (110) aufweist, um eine am meisten fehlerbehaftete ursprüngliche Schätzung (d(t,0)) einer Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern der Sequenz dargestellt wird, auf eine am wenigsten fehlerhafte Endschätzung (d(t,k)) einer Verschiebung zu reduzieren und (b) Speichern der Endschätzung (d(t,k)) der Verschiebung in dem Speicher (110), wobei das Verfahren weiterhin durch die Schritte gekennzeichnet ist: (c) Bestimmen (202, 204) von Positionsinformation, die den Ort eines Ziels in dem Einzelbild anzeigt, aus dem Unterschied zwischen einem bestimmten Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern und dem anderen (I warp (t-1)) der Einzelbilder, die in Schritt (a) von dem Bildscherer hiermit in Ausrichtung geschert wurden, (d) Umwandeln (114) der Endabschätzung der Verschiebung, die in dem Speicher gespeichert ist, und der Positionsinformation in Ausgangstransformationsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, das die Endabschätzungen und die Positionsinformation, die für die Abfolge von Einzelbildern abgeleitet wurde, auf gewünschte Positionen in der Abfolge abbildet, und (e) Scheren (116) eines bestimmten Einzelbildes (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern in Übereinstimmung mit den Ausgangstransformationsparametern (p(t)), um die Abfolge bzw. Sequenz von Einzelbildern zu stabilisieren.
Verfahren nach Anspruch 1, wobei in Schritt (a) die iterativ arbeitende Rückkopplungsschleife einen ersten Bildscherer (102) einsetzt und Schritt (e) einen zweiten Bildscherer (116) einsetzt.
Verfahren nach Anspruch 1 oder 2, wobei das bestimmte Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern dem dann aktuellen Einzelbild (Iin(t)) des Paares von Einzelbildern in der Sequenz entspricht und das Einzelbild außer dem bestimmten Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern dem Einzelbild (Iin(t-1)) entspricht, das dem dann aktuellen Einzelbild des Paares von Einzelbildern in der Sequenz unmittelbar vorangeht.
Verfahren nach Anspruch 1 oder 2, wobei: das bestimmte Einzelbild jedes der aufeinanderfolgenden Paare von Einzelbildern dem Einzelbild (Iin(t-1)) entspricht, das dem dann aktuellen Einzelbild des Paares von Einzelbildern in der Sequenz unmittelbar vorangeht, und das Einzelbild außer dem bestimmten Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern dem dann aktuellen Einzelbild (Iin(t)) des Paares von Einzelbildern in der Sequenz entspricht.
Verfahren nach einem der Ansprüche 1 bis 4, wobei jedes der aufeinanderfolgenden Paare von Einzelbildern in der Sequenz in einer Mehrzahl von Auflösungen verfügbar ist, die sich von einer gegebenen niedrigsten Auflösung zu einer gegebenen höchsten Auflösung erstrecken, und wobei Schritt (a) den Schritt aufweist: Anwenden der iterativ arbeitenden Rückkopplungsschleife auf Einzelbildern beginnend mit den Einzelbildern gegebener niedrigster Auflösung reihum mit sukzessiv höherer Auflösung, um eine am meisten fehlerhafte ursprüngliche Abschätzung der Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern mit gegebener niedrigster Auflösung dargestellt werden, auf eine am wenigsten fehlerhafte Endabschätzung der Verschiebung, die von jedem Paar von Einzelbildern mit gegebener höchster Auflösung dargestellt wird, zu reduzieren.
Verfahren nach einem der Ansprüche 1 bis 5, wobei Schritt (a) den Schritt umfaßt: Einsetzen der Endabschätzung der Verschiebung zwischen Bildern, die von einem Paar von Einzelbildern dargestellt werden, die einem gegenwärtigen Paar von Einzelbildern in der Abfolge vorausgehen, als die ursprüngliche Abschätzung der Verschiebung des gegenwärtigen Paares von Einzelbildern.
Verfahren nach einem der Ansprüche 1 bis 6, wobei Schritt (d) den Schritt umfaßt: Umwandeln (114) der Endabschätzung der Verschiebung (d(t,k)), die in dem Speicher (110) gespeichert ist, in Ausgangstransformationsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, das Ausgangstransformationsparameter ableitet, die einen stückweise linearen Pfad bilden.
Verfahren nach einem der Ansprüche 1 bis 6, wobei Schritt (d) den Schritt umfaßt: Umwandeln (114) der Endabschätzung der Verschiebung (d(t,k)), die in dem Speicher (110) gespeichert ist, in Ausgangstransformationsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, in dem die Tiefpaßfilterung angewendet wird, um Bildunterschiede zu glätten.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das gegebene mathematische Modell zumindest einen der Effekte des Zoomens, der Parallaxe, der Translation, der Rotation, der Dilatation oder der Linsenverzerrung auf einem Bild modelliert.
Verfahren nach einem der Ansprüche 1 bis 9, welches weiterhin das Steuern (206, 208) einer Abbildungsvorrichtung (10) für das Erzeugen der Abfolge von Einzelbildern in Übereinstimmung mit der Positionsinformation umfaßt.
Vorrichtung zur elektronischen Bildstabilisierung, die auf eine Abfolge von aufeinanderfolgenden Paaren (Iin(t), Iin(t-1)) von Einzelbildern in digitaler Form reagiert, wobei die Vorrichtung eine Bildschereinrichtung (102, 116), eine iterativ arbeitende Rückkopplungsschleife (104), die die Bildschereinrichtung (102, 116), einen Verschiebungsschätzer (106), einen Addierer (108) und einen Speicher (110) beinhaltet, um eine fehlerhafteste ursprüngliche Schätzung (d(t,0)) der Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern der Sequenz dargestellt wird, auf eine am wenigsten fehlerhafte Endabschätzung (d(t,k)) der Verschiebung zu reduzieren, wobei die Endabschätzung der Verschiebung in dem Speicher (110) gespeichert wird, und gekennzeichnet ist durch eine Einrichtung zum Bestimmen (202, 204) von Positionsinformation, die den Ort eines Ziels in dem Einzelbild anzeigt, aus dem Unterschied zwischen einem bestimmten Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern und dem anderen (I warp (t-1)) der Einzelbilder, die in Schritt (a) von dem Bildscherer hiermit in Ausrichtung geschert wurden, eine Einrichtung (114) zum Umwandeln der Endabschätzung der Verschiebung (d(t,k)), die in dem Speicher (110) gespeichert ist, und der Positionsinformation in Ausgangstransforma tionsparameter (p(t)) in Übereinstimmung mit einem gegebenen mathematischen Modell, welches die Endabschätzungen und die Positionsinformation, die aus der Sequenz von Einzelbildern abgeleitet wurde, auf gewünschte Positionen in der Sequenz abbildet, und wobei die Vorrichtung die Bildschereinrichtung (116) anwendet, um ein bestimmtes Einzelbild (Iin(t)) jedes der aufeinanderfolgenden Paare von Einzelbildern in Übereinstimmung mit den Ausgangstransformationsparametern (p(t)) zu scheren, um das bestimmte Einzelbild zu stabilisieren.
Vorrichtung nach Anspruch 11, wobei die Bildschereinrichtung einen ersten und einen zweiten Bildscherer (102, 116) aufweist, wobei die Rückkopplungsschleife den ersten Bildscherer (102) beinhaltet, wobei der zweite Bildscherer (116) angewendet wird, um das bestimmte Einzelbild zu scheren.
Vorrichtung nach Anspruch 11 oder Anspruch 12, die weiterhin aufweist: einen ersten Einzelbilderspeicher (32) zum Speichern des bestimmten Einzelbildes (Iin(t)) von jedem der aufeinanderfolgenden Paare von Einzelbildern und einen zweiten Einzelbilderspeicher (36) zum Speichern des Einzelbildes (Iin(t-1) außer dem bestimmten Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern.
Vorrichtung nach Anspruch 13, wobei das bestimmte Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern, die in dem ersten Einzelbilderspeicher (32) gespeichert sind, zu dem dann aktuellen Einzelbild (Iin(t)) des Paares von Einzelbildern in der Sequenz korrespondiert, und das Einzelbild außer dem bestimmten Einzelbild jedes der aufeinanderfolgenden Paare von Einzelbildern, die in dem zweiten Einzelbilderspeicher (36) gespeichert sind, dem Einzelbild (Iin(t-1)) entspricht, das dem dann aktuellen Einzelbild des Paares von Einzelbildern in der Sequenz unmittelbar vorausgeht.
Vorrichtung nach Anspruch 13, wobei: das bestimmte Einzelbild von jedem der aufeinanderfolgenden Paare von Einzelbildern, die in dem ersten Einzelbildspeicher (32) gespeichert sind, dem Einzelbild (Iin(t-1)) entspricht, das dem dann aktuellen Einzelbild des Paares von Einzelbildern in der Sequenz unmittelbar vorausgeht, und das Einzelbild außer dem bestimmten Einzelbild jedes der aufeinanderfolgenden Paare von Einzelbildern, die in dem zweiten Einzelbildspeicher (36) gespeichert sind, dem dann aktuellen Einzelbild (Iin(t)) des Paares von Einzelbildern in der Sequenz entspricht.
Vorrichtung nach einem der Ansprüche 11 bis 15, die weiterhin aufweist: eine Pyramidenvorrichtung (130, 134), um jedes der aufeinanderfolgenden Paare von Einzelbildern in der Sequenz mit einer Mehrzahl von Auflösungen zur Verfügung zu stellen, die sich von einer gegebenen niedrigsten Auflösung zu einer gegebenen höchsten Auflösung erstrecken, und wobei die iterativ arbeitende Rückkopplungsschleife (104) Mittel beinhaltet, die mit der Verarbeitung der Einzelbilder mit gegebener niedrigster Auflösung beginnen und dann reihum Einzelbilder mit sukzessiv höherer Auflösung bearbeiten, um eine fehlerhafteste ursprüngliche Abschätzung der Verschiebung zwischen Bildern, die von jedem Paar von Einzelbildern mit gegebener niedrigster Auflösung dargestellt wird, auf eine am wenigsten fehlerhafte Endabschätzung der Verschiebung, die von jedem Paar von Einzelbildern mit gegebener höchster Auflösung dargestellt wird, zu reduzieren.
Vorrichtung nach einem der Ansprüche 11 bis 16, wobei die Vorrichtung weiterhin aufweist: eine Einrichtung, um die iterativ arbeitende Rückkopplungsschleife mit der Endabschätzung der Verschiebung zwischen Bildern, die von einem Paar von Einzelbildern dargestellt wird, das einem gegenwärtigen Paar von Einzelbildern in der Sequenz vorausgeht, als ursprüngliche Abschätzung der Verschiebung des gegenwärtigen Paares von Einzelbildern zu versehen.
Vorrichtung nach einem der Ansprüche 11 bis 17, wobei: die Vorrichtung zum Umwandeln der Endabschätzung der Verschiebung, die in dem Speicher gespeichert ist, in Ausgangstransformationsparameter in Übereinstimmung mit einem gegebenen mathematischen Modell Mittel beinhaltet, die Ausgangstransformationsparameter herleiten, die einen stückweise linearen Pfad bilden.
Vorrichtung nach einem der Ansprüche 11 bis 17, wobei: die Einrichtung zum Umwandeln der Endabschätzung der Verschiebung, die in dem Speicher gespeichert ist, in Ausgangstransformationsparameter in Übereinstimmung mit einem gegebenen mathematischen Modell eine Tiefpaßfilterungseinrichtung beinhaltet, die Ausgangstransformationsparameter ableitet, die im Glätten von Bildunterschieden effektiv sind.
Vorrichtung nach einem der Ansprüche 11 bis 19, wobei das gegebene mathematische Modell zumindest einen der Effekte des Zoomens, der Parallaxe, der Translation, der Rotation, der Dilatation oder der Linsenverzerrung auf einem Bild modelliert.
Vorrichtung nach einem der Ansprüche 11 bis 20, die weiterhin Mittel zum Steuern (206, 208) einer Abbildungsvorrichtung (10) für das Erzeugen der Sequenz von Einzelbildern in Übereinstimmung mit der Positionsinformation aufweist.