DE4332753C2

DE4332753C2 - Verfahren zur Erkennung bewegter Objekte

Info

Publication number: DE4332753C2
Application number: DE4332753A
Authority: DE
Inventors: Rudolf Dipl Ing Dr Mester; Michael Dipl Ing Dr Hoetter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1993-09-25
Filing date: 1993-09-25
Publication date: 1997-01-30
Anticipated expiration: 2013-09-26
Also published as: GB2282294B; DE4332753A1; FR2710433A1; GB9417967D0; FR2710433B1; GB2282294A

Description

Stand der Technik

Die Erfindung geht aus von einem Verfahren zur Erkennung bewegter Objekte nach der Gattung des Hauptanspruchs. Es ist schon von J. Ellis et al., "A knowledge-based approach to automatic alarm interpretation using computer vision, on image sequences", ICCST, 1989, Seite 215 ff., ein Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern bekannt, bei dem aber das Bildsignal mit einem festgelegten Referenzbildsignal verglichen wird, um ein bewegtes Objekt zu detektieren. Zudem werden ermittelte Verschiebungsvektoren mit vorgegebenen Verschiebungsvektoren zur Erkennung eines bewegten Objektes verglichen.

Aus der DE 41 17 774 A1 ist ein Verfahren zur Objektdetektion bekanntgeworden, bei dem ein Hintergrundfensterspeicher nach der Schlußanalyse, d. h. nach der Analyse, ob ein bewegtes Objekt erkannt wurde oder nicht, mit den Positionsergebnissen und Parametern direkt aufgefrischt wird. Dies ist deswegen kritisch, da langsame Bewegungen, die nicht innerhalb einer Bildperiode erkannt werden, auch nicht über einen längeren Zeitraum nachgewiesen werden können, da unter Umständen durch die Auffrischung bei langsamen Bewegungen vorgegebene Schwellwerte nicht überschritten werden.

Es ist Aufgabe der Erfindung, die Detektion bewegter Objekte in zeitlich aufeinanderfolgenden Bildern so zu verbessern, daß auch langsame Bildveränderungen erkannt werden können. Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelöst.

Vorteile der Erfindung

Das erfindungsgemäße Verfahren mit den Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil, daß das zum Vergleich verwendete Referenzbildsignal für jeden Bildbereich des Bildes in Abhängigkeit von dem Auswertungsergebnis einer automatisch ablaufenden Bildanalyse adaptiv aktualisiert wird. Dadurch ist es nicht notwendig, für verschiedene zu überwachende Szenarien unterschiedliche Vergleichsschwellen für das Bildsignal oder verschiedene Vergleichsbewegungs vektoren anzugeben. Durch das erfindungsgemäße Verfahren wird auf grund der verwendeten Bildanalyse automatisch eine Anpassung der Vergleichsschwellen an die verschiedenen Bildbereiche erreicht. Dies führt zu einer größeren Sicherheit bei der Erkennung von bewegten Objekten unabhängig von dem zu beobachtenden Gelände und von den Witterungseinflüssen.

Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vor teilhafte Weiterbildungen und Verbesserungen des im Hauptanspruch angegebenen Verfahrens möglich. Es ist besonders vorteilhaft, den Bildbereich des aktuellen Bildes mit dem entsprechenden Bildbereich des Referenzbildes in bezug auf Texturmerkmale zu vergleichen. Damit wird die Sicherheit, ein bewegtes Objekt zu erkennen, erhöht.

Zur Ermittlung von Texturmerkmalen ist es von besonderem Vorteil, zwei aneinander angrenzende Bildpunkte zu verwenden. Damit wird ein ausreichendes Maß an Informationen erhalten und zugleich ist die zu verarbeitende Datenmenge gering und es wird eine schnelle Verarbei tung der Informationen erreicht.

Das Verfahren hat den Vorteil, daß bei der Objektdetektion die für ein Bildpaar (Referenzbild und aktuelles Bild) ermittelten Meßgrößen Bildsignaländerung, Verschiebung und Textur nicht mit einer für das gesamte Bild gültigen, festen Schwelle verglichen werden, sondern diese Schwellen aus einer für jeden Bildbereich separat durchge führten Messung der zeitlichen statistischen Verteilung dieser Meß größen - beschrieben durch Mittelwert und Varianz - ermittelt werden.

Die Schnelligkeit und die Sicherheit der Erkennung bewegter Objekte wird optimiert, indem zuerst die Bildsignaländerung zur Erkennung eines bewegten Objektes verwendet wird und, falls ein bewegtes Ob jekt erkannt wurde, die Texturmerkmale zur Erkennung des bewegten Objektes herangezogen werden und falls auch dieser Vergleich ein bewegtes Objekt erkennen läßt, abschließend der Verschiebungsvektor zur Erkennung des bewegten Objektes betrachtet wird und erst dann, wenn auch dieser Vergleich ein bewegtes Objekt ergibt, ein bewegtes Objekt als sicher erkannt gilt und ein Signal zum Anzeigen des Ob jektalarms abgegeben wird. Dadurch wird trotz hoher Sicherheit beim Erkennen bewegter Objekte eine möglichst kurze Verarbeitungszeit erreicht.

Der Vergleich der Meßgrößen Bildsignaländerung, Verschiebungsvektor und Texturmerkmal wird einfach und schnell durchgeführt, wenn der aktuelle Meßwert der Meßgröße eines Bildbereichs abzüglich des zeit lichen Mittelwertes dieser Meßgröße mit dem Produkt aus der zeit lichen Standardabweichung der Meßgröße bewertet mit einer Wichtungs konstante verglichen wird. So wird ein einfacher und schneller Ver gleich der Meßgrößen für die Objektdetektion erreicht.

Die Schätzung des Mittelwertes und der Varianz der Meßgrößen Bild signal, Verschiebungsvektor und Texturmerkmale werden in vorteilhaf ter Weise mit einem rekursiven Tiefpaß erster Ordnung, einem soge nannten Infinite Impuls Respond Tiefpaß geschätzt. Dadurch wird eine einfache Schätzung des Mittelwertes und der Varianz erreicht.

Zeichnung

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung darge stellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen

Fig. 1 eine Anordnung zur Erkennung eines bewegten Objektes,

Fig. 2 eine Bildeinheit mit Klicken,

Fig. 3 eine Verteilungsdich tefunktion zur Auswertung einer Meßgröße und

Fig. 4 einen schematischen Programmablauf des Verfahrens.

Beschreibung des Ausführungsbeispiels

In Fig. 1 ist eine Anordnung zur Erkennung eines bewegten Objektes in zeitlich aufeinander folgenden Bildern dargestellt. Eine Bildauf nahmeeinheit 1 ist über eine Datenleitung 7 mit einer Recheneinheit 2 verbunden. Die Recheneinheit 2 ist wiederum über eine Datenleitung 7 mit einer Eingabeeinheit 3, über eine weitere Datenleitung 7 mit einem Speicher 4, über eine zusätzliche Datenleitung 7 mit einem Bildschirm 6 und über eine weitere Datenleitung 7 mit einer Signal anzeige 5 verbunden.

Fig. 2 zeigt eine Bildeinheit 31, die beispielhaft aus 5 × 5 Bild punkten 32 eines Bildes 30 besteht. Zur Ermittlung von Texturmerk malen werden in dem hier beschriebenen Verfahren sogenannte Klicken merkmale verwendet. Eine Klicke umfaßt dabei eine Anordnung zweier örtlich angrenzender Bildpunkte. Als Meßgröße für die Texturmerkmale wird die Summe der quadrierten Differenzen der Bildsignale der durch die Klicke festgelegten Bildpunktpaare einer Bildeinheit verwendet. Als Klicken werden drei verschiedene Arten von Klicken verwendet: eine horizontale Klicke 33, eine diagonale Klicke 34 und eine ver tikale Klicke 35.

Fig. 3 zeigt eine Verteilungsdichtefunktion P(vi) 40 der Meßgröße vi für eine typische Szenensituation. Es ist der zeitliche Mittel wert m_vi der Meßgröße vi eingezeichnet. Der "typische" Bereich der Meßgröße liegt in dem Wertebereich des zeitlichen Mittelwertes m_vi ± (C_vi × s_vi), wobei mit c_vi eine Wichtungs konstante und mit s_vi die zeitliche Standardabweichung der Meß größe vi bezeichnet ist. Der Wertebereich 41, in dem eine "untypi sche" Meßgröße vorliegt, ist in Fig. 4 schraffiert gezeichnet. Eine untypische Meßgröße ist ein Anzeichen für ein bewegtes Objekt. Der Wertebereich 42, in dem eine typische Meßgröße vorliegt, ist nicht schraffiert gezeichnet. Im Speicher 4 ist für jeden Bildbereich eine Verteilungsdichtefunktion für jede Meßgröße (Bildsignaländerung, Texturmerkmale und Verschiebungsvektor) abgelegt.

Fig. 4 zeigt einen schematischen Ablauf des Verfahrens zur Erken nung eines bewegten Objektes. Bei Programmpunkt 11 nimmt die Bild aufnahmeeinheit 1 ein Bild auf und gibt dieses an die Recheneinheit 2 weiter. Daraufhin speichert die Recheneinheit 2 bei Programmpunkt 12 für jeden Bildpunkt des Bildes ein Bildsignal ab. Dabei wird das Bild 30 in Bildeinheiten 31 unterteilt. In diesem Ausführungsbeispiel besteht eine Bildeinheit aus einer Bildfläche, die 5 × 5 Bildpunkte 32 umfaßt.

Bei dem folgenden Programmpunkt 13 vergleicht die Recheneinheit 2 die Bildsignaländerung zwischen dem aufgenommenen Bild und einem Referenzbild, das im Speicher 4 abgelegt ist. Die Bildsignaländerung wird mit einer für diese Bildeinheit gültige Verteilungsfunktion der Bildsignaländerung - beschrieben durch Mittelwert und Varianz -, die eine typische Szenensituation wiedergibt, verglichen. Die Bildein heiten deren Bildsignaländerungen untypisch sind, werden von der Recheneinheit 2 in einer ersten binären Maske gekennzeichnet und im Speicher 4 abgelegt. Eine binäre Maske besteht aus einem Speicher feld, das für jede Bildeinheit einen Speicherplatz enthält. Dieser Speicherplatz wird zur Kennzeichnung mit 0 oder 1 belegt.

Bei Programmpunkt 14 ermittelt die Recheneinheit 2 für jede Bild einheit entsprechend einem vorgegebenen Verfahren, das im Speicher 4 abgelegt ist, Texturmerkmale und speichert diese im Speicher 4 ab. Bei Programmpunkt 20 ermittelt die Recheneinheit 2 ob die für die Bildeinheiten ermittelten Texturmerkmale untypische Texturmerkmale sind. Die Bildeinheiten, deren Texturmerkmale untypisch sind, werden von der Recheneinheit 2 in einer zweiten binären Maske gekennzeich net und die Maske wird im Speicher 4 abgelegt.

Daraufhin ermittelt die Recheneinheit 2 bei Programmpunkt 15 aus dem Vergleich des aktuellen Bildes mit dem im Speicher 4 abgelegten Referenzbild für jede Bildeinheit den Verschiebungsvektor der Bild einheit und legt diese im Speicher 4 ab. Die Recheneinheit markiert in einer dritten binären Maske die Bildeinheiten, die einen untypi schen Verschiebungsfaktor aufweisen und speichert die dritte Maske im Speicher 4 ab. Bei Programmpunkt 21 erfolgt die Abfrage, ob die Verschiebungsvektoren des Bildes von einem typischen Verschiebungs vektor der entsprechenden Bildeinheit abweichen.

Ist dies der Fall, so folgt Programmpunkt 22. Bei Programmpunkt 22 erkennt die Recheneinheit 2 im Bild durch Vergleich der binären Masken ein bewegtes Objekt für die Bildeinheit, deren Bildsignalän derung, deren Textur und deren Verschiebungsvektoren untypisch sind und zeigt dieses über die Signalanzeige 5 an. Anschließend folgt Programmpunkt 26.

Bei Programmpunkt 26 wird das Referenzbild nachgearbeitet. Im Falle eines erkannten, bewegten Objekts ersetzt die Recheneinheit 2 das Bildsignal jeder Bildeinheit des Referenzbildes durch das Bildsignal der Bildeinheit des aktuellen Bildes. Anschließend wird nach Pro grammpunkt 11 verzweigt, das nächste Bild aufgenommen und der Pro grammablauf erneut durchlaufen.

Ergibt die Abfrage bei Programmpunkt 21, daß die Verschiebungsvek toren aller Bildeinheiten typisch sind, so wird im Programmpunkt 18 für die Verschiebungsvektoren, im Programmpunkt 17 für die Texturmerkmale und im Programmpunkt 16 für die Bildsignaländerungen jeweils unter Verwendung der Recheneinheit 2 mit einem Tiefpaß erster Ordnung gemäß Formel (2) unter Berücksichtigung der aktuellen Meßgrößen Bildsignaländerung, Textur und Verschiebung ein neuer zeitlicher Mittelwert und eine neue zeitliche Varianz der Meßgrößen nach Formel (3) und (4) zur aktuellen Beschreibung der Verteilungsfunktion der Meßgrößen für jede Bildeinheit des Bildes ermittelt. Zusätzlich wird bei Programmpunkt 16 von der Recheneinheit 2 das Bildsignal der Bildeinheiten des Referenzbildes durch das Bildsignal der Bildeinheiten des aktuellen Bildes ersetzt, deren Verschiebungsvektor identisch Null ist. Das Bildsignal der Bildeinheiten, deren Verschiebungsvektor ungleich Null ist, bleibt unverändert.

Bei Programmpunkt 19 werden der Mittelwert und die Varianz der Meß größen Bildsignaländerung, Textur und Verschiebungsvektor für jede Bildeinheit im Speicher 4 abgelegt und die bisher gespeicherten Mittelwerte und Varianzen für die Bildsignaländerung, die Textur und den Verschiebungsvektor werden gelöscht.

Bei diesem speziellen Verfahren werden für jeden Bildpunkt einer Bildeinheit die Meßgrößen Bildsignaländerung, Textur und Verschiebungsvektor ermittelt. Eine Optimierung der Rechenzeit wird erreicht, indem die Meßgrößen jeweils für eine Bildeinheit ermittelt werden.

Eine besonders schnelle Bildverarbeitung wird erreicht, wenn nach Programmpunkt 13 im Programmpunkt 14 nur für die Bildeinheiten Tex turmerkmale von der Recheneinheit 2 ermittelt werden, deren Bild signaländerung untypisch ist. Und bei Programmpunkt 15 werden nur für die Bildeinheiten Verschiebungsvektoren von der Recheneinheit 2 ermittelt, deren Bildsignaländerung und deren Texturmerkmale un typisch sind.

Anhand des schematischen Programmablaufes der Fig. 4 und unter Ein beziehung der Fig. 1, 2 und 3 wird im folgenden ein spezielles Ausführungsbeispiel beschrieben. Bei Programmpunkt 11 nimmt die Bildaufnahmeeinheit 11, die in diesem speziellen Fall als CCD-Kamera ausgebildet ist, ein Bild in Form eines analogen Videosignales auf. Eine typische Auflösung eines Bildes beträgt 756 × 288 Bildpunkte, wobei für jeden Bildpunkt ein Bildsignal aufgenommen wird. Das ana loge Videosignal wird zunächst in der Bildaufnahmeeinheit 1 tiefpaß gefiltert, digitalisiert und an die Recheneinheit 2 weitergegeben. Bei Programmpunkt 12 legt die Recheneinheit 2 das aktuelle Bild im Speicher 4 ab. Anschließend wird das abgelegte Bild von der Rechen einheit 2 unterabgetastet, wobei in diesem speziellen Ausführungs beispiel der horizontale Unterabtastfaktor vier beträgt und der ver tikale Unterabtastfaktor zwei beträgt. Damit werden 2 × 4 Bildpunkte zu einem Bildpunkt zusammengefaßt. Das unterabgetastete Bild wird von der Recheneinheit im Speicher 4 abgelegt. Die gesamte Objekt detektion wird auf dem unterabgetasteten Bild durchgeführt. Dieses Vorgehen reduziert den Aufwand für die Auswertung erheblich und beeinflußt andererseits die Detektionsfähigkeit nur wenig. Im Falle eines erkannten bewegten Objektes steht sofort das Bild mit voller Auflösung zur Verfügung und kann zum Beispiel für eine Täterer kennung oder Alarmüberprüfung ausgewertet werden.

Im Falle des Betriebes bei Dunkelheit oder Dämmerung wird durch eine örtliche Akkumulation der Bildpunkte im Abtastraster des Video signals sowie durch eine Akkumulation mehrerer zeitlich aufeinander folgender Bilder eine virtuelle Verlängerung der Belichtungszeit über ein Halbbildintervall von einer 1/50 Sekunde hinaus durch geführt, um die Empfindlichkeit der Kamera zu steigern. Dazu wird eine aktuelle Bildsignalstatistik gemessen und aus der Bildsignal statistik Kontrast und mittlere Helligkeit des Kamerabildes ermit telt. Bei unzureichenden Beleuchtungsverhältnissen wird der Kontrast durch örtliche und zeitliche Akkumulation der Bildpunkte des Video signals erhöht und die mittlere Helligkeit geeignet nachgeführt. Diese Maßnahmen führen unter ungünstigen Beleuchtungsverhältnissen zu einer Verbesserung des Bildsignals und damit auch bei Dunkelheit oder Dämmerung zu einer sicheren Objektdetektion.

Anschließend ermittelt die Recheneinheit 2 für jedes Bildsignal jedes Bildpunktes des unterabgetasteten Bildes die Differenz zu den Bildsignalen der Bildpunkte eines Referenzbildes, das im Speicher 4 abgelegt ist. Die Bildsignale des Referenzbildes sind mit festgeleg ten Anfangswerten belegt, die über die Eingabeeinheit 3 an die Recheneinheit 2 gegeben werden. Nach einigen Bildern sind die Bild signale des Referenzbildes mit Werten belegt, die einer typischen Szenensituation entsprechen. In diesem Ausführungsbeispiel werden zur Erfassung zeitlicher Bildsignaländerungen für jede Bildeinheit die quadratischen Bildpunktdifferenzen zwischen dem unterabgetaste ten aktuellen Bild und dem Referenzbild aufakkumuliert. Diese Qua dratsumme wird als Maß zur Beschreibung der zeitlichen Bildsignal änderung einer Bildeinheit verwendet.

Bei der Objektdetektion, d. h. beim Erkennen eines bewegten Objektes, wird untersucht, ob die aktuell ermittelten Meßgrößen (Bilddifferenzsignal, Texturmerkmal, Verschiebungsvektor) eine typische oder atypische Szenensituation beschreiben. Diese Auswertung basiert auf einer statistischen Analyse der Meßgrößen, wobei für jede Bildeinheit eine zeitlich statistische Verteilung der Meßgrößen ermittelt wird. Bei der Auswertung einer Meßgröße wird überprüft, ob der aktuelle Meßwert der Verteilung einer typischen Meßgröße genügt oder nicht. Da die Messung der Verteilungsfunktion aufwendig ist, werden zur Beschreibung der Verteilung Mittelwert und Varianz geschätzt. Diese Schätzung wird immer dann durchgeführt, wenn kein Objektalarm erkannt wurde, und damit die Bildeinheit einer typischen Szenen situation entspricht. Auf diese Weise beschreiben der Mittelwert und die Varianz die Verteilung der Meßgrößen in typischen Szenensitua tionen. Weicht ein aktueller Meßwert einer Meßgröße deutlich von dieser Beschreibung ab, so deutet dieses Ereignis auf eine atypische Szenensituation, d. h. auf ein bewegtes Objekt, hin.

Die Entscheidung, ob eine Meßgröße deutlich (signifikant) von seiner statistischen Verteilung abweicht, wird anhand einer Schwellwertent scheidung getroffen. Dabei wird folgende Formel verwendet:

(v_i(x,y) - m_vi(x,y))²/(c_vi × s_vi(x,y))² < 1 (1)

mit
c_vi: Wichtungskonstante [0 < c_vi < 50 in Abhängigkeit von den untersuchten Meßgrößen]
v_i(x,y): aktueller Meßwert der Meßgröße vi an der Ortsposition (x,y)
m_vi(x,y): zeitlicher Mittelwert der Meßgröße vi an der Ortspo sition (x,y)
s_vi(x,y): zeitliche Standardabweichung der Meßgröße vi an der Ortsposition (x,y).

Die Wichtungskonstante c_vi hängt dabei von der jeweils untersuch ten Meßgröße ab. Sie ist ein Maß dafür, um wieviele Vielfache der Standardabweichung der aktuelle Meßwert von dem geschätzten Mittel wert der Meßgröße abweichen darf. Je größer diese Wichtungskonstan te ist, desto stärker muß der aktuelle Meßwert von dem geschätzten Mittelwert abweichen, um Objektalarm auszulösen.

In Fig. 3 ist die Ungleichung (1) graphisch dargestellt. Die Ver teilungsdichtefunktion P(vi) einer Meßgröße vi an einer Ortsposition (x,y) des Kamerabildes wird beschrieben durch die beiden Kenngrößen m_vi (Mittelwert) und s_vi (Standardabweichung). Liegt die aktu elle Meßgröße vi innerhalb des Intervalls [-t_vi, +t_vi] (z. B. v⁽¹⁾ _i), so ist die Wahrscheinlichkeitsdichte p(v⁽¹⁾ _i) für Meßwert den v⁽¹⁾ _i größer als eine geforderte Schwelle p_min. Diese Schwelle p_min ist die Wahrscheinlichkeitsdichte des Meß wertes vi, für den folgende Bedingung gilt:

(v_i-m_vi)² = (c_i × s_i)².

Liegt der aktuelle Meßwert vi außerhalb des Intervalls [-t_vi, +t_vi] (z. B. v⁽²⁾ _i), so wird Objektalarm ausgelöst. Die Rest fehlerwahrscheinlichkeit, d. h. die Wahrscheinlichkeit, daß irrtüm lich auf eine "atypische" Szenensituation geschlossen wird, obwohl der aktuelle Meßwert der Verteilung genügt, ist dann das Integral über alle möglichen Meßwerte außerhalb des Intervalls [-t_vi, +t_vi] und in Fig. 3 schraffiert gezeichnet.

Um eine Schwellwertentscheidung durchführen zu können, werden die erforderlichen zeitlichen statistischen Kenngrößen Mittelwert und Varianz für alle Bildeinheiten und Meßgrößen separat geschätzt.

Diese Schätzung wird mit einem IIR-(Infinit Impulse Respond) Tiefpaß erster Ordnung gemäß folgender Formel:

m_vi (x, y, t): r _* v_i(x, y) + (1 - r) _* m_vi(x, y,t - 1) (2)

bzw.

p_vi(x, y, t): r _* v²_i(x, y) + (1 - r) _* p_vi(x, y,t - 1) (3)

und

s²_vi(x, y, t): p_vi(x, y, t) - m²_vi(x, y, t) (4)

mit

m_vi(x, y, t), m_vi(x, y, t - 1): zeitlicher Mittelwert der Meßgröße vi zum Zeitpunkt t bzw. t - 1,
mit p_vi(x, y, t), p_vi(x, y, t - 1): zeitliche Leistung der Meßgröße vi zum Zeitpunkt t bzw. t - 1,
²_vi(x, y, t): zeitliche Varianz der Meßgröße vi zum Zeitpunkt t,
v_i(x, y): Wert der Meßgröße vi zum Zeitpunkt t an der Ortsposition (x, y)
r: Rekursionsfaktor des IIR-Tiefpaß.

Dieses Filter zeichnet sich dadurch aus, daß die Schätzung der jeweiligen Kenngröße pro Detektorzelle nur wenige Rechenschritte (Operationen) erfordert und mit jeweils nur einem zusätzlichen Speicher pro Meß- und Kenngröße durchgeführt werden kann.

In Abhängigkeit von dem eingestellten Rekursionsfaktor r verändert sich die mittlere Einschwingdauer des IIR-Tiefpasses (Anzahl der Schritte eines Einheitssprungs am Eingang des Filters, bis am Aus gang des Filters die 0,9fache Amplitude des Eingangs vorliegt).

Diese Einschwingdauer ist ein Maß dafür, wieviele Bilder mindestens verarbeitet werden müssen, bis die statistischen Kenngrößen aus reichend genau ermittelt sind. Prinzipiell gilt: je kleiner der Re kursionsfaktor, desto länger die Einschwingdauer. Über den Rekursionsfaktor wird festgelegt, ob die ermittelten Kenngrößen die Langzeitstatistik der Meßgröße erfassen (Rekursionsfaktor sehr klein), oder ob auch mittel- oder kurzfristige Änderungen der Meßgrößen in der Statistik mitberücksichtigt werden (Rekursionsfaktor möglichst groß). Außerdem paßt sich die Beschreibung der Verteilung der Meßgrößen durch die rekursive, zeitlich fortlaufende Schätzung der Kenngrößen an sich ändernde Szenensituationen an.

Bei Programmpunkt 13 werden durch eine Änderungsdetektion zeitliche Bildsignaländerungen zwischen dem Referenzbild und dem aktuellen Bild detektiert. Die Bildbereiche, die atypische Bildsignale auf weisen, werden in der ersten binären Maske gekennzeichnet. Kleine Bildsignaländerungen, die einer typischen Szenensituation entspre chen, d. h. die z. B. durch das Rauschen des Videosensors hervorgeru fen werden, werden für die Objektdetektion unterdrückt. Bei dem hier ausgeführten Ausführungsbeispiel wird zusätzlich zu der Bildsignal differenz die Entscheidung für ein zeitlich vorausgehendes Bild bzw. den Bildbereich berücksichtigt. In Abhängigkeit davon, ob während der vorangegangenen Änderungsdetektion ein Bildbereich als geändert oder nicht geändert erkannt wurde, werden zwei unterschiedliche Schwellen bei der Auswertung bei der aktuellen Bildsignaländerung verwendet. Dieses Verfahren ist in der DE 43 11 972 A1 beschrieben.

Die Recheneinheit 2 überprüft, ob die quadratischen Bildpunktdiffe renzen der Bildeinheit zwischen dem Referenzbild und dem aktuellen Bild mehr vom Mittelwert m_vi der quadratischen Bildpunktdifferen zen der entsprechenden Bildeinheit abweichen als die zeitliche Varianz s_vi der quadratischen Bildpunktdifferenzen multipliziert mit der festgelegten und im Speicher 4 abgespeicherten Wichtungs konstante c_vi, d. h., es wird überprüft, ob die in Formel (1) dargestellte Ungleichung erfüllt wird. Die Recheneinheit markiert die Bildeinheiten, die die Formel (1) erfüllen, als untypisch in der ersten binären Maske.

In Programmpunkt 14 wird von der Recheneinheit 2 untersucht, ob die untypischen Bildsignaländerungen durch eine Änderung der Bildtextur hervorgerufen wurden. Dabei wird eine Textur durch Klickenmerkmale beschrieben. In dem hier beschriebenen Ausführungsbeispiel werden als Klicke zwei direkt örtlich diagonal benachbarte Bildpunkte ver wendet, wie in Fig. 2 dargestellt. Durch die Messung diagonal be nachbarter Bildpunkte werden örtliche Korrelationen in diagonaler Richtung berücksichtigt.

Durch die Analyse der Textur können folgende Szenensituationen er kannt und damit Objektalarm unterdrückt werden:

Diffuse Bewegungen (z. B. Blätterrauschen, Regen, Schnee), globale Helligkeitsänderungen (Tag, Nacht, großflächiger Schattenwurf) und kleine Kamerabewegungen (Wackeln, Erschütterungen).

Die Recheneinheit 2 ermittelt für jede Bildeinheit die Textur. Dabei beschreibt eine Klicke die örtliche Anordnung zweier aneinander angrenzender Bildpunkte. Es werden in diesem Ausführungsbeispiel Klicken in Form von diagonalen Klicken 34 verwendet. Als Meßgröße für die Texturmerkmale wird die Summe der quadrierten Differenzen der durch die Klicke festgelegten Bildpunktpaare einer Bildeinheit verwendet. Diese Meßgröße hängt vom verwendeten Klickentyp und von der örtlichen Korrelation des Bildsignales innerhalb einer Bildein heit ab. Die ermittelten Texturmerkmale werden von der Recheneinheit 2 im Speicher 4 abgelegt. Weitere Klicken sind horizontale Klicken 33 und vertikale Klicken 35, die zur Ermittlung der Textur herange zogen werden können.

Bei Programmpunkt 20 werden anschließend die Meßgrößen der Textur merkmale von der Recheneinheit 2 entsprechend der Formel (1) über prüft. Die Bildeinheiten, deren Texturmerkmale untypisch sind, d. h., die die Formel (1) erfüllen, werden in der zweiten binären Maske markiert.

Bei Programmpunkt 15 ermittelt die Recheneinheit 2 zur Beschreibung einer Bewegungsinformation für jede Bildeinheit einen Verschiebungs vektor. Bei einer Schätzung des Verschiebungsvektors wird überprüft, ob sich eine Bildeinheit des aktuellen Bildes in seiner lokalen Um gebung im vorangegangenen Bild wiederfinden läßt. Für diese Suche werden geeignete Ähnlichkeitsmaße definiert, zum Beispiel die abso lute oder quadratische Summe der Bildpunktdifferenzen des durch die Bildeinheit festgelegten Bildbereiches.

Die Ortsposition der Bildeinheit im vorangegangenen Bild mit der größten Ähnlichkeit, d. h. zum Beispiel mit der geringsten Quadrat summe der Bildpunktdifferenzen, wird dann über einen Verschiebungs vektor der aktuellen Bildeinheit zugeordnet. Der ermittelte Ver schiebungsvektor wird im Speicher 4 abgelegt. Damit wird die Diffe renz der Ortsposition einer Bildeinheit in zwei zeitlich aufeinan derfolgenden Bildern beschrieben. Zur Schätzung der Verschiebungs vektoren wird in dem hier vorgestellten Verfahren ein "Three Step Blockmatching" Algoritbmus verwendet, der von T. Kogy, K. Linuma, A.

Hirano, T. Iÿiama und T. Ishiguro in "motion-compensated interframe coding for video conferencing", IEEE, National Telecommunications Conference, New Orleans, S. 65.3.1-65.3.5, Dezember 1981, beschrieben ist. Der "Three Step Blockmatching" Algorithmus zeichnet sich durch niedrige Komplexität und mäßigen Rechenaufwand aus. Anschließend wird nach Programmpunkt 21 verzweigt.

Bei Programmpunkt 21 erfolgt für jede Bildeinheit des aktuellen Bildes die Abfrage, ob der Verschiebungsvektor einer untypischen Szenensituation entspricht, d. h. ob die Meßgröße für den Ver schiebungsvektor die Ungleichung (1) erfüllt.

Erfüllt die Meßgröße des Verschiebungsvektors aller Bildeinheiten die Ungleichung (1) nicht, so liegen Verschiebungsvektoren für eine typische Szenensituation vor und es wird nach Programmpunkt 18 ver zweigt.

Bei Programmpunkt 18 ermittelt die Recheneinheit 2 für die Ver schiebungsvektoren der Bildeinheiten unter Verwendung der Formeln (2), (3) und (4) einen neuen zeitlichen Mittelwert, eine neue zeitliche Leistung und eine neue zeitliche Varianz der Verschie bungsvektoren der Bildeinheiten. Anschließend wird bei Programmpunkt 17 von der Recheneinheit 2 die für jede Bildeinheit ermittelten Texturmerkmale verwendet, um nach Formel (2), (3) und (4) einen neuen zeitlichen Mittelwert, eine neue zeitliche Leistung und eine neue zeitliche Varianz der Texturmerkmale für jede Bildeinheit zu ermitteln.

Bei Programmpunkt 16 ermittelt die Recheneinheit unter Verwendung der ermittelten quadratischen Bildpunktdifferenzen unter Verwendung der Formeln (2), (3) und (4) einen neuen zeitlichen Mittelwert, eine neue zeitliche Leistung und eine neue zeitliche Varianz der quadra tischen Bildpunktdifferenzen für jede Bildeinheit. Die Recheneinheit 2 ersetzt anschließend die Bildsignale der Bildeinheiten des Referenzbildes, deren Verschiebungsvektoren Null sind, durch die Bildsignale der entsprechenden Bildeinheiten des aktuellen Bildes.

Bei Programmpunkt 19 ersetzt die Recheneinheit 2 die bisherigen zeitlichen Mittelwerte, die zeitliche Leistung und die zeitliche Varianz der Verschiebungsvektoren, der Texturmerkmale und der Bildpunktdifferenzen durch die neuen zeitlichen Mittelwerte, die neue zeitliche Leistung und die neue zeitliche Varianz, die nach den Formeln (2), (3) und (4) von der Recheneinheit berechnet werden.

Erfüllt ein Verschiebungsvektor einer Bildeinheit des aktuellen Bildes beim Programmpunkt 21 die Ungleichung (1), d. h. - aufgrund des beschriebenen Vorgehens bei der Meßgrößenerfassung - beschreiben alle Meßgrößen (Bildsignaländerung, Textur und Verschiebungsvektor) der betrachteten Bildeinheit eine nicht typische Szenensituation, so wird nach Programmpunkt 22 verzweigt. Bei Programmpunkt 22 erkennt die Recheneinheit 2 ein bewegtes Objekt und gibt mit Hilfe der Signalanzeige 5 ein Signal ab. Zugleich wird das aktuelle Bild in voller Auflösung auf dem Bildschirm 6 dargestellt. Beim folgenden Programmpunkt 26 ersetzt die Recheneinheit 2 das Referenzbild durch das aktuelle Bild.

Damit wird erreicht, daß die aktuelle Szene mit bewegtem Objekt die im weiteren verwendete typische Szenensituation beschreibt. Ändert sich die typische Szenensituation, so wird das Referenzbild durch den Objektalarm an die aktuelle Szenensituation angepaßt. Diese Adaption durch Neuinitialisierung wird so lange wiederholt, bis das Objekt zum Stillstand kommt, oder das Bild verläßt.

Anschließend folgt Programmpunkt 11 und das Programm wird erneut durchlaufen.

Die Änderung der Bildsignale des Referenzbildes wird in Abhängigkeit von der Größe der Verschiebungsvektoren entschieden. Dabei werden die folgenden Fälle unterschieden:

Der Verschiebungsvektor ist gleich Null, d. h. es ist keine gerichtete Bewegung im Bild vorhanden. Zeitliche Bildsignaländerungen können in dem betrachteten Bildbereich nicht durch Bewegung beschrieben werden. Ursachen: viele unterschiedliche Bewegungen innerhalb eines Bildbereiches, lokale Helligkeitsänderungen.

Verschiebungsvektor ungleich Null: nur für den Fall signifikanter Bewegung wird Objektalarm ausgelöst. Um auch bewegte Objekte erfas sen zu können, die sich langsam und gerichtet bewegen, wird der sta tistische Signifikanztest der Bewegungsbeschreibung neben der Ob jektdetektion auch für die Nachbearbeitung des Referenzbildes ver wendet. In allen Bildbereichen, in denen ein Verschiebungsvektor ungleich Null vorliegt, der jedoch einer typischen Situation ent spricht, wird das Referenzbild nicht nachgearbeitet, d. h. das Refe renzbild bleibt in diesen Bildbereichen unverändert.

Dieses Vorgehen führt dazu, daß sich kleine und gerichtete Bewegun gen bei einer Bewegungsschätzung zwischen aktuellem Kamerabild und Referenzbild zeitlich akkumulieren. Auf diese Weise kann zwischen einem Eindringling, der sich langsam durch das Bild bewegt, und einem Baum, der sich im Wind hin- und herbewegt, unterschieden wer den, da sich im ersten Fall die Bewegung aufakkumuliert und damit zeitlich betragsmäßig wächst, während im zweiten Fall die Bewegung mittelwertfrei ist, da der Baum fest mit dem Boden verankert ist.

Claims

1. Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern einer Sequenz, wobei ein Bild in Bildbereiche eingeteilt wird und für jeden Bildbereich das Bildsignal mit einem Referenzbild verglichen wird und/oder aus dem Vergleich ein Verschiebungsvektor ermittelt wird und die Änderung des Bildsignals und/oder die Größe des Verschiebungsvektors mit einer Schwelle verglichen werden und aus dem Vergleich ein bewegtes Objekt erkannt wird und im Fall des Erkennens eines bewegten Objektes ein Signal abgegegeben wird, dadurch gekennzeichnet, daß bei Erkennen eines bewegten Objektes das Bildsignals als neues Bildsignal des Referenzbildes abgespeichert wird, daß bei Nichterkennen eines bewegten Objektes die Bildsignale nur für die Bildbereiche, für die keine gerichtete Bewegung ermittelt wurde, als neue Bildsignale des Referenzbildes abgespeichert werden und das neue Referenzbild für den nächsten Vergleich verwendet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Bild bereich des aktuellen Bildes mit dem entsprechenden Bildbereich des Referenzbildes in bezug auf Texturmerkmale verglichen wird.

3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß bei dem Schwellwerttest der Meßgrößen die statistische Verteilung der verwendeten Meßgrößen - beschrieben durch Mittelwert und Varianz - verwendet werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß der Mit telwert und die Varianz für jeden Bildbereich separat ermittelt und für den Vergleich verwendet werden.

5. Verfahren nach Anspruch 3 und 4, dadurch gekennzeichnet, daß zur Ermittlung von Texturmerkmalen die Differenz zweier örtlich benach barter Bildpunkte verwendet werden.

6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeich net, daß das Bildsignal der Bildeinheit mit dem entsprechenden Refe renzbildsignal verglichen wird und daß, wenn die Bildsignaländerung einen festgelegten Betrag über oder unter einer festgelegten Bildsignalschwelle liegt, die Texturänderung der Bildeinheit des aktuellen Bildes im Vergleich zu der entsprechenden Bildeinheit des Referenzbildes mit einer festgelegte Schwelle verglichen wird und daß, wenn die Texturänderung mehr als einen festgelegten Wert von der festgelegten Schwelle abweicht, der Verschiebungsvektor des Bildbereiches in bezug auf den entsprechenden Bildbereich des Referenzbildes ermittelt wird und daß abschließend ein bewegtes Objekt erkannt und ein Signal abgegeben wird, wenn der Verschiebungsvektor größer als eine festgelegte Schwelle ist.

7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeich net, daß als Schwellwertvergleich für die Meßgrößen Bildsignalände rung und/oder Verschiebungsvektor und/oder Textur folgende Formel verwendet wird:
(v_i(x,y) - m_vi(x,y))²/(c_vi _*s_vi(x,y))² < 1, wobei mit c_vi eine Wichtungskonstante, mit vi(x,y) der aktuelle Meßwert der Meß größe vi an der Ortsposition (x,y), mit m_vi(x,y) der zeitliche Mittelwert der Meßgröße vi an der Ortsposition (x,y) und mit s_vi(x,y) die zeitliche Standardabweichung der Meßgröße vi an der Ortsposition (x,y) bezeichnet ist.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der Mit telwert und die Varianz der Meßgrößen Bildsignal, Verschiebungsvek tor und Textur für jeden Bildbereich mittels eines Tiefpasses er ster Ordnung gemäß folgender Formel geschätzt wird: m_vi(x, y₁, t) = r_*v_i(x, y) + (1 - r)_*m_vi(x, y, t - 1) bzw.
p_vi(x, y, t) = r_*v²_i(x, y) + (1 - r)_*p_vi(x, y, t - 1) und
s²_vi(x, y, t) = p_vi(x, y, t) - m²_vi(x, y, t),wobei mit m_vi(x, y, t), m_vi(x, y, t-1) der zeitliche Mittelwert der Meßgröße vi zum Zeitpunkt t bzw. t-1,
mit p_vi(x, y, t), p_vi(x, y, t-1) die zeitliche Leistung der Meßgröße vi zum Zeitpunkt t bzw. t-1, mit s²_vi(x, y, t) die zeitliche Varianz der Meßgröße vi zum Zeitpunkt t, mit v_i(x, y) der Wert der Meßgröße vi zum Zeitpunkt t an der Ortsposition (x, y) und mit r ein festgelegter Rekursionsfaktor des Tiefpasses bezeichnet ist.