AT502193A4 - Verfahren zur detektion bewegter objekte mit dynamischer hintergrundunterdrückung, sowie aktives pixel für optische sensoren - Google Patents

Description

  Die Erfindung betrifft ein Verfahren zur Detektion bewegter Objekte mit dynamischer Hintergrundunterdrückung, umfassend die Erzeugung eines Ausgangssignals vorgegebener Polarität bei Detektion einer Intensitätsänderung an einem aktiven Pixel und die Erzeugung eines Ausgangssignals entgegengesetzter Polarität bei Detektion einer entgegengesetzten Intensitätsänderung am selben Pixel, ein aktives Pixel für optische Sensoren, umfassend einen Transienten-Sensor und einen analogen Schaltkreis zur Signalvorverarbeitung und zum asynchronen Senden über vorzugsweise das Adress-Event-Protokoll, sowie einen MatrixSensor mit dynamischer Hintergrundunterdrückung, umfassend eine Anzahl von in mehreren Zeilen angeordneten aktiven Pixel und eine Auswerte-Elektronlk.
Eines der Hauptprobleme im Echtzeit-Überwachungsbereich (real-time surveillence)

   ist eine ausreichend schnelle und robuste Extraktion relevanter Objekte. Da es sich um einen frühen Schritt in der Datenverarbeitungskette handelt, hat das kritischen Einfluss auf die Leistungsfähigkeit des Gesamtsystems. Üblicherweise erfolgt eine Subtraktion des statischen Hintergrunds (background substraction -> foreground segmentation), wie beispielsweise in "Foreground segmentation using adaptive mixture modeis in color and depth", M. Harville, G.

   Gordon and 1 Woodfill, Proceedings of the IEEE Workshop on Detection and RecognitJon of Events in Video 2001, pp. 3-11, beschrieben Ist Trotz dessen Wichtigkeit gilt dieses Problem in der klassischen Bildverarbeitung noch Immer als schlecht gelöst.
Die meisten gebräuchlichen Algorithmen basieren entweder auf der Analyse der Video-Bilder unter Berücksichtigung verschiedener Merkmale wie Farbe, Bewegung, Textur, usw., wofür ein Beispiel in "A robust spatio-temporal Video object segmentation scheme with prestored background Information," J. Pan, C. Un, C. Gu, and M. Sun, Proc. IEEE Int Symp. Circuits and Systems, pp. 803-806, May 2002, beschrieben ist. oder verwenden verschiedene Pixel-Statistikmodelle, wie etwa "Background subtraction techniques", A. Mclvor, Proceedings of Image & Vision Computing New Zealand 2000([iota]VCNZOO).

   Beide Methoden sind sehr rechenaufwendig was eine Anwendung solcher Algorithmen im EchtzeitÜberwachungsbereich sehr einschränkt.
Bekannt sind andererseits neuromorphe/bioinspirierte Sensoren wie TransientenSensor oder Silicon-Retina als potentielle Grundlage für weitere Entwicklungen, die Intrinsische Eigenschaften wie Adaption und Kontrastsensttivität (Invarianz gegenüber Uchtverhäitnissen) bieten. Ein Transienten-Bildsensor, wie beispielsweise in den folgenden Publikationen von T. Delbrück and C. A. Mead: "Analog VLSI phototransductJon by continuous-time, adaptive, logarithmic photoreceptor drcuits, in Vision Chips: ImplementJng Vision algorithms with analog VLSI drcuits'', C Koch and H. U editors, IEEE Computer Society Press, pp. 139-161, 1995 ; T. Delbrück and C. A.

   Mead: "Tlme-derivative adaptive Silicon photoreceptor array", Infrared Sensors: Detectors, Electronics, and Signal Processing, 
1541: 92-99, Jay Jayadev, T.S. (Eds.), 1991 und J. Kramer: " An integrated optical transient sensor", IEEE Transactions on drcuits and Systems [pi], Analog and Digital Signal Processing, 49:(9) 612-628, Sep, 2002 , beschrieben, reagiert nur auf die Änderung des Intensitätswerts eines Pixels, und sendet diese Information asynchron über das so genannten Adress-EventProtokoll, erläutert etwa in "VLSI Analogs of Neuronal Visual Processing: A Synthesis of Form and FuncrJon", Misha Mahowald, Ph.D. Thesis, Computation and Neural Systems, California Institute of Technology, 1992.

   Dadurch werden nur bewegte Kanten im Bildfeld sichtbar und somit erfolgt automatisch eine dynamische Unterdrückung/Ausblendung des unbewegten Hintergrunds.
Allerdings bringt das auch wesentliche Nachteile mit sich, da die bewegten Objekte durch ihre Umrisse/Kanten dargestellt werden, d.h. Objekte aus dem Nahblickfeld des Sensors zerfallen in viele nicht zusammenhängende Konturen, was das Clustering/Gruppieren erheblich erschwert Überdies ist der Transienten-Sensor nicht in der Lage Objekte zu erkennen die plötzlich zum Stillstand kommen.

   Besonders in dem Zusammenhang mit Tracking/Verfolgung entpuppt sich das als ein wichtiges Problem (verschwinden von Personen, Fahrzeugen, usw...).
Die Aufgabe der voriiegenden Erfindung war daher ein Verfahren sowie eine Vorrichtung anzugeben, die bei wesentlicher Datenmengenreduktion durch Hintergrundadaption auch die Fähigkeit aufweist bewegte Objekte, und vor allem auch Objekte die im Blickfeld der Kamera vorübergehend zum Stillstand kommen, als solche zu erkennen.
Zur Lösung dieser Aufgabe ist das eingangs beschriebene Verfahren dadurch gekennzeichnet, dass durch das Ausgangssignal bei Detektion einer Intensitätsänderung an einem aktiven Pixel die kontinuierliche Aussendung von zusätzlichen Ausgangssignalen gleicher Polarität eingeleitet wird.

   Die Interpretation der Bilddaten und eine genaue Untersuchung der detektierten Bildobjekte erfolgt anschliessend in der nachgeschalteten Erkennungsstufe und sind nicht Gegenstand dieser Erfindung. Die Aussendung von Ausgangssignalen wird somit von der Vorderkante des Objektes gestartet und solange fortgesetzt, bis die nachlaufende Hinterkante des Objektes auftaucht Auf diese Weise wird der Innenraum zwischen Objektkonturen in dem Transient-Sensor-Bildfeid befüllt und das Objekt flächenhaft dargestellt
Vorzugsweise werden die zusätzlichen Ausgangssignale mit fester, vorzugsweise einstellbarer Taktrate gesendet
Wenn gemäss einer vorteilhaften Ausführungsform der Erfindung die Aussendung der zusätzlichen Ausgangssignale durch das Ausgangssignal entgegengesetzter Polarität am gleichen Pixel wieder beendet wird, werden somit Adress-Events,

   vorzugsweise in einer festen (einstellbaren) Taktrate, geliefert, bis ein gegenpoliges Addres-Event am Eingang auftaucht und die Schaltung zurücksetzt Das erfindungsgemässe Pixel wird derart polaritätssensitiv betrieben und reagiert auf die Polaritätsänderung.
Gemäss einer weiteren vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass die Aussendung der zusätzlichen Ausgangssignale nach Ablauf einer einstellbaren Zeitspanne automatisch beendet wird.

   Damit ist ein zusätzlicher interner ResetMechanismus gegeben, der das Zurücksetzen übernimmt wenn über eine bestimmte Zeit (hängt vor allem von der charakteristischen Zeitskala der Bewegungen in der Szene) keine Aktivität (Events) am Eingang und Ausgang vorbanden ist.
Vorzugsweise wird auf die Gesamtheit aller Pixel die morphologische Öffnung angewendet und we den verbleibende einzelne nichtzusammenhängende Pixel weggefiltert.

   Dadurch werden die grossen Strukturen der Bildmenge von innen abgerundet und kleine Strukturen beseitigt.
Ein aktives Pixel ist zur Lösung der eingangs gestellten Aufgabe erfindungsgemäss dadurch gekennzeichnet dass der Schaltkreis eine bistabile Schaltung enthält welche durch ein Ausgangssignal mit vorgebbarer Polarität des Translenten-Sensors aktiviert wird und dann kontinuierlich Ausgangssignale sendet Das erfindungsgemässe Pixel wird somit von der Vorderkante des Objektes aktiviert und bleibt so lange aktiv, bis die nachlaufende Hinterkante des Objektes auftaucht, um derart den Innenraum zwischen Objektkonturen zu befüllen und das Objekt flächenhaft darzustellen.
Vorteilhafterweise ist vorgesehen, dass die bistabile Schaltung in aktivem Zustand Ausgangssignale mit fester, vorzugsweise einstellbarer,

   Taktrate sendet
Gemäss einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass die bistabile Schaltung durch ein Ausgangssignal mit entgegengesetzter Polarität des Translenten-Sensors wieder deaktivierbar ist. Das erfindungsgemässe Pixel ist also polaritätssensitiv und reagiert auf die Polaritätsänderung.
Vorzugsweise ist vorgesehen, dass die bistabile Schaltung einen Reset-Kreis enthält der die Aussendung der zusätzlichen Ausgangssignale nach einer einsteilbaren Zeitspanne automatisch beendet Damit ist ein zusätzlicher interner Reset-Mechanlsmus gegeben, der das Zurücksetzen übernimmt, wenn über eine bestimmte, hauptsächlich von der charakteristischen Zeitskala der Bewegungen in der Szene abhängige, Zeit keine Aktivität am Eingang und Ausgang vorhanden Ist
Ein Matrix-Sensor (mit Zeilen- und Spaltenweiser Anordnung der Pixel)

   ist zur Lösung der erfindungsgemässen Aufgabe gekennzeichnet durch aktive Pixel, die gemäss einem der vorhergehenden Absätze aufgebaut sind. 
In der nachfolgenden Beschreibung soll die Erfindung anhand eines bevorzugten Beispiels und unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert werden.
Dabei zeigt die Rg. 1 das Konzept der Bildverarbeitung in Form eines Ablaufdiagramms, Rg. 2 ist eine Darstellung der prinzipiellen Funktionsweise der Erfindung, Rg. 3 zeigt die Wirkungsweise des erfindungsgemässen Verfahrens und der Vorrichtung für bewegte und unbewegte Objekte am Beispiel der Verarbeitung von Bildinformation, und Rg.

   4 ist eine Darstellung der Funktion des erfindungsgemässen aktiven Pixels in Form einer Rnite-State-Machine.
Die Erfindung stellt das Konzept eines so genannten ^intergmndadaptiven" Pixels mit Adress-Event-Interface dar, welches bereits eine entsprechende Nachverarbeitung der von einem Transienten-Sensor kommenden Address-Events beinhaltet Das Konzept setzt sich aus drei in der Rg. 1 dargestellten Verarbeitungsstufen dar. Die grundlegende Idee dabei ist die Annahme dass jedes bewegte Objekt im Bildfeld 1 des Transienten-Sensors 2 eine Kontur erzeugt die sich aus zwei Kanten zusammensetzt (eine Vorder- und einer Hinterkante) mit entgegengesetzter Polarität (eine positive Intensitätswertänderung am Pixel wird von einer negativen gefolgt und umgekehrt).

   Der Transienten-Sensor reagiert auf die Änderungen des Intensitätswertes, d.h. es werden nur die Kanten des Objektes im Bildfeld sichtbar, so dass sich eine Darstellung 3 ergibt Das Signal des Transienten-Sensors wird in der zweiten Verarbeitungsstufe, die ebenfalls noch im aktiven Pixel selbst erfolgt durch ein sogenanntes Rip-Rop-Neuron (FFN) 4 verarbeitet.
Das Rip-Rop-Neuron 4 besteht aus einer bistabilen Schaltung, die von einem am Eingang eintreffendem Adress-Event zum laufenden Aussenden von Adress-Events angeregt wird. Diese Einheit 4 liefert Adress-Events, In einer festen (einstellbaren) Taktrate, bis ein gegenpoliges Adress-Event am Eingang auftaucht und die Schaltung zurücksetzt, d.h. die FFN-Einheft ist Polaritätssensitiv und reagiert auf die Polaritätsänderung.

   Dadurch wird der Innenraum zwischen den Objektkonturen befällt In der dritten Verarbeitungsstufe 5 schliesslich, die entweder ebenfalls am aktiven Pixel vorgesehen oder aber in einer nachgeordneten digitalen Schaltung realisiert sein kann, wird das Ausgangssignal durch Anwendung der morphologischen Öffnung ausgebessert, so dass sich schliesslich die Darstellung des Objektes wie in Bildfeld 6 ergibt.
Durch die Erweiterung des aktiven Pixels um ein sogenanntes Rip-Rop-Neuron, also einer Einheit mit Poiartätegedächüiis-Effekt, die von der Vorderkante des Objektes aktiviert wird, und so lange aktiv bleibt bis die nachlaufende Hinterkante des Objektes auftaucht, ergeben sich die nachfolgend unter Bezugnahme auf die Rg. 2 erläuterten Effekte und Vorteile.

   Der Transienten-Sensor 2 reagiert wie im obersten Diagramm (a) dargestellt auf die Änderungen des Intensitätswerts am Pixel und generiert einen Address-Events-Datenstrom. 00 000
Eine positive Ranke erzeugt - wie im mittleren Diagramm (b) erläutert ist - ON-events (positive Ausgangssignale) A und die negative Ranke erzeugt OF Events (negative Ausgangssignale) B. Dieses Address-Event-Signal A, B wird von der FFN-Einheit 4 verarbeitet.

   Die FFN-Einheit 4 wird durch das erste eintreffende Event A aktiviert und wird erst durch das nachkommende gegenpolige Event B wieder zurückgesetzt was im untersten Diagramm (c) der Rg. 2 dargestellt ist Zwischen diesen Events A und B sendet die FFNEinheit 4 Adress-Events C aus.
Zusätzlich kann durch einen Internen Reset-Mechanismus gewährleistet sein, dass die FFN-Einheit 4 zurückgesetzt wird, wenn über eine bestimmte Zeit (hängt vor allem von der charakteristischen Zeitskala der Bewegungen In der Szene) keine Aktivität (Events) am Eingang und Ausgang vorhanden ist Auf diese Weise wird der Innenraum zwischen Objektkonturen in dem Transient-Sensor-Bildfeld befüllt und man bekommt "spikende" Rächen, wie sie auf der linken Seite in Rg. 3 dargestellt sind.

   Hier ist eine Momentanaufnahme eines sich bewegenden Objekts dargestellt, wobei aus der Videoszene (obere Bilder) mittels Simulation eines Transienten-Sensors 1 AE-Daten berechnet wurden (schwarz-weisse Punkte in den mittleren Bildern) und anschliessend das Bildfeld am Ausgang des hintergrundadaptiven Sensor (weisse Punkte in den unteren Bildern).
Der zweite entscheidende Vorteil des erfindungsgemässen Verfahrens ist, dass dadurch auch stehendbleibende Objekte im Bildfeld sichtbar bleiben, wie In Rg. 3 auf der rechten Seite zu erkennen ist Hier ist eine Momentanaufhahme zu dem Zeitpunkt dargestellt, wenn das Objekt stehen bleibt
In der dritten und letzten Verarbeitungsstufe, werden verbleibende aktive Pixel (d.h.

   Pixel die zu keinem Objekt gehören, entstanden durch Rauschen oder fehlende gegenpolige Events, durch die Anwendung der morphologischen Öffnung mit entsprechender Maske (Filter-Kerne = kernel) weggefiltert.
Da das Rip-Rop-Neuron 4 einen Gedächtnis-Effekt aufweist, lässt sich die Funktionsweise auch in einem Zustandsdlagramm (siehe Rg. 4) darsteilen. Die Kantenbeschriftung (IN/OUT) bezieht sich jeweils auf eine Änderung des Einganges (IN), die einen Zustandübergang auslöst und den zusätzlich am Ausgang ausgegebenen Wert (OUT). Der interne Reset-Mechanismus wird durch die Einführung der Zahl-Variablen (ent) berücksichtigt
Das vorgestellte Konzept kann grundsätzlich als Vorstufe dienen für alle höhere Bildverarbeitungsoperationen wie dustering, Objektidassifizierung oder Verfolgung (tracking).

   In erste Unie wegen der hohen Zeitauflösung des Sensors, gegeben durch Datenmengenreduktion und asynchrone Informationsübertragung, eignet sich dieses Konzept besonders für zeitkritische Anwendungen. Weitere mögliche Einsatzgebiete sind 
Verkehrsüberwachung (Erkennung von Gefahrsituation entstanden durch plötzlich stehen bleibende Fahrzeuge) oder in der Sicherheitsüberwachung (zB. Erkennung von stehengelassenen Gegenständen).
Patentansprüche

Claims (10)

1. Verfahren zur Detektion bewegter Objekte mit dynamischer Hintergrundunterdrückung, umfassend die Erzeugung eines Ausgangssignals vorgegebener Polarität bei Detektion einer Intensitätsändemng an einem aktiven Pixel und die Erzeugung eines Ausgangssignals entgegengesetzter Polarität bei Detektion einer entgegengesetzten Intensitätsänderung am selben Pixel, dadurch gekennzeichnet, dass durch das Ausgangssignal bei Detektion einer Intensitätsänderung an einem aktiven Pixel die kontinuierliche Aussendung von zusätzlichen Ausgangssignalen gleicher Polarität eingeleitet wird.

01

Patentansprüche:

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet dass die zusätzlichen Ausgangssignale mit fester, vorzugsweise einstellbarer Taktrate gesendet werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet dass die Aussendung der zusätzlichen Ausgangssignale durch das Ausgangssignal entgegengesetzter Polarität am gleichen Pixel wieder beendet wird.

4. Verfahren nach einem der Ansprüche 1, 2 oder 3, dadurch gekennzeichnet, dass die Aussendung der zusätzlichen Ausgangssignale nach Ablauf einer einstellbaren Zeltspanne automatisch beendet wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf die Gesamtheit aller Pixel die morphologische Öffnung angewendet wird und venbleibende einzelne nichtzusammenhängende Pixel weggeflltert werden.

6. Aktives Pixel für optische Sensoren, umfassend einen Transienten-Sensor und einen analogen Schaltkreis zur Signalvorverarbeitung und zum asynchronen Senden über vorzugsweise das Adress-Event-Protokoll, dadurch gekennzeichnet dass der Schaltkreis eine bistabile Schaltung (4) enthält welche durch ein Ausgangssignal (A) mit vorgebbarer Polarität des Transienten-Sensors (1) aktiviert wird, und dann kontinuierlich Ausgangssignale (C) sendet

7. Aktives Pixel nach Anspruch 6, dadurch gekennzeichnet, dass die bistabile Schaltung (4) in aktivem Zustand Ausgangssignale (C) mit fester, vorzugsweise einstellbarer, Taktrate sendet.

8. Aktives Pixel nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die bistabile Schaltung (4) durch ein Ausgangssignal (B) mit entgegengesetzter Polarität des Transienten-Sensors (1) wieder deaktivierbar ist.

9. Aktives Pixel nach Anspruch 6, 7 oder 8, dadurch gekennzeichnet, dass die bistabile Schaltung (4) eine Reset-Kreis enthält, der die Aussendung der zusätzlichen Ausgangssignale (C) nach einer einstellbaren Zeitspanne automatisch beendet (Fig. 4).

10. Matrix-Sensor mit dynamischer Hintergrundunterdrückung, umfassend eine Anzahl von in mehreren Zeilen angeordneten aktiven Pixel und eine Auswerte-Elektronik, dadurch gekennzeichnet, dass die aktiven Pixel gemäss einem der Ansprüche 6 bis 9 aufgebaut sind.

Wien, 31. August 2005

ARC Seibersdorf research GmbH in Wien (AT)

vertreten durch:

Patentanwälte & <EMI ID=8.1>