DE69515535T2

DE69515535T2 - Verfahren und Vorrichtung zum Bildvergleich

Info

Publication number: DE69515535T2
Application number: DE69515535T
Authority: DE
Inventors: Tetsujiro Kondo
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-01-31
Filing date: 1995-01-30
Publication date: 2000-07-27
Anticipated expiration: 2015-01-31
Also published as: EP0895426B1; EP0895423A2; EP0895426A3; DE69531364D1; KR950035414A; DE69531510D1; EP0893924B1; EP0893924A2; US5612751A; EP0895426A2; EP0893924A3; DE69515535D1; KR100366141B1; DE69531706D1; DE69531510T2; EP0665692A2; EP0665692A3; DE69531706T2; DE69531364T2; EP0665692B1

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Vergleichen von Bildern.
Eine Anwendung des Bewegungsvektors ist die Kompensation einer Bewegung beim Prädiktionskodieren digitaler Bilddaten. Als ein Beispiel ist das MPEG- (Moving Picture Coding Experts Group-)System, das ein internationales Standardsystem für ein hochleistungsfähiges Kodieren eines Bewegtbildes ist, vorgeschlagen worden. Das MPEG-System ist eine Kombination des DCT- (Discrete Cosine Transform-)Systems und eines Bewegungskompensations-Prädiktionskodierungs-Systems.
Fig. 1 zeigt ein Beispiel für eine Bewegungskompensation- Prädiktionskodierungs-Vorrichtung. Gemäß Fig. 1 werden digitale Videodaten über einen Eingangsanschluss 1 empfangen. Die digitalen Videodaten werden einer Bewegungsvektor-Erfassungsschaltung 2 und einer Subtrahierschaltung 3 zugeführt. Die Bewegungsvektor-Erfassungsschaltung 2 erfasst einen Bewegungsvektor zwischen einem gegenwärtigen Vollbild und einem Referenz-Vollbild (z. B. einem Vollbild, den das gegenwärtige Vollbild zeitlich folgt). Der Bewegungsvektor wird einer Bewegungskompensationsschaltung 4 zugeführt.
Der Bewegungskompensationsschaltung 4 wird ein Bild, das in einem Vollbildspeicher 5 gespeichert ist, zugeführt. Die Bewegungskompensationsschaltung 4 kompensiert die Bewegung des Bildes entsprechend dem Bewegungsvektor. Die kompensierten Daten werden der Subtrahierschaltung 3 und einer Addierschaltung 6 zugeführt. Die Subtrahierschaltung 3 subtrahiert Videodaten aus dem vorhergehenden Vollbild, das von der Bewegungskompensationsschaltung 4 empfangen ist, von Videodaten des gegenwärtigen Vollbildes für jedes Pixel und führt die Differenzdaten einer DCT-Schaltung 7 zu. Die DCT-Schaltung 7 führt einen DCT-Prozess für die Differenzdaten durch und führt einer Quantisierungsschaltung 8 Koeffizientendaten zu. Die Quantisierungsschaltung 8 requantisiert die Koeffizientendaten. Die Ausgangssignaldaten der Quantisierungsschaltung 8 werden einem Ausgangsanschluss P und einer Invers-Quantisierungsschaltung 10 zugeführt.
Die Invers-Quantisierungsschaltung 10 ist mit einer Invers- DCT-Schaltung 11 verbunden. Die Invers-Quantisierungsschaltung 10 und eine Invers-DCT-Schaltung 11 bilden eine lokale Dekodierschaltung, die inverse Prozesse zu denen der DCT- Schaltung 7 und der Quantisierungsschaltung 8 durchführt. Die Invers-DCT-Schaltung 11 führt der Addierschaltung 6 dekodierte Differenzdaten zu. Die Ausgangssignaldaten der Addierschaltung 6 werden durch den Vollbildspeicher 5 der Bewegungskompensationsschaltung 4 zugeführt. Die dekodierten Daten des vorhergehenden Vollbildes werden der Addierschaltung 6 von der Bewegungskompensationsschaltung 4 zugeführt. Auf diese Weise werden dekodierte Daten gebildet und in dem Vollbildspeicher 5 gespeichert.
Die Bewegungsvektor-Erfassungsschaltung 2 erfasst einen Bewegungsvektor entsprechend einem Blockanpassungs-Verfahren. In dem Blockanpassungs-Verfahren wird ein Prüfblock eines Referenz-Vollbildes in einem vorbestimmten Suchbereich bewegt, und es wird ein Block, der am besten mit einem Basisblock des gegenwärtigen Vollbildes übereinstimmt, erfasst, um dadurch einen Bewegungsvektor zu gewinnen. Auf diese Weise kann der Bewegungsvektor für jeden Block gewonnen werden. Es kann ein relativ großer Bewegungsvektor mit der Größe des gesamten Bildschirms oder 1/4 davon (wie in der Japanischen Patentoffenlegungs-Veröffentlichungsschrift Nr. 61-105178) gewonnen werden.
In dem Blockanpassungs-Verfahren, wie es in Fig. 2A gezeigt ist, wird ein Bild, z. B. ein Bild eines Vollbildes, das aus H horizontalen Pixeln x V vertikalen Reihen zusammengesetzt ist, in Blöcke segmentiert. Jeder der Blöcke ist aus F Pixeln · Q Pixeln zusammengesetzt, wie dies in Fig. 2B gezeigt ist. Gemäß Fig. 2B ist P = 5 und Q = 5. Zusätzlich ist c die Position des zentralen Pixels des Blocks.
Fig. 3A, Fig. 3B u. Fig. 3C zeigen die Beziehung von Positionen eines Basisblocks und eines Prüfblocks. Gemäß Fig. 3A, Fig. 3B u. Fig. 3C ist die zentrale Position des Basisblocks c, und die zentrale Position des Prüfblocks ist c'. Der Basisblock mit dem zentralen Pixel c ist ein bestimmter Basisblock des gegenwärtigen Vollbildes. Der Prüfblock des Referenz-Vollbildes, der mit dem Bild des Basisblocks übereinstimmt, liegt in dem Block mit der zentralen Position c' vor. Bei dem Blockanpassungs-Verfahren wird in einem vorbestimmten Suchbereich ein Prüfblock, der am besten mit einem Basisblock übereinstimmt erfasst, um dadurch einen Bewegungsvektor zu erfassen.
Gemäß Fig. 3A ist ein Bewegungsvektor (-1, -1), d. h. -1 Pixel in horizontaler Richtung und -1 Reihe in vertikaler Richtung erfasst. Gemäß Fig. 3B ist ein Bewegungsvektor (-3, -3) erfasst. Gemäß Fig. 3C ist ein Bewegungsvektor (-2, +1) erfasst. Der Bewegungsvektor wird für jeden Basisblock erfasst. Als die Polarität des Bewegungsvektors ist die Richtung, welche mit der Rasterabtastrichtung 15 übereinstimmt, "+".
Wenn der Suchbereich des Bewegungsvektors ± S Pixel in der horizontalen Richtung und ± T Reihen in der vertikalen Richtung ist, sollte der Basisblock mit dem Prüfblock mit dem Zentrum c' verglichen werden, das von dem Zentrum c des Basisblocks um ± S Pixel in der horizontalen Richtung und um ± T Reihen in der vertikalen Richtung abweicht. Gemäß Fig. 4 sollte der Basisblock, wenn die Position des Zentrums c des Basisblocks des gegenwärtigen Vollbildes R ist, mit (2S + 1) · (2T + 1) Prüfblöcken des Referenz-Vollbildes verglichen werden. In anderen Worten ausgedrückt heißt dies, dass alle Prüfblöcke, in denen das Zentrum c' vorliegt, verglichen werden sollten. Gemäß Fig. 4 ist S = 4 und T = 3.
Aus Schätzwerten der Vergleiche in dem Suchbereich (nämlich der Summe von Absolutwerten von Vollbild-Differenzen, der quadratischen Summe der Vollbild Differenzen, der Summe der n-ten Potenz der Absolutwerte der Vollbild-Differenzen) wird der Minimalwert erfasst, um dadurch Bewegungsvektoren zu erfassen. Der Suchbereich gemäß Fig. 4 ist ein Bereich, in dem das Zentrum der Prüfblöcke vorliegt. Der Suchbereich, welcher alle der Prüfblöcke enthält, ist (2S + P) · (2T + Q).
Fig. 5 zeigt einen Aufbau einer früher vorgeschlagenen Bewegungsvektorerfassungs-Vorrichtung. In Fig. 5, bezeichnet das Bezugszeichen 21 einen Eingangsanschluss, über den Bilddaten eines gegenwärtigen Vollbildes eingegeben werden. Die Bilddaten werden in einem Gegenwarts-Vollbildspeicher 23 gespeichert. Das Bezugszeichen 22 bezeichnet einen Eingangsanschluss, über den Bilddaten eines Referenz-Vollbildes eingegeben werden. Die Bilddaten werden in einem Referenz-Vollbildspeicher 24 gespeichert.
Der Lesebetrieb und der Schreibbetrieb des Gegenwarts-Vollbildspeichers 23 und des Referenz-Vollbildspeichers 24 werden durch eine Steuerschaltung 25 gesteuert. Aus dem Gegenwarts- Vollbildspeicher 23 werden Pixeldaten von Basisblöcken des gegenwärtigen Vollbildes ausgelesen. Aus dem Referenz-Vollbildspeicher 24 werden Pixeldaten von Prüfblöcken des Referenz-Vollbildes ausgelesen. In Zuordnung zu dem Referenz- Vollbildspeicher 24 ist eine Adressenbewegungsschaltung 26 vorgesehen. Die Steuerschaltung 25 veranlasst die Adressenbewegungsschaltung 26, die zentrale Position jedes der Prüfblöcke in dem Suchbereich Pixel für Pixel zu bewegen.
Die Ausgangssignaldaten des Gegenwarts-Vollbildspeichers 23 und die Ausgangssignaldaten des Referenz-Vollbildspeichers 24 werden einer Differenz-Erfassungsschaltung 27 zugeführt. Die Differenz-Erfassungsschaltung 27 erfasst die Differenz zwischen beiden der Eingangsdaten Pixel für Pixel. Die Ausgangssignaldaten der Differenz-Erfassungsschaltung 27 werden einer Absolutwert-Berechnungsschaltung 28 zugeführt, die das Eingangssignal in einen Absolutwert umwandelt. Der Absolutwert wird einer Kumulierschaltung 29 zugeführt, welche die Absolutwerte der Differenzen für jeden Block kumuliert und den kumulierten Wert einer Bestimmungsschaltung 30 als einen Schätzwert zuführt. Die Bestimmungsschaltung 30 erfasst einen Bewegungsvektor entsprechend der Summe der Absolutwerte der Differenzen, die auftreten, wenn jeder der Prüfblöcke in dem Suchbereich bewegt wird. In anderen Worten ausgedrückt heißt dies, dass die Position des Prüfblocks, der die minimale Summe der Absolutwerte der Differenzen erzeugt, als ein Bewegungsvektor erfasst wird.
Bei einem früher vorgeschlagenen Blockanpassungs-Verfahren sollte der Prozess zum Gewinnen der Summe der Absolutwerte von Vollbild-Differenzen zwischen Basisblöcken und Prüfblöcken in dem Suchbereich durchgeführt werden. In dem Beispiel, das in Fig. 2A, Fig. 2B, Fig. 3A, Fig. 3B, Fig. 3C u. Fig. 4 gezeigt ist, sollten (P · Q) Absolutwerte der Differenzen für alle der Suchpunkte, nämlich (2S + 1) · (2T + 1)-mal, kumuliert werden. Demzufolge kann die Anzahl von Berechnungen als (P · Q) · (2S + 1) · (2T + 1) ausgedrückt werden. Folglich werden bei dem Blockanpassungs-Verfahren das Ausmaß der Hardware und die Anzahl von Berechnungen groß.
Als ein praktisches Beispiel, wie es in Fig. 6 gezeigt ist, sei angenommen, dass P = 16, Q = 16, S = 2 und T = 2 ist. In diesem Beispiel sind die werte von S u. T aus Gründen einer einfachen Beschreibung und Veranschaulichung sehr klein. In Wirklichkeit wird ein größerer Suchbereich eingestellt. In Fig. 6 sind ein Basisblock und ein Prüfblock, der sich um (+2, +2) davon bewegt, veranschaulicht. In diesem Beispiel ist der Suchbereich in den horizontalen und vertikalen Richtungen ± 2. Die Anzahl von Suchpunkten beträgt (5 · 5 = 25).
Für einen Suchpunkt sollten Subtraktionen zum Berechnen der Differenzen von (16 · 16) Pixeln, Subtraktionen zum Berechnen der Absolutwerte derselben und Additionen der Absolutwerte durchgeführt werden. Zusätzlich sollte diese Operation für alle Suchpunkte (25 Suchpunkte) durchgeführt werden. Demzufolge ist klar, dass die Anzahl von Berechnungen von der Anzahl von Pixeln, die zu vergleichen sind, mal der Anzahl von Suchpunkten abhängt. Folglich wird die Anzahl von Berechnungen groß. In einem früher vorgeschlagenen System wird ein Pixel eines Basisblocks als ein Repräsentativpunkt-Pixel behandelt, und die Differenzen zwischen den Repräsentativpunkt- Daten und Daten des Prüfblocks werden wie gemäß der Japanischen Patentoffenlegungs-Veröffentlichungsschrift Nr. 62-25587 berechnet. In diesem System kann die Anzahl von Berechnungen, obwohl die Hardware vereinfacht werden kann oder die Prozesszeit bis zu einem gewissen Maß verkürzt werden kann, nicht bemerkenswert verringert werden.
Als Gegenmaßnahmen sind ein Verfahren zum Vereinfachen des Suchsystems und ein Verfahren zum Vereinfachen des Vergleichssystems vorgeschlagen worden. Bei dem älteren Verfahren wird ein Prüfblock, wenn er in einem Suchbereich bewegt wird, für jedes einer Anzahl von Pixeln bewegt, um dadurch einen Bewegungsvektor grob zu erfassen. Danach wird der Prüfblock in der Umgebung der erfassten Position für jedes Pixel bewegt, um dadurch einen Bewegungsvektor genau zu gewinnen. Dieses Verfahren ist als Zweischritt-Verfahren bekannt. Zusätzlich ist außerdem ein Dreischritt-Verfahren bekannt, bei dem die Anzahl von Schritten drei beträgt. Gemäß diesen Verfahren kann die Anzahl von Berechnungen, die für alle Suchpunkte notwendig sind, auf die Anzahl von Suchpunkten in der Umgebung der Bewegungsvektoren, die in jedem Schritt erfasst werden, verringert werden.
Überdies ist ein Verfahren zum Vereinfachen sowohl des Vergleichssystems als auch des Suchsystems vorgeschlagen worden. Bei diesem Verfahren wird die Anzahl von Pixeln eines Blocks durch einen Ausdünnungsprozess (nämlich beim Abtasten) herabgesetzt. Beispielsweise wird ein Block, der aus (16 · 16) Pixeln zusammengesetzt ist, wie in Fig. 7 gezeigt in jeder der horizontalen und vertikalen Richtungen auf 1/4 ausgedünnt. Auf diese Weise wird die Anzahl von Pixeln in dem Block auf 1/16 verringert. Für jeweils vier Pixel liegen Suchpunkte vor. Folglich können die Anzahl von Pixeln, die zu vergleichen sind, und die Anzahl von Suchpunkten verringert werden.
Als ein anderes Verfahren zum Vereinfachen sowohl des Vergleichssystems als auch des Suchsystems ist ein System vorgeschlagen worden, das einen hierarchischen Aufbau benutzt. Als ein Beispiel sind für das System ein Originalbild (als erste hierarchische Ebene bezeichnet), eine zweite hierarchische Ebene, in der die Anzahl von Pixeln in der ersten hierarchischen Ebene in jeder der horizontalen und vertikalen Richtungen mittels Tiefpassfilter und/oder Abtastprozess um 1/2 ausgedünnt wird, und eine dritte hierarchische Ebene, in welcher die Anzahl von Pixeln der zweiten hierarchischen Ebene in jeder der horizontalen und vertikalen Richtungen mittels Tiefpassfilter und/oder Abtastprozess um 1/2 ausgedünnt wird, definiert.
In der dritten hierarchischen Ebene wird eine Blockanpassung durchgeführt. Der Nullpunkt eines Blocks wird zu der Position bewegt, in welcher der Minimalwert erfasst ist. In dieser Position wird in der zweiten hierarchischen Ebene die Blockanpassung durchgeführt. Der Nullpunkt wird zu der Position bewegt, in welcher der Minimalwert erfasst ist. In dieser Position wird in der ersten hierarchischen Ebene die Blockanpassung durchgeführt. Zuletzt wird die Blockanpassung für jedes Pixel durchgeführt, um auf diese Weise einen Bewegungsvektor zu erfassen.
Es ist ein weiteres Verfahren zum Vereinfachen sowohl des Vergleichssystems als auch des Suchsystems vorgeschlagen worden. Bei diesem Verfahren werden jeweils ein Basisblock und ein Prüfblock in jeder der horizontalen und vertikalen Richtungen weiter in kleine Blöcke segmentiert, und es wird für jeden kleinen Block eine Merkmalsmenge extrahiert. In anderen Worten ausgedrückt heißt dies, dass eine Merkmalsmenge in jeder der horizontalen und vertikalen Richtungen jedes der kleinen Blöcke eines Basisblocks mit derjenigen eines Prüfblocks verglichen wird. Die Absolutwerte der Vergleichsergebnisse werden kumuliert. Das gewichtete Mittel der kumulierten Ergebnisse wird als das Vergleichsergebnis der Blöcke benutzt. Die Merkmalsmenge jedes kleinen Blocks ist z. B. das kumulierte Ergebnis der Pixeldaten des kleinen Blocks. Bei diesem Verfahren kann die Anzahl von Berechnungen, die für alle Pixel in einem Block notwendig sind, auf die Anzahl von kleinen Blöcken in den horizontalen und vertikalen Richtungen verringert werden.
In den zuvor beschriebenen verschiedenartigen Modifizierungen für die Blockanpassung kann, obwohl die Anzahl von Berechnungen verringert werden kann, ein Fehler erfasst werden, wenn ein Bewegungsvektor gewonnen ist. In anderen Worten ausgedrückt heißt dies, dass da das Vergleichsverfahren und das Suchverfahren vereinfacht sind, die Informationsmenge des Originalbildes verloren geht.
Praktischer ausgedrückt heißt dies, dass bei der Vereinfachung des Vergleichssystems, welche die Anzahl von Elementen (der zu vergleichenden Pixel) in einem Block herabsetzt, die Einzelheiten des Bildes Daten des Blocks verloren gehen. Auf diese Weise wird ein Fehler erfasst. Es sei nun der Fall angenommen, dass ein Basisblock und ein Prüfblock (die eindi mensionale Blöcke sind) wie in Fig. 8 gezeigt verglichen werden. Die Impulsform des Mittels für jeweils vier Pixel der Basisblock-Daten ist die gleiche wie diejenige der Prüfblock- Daten. Obwohl die Original-Impulsformen dieser zwei Block-Daten als das Vergleichsergebnis verschieden sind, wird festgestellt, dass sie miteinander übereinstimmen. Auf diese Weise wird ein Fehler erfasst.
Zur Lösung der zuvor beschriebenen Probleme ist ein Verfahren (wie gemäß der Japanischen Patentoffenlegungs-Veröffentlichungsschrift Nr. 5-24 8813) vorgeschlagen worden. Bei diesem Verfahren werden, wenn ein Basisblock und ein Prüfblock verglichen werden, konstante Komponenten und flüchtige Komponenten aus diesen extrahiert. Durch Vergleichen der konstanten Komponente des Basisblocks mit der konstanten Komponente des Prüfblocks und der flüchtigen Komponente des Basisblocks mit der flüchtigen Komponente des Prüfblocks wird eine Fehlererfassung verhindert. Bei dem Verfahren, das in Fig. 8 gezeigt ist, unterscheiden sich als ein Beispiel für die flüchtige Komponente, wenn der Absolutwert der Differenz der Mittelwerte gewonnen wird, die Basisblock-Daten bemerkenswert von dem Prüfblock. Demzufolge kann, wenn auf die flüchtigen Komponenten Bezug genommen wird, eine Fehlererfassung verhindert werden.
Bei dem Verfahren zum Vereinfachen des Suchsystem, das die Anzahl von Suchpunkten herabsetzt, kann wenn ein Bewegungsvektor grob erfasst wird, da die Genauigkeit niedrig ist, ein Fehler erfasst werden. Bei dem Verfahren zum Vereinfachen sowohl des Vergleichssystems als auch des Suchsystems kann, wenn ein Bewegungsvektor entsprechend einem Bild, das ausgedünnt oder durch ein Tiefpassfilter geleitet worden ist, erfasst ist, ein Fehler erfasst werden.
Wenn die Anzahl von Suchpunkten verringert wird, findet eine Phasenabweichung zwischen den Phasen der Suchpunkte und der Bewegung des Bildes statt. Die Phasenabweichung wird unter Bezugnahme auf Fig. 9 beschrieben. Gemäß Fig. 9 werden Suchpunkte für jeweils vier Pixel eines eindimensionalen Blocks gesetzt. Unterhalb der Impulsform eines Originalsignals sind Impulsformen, von denen das Originalsignal um ein Pixel, zwei Pixel, drei Pixels und vier Pixel bewegt ist, in dieser Reihenfolge gezeigt. In dem Fall, in dem die Phase am Beginn des Basisblocks die gleiche wie diejenige des Prüfblocks ist, passen diese Blöcke zueinander, wenn der Prüfblock gestoppt und um irgendein Vielfaches von vier Pixeln bewegt ist. In diesem Fall kann der Bewegungsvektor erfasst werden. Ansonsten kann der Bewegungsvektor nicht erfasst werden.
Insbesondere kann, wenn sich ein Bild bemerkenswert bewegt, selbst dann, wenn die wirkliche Bewegung des Bildes um drei Pixel oder weniger beträgt, der kumulierte Wert der Absolutwerte der Differenzen der Suchpunkte, die um vier Pixel voneinander entfernt sind, sehr groß werden. Wenn dieser kumulierte Wert kleiner als der kumulierte Wert der Absolutwerte der Differenzen bei anderen Suchpunkten ist, unterscheidet sich die erfasste Bewegung von der wirklichen Bewegung.
Die Druckschrift JP-A-5219419 offenbart eine Bewegungsvektor- Erfassungseinrichtung, die den Bewegungsvektor aus einer Korrelationsintegrations-Liste schätzt, die aus der Differenz zwischen Punkten von Blöcken zweier benachbarter Vollbilder erzeugt wird.
Verschiedene Ausführungsformen der Erfindung sind im einzelnen in den Ansprüchen angegeben.
Gemäß einer ersten Ausführungsform der Erfindung ist ein Bildvergleichs-Verfahren vorgesehen, das Schritte umfasst zum
Segmentieren erster Bilddaten in eine Vielzahl von Basisblöcken,
Segmentieren zweiter Pixeldaten in eine Vielzahl von Prüf blöcken,
Extrahieren repräsentativer Pixeldaten aus jedem der Basisblöcke,
Extrahieren von Merkmalsmengendaten aus jedem der Prüfblöcke, der Pixeldaten enthält, die den repräsentativen Pixeldaten entsprechen, wobei die Merkmalsmengendaten den Bereich der Pixeldaten des Prüfblocks repräsentieren, und
partiellen Vergleichen des Basisblocks mit dem Prüfblock durch Vergleichen der repräsentative Pixeldaten mit den Merkmalsmengendaten.
Gemäß einer zweiten Ausführungsform der Erfindung ist eine Bildvergleichs-Vorrichtung vorgesehen, die umfasst:
ein Mittel zum Segmentieren erster Bilddaten in eine Vielzahl von Basisblöcken,
ein Mittel zum Segmentieren zweiter Pixeldaten in eine Vielzahl von Prüfblöcken,
ein Mittel zum Extrahieren repräsentativer Pixeldaten aus jedem der Basisblöcke,
ein Mittel zum Extrahieren von Merkmalsmengendaten aus jedem der Prüfblöcke, der Pixeldaten enthält, die den repräsentativen Pixeldaten entsprechen, wobei die Merkmalsmengendaten den Bereich der Pixeldaten des Prüfblock repräsentieren, und
ein Mittel zum Vergleichen der repräsentativen Pixeldaten mit den Merkmalsmengendaten, um den Basisblock mit dem Prüfblock partiell zu vergleichen.
Als repräsentative Pixeldaten werden Pixeldaten z. B. in der zentralen Position eines Basisblocks extrahiert. Die repräsentative Pixeldaten werden mit einer Merkmalsmenge eines Prüfblocks verglichen. Beispielsweise werden ein Maximalwert MAX und ein Minimalwert MIN des Prüfblocks erfasst. Es wird festgestellt, ob der Wert der repräsentativen Pixeldaten in dem Bereich von MAX bis MIN enthalten sind oder nicht. Entsprechend dem Vergleichsergebnis wird ein Schätzwert erzeugt. Auf diese Weise kann die Anzahl von Berechnungen verringert werden, und es kann das Problem der Phasenabweichung gelöst werden.
Im folgenden wird die Erfindung anhand von Beispielen unter Bezugnahme auf die Figuren beschrieben, in denen gleiche Teile mit gleichen Bezugszeichen versehen sind.
Fig. 1 zeigt ein Blockschaltbild, das ein Beispiel einer Bewegungskompensation-Prädiktionskodierungs-Vorrichtung darstellt.
Fig. 2A u. Fig. 2B zeigen schematische Darstellungen zur Erklärung eines Bewegungsvektorerfassungs-Verfahrens gemäß einem früher vorgeschlagenen Blockanpassungs- Verfahren.
Fig. 3A, Fig. 3B u. Fig. 3C zeigen schematische Darstellungen zur Erklärung des Bewegungsvektorerfassungs-Verfahrens gemäß dem früher vorgeschlagenen Blockanpassungs-Verfahren.
Fig. 4 zeigt eine schematische Darstellung zur Erklärung eines Suchbereichs des Bewegungsvektorerfassungs- Verfahrens gemäß dem früher vorgeschlagenen Blockanpassungs-Verfahren.
Fig. 5 zeigt ein Blockschaltbild, das eine Bewegungsvektorerfassungs-Vorrichtung gemäß dem früher vorgeschlagenen Blockanpassungs-Verfahren darstellt.
Fig. 6 zeigt eine schematische Darstellung zur Erklärung einer Bewegungsvektorerfassung entsprechend dem früher vorgeschlagenen Blockanpassungs-Verfahren.
Fig. 7 zeigt eine schematische Darstellung zur Erklärung eines Blockanpassungs-Verfahrens entsprechend einem früher vorgeschlagenen Ausdünnungs-Verfahren.
Fig. 8 zeigt ein schematisches Diagramm zur Erklärung einer Fehlervergleichsverhinderungs-Technik, die vorgeschlagen worden ist.
Fig. 9 zeigt ein schematisches Diagramm zur Erklärung von Problemen in einem früher vorgeschlagenen vereinfachten Blockanpassungssystem.
Fig. 10 zeigt ein Blockschaltbild, das den Aufbau eines ersten Ausführungsbeispiels der vorliegenden Erfindung darstellt.
Fig. 11 zeigt eine schematische Darstellung eines Aufbaus von Blöcken gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
Fig. 12 zeigt ein Blockschaltbild, das eine Maximalwert/Minimalwert-Erfassungsschaltung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung darstellt.
Fig. 13 zeigt ein Flussdiagramm, das einen Prozess zum Vergleichen des Werts eines representativen Pixels, eines Maximalwerts und eines Minimalwerts und einen Prozess zum Erzeugen eines Schätzwerts darstellt.
Fig. 14 zeigt ein Blockschaltbild, das eine Schaltung zum Vergleichen des Werts eines representativen Werts, eines Maximalwerts und eines Minimalwerts und eine Schaltung zum Erzeugen eines Schätzwerts darstellt.
Fig. 15A u. Fig. 15B zeigen schematische Darstellungen zur Erklärung eines Suchbereichs gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
Fig. 16 zeigt ein Blockschaltbild, das ein zweites Ausführungsbeispiel der vorliegenden Erfindung darstellt.
Fig. 17 zeigt eine schematische Darstellung zur Erklärung eines Basisblocks, eines Prüfblocks und eines Schätzwerts gemäß dem zweite Ausführungsbeispiel der vorliegenden Erfindung.
Fig. 18 zeigt ein schematisches Diagramm, das einen Teil des Suchbereichs gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt.
Fig. 19 zeigt eine schematische Darstellung zur Erklärung einer Phasenkompensation.
Fig. 20 zeigt ein Blockschaltbild, das eine Bewegungsvektorerfassungs-Vorrichtung darstellt.
Fig. 21 zeigt eine schematische Darstellung eines Aufbaus von Blöcken.
Fig. 22 zeigt ein Flussdiagramm, das einen Prozess zum Vergleichen des Werts eines representativen Pixels, eines Maximalwerts und eines Minimalwerts und einen Prozess zum Erzeugen eines Schätzwerts darstellt.
Fig. 23 zeigt ein Blockschaltbild, das ein Schaltung zum Vergleichen des Werts eines Representativwerts, eines Maximalwerts und eines Minimalwerts und eine Schaltung zum Erzeugen eines Schätzwerts darstellt.
Fig. 24 zeigt ein schematisches Diagramm zur Erklärung eines Schätzwerts.
Fig. 25 zeigt eine schematische Darstellung zur Erklärung eines Suchbereichs.
Sig. 26 zeigt ein Blockschaltbild.
Fig. 27 zeigt ein schematisches Diagramm, das einen Teil eines Suchbereichs darstellt.
Fig. 28 zeigt eine schematische Darstellung zur Erklärung einer Phasenkompensation.
Fig. 29 zeigt ein Blockschaltbild.
Fig. 30 zeigt eine schematische Darstellung.
Fig. 31 zeigt ein Blockschaltbild, das einen Aufbau der Vorrichtung gemäß Fig. 29 darstellt.
Fig. 32 zeigt ein Blockschaltbild.
Fig. 33 zeigt eine schematische Darstellung des Aufbaus von Blöcken für die Vorrichtung gemäß Fig. 32.
Fig. 34 zeigt ein Flussdiagramm zur Erklärung der Erzeugung eines Schätzwerts.
Fig. 35 zeigt ein Blockschaltbild, das einen Aufbau zum Erzeugen eines Schätzwerts darstellt.
Fig. 36 zeigt ein schematisches Diagramm zur Erklärung des Schätzwerts.
Fig. 37 zeigt ein Blockschaltbild.
Fig. 38 zeigt ein Blockschaltbild.
Fig. 39 zeigt eine schematische Darstellung des Aufbaus von Blöcken.
Fig. 40 zeigt eine schematische Darstellung zur Erklärung der Erzeugung eines totalen Schätzwerts.
Fig. 41 zeigt ein schematisches Diagramm, das einen Teil eines Suchbereichs darstellt.
Fig. 42 zeigt ein Blockschaltbild.
Als nächstes wird unter Bezugnahme auf die Figuren eine Bewegungsvektorerfassungs-Vorrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung beschrieben.
Fig. 10 zeigt ein Blockschaltbild, welches das Ausführungsbeispiel darstellt. In Fig. 10 bezeichnet das Bezugszeichen 31 einen Eingangsanschluss für Bilddaten eines gegenwärtigen Vollbildes. Das Bezugszeichen 32 bezeichnet einen Eingangsanschluss für Bilddaten eines Referenz-Vollbildes. Das Bezugszeichen 33 bezeichnet einen Gegenwarts-Vollbildspeicher, der Bilddaten des gegenwärtigen Vollbildes speichert. Das Bezugszeichen 34 bezeichnet einen Referenz-Vollbildspeicher, der Bilddaten des Referenz-Vollbildes speichert. Der Lesevorgang und der Schreibvorgang des Gegenwarts-Vollbildspeichers 33 und des Referenz-Vollbildspeichers 34 werden durch eine Steuerschaltung 35 gesteuert. In Zuordnung zu dem Referenz-Vollbildspeicher 34 ist eine Adressenbewegungsschaltung 36 vorgesehen. Die Adressenbewegungsschaltung 6 wird durch die Steuerschaltung 35 gesteuert. Auf diese Weise wird der Prüfblock in dem Referenz-Vollbild bewegt.
Der Gegenwarts-Vollbildspeicher 33 gibt unter Steuerung durch die Steuerschaltung 35 Basisblock-Daten aus. Die Basisblock- Daten werden einer Repräsentativwert-Extrahierschaltung 37 zugeführt. Die Repräsentativwert-Extrahierschaltung 37 extrahiert einen repräsentativen Wert für jeden Basisblock. Der repräsentative Wert repräsentiert den Wert eines repräsentativen Pixels. Beispielsweise ist der repräsentative Wert z, wie in Fig. 11 gezeigt, ein Wert x des Pixels in der zentralen Position eines Basisblocks, der aus (3 · 3) Pixeln zusammengesetzt ist. Der repräsentative Wert kann der Wert des Pixels in einer anderen Position des Basisblocks sein. Alternativ dazu kann der repräsentative Wert der Maximalwert, der Minimalwert oder der extreme Wert des Basisblocks sein.
Der Referenz-Vollbildspeicher 34 gibt unter Steuerung durch die Steuerschaltung 35 Prüfblock-Daten aus. Wie im Falle der Basisblöcke hat jeder der Prüfblöcke, wie dies in Fig. 11 gezeigt ist, einen zweidimensionalen Bereich, der aus (3 · 3) Pixeln zusammengesetzt ist. Die Werte von neun Pixeln jedes der Prüfblöcke sind mit a, b, c, ... u. i bezeichnet. Das Ausgangssignal wird einer Maximalwert/Minimalwert- (MAX/MIN-)Erfassungsschaltung 38 zugeführt. Die MAX/MIN-Erfassungsschaltung 38 erfasst einen Maximalwert MAX und einen Minimalwert MIN als Merkmalsmengen des Prüfblocks. Als die Merkmalsmengen können zwei Werte aus den Werten MAX, MIN und einem Dynamikbereich DR (= MAX - MIN) benutzt werden. Alternativ dazu können die Merkmalsmenges (Av + σ) und (Av - σ) sein, wobei Av der Mittelwert des Prüfblocks ist und σ die Standardabweichung desselben ist.
Ein Ziel der Blockanpassung ist nicht auf das gegenwärtige Vollbild und das Referenz-Vollbild (d. h. das zeitlich dem gegenwärtigen Vollbild folgende oder vorhergehende Vollbild) begrenzt. Beispielsweise kann die vorliegende Technik angewendet werden, wenn ein Bewegungsvektor zwischen zwei unbewegten Bildern erfasst wird oder wenn ein Bewegungsvektor zwischen Bildern mit unterschiedlichen Auflösungen erfasst wird. Zusätzlich zum Erfassen eines Bewegungsvektors kann die vorliegende Technik angewendet werden, wenn zwei unbewegte Bilder verglichen werden. In anderen Worten ausgedrückt heißt dies, dass wenn ein unbewegtes Bild, das z. B. ein Gruppen foto ist, als ein Referenz-Bild behandelt wird und ein Foto einer bestimmten Person als ein betrachtetes Bild behandelt wird, diese Bilder verglichen werden, um zu erfassen, in welcher Position das betrachtete Bild in dem Referenz-Bild vorliegt. In diesem Beispiel wird das gesamte Referenz-Bild der Suchbereich.
Fig. 12 zeigt ein Beispiel für die MAX/MIN-Erfassungsschaltung 38. Gemäß Fig. 12 werden in der Erfassungsschaltung MAX/MIN 38 Pixeldaten eines Prüfblocks über einen Eingangsanschluss 51 zugeführt. Die Eingangssignal-Daten werden einer Zeitschaltsignal-Erzeugungsschaltung 52 und Auswahlschaltungen 53 u. 54 zugeführt. Die Zeitschaltsignal-Erzeugungsschaltung 52 erzeugt einen Abtasttakt und ein Block-Zeitschaltsignal. Der Abtasttakt ist mit den Pixeldaten synchronisiert. Das Block-Zeitschaltsignal repräsentiert die Abgrenzung eines Blocks.
Die Auswahlschaltung 53 gibt selektiv das größere von zwei Pixeln aus. Die Auswahl schal tung 54 gibt selektiv das kleinere der zwei Pixel aus. Ausgangssignaldaten der Auswahlschaltung 53 werden einer Halteschaltung 55 und einem Register 57 zugeführt. Ausgangssignaldaten der Auswahlschaltung 54 werden einer Halteschaltung 56 und einem Register 58 zugeführt. Ausgangssignaldaten der Register 57 u. 58 werden jeweils den Auswahlschaltungen 53 u. 54 zugeführt. Von der Halteschaltung 55 wird ein Maximalwert MAX einem Ausgangsanschluss 59 zugeführt. Von der Halteschaltung 56 wird ein Minimalwert MIN einem Ausgangsanschluss 60 zugeführt.
In einem Anfangszustand des Registers 57, in dem keine Daten eines Prüfblocks eingegeben worden sind, ist das Register 57 auf Null gesetzt worden. In dem Register 57 werden Ausgangssignaldaten der Auswahlschaltung 53 gespeichert. Durch die Auswahlschaltung 53 werden ein größerer Wert der Ausgangssignaldaten des Registers 57 und die Eingangs-Pixeldaten ausge wählt. Auf diese Weise ist, wenn nächste Pixeldaten empfangen werden, der Maximalwert der früheren Pixeldaten in dem Register 57 gespeichert worden. Wenn neun Pixel a bis i eines Prüfblocks empfangen sind, gibt die Auswahlschaltung 53 den Maximalwert MAX des Prüfblocks aus. Der Maximalwert MAX wird durch die Halteschaltung 55 gehalten. Der Minimalwert MIN des Prüfblocks wird in der gleichen Weise wie der Maximalwert MAX erfasst und dem Ausgangsanschluss 60 zugeführt.
Der repräsentative Wert x und die erfassten Werte MAX u. MIN werden einer Vergleichsschaltung 39 und einer Schätzwert-Berechnungsschaltung 40 zugeführt. Fig. 13 zeigt ein Flussdiagramm, das die Software-Prozesse der Vergleichsschaltung 39 und der Schätzwert-Berechnungsschaltung 40 darstellt. Wenn der Vergleichsprozess gestartet ist, wird in einem Schritt Öl bestimmt, ob x > MAX ist oder nicht. Wenn das Bestimmungsergebnis (J) ist, setzt sich der Fluss zu Schritt 62 fort. In Schritt 62 wird ein Schätzwert Δ = x - MAX erzeugt.
Wenn das Bestimmungsergebnis in Schritt 61 (N) ist, setzt sich der Fluss zu Schritt 63 fort. In Schritt 63 wird bestimmt, ob x < MIN ist oder nicht. Wenn das Bestimmungsergebnis (J) ist, wird Δ = MIN - x erzeugt. Wenn das Bestimmungsergebnis in Schritt 63 (N) ist (nämlich wenn MIN ≤ x ≤ MAX ist), wird in Schritt 65 Δ = 0 gesetzt. In Schritt 66 wird der Schätzwert Δ ausgegeben.
Fig. 14 zeigt ein Blockschaltbild, das einen Hardware-Aufbau der Vergleichsschaltung 39 und der Schätzwert-Berechnungsschaltung 40 darstellt. Der Vergleichsschaltung 39 werden der repräsentative Wert x, der Wert MAX und der Wert MIN zugeführt. Die Vergleichsschaltung 39 erzeugt ein 2-Bit-Vergleichsausgangssignal. Eine Auswahlschaltung 71 wird entsprechend dem Vergleichsausgangssignal gesteuert. Eine Subtrahierschaltung 72 führt einem Eingangsanschluss a der Auswahlschaltung 71 (x - MAX) zu. Einem Eingangsanschluss b der Aus wahlschaltung 71 werden Null-Daten zugeführt. Einem Eingangsanschluss c der Auswahlschaltung 71 wird von einer Subtrahierschaltung 73 (MIN - x) zugeführt.
Die 2-Bit-Ausgangssignaldaten der Vergleichsschaltung 39 repräsentieren drei Beziehungen, nämlich x > MAX, x < MIN u. MIN ≤ x ≤ MAX. Die Eingangsanschlüsse a, b u. c der Auswahlschaltung 71 werden entsprechend diesen Beziehungen ausgewählt. Auf diese Weise wird der Schätzwert Δ erzeugt. Der Schätzwert Δ, der durch die Schätzwert-Berechnungsschaltung 40 erzeugt ist, wird einem Schätzwert-Speicher 41 zugeführt.
Wie in Fig. 15A gezeigt ist der Schätzwert Δ = 0, wenn ein repräsentativer Wert x in dem Bereich von dem Wert MIN bis zu dem Wert MAX eines Prüfblocks enthalten ist. Wenn der repräsentative Wert x kleiner als MIN oder größer als MAX ist, steigt der Schätzwert Δ entsprechend an. In Wirklichkeit wird, da ein Rauschen auftritt, ein Rauschrand gesetzt, um dadurch einen Schätzwert Δ zu erzeugen, der sich ändert, wie dies durch eine gestrichelte Linie in Fig. 15A gezeigt ist. Der Aufbau, welcher in Fig. 14 gezeigt ist, ist ein Beispiel für die vorliegende Technik. In anderen Worten ausgedrückt heißt dies, dass durch eine Kombination mit einer Torschaltung oder einer Zwei-Eingänge-Auswahlschaltung eine Vielfalt von Aufbauten gebildet werden kann. Alternativ dazu kann als ein Schätzwert der Absolutwert einer Differenz, der Wert einer n-ten Potenz der Differenz usf. benutzt werden.
Die Schätzwerte werden für die Prüfblöcke entsprechend den repräsentativen Pixeln des Referenz-Vollbildes berechnet. Die Größe des Suchbereichs beträgt (3 · 3) Basisblöcke und (3 · 3) Prüfblöcke. Demzufolge beträgt der Suchbereich (9 · 9) Pixel. In diesem Beispiel werden, wie in Fig. 15B gezeigt, neun Schätzwerte Δ1 bis Δ9 gewonnen. Die Schätzwerte werden in dem Schätzwert-Speicher 41 gespeichert. Die Position des Basisblocks liegt in der zentralen Position des Suchbereichs (nämlich in der Position des Schätzwerts Δ5).
Zurückkommend auf Fig. 10 ist festzustellen, dass die Schätzwerte unter Steuerung durch die Steuerschaltung 35 in dem Schätzwert-Speicher 41 gespeichert werden. Der Minimalwert der neun Schätzwerte Δ1 bis Δ9 wird durch eine Minimalwert- Erfassungsschaltung 42 erfasst. Die Position, in der der Minimalwert vorliegt, ist ein Bewegungsvektor des Basisblocks.
Als nächstes wird ein anderes Ausführungsbeispiel (im folgenden als zweites Ausführungsbeispiel bezeichnet) der vorliegenden Erfindung beschrieben. Fig. 16 zeigt den Aufbau gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung. Gleiche Teile, wie sie auch in dem ersten Ausführungsbeispiel vorgesehen sind, das in Fig. 10 gezeigt ist, sind mit gleichen Bezugszeichen versehen. In dem Aufbau, der in Fig. 16 gezeigt ist, sind Kleinblock-Segmentierungsschaltungen 44 u. 45 mit dem Gegenwarts-Vollbildspeicher 33 bzw. dem Referenz- Vollbildspeicher 34 verbunden. Zusätzlich ist eine Kumulierschaltung 46 mit der Schätzwert-Berechnungsschaltung 40 verbunden.
In dem zweiten Ausführungsbeispiel wird ein Bereich von (3 · 3) Pixeln, wie in Fig. 17 gezeigt, als ein kleiner Block behandelt. Ein Bereich von (9 · 9) Pixeln, in dem (3 · 3) kleine Blöcke in den vertikalen und horizontalen Richtungen angeordnet sind, wird als ein Basisblock oder ein Prüfblock behandelt. In Fig. 17 sind für den Basisblock nur repräsentative Pixel in zentralen Positionen der kleinen Blöcke desselben gezeigt. Ein repräsentativer Wert jedes kleinen Blocks des Basisblocks wird mit dem Wert MAX und dem Wert MIN jedes kleinen Blocks des Prüfblocks verglichen. In gleicher Weise wie in dem ersten Ausführungsbeispiel wird für jeden kleinen Block ein Schätzwert Δ berechnet.
Durch Vergleichen eines Basisblocks mit einem Prüfblock, der sich in einer vorbestimmten Position befindet, und durch Berechnen von Schätzwerten werden Schätzwerte Δ1 bis Δ9 gewonnen. Die Schätzwerte werden durch die Kumulierschaltung 46 kumuliert. In anderen Worten ausgedrückt heißt dies, dass die Kumulierschaltung 46 eine Kumulation ΣΔ = Δ1 + Δ2 + ... + Δ9 durchführt. Der Prüfblock wird in dem Suchbereich bewegt. Bei jedem Suchpunkt wird der kumulierte Wert der Schätzwerte gewannen. Der Minimalwert der kumulierten Schätzwerte wird durch die Minimalwert-Erfassungsschaltung 42 erfasst. An einem Ausgangsanschluss 43 wird ein Bewegungsvektor gewonnen, welcher der Position des Prüfblocks entspricht, der den Minimalwert erzeugt.
Fig. 18 zeigt ein schematisches Diagramm, das einen Teil eines Suchbereichs für ± 5 Pixel (durch gestrichelte Linien angedeutet) darstellt. Unter der Annahme, dass die untere rechte Ecke des Basisblocks ein Basispunkt ist, sind Koordinatenachsen (x, y) gezeigt, die jeweils durch drei Pixel in Abschnitte unterteilt sind. Der Basispunkt wird vorzugsweise in einer Position dem Zentrum des Blocks so nahe wie möglich angeordnet. Wenn der Prüfblock in der Position (+5, +5), die in Fig. 18 gezeigt ist, den Minimalwert der kumulierten Schätzwerte erzeugt, wird ein Bewegungsvektor (+15 (= 5 · 3), +15 (= 5 · 3)) ausgegeben.
Bei der vorliegenden Technik wird ein repräsentatives Pixel eines Basisblocks mit einem entsprechenden Prüfblock (Bereich) verglichen. Als Beträge, die alle Pixel a bis i des Prüfblocks repräsentieren, werden z. B. der Maximalwert desselben und der Minimalwert desselben gewonnen. Wenn der Wert x des repräsentativen Pixels nicht in dem Bereich enthalten ist, kann das repräsentative Pixel (x) nicht mit dem Prüfblock verglichen werden. Herkömmlicherweise kann, wenn die Anzahl von Suchpunkten herabgesetzt wird, infolge einer Phasenabweichung ein Fehler erfasst werden. Wenn jedoch die Anzahl von Suchpunkten auf 1/3 (alle drei Pixel) herabgesetzt ist, kann der selbe Prozess als die Vollsuchoperation durchgeführt werden. In anderen Worten ausgedrückt heißt dies, dass der Vergleich ohne eine Phasenabweichung durchgeführt werden kann.
Fig. 19 zeigt eine schematische Darstellung zur Erklärung der Tatsache, dass in dem Aufbau gemäß dem vorliegenden Ausführungsbeispiel keine Phasenabweichung stattfindet. Aus Gründen der Einfachheit sei ein eindimensionaler Block angenommen, der aus drei Pixeln mit Werten a, b u. c zusammengesetzt ist. In Fig. 19 sind alle drei Pixel gestrichelte Linien gezeigt. Der eindimensionale Block wird als ein Basisblock betrachtet. Der Wert b des zentralen Pixels ist ein repräsentativer Wert des Basisblocks. In Fig. 19 sind Bewegungen des Basisblocks um 0 Pixel, +1 Pixel, -1 Pixel, +2 Pixels, +3 Pixels und +4 Pixels gezeigt.
Wie aus Fig. 19 ersichtlich liegt, wenn der Basisblock um ± 1 Pixel bewegt wird, der repräsentative Wert b in dem Bereich von drei Pixeln vor. Auf diese Weise kann, wenn der Basisblock um ± 1 Pixel bewegt wird, dieser mit dem Prüfblock verglichen werden, und dadurch wird der Schätzwert Δ 0. Die Bewegungen des Basisblocks um +2 Pixel, +3 Pixel und +4 Pixel können durch die Vergleiche mit dem nächsten Prüfblock erfasst werden. Auf diese Weise ist es nicht notwendig, den Bereich des Prüfblocks (kleine Blöcke) mit demjenigen des Basisblocks zu überlappen. In dem herkömmlichen Vereinfachungs-Verfahren, das die Anzahl der Suchpunkte herabsetzt, werden nur die Bewegungen des Basisblocks um 0 Pixel und irgendein Vielfaches der Länge des Suchpunkts präzise erfasst. Eine solche Phasenabweichung kann jedoch kompensiert werden.
Der wirkliche Aufbau kann in vielfältiger Weise modifiziert werden. Beispielsweise kann zusätzlich zu dem zuvor beschriebenen System ein System benutzt werden, das eine flüchtige Komponente beachtet, um auf diese Weise einen Fehler infolge einer solchen Vereinfachung zu verhindern. Überdies kann, wenn ein Bewegungsvektor gewonnen wird, die Genauigkeit desselben eher ein halbes Pixel als ein ganzes Pixel betragen.
Ebensogut wie eine Vereinfachung der Suchpunkte vorgenommen werden kann, können die Anzahl von Berechnungen und die Anzahl von Vergleichen bemerkenswert verringert werden. Zusätzlich kann ein Fehler infolge einer Phasenabweichung verhindert werden.
Als nächstes wird unter Bezugnahme auf die Figuren eine weitere Bewegungsvektorerfassungs-Vorrichtung beschrieben. In Fig. 20 bezeichnet das Bezugszeichen 81 einen Eingangsanschluss für Bilddaten eines gegenwärtigen Vollbildes. Das Bezugszeichen 82 bezeichnet einen Eingangsanschluss für Bilddaten eines Referenz-Vollbildes. Das Bezugszeichen 83 bezeichnet einen Gegenwarts-Vollbildspeicher, der Bilddaten des gegenwärtigen Vollbildes speichert. Das Bezugszeichen 84 bezeichnet einen Referenz-Vollbildspeicher, der Bilddaten des Referenz-Vollbildes speichert. Die Lese-Operation und die Schreib-Operation des Gegenwarts-Vollbildspeichers 83 und des Referenz-Vollbildspeichers 84 werden durch eine Steuerschaltung 85 gesteuert. In Zuordnung zu dem Referenz-Vollbildspeicher 84 ist eine Adressenbewegungsschaltung 86 vorgesehen. Die Adressenbewegungsschaltung 86 wird durch die Steuerschaltung 85 gesteuert. Auf diese Weise wird der Prüfblock in dem Referenz-Vollbild bewegt.
Der Gegenwarts-Vollbildspeicher 83 gibt unter Steuerung durch die Steuerschaltung 85 Basisblock-Daten aus. Die Basisblock- Daten werden einer Maximalwert/Minimalwert- (MAX 1/MIN 1-) Erfassungsschaltung 87 zugeführt. Die MAX 1/MIN 1-Erfassungsschaltung 87 extrahiert einen Maximalwert MAX 1 und einen Minimalwert MIN 1 als erste Merkmalsmengen für jeden Basisblock. Jeder Basisblock ist aus z. B. (2 · 4) Pixeln zusam mengesetzt, wie dies in Fig. 21 gezeigt ist. Als die ersten Merkmalsmengen können zwei aus den Werten MAX 1, MIN 1 und dem Dynamikbereich DR 1 (= MAX 1 - MIN 1) benutzt werden. Zusätzlich können als die ersten Merkmalsmenges Av1 + Δ1 und Av1 - Δ1 benutzt werden, wobei Av1 ein Mittelwert des Basisblocks ist und σ1 eine Standardabweichung desselben ist.
Der Referenz-Vollbildspeicher 84 gibt unter Steuerung durch die Steuerschaltung 85 modifizierte Prüfblock-Daten aus. Wie im Falle des Basisblocks hat jeder Prüfblock einen zweidimensionalen Bereich, der aus (2 · 4) Pixeln zusammengesetzt ist, wie dies in Fig. 21 gezeigt ist. Ein modifizierter Prüfblock wird durch Zufügen eines Phasenkompensations-Bereichs aus ± 1 Reihe x ± 2 Pixeln zu dem Prüfblock zusammengesetzt. Wie in Fig. 20 gezeigt werden modifizierte Prüfblock-Daten, die aus that is of (4 · 8) Pixels zusammengesetzt sind (Fig. 21), einer Maximalwert/Minimalwert- (MAX 2/MIN 2-) Erfassungsschaltung 88 zugeführt. Die MAX 2/MIN 2- Erfassungsschaltung 88 erfasst einen Maximalwert MAX 2 und einen Minimalwert MIN 2 als zweite Merkmalsmengen. Als die zweiten Merkmalsmengen können zwei aus den Werten MAX 2, MIN 2 und dem Dynamikbereich DR 2 (= MAX 2 - MIN 2) benutzt werden. Zusätzlich können als die zweiten Merkmalsmengen Av + Δ und Av - Δ benutzt werden, wobei Av2 ein Mittelwert des Prüfblocks ist und σ2 eine Standardabweichung desselben ist.
Ein Beispiel für die MAX 1/MIN 1-Erfassungsschaltung 87 könnte unter Bezugnahme auf Fig. 12 erklärt werden. Wenn acht Pixel eines Basisblocks von der MAX 1/MIN 1-Erfassungsschaltung 87 empfangen sind, gibt die Auswahlschaltung 53 den Maximalwert MAX 1 des Prüfblocks aus. Der Maximalwert MAX 1 wird durch die Halteschaltung 55 gehalten. Der Minimalwert MIN 1 des Basisblocks wird in gleicher Weise wie der Maximalwert MAX 1 erfasst und dem Ausgangsanschluss 60 zugeführt. Der Aufbau der MAX 2/MIN 2-Erfassungsschaltung 88 ist der gleiche wie der in Fig. 12 gezeigte. Die MAX 2/MIN 2-Erfas sungsschaltung 88 erfasst einen Maximalwert MAX 2 und einen Minimalwert 2 von den 32 Pixeln des modifizierten Prüfblocks.
Die erfassten Werte MAX 1, MIN 1, MAX 2 u. MIN 2 werden einer Vergleichsschaltung 89 und einer Schätzwert-Berechnungsschaltung 90 zugeführt. Fig. 22 zeigt ein Flussdiagramm, das Software-Prozesse der Vergleichsschaltung 89 und der Schätzwert- Berechnungsschaltung 90 darstellt. Wenn der Vergleichsprozess gestartet ist, wird in einem Schritt 101 bestimmt, ob MAX 1 > MAX 2 ist oder nicht. Wenn das Bestimmungsergebnis (N) lautet (nämlich wenn MAX 2 ≥ MAX 1 ist), setzt sich der Fluss zu Schritt 102 fort. In Schritt 102 wird ein Schätzwert Δ1 = 0 gesetzt. In Schritt 103 wird bestimmt, ob MIN 1 < MIN 2 ist oder nicht. Wenn das Bestimmungsergebnis (N) lautet (nämlich wenn MIN 1 ≥ MIN 2 ist), setzt sich der Fluss zu Schritt 104 fort. In Schritt 104 wird ein Schätzwert Δ2 = 0 gesetzt. Auf diese Weise werden in Schritt 105a die Schätzwerte Δ1 = 0 und Δ2 = 0 erzeugt. Auf diese Weise wird bestimmt, dass der Minimalwert MIN 1 und der Maximalwert MAX 1 des Basisblocks in dem Bereich von dem Minimalwert MIN 2 bis zu dem Maximalwert MAX 2 des modifizierten Prüfblock enthalten sind und dass der Basisblock mit dem Prüfblock verglichen worden ist. Wenn das Bestimmungsergebnis in Schritt 103 (J) lautet, werden in Schritt 105b Schätzwerte Δ1 = 0 und Δ2 = MIN 2 - MIN 1 erzeugt.
Wenn das Bestimmungsergebnis in Schritt 101 (J) lautet, setzt sich der Fluss zu Schritt 106 fort. In Schritt 106 wird bestimmt, ob MIN 1 < MIN 2 ist oder nicht. Wenn das Bestimmungsergebnis in Schritt 106 (N) lautet (nämlich wenn MIN 1 ≥ MIN 2 ist), wird in Schritt 107 ein Schätzwert Δ2 = 2 gesetzt, und in Schritt 105c werden Schätzwerte Δ1 = MAX 1 - MAX 2 und Δ2 = 0 erzeugt. Wenn das Bestimmungsergebnis in Schritt 106 (J) lautet, werden in Schritt 105d Schätzwerte Δ1 = MAX 1 - MAX 2 und Δ2 = MIN 2 - MIN 1 erzeugt.
Fig. 23 zeigt ein Blockschaltbild, das einen Hardware-Aufbau der Vergleichsschaltung 89 und der Schätzwert-Berechnungsschaltung 90 darstellt. Der Vergleichsschaltung 89 werden die Werte MAX 1 u. MIN 1 des Basisblocks und MAX 2 u. MIN 2 des modifizierten Prüfblocks zugeführt. Die Vergleichsschaltung 89 erzeugt zwei Vergleichs-Ausgangssignale. Entsprechend den Vergleichs-Ausgangssignalen werden Auswahlschaltungen 111 u. 112 gesteuert. Einem Eingangsanschluss a der Auswahlschaltung 111 werden Ausgangssignaldaten (MAX 1 - MAX 2) einer Subtrahierschaltung 115 zugeführt. Einem Eingangsanschluss b der Auswahlschaltung 111 werden Null-Daten zugeführt. Einem Eingangsanschluss a der Auswahlschaltung 112 werden Ausgangssignaldaten (MIN 2 - MIN 1) einer Subtrahierschaltung 116 zugeführt. Einem Eingangsanschluss b der Auswahlschaltung 112 werden Null-Daten zugeführt.
Wenn MAX 1 > MAX 2 ist, veranlasst eine Ausgangssignal (das als das erste Ausgangssignal bezeichnet wird) der Vergleichsschaltung 8ß die Auswahlschaltung 111, den Eingangsanschluss a (nämlich MAX 1 - MAX 2) auszuwählen. Wenn MAX 1 < MAX 2 ist, veranlasst das erste Ausgangssignal der Vergleichsschaltung 89 die Auswahlschaltung 111, den Eingangsanschluss b (nämlich Null-Daten) auszuwählen. Wenn MIN 1 < MIN 2 ist, veranlasst das andere Ausgangssignal (das als das zweite Ausgangssignal bezeichnet wird) der Vergleichsschaltung 89 die Auswahlschaltung 112, den Eingangsanschluss»a (nämlich MIN 2 - MIN 1) auszuwählen. Wenn MIN 1 > MIN 2 ist, veranlasst das zweite Ausgangssignal der Vergleichsschaltung 89 die Auswahlschaltung 112, den Eingangsanschluss b (nämlich Null-Daten) auszuwählen. Einer Addierschaltung 113 werden ein Schätzwert Δ1, der von der Auswahlschaltung 111 gewonnen ist, und ein Schätzwert Δ2, der von der Auswahlschaltung 112 gewonnen ist, zugeführt. An einem Ausgangsanschluss 114 wird ein Ausgangssignal (Δ1 + Δ2) der Addierschaltung 113 gewonnen. Der Schätzwert 4, welcher in der Schätzwert-Berechnungsschaltung 90 erzeugt ist, wird in einem Schätzwert-Speicher 91 gespeichert.
Die Schätzwerte 41 u. Δ2 variieren, wie dies in Fig. 24 gezeigt ist. Wenn MAX 1 < MAX 2 ist, ist der Schätzwert Δ1 Null. Wenn MAX 1 > MAX 2 ist, wächst der Schätzwert entsprechend an. Wenn MIN 1 > MIN 2 ist, ist der Schätzwert Δ2 Null. Wenn MIN 1 < MIN 2 ist, wächst der Schätzwert Δ2 entsprechend an. In Wirklichkeit tritt ein Rauschen auf. Es wird ein Rauschrand gesetzt. Es können die Schätzwerte Δ1 u. Δ2, wie sie als gestrichelte Linien in Fig. 24 gezeigt sind, erzeugt werden. Der in Fig. 23 gezeigte Aufbau ist ein Beispiel. Durch eine Kombination mit einer Torschaltung oder einer Vier-Eingänge-Auswahlschaltung kann eine Vielfalt von Aufbauten benutzt werden. Es können die Schätzwerte, die Absolutwerte von Differenzen, die Werte der n-ten Potenz davon usf. benutzt werden.
Die Schätzwerte werden entsprechend dem Basisblock für jeden Prüfblock berechnet. Die Größe des Suchbereich beträgt z. B. (4 · 4) Basisblöcke oder Prüfblöcke (die aus 8 · 16 Pixeln zusammengesetzt sind). Die Adressenbewegungsschaltung bewegt eine ausgelesene Adresse, die aus dem Referenz-Vollbildspeicher 84 stammt, unter Steuerung durch die Steuerschaltung 85. Daher wird der Prüfblock innerhalb des Suchbereichs bewegt. In diesem Beispiel werden, wie dies in Fig. 25 gezeigt ist, 16 Schätzwerte Δ1 bis Δ16 gewonnen. Die Schätzwerte werden in dem Schätzwert-Speicher 91 gespeichert. Die Position des Basisblocks befindet sich nahezu in dem Zentrum des Suchbereichs.
Zurückkehrend zu Fig. 20 ist festzustellen, dass die Schätzwerte unter Steuerung durch die Steuerschaltung 85 in dem Schätzwert-Speicher 91 gespeichert werden. Der Minimalwert der 16 Schätzwerte Δ1 bis Δ16 wird durch eine Minimalwert- Erfassungsschaltung 92 erfasst. Die Position des Minimalwerts ist ein Bewegungsvektor des Basisblocks.
Fig. 26 zeigt einen weiteren Aufbau. Gleiche Teile wie in dem in Fig. 20 gezeigten Aufbau sind mit gleichen Bezugszeichen bezeichnet. In dem in Fig. 26 gezeigten Aufbau sind mit dem Gegenwarts-Vollbildspeicher 83 bzw. dem Referenz-Vollbildspeicher 84 Kleinblock-Segmentierungsschaltungen 94 u. 95 verbunden. Zusätzlich ist mit der Schätzwert-Berechnungsschaltung 90 eine Kumulierschaltung 96 verbunden.
Ein Bereich, der aus (2 · 4) Pixeln zusammengesetzt ist, was im Zusammenhang mit Fig. 20 als der Basisblock beschrieben wurde, wird als ein kleiner Block behandelt. Ein Bereich, der aus (4 · 4) kleinen Blöcken (nämlich 8 · 16 Pixeln) zusammengesetzt ist, was der Suchbereich des ersten Ausführungsbeispiels war, wird als ein Basisblock und ein Prüfblocks behandelt. Ein Wert MAX 1 und ein Wert MIN 1 jedes kleinen Blocks des Basisblocks werden mit einem Wert MAX 2 bzw. einem Wert MIN 2 jedes kleinen Blocks des Prüfblocks verglichen. In gleicher Weise wie in dem ersten Ausführungsbeispiel werden Schätzwerte Δ1 u. Δ2 für jeden kleinen Block berechnet.
Durch Vergleichen des Basisblocks mit dem Prüfblock, der sich in einer vorbestimmten Position befindet, und durch Berechnen von Schätzwerten werden Schätzwerte Δ1 bis Δ16 gewonnen. Die Schätzwerte werden durch die Kumulierschaltung 96 kumuliert. In anderen Worten ausgedrückt heißt dies, dass die Kumulierschaltung 96 eine Kumulation ΣΔ = Δ1 + Δ2 + ... + Δ16 durchführt. Der Prüfblock wird in einem vorbestimmten Suchbereich bewegt. Der kumulierte Wert der Schätzwerte wird an jedem Suchpunkt gewonnen. Der Minimalwert der kumulierten Schätzwerte wird durch die Minimalwert-Erfassungsschaltung Erfassungsschaltung 92 erfasst. Ein Bewegungsvektor, welcher der Position des Prüfblocks entspricht, der den Minimalwert erzeugt, wird an einem Ausgangsanschluss 93 gewonnen.
Fig. 27 zeigt ein schematisches Diagramm, das einen Teil eines Suchbereichs für ± 5 Pixel (durch gestrichelte Linien angegeben) darstellt. Es sei angenommen, dass das Zentrum des Basisblocks ein Basispunkt ist und dass eine Koordinatenachse x, die alle vier Pixel in Abschnitte unterteilt ist, und eine Koordinatenachse y, die alle zwei Pixel in Abschnitte unterteilt ist, gezeigt sind. Wenn der Prüfblock in der Position (+5, +5), die in Fig. 27 gezeigt ist, den Minimalwert der kumulierten Schätzwerte erzeugt, wird ein Bewegungsvektor (+20 (= 4 · 5), +10 (= 2 · 5)) ausgegeben.
Es werden Bereiche des Basisblocks und des Prüfblocks verglichen. Als Beträge, die den Bereich aller Pixel des Prüfblocks repräsentieren, werden z. B. der Maximalwert MAX 2 und der Minimalwert MIN 2 gewonnen. Wenn der Wert MAX 1 und der Wert MIN 1 des Basisblocks nicht in dem Bereich vorliegen, wird bestimmt, dass der Basisblock nicht mit dem Prüfblock verglichen worden ist. Wenn herkömmlicherweise die Anzahl von Suchpunkten zum Vereinfachen des Vergleichs-Prozesses herabgesetzt wird, wird infolge einer Phasenabweichung ein Fehler erfasst. Jedoch kann selbst dann, wenn die Anzahl von Suchpunkten z. B. für jeweils mehrere Pixel wie bei der Vollsuche der Suchpunkte herabgesetzt ist, der Vergleich ohne eine Phasenabweichung durchgeführt werden.
Fig. 28 zeigt eine schematische Darstellung zur Erklärung der Tatsache, dass der Vergleich solcher Bereiche keine Phasenabweichung verursacht. Aus Gründen der Einfachheit sei ein eindimensionaler Block angenommen, der aus vier Pixeln mit Werten a, b, c u. d zusammengesetzt ist. Alle vier Pixel sind Gestrichelte Linie gezeigt. Der eindimensionale Block wird als ein Basisblock betrachtet. In Fig. 28 sind Bewegungen des Basisblocks um +1 Pixel, +2 Pixel, +3 Pixel und +4 Pixel are gezeigt.
Wie aus Fig. 28 ersichtlich kann, wenn Bereiche verglichen werden, falls die Größe des Prüfblocks die gleiche wie die Größe des Basisblocks ist und der Basisblock um +1 Pixel, +2 Pixel, +3 Pixel und +4 Pixel bewegt wird, ein Fehler in dem Vergleich auftreten. Wenn jedoch die Größe des Basisblocks vier Pixel beträgt, kann da der Basisblock einen um zwei Pixel erweiterten Bereich links und rechts davon hat, ein Fehler bei dem Vergleich verhindert werden. Wenn der Basisblock um +3 Pixel oder +4 Pixel bewegt wird, kann der Vergleich mit dem nächsten Basisblock durchgeführt werden. Der erweiterte Bereich des Prüfblocks hängt von der Größe desselben ab. Bei dem herkömmlichen Vereinfachungs-Verfahren, das die Anzahl von Suchpunkten herabsetzt, können nur Bewegungen des Basisblocks um 0 Pixel und irgendein Vielfaches der Länge der Suchpunkte erfasst werden. Eine solche Phasenabweichung kann jedoch kompensiert werden.
Ebensogut wie die Vereinfachung der Suchpunkte vorgenommen werden kann, können die Anzahl von Berechnungen und die Anzahl von Vergleichen bemerkenswert verringert werden. Zusätzlich kann ein Fehler infolge einer Phasenabweichung verhindert werden.
Als nächstes wird unter Bezugnahme auf die Figuren eine weitere Bewegungsvektorerfassungs-Vorrichtung anhand von Fig. 29 beschrieben. In Fig. 29 bezeichnet das Bezugszeichen 121 einen Eingangsanschluss für Bilddaten eines gegenwärtigen Vollbildes. Das Bezugszeichen 122 bezeichnet einen Eingangsanschluss für Bilddaten eines Referenz-Vollbildes. Das Bezugszeichen 3 bezeichnet einen Gegenwarts-Vollbildspeicher, der Bilddaten des gegenwärtigen Vollbildes speichert. Das Bezugszeichen 124 bezeichnet einen Referenz-Vollbildspeicher, der Bilddaten des Referenz-Vollbildes speichert. Die Lese-Operation und die Schreib-Operation des Gegenwarts-Vollbildspeichers 123 und des Referenz-Vollbildspeichers 124 werden durch eine Steuerschaltung 125 gesteuert. In Zuordnung zu dem Referenz-Vollbildspeicher 124 ist eine Adressenbewegungsschaltung 126 vorgesehen. Die Adressenbewegungsschaltung 6 wird durch die Steuerschaltung 125 gesteuert. Auf diese Weise wird der Prüfblock in dem Referenz-Vollbild bewegt.
Fig. 30 zeigt eine schematische Darstellung zur Erklärung des Aufbaus von Blöcken entsprechend dem Ausführungsbeispiel. Ein Basisblock ist aus (3 · 3) Pixeln zusammengesetzt. Der Aufbau eines Prüfblocks ist der gleiche wie derjenige eines Basisblocks. Von dem Basisblock wird zu dem Prüfblock ein Vorwärts-Vergleich durchgeführt. Von dem Prüfblock wird zu dem Basisblock ein Rückwärts-Vergleich durchgeführt.
Die Basisblock-Daten werden einer Repräsentativwert-Extrahierschaltung 127a und einer MAX 1/MIN 1- (Maximalwert/Minimalwert-)Erfassungsschaltung 128b zugeführt. Die Repräsentativwert-Extrahierschaltung 127a extrahiert einen repräsentative Wert für jeden Basisblock, wobei der repräsentative Wert z. B. ein Wert xa eines Pixels in der zentralen Position jedes Basisblocks ist, wie dies in Fig. 30 gezeigt ist. Die Prüfblock-Daten werden einer Repräsentativwert-Extrahierschaltung 127b und einer MAX 2/MIN 2-Erfassungsschaltung 128a zugeführt. Die Repräsentativwert-Extrahierschaltung 127b extrahiert einen repräsentativen Wert für jeden Prüfblock, z. B. einen Wert xb eines Pixels in der zentralen Position jedes Prüfblocks, wie dies in Fig. 30 gezeigt ist. Als ein repräsentatives Pixel kann ein Wert eines Pixels in einer anderen Position eines Blocks, der Maximalwert des Blocks, der Minimalwert desselben oder der Extremwert desselben benutzt werden.
Die MAX 1/MIN 1-Erfassungsschaltung 128b erfasst einen Maximalwert MAX 1 und einen Minimalwert MIN 1 als Merkmalsmengen des Basisblocks. Die MAX 2/MIN 2-Erfassungsschaltung 128a erfasst einen Maximalwert MAX 2 und einen Minimalwert MIN 2 als Merkmalsmengen des Prüfblocks. Als die Merkmalsmengen können zwei Werte aus den Werten MAX, MIN und dem Dynamikbereich DR (= MAX - MIN) benutzt werden. Alternativ dazu können die Merkmalsmengen (Av + σ) und (Av - σ) sein, wobei Av der Mittelwert des Blocks ist und σ die Standardabweichung desselben ist.
Ein Beispiel für die Erfassungsschaltungen 128a u. 128b ist in Fig. 12 gezeigt. Die Werte MAX 1 u. MAX 2 werden einfach durch MAX bezeichnet. Die Werte MIN 1 u. MIN 2 werden einfach durch MIN bezeichnet. Die Software-Prozesse von Vergleichsschaltungen 129a u. 129b und von Schätzwert-Berechnungsschaltungen 130a u. 130b sind in Fig. 13 erklärt.
Der Hardware-Aufbau einer Vergleichsschaltung 129 (129a, 12%) und einer Schätzwert-Berechnungsschaltung 130 (130a, 130b) ist in Fig. 14 gezeigt.
Für den Schätzwert Δ eines Schätzwert-Speichers 131 bieten Fig. 15A u. Fig. 15B eine Erklärung des Schätzwerts Δ.
Zurückkommend auf Fig. 29 ist festzustellen, dass die vollständig geschätzten Werte unter Steuerung durch die Steuerschaltung 125 in dem Schätzwert-Speicher 131 gespeichert werden. Die vollständig geschätzten Werte werden in dem vorbestimmten Suchbereich gewonnen. Der Minimalwert der vollständig geschätzten Werte wird durch eine Minimalwert-Erfassungsschaltung 132 erfasst. Die Position, in welcher der Minimalwert vorliegt, ist ein Bewegungsvektor des Basisblocks.
Fig. 31 zeigt einen weiteren Aufbau, wobei gleiche Teile wie in dem in Fig. 29 gezeigten Aufbau mit gleichen Bezugszeichen bezeichnet sind. In dem Aufbau, der in Fig. 31 gezeigt ist, sind mit dem Gegenwarts-Vollbildspeicher 123 bzw. dem Referenz-Vollbildspeicher 124 Kleinblock-Segmentierungsschaltungen 137a u. 137b verbunden. Zusätzlich ist mit einer Addierschaltung 134 eine Kumulierschaltung 136 ist verbunden.
Eine Erklärung des Aufbaus gemäß Fig. 31 ist in Fig. 17 u. 19 gegeben.
Als nächstes werden zwei weitere Aufbauten beschrieben. In diesen zwei Aufbauten, die im folgenden beschrieben werden, werden wenn Blöcke verglichen werden, Bereiche derselben verglichen.
Fig. 33 zeigt eine schematische Darstellung des Aufbaus von Blöcken. Gemäß Fig. 33 ist ein Basisblock z. B. aus (2 · 4) Pixeln zusammengesetzt. Wie im Falle des Basisblocks ist ein Prüfblock aus (2 · 4) Pixeln zusammengesetzt. Ein modifizierter Prüfblock ist durch Zufügen von ± 1 Reihe und ± 2 Pixeln als ein Phasenkompensations-Bereich zu dem Prüfblock gebildet. Wenn der Vorwärts-Vergleich durchgeführt wird, wird der Basisblock mit dem modifizierent Prüfblock verglichen. Wenn der Rückwärts-Vergleich durchgeführt wird, wird der Prüfblock mit dem modifizierten Basisblock verglichen, wie dies in Fig. 33 gezeigt ist.
Anders als in den Aufbauten gemäß Fig. 29 u. Fig. 31, welche die Repräsentativwert-Extrahierschaltungen 127a u. 127b benutzen, sind eine MAX 3/MIN 3-Erfassungsschaltung 135a für Pixeldaten eines Basisblocks und eine MAX 4/MIN 4-Erfassungsschaltung 135b für Pixeldaten eines Prüfblocks vorgesehen. Eine MAX 2/MIN 2-Erfassungsschaltung 128a erfasst einen Maximalwert MAX 2 und einen Minimalwert MIN 2 als Merkmalsmengen für jeden modifizierten Prüfblock. Eine MAX 1/MIN 1-Erfassungsschaltung 128b erfasst einen Maximalwert MAX 1 und einen Minimalwert MIN 1 als Merkmalsmengen für jeden modifizierten Basisblock.
Ein Wert MAX 3 und ein Wert MIN 3, die durch die MAX 3/MIN 3- Erfassungsschaltung 135a erfasst sind, und ein Wert MAX 2 und ein Wert MIN 2, die durch die MAX 2/MIN 2-Erfassungsschaltung 128a erfasst sind, werden einer Vergleichsschaltung 129a und einer Schätzwert-Berechnungsschaltung 130a zugeführt. In gleicher Weise werden die Werte MAX 1, MIN 1, MAX 4 u. MIN 4 einer Vergleichsschaltung 129b und einer Schätzwert-Berechnungsschaltung 130b zugeführt. Fig. 34 zeigt ein Flussdiagramm, das Software-Prozesse der Vergleichsschaltung 129a und der Schätzwert-Berechnungsschaltung 130a darstellt.
Wenn der Vergleichsprozess gestartet ist, wird in einem Schritt 141 bestimmt, ob MAX 3 > MAX 2 ist oder nicht. Wenn das Bestimmungsergebnis (N) lautet (nämlich wenn MAX 2 ≥ MAX 3 ist), setzt sich der Fluss zu Schritt 142 fort. In Schritt 142 wird ein Schätzwert Δ1 = 0 gesetzt. Danach wird in Schritt 143 bestimmt, ob MIN 3 < MIN 2 ist oder nicht. Wenn das Bestimmungsergebnis in Schritt 143 (N) lautet (nämlich wenn MIN 3 ≥ MIN 2 ist), setzt sich der Fluss zu Schritt 144 fort. In Schritt 144 wird ein Schätzwert Δ2 = 2 gesetzt. Auf diese Weise werden in Schritt 145a die Schätzwerte Δ1 = 0 u. Δ2 = 2 erzeugt. Dies bedeutet, dass der Minimalwert MIN 3 und der Maximalwert MAX 3 des Basisblocks in dem Bereich von dem Minimalwert MIN 2 und dem Maximalwert MAX 2 des modifizierten Prüfblocks enthalten sind. Dadurch wird bestimmt, dass der Basisblock mit dem Prüfblock verglichen worden ist. Wenn das Bestimmungsergebnis in Schritt 143 (J) lautet, werden in Schritt 145b Schätzwerte Δ1 = 0 u. Δ2 = MIN 2 - MIN 3 erzeugt.
Wenn das Bestimmungsergebnis in Schritt 141 (J) lautet, setzt sich der Fluss zu Schritt 146 fort. In Schritt 146 wird bestimmt, ob MIN 3 < MIN 2 ist oder nicht. Wenn das Bestimmungsergebnis in Schritt 146 (N) lautet (nämlich wenn MIN 3 ≥ MIN 2 ist), wird in Schritt 147 Δ2 = 0 gesetzt, und es werden in Schritt 145c Schätzwerte Δ1 = MAX 3 - MAX 2 u. Δ2 = 0 erzeugt. Wenn das Bestimmungsergebnis in Schritt 146 (J) lautet, werden in Schritt 145d Schätzwerte Δ1 = MAX 3 - MAX 2 u. Δ2 = MIN 2 - MIN 3 erzeugt.
Fig. 35 zeigt ein Blockschaltbild, das einen Hardware-Aufbau der Vergleichsschaltung 129a und der Schätzwert-Berechnungsschaltung 130a darstellt. Die Werte MAX 3 u. MIN 3 des Basisblocks und die Werte MAX 2 u. MIN 2 des modifizierten Prüfblocks werden der Vergleichsschaltung 129a zugeführt. Die Vergleichsschaltung 129a erzeugt zwei Vergleichs-Ausgangssignale. Entsprechend den Vergleichs-Ausgangssignalen werden Auswahlschaltungen 151 u. 152 gesteuert. Eine Subtrahierschaltung 155 führt einem Eingangsanschluss a der Auswahlschaltung 151 (MAX 3 - MAX 2) zu. Einem Eingangsanschluss b der Auswahlschaltung 151 werden Null-Daten zugeführt. Eine Subtrahierschaltung 156 führt einem Eingangsanschluss a der Auswahlschaltung 152 (MIN 2 - MIN 3) zu. Einem Eingangsanschluss b der Auswahlschaltung 152 werden Null-Daten zugeführt.
Wenn MAX 3 > MAX 2 ist, veranlasst eines der Ausgangssignale (dieses Ausgangssignal wird als das erste Ausgangssignal bezeichnet) der Vergleichsschaltung 129 die Auswahlschaltung 151, den Eingangsanschluss a (nämlich MAX 3 - MAX 2) auszuwählen. Wenn MAX 3 < MAX 2 ist, veranlasst das erste Ausgangssignal der Vergleichsschaltung 129 die Auswahlschaltung 151, den Eingangsanschluss b (nämlich die Null-Daten) auszuwählen. Wenn MIN 3 < MIN 2 ist, veranlasst das andere Ausgangssignal (dieses Ausgangssignal wird als das zweite Ausgangssignal bezeichnet) der Vergleichsschaltung 129 die Auswahlschaltung 152, den Eingangsanschluss a (nämlich, MIN 2 - MIN 3) auszuwählen. Wenn MIN 3 ≥ MIN 2 ist, veranlasst das zweite Ausgangssignal der Vergleichsschaltung 129 die Auswahlschaltung 152, den Eingangsanschluss b (nämlich die Null- Daten) auszuwählen. Der Schätzwert Δ1 der Auswahlschaltung 151 und der Schätzwert Δ2 der Auswahlschaltung 153 werden einer Addierschaltung 153 zugeführt. An einem Ausgangsanschluss 154 wird ein Ausgangssignal (Δ1 + Δ2) der Addierschaltung 153 gewonnen.
Die Schätzwerte Δ1 u. Δ2 variieren, wie dies in Fig. 36 gezeigt ist. Wenn MAX 3 < MAX 2, the Schätzwert Δ1 ist 0. Wenn MAX 3 > MAX 2 ist, steigt der Schätzwert Δ1 entsprechend an. Wenn MIN 3 > MIN 2 ist, ist der Schätzwert Δ2 Null. Wenn MIN 3 < MIN 2 ist, steigt der Schätzwert Δ2 entsprechend an. In Wirklichkeit tritt ein Rauschen auf. Es wird ein Rauschrand gesetzt. Auf diese Weise können Schätzwerte Δ1 u. Δ2 erzeugt werden, die wie durch gestrichelte Linien in Fig. 36 gezeigt variieren. Der Aufbau, welcher in Fig. 35 gezeigt ist, ist ein Beispiel für die vorliegenden Erfindung. Stattdessen kann eine Vielfalt von Aufbauten benutzt werden. Als Schätzwerte können Absolutwerte von Differenzen, Werte einer n-ten Potenz derselben usf. benutzt werden.
Die Aufbauten der Vergleichsschaltung 129b und der Schätzwert-Berechnungsschaltung 130b sind die gleichen wie diejenigen der Vergleichsschaltung 129a und der Schätzwert-Berechnungsschaltung 130a, die für den Vorwärts-Vergleich benutzt werden. Die Schätzwert-Berechnungsschaltung 130b erzeugt Schätzwerte als Ergebnisse des Rückwärts-Vergleichs. Eine Addierschaltung 134 erzeugt vollständig geschätzte Werte. Die vollständig geschätzten Werte werden in einem Schätzwert- Speicher 131 gespeichert. Der Minimalwert der vollständig geschätzten Werte wird durch eine Minimalwert-Erfassungsschaltung 132 erfasst. An einem Ausgangsanschluss 133 wird ein Bewegungsvektor entsprechend der Position des Minimalwerts der vollständig geschätzten Werte gewonnen.
Fig. 37 zeigt eine Modifizierung des Aufbaus gemäß Fig. 20. In Fig. 37 sind gleiche Teile wie in dem zuvor beschriebenen Aufbau (s. Fig. 31) mit gleichen Bezugszeichen bezeichnet. Gemäß Fig. 37 sind der Gegenwarts-Vollbildspeicher 123 und der Referenz-Vollbildspeicher 124 mit einer Kleinblock-Segmentierungsschaltung 137a bzw. 137b verbunden. Zusätzlich ist die Addierschaltung 134 mit einer Kumulierschaltung 136 verbunden.
Der aus (2 · 4) Pixeln zusammengesetzte Bereich, der in dem Aufbau gemäß Fig. 31 als der Basisblock behandelt wurde, wird als ein kleiner Block behandelt. Ein Bereich, der aus (8 · 16) Pixeln, nämlich (4 · 4) kleinen Blöcken, die in horizontalen und vertikalen Richtungen angeordnet sind, zusammengesetzt ist, wird als ein Basisblock oder ein Prüfblock behandelt. Für den Aufbau gemäß Fig. 31 wurde der Bereich, der aus (8 · 16) Pixeln zusammengesetzt ist, als der Suchbereich beschrieben. Wenn der Vorwärts-Vergleich durchgeführt wird, werden die Werte MAX 3 u. MIN 3 von kleinen Blöcken des Basisblocks mit den Werten MAX 2 u. MIN 2 modifizierter kleiner Blöcke des Prüfblocks verglichen. In gleicher Weise wie in dem ersten Ausführungsbeispiel werden für jeden kleinen Block Schätzwerte berechnet.
Andererseits werden, wenn der Rückwärts-Vergleich durchgeführt wird, die Werte MAX 4 u. MIN 4 kleiner Blöcke des Prüfblocks mit den Werten MAX 1 u. MIN 1 modifizierter kleiner Blöcke des Prüfblocks verglichen, und es werden für jeden kleinen Block Schätzwerte berechnet. Die Schätzwerte für jeden kleinen Block in den Vorwärts- und Rückwärts-Vergleichen werden durch die Addierschaltung 134 addiert. Die Additionsergebnisse werden durch die Kumulierschaltung 136 kumuliert. Die Kumulierschaltung 136 erzeugt für jeden Block einen vollständig geschätzten Wert. In dem Aufbau, für den (4 · 4) kleine Blöcke in vertikalen und horizontalen Richtungen angeordnet sind, werden für jeden kleinen Block Schätzwerte Δ1 bis Δ16 erzeugt. Durch Kumulieren von Δ1 bis Δ16 wird ein vollständig geschätzter Wert erzeugt.
Der Prüfblock wird in einem vorbestimmten Suchbereich bewegt. An jedem Suchpunkt wird ein vollständig geschätzter Wert gewonnen. Der Minimalwert der vollständig geschätzten Werte wird durch die Minimalwert-Erfassungsschaltung 132 erfasst. An einem Ausgangsanschluss 133 wird ein Bewegungsvektor entsprechend der Position des Prüfblocks gewonnen, der den Minimalwert erzeugt.
In den Aufbauten gemäß der vorliegenden Erfindung, die in Fig. 32 u. Fig. 37 gezeigt sind, werden Bereiche oder der Basisblock und der Prüfblock verglichen. Als Beträge, die den Bereich aller Pixel des Prüfblocks repräsentieren, werden z. B. der Maximalwert MAX 2 und der Minimalwert MIN 2 gewonnen. Wenn die Werte MAX 3 u. MIN 3 des Basisblocks nicht vorliegen, wird bestimmt, dass der Basisblock nicht mit dem Prüfblock verglichen worden ist.
Herkömmlicherweise wird, wenn die Anzahl von Suchpunkten zum Vereinfachen des Vergleichs-Prozesses herabgesetzt ist, infolge einer Phasenabweichung ein Fehler erfasst. Der Vergleich kann jedoch selbst dann, wenn die Anzahl von Suchpunkten z. B. auf einen für jeweils mehrere Pixel herabgesetzt ist, wie mit der Vollsuche der Suchpunkte ohne eine Phasenabweichung durchgeführt werden. Dies ist in Fig. 28 erklärt.
Ebensogut wie eine Vereinfachung der Suchpunkte vorgenommen werden kann, können die Anzahl von Berechnungen und die Anzahl von Vergleichen bemerkenswert verringert werden. Zusätzlich kann ein Fehler infolge einer Phasenabweichung verhindert werden. Überdies kann, da Vorwärts- und Rückwärts-Vergleiche durchgeführt und Schätzwerte entsprechend den Ergebnissen dieser Vergleiche erzeugt werden, die Erfassungsgenauigkeit von Bildern verbessert werden.
Als nächstes wird unter Bezugnahme auf die Figuren eine weitere Bewegungsvektorerfassungs-Vorrichtung beschrieben. Fig. 38 zeigt ein Blockschaltbild, das die Vorrichtung darstellt. In Fig. 38 bezeichnet das Bezugszeichen 161 einen Eingangsanschluss für Bilddaten eines gegenwärtigen Vollbildes. Das Bezugszeichen 162 bezeichnet einen Eingangsanschluss für Bilddaten eines Referenz-Vollbildes. Das Bezugszeichen 163 bezeichnet einen Gegenwarts-Vollbildspeicher, der Bilddaten des gegenwärtigen Vollbildes speichert. Das Bezugszeichen 164 bezeichnet einen Referenz-Vollbildspeicher, der Bilddaten des Referenz-Vollbildes speichert. Die Lese-Operation und die Schreib-Operation des Gegenwarts-Vollbildspeichers 163 und des Referenz-Vollbildspeichers 164 werden durch eine Steuerschaltung. 165 gesteuert. In Zuordnung zu dem Referenz-Vollbildspeicher 164 ist eine Adressenbewegungsschaltung 166 vorgesehen. Die Adressenbewegungsschaltung 166 wird durch die Steuerschaltung 165 gesteuert. Auf diese Weise wird der Prüfblock in dem Referenz-Vollbild bewegt.
Mit dem Gegenwarts-Vollbildspeicher 163 und dem Referenz- Vollbildspeicher 164 sind Unterblock-Segmentierungsschaltungen 174a bzw. 174b verbunden. Die Unterblock-Segmentierungsschaltungen 174a u. 174b werden durch die Steuerschaltung 165 gesteuert. Die Unterblock-Segmentierungsschaltungen 174a u. 174b geben Basis-Unterblockdaten bzw. Prüf-Unterblockdaten aus. Fig. 39 zeigt eine schematische Darstellung zur Erklärung eines Blockaufbaus gemäß dem Ausführungsbeispiel der vorliegenden Erfindung. Der Basisblock ist aus (2 · 3) Unterblocken zusammengesetzt. Jeder der Unterblöcke ist aus (3 · 3) Pixeln zusammengesetzt. Der Blockaufbau des Prüfblocks ist der gleiche wie der Blockaufbau des Basisblocks.
Die Basis-Unterblockdaten werden einer Repräsentativwert-Extrahierschaltung 167a und einer Mittelungsschaltung 175a zugeführt. Die Repräsentativwert-Extrahierschaltung 167a extrahiert einen repräsentativen Wert für jeden Basis-Unterblock. Der repräsentative Wert repräsentiert den Wert eines repräsentativen Pixels. Beispielsweise sind die repräsentativen Werte, wie dies in Fig. 39 gezeigt ist, Werte x&sub1; bis x&sub5; der Pixel in den zentralen Positionen der Basis-Unterblöcke. Alternativ dazu können Werte von Pixeln in anderen Positionen der Basis-Unterblocke, die Maximalwerte derselben, die Minimalwerte derselben und die extremen Werte derselben als die repräsentative Werte benutzt werden. Die Mittelungsschaltung 175a erzeugt einen Mittelwert X einer repräsentativen Pixel- Gruppe x&sub1; bis x&sub6; (wobei X = x&sub1; + x&sub2; + x&sub4; + x&sub5; + x&sub6;)/6) ist. Der Mittelwert X besteht aus ersten repräsentierenden Daten.
Einer Mittelungsschaltung 175b und einer Alternativ-Pixel- Auswahlschaltung 177 werden Prüf-Unterblockdaten aus der Unterblock-Segmentierungsschaltung 174b zugeführt. Die Mittelungsschaltung 175b erzeugt einen Mittelwert von Pixeldaten in Positionen, die sechs Prüf-Unterblöcken entsprechen. Wie in Fig. 39 gezeigt sind die Pixel mit a, b, c, ... u. i in in der Reihenfolge von der oberen linken Ecke des Unterblocks bis zu der unteren rechten Ecke desselben bezeichnet. Die sechs Unterblöcke werden durch Ergänzungsziffern 1, 2, 3, ... u. 6 unterschieden.
Die Mittelungsschaltung 175b erzeugt die folgenden Mittelwerte für die Positionen der sechs Pixel:
A = (a&sub1; + a&sub2; + a&sub3; + a&sub4; + a&sub5; + a&sub6;)/6
B = (b&sub1; + b&sub2; + b&sub3; + b&sub4; + b&sub5; + b&sub6;)/6
C = (c&sub1; + c&sub2; + c&sub3; + c&sub4; + c&sub5; + c&sub6;)/6
...
...
I = (i&sub1; + i&sub2; + i&sub3; + i&sub4; + i&sub5; + i&sub6;)/6
Die Mittelwerte A bis I sind zweite repräsentierende Daten.
Die Mittelwerte werden von den Mittelungsschaltungen 175a u. 175b einer Vergleichsschaltung 176 zugeführt. Die Vergleichsschaltung 176 vergleicht den Mittelwert X mit den Mittelweren A bis I. Beispielsweise berechnet die Vergleichsschaltung 16 den Absolutwert der Differenz zwischen dem Mittelwert X und jedem der Mittelwerte A bis I (nämlich X - A , x - B , x - C , ..., X - I ) und vergleicht den Absolutwert der Differenz mit einem vorbestimmten Schwellwert. Eine Pixel- Gruppe, die einen Absolutwert ergibt, der kleiner als der Schwellwert ist, wird als alternative Pixeldaten bestimmt. Wenn beispielsweise die Werte X - A , X - B , X - D , X - G , X - H kleiner als der Schwellwert sind, werden durch die alternative Pixeldaten und eine Steuerschaltung 178 a&sub1;, a&sub2;, ... a&sub6;, b&sub1;, b&sub2;, ... b&sub6;, D&sub1;, D&sub2;, ... D&sub6;, G&sub1;, G&sub2;, ... G&sub6;, H&sub1;, H&sub2;, ... H&sub6; bestimmt. Das Vergleichsergebnis der Vergleichsschaltung 176 wird der Steuerschaltung 178 zugeführt. Die Steuerschaltung 178 gibt selektiv alternative Pixeldaten jedes Prüf-Unterblocks aus, die von der Unterblock-Segmentierungsschaltung 174b zugeführt sind.
Die Auswahl der alternativen Pixeldaten basiert auf der sog. Starrkörperannahme (rigid body assumption). In anderen Worten ausgedrückt heißt dies, dass wenn ein Basisblock bewegt wird, angenommen wird, dass alle Pixel desselben parallel bewegt (nicht gedreht) werden. Da die Größe jedes Block gering ist, ist eine solche Annahme praktisch. In anderen Worten ausgedrückt heißt dies, dass nach einem Vollbild die Positionen der repräsentativen Pixeldaten x&sub1; bis x&sub6; ein Datum aus den Daten a&sub1; bis a&sub6;, ein Datum aus den Daten b&sub1; bis b&sub6;, ... bzw. i&sub1; bis i&sub6; ist. Demzufolge wird, wenn ein Basisblock mit einem Mittelwert vorliegt, der sich stark von einem Mittelwert x unterscheidet, der eine repräsentative Pixeldaten-Gruppe repräsentiert, da der Basisblock eine solche Annahme verletzt, dieser entfernt, bevor der Vergleich durchgeführt wird. Auf diese Weise kann die Genauigkeit des Vergleichs verbessert werden. Als die repräsentierenden Daten kann nicht nur der Mittelwert, sondern auch der Maximalwert MAX, der Minimalwert MIN, der Dynamikbereich DR (= MAX - MIN), die Standardabweichung usf. benutzt werden.
Die alternativen Pixeldaten in jedem Prüf-Unterblock, welche durch die Alternativ-Pixel-Auswahlschaltung 177 ausgewählt sind, werden einer Maximalwert/Minimalwert- (MAX/MIN-) Erfassungsschaltung 168 zugeführt. Die MAX/MIN-Erfassungsschaltung 168 erfasst einen Maximalwert MAX und einen Minimalwert MIN als Merkmalsmengen jedes Prüf-Unterblocks. Als die Merkmalsmengen können zwei Werte aus den Werten MAX, MIN und dem Dynamikbereich DR (= MAX - MIN) benutzt werden.
Alternativ dazu können die Merkmalsmengen (Av + σ) und (Av - σ) sein, wobei Av der Mittelwert des Prüf-Unterblocks ist und σ die Standardabweichung desselben ist.
Die MAX/MIN-Erfassungsschaltung 168 ist wie in Fig. 12 gezeigt realisiert.
Die Software-Prozesse einer Vergleichsschaltung 169 und einer Schätzwert-Berechnungsschaltung 170 sind in dem Flussdiagramm gemäß Fig. 13 erklärt.
Fig. 14 kann für die Erklärung eines Hardware-Aufbaus der Vergleichsschaltung 169 und der Schätzwert-Berechnungsschaltung 170 herangezogen werden.
Die Charakteristika des Schätzwerts Δ sind die gleichen wie diejenigen gemäß Fig. 15A. Wenn der repräsentative Wert kleiner als der Wert MIN oder größer als der Wert MAX ist, steigt der Schätzwert Δ entsprechend an. In Wirklichkeit tritt ein Rauschen auf, und es wird ein Rauschrand gesetzt, um auf diese Weise einen Schätzwert Δ zu erzeugen, der variiert, wie dies jeweils durch eine gestrichelte Linie in Fig. 15A gezeigt ist.
Die Schätzwerte werden für jeden der Prüf-Unterblöcke in einer Position berechnet, die dem repräsentativen Pixel jedes der Basis-Unterblöcke entspricht. Auf diese Weise werden, wie dies in Fig. 40 gezeigt ist, sechs Schätzwerte Δ1 bis Δ6 entsprechend den sechs Unterblöcken erzeugt. Die Schätzwerte Δ1 bis Δ6 werden durch eine Kumulierschaltung 179 kumuliert (nämlich, Δ1 + Δ2 + Δ3 +... + Δ6). Das Kumulierungsergebnis (der vollständig geschätzte Wert) wird in einem Schätzwert- Speicher 171 gespeichert.
Zurückkommend auf Fig. 38 ist festzustellen, dass die vollständig geschätzten Werte unter Steuerung durch die Steuerschaltung 165 in dem Schätzwert-Speicher 171 gespeichert werden. Die vollständig geschätzten Werte werden in dem vorbestimmten Suchbereich gewonnen. Der Minimalwert der vollständig geschätzten Werte wird durch eine Minimalwert-Erfassungsschaltung 172 erfasst. Die Position, in welcher der Minimalwert vorliegt, ist ein Bewegungsvektor des Basisblocks.
Fig. 41 zeigt ein schematisches Diagramm, das einen Teil eines Suchbereichs für ± 5 Pixel (durch gestrichelte Linien gezeigt) darstellt. Unter der Annahme, dass die untere rechte Ecke des Basisblocks ein Basispunkt ist, sind Koordinatenachsen (x, y) gezeigt, die alle drei Pixel in Abschnitte unterteilt sind. Der Bezugspunkt ist vorzugsweise in einer Position so nahe wie möglich an dem Zentrum des Blocks angeordnet. Wenn der Prüfblock in der Position (+5, +5), die in Fig. 41 gezeigt ist, den Minimalwert der kumulierten Schätzwerte erzeugt, wird ein Bewegungsvektor (+15 (= 5 · 3), +15 (= 5 · 3)) ausgegeben.
Ein repräsentatives Pixel eines Basis-Unterblocks wird mit einem Prüf-Unterblock (-Bereich) verglichen. Als ein Betrag, der alle alternativen Pixel des Prüf-Unterblocks repräsentiert, werden z. B. der Maximalwert MAX desselben und der Minimalwert MIN desselben gewonnen. Wenn der Wert des repräsentativen Pixels nicht in dem Bereich vorliegt, wird der Basis- Unterblock nicht mit dem Prüf-Unterblock verglichen. Mit der sog. Starrkörperannahme (rigid body assumption) kann die Genauigkeit des Vergleichs verbessert werden. Herkömmlicherweise kann, wenn die Anzahl von Suchpunkten herabgesetzt ist, infolge einer Phasenabweichung ein Fehler erfasst werden. Wenn die Anzahl von Suchpunkten auf 1/3 (einer für jeweils drei Pixel) herabgesetzt ist, kann jedoch der gleiche Prozess wie die Vollsuch-Operation durchgeführt werden. In anderen Worten ausgedrückt heißt dies, dass der Vergleich ohne eine Phasenabweichung durchgeführt werden kann.
Fig. 19 erklärt, dass in dem beschriebenen Aufbau keine Phasenabweichung stattfindet.
Als nächstes wird unter Bezugnahme auf Fig. 42 ein Aufbau beschrieben, bei dem, wenn Unterblöcke verglichen werden, Bereiche derselben verglichen werden. Ein alternatives Pixel eines Prüf-Unterblocks wird in gleicher Weise wie in dem Aufbau gemäß Fig. 38 ausgewählt. Gemäß Fig. 42 sind eine Repräsentativwert-Extrahierschaltung 167a, Mittelungsschaltungen 175a u. 175b, eine Vergleichsschaltung 176 und eine Alternativ-Pixel-Auswahlschaltung 177 die gleichen wie diejenigen des neunten Ausführungsbeispiels.
Zur Erklärung des Aufbaus gemäß Fig. 42 kann Fig. 21 herangezogen werden.
Die Unterblock-Segmentierungsschaltung 174a führt der Maximalwert/Minimalwert- (MAX 1/MIN 1-)Erfassungsschaltung 167b Pixeldaten eines Basis-Unterblocks zu. Die MAX 1/MIN 1-Erfassungsschaltung 167b erfasst einen Maximalwert MAX 1 und einen Minimalwert MIN 1 als erste Merkmalsmengen für jeden Basis- Unterblock. Als die ersten Merkmalsmengen können zwei der Werte MAX 1, MIN 1 und des Dynamikbereichs DR 1 (= MAX 1 - MIN) benutzt werden. Zusätzlich können als die ersten Merkmalsmengen Av1 + Δ1 und Av1 - Δ1 benutzt werden, wobei Av1 ein Mittelwert des Basisblocks ist und σ1 eine Standardabweichung desselben ist.
Die Unterblock-Segmentierungsschaltung 174b führt der Alternativ-Pixel-Auswahlschaltung 177 modifizierte Prüf-Unterbockdaten zu. Die ausgewählten Pixeldaten werden der Maxi malwert/Minimalwert- (MAX 2/MIN 2-)Erfassungsschaltung 168 zugeführt. Die MAX 2/MIN 2-Erfassungsschaltung 168 erfasst einen Maximalwert MAX 2 und einen Minimalwert MIN 2 als zweite Merkmalsmengen. Als die zweiten Merkmalsmengen können zwei der Werte MAX 2, MIN 2 und des Dynamikbereichs DR 2 (= MAX 2 - MIN 2) benutzt werden. Zusätzlich können als die zweiten Merkmalsmengen Av + Δ und Av - Δ benutzt werden, wobei Av2 ein Mittelwert des Prüfblocks ist und σ2 eine Standardabweichung desselben ist.
Die Aufbauten der MAX/MIN-Erfassungsschaltungen 167b u. 168 sind die gleichen wie diejenigen, die in Fig. 12 gezeigt sind. Die Werte MAX 1, MIN 1, MAX 2 u. MIN 2, welche durch die MAX/MIN-Erfassungsschaltungen 167b u. 168 erfasst sind, werden der Vergleichsschaltung 169 und der Schätzwert-Berechnungsschaltung 170 zugeführt. Die Software-Prozesse der Vergleichsschaltung 169 und der Schätzwert-Berechnungsschaltung 170 können anhand von Fig. 22 erklärt werden.
Ein Hardware-Aufbau der Vergleichsschaltung 169 und der Schätzwert-Berechnungsschaltung 170 ist in Fig. 23 gezeigt.
Die Schätzwerte A1 u. A2 variieren, wie dies in Fig. 24 gezeigt ist.
Die Bereiche des Basis-Unterblocks und des Prüf-Unterblocks werden verglichen. Als Beträge, die den Bereich ausgewählter Pixel des modifizierten Prüf-Unterblocks repräsentieren, werden z. B. der Maximalwert MAX 2 und der Minimalwert MIN 2 gewonnen. Wenn die Werte MAX 1 und MIN 1 des Basis-Unterblocks nicht in dem Bereich vorliegen, wird bestimmt, dass der Basis-Unterblock nicht mit dem Prüf-Unterblock verglichen worden ist. Wenn alternative Pixel entsprechend der sog. Starrkörperannahme (rigid body assumption) ausgewählt werden, kann die Genauigkeit der Erfassung verbessert werden. Herkömmlicherweise wird, wenn die Anzahl von Suchpunkten zum Vereinfa chen des Vergleichs-Prozesses herabgesetzt ist, infolge einer Phasenabweichung ein Fehler erfasst. Jedoch kann der Vergleich selbst dann, wenn die Anzahl von Suchpunkten z. B. auf einen für jeweils mehrere Pixel herabgesetzt ist, wie mit der Vollsuche der Suchpunkte ohne eine Phasenabweichung durchgeführt werden.
Fig. 28 erklärt, dass der Vergleich solcher Bereiche keine Phasenabweichung verursacht.
Ebensogut wie eine Vereinfachung der Suchpunkte vorgenommen werden kann, können die Anzahl von Berechnungen und die Anzahl von Vergleichen bemerkenswert verringert werden. Zusätzlich kann ein Fehler infolge einer Phasenabweichung verhindert werden. Überdies kann, da alternative Pixel für einen Vor-Prozess des Vergleichs auf der Grundlage der sog. Starrkörperannahme (rigid body assumption) ausgewählt werden, die Genauigkeit von Bildern verbessert werden.
Zusammenfassend ist festzustellen, dass Ausführungsbeispiele der Erfindung ein Verfahren und eine Vorrichtung zum partiellen Vergleichen zweier digitaler Bilder und insbesondere zum Erfassen eines Bewegungsvektors schaffen, der die Bewegungsrichtung und den Bewegungsbetrag eines Bildes entsprechend einem Blockanpassungs-Verfahren repräsentiert. Die Vorrichtung und das Verfahren können die Anzahl von Berechnungen und den Hardware-Aufwand verringern, verhindern, dass ein Fehler erfasst wird, eine Phasenabweichung kompensieren und die Erfassungsgenauigkeit verbessern.

Claims

1. Bildvergleichs-Verfahren, das Schritte umfasst zum

Segmentieren erster Bilddaten in eine Vielzahl von Basisblöcken,

Segmentieren zweiter Pixeldaten in eine Vielzahl von Prüfblöcken,

Extrahieren repräsentativer Pixeldaten aus jedem der Basisblöcke,

Extrahieren von Merkmalsmengendaten aus jedem der Prüfblöcke, der Pixeldaten enthält, die den repräsentativen Pixeldaten entsprechen, wobei die Merkmalsmengendaten den Bereich der Pixeldaten des Prüfblocks repräsentieren, und

partiellen Vergleichen des Basisblocks mit dem Prüfblock durch Vergleichen der repräsentative Pixeldaten mit den Merkmalsmengendaten.

2. Bildvergleichs-Vorrichtung, die umfasst:

ein Mittel (33, 35) zum Segmentieren erster Bilddaten in eine Vielzahl von Basisblöcken,

ein Mittel (34, 35) zum Segmentieren zweiter Pixeldaten in eine Vielzahl von Prüfblöcken,

ein Mittel (37) zum Extrahieren repräsentativer Pixeldaten aus jedem der Basisblöcke,

ein Mittel (38) zum Extrahieren von Merkmalsmengendaten aus jedem der Prüfblöcke, der Pixeldaten enthält, die den repräsentativen Pixeldaten entsprechen, wobei die Merkmalsmengendaten den Bereich der Pixeldaten des Prüfblock repräsentieren, und

ein Mittel (39) zum Vergleichen der repräsentativen Pixeldaten mit den Merkmalsmengendaten, um den Basisblock mit dem Prüfblock partiell zu vergleichen.

3. Bewegungsvektorerfassungs-Verfahren, welches das Vergleichen eines Bildes nach Anspruch umfasst und Schritte zum

Erzeugen eines geschätzten Werts, der einen Anpassungsgrad des Basisblocks und des Prüfblocks repräsentiert, welcher dem Vergleichsergebnis entspricht, das durch den Schritt zum partiellen Vergleichen erzeugt ist, und

Erfassen eines Bewegungsvektors, welcher der Position des Prüfblocks entspricht, der am besten mit dem Basisblock übereinstimmt, auf der Grundlage des geschätzten Werts, der durch Bewegen des Prüfblocks in einem vorbestimmten Suchbereich erzeugt wird.

4. Bewegungsvektorerfassungs-Vorrichtung, die eine Bildvergleichs-Vorrichtung nach Anspruch 2 umfasst und

ein Mittel (40) zum Erzeugen eines geschätzten Werts, der einen Anpassungsgrad des Basisblocks und des Prüfblocks repräsentiert, welcher dem Vergleichsergebnis entspricht, das durch den Schritt zum partiellen Vergleichen erzeugt ist, und

ein Mittel (42) zum Erfassen eines Bewegungsvektors, welcher der Position des Prüfblocks entspricht, der am besten mit dem Basisblock übereinstimmt, auf der Grundlage des geschätzten Werts, der durch Bewegen des Prüfblocks in einem vorbestimmten Suchbereich erzeugt wird.

5. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4, wobei die repräsentativen Pixeldaten Pixeldaten sind, die sich nahe bei der zentralen Position des Basisblocks befinden.

6. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4, wobei die Merkmalsmengendaten zwei sind von dem Maximalwert, dem kleinen Wert und dem Dynamikbereich einer Vielzahl von Pixeln des Prüfblocks.

7. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4, wobei die Merkmalsmengendaten der mittlere Wert und die Normalabweichung einer Vielzahl von Pixeln des Prüfblocks sind.

8. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4,

wobei die Merkmalsmengendaten zwei sind von dem Maximalwert, dem kleinen Wert und dem Dynamikbereich einer Vielzahl von Pixeln des Prüfblock, und

wobei der Schritt zum Erzeugen des geschätzten Werts oder das Mittel dafür dazu bestimmt ist, fast 0 als einen geschätzten Wert auszugeben, wenn der Wert der repräsentativen Pixeldaten in dem Bereich von dem Maximalwert bis zu dem Minimalwert enthalten ist, und die Differenz zwischen den repräsentativen Pixeldaten und dem Maximalwert und die Differenz zwischen den repräsentativen Pixeldaten und dem Minimalwert als geschätzte Werte auszugeben, wenn der Wert der repräsentativen Pixeldaten nicht in dem Bereich von dem Maximalwert bis zu dem Minimalwert enthalten ist.

9. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4,

wobei die Merkmalsmengendaten der mittlere Wert und die Normalabweichung einer Vielzahl von Pixeln des Prüfblocks sind und

wobei der Schritt zum Erzeugen des geschätzten Werts der das Mittel dafür dazu bestimmt ist, fast 0 als einen geschätzten Wert auszugeben, wenn die repräsentativen Pixeldaten in dem Bereich zwischen dem Summenwert und dem Differenzwert des mittleren Werts und der Normalabweichung enthalten sind, und die Differenz zwischen den repräsentativen Pixeldaten und dem Summenwert und die Differenz zwischen den repräsentativen Pixeldaten und dem Differenzwert als geschätzte Werte auszugeben, wenn die repräsentativen Pixeldaten nicht in dem Bereich zwischen dem Summenwert und dem Differenzwert des mittleren Werts und der Normalabweichung enthalten sind.

10. Verfahren oder Vorrichtung nach Anspruch 1, 2, 3 oder 4, wobei der Basisblock und der Prüfblock aus einer Vielzahl von kleinen Blöcken zusammengesetzt sind, die repräsentativen Pixeldaten und die Merkmalsmenge für jeden der kleinen Blöcke extrahiert werden, der geschätzte Wert für jeden der kleinen Blöcke erzeugt wird, der geschätzte Wert kumuliert wird und der Basisblock und der Prüfblock entsprechend dem kumulierten Wert partiell verglichen werden.