DE69834902T2 - Bewegungskompensierte prädiktive bildkodierung und -dekodierung - Google Patents

Bewegungskompensierte prädiktive bildkodierung und -dekodierung Download PDF

Info

Publication number
DE69834902T2
DE69834902T2 DE69834902T DE69834902T DE69834902T2 DE 69834902 T2 DE69834902 T2 DE 69834902T2 DE 69834902 T DE69834902 T DE 69834902T DE 69834902 T DE69834902 T DE 69834902T DE 69834902 T2 DE69834902 T2 DE 69834902T2
Authority
DE
Germany
Prior art keywords
objects
mvc
motion
motion vectors
mvl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69834902T
Other languages
English (en)
Other versions
DE69834902D1 (de
Inventor
Daniele Bagni
Gerard De Haan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon Wireless LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE69834902D1 publication Critical patent/DE69834902D1/de
Application granted granted Critical
Publication of DE69834902T2 publication Critical patent/DE69834902T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • Die Erfindung betrifft die bewegungskompensierte, prädiktive Bildcodierung und -decodierung.
  • Wie in den Abschnitten 1 bis 3 der Prioritätsanmeldung ausführlicher dargelegt, ist die bewegungskompensierte, prädiktive Bildcodierung und -decodierung dem Fachmann wohlbekannt, siehe Quellen [1] bis [4]. Ein ebenfalls in der Prioritätsanmeldung beschriebener hochwertiger dreidimensionaler, rekursiver Algorithmus zur Suche nach Blockübereinstimmung ist aus den Quellen [5] bis [7] bekannt.
  • Wie in der Prioritätsanmeldung dargelegt, ist ein erstes bewegungskompensiertes, prädiktives Verfahren zur Bildcodierung (der Standard H.263) bekannt, bei welchem Bewegungsvektoren geschätzt und für 16 × 16-Makroblöcke verwendet werden. Diese enorme Makroblockgröße hat eine verhältnismäßig geringe Anzahl Bits zur Übertragung der Bewegungsdaten zur Folge. Andererseits ist die Bewegungskompensation eher grob. Bei einer Erweiterung des H.263-Standards werden Bewegungsvektoren für kleinere 8 × 8-Blöcke benutzt und übermittelt, d. h. mehr Bewegungsdaten, aber eine weniger grobe Bewegungskompensation. Die größere Anzahl Bits, die für Bewegungsdaten benötigt wird, führt jedoch dazu, dass weniger Bits für die Übertragung von Bilddaten zur Verfügung stehen, sodass insgesamt die Verbesserung der Bildqualität geringer ist als angestrebt.
  • Der Erfindung liegt unter anderem die Aufgabe zugrunde, verbesserte bewegungskompensierte, prädiktive Bildcodier- und Bilddecodierverfahren zu schaffen. Dazu schafft ein erster Aspekt der Erfindung ein Bildcodierverfahren und eine Bildcodiervorrichtung wie in den Ansprüchen 1 und 3 definiert. Ein zweiter Aspekt der Erfindung schafft ein Bilddecodierverfahren und eine Bilddecodiervorrichtung wie in den Ansprüchen 4 und 6 definiert. Weitere Aspekte der Erfindung schaffen ein Multimedia-Gerät (Anspruch 7), ein Bildsignalanzeigegerät (Anspruch 8) und ein Bildsignal (Anspruch 9). Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen 2 und 5 definiert.
  • Bei einem Verfahren zur bewegungskompensierten, prädiktiven Bildcodierung gemäß einem Hauptaspekt der vorliegenden Erfindung werden erste Bewegungsvektoren für erste Objekte geschätzt, die ersten Bewegungsvektoren gefiltert, um zweite Bewegungsvektoren für zweite Objekte zu erhalten, wobei die zweiten Objekte kleiner als die ersten Objekte sind, Prädiktionsfehler in Abhängigkeit von den zweiten Bewegungsvektoren erzeugt und die ersten Bewegungsvektoren und die Prädiktionsfehler kombiniert.
  • Diese und weitere Aspekte der Erfindung werden anhand der nachstehend beschriebenen Ausführungsformen erläutert und verständlich.
  • In der Zeichnung zeigen:
  • 1 ein grundsätzliches Blockdiagramm für die DPCM/DCT-Videokompression gemäß der vorliegenden Erfindung;
  • 2 eine zeitlich prädiktive Einheit mit einem Bewegungsvektor-Nachbearbeitungsfilter (MVPF, Motion Vector Post-Filter) gemäß der vorliegenden Erfindung;
  • 3 eine Blockerosion von einem Vektor pro 16 × 16-Makroblock zu einem Vektor für jeden 8 × 8-Block;
  • 4 ein Decodierer-Blockdiagramm gemäß der vorliegenden Erfindung; und
  • 5 eine Bildsignal-Empfangseinrichtung gemäß der vorliegenden Erfindung.
  • In dem Bildcodierer von 1 wird ein Eingangsvideosignal IV an eine Frameskipping-Einheit 1 angelegt. Ein Ausgang der Frameskipping-Einheit 1 ist an einen nicht invertierenden Eingang eines Subtrahierers 3 und an einen ersten Eingang eines Wechselschalters 7 angeschlossen. Ferner liefert der Ausgang der Frameskipping-Einheit 1 ein aktuelles Bildsignal an eine zeitlich prädiktive Einheit 5. Ein invertierender Eingang des Subtrahierers 3 ist an einen Ausgang der zeitlich prädiktiven Einheit 5 angeschlossen. Ein zweiter Eingang des Wechselschalters 7 ist an einen Ausgang des Subtrahierers 3 angeschlossen. Ein Ausgang des Wechselschalters 7 ist mit einer Kaskadenanordnung eines diskreten Cosinus-Transformations-Codierers DCT und einer Quantisierungseinheit Q verbunden. Ein Ausgang der Quantisierungseinheit Q ist an einen Eingang eines Variable- Längen-Codierers (VLC) angeschlossen, von welchem ein Ausgang an eine Puffereinheit BUF angeschlossen ist, die einen Ausgangsbitstrom OB liefert.
  • Der Ausgang der Quantisierungseinheit Q ist außerdem mit einer Kaskadenanordnung einer Dequantisierungseinheit Q–1 und eines DCT-Decodierers DCT–1 verbunden. Ein Ausgang des DCT-Decodierers DCT–1 ist mit einem ersten Eingang eines Addierers 9 verbunden, von welchem ein zweiter Eingang über einen Schalter 11 mit dem Ausgang der zeitlich prädiktiven Einheit 5 verbunden ist. Ein Ausgang des Addierers 9 liefert ein rekonstruiertes vorhergehendes Bild an die zeitlich prädiktive Einheit 5. Die zeitlich prädiktive Einheit 5 berechnet Bewegungsvektoren MV, die ebenfalls durch den Variable-Längen-Codierer VLC codiert werden.
  • Die Puffereinheit BUF liefert ein Steuersignal an die Quantisierungseinheit Q und an eine Codierungsauswahleinheit 13, die ein Intraframe/Prädiktivcodierungs-Steuersignal I/P an die Schalter 7 und 11 liefert. Wenn eine Intraframe-Codierung ausgeführt wird, sind die Schalter 7, 11 in den in 1 gezeigten Stellungen.
  • Gemäß der vorliegenden Erfindung ist der Bildcodierer von 1 gekennzeichnet durch den besonderen Aufbau der zeitlich prädiktiven Einheit 5, der mit Hilfe von 2 genauer beschrieben wird.
  • Wie in 2 gezeigt, enthält die zeitlich prädiktive Einheit 5 eine Bewegungsschätzeinheit ME (Motion Estimator) und einen bewegungskompensierten Interpolator MCI (Motion-Compensated Interpolator), die beide das aktuelle Bild von der Frameskipping-Einheit 1 und das rekonstruierte vorhergehende Bild vom Addierer 9 empfangen. Gemäß der vorliegenden Erfindung werden die von der Bewegungsschätzeinheit ME berechneten Bewegungsvektoren MV durch ein Bewegungsvektor-Nachbearbeitungsfilter MVPF gefiltert, bevor sie dem bewegungskompensierten Interpolator MCI zugeführt werden.
  • In diesem Abschnitt wird der wirklich neuartige Teil des Vorschlags, die Bewegungsvektor-Nachbearbeitungsfilterung (MVPF), beschrieben. Vorzugsweise soll die Bewegungskompensation bei überlappenden Blöcken, basierend auf Blöcken der Größe 8 × 8, die bereits im H.263-Standard unter „Advanced Prediction Mode (APM)" spezifiziert ist (ausführlicher beschrieben in der Prioritätsanmeldung), sowohl in dem codierenden als auch in dem decodierenden Endgerät benutzt werden, wobei nur Makroblock- (MB) Bewegungsvektoren, die für 16 × 16-Makroblöcke geschätzt sind, gesendet und empfangen wer den, um die Bitrate nicht zu erhöhen. Dies bedeutet, dass beide Endgeräte die gleiche MVPF verwenden müssen, um die Makroblock-Vektoren Blöcken von 8 × 8 Pixeln zuzuweisen, wie in dem APM-Teil zur Bewegungsschätzung ausgeführt. 2 zeigt die zeitlich prädiktive Einheit 5 einschließlich der MVPF.
  • Selbst wenn die MVPF nicht von der Schätzstrategie abhängen sollte, wird dringend geraten, sie zusammen mit der Bewegungsschätzeinheit zu verwenden, die in den Quellen [5] bis [7] beschrieben ist, um die besten Leistungsparameter zu erzielen. Selbstverständlich gibt es verschiedene Lösungen, um die 8 × 8-Block-Vektoren zu berechnen, beispielsweise durch eine gewichtete Mittelung der benachbarten 16 × 16-Makroblock-Vektoren. Trotzdem wird nur das ausführlich beschrieben, was aufgrund der Eigenschaften, die der neuen Bewegungsschätzeinheit, der Blockerosions-MVPF, eigen sind, als die beste Lösung angesehen wird.
  • Wie in den Quellen [1] bis [4] berichtet, sind beim H.263-Standard die Bewegungsinformationen auf einen Vektor pro Makroblock mit X × Y = 16 × 16 Pixeln beschränkt. Folglich führt gemäß einer bevorzugten Ausführungsform die MVPF eine Blockerosion aus, um feste Blockbegrenzungen aus dem Vektorfeld zu entfernen, indem einem Block mit den Abmessungen (X/2) × (Y/2) = 8 × 8 ein neuer Vektor zugewiesen wird.
  • Wenn MVc = d →(b →c,t) ein Makroblock-Vektor ist, der in b →c zentriert ist, und seine vier benachbarten Makroblock-Vektoren durch
    Figure 00040001
    gegeben sind, werden den vier 8 × 8-Blöcken, die wie in 3 nummeriert sind, ihre neuen Vektoren folgendermaßen zugewiesen:
    • MV1 = Median(MVl, MVc, MVa)
    • MV2 = Median(MVa, MVc, MVr)
    • MV3 = Median(MVl, MVc, MVb)
    • MV4 = Median(MVr, MVc, MVb)
  • Genauer gesagt umfasst der Filterungsschritt MVPF die folgenden Schritte:
    Bereitstellen von x- und y-Bewegungsvektorkomponenten für einen gegebenen Makroblock MVc und für Makroblöcke MVl, MVr, MVa, MVb, die an den gegebenen Makroblock MVc grenzen; und
    für jeden Block MV1 aus einer Anzahl von Blöcken MV1 bis MV4, die dem gegebenen Makroblock MVc entsprechen, Liefern von x- und y-Bewegungsvektorkomponenten, die jeweils aus den x- und y-Bewegungsvektorkomponenten des gegebenen Makroblocks MVc und aus den x- und y-Bewegungsvektorkomponenten der zwei Blöcke MVl, MVa, die an den Block MV1 grenzen, ausgewählt sind.
  • 3 zeigt die Blockerosion eines Makroblock-Vektors MVc für einen 16 x 16-Makroblock in vier Blockvektoren MV1, MV2, MV3, MV4 für 8 × 8-Blöcke. Die Blockerosion als solche zur Verwendung bei einem Feldraten-Umsetzer in einem Fernsehempfänger ist aus US-A-5,148,269 (PHN 13.396) bekannt. Das Patent schlägt nicht vor, dass eine Blockerosion vorteilhaft genutzt werden kann, um Bewegungsvektoren, die für Makroblöcke geschätzt worden sind, zu übertragen, während eine vierfache Anzahl Vektoren sowohl im Codierer als auch im Decodierer verwendet wird, um Prädiktionsfehler für Blöcke zu erhalten, die nur ein Viertel der Makroblöcke umfassen.
  • Diese Lösung wird im H.263-Standard nicht erwähnt, sie ist jedoch voll-ständig H.263-kompatibel. Zu Beginn der multimedialen Kommunikation tauschen die zwei Endgeräte Daten über ihre Verarbeitungsnorm sowie über nicht genormte Möglichkeiten aus (für weitere Einzelheiten siehe Quelle [4]). Unter der Voraussetzung, dass beide Endgeräte während des Kommunikationsaufbaus diese MVPF-Möglichkeit bekannt geben, werden sie leicht miteinander koppeln. Folglich wird der Videocodierer nur Makroblock-Vektoren für 16 × 16-Makroblöcke senden, während der Videodecodierer sie einer nachbearbeitenden Filterung unterziehen wird, um für jeden 8 × 8-Block einen anderen Vektor zu erhalten. Bei dem zeitlichen Interpolationsverfahren verwenden beide Endgeräte die Bewegungskompensation für überlappende Blöcke, die im H.263-Standard unter APM spezifi ziert ist. Durch dieses Verfahren kann ohne Erhöhung der Bitrate die gleiche Bildqualität wie bei Verwendung der erweiterten prädiktiven Betriebsart APM erzielt werden.
  • Wenn mindestens ein Endgerät bekannt gibt, diese Möglichkeit nicht zu haben, kann in dem anderen Endgerät eine Markierung erzwungen werden, um sie auszuschalten.
  • 4 zeigt einen Decodierer gemäß der vorliegenden Erfindung. Ein ankommender Bitstrom wird einem Puffer BUFF zugeführt, der einen Ausgang hat, der mit einem Eingang eines Variable-Längen-Decodierers VLC–1 verbunden ist. Der Variable-Längen-Decodierer VLC–1 liefert Bilddaten an eine Kaskadenanordnung eines Dequantisierers Q–1 und eines DCT-Decodierers DCT–1. Ein Ausgang des DCT-Decodierers DCT–1 ist mit einem ersten Eingang eines Addierers 15 verbunden, von welchem ein Ausgang das Ausgangssignal des Decodierers liefert. Ferner liefert der Variable-Längen-Decodierer VLC–1 Bewegungsvektoren MV für 16 × 16-Makroblöcke an ein Bewegungsvektor-Nachbearbeitungsfilter MVPF, um Bewegungsvektoren für 8 × 8-Blöcke zu erhalten. Diese letzteren Bewegungsvektoren werden einer Bewegungskompensationseinheit MC zugeführt, die das Ausgangssignal des Decodierers empfängt. Ein Ausgangssignal der Bewegungskompensationseinheit MC wird über einen Schalter 17, der mittels eines Intraframe/Prädiktivcodierungs-Steuersignals I/P von dem Variable-Längen-Decodierer VLC–1 gesteuert wird, an einen zweiten Eingang des Addierer 15 angelegt.
  • 5 zeigt eine Bildsignal-Empfangseinrichtung gemäß der vorliegenden Erfindung. Teile (T, 4, VSP) dieser Einrichtung können Bestandteile eines Multimedia-Geräts sein. Eine Satellitenschüssel SD empfängt ein bewegungskompensiertes, prädiktiv codiertes Bildsignal gemäß der vorliegenden Erfindung. Das empfangene Signal wird an einen Tuner T angelegt, dessen Ausgangssignal dem Decodierer von 4 zugeführt wird. Das decodierte Ausgangssignal des Decodierers von 4 wird üblichen Videosignalverarbeitungsoperationen VSP unterzogen, deren Ergebnis auf einem Bildschirm D angezeigt wird.
  • Interessant ist die Feststellung, dass in einem Beispiel (in der Prioritätsanmeldung ausführlicher beschrieben) die Bewegungsvektoren (Makroblock-Informationen) beim zugrunde liegenden H.263-Standard 13–18 % der Gesamt-Bitrate und beim H.263- Standard mit APM und UMV 19–25 % benötigen. UMV bedeutet unbeschränkte Bewegungsvektoren (Unrestricted Motion Vectors) und ist ausführlicher in der Prioritätsanmeldung beschrieben. Im Wesentlichen bedeutet UMV, dass der Suchbereich von [–16, +15,5] auf [–31,5, +31,5] vervierfacht wird.
  • Durch das vorliegende Verfahren kann die Differenz zwischen diesen Bitmengen benutzt werden, um die Quantisierung der DCT-Koeffizienten zu entspannen, statt die blockbezogenen Bewegungsvektorinformationen zu codieren, sodass schärfere Bilder als durch eigentliche H.263-Standard-Bildcodierer mit APM erzielt werden, ohne die Bitraten zu erhöhen.
  • Andererseits, wenn die Quantisierung der DCT-Koeffizienten nicht entspannt wird, können Bilder mit einer Qualität, die für H.263 plus APM typisch ist, codiert und gesendet werden, während die Bitrate wegen der nicht stattfindenden Übertragung von Block-Bewegungsinformationen verringert wird, wodurch sich die Kanaleffizienz erhöht.
  • Schließlich werden bei dem vorliegenden Verfahren jedem Block seine eigenen Bewegungsvektoren zugeordnet, während bei der APM des H.263-Standards nicht alle der Makroblöcke als vier separate Blöcke verarbeitet werden. Mit anderen Worten: Bei einer APM ist es immer möglich, dass eine gleich bleibende Anzahl Makroblöcke verbleibt, denen ein Bewegungsvektor zugeordnet wird, während das vorliegende Verfahren immer jedem Block einen eigenen Bewegungsvektor zuweist.
  • Ein Hauptaspekt der Erfindung kann wie folgt zusammengefasst werden: Die Erfindung betrifft ein Videocodierverfahren mit niedriger Bitrate, das mit dem H.263-Standard voll kompatibel ist und einen Schritt der Bewegungsvektor-Nachbearbeitungsfilterung (MVPF) umfasst. Dieser MVPF-Schritt weist jedem der Blöcke, die einen Makroblock bilden, einen anderen Bewegungsvektor zu, wobei von dem ursprünglichen Bewegungsvektor des Makroblocks selbst ausgegangen wird. Auf diese Weise basiert die zeitliche Prädiktion auf Blöcken mit 8 × 8 Pixeln, und nicht auf 16 × 16-Makroblöcken, wie bei Verwendung der käuflich erwerbbaren Option, die als erweiterte prädiktive Betriebsart (APM, Advanced Prediction Mode) bezeichnet wird, im H.263-Codierer erfolgt. Das Endgerät, welches das Video decodiert, muss den gleichen MVFP-Schritt anwenden, um die zugehörigen Blockvektoren zu erzeugen.
  • Außerdem wird im Vergleich zur erweiterten prädiktiven Betriebsart APM auch eine erhebliche Verminderung der Bitrate erzielt, da nur Makroblock-Vektoren (in variabler Länge) differenzcodiert und gesendet werden.
  • Dieses Verfahren ist bisher kein H.263-standardisiertes Verfahren, deshalb muss es zwischen den zwei Endgeräten mittels des H.245-Protokolls signalisiert werden. Es kann bei CIF, QCIF und SQCIF-Auflösung verwendet werden.
  • Die folgenden hervorragenden Merkmale der Erfindung sind beachtenswert.
  • Verfahren und Gerät zur Durchführung des Verfahrens für gemäß H.263 videocodierende und -decodierende Stufen, das schon an sich hinsichtlich der Bewegungsschätzung und Bewegungskompensation – basierend auf 8 × 8-Pixel-Blöcken anstelle von 16 × 16-Makroblöcken, wie eigentlich nur bei H.263-Codierern und -Decodierern verwirklicht, welche die erweiterte prädiktive Betriebsart APM verwenden – das Gleiche wie die erweiterte prädiktive Betriebsart leistet.
  • Verfahren und Gerät zur Durchführung des Verfahrens, das ferner einen MVPF-Schritt einschließt, der in der Phase der Bewegungsschätzung der Schleife für die zeitliche Prädiktion des H.263-Videocodierers angeordnet ist.
  • Verfahren und Gerät zur Durchführung des Verfahrens, das ferner einen MVPF-Schritt einschließt, der in der Phase der zeitlichen Interpolation des H.263-Videocodierers angeordnet ist.
  • Verfahren und Gerät zur Durchführung des Verfahrens, das die gleiche (oder sogar eine bessere) Bildqualität wie die APM erzielt, da die zeitliche Prädiktion auf Blöcken mit 8 × 8 Pixeln anstelle von 16 × 16-Makroblöcken basiert.
  • Verfahren und Gerät zur Durchführung des Verfahrens, das eine im Vergleich zur APM niedrigere Bitrate erzielt, da nur Makroblock-Vektoren differenzcodiert und gesendet werden. Die Bildqualität ist der des H.263-Standards mit APM ähnlich.
  • Verfahren und Gerät zur Durchführung des Verfahrens, das im Vergleich zum H.263-Standard mit APM eine bessere Bildqualität erzielt, da das Bit-Budget, das eingespart wird, indem nur Makroblock-Vektoren codiert und gesendet werden, für eine weniger grobe Quantisierung der DCT-Koeffizienten wiederverwendet wird. Die Bitraten sind denen ähnlich, die mit dem H.263-Standard mit APM erzielbar sind.
  • Verfahren und Gerät zur Durchführung des Verfahrens, wobei die MVPF eine Blockerosionsphase ist, wenn die Bewegungsschätzung auf der Grundlage von Makro blöcken mit Abmessungen gemäß dem H.263-Standard (16 × 16 Pixel) berechnet wird. Es kann eine beliebige andere Lösung verwendet werden, etwa eine gewichtete Mittelung benachbarter Makroblock-Vektoren.
  • Es sollte beachtet werden, dass die oben erwähnten Ausführungsformen die Erfindung veranschaulichen und nicht beschränken und dass der Fachmann in der Lage sein wird, zahlreiche alternative Ausführungsformen zu schaffen, ohne vom Anwendungsbereich der beigefügten Ansprüche abzuweichen. In den Ansprüchen sind Bezugszeichen, die in Klammern gesetzt sind, nicht als Beschränkung des jeweiligen Anspruchs zu verstehen. Die Erfindung kann mittels Hardware umgesetzt werden, die mehrere voneinander verschiedene Elemente umfasst, sowie mittels eines entsprechend programmierten Computers. In die Einrichtung betreffenden Ansprüchen, die mehrere Mittel aufzählen, können verschiedene dieser Mittel durch ein und dasselbe Hardwareelement verkörpert sein. Obwohl in einer bevorzugten Ausführungsform 16 × 16-Makroblöcke auf 8 × 8-Blöcke verkleinert werden, ist auch eine weitere Verkleinerung in Viertelblöcke der Größe 4 × 4 möglich, wobei in diesem Fall die prädiktive Codierung auf den 4 × 4-Viertelblöcken basiert.
  • QUELLENANGABEN
    • [1] ITU-T DRAFT Recommendation H.263, Video coding for low bit rate communication, 2. Mai 1996.
    • [2] K. Rijkse, „ITU standardisation of very low bit rate video coding algorithms", Signal Processing: Image Communication 7, 1995, S. 553–565.
    • [3] ITU-T DRAFT Recommendation H.261, Video codec for audio-visual services at px64 kbits, März 1993.
    • [4] ITU-T DRAFT Recommendation H.245, Control protocol for multimedia communications, 27. November 1995.
    • [5] G. de Haan, P.W.A.C. Biezen, H. Huijgen, O. A. Ojo, „True motion estimation with 3-D recursive search block matching", IEEE Trans. Circuits and Systems for Video Technology, Bd. 3, Oktober 1993, S. 368–379.
    • [6] G. de Haan, P.W.A.C. Biezen, „Sub-pixel motion estimation with 3-D recursive search block-matching", Signal Processing: Image Communication 6 (1995), S. 485–498.
    • [7] P. Lippens, B. De Loore, G. de Haan, P. Eeckhout, H. Huijgen, A. Loning, B. McSweeney, M. Verstraelen, B. Pham, J. Kettenis, „A video signal processor for motion-compensated field-rate up-conversion in consumer television", IEEE Journal of Solid-state Circuits, Bd. 31, Nr. 11, November 1996, S. 1762–1769.

Claims (9)

  1. Verfahren zur bewegungskompensierten, prädiktiven Bildcodierung, das die folgenden Schritte umfasst: Schätzen (ME) erster Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) für erste Objekte (16 × 16), Filtern (MVPF) eines jeden der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb), um zweite Bewegungsvektoren (MV1, MV2, MV3, MV4) für zweite Objekte (8 × 8) zu erhalten, wobei die zweiten Objekte (8 × 8) kleiner als die ersten Objekte (16 × 16) sind und einem gegebenen ersten Objekt (16 × 16) entsprechen, Erzeugen (3) von Prädiktionsfehlern in Abhängigkeit von nur den zweiten Bewegungsvektoren (MV1, MV2, MV3, MV4) und Codieren (VLC) der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) und der Prädiktionsfehler.
  2. Verfahren nach Anspruch 1, bei dem die ersten Objekte (16 ×16) Makroblöcke sind, die zweiten Objekte (8 × 8) Blöcke sind und der Filterungsschritt (MVPF) die folgenden Schritte umfasst: Bereitstellen von x- und y-Bewegungsvektorkomponenten für einen gegebenen Makroblock (MVc) und für Makroblöcke (MVl, MVr, MVa, MVb), die an den gegebenen Makroblock (MVc) grenzen, und für jeden Block (MV1) aus einer Anzahl von Blöcken (MV1 bis MV4), die dem gegebenen Makroblock (MVc) entsprechen, Liefern von x- und y-Bewegungsvektorkomponenten, die jeweils aus den x- und y-Bewegungsvektorkomponenten des gegebenen Makroblocks (MVc) und aus den x- und y-Bewegungsvektorkomponenten der zwei Blöcke (MVl, MVa), die an den Block (MV1) grenzen, ausgewählt sind.
  3. Vorrichtung zur bewegungskompensierten, prädiktiven Bildcodierung, die Folgendes umfasst: Mittel zum Schätzen (ME) erster Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) für erste Objekte (16 × 16), Mittel zum Filtern (MVPF) eines jeden der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb), um zweite Bewegungsvektoren (MV1, MV2, MV3, MV4) für zweite Objekte (8 × 8) zu erhalten, wobei die zweiten Objekte (8 × 8) kleiner als die ersten Objekte (16 × 16) sind und einem gegebenen ersten Objekt (16 × 16) entsprechen, Mittel zum Erzeugen (3) von Prädiktionsfehlern in Abhängigkeit von nur den zweiten Bewegungsvektoren (MV1, MV2, MV3, MV4) und Mittel zum Codieren (VLC) der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) und der Prädiktionsfehler.
  4. Verfahren zur bewegungskompensierten, prädiktiven Decodierung, das die folgenden Schritte umfasst: Erzeugen (VLC–1) von ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) und Prädiktionsfehlern aus einem Eingangsbitstrom, wobei sich die ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) auf erste Objekte (16 × 16) beziehen und sich die Prädiktionsfehler nur auf zweite Objekte (8 × 8) beziehen, Filtern (MVPF) eines jeden der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb), um zweite Bewegungsvektoren (MV1, MV2, MV3, MV4) für zweite Objekte (8 × 8) zu erhalten, wobei die zweiten Objekte (8 × 8) kleiner als die ersten Objekte (16 × 16) sind und einem gegebenen ersten Objekt (16 × 16) entsprechen, Erzeugen (15, MC) eines Ausgangssignals in Abhängigkeit der Prädiktionsfehler und der zweiten Bewegungsvektoren (MV1, MV2, MV3, MV4).
  5. Verfahren nach Anspruch 4, bei dem die ersten Objekte (16 × 16) Makroblöcke sind, die zweiten Objekte (8 × 8) Blöcke sind und der Filterungsschritt (MVPF) die folgenden Schritte umfasst: Bereitstellen von x- und y-Bewegungsvektorkomponenten für einen gegebenen Makroblock (MVc) und für Makroblöcke (MVl, MVr, MVa, MVb), die an den gegebenen Makroblock (MVc) grenzen, und für jeden Block (MV1) aus einer Anzahl von Blöcken (MV1 bis MV4), die dem gegebenen Makroblock (MVc) entsprechen, Liefern von x- und y-Bewegungsvektorkomponenten, die jeweils aus den x- und y-Bewegungsvektorkomponenten des gegebenen Makroblocks (MVc) und aus den x- und y-Bewegungsvektorkomponenten der zwei Blöcke (MVl, MVa), die an den Block (MVl) grenzen, ausgewählt sind.
  6. Vorrichtung zur bewegungskompensierten, prädiktiven Decodierung, die Folgendes umfasst: Mittel zum Erzeugen (VLC–1) von ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) und Prädiktionsfehlern aus einem Eingangsbitstrom, wobei sich die ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb) auf erste Objekte (16 × 16) beziehen und sich die Prädiktionsfehler nur auf zweite Objekte (8 × 8) beziehen, Mittel zum Filtern (MVPF) der ersten Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb), um zweite Bewegungsvektoren (MV1, MV2, MV3, MV4) für zweite Objekte (8 × 8) zu erhalten, wobei die zweiten Objekte (8 × 8) kleiner als die ersten Objekte (16 × 16) sind und einem gegebenen ersten Objekt (16 × 16) entsprechen, und Mittel zum Erzeugen (15, MC) eines Ausgangssignals in Abhängigkeit der Prädiktionsfehler und der zweiten Bewegungsvektoren (MV1, MV2, MV3, MV4).
  7. Multimedia-Gerät, das Folgendes umfasst: Mittel (T) zum Empfangen eines bewegungskompensierten, prädiktiv codierten Bildsignals und eine bewegungskompensierte, prädiktive Decodiereinrichtung nach Anspruch 6 zum Erzeugen eines decodierten Bildsignals.
  8. Bildsignalanzeigegerät, das Folgendes umfasst: Mittel (T) zum Empfangen eines bewegungskompensierten, prädiktiv codierten Bildsignals, eine bewegungskompensierte, prädiktive Decodiereinrichtung nach Anspruch 6 zum Erzeugen eines decodierten Bildsignals und Mittel (D) zum Anzeigen des decodierten Bildsignals.
  9. Bewegungskompensiertes, prädiktiv codiertes Bildsignal, das Folgendes umfasst: Bewegungsvektoren (MVc, MVl, MVr, MVa, MVb), die sich auf erste Objekte (16 × 16) beziehen, und Prädiktionsfehler, die sich auf zweite Objekte (8 × 8) beziehen, wobei die zweiten Objekte (8 × 8) kleiner als die ersten Objekte (16 × 16) sind und einem gegebenen ersten Objekt (16 × 16) entsprechen, und wobei die Prädiktionsfehler von den Bewegungsvektoren für die zweiten Objekte (8 × 8) abhängen.
DE69834902T 1997-11-17 1998-11-02 Bewegungskompensierte prädiktive bildkodierung und -dekodierung Expired - Lifetime DE69834902T2 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP97402763 1997-11-17
EP97402763 1997-11-17
EP98200461 1998-02-13
EP98200461 1998-02-13
PCT/IB1998/001757 WO1999026417A2 (en) 1997-11-17 1998-11-02 Motion-compensated predictive image encoding and decoding

Publications (2)

Publication Number Publication Date
DE69834902D1 DE69834902D1 (de) 2006-07-27
DE69834902T2 true DE69834902T2 (de) 2007-02-01

Family

ID=26147920

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69834902T Expired - Lifetime DE69834902T2 (de) 1997-11-17 1998-11-02 Bewegungskompensierte prädiktive bildkodierung und -dekodierung

Country Status (6)

Country Link
US (1) US20020031272A1 (de)
EP (1) EP0953254B1 (de)
JP (1) JP2001508633A (de)
KR (1) KR100600419B1 (de)
DE (1) DE69834902T2 (de)
WO (1) WO1999026417A2 (de)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
WO2006126148A1 (en) * 2005-05-25 2006-11-30 Nxp B.V. Multiple instance video decoder for macroblocks coded in a progressive and an interlaced way
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP2008311781A (ja) * 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
BRPI0918478A2 (pt) * 2008-09-04 2015-12-01 Thomson Licensing métodos e aparelho para refinamento de previsão usando previsão de movimento implícito
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8718142B2 (en) * 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8611415B1 (en) 2010-11-15 2013-12-17 Google Inc. System and method for coding using improved motion estimation
US8891626B1 (en) 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
US8693547B2 (en) 2011-04-06 2014-04-08 Google Inc. Apparatus and method for coding using motion vector segmentation
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8804819B1 (en) 2011-04-19 2014-08-12 Google Inc. Method and apparatus for encoding video using data frequency
US9749638B1 (en) 2011-04-28 2017-08-29 Google Inc. Method and apparatus for encoding video with dynamic quality improvement
US8705620B1 (en) 2011-04-28 2014-04-22 Google Inc. Method and apparatus for encoding anchor frame by encoding features using layers
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
WO2013006386A1 (en) 2011-07-01 2013-01-10 General Instrument Corporation Motion vector prediction design simplification
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9014265B1 (en) 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9210432B2 (en) 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9210424B1 (en) 2013-02-28 2015-12-08 Google Inc. Adaptive prediction block size in video coding
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69029999T2 (de) * 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
EP0648052B1 (de) * 1993-09-08 2000-03-01 THOMSON multimedia Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
US5539469A (en) * 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique

Also Published As

Publication number Publication date
EP0953254B1 (de) 2006-06-14
DE69834902D1 (de) 2006-07-27
WO1999026417A2 (en) 1999-05-27
KR100600419B1 (ko) 2006-07-13
KR20000070271A (ko) 2000-11-25
US20020031272A1 (en) 2002-03-14
EP0953254A2 (de) 1999-11-03
JP2001508633A (ja) 2001-06-26
WO1999026417A3 (en) 1999-07-22

Similar Documents

Publication Publication Date Title
DE69834902T2 (de) Bewegungskompensierte prädiktive bildkodierung und -dekodierung
DE60215241T2 (de) Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung
DE69817460T2 (de) Bildsequenzdekodierungsverfahren
DE69522861T2 (de) Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom
DE10190285B4 (de) Verfahren und System zur Verarbeitung von komprimierten Videosignalen
DE69525525T2 (de) Bildverarbeitungssystem unter Verwendung von Pixel-zu-Pixel Bewegungsschätzung und Bilddezimation
DE3704777C1 (de) Verfahren zum UEbertragen und zum Wiedergeben von Fernsehbildsequenzen
DE69428019T2 (de) Verfahren und vorrichtung zur kodierung/dekodierung von bewegungsvektoren, und verfahren und vorrichtung zur kodierung/dekodierung von bildsignalen
DE69719138T2 (de) Datenprozessor für ein Videoarchiv mit hoher Qualität
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE69834901T2 (de) Bewegungskompensierte prädiktive bildcodierung und -decodierung
EP1025708B1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE3837590A1 (de) Verfahren zum reduzieren der datenrate von digitalen bilddaten
DE69328747T2 (de) Bewegungsdetektionsvorrichtung für bewegte Bilder und Vorrichtung zum Kodieren von Bildsignalen
EP0995317B1 (de) Interpolationsfilterungsverfahren für sub-pelgenauigkeit-bewegungsschätzung
DE19743202B4 (de) Verfahren zum Codieren eines Bewegungsvektors
DE69711736T2 (de) Adaptive Postfilterung für ein Bildfernsprechsystem mit niedriger Bitrate
DE69523892T2 (de) Bewegungskompensationsvorrichtung für ein Bildkodierungssystem
DE69828144T2 (de) Verfahren und vorrichtung zur videocodierung und -decodierung
DE69824983T2 (de) Verfahren und Gerät zur Codierung durch Luminanzschätzung
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
EP0527132A1 (de) Verfahren zur aufbereitung von bilddaten für übertragungszwecke sowie anwendung.
EP0533675B1 (de) Übertragungssystem
WO2000011874A1 (de) Verfahren und anordnung zur codierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
EP0410192B1 (de) Schaltungsanordnung zur Schätzung von Bewegung in einem aufgenommenen Bild

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GUER, GB

8328 Change in the person/name/address of the agent

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, 12489 BERLIN

R081 Change of applicant/patentee

Ref document number: 953254

Country of ref document: EP

Owner name: PENDRAGON WIRELESS LLC (A NEVADA MANAGED LIMIT, US

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GB

Effective date: 20121213

R082 Change of representative

Ref document number: 953254

Country of ref document: EP

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, DE

Effective date: 20121213