DE19825042C2

DE19825042C2 - Verfahren zur Bewegungsvektorcodierung bei MPEG-4

Info

Publication number: DE19825042C2
Application number: DE1998125042
Authority: DE
Inventors: Hyun Mun Kim; Jong Beom Ra; Sung Deuk Kim; Young Su Lee
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 1997-09-12
Filing date: 1998-06-04
Publication date: 2002-07-04
Anticipated expiration: 2018-06-05
Also published as: GB2329295B; JPH11112994A; KR19990025488A; GB9815047D0; DE19825042A1; GB2329295A; KR100249223B1; US6498810B1

Description

Die Erfindung betrifft ein Verfahren zur Codierung eines be wegten Bilds bei MPEG-4 (MPEG = Moving Picture Experts Group). Dabei geht es insbesondere um die Verbesserung des Codierungswirkungsgrads bei einem Videoverifiziermodell (VM) gemäß MPEG-4, dessen Standardisierung derzeitig fortschrei tet.

Im allgemeinen muss die Redundanz von Bilddaten sowohl in der Zeitdomäne als auch in der zweidimensionalen Raumdomäne entfernt werden, um wirkungsvoll eine Abfolge von Videodaten zu komprimieren, die sich im Verlauf der Zeit ändern. Zum Entfernen von Redundanz in der zweidimensionalen Raumdomäne wird diskrete Cosinustransformation (DCT) verwendet, und zum Entfernen von Redundanz in der Zeitdomäne wird bei MPEG ein Bewegungskompensationsverfahren verwendet.

DCT ist ein Verfahren zum Beseitigen der Korrelation zwi schen Daten durch zweidimensionale räumliche Transformation. Jeder Block in einem Bild wird unter Verwendung von DCT räumlich transformiert, nachdem ein Bild in Blöcke unter teilt wurde. Es besteht die Tendenz, dass räumlich transfor mierte Daten in einer bestimmten Richtung driften.

Bilder, die in der Zeitdomäne aufeinanderfolgen, bilden im Zentrum eines Vollbilds Bewegungen eines Menschen oder eines Objekts ab. Diese Eigenschaft wird dazu verwendet, beim Be wegungskompensationsverfahren Redundanz in der Zeitdomäne zu beseitigen. Das zu übertragende Datenvolumen kann dadurch minimiert werden, dass ein ähnlicher Bereich aus dem voran gegangenen Bild herausgenommen wird und im aktuellen Bild ein Bereich, der sich nicht geändert hat (oder in dem nur eine sehr kleine Änderung vorliegt), durch den ähnlichen Be reich im vorangegangenen Bild aufgefüllt wird. Der Vorgang des Herausfindens der ähnlichsten Blöcke in Bildern wird als Bewegungsabschätzung bezeichnet. Der Versatzwert, der das Bewegungsausmaß repräsentiert, wird als Bewegungsvektor be zeichnet. Der Bewegungsvektor ist ein zweidimensionaler Vek tor, der den Versatz zwischen den Koordinaten eines Bezugs vollbilds oder Bezugshalbbilds und den Koordinaten eines vorangegangenen Vollbilds oder Halbbilds für Bewegungskom pensation im Bild kennzeichnet.

Innerhalb eines Suchfensters von ±2,5 Pixeln wird bei MPEG-4 auf Grundlage eines 16 × 16-Bewegungsvektors eine 8 × 8-Block suche für Bewegungsabschätzung hinsichtlich ganzzahliger Pi xel ausgeführt. Wenn im 8 × 8-Modus ein spezieller Makroblock erzeugt wird, liegen jeweilige Bewegungsvektoren bezüglich vier Blöcken im Makroblock innerhalb einer speziellen Um grenzung.

Fig. 1 zeigt eine Umgrenzung, wie sie Bewegungsvektoren von vier Blöcken bilden können, wenn ein Makroblock gemäß dem Stand der Technik im 8 × 8-Modus erstellt wird. Diese Umgren zung von vier Bewegungsvektoren trägt stark zu einer Erhö hung des Codierungswirkungsgrads für den Bewegungsvektor bei. Innerhalb des Makroblocks sind maximal vier Bewegungs vektoren zulässig. Wenn sie als solche übertragen werden, ist die Bitmenge groß. Die Bitmenge kann dadurch verringert werden, dass eine Codierung mit variabler Länge (VLC = Va riable Length Coding) für nur die Bewegungsvektordifferenz gegenüber dem Bewegungsvektor im vorangegangenen Makroblock vor der Übertragung ausgeführt wird. Dabei wird die Diffe renz zwischen Bewegungsvektoren als Bewegungsvektordifferenz (MVD = Motion Vector Difference) ausgedrückt.

Wie es in den Fig. 2a bis 2d dargestellt ist, wird ein tat sächlicher Bewegungsvektor eines Blocks unter Verwendung der Differenz (MVD_X, MVD_Y) zwischen dem Median von drei benach barten Bewegungsvektorkandidaten und einem Bewegungsvektor im relevanten Block abgeschätzt. Dies wird wie folgt ausge drückt:

P_X = Median(MV1_X, MV2_X, MV3_X)

P_Y = Median(MV1_Y, MV2_Y, MV3_Y)

MVD_X = MV_X - P_XMVD_Y = MV_Y - P_Y.

Fig. 1 veranschaulicht eine Grenze der Bewegungsvektor-Ab schätzung. Dabei ist aus den folgenden Gründen keine voll ständige Unterstützung von MPEG-4 VM möglich.

Hinsichtlich Kandidaten bei der Bewegungsvektor-Abschätzung in einem in Fig. 2 dargestellten Makroblock im 8 × 8-Modus steht ein Fall, gemäß dem der Wert eines als Medianvorhersa ge verwendeten Bewegungsvektors die Grenze eines Bewegungs vektors im 8 × 8-Modus überschreitet, in Zusammenhang mit einem Wert MVD2, der dem Block 2 entspricht. Da nur einer der drei Bewegungsvektor-Kandidaten innerhalb des Makroblocks im 8 × 8-Modus liegt, kann der Absolutwert von MVD2 wie aus der durch den Median erstellten Vorhersage erhalten, die Grenze von 5,0 überschreiten.

Es kann der Fall existieren, dass die durch den Median er stellte Vorhersage außerhalb der Grenze liegt. Wenn der Wert MV des Blocks 2 als MV_{AKTUELLER BLOCK} (Bewegungsvektor eines relevanten Blocks) definiert wird, der Wert MV1 des Blocks 2 als MV_{INNERHALB DER MV-VORHERSAGE} (Bewegungsvektor-Vorhersa ge innerhalb einer Umgrenzung) definiert wird, und der Medi an (MV1, MV2, MV3) des Blocks 2 als MV_{MEDIANVORHERSAGE} defi niert wird, zeigt Fig. 3 den Fall, dass MV_{MEDIANVORHERSAGE} der Grenze am nächsten liegt. Fig. 3 veranschaulicht den Fall, dass eine Bewegungsvektor-Medianvorhersage eine Grenze überschreitet.

Wie oben veranschaulicht, verwendet das herkömmliche Verfah ren zur Bewegungsvektorcodierung den Median von drei benach barten Bewegungsvektor-Kandidaten, um einen Bewegungsvektor abzuschätzen. Da jedoch dieses Verfahren alle Pixel auf Grundlage des Medians von drei benachbarten Bewegungsvektor- Kandidaten gleichmäßig abschätzt, ist es nicht optimal. Es existiert ein Problem dahingehend, dass bei diesem Verfahren der Codierungswirkungsgrad bei einer komplizierteren Bewe gungsabfolge merklich abnimmt.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bewegungsvektorcodierung bei MPEG-4 zu schaffen, das die Ge samtbitrate verringert.

Diese Aufgabe ist durch das Verfahren gemäß dem beigefügten Anspruch 1 gelöst. Beim erfindungsgemäßen Verfahren wird un ter drei Bewegungsvektor-Kandidaten derjenige aufgesucht, der die minimale Differenz gegenüber einem aktuellen Bewe gungsvektor aufweist, und es werden der Wert des herausge fundenen Bewegungsvektor-Kandidaten sowie ein Modusbit über tragen.

Zusätzliche Vorteile, Aufgaben und andere Merkmale der Er findung werden teilweise in der folgenden Beschreibung dar gelegt, und teilweise werden sie dem Fachmann bei der Unter suchung des Folgenden oder beim Ausüben der Erfindung er kennbar. Die Aufgaben und Vorteile der Erfindung werden spe ziell durch die Maßnahmen erzielt, wie sie in den beigefüg ten Ansprüchen dargelegt sind.

Die Erfindung wird aus der nachfolgenden detaillierten Be schreibung und den beigefügten Zeichnungen, die nur zur Ver anschaulichung dienen und demgemäß für die Erfindung nicht beschränkend sind, vollständiger zu verstehen sein.

Fig. 1 zeigt eine Umgrenzung, wie sie Bewegungsvektoren von vier Blöcken bilden können, wenn ein Makroblock gemäß dem Stand der Technik in einem 8 × 8-Modus erstellt wird;

Fig. 2a bis 2d zeigen Bewegungsvektor-Kandidaten in einem Makroblock gemäß einem 8 × 8-Modus gemäß dem Stand der Tech nik;

Fig. 3 veranschaulicht einen Fall, dass eine Bewegungsvek tor-Medianvorhersage beim Stand der Technik eine Grenze überschreitet;

Fig. 4 zeigt MVD-Codebits und eine Bitstromsyntax eines Mo dusbits bei der Erfindung;

Fig. 5a und 5b zeigen Beispiele dahingehend, dass Modusbits gemäß der Erfindung in einem Codierer und einem Decodierer verringert werden; und

Fig. 6 ist ein Flussdiagramm zur Erfindung.

Nun wird im einzelnen auf die bevorzugten Ausführungsbei spiele der Erfindung Bezug genommen, die in den beigefügten Zeichnungen veranschaulicht sind.

Als erstes wird aus drei Bewegungsvektorkandidaten derjenige Bewegungsvektor-Kandidat ausgewählt, der bei Codierung die minimale Bitrate aufweist. An einen Decodierer werden eine Bewegungsvektor-Vorhersageabweichung, die die Differenz zwi schen einem tatsächlichen Bewegungsvektor und einem vorher gesagten Bewegungsvektor ist, und Vorhersagemodus-Informa tion geliefert. Die Anzahl der Kandidaten beträgt im allge meinen drei. Es kann leicht die Bitrate beim Codieren der Differenz zwischen den Bewegungsvektoren abgeschätzt werden.

Fig. 4 zeigt MVD-Codebits und eine Bitstromsyntax eines Mo dusbits bei der Erfindung. Bewegungsvektor-Codierung erfolgt bezüglich X und Y. Das Modusbit zeigt an, welcher der drei Bewegungsvektor-Kandidaten beim Codieren einer MVD verwendet wird. Die dem Modusbit vorangehende MVD-Minimalrate kann un ter Verwendung von MVD-Minimalbit-Information verringert werden. Der Bewegungsvektor X wird unter Verwendung eines Minimalrate-Vorhersagewerts wie folgt codiert. Die Komponen te Y (Helligkeit) wird auf dieselbe Weise codiert.
MR_MVD_Codierung (MV_X_Code, *vlc_mag, *Rest, *Bitstrom)
{
/*Auffinden des Minimalrate-Vorhersagewerts unter den drei benachbarten Kandidaten,*/
R1_X = RATE (MV_X - MV1_X)
R2_X = RATE (MV_X - MV2_X)
R3_X = RATE (MV_X - MV3_X)
R_X_min = MIN (R1_X, R2_X, R3_X)
P_X_min_rate = MVi_X entsprechend R_X_min.
(Bei derselben Rate hat der Median für P_X_min_rate die höchste Priorität)
MVD_X_min_rate = MV_X - P_X_min_rate
/*Codieren von MVD_X_min_rate
MVD_Codierung (MVD_X_min_rate, f_code, vlc_code_mag, Rest, Bitstrom);
}

Die Fig. 5a und 5b zeigen Beispiele dafür, dass Modusbits gemäß der Erfindung in einem Codierer und einem Decodierer abnehmen. Fig. 5a gilt für den Codierer. Wenn MV1 = 0, MV2 = 0, MV3 = 3 gelten und für den Bewegungsvektor des aktuellen Blocks MV = 5 gilt, wird als Bewegungsvektor-Kandidat der Vektor MV3 ausgewählt, der nahe bei MV5 liegt, abweichend von MV1 und MV2, die entfernt von MV5 liegen. Dabei hat die MVD-Minimalrate (MVD_min_rate) den Wert 2.

Wie oben beschrieben, codiert der Codierer den Wert MVD_min rate unter Verwendung des Minimalrate-Vorhersagewerts. Dann prüft der Codierer, ob der Decodierer den tatsächlichen Be wegungsvektor erkennen kann, was unter Verwendung minimaler Information erfolgt.

Wie es in Fig. 5b dargestellt ist, die für den Decodierer gilt, existieren bei einem Ausführungsbeispiel der Erfindung nur zwei Kandidaten. Jedoch unterscheidet sich das Ergebnis der Decodierung für den Kandidaten 1 mittels MVD_min_rate, wie vom Codierer empfangen, vom Decodierungsergebnis betref fend denselben mit dem tatsächlichen MVD_min_rate, woraus geschlossen wird, dass der Kandidat 1 nicht der tatsächliche Bewegungsvektor ist. In diesem Fall ist es nicht erforder lich, ein Modusbit an den Decodierer zu liefern, um aus den drei Bewegungsvektor-Kandidaten den tatsächlichen Bewegungsvektor herauszufinden. Ein Algorithmus des erfindungsgemäßen Bewegungsvektor-Codierverfahrens ist der folgende:
max = MAX(MV1_X, MV2_X, MV3_X)
min = MIN(MV1_X, MV2_X, MV3_X)
inside mv_cnt = Anzahl benachbarter Kandidaten, deren entsprechende Blöcke innerhalb von VOP liegen.
distinct_mv_cnt = Anzahl getrennter, benachbarter Kan didaten.
(z. B. distinct_mv_cnt = 2, wenn MV1_X = 0, MV2_X = 0 und MV3_X gelten)
wenn (|max - min| < = THR && inside_mv_cnt < = 2 && distinct_mv_cnt == 3)
{
/*Anwendung des Minimalrate-Vorhersagewerts*/
/*Minimalrate-Vorhersage und entsprechende Codie rung von MVD_X_min_rate */
MR_MVD_Codierung (MV_X, f_Code, , , bs);
/*Bestimmen des MODUS */
/*Schritt 1: Auswerten von drei MV-Kandidaten.*/
Kandidat1_X = MVD_Decodierung (f_code, vlc_code_mag, Rest, MV1_X)
Kandidat2_X = MVD_Decodierung (f_code, vlc_code_mag, Rest, MV2_X)
Kandidat3_X = MVD_Decodierung (f_code, vlc_code_mag, Rest, MV3_X)
/*Schritt 2: Prüfen, ob "vlc_code_mag_ts" und "Rest" aus der Codierung zu Kandidat i_X (i = 1, 2, und 3) dieselben Werte wie "vlc_code_mag" bzw. "Rest" haben */
Kandidat_num = 0
MR_MVD_Codierung (Kandidat1_X, f_code, , ts, , ts);
wenn (vlc_code_mag, ts==vlc_code_mag, &&, Restts== Rest)
Kandidatnum++;
MR_MVD_Codierung (Kandidat2_X, t_code, , ts, , ts);
wenn (vlc_code_mag, ts==vlc_code_mag, &&, Restts== Rest)
Kandidatnum++;
MR_MVD_Codierung (Kandidat3_X, f_code, , ts, , ts);
wenn (vlc_code_mag, ts==vlc_code_mag, &&, Restts== Rest)
Kandidatnum++;
/* Schritt 3: Bestimmen von MODUS_X und Codieren des selben. */
wenn (Kandidat_num == 1)
Kein Bit wird MODUS_X zugeordnet;
andernfalls, wenn (Kandidat_num == 2)
1 Bit für MODUS_X;
andernfalls, wenn (Kandidat_num == 3)
1 oder 2 Bits für MODUS_X;
}
andernfalls
{
/*Medianvorhersagewert wird angewandt.*/
Keine Bitzuordnung für MODUS_X;
}

Das erfindungsgemäße Verfahren zur Bewegungsvektorcodierung bei MPEG-4 unter Verwendung eines derartigen Algorithmus wird nun unter Bezugnahme auf das in Fig. 6 dargestellte Flussdiagramm beschrieben.

Aus drei Bewegungsvektor-Kandidaten wird derjenige Kandidat ausgesucht, der im Codierungsfall die minimale Bitrate auf weist. An einen Decodierer werden die Bewegungsvektor-Vor hersageabweichung und Vorhersagemodus-Information geliefert. Die Bewegungsvektor-Vorhersageabweichung ist die Differenz zwischen einem tatsächlichen Bewegungsvektor und einem vor hergesagten Bewegungsvektor. Es wird die minimale Bitrate zum Codieren der Bewegungsvektordifferenz abgeschätzt. Wenn einmal ein Bewegungsvektor bezüglich der Komponenten X und Y, unter Verwendung eines Minimalrate-Vorhersagewerts, co diert ist, ist die Bewegungsvektorcodierung abgeschlossen.

Dieses Verfahren zur Bewegungsvektorcodierung bei MPEG-4 verringert die Gesamtbitrate durch Herausfinden desjenigen Kandidaten aus drei benachbarten Bewegungsvektor-Kandidaten, der die minimale Differenz gegen einen Bewegungsvektor auf weist, und durch Übertragen des Werts des herausgefundenen Bewegungsvektor-Kandidaten sowie eines Modusbits, um dadurch den Wirkungsgrad bei der Kompression eines bewegten Bilds zu verbessern.

Claims

1. Verfahren zur Bewegungsvektorcodierung bei MPEG-4, mit folgenden Schritten:

- Auswählen eines Bewegungsvektor-Kandidaten, der bei Codierung einer Bewegungsvektor-Vorhersageabweichung die minimale Bitrate ergibt, aus drei Bewegungsvektorkandidaten eines zu codierenden Makroblocks;
- Senden einer Bewegungsvektor-Vorhersageabweichung und von Vorher sagemodus-Information an einen Decodierer, wobei die Bewegungsvektor-Vor hersageabweichung einen Differenzwert zwischen einem aktuellen und einem vorhergesagten Bewegungsvektor darstellt;
- Abschätzen einer minimalen Bitrate zum Codieren des Bewegungsvek tordifferenzwertes durch Ausführen einer Codierung; und
- Codieren eines Bewegungsvektors bezüglich Komponenten X und Y un ter Verwendung des Bewegungsvektor-Kandidaten, der bei Codierung die mi nimale Bitrate ergibt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Codie rung des Bewegungsvektors bezüglich der Komponente X entsprechend dem folgenden Algorithmus ausgeführt wird:

- Ausführen einer MR_MVD_Codierung zur Erzeugung eines codierten Wertes MVD_X_code als Bitstrom variabler Länge,
- Auffinden des Bewegungsvektor-Kandidaten (MVi_X), der bei Codierung die minimale Bitrate (R_X_min) ergibt, entsprechend den folgenden Gleichun gen:
R1_X = RATE (MV_X - MV1_X)
R2_X = RATE (MV_X - MV2_X)
R3_X = RATE (MV_X - MV3_X)
R_X_min = MIN (R1_X, R2_X, R3_X)
P_X_min_rate = MVi_X (R_X_min), wobei bei gleicher Bitrate nach dem Co dieren der Median ausgewählt wird,
- Berechnen der Bewegungsvektor-Vorhersageabweichung MVD_X_min_rate entsprechend den folgenden Gleichung:
MVD_X_min_rate = MV_X - P_X_min_rate,
und
- Codieren der berechneten Bewegungsvektor-Vorhersageabweichung MVD_X_min_rate.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Verfahren zum Codieren eines Bewegungsvektors bezüglich der Komponente Y dasselbe wie das Verfahren zum Codieren des Bewegungsvektors bezüglich der Komponente X ist.