PL220816B1 - Sposób generowania skompresowanego sygnału danych wideo oraz sposób ponownego zsynchronizowania skompresowanego sygnału danych wideo - Google Patents

Description

Opis wynalazku

Przedmiotem wynalazku jest sposób generowania skompresowanego sygnału danych wideo oraz sposób ponownego zsynchronizowania skompresowanego sygnału danych video, odebranego przez dekoder.

Sposób ponownego zsynchronizowania znany jest ze standardu kompresji obrazu MPEG-4, który określany jest jako system kompresji obrazu MPEG-4, wersja 1 (MPEG-4 Visual Version 1), ISO/IEC 14496-2.

Standard MPEG-4 wykorzystuje obiekty wideo, które są jednostkami w obrazie, do których użytkownik ma dostęp i którymi może manipulować. Aby umożliwić dostęp do obiektu wideo niezbędna jest znajomość kodowanej reprezentacji jego kształtu. Przykłady obiektów wideo w danej chwili czasu zwane są płaszczyznami obiektów wideo, i będą oznaczane od tej pory jako VOP (Video Object Plane). Warstwa obiektów wideo jest zbiorem płaszczyzn VOP, których typ kształtu jest identyfikowany przez liczbę całkowitą zwaną video_object_layer_shape (kształt warstwy obiektu wideo).

Płaszczyzny VOP typu I (Intra coded), oznaczane od tej chwili jako I-VOP, kodowane są bez odniesienia do innych obrazów. Zapewniają one punkt dostępu do kodowanej sekwencji, w którym może rozpocząć się dekodowanie, ale są one kodowane jedynie z umiarkowaną kompresją. Płaszczyzny kodowane predykcyjnie- typu P (predictive coded), oznaczane od tej chwili jako P-VOP, są kodowane bardziej efektywnie z wykorzystaniem kompensowanej predykcji ruchu względem poprzednich płaszczyzn typu I (Intra) lub P (Predictive), a są ogólnie używane jako odniesienie dla dalszych predykcji. Dwukierunkowo predykcyjnie kodowane płaszczyzny obiektów wideo - typu B (Bidirectionally predictive coded VOPs), oznaczane od tej chwili jako P-VOP, zapewniają najwyższy stopień kompensacji, ale wymagają dla kompensacji ruchu tak przeszłych jak i przyszłych płaszczyzn VOP. Wektory ruchu są określane dla każdej 16-próbki przez 16 liniowy obszar VOP oznaczany od tej chwili jako makroblok, lub dla 8-próbki przez 8 liniowy obszaru VOP, oznaczany od tej chwili jako blok. Liczbami całkowitymi używanymi w dekodowaniu wektora ruchu są vop_fcode_forward oraz vop_fcode_backward.

Sposób ponownego zsynchronizowania opisany w standardzie MPEG-4 jest oparty na słowie ponownego zsynchronizowania, oznaczanego jako resync_marker, które jest wprowadzane do skompresowanego sygnału danych wideo. Jednobitowa flaga zwana „resync_marke r_d isable” (słowo ponownego zsynchronizowania nieaktywne) jest ustawiona na '1' dla wskazania, że nie występuje resync_marker w kodowanych płaszczyznach VOP, oraz jest ustawiana na '0' dla wskazania, że jest taki wskaźnik. Słowo ponownego zsynchronizowania określone w standardzie MPEG-4 jest łańcuchem binarnym o co najmniej 16 zerach, po których występuje jedynka '0 0000 0000 0000 0001'. Dla I-VOP lub VOP, gdzie video_object_layer_shape ma wartość „binary_only” (tylko_binarny), resync_marker tworzy jedynka poprzedzona przez 16 zer. Długość resync_marker zależy od wartości vop_fcode_forward, dla P-VOP, oraz większych wartości dla obu liczb całkowitych vop_fcode_forward i vop_fcode_backward w przypadku B-VOP. Zależność między długością słowa ponownego zsynchronizowania resync_marker i odpowiednim fcode jest dana jako 16+fcode. Resync_marker to jedynka poprzedzona przez (15+fcode) zer. Występuje jedynie wtedy, gdy flaga resync_marker_disable jest ustawiona na '0'. Słowo resync_marker jest umieszczane tylko bezpośrednio przed makro-blokiem i jest wyrównane z bajtem.

Słowo ponownego zsynchronizowania powinno być rozpoznawalne we wszystkich możliwych sekwencjach bitów, które mogą być zawarte w skompresowanym sygnale danych wideo, ponieważ nie mamy informacji a priori, gdzie może znajdować się słowo ponownego zsynchronizowania. Na przykład, w standardzie MPEG-4, słowo ponownego zsynchronizowania powinno być rozpoznawalne ze wszystkich słów kodu o zmiennej długości (oznaczanego od tej chwili jako VLC), jak również kodu początku VOP, który oznacza początek VOP.

Standard MPEG-4, jaki obecnie obowiązuje, dopuszcza pewne kombinacje słów VLC, które mogą prowadzić do nieoczekiwanych słów ponownego zsynchronizowania w skompresowanym sygnale danych wideo, a w konsekwencji, do błędnego ponownego zsynchronizowania. Jedną z kombinacji bitów, która jest uzyskana z dekodowania makrobloku należącego do B-VOP, a która może prowadzić do niepożądanego ponownego zsynchronizowania jest następująca: tryb makrobloku dla B-bloków (MODB): 00 typ makrobloku (MB__TYPE) : 0001

PL 220 816 B1 wzorzec kodowania bloku dla B-bloków (CBPB):

informacja urządzenia kwantującego (DBQUANT): słowo VLC wektora ruchu:

1000 00

0000 0000 0011 1

Powyższy przykład pokazuje szczególną kombinację słów VLC, która zawiera zbiór 16 kolejnych zer po których występuje jedynka: 5 zer odpowiada słowu CBP VLC, 1 zero odpowiada słowu VLC DBQUANT, a 10 zer odpowiada słowu VCL wektora ruchu -15.5. W takiej sytuacji występuje niejednoznaczność między tą szczególną kombinacją słów VCL i słowem ponownego zsynchronizowania, które jest również tworzone przez kolejne 16 zer (15+fcode, gdzie fcode jest równe w tym przypadku 1), po których występuje jedynka. Szczególna kombinacja słów VCL może imitować ponowne zsynchronizowanie, które nie jest oczekiwane. W takim przypadku dekoder wideo MPEG-4 nie może prawidłowo dekodować skompresowanego sygnału danych wideo.

Celem niniejszego wynalazku jest uzyskanie bardziej niezawodnego ponownego zsynchronizowania skompresowanego sygnału danych wideo odebranego przez dekoder.

Sposób generowania skompresowanego sygnału danych wideo według wynalazku, w którym do skompresowanego sygnału danych wideo odpowiadającego dwukierunkowo predykcyjnie kodowanej płaszczyźnie obiektów wideo wprowadza się sygnał słowa ponownego zsynchronizowania reprezentującego szereg zer o długości uzależnionej od wartości parametru fcode po którym występuje reprezentacja jedynki, charakteryzuje się tym, że wprowadza się sygnał słowa ponownego zsynchronizowania, który zawiera reprezentacje co najmniej 17 kolejnych zer, po którym występuje reprezentacja jedynki, dla liczby zer odpowiadającej wartości parametru fcode od 1 do 7

Sposób ponownego zsynchronizowania skompresowanego sygnału danych wideo odebranego przez dekoder według wynalazku, w którym wykrywa się sygnał słowa ponownego zsynchronizowania w skompresowanym sygnale danych wideo, przy czym sygnał danych wideo odpowiada dwukierunkowo predykcyjnie kodowanej płaszczyźnie obiektów wideo i synchronizuje się proces dekodowania skompresowanego sygnału danych wideo na podstawie sygnału wykrycia sygnału słowa ponownego zsynchronizowania reprezentującego szereg zer o długości uzależnionej od wartości parametru fcode, po którym występuje reprezentacja jedynki, charakteryzuje się tym, że wykrywa się sygnał słowa ponownego zsynchronizowania, który zawiera reprezentację co najmniej 17 kolejnych zer, po którym występuje reprezentacja jedynki, dla liczby zer odpowiadającej wartości parametru fcode od 1 do 7.

W konsekwencji, wspomniany sposób ponownego zsynchronizowania będzie zapewniał bardziej niezawodne ponowne zsynchronizowanie skompresowanego sygnału danych wideo, ponieważ jest on oparty na słowie ponownego zsynchronizowania zawierającym co najmniej 17 kolejnych zer, nawet wtedy, gdy fcode jest równy jedynce, a więc jest odróżnialny od szczególnej kombinacji słów VLC opisanych powyżej. Wspomniany sposób ponownego zsynchronizowania będzie więc zapewniał właściwe dekodowanie skompresowanego sygnału danych wideo, zawierającego wspomnianą szczególną kombinację słów VLC.

Sposób generowania skompresowanego sygnału danych wideo według niniejszego wynalazku ma zastosowanie w koderze, a sposób ponownego zsynchronizowania skompresowanego sygnału danych video według niniejszego wynalazku ma zastosowanie w dekoderze wideo.

Przedmiot wynalazku został objaśniony w przykładach wykonania na rysunku, na którym fig. 1 przedstawia pakiet wideo zawierający słowo ponownego zsynchronizowania zgodnie z wynalazkiem, a fig. 2 przedstawia sieć działań sposobu ponownego zsynchronizowania zgodnie z wynalazkiem.

Niniejszy wynalazek ma zastosowanie w sposobie ponownego zsynchronizowania, w którym to sposobie próbuje się umożliwić ponowne zsynchronizowanie skompresowanego sygnału danych wideo odebranych przez dekoder, po wykryciu błędów transmisji we wspomnianym skompresowanym sygnale danych wideo. Ogólnie, odrzucone są dane między punktem synchronizacji przed wystąpieniem błędu i pierwszym punktem, w który synchronizacja jest przywrócona. Jeżeli sposób ponownego zsynchronizowania zlokalizuje pewną ilość danych odrzuconych przez dekoder, będzie to stwarzało możliwość zastosowania innych typów narzędzi, które odtwarzają dane i/lub ukrywają efekt błędów.

Taki sposób ponownego zsynchronizowania jest opisany w kontekście sygnału danych wideo MPEG-4, ale może być on stosowany do innego typu skompresowanych sygnałów danych wideo, które operują na obiektach wideo.

Sposób ponownego zsynchronizowania jest oparty na podziale VOP na pakiety wideo. Taki sposób umożliwia periodyczne występowanie słów ponownego zsynchronizowania w skompresowanym sygnale danych wideo. Dlatego długość pakietów wideo nie jest oparta na liczbie makrobloków,

PL 220 816 B1 ale na liczbie bitów zawartych w pakiecie, co czyni sposób ponownego zsynchronizowania bardziej dokładnym.

Na fig. 1 przedstawiono typowy pakiet wideo. Pakiet wideo składa się z:

- słowa ponownego zsynchronizowania (RW) używanego do oznaczenia początku nowego pakietu wideo,

- informacji nagłówkowej, jak na przykład adresu makrobloku (NUM) pierwszego makro-bloku zawartego w pakiecie, parametru kwantyzacji Q (Quantization parameter) i kodu rozszerzenia nagłówka HEC (Header Extension Code); informacja nagłówkowa jest niezbędna do ponownego rozpoczęcia procesu dekodowania,

- danych makrobloku MBD (Macro-Block Data)

Słowo ponownego zsynchronizowania musi być odróżnialne od wszystkich możliwych słów VLC oraz kodu początku VOP. Jak to opisano powyżej w podsumowaniu wynalazku, szczególna sekwencja słów VLC powoduje niejednoznaczność w przypadku słowa ponownego zsynchronizowania na uprzednim stanie techniki.

Wspomniana sekwencja zawiera:

- tryb makrobloku dla słowa VCL B-bloków (MODB). Słowo VLC MODB występuje jedynie w kodowanych makroblokach B_VOP i jest równe:

• 1 jeżeli dla makrobloku nie występują ani dane CBPB ani dane MB_TYPE • 01 jeżeli dla makrobloku występują dane MB_TYPE • 00 jeżeli dla makrobloku występują dane MB_TYPE

- słowo VLC typu makrobloku (MB_TYPE). Słowo VLC MB_TYPE występuje jedynie w kodowanych makroblokach B-VOP, dla których zawarty jest jeden wektor ruchu. Kodami dla MB_TYPE są 1, 01, 001, lub 0001 w zależności od używanego typu wektora ruchu.

- wzorzec kodowanego bloku dla słowa VLC B-bloków (CBPB). Słowo CBPB jest kodem od 3 do 6 bitowym, każdy bit w kodzie reprezentuje kodowany/nie kodowany status bloku. Dla każdego z bloków nietransparentnych ze współczynnikami, odpowiadający bit w kodzie jest ustawiony na '1'.

- słowo VLC informacji urządzenia kwantującego (DBQUANT). Słowo DBQUANT określa zmianę w urządzeniu kwantującym dla płaszczyzn B-VOP. Kodami dla DBQUANT są 10, 0 lub 11.

- słowo VLC wektora ruchu. To słowo VCL jest kodem od 1 do 13 bitowym i zawiera do 10 kolejnych zer, jak to przedstawiono w poniższym przykładzie

Kody	Różnice wektora
0000 0000 0010 1	-16
0000 0000 0011 1	-15.5
0000 0000 0011 0	15.5
0000 0000 0010 0	16

Określenia opisanych powyżej słów VLC prowadzą do kombinacji bitów, która zawiera co najwyżej zbiór 17 kolejnych zer, po których występuje jedynka: 6 zer odpowiadających słowu VLC CBPB, 1 zero odpowiadające słowu VLC DBQUANT i 10 zer odpowiadających słowu VLC wektora ruchu. Wspomniana kombinacja bitów może być niejednoznaczna w przypadku słowa ponownego zsynchronizowania mającego (15 + fcode) zer, jeżeli fcode jest równy 1 lub 2. Jest to przypadek możliwy, ponieważ wartość fcode, odpowiadająca vop_fcode_forward lub vop_fcode_backward, jest 3-bitową liczą całkowitą przyjmującą wartości od 1 do 7, wartość zerowa jest zabroniona, a wspomniane wartości zależą od zakresu wektora ruchu.

W konsekwencji, długość słowa ponownego zsynchronizowania musi być zwiększona i musi zawierać co najmniej 17 kolejnych zer. Słowo ponownego zsynchronizowania resync_maker zgodnie z niniejszym wynalazkiem jest łańcuchem binarnym o przynajmniej 16 zerach, po których występuje jedynka '0 0000 0000 0000 001'. Dla I-VOP lub VOP, gdzie video_object_layer_shape ma wartość

PL 220 816 B1 „binary_only”, resync_marker tworzy jedynka poprzedzona przez 16 zer. Długość resync_marker zależy od wartości vop_fcode_forward, dla P-VOP, oraz większej wartości obu liczb całkowitych vop_fcode_forward oraz vop_fcode_backward dla B-VOP. W korzystnym przykładzie realizacji, zależność między długością resync_marker i odpowiednim fcode jest dana jako 16+fcode dla P-VOP oraz 16+n+fcode dla B-VOP. Znacznik resync_marker to (15+fcode) zer po których występuje jedynka dla P-VOP, oraz (15+n+fcode) zer po których występuje jedynka dla B-VOP, gdzie n jest liczbą całkowitą większą od 0. Występuje jedynie wtedy, gdy flaga resync_marker_disable jest ustawiona na '0'. Słowo o resync_marker powinno być umieszczone bezpośrednio przed makroblokiem i wyrównane z bajtem.

Na fig. 2 przedstawiono sieć działań ilustrującą sposób ponownego zsynchronizowania zgodnie z wynalazkiem. W czasie etapu dekodowania (DEC) odbierany jest skompresowany sygnał danych wideo (CS) i wyprowadzany sygnał wyjściowy (OS). Sygnał wyjściowy jest analizowany w czasie etapu analizy błędów (ERR). Gdy wykryty jest błąd w skompresowanym sygnale danych wideo, jak na przykład niedozwolone słowo VLC lub błąd semantyczny, w etapie detekcji (DET) szuka się w skompresowanym sygnale danych wideo słowa ponownego zsynchronizowania. Wspomniane słowo ponownego zsynchronizowania zależy od typu VOP i zawiera:

- 16 zer, po których występuje jedynka dla I-VOP

- (15+fcode) zer, po których występuje jedynka dla P-VOP

- (15+n+fcode) zer, po których występuje jedynka dla B- VOP, gdzie n jest ściśle większą od 0 liczbą całkowitą.

Na koniec, gdy słowo ponownego zsynchronizowania jest wykryte, etap synchronizacji (SYNC) umożliwia ponowne rozpoczęcie procesu dekodowania od informacji nagłówkowej występującej po słowie ponownego zsynchronizowania. Numer makrobloku (NUM) zapewnia ponowne zsynchronizowanie przestrzenne, a parametr kwantyzacji (Q) umożliwia ponowne zsynchronizowanie procesu dekodowania różnicowego.

W pierwszym przykładzie realizacji wynalazku, słowo VLC CBPB zawierają 6 kolejno występujących po sobie zer nie jest możliwą kombinacją, ponieważ słowo VLC, które mogłoby odpowiadać 6 nie-kodowanym blokom, zawierałoby wtedy słowo VLC MODB równe 1 lub 01 (brak danych CBPB). W tym przypadku najbardziej niekorzystnym przypadkiem słowa VLC CBPB jest '100000', a wartość n równa 1, odpowiadająca słowu ponownego zsynchronizowania tworzonego przez (16+fcode) zer, po których występuje jedynka jest wystarczająca do uniknięcia niejednoznaczności między wspomnianym słowem ponownego zsynchronizowania i znanymi słowami VLC.

W drugim przykładzie realizacji wynalazku, słowo VLC MODB równe 00 związane ze słowem VLC CBPB zawierającym 6 występujących kolejno po sobie zer jest przewidziane, ponieważ kombinacja słów VLC jest dopuszczalna przez standard MPEG-4. W konsekwencji, wartość n wynosi 2, co odpowiada słowu ponownego zsynchronizowania o (17+fcode) zerach, po których występuje jedynka, co zapobiega jakimkolwiek niejednoznacznościom w przypadku kombinacji słów VLC zawierających jedynkę poprzedzoną przez zbiór 17 zer: 6 zer odpowiadających słowu VLC CBPB, 1 zero odpowiadające słowu VLC DBQUANT, oraz 10 zer odpowiadających słowu VLC wektora ruchu.

Sposób ponownego zsynchronizowania jaki został opisany w odniesieniu do fig. 2 jest implementowany w układzie scalonym, który może znajdować się na przykład w dekoderze wideo.

Dekoder wideo jest dostosowany do odbierania skompresowanego sygnału danych wideo i zawiera detektor do wykrywania słowa ponownego zsynchronizowania w skompresowanym wejściowym sygnale danych wideo oraz urządzenie ponownego zsynchronizowania do ponownego zsynchronizowania dekodowania skompresowanego wejściowego sygnału danych wideo, na podstawie wykrytego słowa ponownego zsynchronizowania.

Niniejszy wynalazek polega również na zaproponowaniu sposobu generowania skompresowanego sygnału danych wideo polegającego na wprowadzaniu do skompresowanego sygnału danych wideo słowa ponownego zsynchronizowania, zawierającego co najmniej 17 występujących po sobie zer, na przykład w korzystnym wykonaniu (15+n+fcode) zer, po których występuje jedynka, dla danych wideo odpowiadających B-VOP. Taki sposób wprowadzania jest implementowany w układzie scalonym, który może znajdować się na przykład w dekoderze wideo.

Urządzenie implementujące sposób generowania skompresowanego sygnału danych wideo według wynalazku, tj. urządzenie kodujące wideo jest dostosowane do dostarczania skompresowanego wyjściowego sygnału danych wideo i zawiera środki do wprowadzania słowa ponownego zsynchronizowania do skompresowanego wyjściowego sygnału danych wideo.

PL 220 816 B1

Ponadto, sygnał dostarczany przez takie urządzenie kodowanie wideo lub odbierany przez dekoder wideo jest rozpoznawalny, ponieważ zawiera słowo ponownego zsynchronizowania, które zawiera co najmniej 17 występujących po sobie zer, na przykład d (15+n+fcode) zer w korzystnym wykonaniu, po których występuje jedynka dla danych wideo odpowiadających B-VOP.

Jest oczywiste, że użycie słowa „zawiera” nie wyklucza występowania innych etapów lub elementów różnych od określonych w jakimkolwiek zastrzeżeniu. Słowa występujące w liczbie pojedynczej dla określenia elementu lub etapu nie wykluczają możliwości występowania wielu takich elementów lub etapów.

Claims (2)

1. Zastrzeżenia patentowe

   1. Sposób generowania skompresowanego sygnału danych wideo w którym do skompresowanego sygnału danych wideo, odpowiadającego dwukierunkowo predykcyjnie kodowanej płaszczyźnie obiektów wideo, wprowadza się sygnał słowa ponownego zsynchronizowania reprezentującego szereg zer o długości uzależnionej od wartości parametru fcode, po których występuje reprezentacja jedynki, znamienny tym, że wprowadza się sygnał słowa ponownego zsynchronizowania, który zawiera reprezentacje co najmniej 17 kolejnych zer, po którym występuje reprezentacja jedynki, dla liczby zer odpowiadającej wartości parametru fcode od 1 do 7.
2. 2. Sposób ponownego zsynchronizowania skompresowanego sygnału danych wideo odebranego przez dekoder, w którym wykrywa się sygnał słowa ponownego zsynchronizowania w skompresowanym sygnale danych wideo, przy czym sygnał danych wideo odpowiada dwukierunkowo predykcyjnie kodowanej płaszczyźnie obiektów wideo, i synchronizuje się proces dekodowania skompresowanego sygnału danych wideo na podstawie sygnału wykrycia sygnału słowa ponownego zsynchronizowania reprezentującego szereg zer o długości uzależnionej od wartości parametru fcode, po którym występuje reprezentacja jedynki, znamienny tym, że wykrywa się sygnał słowa ponownego zsynchronizowania, który zawiera reprezentację co najmniej 17 kolejnych zer, po którym występuje reprezentacja jedynki, dla liczby zer odpowiadającej wartości parametru fcode od 1 do 7.