CZ290299A3 - Indikátor způsobu sterilizace vodní parou - Google Patents

Description

Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů

Oblast, vynálezu

Vynález se týká postupu a přístroje pro kódování videosignálu, a zejména postupu a přístroje pro kódování digitálního videosignálu, užitím zdokonaleného odhadu pohybu na základě definičních bodů, čímž lze účinně snížit rychlost přenosu digitálního videosignálu s dobrou kvalitou obrazu.

Dosavadní stav techniky

Jak je známo, lze přenosem digitalizovaných videosignálů získat daleko kvalitnější videoobrazy než přenosem analogových signálů. Když je obrazový signál, obsahující sled obrazových snímků, vyjádřen v digitálním tvaru, je při přenosu generováno velké množství dat, zejména v případě televizního signálu s velkým stupněm rozlišení. Protože však v případě běžného přenosového kanálu je dostupná Šířka frekvenčního pásma omezena, je zde k přenosu dostatečného množství digitálních dat nutné komprimovat nebo snížit objem přenášených dat. Mezi různými technikami videokomprese je za nejúčinnější považována technika tzv. hybridního kódování, která spojuje postup dočasné a prostorové komprese s technikou statistického kódování.

Většina postupů hybridního kódování pracuje s pohybově kompenzovanou DPCM (diferenciální pulzně kódovou modulací), dvourozměrným DCT (diskrétním kosinovým přenosem), kvantováním koeficientů DCT a VLC (kódováním variabilních délek). Pohybově kompenzovaná DPCM je postup

- 2 odhadováni pohybu předmětu mezi aktuálním snímkem a předchozím snímkem či příštím snímkem, tzv. referenčním snímkem, a předpověď výskytu aktuálního snímku na základě průběhu pohybu předmětu za účelem vytvoření diferenciálního signálu, představujícího rozdíl aktuálním snímkem a jeho predikcí. Tento postup je popsán např. v textech: Staffan Ericsson, Fixed and Adaptive Predictors for Hybrid Predictive/Transíorm Coding (Fixní a adaptivní prediktory pro hybridní predikční a transformační kódování), uveřejněno v IEEE Transactions on Communications, COM-33, č.12, prosinec 1985, a Ninomiya a Ohtsuka, Motion-Compensated Interframe Coding Scheme for Television Pictures ( Schéma pohybově kompenzovaného intersnímkového kódování pro televizní obrazy), uveřejněno v IEEE Transactions on Communications, COM- 30, č. 1, leden 1982.

Dvourozměrný DCT, který snižuje prostorové redundance mezi obrazovými daty nebo jich využívá, převádí blok digitálních obrazových dat, např. blok 8x8 pixelů (tj. obrazových bodů) na soubor dat transformačního koeficientu. Tento postup je popsán v textu Chen a Pratt, Scene Adaptive Coder (Kodér přizpůsobení scéně), IEEE Transactions on Communications, COM-32, č. 3, březen 1984. Zpracováním těchto dat transformačního koeficientu pomocí kvantovače, šikmě příčného skenování a VLC lze účinně komprimovat množství dat určených k přenosu.

Konkrétně u pohybově kompenzované DPCM se data aktuálního snímku předpovídají z odpovídajících dat referenčního snímku na základě odhadu pohybu mezi současným a referenčním snímkem. Takto odhadnutý pohyb lze popsat pomocí dvourozměrných vektorů pohybu představujících posun pixelů mezi referenčním a aktuálním snímkem.

Existují dva základní přístupy k odhadu přemístění pixelů v předmětu: první je odhad způsobem blok po bloku a druhý je odhad pixel po pixelů.

Při odhadu blok po bloku se blok v aktuálním snímku porovnává s bloky v referenčním snímku, dokud se nenajde nejbližší shoda. Takto lze pro aktuální snímek, který je ³ .: .··. .: • · · · · J vysílán, odhadnout vektor snímkového posunu (který stanovuje, jak se blok pixelů přesunul mezi snímky) pro celý blok.

Tento postup přiřazování podobných bloků je možno využít při predikci snímků P a B obsažených ve videosekvencích, jak je popsáno v ITU Telecommunication Standardization Sector Study Group 15, Working Party 15/1 Expert s Group on Very Low Bit Rate Visual Telephony (Pracovní schůzka expertní skupiny na téma vizuální telefonie s nízké přenosovou rychlostí), Video Codec Test Model TMN4 Revl (Zkuěební model videokodéru-dekodéru TMN4 Revl), 25. říjen 1994. Písmeno P neboli predikovaný snímek označuje snímek, který je předpovídán, tj. predikován, z předcházejícího a následujícího snímku (referenčního snímku). Zvláětě při kódování tzv. snímku B se ke stanovení vektorů posunu v předním směru a v zadním směru používá postupu obousměrného odhadu pohybu, přičemž vektor posunu vpřed se získá odhadem pohybu předmětu mezi snímkem B a jemu předcházejícím vnitřním (I) snímkem nebo predikovaným (P) snímkem (referenčním snímkem). Vektor posunu vzad se stanovuje na základě snímku B a příětího snímku I nebo P (referenčního snímku).

Při odhadu pohybu blok po bloku se však v průběhu pohybové kompenzace mohou na rozhraní bloku projevit blokovací efekty, a jestliže se všechny pixely v bloku nepohybují stejně, může být odhad chybný. Tak se snižuje celková kvalita obrazu.

Užitím postupu odhadu pixel po pixelu se určuje posun pro každý pixel. Tento postup umožňuje přesnějěí odhad hodnoty pixelu a dokáže snadno zpracovat změny měřítka (např. při aplikaci zoomu, pohybu kolmého k rovině obrazu). Jelikož se však při postupu pixel po pixelu stanovuje vektor pohybu v každém pixelu, je v podstatě nemožné přenést do přijímače všechny vektory pohybu.

Jednou z technik, určených k eliminaci problému nadbytečného přenosu dat vznikajícího při práci pixel po pixelu, je postup odhadu pohybu na základě definičních bodů.

Pí*i technice odhadu pohybu na základě definičních bodů se pro soubor· zvolených pixelft, tzv. definičních bodů, přenáSejí vektory pohybu do přijímače, přičemž každý definiční bod je definován jako pixel, který zároveň reprezentuje i své sousední pixely, takže z těchto definičních bodů v přijímači lze zjistit nebo odhadnout vektory pohybu i pro body, které nejsou definiční.

V kodéru, který pracuje s odhadem pohybu na základě definičních bodů, popsaném v přihláSce v probíhajícím veřejném patentovém řízení U. S. Ser. No. 08/367520 pod názvem Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation (Postup a přístroj pro kódování videosignálu užitím odhadu pixel po pixelu), se ze vSech pixelft předchozího snímku nejdříve vybírají definiční body. Pro zvolené definiční body se pak stanoví vektory pohybu, přičemž každý z vektorů pohybu vyjadřuje prostorové přemístění mezi jedním definičním bodem v předchozím snímku a odpovídajícím bodem, tzn. nejpodobnějSím pixelem, v aktuálním snímku. Konkrétně je odpovídající bod pro každý definiční bod hledán v oblasti určené k vyhledávání v aktuálním snímku užitím známého algoritmu přiřazování podobných bloků. Blok definičního bodu je přitom definován jako blok obklopující zvolený definiční bod a oblast vyhledávání je definována jako region v předem stanovené oblasti, obklopující polohu odpovídajícího definičního bodu.

V tomto případě by bylo nejvíce žádoucí či nejvýhodnějSÍ nalézt v celé oblasti vyhledávání jen ten nejvíce se hodící blok definičního bodu odpovídající zvolenému definičnímu bodu. Někdy však může být v průběhu přiřazování podobných definičních bodů nalezeno větěí množství ekvivalentních bloků odpovídajících definičnímu bodu. Proto je obtížné správně detekovat vektor pohybu pro definiční bod s takovou korelací mezi blokem definičního bodu a odpovídající oblastí hledání. Není-li oblast vyhledávání navíc stanovena v souladu s prostorovým

Přemístěním mezi definičním bodem v referenčním snímku a odpovídajícím vhodným bodem, tzn. nejpodobnějším bodem v aktuálním snímku, mohou pak vzniknou chybné odhady, které mají za následek snížení kvality obrazu.

Podstata vynálezu

Cílem vynálezu je tedy poskytnout postup účinného odhadu vektorů pohybu pro definiční body, a tak účinně snížit přenosovou rychlost digitálního videosignálu s dobrou kvalitou obrazu.

Dalším cílem vynálezu je poskytnout přístroj pro použití v kódovacím systému videosignálu pro účinný odhad vektorů pohybu užitím odhadu pohybu na základě definičních bodů, a tak účinně snížit přenosovou rychlost digitálního videosignálu s dobrou kvalitou obrazu.

Dalším cílem vynálezu je poskytnout systém kódování videosignálu s využitím odhadu pohybu na základě definičních bodů a odhadu pohybu na blokovém základě, a tak účinně zlepšit celkovou kvalitu obrazu.

Jedním aspektem vynálezu je postup detekce souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů užitím odhadu pohybu na základě definičních bodů, přičemž referenční snímek zahrnuje obnovený referenční snímek a původní referenční snímek. Postup se skládá z následujících kroků:

(a) Výběr souboru definičních bodů z pixelů obsažených v obnoveném referenčním snímku, kde soubor definičních bodů tvoří polygonální mřížku s několika překrývajícími se polygony.

(b) Stanovení souboru kvazideíiničních bodů na základě souboru definičních bodů v aktuálním snímku.

(c) Přidělení souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z počátečních vektorů pohybu je nastaven na hodnotu (0,0).

(d) Zvolení jednoho z kvazideíiničních bodů za dílčí

- 6 - .: .··. .: ::

kvazidefiniční bod, kde dílčí kvazidefiniční bod má počet N sousedních kvazidefiničních bodů, které tvoří aktuální dílčí polygon vymezený čárovými segmenty, spojujícími dílčí kvazidefiniční bod a uvedený počet N sousedních kvazidefiničních bodů, přičemž N je celé kladné číslo.

(e) Postupné připojení počátečního vektoru pohybu dílčího kvazidefiničního bodu k počtu M budoucích vektorů pohybu za účelem vytvoření počtu M aktualizovaných počátečních vektorů pohybu, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních dílčích definičních bodů j sou neměnné.

(f) Stanovení předvídané pozice na původním referenčními snímku pro každý pixel obsažený v aktuálním dílčím polygonu na základě každého z počtu M aktualizovaných počátečních vektorů pohybu pro dílčí kvazidefiniční bod a uvedený počet N počátečních vektorů pohybu sousedních kvazidefiničních bodů.

(g) Určení předvídané hodnoty pixelu pro každý uvedený pixel na předvídané pozici z původního referenčního snímku k vytvoření počtu M předvídaných aktuálních dílčích polygonů.

(h) Výpočet rozdílu mezi aktuálním polygonem a každým z předvídaných aktuálních dílčích polygonů k vytvoření počtu M poměrů Špičkové hodnoty signálu k šumu (PSNR).

(i) Výběr jednoho z aktualizovaných vektorů pohybu jako zvoleného aktuálního vektoru pohybu, který zahrnuje predikovaný aktuální dílčí polygon, mající maximální PSNR, za účelem aktualizace počátečního vektoru pohybu dílčího kvazidefiničního bodu zvoleným počátečním vektorem pohybu.

(j) Opakování kroků (d) až (i), dokud nejsou aktualizovány všechny počáteční vektory pohybu.

(k) Opakování kroku (j), dokud není proveden předem stanovený počet opakování.

(n) Zavedení souboru počátečních vektorů jako souboru vektorů pohybu, aby se tak stanovil soubor vektorů pohybu.

DalSí aspekt vynálezu popisuje přístroj pro použití v systému videokódování, sloužící k detekci souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů s využitím odhadu pohybu na základě definičních bodů, přičemž referenčním snímkem je obnovený referenční snímek a původní referenční snímek. Přístroj sestává z následujících částí:

První selekční prostředky pro výběr souboru pixelů z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonální mřížku, obsahující přesahující polygony, prostředky pro stanovení souboru kvazideíiničních bodů v aktuálním snímku, odpovídajících souboru definičních bodů, paměťové prostředky pro uložení souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z původních vektorů pohybu je nastaven na hodnotu (0,0), druhé selekční prostředky pro zvolení počtu L dílčích kvazideíiničních bodů ze souboru kvazideíiničních bodů, kde každý z dílčích kvazideíiničních bodů má počet N sousedních kvazideíiničních bodů, které tvoří aktuální dílčí polygon bez překrývání vymezený čárovými segmenty, spojujícími dílčí kvazideíiniční bod a uvedený počet N sousedních kvazideíiničních bodů, přičemž uvedené N a L je celé kladné číslo, dalSÍ prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazideíiničního bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dílčí kvazideíiniční bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazideíiniční bod jsou neměnné, prostředky ke stanovení předvídané pozice na původním referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídajících sousedních kvazidefiničních bodů, prostředky pro získání předvídané hodnoty pixelu z původního referenčního snímku na základě předvídané pozice, a tak vytvořit počet M předvídaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů, prostředky pro výpočet rozdílu mezi každým z nepřesahujících aktuálních dílčích polygonů a odpovídajícím počtem M předvídaných aktuálních dílčích polygonů k vytvoření počtu M poměrů Špičkové hodnoty signálu k Sumu (PSNR) pro každý nepřesahující aktuální dílčí polygon, třetí selekční prostředky pro výběr jednoho z aktualizovaných počátečních vektorů pro každý dílčí kvazidefiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvoření počtu L zvolených aktualizovaných počátečních vektorů pohybu, prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazidefiniční bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu, prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu poté, co jsou vSechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakování.

DalSí aspekt vynálezu popisuje přístroj pro kódování digitálního videosignálu, sloužící k redukci přenosové rychlosti digitálního videosignálu, přičemž uvedený digitální videosignál obsahuje množství snímků včetně aktuálního snímku a referenčního snímku. Přístroj obsahuje: první paměťové prostředky pro uložení obnoveného referenčního snímku digitálního videosignálu, druhé paměťové prostředky pro uložení původního referenčního snímku digitálního videosignálu, první prostředky pohybové kompenzace pro detekci vektorů pohybu mezi aktuálním snímkem a obnoveným referenčním snímkem užitím odhadu pohybu na blokovém základě a pro generování prvního předvídaného aktuálního snímku na základě tomto počtu vektorů pohybu a obnoveného referenčního snímku, druhé prostředky pro kompenzaci pohybu pro výběr souboru definičních bodů z obnoveného referenčního snímku k detekci souboru vektorů pohybu mezi aktuálním snímkem a původním referenčním snímkem podle souboru definičních bodů užitím definičního bodu na základě odhadu pohybu a ke generování druhého předvídaného snímku na základě souboru vektorů pohybu a obnoveného referenčního snímku, prostředky pro výběrové poskytnutí vektorů pohybu a prvního předvídaného aktuálního snímku nebo souboru vektorů pohybu a druhého předvídaného aktuálního snímku jako zvolených vektorů pohybu a zvoleného aktuálního snímku, prostředky pro transformační kódování chybového signálu představujícího rozdíl mezi předvídaným aktuálním snímkem a skutečným aktuálním snímkem k vytvoření transformačně kódovaného chybového signálu, a prostředky pro statistické kódování transformačně kódovaných chybových signálů a zvolených vektorů pohybu k vytvoření kódovaného videosignálu, který bude přenášen.

Přehled obrázků na výkresech

Výěe uvedené cíle a vlastnosti vynálezu vyjdou najevo z následujícího popisu preferovaných provedení uvedených v souvislosti s připojenými výkresy.

Na obr. 1 je přístroj pro kódování obrazového signálu obsahující zařízení pro pohybovou kompenzaci na základě definičních bodů podle vynálezu.

Obr. 2A a 2B jsou schematické diagramy zobrazující sekvenci dvou snímků.

Obr. 3 znázorňuje podrobné blokové schéma zařízení pro pohybovou kompenzaci znázorněného na obr. 1.

Na obr. 4 je uveden příklad blokového diagramu bloku vyhledávání vektoru pohybu, jež je znázorněn na obr. 3.

Obr. 5a a 5B ukazují příklad diagramu aktuálního snímku a obnoveného předchozího snímku.

Obr. 6A až 6E popisují příklady diagramů pro znázornění operace volby definičního bodu podle vynálezu a obr. 7A a 7B znázorňují příklad diagramu popisujícího proces vyhledávání vektoru pohybu podle vynálezu.

Příklady provedení vynálezu

Na obr. 1 je znázorněno blokové schéma systému kódování obrazu podle vynálezu. Systém kódování obrazu obsahuje obvod pro přeorganizování snímků JLOX, odčítačku 102. kodér obrazového signálu 105, dekodér obrazového signálu 113, sčítačku 115, první paměťové zařízení 12Q, druhé paměťové zařízení 130. kodér entropie 107 a zařízení pro kompenzaci pohybu 150.

Vstupní digitální videosignál obsahuje dvé sekvence snímků (neboli obrazů), jak je znázorněno na obr. 2A a 2B: první snímková sekvence je vybavena jedním vnitřním (I) snímkem, II, třemi obousměrně predikovanými snímky, B1, B2, B3, a třemi predikovanými snímky, Pl, P2, P3. Druhá snímková sekvence má jeden vnitřní (I) snímek, II, tři predikované snímky v předním směru, Fl, F2, F3, a tři predikované snímky Pl, P2, P3. Systém kódování obrazu proto zahrnuje dva režimy kódování sekvence: první režim kódování sekvence a druhý režim kódování sekvence. V prvním režimu kódování sekvence je vedení L17 spojeno s vedením IX prvním spínačem 103 a sekvence prvního snímku, která obsahuje II, Bl, Pl, B2, P2, B3, P3 je vysílána přes první spínač 103 do obvodu pro přeorganizování snímků 101, který je sestrojen tak, aby ji změnil na nově seřazený digitální videosignál, tzn. II, Pl, Bl, P2, B2, P3, B3, za účelem vytvoření obousměrně predikovaných snímkových signálů pro snímky B. Přeřazený digitální videosignál pak vstoupí po vedení LIS., L12, LI do druhého spínače 1S4S., prvního paměťového zařízení 120 a zařízení pro pohybovou kompenzaci 15β· V druhém režimu kódování sekvence je vedení LIZ spojeno s vedením L10 prvním spínačem 103 a sekvence druhého snímku II, Fl, Pl, F2, P2, F3, P3 je spojena přes první spínač

103 po vedení LI2. LI. LI8 s prvním paměťovým zařízením 120, zařízením pro pohybovou kompenzaci 15.0. a druhým spínačem 104a. První spínač 103 je aktivován řídicím signálem sekvenčního režimu CS1 z běžného systémového řadiče, např. mikroprocesoru (není na obr.) Jak lze poznat z výée uvedeného, u prvního režimu kódování sekvence nastává zpoždění, proto může být druhý režim kódování sekvence výhodně využit jako režim charakteristicky malým zpožděním v aplikacích, jako je např. videotelefon a přístroje pro telekonference.

Jak je znázorněno na obr. 1, obsahuje systém kódování obrazu druhý spínač 104a a třetí spínač 1Q4á, které se používají pro výběr ze dvou režimů kódování snímků: intra snímkového režimu kódování a inter snímkového režimu kódování. Druhý a třetí snímač 104a a IQ^b, jak je v oboru dobře známo, jsou současně aktivovány řídicím signálem snímkového režimu CS2 ze systémového řadiče.

Při intra snímkovém režimu kódování je vnitřní (intra) snímek II spojen přímo jako signál aktuálního snímku vedením LI4 s kodérem obrazového signálu 105, přičemž signál aktuálního snímku je např. užitím diskrétního kosinového přenosu (DCT) nebo kterýmkoli ze známých postupů kvantování zakódován do souboru kvantovaných přenosových koeficientů. Vnitřní snímek II je také uložen jako původní referenční snímek ve snímkové paměti 121 prvního paměťového zařízení 120, přičemž první paměťové zařízení obsahuje tři snímkové paměti, 12L, 122 a 123, které jsou spojeny vedením L2, L3. a L4 se zařízením

- 12 pro pohybovou kompenzaci 150. Kvantované přenosové koeficienty jsou pak vyslány do kodéru entropie 107 a dekodéru obrazového signálu 113 V kodéru entropie 107 jsou kvantované přenosové koeficienty z kodéru obrazového signálu 105 společně zakódovány např. užitím postupů kódování proměnné délky a dodány do vysílače (není na obr.) za účelem přenosu.

Dekodér obrazového signálu 113 převádí kvantované přenosové koeficienty z dekodéru obrazového signálu 105 zpět na obnovený intrasnímkový signál s využitím inverzního kvantování a inverzního diskrétního kosinového přenosu. Obnovený intra snímkový signál z dekodéru obrazového signálu 113 je pak uložen jako obnovený referenční snímek ve snímkové paměti 131 druhého paměťového zařízení 130. přičemž druhé paměťové zařízení 130 obsahuje tři snímkové paměti 131. 132. 133. které jsou spojeny vedením L 2, L 3, L 4 se zařízením pro pohybovou kompenzaci 150.

V režimu vnitřního kódování se vnitřní snímek (např. predikovaný snímek Pl, obousměrné predikovaný snímek nebo snímek predikovaný v předním směru) vyšle jako aktuální signál do odčítačky 102 a zařízení pro pohybovou kompenzaci 150 a je uložen do ve snímkové paměti 131 prvního paměťového zařízení 120. přičemž mezi tak zvané vnitřní snímky patří obousměrně predikované snímky B1, B2, B3, predikované snímky Pl, P2, P3 a predikované snímky v předním směru Fl, F2, F3. Původní referenční snímek dříve uložený ve snímkové paměti 121 je pak spojen vedením L2 se zařízením pro pohybovou kompenzaci 150 a posunut nebo uložen ve snímkové paměti 122. Zařízení pro pohybovou kompenzaci 150 obsahuje kanál pro pohybovou kompenzaci pohybu na blokovém základě a kanál pro pohybovou kompenzaci na základě definičních bodů, jak je zde popisována.

Když je aktuálním snímkem predikovaný snímek Pl, signál aktuálního snímku na vedení LI a signál obnoveného referenčního snímku na vedení LI ze snímkové paměti 131 druhého paměťového zařízení 130 se zpracovávají užitím kanálu pro pohybovou kompenzaci na blokovém základě za účelem predikce aktuálního snímku ve smyslu generování signálu predikovaného aktuálního snímku na vedení 1*20. a souboru vektorů pohybu na vedení 1*212· Když je aktuálním snímkem snímek predikovaný v předním směru F1 (nebo obousměrně predikovaný snímek B1) , je signál aktuálního snímku na vedení LI. signál původního referenčního snímku na jednom z vedení L2, L2 a L4 z prvního paměťového zařízení 120 a obnovený signál referenčního snímku na vedení 1/2. l/3 a l/4 z druhé snímkové paměti 130 se zpracovávají užitím kanálu pro pohybovou kompenzaci na základě definičních bodů za účelem predikce aktuálního snímku pro generování signálu predikovaného aktuálního snímku na vedení L30 a souboru vektorů pohybu na vedení L20. Zařízení pro pohybovou kompenzaci 15Q bude popsáno podrobně v souvislosti s obr. 3.

Signál predikovaného aktuálního snímku na vedení L3Q je odečten od signálu aktuálního snímku na vedení 11.5 v odčítačce 102 a zbývající data, tzn. chybový signál označující diferenciální hodnotu pixelu, jsou odvedena do kodéru obrazového signálu 105, přičemž chybový signál je zakódován do souboru kvantovaných transformačních koeficientů např. užitím DCT a kteréhokoli ze známých postupů kvantování. Tzn. chyby, získané odečtením predikovaného aktuálního snímku z aktuálního snímku jsou kódovány pomocí DCT. V tom případě je velikost kroku kvantování nastavena na velkou hodnotu, aby se tak kompenzovalo jen vážné narušení oblasti způsobené nesprávným odhadem vektorů pohybu.

Pak jsou kvantované transformační koeficienty přeneseny do kodéru entropie 107 a dekodéru obrazového signálu 113. V kodéru entropie 107 jsou kvantované přenosové koeficienty z kodéru obrazového signálu 105 a vektory pohybu, přenesené vedením L20 ze zařízení pro pohybovou kompenzaci 150. kódovány společně např. užitím postupu kódování na základě různosti délky, a dodány do vysílače (není na obr.) za účelem přenosu.

Dekodér 113 obrazového signálu převádí užitím inverzního kvantování a inverzní diskrétní kosinové transformace kvantované transformační koeficienty z dekodéru obrazového signálu IflS. na obnovený chybový signál.

Obnovený chybový signál z dekodéru obrazového signálu 113 _a signál predikovaného aktuálního snímku na vedení Ll£ ze zařízení pro pohybovou kompenzaci 133 jsou přes přepínač 104b sloučeny ve sčítačce 115, aby tak umožnily uložení signálu obnoveného referenčního snímku na vedení kil. v druhé snímkové paměti stejné jako u předcházejícího snímku. Zařízení pro snímkovou paměť 133 obsahuje např. tři sériově zapojené snímkové paměti 131, 132 a 133, jak je znázorněno na obr. 1. To znamená, že signál obnoveného snímku ze sčítačky 115 je nejprve uložen např. ve snímkové paměti 131. pak je po vedení dodán do zařízení pro pohybovou kompenzaci, a vstoupí-li daláí signál obnoveného snímku ze sčítačky 115 do první snímkové paměti 131, je také snímek po snímku přesunut do druhé snímkové paměti 132. Tento postup se opakuje tak dlouho, dokud se provádí operace kódování obrazu.

Na obr. 2 A a 2B jsou příklady zobrazení první a druhé snímkové sekvence, jež jsou popsány výše. Jak je znázorněno, když je aktuálním snímkem predikovaný snímek Pl, získá se užitím obnoveného vnitřlního snímku II jako referenčního snímku vyvolaného z druhé snímkové paměti 130. soubor vektorů pohybu SMV1. Podobným způsobem se pro aktuální snímky P2 a P3 získají užitím referenčních snímků Pl a P2 soubory vektorů pohybu SMV2 a SMV3.

Když je aktuálním snímkem obousměrně predikovaný snímek B1, získá se z definičních bodů užitím obnoveného referenčního snímku II vyvolaného z druhé snímkové paměti 130 a původního referenčního snímku II vyvolaného z první paměti 120 soubor vektorů pohybu v předním směru FMV1. Obdobným způsobem se získá užitím původního referenčního snímku Pl a obnoveného referenčního snímku Pl pro aktuální snímek soubor vektorů pohybu směrem vzad BMV1. Pak si systém kódování obrazu vybere mezi souborem vektorů pohybu v předním směru FMV1 a souborem vektorů směrem vzad BMV1 a vyšle odpovídající vektory pohybu.

Když je aktuálním snímkem snímek predikovaný v předním směru Fl, získá se z definičních bodů užitím původního referenčního snímku II vyvolaného z prvního paměťového zařízení 120 a obnoveného referenčního snímku F1 vyvolaného z druhé paměti 130 soubor vektorů pohybu v předním směru FMV2.

Jak vyplývá z výše uvedeného, jsou snímky obsažené v první a druhé sekvenci snímků pro účely odhadu a kompenzace pohybu uspořádány v prvním a druhém snímkovém zařízení 120 a 130 tak, jak je znázorněno v tabulkách I a II. Zde označuje φ snímek užívaný pro odhad pohybu v předním směru a označuje snímek pro odhad pohybu směrem vzad.

Tabulka 1

	První	snímková	sekvence
LI	11	Pl	B1	P2	B2	P3	B3
L2	X	o>		> B1		B2
L3	X	X		c©	B1	(p)	B_2
L4	X	X	X	Ϊ1		B1

Tabulka 2

	První	snímková	sekvence
LI	11	Pl	B1	P2	B2	P3	B3
L2	X	©	Fl		F2	@)	F^
L3	X	X	(ll)	Fl		F2	O)
L4	X	X	X	11	Fl	Pl	F2

Jak lze vysledovat z výše uvedeného, jsou predikované snímky Pl, P2, P3 obnovovány pomocí predikovaného kódování typu DCT, tzv. TMN4, s využitím odhadu pohybu na blokovém základě, a intervenující snímky, tzn. obousměrně predikované snímky B1, B2, B3, nebo snímky predikované směrem vpřed Fl, F2, F3, jsou obnovovány užitím pohybové kompenzace na základě definičních bodů diskrétní kosinové transformace (MC-DCT) podle vynálezu.

Na obr. 3 jsou detaily zařízení pro pohybovou kompenzaci 150 z obr. 1. Jak je znázorněno na obr. 3, obsahuje zařízení pro pohybovou kompenzaci 150 vstupní voliče 154. 155 a 156. obvod pro pohybovou kompenzaci na blokovém základě 151. první obvod pro pohybovou kompenzaci na základě definičních bodů 152, druhý obvod pro pohybovou kompenzaci na základě definičních bodů 153 a výstupní voliče 157 a 158.

Obvod pro pohybovou kompenzaci na blokovém základě 151. pracující dle běžného algoritmu přiřazování podobných bloků, slouží k detekci souboru vektorů pohybu pro každý z predikovaných snímků Pl, P2, P3 a ke generování predikovaného aktuálního snímku pro odpovídající predikovaný snímek. Když je proto predikovaný snímek Pl podle popisu v tabulce I a II použit v obvodu pro pohybovou kompenzaci na blokovém základě 151 jako aktuální snímek, slouží volič 154 ke spojení obnoveného vnitřního snímku II vedením L 2 jako referenčního snímku s obvodem pro pohybovou kompenzaci na blokovém základě 151. V obvodu pro pohybovou kompenzaci na blokovém základě 151 se odhaduje soubor vektorů pohybu a tvoří se zde predikovaný signál aktuálního snímku. Soubor vektorů pohybu a signál predikovaného aktuálního snímku jsou pak spojeny vedením L20 a L30 přes výstupní voliče 157 a 158.

První obvod pro pohybovou kompenzaci na základě definičních bodů 152, pracující s afinní transformací, slouží, jak je zde popsán, k detekci souboru vektorů pohybu s odhadem v předním směru pro každý z obousměrně predikovaných snímků B1, B2, B3 nebo snímků predikovaných v předním směru Fl, F2, F3 a ke generování predikovaného aktuálního snímku pro odpovídající obousměrně predikovaný snímek nebo snímek v předním směru. Když je proto obousměrně predikovaný snímek B1 na vedení LI použit jako aktuální snímek v obvodu pro pohybovou kompenzaci na základě definičních bodů 152. slouží volič 155 podle tabulky I ke spojení původního vnitřního snímku II na vedení L2 jako původního referenčního snímku s obvodem pro pohybovou kompenzaci na základě definičních bodů 152.·. Volič 156 slouží ke spojení obnoveného vnitřního snímku II na vedení l/2 jako obnoveného referenčního snímku s obvodem pro pohybovou kompenzaci na základě definičních bodů 152 za účelem generování predikovaného snímku. Pak je soubor vektorů pohybu s odhadem předního směru a signál aktuálního predikovaného snímku spojen vedením L2H a L30 s výstupními voliči 157 a 158, přičemž výstupní voliče 15Z a Jsou ovládány řídicím signálem CS5 a CS6 ze systémového řadiče (není na obr.)

Druhý obvod pro pohybovou kompenzaci na základě definičních bodů 153. pracující s afinní transformací, slouží k detekci souboru vektorů pohybu s odhadem v zadním směru pro každý z obousměrně predikovaných snímků Bl, B2, B3 nebo predikovaných snímků v předním směru Fl, F2, F3 a ke generování predikovaného aktuálního snímku pro odpovídající obousměrný predikovaný snímek. Když je proto obousměrný predikovaný snímek B1 použit v druhém obvodu pro pohybovou kompenzaci na základě definičních bodů 153 jako aktuální snímek, je původní predikovaný snímek PÍ spojen vedením L2 jako původní referenční snímek s obvodem pro pohybovou kompenzaci na základě definičních bodů 153 a obnovený predikovaný snímek PÍ je vedením L 2 spojen jako obnovený referenční snímek s druhým obvodem pro pohybovou kompenzaci na základě definičních bodů 153- V druhém obvodu pro pohybovou kompenzaci na základě definičních bodů 1.5.3. se soubor vektorů pohybu s odhadem směrem vzad získá užitím obnoveného a původního referenčního snímku a signál predikovaného aktuálního snímku je vytvořen užitím obnoveného referenčního snímku. Pak je soubor vektorů pohybu s odhadem směrem vzad spojen vedením L20 ^a L3.Q ^se signálem aktuálního predikovaného snímku přes výstupní volič 157 a 15.8.

Na obr. 4 jsou znázorněny detaily obvodu pro kompenzaci na základě definičních bodů z obr. 3. Obnovený

signál referenčního snímku na vedení L 2 z druhé snímkové paměti 130 vstupuje do selekčního bloku podle definičních bodů 210 pro generování souboru definičních bodů a bloku pro pohybovou kompenzaci. Soubor definičních bodů je pak spojen s blokem vyhledávání vektoru pohybu 33.Q. a blokem pohybové kompenzace 240 Blok vyhledávání vektoru pohybu 230 přijímá původní referenční snímek a aktuální snímek a slouží ke generování souboru vektorů pohybu pro soubor definičních bodů. Soubor vektorů pohybu je spojen s blokem pohybové kompenzace 240. který slouží ke generování predikovaného aktuálního snímku na základě souboru vektorů pohybu a souboru definičních bodů.

V selekčním bloku na základě definičních bodů je vybírán soubor definičních bodů z větěího množství pixelů obsažených v obnoveném referenčním snímku, přičemž každý z definičních bodů je vymezen podle polohy pixelů. Příklad aktuálního snímku a obnoveného referenčního snímku je na obr. 5 A a 5B.

Na obr. 6A až 6E jsou příklady diagramů popisujících proces volby definičního bodu podle vynálezu. Jak je zobrazeno na obr. 6A, jsou okraje v obnoveném referenčním snímku p(x,y) z obr. 5B detekovány užitím známého Sobelova detektoru okrajů, viz např. A. K. Jain, Fundamentals of Digital Image Processing (Základy digitálního zpracování obrazu), 1989, vydalo Prentice-Hall International. Výstup jv^(x,y)| ze Sobelova operátoru se porovnává s předem stanovenou prahovou hodnotou Te. Jako předem definovaný práh Te se podle vynálezu přednostně stanoví hodnota 6. Je-li výstupní hodnota |vp(x,y)| ze Sobelova operátoru menší než předem stanovená prahová hodnota Te, je výstupní hodnota |vp(x,y)| nastavena na 0. Jinak může výstupní hodnota Jvp(x,y)| zůstat nezměněna. Proto je signál okraje eg(x,y) znázorněný na obr. 6A definován následovně:

eg(x,y)

je-li Ivp(x,y)|<Te

y) | , jinak

V preferovaném provedení vynálezu se definiční body stanovují užitím techniky mřížky, kde se používá šestiúhelníková mřížka s množstvím překrývajících šestiúhelníků, jak je ukázáno na obr. 6B. Podle obr. 6C je šestiúhelník 610 vymezen čárovými segmenty spojujícími sedm bodů mřížky 611 až 617. Bod mřížky 617 obsažený v šestiúhelníku 610 obsahuje větší množství sousedních bodů mřížky 611 až 616 než trojúhelník, čímž umožňuje účinnější uspořádání definičních bodů. Šestiúhelník 610 obsahuje šest nepřesahujících trojúhelníků 621 až 626 a body mřížky 611 až 617 tvoří vrcholy trojúhelníků 621 až 626. Rozkladová schopnost šestiúhelníku 610 je vymezena čarami HH a HV, které jsou podle vynálezu přednostně nastaveny na 13 a 10.

V obr. 6D je pro každý z bodů mřížky, např. G1 až G4, nastaven nepřesahující rozsah vyhledávání, např. STÍ až SR4. Krajní bod, např. E7 umístěný v rozsahu vyhledávání SRÍ, se stane definičním bodem pro mřížkový bod, např. G1, je-li součtová hodnota osmi pixelů, obklopujících krajní bod, např. E7, maximální. Definiční bod Di tak může být vyjádřen rovnicí:

Di =)(x,y)ImaxΙΣEG(x + k, y + i Λ č.2

L ¹ -J kde EG(x,y) je hodnota krajního bodu v oblasti vyhledávání SRi a i je kladné celé číslo.

Soubor definičních bodů je vymezen č. 2, kde soubor definičních bodů zahrnuje bod mřížky přesahující do krajního bodu, přičemž krajní bod je umístěn v nepřesahující oblasti vyhledávání SRi a má maximální součtovou hodnotu svých okolních pixelů a uvedený bod mřížky nemá ve svém nepřesahujícím rozsahu vyhledávání obsažen žádný krajní bod.

Existuje-li větší počet krajních bodů se stejnou maximální součtovou hodnotou, pak je za definiční bod zvolen krajní bod nejblíže bodu mřížky.

Když je stanoven soubor definičních bodů, je

šestiúhelníková mřížka znázorněná na obr. 6B zdeformována jako šestiúhelníková mřížka definičního bodu z obr. 6E. Po stanovení šestiúhelníkové mřížky definičního bodu je soubor definičních bodů spojen s blokem vyhledávání vektoru pohybu 230 znázorněným na obr. 4, který slouží k detekci souboru vektorů pohybu. Podle vynálezu se pro vyhledávání vektorů pohybu používá konvergence s afinní transformací.

Na obr. 7A a 7B je příklad znázorňující proces vyhledávání vektoru pohybu podle vynálezu. V aktuálním snímku je užitím souboru definičních bodů definován soubor kvazidefiničních bodů, přičemž každý z definičních bodů v obnoveném referenčním snímku má obraz v odpovídajícím kvazidefiničním bodu v aktuálním snímku. Pro každý z kvazidefiničních bodů, např. Dl až D30 je počáteční vektor pohybu nastaven na hodnotu (0,0).

Když je pak přiřazen či zaveden kvazidefiniční bod, např. D7, jako dílčí kvazidefiniční bod ke zpracování odhadu jeho vektoru pohybu, používá se v procesu konvergence aktuální dílčí polygon 700 Aktuální dílčí polygon 700 je vymezen čárovými segmenty spojujícími kvazidefiniční bod D7 s jeho sousedními kvazidefiničními body, např. Dl až D6, které obklopují dílčí kvazidefiniční bod D7. Aktuální polygon 700 obsahuje šest nepřesahujících trojúhelníků 701 až 706. přičemž dílčí kvazidefiniční bod je umístěn na běžném vrcholu trojúhelníků.

Předem určený počet budoucích vektorů pohybu je pak postupně připojen k počátečnímu vektoru pohybu kvazidefiničního bodu D7, přičemž předem stanovený počet budoucích vektorů pohybu je zvolen horizontálně i vertikálně přednostně v intervalu 0 až +-7 a budoucí vektor pohybu D7Y1 není povolen, protože trojúhelník 701 je obrácený. Budoucí vektor pohybu D7X1 je připojen k počátečnímu vektoru dílčího kvazidefiničního bodu D7 beze změny počátečních vektorů pohybu jeho šesti sousedních definičních bodů Dl až D6, aby tak vznikl aktualizovaný vektor pohybu D7D 7. Aktualizovaný vektor počátečního pohybu D7D 7 proto představuje posunutí mezi dílčím

kvazidefiničním bodem D7 a budoucím kvazidefiničním bodem D '7.

Na původním referenčním snímku Je užitím aktualizovaných počátečních vektorů pohybu a počátečních vektorů sousedních kvazidefiničních bodů stanovena předvídaná poloha každého pixelu obsaženého v aktuálním dílčím polygonu 700. Pak Je každá z poloh pixelů obsažených v aktuálním dílčím polygonu 700 interpolována s hodnotou pixelu na původním referenčním snímku, odpovídající predikované poloze, aby tak byl vytvořen predikovaný aktuální dílčí polygon. Podle preíerovaného provedení vynálezu se tento postup provádí na základě známé afinní transformace v každém z trojúhelníků, např. 701 · který má ve svých vrcholech tři definiční body, např. Dl, D2, D7. Afinní transformace je definována následovně:

č. 3 kde (x,y) je označení souřadnic x a y pixelu v predikovaném aktuálním dílčím polygonu, (x',y') označuje souřadnice predikované polohy na původním referenčním snímku a písmena a až f jsou koeficienty afinní transformace.

Šest koeficientů zobrazení, a, b, c, d, e, f, je jednoznačně určeno užitím vektorů pohybu tří kvazidefiničních bodů, např. Dl, D2, D7. Jakmile jsou známy koeficienty afinní transformace, může být každý ze zbývajících pixelů v trojúhelníku 701 zobrazen do polohy v původním referenčním snímku. Protože získaná predikovaná poloha (x ,y ) původního referenčního snímku není ve větáině případů množina celých čísel, používá se k výpočtu interpolované úrovně Šedi v predikované poloze (x , y ) známý postup bilineární transformace. Postup afinního zobrazení je nezávisle aplikován na trojúhelníky ZUL 706. Získá se tak predikovaný aktuální dílčí polygon pro budoucí vektor pohybu.

- 22 Predikovaný aktuální dílčí šestiúhelník je pak porovnán s aktuálním šestiúhelníkem 7Q.Q a proběhne kontrola, zda se zvýšil poměr špičkové hodnoty signálu k úrovni šumu (PSNR) predikovaného aktuálního dílčího šestiúhelníku a aktuálního šestiúhelníku. Je—li tomu tak, je počáteční vektor pohybu (0,0) dílčího kvazidefiničního bodu D7 aktualizován podle aktualizovaného počátečního vektoru pohybu D7D 7.

Aby byly zachovány budoucí vektory pohybu, postup se opakuje. Výše uvedený postup se provádí též ve všech kvazidefiničních bodech obsažených v uvedeném aktuálním snímku v jednom opakování.

Nyní k obr. 7B. Po provedení jednoho opakování, je kvazidefiniční bod D7 nastaven na dílčí kvazidefiniční bod. Aktualizované počáteční vektory pohybu pro sousední kvazidefiniční body Dl až D6 jsou DID 2, D2D 2, D3D 3, D4D 4, D5D 5 a D6D'ů a obdobně jsou k počátečnímu vektoru dílčího kvazidefiničního bodu D7D 7 připojovány předem určené budoucí vektory pohybu v příslušném pořadí. Např. budoucí vektor pohybu D 7X2 je připojen k počátečnímu vektoru D7D 7 beze změny počátečních vektorů pohybu jeho šesti sousedních definičních bodů DID 2, D2D 2, D3D 3, D4D4, D5D 5 a D6D'ů. Proto se dalším počátečním vektorem pohybu stává D7X2. Jak je uvedeno výše, zvolí se předem stanovený počet budoucích vektorů pohybu nejlépe horizontálně a vertikálně v rozsahu 0 až +-7 a budoucí vektor pohybu D7Y2 není povolen, protože trojúhelník 701 í® obrácený.

Predikovaná poloha pro každý z pixelů obsažených v aktuálním dílčím polygonu 700 je stanovena na původním referenčním snímku užitím aktualizovaného vektoru pohybu D7X2 a počátečních vektorů sousedních kvazidefiničních bodů DID 2, D2D 2, D3D'3, D4D^4, D5D5 a D6D6. Pak je každá z poloh pixelů obsažených v aktuálním dílčím polygonu 700. interpolována s hodnotou pixelů na původním referenčním snímku odpovídající predikované poloze z predikovaného aktuálního dílčího polygonu 700 (vyjádřeného na obr. 7B

přerušovanou čarou). Bl

Predikovaný aktuální dílčí šestiúhelník 700 je pak porovnáván s aktuálním šestiúhelníkem a je provedena kontrola, zda se zvětšil PSNB predikovaného aktuálního dílčího šestiúhelníku a aktuálního šestiúhelníku. Je-li tomu tak, je počáteční vektor pohybu dílčího kvazidefiničního bodu D7D 7 aktualizován počátečním vektorem pohybu D7X2.

Pro zbývající budoucí vektory pohybu se postup opakuje. Výše uvedený postup se také provádí ve všech kvazidefiničních bodech obsažených v aktuálním snímku při druhém opakování.

Tento postup se provádí také vzhledem ke všem kvazidefiničním bodům několikrát, dokud není dosaženo konvergence. Postup je přednostně opakován je pětkrát, protože ke konvergenci vektorů pohybu obvykle dochází před pátým opakováním.

Jak je možno vysledovat z výše uvedeného, je posunutí každého z definičních bodů v procesu konvergence dáno vzhledem k příslušnému vektoru pohybu a šest trojúhelníků v každém šestiúhelníku je afinně transformováno nezávisle na přemístění definičních bodů jejich vrcholů. Zlepší-li se po provedení posunutí PSNB, je vektor pohybu dílčího definičního bodu postupně aktualizován. Proto je postup konvergence velmi účinný při provádění shodného přiřazení za účelem stanovení predikovaného obrazu co možná nejbližšího k původnímu obrazu při použití zoomu, rotace či změny měřítka.

Podle preferovaného provedení vynálezu lze tento postup vzhledem k hardware provádět ve třech krocích. Kvazidefiniční body označené jako Dl, D3 a D5, znázorněné na obr. 7A, které tvoří nepřesahující aktuální polygony, jsou nejprve zpracovávány současně užitím každého ze šesti sousedních definičních bodů (D2, D7, D6, DIO, Dll, D17), (D2, D4, D7, D12, D13, D19) , (D4, D6, D7, D8, D9, D15). Stejný postup se dále opakuje pro body D2, D4 a D6. Jako poslední krok se nakonec zpracují zbývající body D7, D8

a D9.

Vraťme se k obr. 4., Získané vektory pohybu pro všechny kvazideíiniční body se pak spojí jako soubor vektorů pohybu pro všechny definiční body do bloku pohybové kompenzace 240, který slouží ke generování predikovaného aktuálního snímku s využitím obnoveného referenčního snímku. To znamená, že signál predikovaného aktuálního snímku se získá na základě afinní transformace s využitím obnoveného předchozího snímku a získaných vektorů pohybu. Jak vyplývá z výše uvedeného, jde o stejné zobrazení v afinní transformaci, jaké se používá pro proces vyhledávání vektorů pohybu, kromě toho, že se místo původního referenčního snímku používá obnovený referenční snímek, protože systém dekodéru (není na obr.) má jen obnovené referenční snímky. Na druhé straně však, protože systém kódování pracující s touto pohybovou kompenzací na základě definičních bodů vytváří dobrý obraz jen s vektory pohybu, není možno přenášet rozdílový či chybový signál mezi aktuálním snímkem a predikovaným aktuálním snímkem.

Jak vyplývá z výše uvedeného, automaticky se předpokládá, že systém kódování z vynálezu, pracující s kompenzací pohybu na základě definičních bodů, dokáže vytvořit spolehlivý soubor vektorů pohybu, čímž se zlepší účinnost kódování.

Algoritmus kompenzace pohybu na základě definičních bodů vychází z charakteristických vlastností obrazu, přičemž se ke kompenzaci rotace a aplikace zoomu na předmět používá afinní transformace. Ve většině případů mají pohybově kompenzované obrazy vyšší PSNE s dobrou subjektivní kvalitou. Selže-li v případě pohybu s velkým měřítkem predikce pohybu, může být chybový obraz kódován a přenášen užitím DCT s velkým kvantováním. Dobré subjektivní kvality se dosáhne užitím systému kódování z vynálezu konkrétně při rychlosti 24 kbit/s. Dále platí, že jelikož se polohy definičních bodů mění snímek po snímku, používá systém kódování podle vynálezu jako referenční snímek obnovený předchozí snímek, který existuje

-25jak v kodéru, tak v dekodéru, takže není třeba přenášet informace o poloze definičních bodů. Tato kompenzace pohybu pixelů používaná v prezentovaném systému kódování vytváří navíc lepší subjektivní kvalitu než pohybová kompenzace na blokovém základě, protože dokáže kompenzovat aplikaci zoomu, rotaci a měřítko předmětů užitím afinní transformace pouze s vektory pohybu.

Zatímco vynález byl znázorněn a popsán s odkazem na specifická provedení, bude odborníkům v oboru zřejmé, že lze provést mnoho změn a modifikací nepřekračujících duševní obsah a rozsah vynálezu, jak je definováno v připojených patentových nárocích.

Claims (21)

PATENTOVÉ NÁROKY

1. Postup detekce souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů užitím odhadu pohybu na základě definičního bodu, kde referenční snímek zahrnuje obnovený referenční snímek a původní referenční snímek, přičemž postup se vyznačuje tím, že zahrnuje následující kroky:

(a) Výběr souboru definičních bodů z pixelů obsažených v obnoveném referenčním snímku, kde soubor definičních bodů tvoří polygonální mřížku s několika překrývajícími se polygony, (b) stanovení souboru kvazidefiničních bodů na základě souboru definičních bodů v aktuálním snímku, (c) přidělení souboru počátečních vektorů pohybu pro soubor kvazidefiničních bodů, přičemž každý z počátečních vektorů pohybu je nastaven na hodnotu (0,0), (d) zvolení jednoho z kvazidefiničních bodů za dílčí kvazidefiniční bod, kde dílčí kvazidefiniční bod má počet N sousedních kvazidefiničních bodů, které tvoří aktuální dílčí polygon vymezený čárovými segmenty, spojujícími dílčí kvazidefiniční bod a uvedený počet N sousedních kvazidefiničních bodů, přičemž N je celé kladné číslo, (e) postupné připojení počátečního vektoru pohybu dílčího kvazidefiničního bodu k počtu M budoucích vektorů pohybu za účelem vytvoření počtu M aktualizovaných počátečních vektorů pohybu, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních dílčích definičních bodů jsou neměnné, (f) stanovení predikované pozice na původním

- 27 referenčními snímku pro každý pixel (obrazový bod) obsažený v aktuálním dílčím polygonu na základě každého z počtu M aktualizovaných počátečních vektorů pohybu pro dílčí kvazidefiniční bod a uvedený počet N počátečních vektorů pohybu sousedních kvazidefiničních bodů, (g) určení predikované hodnoty pixelu pro každý uvedený pixel na predikované pozici z původního referenčního snímku k vytvoření počtu M predikovaných aktuálních dílčích polygonů.

(h) výpočet rozdílu mezi aktuálním polygonem a každým z predikovaných aktuálních dílčích polygonů k vytvoření počtu M poměrů špičkové hodnoty signálu k šumu (PSNB), (i) výběr jednoho z aktualizovaných vektorů pohybu jako zvoleného aktuálního vektoru pohybu, který zahrnuje predikovaný aktuální dílčí polygon, mající maximální PSNB, za účelem aktualizace počátečního vektoru pohybu dílčího kvazideíiničního bodu zvoleným počátečním vektorem pohybu, (j) opakování kroků (d) až (i), dokud nejsou aktualizovány všechny počáteční vektory pohybu, (k) opakování kroku (j), dokud není proveden předem stanovený počet opakování, (n) zavedení souboru počátečních vektorů jako souboru vektorů pohybu, aby se tak stanovil soubor vektorů pohybu.

2. Postup podle nároku 1, vyznačující se tím, že krok (a) sestává z následujících kroků:

(al) Detekce okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je definován následovně:

eg(x,y) fO je-li jvp(x ,y )|<Te

C jvp(x,y)j , jinak

- 2e kde p(x,y) představuje referenční snímek, |vp(x,y)/ označuje výstup ze Sobelova operátoru a Te je předem stanovená prahová hodnota, (a2) zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje mnoho bodů mřížky za účelem vytvoření množství překrývajících polygonů, (a3) přidělení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, (a4) stanovení souboru definičních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.

3. Postup podle nároku 1, vyznačující se tím, že soubor definičních bodů obsahuje krajní bod nejbližší polygonální mřížce, když se v rozsahu vyhledávání objeví více než jeden krajní bod, mající stejnou maximální součtovou hodnotu.

4. Postup podle nároku 3, vyznačující se tím, že polygon je Šestiúhelník a N je 6.

5. Postup podle nároku 1, vyznačující se tím, že dílčí aktuální šestiúhelník obsahuje šest trojúhelníků vymezených čárovými segmenty, spojujícími dílčí kvazidefiniční bod a jeho sousední kvazideíiniční body a kroky (f) a (g) se provádějí užitím známé afinní transformace.

6. Postup podle nároku 5, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.

7. Postup podle nároku 6, vyznačující se tím, že předem stanovená oblast je v rozsahu horizontálně a vertikálně 0 až +- 7.

8. Postup podle nároku 7, vyznačující se tím, že definiční bod Di je vymezen následovně:

r ^Λ Ί

Di = j ( x, y) j max X EG(x + k, y ⁺ f)j

L ^--4 1^-4 kde EG(x,y) je hodnota krajního bodu v oblasti vyhledávání a i je kladné celé číslo.

9. Přístroj pro použití v systému videokódování, sloužící k detekci souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů s užitím odhadu pohybu na základě definičních bodů a referenčním snímkem je obnovený referenční snímek a původní referenční snímek, přičemž přístroj se vyznačuje tím, že sestává z následujících částí:

(a) První selekční prostředky pro výběr souboru pixelů z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonální mřížku, obsahující přesahující polygony.

(b) Prostředky pro stanovení souboru kvazideíiničních bodů v aktuálním snímku, odpovídajících souboru definičních bodů.

(c) Paměťové prostředky pro uložení souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z původních vektorů pohybu je nastaven na hodnotu (0,0).

(d) Druhé selekční prostředky pro zvolení počtu L dílčích kvazideíiničních bodů ze souboru kvazideíiničních bodů, kde každý z dílčích kvazideíiničních bodů má počet N sousedních kvazideíiničních bodů, které tvoří aktuální dílčí polygon bez překrývání vymezený čárovými segmenty,

spojujícími dílčí kvazidefiniční bod a uvedený počet N sousedních kvazidefiničních bodů, přičemž uvedené N a L je celé kladné číslo.

(e) Další prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazidefiničního bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dílčí kvazidefiniční bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazidefiniční bod jsou neměnné.

(f) Prostředky ke stanovení predikované pozice na původním referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídajících sousedních kvazidefiničních bodů.

(g) Prostředky pro získání predikované hodnoty pixelu z původního referenčního snímku na základě predikované pozice, a tak vytvořit počet M predikovaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů.

(h) Prostředky pro výpočet rozdílu mezi každým z nepřesahujících aktuálních dílčích polygonů a odpovídajícím počtem M predikovaných aktuálních dílčích polygonů k vytvoření počtu M poměrů špičkové hodnoty signálu k šumu (PSNP.) pro každý nepřesahující aktuální dílčí polygon.

(i) Třetí selekční prostředky pro výběr jednoho z aktualizovaných počátečních vektorů pro každý dílčí kvazidefiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvoření počtu L zvolených aktualizovaných počátečních vektorů pohybu.

(j) Prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazidefiniční bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu.

(k) Prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu poté, co jsou všechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakování.

10. Přístroj podle nároku 9, vyznačující se tím, že první selekční prostředky zahrnují:

prostředky pro detekci okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je definován následovně:

{O_} je-li jvp(x,y )|-<Te

A j vp(x,y)j , jinak kde ^(x,y) představuje referenční snímek, (vp(x,y)| označuje výstup ze známého Sobelova operátoru a Te je předem stanovená prahová hodnota, prostředky pro zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje množství bodů mřížky, za účelem vytvoření množství překrývajících polygonů, prostředky pro zavedení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, prostředky pro stanovení souboru definičních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.

11. Postup podle nároku 10, vyznačující se tím, že soubor

- 32 J, C 'Z —9 /definičních bodů obsahuje krajní bod nejbližéí polygonální mřížce, když se v rozsahu vyhledávání objeví více než jeden krajní bod, mající stejnou maximální součtovou hodnotu.

12. Přístroj podle nároku 11, vyznačující se tím, že polygon je Šestiúhelník a N je 6.

13. Postup podle nároku 12, vyznačující se tím, že dílčí aktuální Šestiúhelník obsahuje Šest trojúhelníků vymezených čárovými segmenty, spojujícími dílčí kvazidefiniční bod a jeho sousední kvazideíiniční body a mezi prostředky pro stanovení predikované polohy patří známá afinní transformace.

14. Přístroj podle nároku 13, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.

15. Postup podle nároku 14, vyznačující se tím, že předem stanovená oblast je v rozsahu horizontálně a vertikálně 0 až +- 7.

16. Přístroj pro kódování digitálního videosignálu, sloužící k redukci přenosové rychlosti digitálního videosignálu, přičemž uvedený digitální videosignál obsahuje množství snímků včetně aktuálního snímku a referenčního snímku, přičemž přístroj se vyznačuje tím, že obsahuje:

první paměťové prostředky pro uložení obnoveného referenčního snímku digitálního videosignálu, druhé paměťové prostředky pro uložení původního referenčního snímku digitálního videosignálu, první prostředky pohybové kompenzace pro detekci vektorů pohybu mezi aktuálním snímkem a obnoveným referenčním snímkem užitím odhadu pohybu na blokovém základě a pro generování prvního predikovaného

aktuálního snímku na základě tomto počtu vektorů pohybu a obnoveného referenčního snímku, druhé prostředky pro kompenzaci pohybu pro výběr souboru definičních bodů z obnoveného referenčního snímku k detekci souboru vektorů pohybu mezi aktuálním snímkem a původním referenčním snímkem podle souboru definičních bodů užitím definičního bodu na základě odhadu pohybu a ke generování druhého predikovaného snímku na základě souboru vektorů pohybu a obnoveného referenčního snímku, prostředky pro výběrové poskytnutí vektorů pohybu a prvního predikovaného aktuálního snímku nebo souboru vektorů pohybu a druhého predikovaného aktuálního snímku jako zvolených vektorů pohybu a zvoleného aktuálního snímku, prostředky pro transformační kódování chybového signálu představujícího rozdíl mezi predikovaným aktuálním snímkem a skutečným aktuálním snímkem k vytvoření transformačně kódovaného chybového signálu, a prostředky pro statistické kódování transformačně kódovaných chybových signálů a zvolených vektorů pohybu k vytvoření kódovaného videosignálu, který bude přenášen.

17. Přístroj podle nároku 16, vyznačující se tím, že druhé zařízení pro pohybovou kompenzaci obsahuje:

První selekční prostředky pro výběr souboru pixelů z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonální mřížku, obsahující přesahující polygony, prostředky pro stanovení souboru kvazidefiničních bodů v aktuálním snímku, odpovídajících souboru definičních bodů, paměťové prostředky pro uložení souboru počátečních vektorů pohybu pro soubor kvazidefiničních bodů, přičemž každý z původních vektorů pohybu je nastaven na

hodnotu (0,0), druhé selekční prostředky pro zvolení počtu L dílčích kvazideíiničních bodů ze souboru kvazideíiničních bodů, kde každý z dílčích kvazideíiničních bodů má počet N sousedních kvazideíiničních bodů, které tvoří aktuální dílčí polygon bez překrývání vymezený čárovými segmenty, spojujícími dílčí kvazideíiniční bod a uvedený počet N sousedních kvazideíiničních bodů, přičemž uvedené N a L je celé kladné číslo, dalěí prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazideíiničního bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dílčí kvazideíiniční bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazideíiniční bod jsou neměnné, prostředky ke stanovení predikované pozice na původním referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídajících sousedních kvazideíiničních bodů, prostředky pro získání predikované hodnoty pixelů z původního referenčního snímku na základě predikované pozice, a tak vytvořit počet M predikovaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů, prostředky pro výpočet rozdílu mezi každým z nepřesahujících aktuálních dílčích polygonů a odpovídajícím počtem M predikovaných aktuálních dílčích polygonů k vytvoření počtu M poměrů Špičkové hodnoty signálu k šumu (PSNR) pro každý nepřesahující aktuální dílčí polygon, třetí selekční prostředky pro výběr jednoho

- 3Γ z aktualizovaných počátečních vektorů pro každý dílčí kvazidefiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvoření počtu L zvolených aktualizovaných počátečních vektorů pohybu, prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazidefiniční bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu.

prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu potě, co jsou všechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakování.

18. Přístroj podle nároku 17, vyznačující se tím, že první selekční prostředky zahrnují:

prostředky pro detekci okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je de fi nován nás1edovně:

rQ) je-li |vp(x,y)|<Te eg(x,y) = ή

L /vp(x,y)| , jinak kde 'ρ(χ,γ) představuje referenční snímek, ]vp(x,y)j označuje výstup ze známého Sobelova operátoru a Te je předem stanovená prahová hodnota, prostředky pro zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje množství bodů mřížky, za účelem vytvoření množství překrývajících polygonů, prostředky pro stanovení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, prostředky pro stanovení souboru definičních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je

19.

20.

21.

umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.

Přístroj podle nároku 18, vyznačující se tím, že polygon je Šestiúhelník, N je 6, dílčí aktuální Šestiúhelník obsahuje Šest trojúhelníků vymezených čárovými segmenty, spojujícími dílčí kvazidefiniční bod a jeho sousední kvazideíiniční body a mezi prostředky pro stanovení predikované polohy patří známá afinní transformace.

Přístroj podle nároku 19, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.

Přístroj podle nároku 20, vyznačující se tím, že předem stanovená oblast je v rozsahu horizontálně a vertikálně 0 až +- 7.